Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Fix remaining instabilities in LearningTest scripts #148

Conversation

marcboulle
Copy link
Collaborator

Gestion cross-plateforme des fichiers avec caracteres accentues

  • on garde comme cle de nom de fichier cross-plateforme la version convertie en ascii sans erreurs
    • plus generique que la conversion utf8 initialement utilisee
    • impact: check_results.py, au niveau de l'utilisation des byte_file_name
  • ajout d'un quatrieme plateforme ["Darwin", "Linux", "Windows", "WSL"]
    • pour un OS de type linux sur un systeme de gestion de fichier de type windows
    • impact: test_dir_management.py
  • corrige les probleme identifier dans la famille TestKhiops/CharacterEncoding

Ouverture systematique des fichier en lecture et ecriture en mode errors="ignore" pour ne pas echouer en cas de caracteres accentues

Jeu de test TestKhiops/ParallelTask/RegressionLimits

  • modification du scenario pour stabiliser les resultats

Jeu de test TestKhiops/SmallInstability/BugConstructionWithTrailingBlank

  • il peut y avoir des difference non seulement dans l'ordre des messages utilisateurs, mais egalement dans les index des records concernes
  • amelioration de la resilience a ce jeu de test en supprimant le debut des messages utilsiateur jsuqu'au numeros de ligne
  • impact:
    • check_results.py: filtrage des messages via la methodes filter_record_index_from_lines pour ce type de recouvrement des erreurs

Valide sur les resultst de test obtenus sur Linux

Valide sur les resultst de test obtenus sur Max et WSL (chez Nicolas)

  • les problemes residuels provenaient d'un lancement des tests avec une version obsolete des scripts, et avec 3 process (au lieu de 4)

Gestion cross-plateforme des fichiers avec caracteres accentues
- on garde comme cle de nom de fichier cross-plateforme la version convertie en ascii sans erreurs
  - plus generique que la conversion utf8 initialement utilisee
  - impact: check_results.py, au niveau de l'utilisation des byte_file_name
- ajout d'un quatrieme plateforme ["Darwin", "Linux", "Windows", "WSL"]
  - pour un OS de type linux sur un systeme de gestion de fichier de type windows
  - impact: test_dir_management.py
- corrige les probleme identifier dans la famille TestKhiops/CharacterEncoding

Ouverture systematique des fichier en lecture et ecriture en mode errors="ignore" pour ne pas echouer en cas de caracteres accentues

Jeu de test TestKhiops/ParallelTask/RegressionLimits
- modification du scenario pour stabiliser les resultats

Jeu de test TestKhiops/SmallInstability/BugConstructionWithTrailingBlank
- il peut y avoir des difference non seulement dans l'ordre des messages utilisateurs,
  mais egalement dans les index des records concernes
- amelioration de la resilience a ce jeu de test en supprimant le debut des messages utilsiateur jsuqu'au numeros de ligne
- impact:
  - check_results.py: filtrage des messages via la methodes filter_record_index_from_lines pour ce type de recouvrement des erreurs

Valide sur les resultst de test obtenus sur Linux

Valide sur les resultst de test obtenus sur Max et WSL (chez Nicolas)
- les problemes residuels provenaient d'un lancement des tests avec une version obsolete des scripts, et avec 3 process (au lieu de 4)
@marcboulle marcboulle added the Type/Enhancement New feature or request label Feb 5, 2024
@marcboulle marcboulle added this to the v10.2.0 milestone Feb 5, 2024
Copy link
Member

@folmos-at-orange folmos-at-orange left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

LGTM

@marcboulle marcboulle merged commit 831ef19 into release-10-2-0 Feb 6, 2024
20 checks passed
@marcboulle marcboulle deleted the 147-fix-remaining-instabilities-in-learningtest-scripts branch February 6, 2024 08:02
@marcboulle marcboulle linked an issue Feb 6, 2024 that may be closed by this pull request
@folmos-at-orange folmos-at-orange removed this from the v10.2.0 milestone Feb 14, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Type/Enhancement New feature or request
Projects
None yet
Development

Successfully merging this pull request may close these issues.

Fix remaining instabilities in LearningTest scripts
2 participants