Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Avoid using unnecessay key variables in multi-table feature construction #485

Conversation

marcboulle
Copy link
Collaborator

Contexte

  • schema en etoile, construction de variable
  • comme la cle d'une sous-table (du moins la sous-partie commune à la cle de la table mere) ne peut contenir d'information dejà traitee dans le dictionnaire parent, cette cle n'est pas exploitee pour la construction de variable
  • exemple: SpliceJunction
  • la variable SampleId est utilise en cle de SpliceJunction
  • la variable SampleId est utilisee en cle de la table secondaire SpliceJunctionDNA
  • on n'exploite donc pas cette variable

Probleme potrentiel:

  • si le champ cle de la table secondaire a un autre nom, cette variable secondaire peut alors etre traitee à tort comme un champ non cle distinct de la cle du dictionnaire parent, et etre exploitee pour la construction de variable
  • exemple:
    • SpliceJunction, en renommant Sample_Id en SampleId dans la table secondaire
    • les resultats de modelisation en generant 100 variables seraient alors differents à tort

En fait, le probleme est deja traite correctement dans le code

  • KDMultiTableFeatureConstruction::ComputeAllClassesCompliantRules
    • on a uniquement enrichi le commentaire, et corrige les typos

Ajout d'un jeu de test dedie LearningTest\TestKhiops\MultiTables\SchemaDifferentKeyNames

@marcboulle marcboulle requested a review from popescu-v December 9, 2024 14:03
@marcboulle marcboulle force-pushed the 463-avoid-using-unnecessay-key-variables-in-multi-table-feature-construction branch 2 times, most recently from 2487446 to f571965 Compare December 9, 2024 14:18
// d'enregistrements (par CountDistinct, ici redondant avec Count).
// On interdit l'utilisation des cles du schema-multi-table pour la construction de variables.
// Les cles ne sont pas des attributs porteurs d'information.
// Pour la classe racine, les cles apparaissent une seule fois par instance, et ne peuvent pas etre informatives.
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Shouldn't we rather mention "classe principale" ("main class" / "main table") rather than "root"?

Copy link
Collaborator Author

@marcboulle marcboulle Dec 16, 2024

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Corrigé

Copy link
Collaborator

@popescu-v popescu-v left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Small rephrasal (see relevant comment)?

@marcboulle marcboulle force-pushed the 463-avoid-using-unnecessay-key-variables-in-multi-table-feature-construction branch from f571965 to 052bcff Compare December 17, 2024 08:26
@marcboulle marcboulle requested a review from popescu-v December 17, 2024 08:27
Copy link
Collaborator

@popescu-v popescu-v left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

LGTM, the comment seems clear.

Contexte
- schema en etoile, construction de variable
- comme la cle d'une sous-table (du moins la sous-partie commune à la cle de la table mere) ne peut contenir d'information
  dejà traitee dans le dictionnaire parent, cette cle n'est pas exploitee pour la construction de variable
- exemple: SpliceJunction
 - la variable SampleId est utilise en cle de SpliceJunction
 - la variable SampleId est utilisee en cle de la table secondaire SpliceJunctionDNA
 - on n'exploite donc pas cette variable

Probleme potentiel:
- si le champ cle de la table secondaire a un autre nom, cette variable secondaire peut alors
  etre traitee à tort comme un champ non cle distinct de la cle du dictionnaire parent, et etre exploitee pour la construction de variable
- exemple:
  - SpliceJunction, en renommant Sample_Id en SampleId dans la table secondaire
  - les resultats de modelisation en generant 100 variables seraient alors differents à tort

En fait, le probleme est deja traite correctement dans le code
- KDMultiTableFeatureConstruction::ComputeAllClassesCompliantRules
  - on a uniquement enrichi le commentaire, et corrige les typos

Ajout d'un jeu de test dedie LearningTest\TestKhiops\MultiTables\SchemaDifferentKeyNames
@marcboulle marcboulle force-pushed the 463-avoid-using-unnecessay-key-variables-in-multi-table-feature-construction branch from 052bcff to 1d4a36d Compare December 20, 2024 16:03
@marcboulle marcboulle merged commit f7c42b5 into dev Dec 20, 2024
23 checks passed
@marcboulle marcboulle deleted the 463-avoid-using-unnecessay-key-variables-in-multi-table-feature-construction branch December 20, 2024 16:13
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

Avoid using unnecessay key variables in multi-table feature construction
2 participants