Modification du pg_restore afin de prendre en compte que les tables nécessaires au dbt run #389
Conversation
| dbt seed | ||
| @echo "\n\n### dbt seed triggered successfully ###\n" | ||
| @echo "\n\n### Triggering nps_pilotage DAG ###\n" | ||
| airflow dags trigger nps_pilotage |
There was a problem hiding this comment.
@rsebille ça me met ce message d'erreur quand je lance les dag en ligne de commande :(
Could not import graphviz. Rendering graph to the graphical format will not be possible.
[2025-01-07T15:38:26.582+0100] {cli_action_loggers.py:137} WARNING - Failed to log action (psycopg2.OperationalError) connection to server at "localhost" (127.0.0.1), port 5432 failed: FATAL: database "airflow" does not exist
There was a problem hiding this comment.
je suppose qu'il tape pas dans le bon port et url, mais je vois pas ou changer ça :(
There was a problem hiding this comment.
Pour airflow, l'accès à la DB c'est dans le .env et AIRFLOW__DATABASE__SQL_ALCHEMY_CONN mais c'est partagé avec le docker donc meh de le changer. Et je sais si ça existe mais il y a peut-être un settings pour lui dire d'aller taper sur l'API airflow du docker plutôt que de faire les choses depuis la machine locale.
| --table="fluxIAE_AnnexeFinanciere" --table="fluxIAE_ContratMission" \ | ||
| --table="fluxIAE_EtatMensuelIndiv" --table="fluxIAE_Missions" \ | ||
| --table="fluxIAE_MissionsEtatMensuelIndiv" --table="fluxIAE_RefCategorieSort" \ | ||
| --table="fluxIAE_RefMontantIae" --table="fluxIAE_RefMotifSort" \ | ||
| --table="fluxIAE_RefNiveauFormation" --table="fluxIAE_RefFormeContrat" \ | ||
| --table="fluxIAE_Salarie" --table="fluxIAE_Structure" \ | ||
| --table="fluxIAE_MarchesPublics" --table="candidats_v0" \ | ||
| --table="candidatures" --table="cap_campagnes" \ | ||
| --table="cap_candidatures" --table="cap_critères_iae" \ | ||
| --table="cap_structures" --table="codes_rome" \ | ||
| --table="collaborations" --table="communes" \ | ||
| --table="critères_iae" --table="departements" \ | ||
| --table="fiches_de_poste" --table="fiches_de_poste_par_candidature" \ | ||
| --table="institutions" --table="organisations_v0" \ | ||
| --table="pass_agréments" --table="structures" \ | ||
| --table="utilisateurs_v0" --table="demandes_de_prolongation" \ | ||
| --table="prolongations" --table="structures_v0" \ | ||
| --table="c1_ref_type_contrat" --table="c1_ref_type_prescripteur" \ | ||
| --table="c1_ref_motif_de_refus" --table="c1_analytics_v0" \ | ||
| --table="insee_communes" --table="c1_private_dashboard_visits_v0" \ | ||
| --table="suivi_visiteurs_tb_prives" --table="suivi_visiteurs_tb_prives_v1" \ | ||
| --table="suivi_utilisateurs_tb_prives" --table="suivi_visiteurs_tb_publics_v1" \ | ||
| --table="sorties_v2" --table="sa_zones_infradepartementales" \ |
There was a problem hiding this comment.
Je vois 2 améliorations possibles :
--tableautorise les pattern donc--table="fluxIAE_*"et--table="c1_ref_*devraient être utilisables- Sans doute plus simple et maintenable d'utiliser
--filteret un fichier plat que d'avoir la liste dans le Makefile, en plus ça permet de le partager entrepg_dumpetpg_restorece qui évite de tout récupérer via le réseau et sur notre disque alors qu'on ne va en utilise qu'une partie
| airflow dags trigger mon_recap | ||
| @echo "\n\n### DAG triggered successfully ###\n" | ||
|
|
||
| load_dump: pg_dump run_dags_pilotage pg_restore |
There was a problem hiding this comment.
Pourquoi faire les DAG avant pg_restore ? C'était pour tester ?
There was a problem hiding this comment.
c'est une belle erreur héhé
| dbt seed | ||
| @echo "\n\n### dbt seed triggered successfully ###\n" | ||
| @echo "\n\n### Triggering nps_pilotage DAG ###\n" | ||
| airflow dags trigger nps_pilotage |
There was a problem hiding this comment.
Pour airflow, l'accès à la DB c'est dans le .env et AIRFLOW__DATABASE__SQL_ALCHEMY_CONN mais c'est partagé avec le docker donc meh de le changer. Et je sais si ça existe mais il y a peut-être un settings pour lui dire d'aller taper sur l'API airflow du docker plutôt que de faire les choses depuis la machine locale.
**Carte Notion : **
Pourquoi ?
Modification du pg_restore afin de prendre en compte que les tables nécessaires au dbt run + retrait de scripts plus utilisés (xp brsa ft)
Checks