BPE n'est plus disponible à cet url

[linogaliana]

Il semblerait que la BPE ait changé d'URL

doremifasol::telechargerDonnees("BPE_ENS")

essai de l'URL 'https://www.insee.fr/fr/statistiques/fichier/3568629/bpe19_ensemble_csv.zip'
Error in download.file(url = caract$lien, destfile = nomFichier) : 
  impossible d'ouvrir l'URL 'https://www.insee.fr/fr/statistiques/fichier/3568629/bpe19_ensemble_csv.zip'
De plus : Warning message:
In download.file(url = caract$lien, destfile = nomFichier) :
  cannot open URL 'https://www.insee.fr/fr/statistiques/fichier/3568629/bpe19_ensemble_csv.zip': HTTP status was '500 '

[py-b]

Effectivement, cette page semble dynamique, la BPE 2020 a remplacé la BPE 2019 à cette url : https://www.insee.fr/fr/statistiques/3568629/

Le fichier s'appelle maintenant bpe20_ensemble_csv.zip.

[py-b]

J'étais parti pour faire la petite modif constitant à changer le 19 en 20. Mais je me suis rendu compte qu'il fallait aussi vérifier les modalité des variables (notamment la nomenclature TYPEQUIP), et ça m'a découragé.

Je persiste à penser que ces infos ne devraient pas être dans le json parce que ça rend la maintenance difficile. Elles sont dispo en téléchargement sur le site et pour l'instant on ne fait rien de ces informations contenues dans le json.

[pierre-lamarche]

Bien reçu, normalement ce genre de travaux est scripté là : https://github.com/InseeFrLab/DoReMIFaSol/blob/master/data-raw/archive/liste_donnees.R
La bonne réponse est je pense à terme d'automatiser ce travail de mise à jour de la base de données.

[linogaliana]

Dans le cadre de pynsee, je voulais écrire un script qui check de manière automatique l'ensemble des URL pour chaque entrée du JSON. Avec python, cela ne devrait pas être excessivement compliqué.

Ce script pourrait tourner à intervalles réguliers avec cron.

Cela donne un indicateur régulier des clés à mettre à jour

[py-b]

J'ai corrigé les noms de fichiers : 1b6397d
Les métadonnées restent pour l'instant celles de la BPE 2019.

[py-b]

Remplacé 2020 par 2021.