Reorganisation des données sources : utilisation du nuage + gitlab pour certains fichiers de conf

Il faut revoir notre organisation des fichiers de données sources pour résoudre plusieurs problèmes :

• on veut pouvoir stocker tous les fichiers nécessaires au traitement principal de crater data (l'étape crater-complet qui génère tous les indicateurs). Ces fichiers étaient jusqu'ici sous gitlab dans crater-data-source, mais ils deviennent trop volumineux (par ex on veut stocker tous les fichiers RPG, soit 3 Giga, ...); L'ensemble du contenu de crater-data-source a été déplacé sur le cloud de LGA. RAF : voir si on valide cette solution, et si oui, supprimer crater-data ?

• on veut garder une gestion de version pour les fichiers sources propres à crater (ceux que l'on écrit nous meme, et qui sont dans crater-data-source/crater) et peut etre pour certains autres fichiers sources ? (lesquels ?). RAF : déplacer ces fichiers pour les héberger avec le code de crater data, par ex dans crater-data/config

• enfin on a certains fichiers "intermédiaires" : dans crater-data-sources/parcel par exemple, on trouve des fichiers de config (produits_elevage_vers_code_culture.csv), et des fichiers résultats d'une étape de traitement crater-data (l'étape parcel-besoins-assiette-actuelle ). RAF : faire le tri dans ces fichiers, de la manière suivante =>

  • identifier les fichiers de config, et les positionner dans crater-data/config/parcel (cas de produits_elevage_vers_code_culture.csv mais il y en a peut etre d'autres).
  • et identifier les fichiers résultats d'une étape de traitement crater (ex : reponse_api_parcel_besoins_sau_par_produits_assiette_moins_50p.csv) et voir si on les positionne dans le nuage, ou bien dans crater-data-resultat/parcel, ou bien des 2 cotés

• problème équivalent avec le rpg et le traitement de récupération et d'analyse de la SAU. RAF : on laisse les fichiers source du RPG ign/2017/* (sur le nuage); le fichier de config codes_rpg_vers_codes_cultures va sous gitlab dans crater-data/config/sau ; et voir si le fichier résultat va dans crater-data-resultat/sau et/ou dans le nuage