Commit c36ab226 authored by Benjam's avatar Benjam
Browse files

changement structure des fichiers de sortie dans crater-data-resultats +...

changement structure des fichiers de sortie dans crater-data-resultats + supprimer export des sources
parent 50d62cbb
......@@ -17,3 +17,5 @@ debug.py
!/output-data/sau/
/tests/data/output/
*.log
/tmp/
/tests/tmp/
......@@ -15,20 +15,21 @@ from crater.pratiques_agricoles.calculateur_pratiques_agricoles import calculer_
from crater.production_besoins.calculateur_production_besoins import calculer_axe_production_besoins
from crater.reglages import (
DOSSIER_CONFIG,
CHEMIN_CRATER_DATA_SOURCES,
CHEMIN_SOURCE_COMMUNES_ET_ARRONDISSEMENTS, CHEMIN_SOURCE_COMMUNES_SIG, CHEMIN_SOURCE_MOUVEMENTS_COMMUNES,
CHEMIN_SOURCE_EPCIS, CHEMIN_SOURCE_DEPARTEMENTS, CHEMIN_SOURCE_REGIONS, CHEMIN_SOURCE_CODES_POSTAUX,
CHEMIN_SOURCE_POPULATION_TOTALE, CHEMIN_SOURCE_POPULATION_TOTALE_HISTORIQUE,
CHEMIN_SOURCE_POPULATION_AGRICOLE,
CHEMIN_SOURCE_ARTIFICIALISATION,
CHEMIN_SOURCE_HVN,
DOSSIER_SOURCE_IGN,
URL_SOURCE_RPG,
NOMS_FICHIERS_RPG,
DOSSIER_IGN, URL_SOURCE_RPG, NOMS_FICHIERS_RPG,
CHEMIN_OUTPUT_DATA,
DOSSIER_SOURCES, DOSSIER_TERRITOIRES, DOSSIER_SURFACE_AGRICOLE_UTILE,
DOSSIER_POPULATION_AGRICOLE, DOSSIER_POLITIQUE_FONCIERE, DOSSIER_PRATIQUES_AGRICOLES, CHEMIN_SOURCE_SAU_BIO,
CHEMIN_CRATER_DATA_SOURCES,
DOSSIER_PARCEL, DOSSIER_PRODUCTION_BESOINS, DOSSIER_RPG
DOSSIER_TERRITOIRES, DOSSIER_SURFACE_AGRICOLE_UTILE, DOSSIER_RPG, DOSSIER_PARCEL,
DOSSIER_POPULATION_AGRICOLE,
DOSSIER_POLITIQUE_FONCIERE,
DOSSIER_PRATIQUES_AGRICOLES, CHEMIN_SOURCE_SAU_BIO,
DOSSIER_PRODUCTION_BESOINS,
DOSSIER_CARTES
)
from crater.surface_agricole_utile import collecteur_rpg, calculateur_surface_agricole_utile
from crater.territoires.calculateur_donnees_territoires import calculer_donnees_territoires, \
......@@ -64,7 +65,7 @@ def lancer_calcul_surface_agricole_utile(nombre_traitements_paralleles: int):
2017,
referentiel_territoires,
communes_sig,
CHEMIN_CRATER_DATA_SOURCES / DOSSIER_SOURCE_IGN,
CHEMIN_CRATER_DATA_SOURCES / DOSSIER_IGN,
NOMS_FICHIERS_RPG,
CHEMIN_OUTPUT_DATA / DOSSIER_SURFACE_AGRICOLE_UTILE,
nombre_traitements_paralleles
......@@ -132,7 +133,6 @@ def lancer_calcul_population_agricole():
referentiel_territoires,
CHEMIN_SOURCE_POPULATION_AGRICOLE,
CHEMIN_OUTPUT_DATA,
DOSSIER_SOURCES,
DOSSIER_POPULATION_AGRICOLE
)
......@@ -148,7 +148,6 @@ def lancer_calcul_politique_fonciere():
referentiel_territoires,
CHEMIN_SOURCE_ARTIFICIALISATION,
CHEMIN_OUTPUT_DATA,
DOSSIER_SOURCES,
DOSSIER_POLITIQUE_FONCIERE
)
......@@ -190,7 +189,7 @@ def lancer_calcul_production_besoins():
def lancer_calcul_cartes():
debut = time.time()
reinitialiser_dossier(CHEMIN_OUTPUT_DATA / 'crater_geojson')
reinitialiser_dossier(CHEMIN_OUTPUT_DATA / DOSSIER_CARTES)
calculer_cartes(
CHEMIN_CRATER_DATA_SOURCES / 'france_geojson' / 'regions.geojson',
CHEMIN_CRATER_DATA_SOURCES / 'france_geojson' / 'departements.geojson',
......@@ -199,7 +198,7 @@ def lancer_calcul_cartes():
CHEMIN_OUTPUT_DATA / DOSSIER_PRATIQUES_AGRICOLES / 'pratiques_agricoles.csv',
CHEMIN_OUTPUT_DATA / DOSSIER_POPULATION_AGRICOLE / 'synthese.csv',
CHEMIN_OUTPUT_DATA / DOSSIER_POLITIQUE_FONCIERE / 'synthese.csv',
CHEMIN_OUTPUT_DATA / 'crater_geojson'
CHEMIN_OUTPUT_DATA / DOSSIER_CARTES
)
stocker_duree_etape('CALCUL_DONEES_CARTES', time.time() - debut)
......@@ -280,17 +279,17 @@ if __name__ == '__main__':
URL_SOURCE_RPG,
NOMS_FICHIERS_RPG,
2017,
CHEMIN_CRATER_DATA_SOURCES / DOSSIER_SOURCE_IGN
CHEMIN_CRATER_DATA_SOURCES / DOSSIER_IGN
)
elif (args.ETAPE_CALCUL == 'crater-territoires'):
log.info("Génération des fichiers résultats CRATER pour les territoires")
lancer_calcul_territoires()
elif (args.ETAPE_CALCUL == 'sau-calculer-surfaces'):
log.info("Génération des fichiers résultats CRATER des surfaces agricoles utiles")
lancer_calcul_surface_agricole_utile(nombre_traitements_paralleles)
elif (args.ETAPE_CALCUL == 'crater-complet'):
log.info("Génération des fichiers résultats CRATER")
lancer_calcul_complet_traitement_crater(nombre_traitements_paralleles)
elif (args.ETAPE_CALCUL == 'crater-territoires'):
log.info("Génération des fichiers résultats CRATER pour les territoires")
lancer_calcul_territoires()
elif (args.ETAPE_CALCUL == 'crater-production-besoins'):
log.info("Génération des fichiers résultats CRATER pour l'axe production/besoins")
lancer_calcul_production_besoins()
......
......@@ -17,16 +17,11 @@ def calculer_politique_fonciere(
territoires: DataFrame,
chemin_fichier_artificialisation: Path,
chemin_dossier_output: Path,
dossier_source: Path,
dossier_politique_fonciere: Path
) -> None:
sources = charger_sources(
chemin_fichier_artificialisation
)
exporter_sources(
sources,
chemin_dossier_output / dossier_source / dossier_politique_fonciere
)
axe = calculer(
territoires,
sources
......@@ -158,19 +153,3 @@ def charger_sources(
'artificialisation': artificialisation
}
def exporter_sources(
sources,
chemin_dossier_output
):
log.info("##### EXPORT DES DONNEES SOURCES POLITIQUE FONCIERE #####")
log.info(" => vers %s", chemin_dossier_output)
reinitialiser_dossier(chemin_dossier_output)
for t in sources:
sources[t].to_csv(
(chemin_dossier_output / str(t + ".csv")),
sep=";",
encoding="utf-8",
index=False
)
......@@ -18,16 +18,11 @@ def calculer_population_agricole(
territoires: DataFrame,
chemin_fichier_actifs_agricoles_permanents: Path,
chemin_dossier_output: Path,
dossier_source: Path,
dossier_population_agricole: Path
) -> None:
sources = charger_sources(
chemin_fichier_actifs_agricoles_permanents
)
exporter_sources(
sources,
chemin_dossier_output / dossier_source / dossier_population_agricole
)
axe = calculer(territoires, sources)
exporter(
axe,
......@@ -122,24 +117,6 @@ def charger_sources(
}
def exporter_sources(
sources,
chemin_dossier_output
):
log.info("##### EXPORT DES DONNEES SOURCES POPULATION AGRICOLE #####")
log.info(" => vers %s", chemin_dossier_output)
reinitialiser_dossier(chemin_dossier_output)
for t in sources:
sources[t].to_csv(
(chemin_dossier_output / str(t + ".csv")),
sep=";",
encoding="utf-8",
index=False
)
def calculer_donnees_population_agricole(
territoires: DataFrame,
sources_population_agricole: DataFrame
......
......@@ -55,21 +55,21 @@ CHEMIN_SOURCE_SAU_BIO = Path(
CHEMIN_CRATER_DATA_SOURCES /
"agence_bio/2011-2019/Donnees_EPCI_AgenceBio_2019.xlsx"
)
DOSSIER_SOURCE_IGN = Path("ign")
DOSSIER_IGN = Path("ign")
DOSSIER_CONFIG = Path("config")
CHEMIN_OUTPUT_DATA = Path("../crater-data-resultats")
CHEMIN_OUTPUT_DATA = Path("../crater-data-resultats/data")
DOSSIER_SOURCES = Path("sources")
DOSSIER_TERRITOIRES = Path("territoires")
DOSSIER_RPG = Path("rpg")
DOSSIER_PARCEL = Path("parcel")
DOSSIER_SURFACE_AGRICOLE_UTILE = Path("surface_agricole_utile")
DOSSIER_POPULATION_AGRICOLE = Path("population_agricole")
DOSSIER_POLITIQUE_FONCIERE = Path("politique_fonciere")
DOSSIER_PRATIQUES_AGRICOLES = Path("pratiques_agricoles")
DOSSIER_PRODUCTION_BESOINS = Path("production_besoins")
DOSSIER_TERRITOIRES = Path("crater/territoires")
DOSSIER_SURFACE_AGRICOLE_UTILE = Path("crater/surface_agricole_utile")
DOSSIER_POPULATION_AGRICOLE = Path("crater/population_agricole")
DOSSIER_POLITIQUE_FONCIERE = Path("crater/politique_fonciere")
DOSSIER_PRATIQUES_AGRICOLES = Path("crater/pratiques_agricoles")
DOSSIER_PRODUCTION_BESOINS = Path("crater/production_besoins")
DOSSIER_CARTES = Path("crater/crater_geojson")
URL_SOURCE_RPG = "ftp://RPG_ext:quoojaicaiqu6ahD@ftp3.ign.fr/"
NOMS_FICHIERS_RPG = {
......
......@@ -142,7 +142,6 @@ def charger_communes_sig(
communes['id_commune'],
communes_sig['id_commune']
)
return communes_sig.merge(
communes[['id_commune','id_region']],
on='id_commune'
......
*** INFORMATIONS GENERALES ***
13 communes
4 départements
4 epcis
4 regions
1 pays
*** VERIFICATION DES CODES POSTAUX ***
8 commune(s) sans codes_postaux
C-56620, C-33063, C-A, C-B, C-C, C-E, C-G, C-H
0 commune(s) avec codes_postaux = 0
*** VERIFICATION DES SAU ***
10 commune(s) sans sau_ha
C-56121, C-75056, C-56620, C-33063, C-A, C-B, C-C, C-E, C-G, C-H
Valeur cible = 2000.0 - Valeur testée = 2000.0 - Différence absolue = 0.0 - Différence relative = 0.0%
0 commune(s) avec sau_ha = 0
*** VERIFICATION DES POPULATIONS TOTALES ***
8 commune(s) sans population_totale_1990
C-56620, C-33063, C-A, C-B, C-C, C-E, C-G, C-H
Valeur cible = 2400 - Valeur testée = 2400 - Différence absolue = 0 - Différence relative = 0.0%
0 commune(s) avec population_totale_1990 = 0
5 commune(s) sans population_totale_2010
C-56620, C-33063, C-E, C-G, C-H
Valeur cible = 24325 - Valeur testée = 24055 - Différence absolue = 270 - Différence relative = -1.1%
0 commune(s) avec population_totale_2010 = 0
5 commune(s) sans population_totale_2017
C-56620, C-33063, C-E, C-G, C-H
Valeur cible = 24630 - Valeur testée = 24550 - Différence absolue = 80 - Différence relative = -0.3%
0 commune(s) avec population_totale_2017 = 0
*** VERIFICATION POPULATION AGRICOLE ***
6 commune(s) sans actifs_agricoles_permanents_2010
C-A, C-B, C-C, C-E, C-G, C-H
Valeur cible = 102 - Valeur testée = 102 - Différence absolue = 0 - Différence relative = 0.0%
4 commune(s) avec actifs_agricoles_permanents_2010 = 0
6 commune(s) sans actifs_agricoles_permanents_1988
C-A, C-B, C-C, C-E, C-G, C-H
Valeur cible = 344 - Valeur testée = 344 - Différence absolue = 0 - Différence relative = 0.0%
4 commune(s) avec actifs_agricoles_permanents_1988 = 0
*** VERIFICATION ARTIFICIALISATION ***
9 commune(s) sans artificialisation_2011_2016_ha
C-56121, C-75056, C-56620, C-33063, C-A, C-C, C-E, C-G, C-H
Valeur cible = 92.084 - Valeur testée = 91.584 - Différence absolue = 0.5 - Différence relative = -0.5%
0 commune(s) avec artificialisation_2011_2016_ha = 0
9 commune(s) sans evolution_menages_2011_2016
C-56121, C-75056, C-56620, C-33063, C-A, C-C, C-E, C-G, C-H
Valeur cible = 1090 - Valeur testée = 1080 - Différence absolue = 10 - Différence relative = -0.9%
0 commune(s) avec evolution_menages_2011_2016 = 0
9 commune(s) sans evolution_emplois_2011_2016
C-56121, C-75056, C-56620, C-33063, C-A, C-C, C-E, C-G, C-H
Valeur cible = 1658 - Valeur testée = 1643 - Différence absolue = 15 - Différence relative = -0.9%
0 commune(s) avec evolution_emplois_2011_2016 = 0
\ No newline at end of file
Supports Markdown
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment