Commit 5cfcac50 authored by Bakaniko's avatar Bakaniko

mise en forme code annexe 1 et 2 suite

parent 7ff488d6
......@@ -318,6 +318,8 @@ Cette variable permet de passer d'un échantillon enquếtée à une population
# Conclusion
\clearpage
# Annexes
## Annexe 1 - Script Python permettant la base générale
......@@ -329,14 +331,12 @@ from os import getcwd
os.getcwd()
```
```python
import glob
import pandas as pd
import numpy as np
```
```python
liste_fichier = []
chemin_fichier = os.getcwd() + '/mexique/CSV/'
......@@ -349,7 +349,6 @@ liste_fichier
- Séparation des fichiers de la Zone métropolitaine de Mexico
```python
liste_ent = [] # liste de tous les ENT
liste_zm_mexico = [] # Liste des fichiers concernant la ZM de Mexico
......@@ -369,7 +368,6 @@ for file in liste_fichier:
- Séparation des fichiers VVIENDA et PERSONA
```python
persona_zm_mexico = [] # liste des fichiers PERSONA de la ZM de Mexico
vivienda_zm_mexico = [] # liste des fichiers VIVIENDA de la ZM de Mexico
......@@ -384,7 +382,6 @@ for fichier in liste_zm_mexico:
```
```python
for fichier in vivienda_zm_mexico :
print(fichier)
......@@ -400,21 +397,18 @@ for fichier in vivienda_zm_mexico :
```python
# pour chaque fichier dans la liste, pandas ouvre le csv, le convertit en dataframe et concatène les fichiers
vivienda_mx= pd.concat([ pd.read_csv(df, encoding = 'latin_1') for df in vivienda_zm_mexico])
# pour chaque fichier dans la liste, pandas ouvre le csv,
# le convertit en dataframe et concatène les fichiers
vivienda_mx= pd.concat([ pd.read_csv(df, encoding = 'latin_1') for df
in vivienda_zm_mexico])
vivienda_mx.shape
```
(640686, 88)
```python
persona_mx= pd.concat([ pd.read_csv(df, encoding = 'latin_1') for df in persona_zm_mexico])
persona_mx= pd.concat([ pd.read_csv(df, encoding = 'latin_1') for df
in persona_zm_mexico])
persona_mx.shape
```
......@@ -496,7 +490,8 @@ len(liste_fichier)
```python
### récupération des codes Municipe de la ZUM
liste_municipe_zm_mexico = pd.read_csv('Municipalites_ZM_1.csv', sep=',',encoding = 'utf_8', dtype={'C': object})
liste_municipe_zm_mexico = pd.read_csv('Municipalites_ZM_1.csv', sep=',',
encoding = 'utf_8', dtype={'C': object})
code_mun_zum = liste_municipe_zm_mexico['C']
len(code_mun_zum)
```
......@@ -504,7 +499,8 @@ len(code_mun_zum)
76
```python
fichier = pd.read_csv('encuesta_2010/Donnees_2010_csv/RESAGEBURB_04XLS10.csv', encoding = 'latin_1')
fichier = pd.read_csv('encuesta_2010/Donnees_2010_csv/RESAGEBURB_04XLS10.csv'
, encoding = 'latin_1')
print("Nombre de champs: ",len(list(fichier)))
list(fichier)[:6]
```
......@@ -542,7 +538,8 @@ for file in liste_fichier:
```python
# pour chaque fichier dans la liste, pandas ouvre le csv, le convertit en dataframe et concatène les fichiers
# pour chaque fichier dans la liste, pandas ouvre le csv,
# le convertit en dataframe et concatène les fichiers
viv_pers_grand_mx_2010 = pd.concat([ pd.read_csv(df, encoding = 'UTF-8',
dtype={'ENTIDAD': str,
'MUN': str,
......@@ -607,7 +604,8 @@ viv_pers_grand_mx_2010.shape
```python
viv_pers_grand_mx_2010_filteredMUN =
viv_pers_grand_mx_2010[viv_pers_grand_mx_2010['CODE_MUN'].isin(code_mun_zum)]
viv_pers_grand_mx_2010[viv_pers_grand_mx_2010['CODE_MUN']
.isin(code_mun_zum)]
viv_pers_grand_mx_2010_filteredMUN.shape
```
......@@ -616,9 +614,9 @@ viv_pers_grand_mx_2010_filteredMUN.shape
```python
difference = pd.DataFrame({'Total des 3 Entidads':[viv_pers_grand_mx_2010.shape[0]],
'Conservé':[viv_pers_grand_mx_2010_filteredMUN.shape[0]],
'Pourcentage supprimé':[round(((viv_pers_grand_mx_2010.shape[0] -
viv_pers_grand_mx_2010_filteredMUN.shape[0])*100
/ viv_pers_grand_mx_2010.shape[0]),2)],
'Pourcentage supprimé':[round(((viv_pers_grand_mx_2010.shape[0]
- viv_pers_grand_mx_2010_filteredMUN.shape[0])*100
/ viv_pers_grand_mx_2010.shape[0]),2)],
'Différence':[viv_pers_grand_mx_2010.shape[0]
- viv_pers_grand_mx_2010_filteredMUN.shape[0],
]
......@@ -631,7 +629,8 @@ difference
```python
viv_pers_grand_mx_2010_clean =
viv_pers_grand_mx_2010_filteredMUN[viv_pers_grand_mx_2010_filteredMUN['NOM_LOC'].str.startswith('Total', na=False) != True]
viv_pers_grand_mx_2010_filteredMUN[viv_pers_grand_mx_2010_filteredMUN['NOM_LOC']
.str.startswith('Total', na=False) != True]
```
......@@ -647,7 +646,8 @@ difference = pd.DataFrame({'Total des 3 Entidads':[viv_pers_grand_mx_2010_filter
'Pourcentage supprimé':[round(((viv_pers_grand_mx_2010_filteredMUN.shape[0] -
viv_pers_grand_mx_2010_clean.shape[0])*100
/ viv_pers_grand_mx_2010_filteredMUN.shape[0]),2)],
'Différence':[viv_pers_grand_mx_2010_filteredMUN.shape[0] - viv_pers_grand_mx_2010_clean.shape[0],
'Différence':[viv_pers_grand_mx_2010_filteredMUN.shape[0]
- viv_pers_grand_mx_2010_clean.shape[0],
]
}, {'Lignes'})
difference
......@@ -677,14 +677,16 @@ differences
- Enregistrement dans un csv
```python
viv_pers_grand_mx_2010_clean.to_csv('persona_vivienda_zm_mexico_2010.csv', sep=',', encoding='utf-8')
viv_pers_grand_mx_2010_clean.to_csv('persona_vivienda_zm_mexico_2010.csv',
sep=',', encoding='utf-8')
```
- Compression du csv
```bash
%%bash
7za -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on a ./persona_vivienda_zm_mexico_2010.7z ./persona_vivienda_zm_mexico_2010.csv
7za -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on a ./persona_vivienda_zm_mexico_2010.7z \
./persona_vivienda_zm_mexico_2010.csv
```
# Session information
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment