Commit 7ff488d6 authored by Bakaniko's avatar Bakaniko

mise en forme code annexes 1 et 2

parent a330ab3a
......@@ -321,8 +321,6 @@ Cette variable permet de passer d'un échantillon enquếtée à une population
# Annexes
## Annexe 1 - Script Python permettant la base générale
```python
# vérifications préliminaires
import sys
......@@ -349,7 +347,7 @@ for fichier in glob.glob('mexique/CSV/*'):
liste_fichier
```
### Séparation des fichiers de la Zone métropolitaine de Mexico
- Séparation des fichiers de la Zone métropolitaine de Mexico
```python
......@@ -369,7 +367,7 @@ for file in liste_fichier:
#liste_zm_mexico.append(file)
```
### Séparation des fichiers VVIENDA et PERSONA
- Séparation des fichiers VVIENDA et PERSONA
```python
......@@ -398,7 +396,7 @@ for fichier in vivienda_zm_mexico :
mexique/CSV/TR_VIVIENDA09.CSV
#### Concaténation des fichiers
- Concaténation des fichiers
```python
......@@ -422,7 +420,7 @@ persona_mx.shape
(2475057, 86)
#### fusion des bases VIVIENDA et PERSONA
- fusion des bases VIVIENDA et PERSONA
```python
......@@ -438,7 +436,7 @@ result.to_csv('persona_viviend_zm_mexico.csv', sep=',', encoding='utf-8')
## Annexe 2 - Script python permettant le traitement des données brutes de 2010
### Conversion des fichiers excel en csv avec csvkit:
- Conversion des fichiers excel en csv avec csvkit:
http://csvkit.readthedocs.io/en/1.0.2/
......@@ -476,7 +474,7 @@ import pandas as pd
import numpy as np
```
## création d'une liste contenant tous les fichiers du dossier encuesta_2010/Donnees_2010_csv/
- création d'une liste contenant tous les fichiers du dossier encuesta_2010/Donnees_2010_csv/
```python
......@@ -493,7 +491,7 @@ len(liste_fichier)
## Séparation des fichiers de la Zone métropolitaine de Mexico
- Séparation des fichiers de la Zone métropolitaine de Mexico
```python
......@@ -540,7 +538,7 @@ for file in liste_fichier:
'encuesta_2010/Donnees_2010_csv/RESAGEBURB_15XLS10.csv',
'encuesta_2010/Donnees_2010_csv/RESAGEBURB_09XLS10.csv']
### Concaténation des fichiers
- Concaténation des fichiers
```python
......@@ -561,7 +559,7 @@ viv_pers_grand_mx_2010.shape
(144151, 198)
### Création du code Municipe ['CODE_MUN']
- Création du code Municipe ['CODE_MUN']
```python
......@@ -571,14 +569,16 @@ viv_pers_grand_mx_2010['NOM_ENT'].unique()
array(['Hidalgo', 'México', 'Distrito Federal'], dtype=object)
```python
viv_pers_grand_mx_2010['CODE_MUN'] = viv_pers_grand_mx_2010['ENTIDAD'] + viv_pers_grand_mx_2010['MUN']
viv_pers_grand_mx_2010['CODE_MUN'] = viv_pers_grand_mx_2010['ENTIDAD']
+ viv_pers_grand_mx_2010['MUN']
viv_pers_grand_mx_2010.shape
```
(144151, 199)
```python
viv_pers_grand_mx_2010['CODE_LOC'] = viv_pers_grand_mx_2010['CODE_MUN'] + viv_pers_grand_mx_2010['LOC']
viv_pers_grand_mx_2010['CODE_LOC'] = viv_pers_grand_mx_2010['CODE_MUN']
+ viv_pers_grand_mx_2010['LOC']
viv_pers_grand_mx_2010.shape
```
......@@ -586,54 +586,52 @@ viv_pers_grand_mx_2010.shape
```python
viv_pers_grand_mx_2010['CODE_AGEB'] = viv_pers_grand_mx_2010['CODE_LOC'] + viv_pers_grand_mx_2010['AGEB']
viv_pers_grand_mx_2010['CODE_AGEB'] = viv_pers_grand_mx_2010['CODE_LOC']
+ viv_pers_grand_mx_2010['AGEB']
viv_pers_grand_mx_2010.shape
```
(144151, 201)
```python
viv_pers_grand_mx_2010['CODE_MZA'] = viv_pers_grand_mx_2010['CODE_AGEB'] + viv_pers_grand_mx_2010['MZA']
viv_pers_grand_mx_2010['CODE_MZA'] = viv_pers_grand_mx_2010['CODE_AGEB']
+ viv_pers_grand_mx_2010['MZA']
viv_pers_grand_mx_2010.shape
```
(144151, 202)
## Filtrer les résultats
### Par Municipe
- Filtrer les résultats
- Par Municipe
```python
viv_pers_grand_mx_2010_filteredMUN = viv_pers_grand_mx_2010[viv_pers_grand_mx_2010['CODE_MUN'].isin(code_mun_zum)]
viv_pers_grand_mx_2010_filteredMUN =
viv_pers_grand_mx_2010[viv_pers_grand_mx_2010['CODE_MUN'].isin(code_mun_zum)]
viv_pers_grand_mx_2010_filteredMUN.shape
```
(105462, 202)
```python
difference = pd.DataFrame({'Total des 3 Entidads':[viv_pers_grand_mx_2010.shape[0]],
'Conservé':[viv_pers_grand_mx_2010_filteredMUN.shape[0]],
'Pourcentage supprimé':[round(((viv_pers_grand_mx_2010.shape[0] -
viv_pers_grand_mx_2010_filteredMUN.shape[0])*100/viv_pers_grand_mx_2010.shape[0]),2)],
'Différence':[viv_pers_grand_mx_2010.shape[0] - viv_pers_grand_mx_2010_filteredMUN.shape[0],
viv_pers_grand_mx_2010_filteredMUN.shape[0])*100
/ viv_pers_grand_mx_2010.shape[0]),2)],
'Différence':[viv_pers_grand_mx_2010.shape[0]
- viv_pers_grand_mx_2010_filteredMUN.shape[0],
]
}, {'Lignes'})
difference
```
### Suppression des lignes de totaux
- Suppression des lignes de totaux
```python
viv_pers_grand_mx_2010_clean = viv_pers_grand_mx_2010_filteredMUN[viv_pers_grand_mx_2010_filteredMUN['NOM_LOC'].str.startswith('Total', na=False) != True]
viv_pers_grand_mx_2010_clean =
viv_pers_grand_mx_2010_filteredMUN[viv_pers_grand_mx_2010_filteredMUN['NOM_LOC'].str.startswith('Total', na=False) != True]
```
......@@ -641,19 +639,14 @@ viv_pers_grand_mx_2010_clean = viv_pers_grand_mx_2010_filteredMUN[viv_pers_grand
viv_pers_grand_mx_2010_clean.shape
```
(101732, 202)
```python
difference = pd.DataFrame({'Total des 3 Entidads':[viv_pers_grand_mx_2010_filteredMUN.shape[0]],
'Conservé':[viv_pers_grand_mx_2010_clean.shape[0]],
'Pourcentage supprimé':[round(((viv_pers_grand_mx_2010_filteredMUN.shape[0] -
viv_pers_grand_mx_2010_clean.shape[0])*100/viv_pers_grand_mx_2010_filteredMUN.shape[0]),2)],
viv_pers_grand_mx_2010_clean.shape[0])*100
/ viv_pers_grand_mx_2010_filteredMUN.shape[0]),2)],
'Différence':[viv_pers_grand_mx_2010_filteredMUN.shape[0] - viv_pers_grand_mx_2010_clean.shape[0],
]
}, {'Lignes'})
......@@ -662,7 +655,7 @@ difference
### Différence totale
- Différence totale
```python
......@@ -674,19 +667,20 @@ differences = pd.DataFrame({'Total des 3 Entidads':[viv_pers_grand_mx_2010.shape
/viv_pers_grand_mx_2010.shape[0]
),2)
],
'Différence':[viv_pers_grand_mx_2010.shape[0] - viv_pers_grand_mx_2010_clean.shape[0],
'Différence':[viv_pers_grand_mx_2010.shape[0]
- viv_pers_grand_mx_2010_clean.shape[0],
]
}, {'Lignes'})
differences
```
## Enregistrement dans un csv
- Enregistrement dans un csv
```python
viv_pers_grand_mx_2010_clean.to_csv('persona_vivienda_zm_mexico_2010.csv', sep=',', encoding='utf-8')
```
### Compression du csv
- Compression du csv
```bash
%%bash
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment