Procédure avant intégration de données

Liste des points à vérifier avant lancement des scripts d'intégration des données transmises par les administrateurs de données. Chaque administrateur de données est abrégé (Ex. : cbna, cenpaca, cbnmc, cbnmed…) et nous indiquons cette abréviation de manière générique avec le terme <admin-data>.

En local :
- tester l'intégration des données dans une copie du dépôt sinp-<region>-data sur une copie de la base de données de Prod
- corriger les fichiers csv transmis si nécessaire
- préparer une nouvelle archive tar.bz2, au format : <date>_sinp_<region>_<admin-data>.tar.bz2. Ex. : 2024-09-04_sinp_paca_cenpaca.tar.bz2
- téléverser sur l'archive sur le dépôt SFTP hébergé sur le serveur bkp-srv en tant que data
Se connecter sur le dépôt SFTP hébergé sur le serveur bkp-srv en tant que data :
- Pour chaque dossier correspondant à un administrateur de données, vérifier :
  - la présence d'un fichier .tar.bz2
  - la correspondance de taille de chaque fichier .tar.bz2 entre la version locale et la version du distante
Se connecter sur le serveur db-srv en tant que geonat
- Vérifier que le dossier ~/data/, correspondant au dépôt Git sinp-<region>-data, est bien à jour :
```
 cd ~/data/ ; git pull 
```
- Pour chaque dossier correspondant à un administrateur de données (Ex. : cbna, cenpaca, cbnmc, cbnmed…), vérifier :
  - le fichier ~/data/<admin-data>/config/settings.ini contient bien la date utilisée pour l'archive tar.bz2 dans le paramètre <admin-data>_import_date
  - vérifier que le dossier ~/data/<admin-data>/raw/data/ est vide
- Créer une session Screen :
```
screen -S <admin-data>-integration
```
  - Se placer dans le dossier bin/ :
```
cd ~/data/<admin-data>/bin/
```
  - Lancer le script d'import en mode verbeux :
```
./import_update.sh -v
```
- Vérifier que tous les scripts SQL lancés dans des transactions fonctionnent :
  - présence du log COMMIT pour chacun d'entre eux.
    - dans une session Screen, utiliser :
      - CTRL+A, puis ESC pour pouvoir remonter dans les logs de la session. Puis à nouveau ESC pour revenir en mode normal.
      - CTR+A, puis CTRL+D pour se détacher de la session.
      - screen -ls pour lister les sessions.
      - sreen -r <id-session> pour revenir dans une session.
  - absence de log d'erreur.