====== Procédure avant intégration de données ====== Liste des points à vérifier avant lancement des scripts d'intégration des données transmises par les administrateurs de données. Chaque administrateur de données est abrégé (Ex. : cbna, cenpaca, cbnmc, cbnmed...) et nous indiquons cette abréviation de manière générique avec le terme ''''. * En local : * tester l'intégration des données dans une copie du dépôt ''sinp--data'' sur une copie de la base de données de Prod * corriger les fichiers ''csv'' transmis si nécessaire * préparer une nouvelle archive ''tar.bz2'', au format : ''_sinp__.tar.bz2''. Ex. : ''2024-09-04_sinp_paca_cenpaca.tar.bz2'' * téléverser sur l'archive sur le dépôt SFTP hébergé sur le serveur ''bkp-srv'' en tant que ''data'' * Se connecter sur le dépôt SFTP hébergé sur le serveur ''bkp-srv'' en tant que ''data'' : * Pour chaque dossier correspondant à un administrateur de données, vérifier : * la présence d'un fichier ''.tar.bz2'' * la correspondance de taille de chaque fichier ''.tar.bz2'' entre la version locale et la version du distante * Se connecter sur le serveur ''db-srv'' en tant que ''geonat'' * Vérifier que le dossier ''~/data/'', correspondant au dépôt Git //sinp--data//, est bien à jour : cd ~/data/ ; git pull * Pour chaque dossier correspondant à un administrateur de données (Ex. : cbna, cenpaca, cbnmc, cbnmed...), vérifier : * le fichier ''~/data//config/settings.ini'' contient bien la date utilisée pour l'archive ''tar.bz2'' dans le paramètre ''_import_date'' * vérifier que le dossier ''~/data//raw/data/'' est vide * Créer une session Screen : screen -S -integration * Se placer dans le dossier ''bin/'' : cd ~/data//bin/ * Lancer le script d'import en mode verbeux : ./import_update.sh -v * Vérifier que tous les scripts SQL lancés dans des transactions fonctionnent : * présence du log ''COMMIT'' pour chacun d'entre eux. * dans une session Screen, utiliser : * ''CTRL+A'', puis ''ESC'' pour pouvoir remonter dans les logs de la session. Puis à nouveau ''ESC'' pour revenir en mode normal. * ''CTR+A'', puis ''CTRL+D'' pour se détacher de la session. * ''screen -ls'' pour lister les sessions. * ''sreen -r '' pour revenir dans une session. * absence de log d'erreur.