database:procedure-avant-integration-data [CBNA SINP]

Cette page est en lecture seule. Vous pouvez afficher le texte source, mais ne pourrez pas le modifier. Contactez votre administrateur si vous pensez qu'il s'agit d'une erreur.
====== Procédure avant intégration de données ======

Liste des points à vérifier avant lancement des scripts d'intégration des données transmises par les administrateurs de données.
Chaque administrateur de données est abrégé (Ex. : cbna, cenpaca, cbnmc, cbnmed...) et nous indiquons cette abréviation de manière générique avec le terme ''<admin-data>''.

  * En local :
    * tester l'intégration des données dans une copie du dépôt ''sinp-<region>-data'' sur une copie de la base de données de Prod
    * corriger les fichiers ''csv'' transmis si nécessaire
    * préparer une nouvelle archive ''tar.bz2'', au format : ''<date>_sinp_<region>_<admin-data>.tar.bz2''. Ex. : ''2024-09-04_sinp_paca_cenpaca.tar.bz2''
    * téléverser sur l'archive sur le dépôt SFTP hébergé sur le serveur ''bkp-srv'' en tant que ''data'' 
  * Se connecter sur le dépôt SFTP hébergé sur le serveur ''bkp-srv'' en tant que ''data'' :
    * Pour chaque dossier correspondant à un administrateur de données, vérifier :
      * la présence d'un fichier ''.tar.bz2''
      * la correspondance de taille de chaque fichier ''.tar.bz2'' entre la version locale et la version du distante
  * Se connecter sur le serveur ''db-srv'' en tant que ''geonat''
    * Vérifier que le dossier ''~/data/'', correspondant au dépôt Git //sinp-<region>-data//, est bien à jour : <code bash> cd ~/data/ ; git pull </code>
    * Pour chaque dossier correspondant à un administrateur de données (Ex. : cbna, cenpaca, cbnmc, cbnmed...), vérifier :
      * le fichier ''~/data/<admin-data>/config/settings.ini'' contient bien la date utilisée pour l'archive ''tar.bz2'' dans le paramètre ''<admin-data>_import_date''
      * vérifier que le dossier ''~/data/<admin-data>/raw/data/'' est vide
    * Créer une session Screen : <code bash>screen -S <admin-data>-integration</code>
      * Se placer dans le dossier ''bin/'' : <code bash>cd ~/data/<admin-data>/bin/</code>
      * Lancer le script d'import en mode verbeux : <code bash>./import_update.sh -v</code>
    * Vérifier que tous les scripts SQL lancés dans des transactions fonctionnent :
      * présence du log ''COMMIT'' pour chacun d'entre eux.
        * dans une session Screen, utiliser :
          * ''CTRL+A'', puis ''ESC'' pour pouvoir remonter dans les logs de la session. Puis à nouveau ''ESC'' pour revenir en mode normal. 
          * ''CTR+A'', puis ''CTRL+D'' pour se détacher de la session.
          * ''screen -ls'' pour lister les sessions.
          * ''sreen -r <id-session>'' pour revenir dans une session.
      * absence de log d'erreur.