Procédure avant intégration de données

Liste des points à vérifier avant lancement des scripts d'intégration des données transmises par les administrateurs de données. Chaque administrateur de données est abrégé (Ex. : cbna, cenpaca, cbnmc, cbnmed…) et nous indiquons cette abréviation de manière générique avec le terme <admin-data>.

• En local :
  • tester l'intégration des données dans une copie du dépôt sinp-<region>-data sur une copie de la base de données de Prod
  • corriger les fichiers csv transmis si nécessaire
  • préparer une nouvelle archive tar.bz2, au format : <date>_sinp_<region>_<admin-data>.tar.bz2. Ex. : 2024-09-04_sinp_paca_cenpaca.tar.bz2
  • téléverser sur l'archive sur le dépôt SFTP hébergé sur le serveur bkp-srv en tant que data
• Se connecter sur le dépôt SFTP hébergé sur le serveur bkp-srv en tant que data :
  • Pour chaque dossier correspondant à un administrateur de données, vérifier :
    • la présence d'un fichier .tar.bz2
    • la correspondance de taille de chaque fichier .tar.bz2 entre la version locale et la version du distante
• Se connecter sur le serveur db-srv en tant que geonat
  • Vérifier que le dossier ~/data/, correspondant au dépôt Git sinp-<region>-data, est bien à jour :

     cd ~/data/ ; git pull 

  • Pour chaque dossier correspondant à un administrateur de données (Ex. : cbna, cenpaca, cbnmc, cbnmed…), vérifier :
    • le fichier ~/data/<admin-data>/config/settings.ini contient bien la date utilisée pour l'archive tar.bz2 dans le paramètre <admin-data>_import_date
    • vérifier que le dossier ~/data/<admin-data>/raw/data/ est vide
  • Créer une session Screen :

    screen -S <admin-data>-integration

    • Se placer dans le dossier bin/ :

      cd ~/data/<admin-data>/bin/

    • Lancer le script d'import en mode verbeux :

      ./import_update.sh -v

  • Vérifier que tous les scripts SQL lancés dans des transactions fonctionnent :
    • présence du log COMMIT pour chacun d'entre eux.
      • dans une session Screen, utiliser :
        • CTRL+A, puis ESC pour pouvoir remonter dans les logs de la session. Puis à nouveau ESC pour revenir en mode normal.
        • CTR+A, puis CTRL+D pour se détacher de la session.
        • screen -ls pour lister les sessions.
        • sreen -r <id-session> pour revenir dans une session.
    • absence de log d'erreur.