Différences

Ci-dessous, les différences entre deux révisions de la page.

--- serveurs:sinp-paca:import-donnees [2021/03/02 16:25] – [Import des données "cen-paca" au format d'échange dans GeoNature module Synthèse] jpmilcent
+++ serveurs:sinp-paca:import-donnees [2021/03/04 09:51] (Version actuelle) – supprimée jpmilcent
@@ Ligne 1: / Ligne 1: @@
-====== Import des données SINP-PACA pour GeoNature et l'Atlas ======
-===== Ré-initialisation de la base de données GeoNature =====
-<note warning> Cette manipulation est dangereuse car elle supprime tout le contenu de la base de données de GeoNature !</note>
-  * [[serveurs:installation:web-srv:geonature-mise-a-jour#installation_d_une_branche_de_test_de_geonature|Suivre les étapes de mise à jour d'une installation de GeoNature]], au niveau de l'intervention sur "//db-srv//" suivre ceci:
-    * Sur l'instance "db-srv" connecté en tant que "geonat", suivre les étapes suivantes
-    * Mettre à ''true'' le paramètre ''drop_apps_db'' du fichier ''~/geonature/config/settings.ini''.
-    * Se placer dans le dossier ''~/geonature/install/'' avec la commande : ''cd ~/geonature/install/''
-    * Lancer une session détachable car la manipulation peut être longue et une perte de connexion SSH possible : ''screen -S install-db''
-      * Voir [[serveurs:installation:divers#commande_screen|la documentation générale concernant les commandes à utiliser avec Screen]] pour quitter puis se reconnecter à une session.
-    * Lancer le script d'installation de la base de données de GeoNature : ''./install_db.sh''
-    * Vérifier l’absence d'erreurs de l'installation dans le fichier '' ~/geonature/var/log/install_db.log ''
-    * **ATTENTION** : remettre à ''false'' le paramètre ''drop_apps_db'' du fichier ''~/geonature/config/settings.ini'' !
-===== Récupération en local du dépôt "data" et transfert sur le serveur =====
-  * En local, sur votre machine, récupérer le dépôt Github "[[https://github.com/cbn-alpin/sinp-paca-data|sinp-paca-data]]" : ''git clone git@github.com:cbn-alpin/sinp-paca-data.git''
-  * Suivre les éventuelles étapes indiquées dans les fichiers [[https://github.com/cbn-alpin/sinp-paca-data/blob/master/cbna/README.md|README.md (CBNA)]] et [[https://github.com/cbn-alpin/sinp-paca-data/blob/master/cenpaca/README.md|README.md (CEN-PACA)]]
-  * **ATTENTION** : sur le serveur, sauvegarder le dossier "data" : voir ci-dessous
-  * Se placer à la racine du dossier //sinp-paca-data//
-  * Transférer les scripts : ''<nowiki> rsync -av --copy-unsafe-links --exclude var --exclude .git --exclude .editorconfig --exclude .vscode --exclude .gitignore --exclude settings.ini --exclude "data/raw/*" --exclude venv --exclude .venv --exclude "import-parser/data/*" ./ geonat@db-paca-sinp:~/data/ --dry-run </nowiki>''
-    * Supprimer l'option ''<nowiki> --dry-run </nowiki>'' si tout semble ok pour effectuer le transfert réel
-  * Se connecter au serveur
-    * Créer les fichiers //settings.ini// à partir des fichiers //settings.sample.ini// pour : //area//, //cbna-cbnmed//, //cenpaca// et //shared//
-    * Préparer l'environnement du script //import-parser// en suivant les indications du fichier [[https://github.com/cbn-alpin/sinp-paca-data/blob/master/import-parser/README.md|README.md (import-parser)]]
-      * **Notes** : il est nécessaire de redonner les droits d'execution à GCC pour tout le monde si l'on veut pouvoir installer correctement le venv avec ''sudo chmod o+x /usr/bin/gcc''. Une fois l'installation terminée, retirer les à nouveau avec  '' chmod o-x /usr/bin/gcc ''.
-  * **Notes** : les données brutes nécessaires aux scripts sont automatiquement téléchargées depuis Dropbox
-===== Sauvegarde du dossier "data" de l'instance "db-srv" =====
-  * Se connecter à l'utilisateur "admin" sur le serveur : ''ssh geonat@db-paca-sinp''
-  * Créer le dossier de sauvegarde : '' mkdir -p backups/data ''
-  * Sauvegarder le dossier "data" : '' mv data backups/data/$(date +%F) ''
-  * Recréer le dossier "data" vide : '' mkdir data ''
-===== Ajout/Correction du référentiel géographique dans la base de données GeoNature =====
-Il est nécessaire d'ajouter dans le référentiel géographique de GeoNature le contour du territoire du SINP.
-Pour ce faire, nous allons utiliser le script ''area'' du dépôt "data" :
-  * Se connecter au serveur "db" en tant qu'admin : ''ssh geonat@db-paca-sinp''
-  * Se placer dans le dossier // ~/data/area/ // de l'utilisateur //geonat// : ''cd ~/data/area''
-  * Créer le fichier de configuration : ''cp config/settings.sample.ini config/settings.ini''
-  * Modifier le fichier //settings.ini// en fonction de l'installation locale : ''vi config/settings.ini''
-  * Lancer une session détachable : ''screen -S import-area''
-    * Voir [[serveurs:installation:divers#commande_screen|la documentation générale concernant les commandes à utiliser avec Screen]] pour quitter puis se reconnecter à une session.
-  * Lancer le script : ''cd bin/ ; ./initialize.sh -v ''
-    * Temps approximatif d'exécution : ~3h
-  * Vérifier l’absence d'erreurs dans la session et vérifier le contenu de la base de données
-===== Import des données "cen-paca" au format d'échange dans GeoNature module Synthèse =====
-  * Se connecter au serveur "db" en tant qu'admin : ''ssh geonat@db-paca-sinp''
-  * Se placer dans le dossier // ~/data/cenpaca/ // de l'utilisateur //geonat// : ''cd ~/data/cenpaca''
-  * Créer le fichier de configuration : ''cp config/settings.sample.ini config/settings.ini''
-  * Modifier le fichier //settings.ini// en fonction de l'installation locale : ''vi config/settings.ini''
-  * Lancer une session détachable : ''screen -S import-cenpaca''
-    * Voir [[serveurs:installation:divers#commande_screen|la documentation générale concernant les commandes à utiliser avec Screen]] pour quitter puis se reconnecter à une session.
-  * Lancer le script : ''cd bin/ ; ./import_initial.sh -v ''
-    * Temps approximatif d'exécution : ~2h20
-  * Vérifier l’absence d'erreurs dans la session et vérifier le contenu de la base de données
-===== Import des données "cbna-cbnmed" au format d'échange dans GeoNature module Synthèse =====
-  * Se connecter au serveur "db" en tant qu'admin : ''ssh geonat@db-paca-sinp''
-  * Se placer dans le dossier // ~/data/cbna-cbnmed/ // de l'utilisateur //geonat// : ''cd ~/data/cbna-cbnmed''
-  * Créer le fichier de configuration : ''cp config/settings.sample.ini config/settings.ini''
-  * Modifier le fichier //settings.ini// en fonction de l'installation locale : ''vi config/settings.ini''
-  * Lancer une session détachable : ''screen -S import-cbna-cbnmed''
-    * Voir [[serveurs:installation:divers#commande_screen|la documentation générale concernant les commandes à utiliser avec Screen]] pour quitter puis se reconnecter à une session.
-  * Lancer le script : ''cd bin/ ; ./import_initial.sh -v ''
-  * Vérifier l’absence d'erreurs dans la session et vérifier le contenu de la base de données
-===== Mise à jour des données GeoNature Atlas =====
-  * **Ressources** : https://github.com/PnX-SI/GeoNature-atlas/blob/master/docs/vues_materialisees_maj.rst
-  * Au préalable, ajouter une authentification HTTP au site nature.silene.eu, le temps des tests avant mise en prod.
-  * Suivre la démarche décrite dans [[serveurs:installation:web-srv:geonature-atlas-mise-a-jour#procedure_de_mise_a_jour_des_donnees|la documentation de gestion des serveurs]]
-===== Importation des images de l'INPN =====
-Suivre la démarche décrite dans [[serveurs:installation:web-srv:geonature-atlas-mise-a-jour#procedure_d_import_des_images_de_l_inpn|la documentation de gestion des serveurs]].