| Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente |
| serveurs:sinp-paca:import-donnees [2021/03/02 11:35] – [Ré-initialisation de la base de données GeoNature] jpmilcent | serveurs:sinp-paca:import-donnees [2021/03/04 09:51] (Version actuelle) – supprimée jpmilcent |
|---|
| ====== Import des données SINP-PACA pour GeoNature et l'Atlas ====== | |
| |
| ===== Ré-initialisation de la base de données GeoNature ===== | |
| <note warning> Cette manipulation est dangereuse car elle supprime tout le contenu de la base de données de GeoNature !</note> | |
| * [[serveurs:installation:web-srv:geonature-mise-a-jour#installation_d_une_branche_de_test_de_geonature|Suivre les étapes de mise à jour d'une installation de GeoNature]], au niveau de l'intervention sur "//db-srv//" suivre ceci: | |
| * Sur l'instance "db-srv" connecté en tant que "geonat", suivre les étapes suivantes | |
| * Mettre à ''true'' le paramètre ''drop_apps_db'' du fichier ''~/geonature/config/settings.ini''. | |
| * Se placer dans le dossier ''~/geonature/install/'' avec la commande : ''cd ~/geonature/install/'' | |
| * Lancer une session détachable car la manipulation peut être longue et une perte de connexion SSH possible : ''screen -S install-db'' | |
| * Voir [[serveurs:installation:divers#commande_screen|la documentation générale concernant les commandes à utiliser avec Screen]] pour quitter puis se reconnecter à une session. | |
| * Lancer le script d'installation de la base de données de GeoNature : ''./install_db.sh'' | |
| * Vérifier l’absence d'erreurs de l'installation dans le fichier '' ~/geonature/var/log/install_db.log '' | |
| * **ATTENTION** : remettre à ''false'' le paramètre ''drop_apps_db'' du fichier ''~/geonature/config/settings.ini'' ! | |
| |
| |
| |
| ===== Récupération en local du dépôt "data" et transfert sur le serveur ===== | |
| * En local, sur votre machine, récupérer le dépôt Github "[[https://github.com/cbn-alpin/sinp-paca-data|sinp-paca-data]]" : ''git clone git@github.com:cbn-alpin/sinp-paca-data.git'' | |
| * Suivre les éventuelles étapes indiquées dans les fichiers [[https://github.com/cbn-alpin/sinp-paca-data/blob/master/cbna/README.md|README.md (CBNA)]] et [[https://github.com/cbn-alpin/sinp-paca-data/blob/master/cenpaca/README.md|README.md (CEN-PACA)]] | |
| * **ATTENTION** : sur le serveur, sauvegarder le dossier "data" : voir ci-dessous | |
| * Se placer à la racine du dossier //sinp-paca-data// | |
| * Transférer les scripts : ''<nowiki> rsync -av --copy-unsafe-links --exclude var --exclude .git --exclude .editorconfig --exclude .vscode --exclude .gitignore --exclude settings.ini --exclude "data/raw/*" --exclude venv --exclude .venv --exclude "import-parser/data/*" ./ geonat@db-paca-sinp:~/data/ --dry-run </nowiki>'' | |
| * Supprimer l'option ''<nowiki> --dry-run </nowiki>'' si tout semble ok pour effectuer le transfert réel | |
| * Se connecter au serveur | |
| * Créer les fichiers //settings.ini// à partir des fichiers //settings.sample.ini// pour : //area//, //cbna-cbnmed//, //cenpaca// et //shared// | |
| * Préparer l'environnement du script //import-parser// en suivant les indications du fichier [[https://github.com/cbn-alpin/sinp-paca-data/blob/master/import-parser/README.md|README.md (import-parser)]] | |
| * **Notes** : il est nécessaire de redonner les droits d'execution à GCC pour tout le monde si l'on veut pouvoir installer correctement le venv avec ''sudo chmod o+x /usr/bin/gcc''. Une fois l'installation terminée, retirer les à nouveau avec '' chmod o-x /usr/bin/gcc ''. | |
| * **Notes** : les données brutes nécessaires aux scripts sont automatiquement téléchargées depuis Dropbox | |
| |
| ===== Sauvegarde du dossier "data" de l'instance "db-srv" ===== | |
| * Se connecter à l'utilisateur "admin" sur le serveur : ''ssh geonat@db-paca-sinp'' | |
| * Créer le dossier de sauvegarde : '' mkdir -p backups/data '' | |
| * Sauvegarder le dossier "data" : '' mv data backups/data/$(date +%F) '' | |
| * Recréer le dossier "data" vide : '' mkdir data '' | |
| |
| ===== Ajout/Correction du référentiel géographique dans la base de données GeoNature ===== | |
| Il est nécessaire d'ajouter dans le référentiel géographique de GeoNature le contour du territoire du SINP. | |
| Pour ce faire, nous allons utiliser le script ''area'' du dépôt "data" : | |
| * Se connecter au serveur "db" en tant qu'admin : ''ssh geonat@db-paca-sinp'' | |
| * Se placer dans le dossier // ~/data/area/ // de l'utilisateur //geonat// : ''cd ~/data/area'' | |
| * Créer le fichier de configuration : ''cp config/settings.sample.ini config/settings.ini'' | |
| * Modifier le fichier //settings.ini// en fonction de l'installation locale : ''vi config/settings.ini'' | |
| * Lancer une session détachable : ''screen -S import-area'' | |
| * Lancer le script : ''cd bin/ ; ./initialize.sh -v '' | |
| * Voir ci-dessus les commandes à utiliser pour quitter puis se reconnecter à une session | |
| * Vérifier l’absence d'erreurs dans la session et vérifier le contenu de la base de données | |
| |
| ===== Import des données "cen-paca" au format d'échange dans GeoNature module Synthèse ===== | |
| * Se connecter au serveur "db" en tant qu'admin : ''ssh geonat@db-paca-sinp'' | |
| * Se placer dans le dossier // ~/data/cenpaca/ // de l'utilisateur //geonat// : ''cd ~/data/cenpaca'' | |
| * Créer le fichier de configuration : ''cp config/settings.sample.ini config/settings.ini'' | |
| * Modifier le fichier //settings.ini// en fonction de l'installation locale : ''vi config/settings.ini'' | |
| * Lancer une session détachable : ''screen -S import-cenpaca'' | |
| * Lancer le script : ''cd bin/ ; ./import_initial.sh -v '' | |
| * Voir ci-dessus les commandes à utiliser pour quitter puis se reconnecter à une session | |
| * Vérifier l’absence d'erreurs dans la session et vérifier le contenu de la base de données | |
| |
| ===== Import des données "cbna-cbnmed" au format d'échange dans GeoNature module Synthèse ===== | |
| * Se connecter au serveur "db" en tant qu'admin : ''ssh geonat@db-paca-sinp'' | |
| * Se placer dans le dossier // ~/data/cbna-cbnmed/ // de l'utilisateur //geonat// : ''cd ~/data/cbna-cbnmed'' | |
| * Créer le fichier de configuration : ''cp config/settings.sample.ini config/settings.ini'' | |
| * Modifier le fichier //settings.ini// en fonction de l'installation locale : ''vi config/settings.ini'' | |
| * Lancer une session détachable : ''screen -S import-cbna-cbnmed'' | |
| * Lancer le script : ''cd bin/ ; ./import_initial.sh -v '' | |
| * Voir ci-dessus les commandes à utiliser pour quitter puis se reconnecter à une session | |
| * Vérifier l’absence d'erreurs dans la session et vérifier le contenu de la base de données | |
| ===== Mise à jour des données GeoNature Atlas ===== | |
| * **Ressources** : https://github.com/PnX-SI/GeoNature-atlas/blob/master/docs/vues_materialisees_maj.rst | |
| * Au préalable, ajouter une authentification HTTP au site nature.silene.eu, le temps des tests avant mise en prod. | |
| * Suivre la démarche décrite dans [[serveurs:installation:web-srv:geonature-atlas-mise-a-jour#procedure_de_mise_a_jour_des_donnees|la documentation de gestion des serveurs]] | |
| |
| ===== Importation des images de l'INPN ===== | |
| Suivre la démarche décrite dans [[serveurs:installation:web-srv:geonature-atlas-mise-a-jour#procedure_d_import_des_images_de_l_inpn|la documentation de gestion des serveurs]]. | |
jpmilcent