serveurs:sinp-paca:import-test

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision		 Révision précédente
serveurs:sinp-paca:import-test [2020/08/25 14:51] – [Sauvegarde du dossier "data"] jpmilcentserveurs:sinp-paca:import-test [2021/03/04 09:51] (Version actuelle) – supprimée jpmilcent
Ligne 1: Ligne 1:
-====== Import des données de test ====== 
  
-===== Récupération du dépôt "data" ===== 
-  * En local, sur votre machine, récupérer le dépôt Github "[[https://github.com/cbn-alpin/sinp-paca-data|sinp-paca-data]]" : ''git clone git@github.com:cbn-alpin/sinp-paca-data.git'' 
-  * Suivre les éventuelles étapes indiquées dans les fichiers [[https://github.com/cbn-alpin/sinp-paca-data/blob/master/cbna/README.md|README.md (CBNA)]] et [[https://github.com/cbn-alpin/sinp-paca-data/blob/master/cenpaca/README.md|README.md (CEN-PACA)]] 
-  * Sur le serveur, sauvegarder le dossier "data" : voir ci-dessous 
-  * Se placer à la racine du dossier //sinp-paca-data//  
-  * Transférer les scripts : ''<nowiki> rsync -av --copy-unsafe-links --exclude var --exclude .git --exclude .editorconfig --exclude .vscode --exclude .gitignore --exclude settings.ini --exclude data/raw/* --exclude venv ./ geonat@db-paca-sinp:~/data/ --dry-run </nowiki>'' 
-    * Supprimer l'option ''<nowiki> --dry-run </nowiki>'' si tout semble ok pour effectuer le transfert réel 
-  * Se connecter au serveur  
-    * Créer les fichiers //settings.ini// à partir des fichiers //settings.sample.ini// pour : //cbna//, //cenpaca// et //shared// 
-    * Préparer l'environnement du script //import-parser// en suivant les indications du fichier [[https://github.com/cbn-alpin/sinp-paca-data/blob/master/import-parser/README.md|README.md (import-parser)]] 
-      * **Notes** : il est nécessaire de redonner les droits d'execution à GCC pour tout le monde si l'on veut pouvoir installer correctement le venv avec ''sudo chmod o+x /usr/bin/gcc''. Une fois l'installation terminée, retirer les à nouveau avec  '' chmod o-x /usr/bin/gcc ''. 
-  * **Notes** : les données brutes nécessaires aux scripts sont automatiquement téléchargées depuis Dropbox 
- 
-===== Sauvegarde du dossier "data" ===== 
-  * Se connecter à l'utilisateur "admin" sur le serveur : ''ssh geonat@db-paca-sinp'' 
-  * Créer le dossier de sauvegarde : '' mkdir -p backups/data '' 
-  * Sauvegarder le dossier "data" : '' mv data backups/data/$(date +%F) '' 
-  * Recréer le dossier "data" vide : '' mkdir data '' 
-===== Commande Screen ===== 
-  * Le script d'import peut prendre plusieurs heures pour s'éxecuter. Afin de pouvoir revenir sur l'état du script, nous allons utiliser la commande ''screen''. Elle permet de créer un session qui peut être récupéré à tout moment. 
-  * Principe générale d'utilisation de ''Screen'' : 
-    - Pour lancer une nouvelle session : ''screen -S <nom-de-la-session>'' 
-    - Lancer la commande/script désiré 
-    - Utiliser les séquences de touches suivante pour se détacher de la session : ''Ctrl-a + Ctrl-d''  
-    - Pour voir la liste des sessions en cours : ''screen -ls'' 
-      - Le numéro de session correspond au nombre présent devant ".pts-0" 
-    - Pour se connecter à nouveau à une session : ''screen -r <numero-session>'' 
-  * Autres commandes : 
-    * Détacher une session toujours attaché pour s'y attacher à nouveau : ''screen -D <numero-session>.<nom-session>'' 
-    * Quitter et supprimer une session en cours : ''CTRL+a'' et '':quit'' 
- 
-===== Exécution du script d'import dans GeoNature module Synthèse ===== 
-  * Se connecter au serveur "db" en tant qu'admin : ''ssh admin@db-paca-sinp'' 
-  * Se placer dans le dossier //~/data/cbna// de l'utilisateur //admin// : ''cd ~/data/cbna'' 
-  * Créer le fichier de configuration : ''cp settings.example.ini settings.ini'' 
-  * Modifier le fichier //settings.ini// en fonction de l'installation locale : ''vi settings.ini'' 
-  * Lancer une session détachable : ''screen -S import-cbna'' 
-  * Lancer le script : ''./import.sh'' 
-  * Voir ci-dessus les commandes à utiliser pour quitter puis se reconnecter à une session 
-  * Vérifier l’absence d'erreurs dans la session et vérifier le contenu de la base de données 
- 
-===== Mise à jour des données GeoNature Atlas ===== 
-<note> En cours de documentation/réalisation</note> 
-  * Au préalable, ajouter une authentification HTTP au site nature.silene.eu, le temps des tests avant mise en prod. 
-  * Lancer une session détachable : ''screen -S import-cbna'' 
-  * Lancer la commande : ''psql ...'' 
-   
  • serveurs/sinp-paca/import-test.1598367093.txt.gz
  • Dernière modification : 2020/08/25 14:51
  • de jpmilcent