Différences

Ci-dessous, les différences entre deux révisions de la page.

--- database:procedure-apres-integration-data [2022/10/31 15:07] – [Mettre à jour l'Atlas] jpmilcent
+++ database:procedure-apres-integration-data [2024/12/16 20:38] (Version actuelle) – [Mettre à jour les profils] jpmilcent
@@ Ligne 7: / Ligne 7: @@
 ==== Ajouter les zones géographiques manquantes ====
-  * Vérifier que les nouvelles données sont bien dans le territoire et toutes associées aux mailles utilisées pour floutage, sinon ajouter les zones géo (COM, DEP, M1, M5, M10) manquantes.
+  * Pour PACA :
-  * Placez vous dans le dossier des scripts : '' cd ~/data/outside/data/sql/update/ ''
+    * Vérifier que les nouvelles données sont bien dans le territoire et toutes associées aux mailles utilisées pour floutage, sinon ajouter les zones géo (COM, DEP, M1, M5, M10) manquantes.
-  * Lister les observations sans zone géo liées : '' psql -h localhost -U geonatadmin -d geonature2db -f ./01_* ''
+    * Placez vous dans le dossier des scripts : '' cd ~/data/area-outside/data/sql/update/ ''
-  * Charge les zones géo concernées par le SINP :
+    * Lister les observations sans zone géo liées : '' psql -h localhost -U geonatadmin -d geonature2db -f ./01_* ''
-    * les communes et départements : ''./02_load_admin_areas.sh geonature2db ''
+    * Charge les zones géo concernées par le SINP :
-    * les mailles M1, M5 et M10 : ''./02_load_meshes.sh geonature2db ''
+      * les communes et départements : ''./02_load_admin_areas.sh geonature2db ''
-  * Insérer les zones géo manquantes :
+        * Si nécessaire, installer le paquet git-lgs : ''sudo apt install git-lfs''
-    * les zones administratives : '' psql -h localhost -U geonatadmin -d geonature2db -f ./03_insert_admin_areas* ''
+        * Installer LFS sur le dépôt : ''git lfs install''
-    * les mailles : '' psql -h localhost -U geonatadmin -d geonature2db -f ./03_insert_meshes* ''
+        * Télécharger les fichiers gérés avec LFS du dépôt : ''git lfs pull''
-  * Établir les liens manquant entre synthese et ref_geo pour
+      * les mailles M1, M5 et M10 : ''./02_load_meshes.sh geonature2db ''
-    * les zones administratives : ''psql -h localhost -U geonatadmin -d geonature2db -f ./04_after_insert_admin_areas*''
+    * Insérer les zones géo manquantes :
-    * les mailles : ''psql -h localhost -U geonatadmin -d geonature2db -f ./04_after_insert_meshes*''
+      * les zones administratives : '' psql -h localhost -U geonatadmin -d geonature2db -f ./03_insert_admin_areas* ''
-  * Lister les observations sans zone géo liées après rétablissement des zones géo manquantes : ''psql -h localhost -U geonatadmin -d geonature2db -f ./05_*''
+      * les mailles : '' psql -h localhost -U geonatadmin -d geonature2db -f ./03_insert_meshes* ''
-    * Comparer les tables ''tmp_outside_*'' et ''tmp_outside_after_*'', il devrait y avoir moins d'observations dans les tables ''*_after_*''.
+    * Établir les liens manquant entre synthese et ref_geo pour
-  * Mettre à NULL les géométries des observations non liées aux mailles M5 pour éviter leur apparition dans la synthese : '' psql -h localhost -U geonatadmin -d geonature2db -f ./06_*''
+      * les zones administratives : ''psql -h localhost -U geonatadmin -d geonature2db -f ./04_after_insert_admin_areas*''
+      * les mailles : ''psql -h localhost -U geonatadmin -d geonature2db -f ./04_after_insert_meshes*''
+    * Lister les observations sans zone géo liées après rétablissement des zones géo manquantes : ''psql -h localhost -U geonatadmin -d geonature2db -f ./05_*''
+      * Comparer les tables ''tmp_outside_*'' et ''tmp_outside_after_*'', il devrait y avoir moins d'observations dans les tables ''*_after_*''.
+    * Mettre à NULL les géométries des observations non liées aux mailles M5 pour éviter leur apparition dans la synthese : '' psql -h localhost -U geonatadmin -d geonature2db -f ./06_*''
+  * Pour AURA :
+    * Lancer les scripts SQL du dossier ''~/data/area-outside/data/sql'' :
+      * '' 01_create_outside_all.sql '' : pour créer la table contenant toutes les observations hors territoire
+      * '' 03_fix_outside_geom.sql '' : pour mettre à NULL toutes les géométries des observations hors territoire.
 ==== Mise à jour images INPN dans Taxhub ====
   * Mettre à jour des images INPN si de nouveaux taxons sont apparus...
@@ Ligne 35: / Ligne 42: @@
     * Si tout c'est bien passé, désactiver l'environnement virtuel : ''deactivate''
     * Le script ajoute les photos en tant que "secondaire" pour désigner celle avec le plus petit id_media (=~ au hasard) comme "principale" pour les nouveaux taxons, utiliser la requête suivante :
-      * Soit via le fichier ''set_first_img.sql'' (recommandé) : ''psql -h localhost -U geonatadmin -d geonature2db -f ./set_first_img.sql''
+      * Pour PACA :
-      * Soit directement : ''psql -h localhost -U geonatadmin -d geonature2db -c "WITH first_media AS (SELECT MIN(id_media) AS first_id_media_founded, cd_ref FROM taxonomie.t_medias GROUP BY cd_ref) UPDATE taxonomie.t_medias AS tm SET id_type = 1 FROM first_media AS fm WHERE tm.id_media = fm.first_id_media_founded AND tm.cd_ref = fm.cd_ref ;"''
+        * Soit via le fichier ''set_first_img.sql'' (recommandé) sur serveur ''db-srv'' dans ''~/data/maintenance/data/sql/'' avec : ''psql -h localhost -U geonatadmin -d geonature2db -f ./set_first_img.sql''
+        * Soit directement : ''psql -h localhost -U geonatadmin -d geonature2db -c "WITH first_media AS (SELECT MIN(id_media) AS first_id_media_founded, cd_ref FROM taxonomie.t_medias GROUP BY cd_ref) UPDATE taxonomie.t_medias AS tm SET id_type = 1 FROM first_media AS fm WHERE tm.id_media = fm.first_id_media_founded AND tm.cd_ref = fm.cd_ref ;"''
+      * Pour AURA :
+        * Utiliser la requête qui tient compte des images du PIFH présente sur [[serveurs:installation:web-srv:geonature-atlas-mise-a-jour#import_des_images_de_l_inpn|la page suivante]].
   * **NOTES** :
     * Les vues matérialisées de l'Atlas nécessitent d'être mise à jour pour prendre en compte les nouveaux médias.
-==== Maintenance de la base de données ====
+==== 🗑️ Maintenance de la base de données ====
+  * **ATTENTION** : dans les versions récentes de Postgresql (v14+) cette manipulation n'est plus vraiment nécessaire. Le mécanisme automatique de nettoyage de la base semble efficace. Une "blocage" de la base de données a été constaté lors de son utilisation automatisé dans le cadre du SINP AURA.
   * Sur le serveur ''db-srv'' :
     * Vérifier la place restante : <code bash>df -h |grep /dev/sda1 ; du -hs /var/lib/postgresql/</code>
@@ Ligne 51: / Ligne 62: @@
       * se placer dans GeoNature et activer le venv : <code bash>cd ~/geonature ; source backend/venv/bin/activate </code>
       * lancer la mise à jour des vues matérialisées : <code bash>geonature profiles update</code>
+      * désactiver le venv : <code bash>deactivate</code>
       * Se détacher de la session Screen : ''Ctrl-a + Ctrl-d''
-    * Synchroniser le dossier Atlas avec le serveur ''db-srv'' si nécessaire : <code bash>rsync -av -e "ssh -p <port-ssh-db-srv>" /home/geonat/www/atlas/ geonat@<ip-privée-db-srv>:/home/geonat/www/atlas/</code>
+==== Actualisation stats page accueil GeoNature Expert ====
+  * Se rendre sur la page d'accueil du GeoNature
+  * Appuyer sur la touche ''F12'' pour ouvir les outils développeurs du navigateur
+  * Aller sur l'onglet "Appli" et choisir l'URL du site sur l'entrée "Stockage local"
+  * Dans la liste des entrées disponibles supprimer ''homePage.stats''
+  * Actualiser la page d'accueil de GeoNature avec ''F5''
+  * Le chargement des nouvelles statistiques devrait se lancer
 ==== Mettre à jour l'Atlas ====
+  * Sur le serveur ''web-srv'' :
+    * Passer l'Atlas en maintenance : '' mv ~/www/maintenance/atlas/maintenance.disable ~/www/maintenance/atlas/maintenance.enable ''
+    * Vérifier l'activation du message de maintenance sur le site de l'Atlas
   * Sur le serveur ''db-srv'' :
     * Lancer la mise à jour de l'Atlas :
       * activer une session Screen : <code bash>screen -S atlas-update</code>
-      * se placer dans le dossier de l'Atlas : <code bash>cd ~/www/atlas/ </code>
+      * se placer dans le dossier de maintenance : <code bash>cd ~/data/maintenance/data/sql/ </code>
-      * modifier le fichier ''settings.ini'' pour mettre à true le paramètre ''drop_app_db'' : <code bash>vi atlas/configuration/settings.ini </code>
+      * lancer la mise à jour des vues matérialisées de l'Atlas : <code bash> psql -h localhost -U geonatadmin -d gnatlas -f ./atlas_refresh.sql </code>
-      * Déconnecter toutes les connexions à la base ''gnatlas'' et lancer la réinstallation (en supprimant la base) : <code bash>sudo -u postgres psql -c "SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE pg_stat_activity.datname = 'gnatlas' AND pid <> pg_backend_pid();" && ./install_db.sh</code>
       * Se détacher de la session Screen : ''Ctrl-a + Ctrl-d''
+  * Sur le serveur ''web-srv'' :
+    * Supprimer la maintenance de l'Atlas : '' mv ~/www/maintenance/atlas/maintenance.enable ~/www/maintenance/atlas/maintenance.disable ''
+    * Vérifier la désactivation du message de maintenance sur le site de l'Atlas
+    * Relancer le service de l'Atlas : ''sudo systemctl restart geonature-atlas.service''
+==== Extraire les indicateurs liés à l'import ====
+  * Pour PACA :
+    * En local, se placer dans le dossier ''indicators/'' du dépôt ''sinp-<region>-data'' avec : <code bash> cd /<path>/sinp-paca-data/extracts/indicators</code>
+    * Lancer la commande : <code bash>
+cat ./observations_count_by_imports.sql | ssh geonat@db-paca-sinp 'export PGPASSWORD="<db-user-pwd>" ; psql -q -h localhost -p 5432 -U gnreader -d geonature2db' > ./$(date +'%F')_obs_by_imports.csv
+</code>