database:sinp-aura:import-donnees

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision
Révision précédente
database:sinp-aura:import-donnees [2021/05/28 06:29] – [Mise à jour des données GeoNature Atlas] jpmilcentdatabase:sinp-aura:import-donnees [2021/11/19 14:38] (Version actuelle) – [Configuration des permissions] jpmilcent
Ligne 105: Ligne 105:
       * Mot de passe / Confirmation : voir Keepass.       * Mot de passe / Confirmation : voir Keepass.
       * Groupe : Grp_utilisateurs       * Groupe : Grp_utilisateurs
-      * Email : adminsys@biodiversite-aura.fr+      * Email : webmaster@biodiversite-aura.fr
       * Commentaire : Utilisateur général permettant un accès à l'API GeoNature.       * Commentaire : Utilisateur général permettant un accès à l'API GeoNature.
       * Cliquer sur "Enregistrer"       * Cliquer sur "Enregistrer"
Ligne 124: Ligne 124:
     * Nom : Grp_utilisateurs     * Nom : Grp_utilisateurs
     * Description : Tous les utilisateurs inscrits à Bioviv'AURA Expert par défaut.     * Description : Tous les utilisateurs inscrits à Bioviv'AURA Expert par défaut.
 +  * Ajouter le groupe "Grp_police_region"
 +    * Onglet "Groupe", cliquer sur "Ajouter un groupe"
 +      * Nom : Grp_police_region 
 +      * Description : Groupe d'utilisateur ayant des fonctions de police de l'environnement sur l'ensemble du territoire du SINP. 
 +      * Cliquer sur "Enregistrer" 
 +    * Onglet "Application", cliquer sur "Voir les membres" de "GeoNature" 
 +      * Cliquer sur "Ajouter un rôle pour l'application GeoNature" 
 +        * Rôle : Grp_police_region 
 +        * Profile : Lecteur 
 +        * Cliquer sur "Enregistrer" 
 +    * Onglet "Groupe", cliquer sur "Voir les membres" 
 +      * Ajouter les rôles (=utilisateurs) ayant des droits de police sur toute la région pour la Faune, Flore, Fonge...
 ===== Configuration des permissions ===== ===== Configuration des permissions =====
   * Via GeoNature, module "Admin" > "Permissions", modifier les permissions par défaut comme suit :   * Via GeoNature, module "Admin" > "Permissions", modifier les permissions par défaut comme suit :
Ligne 140: Ligne 151:
         * Lire les données => Précision : "**Exacte**"         * Lire les données => Précision : "**Exacte**"
         * Exporter les données => Précision : "**Exacte**"         * Exporter les données => Précision : "**Exacte**"
 +    * Pour le groupe "Grp_police_region"
 +      * Pour le module "GeoNature" :
 +        * Lire les données => Appartenance : "**De tout le monde**"
 +        * Exporter les données => Appartenance : "**De tout le monde**"
 +      * Pour le module "Métadonnées" :
 +        * Lire les données => Appartenance : "**De tout le monde**"
 +      * Pour le module "Synthese (= Observations)" :
 +        * <color /#fff200>**NOTES** : l'héritage ne semble pas fonctionner dans ce cas précis ! C'est surement dû à la présence des filtres Géographique et Taxonomique.</color> 
 +        * Objet "Observation privée" :
 +          * Lire les données => Appartenance : "**De tout le monde**", Géographique : "Auvergne-Rhône-Alpes", Taxonomique : Biota [349525] & Précision : "**Exacte**"
 +          * Exporter les données => Appartenance : "**De tout le monde**", Géographique : "Auvergne-Rhône-Alpes", Taxonomique : Biota [349525] & Précision : "**Exacte**"
 +        * Objet "Observation sensible" :
 +          * Lire les données => Appartenance : "**De tout le monde**", Géographique : "Auvergne-Rhône-Alpes", Taxonomique : Biota [349525] & Précision : "**Exacte**"
 +          * Exporter les données => Appartenance : "**De tout le monde**", Géographique : "Auvergne-Rhône-Alpes", Taxonomique : Biota [349525] & Précision : "**Exacte**"
  
  
Ligne 191: Ligne 216:
   * Suivre la démarche décrite dans [[serveurs:installation:web-srv:geonature-atlas-mise-a-jour#procedure_de_mise_a_jour_des_donnees|la documentation de gestion des serveurs]]   * Suivre la démarche décrite dans [[serveurs:installation:web-srv:geonature-atlas-mise-a-jour#procedure_de_mise_a_jour_des_donnees|la documentation de gestion des serveurs]]
   * Il existe aussi le script [[https://github.com/cbn-alpin/sinp-aura-data/blob/main/db-atlas/data/sql/05_refresh_vm_data.sql| ~/data/db-atlas/data/sql/05_refresh_vm_data.sql]]. C'est l'équivalant de la fonction ''refresh_materialized_view_data()''. Mais il permet de suivre l'avancé du rafraîchissement. Pour l'utiliser : '' psql -h localhost -U geonatadmin -d gnatlas -f ~/data/db-atlas/data/sql/05_refresh_vm_data.sql ''   * Il existe aussi le script [[https://github.com/cbn-alpin/sinp-aura-data/blob/main/db-atlas/data/sql/05_refresh_vm_data.sql| ~/data/db-atlas/data/sql/05_refresh_vm_data.sql]]. C'est l'équivalant de la fonction ''refresh_materialized_view_data()''. Mais il permet de suivre l'avancé du rafraîchissement. Pour l'utiliser : '' psql -h localhost -U geonatadmin -d gnatlas -f ~/data/db-atlas/data/sql/05_refresh_vm_data.sql ''
 +  * **Notes** : le paramètre '' idle_in_transaction_session_timeout=310000 '' présent dans le fichier '' /etc/postgresql/12/main/conf.d/01_optimizing.conf '' posait problème lors de la mise à jour des données de l'Atlas. Une des requêtes (liée à FDW) était annulée car dans l'état "//idle in transaction//" pendant plus de 5mn10s. Ce paramètre étant finalement inutile, il a été supprimé.
  
 +===== Corrections des données =====
 +  * Passage du code nomenclatures des données de Flavia de 5 à 2 : '' psql -h localhost -U geonatadmin -d geonature2db -v idSourceMin="18" -v idSourceMax="36" -f ~/data/db-geonature/data/sql/07_fix_flavia_data.sql ''
 +  * Création de la table contenant les observations hors territoire : '' psql -h localhost -U geonatadmin -d geonature2db -f ~/data/area-outside/data/sql/01_create_outside_all.sql ''
 +  * Export vers des fichiers CSV des données hors-territoire par id source :
 +    * CBNMC : '' sudo -u postgres -s psql -h localhost -d geonature2db -v idSourceMin="1" -v idSourceMax="1" -v csvFilePath="/tmp/cbnmc.csv" -f ~/data/area-outside/data/sql/02_export_outside_data.sql ''
 +    * CBNMA : '' sudo -u postgres -s psql -h localhost -d geonature2db -v idSourceMin="2" -v idSourceMax="2" -v csvFilePath="/tmp/cbna.csv" -f ~/data/area-outside/data/sql/02_export_outside_data.sql ''
 +    * FLAVIA : '' sudo -u postgres -s psql -h localhost -d geonature2db -v idSourceMin="18" -v idSourceMax="36" -v csvFilePath="/tmp/flavia.csv" -f ~/data/area-outside/data/sql/02_export_outside_data.sql ''
 +  * Vider les champs géometrie des observations hors territoire : '' psql -h localhost -U geonatadmin -d geonature2db -f ~/data/area-outside/data/sql/03_fix_outside_geom.sql ''
 +  * Export vers des fichiers CSV des données des CBNs dont la sensibilité a été corrigé :
 +    * CBNMC : '' sudo -u postgres -s psql -h localhost -d geonature2db -v csvFilePath="/tmp/fix_sensitivity_cbnmc.csv" -f ~/data/db-geonature/data/sql/08_export_cbn_sensitivity.sql ''
 +    * CBNA : '' sudo -u postgres -s psql -h localhost -d geonature2db -v csvFilePath="/tmp/fix_sensitivity_cbna.csv" -f ~/data/db-geonature/data/sql/08_export_cbn_sensitivity.sql ''
 +  * Correction du niveau de sensibilité pour les taxons (Flore) sensible de la région AURA : '' psql -h localhost -U geonatadmin -d geonature2db -f ~/data/db-geonature/data/sql/09_fix_cbn_sensitivity.sql ''
 +  * Activation des utilisateurs intégrés précédemment possédant un email et un identifiant afin qu'ils puissent demander un renouvellement de mot de passe : '' psql -h localhost -U geonatadmin -d geonature2db -f ~/data/db-geonature/data/sql/10_fix_users.sql ''
 +  * Suppression manuelle des entrées de ''utilisateurs.t_roles'' possédant des identifiants et/ou email en doublon. [[https://drive.google.com/file/d/1pGQAJsF_ujW6jfw0ZEJBIZsirjgEbxkO/view?usp=sharing|Récapitulatifs des modifications stockées dans un tableur]].
 +  * Activation des utilisateurs inactifs possédant un email afin qu'ils puissent demander un renouvellement de mot de passe : '' psql -h localhost -U geonatadmin -d geonature2db -f ~/data/db-geonature/data/sql/12_fix_inactive_users.sql ''
 +  * Fusion (puis suppression) des utilisateurs en doublon : '' cd ~/data/db-geonature/bin/ ; ./merge_users.sh -v ''. Utilise le script '' ~/data/db-geonature/data/sql/13_delete_duplicate_user.sql ''. Les anciens ''id_role'' supprimés et leurs remplaçants sont présents dans le fichier de config (''~/data/db-geonature/config/settings.default.ini'').
  • database/sinp-aura/import-donnees.1622183396.txt.gz
  • Dernière modification : 2021/05/28 06:29
  • de jpmilcent