| Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente |
| database:import-formats [2026/01/21 12:36] – tâche cochée: Voir si on garde ou pas le champ choarau | database:import-formats [2026/03/13 17:07] (Version actuelle) – [Format VALIDATION d'import] jpmilcent |
|---|
| |
| ==== À faire / Améliorations ==== | ==== À faire / Améliorations ==== |
| | * <todo> Ajouter le champ ''parent_code'' au fichier ORGANISM</todo> |
| * <todo> Tester les outils Frictionless Data et le format de données Data Package</todo> : voir [[https://frictionlessdata.io/projects/#software-and-standards| Frictionless Data]], [[https://datapackage.org/| Data Package]], [[https://www.checklistbank.org/about/formats#catalogue-of-life-data-package-coldp| Check List Bank Data formats]]. | * <todo> Tester les outils Frictionless Data et le format de données Data Package</todo> : voir [[https://frictionlessdata.io/projects/#software-and-standards| Frictionless Data]], [[https://datapackage.org/| Data Package]], [[https://www.checklistbank.org/about/formats#catalogue-of-life-data-package-coldp| Check List Bank Data formats]]. |
| * <todo>Dans le format OccTax, renommer les champs UUID en unique_id_couting, unique_id_occurence et unique_id_survey pour que cela soit plus clair !</todo> | * <todo>Dans le format OccTax, renommer les champs UUID en unique_id_couting, unique_id_occurence et unique_id_survey pour que cela soit plus clair !</todo> |
| * <todo>Dans le format OccTax, prevoir l'ajout des champ code_nomenclature_tech_collect_campanule et sample_number_proof</code> | * <todo>Dans le format OccTax, prevoir l'ajout des champ code_nomenclature_tech_collect_campanule et sample_number_proof</todo> |
| * <todo>Trouver une solution au problème du remplacement des caractères \n, \r… qui ne fonctionne pas lors de l'import dans la base</todo> | * <todo>Trouver une solution au problème du remplacement des caractères \n, \r… qui ne fonctionne pas lors de l'import dans la base</todo> |
| * <todo>Modifier le nom du champ //determiner// de la ressource //SYNTHESE// en //determiner**s**//</todo> | * <todo>Modifier le nom du champ //determiner// de la ressource //SYNTHESE// en //determiner**s**//</todo> |
| * <todo #jpmilcent:2024-10-23>Pour le format USER, trouver un solution pour éviter les doublons d'email et d'identifiant => se baser sur l'email => trouver une solution pour la mise à jour de l'email => ajouter un champ "new_email" + champ "email" (= ancien email) + "meta_last_action" = "U".</todo> => ajout d'index unique à la base de données. | * <todo #jpmilcent:2024-10-23>Pour le format USER, trouver un solution pour éviter les doublons d'email et d'identifiant => se baser sur l'email => trouver une solution pour la mise à jour de l'email => ajouter un champ "new_email" + champ "email" (= ancien email) + "meta_last_action" = "U".</todo> => ajout d'index unique à la base de données. |
| * <todo #jpmilcent:2024-10-23>Pour le format ORGANISM, trouver une solution pour éviter les doublon inter-fournisseur => se baser sur l'UUID du [[http://standards-sinp.mnhn.fr/referentiel-des-organismes/|référentiel national SINP des organismes]].</todo> | * <todo #jpmilcent:2024-10-23>Pour le format ORGANISM, trouver une solution pour éviter les doublon inter-fournisseur => se baser sur l'UUID du [[http://standards-sinp.mnhn.fr/referentiel-des-organismes/|référentiel national SINP des organismes]].</todo> |
| * <todo #jpmilcent:2024-10-23>Pour les formats ACQUISITION_FRAMEWORK et DATASET, trouver une solution pour éviter les doublon inter-fournisseur => se baser sur le site "[[https://inpn.mnhn.fr/docs-web/docs/download/263010|Référentiel National SINP - Métadonnées]]". </todo> | * <todo #jpmilcent:2024-10-23 #choarau:2026-01-21>Pour les formats ACQUISITION_FRAMEWORK et DATASET, trouver une solution pour éviter les doublon inter-fournisseur => se baser sur le site "[[https://inpn.mnhn.fr/docs-web/docs/download/263010|Référentiel National SINP - Métadonnées]]". </todo> |
| |
| ==== Évolutions ==== | ==== Évolutions ==== |
| * <todo>Le champ additional_data est utilisé pou le champ additional_fields de t_releve_occtax</todo>. Il faudrait voir si cela convient ou s'il faut en gérer d'autres pour les autres champs ''additional_fields'' des autres tables d'OccTax. | * <todo>Le champ additional_data est utilisé pou le champ additional_fields de t_releve_occtax</todo>. Il faudrait voir si cela convient ou s'il faut en gérer d'autres pour les autres champs ''additional_fields'' des autres tables d'OccTax. |
| * <todo>Suite aux modifications précédentes tenir à jour les script SQL du dépôt sinp-shared-data</todo> | * <todo>Suite aux modifications précédentes tenir à jour les script SQL du dépôt sinp-shared-data</todo> |
| | |
| | |
| | ===== Format VALIDATION d'import ===== |
| | * But : Permet de fournir les informations sur les validations des observations à intégrer à la table des validations de GeoNature. |
| | * Table GeoNature : ''//gn_commons.t_validations//''. |
| | * Standard : [[http://standards-sinp.mnhn.fr/occurrences-de-taxon|OccTax v2]]\\ |
| | * Statut : 📍 Alpha (en cours de travail ! Non implémenté !) |
| | |
| | ==== Description du format VALIDATION ==== |
| | Pour chaque ligne : ''nom_du_champ [format du champ] (=//table_geonature.nom_champ//) : description du champ.''. Les champs **en gras** sont obligatoires. Pour les nomenclatures, le nom de la mnémonique du type dans GeoNature est indiqué en italique en fin de description. La correspondance avec le nom de cette nomenclature dans le standard est indiqué entre parenthèses et un lien pointe vers le document PDF [[https://inpn.mnhn.fr/docs-web/docs/download/221989|Standards d'échanges du SINP]]. Pour les nomenclatures, la valeur à transmettre est celle présente dans la colonne "**Code**" du standard qui est équivalente au champ ''cd_nomenclature'' de la table ''ref_nomenclatures.t_nomenclatures'' de GeoNature. |
| | |
| | * **unique_id_sinp** [UUID] : UUID SINP de l'observation correspondante à cette validation. Si un historique des validations doit être importé, cet UUID pourra être répété plusieurs fois. |
| | * **code_nomenclature_valid_status** [VARCHAR(25)] (=//id_nomenclature_valid_status//) : code alphanumérique de la valeur du type de nomenclature //STATUT_VALID// ([[https://inpn.mnhn.fr/docs-web/docs/download/221989|NiveauValidationValue|80|page67]]). |
| | * validator [VARCHAR(1000)] : personne ayant procédé à la validation (et organisme). Voir [[database:correspondance-champs-sinp-geonature-synthese#format_a_plat_des_infos_sur_une_personne|le détail du format à plat des infos sur une personne]]. |
| | * comment [TEXT] : commentaire sur la validation. |
| | * automatic [BOOL] : indique si la validation a été obtenue par un processus automatique (''TRUE'') ou manuel (''FALSE''). Par défaut, la valeur ''TRUE'' sera utilisée. |
| | * creation_date [DATE(YYYY-MM-DD HH:MM:SS)] (=//meta_validation_date//) : date et heure de validation de l'observation. |
| | * additional_data [JSON] : permet d'associer des champs complémentaires et/ou si toutes les entrées ne partagent pas les mêmes champs. Les valeurs de ce champ doivent être [[https://www.json.org/json-fr.html|au format JSON]] et [[https://jsonformatter.curiousconcept.com/|être valide]]. Ne pas mettre de valeur vide dans ce champ mais une valeur NULL. |
| | * **meta_create_date** [DATE(YYYY-MM-DD HH:MM:SS)] : date et heure de création de l'enregistrement. |
| | * meta_update_date [DATE(YYYY-MM-DD HH:MM:SS)] : date et heure de mise à jour de l'enregistrement. |
| | * **meta_last_action** [CHAR(1)] (=//last_action//) : permet d'identifier les lignes ajoutées depuis le dernier import ("//I//"), modifiées ("//U//") ou supprimées ("//D//"). |
| | |
| |
| ===== Format META_ADDITIONAL_DATA d'import ===== | ===== Format META_ADDITIONAL_DATA d'import ===== |