Tutoriels d'importation et de consultation des données


Import de données étape 1 : création des métadonnées


Avant tout import de données, il vous sera demandé de selectionner les métadonnées (jeu de données) en lien avec vos données. Pour savoir comment constitiuer vos métadonnées veuillez consulter la page de présentation des métadonnées

Import de données étape 2a : module import


Les données versées via le module Import doivent être contenues dans un csv avec un séparateur ";" encodé en UTF-8, de préference. Le standard v3.0 d'ODIN est proche de celui utilisé par l'INPN et des autres plateformes qui utilisent GeoNature afin de faciliter les échanges de données.

Standard d'ODIN v3.0

Vous pouvez utiliser le fichier csv type ci-dessous pour formater vos données. Cependant, le fichier csv n'a pas besoin d'être identique.
Le module Import fonctionne avec un systhème de mapping des champs et des nommenclatures (valueurs). Par conséquent, les noms des champs et des nomenclatures utilisés dans les données sources n'ont pas besoins d'être identiques à celles utilisés par la plateforme. Une fois crée, ce mapping de champs peut être sauvegardé afin de le réutiliser lors d'un prochain import des données.
Pour faciliter le mapping des champs il est préférable que le csv versés ne continnent que les champs utilisés.

CSV Exemple

* Il est possible d'importé ce fichier sur QGIS en sélectionnant : "Couche" -> "Ajouter une couche" -> "Ajouter une couche de texte délimité..."

Un certain nombre des champs sont obligatoire pour réussir l'importation de données. Ces champs sont les suivants :

  • Date début : Corespond à la date d'observation
  • Observateur : Personne ayant réalisé l'observation, le format demmandé est : 'Nom Prénom (Structure)'
    Important : L'anonymisation doit être faite en amont du versement, dans ce cas le format du champs observateur sera 'Anonyme (Structure)'
  • Localisation : Un paramètre de localisation doit être saisi pour valider l'import,
    soit longitude/latitude, soit la géométrie en WKT (peut contenir des points, lignes et polygones), soit le code INSEE de la commune, soit le code maille INPN.
    A noter que les coordonnées peuvent être saisies en Lambert 93 (mètres) ou en WGS 84 (degrés décimaux)
  • Nom du taxon : Nom latin du taxon saisi
  • CD_Nom : Code taxref de l'espèces (Taxref v.16)
    Pour récuper ce code vous pouvez vous aidez des documents Taxref ou bien de l'application TaxHub
  • Statut de la source
  • Naturalité
  • Type de dénombrement
  • Object du dénombrement
  • Nombre minimum
    Important : Si le chiffre renseigné est le nombre exact observé, il faut également le mettre dans 'Nombre maximum'
  • Existance d'une preuve
  • Type de relevé
  • Nature de l'object géographique
  • Etat biologique*
  • Niveau de diffusion*
  • Technique d'observation (Indice de présence)**
  • Comportement**
  • Stade de vie**
* Ces champs sont obligatoires pour que les données apparaissent dans l'Atlas.
** Ces champs sont obligatoires suite à une modification du module import que nous avons effectué, si aucun indice de présence, stade de vie et/ou comportement n'est renseignés laissez des valeurs vides et les associez à "Non renseigné".

Sensibilité des données

La senssibilité d'une donnée sera, à terme, atribuée de manière automatique conforménent à la liste régional, ou, à défaut, la liste national.

Floutage de données

Il y a la possibilité - pour données aquises sur les fonds privés seulement - de flouter les données en amond du versement. Le champs 'Niveau de floutage' doit alors avoir la mention "Oui".
Les données acquises sur fonds publics doivent obligatoirement être diffusées de manière précise.

Récupération du WKT

Le plus simple est d'utiliser QGIS comme indiqué dans la vidéo ci-dessous.


Récupération des uuid

Le uuid d'une donnée doit être identique au sein de toutes les bases dans lesquelles ce trouve la données. Il permet d'identifier la donnée, d'éviter les doublons et la mise à jour. Plusieurs moyens existent pour les générer :

  • Récuperation via des sites internet dédiés : Certains sites internet permettent de récuperer un grand nombre d'uuid, comme le site UUID Generator, il suffit alors de copier ces uuid et de les intégrer dans sa base.
  • Génération via R, SQL, QGIS ou Excel :
    Les uuid peuvent être récuperées de cette manière :
    SQL
    --Création de l'extention si cette dernière n'existe pas
CREATE EXTENSION IF NOT EXISTS "uuid-ossp";
--Ajout du champ qui contiendra les uuid
ALTER TABLE schema.table ADD uuid_test uuid NULL;
--Ajout des uuid dans le champ nouvellement crée 
UPDATE table SET uuid_test = uuid_generate_v1() WHERE uiid_test IS NULL;
    R
    # Installer et charger la bibliothèque uuid
install.packages("uuid")
library(uuid) 
#Si aucun uuid n'est présent dans le jeu de données :
table$uuid_test<-UUIDgenerate(n=nrow(table), output = "string")

                                                    
#Si des uuid sont déjà présent dans la table uuid_test:
lignes_a_generer <- is.na(table$uuid_test)
table$uuid_test[lignes_a_generer] <- UUIDgenerate(n = sum(lignes_a_generer), output = "string")
    QGIS
    substr(uuid(),2,36)


    La commande ci-dessus doit être rentrée dans la calculatrice de champ, le nouveau champ uuid devras être au format texte avec une longueur de 36 caractères.


    Attention la commande suivante génère des uuid, il est important de ne pas l'utilisé directement dans le tableur contenant vos données !
    Cette commande est à utilisé dans une feuille Excel à part puis copier et coller les valeurs obtenue dans sont fichier de données.

    Excel
    =MINUSCULE(CONCATENER(DECHEX(ALEA.ENTRE.BORNES(0;PUISSANCE(16;8));8);"-";DECHEX(ALEA.ENTRE.BORNES(0;PUISSANCE(16;4));4);"-";"4";DECHEX(ALEA.ENTRE.BORNES(0;PUISSANCE(16;3));3);"-";DECHEX(ALEA.ENTRE.BORNES(8;11));DECHEX(ALEA.ENTRE.BORNES(0;PUISSANCE(16;3));3);"-";DECHEX(ALEA.ENTRE.BORNES(0;PUISSANCE(16;8));8);DECHEX(ALEA.ENTRE.BORNES(0;PUISSANCE(16;4));4)))

    La commande ci-dessus est issue de GiTHub vous pourrais l'y retrouvez en anglais.

  • Intégration sans uuid :
    Si les données sont intégrées à la base sans uuid, ces derniers seront alors générés par la plateforme au moment de l'intégration. Les uuid ainsi générés devront obligatoirement être récuperés et intégrés à la base d'origine. Pour cela, il faudra télécharger les observations vennant d'être integrées à la base, via le module Synthèse et garder le champs 'uuid_perm_sinp'.

Obtenir un csv (séparateur point-virgule) encoder en UTF-8 à partir d'un Excel

Pour cela, il faut commencer par enregistrer son fichier Excel, en passant par "Enregistrer sous..." et en sélectionnant 'CSV (séparateur : point-virgule)'.
Maintenant que nous avons notre csv, il faut encore changer l'encodage. Pour ce faire, on peut utiliser un éditeur de texte, comme Notepad++, en sélectionnant l'onglet "Encodage" puis "Convertir en UTF-8". Il ne reste plus qu'à enregistrer et le csv est prêt à être importé.

Enregistrement

Enregistrer en CSV

changement d'encodage

Changement d'encodage (Notepad++)


Passage de l'ancien standard au nouveau

La plus grande différence entre les deux standard réside dans le fait que l'ancien fonctionné avec plusieurs tableurs alors que pour le nouveau, toutes les informations sont réunies dans un unique tableur.
La première étape pour passer de l'un à l'autre sera de fusionner les tableurs OBSERVATION et SITUATION afin que chaque observation ait une localisation. Si le fichier SITUATION est au format shapefile il faudra récupérer les géométries au format WKT comme montrer ci-dessus.
Vous trouverez ci-dessous une correspondance de champs entre l'ancien et le nouveau standard, avec les champs à ajouter en bas du tableau.

Tableau de correpondance des standards



Import de données étape 2b : module OccTax

C'est un module de saisi de données en direct sur la plateforme. Le standard utilisé par le module OccTax est identique à celui du module Import. Le vidéo ci dessous montre la saisie des donées via le module OccTax : Les observations effectuées sur la même localisation (point, polygone ou polyligne) font partie d'un même relevé. Si les observations sont effectuées au niveau des localisations différentes il faut changer de relevé pour chaque observation.


Modification de données

La modification des données doit rester exeeptionelle. Elle peut impliquer des modifications dans plusieurs bases du SINP et une revalidation de la donnée. Pour pouvoir modifier une données il faut au préalable contacter les administrateurs de la plateforme.

Attention :
Après import des données, si vous modifiez le fichier importé via le module Import (en modifiant le mapping, par exemple), il faut absolument revalider l'import de données. Dans le cas contraire, les données, précedemant importées, seront supprimées du module Synthèse et de la base de données. Pour savoir si les données sont correctement importés, verifiez qu'une date est bien visible dans le module Import au niveau de Fin import.


Suppression de données

La suppression de données n'est pas possible dans le cadre du SINP. Si une donnée est considerée comme douteuse ou erronée veuillez contacter les administrateurs. Le statut de validation de la données sera mis à jour en 'Invalide'.


Requêtage et téléchargement de données


Module Synthèse

Ce module permet de rechercher des données à l'aide de filtre (Espèces, Communes, Dates...). Les données ainsi recherchées apparaîtront de manière précise sur la carte, accompagner de la liste des observations. Au-dessous de cette liste, se trouve un bouton permettant de télécharger les données rechercher. Les données peuvent être téléchargées au format csv, geojson et shapefile.
En plus de la liste des observations, il est aussi possible de télécharger la liste des taxons compris dans la recherche ainsi que leur statut. Il est aussi possible de télécharger la liste des métadonnées en lien avec les observations recherchées.

Exemple de recherche et de téléchargement des données oiseaux présente sur un périmètre définie en utilisant un KLM.



Le module synthèse, permet, pour le moment, de visualiser et de télécharger uniquement les données non sensibles. Pour accéder aux données sensibles il faut compléter et nous envoyer par mail (agata.wodka-gosse@anbdd.fr, ludmilla.treffle@anbdd.fr) le formulaire ci-dessous:

Formulaire de demande d'accès aux données sensibles


Module Metadonnées

Il permet de rechercher les informations relatives au contexte d'acquisition des données entourant les données que l'on vient d'extraire de la synthèse. Il permet aussi de rechercher des métadonnées en particulier et d'afficher les données en lien dans la synthèse.
Par exemple, si l'on veut afficher toutes les données en lien avec mam'route, on peut rechercher et afficher le jeu de données correspondant (Extraction de la base de données Mam'route), puis cliquer sur "Afficher les données". Cela envoie sur la synthèse avec le filtre correspondant à ce jeu de données.