3 Données meteosol
Objectif et contenu
- Description du cycle de vie générale des données météorologiques et de physiques du sol
- Scénario d’échange des données : règle de nommage, construction des fichiers et description des variables
Le type de données meteosol regroupe l’ensemble des données d’origine météorologiques et de physiques du sol collecté sur le dispositif de Laqueuille.
Cycle de vie
Le cycle de vie entre les sites de Theix et Laqueuille sont comparables. Pour le moment, la différence réside dans la nature des traitements pour le site de Theix.
- Les données meteosol brutes et élaborées de l’année en cours sont stockées dans un bucket
data-[code_site]-urep. - Les données brutes sont traitées automatiquement tous les jours à 03h00 sur un serveur linux.
- Les données meteosol brutes des années précédentes et de l’années en cours sont archivées dans le bucket
archives-[code_site]-urep.
Figure 3.1: Cycle de vie du type des données meteosol du site de Laqueuille
Figure 3.2: Cycle de vie du type des données meteosol du site de Theix
3.1 Sites, stations et logger du type de données
Ci-dessous, les noms, codes et description des différents datalogger collectant des données meteosol pour les sites de Laqueuille et de Theix.
| code_site | code_station | code_logger | nom_logger | description_logger |
|---|---|---|---|---|
| lqu | bm-cent | L03 | atm | Datalogger des données atmosphériques de bm-cent |
| lqu | bm-cent | L05 | sol | Datalogger des données de physiques du sol de bm-cent |
| lqu | bm-cent | L04 | lum | Datalogger des données luminosité de bm-cent |
| lqu | ec-int | L11 | sol | Datalogger des données de physiques du sol de ec-int |
| thx | ps-blatiere | L04 | 2-6-8-9-11-12-13-14 | nom_logger correspond aux codes parcelles |
| thx | ps-blatiere | L05 | 1-3-4-5-7-10 | nom_logger correspond aux codes parcelles |
| thx | ps-moine | L01 | 17-24 | nom_logger correspond aux codes parcelles |
| thx | ps-moine | L02 | 15-16 | nom_logger correspond aux codes parcelles |
| thx | ps-moine | L03 | 18-19-20-21 | nom_logger correspond aux codes parcelles |
| thx | ps-moine | L06 | 25-26-27-28 | nom_logger correspond aux codes parcelles |
| thx | ps-moine | L07 | 22-23 | nom_logger correspond aux codes parcelles |
Info
Pour des raisons pratiques, le nom des datalogger meteosol de Theix a pour logique de construction l’ensemble du code parcelle auquel est rattaché le datalogger.
3.2 Protocole d’acquisition
3.2.1 Format et encodage
Les fichiers doivent être au format .dat avec les caractéristiques suivantes :
- Séparateur de colonne :
, - Séparateur de décimal :
. - Encodage du fichier :
UTF-8
3.2.2 Convention de nommage
Le fichier en sortie des stations meteosol est construit sur une fréquence journalière (24h) avec la règle de nommage suivante :
[code_site]_[code_station]_L[LN]-[nomLogger]_F[FN]_[AAAA_MM_JJ_HHSS].dat
avec :
- [code_site] : Le code du site (
lquouthx), - [code_station] : Le code de la station (bm_cent, ec_int, ec_ext…),
- [LN] : 2 chiffres, numéro du logger (chaque logger doit être identifié par un numéro unique),
- [nomLogger] : nom du logger communément utilisé (p.ex. atm, sol…),
- [FN] : 2 chiffres, numéro du fichier généré par le logger (dans le cas où plusieurs fichiers sont générés dans le même logger, chaque fichier doit être identifié par un numéro unique). Le code
01est à destination de la fréquence d’acquisition la plus élevée. - [nomFrequence] : nom de la fréquence avec la valeur numérique et l’unité touchée (p.ex 30s, 60s)
- [AAAA_MM_JJ_HHSS] : la date à laquelle la mesure s’est terminée,
Exemple
Le fichier de données meteosol collecté durant la journée du 18/05/2021 sur la station bm-cent de Laqueuille avec le logger L01-atm, haute frequence 01 de 30s sous la forme d’un seul fichier est nommé :
lqu_bm-cent_L03-atm_F01-30s_2021_05_18_0001.dat
3.2.3 Fréquence de création des fichiers
Les fichiers sont construits sur une fréquence journalière toutes les 24h.
3.2.4 Synthèse protocole d’acquisition
3.2.5 Ancien et nouveau protocole d’acquisition
Télécharger la table complète :
Mapping des anciens nom de fichiers : \tables\pc_laqthe\pc_historiqueNomFichiers.csv
3.3 Contenu du fichier
3.4 Stockage des données
Les données collectées par les dataloggers sont centralisées sur le disque dur d’un ordinateur. Celui-ci est programmé via un script batch pour envoyer avec une commande rclone copy les données vers un bucket de l’espace CEPH de l’UREP:
- data-lqu-urep : Bucket de stockage des données de Laqueuille
- data-thx-urep : Bucket de stockage des données de Theix
L’envoi des données est programmé dans le planificateur de tâche windows pour un envoi tous les jours à 01h00. Le script rclone est disponible sur la forgeMIA dans le lqu-scripts pour Laqueuille et thx-scripts pour Theix.
3.4.1 Plan de classement
Le plan de classement s’appuit sur la logique d’organisation décrite dans la section : Logique d’organisation. Voici à titre d’exemple l’organisation pour les données du datalogger L03-atm de la station bm-cent du site de Laqueuille :
.
├── bm-cent_L03-atm
│ ├── 0_rawdata
│ │ ├── F01_30s
│ │ │ └── lqu_bm-cent_L03-atm_F01_2021_05_03_1201.dat
│ │ └── F02_30min
│ ├── 1_code
│ ├── 2_pipeline
│ ├── 3_output
│ │ ├── acbb-pp
│ │ ├── fluxNet
│ │ └── ICOS
│ └── tmpÀ retenir
- Ne jamais modifier les fichiers bruts,
- Ni espace, ni de caractères spéciaux (sauf underscore "_") : % $ ! & / : ; « » % & # @…
- Tout ce qui est présent dans le répertoire tmp peut être supprimé à n’importe quel moment
3.5 Traitements des données
Le traitement des données diffère selon les sites
3.5.1 Traitement des données sur Laqueuille
Les données brutes sont traitées tous les jours à 03h00 sur le serveur linux via le lancement sur le crontab d’un script bash bmRscriptProcessing.sh qui lance différentes fonctions
3.5.1.1 Crontab
3.5.1.2 Processus de traitement pour ICOS
La fonction workflowBM_ICOS du package R aigoual est lancée dans le crontab précédemment décrit.
3.5.1.3 Description du workflow
3.5.1.4 Contrôle qualité
3.5.1.5 Formatage ICOS
3.5.1.6 Formatage SOERE-ACBB
3.5.1.7 Envoi vers carbon Portal
3.5.2 Traitement des données sur Theix
AFAIRE
3.6 Archivage des données
Le script rclone_copy_data-lqu-urep.sh est accessible dans le projet GitLab laq-scripts.