Fouille de données

L’informatique dédiée à l’exploitation intensive de gros volumes de données est principalement liée aux activités de recherches de l’équipe Ondes, activités liées aux méthodes basées sur le bruit ambiant. Cette expertise se situe à l’interface entre les géophysiciens, les spécialistes de HPC et les bases de données dans le cadre de projets nationaux et européens.

Les codes et documentations associées développés dans le cadre de l’activité ’Fouille de données’ sont accessibles dans la Forge GitLab GRICAD (ou la Forge OSUG pour les projets non encore migrés). A noter que les forges logicielles et/ou documentation de certains de ces projets sont en accès restreints.

Outils conversion de format WIN->MSEED / prétraitement / corrélations / doublets & inversion (projets Whisper et F-Image) :
- code outils de conversion WIN vers MSEED
- wiki et journal projet Whisper, documentation données Japonaises, documentation et code prétraitements des données
- documentation et code outils corrélation/doublets/inversion

Outils beamforming (projets Imag’In, RESOLVE) :
- wiki RESOLVE
- documentation et code
- documentation MFP code
- documentation et code (ancienne version, n’est plus maintenue)

Outils visualisation des sorties du beamforming (collaboration avec R. Blanch et M. Ortega du LIG)
- documentation et code

Outils Template Matching (projets EventDetection)
– documentation et code

NoiseCorr_DBF : Outils corrélations et double beamforming (projet sanjacinto) :
– documentation et code
– documentation (old wiki)

Outils de détection d’erreur de temps sur réseaux denses (projet iWORMS) :
– Journal en ligne du projet iWORMS (Activités, CR réunions, biblio...)
– documentation et code
– wiki

Outils pour la manipulation/réorganisation de datasets de données valorisées au format HDF5 (projet Utils) :
– documentation et code

Tools for performing flow velocity and particle concentration measurements based on Acoustic Particle Image Velocimetry (projet ImVort = Imagerie-Vorticité) :
documentation et code

Outils de prototypage visant à lier les données du centre de données RESIF et les infrastructures HPC CIMENT-GRICAD (projet Resif-Summer-Ciment et code)

Autres :

Lien vers les supports de la formation interne HDF5 pour les personnels RESIF, SIG, IPGP

Lien vers la Formation CiGri, et Support de la présentation

Lien vers l’offre de formation du site : outils pour le traitement de données, le développement logiciel et le calcul (mise à jour au fur et à mesure du déroulé des séances, version complète sur demande)

Les expertises métier des personnels techniques impliqués sont :

– optimisation de codes séquentiels (algorithmique, méthodes numériques, choix des langages, entrées-sorties, ...)
– déploiement d’application sur cluster HPC et FileSystem distribués (Lustre, BeegFS)
– parallélisation d’applications (MPI, OpenMP, grid computing)
– calcul sur grille (CiGri v3)
– Bibliothèques de calcul scientifique BLAS Lapack, Scipy, IntelMKL, ...
– Fortran / C / Python3 / Shell Bash
– iRODS : techniques de transfert, gestion des métadata, ...
– IO parallèles
– format de données HDF5, SEED, NetCDF3, ...
– traitement du signal

Contacts pour l’ activité ’Fouille de données’ :

– Michel Campillo, Philippe Roux, Florent Brenguier, Pierre Boué, Nikolai Shapiro : chercheurs, responsable de projets F-Image, RESOLVE, Pacific, Global, SEISMAZE, ...
– Albanne Lecointre, IR CNRS BapE , responsable de projet iWORMS, équipe Ondes, service GeoData (responsable adjointe du service GeoData)

Les moyens matériels et logiciels adossés à l’activité ’Fouille de données’

– Lien vers les moyens de calcul du mésocentre GriCAD
– Lien vers les moyens de calcul du laboratoire ISTerre
– Lien vers la plateforme de stockage mutualisée UGA-GriCAD SUMMER

Liens avec les autres activités et moyens informatiques à ISterre et à l’OSUG

==> Centre de données d’ISterre
==> Moyens informatiques du laboratoire
==> Centre de stockage OSUG

Liens avec les autres plateformes techniques d’ISTerre

dernière mise à jour le 07/04/2022