Collaboration entre Dell EMC et le Centre de calcul de l’IN2P3 du CNRS pour le stockage du plus grand catalogue d’objets célestes

Par:
admin

jeu, 26/07/2018 - 11:30

Le Centre de calcul de l’Institut national de physique nucléaire et de physique des particules du CNRS (CC-IN2P3) a fait appel à Dell EMC pour l’accompagner dans son projet de catalogue d’objets célestes le plus complet jamais réalisé. Une collaboration qui s’inscrit dans le cadre du projet international LSST (Large Synoptic Survey Telescope) qui vise à améliorer la compréhension de l’Univers, en particulier par l’étude de l’énergie noire, du système solaire et de la Voie lactée.   

Initié en 2014, le projet LSST promet des avancées majeures dans le domaine de la cosmologie. Le télescope, actuellement en cours de construction au Chili, dans la Cordillère des Andes, commencera en 2022 un relevé systématique du ciel pendant 10 ans. Pour ce faire, il sera équipé de la plus grande caméra digitale du monde capable de produire des images d’une extrême qualité qui permettront de repérer et de mesurer les objets célestes les moins lumineux. La vitesse à laquelle le LSST va cartographier le ciel austral (une image toutes les 40 secondes) et la profondeur de son champ d’observation vont déboucher sur un énorme volume de données : environ 15 téraoctets de données brutes par nuit. La quantité totale de données produites au cours des dix ans d’opération du télescope sera de 500 pétaoctets, soit l’un des plus grands projets de Big Data jamais référencé. Le traitement et le stockage de ces données se feront au CC-IN2P3 du CNRS, à Lyon, en collaboration avec le National Center for Supercomputing Applications (NCSA) aux Etats-Unis.

Pour mener à bien ce projet, le CC-IN2P3 du CNRS a fait appel à Dell EMC afin de s’équiper de 50 serveurs PowerEdge R620 destinés à héberger une base de données qui recense les objets célestes observés par le télescope. Les informations recueillies sur les propriétés physiques de chaque objet céleste aideront les chercheurs à comprendre comment l’Univers s’est développé. Toute la problématique de ce projet réside dans la capacité à exploiter un grand nombre d’images avec des traitements algorithmiques en vue de l’identification, la classification et le catalogage automatique de près de 40 milliards d’objets célestes (galaxies, étoiles, etc.). L’objectif ultime est d’obtenir un jeu de données structuré et exploitable par les chercheurs.

La plateforme, en cours de développement, est actuellement testée par les experts du projet qui effectuent régulièrement des campagnes de mesures de performances pour vérifier l’adéquation du logiciel et ses capacités d’évolution. Répartie sur deux sous-ensembles de 25 machines, cette base de données a la caractéristique d’être distribuée sur plusieurs serveurs communiquant entre eux. A terme, de nouvelles machines vont venir renforcer l'infrastructure du CC-IN2P3 du CNRS en vue de l'indexation et de l'archivage de l'ensemble des données du LSST.

« Le partenariat entre le CC-IN2P3 du CNRS et Dell EMC remonte à 2012. A l’époque, la collaboration avait été initiée dans le but de développer des solutions autour du traitement massif de données pour les besoins de la recherche » commente Fabio Hernandez, ingénieur CNRS au CC-IN2P3, en charge du système de production du catalogue des données du LSST en France. « Le projet LSST nous a semblé être un excellent cas d’utilisation pour le partenariat, au vu des bonnes relations entre les équipes et les caractéristiques des machines que DELL EMC était en mesure de nous proposer. »

« Nous sommes fiers d’accompagner le CNRS au travers de ce partenariat avec le CC-IN2P3 dans ce projet qui est sans commune mesure avec aucun autre. Cette collaboration de longue date vient renforcer la stratégie de Dell EMC comme partenaire historique du secteur de la recherche. Nos équipes d’experts travaillent étroitement avec le CNRS afin de les aider à aborder tout type de problématique et commencer à réfléchir à l’avenir, quand le LSST sera effectivement mis en fonction » explique Thierry de Boischevalier, Vice-Président Secteur Public, Dell EMC France.