Premier hackathon ECLAT
Le hackathon ECLAT, qui s’est tenu du 3 au 5 février 2025, a réuni chercheurs et ingénieurs pour optimiser le pipeline DDF, essentiel au traitement des vastes flux de données du radiotélescope LOFAR, en consolidant l’intégration MPI, l’optimisation I/O et les algorithmies applicatives.
Hackathon ECLAT : Optimiser le pipeline DDF pour les grands relevés astronomiques
Le hackathon ECLAT, qui a eu lieu du lundi 3 au mercredi 5 février 2025 à l’Observatoire de Paris, a eu pour objectif d’optimiser et d’accroître les capacités de calcul de réduction DDF-pipeline (Direction-Dependent Facet calibration). Utilisé pour traiter les énormes flux de données générées par le radiotelescope Low Frequency Array (LOFAR), DDF-pipeline est un ensemble d’outils et d’algorithmes qui joue un rôle clé dans l’amélioration de la qualité des images en corrigeant les distorsions instrumentales et les effets ionosphériques qui varient selon la direction d’observation des antennes.
Avec l’arrivée de LOFAR 2.0 et les perspectives du Square Kilometre Array Observatory (SKAO), la nécessité de passer à l’échelle devient cruciale pour traiter efficacement des volumes de données toujours plus conséquents. Il devient impératif d’améliorer ses performances en exploitant des architectures de calcul distribuées et en optimisant l’utilisation des ressources matérielles.
Trois axes de travail
Durant le hackathon ECLAT, qui a réuni 14 chercheur, ingénieurs et doctorants des laboratoires partenaires d’ECLAT, plusieurs équipes ont collaboré autour de trois grands axes d’optimisation :
1. Consolidation de l’intégration MPI : Mise en place d’une parallélisation multi-nœuds sur l’outil de calibration et d’imagerie, et déploiement sur le super calculateur français Jean Zay dédié au calcul scientifique, pour améliorer l’efficacité du calcul distribué ;
2. Optimisation des entrées/sorties et de l’accès mémoire : Analyse et optimisation des opérations d’I/O pour minimiser les goulots d’étranglement ;
3. Développement de nouvelles algorithmies applicatives : En particulier, l’amélioration des méthodes de déconvolution pour une reconstruction plus précise des images radio.
Des résultats concrets et ouverts
L’objectif du hackathon était d’aboutir à des avancées tangibles :
- Mise à disposition d’un code parallélisé avec MPI en open source ;
- Déploiement et test du code sur le super calculateur Jean Zay ;
- Rapport d’analyse détaillé et intégration des optimisations dans de nouvelles branches du code en lien avec le programme de recherche NumPEx ;
- Validation des nouvelles approches algorithmiques sur des données simulées, avec possibilité d’application à des données réelles en lien avec le projet RisingStars.
« Ce hackathon ECLAT a constitué une belle expérience humaine, marquée par un grand enthousiasme et une véritable émulsion d’idées entre les équipes. Travailler sur l’optimisation de nos codes et leur passage à grande échelle, représente un grand défi technique. Et les enjeux sont immenses, surtout avec l’arrivée de LOFAR 2.0 et les perspectives du SKA, qui nous forcent à repousser les limites de nos capacités de calcul. Nous avons réussi à avancer sur certains points critiques, comme la parallélisation MPI, mais il reste du chemin à parcourir pour résoudre complètement ce problème numérique à la fois grand et complexe. Le hackathon a posé des bases solides, et je suis convaincu que les avancées réalisées ici ouvriront la voie à des solutions innovantes pour le traitement des données du SKA. »
Les participants du hackathon ECLAT de janvier 2025 à l’Observatoire de Paris
