Hackathon international à Rennes sur DDFacet et RIMS
Pendant une semaine en mars, l’IRISA à Rennes a accueilli un hackathon réunissant une dizaine de chercheurs, d’ingénieurs et de doctorants venus de France, d’Afrique du Sud et du Royaume-Uni. L’événement s’est concentré sur deux axes principaux : l’amélioration du logiciel d’imagerie radioastronomique DDF Pipeline, notamment en termes de portabilité et d’évolutivité, et le développement du projet RIMS, dédié à la production et au partage de spectres dynamiques pour l’étude d’événements rares. Ce travail collaboratif est essentiel pour se préparer à exploiter les données des radiotélescopes actuels et futurs.
Hackathon international à Rennes sur DDFacet et RIMS : deux approches pour relever les défis liés aux données radioastronomiques
Pourriez-vous vous présenter et expliquer sur quoi vous travaillez ?
Athanaseus Ramaila : Je viens d’Afrique du Sud et je suis basé au Cap, à l’Observatoire sud-africain de radioastronomie. Je suis également doctorant à l’Université Rhodes, au Centre for Radio Astronomy Techniques and Technologies.
Je travaille en tant que développeur de logiciels scientifiques. Mon travail quotidien consiste à développer des pipelines de réduction de données pour les interféromètres radio, ainsi qu’à réaliser le développement général de logiciels et la mise en œuvre de solutions logicielles pour les outils de radioastronomie.
Les instruments deviennent de plus en plus grands et complexes, et nous voulons construire des pipelines pouvant être utilisés pour tous les interféromètres radio à travers le monde. Le groupe dont je fais partie, le Radio Astronomy Research Group, mène des recherches actives et évalue des algorithmes afin de relever les défis posés par l’augmentation du volume et de la complexité des données. Nous explorons également les différents outils disponibles au sein de la communauté et construisons notre pipeline de manière à ce que les utilisateurs puissent choisir entre différents outils, voire les comparer, et l’un d’entre eux est DDFacet. Actuellement, DDFacet est considéré comme le meilleur outil pour traiter ce type de données.
« DDFacet est considéré comme le meilleur outil pour traiter ce type de données.»
« Aujourd’hui, le défi consiste à faire fonctionner ces pipelines à grande échelle.»
Martin Hardcastle : Je suis professeur d’astrophysique à l’université du Hertfordshire, au Royaume-Uni. Je travaille sur les noyaux galactiques actifs extragalactiques, qui sont des trous noirs accrétant de la matière et produisant des signaux radio. Mon intérêt réside dans l’extraction d’informations scientifiques à partir des données, ce qui implique de travailler avec des pipelines produisant les meilleures images possibles.
Le processus permettant d’obtenir les meilleures images à partir des données des radiotélescopes est extrêmement complexe. Nous avons commencé il y a plus de dix ans à développer du code pour produire les meilleures images possibles. Aujourd’hui, le défi consiste à faire fonctionner ces pipelines à grande échelle, afin de générer des cartes de l’ensemble du ciel. Nous travaillons avec des milliers d’ensembles de données, et nous devons les traiter de manière efficace et répétée.
Mathis Certenais : Je suis doctorant à l’IRISA et je travaille sur les systèmes collaboratifs pour la logistique des données scientifiques. J’ai eu le plaisir d’organiser ce hackathon.
L’équipe internationale du hacakthon DDFacet et RIMS à Rennes, mars 2026
Quels sont les objectifs du hackathon ?
Mathis Certenais : L’objectif est de réunir des participants de différents pays pour travailler sur deux thèmes principaux : le pipeline DDF d’une part, et le projet RIMS d’autre part.
En ce qui concerne le pipeline DDF, l’idée est de travailler sur la portabilité du logiciel et sur le traitement distribué afin d’accélérer son exécution. Au départ, le logiciel fonctionnait de manière séquentielle, ce qui convenait aux serveurs de laboratoire. Aujourd’hui, nous souhaitons tirer parti des ressources de calcul haute performance, avec plusieurs nœuds interconnectés, pour effectuer un traitement distribué et gérer le volume important de données générées par les télescopes. Actuellement, la version distribuée du logiciel fonctionne sur quatre systèmes différents. Nous avons déjà obtenu un premier résultat : nous avons réduit le temps de traitement de 68 heures à un peu plus de 8 heures sur le supercalculateur Jean Zay. Nous nous rapprochons donc d’un rapport de 1:1 entre le temps d’observation et le temps de traitement.
Nous travaillons également sur la portabilité : pouvoir installer et faire fonctionner le logiciel sur différentes machines, avec des environnements matériels et logiciels différents, tout en conservant de bonnes performances. L’objectif est que chaque participant puisse repartir avec un logiciel fonctionnel sur sa machine, et que de nouveaux utilisateurs puissent à terme l’installer et l’utiliser facilement. La première étape a consisté à effectuer des tests sur le supercalculateur Jean Zay, puis nous avons réussi à faire tourner le logiciel au centre HPC français CINES avec le supercalculateur Adastra, et enfin sur une machine située en Angleterre, et même chez l’un de nos partenaires industriels, Bull.
« nous avons réduit le temps de traitement de 68 heures à un peu plus de 8 heures sur le super calculateur Jean Zay.»
« Le but de tester l’extension MeerKAT est en fait de se préparer aux instruments de nouvelle génération, tels que le futur SKA.»
Athanaseus Ramaila : Pour ce hackathon, l’objectif principal était de vérifier si, en simulant l’instrument dont nous disposerons une fois l’extension MeerKAT achevée, DDFacet serait capable de le prendre en charge. Nous disposons donc d’un ensemble de données simulées que nous testons actuellement, et jusqu’à présent, tout s’est bien passé ; je suis en train d’effectuer quelques diagnostics pour évaluer la précision des résultats.
Une partie de nos recherches consiste à créer des outils pouvant être utilisés par la communauté astronomique, principalement en radioastronomie. Notre objectif principal est de construire un pipeline pouvant être utilisé par différents instruments et qui intégrera divers outils, dont DDFacet. Le but de tester l’extension MeerKAT est en fait de se préparer aux instruments de nouvelle génération, tels que le futur SKA, qui sera un instrument encore plus complexe.
Et qu’en est-il du projet RIMS ?
Mathis Certenais : Le projet RIMS vise à mettre en place un réseau collaboratif de partage de données afin d’améliorer la détection d’événements rares. L’un des éléments clés réside dans les conditions générales, définies dès le départ. En effet, nous devons gagner la confiance des producteurs de données, qu’ils proviennent de n’importe quel radiotélescope, en les encourageant à publier des spectres dynamiques à l’intention de l’ensemble de la communauté. Cela nécessite des règles claires, notamment des périodes d’embargo qui restreignent temporairement l’accès aux données à des fins de publication.
Au cours de ce hackathon, nous avons lancé l’initiative en intégrant un stockage de données basé au Royaume-Uni avec des métadonnées hébergées à l’IRISA, reliés par un cadre unifié qui publie à la fois les ensembles de données et les métadonnées sur l’ensemble des systèmes. Une première interface web permet désormais aux utilisateurs authentifiés de parcourir un catalogue dédié, de localiser des données et d’y accéder efficacement. Notre objectif est de simplifier le partage des données tout en standardisant la manière dont les informations sont mises en commun. Les travaux futurs comprendront l’ajout de filtres d’embargo pour restreindre l’accès, permettant aux auteurs de définir la durée des embargos et les utilisateurs autorisés. Nous introduirons également des outils de visualisation intégrés directement dans l’interface, permettant aux astrophysiciens d’analyser les données de manière fluide. L’objectif reste le même : de meilleures données, une meilleure collaboration.
« Le projet RIMS vise à mettre en place un réseau collaboratif de partage de données afin d’améliorer la détection d’événements rares. »
L’équipe du hacakthon à Rennes, mars 2026
Je m’efforce de m’assurer que RIMS fonctionne réellement, qu’il s’exécute rapidement et que nous puissions stocker les données de manière centralisée, tout en les exploitant de manière distribuée sur plusieurs sites différents.
La prochaine étape consiste donc à l’étendre à davantage de sites et, si possible, à davantage de télescopes. Et, eh bien, si nous parvenons à faire fonctionner tout cela, nous disposerons alors de cette incroyable archive de données à laquelle un utilisateur pourra simplement accéder et dire : « Je veux tout savoir sur toutes ces étoiles. »
Quel est l’intérêt de cette collaboration internationale ?
Athanaseus Ramaila : Nous apprenons les uns des autres. Je suis ici pour comprendre quels outils utilisent les autres et pour apporter nos propres techniques.
Martin Hardcastle : Chacun apporte quelque chose de différent. Ces hackathons sont très collaboratifs. Il suffit de demander de l’aide pour que quelqu’un vous aide immédiatement. Quelques jours comme ceux-ci sont bien plus utiles que d’innombrables e-mails.
Mathis Certenais : Ce type d’événement nous permet d’échanger avec les autres, de partager différentes approches et de progresser beaucoup plus rapidement. Sans ces collaborations, nous atteindrions rapidement nos limites.
