Webinaire : Le Projet EXTRACT

Le projet EXTRACT vise à concevoir une plateforme logicielle distribuée d’exploration de données pour les données extrêmes, couvrant tout un continuum de ressources informatiques, notamment les terminaux périphériques, les systèmes cloud et les centres de calcul haute performance. Cela implique une orchestration efficace et fluide des tâches utilisant ces ressources diverses. L’une des applications du projet consiste à traiter d’énormes ensembles de données astronomiques dans le cadre du cas d’utilisation TASKA (Transient Astrophysics with a Square Kilometre Array pathfinder), qui vise à tester le paradigme EXTRACT avec NenuFAR, un instrument SKA Pathfinder développé à Nançay (France). NenuFAR est susceptible de produire jusqu’à 109 PB de données brutes par an, ce qui nécessite un traitement sur site à l’aide de pipelines soigneusement conçus pour produire des ensembles de données réduits (jusqu’à environ 1 PB par an).

TASKA se divise en trois cas d’utilisation :
– Détection en temps réel d’événements à haute résolution dans les flux de données des formeurs de faisceaux, intégrée à des algorithmes d’intelligence artificielle.
– Développement d’un pipeline d’imagerie radio modulaire et polyvalent, capable de fonctionner sur des ressources informatiques locales, dans le cloud ou sur des supercalculateurs.
– Conception d’un nouvel imageur radio dynamique basé sur des techniques de reconstruction vidéo et l’IA, dans le cadre du pipeline d’imagerie radio.

Nous nous concentrerons sur le deuxième cas d’utilisation, qui présente un intérêt particulier pour les futurs centres régionaux du SKA.