Webinar : EXTRACT

The EXTRACT project aims to design a distributed data-mining software platform for extreme data across a continuum of computing resources, including edge devices, cloud systems, and high-performance computing centers. This involves efficiently and smoothly orchestrating tasks using these diverse resources. One application of the project is in processing massive astronomy datasets through the TASKA (Transient Astrophysics with an Square Kilometre Array pathfinder) use-case, which seeks to test the EXTRACT paradigm with NenuFAR, a SKA Pathfinder instrument developed in Nançay (France). NenuFAR can potentially produce up to 109 PB of raw data annually, necessitating on-site processing using carefully designed pipelines to produce reduced datasets (down to approximately 1 PB per year).

TASKA se divise en trois cas d’utilisation :
– Détection en temps réel d’événements à haute résolution dans les flux de données des formeurs de faisceaux, intégrée à des algorithmes d’intelligence artificielle.
– Développement d’un pipeline d’imagerie radio modulaire et polyvalent, capable de fonctionner sur des ressources informatiques locales, dans le cloud ou sur des supercalculateurs.
– Conception d’un nouvel imageur radio dynamique basé sur des techniques de reconstruction vidéo et l’IA, dans le cadre du pipeline d’imagerie radio.

We will focus on the second one which is relevant for the upcoming SKA Regional Centres.