Experimaestro : optimisation des chaînes de calcul
Projet mené en collaboration entre Benjamin Piwowarski de l’ISIR (Institut des systèmes intelligents et robotique) et Téo Lohrer, ingénieur informatique au sein de SUMMIT. L'objectif est de rendre ces chaînes de calcul plus fiables, plus reproductibles et simples à réutiliser. Ce travail est toujours en cours et s’inscrit dans une logique d’amélioration continue, au rythme des besoins des équipes de recherche.
Experimaestro (XPM) est une bibliothèque Python conçue pour structurer et automatiser les expériences en intelligence artificielle. Pensée comme une application, elle accompagne les chercheurs dans l’enchaînement d’étapes de traitement souvent longues et exigeantes en ressources, comme les pré-traitements sur les données ou les différentes étapes d’entraînement des modèles.
Les développements actuels s’articulent autour de trois axes :
1. Cohérence des paramètres
Vérifier que les entrées et sorties restent compatibles à chaque étape. Cette cohérence est essentielle lorsque les expériences évoluent ou se répètent.
2. Réutilisation sécurisée des résultats
Permettre de réemployer des calculs déjà produits pour générer de nouveaux résultats, même lorsque les configurations changent. Cela réduit le coût sans compromettre la fiabilité.
3. Parallélisation et orchestration
Optimiser l’exécution sur des infrastructures de calcul intensif, comme le supercalculateur Jean Zay, où la synchronisation des tâches peut devenir un enjeu majeur. L’objectif est de coordonner efficacement les calculs parallèles pour produire des résultats cohérents.
Ces travaux contribuent progressivement à renforcer la robustesse et l’efficacité des chaînes de traitement utilisées dans les projets de recherche en IA.
