Soutenance de thèse – Antoine Montmaur

Antoine Montmaur soutiendra sa thèse “De l’impact des dynamiques internes des caractéristiques sur les réseaux de neurones de représentation pour l’apprentissage incrémental” le 15 décembre 2025 à l’ENSEA (Curium).

Résumé :

L’intelligence humaine, avec sa capacité d’apprentissage continu et adaptatif et son ntégration dynamique des connaissances tout au long de la vie, sert de référence essentielle pour les systèmes d’intelligence artificielle (IA) avancés. En revanche, les réseaux neuronaux profonds (DNN) n’atteignent des performances de pointe que dans des conditions statiques et restrictives. L’entraînement conventionnel suppose que toutes les données sont disponibles simultanément et nécessite un réentraînement complet pour toute nouvelle information, une limitation inhérente qui entrave sérieusement leur déploiement dans des environnements réels et non stationnaires.

Pour y remédier, l’Apprentissage Continu (CL) fournit le cadre nécessaire à la création d’une IA adaptative en présentant séquentiellement les données et les tâches au modèle. Cependant, cette approche incrémentale rend les DNN très sensibles à l’Oubli Catastrophique (OC) — la perte rapide et sévère des connaissances acquises antérieurement. L’objectif central du CL est donc de résoudre le dilemme stabilité–plasticité : maintenir l’intégrité des connaissances antérieures (stabilité) tout en intégrant efficacement les nouvelles informations (plasticité). Ce défi est le plus marqué dans l’apprentissage incrémental par classes, où un unique classifieur doit reconnaître de manière robuste toutes les classes rencontrées au fil du temps, nécessitant une adaptation continue et fiable à chaque étape.

Le présent projet s’inscrit dans ce cadre ambitieux, visant à rapprocher les capacités d’adaptation et de continuité de l’apprentissage humain de celles des systèmes artificiels, en intégrant des mécanismes efficaces de mitigation de l’oubli catastrophique dans un contexte d’apprentissage incrémental en classe. Dans cette thèse, nous avons mené une exploration approfondie de plusieurs stratégies d’apprentissage continu mentionnées précédemment, avec pour objectif d’améliorer leur robustesse et leur adaptabilité dans un contexte incrémental en classe. Tout au long de cette investigation, nous avons constaté qu’une compréhension des mécanismes internes de l’entraînement des réseaux est cruciale. Plus spécifiquement, notre travail se concentre sur l’exploitation de cette compréhension approfondie de la construction des représentations afin de concevoir explicitement une contrainte qui impose une construction des caractéristiques qui soit continuellement compatible (ou constamment compatible).

Nous avons tout d’abord étudié les approches basées sur la répétition (replay), en exploitant les capacités hiérarchiques de représentation de l’apprentissage hyperbolique afin d’améliorer la structure et le pouvoir discriminant des caractéristiques présentes dans une mémoire semi-distribuée. Cette démarche nous a permis de mieux préserver les connaissances acquises tout en intégrant de nouvelles classes. Toutefois, notre analyse de l’espace de représentation obtenu a révélé un certain enchevêtrement des classes, limitant la stabilité à long terme. Pour remédier à ce problème, nous avons développé une approche combinant optimisation et conception architecturale, fondée sur une structure géométrique simplex avec prototypes de classes fixes, garantissant des frontières de décision plus stables au fil des étapes d’apprentissage incrémental. Bien que cette méthode ait significativement réduit l’oubli, une analyse plus poussée a mis en évidence des limites d’adaptabilité face à des variations inter-classes subtiles. En conséquence, nous avons conçu un cadre de régularisation guidant l’apprentissage par des explications de la pertinence des caractéristiques, incitant le modèle à maintenir des représentations interprétables et sémantiquement cohérentes dans le temps. Ensemble, ces contributions constituent une progression cohérente — de l’amélioration de la mémoire replay, à la mise en place de structures géométriques stables, jusqu’à l’introduction d’une régularisation basée sur l’explication — chaque étape étant motivée par les forces et faiblesses identifiées à la précédente.

Abstract:

Human intelligence, with its capacity for continuous, adaptive learning and dynamic knowledge integration across a lifetime, serves as an essential reference for advanced artificial intelligence (AI) systems. In sharp contrast, Deep Neural Networks (DNNs) achieve state-of-the-art performance only under restrictive, static conditions. Conventional training assumes all data are available simultaneously and necessitates complete retraining for new information, an inherent limitation that severely hinders their deployment in real-world, non-stationary environments.

To address this, Continual Learning (CL) provides the framework for creating continuously adaptive AI by presenting data and tasks sequentially to the model. However, this incremental approach renders DNNs highly susceptible to Catastrophic Forgetting (CF)—the rapid and severe loss of previously acquired knowledge. The central objective in CL is thus to solve the stability–plasticity dilemma: maintaining the integrity of prior knowledge (stability) while effectively integrating new information (plasticity). This challenge is most pronounced in class-incremental learning, where a single classifier must robustly recognize all encountered classes over time, necessitating continuous and reliable adaptation at every step.

This thesis is situated within this challenging setting, aiming to bridge the gap between human adaptive and continuous learning abilities and artificial systems, by integrating effective forgetting detection mechanisms and strategies to mitigate catastrophic forgetting in a class-incremental learning context. In this thesis, we conducted a thorough exploration of several continual learning strategies outlined above, with the objective of improving their robustness and adaptability in the class-incremental setting. Throughout this investigation, we have found that understanding the internal mechanics of network training is crucial. Specifically, our work focuses on leveraging this deep understanding of representation construction to explicitly devise a constraint that enforces a continually compatible construction of features.

We first investigated replay-based approaches, leveraging the hierarchical representational capabilities of hyperbolic learning to enhance the structure and discriminative power of semi-distributed memory features. This allowed us to better preserve previously acquired knowledge while integrating new classes. However, our analysis of the resulting feature space revealed a degree of class entanglement that limited long-term stability. To address this issue, we developed an optimization- and architecture-driven approach grounded in a simplex geometric structure with fixed class prototypes, ensuring more stable decision boundaries across incremental learning stages. While this method significantly reduced forgetting, further analysis highlighted limitations in adaptability when confronted with subtle inter-class variations. Consequently, we designed a regularization framework that guides learning through explanations of feature relevance, encouraging the model to maintain interpretable and semantically consistent representations over time. Together, these contributions form a coherent progression—from enhancing replay memory, to enforcing stable geometric structures, to introducing explanation-based regularization—each step informed by the strengths and weaknesses identified in the preceding stage.

Composition du jury

• Prof. Stefan Duffner, Université de Lyon, Rapporteur
• Prof. Hedi Tabia, Université Paris Saclay, Rapporteur
• Prof. Ingemar Cox, University College London Examinateur
• Prof. Christel Vrain, University of Orléans Examinatrice
• MCF Eva Feillet, Université Paris Saclay, Examinatrice
• MCF Ngoc-Son Vu, Cergy-Paris Université, Directeur de Thèse

Date et lieu

15 décembre 2025, à 1400.

ENSEA, Curium.