Séminaire DATA&AI : Issam Falih

Apprentissage multimodal frugale : alignement par transport optimal, explicabilité par concepts et déploiement Edge

Résumé :

Les architectures d’apprentissage profond constituent aujourd’hui l’état de l’art pour l’analyse et la fusion de données multimodales. Leur déploiement effectif dans des environnements ouverts soulève encore de nombreuses questions quant à leur fiabilité et leur transparence. En particulier, si ces modèles excellent en conditions contrôlées, plusieurs travaux ont mis en évidence leur sensibilité aux dérives distributionnelles (concept drift) et leur opacité décisionnelle, limitant leur usage dans des contextes critiques.

Dans cette présentation, je traite dans un premier temps, des problématiques d’alignement et de fusion multimodale ou je présente le Transport Optimal Hiérarchique comme un levier géométrique pour l’alignement de structures dans un cadre non supervisé. Dans un deuxième temps, j’aborde l’explicabilité des réseaux de neurones à travers les modèles à goulot de concepts (CBM). Je présente une architecture hybride (KL-CBM) où un classifieur dense est aligné sur un module probabiliste. Enfin, je conclue avec des applications réelles notamment de l’inférence distribuée sur systèmes embarqués (Edge AI).

Lien de connexion :

Seminaire Issam Falih | Meeting-Join | Microsoft Teams