Soutenance de thèse de Kevin Hoang

Titre de la thèse

Exploration et reconnaissance active de scènes visuelle.

Date et lieu de soutenance

13 janvier 2021, à 14h.

Visio-conférence.

Résumé

L’analyse d’une scène visuelle devient un passage obligé pour la réalisation d’un grand nombre de systèmes « intelligents ». Cette analyse se fait principalement par le biais de techniques d’analyse dites « passives » de l’image et les performances dépendent de la qualité des bases de données d’images préalablement établies ou de modèles ad hoc des objets à reconnaître.

Les performances remarquables des approches de Deep Learning ouvrent la voie à des approches parallèles très performantes mais limitées notamment sur deux aspects : la rigidité du modèle (l’ajout d’une classe nécessitant un ré-entraînement complet du réseau) et l’efficacité énergétique, rendant compliqué son usage sur une plateforme embarquée.

Dans ce travail, nous proposons une approche active de la reconnaissance de scène visuelle inspirée de la vision des mammifères. Nous validons cette stratégie pour de la détection d’objet dans des images naturelles complexes et occultées. L’évaluation de notre modèle nous permet de mettre en évidences ses qualités pour une implementation sur un robot robot mobile autonome. Il nous permet d’avoir un système de reconnaissance visuel léger, capable d’apprendre à reconnaitre des objets en temps réel, et de manière incrémentale. Dans un deuxième temps, nous explorons comment l’apprentissage d’un trajet de saccades visuelles (“scanpath”) peut optimiser le processus d’exploration visuelle. Nous évaluons en particulier l’impact sur les performances de reconnaissance, et la vitesse d’éxécution. Finalement, nous étudions ce qu’une représentation par spike peut apporter dans notre application: nous modélisons l’exploration visuelle d’une image par un train de spike et utlisons une règle de type STDP afin d’apprendre un scanpath à partir d’une séquence de données sensorimotrices générée lors du processus d’analyse visuelle.

Les résultats préliminaires de cette expérience nous permettent de réfléchir sur les gains d’une telle représentation dans un modèle dynamique et d’ouvrir sur de possibles utilisations d’un hardware parallèle.

Jury

  • David Filliat, Professeur des Universités, ENSTA Paris, Rapporteur
  • Michel Paindavoine, Professeur des Universités, Univ. Bourgogne Franche-comté, Rapporteur
  • Anne Guérin-Duguet, Professeur des Universités, Univ. de Grenoble, Examinatrice
  • Simon Thorpe, Directeur de recherches, CERCO/Univ. Toulouse III – Paul Sabatier, Examinateur
  • Jean-Emmanuel Haugeard, Ingénieur R&D, Thales GTS SIX, Examinateur
  • Alexandre Pitti, Maître de conférences, CY Cergy Paris Université, Encadrant
  • Philippe Gaussier, Professeur des Universités, CY Cergy Paris Université, Directeur de thèse

Soutenance de thèse de Habiba Lahdiri

Titre de la thèse

Cognitive RF-NoC for Manycore Architectures

Date et lieu de soutenance

14 janvier 2021, 14h.

Visio-conférence.

Abstract

The development of many-core architecture with thousands of multiprocessor cores introduces a growing demand in bandwidth and communication. The Network-on-chip (NoC) paradigm has been proposed as a promising solution to enable the handling of a high degree of integration in multi-/many-core architectures. Despite their advantages, wired NoC infrastructures are facing several performance issues regarding multi-hop long-distance communications. RF-NoC is an attractive solution offering high performance and multicast/broadcast capabilities. WiNoCoD project propose an Orthogonal Frequency Division Multiple Access (OFDMA) based on-chip RF interconnect which enables a fully flexible RF architecture.

In this thesis, we propose a  solution in order to improve the WiNoCoD architecture by integrating a cognitive function. This approach allows to avoid exchanging additional data among clusters to dynamically allocate sub-carriers  such as the QPS. However, managing RF links is a critical aspect that relies on both application-dependent and architectural parameters. This thesis proposes a design space exploration framework for OFDMA-based RF-NoC architecture.

The second research field in this thesis concerns Deep Neural Network (DNN) accelerators. In DNN accelerators, the on-chip traffic and memory traffic accounts for a relevant fraction of the inference latency and energy consumption. A major component of such traffic is due to the moving of the DNN model parameters from the main memory to the memory interface and from the latter to the processing elements (PEs) of the accelerator.

In this thesis, we present DNNZip and Angle-based,  techniques aimed at compressing the model parameters of a DNN, thus resulting in significant energy and performance improvement.

Jury

  • Daniel Chillet, Professeur des Universités, Irisa/ENSSAT, Rapporteur
  • Benoit Miramond, Professeur des Universités, Univ. de Nice Sophia Antipolis/LEAT, Rapporteur
  • Serge Weber, Professeur des Universités, Univ. de Lorraine/IJL, Examinateur
  • Catherine Dezan, Maître de conférences, Univ. de Bretagne Occidentale/Labstic, Examinatrice
  • Christophe Moy, Professeur des Universités, Univ. de Rennes 1/IETR, Examinateur
  • Maurizio Palesi, Professeur des Universités, Univ. de Catane, Italie, Invité
  • Salvatore Monteleone, Maître de conférences, Univ. Kore de Enna, Italie, Invité
  • Jordane Lorandel, Maître de conférences, CY Cergy Paris Université/ETIS, Encadrant
  • Emmanuelle Bourdel, HDR, ENSEA/ETIS, Directrice de thèse

Soutenance de thèse de Marie-Morgane Paumard

Titre de la thèse

Résolution automatique de puzzles par apprentissage profond.

Solving jigsaw puzzles with deep learning.

Date et lieu de la soutenance

Lundi 14 décembre 2020, 14h.

Visio-conférence.

Résumé

L’objectif de cette thèse est de développer des méthodes sémantiques de réassemblage dans le cadre compliqué des collections patrimoniales, où certains blocs sont érodés ou manquants.

Le remontage de vestiges archéologiques est une tâche importante pour les sciences du patrimoine : il permet d’améliorer la compréhension et la conservation des vestiges et artefacts anciens. Certains ensembles de fragments ne peuvent être réassemblés grâce aux techniques utilisant les informations de contour et les continuités visuelles. Il est alors nécessaire d’extraire les informations sémantiques des fragments et de les interpréter. Ces tâches peuvent être accomplies automatiquement grâce aux techniques d’apprentissage profond couplées à un solveur, c’est-à-dire un algorithme de prise de décision sous contraintes.

Cette thèse propose deux méthodes de réassemblage sémantique pour fragments 2D avec érosion, ainsi qu’un jeu de données et des métriques d’évaluation.

La première méthode, Deepzzle, propose un réseau de neurones auquel succède un solveur. Le réseau de neurones est composé de deux réseaux convolutionnels siamois entraînés à prédire la position relative de deux fragments : il s’agit d’une classification à 9 classes. Le solveur utilise l’algorithme de Dijkstra pour maximiser la probabilité jointe. Deepzzle peut résoudre le cas de fragments manquants et surnuméraires, est capable de traiter une quinzaine de fragments par puzzle, et présente des performances supérieures à l’état de l’art de 25%.

La deuxième méthode, Alphazzle, s’inspire d’AlphaZero et de recherche arborescente Monte Carlo (MCTS) à un joueur. Il s’agit d’une méthode itérative d’apprentissage profond par renforcement : à chaque étape, on place un fragment sur le réassemblage en cours. Deux réseaux de neurones guident le MCTS : un prédicteur d’action, qui utilise le fragment et le réassemblage en cours pour proposer une stratégie, et un évaluateur, qui est entraîné à prédire la qualité du résultat futur à partir du réassemblage en cours. Alphazzle prend en compte les relations entre tous les fragments et s’adapte à des puzzles de taille supérieure à ceux résolus par Deepzzle. Par ailleurs, Alphazzle se place dans le cadre patrimonial : en fin de réassemblage, le MCTS n’accède pas à la récompense, contrairement à AlphaZero. En effet, la récompense, qui indique si un puzzle est bien résolu ou non, ne peut être qu’estimée par l’algorithme, car seul un conservateur peut être certain de la qualité d’un réassemblage.

Abstract

The objective of this thesis is to develop semantic methods of reassembly in the complicated framework of heritage collections, where some blocks are eroded or missing.

The reassembly of archaeological remains is an important task for heritage sciences: it allows to improve the understanding and conservation of ancient vestiges and artifacts. However, some sets of fragments cannot be reassembled with techniques using contour information or visual continuities. It is then necessary to extract semantic information from the fragments and to interpret them. These tasks can be performed automatically thanks to deep learning techniques coupled with a solver, i.e., a constrained decision making algorithm.

This thesis proposes two semantic reassembly methods for 2D fragments with erosion and a new dataset and evaluation metrics.

The first method, Deepzzle, proposes a neural network followed by a solver. The neural network is composed of two Siamese convolutional networks trained to predict the relative position of two fragments: it is a 9-class classification. The solver uses Dijkstra’s algorithm to maximize the joint probability. Deepzzle can address the case of missing and supernumerary fragments, is capable of processing about 15 fragments per puzzle, and has a performance that is 25% better than the state of the art.

The second method, Alphazzle, is based on AlphaZero and single-player Monte Carlo Tree Search (MCTS). It is an iterative method that uses deep reinforcement learning: at each step, a fragment is placed on the current reassembly. Two neural networks guide MCTS: an action predictor, which uses the fragment and the current reassembly to propose a strategy, and an evaluator, which is trained to predict the quality of the future result from the current reassembly. Alphazzle takes into account the relationships between all fragments and adapts to puzzles larger than those solved by Deepzzle. Moreover, Alphazzle is compatible with constraints imposed by a heritage framework: at the end of reassembly, MCTS does not access the reward, unlike AlphaZero. Indeed, the reward, which indicates if a puzzle is well solved or not, can only be estimated by the algorithm, because only a conservator can be sure of the quality of a reassembly.

Mots clés

Apprentissage profond, Apprentissage par renforcement, Décision par parcours de graphes, Recherche arborescencte Monte Carlo à un joueur Puzzles, Sciences du patrimoine.

Key words

Deep learning, Reinforcement learning, Decision theory with graph traversal, Single player Monte Carlo Tree Search (MCTS), Jigsaw puzzles, Heritage

Composition du jury

David PICARD, Directeur de recherche, École des Ponts Paris Tech, Directeur de thèse

Aurélie BUGEAU, Maître de conférences, Université de Bordeaux, Rapporteur

Vincent LEPETIT, Directeur de recherche, École des Ponts Paris Tech, Rapporteur

Blaise HANCZAR, Professeur des Universités, Université d’Évry, Examinateur

Vicky KALOGEITON, Maître de conférences, École Polytechnique, Examinateur

Nicolas THOME, Professeur des Universités, Conservatoire national des arts et métiers, Examinateur

Hedi TABIA, Professeur des Universités, Université d’Évry, CoDirecteur de thèse

Vivien BARRIERE, Maître de conférences, CY Cergy Paris Université, Co-encadrant de thèse

Soutenance de thèse de Sarra Djemili

Titre de la thèse

Analysis and Evolution for Online Personal Collaboration Networks.

Résumé

L’essor de grands réseaux sociaux en ligne (comme Facebook, Twitter) a permis la constitution de grands jeux de données temporelles. Ces nouveaux jeux de données ont donné l’occasion aux chercheurs de développer de nouveaux modèles pour décrire et prédire l’évolution de ces systèmes sociaux au cours du temps suivant la dynamique des acteurs sociaux et de leurs interactions. Pour résoudre ce problème, plusieurs modèles ont été proposés dans la littérature, tels que les modèles d’attachement préférentiel et les modèles probabilistes, ou d’autres intégrant des modèles de Markov ou des méthodes spectrales. Mais une question importante qui doit être abordée est la pertinence de ces modèles d’évolution pour les réseaux sociaux personnels en ligne (OPNs), qui possèdent des caractéristiques différentes à la fois structurelles et comportementales, présentant souvent le comportement opposé à celui du réseau social auquel ils participent. Plus précisément, nous sommes intéressés à explorer les caractéristiques structurelles de ces réseaux et leur relation/influence sur leur évolution.

Dans ce contexte, nous abordons deux questions principales : la caractérisation et la prédiction de l’évolution des réseaux personnels. Le premier enjeu nécessite d’explorer l’évolution des réseaux sociaux personnels au moyen d’une analyse de leur topologie basée sur des métriques structurelles. Le deuxième vise, à travers les propriétés découvertes qui régissent les réseaux personnels et leur évolution, à proposer de nouveaux modèles d’évolution adaptés aux OPNs. Pour cela, nous étudions le cas des réseaux de co-auteurs (ou de collaboration) et nous considérons le réseau personnel de chaque auteur du réseau.

Les principales contributions de cette thèse peuvent être résumées comme suit : (i) Tout d’abord, nous introduisons un ensemble de nouvelles définitions des OPNs. (ii) Puis, nous étudions l’évolution d’un vaste ensemble de données de réseaux personnels de collaboration d’auteurs à partir de publications scientifiques. (iii) Nous présentons le framework PERSONA, qui a été conçu et développé dans le cadre de cette thèse pour l’analyse des réseaux personnels. (iv) Nous proposons un nouveau modèle pour l’évolution des réseaux personnels de collaboration, appelé PERSONEM, qui prédit un réseau personnel au temps  t + 1, à partir du réseau personnel au temps t. (v) Une étude expérimentale évaluant l’efficacité de PERSONEM a été réalisée en utilisant un ensemble diversifié de réseaux personnels de collaboration. Enfin, nous montrons que les résultats obtenus sont satisfaisants.

Abstract

The rise of numerous online social networks has led to the creation of large datasets that have given researchers the opportunity to develop new models to describe and predict the evolution of these social systems over time according to the dynamics of the social interactions. To address this problem, several models were proposed in the literature, such as preferential attachment and probabilistic models, or others integrating Markov models or spectral methods. But one important question that needs to be addressed is the suitability of these evolution models for online personal social networks (OPNs), which carry different characteristics both structural and behavioral, many times exhibiting the opposite behavior than the social network they participate to. More precisely, we are interested in exploring the structural characteristics of those networks and their relation/influence on their evolution.

In this context, we address two main issues: the characterization and the prediction of the evolution of OPNs. The first issue requires to explore the evolution of personal social networks by means of metrics-based and structural analysis of their topology. The second issue aims at, by means of the discovered properties that govern the online personal networks and their evolution, proposing new evolution models fitting OPNs. To this end, we study the case of co-authorship (or collaboration) networks and we consider the personal network of each author in the network.

The main contributions of this work can be summarized as follows: (i) First, we introduce a set of new challenges for OPNs. (ii) Then, we study the evolution of a vast dataset of personal collaborative networks of authors from scientific publications. (iii) We present PERSONA framework, which was designed and developed within during this thesis for the analysis of personal networks. (iv) We propose a new model for the evolution of collaborative personal networks, called PERSONEM, which predicts a personal network at time t + 1, from the personal network at time t. (v) An experimental study evaluating the effectiveness of PERSONEM was performed using a diverse set of co-authoring personal networks. Finally, we show that the results obtained are satisfactory.

Jury

Mme Pascale Kuntz, Professeure des Universités, LS2N, Polytech Nantes (rapporteur)

M. Arnaud Martin, Professeur des Universités, IRISA, Université de Rennes 1 (rapporteur)

Mme Florence Sèdes, Professeure des Universités, IRIT, Université de Toulouse (examinatrice)

M. Dimitris Kotzinos, Professeur des Universités, ETIS, CY Cergy Paris Université (directeur de thèse)

Mme. Claudia Marinica, Maître de Conférences, LS2N, Polytech Nantes (co-encadrante de thèse)

Mme. Maria Malek, Enseignant-Chercheur, ETIS, CY Cergy Paris Université (co-encadrante de thèse)