Soutenance de thèse de Marie-Morgane Paumard

Titre de la thèse

Résolution automatique de puzzles par apprentissage profond.

Solving jigsaw puzzles with deep learning.

Date et lieu de la soutenance

Lundi 14 décembre 2020, 14h.

Visio-conférence.

Résumé

L’objectif de cette thèse est de développer des méthodes sémantiques de réassemblage dans le cadre compliqué des collections patrimoniales, où certains blocs sont érodés ou manquants.

Le remontage de vestiges archéologiques est une tâche importante pour les sciences du patrimoine : il permet d’améliorer la compréhension et la conservation des vestiges et artefacts anciens. Certains ensembles de fragments ne peuvent être réassemblés grâce aux techniques utilisant les informations de contour et les continuités visuelles. Il est alors nécessaire d’extraire les informations sémantiques des fragments et de les interpréter. Ces tâches peuvent être accomplies automatiquement grâce aux techniques d’apprentissage profond couplées à un solveur, c’est-à-dire un algorithme de prise de décision sous contraintes.

Cette thèse propose deux méthodes de réassemblage sémantique pour fragments 2D avec érosion, ainsi qu’un jeu de données et des métriques d’évaluation.

La première méthode, Deepzzle, propose un réseau de neurones auquel succède un solveur. Le réseau de neurones est composé de deux réseaux convolutionnels siamois entraînés à prédire la position relative de deux fragments : il s’agit d’une classification à 9 classes. Le solveur utilise l’algorithme de Dijkstra pour maximiser la probabilité jointe. Deepzzle peut résoudre le cas de fragments manquants et surnuméraires, est capable de traiter une quinzaine de fragments par puzzle, et présente des performances supérieures à l’état de l’art de 25%.

La deuxième méthode, Alphazzle, s’inspire d’AlphaZero et de recherche arborescente Monte Carlo (MCTS) à un joueur. Il s’agit d’une méthode itérative d’apprentissage profond par renforcement : à chaque étape, on place un fragment sur le réassemblage en cours. Deux réseaux de neurones guident le MCTS : un prédicteur d’action, qui utilise le fragment et le réassemblage en cours pour proposer une stratégie, et un évaluateur, qui est entraîné à prédire la qualité du résultat futur à partir du réassemblage en cours. Alphazzle prend en compte les relations entre tous les fragments et s’adapte à des puzzles de taille supérieure à ceux résolus par Deepzzle. Par ailleurs, Alphazzle se place dans le cadre patrimonial : en fin de réassemblage, le MCTS n’accède pas à la récompense, contrairement à AlphaZero. En effet, la récompense, qui indique si un puzzle est bien résolu ou non, ne peut être qu’estimée par l’algorithme, car seul un conservateur peut être certain de la qualité d’un réassemblage.

Abstract

The objective of this thesis is to develop semantic methods of reassembly in the complicated framework of heritage collections, where some blocks are eroded or missing.

The reassembly of archaeological remains is an important task for heritage sciences: it allows to improve the understanding and conservation of ancient vestiges and artifacts. However, some sets of fragments cannot be reassembled with techniques using contour information or visual continuities. It is then necessary to extract semantic information from the fragments and to interpret them. These tasks can be performed automatically thanks to deep learning techniques coupled with a solver, i.e., a constrained decision making algorithm.

This thesis proposes two semantic reassembly methods for 2D fragments with erosion and a new dataset and evaluation metrics.

The first method, Deepzzle, proposes a neural network followed by a solver. The neural network is composed of two Siamese convolutional networks trained to predict the relative position of two fragments: it is a 9-class classification. The solver uses Dijkstra’s algorithm to maximize the joint probability. Deepzzle can address the case of missing and supernumerary fragments, is capable of processing about 15 fragments per puzzle, and has a performance that is 25% better than the state of the art.

The second method, Alphazzle, is based on AlphaZero and single-player Monte Carlo Tree Search (MCTS). It is an iterative method that uses deep reinforcement learning: at each step, a fragment is placed on the current reassembly. Two neural networks guide MCTS: an action predictor, which uses the fragment and the current reassembly to propose a strategy, and an evaluator, which is trained to predict the quality of the future result from the current reassembly. Alphazzle takes into account the relationships between all fragments and adapts to puzzles larger than those solved by Deepzzle. Moreover, Alphazzle is compatible with constraints imposed by a heritage framework: at the end of reassembly, MCTS does not access the reward, unlike AlphaZero. Indeed, the reward, which indicates if a puzzle is well solved or not, can only be estimated by the algorithm, because only a conservator can be sure of the quality of a reassembly.

Mots clés

Apprentissage profond, Apprentissage par renforcement, Décision par parcours de graphes, Recherche arborescencte Monte Carlo à un joueur Puzzles, Sciences du patrimoine.

Key words

Deep learning, Reinforcement learning, Decision theory with graph traversal, Single player Monte Carlo Tree Search (MCTS), Jigsaw puzzles, Heritage

Composition du jury

David PICARD, Directeur de recherche, École des Ponts Paris Tech, Directeur de thèse

Aurélie BUGEAU, Maître de conférences, Université de Bordeaux, Rapporteur

Vincent LEPETIT, Directeur de recherche, École des Ponts Paris Tech, Rapporteur

Blaise HANCZAR, Professeur des Universités, Université d’Évry, Examinateur

Vicky KALOGEITON, Maître de conférences, École Polytechnique, Examinateur

Nicolas THOME, Professeur des Universités, Conservatoire national des arts et métiers, Examinateur

Hedi TABIA, Professeur des Universités, Université d’Évry, CoDirecteur de thèse

Vivien BARRIERE, Maître de conférences, CY Cergy Paris Université, Co-encadrant de thèse

Soutenance de thèse de Sarra Djemili

Titre de la thèse

Analysis and Evolution for Online Personal Collaboration Networks.

Résumé

L’essor de grands réseaux sociaux en ligne (comme Facebook, Twitter) a permis la constitution de grands jeux de données temporelles. Ces nouveaux jeux de données ont donné l’occasion aux chercheurs de développer de nouveaux modèles pour décrire et prédire l’évolution de ces systèmes sociaux au cours du temps suivant la dynamique des acteurs sociaux et de leurs interactions. Pour résoudre ce problème, plusieurs modèles ont été proposés dans la littérature, tels que les modèles d’attachement préférentiel et les modèles probabilistes, ou d’autres intégrant des modèles de Markov ou des méthodes spectrales. Mais une question importante qui doit être abordée est la pertinence de ces modèles d’évolution pour les réseaux sociaux personnels en ligne (OPNs), qui possèdent des caractéristiques différentes à la fois structurelles et comportementales, présentant souvent le comportement opposé à celui du réseau social auquel ils participent. Plus précisément, nous sommes intéressés à explorer les caractéristiques structurelles de ces réseaux et leur relation/influence sur leur évolution.

Dans ce contexte, nous abordons deux questions principales : la caractérisation et la prédiction de l’évolution des réseaux personnels. Le premier enjeu nécessite d’explorer l’évolution des réseaux sociaux personnels au moyen d’une analyse de leur topologie basée sur des métriques structurelles. Le deuxième vise, à travers les propriétés découvertes qui régissent les réseaux personnels et leur évolution, à proposer de nouveaux modèles d’évolution adaptés aux OPNs. Pour cela, nous étudions le cas des réseaux de co-auteurs (ou de collaboration) et nous considérons le réseau personnel de chaque auteur du réseau.

Les principales contributions de cette thèse peuvent être résumées comme suit : (i) Tout d’abord, nous introduisons un ensemble de nouvelles définitions des OPNs. (ii) Puis, nous étudions l’évolution d’un vaste ensemble de données de réseaux personnels de collaboration d’auteurs à partir de publications scientifiques. (iii) Nous présentons le framework PERSONA, qui a été conçu et développé dans le cadre de cette thèse pour l’analyse des réseaux personnels. (iv) Nous proposons un nouveau modèle pour l’évolution des réseaux personnels de collaboration, appelé PERSONEM, qui prédit un réseau personnel au temps  t + 1, à partir du réseau personnel au temps t. (v) Une étude expérimentale évaluant l’efficacité de PERSONEM a été réalisée en utilisant un ensemble diversifié de réseaux personnels de collaboration. Enfin, nous montrons que les résultats obtenus sont satisfaisants.

Abstract

The rise of numerous online social networks has led to the creation of large datasets that have given researchers the opportunity to develop new models to describe and predict the evolution of these social systems over time according to the dynamics of the social interactions. To address this problem, several models were proposed in the literature, such as preferential attachment and probabilistic models, or others integrating Markov models or spectral methods. But one important question that needs to be addressed is the suitability of these evolution models for online personal social networks (OPNs), which carry different characteristics both structural and behavioral, many times exhibiting the opposite behavior than the social network they participate to. More precisely, we are interested in exploring the structural characteristics of those networks and their relation/influence on their evolution.

In this context, we address two main issues: the characterization and the prediction of the evolution of OPNs. The first issue requires to explore the evolution of personal social networks by means of metrics-based and structural analysis of their topology. The second issue aims at, by means of the discovered properties that govern the online personal networks and their evolution, proposing new evolution models fitting OPNs. To this end, we study the case of co-authorship (or collaboration) networks and we consider the personal network of each author in the network.

The main contributions of this work can be summarized as follows: (i) First, we introduce a set of new challenges for OPNs. (ii) Then, we study the evolution of a vast dataset of personal collaborative networks of authors from scientific publications. (iii) We present PERSONA framework, which was designed and developed within during this thesis for the analysis of personal networks. (iv) We propose a new model for the evolution of collaborative personal networks, called PERSONEM, which predicts a personal network at time t + 1, from the personal network at time t. (v) An experimental study evaluating the effectiveness of PERSONEM was performed using a diverse set of co-authoring personal networks. Finally, we show that the results obtained are satisfactory.

Jury

Mme Pascale Kuntz, Professeure des Universités, LS2N, Polytech Nantes (rapporteur)

M. Arnaud Martin, Professeur des Universités, IRISA, Université de Rennes 1 (rapporteur)

Mme Florence Sèdes, Professeure des Universités, IRIT, Université de Toulouse (examinatrice)

M. Dimitris Kotzinos, Professeur des Universités, ETIS, CY Cergy Paris Université (directeur de thèse)

Mme. Claudia Marinica, Maître de Conférences, LS2N, Polytech Nantes (co-encadrante de thèse)

Mme. Maria Malek, Enseignant-Chercheur, ETIS, CY Cergy Paris Université (co-encadrante de thèse)