Base de données d’imagerie (radar, caméra événementielle) d’activités quotidiennes de déplacement
Dans le cadre de trois thèses, nous développons un prototype de surveillance de risque de chutes basé sur l’intelligence artificielle qui s’appuie sur l’enregistrement de l’activité quotidienne d’une personne via plusieurs capteurs (radar, caméra événementielle, motion capture, tapis de capteurs de pression, caméra classique). Un système de captation via ces outils sera mis en place pour récupérer les données. Dans cette étude, on s’occupera de la problématique de classification d’activités quotidiennes de déplacement de personnes saines mises en situation de handicap. Ici, vous seront décrits les différents capteurs et les données associées utilisés pour la mise en place de la base de données.
Contact
multimodal.activites.dataset@etis-lab.fr
Responsables :
- Laure ACIN
- Claire BERANGER
- Alexandre BORDAT
- Omar GHONEIM
- Aymeric HISTACE
- Camille SIMON CHANE
- Petr DOBIÁŠ
- Son VU
- Julien LE KERNEC
- Jérémy DEMANGE
- Olivier ROMAIN
Radar
Le principe du radar est d’envoyer une onde électromagnétique vers une cible (la personne) et d’enregistrer l’écho de cette onde réfléchie par la cible. Cette onde réfléchie contient plusieurs données intéressantes dont la distance radiale au radar et la vitesse radiale au radar. Ces données peuvent être utiles à la reconnaissance d’une activité et à la détection de l’évolution du risque de chutes.
Suite à l’enregistrement des données radar, une suite de traitements est appliquée aux données brutes pour obtenir un spectrogramme.
Le spectrogramme représente la vitesse radiale de la cible en fonction du temps, elle est extraite des données brutes du radar.
Caméra Evénementielle
Photo de la caméra événementielle et explications de son fonctionnement par vidéo tirée de
https://www.youtube.com/watch?v=kPCZESVfHoQ
La caméra événementielle est une technologie récente d’acquisition ultra-rapide. Ce capteur est constitué de pixels indépendants qui acquièrent une donnée seulement si un changement de luminosité est détecté par un pixel. Lorsqu’un changement est détecté, la caméra enregistre un événement constitué de la position (x, y) du pixel concerné, l’horodatage t du changement de luminosité, ainsi que la polarité p du changement de luminosité. Cette polarité correspond au fait que la luminosité augmente ou diminue. Ceci permet d’éliminer la redondance des données, seul le mouvement qui est l’information utile est conservé. Si aucun mouvement n’est détecté, aucun événement n’est enregistré. La caméra est asynchrone, ce qui permet de caractériser le mouvement sans flou et de façon très précise temporellement puisqu’il y a peu de latences, contrairement aux caméras classiques.
Les données acquises par la caméra événementielle sont une succession de coordonnées (x, y) des pixels, les horodatages t des changements de luminosité, ainsi que la polarité p. Ces données sont stockées dans un fichier “.raw”.
Ces données peuvent ensuite être transformées en suite d’images, afin d‘obtenir une représentation visuelle des données. Si cette représentation est utilisée, seule la corpulence peut être caractérisée. Comme on peut le voir sur la vidéo ci-contre, la résolution spatiale n’est pas suffisante pour caractériser le visage. De plus, seule la polarité est acquise : elle sera égale à 1 si la luminosité est plus forte que précédemment, ou égale à -1 si la luminosité est plus faible que précédemment. Aucune couleur n’est enregistrée, ainsi il n’est pas possible d’obtenir d’information sur les couleurs, comme celle des cheveux par exemple.
Tapis de Capteurs de Pression
Instrumenté de capteurs de pression résistifs, le tapis de capteurs de pression mesure les pressions sous chaque pied et permet la quantification des paramètres spatio-temporels de la marche.
Les données de pression de chaque capteur sont échantillonnées dans le temps créant une liste de valeurs de pression horodatées pour chaque capteur activé. Ces données peuvent être utiles à la reconnaissance d’une activité et à la détection de l’évolution du risque de chutes.
Capture issue du logiciel GAITRite
Motion Capture
La motion capture (MoCap) est une technologie basée sur l’infrarouge. Des marqueurs sont placés sur les différents membres du corps. Les caméras qui composent le système de motion capture émettent de la lumière infrarouge. Les marqueurs réfléchissent cette lumière. Les caméras détectent ensuite ces réflexions et enregistrent les positions radiales de chacun des marqueurs. Plusieurs caméras infrarouges sont utilisées, afin de déduire la position spatiale dans le temps des marqueurs et donc du squelette via trilatération.
Marqueurs portés par le participant et sa représentation dans le logiciel Nexus de Vicon
Pour reconstruire le squelette simplifié, plusieurs marqueurs doivent être portés. La reconstruction du squelette est réalisée à partir des données provenant de ces marqueurs dans un espace 3D.
Grâce aux positions des marqueurs dans l’espace 3D, nous pouvons extraire la vitesse dans le temps du marqueur correspondant à la cheville gauche par exemple. Il est donc possible de corréler les données de la motion capture avec celles récoltées avec le radar. On peut ainsi comparer, vérifier et annoter le spectrogramme.
Caméra Classique
Ce type de caméra capture des images à intervalle de temps régulier en couleur (RGB).
La caméra classique est utilisée pour l’annotation des données provenant des autres capteurs cités précédemment. Seule l’information de l’activité réalisée nous intéresse ici, c’est pourquoi ces données sont anonymisées en réalisant un floutage du visage.
