3D Human Behavior Understanding by Shape Analysis of Human Motion and Pose
Compréhension de comportements humains 3D par l’analyse de forme de la posture et du mouvement
Comprensione del comportamento umano 3D attraverso l’analisi di forma del movimento e della posa
Résumé
The emergence of RGB-D sensors providing the 3D structure of both the scene and the human body offers new opportunities for studying human motion and understanding human behaviors. However, the design and development of models for behavior recognition that are both accurate and efficient is a challenging task due to the variability of the human pose, the complexity of human motion and possible interactions with the environment. In this thesis, we address this issue in two main phases by differentiating behaviors according to their complexity. We first focus on the action recognition problem by representing human action as the trajectory of 3D coordinates of human body joints over the time, thus capturing simultaneously the body shape and the dynamics of the motion. The action recognition problem is then formulated as the problem of computing the similarity between shape of trajectories in a Riemannian framework. Experiments carried out on four representative benchmarks demonstrate the potential of the proposed solution in terms of accuracy/latency for a low-latency action recognition. Second, we extend the study to activities by analyzing the evolution of the human pose shape to decompose the motion stream into short motion units. Each motion unit is then characterized by the motion trajectory and depth appearance around hand joints, so as to describe the human motion and interaction with objects. Finally, the sequence of temporal segments is modeled through a Dynamic Naive Bayesian Classifier. Experiments on four representative datasets evaluate the potential of the proposed approach in different contexts, including gesture or activity recognition and online activity detection.
L’émergence de capteurs de profondeur capturant la structure 3D de la scène et du corps humain offre de nouvelles possibilités pour l’étude du mouvement et la compréhension des comportements humains. Cependant, la conception et le développement de modules de reconnaissance de comportements à la fois précis et efficaces est une tâche difficile en raison de la variabilité de la posture humaine, la complexité du mouvement et les interactions avec l’environnement. Dans cette thèse, nous abordons cette question en deux étapes principales en différenciant les comportements en fonction de leur complexité. Nous nous concentrons d’abord sur le problème de la reconnaissance d’actions en représentant la trajectoire du corps humain au cours du temps, capturant ainsi simultanément la forme du corps et la dynamique du mouvement. Le problème de la reconnaissance d’actions est alors formulé comme le calcul de similitude entre la forme des trajectoires dans un cadre Riemannien. Les expériences menées sur quatre bases de données démontrent le potentiel de la solution en termes de précision/temps de latence de la reconnaissance d’actions. Deuxièmement, nous étendons l’étude aux activités en analysant l’évolution
de la forme de la posture pour décomposer la séquence en unités de mouvement. Chaque unité de mouvement est alors caractérisée par la
trajectoire de mouvement et l’apparence autour des mains, de manière à décrire le mouvement humain et l’interaction avec les objets. Enfin, la
séquence de segments temporels est modélisée par un classifieur Bayésien naif dynamique. Les expériences menées sur quatre bases de données évaluent le potentiel de l’approche dans différents contextes comme la reconnaissance de gestes ou d’activités et la détection en ligne d’activités.
La diffusione di sensori RGB-D capaci di fornire la struttura 3D sia della scena che del corpo umano offre nuove opportunità per studiare i movimenti dell’uomo e capire i suoi comportamenti. Tuttavia, la progettazione e lo sviluppo di modelli per il riconoscimento dei comportamenti che siano tanto accurati quanto efficienti è un problema competitivo a causa della variabilità delle pose, della complessità del moto e delle possibili interazioni con l’ambiente. In questa tesi si affronta il problema in due passi principali, differenziando i comportamenti in base alla loro complessità. Si pone l’attenzione inizialmente sul problema di riconoscere azioni rappresentandole come traiettorie di coordinate 3D dei giunti del corpo nel tempo, catturando al tempo stesso la forma e le dinamiche di moto. Il problema del riconoscimento delle azioni è poi riformulato come il problema di calcolare le similarità tra la forma delle traiettorie in un manifold Riemanniano. Gli esperimenti effettuati su quattro benchmark dimostrano il potenziale della soluzione proposta in termini di accuratezza/latenza del riconoscimento di azioni. Lo studio è poi esteso al riconoscimento di attività analizzando l’evoluzione della forma delle pose per decomporre il flusso di moto in unità di moto. Ogni unità di moto è quindi caratterizzata dalla traiettoria di moto e da una descrizione della profondità nell’intorno dei giunti delle mani, in modo da descrivere il moto e le interazioni con oggetti. Infine, la sequenza di segmenti temporali è modellata attraverso un classificatore Dynamic Naive Bayesian. Il potenziale dell’approccio proposto è valutato su esperimenti con quattro dataset in contesti diversi, inclusi il riconoscimento di gesti e attività e rilevamento di azioni online.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...
