Méthodes spectrales pour la modélisation d'objets articulés à partir de videos multiples
Institution:
Grenoble INPGDisciplines:
Directors:
Abstract EN:
A major challenge in the unsupervised modeling of articulated objects observed from multiple-view videos is the capture of motion. This problem implies establishing correspondences between the objects across frames. We provide three approaches to solve the problem based on computer vision techniques and spectral graph theory. The first relies on modeling the scene as a sparse collection of 3-D points (surfels). We propose two multi-view extensions of the Lucas-Kanade algorithm to track the features in 3-D and efficiently recover the scene-flow. The second is based on spectral graph theory and searches to establish dense correspondences between pairs of articulated shapes represented by graphs. We revisit classical methods and propose an alternative solution for matching large and sparse graphs. Finally, we consider the consistent segmentation of the object in time based on the extension of spectral clustering methods to sequences.
Abstract FR:
Un des problèmes essentiels dans modélisation non supervisée d’objets articulés observés à partir d’un système multi-caméra est la capture du mouvement, requérant la mise en correspondance des objets au cours d’une séquence. Trois solutions son proposées basées sur des techniques de vision par ordinateur et sur la théorie spectrale de graphes. La première, repose sur la modélisation d’une scène comme une collection de points 3-D. D’extensions multi-vue à l’algorithme de Lucas et Kanade permettent de suivre les points 3-D et obtenir le flot de scène. La deuxième approche est basée sur la théorie spectrale de graphes et cherche à établir des correspondances denses entre les graphes qui représentent deux formes articulées. Une analyse des méthodes classiques et deux alternatives pour traiter des graphes éparses de grande cardinalité sont proposées. Finalement, nous traitons la segmentation cohérente de l’objet le long d’une séquence à partir des méthodes spectrales de regroupement et leur extension au cas de séquences.