Contributions pour les applications de réalité augmentée : suivi visuel et recalage 2D. Suivi d'objets 3D représentés par des modèles par points
Institution:
Toulouse, INPTDisciplines:
Directors:
Abstract EN:
This thesis presents several registration methods for augmented reality applications. We first present two applications which use 2D composition techniques (based on homography estimation or non-rigid image transformation). We then propose a 3D visual tracking approach that makes use of a point-based model of the object. The idea is to explain the motion of feature points matched from frame to frame in terms of the variation of the 3D pose parameters. For that we compute 2D motion fields induced by elementary 3D motions. We adapt the splatting technique developed by the computer graphics community to render the model and approximate the motion fields anywhere on the surface. To avoid the drift of the estimation process, we use a set of keyframes which poses are determined offline. Our implementation also exploits the graphic processing units (GPU) for its most computationally intensive parts.
Abstract FR:
Cette thèse présente plusieurs méthodes de recalage pour les applications de réalité augmentée. Nous présentons d'abord deux applications utilisant des méthodes de composition 2D (recalage homographique et déformation non-rigide). Nous proposons ensuite une approche de suivi visuel 3D utilisant un modèle par points de l'objet. La méthode consiste à interpréter des mises en correspondance entre points d'intérêt en termes de variation des paramètres de pose 3D. Pour cela nous calculons des champs de mouvement 2D inférés par les mouvements élémentaires 3D. Nous adaptons la technique de reconstruction par splatting développée par la communauté d'informatique graphique et l'utilisons pour l'approximation dense des champs de mouvement calculés en chaque point. Afin d'éliminer la dérive de l'estimation, nous utilisons un jeu d'images clés dont la pose est déterminée hors ligne. Nous exploitons les processeurs graphiques (GPU) pour les parties critiques de l'algorithme.