thesis

Exploitation de réseaux bayésiens dynamiques et du filtre particulaire pour le suivi d'objets articulés

Defense date:

Jan. 1, 2013

Edit

Institution:

Paris 6

Disciplines:

Abstract EN:

Le filtrage particulaire offre un formalisme probabiliste assez souple pour suivre des objets dans des séquences vidéo. Son principe est d'estimer la distribution de probabilité sur l'état de l'objet à suivre grâce à un échantillon pondéré dont les éléments, réalisations possibles de cet état, sont appelés particules. Il permet le suivi d'objets dans des situations complexes ou les distributions de probabilité à estimer ne sont ni gaussiennes ni même monomodales. Il est constitué de trois étapes : tout d'abord, dans une phase de prédiction, les particules sont propagées de manière à suivre les déplacements de l'objet ; ensuite, une correction est apportée, qui utilise les observations (images) courantes et vise à donner un poids aux particules correspondant à leur vraisemblance. Celles de fort poids correspondent alors aux modes de la densité à estimer. Enfin, dans une phase de reéchantillonnage, les particules de fort poids sont multipliées tandis que celles de faible poids (queue de la distribution) peuvent être supprimées. Malheureusement, dans les problèmes ou les espaces d'état et d'observation de l'objet sont de grandes tailles, comme c'est le cas pour le suivi d'objets articulés, le nombre de particules nécessaires à une bonne approximation de la densité à estimer peut être prohibitif. Des solutions à ce problème ont toutefois été apportées dans la littérature, en particulier l'utilisation de décompositions des espaces d'état et d'observation permettant de travailler sur des espaces de plus petites tailles. C'est par exemple le cas de Partition Sampling (PS), l'un des algorithmes de pointe dans ce domaine. Tout d'abord, nous avons développé un algorithme appelé Swapping-Based Partitioned Sampling (SBPS). Celui-ci s'appuie sur PS mais, contrairement à PS, il effectué les étapes de prédiction et de correction du filtre particulaire sur des ensembles de parties d'objet en parallèle (plutôt que séquentiellement comme PS). Ce traitement simultané permet d'introduire une nouvelle opération, dite de swapping ou de permutation, qui consiste à permuter entre elles des sous-parties de particules. Lorsque les permutations sont bien choisies, cela a pour effet de produire des particules plus proches des modes de la distribution à estimer tout en garantissant que l'estimation de celle-ci est toujours mathématiquement correcte. Après reéchantillonnage, seules les particules les plus proches des modes de la distribution sont conservées. De plus, le traitement en parallèle d'ensembles de parties permet à SBPS de réduire son nombre de reéchantillonnages, augmentant encore la précision de la méthode. Enfin, nous prouvons grâce à l'exploitation de la d-séparation, le modèle d'indépendance des réseaux bayésiens, qu'à convergence, SBPS estime bien la distribution cible. En exploitant une seule permutation, SBPS peut, dans certaines situations, engendrer un phénomène d'appauvrissement, c'est-à-dire que peu de particules différentes subsistent après reéchantillonnage. Cela n'est pas souhaitable, en particulier lorsque la distribution à estimer présente plusieurs modes. Pour pallier cela, nous avons introduit un deuxième algorithme appelé DBN-Based Combinatorial Resampling qui, au lieu de choisir une permutation précise, les génère toutes et construit le nouvel ensemble de particules résultant de toutes ces permutations. Ce nouvel ensemble permet non seulement d'augmenter le nombre de particules près des modes de la distribution à estimer mais préserve également une diversité entre particules de fort poids. Malheureusement, sa taille croît exponentiellement avec le nombre de parties de l'objet et le nombre de particules. Afin d'obtenir un algorithme passant à l'échelle, nous montrons comment l'on peut exploiter cet ensemble de particules en le construisant uniquement implicitement. L'algorithme ainsi obtenu, PFCR, se montre très performant, non seulement en termes de qualité de suivi mais également en termes de temps de réponse.

Abstract FR:

Articulated object tracking has now become a very active research area inthe field of computer vision. One of its applications, i. E. Human track-ing, is used in a variety of domains, such as security surveillance, humancomputer interface, gait analysis,. . . The problem is also of interest from thetheoretical point of view. Some of its challenges include, for example, thehigh dimensionality of state spaces, self-occlusions, kinematic ambiguities orsingularities, making it hard to solve and hence, attractive for the trackingcommunity. Particle Filter (PF) has been shown to be an effective method for solving visual tracking problems. This is due to its ability to deal with non-linear, non-Gaussian and multimodal distributions encountered in such problems. The key idea of particle filter is to approximate the posterior distribution of the target object state by a set of weighted samples. These samples evolve using a proposal distribution and their weights are updated by involving new observations. Under some assumptions, it can be shown that the distribution estimated by particle filter converges in a statistical sense to thetarget distribution. Unfortunately, in high dimensional problems, such asarticulated object tracking problems, the number of samples required for ap-proximating the target distribution can be prohibitively large since it growsexponentially with the number of dimensions (e. G. , the number of partsof the object), making the particle filter impractical. To reduce the com-plexity of tracking algorithms in such problems, various methods have beenproposed. One family of approaches that has attracted many researchers isbased on the decomposition of the state space into smaller dimensional sub-spaces where tracking can be achieved using classical methods. This resultsin tracking algorithms that are linear instead of exponential in the numberof parts of the object. Bayesian Networks (BN) offer a very effective way to represent articulated objects and to express the relationship between their different partssince the object can be naturally modeled by graphs where each part of theobject is represented by a node and the physical link between two neighborparts is represented by an edge. Most of conditional independence relation-ships induced by the structural constraints of the articulated objects can beeasily encoded in BN. This kind of graphical model has been exploited forarticulated object tracking in many works and has been shown to be a pow-erful tool for modeling the tracking problem in decomposition approaches. In this thesis, we focus on articulated object tracking and decompositiontechniques to deal with the high dimensionality of the state space describingthe problem. Our first approach is based on the state-of-the-art algorithmfor articulated object tracking: Partition Sampling (PS). First, we developan algorithm called Swapping-Based Partitioned Sampling (SBPS). In thisalgorithm, the prediction/correction step of PF is performed for a groupof parts in parallel instead of part after part as in PS. We also introducean operation called swapping which produces better particles, i. E. , particlesthat are nearer to the modes of the target distribution, after the correctionstep of the algorithm. We provide a principled way to select the set of partsprocessed in parallel and to perform the swapping operation so that the pos-terior distribution is correctly estimated. This approach enables to reducethe number of resampling steps of PS and to increase the tracking accu-racy due to the higher number of particles near the modes of the posteriordistribution obtained by the swapping operation. Because the swapping operation generates more particles near the modesof the posterior distribution, this might lead to a situation where the poste-rior distribution is represented by only a few distinct particles, that inducesa loss of particle diversity, resulting in tracking failure in some cases, e. G. When there is a sudden change in movements of the object. To address thisproblem, we introduce an algorithm called DBN-Based Combinatorial Re-sampling for articulated object tracking. Adding this resampling scheme intoa particle filter produces a new algorithm called Particle Filter with Combi-natorial Resampling (PFCR). Instead of aiming to find the best swapping,we create a particle set which contains particles generated from all possiblepermutations, implicitly constructed to avoid resampling over a particle setof exponential size. This approach allows increasing the number of parti-cles near the modes of the posterior distribution but also the diversity ofparticles as compared to SBPS, thus improving the tracking accuracy andreducing tracking failure. Our third approach for articulated object tracking, introduced in thisthesis, is based on a hierarchical search and Particle Swarm Optimization(PSO). This approach called Hierarchical Annealed Particle Swarm Opti-mization Particle Filter (HAPSOPF) aims to increase the tracking accuracyand reduce the computational cost of the tracking algorithm by integratingthe benefits of these two methods. First, the searching efficiency is improvedby performing PSO in subspaces whose dimension is much lower than thatof the original space and therefore the tracking accuracy is increased. Second, the search is performed in the same manner as PS, leading to a reducednumber of particles required for tracking. As a result, the computationalcost of the tracking algorithm is reduced. Moreover, some important factorsare introduced into the update equations of PSO to deal with the problemof noisy observation in articulated object tracking.