Shape gradients, shape warping and medical application to facial expression analysis
Institution:
Paris 7Disciplines:
Directors:
Abstract EN:
This work focuses on the issue of modeling prior knowledge about shapes, an essential problem in Computer Vision. A shape can be a planar curve in 2D or a surface in 3D. In order to model shape statistics, we studied in a first part, rather theoretical, shape warping and matching. We start by defining distances between shapes? Then, in order to deform a shape onto another, we define the gradient of this shape functional and apply a gradient descent scheme. We also developed a generalization of the gradient notion which can take priors into account and which do not derive from any inner product. We used this new notion for defining an extension of the very well-known level set method that can handle landmarks knowledge. On the application side and in collaboration with professor Patrick Chauvel at La Timone Hospital, Marseille, we worked on the task of correlating facial expressions and the electrical activity in the brain during the epileptic seizures. Therefore, we developed a method for fitting a three-dimensional face model under uncontrolled imaging conditions and used this method for analyzing facial expressions of epileptic patients. Finally we present a first step in the direction of being able to interrelate electrical activity produced by the brain during the seizure (and recorded by stereoelectroencephalography electrodes) and the facial expressions.
Abstract FR:
Cette thèse porte sur le domaine des statistiques de formes. Une forme peut être une courbe plane en 2D ou une surface en 3D. Afin de pouvoir définir ces statistiques (moyenne, modes de variation), nous avons étudié plus précisément, dans une première partie plutôt théorique, le recalage et la mise en correspondance de deux formes entre elle. Cela consiste à développer des moyens de déformer une forme sur une autre. Des distances sont définies entre deux formes et une descente de gradient est effectuée pour déformer la première en la seconde. Nous avons donc défini la notion de gradient sur l'espace des formes et généralisé cette définition pour définir des champs de déformations qui ne dérivent plus d'un gradient. Cette notion a été appliquée pour construire une méthode permettant de déformer une courbe en une autre en étant guidé par des points d'amers définissant des correspondances entre ces deux courbes. Dans une seconde partie, nous présentons une application de ces méthodes à l'analyse d'expressions faciales de patients épileptiques en collaboration avec l'équipe du Professeur Patrick Chauvel à l'hôpital de La Timone à Marseille. Nous avons développé des techniques pour quantifier ces expressions faciales, et ainsi pouvoir les comparer entre elles. Nous avons ensuite étudié un moyen de mettre en relation ces expressions faciales (enregistrées pendant des crises d'épilepsies) avec le signal électrique enregistré simultanément dans le cerveau des patients. Cette mise en relation répond à une demande de l'équipe médicale qui se sert de cette information parmi d'autres pour affiner leur diagnostic.