Abstract FR:

La détection et le suivi du mouvement de la bouche est une étape préalable à de nombreux systèmes de traitement de flux vidéo ou d'interaction homme-machine (e. G. La lecture labiale, la reconnaissance des expressions, le maquillage en ligne). Le problème consiste à détecter les lèvres dans une image et au suivi de leur mouvement dans une séquence vidéo. Pour la tâche de détection, nous proposons deux méthodes : l'une se base sur la règle de Bayes pour segmenter les lèvres de la peau dans une image en couleur. L'autre méthode se base sur un modèle actif de forme pour localiser les points caractéristiques des contours des lèvres. Pour la tâche de suivi, nous proposons deux méthodes adaptatives : l'une peut être considérée comme une généralisation du modèle actif de forme et d'apparence. Nous construisons un modèle spécifique qui réalise son apprentissage en ligne sur la séquence vidéo : la forme, la texture, les caractéristiques locales de la bouche sont apprises directement à partir de la séquence. Notre méthode possède plusieurs avantages : tout d'abord, l'étape d'entraînement hors ligne est complexe et prend beaucoup de temps de préparation, un apprentissage en ligne permet de l'éviter; ensuite, notre méthode a la capacité de s'adapter aux nouveaux environnements; enfin, elle donne de meilleurs résultats que celles de la littérature. Ensuite, nous présentons une méthode qui permet de suivre un visage parlant dans une séquence. Notre méthode utilise toutes les connaissances disponibles non seulement en ligne mais aussi hors ligne. Il est connu qu'un système adaptatif présente un problème de dérive qui correspond à une divergence du modèle qui peut s'éloigner lentement de l'objet après un certain nombre d'images dans la séquence. Nous proposons d'utiliser un apprentissage hors ligne pour sélectionner les informations pertinentes. L'expérimentation montre que notre méthode donne de meilleurs résultats que la méthode IVT