Représentation de Comportements Emotionnels Multimodaux Spontanés : perception, Annotation et Synthèse
Institution:
Paris 11Disciplines:
Directors:
Abstract EN:
The goal of this thesis is to represent spontaneous emotions and the associated multimodal signs in order to contribute to the design of the future interactive affective computing systems. Current prototypes remain limited to the detection and the synthesis of a few primary emotions and are grounded on acted data collected in-lab. In order to model the sophisticated relations between spontaneous emotions and their expressions in different modalities, an exploratory approach was defined. We collected and annotated a TV corpus of interviews. The collected data displayed emotions which are more complex than the six basic emotions (anger, fear, joy, sadness, surprise, disgust). Indeed, one observes superpositions, masking and conflicts between positive and negative emotions. We report several experiments which enabled to provide some answers to questions such as: how to reliably annotate and represent spontaneous complex emotions? At which level of abstraction and temporality? How to represent the context of an emotion? These experiments enabled the identification and definition of several levels of representation of emotions and their associated expressions which are relevant for spontaneous complex emotions. As future directions, the tools designed during this thesis (coding schemes, computation of metrics, annotation protocols) will be used for the design of models enabling the management of multimodal expressions of spontaneous emotions in future affective computing systems.
Abstract FR:
L’objectif de cette thèse est de représenter les émotions spontanées et les signes multimodaux associés pour contribuer à la conception des futurs systèmes affectifs interactifs. Les prototypes actuels sont généralement limités à la détection et à la génération de quelques émotions simples et se fondent sur des données audio ou vidéo jouées par des acteurs et récoltées en laboratoire. Afin de pouvoir modéliser les relations complexes entre les émotions spontanées et leurs expressions dans différentes modalités, une approche exploratoire est nécessaire. L’approche exploratoire que nous avons choisie dans cette thèse pour l’étude de ces émotions spontanées consiste à collecter et annoter un corpus vidéo d’interviews télévisées. Ce type de corpus comporte des émotions plus complexes que les 6 émotions de base (colère, peur, joie, tristesse, surprise, dégoût). On observe en effet dans les comportements émotionnels spontanés des superpositions, des masquages, des conflits entre émotions positives et négatives. Nous rapportons plusieurs expérimentations ayant permis d'apporter des éléments de réponses aux questions suivantes : Comment annoter de manière fiable et représenter des émotions complexes spontanées ? A quels niveaux d’abstraction et à quel niveau temporel ? Comment représenter le contexte d’une émotion ? Ces expériences ont permis la définition de plusieurs niveaux de représentation des émotions et des paramètres comportementaux multimodaux apportant des informations pertinentes pour la perception de ces émotions complexes spontanées. En perspective, les outils développés durant cette thèse (schémas d’annotation, programmes de mesures, protocoles d’annotation) pourront être utilisés ultérieurement pour concevoir des modèles utilisables par des systèmes interactifs affectifs capables gérer des expressions multimodales d’émotions spontanées.