Conception et évaluation d'agents conversationnels multimodaux bidirectionnels
Institution:
Paris 5Disciplines:
Directors:
Abstract EN:
The goal of this PhD work is to investigate multimodal communication between conversational agents (virtual characters) and human users, with a focus on two modalities : speech and hand gesture. We examine the spontaneous multimodal behaviour that users display with agents in conversational and entertaining situations. We analyze the use of each modality, cooperation between them and the inter-individual differences related to users's age. Symmetrically, we evaluate several multimodal strategies of agents in pedagogical context : we show that these strategies are likely to influence users' memorization as well as their subjective impressions. We finally hypothesize that users's multimodal behaviour can be used to evaluate agents' behaviour. We thus draw some perspectives of new evaluation methods.
Abstract FR:
L'objectif de la thèse est d'étudier la communication multimodale entre un agent conversationnel (personnage virtuel) et un utilisateur humain. Les deux modalités considérées sont la parole et les gestes des mains. Nous étudions, dans des contextes conversationnels et ludiques, le comportement multimodal spontané des utilisateurs face aux agents. Nous analysons l'utilisation de chacune des modalités, leurs coopérations et les différences interindividuelles liées à l'âge des utilisateurs. Symétriquement, nous évaluons différentes stratégies de coopération multimodales pour des agents dans un contexte pédagogique : nous montrons qu'elles peuvent influencer la mémorisation des utilisateurs et leurs impressions subjectives. Enfin, nous proposons d'exploiter le comportement multimodal des utilisateurs pour évaluer le comportement des agents conversationnels. Ces hypothèses ouvrent des perspectives de méthodes d'évaluation originales.