Abstract FR:

L'interface Homme-Machine multimodale se présente comme un partenaire de communication capable de s'adapter au langage naturel de l'utilisateur contrairement aux interfaces classiques face auxquelles il doit s'adapter aux capacités communicatives de la machine. Cependant la plupart des travaux se sont pour le moment consacrée à l'aspect oral de la communication multimodale, limitant la gestuelle du locuteur à des signes simplistes et stéréotypées comme le pointage. Cette étude s'occupe au contraire de modéliser les gestes de désignation naturels pouvant apparaître dans ces dialogues. Les travaux de psychologie de l'action nous enseignent que la gestuelle est un moyen de communication à la fois important et omniprésent dans les dialogues Homme-Homme. Ces théories nous montrent le rôle primordial que joue la perception dans la définition, le contrôle et l'interprétation des gestes. Nos travaux s'occupent de préciser les relations perception-action par une étude expérimentale reposant sur le principe des expériences de magicien d'Oz afin d'explorer l'action gestuelle dans le cadre spécifique des interfaces multimodales. Un logiciel original de traitement de tels expériences a été développé afin de collecter des données spatiales et temporelles plus précises que les données habituellement recueillies. L'étude de ce corpus a montré que l'expression notamment gestuelles est fortement déterminée par le contexte perceptif. Un modèle d'analyse des gestes en contexte perceptif est ainsi proposé, qui permet de faire face aux nombreuses sources de variabilité et d'ambiguïtés des trajectoires. Les principes d'affordances ou encore de la Gestalttheorie mis en oeuvre et issus de la psychologie, permettent d'initier un rapprochement entre perception et action, par là-même de replacer le geste dans son cadre de production.