Abstract FR:

Le travail porte sur la realisation d'un systeme de dialogue multimodal permettant a un operateur d'interagir avec un robot manipulateur dote d'un systeme de vision, au moyen de la parole (en entree et en sortie), de l'affichage graphique et, dans une moindre mesure, de l'ecrit. Sur le plan de la communication multimodale, notre systeme ouvre des perspectives nouvelles en etendant la mise en relation d'evenements issus de media differents et provenant d'une meme source (l'operateur ou le systeme), a des evenements issus de media differents mais provenant de sources differentes (l'operateur et l'univers). Nous mettons en avant un systeme reactif base d'une part sur une grande rapidite de decision tirant au mieux parti des connaissances pragmatiques, et d'autre part sur un protocole lache de validation de la commande vocale et de gestion des limites de l'analyse de scene. Nous utilisons un formalisme similaire pour decrire la structure du dialogue et les activites du robot qui sont etroitement liees. Le modele du dialogue est represente par une grammaire decrite par des reseaux de transitions augmentees. Les activites du robot sont modelisees par des automates a etats finis. Une architecture multiagent est proposee; sa justification principale tient aux contraintes de rapidite imposees par le mode de fonctionnement choisi, qui nous amene a considerer comme concourantes, les taches de perception, de decision et d'action