Abstract FR:

Cette these s'inscrit dans le domaine de la communication homme-machine et plus specifiquement dans celui de la communication gestuelle. L'objectif est la conception de systemes de reconnaissance et de comprehension adaptes au canal gestuel afin de pouvoir integrer de nouvelles possibilites d'interactions au sein d'interfaces informatiques. Une attention particuliere a ete portee au probleme de la reconnaissance et de la comprehension de la langue des signes francaise (lsf). Une etude detaillee de la structure et du fonctionnement de la lsf a ete menee en vue de sa modelisation informatique. Parmi les differentes proprietes degagees, les deux suivantes sont particulierement importantes. Tout d'abord, un signe est multidimensionnel car il possede la propriete de transmettre plusieurs types d'informations simultanement, par l'intermediaire de parametres qui sont au nombre de quatre pour les gestes de la main (configuration, mouvement, orientation et emplacement). Par ailleurs, deux categories de signes doivent etre distinguees: les gestes pour lesquels les quatre parametres sont invariables quelque soit le contexte (les signes standards) et ceux pour lesquels au moins un des parametres est variable en fonction du contexte (les signes variables). Le systeme propose, nomme argo, tient compte des resultats de cette etude. Il est compose d'un module de reconnaissance et d'un module de comprehension. Le module de reconnaissance est base sur une approche markovienne qui a permis l'obtention de resultats tres encourageants sur des phrases de gestes enchaines composees de signes standards et variables (taux de reconnaissance 96%). Le module de comprehension est fonde sur la definition de regles spatio-temporelle et la representation de la scene de narration du signeur. Un prototype comportant une scene virtuelle permet de visualiser etape par etape le processus d'interpretation. A la fin du processus, une traduction de la phrase en francais est produite