Ingénierie de l'intéraction multimodale en entrée : approche à composants ICARE
Institution:
Université Joseph Fourier (Grenoble)Disciplines:
Directors:
Abstract EN:
The area of multimodal interaction has expanded rapidly since the seminal "Put that there" demonstrator of R. BoIt that combines speech and gesture. Ln parallel with the development of the Graphical User Interface technology, natural language processing and gesture recognition have made significant progress. Ln addition, recent interaction paradigms such as tangible and embodied user interfaces as weIl as augmented reality open a vast world of possibilities for interaction modalities. Significant achievements have been made in terms of both modalities and real multimodal systems. Although several muItimodal systems have been built, their design and development still remains a difficult task particularly because of a lack of reusability. Ln this thesis we address this problem of design and development for input multimodal interfaces (from the user to the system). We describe a conceptual model ofmultimodality as a unified framework for modalities and combinations of modalities. Based on this conceptual model, we define a generic component-based approach called ICARE which allows the easy and rapid design, development and maintenance of multimodal interfaces. We have developed the ICARE tool to prove the usefulness of our component-based approach. The ICARE tool is a graphical platform that enables the designer/developer to graphically manipulate and assemble ICARE software components in order to specify the muItimodal interaction. From this specification, the code of the multimodal interaction is automatically generated. Five multimodal systems with different characteristics (augmented virtualitv/realitv, mobile systems) have been develooed with the ICARE too1.
Abstract FR:
Depuis les travaux fondateurs de R. Bolt« Mets ça là » combinant la voix et le geste, les modalités d'interaction se sont multipliés, diversifiés et améliorés. Les récents paradigmes d'interaction comme les interfaces tangibles incarnées ou la réalité augmentée, couplés aux progrès des systèmes de localisation, à la miniaturisation des dispositifs, à la qualité des réseaux sans fils, à l'amélioration de la reconnaissance de la parole ou de gestes ouvrent un vaste champ de possibilités d'interaction pour les systèmes multimodaux. Dans ce contexte, et bien que de nombreux systèmes multimodaux soient disponibles, leur développement et leur maintien restent encore des tâches difficiles, notamment par manque de réutilisabilité de l'existant. Ce travail de thèse aborde ce problème de conception et de développement pour la multimodalité en entrée (de l'utilisateur vers le système informatique). Nous décrivons un modèle conceptuel de la multimodalité qui organise dans un canevas unificateur les modalités et leurs formes de combinaison. Basé sur ce modèle, nous définissons une approche générique à composants logiciels, notée ICARE, facilitant et accélérant la conception, le développement et le maintien des interfaces multimodales. Nous démontrons l'apport de cette approche par l'outil ICARE qui est une opérationnalisation de notre approche à composants. Un éditeur graphique est fourni, simplifiant la phase d'assemblage des composants et générant automatiquement le code correspondant à l'interaction multimodale. Cinq systèmes multimodaux aux caractéristiques distinctes (systèmes de réalité augmentée, de virtualité augmentée et mobiles) ont été développés avec l'outil ICARE.