Interaction 2D/3D en réalité augmentée sur table
Institution:
Université Grenoble AlpesDisciplines:
Directors:
Abstract EN:
This thesis contributes to the research field of Human-Computer Interaction (HCI). The focus of the research is on tabletop Augmented Reality (AR) interaction. Allowing visualization of 3D virtual information linked to a table that acts as a physical support for interaction is one of the main advantages of tabletop AR.Tabletop AR systems thus define a relevant alternative to the often complex desktop software used to create and visualize 3D models (3D modeling, CAD, urban planning, architecture).Currently, these systems use mid-air interaction techniques inherited from classical AR that mimic the manipulation of physical objects. Although intuitive and direct, these techniques are often imprecise and tiring for long-term use.Tabletop AR systems also allow tactile interaction on the table which is more precise but less intuitive for 3D tasks than 3D mid-air interaction. In this context, the research question of our work concerns the design of 3D object selection techniques in tabletop AR that are precise, not tiring, and easy to handle and use.The design space to be explored is vast and includes selection techniques based on tactile interaction on the table, mid-air interaction above the table, and hybrid interaction combining the two interaction spaces i.e. the table and the space above the table. The exploration of this vast design space gave rise to three contributions.Our first contribution is to identify which AR device, between a head-mounted display (HMD) and a handheld device (smartphone/tablet), is the most efficient for the visualization and selection of 3D objects. The experimental results show better performance and user feedback with an HMD. We have therefore focused on tabletop AR with an HMD in our subsequent work.Our second contribution concerns the selection of distant 3D objects. We propose a new bi-manual technique, namely textit{RayLens}, to improve the accuracy of distant object pointing. textit{RayLens} combines a ray and a 2D magnifying lens that can be moved in 3D. This technique has proven to be efficient, not tiring, and particularly appreciated by the users thanks to its ease of use and intuitiveness.Finally, our third contribution focuses on the precise selection of objects at hand and further develops the use of the table as an input space for interaction. By experimentally comparing the three interaction spaces provided in tabletop AR (2D table space, 3D space above the table, hybrid space), we highlight the importance of the table support in improving accuracy and reducing fatigue. We also show the effectiveness of hybrid techniques that successfully combine the accuracy of tactile interaction with the speed of mid-air interaction.
Abstract FR:
Cette thèse s’inscrit dans le domaine de l’Interaction Humain-Machine (IHM) et est dédiée à l’interaction en Réalité Augmentée (RA) sur table. Permettre de visualiser des informations virtuelles 3D liées à une table qui sert de support physique à l’interaction est un des principaux avantages de la RA sur table. Les systèmes de RA sur table sont ainsi une alternative pertinente aux logiciels souvent complexes sur ordinateurs de bureau pour créer et manipuler des modèles 3D (modélisation 3D, conception assistée par ordinateur, urbanisme, architecture). Actuellement, ces systèmes mettent en œuvre des techniques d’interaction dans l’air héritées de la RA classique et imitant les manipulations d’objets physiques. Bien qu’intuitives et directes, ces techniques sont souvent peu précises et fatigantes pour un usage prolongé. Les systèmes de RA sur table autorisent également l’interaction tactile sur la table qui est plus précise mais moins intuitive pour des tâches 3D que l’interaction dans l’air. Dans ce contexte, la question de recherche de nos travaux concerne la conception de techniques de sélection d’objets 3D en RA sur table qui soient précises, peu fatigantes et faciles à prendre en main et à utiliser.L’espace de conception à explorer est vaste et comprend des techniques de sélection basées sur l’interaction tactile sur la table, sur l’interaction dans l’air au-dessus de la table et sur l’interaction hybride alliant ces deux espaces d’interaction que sont la table et l’espace au-dessus. L’exploration de ce vaste espace de conception a donné lieu à trois contributions. Notre première contribution est d’identifier quel dispositif de RA, entre un casque et un dispositif portable (téléphone / tablette), est le plus efficace pour la visualisation et la sélection d’objets 3D en RA sur table. Les résultats montrent de meilleurs performances et retours utilisateurs avec un casque de RA. Nous nous sommes donc concentrés sur ce dispositif dans la suite de nos travaux.Notre deuxième contribution concerne la sélection d’objets distants. Nous avançons une nouvelle technique bi-manuelle textit{RayLens} pour améliorer la précision du pointage d’objets distants. textit{RayLens} combine un rayon et une lentille grossissante 2D déplaçable en 3D. Cette technique s’est révélée performante, peu fatigante et particulièrement appréciée par les utilisateurs grâce à sa simplicité de prise en main et d’utilisation.Enfin, notre troisième contribution porte sur la sélection précise d’objets à portée de main et approfondit l’utilisation de la table comme espace d’interaction en entrée. En comparant expérimentalement les trois espaces d’interaction fournis en RA sur table (espace 2D de la table, espace 3D au-dessus de la table, espace hybride), nous soulignons l’importance du support de la table pour améliorer la précision et réduire la fatigue. Nous montrons également l’efficacité des techniques hybrides qui combinent avec succès la précision de l’interaction tactile et la rapidité de l’interaction dans l’air.