Dreidimensionale skizzen in erweiterter realität
Institution:
Strasbourg 1Disciplines:
Directors:
Abstract EN:
Augmented Reality (AR) aims to fuse artificial and natural sensations to a consistent total perception. In doing so, the user should have the impression, that the virtual objects are part of the augmented physical world. In this augmented world the user can interact meaningfully with the perceived virtual objects. This work uses the AR-technology, in order to merge natural and artificial sensory information of the visual perception. AR can serve as medium, with which information is made available and can be exchanged at the right time, at the correct place and in the correct interrelation with the physical world. Though, this information can originate from existing data collections, whose objects have a spatial relation to the physical world, it happens frequently, that new information objects and maybe their geometry should be registered. AR is to help to communicate spatial data of defined meaning with oneself or others. The characteristic of communication using AR is that the information is taken at the same time both from physical world and from virtual world. The thesis proposes to use AR in the context of disaster management. AR can there be used to simplify the information exchange to coordinate the rescue measures after an disastrous event. To use AR efficiently for disaster management three-dimensional information is needed. It is therefore a new method developed to sketch virtual geometries directly into the physical world. These sketches can be used to create three-dimensional data to describe disaster relevant information on site. The generated information needs to be integrated in an overall information management strategy. It is shown how the geometric information is linked to a general data model that can be used for information management for rescue measures. The availability of information can be improved by AR since the information can be theoretically delivered exactly to the place where it is needed. However, this task can only be performed, if position and orientation of the user can be tracked over wide areas. To provide continuously position and orientation for regions of large extent adequate sensors are needed. In this study a combination of GPS and INS is used. The integration of these sensors requires special calibration techniques. To determine all calibration parameters, a new calibration strategy was developed. To describe the strategy several transformations on the structure of the mathematical model had to be applied. To describe the transformation of the structures, an adopted notation is given. Having calibrated the AR-System, the problem of creating sketches that are embedded into the physical world is approached. Sketches made on paper fulfil in general several functions. In some cases, it is additionally desired, that the sketched information can be viewed three dimensionally from different perspectives. Such sketches are called in this thesis "three-dimensional sketches" to point out, that these sketches do not only represent a three-dimensional object, but they are also represented them-selves in three dimensions. The third dimension is derived from sketches that are drawn from different perspectives. As long as the user is drawing, while no three-dimensional representation is available, a method is needed, thatcan approximately overlay the drawing with the correct location in the image plane, even if the image plane is moving continuously. In contrast to other methods described in literature the method given here enables one to create polygonal sketch elements from distance, without touching the physical location of the polygon. The approach takes into account that the users may draw sketches with different level of details and that they may make mistakes when drawing in perspective. The reconstructed curve has the same topology as the measured one. The described method is demonstrated by examples and the sensibility of the algorithm and the accuracy of the results are discussed. Finally, further developments, possible extensions and technical improvements are proposed.
Abstract FR:
L'objectif de la réalité augmentée (RA) est de fusionner des impressions sensorielles artificielles et naturelles pour aboutir à une perception totale cohérente. L'utilisateur doit avoir l'impression que le monde physique a été complété avec des objets virtuels dans lequel il peut interagir raisonnablement. Il est également possible de générer des impressions sensorielles artificielles pour l'ouïe, l'odorat, le goût et le toucher. Cette thèse utilise la technique de la RA pour fusionner deux types d'informations visuelles : d'une part des informations naturelles et d'autre part des informations artificielles. Ces informations peuvent provenir de collections de données existantes ayant une relation spatiale au monde physique, mais également d'enregistrement de nouveaux objets et de leur géométrie. La communication des données spatiales ayant une signification spécifique est rendue possible avec d'autres ou avec soi-même. Les informations du monde physique et celles du monde virtuel sont prises en compte simultanément. Une des formes les plus importantes de communication graphique dans le quotidien est l'esquisse à main levée. Cette thèse propose une méthode permettant de dessiner directement des esquisses virtuelles dans le monde physique. Pour cela nous utilisons la notion d' `` esquisse tridimensionnelle ''. L'information dessinée doit non seulement être représentée en 2D, mais également en 3D et devient de ce fait représentable avec différentes perspectives. La représentation tridimensionnelle de l'objet est nécessaire pour le rendre observable en perspective. Il s'agit donc d'une esquisse tridimensionnelle d'un objet de l'espace. Les esquisses utilisent seulement un petit nombre de primitives, et donnent une signification sémantique dans leur contexte et leur combinaison. Cette thèse cherche à définir le principe de la génération de ces esquisses tridimensionnelles. Ce type de saisie est approprié si la mesure de la géométrie n'exige pas une précision élevée. C'est le cas pour des applications nécessitant rapidement d'une information géométrique sans dépendre de la reproduction exacte de cette géométrie. Bien que la précision de saisie avec l'ARS (Système de Réalité Augmentée) soit limitée jusqu'à présent, ces systèmes permettent d'acquérir des données spatiales en peu de temps. Les données sont rapidement disponibles car la mesure, le calcul, la modélisation et le contrôle de qualité sont effectués en une seule étape. Par conséquent, un champ d'application pour ces esquisses tridimensionnelles est la saisie de l'état des lieux à l'issue de catastrophes, situation dans laquelle la rapidité des mesures est nécessaire. L'esquisse tridimensionnelle doit compléter le dessin bidimensionnel de la carte de situation et/ou de l'esquisse de situation. Généralement, seules des esquisses bidimensionnelles sont dessinées pour la gestion des catastrophes. Les représentations tridimensionnelles et spatiales sont à peine utilisées. En effet, le dessin spatial tridimensionnel à main levée est difficile pour les personnes inexpérimentées. Pourtant les informations tridimensionnelles jouent un rôle important. Par exemple, pour les dommages sur les grands bâtiments à plusieurs étages, la représentation en plan est insuffisante pour décrire la situation. La visualisation tridimensionnelle dans de tels cas permettra d'améliorer la description spatiale des dommages. Pour pouvoir utiliser la RA lors de catastrophes, des exigences particulières doivent être satisfaites. Le système doit pouvoir être utilisé dans un domaine d'application étendu, il doit pouvoir échanger des informations entre plusieurs intervenants, les objets spatiaux ne sont pas toujours accessibles et leur localisation est inconnue. Les procédures classiques de production des esquisses dans un environnement de RA ne sont pas appropriées pour la gestion de catastrophes. Cette thèse présente une nouvelle méthode où les géométries peuvent être décrites dans le monde physique et des esquisses de situation peuvent être produites sur site. Nous montrons comment ces données tridimensionnelles peuvent être intégrées avec d'autres informations dans un concept général de gestion de savoir pour des catastrophes. Pour ces applications, le système nécessite des capteurs qui fournissent l'orientation et la position quelque soit le rayon d'action. La position est alors saisie avec un GPS et l'orientation est déterminée avec un système de navigation inertielle (INS). Lors de la présentation l'utilisateur peut choisir entre deux variantes du système : la fusion des images du monde physique et virtuel a lieu soit à l'aide de lunettes à RA (monocle) ou d'images d'une caméra vidéo qui sont superposées avec des images générées par un ordinateur. Pour la superposition avec une caméra vidéo, on utilise une caméra vidéo Unibrain Fire-i avec différentes résolutions possibles de 640x480, de 320x240 ou de 160x120 pixels et un écran d'un ordinateur portatif. La mise au point de la caméra est fixe pour ce projet et la distance focale est constante. Le système Microvision Nomad a été utilisé pour l'autre variante qui se base sur la superposition à l'aide de lunettes à RA (monocle). Ce dernier convient pour des applications extérieures en raison de sa transparence et de sa luminosité particulièrement adaptée. On peut ainsi rendre visibles des informations dans des conditions d'éclairage difficiles, par exemple lors de mesures avec le ciel en arrière-plan. Ces constituants principaux sont fixés sur le cadre d'un sac à dos. Le récepteur GPS (relié à une barre), un tripode, la caméra, le système inertiel et une valise d'aluminium sont transportables dans un sac à dos. Tous les câbles, les batteries et l'ordinateur portatif sont rangés dans une valise. Lorsque le monocle est utilisé, un système IMU (Inertial Measurement Unit) doit être attaché à la boîte du monocle, parce que l'orientation de la tête peut se différencier de l'orientation de la caméra. Pour fusionner la scène du monde physique et la scène du monde virtuel dans une image, on définit un modèle mathématique du processus de la superposition. Les paramètres inconnus du processus sont déterminés par un étalonnage. Une méthode originale de calibrage du système a été développée, étant donnée qu'aucun procédé efficace n'a été trouvé dans la bibliographie. Le modèle mathématique est décrit par un système d'équations non linéaires résolu de manière itérative. Pour déterminer la précision du système INS, une méthode pour estimer le comportement des erreurs a été développée, sans que des appareils supplémentaires soient nécessaires. [. . . ]