Semantic navigation of large scale geo-referenced 3D scenes and virtual worlds
Institution:
LimogesDisciplines:
Abstract EN:
The current technological evolutions introduce 3D geo-informatics to their digital age, enabling new potential applications in the field of virtual tourism, recreation, entertainment and cultural heritage. Virtual 3D worlds and geo-referenced scenes are used even more in simulations of physical disasters or in evacuating and military scenarios. It is argued that 3D information provides the natural way of navigation. However, personalization is a key aspect in a navigation system, since a route that incorporates user preferences is ultimately more suitable than a route which simply provides the shortest distance or travel time. An efficient personalized route planning architecture is based on geometrical criteria and on human factors regarding user's preferences in the 3D itinerary. In this work a multi-layer integrated framework is introduced for efficient, user-centric navigation of 3D worlds. Usually, user's preferences are expressed as a set of weights that regulate the degree of importance of the scene semantic metadata on the route selection process. These weights, however, are defined by the users, setting the complexity on the user's side, which makes personalization an arduous task. In this work, an alternative approach is proposed in which metadata weights are estimated implicitly and transparently to users, transferring the complexity to the system side. This is achieved by introducing a relevance feedback online learning strategy which automatically adjusts metadata weights by exploiting information fed back to the system about the relevance of user's preferences judgments given in a form of pairwise comparisons. Practically implementing a relevance feedback algorithm presents the limitation that several pairwise comparisons (samples) are required to converge to a set of reliable metadata weights. For this reason, in this work a weight rectification strategy is proposed which improves weight estimation by exploiting metadata interrelations defined through an ontology. In the sequel, a genetic optimization algorithm is incorporated to select the user's most preferred routes based on a multi-criteria optimization approach. To increase the degree of personalization in 3D navigation, an efficient algorithm is also introduced for estimating 3D trajectories around objects of interest by merging best selected 2D projected views that contain faces which are mostly preferred by users. Simulations and comparisons have been conducted with other approaches either in the field of online learning or route selection using objective metrics in terms of precision and recall values.
Abstract FR:
Les évolutions technologiques actuelles font entrer la géo-informatique 3D à son âge numérique, permettant de nouvelles applications potentielles dans le domaine du tourisme virtuel, du loisir, du divertissement et du patrimoine culturel. Des mondes virtuels 3D et des scènes géo-référencées sont utilisés encore plus dans les simulations de catastrophes physiques et de plan d'évacuation ou de scénarios militaires. Il est prouvé que les informations 3D offrent un moyen naturel de navigation. Cependant la personnalisation est un aspect essentiel dans un système de navigation. En dehors des optimisations de distance et du temps l'intégration des préférences des utilisateurs est finalement le point les important d'une navigation. Une architecture efficace de planification d'itinéraire personnalisée est basée tant sur des critères géométriques que sur les préférences de l'utilisateur. Dans ce travail, un cadre multi-couche intégrée est introduit, pour soutenir une navigation efficace centrée sur l'utilisateur, dans des mondes 3D. Habituellement, les préférences de l'utilisateur sont exprimées sous forme d‟un ensemble de poids qui représente le degré d'importance du contenu des métadonnées sémantiques de la scène sur le processus de sélection du tracé. Ces poids, cependant, sont définis par les utilisateurs, en mettant la complexité du côté de l'utilisateur, ce qui rend la personnalisation une tâche ardue. Dans ce travail, une approche alternative est proposée dans laquelle les poids du contenu des métadonnées sont estimés implicitement et de façon transparente pour les utilisateurs, en déplaçant la complexité du côté du système. Ce résultat est obtenu par l'introduction d'une stratégie d'apprentissage en ligne par retour d'expérience qui ajuste automatiquement les poids de variables des métadonnées par exploitation de l'information renvoyée vers le système sur la pertinence des jugements de préférences utilisateur présentés sous une forme de comparaisons par paires. Dans la pratique la mise en oeuvre d'un algorithme de retour d'expérience présente la limitation que plusieurs comparaisons par paires (échantillons) sont nécessaires pour converger vers un ensemble de poids de variables des métadonnées fiables. Pour cette raison, dans ce travail une stratégie de rectification de poids est proposée qui permet d'estimer le poids en exploitant les interrelations de variables de métadonnées définies par une ontologie. Dans la suite, un algorithme d'optimisation génétique est proposé pour sélectionner les itinéraires les plus préférés de l'utilisateur basé sur une approche d'optimisation multi-critères. Pour améliorer le degré de personnalisation en navigation 3D, un algorithme efficace est également mis en place pour estimer les trajectoires 3D autour des objets choisis par la fusion de meilleurs vues projetées en 2D qui contiennent des faces qui ont la plus grande préférence des utilisateurs. Des simulations et des comparaisons ont été effectuées avec d'autres approches, soit dans le domaine de l'apprentissage en ligne ou du choix du tracé en utilisant des mesures objectives en termes de précision et de rappel des valeurs.