A formal approach to the emergence of spatial representations from sensorimotor inputs in robotics
Institution:
Sorbonne universitéDisciplines:
Directors:
Abstract EN:
In this thesis, we shall propose a formalism to develop the notion of sensorimotor spatial perception in a robotic context. Usually in classical approaches to robotics, the perception of space is given to the agent through predefined models of the world such as the agent's forward kinematics and the spatial positions of effectors and sensors. However, the awareness of space does not necessarly require to be a priori provided. As an example, in the sensorimotor contingency theory, developped by J. Kevin O'Regan (2001), it is supposed that knowledge of space can be obtained from the dependencies between sensory inputs and generated actions. In this work, we shall study how an embodied agent, situated in an unknown environment with very little a priori knowledge about its body or its sensors, can build a representation of its interaction with the physical space. First, we shall provide the agent with the minimum a priori knowledge required for interpretation of its sensorimotor flow, such that the approach is general enough and is valid for the majority of robotic agents. Then, it shall be demonstrated that, by following a « refinement process », the agent can exploit basic sensory invariants during successive environments to obtain a representation of its sensors distinguishable spatial configurations in space. However, the state of the environment being unknown to the agent, the sensory invariants can be seen as random variables, so that the formalism shall be extended to stochastic processes. Furthermore, in the probability theory context of the refinement process, the agent obtains an internal representation with a metrical structure based on the sensory invariance probabilities. Hereafter, it shall be demonstrated that under some topological assumptions on the motor space, this metrical internal representation allows planning and representation of sensors' continuous trajectories in space. Finally, by computing similarities between the internal representations obtained from the agent's different sensory streams, it shall be shown that the agent is able to build a representation of its sensors topographical structure, e.g. arrangement of the camera pixels, as well as to know when it interacts with its own body which should lead to the discovery of the self.
Abstract FR:
Dans cette thèse, nous proposons un formalisme afin de développer la notion de perception sensorimotrice spatiale dans le contexte robotique. Généralement en robotique classique, la perception de l'espace est innée à l'agent grâce à la modélisation en amont d'un modèle cinématique du robot et de la configuration spatiale de ses capteurs. Cependant, la connaissance de l'espace ne doit pas nécessairement être une donnée a priori. Par exemple, l'approche des contingences sensorimotrices, développée par J. Kevin O'Regan (2001), suppose que cette connaissance peut être obtenue à partir des dépendances entre les entrées sensorielles et les commandes motrices. Dans ce travail, nous étudions comment un agent incarné et situé dans un environnement inconnu avec très peu d'information a priori sur son corps ou ses capteurs, peut construire une représentation de son interaction avec l'espace physique. Pour commencer, nous devons donner à l'agent la quantité minimale de connaissances nécessaires pour l'interprétation des données du flux sensorimoteur, ainsi l'approche est suffisamment générale pour être valide pour une majorité d'agents robotiques. Puis, nous démontrons qu'en suivant un « processus de raffinement », l'agent peut exploiter ses invariants sensoriels basiques pour construire une représentation de l'espace des configurations spatiales distinguables de ses capteurs. Cependant, l'état de l'environnement étant inconnu pour l'agent, ces invariants sensoriels peuvent être modélisés comme des variables aléatoires et le formalisme peut être étendu aux processus stochastiques. Ainsi, dans le contexte probabiliste, l'agent peut construire une représentation interne avec une structure métrique basée sur la probabilité d'obtenir des invariants sensoriels. Une fois obtenue, la structure métrique permet de définir des hypothèses topologiques de l'espace moteur afin d'obtenir une représentation interne qui permet la planification ainsi que la représentation de trajectoires continues des capteurs dans l'espace. Pour finir, en comparant les représentations obtenues pour les différents flux de données sensorielles, il est possible de montrer que l'agent obtient aussi une représentation de la structure topographique de ses capteurs, par exemple l'arrangement des pixels d'une caméra, mais aussi de savoir quand l'agent interagit avec son propre corps ce qui lui permettrait de découvrir le soi.