Contrôle adaptatif d'un agent rationnel à ressources limitées dans un environnement dynamique et incertain
Institution:
CaenDisciplines:
Directors:
Abstract EN:
This thesis deals with decision-theoretic autonomous agents. This work consists in constructing a control system for a resource-bounded agent evolving in a uncertain environment. Such agents must be able to control their resources consumption during a mission. The first part of this thesis introduces the concept of planning under uncertainty in general, and Markov decision processes (MDP) in particular, for the control. Solving techniques of large MDPs are presented. In this control system, we consider resource-bounded agents adopting progressive reasoning as a specific resource-bounded reasoning with anytime behavior. We call progressive processing units (PRU) the task structure which allows the agent to adapt the quality of their accomplishment to the available resources. Each PRU defines a multi-level hierarchy task, to better accomplish the mission. This thesis presents two extensions of the progressive reasoning : the control of multiple resources and an adaptive control system that faces changes during the mission. Firstly, algorithms are presented to avoid combinatorial explosion due to the multiple resources. Secondly, a value function approximation algorithm permits to quickly obtain a control system when the mission suddenly changes. Promising experimental results have been obtained and illustrated on a real robot.
Abstract FR:
Cette thèse se situe dans le cadre de la décision pour un agent rationnel et autonome. Le travail consiste à élaborer un système de contrôle intelligent pour un agent évoluant dans un environnement incertain. L'agent doit pouvoir contrôler sa consommation de ressources au cours d'une mission prédéfinie. La première partie de cette thèse introduit le concept de planification sous incertitude. Une présentation des processus décisionnels de Markov (MDP) précède un état de l'art sur les techniques de résolution de MDP de grande taille. Ce système de contrôle de ressources s'appuie sur le raisonnement progressif. Le raisonnement progressif permet de modéliser un ensemble de tâches sous forme d'unités de raisonnement progressif (ou PRUs). Chaque PRU définit des niveaux de réalisation pour une tâche donnée, donnant lieu à des qualités croissantes de réalisation. Chaque niveau est lui-même composé de modules dont un seul sera retenu pour sa réalisation. Choisir un module plutôt qu'un autre permet à l'agent de faire un compromis entre la qualité de la tâche accomplie et les ressources consommées. Cette thèse présente deux extensions du raisonnement progressif : la prise en compte de ressources multiples et l'adaptation à un changement de mission. Premièrement, des algorithmes sont présentés pour faire face à l'explosion combinatoire due à l'introduction de nouvelles ressources. Deuxièmement, l'élaboration d'un algorithme d'approximation de fonction de valeur permet d'obtenir rapidement un système de contrôle pour s'adapter à un éventuel changement de mission. Une expérience est finalement menée sur un robot réel qui contre ses ressources grâce au raisonnement progressif.