Apprentissage statistique et computer experiments : approche quantitative du risque et des incertitudes en modélisation
Institution:
Toulouse 3Disciplines:
Directors:
Abstract EN:
This thesis work consists in gathering statistical learning theory with the field of computer experiments. As the considered computer codes are only known through simulations, we propose an original statistical framework, including the classical ones, which takes into account the simulation aspect. We investigate learning algorithms for parameter estimation in computer codes which depend on both observed and simulation data. We validate these algorithms by proving excess risk bounds using concentration inequalities. We also study the duality between the estimation procedure and the wanted feature prediction. Here, we try to understand the impact of an estimation procedure on some given characteristic of the phenomenon of interest. Finally, the computation of optimal parameters in practice involves the minimization of a criterion which is generally highly non convex and with irregularities. We propose a stochastic algorithm which consists in combining regularization methods with a stochastic approximation method like the Kiefer-Wolfowitz one.
Abstract FR:
Cette thèse s'inscrit dans le domaine de l'apprentissage statistique et dans celui des expériences simulées (computer experiments). Son objet est de proposer un cadre général permettant d'estimer les paramètres d'un code de simulation numérique de façon à reproduire au mieux certaines caractéristiques d'intérêt extraites de données observées. Ce travail recouvre le cadre classique de l'estimation paramétrique dans un modèle de régression et également la calibration de la densité de probabilité des variables d'entrée d'un code numérique afin de reproduire une loi de probabilité donnée en sortie. Une partie importante de ce travail consiste dans l'estimation paramétrique d'un code numérique à partir d'observations. Nous proposons une classe de méthode originale nécessitant une simulation intensive du code numérique, que l'on remplacera par un méta-modèle s'il est trop coûteux. Nous validons théoriquement les algorithmes proposés du point de vue non-asymptotique, en prouvant des bornes sur l'excès de risque. Ces résultats reposent entres autres sur des inégalités de concentration. Un second problème que nous abordons est celui de l'étude d'une dualité entre procédure d'estimation et nature de la prédiction recherchée. Il s'agit ici de mieux comprendre l'effet d'une procédure d'estimation des paramètres d'un code numérique sur une caractéristique d'intérêt donnée. Enfin, en pratique la détermination des paramètres optimaux au sens du critère donné par le risque empirique nécessite la recherche du minimum d'une fonction généralement non convexe et possédant plusieurs minima locaux. Nous proposons un algorithme stochastique consistant à combiner une régularisation du critère par convolution avec un noyau gaussien, de variance décroissante au fil des itérations, avec une méthode d'approximation stochastique du type Kiefer-Wolfowitz.