Conception et mise en œuvre de nouvelles méthodes d'élaboration de plans d'expériences pour l'apprentissage de modèles non linéaires
Institution:
Paris 11Disciplines:
Directors:
Abstract EN:
This thesis adresses the problem of the construction of surrogate models in numerical simulation. Whenever numerical experiments are costly, the simulation model is complex and difficult to use. It is important then to select the numerical experiments as efficiently as possible in order to minimize their number. In statistics, the selection of experiments is known as optimal experimental design. In the context of numerical simulation where no measurement uncertainty is present, we describe an alternative approach based on statistical learning theory and resampling techniques. The surrogate models are constructed using neural networks and the generalization error is estimated by leave-one-out, cross-validation and bootstrap. It is shown that the bootstrap can control the over-fitting and extend the concept of leverage for non linear in their parameters surrogate models. The thesis describes an iterative method called LDR for Learner Disagreement from experiment Resampling, based on active learning using several surrogate models constructed on bootstrap samples. The method consists in adding new experiments where the predictors constructed from bootstrap samples disagree most. We compare the LDR method with other methods of experimental design such as D-optimal selection.
Abstract FR:
Dans le cadre de la simulation numérique, la thèse aborde le problème posé par la construction de modèles simplifiés de codes de calcul généralement complexes et lourds à mettre en oeuvre. La problématique de construction des modèles simplifiés rappelle celle des surfaces de réponse et des plans d’expériences. Dans le cadre de la simulation numérique, les expériences ”lourdes” correspondent aux calculs à réaliser. Il est donc important de disposer de méthodes permettant d’optimiser la planification des expériences simulées. Compte tenu du caractère déterministe des expériences, les méthodes proposées s’appuient sur la théorie de l’apprentissage statistique. Les modèles simplifiés sont construits en utilisant la famille des réseaux de neurones et les techniques statistiques d’estimation de l’erreur de généralisation pour contrôler l’apprentissage (leave-one-out, validation croisée, bootstrap). Il est montré que le bootstrap permet de contrôler le sur-apprentissage et d’étendre la notion de levier (mesure de l’influence des expériences sur l’estimation des paramètres), introduite en régression linéaire, aux modèles non linéaires en les paramètres. La thèse propose une procédure itérative de planification d’expériences numériques. Elle est fondée sur l’apprentissage actif en procédant à la construction de plusieurs modèles simplifiés à partir de répliques bootstrap. Par une approche de type Bagging, la variance des prédictions des modèles est analysée. Les nouvelles simulations sont planifiées de façon à réduire cette variance des prédictions. Cette procédure est comparée aux approches classiques des plans d'expériences optimaux et en particulier avec la D-optimalité.