Abstract FR:

Le sujet de cette these est l'etude et l'utilisation de l'apprentissage statistique et de la regularisation sur des problemes de regression. On s'interesse plus particulierement a l'identification de systemes et a la modelisation de series temporelles par des modeles lineaires d'une part et connexionnistes non-lineaires d'autre part. Les regressions parametriques lineaires et non-lineaire sont brievement presentees, et les limites de la regression simple sont illustrees en utilisant le concept d'erreur de generalisation. Ainsi definis, ces problemes sont incorrectement poses, et necessitent donc l'utilisation de regularisation pour obtenir des solutions correctes. Ceci introduit un ou plusieurs hyper-parametres qui controlent le niveau de regularisation et dont l'optimisation est effectuee en estimant l'erreur de generalisation. Plusieurs methodes sont presentees a cet effet. Ces developpements sont utilises pour s'attaquer a deux problemes particuliers. Dans le premier, il s'agit de determination des entrees necessaires a la modelisation d'une serie temporelle, par l'intermediaire d'une methode iterative s'appuyant sur l'estimation de la generalisation. Dans le second, on etudie une fonctionnelle de regularisation particuliere qui present l'interet d'effectuer un elagage des parametres inutiles du modele en conjonction avec son effet regularisant. Cette derniere partie utilise des estimateurs bayesiens qui sont aussi presentes de facon generale dans la these.