Controle de la complexite dans les reseaux de neurones : regularisation et selection de caracteristiques
Institution:
Paris 11Disciplines:
Directors:
Abstract EN:
Pas de résumé disponible.
Abstract FR:
Un des problemes fondamentaux de l'apprentissage supervise a partir d'exemples est d'adapter la complexite des fonctions apprises aux donnees d'apprentissage. Dans cette these nous menons notre etude sur les modeles connexionnistes en nous concentrant sur des perceptrons simples et des perceptrons multicouches. Les resultats presentes dans cette these montrent que ? il faut exercer un controle de la complexite afin d'atteindre de bonnes performances en generalisation, tout particulierement dans le cas d'echantillons de petite taille ; ? l'introduction d'information a priori sur la distribution des poids permet de controler la complexite du reseau par elagage des poids, elle permet egalement de realiser la selection de caracteristiques ; ? des techniques differentes de regularisation comme la penalisation des poids et l'apprentissage stoppe permettent le controle de la complexite, toutefois, les methodes structurelles peuvent se reveler insuffisantes alors que les methodes de type penalisation permettent d'adapter de facon tres efficace la complexite d'un reseau ; ? la complexite de la regle de classification realisee par le reseau de neurones evolue pendant l'apprentissage