Abstract FR:

L'objet de cette these est l'etude de diverses proprietes d'apprentissage a partir d'exemples par des methodes de physique statistique, notamment, par la methode des repliques. Des taches supervisees, correspondant a la classification binaire de donnees, ainsi que des taches non supervisees, comme l'estimation parametrique d'une densite de probabilite, sont considerees. Dans la premiere partie, une approche variationnelle permet de determiner la performance de l'apprentissage optimal d'une direction d'anisotropie, et de deduire une fonction de cout permettant d'obtenir ces performances optimales. Dans le cas de l'apprentissage supervise d'une tache lineairement separable, des simulations numeriques confirmant nos resultats theoriques ont permis de determiner les effets de taille finie. Dans le cas d'une densite de probabilite constituee de deux gaussiennes, la performance de l'apprentissage optimal presente de nombreuses transitions de phases en fonction du nombre de donnees. Ces resultats soulevent une controverse entre la theorie variationnelle et l'approche bayesienne de l'apprentissage optimal. Dans la deuxieme partie, nous etudions deux approches differentes de l'apprentissage de taches de classification complexes. La premiere approche consideree est celle des machines a exemples supports. Nous avons etudie une famille de ces machines pour laquelle les separateurs lineaire et quadratique sont deux cas particuliers. La capacite, les valeurs typiques de la marge et du nombre d'exemples supports, sont determinees. La deuxieme approche consideree est celle d'une machine de parite apprenant avec un algorithme incremental. Cet algorithme construit progressivement un reseau de neurones a une couche cachee. La capacite theorique obtenue pour l'algorithme considere est proche de celle de la machine de parite.