Regularized bundle methods for large-scale learning problems with an application to large margin training of hidden Markov models
Institution:
Paris 6Disciplines:
Directors:
Abstract EN:
Pas de résumé disponible.
Abstract FR:
L'apprentissage automatique est souvent posé sous la forme d'un problème d'optimisation où l'on cherche le meilleur modèle parmi une famille de modèle paramétré par optimisation d'une fonction réelle de l'ensemble des paramètres. Le meilleur modèle est défini comme celui qui correspond à une l'ensemble de paramètres qui minimise cette fonction objective appelée critère. Les progrès rapide de l'apprentissage automatique ces dernières années sont allés de pair avec le développement de méthodes d'optimisation efficaces et adaptées aux particularités des fonctionnelles à minimiser, notamment pour permettre le traitement de grands jeux de données ou pour réaliser des taches d’apprentissage complexes. Dans cette thèse, nous travaillons sur les techniques d'optimisation nouvelles, génériques et efficaces afin de faciliter l'apprentissage de modèles complexes pour des applications de grande taille, et pour des critères quelconques. En particulier, nous nous sommes focalisés sur des problèmes d'optimisation non contraints dans lesquels la fonction objective peut être non-convexe et non partout différentiable. Etre capable de traiter ce genre de situation permet de pouvoir aborder des problèmes réels avec des modèles complexes et des critères d'apprentissage performants. Les contributions de cette thèse sont présentées en deux parties. La première partie présente nos travaux sur l'optimisation non contrainte. La seconde partie décrit les systèmes que nous avons développés pour l'apprentissage discriminant de modèles graphiques pour l'étiquetage de signaux et séquences, en nous appuyant lorsque nécessaire sur les algorithmes décrits dans la première partie.