Abstract FR:

Nous étudions différentes méthodes de combinaison d'estimateurs en régression et en classification. La première, dite méthode de mélange, initialement introduite par o. Catoni, est inspirée de procédures utilisées en compression de données et présente des similarités avec des constructions bayesiennes. Nous montrons son caractère adaptatif, pour le risque de Kullback-Leibler, vis-à-vis de l'ensemble des modèles considérés et montrons que ces propriétés ne changent pas si la loi a priori sur les modèles est une fonction échangeable du design. Ces résultats sont appliques aux modèles d'arbres de décision et un algorithme de Monte-Carlo original est construit pour calculer l'estimateur de façon approchée, dont la faisabilité et l'efficacité en termes de temps de calcul sont montrée par des simulations. Nous étudions ensuite, plus spécifiquement dans le cadre de la classification, les méthodes d'agrégation ou de vote, dont l'objectif, un peu différent, est de trouver un classifieur optimal dans l'ensemble plus grand des combinaisons convexes des experts de base. Dans un travail en commun avec Y. Amit, nous montrons de façon en partie heuristique que de nombreuses méthodes existantes peuvent être envisagées dans un même contexte et nous suggérons que les plus performantes ont en commun de réaliser un compromis entre biais et variance de la distribution des marges. Finalement, nous étudions différentes façons complémentaires d'établir des contrôles en probabilité de l'erreur de généralisation de telles méthodes à partir des marges empiriques sur l'ensemble d'apprentissage.