Approximations parcimonieuses et méthodes à noyaux pour la compression de modèles d'apprentissage
Institution:
Aix-MarseilleDisciplines:
Directors:
Abstract EN:
This thesis aims at studying and experimentally validating the benefits, in terms of amount of computation and data needed, that kernel methods and sparse approximation methods can bring to existing machine learning algorithms. In a first part of this thesis, we propose a new type of neural architecture that uses a kernel function to reduce the number of learnable parameters, thus making it robust to overfiting in a regime where few labeled observations are available. In a second part of this thesis, we seek to reduce the complexity of existing machine learning models by including sparse approximations. First, we propose an alternative algorithm to the K-means algorithm which allows to speed up the inference phase by expressing the centroids as a product of sparse matrices. In addition to the convergence guarantees of the proposed algorithm, we provide an experimental validation of both the quality of the centroids thus expressed and their benefit in terms of computational cost. Then, we explore the compression of neural networks by replacing the matrices that constitute its layers with sparse matrix products. Finally, we hijack the Orthogonal Matching Pursuit (OMP) sparse approximation algorithm to make a weighted selection of decisiontrees from a random forest, we analyze the effect of the weights obtained and we propose a non-negative alternative to the method that outperforms all other tree selectiontechniques considered on a large panel of data sets.
Abstract FR:
Cette thèse a pour objectif d’étudier et de valider expérimentalement les bénéfices, en terme de quantité de calcul et de données nécessaires, que peuvent apporter les méthodes à noyaux et les méthodes d’approximation parcimonieuses à des algorithmes d’apprentissage existant. Dans une première partie de cette thèse, nous proposons un nouveau type d’architecture neuronale qui fait intervenir une fonction noyau afin d’en réduire le nombre de paramètres à apprendre, ce qui permet de la rendre robuste au sur-apprentissage dans un régime où peu de données annotées sont disponibles. Dans une seconde partie de cette thèse, nous cherchons à réduire la complexité de modèles d’apprentissage existants en y incluant des approximations parcimonieuses. D’abord, nous proposons un algorithme alternatif à l’algorithme des K-moyennes qui permet d’en accélérer la phase d’inférence grâce à l’expression des centroides sous forme d’un produit de matrices parcimonieuses. En plus des garanties de convergence de l’algorithme proposé, nous apportons une validation expérimentale de la qualité des centroides ainsi exprimés et de leur bénéfice en terme de coût calculatoire. Ensuite, nous explorons la compression de réseaux neuronaux par le remplacement des matrices qui le constituent avec des décomposition parcimonieuses. Enfin, nous détournons l’algorithme d’approximation parcimonieuse OMP pour faire une sélection pondérée des arbres de décision d’une forêt aléatoire, nous analysons l’effet des poids obtenus et proposons par ailleurs une alternative non-négative de la méthode qui surpasse toutes les autres techniques de sélection d’arbres considérées sur un large panel de jeux de données.