Réseaux de neurones et auto-référence
Institution:
Lyon 2Disciplines:
Directors:
Abstract EN:
The purpose of this thesis is to present a class of unsupervised learning algorithms for recurrent networks. In the first part (chapters 1 to 4), I propose a new approach to this question, based on a simple principle: self-reference. A self-referent algorithm is not based on the minimization of an objective criterion, such as an error function, but on a subjective function, that depends on what the network has previously learned. An example of a supervised recurrent network where learning is self-referent is the Simple Recurrent Network (SRN) by Elman (1990). In the SRN, self-reference is applied to the supervised error back-propagation algorithm. In this aspect, the SRN differs from other generalizations of back-propagation to recurrent networks, that use an objective criterion, such as Back-Propagation Through Time, or Real-Time Recurrent Learning. In this thesis, I show that self-reference can be combined with several well-known unsupervised learning methods: the Self-Organizing Map (SOM), Principal Components Analysis (PCA), and Independent Components Analysis (ICA). These techniques are classically used to represent static data. Self-reference allows one to generalize these techniques to time series, and to define unsupervised learning algorithms for recurrent networks.
Abstract FR:
Le sujet de cette thèse est l'étude d'une classe d'algorithmes d'apprentissage non supervisés pour réseaux de neurones récurrents. Dans la 1ere partie (chap. 1 à 4), je présente plusieurs algorithmes, basés sur un même principe d'apprentissage : l'auto-référence. L'apprentissage auto-référent n'implique pas l'optimisation d'un critère objectif (comme une fonction d'erreur), mais il fait intervenir une fonction subjective, qui dépend de ce que le réseau a déjà appris. Un exemple de réseau supervisé basé sur ce principe est le Simple Recurrent Netword d'Elman (1990). Dans ce cas, l'auto-référence est appliquée à l'algorithme de rétro-propagation du gradient. Sur ce point, le réseau d'Elman diffère des autres méthodes de rétro-propagation pour réseaux récurrents, qui font intervenir un gradient objectif (Back-propagation Through Time, Real-Time Recurrent learning). Je montr que l'auto-référence peut être utilisée avec les principales techniques d'apprentissage non supervisé : Cartes de Kohonen, Analyse en composantes principales, Analyse en composantes indépendantes. Ces techniques sont classiquement utilisées pour représenter des données statiques. L'auto-référence permet de les généraliser à des séries temporelles, et de définir des algorithmes d'apprentissage nouveaux.