thesis

Apprentissage avec les réseaux de neurones aléatoires et les machines de calcul avec réservoir de neurones

Defense date:

Jan. 1, 2012

Edit

Institution:

Rennes 1

Disciplines:

Directors:

Abstract EN:

Since the 1980s a new computational model merging concepts from neural networks and queuing theory was developed. The model was introduced under the name of Random Neural Networks (RNNs), inside the field of Neural Networks. In this thesis, a first contribution consists of an adaptation of quasi-Newton optimisation methods for training the RNN model. In the last decade, a new computational paradigm was introduced in the field of Machine Learning, under the name of Reservoir Computing (RC). One of the pioneers and most diffused RC methods is the Echo State Network (ESN) model. Here, we propose a method based on topographic maps to initialise the ESN procedure. Another contribution of the thesis is the introduction of a new RC model called the Echo State Queueing Network (ESQN), where we use ideas coming from RNNs for the design of the reservoir. An ESQN consists of an ESN where the reservoir has a new dynamics inspired by recurrent RNNs. In this thesis, we position the ESQN method in the global Machine Learning area, and provide examples of their use and performances. Finally, we propose a method for real–time estimation of Speech Quality using the learning tools above described. Audio quality in the Internet can be strongly affected by network conditions. As a consequence, many techniques to evaluate it have been developed. In particular, the ITU-T adopted in 2001 a technique called Perceptual Evaluation of Speech Quality (PESQ) to automatically measuring speech quality. PESQ is a well-known and widely used procedure, providing in general an accurate evaluation of perceptual quality by comparing the original and received voice sequences. The thesis provides a procedure for estimating PESQ output working only with measures taken on the network state and using some properties of the communication system, without any original signal. The experimental results obtained prove the capability of our approach to give good estimations of the speech quality in a real–time context.

Abstract FR:

Au cours de ces dernières années, un nouveau paradigme a été introduit dans le domaine de l'apprentissage automatique sous le nom de Reservoir Computing (RC). La croissance de ces méthodes a été rapide en raison de leur succès dans la résolution de problèmes d'apprentissage automatique et dans d'autres applications informatiques. L'une des premières méthodes de RC proposée a été le modèle Echo State Network (ESN). Dans cette thèse nous avons conçu une nouvelle technique d'initialisation du modèle ESN, qui est basée sur des cartes topographiques. Dans les années 80s, un nouvel outil d'apprentissage statistique mélangeant des concepts des réseaux de neurones et de la théorie des files d'attente a été proposé sous le nom de Réseau de Neurones Aléatoires (RNNs). Nous développons de nouvelles techniques d'apprentissage (de type Quasi-Newton) pour ces outils, basées dans ce qui se fait de mieux dans le domaine des réseaux de neurones classiques. Par la suite, nous proposons un nouvel outil bien adapté à la prédiction de séries temporelles comme le trafic observé dans un point de l'Internet, que nous avons appelé Echo State Queueing Networks. Notre dernière contribution est la proposition de nouvelles idées pour la mesure de la qualité perceptuelle. La qualité de l'audio ou la voix sur Internet est fortement affectée par l'état du réseau. L'outil PESQ (Perceptual Evaluation of Speech Quality) sous recommandation ITU-T P. 862, permet d'évaluer la qualité de la voix transmise par un système de télécommunications. PESQ est un procédé fournissant de façon automatique une évaluation précise réalisée en comparant les signaux originaux et ceux reçus. Nous avons développé un outil pour mesurer la qualité des flux VoIP en estimant PESQ à l'aide des outils d'apprentissage statistique précédemment présentés. Ceci permet d'estimer la qualité des flux VoIP de façon automatique, en temps réel et sans avoir recours aux signaux d'origine.