Etude de la robustesse des reseaux multicouches
Institution:
Paris 11Disciplines:
Directors:
Abstract EN:
Pas de résumé disponible.
Abstract FR:
Dans cette these, la robustesse des reseaux multicouches a divers types de perturbations a ete etudiee. Les simulations numeriques montrent que, contrairement a ce qui est classiquement admis, le perceptron multicouche entraine par l'algorithme de retropropagation classique n'est pas a priori robuste. Nous proposons donc une modification de cet algorithme, consistant a introduire les perturbations potentielles des l'apprentissage. Nous l'avons etudie plus precisement dans le cadre de la destruction de cellules (d'entree ou cachees). Cela nous permet de degager deux comportements importants. Les perturbations intervenant sur des composants internes au reseau correspondent a une perte d'information lors du traitement. L'information peut alors etre repartie dans le reseau afin d'accroitre la robustesse sans perdre en fonctionnement normal. Les perturbations intervenant sur des composants lies a l'entree du reseau correspondent a une perte d'information externe. L'accroissement de la robustesse ne peut alors se faire qu'au prix d'une perte (faible) en fonctionnement normal. Par ailleurs, nous montrons que l'algorithme avec mortalite des cellules est efficace pour d'autres types de perturbations (destruction de synapses, valeurs aleatoires en sortie des cellules, bruit ou quantification en entree et a la sortie des cellules). En revanche, en ce qui concerne le bruit et la quantification pouvant perturber les synapses, l'algorithme avec mortalite se revele inefficace. Nous proposons donc une procedure de post-optimisation des poids, a partir des poids obtenus par retropropagation classique, a l'aide d'un algorithme de recuit simule (avec temperature nulle ou non) dans l'espace discret des poids quantifies. Bien que simple et heuristique, elle apparait efficace