Réseau longue distance et application distribuée dans les grilles de calcul : étude et propositions pour une interaction efficace
Institution:
École normale supérieure (Lyon ; 1987-2009)Disciplines:
Directors:
Abstract EN:
Parallel applications allow to execute many tasks of the same application, on many processors in the same time. These applications were first executed on supercomputers, end then on clusters. Today, this last infrastructure is evolving toward grids. Grids, in this thesis, are defined as an interconnection of clusters by a long-distance network. Most of MPI applications are written with the MPI standard, which describe how processes communicate, by message passing. Initialy design for clusters, MPI is still used to program parallel applications in grids. While different problems have been resolved for communications in clusters, the long-distance network of the grid raises many problems. The main objective of this thesis is to study in detail the inteeractions between the parallel applications and the transport layer in the long-distance network of computing grids, and then to solve these problems. In this thesis, we study in detail the use of TCP by MPI applications. In order to reduce the impact of retransmissions and the impact of congestion window, we propose a communication layer between the application (MPI for example) and the transport protocol (TCP) that is autoùatically and transparently executed. The general principle is to introduce proxies at the interface between the local network and the long-distance network to differentiate communications. These proxies allows to put forward the split of TCP connections in order to avoid losses and retransmissions on the long-distance link. This mecanism also allows to keep the congestion window closer to available throughput on the long-distance network.
Abstract FR:
Les grilles ont fait leur apparition au début des années 1990, de manière à fédérer les ressources de calcul de différentes entités en les interconnectant et ainsi disposer d'une plus grande puissance de calcul. Les applications parallèles s'appuient la plupart du temps sur le standard MPI qui fonctionne par passage de message. Initialement destiné aux grappes, celui-ci est toujours utilisé pour programmer les communications des applications s'exécutant sur les grilles, afin de réutiliser d'anciennes applications. Alors que différents problèmes ont été résolus pour les communications au sein des grappes, le réseau longue distance de la grille pose plusieurs problèmes. Tout d'abord, les messages MPI sont transmis de manière fiable sur le réseau longue distance via le protocole TCP. Or TCP, qui reste le protocole de transport utilisé dans la plupart des grilles, est basé sur un transfert de données à l'aide de flux; il est donc peu adapté aux communications MPI sous forme de messages. Ensuite, la grande latence du réseau longue distance implique des communications et des retransmissions de paquets perdus qui sont coûteuses. Enfin, le débit disponible sur le lien d'accès à ce réseau est généralement inférieur à la somme des débits nécessaires si tous les processus communiquent en même temps sur ce lien. Ceci crée de la congestion à la fois au sein d'une même application et à la fois avec les autres applications qui l'utilisent, et il devient nécessaire de gérer ce goulot d'étranglement. L'objectif principal de cette thèse est d'étudier en détail les interactions entre les applications parallèles MPI et la couche de transport TCP dans les réseaux longue distance des grilles de calcul, puis de proposer des solutions à ces problèmes. Durant ma thèse, j'ai tout d'abord étudié le comportement des applications MPI sur une grille de calcul, afin de déterminer les points problématiques des communications sur le réseau longue distance. Puis, j'ai analysé en détail l'interaction entre les deux principales couches de communication : la couche MPI et la couche TCP. Enfin, j'ai proposé une approche à base de passerelles qui permet l'éclatement des connexions TCP pour les communications MPI, afin de rendre visible la traversée du réseau longue distance.