Contrôle de la concurrence dans les grilles informatiques
Institution:
Toulouse 3Disciplines:
Directors:
Abstract EN:
These last decades, the progress made in the field of telecommunications made possible the gathering of multiple clusters, interconnected by a wide area network. The birth of grid computing allowed the collaboration of geographically distributed resources, thus authorizing the execution of applications which require a great power of calculation and a large storage space. A middleware is then used to federate the grid resources and to solve the problems involved in the heterogeneity and dynamicity of those resources, as well as the safety of the grid's administrative domains. The ViSaGe project was born in this context. ViSaGe is a grid middleware which includes a distributed file system, and a virtualization layer which aggregates the storage resources dispersed among the grid nodes, in order to provide the user a global view of a huge shared virtual space. In this thesis, we were interested in the ViSaGe's concurrency control service : the VCCC. This component uses a mutual exclusion algorithm to ensure consistency accesses to various ressources shared by the grid nodes. This service is essential, but it generates a lot of control messages on the network. However, these messages, which are often of small size, are strongly exposed to the latency of the network which characterizes grid environment. Consequently, the concurrency control very often degrades the performance and the reactivity of the middleware. What we achieved in this thesis consists in bringing a competitive solution to carry out the synchronization of the grid nodes. We proposed a mutual exclusion algorithm based on several techniques resulting from the literature. In particular, we used a token algorithm, for which the grid nodes are organized according to a tree structure. Moreover, we implemented other methods to make easier the adaptation of the VCCC to the architecture of the grid, and thus to enhance the performance of our middleware. First of all, we improved the cache management of the other components of ViSaGe, according to the workload observed in the VCCC. In addition, we optimized the way that the concurrency control is spread out over the various grid nodes. Lastly, we developed a method based on the use of the multicast, which makes it possible in some cases to go round the problem induced by the network latency, with an aim of improving the reactivity of the system. . .
Abstract FR:
Ces dernières décennies, les progrès réalisés dans le domaine des télécommunications ont rendu possible le regroupement d'une multitude d'ordinateurs, connectés entre eux par un réseau large-échelle. La naissance des grilles informatiques a permis la collaboration de ressources géographiquement distribuées, autorisant ainsi l'exécution d'applications qui nécessitent une grande puissance de calcul et un large espace de stockage. Un intergiciel est alors utilisé pour fédérer les ressources de la grille et résoudre les problèmes liés à l'hétérogénéité des architectures des machines, la sécurité des domaines administratifs, ou encore la dynamicité des ressources. Le projet RNTL ViSaGe est né dans ce contexte. ViSaGe est un intergiciel de grille, incluant un système de fichiers distribués qui s'appuie sur une couche de virtualisation des données chargée d'agréger l'ensemble des ressources de stockage de la grille dans un espace virtuel partagé par toutes les machines. Les services proposés par ViSaGe sont gérés de façon décentralisés sur tous les nœuds de la grille. Dans ces travaux de thèse, nous nous intéressons au service de gestion de la concurrence de ViSaGe : le VCCC. Ce composant assure l'exclusion mutuelle entre les nœuds de la grille, pour l'accès à diverses ressources partagées par les autres composants de ViSaGe. Ce service est essentiel, mais il génère énormément de messages de contrôle sur le réseau. Or, ces messages très souvent de petite taille, sont fortement exposés à la latence du réseau qui caractérise l'environnement grille. Par conséquent, le contrôle de la concurrence dégrade très souvent la performance et la réactivité de l'intergiciel. Le travail effectué dans le cadre de cette thèse consiste à apporter une solution compétitive pour réaliser la synchronisation des nœuds de la grille. Tout d'abord, nous avons élaboré un algorithme d'exclusion mutuelle à partir de plusieurs techniques issues de la littérature. Celui-ci s'appuie notamment sur un algorithme à jeton, pour lequel les machines de la grille sont organisées selon une structure en arbre. De plus, nous avons mis en œuvre d'autres techniques pour faciliter l'adaptation du composant VCCC à l'architecture de la grille, et ainsi améliorer la performance de notre intergiciel. En particulier, nous avons amélioré la gestion des caches des autres composants de ViSaGe, grâce à la charge de travail observée dans le VCCC. Par ailleurs, nous avons travaillé à l'optimisation de la répartition du contrôle de la concurrence sur les différents nœuds de la grille. . .