Découverte et monitoring de ressources pour le traitement de requêtes dans une grille de données
Institution:
Toulouse 3Disciplines:
Directors:
Abstract EN:
The distributed data management in grid systems raises new problems and presents real challenges: resource discovery, resource allocation, replication, monitoring services for query optimization. . . Etc. Grid systems differ mainly from parallel and distributed systems by the two characteristics: the large scale and the system instability (i. E. The dynamicity of nodes). In this thesis, we are interested in the resource discovery phase for an efficient query evaluation in data grid environments. First, we present a state of the art on the main research works of resource discovery by focusing on the important criteria (e. G. Scaling, reliable discovery, maintenance cost) for data source discovery which is specific to data grid environments. In this perspective, we propose a new method of data source discovery based on Distributed Hash Tables (DHT) allowing a permanent access -in the presence of the dynamicity of nodes- from any node of a Virtual Organization VOlocal towards all other VOi (i [different from]local) in the system with a minimum maintenance cost between the DHT. After the resource discovery phase, it is very important to monitor the current state of resources especially that these last ones are shared on very large scale environments. The resource monitoring can be made during the initial allocation or the execution phase, in order to take decisions on the choice of the execution node of a join (or of a part of a join) for example. In this context, we propose a method considering the variation of host and network parameter values, at runtime, in the calculation of the response time of a relational operation. The proposed method integrates monitoring information into an execution model based on mobile agents developed in the Pyramid team. Finally, we validate our proposals by a performance evaluation.
Abstract FR:
La gestion des données réparties en environnement de grille de données pose de nouveaux problèmes et présente un réel défi : la découverte de ressources, l'allocation de ressources, la réplication, les services de monitoring pour l'optimisation de requêtes. . . Etc. Les systèmes de grille diffèrent principalement des systèmes parallèles et distribués par la grande échelle et l'instabilité (i. E. La dynamicité des nœuds). Dans cette thèse, nous nous intéressons à la phase de découverte de ressources pour l'évaluation efficace de requêtes réparties en environnement de grille de données. Nous effectuons d'abord un état de l'art sur les principaux travaux de recherche portant sur la découverte de ressources en se focalisant sur les critères importants (e. G. Passage à l'échelle, découverte fiable, faible coût de maintenance) pour la découverte de sources de données qui est spécifique à un environnement de grille de données. Dans cette perspective, nous proposons ensuite une méthode de découverte de sources de données, basée sur l'utilisation des Tables de Hachage Distribuées (THDs), permettant un accès permanent en présence de la dynamicité des nœuds de n'importe quel nœud d'une Organisation Virtuelle OVlocale à toute autre OVi (i [différent de]locale) dans le système, avec un faible coût de maintenance entre les THDs. Après la découverte de ressources, il est très important d'observer l'état actuel de ressources surtout que ces dernières sont partagées à une grande échelle, afin de prendre des décisions sur le choix du nœud d'exécution d'une jointure (ou d'une partie d'une jointure) par exemple. L'observation ou le monitoring de ressources peut être effectué pendant l'allocation initiale ou l'exécution. Dans ce contexte, nous proposons une méthode permettant la prise en compte de la variation des valeurs des paramètres hôtes et réseaux, pendant l'exécution, dans le calcul du temps de réponse d'une opération relationnelle. L'idée est alors d'intégrer les informations de monitoring dans un modèle d'exécution à base d'agents mobiles développé au sein de notre équipe. Enfin, nous validons nos propositions par une évaluation des performances.