Workflow-based applications performance and execution cost optimization on cloud infrastructures
Institution:
NiceDisciplines:
Directors:
Abstract EN:
Cloud computing is increasingly exploited to tackle the computing challenges raised in both science and industry. Clouds provide computing, network and storage resources on demand to satisfy the needs of large-scale distributed applications. To adapt to the diversity of cloud infrastructures and usage, new tools and models are needed. Estimating the amount of resources consumed by each application in particular is a difficult problem, both for end users who aim at minimizing their cost and infrastructure providers who aim at controlling their resources allocation. Although a quasi-unlimited amount of resources may be allocated, a trade-off has to be found between the allocated infrastructure cost, the expected performance and the optimal performance achievable that depends on the level of parallelization of the applications. Focusing on medical image analysis, a scientific domain representative of the large class of data intensive distributed applications, this thesis propose a fine-grained cost function model relying on the expertise captured form the application. Based on this cost function model, four resources allocation strategies are proposed. Taking into account both computing and network resources, these strategies help users to determine the amount of resources to reserve and compose their execution environment. In addition, the data transfer overhead and the low reliability level, which are well-known problems of large-scale distributed systems impacting application performance and infrastructure usage cost, are also considered. The experiments reported in this thesis were carried out on the Aladdin/Grid’50000 infrastructure, using the HIPerNet virtualization middleware. This virtual platform manager enables the joint virtualization of computing and network resources. A real medical image analysis application was considered for all experimental validations. The experimental results assess the validity of the approach in terms of infrastructure cost and application performance control. Our contributions both facilitate the exploitation of cloud infrastructure, delivering a higher quality of services to end users, and help the planning of cloud resources delivery.
Abstract FR:
Les infrastructures virtuelles de cloud sont de plus en plus exploitées pour relever les défis de calcul intensif en sciences comme dans l’industrie. Elles fournissent des ressources de calcul, de communication et de stockage à la demande pour satisfaire les besoins des applications à grande échelle. Pour s’adapter à la diversité de ces infrastructures, de nouveaux outils et modèles sont nécessaires. L’estimation de la quantité de ressources consommées par chaque application est un problème particulièrement difficile, tant pour les utilisateurs qui visent à minimiser leurs coûts que pour les fournisseurs d’infrastructure qui visent à contrôler l’allocation des ressources. Même si une quantité quasi illimitée de ressources peut être allouée, un compromis doit être trouvé entre le coût de l’infrastructure allouée, la performance attendue et la performance optimale atteignable qui dépend du niveau de parallélisme inhérent à l’application. Partant du cas d’utilisation de l’analyse d’images médicales, un domaine scientifique représentatif d’un grand nombre d’applications à grandes échelle, cette thèse propose un modèle de coût à grain fin qui s’appuie sur l’expertise extraite de l’application formalisée comme un flot. Quatre stratégies d’allocation des ressources basées sur ce modèle de coût sont introduites. En tenant compte à la fois des ressources de calcul et de communication, ces stratégies permettent aux utilisateurs de déterminer la quantité de ressources de calcul et de bande passante à réserver afin de composer leur environnement d’exécution. De plus, l’optimisation du transfert de données et la faible fiabilité des systèmes à grande échelle, qui sont des problèmes bien connus ayant un impact sur la performance de l’application et donc sur le coût d’utilisation des infrastructures, sont également pris en considération. Les expériences exposées dans cette thèse ont été effectuées sur la plateforme Aladdin/Grid’50000, en utilisant l’intergiciel HIPerNet. Ce gestionnaire de plateforme vituelle permet la virtualisation de ressources de calcul et de communication. Une application réelle d’analyse d’images médicales a été utilisée pour toutes les validations expérimentales. Les résultats expérimentaux montrent la validité de l’approche en termes de contrôle du coût de l’infrastructure et de la performance des applications. Nos contributions facilitent à la fois l’exploitation des infrastructures de cloud, offrant une meilleure qualité de services aux utilisateurs, et la planification de la mise à disposition des ressources virtualisées.