A QoI-aware framework for adaptative monitoring
Institution:
Paris 6Disciplines:
Directors:
Abstract EN:
Computing systems has undergone a clear shift towards a larger scale. Highly distributed systems are the standard, people and companies have now a pervasive access to a massive and continuous information flow through a wide variety of devices and systems. While high-level protocols attempt to tame the fast evolution of hardware and software technologies, challenges of reliability, flexibility, openness and 24/7 availability lead to crucial needs of dynamic control and adaptation over all large-scale distributed systems. In this context, monitoring application services becomes more and more a transverse key activity. Beyond traditional system administration and load control, new activities such as autonomic management and decision making systems raise the stakes over monitoring requirements. These systems are now organized around Service Level Agreements referring to some Quality of Service (QoS) criteria. With very different systems consuming monitoring data, requirements on these data also vary in terms of lifespan, precision or granularity. This is referred as Quality of Information (QoI), i. E. , an expression of the properties required from the monitored QoS. While monitoring systems with different objectives are proposed to tackle some of the identified issues, the contribution of this PhD thesis is ADAMO, a QoS-aware framework for ADAptive MOnitoring. This framework tackles user provided quality of information (QoI)-aware data queries over dynamic data streams and transforms them into probe configuration settings under resource constraints. In a monitoring system, trade-offs are often needed between QoI, which is required by decision making systems, against system resources when too high QoI impairs system performance. Multiple consumers also tend to share data sources with different on QoI requirements. Thus, the proposed framework relies on a constraint-solving approach in order to provide static and dynamic mechanisms with flexible data access for multiple clients with different QoI needs, as well as generation and configuration of QoS and QoI handling components. Besides, the ADAMO framework factors out the common structure and behavior of monitoring systems in component architecture, so that they can be reusable and extensible. It also provides several extension points which can be altered to support new features. Different parts of the architecture are configurable, or can be partly generated from high-level descriptions of the monitoring requirements. The monitoring framework also dynamically adapts itself to resource constraints. This self-adaptation mechanism is built using all mechanisms of the framework itself, therefore illustrating its own capabilities.
Abstract FR:
Les systèmes distribués et ubiquitaires sont maintenant déployés de manière massive et avec des contraintes de disponibilité 24 heures sur 24 et 7 jours sur 7. Dans ce contexte, la supervision devient une activité fondamentale et transervale dans les systèmes informatiques d'entreprise. Au-delà de l'administration traditionnelle des systèmes et du contrôle de leur charge, de nouvelles activités requièrent de plus en plus une gestion automatisée de ces systèmes, amenant à de nouvelles exigences de supervision. Des tâches spécifiques telles que la planification, l'allocation de ressources et le diagnostic fondent leurs décisions sur des informations dynamiques et continues provenant de la supervision des services, des systèmes et des infrastructures. De plus, ces prises de décision et plus généralement, la gestion autonome des systèmes, sont désormais organisés autour de Service Level Agreements (SLAs) se référant à des critères de Qualité de Service (QdS). Comme d'importantes fluctuations de QdS sont communément subies par les clients lors des appels distants de service, une grande variation dans les exigences de supervision est aussi observée, que ce soit leur durée de vie, leur précision et leur granularité. Ceci se définit généralement comme la Qualité de l'Information (QdI), c'est-à-dire une expression des propriétés requises sur les données supervisées [Buchholz03]. Par ailleurs les contextes de déploiement ont aussi évolué en taille et en complexité, à partir de systèmes centralisés couplés à un réseau à faible latence, en passant par des infrastructures inter-entreprises à grande échelle et à forte latence, pour aboutir à des systèmes ubiquitaires caractérisés par des contextes fortement dynamiques. La contribution de cette thèse est ADAMO (ADAptive MOnitoring), un canevas de supervision adaptatif pour la gestion de la QdI. Partant de sources de données produisant des flots dynamiques, ce canevas permet de prendre en compte des requêtes de supervision de données explicitant les sources ainsi que la QdI requises de chacune, et de les transformer en paramètres de configuration des sources de base, tout en tenant compte de contraintes de ressources, comme la bande passante réseau totale affectée à la transmission de ces données. Nous partons ainsi du principe que, dans un système de supervision, des arbitrages sont souvent nécessaires entre la QdI, requise par les systèmes de prise de décision, et les ressources du système pour effectuer les supervisions nécessaires. Lorsque la QdI demandée est trop élevée, l'activité de supervision dégrade fortement les performances du système sous-jacent. En observant que les clients ont souvent tendance à s'intéresser aux mêmes données, mais avec des besoins de QdI différents, ADAMO repose sur une approche de résolution de contraintes pour fournir des mécanismes, statiques et dynamiques, qui gèrent un accès partagé, optimisé et flexible aux données par la génération et la configuration des composants de gestion de la QdI et de la QdS. Construit d'entités abstraites et générales, ADAMO vise à englober les capacités d'un grand nombre de systèmes de supervision. Afin d'être réutilisable et extensible, il est aussi fondé sur une architecture à composants et fournit des points d'extension, facilitant ainsi l'introduction de nouvelles fonctionnalités. Différentes parties de l'architecture sont aussi configurables, et peuvent être partiellement générées à partir de descriptions de haut niveau correspondant aux exigences de supervision. Enfin, le canevas s'auto-adapte de façon dynamique aux variations du niveau des ressources. Ce mécanisme est lui-même construit en utilisant tous les éléments du canevas, et illustre ainsi ses capacités d'abstraction et d'extension.