thesis

Benchmarking in wireless networks

Defense date:

Jan. 1, 2012

Edit

Institution:

Nice

Disciplines:

Abstract EN:

The objective of this thesis is to enable realistic yet fair comparison of the performance of protocols and applications in wireless networks. Simulation is the predominant approach for comparable evaluation of networking protocols however it lacks realism and can lead to misleading results. Real-world experiments guarantee realism but complicate fair comparison. Fair comparison depends on correct interpretation of the results and repeatability of the experiment. Correct interpretation of results is an issue in wireless experiments because it is not easy to record all the factors (e. G. Channel condition s, calibration settings tools and test scenario configurations) that can influence the network performance. Repeatability of experiments is almost impossible because of channel randomness. In wireless experiments, “realism” can be taken of granted but “fair comparison” requires a lot of hard work and is impossible without a standard methodology. Therefore, we design a workable experimentation methodology which tackles the aforementioned issues as follows. To ensure correct interpretation of the results, we need to accomplish the following : channel characterization to determine the exact channel conditions, calibration of tools to avoid pitfalls, a simple mechanism to specify scenario configurations. Channel conditions such as path loss, fading an interference are a direct result of radio propagation, movement of objects and co-existing Wi-Fi networks/devices in the environment respectively. Pitfalls mainly result from imperfections / bugs or wrong configurations of a tool. Scenario description consists of a precise specification of the sequence of steps and tasks to be performed at each step. Tasks include traffic generation, packet trace capture (using a sniffer). RF traces capture (using spectrum analyzer) and System/network workload collection. Correct interpretation of results requires that all this information be organized and presented in an easily digestible way to the reviewer. We propose Full disclosure report (FDR) for this purpose. Repeatable experimentation requires additional work. As repeatability is impractical in the wild wireless environment, we propose statistical repeatability of results where experiments are clustered based on the similarity of networking conditions (channel conditions, station workload, network traffic load) and scenario configurations. The, it is possible to make a comparison based on the similarity of conditions. Providing tools to allow a user-friendly mechanism to apply the methodology is also equally important. We need tools to easily describe scenarios, manage scheduling and large number of runs (possibly hundreds or thousands) of them. We also need tools to manage huge amount of packet trace data, metadata and provenance (chronological record of measurement and analysis steps) of results (figures, tables, graphs etc. ). Therefore, in addition to the methodology, we developed a toolbox for a wireless experimentation and carried out of two case studies to validate the methodology. In short, we present a holistic view of benchmarking in wireless networks, formulate a methodology complemented by tools and case studies to help drive future efforts on benchmarking of protocols and applications in wireless networks.

Abstract FR:

L’objectif principal de cette thèse est d’obtenir une comparaison réaliste et équitable des performances des protocoles et des applications pour les réseaux sans fil. Dans la communauté réseau, la simulation est l’approche prédominante pour l’évaluation comparative des protocoles, cependant, elle manque de réalisme car elle utilise le plus souvent des modèles simplifiés des couches de communication. D’un autre côté, les expérimentations sans fil effectuées dans le monde réel sont réalistes mais elles compliquent fortement la comparaison équitable des protocoles. En effet, la comparaison équitable des protocoles dépend de l’interprétation correcte des résultats et de la « répétabilité » de l’expérimentation. L’interprétation correcte des résultats est un problème majeur pour les expérimentations sans fil car il n’est pas facile de tenir compte de l’ensemble des paramètres qui peuvent avoir un impact sur les performances des protocoles en particulier, les conditions du canal, les paramètres de configuration des outils de mesure. Avec les expérimentations sans fil, la « répétabilité » des résultats est quasiment impossible à obtenir en raison du caractère aléatoire du canal de transmission. Quant à la « comparaison équitable » des protocoles, elle est complexe à obtenir et nécessite une méthodologie standard. Dans cette thèse, nous proposons une méthodologie d’expérimentation dont l’objectif est d’assurer une interprétation correcte des résultats expérimentaux. Cette méthodologie est composée des étapes suivantes : caractérisation de canal pour déterminer les conditions exactes de canal, calibrage des outils de mesure, spécification de la configuration du scénario à l’aide d’outils simples. Dans les expérimentations sans fil, les ondes radio sont affectées par des phénomènes multiples et complexes comme l’atténuation en fonction de la distance, les réflexions sur le sol ou les murs qui peuvent provoquer l’évanouissement du signal. De plus, le déplacement d’objet ou de personnes entre émetteurs et récepteurs et à la proximité d’autres réseaux sans fil peuvent introduire des interférences que l’on ne peut pas ignorer. D’autres part, les expérimentateur peuvent facilement faire des erreurs si les outils et les logiciels utilisés sont mal configurés. Pour cela, il est important de spécifier de manière précise et détaillée le scénario d’expérimentation. Cette spécification doit inclure la séquence des étapes et la description des tâches à effectuer à chaque étape de l’expérimentation. Les tâches comprennent la génération de trafic, la capture des paquets (e. G. à l’aide de sondes), la capture de traces RF (e. G. Avec un analyseur de spectre) et la collecte d’autres mesures, comme la charge CPU des machines utilisées. Pour interpréter correctement les résultats, comme ces informations peuvent être très volumineuses, elles doivent être organisées et présentées de manière efficace. Dans cet objectif, nous proposons l’établissement d’un rapport détaillé appelé FDR (« Full Disclosure Report »). Comme la « répétabilité » des expérimentations sans fil est impossible à obtenir dans un environnement non contrôlé, notre objectif est de pouvoir répéter des résultats statistiques. Ces derniers sont obtenus en regroupant les résultats d’expérimentations multiples qui ont eu lieu avec des conditions d’environnement similaire. Etant donné que les expérimentations sans fil sont fastidieuses à réaliser et sujettes aux erreurs humaines, nous avons développé une boîte à outils permettant de faciliter le benchmark. Ces outils permettent de décrire les scénarios, gérer la planification d’un grand nombre d’expérimentations et traiter l’énorme quantité de traces qui en résultent, sauvegarder les métadonnées et leur provenance (enregistrement chronologique des étapes de mesure et d’analyse), ainsi que les résultats d’expérimentation. Enfin, nous illustrons et validons notre méthodologie de benchmark avec deux cas d’étude.