Méthodologie d’évaluation de performances basée sur l’identification de modèles de comportements : applications à différentes situations de handicap
Institution:
Versailles-St Quentin en YvelinesDisciplines:
Directors:
Abstract EN:
The performance assessment is an important process to identify the abilities and the limits of a person. Currently, the assessment requires the mediation of a specialist (doctor, therapist, etc. ) which must performs analysis and tests to reach a subjective decision. In the literature, several works propose assessment methods based on performance criteria: it is a quantitative evaluation which is objective. This type of evaluation is usually based on statistical analysis. In this work, a new methodology of performance assessment is proposed. It is based on the identification of reference behaviours. Those behaviours are then used as references for the evaluation of other people. The identification of reference behaviours is an essential element of our work. It is based on classification methods. In our work, we have tested two different methods. The first one is the "Fuzzy C-means" which allows a thorough search of reference behaviours. However, behaviours are represented by proxy criteria. The second method is the "Hidden Markov Models". It offers a time series analysis based on the temporal behaviour variation. However, it is not easy to determine the training phase of this method. This assessment methodology has been applied in the context of different applications designed for disabled people: driving electric wheelchair, driving an automobile and the use of pointing devices (mouse, trackball, joystick, etc. ). In each application, a protocol and an ecological situation are defined in order to evaluate participants on different platforms involving functional control interfaces (joystick, mouse, steering wheel, etc. ). Then, statistical tools are used to analyze the data and provide a first interpretation of behaviours. The application of our methodology identifies different reference behaviours and the assessment by comparing behaviours let to identify different levels of expertise. In each of the studied applications, our methodology identifies automatically different reference behaviours. Then, the assessment of people, carried out by comparing to the reference behaviours, let identify different levels of expertise and illustrate the evolution of learning during the assessment. The proposed evaluation methodology is an iterative process. So that, the population of experienced people can be enriched by adding people who become stable after assessment. Therefore, this allows the search for new reference behaviours.
Abstract FR:
L'évaluation de performance est un processus important pour identifier les capacités d'une personne et ses limites. L'évaluation, à l'heure actuelle, repose sur l'intervention subjective d'une personne experte (médecin, ergothérapeute, etc. ) qui doit effectuer des analyses et des tests différents pour aboutir à une décision. Dans la littérature, plusieurs travaux proposent différentes méthodes d'évaluation plus objectives reposant sur des critères et des indicateurs de performance : il s'agit d'une évaluation quantitative. Ce type d'évaluation est basé généralement sur des analyses statistiques. Le travail effectué dans cette thèse consiste à proposer une nouvelle méthodologie d'évaluation de performance basée sur l'identification de modèles de comportement. La démarche, que nous adoptons, permet de déterminer, à partir d'indicateurs de performance, des comportements de référence généralement issus de l'évaluation fonctionnelle de personnes expérimentées dans le domaine. Ces comportements serviront ensuite de références pour l'évaluation d'autres personnes. L'identification de comportements de référence est donc un élément essentiel de notre travail. Il est basé sur des méthodes de classification. Dans le cadre de ce travail, nous avons testé deux méthodes différentes. La première est la méthode de "Fuzzy C-means" qui permet une recherche approfondie de comportements de référence mais ceux-ci sont représentés par des indicateurs représentatifs. La deuxième est la méthode de "Hidden Markov Models". Celle-ci permet de représenter un comportement par sa variation dans le temps mais elle nécessite une phase d'apprentissage coûteuse permettant de modéliser les comportements de référence. Cette méthodologie d'évaluation a été testée dans le cadre d'applications de différentes fonctions d'interface de commande : la conduite de fauteuil roulant électrique, la conduite d'automobile et l'utilisation des interfaces de pointage bureautiques. Dans chaque application, un protocole et une mise en situation écologique sont définis pour évaluer les participants sur des plateformes fonctionnelles faisant intervenir des interfaces de commande variées (joystick, souris, volant, etc. ). Ensuite, des outils statistiques sont utilisés afin d'analyser les données et de fournir ainsi une première interprétation des comportements. L'application de notre méthodologie dans chacune des situations étudiées permet d'identifier automatiquement différents comportements de référence. Ensuite, l'évaluation fonctionnelle des personnes, effectuée par comparaison aux comportements de références identifiés, a permis d'identifier différents niveaux d'expertise. Le processus d'évaluation permet d'illustrer l'évolution de l'apprentissage durant l'évaluation et de détecter la stabilité de la personne. La méthodologie d'évaluation proposée est un processus itératif permettant d'enrichir la population de personnes d'expérimentées par les personnes devenues stables à l'issue de l'évaluation. Ceci permet donc la recherche de nouveaux comportements de référence.