Contribution to the study of active and passive brain-computer interfaces for interacting with virtual environments based on EEG and mental workkload
Institution:
Rennes, INSADisciplines:
Directors:
Abstract EN:
A Brain Computer Interface (BCI) is a communication system between a user and a computer in which the carried message is the measured user's brain activity. BCIs offer a novel kind of interaction "by thought" for different application contexts such as robotics, domotics, multimedia, virtual reality, and video games. Ln this work we focus on the use of BCIs for interacting with virtual environments. We also focus on the use of brain signals that are related to the user's mental workload or closely related states. First, we have studied the electroencephalography (EEG) markers and the BCI setups that can be used to read out in real-ti me the user mental states such as mental workload, concentration and relaxation states. We have studied them in the «active» BCI context, i. E. , when the user deliberately tries to control his/her brain activity. We have designed and evaluated an active BCI system based on relaxation and concentration mental states. Then we have explored the use of "passive" BCIs to improve the use of an active BCI. Ln passive BCIs the user does not try to control his/ her brain activity, and he/she can remain mainly concerned by his/her primary task. The brain activity is analysed to read out the user mental state which is used to adapt the application. We have introduced the concept of the BCI inhibitor which can be defined as a passive BCI system that pauses the active BCI until the user's "brain" is ready. Then we have studied the use of passive BCIs based on mental workload in a virtual reality context to assist the user when a high workload is detected. To illustrate this approach we have designed a visuo-haptic virtual reality setup in which a haptic guiding system is automatically toggled based on mental workload during a path-following task. We have conducted an experiment to evaluate the operability and efficiency of the proposed system. Results suggest that the proposed passive BCI system is able to measure a mental workload index that seems well correlated with the difficulty of the task. Activation of guides based on the measured mental workload index allowed to increase task performances by significantly reducing the number of collisions. We have finally studied how our approach could be applied to virtual reality and medical applications. We have proposed to use a passive BCI to adapt in real-time a medical simulator to the user's mental states. If the user becomes too heavily engaged in the medical operation, some visual and haptic cues are automatically activated. This could pave the way to a future generation of «smart» medical simulator taking into account brain signals and mental states in training procedures.
Abstract FR:
Une Interface Cerveau-Ordinateur (ICO) est un système de communication direct entre le cerveau humain et un ordinateur. Les ICOs offrent un nouveau type d'interaction basée sur "la pensée" pour différent contexte d'utilisation comme la robotique, la domotique, le multimédia, la réalité virtuelle et les jeux vidéo. Dans ce travail, nous nous concentrons sur l'utilisation des ICOs pour interagir avec des environnements virtuels. Nous nous intéressons plus particulièrement à l'utilisation des signaux cérébraux en lien avec la charge mentale. Dans un premier temps, nous avons étudié les signaux électroencéphalographiques (EEG) et les ICOs qui peuvent être utilisés afin de déterminer en temps réel l'état mental de l'utilisateur comme sa charge mentale, son état de concentration et son état de relaxation. Nous les avons étudiés dans le contexte des ICOs actives, c. -à-d. Quand un utilisateur essaie de contrôler volontairement son activité cérébrale. Nous avons conçu et évalué une ICO active basée sur les états de relaxation et de concentration de l'utilisateur. Dans un second temps, nous avons étudié l'utilisation des ICOs passives afin d'améliorer l'interaction avec une ICO active. Lorsqu'un utilisateur utilise une ICO passive, il n'a pas besoin d'essayer de contrôler son activité mentale, il peut rester concentré sur sa tâche principale, l'activité cérébrale est mesurée de façon passive et utiliser afin d'adapter l'application. Nous avons introduit le concept d'un inhibiteur d'ICO, qui peut être défini comme une ICO passive qui surveille l'état mental de l'utilisateur afin de démarrer l'interaction avec une ICO active quand le "cerveau" de l'utilisateur est prêt. Ensuite nous avons étudié l'usage des ICOs passives basées sur la charge mentale dans le contexte de la réalité virtuelle afin d'assister l'utilisateur quand il présente une charge mentale importante. De façon à illustrer cette approche, nous avons conçu un système visuohaptique dans lequel un système de guidage haptique est automatiquement mis en route lorsque l'utilisateur présente une charge mentale élevée durant une tache de suivi de chemin. Enfin, nous avons étudié comment notre approche pourrait s'appliquer au contexte de la réalité virtuelle et des applications médicales. Nous avons proposé d'utiliser une ICO passive afin d'adapter en temps réel un simulateur médical à l'état de l'utilisateur. Son utilité. Ce type de simulateur pourrait être utilisé afin de créer une nouvelle génération de simulateur médical "intelligent" qui prend en compte l'état mental de l'utilisateur lors des procédures d'entrainements.