Embodied semantics put to the test : electrophysiological evidence from virtual reality and classical environments
Institution:
Aix-MarseilleDisciplines:
Directors:
Abstract EN:
While neuroimaging and behavioral studies have shown that sensory-motor systems are recruited during semantic processing, how and when this occurs has not yet been clearly established. Our purpose was to observe the different contexts in which motor activation can contribute to language comprehension and learning by combining electroencephalography (EEG) and interactive, ecologically valid environments. In our first study, behavioral and EEG results indexed rapid L2 word learning as well as a L1-L2 gender-congruency effect. In study 2, we used an action-sentence compatibility effect (ACE) paradigm to evaluate how motor preparation affects language processing. ERP results showed greater N400 amplitude for congruent compared to incongruent action-sentence trials, suggesting that compatibility between motor and language processes produced interference. In study 3, participants heard action verbs in their native language and performed varied actions on a virtual object in a Cave automatic virtual environment (CAVE) during a Go/Nogo task. Time-frequency results revealed motor activation for both Go and Nogo conditions, but greater for Go, during action verb processing. Study 4 is a registered report that aims to determine the neural correlates of embodied L2 learning by having participants encode auditory action verbs using an interactive virtual reality. The body of the work reported in this dissertation represents a significant step towards better understanding the subtle relationship between motor and semantic processes and opens up fresh perspectives for taking into account the contextual nature of how we learn and understand language.
Abstract FR:
Bien que la neuro-imagerie et les études comportementales aient montré un recrutement des systèmes sensorimoteurs lors du traitement sémantique, le rôle et le décours temporel de ces activations doivent encore être précisés. Notre objectif était donc d’observer les différents contextes dans lesquels l’activation motrice peut contribuer à la compréhension et à l’apprentissage du langage, en combinant l’électroencéphalographie (EEG) et des environnements interactifs et écologiques. Dans une première étude, les résultats en EEG ont indiqué un apprentissage rapide de mots en L2 ainsi qu’un effet de congruence de genre grammatical entre la L1 et la L2. Dans l’étude 2, associant un paradigme de compatibilité action-phrase (ACE) à l’EEG, nous avons observé une interférence provoquée par la compatibilité entre les processus moteurs et langagiers. Dans l’étude 3, les participants ont entendu des verbes d’action et ont effectué diverses actions dans un Cave automatic virtual environment (CAVE), pendant une tâche de Go-Nogo. Des analyses en temps-fréquence ont montré des activations motrices dans les deux conditions, et plus dans la condition Go, pendant le traitement des verbes d’action. Notre dernière étude est un registered report qui vise à déterminer les corrélats neuronaux de l’apprentissage incarné d’une deuxième langue en combinant l’EEG et la réalité virtuelle interactive. Le travail présenté dans cette thèse constitue un pas important vers une meilleure compréhension de la relation subtile entre les processus moteurs et sémantiques et ouvre de nouvelles perspectives pour prendre en compte la nature contextuelle de la façon dont nous comprenons et apprenons le langage.