thesis

Transmodalité et multimodalité écrit/oral : modélisation, traitement automatique et évaluation de stratégies de présentation des structures "visuo-architecturale" des textes

Defense date:

Jan. 1, 2004

Edit

Institution:

Toulouse 3

Disciplines:

Computer sciences

Authors:

Directors:

Abstract EN:

We are interested in the utility and, if the need arises, the usability of texts visual structure, within the framework of their oral transposition. We propose the synoptic of an oralisation system who leads to a text representation directly interpretable by Text-To-Speech systems. We partially realized the module specific to the oralisation strategies, in order to render some signifying parts of the text often “forgotten” by synthesis systems. The first results of this study led to specifications in the course of integration by an industrial partner. Predictive hypothesis, related to the impact on memorizing/understanding of two strategies coming from our Reformulation-based Oralisation Model for Texts Written to be Silently Read (MORTELS), have been formulated and tested. This work shows that cognitive functions was lost. Prototypes, exploiting the “Page Reflection” notion, have been conceived through interfaces in which multimodality is used to fill this gaps.

Abstract FR:

Nous nous intéressons à l’utilité et l’utilisabilité de la structure visuelle des textes, pour leur transposition à l’oral par des systèmes de synthèse de parole (TTS). Nous proposons la synoptique d’un système qui conduit à une représentation du texte interprétable par un TTS. Nous avons partiellement réalisé le module spécifique aux stratégies d’oralisation, afin de rendre articulables la part signifiante des textes, souvent oubliée. Des spécifications ont été précisées et partiellement intégrées par un partenaire industriel. Des hypothèses prédictives quant à l’impact sur la mémorisation/compréhension de deux stratégies issues de notre Modèle d’Oralisation par Reformulation des Textes Écrits pour être Lus Silencieusement, ont été formulées et testées. Ce travail a montré que des fonctions cognitives étaient perdues. Des prototypes, exploitant la notion d’Image De Page, ont été imaginés à travers des interfaces dans lesquelles la multimodalité a pour rôle de combler cette lacune.