Synthèse immersive de sons d'environnement
Institution:
Aix-Marseille 1Disciplines:
Directors:
Abstract EN:
Most of the existing tools for producing sounds in virtual environments are based on wavetables : sounds are pre-recorded and triggered in real time according to the actions of the user in the virtual world. Spatialization techniques are usually integrated in a second stage, for simulating reverberation and spatial properties of sound sources, such as position, directivity and spatial extension. In this thesis we propose an original approach to synthesis and spatialization of environmental sounds. We design a real-time synthesizer that produces various environmental sources (like rain, wind, fire, waves, impacts. . . ), provides interactive controls based on “high-level” parameters, and allows manipulating the sources in a 3D virtual space. After reviewing the existing synthesis approaches for environmental sounds, we propose a generic model based on additive synthesis and on a set of five parametric sonic structures called “atoms”. An adequate combination of these atoms allows the creation of sources associated with the three categories of environmental sources : vibrating solids, aerodynamics and liquids. The synthesizer engine combines efficiently synthesis and spatialization modules at the prime level of sound generation. We use the efficient implementation of additive synthesis by inverse fast Fourier transform, and propose an adapted set of parameters. The 3D audio rendering is compatible with standard audio formats (multichannel, ambisonics, binaural) and can be achieved on arbitrary loudspeaker configurations or over headphones. We also present an alternative synthesis method based on a “subband” formalism for synthesizing noisy signals that contain at the same time short transients and narrow spectral components (like impacts or fire sounds). High-level controls are specified for manipulating the synthesizer intuitively, via physical properties such as “the speed of the wind” or “the intensity of the fire”. We also propose a spatial extension effect, validated by a formal listening test, for simulating efficiently naturally extended sound sources like rain or waves. Combined controls of timbre and spatial properties of sources allow creating intuitively complex and immersive sound scenes.
Abstract FR:
La plupart des outils disponibles pour la sonorisation d’environnements virtuels sont basés sur l’utilisation de tables d’onde : des sons sont pré-enregistrés et déclenchés en temps réel selon les actions de l’utilisateur dans le monde virtuel. Les techniques de spatialisation sont souvent intégrées dans un second temps pour simuler la réverbération et les propriétés spatiales des sources, comme la position, la directivité et l’extension spatiale. Ce travail de thèse propose une approche originale pour la synthèse et la spatialisation des sons d’environnement. Nous concevons un synthétiseur temps-réel qui permet de générer des sources sonores diverses (pluie, vent, feu, vagues, impacts. . . ), de les contrôler via des paramètres “haut-niveau”, et de les manipuler dans un espace virtuel 3D. Après une revue des modèles de synthèse existants pour diverses sources environnementales, nous spécifions un modèle de synthèse générique basé sur la synthèse additive et sur cinq structures sonores paramétriques appelées “atomes”. Une combinaison adéquate de ces atomes permet de créer des sources associées aux trois catégories de sons d’environnement : les solides en vibration, les sources aérodynamiques et les liquides. Le moteur du synthétiseur intègre efficacement synthèse et spatialisation au même niveau de la génération du son. Nous utilisons l’implémentation de la synthèse additive par transformée de Fourier inverse avec un choix de paramètres adapté. Le rendu sonore 3D est compatible avec les formats audio standard (multi-canal, ambisonics, binaural) permettant une écoute sur haut-parleurs ou au casque. Nous présentons également une méthode de synthèse basée sur un formalisme en “sous-bande” qui permet de générer des signaux stochastiques nécessitant une résolution fine à la fois en temps et en fréquence (comme des sons d’impact ou de feu). Enfin, des contrôles “haut-niveau” sont spécifiés pour manipuler intuitivement le synthétiseur à partir de propriétés physiques telles que “la force du vent” ou “l’intensité du feu”. Nous proposons également un contrôle d’extension spatiale, validé par un test perceptif formel, qui permet de simuler des sources naturellement non ponctuelles comme la pluie ou les vagues. Le contrôle conjoint du timbre et des propriétés spatiales des sources permet de créer intuitivement des scènes sonores complexes et immersives.