EP2042001B1

EP2042001B1 - Spatialisation binaurale de donnees sonores encodees en compression

Info

Publication number: EP2042001B1
Application number: EP07803885A
Authority: EP
Inventors: David Virette; Alexandre Guerin
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 2006-07-07
Filing date: 2007-06-19
Publication date: 2009-10-21
Anticipated expiration: 2027-06-19
Also published as: ATE446652T1; US20090292544A1; DE602007002917D1; FR2903562A1; EP2042001A1; WO2008003881A1; ES2334856T3; US8880413B2

Description

L'invention concerne le traitement de données sonores, en vue d'une restitution spatialisée.
La spatialisation sonore tridimensionnelle (dite « rendu 3D ») de signaux audio compressés intervient notamment lors de la décompression d'un signal audio 3D, par exemple codé en compression et représenté sur un certain nombre de canaux, vers un nombre de canaux différents (deux par exemple pour permettre la restitution des effets audio 3D sur un casque d'écoute).
Le terme « binaural » vise la restitution sur un casque stéréophonique d'un signal sonore avec néanmoins des effets de spatialisation. L'invention ne se limite toutefois pas à la technique précitée et s'applique, notamment, à des techniques dérivées du « binaural », telles que les techniques de restitution dites techniques TRANSAURAL (marque déposée), c'est-à-dire sur des haut-parleurs distants. De telles techniques peuvent alors utiliser une « annulation de diaphonie » (ou « cross-talk cancellation » en anglais), laquelle consiste à annuler les chemins acoustiques croisés, de manière à ce qu'un son, ainsi traité puis émis par les haut-parleurs, puisse n'être perçu que par une seule des deux oreilles d'un auditeur. Par la suite, on désignera communément ces deux techniques de restitution, binaurale et transaurale, par les mêmes termes « restitution binaurale ».
Ainsi, plus généralement, l'invention est relative à la transmission de signaux audio multicanaux et à leur conversion pour une restitution spatialisée (avec rendu 3D) sur deux voies. Le dispositif de restitution (simple casque à oreillettes par exemple) est le plus souvent imposé par l'équipement d'un utilisateur. La conversion peut viser par exemple le cas d'une restitution d'une scène sonore initialement au format multicanal 5.1 (ou 7.1, ou autre) par un simple casque d'écoute audio (en technique binaurale).
Bien entendu, l'invention concerne aussi la restitution, dans le cadre d'un jeu ou d'un enregistrement vidéo par exemple, d'un ou plusieurs échantillons sonores stockés dans des fichiers, en vue de leur spatialisation.
Concernant l'art antérieur, référence est faite au document US2005/047618 , qui montre un procédé de traitement de données sonores pour une restitution spatialisée en trois dimensions sur deux voies de restitution pour l'oreille gauche et droite d'un auditeur utilisant une fonction de transfert.
Parmi les techniques connues dans le domaine de la spatialisation sonore binaurale, différentes approches ont été proposées.
En particulier, la synthèse binaurale bicanale consiste, en référence à la figure 1 relative à l'art antérieur, à :

associer à chaque source sonore S_i (ou chaque canal du signal multicanal) une position dans l'espace,
filtrer ces sources dans le domaine fréquentiel par les fonctions de transfert acoustiques gauche HRTF-I et droite HRTF-r correspondant à la direction (ou à la position) choisie, et définies par leurs coordonnées polaires (θ₁, ϕ₁ ).

Ces fonctions de transfert, communément dites fonctions « HRTF » (pour « Head Related Transfer Functions » en anglais), représentent les fonctions de transfert acoustique entre les positions de l'espace et le conduit auditif de chaque oreille de l'auditeur. On désigne par « HRIR » (pour « Head Related Impulse Response » en anglais) leur forme temporelle ou réponse impulsionnelle. Ces fonctions HRIR peuvent inclure en outre un effet de salle.
On obtient, pour chaque source sonore S_i deux signaux (gauche et droit) qui sont alors additionnés aux signaux de gauche et de droite issus de la spatialisation de toutes les autres sources sonores, pour donner finalement les signaux L et R qui seront diffusés dans les oreilles gauche et droite de l'auditeur à travers deux haut-parleurs respectifs (oreillettes d'un casque en technique binaurale ou haut-parleurs distants en technique transaurale).
Si N désigne le nombre de sources sonores ou de flux audio incidents à spatialiser, le nombre de filtres, ou fonctions de transfert, nécessaire à la synthèse binaurale est 2xN pour un rendu en spatialisation binaurale statique et 4xN pour un rendu en spatialisation binaurale dynamique (avec transitions des fonctions de transfert).
Le traitement décrit ci-avant en référence à la figure 1 et mettant en jeu les fonctions de transfert HRTF est classique. Il est souvent utilisé pour un rendu 3D à partir de deux haut-parleurs. Il pourra être à la base d'une réalisation mise en oeuvre par la présente invention, comme on le verra plus loin. C'est à ce titre qu'il est introduit ici.
Néanmoins, l'invention part d'un autre type d'art antérieur.
Il existe des techniques de compression, souvent dans un domaine transformé, de signaux dans un format multicanal pour pouvoir véhiculer ces signaux, notamment à travers des réseaux de télécommunication, sur un nombre restreint de canaux, par exemple un ou deux canaux seulement. Ainsi, pour l'émission d'un signal dans un format multicanal comportant plus de deux canaux (par exemple 5.1, 7.1 ou autre), un codeur compresse le signal multicanal sur uniquement un ou deux canaux (typiquement selon le débit offert sur le réseau de télécommunication) et délivre en outre des informations de spatialisation. Cette réalisation est illustrée sur la figure 2A où, à titre d'exemple pour un signal dans un format multicanal 5.1, cinq canaux (C pour un haut-parleur central, FL pour un haut-parleur avant gauche, FR pour un haut-parleur avant droit, BL pour un haut-parleur arrière gauche et BR pour un haut-parleur arrière droit) sont encodés en compression par un module ENCOD propre à délivrer deux canaux compressés L et R, ainsi que des informations de spatialisation SPAT. Les canaux compressés L et R, ainsi que les informations de spatialisation SPAT sont véhiculés ensuite à travers un ou plusieurs réseaux de télécommunication RES, sur un ou deux canaux selon le débit offert (figure 2B).
En référence à la figure 2C, à la réception du signal compressé sur les deux canaux L et R, un décodeur (DECOD) reconstitue le signal original dans le format multicanal initial grâce aux informations de spatialisation SPAT délivrées par le codeur et, dans l'exemple des figures 2A et 2C, on retrouve encore cinq canaux, après décodage, alimentant cinq haut-parleurs (HP-FL, HP-FR, HP-C, HP-BL et HP-BR) pour une restitution au format 5.1.
De nombreux types de codeurs/décodeurs paramétriques, notamment normalisés, offrent de telles possibilités.
Les codeurs audio (AAC, MP3) utilisent des représentations temps-fréquence des signaux pour compresser les informations. Ces représentations sont basées sur une analyse par bancs de filtres ou par transformation temps-fréquence de type MDCT (pour « Modified Discrete Cosine Transform »). Dans le cas où une spatialisation binaurale doit être effectuée après un décodage audio, les opérations de filtrage sont avantageusement réalisées d'emblée dans le domaine transformé.
Des travaux récents sur le filtrage dans le domaine transformé de sous-bandes ont permis de formaliser l'architecture de filtrage pour un banc de filtres couramment utilisé dans les codeurs audio. On pourra se référer utilement au document :

" A Generic Framework for Filtering in Subband Domain", A.Benjelloun Touimi, Proceeding IEEE - 9th Workshop on Digital Signal Processing, Hunt, Texas, USA, Octobre 2000.

Une technique plus récente de filtrage dans le domaine transformé des QMF complexes (pour « Quadrature Mirror Filters ») a été proposée dans la norme « MPEG Surround ». Cette technique vise la conversion de la réponse impulsionnelle (finie) du filtre temporel noté h(v) en un ensemble de M filtres complexes notés h_m(l), où M est le nombre de sous-bandes de fréquences. La conversion est réalisée par analyse du filtre temporel h(v) par un banc de filtres complexes similaire au banc de filtres QMF utilisé pour l'analyse du signal. Dans un exemple de réalisation, le filtre prototype q(v) utilisé pour générer le banc de filtre de conversion peut être de longueur 192. On définit une extension avec des zéros du filtre temporel par la formule suivante: $\tilde{h} (v) = {\begin{cases} h (v), & v = 0, 1, \dots, N_{h} - 1; \\ 0, & sinon, \end{cases},$
où :

N_h est la longueur du filtre dans le domaine temporel,
L_q /K_h +2, avec k_h =[N _h/ 64], la longueur des filtres en sous-bandes (pour 64 sous-bandes).

La conversion est donc donnée par la formule suivante : $h_{m} (l) = \sum_{v = 0}^{191} \tilde{h} (v + 64 (l - 2)) q (v) \exp (- j \frac{π}{64} (m + \frac{1}{2}) (v - 95)),$
avec :

m = 0,1,...,63 , correspondant à l'indice de la sous-bande
l =0,1,..., K_h +1 , correspondant à l'indice temporel dans le domaine décimé des sous-bandes.

En termes plus génériques, on comprendra qu'un tel traitement, directement dans le domaine transformé, permet de passer d'une représentation du signal compressé sur deux canaux L, R vers une représentation du signal sur deux voies de restitution L-BIN, R-BIN (figure 3) avec un élargissement binaural ou transaural. A cet effet, on prévoit un transcodage (module DECOD BIN de la figure 3) qui se base sur une approche consistant à reconstituer, à partir des signaux compressés L, R et des informations de spatialisation SPAT, les fonctions de transfert, de type HRTF, entre une oreille d'un auditeur et chaque haut-parleur (virtuel) qui aurait été alimenté par un canal donné du format multicanal initial.
Ainsi, en référence maintenant à la figure 4 illustrant une restitution « virtuelle » au format 5.1, donc à partir de cinq haut-parleurs, le transcodage mis en oeuvre par le module DECOD BIN de la figure 3 doit considérer dix fonctions de transfert :

une pour le chemin A entre le haut-parleur avant gauche HP-FL et l'oreille gauche OL de l'auditeur AU,
une pour le chemin B entre le haut-parleur avant gauche HP-FL et l'oreille droite OR de l'auditeur AU,
une pour le chemin C entre le haut-parleur arrière gauche HP-BL et l'oreille gauche OL de l'auditeur AU,
une pour le chemin D entre le haut-parleur arrière gauche HP-BL et l'oreille droite OR de l'auditeur AU,
une pour le chemin G entre le haut-parleur avant droit HP-FR et l'oreille droite OR de l'auditeur AU,
une pour le chemin H entre le haut-parleur avant droit HP-FR et l'oreille gauche OL de l'auditeur AU,
une pour le chemin F entre le haut-parleur arrière droit HP-BR et l'oreille droite OR de l'auditeur AU,
une pour le chemin E entre le haut-parleur arrière droit HP-BR et l'oreille gauche OL de l'auditeur AU,
une pour le chemin J entre le haut-parleur du centre HP-C et l'oreille gauche OL de l'auditeur AU, et
une pour le chemin I entre le haut-parleur du centre HP-C et l'oreille droite OR.

Ainsi, les filtres en sous-bandes dans le domaine transformé sont calculés pour chaque oreille et pour chacune des cinq positions des haut-parleurs. Cette technique est souvent appelée « technique des haut-parleurs virtuels ».
A l'aide de la représentation en sous-bandes des filtres binauraux déterminés comme décrit ci-avant à partir des fonctions de transfert HRTF, la spatialisation binaurale peut alors être avantageusement réalisée en appliquant ces filtres binauraux directement dans le domaine transformé au coeur du décodeur audio DECOD BIN comme représenté sur la figure 3.
Ainsi, ce type de décodeur DECOD BIN utilise une représentation monophonique ou stéréophonique (voies compressées L, R) de la scène audio multicanal, représentation à laquelle sont associés des paramètres de spatialisation SPAT (qui peuvent consister par exemple en des différences d'énergies entre canaux et indices de corrélation entre canaux). Ces paramètres SPAT sont utilisés au décodage pour reproduire au mieux la scène sonore multicanal originale.
En outre, lorsque le signal original est encodé par un codeur paramétrique (par exemple au sens de travaux récents dans la norme « MPEG Surround »), en plus du signal monophonique ou stéréophonique transmis et des informations de spatialisation, le décodage peut utiliser des représentations décorrélées de ces signaux L, R (qui sont obtenues, par exemple, par l'application de filtres, de décorrélation passe-tout ou de filtres de réverbération). Ces signaux sont ensuite ajustés en énergie grâce aux différences d'énergie intercanal, puis recombinés pour obtenir le signal multicanal en vue de la restitution.
En particulier, l'encodeur paramétrique (ENCOD - figure 2A) du format multicanal vers deux voies compressées (stéréo ou mono) selon le projet de norme « MPEG Surround » délivre une information de décorrélation entre canaux dans le format multicanal initial et cette information de décorrélation peut être reprise par le décodeur paramétrique homologue (DECOD - figure 2C) lors de la restitution au format multicanal initial.
Une description de travaux préparatoires à cette norme est donnée à l'adresse URL :

« http://www.chiariglione.org/mpeg/technologies/mpd-mps/index.htm »

"MPEG Spatial Audio Coding / MPEG Surround: Overview and Current Status", J.Breebaart et al., dans 119th Conv. Aud. Eng. Soc (AES), New York, NY, USA, Octobre 2005.

Dans le cas d'un décodeur audio paramétrique pour une restitution binaurale (DECOD BIN - figure 3), il est avantageusement possible de simplifier les opérations de filtrage en combinant les filtres avant et arrière correspondant aux différents haut-parleurs gauches (un traitement équivalent étant porté aussi pour les haut-parleurs droits). Cette combinaison est réalisée en fonction des énergies cibles des canaux audio données par les paramètres de spatialisation. Cette combinaison, pour l'oreille gauche et les canaux avant gauche et arrière gauche, est réalisée dans le domaine transformé selon une expression (1) du type : $h_{L, L} = g_{L, L} σ_{FL} \exp (- j φ_{FL . BL}^{L} σ_{BL}^{2}) h_{L . FL} + g_{L . L} σ_{BL} \exp (j φ_{FL . BL}^{L} σ_{FL}^{2}) h_{L . BL}$
Dans cette expression :

h_L,_L est le filtre correspondant aux contributions des canaux avant et arrière gauche,
g_L,_L est le gain associé à l'ensemble des canaux gauches,
σ² _FL et σ² _BL sont les énergies utiles des canaux respectivement avant et arrière gauches,
h_L,FL et h_L,BL sont les fonctions de transfert dans le domaine des sous-bandes entre l'oreille gauche et les haut-parleurs respectivement avant et arrière gauche (chemins A et C de la figure 4),
Φ^L _FL,BL est le déphasage correspondant au retard entre les filtres temporels avant et arrière gauche h_L,FL et h_L,BL.

Le but de cette compensation de phase, fonction de l'énergie cible des canaux, est d'éviter un effet dit « de coloration » issu de l'addition de deux filtres décalés dans le temps (filtrage en peigne).
En référence à la figure 5A, un décodeur reçoit les paramètres de spatialisation SPAT accompagnant les signaux compressés sur deux voies L et R dans l'exemple représenté et on a illustré, sur cette même figure 5A, comment le filtre précité h_L,L s'applique au canal compressé L pour former une composante du signal L-BIN, destiné à la restitution binaurale. Néanmoins, comme représenté encore sur la figure 5A, il convient de tenir compte aussi du signal compressé sur le canal R qui doit, quant à lui, être filtré par un filtre faisant intervenir des fonctions de transfert HRTF (notées H_L,FR et H_L,BR) relatives aux chemins croisés H et E de la figure 4, toujours vers l'oreille gauche. Le filtre correspondant à ces chemins croisés (noté h_L,R) se calcule en fonction des gains, énergies cibles et déphasages, tirés des paramètres de spatialisation SPAT, à l'aide d'une expression équivalente à la relation (1) donnée précédemment. Ce filtre h_L,R est finalement appliqué au signal compressé sur le canal R. Il convient de tenir compte en outre de la « contribution » du haut-parleur central dans la construction du signal destiné à la restitution binaurale L-BIN et, pour ce faire, on applique un filtre h_L,C (figure 5A) à une combinaison (par exemple par addition) des signaux compressés des deux voies L et R pour tenir compte ici du chemin J vers l'oreille gauche OL de la figure 4.
En référence encore à la figure 5A, on prévoit un traitement équivalent pour la construction du signal R-BIN destiné à une restitution binaurale pour l'oreille droite OD, avec trois contributions données par :

le signal compressé sur le canal R filtré par le filtre h_R,R représentant les fonctions HRTF des haut-parleurs de droite (chemins directs G et F de la figure 4) ;
le signal compressé sur le canal L filtré par le filtre h_R,L représentant les fonctions HRTF des haut-parleurs de gauche (chemins croisés B et D de la figure 4) ; et
une combinaison des signaux compressés L et R filtrée par le filtre h_R,C représentant les fonctions HRTF du haut-parleur de centre (chemin direct I de la figure 4).

Sur la figure 5B, on a représenté un autre exemple, dans lequel un décodeur reçoit le signal compressé sur un seul canal M, accompagnant les paramètres de spatialisation SPAT. Dans l'exemple représenté, on duplique le canal M en deux canaux L et R et la suite du traitement est strictement équivalente au traitement représenté sur la figure 5A.
Les deux signaux L-BIN et R-BIN résultant de ces filtrages peuvent être appliqués ensuite à deux haut-parleurs destinés respectivement à l'oreille gauche et à l'oreille droite de l'auditeur après un passage du domaine transformé au domaine temporel.
Toutefois, un problème lié à cette combinaison de filtres pour une restitution binaurale est qu'elle ne prend pas en compte une éventuelle décorrélation entre les canaux avant et arrière. Cette information, pourtant utilisée dans le décodage d'une scène 5.1 d'un encodeur selon le projet précité de la norme MPEG Surround, n'est pas exploitée dans la technique de décodage binaural. Ainsi, lorsque la scène sonore comporte des effets de décorrélation entre les canaux avant et arrière (par exemple pour des signaux réverbérés), cette information n'est pas utilisée dans la combinaison des filtres HRTF, ce qui entraîne une dégradation de la qualité de spatialisation et notamment de l'effet d'enveloppement de la scène audio 3D. Ainsi, la restitution au format binaural n'est pas optimale.
La présente invention vient améliorer la situation.
Elle vise tout d'abord un procédé de traitement de données sonores pour une restitution spatialisée en trois dimensions sur deux voies de restitution pour les oreilles respectives d'un auditeur,
les données sonores étant initialement représentées dans un format multicanal puis encodées en compression sur un nombre réduit de canaux (par exemple un ou deux canaux),
ledit format multicanal initial consistant à prévoir plus de deux canaux susceptibles d'alimenter des haut-parleurs respectifs,
le procédé comportant les étapes :

obtenir, avec les données compressées sur ledit nombre réduit de canaux, des paramètres de spatialisation,
pour chaque voie de restitution associée à une oreille de l'auditeur, former, à partir desdits paramètres de spatialisation, une combinaison de filtres représentatifs chacun de fonctions de transfert entre cette oreille de l'auditeur et des haut-parleurs susceptibles d'être alimentés par des canaux respectifs du format multicanal initial, et
appliquer aux données compressées la combinaison de filtres associée à chaque voie de restitution.

Le procédé au sens de l'invention comporte en outre les étapes :

pour chaque voie de restitution associée à une oreille de l'auditeur, déterminer à partir desdits paramètres de spatialisation au moins une fonction de transfert d'un haut-parleur situé à l'arrière de l'oreille de l'auditeur et représentative d'une décorrélation entre les canaux du format multicanal respectivement associés au haut-parleur arrière et à au moins un haut-parleur situé devant l'oreille de l'auditeur, et
pour chaque voie de restitution, intégrer ladite fonction de transfert représentative d'une décorrélation dans ladite combinaison de filtres associée à cette voie de restitution.

La restitution spatialisée sur deux voies, au sens de l'invention, peut être aussi bien au format binaural ou transaural. Le format multicanal, initial peut être de type ambiophonique (ou « ambisonic » en anglais et visant la décomposition du signal sonore dans une base d'harmoniques sphérique). En variante, il peut s'agir d'un format de type 5.1 ou 7.1, ou encore 10.2. On comprendra alors que pour ces derniers types de format mettant en oeuvre des canaux destinés à alimenter respectivement au moins des couples de haut-parleurs avant-gauche/arrière-gauche, d'une part, et avant-droit/arrière-droit, d'autre part, l'information de décorrélation peut viser les canaux respectifs des haut-parleurs avant/arrière préférentiellement associés à une même oreille (gauche ou droite).
Selon un avantage que procure l'invention, du fait que cette information de décorrélation à l'arrière d'une scène 3D soit représentée dans la restitution binaurale ou transaurale, on obtient une meilleure représentation des ambiances, par exemple des bruits de foule ou une réverbération à l'arrière d'une scène, ou autre, contrairement aux réalisations de l'art antérieur.
Dans un mode de réalisation particulier, la combinaison de filtres comporte une pondération, selon un coefficient choisi, entre :

une fonction de transfert brute du haut-parleur situé à l'arrière, et
une version de la fonction de transfert de ce haut-parleur, représentative de la décorrélation.

Cette pondération permet avantageusement de favoriser la fonction de transfert brute de ce haut-parleur arrière, ou la version décorrélée de cette fonction de transfert brute, selon que le signal dans le canal arrière du format multicanal initial est corrélé ou non avec au moins un signal de l'un des canaux avant.
Par ailleurs, dans une réalisation particulière, la combinaison de filtres associée à une voie de restitution comporte au moins un regroupement formant filtre à partir de :

la fonction de transfert d'un haut-parleur avant,
la fonction de transfert d'un haut-parleur arrière, et
la fonction de transfert représentative d'une décorrélation entre canaux,

figure 4

Avantageusement, l'encodage en compression met en oeuvre un codeur paramétrique délivrant, dans le flux compressé incluant les paramètres de spatialisation, une information de décorrélation entre canaux du format multicanal, à partir de laquelle peut être déterminée, de façon dynamique, la pondération précitée.
Ainsi, dans cette réalisation, pour un transcodage entre un format multicanal vers un format binaural, la combinaison précitée de fonctions de transfert tire parti des informations déjà présentes concernant la corrélation entre signaux de canaux au format multicanal, ces informations étant simplement fournies par le codeur paramétrique, avec les paramètres de spatialisation précités.
A titre d'exemple, on rappelle que le décodeur paramétrique selon le projet de norme MPEG Surround délivre une telle information de décorrélation entre canaux au format multicanal 5.1.
D'autres avantages et caractéristiques de l'invention apparaîtront à la lecture de la description détaillée donnée ci-après à titre d'exemple, et à l'observation des dessins annexés, dans lesquels, outre les figures 1, 2A, 2B, 2C, 3 et 4, 5A et 5B commentées ci-avant :

les figures 6A et 6B illustrent à titre d'exemple un traitement par filtrage de données compressées (sur deux canaux dans l'exemple représenté), le filtrage étant déterminé par la mise en oeuvre du procédé au sens de l'invention pour délivrer des signaux L-BIN et R-BIN destinés à alimenter respectivement les voies gauche et droite d'un dispositif de restitution binaurale tel qu'un casque à deux oreillettes, en tenant compte d'une décorrélation avant/arrière, et
la figure 7 illustre schématiquement la structure d'un module mettant en oeuvre le procédé au sens de l'invention.

En référence à la figure 6A, on récupère tout d'abord le signal compressé, souvent dans le domaine transformé, sur deux canaux L et R dans l'exemple représenté, ainsi que les paramètres de spatialisation SPAT qu'a fourni un encodeur tel que le module ENCOD de la figure 2A décrite précédemment. A partir des paramètres de spatialisation SPAT, on détermine des fonctions de transfert pour construire une combinaison de filtres (signe « + » de la figure 6A), chaque filtre étant à appliquer à un canal L (filtre h_L,L de la figure 5A), ou R (filtre h_L,R de la figure 5A), ou à une combinaison de ces canaux (filtre h_L,C de la figure 5A) pour construire un signal alimentant l'une des deux voies de restitution binaurale L-BIN. Ces fonctions de transfert, de type HRTF, sont représentatives des perturbations que subit une onde acoustique sur un chemin entre un haut-parleur qui aurait été alimenté par un canal du format multicanal initial et une oreille de l'auditeur. Par exemple si le contenu audio est initialement au format 5.1, comme décrit ci-avant en référence à la figure 4, on détermine en tout dix fonctions de transfert HRTF, cinq fonctions HRTF pour l'oreille droite (sur les chemins B, D, G, F et I de la figure 4) et cinq fonctions HRTF pour l'oreille gauche (sur les chemins A, C, H, E et J). On indique que le haut-parleur du centre est traité séparément dans la spatialisation binaurale et l'obtention du filtre correspondant h_L,C ou hic ne sera pas décrite ici, étant entendu qu'elle ne fait pas intervenir, a priori dans l'exemple décrit, l'objet de l'invention.
Ainsi, en termes généraux, les fonctions HRTF de haut-parleurs avant et arrière, situés sur un même côté de l'auditeur sont donc regroupées pour construire chaque filtre d'une combinaison de filtres propre à une voie de restitution sur une oreille d'un auditeur. Un regroupement de fonctions HRTF pour construire un filtre est par exemple une addition, moyennant des coefficients multiplicatifs dont un exemple sera décrit plus loin.
Au sens de l'invention, à partir des paramètres de spatialisation SPAT récupérés, on détermine en outre une version décorrélée des fonctions HRTF des haut-parleurs situés à l'arrière de l'auditeur (chemins C, D, E et F de la figure 4) et on intègre cette version décorrélée à chaque regroupement pour former un filtre à appliquer à un canal compressé.
A titre d'exemple purement illustratif, les données sonores initiales peuvent être au format multicanal 5.1 et, en référence à la figure 6A, un premier regroupement comporte :

la fonction HRTF-A (pour le haut-parleur avant gauche selon un chemin direct vers l'oreille gauche OL de la figure 4),
la fonction HRTF-C (pour le haut-parleur arrière gauche selon un chemin direct vers l'oreille gauche),
et la version décorrélée de cette fonction HRTF-C, notée HRTF-C*, pour former le filtre à appliquer au canal compressé L.

la fonction HRTF-H (pour le haut-parleur avant droit selon un chemin croisé vers l'oreille gauche),
la fonction HRTF-E (pour le haut-parleur arrière droit selon un chemin croisé),
et la version décorrélée de cette fonction HRTF-E, notée HRTF-E*, pour former le filtre à appliquer au canal compressé R.

Un traitement similaire est prévu pour construire le signal destiné à alimenter l'autre voie de restitution binaurale R-BIN de la figure 6B. Ici, on tient compte des fonctions HRTF des chemins menant à l'oreille droite OD de l'auditeur AU (figure 4). Un premier regroupement comporte les fonctions HRTF-G (pour le haut-parleur avant droit selon un chemin direct), HRTF-F (pour le haut-parleur arrière droit selon un chemin direct) et la version décorrélée notée HRTF-F* de la fonction HRTF-F pour former le filtre à appliquer au canal compressé R. Un second regroupement comporte la fonction HRTF-B (pour le haut-parleur avant gauche selon un chemin croisé), la fonction HRTF-D (pour le haut-parleur arrière gauche selon un chemin croisé) et la version décorrélée, notée HRTF-D*, de la fonction HRTF-D, pour former le filtre à appliquer au canal compressé L.
Finalement, les combinaisons de filtres intégrant les versions décorrélées des fonctions HRTF des haut-parleurs arrière sont appliquées aux canaux compressés L et R pour délivrer les voies de restitution L-BIN et R-BIN, pour une restitution binaurale spatialisée avec rendu 3D.
Dans l'exemple représenté sur les figures 6A et 6B, les données sonores reçues sont encodées en compression sur deux canaux stéréophoniques L et R comme illustré dans l'exemple de la figure 5A. En variante, elles pourraient être encodées en compression sur un canal unique M, monophonique, comme illustré sur la figure 5B, auquel cas les combinaisons de filtres sont appliquées au canal monophonique (dupliqué) comme illustré sur la figure 5B, pour délivrer encore deux signaux alimentant respectivement les deux voies de restitution L-BIN, R-BIN.
Dans une réalisation avantageuse, les données sonores initiales sont au format multicanal 5.1 et sont encodées en compression par un codeur paramétrique selon le projet de norme précité MPEG Surround. Plus particulièrement, lors d'un tel encodage, il est possible d'obtenir, parmi les paramètres de spatialisation fournis, une information de décorrélation entre le canal arrière droit et le canal avant droit (haut-parleurs respectifs HP-BR et HP-FR de la figure 4), ainsi qu'une information de décorrélation homologue entre le canal arrière gauche et le canal avant gauche (haut-parleurs respectifs HP-FR et HP-BR de la figure 4).
Ces informations de décorrélation, dans un format 5.1, visent à rendre la restitution des haut-parleurs arrière la plus indépendante possible de la restitution des haut-parleurs avant, pour enrichir, au format 5.1, l'effet d'enveloppement par des bruits de réverbération ou de public pour des enregistrements de concerts par exemple. On rappelle que cet enrichissement de l'enveloppement 3D n'a pas été proposé en restitution binaurale et un avantage de l'invention est de tirer profit de la disponibilité des informations de décorrélation parmi les paramètres de spatialisation SPAT pour construire des versions décorrélées des fonctions HRTF qui s'intègrent avantageusement aux combinaisons de filtres pour une restitution binaurale.
Selon un autre avantage, ces combinaisons de filtres peuvent être calculées directement dans le domaine transformé, par exemple dans le domaine des sous-bandes, et les filtres représentant les versions décorrélées des fonctions HRTF des haut-parleurs arrière peuvent être obtenues par exemple en appliquant aux fonctions HRTF initiales un déphasage fonction de la sous-bande de fréquences considérée.
Plus généralement, les filtres de décorrélation peuvent être des filtres de réverbération dite « naturelle » (enregistrée dans un environnement acoustique particulier comme une salle de concert par exemple), ou « synthétique » (créée par sommation de réflexions multiples d'amplitudes décroissantes dans le temps). L'application d'un filtre décorrélé peut donc revenir à appliquer au signal décomposé en sous-bandes de fréquences un déphasage différent dans chacune des sous-bandes, combiné avec l'ajout d'un délai global. Dans le cas d'un décodeur paramétrique du type précité (formule (1) donnée précédemment en description de l'art antérieur), cela revient à multiplier chaque sous-bande de fréquences par une exponentielle complexe, de phase différente dans chaque sous-bande. Ces filtres de décorrélation peuvent donc correspondre à des synthèses de filtres passe-tout déphaseur.
On prévoit avantageusement une pondération entre la fonction de transfert d'un haut-parleur arrière et sa version décorrélée dans un même regroupement formant un filtre. Ainsi, en reprenant la formule (1) donnée précédemment pour le calcul d'un filtre par exemple h_L,L pour l'oreille gauche, on introduit des coefficients de pondération α et (1-α) et la version décorrélée d'une fonction de transfert comme suit : $h_{L . L} = g_{L . L} σ_{FL} \exp (- j φ_{FL . BL}^{L} σ_{BL}^{2}) h_{L . FL} + g_{L . L} σ_{BL} \exp (j φ_{FL . BL}^{L} σ_{FL}^{2}) (α h_{L . BL} + (1 - α) h_{L . BL}^{Decorr})$
avec les mêmes notations explicitées précédemment et où h ^Decorr _L,BL représente la version décorrélée de la fonction de transfert du haut-parleur arrière gauche. Bien entendu, on prévoit un même type de relations donnant les autres filtres h _L,R , h_R,R et h _R,L (figures 5A et 5B).
Par exemple pour le filtre h _L,R propre aux chemins croisés vers l'oreille gauche, on a : $h_{L . R} = g_{L . R} σ_{FR} \exp (- j φ_{FR . BR}^{L} σ_{BR}^{2}) h_{L . FR} + g_{L . R} σ_{BR} \exp (j φ_{FR . BR}^{L} σ_{BR}^{2}) (α h_{L . BR} + (1 - α) h_{L . BR}^{Decorr})$
Plus spécifiquement, on prévoit une pondération par des coefficients différents α₁, (1-α₁) et α₂, (1-α₂) selon le fait que le haut-parleur arrière est du même côté que l'oreille considérée (α=α₁ donnant les filtres h _L,L et h_R,_R) ou non (α=α₂ donnant les filtres h_L,_R et h _R,L ). Préférentiellement, on privilégie la version décorrélée pour des chemins croisés (haut-parleur arrière droit pour l'oreille gauche et haut-parleur arrière gauche pour l'oreille droite), de sorte qu'en général, le coefficient α₁, pourra être souvent supérieur au coefficient α₂.
En pratique, les coefficients α (α₁ ou α₂) sont donnés par des fonctions de pondération variables de manière à favoriser dynamiquement la version brute de la fonction HRTF du haut-parleur arrière ou sa version décorrélée selon que le signal arrière est corrélé ou non avec le signal avant. On obtient ainsi une meilleure représentation des ambiances (bruits de foule, réverbération, ou autre) dans le rendu 3D.
La fonction de pondération α peut être définie dynamiquement grâce à l'information de décorrélation fournie avec les paramètres de spatialisation, à titre d'exemple non limitatif, de la façon suivante : $α = sqrt (abs ({ICC}_{L})), si abs ({ICC}_{L}) > {σ_{BL}}^{2}$
$α = sqrt ({σ_{BL}}^{2}), sinon,$
où la notation « sqrt » vise la fonction « racine carrée », la notation « abs » vise la fonction « valeur absolue » et le terme ICC_L représente l'information de décorrélation (appelée autrement « indice de corrélation ») entre le canal avant et le canal arrière du même côté gauche et fait partie des paramètres de spatialisation transmis par l'encodeur selon le projet de norme MPEG Surround indiqué ci-avant. Comme décrit ci-avant, le terme σ_BL représente l'énergie cible du canal arrière gauche lorsqu'il s'agit de déterminer le coefficient α pour calculer le filtre h _L,L (α=α₁). Bien entendu, une expression équivalente peut être appliquée pour calculer le coefficient de pondération α intervenant dans le filtre homologue h _R,R propre aux chemins acoustiques directs vers l'oreille droite. Néanmoins, pour les filtres h _L,R et h _R,L propres aux chemins croisés, par exemple pour le filtre h _L,R propre aux chemins croisés vers l'oreille gauche, le coefficient α=α₂ peut préférentiellement s'écrire : $α_{2} = abs ({ICC}_{R}), si abs ({ICC}_{R}) > {σ_{BR}}^{2},$
$α_{2} = {σ_{BR}}^{2}, sinon,$

le terme σ_BR représentant l'énergie cible du canal arrière droit et le terme ICC_R représentant l'indice de corrélation entre le canal avant droit et le canal arrière droit.
On relèvera que la fonction « sqrt » ne s'applique plus pour les chemins croisés et pour le calcul du coefficient correspondant α₂, dans l'exemple décrit. En effet, les énergies cibles et les indices de corrélation sont des termes compris entre 0 et 1 de sorte que le coefficient α₂ est généralement inférieur au coefficient α₁.
La combinaison de filtres globale, pour la voie L-BIN, comporte bien des regroupements de fonctions HRTF formant des filtres h _L,L et h _L,R obtenus par les formules données précédemment, et, dans chaque regroupement, interviennent bien la fonction HRTF d'un haut-parleur avant, la fonction HRTF d'un haut-parleur arrière et une version décorrélée de cette dernière fonction HRTF, ce qui permet de représenter une décorrélation entre les canaux avant et arrière directement dans la combinaison de filtres, et donc directement dans la synthèse binaurale.
On rappelle que, les données sonores L, R (ou M) étant encodées en compression dans un domaine transformé, la combinaison de filtres peut être appliquée directement dans le domaine transformé en fonction des énergies cibles (σ_FL, σ_BL, σ_FR, σ_BR) associées aux canaux du format multicanal, ces énergies cibles étant déterminées à partir des paramètres de spatialisation SPAT. Dans cette réalisation, bien entendu, on prévoit ensuite le passage à nouveau du domaine transformé au domaine temporel pour la restitution proprement dite en contexte binaural (modules TRANS des figures 6A et 6B).
La présente invention vise aussi un module de décodage DECOD BIN tel que représenté à titre d'exemple sur la figure 7, pour une restitution spatialisée en trois dimensions sur deux voies de restitution L-BIN et R-BIN, et comportant en particulier des moyens de traitement de données sonores (canaux compressés L, éventuellement R en mode stéréophonique et les paramètres de spatialisation SPAT) pour la mise en oeuvre du procédé décrit ci-avant. Ces moyens peuvent typiquement comporter :

une entrée E pour recevoir les canaux compressés et les paramètres de spatialisation,
une mémoire de travail MEM et un processeur PROC pour construire les combinaisons de filtres à partir des paramètres SPAT et appliquer ces combinaisons respectivement aux canaux compressés L et R,
et une sortie S pour délivrer les signaux compressés et filtrés pour une restitution binaurale spatialisée sur les voies de restitution respectives L-BIN et R-BIN.

La présente invention vise aussi un programme informatique, destiné à être stocké dans une mémoire d'un module de décodage, telle que la mémoire MEM du module DECOD-BIN de la figure 7, pour une restitution spatialisée en trois dimensions sur deux voies de restitution L-BIN et R-BIN. Le programme comporte alors des instructions pour l'exécution du procédé selon l'invention et, en particulier, pour construire les combinaisons de filtres intégrant les versions décorrélées comme illustré sur les figures 6A et 6B décrites ci-avant. A ce titre, l'une ou l'autre de ces figures peut constituer un organigramme représentant l'algorithme à la base du programme.

Claims

Procédé de traitement de données sonores pour une restitution spatialisée en trois dimensions sur deux voies de restitution pour les oreilles respectives d'un auditeur,
les données sonores étant initialement représentées dans un format multicanal puis encodées en compression (ENCOD) sur un nombre réduit de canaux (L,R),
ledit format multicanal consistant à prévoir plus de deux canaux susceptibles d'alimenter des haut-parleurs respectifs,
le procédé comportant les étapes :
- obtenir, avec les données compressées sur ledit nombre réduit de canaux, des paramètres de spatialisation (SPAT),

- pour chaque voie de restitution associée à une oreille de l'auditeur, former, à partir desdits paramètres de spatialisation, une combinaison de filtres représentatifs chacun de fonctions de transfert (HRTF) entre cette oreille de l'auditeur et des haut-parleurs susceptibles d'être alimentés par des canaux respectifs du format multicanal initial, et

- appliquer aux données compressées la combinaison de filtres (h_L,L, h_L,R, h_L,C ; h_R,R, h_R,L, h_R,C) associée à chaque voie de restitution (L-BIN ; R-BIN),
caractérisé en ce que le procédé comporte en outre les étapes :
- pour chaque voie de restitution associée à une oreille de l'auditeur, déterminer à partir desdits paramètres de spatialisation au moins une fonction de transfert d'un haut-parleur situé à l'arrière de l'oreille de l'auditeur et représentative d'une décorrélation entre les canaux du format multicanal respectivement associés au haut-parleur arrière et à au moins un haut-parleur situé devant l'oreille de l'auditeur, et

- pour chaque voie de restitution, intégrer ladite fonction de transfert représentative d'une décorrélation dans ladite combinaison de filtres associée à cette voie de restitution.
Procédé selon la revendication 1, caractérisé en ce que la combinaison de filtres associée à une voie de restitution (L-BIN) comporte au moins un premier regroupement, formant un premier filtre (h_L,_L), à partir :
- de la fonction de transfert d'un haut-parleur avant (HRTF-A),

- de la fonction de transfert d'un haut-parleur arrière (HRTF-C), et

- d'une version (HRTF-C*) de la fonction de transfert du haut-parleur arrière, représentative d'une décorrélation entre canaux,
et en ce que les haut-parleurs avant et arrière sont situés sur un même premier côté par rapport à l'auditeur.
Procédé selon la revendication 2, caractérisé en ce que ledit regroupement comporte une pondération, selon un coefficient choisi (α₁ ; α₂), entre :
- la fonction de transfert du haut-parleur situé à l'arrière, et

- la version représentative d'une décorrélation de cette fonction de transfert du haut-parleur arrière.
Procédé selon la revendication 3, caractérisé en ce que l'encodage en compression met en oeuvre un codeur paramétrique (ENCOD) délivrant une information de décorrélation entre canaux du format multicanal, et en ce que le coefficient de pondération est représenté par une fonction variable dynamiquement en fonction de l'information de décorrélation (ICC_L ; ICC_R) que délivre le codeur paramétrique.
Procédé selon l'une des revendications 2 à 4, dans lequel les données sonores sont encodées en compression sur deux canaux (L,R),
caractérisé en ce que la combinaison de filtres associée à ladite voie de restitution (L-BIN) comporte, outre ledit premier regroupement formant filtre (h_L,L) de l'un des canaux compressés (L), un second regroupement formant filtre (h_L,R) de l'autre des canaux compressés (R) à partir :
- de la fonction de transfert d'un haut-parleur avant (HRTF-H) situé sur un second côté, opposé au premier côté par rapport à l'auditeur,

- de la fonction de transfert d'un haut-parleur arrière (HRTF-E) situé sur ledit second côté, et

- d'une version (HRTF-E*) de la fonction de transfert de ce haut-parleur arrière, représentative d'une décorrélation entre canaux.
Procédé selon l'une des revendications précédentes, caractérisé en ce que, les données sonores étant encodées en compression dans un domaine transformé, la combinaison de filtres est appliquée dans le domaine transformé en fonction d'énergies cibles associées aux canaux du format multicanal, ces énergies cibles étant déterminées à partir desdits paramètres de spatialisation.
Procédé selon l'une des revendications précédentes, caractérisé en ce que lesdites fonctions de transfert des haut-parleurs sont de type HRTF et représentent des perturbations acoustiques sur des chemins entre chaque haut-parleur et une oreille pour une voie de restitution associée à cette oreille.
Procédé selon les revendications 6 et 7, dans lequel le domaine transformé est le domaine des sous-bandes, caractérisé en ce que les versions décorrélées des fonctions HRTF des haut-parleurs arrière sont obtenues en appliquant aux fonctions HRTF initiales des haut-parleurs arrière un déphasage qui est fonction de chaque sous-bande de fréquences.
Module de décodage (DECOD BIN) pour une restitution spatialisée en trois dimensions sur deux voies de restitution, caractérisé en ce qu'il comporte des moyens de traitement de données sonores pour la mise en oeuvre du procédé selon l'une des revendications précédentes.
Programme informatique, destiné à être stocké dans une mémoire d'un module de décodage pour une restitution spatialisée en trois dimensions sur deux voies de restitution,
caractérisé en ce qu'il comporte des instructions pour l'exécution du procédé selon l'une des revendications 1 à 8.