EP3635718B1

EP3635718B1 - Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal

Info

Publication number: EP3635718B1
Application number: EP18737650.4A
Authority: EP
Inventors: Mathieu BAQUÉ; Alexandre Guerin
Original assignee: Orange SA
Current assignee: Orange SA
Priority date: 2017-06-09
Filing date: 2018-05-24
Publication date: 2023-06-28
Anticipated expiration: 2038-05-24
Also published as: US20200152222A1; WO2018224739A1; FR3067511A1; EP3635718A1; CN110709929A; CN110709929B; US11081126B2

Description

La présente invention se rapporte au domaine du traitement de signal audio ou acoustique et plus particulièrement au traitement de contenus sonores multicanal réels pour séparer les sources sonores.
La séparation de sources dans un signal sonore multicanal permet de multiples applications. Elle peut par exemple être utilisée :

∘ Pour le divertissement (karaoké : suppression de la voix),
∘ Pour la musique (mixage des sources séparées dans un contenu multicanal),
∘ Pour les télécommunications (rehaussement de la voix, débruitage),
∘ Pour la domotique (commande vocale),
∘ Pour le codage audio multicanal,
∘ Pour la localisation de sources et cartographie en imagerie.

Dans un espace E dans lequel un nombre N de sources émettent un signal s_i, une séparation aveugle des sources consiste, à partir d'un nombre M d'observations issues de capteurs répartis dans cet espace E, à dénombrer et extraire le nombre N de sources. En pratique, chaque observation est obtenue à l'aide d'un capteur qui enregistre le signal parvenu jusqu'en un point de l'espace où se situe le capteur. Le signal enregistré résulte alors du mélange et de la propagation dans l'espace E des signaux s_i et se trouve donc affecté de différentes perturbations propres au milieu traversé comme par exemple le bruit, la réverbération, les interférences, etc...
La captation multicanal d'un nombre N de sources sonores s_i se propageant en champ libre et considérées comme ponctuelles se formalise comme une opération matricielle : $x = As = [\begin{matrix} a_{11} & \dots & a_{1 N} \\ ⋮ & ⋱ & ⋮ \\ a_{M 1} (θ_{1}, ϕ_{1}, r_{1}) & \dots & a_{MN} (θ_{N}, ϕ_{N}, r_{N}) \end{matrix}] * s$
Où x est le vecteur des M canaux enregistrés, s le vecteur des N sources et A une matrice dite « matrice de mélange » de dimension M×N contenant les contributions de chaque source à chaque observation, et le sigle * symbolise la convolution linéaire. Selon le milieu de propagation et le format de l'antenne, la matrice A peut prendre différentes formes. Dans le cas d'une antenne coïncidente (tous les microphones de l'antenne sont concentrés en un même point de l'espace) en milieu anéchoïque, A est une simple matrice de gains. Dans le cas d'une antenne non coïncidente, en milieu anéchoïque ou réverbérant, la matrice A devient une matrice de filtre. Dans ce cas, on exprime généralement la relation dans le domaine fréquentiel x ( f ) = As ( f ), où A s'exprime comme une matrice de coefficients complexes.
Dans le cas où la captation du signal sonore se fait dans un environnement anéchoïque, et si l'on se place dans l'hypothèse où le nombre de sources N est inférieur au nombre d'observations M, l'analyse (i.e. l'identification du nombre de sources et de leurs positions) et la décomposition de la scène en objets, i.e. les sources, peuvent être facilement réalisées de manière conjointe par un algorithme d'analyse en composantes indépendantes (ou « ACI » ci-après). Ces algorithmes permettent d'identifier la matrice B de séparation de dimensions NxM, pseudo-inverse de A, qui permet de déduire les sources à partir des observations grâce à l'équation suivante : $s = Bx$
L'étape préalable d'estimation de la dimension du problème, i.e. l'estimation de la taille de la matrice de séparation, soit du nombre de sources N, est classiquement fait en calculant le rang de la matrice de covariance Co = E{ xx^T } des observations, qui est, dans ce cas anéchoïque, égal au nombre de sources : $N = rank (Co) .$
Quant à la localisation des sources, elle peut être déduite de la matrice d'encodage A = B ^-1 et de la connaissance des propriétés spatiales de l'antenne utilisée, notamment la distance entre les capteurs et leurs directivités.
Parmi les algorithmes les plus connus d'ACI, on peut citer JADE de J.F Cardoso et A. Souloumiac. ("Blind beamforming for non-gaussian signals" dans "IEE Proceedings F - Radar and Signal Processing", volume 140, issue 6, Dec. 1993) ou Infomax d'Amari et. al. ("A new learning algorithm for blind signal séparation, Advances" dans "neural information processing systems", 1996)
Le document US 2005/060142 A1 décrit une étape de séparation de source d'un signal multi-canal suivie d'une étape d'identification. Ce document utilise une analyse de composantes indépendantes, ACl, basée sur une matrice de séparation, et peut identifier un signal dominant par deux signaux séparés.Le document US 2010/111290 A1 décrit une étape de séparation de sources d'un signal pouvant être réalisée à l'aide d'une technique d'analyse de composantes indépendantes, ACl, ainsi qu'une étape d'estimation d'un type de son après séparation. Le type de son estimé est stationnaire ou non-stationnaire. L'obtention d'une matrice de séparation semble implicite au vu des procédés de séparation indiqués.En outre, le document BAQUÉ MATHIEU ET AL: "Séparation of Direct Sounds from Early Reflections Using the Entropy Rate Bound Minimization Algorithm", 60ème Conférence Internationale de l'AES: DREAMS (DEREVERBERATION AND REVERBERATION OF AUDIO, MUSIC, AND SPEECH); AES, 60 EAST 42ND STREET, ROOM 2520, NEW YORK 10165-2520, USA, 27 janvier 2016 (2016-01-27), décrit une étude expérimentale utilisant une mesure de débit entropique pour séparer les sons directs de leurs réflexions.
En pratique, dans certaines conditions, l'étape de séparation s = Bx revient à faire de la formation de voies sous contrainte (ou « beamforming » ci-après) : la combinaison de différents canaux donnée par la matrice B consiste à appliquer un filtre spatial dont la directivité revient à imposer un gain unité dans la direction de la source que l'on veut extraire, et un gain nul dans la direction des sources interférentes. Un exemple de beamforming pour extraire trois sources positionnées à respectivement 0°, 90° et -120° d'azimuth est illustré à la figure 1. Chacune des directivités formées correspond à l'extraction d'une des sources de s.
En présence d'un mélange de sources capté dans des conditions réelles, l'effet de salle va générer un champ sonore dit réverbéré, noté x_r , qui va s'ajouter aux champs directs des sources : $x = As + x_{r}$
Le champ acoustique total peut être modélisé comme la somme du champ direct des sources d'intérêt (représenté en 1 sur la figure 2), des premières réflexions (sources secondaires, représentées en 2 sur la figure 2) et d'un champ diffus (représenté en 3 sur la figure 2). La matrice de covariance des observations est alors de rang plein, quel que soit le nombre réel de sources actives dans le mélange : cela signifie que l'on ne peut plus utiliser le rang de Co pour estimer le nombre de sources.
Ainsi, lorsqu'on utilise un algorithme de SAS pour séparer des sources en milieu réverbérant, la matrice de séparation B de taille MxM est obtenue, générant en sortie M sources s̃_j , 1 ≤ j ≤ M, au lieu des N désirées, les M-N dernières composantes contenant essentiellement du champ réverbéré, par l'opération matricielle : $\tilde{s} = B . x$
Ces composantes supplémentaires posent plusieurs problèmes :

pour l'analyse de scène : on ne sait pas a priori quelles sont les composantes relatives aux sources et les composantes induites par l'effet de salle.
pour la séparation des sources par formation de voies : chaque composante supplémentaire induit des contraintes sur les directivités formées et dégrade généralement le facteur de directivité avec pour conséquence un rehaussement du niveau de réverbération dans les signaux extraits.

Les méthodes existantes de comptage de sources pour des contenus multicanal sont souvent basées sur une hypothèse de parcimonie dans le domaine temps-fréquence, c'est-à-dire sur le fait que pour chaque zone temps-fréquence, une seule source ou un nombre limité de sources va avoir une contribution énergétique non-négligeable. Pour la plupart d'entre-elles, une étape de localisation de la source la plus énergétique est effectuée pour chaque zone (ou « bin » en anglais), puis les zones sont agrégées (étape dite de « clustering » en anglais) pour reconstruire la contribution totale de chaque source.
L'approche DUET (Pour « Degenerate Unmixing Estimation Technique ») décrite par exemple dans le document « Blind séparation of disjoint orthogonal signals: Demixing n sources from 2 mixtures.» des auteurs A. Jourjine, S. Rickard, et O. Yilmaz, publié en 2000 dans ICASSP'00, permet de localiser et extraire N sources en conditions anéchoïques à partir de seulement deux observations non coïncidentes, en faisant l'hypothèse que les sources ont des supports fréquentiels disjoints, soit $S_{i} (f) S_{j} (f) = 0$
pour tout f dès lors que i≠j.
Après une décomposition des observations en sous-bandes fréquentielles, typiquement réalisée via une transformée de Fourier à court-terme, une amplitude a_i et un retard t_i sont estimés pour chaque sous-bande en se basant sur l'équation de mélange théorique :
Dans chaque bande de fréquence f, un couple (a_i, t_i) correspondant à la source i active est estimée de la façon suivante :
Une représentation dans l'espace de l'ensemble des couples (a_i, t_i) est effectuée sous forme d'histogramme, le « clustering » est alors effectuée sur l'histogramme par maximum de vraisemblance, fonction de la position de la zone et de la position supposée de la source associée, en supposant une distribution gaussienne des positions estimées de chaque zone autour de la position réelle des sources.
En pratique, l'hypothèse de parcimonie des sources dans le domaine temps-fréquence est souvent mise en défaut, ce qui constitue une limitation importante de ces approches pour le dénombrement de sources, car les directions d'arrivée pointées pour chaque zone résultent alors d'une combinaison des contributions de plusieurs sources et le « clustering » ne s'effectue plus correctement. De plus, pour l'analyse de contenus captés en conditions réelles, la présence de réverbération peut d'une part dégrader la localisation des sources et d'autre part engendrer une sur-estimation du nombre de sources réelles lorsque des premières réflexions atteignent un niveau énergétique suffisant pour être perçues comme des sources secondaires.
La présente invention vient améliorer la situation.
Elle propose à cet effet, un procédé de traitement de données sonores pour une séparation de N sources sonores d'un signal sonore multicanal capté en milieu réel. Le procédé est tel qu'il comporte les étapes suivantes :

application d'un traitement de séparation de sources au signal multicanal capté et obtention d'une matrice de séparation et d'un ensemble de M composantes sonores, avec M≥N ;
calcul d'un ensemble de premiers descripteurs dit bi-variés, représentatifs d'une mesure de corrélation entre les composantes des couples de l'ensemble des M composantes obtenu ;
calcul d'un ensemble de seconds descripteurs dit uni-variés représentatifs de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu, le calcul étant fonction d'une mise en correspondance entre les caractéristiques d'encodage estimées et issues d'une matrice inverse de la matrice de séparation et des caractéristiques d'encodage théoriques d'une source de type onde plane ;
classification des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées, par un calcul de probabilité d'appartenance à une des deux classes, fonction des ensembles de premiers et seconds descripteurs.

Les différents modes particuliers de réalisation mentionnés ci-après peuvent être ajoutés indépendamment ou en combinaison les uns avec les autres, aux étapes du procédé de traitement défini ci-dessus.
Dans un mode de réalisation particulier, le calcul d'un descripteur bi-varié comporte le calcul d'un score de cohérence entre deux composantes. Ce calcul de descripteur permet de façon pertinente de savoir si un couple de composantes correspond à deux composantes directes (2 sources) ou si au moins une des composantes provient d'un effet réverbérant.
Selon un mode de réalisation, le calcul d'un descripteur bi-varié comporte la détermination d'un retard entre les deux composantes du couple.
Cette détermination du retard et du signe associé à ce retard permet de déterminer, pour un couple de composantes, quelle composante correspond plus probablement au signal direct et quelle composante correspond plus probablement au signal réverbéré.
Selon une implémentation possible de ce calcul de descripteur, le retard entre deux composantes est déterminé par la prise en compte du retard maximisant une fonction d'inter-corrélation entre les deux composantes du couple.
Cette méthode d'obtention du retard offre une détermination d'un descripteur bi-varié fiable.
Dans un mode de réalisation particulier, la détermination du retard entre deux composantes d'un couple est associée à un indicateur de fiabilité du signe du retard, fonction de la cohérence entre les composantes du couple.
Dans une variante de réalisation, la détermination du retard entre deux composantes d'un couple est associée à un indicateur de fiabilité du signe du retard, fonction du rapport du maximum d'une fonction d'inter-corrélation pour des retards de signe opposé.
Ces indicateurs de fiabilité permettent de rendre plus fiable la probabilité, pour un couple de composantes appartenant à une classe différente, que chaque composante du couple soit la composante directe ou la composante réverbérée.
Selon un mode de réalisation, le calcul d'un descripteur uni-varié est fonction d'une mise en correspondance entre des coefficients de mélange d'une matrice de mélange estimée à partir de l'étape de séparation de sources et des caractéristiques d'encodage d'une source de type onde plane.
Ce calcul de descripteur permet pour une composante seule, d'estimer la probabilité que la composante soit directe ou réverbérée.
Dans un mode de réalisation, la classification des composantes de l'ensemble des M composantes s'effectue par la prise en compte de l'ensemble des M composantes, et par le calcul de la combinaison la plus probable des classifications des M composantes.
Dans une implémentation possible de cette approche globale, le calcul de la combinaison la plus probable s'effectue par la détermination d'un maximum des valeurs de vraisemblance exprimées comme le produit des probabilités conditionnelles associées aux descripteurs, pour les combinaisons possibles de classification des M composantes.
Dans un mode de réalisation particulier, une étape de pré-selection des combinaisons possibles est effectuée en se basant sur les seuls descripteurs uni-variés avant l'étape de calcul de la combinaison la plus probable.
Cela diminue ainsi les calculs de vraisemblance à effectuer sur les combinaisons possibles puisque ce nombre de combinaisons est restreint par cette étape de pré-sélection.
Dans une variante de réalisation, une étape de pré-selection des composantes est effectuée en se basant sur les seuls descripteurs uni-variés avant l'étape de calcul des descripteurs bi-variés.
Ainsi, le nombre de descripteurs bi-variés à calculer est restreint, ce qui diminue la complexité du procédé.
Dans un exemple de réalisation, le signal multicanal est un signal ambisonique.
Cette méthode de traitement ainsi décrite s'applique parfaitement à ce type de signaux.
L'invention se rapporte également à un dispositif de traitement de données sonores mis en oeuvre pour effectuer un traitement de séparation de N sources sonores d'un signal sonore multicanal capté par une pluralité de capteurs en milieu réel. Le dispositif est tel qu'il comporte :

une interface d'entrée pour recevoir les signaux captés par une pluralité de capteurs, du signal sonore multicanal;
un circuit de traitement comportant un processeur et apte à mettre en oeuvre:
- o un module de traitement de séparation de sources appliqué au signal multicanal capté pour obtenir une matrice de séparation et un ensemble de M composantes sonores, avec M≥N ;
- o un calculateur apte à calculer un ensemble de premiers descripteurs dit bi-variés, représentatifs d'une mesure de corrélation entre les composantes des couples de l'ensemble des M composantes obtenu et un ensemble de seconds descripteurs dit uni-variés représentatifs de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu, le calcul étant fonction d'une mise en correspondance entre les caractéristiques d'encodage estimées et issues d'une matrice inverse de la matrice de séparation et des caractéristiques d'encodage théoriques d'une source de type onde plane ;
- o un module de classification des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées, par un calcul de probabilité d'appartenance à une des deux classes, fonction des ensembles de premiers et seconds descripteurs ;
une interface de sortie pour délivrer l'information de classification des composantes.

L'invention s'applique également à un programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé de traitement tel que décrit précédemment, lorsque ces instructions sont exécutées par un processeur et à un support de stockage, lisible par un processeur, sur lequel est enregistré un programme informatique comprenant des instructions de code pour l'exécution des étapes du procédé de traitement tel que décrit.
Le dispositif, programme et support de stockage présentent les mêmes avantages que le procédé décrit précédemment, qu'ils mettent en oeuvre.
D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante, donnée uniquement à titre d'exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels :

la figure 1 illustre une formation de voie pour extraire trois sources selon une méthode de séparation de sources de l'état de l'art tel que décrit précédemment ;
la figure 2 illustre une réponse impulsionnelle avec effet de salle tel que décrit précédemment ;
la figure 3 illustre sous forme d'organigramme, les étapes principales d'un procédé de traitement selon un mode de réalisation de l'invention ;
la figure 4 illustre en fonction de la fréquence, des fonctions de cohérence représentant des descripteurs bi-variés entre deux composantes selon un mode de réalisation de l'invention, et selon différents couples de composantes ;
la figure 5 illustre les densités de probabilités des cohérences moyennes représentants des descripteurs bi-variés selon un mode de réalisation de l'invention et pour différents couples de composantes et différents nombres de sources ;
la figure 6 illustre des fonctions d'inter-corrélâtion entre deux composantes de classe différentes selon un mode de réalisation de l'invention et selon le nombre de sources ;
la figure 7 illustre les densités de probabilité d'un critère d'onde plane en fonction de la classe de la composante, de l'ordre ambisonique et du nombre de sources, pour un mode de réalisation particulier de l'invention ;
la figure 8 illustre une représentation matérielle d'un dispositif de traitement selon un mode de réalisation de l'invention, mettant en oeuvre un procédé de traitement selon un mode de réalisation de l'invention ; et
La figure 9 illustre un exemple de calcul de loi de probabilité pour un critère, de cohérence entre une composante directe et une composante réverbérée selon un mode de réalisation de l'invention.

La figure 3 illustre les principales étapes d'un procédé de traitement de données sonores pour une séparation de N sources sonores d'un signal sonore multicanal capté en milieu réel dans un mode de réalisation de l'invention.
Ainsi, à partir d'un signal multicanal capté par une pluralité de capteurs placés dans un milieu réel, c'est-à-dire réverbérant, et délivrant un nombre M d'observations issues de ces capteurs (x (x ₁, ..., x_M )), le procédé met en oeuvre une étape E310 de séparation aveugle de sources sonores (SAS). On suppose ici, dans ce mode de réalisation que le nombre d'observations est égal ou supérieur au nombre de sources actives.
L'utilisation d'un algorithme de séparation aveugle de sources appliqué aux M observations, permet dans le cas d'un milieu réverbérant, d'extraire par formation de voies M composantes sonores associées à une matrice de mélange estimée A_MxM, soit :
s = Bx avec x le vecteur des M observations, B la matrice de séparation estimée par la séparation en aveugle de sources, de dimensions MxM et s le vecteur des M composantes sonores extraites. Parmi celles-ci se trouvent théoriquement N sources sonores et M-N composantes résiduelles correspondant à de la réverbération.
Pour obtenir la matrice B de séparation, l'étape de séparation aveugle de sources peut être mise en oeuvre, par exemple en utilisant un algorithme d'analyse en composantes indépendantes (ou « ACI »), ou encore un algorithme d'analyse en composantes principales.
Dans un exemple de réalisation, on s'intéresse aux signaux multicanal de type ambisonique.
L'ambisonie consiste en une projection du champ acoustique sur une base de fonctions harmoniques sphériques, pour obtenir une représentation spatialisée de la scène sonore. La fonction $Y_{mn}^{σ} (θ, ϕ)$
est l'harmonique sphérique d'ordre m et d'indice nσ, dépendant des coordonnées sphériques (θ, φ), définie avec la formule suivante : $Y_{mn}^{σ} (θ, ϕ) = {\tilde{P}}_{mn} (\cos ϕ) \cdot {\begin{cases} \cos nθ & σ = 1 \\ \sin nθ & σ = - 1 n \geq 1 \end{cases}$
où P̃ _mn(cos φ) est une fonction pôlaire impliquant le polynome de Legendre : ${\tilde{P}}_{mn} (x) = \sqrt{ε_{n} \frac{(m - n)!}{(m + n)!}} {(- 1)}^{n} {(1 - x^{2})}^{\frac{n}{2}} \frac{d^{n}}{{dx}^{n}} P_{m} (x)$
avec ε ₀ = 1 et ε ₀ = 2 pour n ≥ 1
et $P_{m} (x) = \frac{1}{2^{m} . m!} \frac{d^{n}}{{dx}^{n}} {(x^{2} - 1)}^{m}$
En pratique, un encodage ambisonique réel se fait à partir d'un réseau de capteurs, généralement répartis sur une sphère. Les signaux capturés sont combinés pour synthétiser un contenu ambisonique dont les canaux respectent au mieux les directivités des harmoniques sphériques. On décrit ci-après les principes de base de l'encodage ambisonique.
Le formalisme ambisonique, initialement limité à la représentation de fonctions harmoniques sphériques d'ordre 1, a par la suite été étendu aux ordres supérieurs. Le formalisme ambisonique avec un nombre de composantes plus important est communément nommé « Higher Order Ambisonics » (ou « HOA » ci-après).
A chaque ordre m correspondent 2m+1 fonctions harmoniques sphériques. Ainsi, un contenu d'ordre m contient un total de (m+1)² canaux (4 canaux à l'ordre 1, 9 canaux à l'ordre 2, 16 canaux à l'ordre 3, et ainsi de suite).
On entend ci-après par « composantes ambisoniques » le signal ambisonique dans chaque canal ambisonique, en référence aux « composantes vectorielles » dans une base vectorielle qui serait formée par chaque fonction harmonique sphérique. Ainsi par exemple, on peut compter :

une composante ambisonique pour l'ordre m=0,
trois composantes ambisoniques pour l'ordre m=1,
cinq composantes ambisoniques pour l'ordre m=2,
sept composantes ambisoniques pour l'ordre m=3, etc.

Les signaux ambisoniques captés pour ces différentes composantes sont alors répartis sur un nombre M de canaux qui se déduit de l'ordre maximum m qu'il est prévu de capter dans la scène sonore. Par exemple, si une scène sonore est captée avec un microphone ambisonique à 20 capsules piézoélectriques, alors l'ordre ambisonique maximum capté est m=3, afin qu'il n'y ait pas plus de 20 canaux M=(m+1)², le nombre de composantes ambisoniques considérées est 7+5+3+1 = 16 et le nombre M de canaux est M=16, donné par ailleurs par la relation M=(m+1)², avec m=3.
Ainsi dans l'exemple d'implémentation où le signal multicanal est un signal ambisonique, l'étape E310 reçoit les signaux x ( x ₁, ..., x ₁ , ..., x_M ), captés par un microphone réel, en milieu réverbérant et qui reçoit des trames de contenus sonores ambisoniques sur M= (m+1)² canaux et contenant N sources.
La séparation en aveugle de sources est donc effectuée à l'étape E310 comme expliqué précédemment.
Cette étape permet à la fois d'extraire M composantes et la matrice de mélange estimée. Les composantes obtenues en sortie de l'étape de séparation de sources peuvent être classées selon deux classes de composantes : une première classe de composantes dites directes correspondant aux sources sonores directes et une deuxième classe de composantes dites réverbérées correspondants aux réflexions des sources.
A l'étape E320, un calcul de descripteurs des M composantes (s₁, s₂, ...s_M) issues de l'étape de séparation des sources est mis en oeuvre, descripteurs qui vont permettre d'associer à chaque composante extraite la classe qui lui correspond : composante directe ou composante réverbérée.
Deux types de descripteurs sont calculés ici : des descripteurs bi-variés qui font intervenir des couples de composantes (s_j, s_i) et des descripteurs uni-variés calculés pour une composante s_i.
Ainsi, un ensemble de premiers descripteurs bi-variés est calculé. Ces descripteurs sont représentatifs de relations statistiques entre les composantes des couples de l'ensemble des M composantes obtenu.
Trois cas de figures peuvent être modélisés en fonction des classes respectives des composantes :

Les deux composantes sont des champs directs,
L'une des deux composantes est directe et l'autre est réverbérée,
Les deux composantes sont réverbérées.

En effet, chaque composante directe est principalement constituée du champ direct d'une source, assimilable à une onde plane, auquel s'ajoute une réverbération résiduelle dont la contribution énergétique est inférieure à celle du champ direct. Les sources étant par nature statistiquement indépendantes, il y a donc une faible corrélation entre les composantes directes extraites.
A l'inverse, chaque composante réverbérée est constituée de premières réflexions, versions retardées et filtrées du ou des champs directs, et d'une réverbération tardive. Ainsi, les composantes réverbérées présentent une corrélation significative avec les composantes directes, et généralement un retard de groupe identifiable par rapport aux composantes directes.
La fonction de cohérence $γ_{jl}^{2}$
renseigne sur l'existence d'une corrélation entre deux signaux s_j et s_i et s'exprime suivant la formule : $γ_{jl}^{2} (f) = \frac{{|Γ_{jl} (f)|}^{2}}{Γ_{j} (f) Γ_{l} (f)}$
où Γ _jl (f) est l'interspectre entre s_j et si et Γ _j (f) et Γ _l (f) sont les autospectres respectifs de s_j et s_l.
La cohérence est idéalement nulle lorsque s_j et si sont les champs directs de sources indépendantes mais elle prend une valeur élevée lorsque s_j et si sont deux contributions d'une même source : le champ direct et une première réflexion ou bien deux réflexions.
Une telle fonction de cohérence indique donc une probabilité d'avoir deux composantes directes ou deux contributions d'une même source (directe/réverbérée ou première réflexion/réflexions ultérieures).
En pratique, les interspectres et autospectres pourront être calculés en segmentant les composantes extraites en K trames (adjacentes ou avec recouvrement), en appliquant une transformée à Fourier à court-terme à chaque trame k de ces K trames pour produire les spectres instantanés S_j (k,f), et en moyennant les observations sur les K trames : $Γ_{jl} (f) = E_{k \in \{1 \dots K\}} \{S_{j} (k, f) S_{l}^{*} (k, f)\}$
Le descripteur utilisé pour un signal large bande est la moyenne sur l'ensemble des fréquences de la fonction de cohérence entre deux composantes, soit : $d^{γ} (s_{j}, s_{l}) = E_{f} \{γ_{jl}^{2} (f)\}$
La cohérence étant bornée entre 0 et 1, la cohérence moyenne sera également comprise dans cet intervalle, tendant vers 0 pour des signaux parfaitement indépendants et vers 1 pour des signaux fortement corrélés.
La figure 4 donne un aperçu des valeurs de cohérence en fonction de la fréquence pour les cas suivants :

Cas N°1 où les valeurs de cohérence sont obtenues pour deux composantes directes issues de 2 sources distinctes.
Cas N°2 où les valeurs de cohérence sont obtenues pour un couple de composantes directes et réverbérée pour une seule source active.
Cas N°3 où les valeurs de cohérence sont obtenues pour un couple de composantes directe et réverbérée mais lorsque deux sources sont actives simultanément.

On remarque que dans le premier cas, la valeur de cohérence d^γ est inférieur à 0.3 alors que dans le second cas d^γ atteint 0.7 en présence d'une seule source active. Ces valeurs reflètent bien à la fois l'indépendance des signaux directs et la relation liant un signal direct et le même signal réverbéré, en l'absence d'interférences. Cependant, en incorporant une seconde source active dans le mélange initial (Cas N°3), la cohérence moyenne du cas direct/réverbéré descend à 0.55 et se retrouve fortement dépendante du contenu spectral et du niveau énergétique des différentes sources. Ici, la concurrence des différentes sources fait chuter la cohérence en basses fréquences, tandis que les valeurs sont plus élevées au-dessus de 5500 Hz en raison d'une plus faible contribution de la source interférente.
On remarque donc que la détermination d'une probabilité d'appartenance à une même classe ou à une classe différente pour un couple de composante, peut dépendre du nombre de sources a priori actives. Pour l'étape de classification E340 décrite ultérieurement, ce paramètre pourra être pris en compte dans un mode particulier de réalisation.
A l'étape E330 de la figure 3, un calcul de probabilité est déduit du descripteur ainsi décrit.
En pratique, les densités de probabilités des figures 5 et 7 décrites ci-après, et plus généralement toutes les densités de probabilité des descripteurs, sont apprises de manière statistique sur des bases de données comprenant des conditions acoustiques variées (réverbérantes/mâtes) et différentes sources (voix d'homme/femme, langues française/anglaise/...). Les composantes sont classées de manière informée : à chaque source est associée la composante extraite la plus proche spatialement, les restantes étant classées comme composantes réverbérées. Pour calculer la position de la composante, on utilise les 4 premiers coefficients de son vecteur de mélange issu de la matrice A (soit l'ordre 1), inverse de la matrice de séparation B. En faisant l'hypothèse que ce vecteur suit la règle d'encodage d'une onde plane soit : $[\begin{matrix} 1 \\ \cos θ \cos φ \\ \sin θ \cos φ \\ \sin φ \end{matrix}]$
où (θ, ϕ) représentent les coordonnées sphériques, azimuth/élévation, de la source, il est possible de déduire par simple calcul trigonométriques la position de la composantes extraite par le jeu d'équations suivant : ${\begin{matrix} θ = \arctan 2 (\frac{a_{3}}{a_{2}}) \\ φ = \arctan 2 (\frac{a_{4} * sign (a_{1})}{\sqrt{a_{2}^{2} + a_{3}^{2}}}) \end{matrix}$
où arctan2 est la fonction arctangente qui permet de lever l'ambigüité de signe de la fonction arctangente.
Une fois les signaux classés, les différents descripteurs sont calculés. Du nuage de points - issus de la base de données - pour une classe donnée est extrait un histogramme de valeurs du descripteur à partir duquel une densité de probabilité est choisie parmi une collection de densités de probabilité, sur la base d'une distance, généralement la divergence de Kullback-Leibler. La figure 9 montre un exemple de calcul de loi pour le critère de cohérence entre une composante directe et une composante réverbérée : la loi log-normale a été sélectionnée parmi une dizaine de lois car elle minimise la divergence de Kullback-Leibler.
Pour l'exemple d'un signal ambisonique, la figure 5 représente les distributions (densité de probabilité ou pdf pour « Probability density function » en anglais) associées à la valeur de la cohérence moyenne entre deux composantes.
Les lois de probabilité représentées ici sont présentées pour une captation microphonique ambisonique à 4 canaux (ambisonie ordre 1) ou 9 canaux (ambisonie d'ordre 2), dans le cas d'une ou deux sources actives simultanément. On observe tout d'abord que la cohérence moyenne d^γ prend des valeurs nettement plus faibles pour des couples de composantes directes par rapport aux cas où au moins une des composantes est réverbérée, et cette observation est d'autant plus marquée que l'ordre ambisonique est élevé. Cela est dû à une meilleure sélectivité de la formation de voies lorsque le nombre de canaux est plus important, et donc à une meilleure séparation des composantes extraites.
On constate également qu'en présence de deux sources actives, les estimateurs de cohérence se dégradent, que ce soient les couples direct/réverbéré ou réverbéré/réverbéré (en présence d'une seule source, le couple direct/direct n'existe pas).
En définitive, il apparaît que les densités de probabilité dépendent fortement du nombre de sources dans le mélange, et du nombre de capteurs à disposition.
Ce descripteur est donc pertinent pour détecter si un couple de composantes extraites correspond à deux composantes directes (2 vraies sources) ou si au moins l'une des deux composantes provient de l'effet de salle.
Dans un mode de réalisation de l'invention, un autre type de descripteur bi-varié est calculé à l'étape E320. Soit ce descripteur est calculé à la place du descripteur de type cohérence décrit précédemment, soit en complément de celui-ci.
Ce descripteur va permettre de déterminer, pour un couple (direct/réverbéré) quelle composante est plus probablement le signal direct et laquelle correspond au signal réverbéré, en se basant sur l'hypothèse simple que les premières réflexions sont des versions retardées et atténuées du signal direct.
Ce descripteur est basé sur une autre relation statistique entre les composantes, le retard entre les deux composantes du couple. On définit le retard τ_jl,max comme le retard qui maximise la fonction d'intercorrélation r _jl (τ) = E_t { _sj (t)s_l (t - τ)} entre les composantes d'un couple de composantes s_j et s_l : $τ_{jl, \max} = \arg \max_{τ} |r_{jl} (τ)|$
Lorsque s_j est un signal direct et s_l une réflexion associée, le tracé de la fonction d'intercorrélation fera généralement apparaître un τ_jl,max négatif. Ainsi, si l'on sait que l'on est en présence d'un couple de composantes direct/réverbéré, on peut ainsi théoriquement attribuer la classe à chacune des composantes grâce au signe de τ_jl,max.
En pratique, l'estimation du signe de τ_jl,max est souvent très bruitée, voire même parfois inversée :

Lorsque la scène est constituée d'une seule source, il n'y a pas forcément de délai de groupe qui émerge distinctement si le champ réverbérée est composé de multiples réflexions et de réverbération tardive. De plus les composantes directes extraites par SAS contiennent toujours un résidu d'effet de salle plus ou moins important, qui va bruiter la mesure du délai.
Lorsque plusieurs sources sont présentes, les interférences viennent perturber la mesure, à plus forte raison si les trames d'analyse sont courtes et que tous les champs directs n'ont pas été parfaitement séparés.

Pour ces raisons, on peut choisir de fiabiliser le signe de τ _jl,max utilisé comme descripteur, grâce à un indicateur de robustesse ou de fiabilité.
La cohérence moyenne entre les composantes permet d'évaluer la pertinence du couple direct/réverbéré comme vu précédemment. Si celle-ci est forte, on peut espérer que le délai de groupe sera un descripteur fiable.
D'autre part, la valeur relative du pic d'intercorrélation τ_jl,max aux autres valeurs de la fonction d'intercorrélation r _jl (τ) renseigne également sur la fiabilité du délai de groupe. La figure 6 illustre le caractère émergent du pic d'autocorrélation entre une composante directe et une composante réverbérée. Sur la partie haute (1) de la figure 6 où une seule source est présente, le maximum d'intercorrélation émerge clairement du reste de l'intercorrélation, indiquant de manière fiable que l'une des composantes est en retard par rapport à l'autre. Il émerge notamment par rapport aux valeurs de la fonction d'autocorrélation pour des signes opposés à celui de τ _jl,max (celle des τ positifs sur la figure 6 ) qui sont très faibles, quelle que soit la valeur de τ.
Dans une réalisation particulière, on définit un second indicateur de fiabilité du signe du retard appelé émergence, en calculant le rapport entre la valeur absolue de l'intercorrélation à τ_max et celle du maximum de corrélation pour des τ de signe opposé à celui de τ_jl,max : ${emergence}_{jl} = |\frac{r_{jl} (τ_{jl, \max})}{r_{jl} (τ_{jl, \max}^{-})}|$
où $τ_{jl, \max}^{-}$
est défini par : $τ_{jl, \max}^{-} = \arg \max_{sign (τ) \neq sign (τ_{jl, \max})} |r_{jl} (τ)|$
Ce ratio, que l'on nomme émergence, est un critère ad hoc dont la pertinence se vérifie en pratique : il prend des valeurs proches de 1 pour des signaux indépendants, i.e. 2 composantes directes, et des valeurs plus élevées pour des signaux corrélées comme une composante directe et une composante réverbérée. Dans le cas précité de la courbe (1) de la figure 6 , la valeur d'émergence est de 4.
On a donc un descripteur d ^τ qui détermine, pour chaque couple supposé direct/réverbéré, la probabilité pour chaque composante du couple d'être la composante directe ou la composante réverbérée. Ce descripteur est fonction du signe de τ_max, de la cohérence moyenne entre les composantes et de l'émergence du maximum d'intercorrélation.
Il faut noter que ce descripteur est sensible au bruit, et notamment à la présence de plusieurs sources simultanées, comme illustré sur la courbe (2) de la figure 6 : en présence de 2 sources, même si le maximum de corrélation émerge toujours, sa valeur relative - 2.6 - est moindre du fait de la présence d'une source interférente qui réduit la corrélation entre les composantes extraites. Dans une réalisation particulière, on mesurera la fiabilité du signe du retard en fonction de la valeur de l'émergence, que l'on pondérera par le nombre a priori de sources à détecter.
Avec ce descripteur, on calcule à l'étape E330 une probabilité d'appartenance à une première classe de composantes directes ou une seconde classe de composants réverbérées pour un couple de composantes. Pour s_j identifiée comme étant en avance sur si, on estime la probabilité que s_j soit directe et si réverbérée par une loi à deux dimensions.
Logiquement, on estime alors la probabilité que s_j soit réverbérée et s_l directe alors même que s_j est en avance de phase comme le complément à 1 du cas direct/réverbéré :
où C_j et C_l sont les classes respectives des composantes s_j et s_l, C^d étant la première classe de composantes dites directes correspondant aux N sources sonores directes et C^r, la deuxième classe de M-N composantes dites réverbérées.
Ce descripteur n'est utilisable que pour les couples direct/réverbéré. Les couples direct/direct et réverbéré/réverbéré ne sont pas concernés par ce descripteur, on les considère donc comme équiprobables :
Le signe du retard est un indicateur fiable lorsqu'à la fois la cohérence et l'émergence ont des valeurs moyennes ou élevées. Une émergence faible ou une cohérence faible vont rendre les couples direct/réverbéré ou réverbéré/direct équiprobables.
A l'étape E320, est également calculé un ensemble de seconds descripteurs dit uni-variés représentatifs de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu.
Connaissant le système de captation utilisé, l'encodage d'une source provenant d'une direction donnée s'effectue avec des coefficients de mélange dépendant, entre autres, de la directivité des capteurs. Dans le cas où la source peut être considérée comme ponctuelle et où les longueurs d'onde sont grandes par rapport à la taille de l'antenne, on peut considérer la source comme une onde plane. Cette hypothèse se vérifie généralement dans le cas d'un microphone ambisonique qui est de petite taille, pour peu que la source soit suffisamment éloignée du microphone (en pratique, un mètre suffit).
Pour une composante s_j extraite par SAS, la j^ème colonne de la matrice de mélange estimée A, obtenue par inversion de la matrice de séparation B, va contenir les coefficients de mélange associés à celle-ci. Si cette composante est directe, c'est-à-dire qu'elle correspond à une seule source, les coefficients de mélange de la colonne Aj vont tendre vers les caractéristiques de l'encodage microphoniques pour une onde plane. Dans le cas d'une composante réverbérée, somme de plusieurs réflexions et d'un champ diffus, les coefficients de mélange estimés seront plus aléatoires et ne correspondront pas à l'encodage d'une seule source avec une direction d'arrivée précise.
On peut donc se servir de la conformité entre les coefficients de mélange estimés et les coefficients de mélange théoriques pour une source seule pour estimer une probabilité que la composante soit directe ou réverbérée.
Dans le cas d'une captation microphonique ambisonique d'ordre 1, l'encodage d'une onde plane s_j d'incidence (θ_j, φ_j) au format ambisonique dit N3D s'effectue suivant la formule : $x_{j} = A_{j} s_{j}$
Où $A_{j} = [\begin{matrix} a_{1 j} \\ a_{2 j} \\ a_{3 j} \\ a_{4 j} \end{matrix}] = [\begin{array}{l} 1 \\ \sqrt{3} \cos θ_{j} \cos ϕ_{j} \\ \sqrt{3} \sin θ_{j} \cos ϕ_{j} \\ \sqrt{3} \sin ϕ_{j} \end{array}]$
Il existe en effet plusieurs formats ambisoniques, qui se différencient notamment par la normalisation des différentes composantes regroupées en ordre. On considère ici le format connu N3D. Les différents formats sont par exemple décrits au lien suivant :
https://en.wikipedia.org/wiki/Ambisonic data exchange formats.
On peut ainsi déduire des coefficients d'encodage d'une source un critère, nommé critère onde plane, qui illustre la conformité entre les coefficients de mélange estimés et l'équation théorique d'une onde plane encodée seule : $c_{op} = \sqrt{\frac{3 a_{1 j}^{2}}{a_{2 j}^{2} + a_{3 j}^{2} + a_{4 j}^{2}}}$
Le critère c_op est par définition égal à 1 dans le cas d'une onde plane. En présence d'un champ direct correctement identifié, le critère onde plane restera très proche de la valeur 1. A l'inverse, dans le cas d'une composante réverbérée, la multitude des contributions (premières réflexions et réverbération tardive) avec des niveaux énergétiques équivalents vont généralement éloigner le critère onde plane de sa valeur idéale.
Pour ce descripteur comme pour les autres, la distribution associée et calculé en E330, connaît une certaine variabilité, en fonction notamment du niveau de bruit présent dans les composantes extraites. Ce bruit est constitué principalement de la réverbération résiduelle et des contributions des sources interférentes qui n'auront pas été parfaitement annulées. On peut donc choisir, pour affiner l'analyse, d'estimer la distribution des descripteurs en fonction :

Du nombre de canaux utilisés (donc ici de l'ordre ambisonique), qui influe sur la sélectivité du « beamforming » et donc sur le niveau de bruit résiduel,
du nombre de sources contenues dans le mélange (comme pour les descripteurs précédents), dont l'augmentation entraine mécaniquement une hausse du niveau de bruit et une plus grande variance dans l'estimation de la matrice de séparation B, donc de A.

On peut observer sur la figure 7 les lois de probabilités (densité de probabilité) associées à ce descripteur, en fonction du nombre de sources actives simultanément (1 ou 2) et de l'ordre ambisonique du contenu analysé (ordres 1 à 2). Conformément à l'hypothèse initiale, la valeur du critère onde plane est concentrée autour de la valeur 1 pour les composantes directes. Pour les composantes réverbérées, la distribution est plus uniforme, avec cependant une forme légèrement asymétrique, à cause du descripteur lui-même qui est asymétrique, avec une forme en 1/x.
La distance entre les distributions des deux classes permet une discrimination assez fiable entre les composantes de type ondes planes et celles plus diffuses.
Ainsi, les descripteurs calculés à l'étape E320 et exposés ici sont basés à la fois sur les statistiques des composantes extraites (cohérence moyenne et retard de groupe) et sur la matrice de mélange estimée (critère onde plane). Ceux-ci permettent de déterminer des probabilités conditionnelles d'appartenance d'une composante à une des deux classes C^d ou C^r.
A partir du calcul de ces probabilités, il est alors possible, à l'étape E340 de déterminer une classification des composantes de l'ensemble des M composantes, selon les deux classes.
Pour une composante s_j, on note C_j la classe correspondante. S'agissant de classer l'ensemble des M composantes extraites, on nomme "configuration" le vecteur des classes C de dimension 1xM tel que : $C = [C_{1}, C_{2}, \dots, C_{M}] avec C_{j} \in \{C^{d}, C^{r}\}$
Sachant qu'il existe deux classes possibles pour chaque composante, le problème revient finalement à choisir parmi un total de 2^M configurations potentielles supposées équiprobables. Pour ce faire, la règle du maximum a posteriori est appliquée : connaissant L(C _i) la vraisemblance de la i ^eme configuration, la configuration retenue sera celle possédant la vraisemblance maximale, c'est-à-dire : $C = \arg \max_{C i} L (C_{i}), \forall 1 \leq i \leq 2^{M}$
L'approche choisie peut être exhaustive et consiste alors à estimer la vraisemblance de toutes les configurations possibles, à partir des descripteurs déterminés à l'étape E320 et des distributions qui leur sont associées et qui sont calculés à l'étape E330.
Selon une autre approche, une pré-sélection des configurations peut être effectuée pour réduire le nombre de configuration à tester, et donc la complexité de la mise en oeuvre de la solution. Cette pré-sélection peut se faire par exemple selon le critère onde plane seul en classant certaines composantes dans la catégorie C^r , dès lors que la valeur de leur critère c_op s'éloigne trop de la valeur théorique d'une onde plane 1 : dans le cas de signaux ambisoniques, on peut voir sur les distributions de la figure 7 que l'on peut, quelle que soit la configuration (ordre ou nombre de sources) et a priori sans perte de robustesse, classer dans la catégorie C^r les composantes dont le c_op vérifie l'une des inégalités suivantes : ${\begin{matrix} c_{op} < 0.7 \\ c_{op} > 1.5 \end{matrix}$
Cette pré-sélection permet de réduire le nombre de configurations à tester en pré-classant certaines composantes, en excluant les configurations qui impose la classe C^d à ces composantes pré-classées.
Une autre possibilité pour réduire plus encore la complexité est d'exclure les composantes pré-classées du calcul des descripteurs bi-variés et du calcul de la vraisemblance, ce qui réduit le nombre de critères bi-variés à calculer et donc encore plus la complexité de traitement.
Pour estimer la vraisemblance de chaque configuration à l'aide des descripteurs calculés, une approche naïve bayésienne peut être utilisée. Dans ce type d'approche, on se donne un ensemble de descripteurs d_k pour chaque composante s_j Pour chaque descripteur, on formule la probabilité pour la composante s_j d'appartenir à la classe C^α (α=d ou r) grâce à la loi de Bayes :
Les deux classes C^r et C^d étant supposées équiprobables, il en découle :
ainsi que
On obtient alors :
où le terme C^j = C^α est abrégé en C^α pour alléger les notations. S'agissant ici de rechercher le maximum de vraisemblance, le terme au dénominateur de chaque probabilité conditionnelle est constant quelle que soit la configuration évaluée. Aussi, on peut par la suite en simplifier l'expression:
Pour un descripteur bi-varié (comme par exemple la cohérence) faisant intervenir deux composantes s_j et si et leurs classes respectives supposées, on étend l'expression précédente:
et ainsi de suite.
La vraisemblance s'exprime comme le produit des probabilités conditionnelles associées à chacun des K descripteurs, si l'on suppose que ceux-ci sont indépendants :
où d est le vecteur des descripteurs et C un vecteur représentant une configuration (c'est à dire la combinaison des classes supposées des M composantes), comme définit ci-dessus.
Plus précisément, un nombre K₁ de descripteurs uni-variés est mis à profit pour chacune des composantes, tandis qu'un nombre K₂ de descripteurs bi-variés est utilisé pour chaque paire de composantes. Les lois de probabilités des descripteurs étant établies en fonction du nombre de sources supposé et du nombre de canaux (l'indice m représente l'ordre ambisonique, dans le cas d'une captation de ce type), on formule alors l'expression finale de la vraisemblance : $L (C) = \prod_{j = 1}^{M} (\prod_{k = 1}^{K_{1}} p (d_{k} (j) | C_{j}, N, m) \prod_{l = j + 1}^{M} \prod_{k = 1}^{K_{2}} p (d_{k} (j, l) | C_{j}, C_{l}, N, m))$
où

d_k (j) est la valeur du descripteur d'indice k pour la composante s_j ;
d_k (j, l) est la valeur du descripteur bi-varié d'indice k pour les composantes s_j et s_l ;
C_j et C_l sont les classes supposées des composantes j et / ;
N est le nombre de sources actives associé à la configuration évaluée : $N = \sum_{j = 1}^{M} (C_{j} = C^{d})$

Pour des raisons calculatoires, on préfère à la vraisemblance sa version logarithmique (log-vraisemblance) : $LL (C) = \sum_{j = 1}^{M} (\sum_{k = 1}^{K_{1}} \log p (d_{k} (j) | C_{j}, N, m) + \sum_{l = j + 1}^{M} \sum_{k = 1}^{K_{2}} \log p (d_{k} (j, l) | C_{j}, C_{l}, N, m))$
Cette équation est celle utilisée en définitive pour déterminer la configuration la plus vraisemblable dans le classificateur bayésien décrit ici pour ce mode de réalisation.
Le classificateur bayésien présenté ici n'est qu'un exemple d'implémentation, il pourrait être remplacé, entre autres, par une machine à vecteurs de support ou un réseau de neurones.
Au final, la configuration présentant le maximum de vraisemblance est retenue, indiquant la classe directe ou réverbérée associée à chacune des M composantes C(C₁, ..., C_i, ..., C_M).
De cette combinaison, il est donc déduit les N composantes correspondant aux N sources directes actives.
Le traitement décrit ici est effectué dans le domaine temporel, mais peut aussi être, dans une variante de réalisation, appliqué dans un domaine transformé.
Le procédé tel que décrit en référence à la figure 3 étant alors mis en oeuvre par sous-bandes de fréquence après passage dans le domaine transformé des signaux captés.
Par ailleurs, la bande passante utile peut être réduite en fonction des imperfections potentielles du système de captation, en hautes fréquences (présence de repliement spatial) ou en basses fréquences (impossibilité de retrouver les directivités théoriques de l'encodage microphonique).
La figure 8 représente ici une forme de réalisation d'un dispositif (DIS) de traitement selon un mode de réalisation de l'invention.
Des capteurs Ca₁ à Ca_M représentés ici sous la forme d'un microphone sphérique MIC permettent d'acquérir, dans un milieu réel, donc réverbérant, M signaux de mélange x ( x ₁, ..., x_i , ..., x_M ), à partir d'un signal multicanal.
Bien entendu, d'autres formes de microphones ou de capteurs peuvent être prévues. Ces capteurs peuvent être intégrés au dispositif DIS ou bien en dehors du dispositif, les signaux en résultant étant alors transmis au dispositif de traitement qui les reçoit via son interface d'entrée 840. Dans une variante, ces signaux peuvent simplement être obtenus préalablement et importés en mémoire du dispositif DIS.
Ces M signaux sont alors traités par un circuit de traitement et des moyens informatiques tels qu'un processeur PROC en 860 et une mémoire de travail MEM en 870. Cette mémoire peut comporter un programme informatique comportant les instructions de code pour la mise en oeuvre des étapes du procédé de traitement tel que décrit par exemple en référence à la figure 3 et notamment les étapes d'application d'un traitement de séparation de sources au signal multicanal capté et obtention d'un ensemble de M composantes sonores, avec M≥N, de calcul d'un ensemble de premiers descripteurs dit bi-variés, représentatifs de relations statistiques entre les composantes des couples de l'ensemble des M composantes obtenu et d'un ensemble de seconds descripteurs dit uni-variés représentatifs de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu et de classification des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées, par un calcul de probabilité d'appartenance à une des deux classes, fonction des ensembles de premiers et seconds descripteurs.
Ainsi, le dispositif comporte un module 810 de traitement de séparation de sources appliqué au signal multicanal capté pour obtenir un ensemble de M composantes sonores s (s₁ , ..., s_i, .. s_M), avec M≥N. Les M composantes sont fournies en entrée d'un calculateur 820 apte à calculer un ensemble de premiers descripteurs dit bi-variés, représentatifs de relations statistiques entre les composantes des couples de l'ensemble des M composantes obtenu et un ensemble de seconds descripteurs dit uni-variés représentatifs de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu.
Ces descripteurs sont utilisés par un module de classification 830 ou classificateur, apte à classer des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées.
Pour cela, le module de classification comporte un module 831 de calcul de probabilité d'appartenance à une des deux classes des composantes de l'ensemble M, fonction des ensembles de premiers et seconds descripteurs.
Le classificateur utilise des descripteurs liés à la corrélation entre .les composantes pour déterminer lesquelles sont des signaux directs (c'est à dire des vraies sources) et lesquelles sont des résidus de réverbération. Il utilise également des descripteurs liés aux coefficients de mélange estimés par SAS, pour évaluer la conformité entre l'encodage théorique d'une source seule et l'encodage estimé de chaque composante. Certains des descripteurs sont donc fonction d'un couple de composantes (pour la corrélation), et d'autres sont fonctions d'une composante seule (pour la conformité de l'encodage microphonique estimé).
Un module 832 de calcul de vraisemblance permet de déterminer, dans un mode de réalisation, la combinaison le plus probable des classifications des M composantes par un calcul de valeurs de vraisemblance fonction des probabilités calculées au module 831 et pour les combinaisons possibles.
Enfin, le dispositif comporte une interface de sortie 850 pour délivrer l'information de classification des composantes, par exemple à un autre dispositif de traitement qui peut utiliser cette information pour rehausser le son des sources discriminés, pour les débruiter ou bien pour effectuer un mixage de plusieurs sources discriminées. Un autre traitement possible peut également être d'analyser ou de localiser les sources pour optimiser le traitement d'une commande vocale.
Bien d'autres applications utilisant l'information de classification ainsi déterminée, sont alors possibles.
Le dispositif DIS peut être intégré dans une antenne microphonique pour effectuer par exemple des captations de scènes sonores ou pour une prise de son de commande vocale. Le dispositif peut également être intégré dans un terminal de communication apte à. traiter des signaux captés par une pluralité de capteurs intégrés ou déportés du terminal.

Claims

Procédé de traitement de données sonores pour une séparation de N sources sonores d'un signal sonore multicanal capté en milieu réel, le procédé comportant les étapes suivantes :
- application (E310) d'un traitement de séparation de sources au signal multicanal capté et obtention d'une matrice de séparation et d'un ensemble de M composantes sonores, avec M≥N ;

- calcul (E320) d'un ensemble de premiers descripteurs dit bi-variés, représentatifs d'une mesure de corrélation entre les composantes des couples de l'ensemble des M composantes obtenu ;

- calcul (E320) d'un ensemble de seconds descripteurs dit uni-variés représentatifs de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu, le calcul étant fonction d'une mise en correspondance entre les caractéristiques d'encodage estimées et issues d'une matrice inverse de la matrice de séparation et des caractéristiques d'encodage théoriques d'une source de type onde plane ;

- classification (E340) des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées, par un calcul (E330) de probabilité d'appartenance à une des deux classes, fonction des ensembles de premiers et seconds descripteurs.
Procédé selon la revendication 1, dans lequel le calcul d'un descripteur bi-varié comporte le calcul d'un score de cohérence entre deux composantes.
Procédé selon l'une des revendications 1 à 2, dans lequel le calcul d'un descripteur bi-varié comporte la détermination d'un retard entre les deux composantes du couple.
Procédé selon la revendication 3, dans lequel le retard entre deux composantes est déterminé par la prise en compte du retard maximisant une fonction d'inter-corrélation entre les deux composants du couple.
Procédé selon l'une des revendications 3 ou 4, dans lequel la détermination du retard entre deux composantes d'un couple est associée à un indicateur de fiabilité du signe du retard, fonction de la cohérence entre les composantes du couple.
Procédé selon l'une des revendications 3 ou 5, dans lequel la détermination du retard entre deux composantes d'un couple est associée à un indicateur de fiabilité du signe du retard, fonction du rapport du maximum d'une fonction d'inter-corrélation pour des retards de signe opposé.
Procédé selon l'une des revendications 1 à 6, dans lequel la classification des composantes de l'ensemble des M composantes s'effectue par la prise en compte de l'ensemble des M composantes, et par le calcul de la combinaison la plus probable des classifications des M composantes.
Procédé selon la revendication 7, dans lequel le calcul de la combinaison la plus probable s'effectue par la détermination d'un maximum des valeurs de vraisemblance exprimées comme le produit des probabilités conditionnelles associées aux descripteurs, pour les combinaisons possibles de classification des M composantes.
Procédé selon la revendication 7, dans lequel une étape de pré-selection des combinaisons possibles est effectuée en se basant sur les seuls descripteurs uni-variés avant l'étape de calcul de la combinaison la plus probable.
Procédé selon l'une des revendications précédentes, dans lequel une étape de pré-selection des composantes est effectuée en se basant sur les seuls descripteurs uni-variés avant l'étape de calcul des descripteurs bi-variés.
Procédé selon l'une des revendications précédentes, dans lequel le signal multicanal est un signal ambisonique.
Dispositif de traitement de données sonores mis en oeuvre pour effectuer un traitement de séparation de N sources sonores d'un signal sonore multicanal capté par une pluralité de capteurs en milieu réel, le dispositif comportant:
- une interface d'entrée pour recevoir les signaux captés par une pluralité de capteurs, du signal sonore multicanal;

- un circuit de traitement comportant un processeur et apte à controler:
∘ un module de traitement de séparation de sources appliqué au signal multicanal capté pour obtenir une matrice de séparation et un ensemble de M composantes sonores, avec M≥N ;

o un calculateur apte à calculer un ensemble de premiers descripteurs dit bi-variés, représentatifs d'une mesure de corrélation entre les composantes des couples de l'ensemble des M composantes obtenu et un ensemble de seconds descripteurs dit uni-variés représentatifs de caractéristiques d'encodage microphonique des composantes de l'ensemble des M composantes obtenu, le calcul étant fonction d'une mise en correspondance entre les caractéristiques d'encodage estimées et issues d'une matrice inverse de la matrice de séparation et des caractéristiques d'encodage théoriques d'une source de type onde plane ;

∘ un module de classification des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées, par un calcul de probabilité d'appartenance à une des deux classes, fonction des ensembles de premiers et seconds descripteurs ;

- une interface de sortie pour délivrer l'information de classification des composantes.
Programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé de traitement selon l'une des revendications 1 à 11, lorsque ces instructions sont exécutées par un processeur.
Support de stockage, lisible par un processeur, sur lequel est enregistré un programme informatique comprenant des instructions de code pour l'exécution des étapes du procédé de traitement selon l'un des revendications 1 à 11.