EP3559947A1 - Traitement en sous-bandes d'un contenu ambisonique réel pour un décodage perfectionné - Google Patents

Traitement en sous-bandes d'un contenu ambisonique réel pour un décodage perfectionné

Info

Publication number
EP3559947A1
EP3559947A1 EP17829231.4A EP17829231A EP3559947A1 EP 3559947 A1 EP3559947 A1 EP 3559947A1 EP 17829231 A EP17829231 A EP 17829231A EP 3559947 A1 EP3559947 A1 EP 3559947A1
Authority
EP
European Patent Office
Prior art keywords
ambisonic
matrix
sub
order
matrices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP17829231.4A
Other languages
German (de)
English (en)
Other versions
EP3559947B1 (fr
Inventor
Mathieu BAQUÉ
Alexandre Guerin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP3559947A1 publication Critical patent/EP3559947A1/fr
Application granted granted Critical
Publication of EP3559947B1 publication Critical patent/EP3559947B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/04—Circuits for transducers for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02163—Only one microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Definitions

  • the present invention relates to the field of audio or acoustic signal processing, and more particularly to the processing of real multichannel sound content in ambiophonic format (or "ambisonic” hereinafter).
  • the ambisonic technique consists in exploiting in each frequency band a subset of channels that have desired directivity characteristics. As an example of application, mention may be made of:
  • the ambisonie consists of a projection of the acoustic field on a basis of spherical harmonic functions (base illustrated in FIG. 1), to obtain a spatialized representation of the sound scene.
  • the function Y n ( ⁇ , ⁇ ) is the spherical harmonic of order m and index ⁇ , depending on the spherical coordinates ( ⁇ , ⁇ ), defined with the following formula:
  • a real ambisonic encoding is made from a network of sensors, generally distributed over a sphere, which are combined to synthesize an ambisonic content whose channels respect at best the directivities of the spherical harmonics (as illustrated in FIG. ).
  • a microphone MIC comprises a plurality of piezoelectric capsules C1, C2,... Which receive sound waves in different directions of arrival of the space.
  • a UT processing unit receiving the signals from these capsules performs an ambisonic encoding using a filter matrix presented below, and delivers ambisonic signals (formalized in a spherical harmonic base of the type illustrated in FIG. figure 1).
  • Ambisonic formalism initially limited to the representation of spherical harmonic functions of order 1, was later extended to higher orders.
  • Ambisonic formalism with a larger number of components is commonly referred to as “Higher Order Ambisonics” (or “HOA” hereinafter).
  • a content of order M contains a total of (M + 1) 2 channels (4 channels at order 1, 9 channels at order 2, 16 channels to order 3, and so on).
  • ambisonic components is understood to mean the ambisonic signal in each ambisonic channel, with reference to the “vector components” in a vector base that would be formed by each spherical harmonic function. For example, we can count:
  • A is a matrix called "mixing matrix", of dimensions (M + 1) 2 ⁇ N and of which each column A contains the mixing coefficients of the source / ' .
  • this matrix A corresponds to the encoding coefficients of each source, associated with each direction of each source / ' .
  • a matrix B called "separation matrix", inverse of the matrix A.
  • ACI independent component analysis algorithm
  • This step is to make the formation of ways (or "beamforming” below), that is to say to combine different channels with different directivities, to create a new component with the desired directivity.
  • ways or "beamforming” below
  • the decoding matrix B is formulated here from the positions of the loudspeakers of a sound reproduction system and the signals intended for the loudspeakers are extracted according to the same method as that used for the source separation.
  • the sensors used have physical limitations that lead to a degradation of the microphone encoding, and therefore a degradation of the directivity of the ambison components.
  • high frequency encoding degrades when the inter-sensor spacing becomes approximately half a wavelength: this is due to the spatial folding phenomenon.
  • the microphone capsules tend to become omnidirectional and it becomes impossible to obtain the desired directivities.
  • the degradation at low frequencies is more marked when it comes to synthesize high order ambison components.
  • the associated directivities are more complex and therefore more sensitive to variations in the properties of the sensors.
  • Figure 5 illustrates the degree of correlation between theoretical encoding and actual encoding from a 32-capsule spherical microphone, as a function of frequency and ambisonic order.
  • Figure 5 shows that the highest degree of correlation is generally achieved for frequencies between 1 kHz and 10 kHz. Nevertheless, for the other frequency ranges (except for the ambisonic orders 0 and 1), the extraction of sources would not always lead to the same result for a theoretical encoding and for a real encoding of these same sources. More specifically, for frequencies outside the range [1 kHz-10 kHz], the extracted components are potentially degraded.
  • Figure 6 shows the real directivity in the horizontal plane of the first components of orders 0, 1, 2 and 3 as a function of the sound frequency. It appears in Figure 6 that the actual components are not properly encoded.
  • the order 1, 2 and 3 components also have biased directivities for frequencies lower than 10 kHz. More generally, once the theoretical directivity is no longer respected, the beamforming done no longer makes it possible to extract the desired components properly. For example, this results in the appearance of interference during the separation of sources. This can also result in a degradation of the spatial rendering in frequency bands concerned by a multichannel broadcast. More particularly, there is a loss of energy at low frequencies in high orders during encoding. This implies that sources extracted through high order channels may lose some of their energy in the frequencies concerned.
  • the present invention improves this situation.
  • a processing of the ambisonic decoding matrix for extracting, by matrix size reduction, a plurality of ambisonic decoding sub-matrices each associated with an ambisonic order and with a frequency band chosen for this ambisonic order,
  • the decoding matrix is a source separation matrix
  • one loudspeaker among several loudspeakers with a well-identified position in the space, and powered in particular by one of the decoded signals mentioned above.
  • a frequency band can be defined by several frequency bands or frequency subbands.
  • ambisonic decoding sub-matrices for each frequency band, and for each ambisonic order, makes it possible to take advantage in each frequency band of a maximum number of ambison channels that are actually valid in each sub-matrix, so to restore a decoded signal little or no degradation.
  • each ambisonic decoding sub-matrix is associated with a frequency band chosen according to a validity criterion of the ambison components of the order with which said sub-matrix is associated, in said selected frequency band.
  • Such an embodiment makes it possible to isolate the ambison components constituting each order, in order to process them in the frequency range in which they are valid.
  • the criterion of validity of the components may be defined by the conditions for capturing said ambisonic components, by at least one ambisonic microphone.
  • the method may further comprise:
  • ambisonic microphone data used for ambisonic capture makes it possible to refine the determination of the frequency bands chosen for the elaboration of sub-matrices. Indeed, the ambisonic processing is done on sub-matrices whose ambison components respond strictly to the validity criterion in the associated frequency bands.
  • the ambisonic microphone data used for capturing is not always accessible.
  • each ambisonic decoding sub-matrix being associated with an ambisonic order and with a frequency band chosen for this ambisonic order, a frequency band can be chosen in a range of 100 Hz to 10 kHz for the ambisonic order.
  • a frequency band associated with an ambisonic order may comprise several FFT frequency bands.
  • several frequency bands can be associated with an ambisonic order.
  • the processing of the ambisonic decoding matrix comprises:
  • a treatment of the mixing matrix for extracting, by matrix size reduction, a plurality of mixing sub-matrices each associated with an ambisonic order and a chosen frequency band, and an inversion of the mixing sub-matrices to respectively obtain said ambisonic decoding sub-matrices.
  • the ambisonic signal is sufficiently represented in this frequency band 4-6 kHz, as will be seen below.
  • the processing of the ambisonic content is conducted for source separation and said decoding matrix is a blind source separation matrix elaborated from the ambison components.
  • the separation matrix can be elaborated from the ambison components filtered at a chosen frequency band and preferably in which the number of ambisonic channels valid according to the aforementioned criterion is maximum.
  • the channels are retained for performance accuracy at such a high ambisonic order, but also to keep a maximum of channels correctly represented in this frequency band at lower ambison orders.
  • mixing sub-matrices are simplified prior to their inversion by reducing a number of columns of each sub-matrix, the remaining columns of the sub-matrices being chosen so as to retain the least correlated signals. after application of the decoding sub-matrices.
  • the signal in a reverberant environment, the signal consists of direct fields resulting from the equivalent "free field" propagation of each source and reflections on walls of the acoustic environment.
  • mixing sub-matrices are simplified before their inversion, by reducing a number of columns of each sub-matrix, the remaining columns of the sub-matrices being chosen so as to retain signals corresponding to direct sound fields after application of the decoding sub-matrices.
  • the above-mentioned decoding matrix may be an inverse matrix of relative spatial positions of the loudspeakers.
  • the method comprises in particular, for an ambisonic content broken down into frequency subbands, an application of decoding sub-matrices, obtained by:
  • the present invention also relates to a computer program comprising instructions for the implementation of the method when the program is executed by a processor.
  • An example of a flowchart of the general algorithm of such a program is illustrated in FIG. 7 commented below, which is specified in FIGS. 8 and 9.
  • the present invention also relates to a computing device comprising:
  • the present invention thus proposes using channel formation from a real ambisonic encoding by taking advantage, in each frequency band, of all the channels whose directivity respects the ambisonic formalism.
  • An embodiment presented above then makes it possible to determine one or more mixing matrices Ak, corresponding to sub-matrices obtained from the theoretical matrix A, and each formulated in a frequency band, then inverted to give matrices. decoding Bk.
  • the invention offers a generic treatment of any ambisonic content, including real, possibly affected by physical limitations of a recording system, and without any constraint to limit the total bandwidth of sources extracted .
  • FIG. 1 illustrates a base of spherical harmonic functions of order 0 (first line) to 3 (last line), with light gray in positive values and dark gray in negative values;
  • FIG. ambisonic encoding from a spherical microphone FIG. 3 illustrates the formation of channels for the extraction of three components, for different ambisonic orders,
  • FIG. 4 very schematically illustrates an ambisonic decoding system based on ambisonic components
  • FIG. 5 illustrates the correlation between an ideal ambisonic encoding and a real encoding
  • FIG. 6 illustrates the directivity in the horizontal plane, measured for a real ambisonic encoding (from left to right successively the components of the orders 0, 1, 2 and 3),
  • FIG. 7 illustrates the main steps of an exemplary method within the meaning of the invention
  • FIG. 8 illustrates the steps of a particular embodiment of the method according to the invention
  • FIG. 9 is a block diagram of a processing algorithm corresponding to the embodiment illustrated in FIG. 7, and
  • FIG. 10 schematically illustrates a possible device for the implementation of the invention.
  • FIG. 7 The overall scheme of an overall ambisonic processing method in the sense of the invention is presented in FIG. 7. It is for example an ambisonic decoding method.
  • ambisonic decoding is understood to mean both the provision of decoded signals, for example intended to supply respective loudspeakers for surround reproduction, and a provision, more generally, of signals each associated with a sound source. especially in the source separation technique.
  • An ambisonic microphone is a microphone composed of a plurality of microphonic capsules generally distributed spherically and as regularly as possible. These capsules act as sound signal sensors. The microphone capsules are arranged on the ambisonic microphone so as to pick up sound signals according to their directivity in the space. As illustrated in FIG.
  • Stage S2 therefore aims to recover the data characterizing the ambisonic microphone PCM (and possibly the conditions for capturing the ambisonic content c (t), and / or the reverberation conditions during capture, or other).
  • a characterizing feature of the ambisonic microphone MIC may be the inter-capsule spacing. Indeed, the encoding of high frequencies is degraded when the inter-sensor spacing becomes greater than half a wavelength. This is due to the phenomenon of aliasing. Conversely, for a low frequency signal, too close microphonic capsules can not generate the desired directivity.
  • a BFA analysis filter bank may be applied to the ambisonic content x (t) in order subsequently to select, in step S31, signals of filtered ambison components in frequency ranges in which the representation ambisonic for a given order m is the most exact (thus respecting a "validity criterion" of the ambisonic representation), and this according to the data of the microphone defined above.
  • the step S4 aims at obtaining a matrix decoding B, depending on the type of treatment chosen.
  • the decoding matrix B is the inverse of a matrix A containing coefficients specific to spatial positions of loudspeakers used for the restitution.
  • the decoding matrix B is initially generated in step S4 for blind source separation processing from filtered and selected ambison components. More particularly, this decoding matrix B is elaborated for the frequency band containing the largest number of valid ambison channels (and the largest possible order M).
  • the determination of the validity frequency bands of the different ambisonic orders can be adapted to the ambisonic microphone used to capture the ambisonic components to be decoded. To do this, it is possible, for example, to rely on the frequency variations of the accuracy of the ambisonic representation for different orders m, of the type illustrated in FIG.
  • step S7 at least two matrices B1, B2 are determined, resulting from a matrix reduction of the decoding matrix B for each sub-frequency band (in the example illustrated, the frequency sub-bands f1 and f2 ).
  • a matrix reduction of the decoding matrix B for each sub-frequency band in the example illustrated, the frequency sub-bands f1 and f2 .
  • step S8 the product of each matrix B1 and B2 obtained in the preceding step is carried out by filtered ambison signals. in the corresponding sub-bands f1, f2.
  • FIG. 8 illustrates the steps of a particular embodiment of the method according to the invention. More precisely, FIG. 8 presents process steps that can be implemented between steps S4 and S7 of FIG. 7.
  • step S4 as described above, the decoding matrix B defined above is obtained.
  • step S5 it is possible to invert this decoding matrix B (or equivalently, a determination of its pseudo-inverse) in order to obtain the corresponding mixing matrix A (step S51).
  • the mixing matrix A can thus contain coefficients relating to respective positions of sound sources to be extracted.
  • the mixing matrix A may contain coefficients relating to the position of the speakers on which it is desired to restore the decoded signals.
  • step S6 it is possible to reduce the dimensions of the mixing matrix A to obtain sub-matrices A1, A2. It is a matrix reduction whose number of lines corresponds to the number of ambisonic channels for each order.
  • each mixing sub-matrix thus obtained is of dimension N x Ntarget, with Ntarget the number of sources resulting from the blind source separation or the number of loudspeakers provided for a restitution.
  • the number of speakers is preferably equal to or greater than the number of lines.
  • the number of columns may be less than or equal to the number of rows.
  • columns can be deleted and for example kept sources whose signals are of higher energies and / or those which are the least correlated (sources that are the least "mixed" possible). and / or the signals correspond to the direct field of the sources, or others.
  • step S71 an inversion of each mixing sub-matrix A1, A2 is performed in order to obtain respectively the decoding sub-matrices B1, B2 presented above (step S7).
  • the passage through the mixing matrix A makes it possible in particular to maintain satisfactory levels of energy of the ambison components associated with each order, despite the matrix reductions.
  • the steps S5 to S71 make it possible to "refine" the decoding of the ambisonic content x (t).
  • FIG. 9 is a block diagram of a processing algorithm corresponding to the embodiment illustrated in FIGS. 7 and 8.
  • the same step references S1, S2, etc. have been used to designate identical or similar steps. and presented above with reference to FIGS. 7 and 8.
  • "Ambisonic" and "source” microphone signals are called “channels” for the signals to be extracted (sources actually to be extracted or the signals for powering the loudspeakers).
  • step S2 data relating to the ambisonic capture of the content x (t) is available (data relating to the ambisonic microphone MIC used, etc.).
  • a frequency band is determined for each ambisonic order.
  • a filter bank for reconstruction is applied to the N ambisonic channels in step S3 to give K subbands denoted xk.
  • the sub-bands are chosen to correspond to the different validity ranges of the microphone encoding.
  • a source separation matrix B is used which is elaborated according to the frequency-filtered ambison components. (top arrow coming on rectangle S4A). More particularly, a method for the blind separation of sources is applied in the sub-band containing the most valid channels, to obtain a separation matrix B of dimensions Ntarget ⁇ N, where Ntarget is the number of sources obtained by the blind separation method. in the selected frequency sub-band.
  • the valid channels are determined from a validity criterion relative to each order of the ambisonic content x (t) as a function of each frequency band of the filterbank. More generally, in order to maximize the quality of the source separation, a frequency band comprising the most valid ambison components is chosen.
  • Valid means components whose energy criteria or directivity have not been skewed during ambisonic capture, as presented above with reference to Figure 5.
  • the validity of each order in frequency bands of the The audio domain can be established by knowing the limits of the ambisonic microphone used when capturing the ambisonic content x (t), or by using an abacus established on the basis of measurements made on a plurality of ambisonic microphones, allowing to average the validity of each ambisonic order in each frequency band.
  • first-order ambison channels tend to be valid in a frequency range from 100HZ to about 10kHz.
  • the frequency band in which the second-order ambisonic channels may be more generally valid may for example be from 1 kHz to 9 kHz, etc.
  • the decoding matrix is constructed according to the position of the speakers on which the content is to be reproduced. More exactly, this decoding matrix B corresponds to the inverse of a mixing matrix A which is defined by the respective spatial positions of the loudspeakers.
  • the "theoretical" mixing matrix A (for the two aforementioned variants) is constructed by inverting B.
  • the mixing matrix is composed of N rows and Ntarget columns, the ith column containing the spherical harmonic coefficients, relative to the coordinates (0 ;, ⁇ ;) of the source s ,.
  • a mixing matrix A in the case of a source separation for a second-order ambisonic content consisting of five sources: s, s
  • A is composed of N lines and a minimum of N columns, the ith column containing the spherical harmonic coefficients relative to the coordinates (0 ;, ⁇ ;) of the loudspeaker i.
  • a mixing sub-matrix Ak is constructed, such that Ak is a truncated version of the matrix A, retaining only the Nk lines corresponding to the actually valid channels in this subband k.
  • Nk is smaller than the number of Ntarget sources sought in the subband, only one set of Ntarget is retained, k, columns (with Ntarget, k less than or equal to Nk), chosen according to energy criteria (for example by separating the sources having the greatest contribution) or according to other criteria of interest as defined above.
  • step S7 the matrix Ak is inverted to give Bk.
  • the submatrix Ak is not a square matrix, infinite possibilities exist for the inversion.
  • a pseudo-inversion can be applied, or an inversion by applying additional constraints (for example choice of the solution giving the most directional beamforming, or minimizing the side lobes).
  • matrix inversion is understood to mean both a conventional inversion of the matrix and a pseudo-inversion as presented above.
  • ambisonic content of order 2 (9 channels) sampled at 16kHz, denoted x (t) consisting of 3 sources that we want to extract.
  • Ambisonic encoding at orders 0 and 1 is valid between 200Hz and 8000Hz.
  • the encoding of order 2 is valid between 900Hz and 8000Hz.
  • a filter bank is implemented, consisting of two frequency bands, 200Hz-900Hz (up to order 1) and 900Hz-8000Hz (use of order 2)
  • xl (t) consists of 4 channels (ambisonie of order 1) and x2 (t) contains 9 channels (ambisonie of order 2).
  • a separation matrix B of dimensions 3 ⁇ 9 is estimated by independent component analysis carried out in the 900 Hz-8000 Hz sub-band, that is to say x 2 (t).
  • a theoretical mixing matrix A of dimensions 9 ⁇ 3, is deduced by inversion of B, each column i containing the spherical harmonic coefficients of the source i.
  • the matrices Al and A2 are calculated from A to extract the sources in each subband:
  • the present invention is further directed to a DIS device for implementing the invention.
  • This device DIS may comprise an input interface IN for receiving ambisonic signals x (t).
  • the device DIS may comprise a memory MEM for storing instructions of a computer program within the meaning of the invention.
  • the computer program instructions are ambisonic signal processing instructions x (t). They are implemented by a processor P OC, in order to deliver, via an output interface OUT, decoded signals s (t).
  • the frequency ranges for which the ambisonic representation is valid are given above by way of example and may differ depending on the nature of the ambisonic microphones used for capturing, or even the capture conditions themselves.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

L'invention vise un procédé mis en œuvre par des moyens informatiques, de traitement d'un contenu ambisonique comportant une pluralité de composantes ambisoniques d'une pluralité d'ordres définissant une succession de canaux ambisoniques dans chacun desquels est représentée une composante ambisonique, le procédé comportant : - un filtrage fréquentiel des composantes ambisoniques dans une pluralité de bandes de fréquences, - une élaboration d'une matrice (B) de décodage ambisonique, - un traitement de la matrice (B) de décodage ambisonique pour extraire, par réduction de dimension de matrice, une pluralité de sous-matrices (B1, B2) de décodage ambisonique chacune associée à un ordre ambisonique et à une bande de fréquences choisie pour cet ordre ambisonique, - des applications respectives des sous-matrices de décodage aux composantes ambisoniques dans chaque bande de fréquences choisie, et une reconstruction bandes-à- bandes des résultats desdites applications respectives, pour délivrer une pluralité de signaux décodés, associés chacun à une source sonore.

Description

Traitement en sous-bandes d'un contenu ambisonique réel pour un décodage perfectionné
La présente invention se rapporte au domaine du traitement de signal audio ou acoustique, et plus particulièrement au traitement de contenus sonores multicanal réels au format ambiophonique (ou « ambisonique » ci-après). La technique ambisonique consiste à exploiter dans chaque bande de fréquences un sous-ensemble de canaux qui possèdent des caractéristiques de directivité recherchées. A titre d'exemple d'application, on peut citer :
- La séparation de sources sonores : o Pour le divertissement (karaoké : suppression de la voix),
o Pour la musique (mixage des sources séparées dans un contenu multicanal), o Pour les télécommunications (rehaussement de la voix, débruitage),
o Pour la domotique (commande vocale),
o Le codage audio multicanal.
- Le décodage pour une diffusion multicanal : o Pour le cinéma,
o Pour la musique,
o Pour la réalité virtuelle.
L'ambisonie consiste en une projection du champ acoustique sur une base de fonctions harmoniques sphériques (base illustrée sur la figure 1), pour obtenir une représentation spatialisée de la scène sonore. La fonction Y n (θ, φ) est l'harmonique sphérique d'ordre m et d'indice ησ, dépendant des coordonnées sphériques (θ, φ), définie avec la formule suivante :
Y&n (θ, Φ) = PmniCOS φ). {∞S^ H°2-l et n≥ l où Pmn(cos 0) est une fonction polaire impliquant le polynôme de Legendre :
Pmn O) = Je ¾ ¾ (-l)n(l - cos2 x ^ Pm(x) avec e0 = 1 et e0 = 2 pour n≥ 1 et Pm (x) =—— -^- (x2 - l)m
m J 2m. m! dxn J Dans la représentation de la figure 1, le premier « vecteur » de la base d'harmoniques sphériques (en haut de la figure 1) correspond à l'ordre m=0, les trois « vecteurs » dans la ligne suivante correspondent à l'ordre m=l (orientés suivant les trois directions de l'espace), etc.
En pratique, un encodage ambisonique réel se fait à partir d'un réseau de capteurs, généralement répartis sur une sphère, qui sont combinés pour synthétiser un contenu ambisonique dont les canaux respectent au mieux les directivités des harmoniques sphériques (comme illustré sur la figure 2). En référence à la figure 2, un microphone MIC comporte une pluralité de capsules piézoélectriques Cl, C2, ... qui reçoivent des ondes sonores selon différentes directions d'arrivée de l'espace. Une unité de traitement UT recevant les signaux issus de ces capsules réalise un encodage ambisonique à l'aide d'une matrice de filtres présentée ci-après, et délivre des signaux ambisoniques (formalisés dans une base d'harmoniques sphériques du type illustré sur la figure 1).
On décrit ci-après les principes de base de l'encodage ambisonique.
Le formalisme ambisonique, initialement limité à la représentation de fonctions harmoniques sphériques d'ordre 1, a par la suite été étendu aux ordres supérieurs. Le formalisme ambisonique avec un nombre de composantes plus important est communément nommé « Higher Order Ambisonics » (ou « HOA » ci-après).
A chaque ordre m correspondent 2m+l fonctions harmoniques sphériques, comme illustré sur la figure 1. Ainsi, un contenu d'ordre M contient un total de (M+l)2 canaux (4 canaux à l'ordre 1, 9 canaux à l'ordre 2, 16 canaux à l'ordre 3, et ainsi de suite). On entend ci-après par « composantes ambisoniques » le signal ambisonique dans chaque canal ambisonique, en référence aux « composantes vectorielles » dans une base vectorielle qui serait formée par chaque fonction harmonique sphérique. Ainsi par exemple, on peut compter :
- une composante ambisonique pour l'ordre m=0,
- trois composantes ambisoniques pour l'ordre m=l, - cinq composantes ambisoniques pour l'ordre m=2,
- sept composantes ambisoniques pour l'ordre m=3, etc.
Les signaux ambisoniques captés pour ces différentes composantes sont alors répartis sur un nombre N de canaux qui se déduit de l'ordre maximum m qu'il est prévu de capter dans la scène sonore. Par exemple, si une scène sonore est captée avec un microphone ambisonique à 20 capsules piézoélectriques, alors l'ordre ambisonique maximum capté est M=3, afin qu'il n'y ait pas plus de 20 canaux N=(M+1)2, le nombre de composantes ambisoniques considérées est 7+5+3+1 = 16 et le nombre N de canaux est N=16, donné par ailleurs par la relation N=(M+1)2, avec M=3.
La captation ambisonique x(t) d'ordre M et composée de N sources sonores s, d'incidence (0;, ø;) se propageant en champ libre peut s'écrire alors mathématiquement sous la forme matricielle suivante : x(t) = As t) = s(t)
ΥΜη (θΐ' Φι · · · ΥΜΠ (ΘΝ> ΦΝ)
Où A est une matrice dite « matrice de mélange », de dimensions (M+l)2 x N et dont chaque colonne A, contient les coefficients de mélange de la source /'.
Physiquement, cette matrice A correspond aux coefficients d'encodage de chaque source \, associés à chaque direction de chaque source /'. Pour extraire les sources d'un tel contenu, il faut procéder à l'estimation d'une matrice B dite « matrice de séparation », inverse de la matrice A. Pour obtenir la matrice B, une étape de séparation aveugle de sources peut être mise en œuvre, par exemple en utilisant un algorithme d'analyse en composantes indépendantes (ou « ACI » ci-après), ou encore un algorithme d'analyse en composantes principales. La matrice B=A_1 permet l'extraction des sources par l'opération suivante : s t) = Bx t)
Cette étape revient à faire de la formation de voies (ou « beamforming » ci-après), c'est-à-dire à combiner différents canaux ayant des directivités distinctes, afin de créer une nouvelle composante possédant la directivité souhaitée. Un exemple de beamforming pour extraire trois composantes, pour un contenu HOA d'ordre 2, 4 ou 6, est illustré figure 3. Plus l'ordre est élevé, plus le beamforming est directif et le nombre de composantes pouvant être extraites est élevé.
En pratique, la génération des signaux ambisoniques x(t)=As(t) passe par une étape intermédiaire de captation microphonique tel qu'illustré sur la figure 2, où les sources s(t) sont captées par les capsules du microphone MIC pour former les signaux pl, p2, p3... On formalise ensuite la matrice d'encodage microphonique E telle que x(t)=E.p(t), pour obtenir les composantes ambisoniques xl, x2, xN (dans N canaux ambisoniques comme illustré sur la figure 4). En référence maintenant à la figure 4, on estime, comme présenté ci-avant, la matrice de décodage B inverse de la matrice A, pour déterminer les signaux de sources si, s2, s3 : s t) = Bx t) Pour décoder un contenu HOA sur un système de haut-parleurs, la démarche est similaire. On acquière des signaux ambisoniques dans N canaux xl, x2, xN, mais, ici, au lieu de considérer s(t) comme la somme des contributions de sources, on considère s(t) comme la somme des signaux émis par un jeu de haut-parleurs (ce qui permet d'alimenter alors effectivement ces haut-parleurs avec les signaux si, s2, s3...). On formule donc ici la matrice de décodage B à partir des positions des haut- parleurs d'un système de restitution sonore et on extrait les signaux destinés aux haut-parleurs selon le même procédé que celui utilisé pour la séparation de sources.
En réalité, les capteurs utilisés possèdent des limitations physiques qui entraînent une dégradation de l'encodage microphonique, et donc une dégradation de la directivité des composantes ambisoniques. Par exemple, l'encodage des hautes fréquences se dégrade lorsque l'espacement inter-capteurs devient approximativement plus grand qu'une demi-longueur d'onde : ceci est dû au phénomène de repliement spatial. En basses fréquences, les capsules microphoniques tendent à devenir omnidirectionnelles et il devient impossible d'obtenir les directivités recherchées. Plus précisément, les dégradations en basses fréquences sont plus marquées lorsqu'il s'agit de synthétiser des composantes ambisoniques d'ordre élevé. De manière générale, les directivités associées sont plus complexes et donc plus sensibles aux variations de propriétés des capteurs. La figure 5 illustre le degré de corrélation entre un encodage théorique et un encodage réel à partir d'un microphone sphérique à 32 capsules, en fonction de la fréquence et de l'ordre ambisonique. La figure 5 montre que le degré de corrélation le plus élevé est généralement atteint pour des fréquences comprises entre 1 kHz et 10 kHz. Néanmoins, pour les autres gammes de fréquences (excepté pour les ordres ambisoniques 0 et 1), l'extraction de sources ne conduirait pas toujours au même résultat pour un encodage théorique et pour un encodage réel de ces mêmes sources. Plus précisément, pour des fréquences en-dehors de l'intervalle [1 kHz-10 kHz], Les composantes extraites sont potentiellement dégradées. La figure 6 montre la directivité réelle dans le plan horizontal des premières composantes des ordres 0, 1, 2 et 3 en fonction de la fréquence sonore. Il apparaît, sur la figure 6, que les composantes réelles ne sont pas convenablement encodées. En effet, si on prend l'exemple de la composante de l'ordre 0 à la fréquence de 10 kHz, on constate qu'elle n'est pas circulaire, contrairement à la composante théorique et à la même composante calculée aux fréquences entre 300 et 1000Hz. Ainsi, la directivité de cette composante à la fréquence de 10kHz n'est plus respectée, ce qui pourrait induire un rendu spatial dégradé. Par ailleurs, les composantes à l'ordre 1, 2 et 3 ont également des directivités biaisées pour des fréquences plus basses que 10 kHz. Plus généralement, dès lors que la directivité théorique n'est plus respectée, le beamforming effectué ne permet plus d'extraire convenablement les composantes recherchées. Par exemple, cela se traduit par l'apparition d'interférences pendant la séparation des sources. Cela peut également se traduire par une dégradation du rendu spatial dans des bandes de fréquences concernées par une diffusion multicanal. Plus particulièrement, on constate une perte d'énergie en basses fréquences dans les ordres élevés pendant l'encodage. Cela induit que les sources extraites grâce à des canaux d'ordres élevés peuvent perdre une partie de leur énergie dans les fréquences concernées.
L'utilisation du beamforming pour la séparation de sources ou la restitution d'un contenu ambisonique idéal ou d'une captation multicanal est déjà utilisée notamment pour la séparation, ou encore pour le décodage multicanal. Pour la séparation de sources, une inversion de la matrice de mélange estimée par analyse en composantes indépendantes est utilisée pour extraire les sources. Pour le décodage multicanal, la matrice des coefficients ambisoniques relatifs aux haut-parleurs peut être inversée. En revanche, le traitement d'un contenu ambisonique réel, affecté par les limitations physiques du système d'enregistrement, n'est pas abordé dans l'art antérieur. La seule solution proposée actuellement est de limiter la bande-passante totale des sources extraites, ce qui n'est pas satisfaisant.
La présente invention vient améliorer cette situation.
Elle propose à cet effet un procédé, mis en œuvre par des moyens informatiques, de traitement d'un contenu ambisonique comportant une pluralité de composantes ambisoniques d'une pluralité d'ordres définissant une succession de canaux ambisoniques dans chacun desquels est représentée une composante ambisonique, le procédé comportant :
- un filtrage fréquentiel des composantes ambisoniques dans une pluralité de bandes de fréquences,
- une élaboration d'une matrice de décodage ambisonique,
- un traitement de la matrice de décodage ambisonique pour extraire, par réduction de dimension de matrice, une pluralité de sous-matrices de décodage ambisonique chacune associée à un ordre ambisonique et à une bande de fréquences choisie pour cet ordre ambisonique,
des applications respectives des sous-matrices de décodage aux composantes ambisoniques dans chaque bande de fréquences choisie, et une reconstruction bandes-à- bandes des résultats desdites applications respectives, pour délivrer une pluralité de signaux décodés, associés chacun à une source sonore. On entend ici par « source sonore » aussi bien :
- une source sonore effectivement identifiée et localisée dans l'espace tridimensionnel (en technique d'extraction de source), auquel cas la matrice de décodage est une matrice de séparation de sources, ou
- un haut-parleur parmi plusieurs haut-parleurs, de position bien identifiée dans l'espace, et alimenté en particulier par l'un des signaux décodés précités.
Une bande de fréquence peut être définie par plusieurs bandes de fréquence ou sous-bandes de fréquences.
L'élaboration de sous-matrices de décodage ambisonique pour chaque bande de fréquences, et pour chaque ordre ambisonique, permet de tirer parti dans chaque bande de fréquences d'un nombre maximum de canaux ambisoniques qui sont réellement valides dans chaque sous-matrice, afin de restituer un signal décodé peu ou pas dégradé.
Selon une réalisation, chaque sous-matrice de décodage ambisonique est associée à une bande de fréquences choisie en fonction d'un critère de validité des composantes ambisoniques de l'ordre auquel est associée ladite sous-matrice, dans ladite bande de fréquences choisie.
Une telle réalisation permet d'isoler les composantes ambisoniques constituant chaque ordre, afin de les traiter dans la plage de fréquences dans laquelle elles sont valides. Par « valides », on entend un respect de la représentation ambisonique théorique, comme par exemple l'ordre m=4 dans la bande de fréquences 4000 à 6000 Hz dans l'exemple de la figure 5, ou encore l'ordre m=3 dans la bande de fréquences 2000 à 9000 Hz.
Ainsi, dans une réalisation, le critère de validité des composantes peut être défini par des conditions de captation desdites composantes ambisoniques, par au moins un microphone ambisonique.
Dans cette réalisation par exemple, le procédé peut comprendre en outre :
- une réception de données d'au moins un microphone ambisonique utilisé pour capter lesdites composantes ambisoniques ;
- une détermination des bandes de fréquences choisies pour construire lesdites sous- matrices, en fonction desdites données de microphone ambisonique.
La connaissance des données du microphone ambisonique utilisé pour la captation ambisonique permet d'affiner la détermination des bandes de fréquences choisies pour l'élaboration des sous- matrices. En effet, le traitement ambisonique est fait sur des sous-matrices dont les composantes ambisoniques répondent strictement au critère de validité dans les bandes de fréquences associées. Toutefois, les données du microphone ambisonique utilisé pour la captation ne sont pas toujours accessibles. En variante, on peut donc prévoir la détermination des bandes de fréquences à l'aide d'un abaque préalablement établi à partir de mesures effectuées sur une pluralité de microphones ambisoniques, afin d'établir des plages de fréquences « moyennes », associées à un ordre ambisonique, dans lesquelles les composantes ambisoniques de chaque ordre ambisonique répondent généralement au critère de validité précité.
Ainsi, selon une réalisation, chaque sous-matrice de décodage ambisonique étant associée à un ordre ambisonique et à une bande de fréquences choisie pour cet ordre ambisonique, une bande de fréquences peut être choisie dans une plage de 100Hz à 10kHz pour l'ordre ambisonique m=l,
une bande de fréquences peut être choisie dans une plage de 500Hz à 10kHz pour l'ordre ambisonique m=2,
une bande de fréquences peut être choisie dans une plage de 2000Hz à 9000Hz pour l'ordre ambisonique m=3,
- une bande de fréquences peut être choisie dans une plage de 3000Hz à 7000Hz pour l'ordre ambisonique m=4.
Dans un mode de réalisation où les bandes de fréquence sont obtenues par transformée de Fourier à court terme (FFT), une bande de fréquence associée à un ordre ambisonique peut comporter plusieurs bandes de fréquence FFT. Ainsi, plusieurs bandes de fréquence peuvent être associées à un ordre ambisonique.
Dans un exemple de ce mode de réalisation où on utilise une FFT, pour un signal échantillonné à 48kHz et pour une taille de FFT de 4096 points (212), les bandes n° 10 à 910 correspondent à la bande de fréquence 100 à 10kHz et sont associées à l'ordre ambisonique m=l.
Ainsi, il s'avère qu'il est possible de définir un critère de validité sur la base de valeurs moyennes des bandes de fréquence pour chaque ordre ambisonique, même si les données du microphone ambisonique utilisé pour la captation de composantes ambisoniques sont inaccessibles.
Selon une réalisation particulière, le traitement de la matrice de décodage ambisonique comporte :
- une inversion de la matrice élaborée de décodage ambisonique, pour obtenir une matrice de mélange dont : * les lignes correspondent à des canaux ambisoniques respectifs, et * les colonnes correspondant à des sources sonores,
- un traitement de la matrice de mélange pour extraire, par réduction de dimension de matrice, une pluralité de sous-matrices de mélange chacune associée à un ordre ambisonique et à une bande de fréquences choisie, et - une inversion des sous-matrices de mélange pour obtenir respectivement lesdites sous-matrices de décodage ambisonique.
On comprend ainsi qu'un filtrage fréquentiel des composantes d'ordre m=4 entre 4000 à 6000 Hz, dans l'exemple de la figure 5, permet de construire une sous-matrice, en particulier de mélange (matrice notée A ci-avant), à N=(m+1)2=25 lignes, en retenant les 25 premiers canaux ambisoniques. Néanmoins, à cet effet, il est préférable que le signal ambisonique soit suffisamment représenté dans cette bande de fréquences 4-6 kHz, comme on le verra plus loin. Par ailleurs, si le signal ambisonique est bien représenté aussi dans les basses fréquences, par exemple entre 100 et 200Hz, on peut construire en outre une sous-matrice pour l'ordre m=l par exemple, à N=4 lignes. On peut donc obtenir finalement une pluralité de sous-matrices de mélange, chacune associée à un ordre ambisonique m, et comportant chacune un nombre de lignes correspondant à un nombre de canaux ambisoniques valides pour cet ordre m et dans la bande de fréquences à laquelle cette sous-matrice est associée.
Dans une réalisation, le traitement du contenu ambisonique est mené pour une séparation de source et ladite matrice de décodage est une matrice de séparation aveugle de sources élaborée à partir des composantes ambisoniques.
Par exemple, la matrice de séparation peut être élaborée à partir des composantes ambisoniques filtrées à une bande de fréquences choisie et préférentiellement dans laquelle le nombre de canaux ambisoniques valides selon le critère précité est maximum.
Ainsi, les canaux sont retenus pour une exactitude de représentation à un tel ordre ambisonique le plus élevé, mais aussi pour conserver un maximum de canaux représentés correctement dans cette bande de fréquences, à des ordres ambisoniques moins élevés.
Dans cette réalisation, on peut simplifier des sous-matrices de mélange avant leur inversion, par réduction d'un nombre de colonnes de chaque sous-matrice, les colonnes restantes des sous- matrices étant choisies de manière à conserver des signaux de plus grandes énergies après application des sous-matrices de décodage. En effet, conserver les signaux de plus grande énergie permet de mieux représenter, et donc de mieux restituer, le champ sonore.
En complément ou en variante, on peut choisir de privilégier des signaux extraits les plus décorrélés, ou les plus indépendants suivant un critère d'indépendance choisi. Ainsi, dans cette réalisation, on simplifie des sous-matrices de mélange avant leur inversion, par réduction d'un nombre de colonnes de chaque sous-matrice, les colonnes restantes des sous- matrices étant choisies de manière à conserver des signaux les moins corrélés après application des sous-matrices de décodage.
Par ailleurs, dans un environnement réverbérant, le signal est constitué des champs directs issus de la propagation équivalente « champ libre » de chaque source et de réflexions sur des parois de l'environnement acoustique. Ainsi, dans une réalisation alternative ou complémentaire, on simplifie des sous-matrices de mélange avant leur inversion, par réduction d'un nombre de colonnes de chaque sous-matrice, les colonnes restantes des sous-matrices étant choisies de manière à conserver des signaux correspondant à des champs sonores directs après application des sous-matrices de décodage.
Bien entendu, dans une réalisation où le traitement du contenu ambisonique est mené pour une restitution ambisonique sur une pluralité de haut-parleurs, la matrice de décodage précitée peut être une matrice inverse de positions spatiales relatives des haut-parleurs.
Dans une réalisation illustrée plus loin en référence à la figure 9, le procédé comprend en particulier, pour un contenu ambisonique décomposé en sous-bandes de fréquences, une application de sous- matrices de décodage, obtenues par :
- Pour chaque ordre ambisonique du contenu, une détermination d'une bande de fréquences sur laquelle ledit ordre respecte un critère de validité prédéterminé d'encodage ambisonique,
- Sur la base desdites bandes de fréquences, une application d'un banc de filtres au contenu ambisonique pour produire une pluralité de signaux en sous-bandes, de dimensions variables correspondant à des canaux ambisoniques valides dans cette sous-bande,
- Une détermination d'une matrice de décodage de taille maximale dans la bande de fréquence de l'ordre ambisonique maximal et d'une matrice de mélange associée, inverse ou pseudo-inverse de ladite matrice de décodage, - Pour chaque autre bande de fréquences, une détermination d'une matrice de mélange de taille réduite, sous-matrice de ladite matrice de mélange, et d'une sous-matrice de séparation, inverse ou pseudo-inverse de ladite sous-matrice de mélange,
- Une reconstruction des signaux séparés pleine-bande par application d'un banc de filtre de synthèse aux signaux séparés issus de la multiplication desdits signaux par lesdites matrices.
La présente invention vise aussi un programme informatique comportant des instructions pour la mise en œuvre du procédé lorsque ce programme est exécuté par un processeur. Un exemple d'ordinogramme de l'algorithme général d'un tel programme est illustré sur la figure 7 commentée ci-après, laquelle est précisée dans les figures 8 et 9. La présente invention vise aussi un dispositif informatique comportant :
- une interface d'entrée pour recevoir des signaux de composantes ambisoniques,
- une interface de sortie pour délivrer des signaux décodés, associés chacun à une source sonore,
- et un programme informatique pour la mise en œuvre du procédé. Un exemple d'un tel dispositif est illustré sur la figure 10 commentée plus loin.
La présente invention propose ainsi d'utiliser la formation de voies à partir d'un encodage ambisonique réel en tirant parti, dans chaque bande de fréquences, de tous les canaux dont la directivité respecte le formalisme ambisonique. Une forme de réalisation présentée ci-avant permet alors de déterminer une ou plusieurs matrices de mélange Ak, correspondant à des sous-matrices obtenues à partir de la matrice théorique A, et formulées chacune dans une bande de fréquences, puis inversée pour donner des matrices de décodage Bk.
Ainsi, l'invention offre un traitement générique d'un contenu ambisonique quelconque, et notamment réel, possiblement affecté par des limitations physiques d'un système d'enregistrement, et ce sans aucune contrainte visant à limiter la bande-passante totale des sources extraites. D'autres avantages et caractéristiques de l'invention apparaîtront à la lecture de la description détaillée ci-après d'exemples de réalisation de l'invention, et à l'examen des dessins annexés sur lesquels :
- la figure 1 illustre une base de fonctions harmoniques sphériques d'ordre 0 (première ligne) à 3 (dernière ligne), avec en gris clair les valeurs positives, et en gris foncé les valeurs négatives, - la figure 2 illustre un système d'encodage ambisonique à partir d'un microphone sphérique, - la figure 3 illustre la formation de voies pour l'extraction de trois composantes, pour différents ordres ambisoniques,
- la figure 4 illustre très schématiquement un système de décodage ambisonique à partir de composantes ambisoniques, - la figure 5 illustre la corrélation entre un encodage ambisonique idéal et un encodage réel,
-la figure 6 illustre la directivité dans le plan horizontal, mesurée pour un encodage ambisonique réel (avec de gauche à droite successivement les composantes des ordres 0, 1, 2 et 3),
- la figure 7 illustre les principales étapes d'un exemple de procédé au sens de l'invention,
- la figure 8 illustre les étapes d'un mode de réalisation particulier du procédé selon l'invention, - la figure 9 est un schéma-bloc d'un algorithme de traitement correspondant au mode de réalisation illustré sur la figure 7, et
- la figure 10 illustre schématiquement un dispositif possible pour la mise en œuvre de l'invention.
Le schéma d'ensemble d'un procédé de traitement ambisonique global au sens de l'invention est présenté figure 7. Il s'agit par exemple d'un procédé de décodage ambisonique. On entend par les termes « décodage ambisonique » aussi bien la fourniture de signaux décodés par exemple destinés à alimenter des haut-parleurs respectifs pour une restitution ambiophonique, qu'une fourniture, de façon plus générale, de signaux associés chacun à une source sonore, notamment dans la technique de séparation de sources.
A l'étape SI, on dispose d'un contenu ambisonique x(t) comprenant une pluralité de composantes ambisoniques CA, d'ordres successifs m=0, 1, M (avec par exemple M=4) et, issu d'un enregistrement, ou d'une « captation », par au moins un microphone ambisonique MIC. Un microphone ambisonique est un microphone composé d'une pluralité de capsules microphoniques généralement réparties de manière sphérique et de manière la plus régulière possible. Ces capsules jouent le rôle de capteurs de signaux sonores. Les capsules microphoniques sont agencées sur le microphone ambisonique de manière à capter des signaux sonores selon leur directivité dans l'espace. Comme illustré sur la figure 5, l'ensemble des capsules formant un tel microphone ambisonique peut acquérir différentes composantes ambisoniques à des ordres ambisoniques jusqu'à M, mais l'exactitude de la représentation ambisonique pour ces différents ordres n'est pas réellement respectée pour toutes les fréquences du spectre audio entre 0 et 20kHz. Néanmoins, l'invention propose ici d'isoler certaines fréquences du spectre pour lesquelles les composantes ambisoniques, pour des ordres donnés, sont exactes (comme par exemple dans la plage de fréquences entre 4000 et 6000Hz pour l'ordre m=4 sur la figure 5, ou plus largement la plage entre 2000Hz et 9000 Hz pour l'ordre m=3, etc.).
Néanmoins, les variations fréquentielles de l'exactitude de représentation ambisonique de chaque ordre de la figure 5 sont obtenues pour un microphone particulier ayant des dimensions et un nombre donné de capsules. Ainsi, pour un autre microphone, d'autres variations spectrales peuvent être attendues.
L'étape S2 vise donc à récupérer les données caractérisant le microphone ambisonique MIC (et éventuellement les conditions de captation du contenu ambisonique c(t), et/ou encore les conditions de réverbération pendant la captation, ou autres).
Plus généralement, une donnée caractérisante du microphone ambisonique MIC peut être l'espacement inter-capsules. En effet, l'encodage des hautes fréquences se dégrade lorsque l'espacement inter-capteurs devient plus grand qu'une demi-longueur d'onde. Ceci est dû au phénomène de repliement spatial (ou « aliasing »). A l'inverse, pour un signal basse fréquence, des capsules microphoniques trop rapprochées ne peuvent générer la directivité souhaitée.
A l'étape S3, on peut appliquer un banc de filtre d'analyse BFA au contenu ambisonique x(t) afin de sélectionner ensuite, à l'étape S31, des signaux de composantes ambisoniques filtrés dans des plages de fréquences dans lesquelles la représentation ambisonique pour un ordre donné m est la plus exacte (respectant ainsi un « critère de validité » de la représentation ambisonique), et ce en fonction des données du microphone définies ci-dessus.
En fonction du type de traitement appliqué au contenu ambisonique x(t), entre un traitement de séparation de sources SAS ou un traitement en vue d'une restitution sur haut-parleurs ES, l'étape S4 vise l'obtention d'une matrice de décodage B, en fonction du type de traitement choisi. Dans le cas d'une restitution ambisonique sur haut-parleurs, la matrice de décodage B est l'inverse d'une matrice A contenant des coefficients propres à des positions spatiales de haut-parleurs utilisés pour la restitution.
Dans le cas d'une séparation de sources, la matrice de décodage B est élaborée initialement à l'étape S4 en vue d'un traitement de séparation aveugle de sources à partir des composantes ambisoniques filtrées et sélectionnées. Plus particulièrement, cette matrice de décodage B est élaborée pour la bande de fréquences contenant le plus grand nombre de canaux ambisoniques valides (et le plus grand ordre susceptible d'être obtenu M). La détermination des bandes de fréquences de validité des différents ordres ambisoniques peut être adaptée au microphone ambisonique ayant servi à la captation des composantes ambisoniques à décoder. Pour ce faire, il est possible par exemple de se baser sur les variations fréquentielles de l'exactitude de la représentation ambisonique pour différents ordres m, du type illustré sur la figure 5.
Plus généralement, il peut être déterminé encore une allure « moyenne » des variations fréquentielles de l'exactitude de la représentation ambisonique pour les différents ordres m pour différents modèles de microphones ambisoniques, et se servir de ces allures moyennes si ces données ne sont pas disponibles, au décodage. A l'étape S7, on détermine au moins deux matrices Bl, B2, issues d'une réduction matricielle de la matrice de décodage B pour chaque sous-bande de fréquences (dans l'exemple illustré les sous- bandes de fréquences fl et f2). Un exemple de réalisation plus précis de cette réduction matricielle sera décrit plus loin en référence à la figure 8. Puis, à l'étape S8, on effectue le produit de chaque matrice Bl et B2 obtenues à l'étape précédente par les signaux ambisoniques filtrés dans les sous- bandes fl, f2 correspondantes. On obtient ainsi, dans chaque sous-bande k (k=l,2), un ensemble de signaux extraits sk.
A l'étape S9, on combine les vecteurs de signaux extraits si (1 pour k=l) et s2 (2 pour k=2) afin d'obtenir les signaux reconstruits pleine bande (par application par exemple d'un banc de filtre de synthèse). La figure 8 illustre les étapes d'un mode de réalisation particulier du procédé selon l'invention. Plus précisément, la figure 8 présente des étapes du procédé qui peuvent être mises en œuvre entre les étapes S4 et S7 de la figure 7.
A l'étape S4, comme décrit ci-dessus, on obtient la matrice de décodage B définie plus haut. A l'étape S5 on peut effectuer une inversion de cette matrice de décodage B (ou de façon équivalente, une détermination de sa pseudo-inverse) afin d'obtenir la matrice de mélange A correspondante (étape S51). Dans le cas d'une séparation de sources, la matrice de mélange A peut ainsi contenir des coefficients relatifs à des positions respectives de sources sonores à extraire. Dans le cas d'une restitution sur haut-parleurs, la matrice de mélange A peut contenir des coefficients relatifs à la position des haut-parleurs sur lesquels on souhaite restituer les signaux décodés. Plus précisément, les lignes de la matrice de mélange A correspondent aux canaux ambisoniques successifs (définissant successivement les ordres m=0 à m=M, où M est l'ordre ambisonique maximum disponible) et ses colonnes correspondent aux sources ou aux haut-parleurs. A l'étape S6, on peut effectuer une diminution des dimensions de la matrice de mélange A, pour obtenir des sous-matrices Al, A2. Il s'agit d'une réduction matricielle dont le nombre de lignes correspond aux nombres de canaux ambisoniques pour chaque ordre. Typiquement, si les signaux ambisoniques sont bien encodés dans la bande de 100 à 1000Hz, où l'ordre m=l est bien respecté (au moins pour le microphone ambisonique de la figure 5), il est extrait déjà de la matrice A une sous-matrice Al à N=4 lignes associée à l'ordre m=l et à la bande de fréquences 100-1000Hz. Ensuite, si les signaux ambisoniques sont bien représentés dans la bande de 1000 à 10 000Hz, où l'ordre m=2 est bien respecté, il est extrait ensuite de la matrice A une matrice A2 à N=9 lignes et associée à l'ordre m=2 et à la bande de fréquences 1000-10 000Hz, et ainsi de suite. Le nombre de sous-matrices dépend ainsi de l'ordre du contenu ambisonique x(t) dont les composantes sont retenues comme valides à l'étape S31. Chaque sous-matrice correspond alors à une bande de fréquences, et peut ainsi contenir un nombre de lignes correspondant au nombre de canaux valides pour cette bande de fréquences. Plus précisément, comme illustré sur la figure 8, pour chaque sous- bande, on identifie le nombre de canaux valides correspondant. Par exemple, pour une sous-bande fl choisie pour l'ordre m=l du contenu ambisonique x(t), on extrait une matrice Al comportant quatre lignes (Nl=(m+1)2) correspondant aux quatre canaux ambisoniques à l'ordre 1, et le nombre de « sources » (sources à extraire ou haut-parleurs) en colonnes. Comme illustré sur la figure 8, les quatre lignes retenues pour la construction de la sous-matrice Al sont les coefficients de la matrice initiale globale A : - Cil, C12, C13,
- C21, C22, C23,
- C31, C32, C33, et
- C41, C42, C43.
Concernant la sous-matrice A2, ces lignes de la matrice globale A peuvent être reprises, ainsi que les suivantes, jusqu'à la ligne :
- C91, C92, C93.
Pour la matrice de mélange A2, correspondant à l'ordre 2 du contenu ambisonique x(t), et donc à la sous-bande f2, on conserve donc neuf lignes, correspondant aux neuf canaux de l'ordre 2, et le nombre de sources à extraire en colonnes. Chaque sous-matrice de mélange ainsi obtenue est de dimension N x Ntarget, avec Ntarget le nombre de sources issues de la séparation de sources aveugle ou le nombre de haut-parleurs prévus pour une restitution.
Dans le cas d'une restitution sur haut-parleurs, le nombre de haut-parleurs est préférentiellement égal ou supérieur au nombre de lignes. Par exemple, pour la matrice de mélange Al de quatre lignes, on peut ne conserver qu'un jeu de quatre colonnes. Dans le cas d'une séparation de sources, le nombre de colonnes peut être inférieur ou égal au nombre de lignes. Par exemple, pour la matrice de mélange Al de quatre lignes, on peut supprimer des colonnes et garder par exemple des sources dont les signaux sont de plus grandes énergies et/ou celles qui sont les moins corrélés (sources les moins « mélangées » possibles) et/ou les signaux correspondent au champ direct des sources, ou autres.
A l'étape S71 on effectue une inversion de chaque sous-matrice de mélange Al, A2 afin d'obtenir respectivement les sous-matrices de décodage Bl, B2 présentées plus haut (étape S7). Le passage par la matrice de mélange A permet en particulier de conserver des niveaux satisfaisants d'énergie des composantes ambisoniques liées à chaque ordre, malgré les réductions matricielles. En d'autres termes, les étapes S5 à S71 permettent « d'affiner » le décodage du contenu ambisonique x(t).
La figure 9 est un schéma-bloc d'un algorithme de traitement correspondant au mode de réalisation illustré sur les figures 7 et 8. On a repris les mêmes références d'étapes SI, S2, etc., pour désigner des étapes identiques ou similaires et présentées ci-avant en référence aux figures 7 et 8. On nomme « canaux » les signaux microphoniques ambisoniques et « sources » les signaux à extraire (sources effectivement à extraire ou les signaux d'alimentation des haut-parleurs). A l'étape SI, on dispose d'un contenu ambisonique x(t) d'ordre M, comprenant une pluralité de canaux ambisoniques N enregistrés à traiter. De manière générale, le nombre de canaux ambisoniques enregistrés est égale à N=(M+1)2. A l'étape S2, on dispose des données relatives à la captation ambisonique du contenu x(t) (données relatives au microphone ambisonique MIC utilisé, etc.).
Connaissant les limites de validité de l'encodage microphonique, on détermine une bande de fréquences pour chaque ordre ambisonique. Un banc de filtre permettant une reconstruction est appliqué aux N canaux ambisoniques à l'étape S3, pour donner K sous-bandes notées xk. Les sous- bandes sont choisies pour correspondre aux différentes plages de validité de l'encodage microphonique.
Dans une réalisation particulière à l'étape S4A illustrée en trait plein, on utilise une matrice B de séparation de sources élaborée en fonction des composantes ambisoniques filtrées en fréquence (flèche de dessus venant sur le rectangle S4A). Plus particulièrement, une méthode de séparation aveugle de sources est appliquée dans la sous-bande contenant le plus de canaux valides, pour obtenir une matrice de séparation B de dimensions Ntarget x N, Ntarget étant le nombre de sources obtenues par la méthode de séparation aveugle dans la sous-bande de fréquences choisie. Les canaux valides sont déterminés à partir d'un critère de validité relatif à chaque ordre du contenu ambisonique x(t) en fonction de chaque bande de fréquences du banc de filtres. Plus généralement, afin de maximiser la qualité de la séparation de sources, on choisit une bande de fréquences comprenant le plus de composantes ambisoniques valides. On entend par « valides » des composantes dont les critères énergétiques ou la directivité n'ont pas été biaisés lors de la captation ambisonique, comme présenté ci-avant en référence à la figure 5. La validité de chaque ordre dans des bandes de fréquences du domaine audio peut être établie en connaissant les limites du microphone ambisonique utilisé lors de la captation du contenu ambisonique x(t), ou encore à l'aide d'un abaque établi sur la base de mesures effectuées sur une pluralité de microphones ambisoniques, permettant de réaliser une moyenne de la validité de chaque ordre ambisonique dans chaque bande de fréquences.
Par exemple, les canaux ambisoniques d'ordre 1 ont tendance à être valides dans une bande de fréquences allant de 100HZ à environ 10kHz. La bande de fréquences dans laquelle les canaux ambisoniques d'ordre 2 peuvent être plus généralement valides peut par exemple aller de 1kHz à 9kHz, etc. Dans une réalisation variante en vue d'une restitution d'une scène sonore sur plusieurs haut-parleurs (plus de deux en général), à l'étape S4B (illustrée par les traits en pointillés sur la figure 9, pour désigner cette variante), la matrice de décodage est construite en fonction de la position des haut- parleurs sur lesquels le contenu doit être restitué. Plus exactement, cette matrice B de décodage correspond à l'inverse d'une matrice de mélange A qui est définie par les positions spatiales respectives des haut-parleurs.
En revenant au traitement général (pour une restitution ou pour une séparation de sources), à l'étape S5, la matrice de mélange « théorique » A (pour les deux variantes précitées) est construite par inversion de B. Pour la séparation de sources, la matrice de mélange est composée de N lignes et de Ntarget colonnes, la ième colonne contenant les coefficients harmoniques sphériques, relatifs aux coordonnées (0;, ø;) de la source s,. Ci-dessous se trouve un exemple de matrice de mélange A dans le cas d'une séparation de sources pour un contenu ambisonique d'ordre 2 composé de cinq sources : s, s¾
Pour la diffusion sur haut-parleurs, A est composée de N lignes et d'un minimum de N colonnes, la ième colonne contenant les coefficients harmoniques sphériques, relatifs aux coordonnées (0;, ø;) du haut-parleur i.
A l'étape S6, et pour chaque sous-bande k, une sous-matrice de mélange Ak est construite, telle que Ak est une version tronquée de la matrice A, en ne conservant que les Nk lignes correspondant aux canaux effectivement valides dans cette sous-bande k. Pour la séparation de sources, si Nk est inférieur au nombre de sources Ntarget recherchées dans la sous-bande, on ne conserve qu'un jeu de Ntarget,k, colonnes (avec Ntarget,k inférieur ou égal à Nk), choisies suivant des critères énergétiques (par exemple en séparant les sources ayant la plus grande contribution) ou suivant d'autres critères d'intérêt tels que définis précédemment. La matrice Ak a ainsi pour dimensions Nk x Ntarget,k, avec Ntarget,k = min(Nk, Ntarget) par exemple. Ci-dessous se trouve un exemple d'une matrice Ak(4x4) tronquée à l'ordre 1 ambisonique :
Composantes conservées
1 Ordre G
valide
(ii s non valide
Pour la restitution sur haut-parleurs, un jeu de Nk haut-parleurs est sélectionné pour la restitution, et Ak a donc pour dimensions Nk x Nk. A l'étape S7, la matrice Ak est inversée pour donner Bk. Lorsque la sous-matrice Ak n'est pas une matrice carrée, une infinité de possibilités existe pour l'inversion. Une pseudo-inversion peut être appliquée, ou encore une inversion en appliquant des contraintes supplémentaires (par exemple choix de la solution donnant le beamforming le plus directif, ou minimisant les lobes secondaires). De manière générale, on entend par « inversion de matrice », aussi bien une inversion classique de matrice, qu'une pseudo-inversion comme présenté ci-avant.
Puis, à l'étape S8, Bk est appliquée à la sous-bande xk pour obtenir les signaux sk tels que sk = Bk. xk
Une fois que des sources ont été extraites dans chaque sous-bande, les signaux pleine-bande correspondants sont reconstruits par un filtre de synthèse à partir des signaux de sous-bandes de même direction, à l'étape S9.
Ci-dessous, un exemple de mise en œuvre du procédé selon un mode de réalisation particulier de l'invention est décrit à titre d'exemple.
On dispose d'un contenu ambisonique d'ordre 2 (9 canaux) échantillonné à 16kHz, noté x(t) constitué de 3 sources que l'on veut extraire. L'encodage ambisonique aux ordres 0 et 1 est valide entre 200Hz et 8000Hz. L'encodage de l'ordre 2 est valide entre 900Hz et 8000Hz.
Un banc de filtre est implémenté, constitué de deux bandes de fréquences, 200Hz-900Hz (jusqu'à l'ordre 1) et 900Hz-8000Hz (utilisation de l'ordre 2)
Le banc de filtre est appliqué à x(t), pour former xl(t) et x2(t). xl(t) est constitué de 4 canaux (ambisonie d'ordre 1) et x2(t) contient 9 canaux (ambisonie d'ordre 2).
Une matrice de séparation B de dimensions 3x9 est estimée par analyse en composantes indépendantes effectuée dans la sous-bande 900Hz-8000Hz c'est-à-dire x2(t).
Une matrice de mélange théorique A, de dimensions 9x3, est déduite par inversion de B, chaque colonne i contenant les coefficients harmoniques sphériques de la source i. Dans le même temps, les matrices Al et A2 sont calculées à partir de A pour extraire les sources dans chaque sous-bande :
- Al contient uniquement les coefficients jusqu'à l'ordre 1 pour les trois sources, soit : Al= A (les quatre premières lignes, les trois premières colonnes), - A2 contient les coefficients relatifs aux neufs canaux pour les trois sources, on a donc : A2=A Al et A2 sont inversées pour former les matrices de séparation Bl et B2. Les trois sources sont extraites dans chaque sous-bande d'indices respectifs 1 et 2: sl=Bl.xl et s2=B2.x2 Puis, les sources pleine-bande sont reconstituées par application du filtre de synthèse aux signaux en sous-bandes si et s2, par exemple par sommation bandes à bandes (si le banc de filtres d'analyse a opéré en bande de base) : s= si + s2
En référence à la figure 10, la présente invention vise en outre un dispositif DIS pour la mise en œuvre de l'invention. Ce dispositif DIS peut comporter une interface d'entrée IN pour recevoir des signaux ambisoniques x(t). Le dispositif DIS peut comprendre une mémoire MEM pour stocker des instructions d'un programme informatique au sens de l'invention. Les instructions du programme informatique sont des instructions de traitement des signaux ambisoniques x(t). Elles sont mises en œuvre par un processeur P OC, afin de délivrer, via une interface de sortie OUT, des signaux décodés s(t).
Bien entendu, la présente invention ne se limite pas aux formes de réalisation décrites ci-avant à titre d'exemple ; elle s'étend à d'autres variantes.
Typiquement, les plages de fréquences pour lesquelles la représentation ambisonique est valide sont données ci-avant à titre d'exemple et peuvent différer selon la nature du ou des microphones ambisoniques utilisés pour la captation, voire des conditions de captation elles-mêmes.

Claims

Procédé, mis en œuvre par des moyens informatiques, de traitement d'un contenu ambisonique comportant une pluralité de composantes ambisoniques d'une pluralité d'ordres définissant une succession de canaux ambisoniques dans chacun desquels est représentée une composante ambisonique, le procédé comportant :
- un filtrage fréquentiel des composantes ambisoniques dans une pluralité de bandes de fréquences,
- une élaboration d'une matrice (B) de décodage ambisonique,
- un traitement de la matrice (B) de décodage ambisonique pour extraire, par réduction de dimension de matrice, une pluralité de sous-matrices (Bl, B2) de décodage ambisonique chacune associée à un ordre ambisonique et à une bande de fréquences choisie pour cet ordre ambisonique,
des applications respectives des sous-matrices de décodage aux composantes ambisoniques dans chaque bande de fréquences choisie, et une reconstruction bandes-à- bandes des résultats desdites applications respectives, pour délivrer une pluralité de signaux décodés, associés chacun à une source sonore.
Procédé selon la revendication 1, dans lequel chaque sous-matrice est associée à une bande de fréquences choisie en fonction d'un critère de validité des composantes ambisoniques de l'ordre auquel est associée ladite sous-matrice, dans ladite bande de fréquence choisie.
Procédé selon la revendication 2, dans lequel le critère de validité des composantes est défini par des conditions de captation desdites composantes ambisoniques, par au moins un microphone ambisonique.
Procédé selon la revendication 3, comportant :
- une réception de données d'au moins un microphone ambisonique utilisé pour capter lesdites composantes ambisoniques ;
- une détermination des bandes de fréquences choisies pour construire lesdites sous- matrices (Bl, B2), en fonction desdites données de microphone ambisonique.
Procédé selon l'une des revendications précédentes, dans lequel, chaque sous-matrice de décodage ambisonique (Bl, B2) étant associée à un ordre ambisonique et à une bande de fréquences choisie pour cet ordre ambisonique, une bande de fréquences est choisie dans une plage de 100Hz à 10kHz pour l'ordre ambisonique m=l,
une bande de fréquences est choisie dans une plage de 500Hz à 10kHz est choisie pour l'ordre ambisonique m=2,
une bande de fréquences est choisie dans une plage de 2000Hz à 9000Hz est choisie pour l'ordre ambisonique m=3,
une bande de fréquences est choisie dans une plage de 3000Hz à 7000Hz est choisie pour l'ordre ambisonique m=4.
Procédé selon l'une des revendications précédentes, dans lequel le traitement de la matrice (B) de décodage ambisonique comporte :
- une inversion de la matrice élaborée (B) de décodage ambisonique, pour obtenir une matrice (A) de mélange dont :
* les lignes correspondent à des canaux ambisoniques respectifs, et
* les colonnes correspondant à des sources sonores,
- un traitement de la matrice de mélange (A) pour extraire, par réduction de dimension de matrice, une pluralité de sous-matrices de mélange (Al, A2) chacune associée à un ordre ambisonique et à une bande de fréquences choisie, et
- une inversion des sous-matrices de mélange (Al, A2) pour obtenir respectivement lesdites sous-matrices (Bl, B2) de décodage ambisonique.
Procédé selon l'une des revendications précédentes, dans lequel le traitement du contenu ambisonique est mené pour une séparation de source et ladite matrice de décodage (B) est une matrice de séparation aveugle de sources élaborée à partir des composantes ambisoniques (S4A).
Procédé selon la revendication 7, prise en combinaison avec la revendication 2, dans lequel la matrice de séparation (B) est élaborée à partir des composantes ambisoniques filtrées à une bande de fréquences choisie et dans laquelle le nombre de canaux ambisoniques valides selon ledit critère est maximum.
9. Procédé selon l'une des revendications 7 et 8, prises en combinaison avec la revendication 6, comportant en outre une simplification des sous-matrices de mélange (Al, A2) avant leur inversion, par réduction d'un nombre de colonnes de chaque sous-matrice, les colonnes restantes des sous-matrices étant choisies de manière à conserver des signaux de plus grandes énergies après application des sous-matrices de décodage.
10. Procédé selon l'une des revendications 7 à 9, prises en combinaison avec la revendication 6, comportant en outre une simplification des sous-matrices de mélange (Al, A2) avant leur inversion, par réduction d'un nombre de colonnes de chaque sous-matrice, les colonnes restantes des sous-matrices étant choisies de manière à conserver des signaux les moins corrélés après application des sous-matrices de décodage.
11. Procédé selon l'une des revendications 7 à 10, prises en combinaison avec la revendication 6, comportant en outre une simplification des sous-matrices de mélange (Al, A2) avant leur inversion, par réduction d'un nombre de colonnes de chaque sous-matrice, les colonnes restantes des sous-matrices étant choisies de manière à conserver des signaux correspondant à des champs sonores directs après application des sous-matrices de décodage. 12. Procédé selon l'une des revendications 1 à 6, dans lequel le traitement du contenu ambisonique est mené pour une restitution ambisonique sur une pluralité de haut-parleurs et ladite matrice de décodage (B) est une matrice inverse de positions spatiales relatives des haut-parleurs (S4B). 13. Procédé selon l'une des revendications précédentes, comportant, pour un contenu ambisonique (x) décomposé en sous-bandes de fréquences (k), une application de sous- matrices de décodage (Bk), obtenues par :
- Pour chaque ordre ambisonique du contenu, une détermination d'une bande de fréquences sur laquelle ledit ordre respecte un critère de validité prédéterminé d'encodage ambisonique,
- Sur la base desdites bandes de fréquences, une application d'un banc de filtres au contenu ambisonique (x) pour produire une pluralité de signaux en sous-bandes (xk), de dimensions variables correspondant à des canaux ambisoniques valides dans cette sous-bande (k), - Une détermination d'une matrice de décodage (B) de taille maximale dans la bande de fréquence de l'ordre ambisonique maximal et d'une la matrice de mélange associée (A), inverse ou pseudo-inverse de ladite matrice de décodage (B),
- Pour chaque autre bande de fréquences (k), une détermination d'une matrice de mélange (Ak) de taille réduite, sous-matrice de ladite matrice de mélange (A), et d'une sous-matrice de décodage (Bk), inverse ou pseudo-inverse de ladite sous-matrice de mélange (Ak),
- Une reconstruction des signaux séparés pleine-bande (s) par application d'un banc de filtre de synthèse aux signaux séparés (sk) issus de la multiplication desdits signaux (xk) par lesdites matrices (Bk).
14. Programme informatique caractérisé en ce qu'il comporte des instructions pour la mise en œuvre du procédé selon l'une des revendications 1 à 13, lorsque ce programme est exécuté par un processeur. 15. Dispositif informatique comportant :
- une interface d'entrée pour recevoir des signaux de composantes ambisoniques,
- une interface de sortie pour délivrer des signaux décodés, associés chacun à une source sonore,
- et un circuit de traitement configuré pour la mise en œuvre du procédé selon l'une des revendications 1 à 13.
EP17829231.4A 2016-12-21 2017-12-15 Traitement en sous-bandes d'un contenu ambisonique réel pour un décodage perfectionné Active EP3559947B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1663079A FR3060830A1 (fr) 2016-12-21 2016-12-21 Traitement en sous-bandes d'un contenu ambisonique reel pour un decodage perfectionne
PCT/FR2017/053622 WO2018115666A1 (fr) 2016-12-21 2017-12-15 Traitement en sous-bandes d'un contenu ambisonique réel pour un décodage perfectionné

Publications (2)

Publication Number Publication Date
EP3559947A1 true EP3559947A1 (fr) 2019-10-30
EP3559947B1 EP3559947B1 (fr) 2020-09-02

Family

ID=58162877

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17829231.4A Active EP3559947B1 (fr) 2016-12-21 2017-12-15 Traitement en sous-bandes d'un contenu ambisonique réel pour un décodage perfectionné

Country Status (6)

Country Link
US (1) US10687164B2 (fr)
EP (1) EP3559947B1 (fr)
CN (1) CN110301003B (fr)
ES (1) ES2834087T3 (fr)
FR (1) FR3060830A1 (fr)
WO (1) WO2018115666A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201818959D0 (en) * 2018-11-21 2019-01-09 Nokia Technologies Oy Ambience audio representation and associated rendering
SG11202105712QA (en) * 2018-12-07 2021-06-29 Fraunhofer Ges Forschung Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using direct component compensation
FR3096550B1 (fr) * 2019-06-24 2021-06-04 Orange Dispositif de captation sonore à réseau de microphones perfectionné
FR3112016B1 (fr) * 2020-06-30 2023-04-14 Fond B Com Procédé de conversion d’un premier ensemble de signaux représentatifs d’un champ sonore en un second ensemble de signaux et dispositif électronique associé

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2847376B1 (fr) * 2002-11-19 2005-02-04 France Telecom Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
US8290782B2 (en) * 2008-07-24 2012-10-16 Dts, Inc. Compression of audio scale-factors by two-dimensional transformation
WO2010076460A1 (fr) * 2008-12-15 2010-07-08 France Telecom Codage perfectionne de signaux audionumériques multicanaux
EP2469741A1 (fr) * 2010-12-21 2012-06-27 Thomson Licensing Procédé et appareil pour coder et décoder des trames successives d'une représentation d'ambiophonie d'un champ sonore bi et tridimensionnel
EP2592846A1 (fr) * 2011-11-11 2013-05-15 Thomson Licensing Procédé et appareil pour traiter des signaux d'un réseau de microphones sphériques sur une sphère rigide utilisée pour générer une représentation d'ambiophonie du champ sonore
EP2866475A1 (fr) * 2013-10-23 2015-04-29 Thomson Licensing Procédé et appareil pour décoder une représentation du champ acoustique audio pour lecture audio utilisant des configurations 2D
CN104754471A (zh) * 2013-12-30 2015-07-01 华为技术有限公司 基于麦克风阵列的声场处理方法和电子设备
WO2015102452A1 (fr) * 2014-01-03 2015-07-09 Samsung Electronics Co., Ltd. Procédé et appareil de décodage ambiophonique amélioré
US9838819B2 (en) * 2014-07-02 2017-12-05 Qualcomm Incorporated Reducing correlation between higher order ambisonic (HOA) background channels
EP3007167A1 (fr) * 2014-10-10 2016-04-13 Thomson Licensing Procédé et appareil de compression à faible débit binaire d'une représentation d'un signal HOA ambisonique d'ordre supérieur d'un champ acoustique
US9712936B2 (en) * 2015-02-03 2017-07-18 Qualcomm Incorporated Coding higher-order ambisonic audio data with motion stabilization

Also Published As

Publication number Publication date
ES2834087T3 (es) 2021-06-16
CN110301003A (zh) 2019-10-01
FR3060830A1 (fr) 2018-06-22
CN110301003B (zh) 2023-04-21
WO2018115666A1 (fr) 2018-06-28
US10687164B2 (en) 2020-06-16
US20190335291A1 (en) 2019-10-31
EP3559947B1 (fr) 2020-09-02

Similar Documents

Publication Publication Date Title
EP1992198B1 (fr) Optimisation d'une spatialisation sonore binaurale a partir d'un encodage multicanal
EP2374124B1 (fr) Codage perfectionne de signaux audionumériques multicanaux
EP2898707B1 (fr) Calibration optimisee d'un systeme de restitution sonore multi haut-parleurs
EP1600042B1 (fr) Procede de traitement de donnees sonores compressees, pour spatialisation
EP2005420B1 (fr) Dispositif et procede de codage par analyse en composante principale d'un signal audio multi-canal
EP3635718B1 (fr) Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal
EP2002424B1 (fr) Dispositif et procede de codage scalable d'un signal audio multi-canal selon une analyse en composante principale
EP3427260B1 (fr) Codage et décodage optimisé d'informations de spatialisation pour le codage et le décodage paramétrique d'un signal audio multicanal
EP2901718B1 (fr) Procede et systeme de restitution d'un signal audio
EP3559947B1 (fr) Traitement en sous-bandes d'un contenu ambisonique réel pour un décodage perfectionné
EP1999998A1 (fr) Procede de synthese binaurale prenant en compte un effet de salle
FR3090179A1 (fr) Procédé d’interpolation d’un champ sonore, produit programme d’ordinateur et dispositif correspondants.
FR3065137A1 (fr) Procede de spatialisation sonore
EP3025514B1 (fr) Spatialisation sonore avec effet de salle
EP3384688B1 (fr) Décompositions successives de filtres audio
FR3101741A1 (fr) Détermination de corrections à appliquer à un signal audio multicanal, codage et décodage associés
FR2943867A1 (fr) Traitement d'egalisation de composantes spatiales d'un signal audio 3d
EP3449643A1 (fr) Procédé et système de diffusion d'un signal audio à 360°

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190621

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200414

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

GRAL Information related to payment of fee for publishing/printing deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR3

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

GRAR Information related to intention to grant a patent recorded

Free format text: ORIGINAL CODE: EPIDOSNIGR71

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

INTC Intention to grant announced (deleted)
AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

INTG Intention to grant announced

Effective date: 20200727

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1309744

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200915

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602017023022

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201203

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201202

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201202

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20200902

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1309744

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200902

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210104

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210102

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602017023022

Country of ref document: DE

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2834087

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20210616

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

RAP4 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: ORANGE

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

26N No opposition filed

Effective date: 20210603

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20201231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201215

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201231

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200923

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200902

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20250102

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20251126

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20251119

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20251119

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20251119

Year of fee payment: 9