EP4135350A1 - Traitement d'un signal monophonique dans un décodeur audio 3d restituant un contenu binaural - Google Patents

Traitement d'un signal monophonique dans un décodeur audio 3d restituant un contenu binaural Download PDF

Info

Publication number
EP4135350A1
EP4135350A1 EP22197901.6A EP22197901A EP4135350A1 EP 4135350 A1 EP4135350 A1 EP 4135350A1 EP 22197901 A EP22197901 A EP 22197901A EP 4135350 A1 EP4135350 A1 EP 4135350A1
Authority
EP
European Patent Office
Prior art keywords
restitution
signal
processing
binauralization
monophonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22197901.6A
Other languages
German (de)
English (en)
Inventor
Grégory PALLONE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP4135350A1 publication Critical patent/EP4135350A1/fr
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • the present invention relates to the processing of an audio signal in a 3D audio decoding system of standard MPEG-H 3D audio codec type.
  • the invention relates more particularly to the processing of a monophonic signal intended to be reproduced on a headset also receiving binaural audio signals.
  • binaural refers to a reproduction on headphones or a pair of earphones, of a sound signal with nevertheless spatialization effects.
  • a binaural processing of audio signals subsequently called binauralisation or binauralisation processing, uses filters HRTF (for “Head Related Transfer Function” in English) in the frequency domain or HRIR, BRIR (for “Head Related Transfer Function”, “ Binaural Room Impulse Response” in English) in the time domain which reproduce the acoustic transfer functions between the sound sources and the ears of the listener. These filters are used to simulate auditory localization cues that allow a listener to locate sound sources as in a real listening situation.
  • the signal from the right ear is obtained by filtering a monophonic signal by the transfer function (HRTF) of the right ear and the signal from the left ear is obtained by filtering this same monophonic signal by the transfer function of the right ear. left ear.
  • HRTF transfer function
  • NGA Next Generation Audio
  • Next Generation Audio type codecs, such as MPEG-H 3D audio described in the referenced document ISO/IEC 23008-3: “High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio” published on 07/25/2014 or even AC4 described in the document referenced ETSI TS 103 190: “Digital Audio Compression Standard” published in April 2014
  • the signals received at the decoder are initially decoded then undergo processing of binauralization as described above before being played back on headphones.
  • the codecs cited therefore provide for the possibility of reproduction on several virtual loudspeakers by listening to a binauralized signal on headphones, but also provide for the possibility of reproduction on several real loudspeakers, of a sound spatialized.
  • a processing function for tracking the head of the listener (“Head tracking” in English) which will be called dynamic rendering, as opposed to static rendering.
  • This processing makes it possible to take into account the movement of the listener's head to modify the sound reproduction on each ear in order to keep the reproduction of the sound scene stable. In other words, the listener will perceive the sound sources at the same place in the physical space whether he moves or does not move his head.
  • a content producer may want a sound signal to be rendered independently of the sound stage, i.e. to be perceived as a sound apart from the sound stage, for example as in the case of an "OFF" voice.
  • This type of restitution can make it possible, for example, to give explanations on a sound scene that is otherwise restored.
  • the content producer may wish the sound to be reproduced on only one ear to be able to obtain a voluntary "earpiece” type effect, i.e. the sound is only heard with one ear. .
  • This sound remains permanently only on this ear even if the listener moves his head, which is the case in the previous example.
  • the content producer may also want this sound to be reproduced at a precise position in the sound space, relative to the listener's ear (and not just inside a single ear), even if he shakes his head.
  • Such a monophonic signal decoded and placed at the input of a restitution system of an MPEG-H 3D audio or AC4 type codec, will be binauralized.
  • the sound will then be distributed over both ears (even if it will be less loud in the contra-lateral ear) and if the listener moves his head, he will not perceive the sound in the same way on his ear, since the head tracking processing, if implemented, will ensure that the position of the sound source remains the same as in the initial soundstage: depending on the position of the head, the sound will therefore appear louder in the either ear.
  • a “Dichotic” identification is associated with the contents that should not be processed by binauralization.
  • an information bit indicates that a signal is already virtualized. This bit allows the deactivation of post-processing.
  • the contents thus identified are contents already formatted for the audio headset, that is to say in binaural. They have two channels.
  • earpiece This does not make it possible to restore a monophonic signal independently of the sound scene, at a precise position relative to a listener's ear, which will be referred to as “earpiece” mode.
  • earpiece Using state-of-the-art two-channel techniques, one solution would be to create 2-channel content consisting of signal in one channel and silence in the other channel for desired playback on a single ear or to create stereophonic content taking into account the desired spatial position and to identify this content as having already been spatialized before transmitting it.
  • the present invention improves the situation.
  • a process for processing a monophonic audio signal in a 3D audio decoder comprising a step for processing binauralization of the decoded signals intended to be reproduced spatially by an audio headset.
  • the method is such that, upon detection, in a data stream representative of the monophonic signal, of an indication of non-binauralization processing associated with spatial position information of restitution, the decoded monophonic signal is directed directly to a module mixing device comprising a stereophonic rendering engine taking into account the position information to construct two restitution channels processed by a direct mixing stage summing these two channels with a binauralized signal resulting from the binauralization processing, to be reproduced on the headphones .
  • stereophonic signals are characterized by the fact that each sound source is present in each of the 2 output channels (left and right) with a difference in intensity (or ILD for “Interaural Level Difference”) and sometimes in time. (or ITD for “Interaural Time Difference”) between the channels.
  • ILD Interaural Level Difference
  • ITD Interaural Time Difference
  • Binaural signals differ from stereophonic signals in that the sources have a filter applied that replicates the acoustic path from the source to the listener's ear.
  • the sources are perceived outside the head, at a place located on a sphere, depending on the filter used.
  • Stereophonic and binaural signals are similar in that they consist of 2 left and right channels, and are distinguished by the content of these 2 channels.
  • This restored mono signal (for monophonic) is then superimposed on the other restored signals which form a 3D sound scene.
  • bit rate necessary to indicate this type of content is optimized since it suffices to encode only an indication of position in the sound scene in addition to the indication of non-binauralization to inform the decoder of the processing to be carried out, contrary to a method which would require encoding, transmitting and then decoding a stereophonic signal taking this spatial position into account.
  • the restitution spatial position information is binary data indicating a single channel of the restitution audio headphones.
  • This information requires only one coding bit, which further limits the necessary bit rate.
  • the monophonic signal is a signal of the channel type directed towards the mixing module with the spatial position information of restitution.
  • the monophonic signal does not undergo a binauralization processing step and is not processed like the channel type signals usually processed by the methods of the state of the art.
  • This signal is processed by a mixing module comprising a stereophonic rendering engine different from that existing for channel type signals.
  • This rendering engine consists of duplicating the monophonic signal on the 2 channels, by applying factors that are functions of the spatial position information of restitution, on the two channels.
  • This stereophonic rendering engine can also be integrated into the channel rendering engine with differentiated processing according to the detection made for the signal at the input of this rendering engine or to the direct mixing module summing the channels coming from this rendering engine stereophonic to the binauralized signal coming from the binauralization processing module.
  • the information on the spatial position of restitution is data on the interaural difference in sound level of the ILD type or more generally information on the level ratio between the left and right channels.
  • the monophonic signal is an object type signal associated with a set of restitution parameters comprising the non-binauralization indication and the restitution position information, the signal being directed to the mixing module with the restitution spatial position information.
  • the restitution spatial position information is for example an azimuth angle datum.
  • This information makes it possible to give a position of reproduction relative to an ear of the wearer of the audio headset so that this sound is reproduced superimposed on a sound scene.
  • the monophonic signal does not undergo a binauralization processing step and is not processed like the object type signals usually processed by the methods of the state of the art.
  • This signal is processed by a mixing module comprising a stereophonic rendering engine different from that existing for object type signals.
  • the binauralization non-processing indication as well as the restitution position information are included in the restitution parameters (Metadata) associated with the object type signal.
  • This rendering engine can moreover be integrated into the object rendering engine or into the direct mixing module summing the channels coming from this stereophonic rendering engine to the binauralized signal coming from the binauralization processing module.
  • This device has the same advantages as the method described previously, which it implements.
  • the stereophonic rendering engine is integrated into the direct mixing module, it is only at the direct mixing module that the restitution channels are constructed, only the position information then being transmitted with the mono signal to the module. direct mixing.
  • This signal can be channel type or object type.
  • the monophonic signal is a signal of the channel type and the stereophonic rendering engine is integrated with a channel rendering engine which also constructs restitution channels for signals with several channels.
  • the monophonic signal is an object type signal and the stereophonic rendering engine is integrated into an object rendering engine which also constructs restitution channels for monophonic signals associated with sets of restitution parameters.
  • the present invention relates to an audio decoder comprising a processing device as described as well as a computer program comprising code instructions for the implementation of the steps of the processing method as described, when these instructions are executed by a processor.
  • the invention relates to a storage medium, readable by a processor, integrated or not in the processing device, optionally removable, storing a computer program comprising instructions for the execution of the processing method as described previously.
  • Block 101 is a core decoding module which decodes both multichannel audio signals (Ch.) of "channel” type, monophonic audio signals of "object” type (Obj.) associated with parameters of spatialization (“Metadata”) (Obj.MeDa.) and audio signals in Higher Order Ambisonic (HOA) audio format.
  • Ch. multichannel audio signals
  • Obj. monophonic audio signals of "object” type
  • Methodadata parameters of spatialization
  • HOA Higher Order Ambisonic
  • a channel type signal is decoded and processed by a channel renderer 102 (“Channel renderer” in English, also called “Format Converter” in MPEG-H 3D Audio) in order to adapt this channel signal to the audio reproduction system.
  • the channel rendering engine knows the characteristics of the playback system and thus provides a signal per playback channel (Rdr.Ch.) to feed either real loudspeakers or virtual loudspeakers (which will then be binauralized for rendering at the helmet).
  • restitution channels are mixed by the mixing module 110 with other restitution channels from the object rendering engines 103 and HOA 105 described later.
  • Object-type signals are monophonic signals associated with data (“Metadata”) such as spatialization parameters (azimuth angles, elevation) which make it possible to position the monophonic signal in the spatialized sound scene, priority parameters or sound volume settings.
  • Metadata such as spatialization parameters (azimuth angles, elevation) which make it possible to position the monophonic signal in the spatialized sound scene, priority parameters or sound volume settings.
  • object signals are decoded as well as the associated parameters, by the decoding module 101 and are processed by an object rendering engine 103 ("Object Renderer" in English) which, knowing the characteristics of the restitution system, adapts these monophonic signals to these characteristics.
  • the various restitution channels (Rdr.Obj.) thus created are mixed with the other restitution channels from the channel and HOA rendering engines, by the mixing module 110.
  • the signals of the surround type (HOA for "Higher Order Ambisonic” in English) are decoded and the decoded surround components are put at the input of a surround rendering engine 105 ("HOA renderer” in English) to adapt these components to the sound reproduction system.
  • the restitution channels (Rdr .HOA) created by this HOA rendering engine are mixed at 110 with the restitution channels created by the other rendering engines 102 and 103.
  • the signals at the output of the mixing module 110 can be reproduced by real loudspeakers HP located in a reproduction room.
  • the signals at the output of the mixing module can directly supply these real loudspeakers, one channel corresponding to one loudspeaker.
  • the signals at the output of the mixing module are to be reproduced on a CA audio headset, then these signals are processed by a binauralization processing module 120 according to binauralization techniques described for example in the document cited for the MPEG standard -H 3D audio.
  • This method relates to the processing of a monophonic signal in a 3D audio decoder.
  • a step E200 detects whether the data stream (SMo) representative of the monophonic signal (for example the bitstream at the input of the audio decoder) includes an indication of non-binauralization processing associated with information on the spatial position of restitution. Otherwise (N in step E200), the signal must be binauralized. It is processed by a binauralization processing, in step E210, before being reproduced in E240 on an audio reproduction headset. This binauralized signal can be mixed with other stereophonic signals coming from step E220 described below.
  • the signal decoded monophonic is sent to a stereophonic rendering engine to be processed by a step E220.
  • This indication of non-binauralization can be for example, as in the state of the art, a “Dichotic” identification given to the monophonic signal or another identification understood as an instruction not to process the signal by binauralization processing.
  • the spatial position information of restitution can be for example an azimuth angle indicating the position of reproduction of the sound with respect to an ear, right or left, or even an indication of difference in level between the left and right channels as an information of 'ILD allowing to distribute the energy of the monophonic signal between the left and right channels, or even simply the indication of a single channel of restitution, corresponding to the right or left ear. In the latter case, this information is binary information which requires very little bit rate (only 1 bit of information).
  • step E220 the position information is taken into account to construct two playback channels for the two headphones of the audio headset. These two restitution channels thus constructed are processed directly by a direct mixing step E230 summing these two stereophonic channels with the two channels of the binauralized signal resulting from the binauralization processing E210.
  • Each of the stereophonic restitution channels is then summed with the corresponding channel of the binauralized signal.
  • the information on the spatial position of restitution is binary data indicating a single channel of the audio restitution headset
  • the two restitution channels constructed in step E220 by the stereophonic rendering engine consist of one channel comprising the monophonic signal, the other channel being zero, and therefore possibly absent.
  • the listener equipped with the audio headset hears on the one hand, a spatialized sound scene coming from the binauralized signal, this sound scene is heard by him at the same physical place even if he moves his head in the case of a dynamic rendering and on the other hand, a sound positioned inside the head, between an ear and the center of the head, which is superimposed on the sound stage independently, that is to say that if the listener moves the head, this sound will be heard at the same position relative to an ear.
  • This sound is therefore perceived superimposed on the other binauralized sounds of the sound stage, and will act for example as an “OFF” voice to this sound stage.
  • FIG. 3 illustrates a first embodiment of a decoder comprising a processing device implementing the processing method described with reference to figure 2 .
  • the monophonic signal processed by the method implemented is a channel type signal (Ch.).
  • Object type (obj.) and HOA type (HOA) signals are processed in the same way by the respective blocks 303, 304 and 305 as the blocks 103, 104 and 105 described with reference to the figure 1 .
  • mixing block 310 performs mixing as described for block 110 of the figure 1 .
  • the block 330 receiving the channel-type signals processes a monophonic signal comprising a non-binauralization indication (Di.) associated with restitution spatial position information (Pos.) differently than another signal not comprising this information, in especially a multi-channel signal. For these signals not including this information, they are processed by block 302 in the same way as block 102 described with reference to figure 1 .
  • Mi. non-binauralization indication
  • Pos. restitution spatial position information
  • the block 330 acts as a router or switch and directs the decoded monophonic signal (Mo.) to a stereophonic rendering engine 331.
  • This stereophonic rendering engine also receives, from the decoding module, the restitution spatial position information (Pos.). With this information, it constructs two restitution channels (2 Vo.), corresponding to the left and right channels of the restitution audio headphones, so that these channels are restored on the CA audio headphones.
  • the restitution spatial position cue is interaural sound level difference cue between the left and right channels. This information makes it possible to define a factor to be applied to each of the restitution channels in order to respect this spatial position of restitution.
  • these playback channels are added to the channels of a binauralized signal coming from the binauralization module 320 which performs binauralization processing in the same way as the block 120 of the figure 1 .
  • This channel summing step is performed by the direct mixing module 340 which sums the left channel from the stereophonic rendering engine 331 to the left channel of the binauralized signal from the binauralization processing module 320 and the right channel from the of stereophonic rendering 331 to the right channel of the binauralized signal from the binauralization processing module 320, before restitution on the headphones CA.
  • the monophonic signal does not pass through the binauralization processing module 320, it is transmitted directly to the stereophonic rendering engine 331 before being mixed directly with a binauralized signal.
  • This signal will therefore not undergo head tracking processing either.
  • the sound reproduced will therefore be at a reproduction position relative to an ear of the listener and will remain at this position even if the listener moves his head.
  • the stereophonic rendering engine 331 can be integrated into the channel rendering engine 302.
  • this channel rendering engine implements both the adaptation of the conventional channel type signals, as described in there figure 1 and the construction of the two rendering channels of the rendering engine 331 as explained above by receiving the rendering spatial position information (Pos.). Only the two restitution channels are then redirected to the direct mixing module 340 before restitution on the audio headphones CA.
  • the stereophonic rendering engine 331 is integrated into the direct mixing module 340.
  • the routing module 330 directs the decoded monophonic signal (for which the indication of non-binauralization has been detected and the restitution spatial position information) to the direct mixing module 340.
  • the decoded restitution spatial position information (Pos.) is also transmitted to the direct mixing module 340.
  • This mixing module direct then comprising the stereophonic rendering engine, implements the construction of the two restitution channels taking into account the spatial position information of restitution as well as the mixing of these two restitution channels with the restitution channels of a binauralized signal from the binauralization processing module 320.
  • FIG 4 illustrates a second embodiment of a decoder comprising a processing device implementing the processing method described with reference to figure 2 .
  • the monophonic signal processed by the method implemented is an object type signal (Obj.).
  • Channel-type (Ch.) and HOA-type (HOA) signals are processed in the same way by respective blocks 402 and 405 as blocks 102 and 105 described with reference to figure 1 .
  • mixing block 410 performs mixing as described for block 110 of the figure 1 .
  • the block 430 receiving the object type signals (Obj.) processes a monophonic signal differently for which an indication of non-binauralization (Di.) has been detected associated with restitution spatial position information (Pos.) than a other monophonic signal for which this information has not been detected.
  • block 430 acts as a router or switch and directs the decoded monophonic signal (Mo.) to a stereophonic rendering engine 431.
  • the non-binauralization indication (Di.) as well as the restitution spatial position information (Pos.) are decoded by the decoding block 404 of the metadata or parameters associated with the object type signals.
  • the indication of non-binauralization (Di.) is transmitted to the routing block 430 and the spatial position information of restitution is transmitted to the stereophonic rendering engine 431.
  • This stereophonic rendering engine thus receiving the restitution spatial position information (Pos.), constructs two restitution channels, corresponding to the left and right channels of the audio restitution headphones, so that these channels are restored on the audio headphones CA.
  • the restitution spatial position information is azimuth angle information defining an angle between the desired restitution position and the center of the listener's head.
  • This information makes it possible to define a factor to be applied to each of the restitution channels in order to respect this spatial position of restitution.
  • the gain factors for the left and right channels can be calculated as presented in the document titled “Virtual Sound Source Positioning Using Vector Base Amplitude Panning” by Ville Pulkki in J. Audio Eng. Soc., Vol.45, No.6, June 1997 .
  • g1 and g2 are the factors for the left and right channel signals
  • O is the angle between the frontal direction and the object (named azimuth)
  • H is the angle between the frontal direction and the position of the top- virtual loudspeaker (corresponding to the half-angle between the loudspeakers), fixed for example at 45°.
  • these playback channels are added to the channels of a binauralized signal coming from the binauralization module 420 which performs binauralization processing in the same way as block 120 of the figure 1 .
  • This channel summing step is carried out by the direct mixing module 440 which sums the left channel coming from the stereophonic rendering engine 431 to the left channel of the binauralized signal coming from the binauralization processing module 420 and the right channel coming from the stereophonic rendering 431 to the right channel of the binauralized signal coming from the binauralization processing module 420, before restitution on the headphones CA.
  • the monophonic signal does not pass through the binauralization processing module 420, it is transmitted directly to the stereophonic rendering engine 431 before being mixed directly with a binauralized signal.
  • This signal will therefore not undergo head tracking processing either.
  • the sound reproduced will therefore be at a reproduction position relative to an ear of the listener and will remain at this position even if the listener moves his head.
  • the stereophonic rendering engine 431 can be integrated into the object rendering engine 403.
  • this object rendering engine implements both the adaptation of conventional object type signals, as described in there figure 1 and the construction of the two restitution channels of the rendering engine 431 as explained above by receiving the restitution spatial position information (Pos.) from the decoding module 404 of the parameters. Only the two restitution channels (2Vo.) are then redirected to the direct mixing module 440 before restitution on the audio headphones CA.
  • the stereophonic rendering engine 431 is integrated into the direct mixing module 440.
  • the routing module 430 directs the decoded monophonic signal (Mo.) (for which the indication non-binauralization and the restitution spatial position information) to the direct mixing module 440.
  • the decoded restitution spatial position information (Pos.) is also transmitted to the direct mixing module 440 by the parameter decoding module 404.
  • This direct mixing module then comprising the stereophonic rendering engine, implements the construction of the two restitution channels taking into account the spatial position information of restitution as well as the mixing of these two channels restitution with the restitution channels of a binauralized signal coming from the binauralization processing module 420.
  • FIG. 5 now illustrates an example of a hardware embodiment of a processing device capable of implementing the processing method according to the invention.
  • the device DIS comprises a storage space 530, for example a memory MEM, a processing unit 520 comprising a processor PROC, controlled by a computer program Pg, stored in the memory 530 and implementing the processing method according to the invention .
  • the computer program Pg comprises code instructions for implementing the steps of the processing method within the meaning of the invention, when these instructions are executed by the processor PROC, and in particular, upon detection, in a data stream representative of the monophonic signal, of an indication of non-binauralization processing associated with spatial position information of restitution, a step of directing the decoded monophonic signal towards a stereophonic rendering engine taking into account the position information to construct two channels restitution processed directly by a direct mixing step summing these two channels with a binauralized signal resulting from the binauralization processing, to be reproduced on the headphones.
  • the description of the picture 2 repeats the steps of an algorithm of such a computer program.
  • the program code instructions Pg are for example loaded into a RAM memory (not shown) before being executed by the processor PROC of the processing unit 520.
  • the program instructions can be stored on a storage medium such as flash memory, hard disk or any other non-transitory storage medium.
  • the device DIS comprises a reception module 510 capable of receiving a data stream SMo representative in particular of a monophonic signal. It comprises a detection module 540 capable of detecting, in this data stream, an indication of non-binauralization processing associated with restitution spatial position information. It comprises a direction module 550, in the case of a positive detection by the detection module 540, of the decoded monophonic signal towards a stereophonic rendering engine 560, the stereophonic rendering engine 560 being capable of taking into account the information of position to build two restitution lanes.
  • the device DIS also includes a direct mixing module 570 able to directly process the two restitution channels by summing them with the two channels of a binauralized signal coming from a binaural processing module.
  • the restitution channels thus obtained are transmitted to an audio headset CA via an output module 560, to be restored.
  • module can correspond to a software component as well as to a hardware component or a set of hardware and software components, a software component itself corresponding to one or more computer programs or subroutines or more generally to any element of a program capable of implementing a function or a set of functions as described for the modules concerned.
  • a hardware component corresponds to any element of a hardware assembly (or hardware) able to implement a function or a set of functions for the module concerned (integrated circuit, smart card, memory card, etc.)
  • the device can be integrated into an audio decoder as described in picture 3 Or 4 and can be integrated for example into multimedia equipment of the living room decoder type, "set top box” or audio or video content player. They can also be integrated into communication equipment of the mobile telephone or communication gateway type.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

L'invention se rapporte à un procédé de traitement d'un signal monophonique audio dans un décodeur audio 3D comportant une étape de traitement de binauralisation des signaux décodés destinés à être restitué spatialement par un casque audio. Le procédé est tel que, à la détection (E200), dans un flux de données représentatif du signal monophonique, d'une indication de non-traitement de binauralisation associée à une information de position spatiale de restitution, le signal monophonique décodé est dirigé (O-E200) directement vers un module de mixage comportant un moteur de rendu stéréophonique prenant en compte l'information de position pour construire deux voies de restitution (E220) traitées directement par une étape de mixage direct (E230) sommant ces deux voies avec un signal binauralisé issu du traitement de binauralisation, pour être restitué (E240) sur le casque audio.L'invention se rapporte également à un dispositif et décodeur mettant en oeuvre le procédé de traitement.

Description

  • La présente invention se rapporte au traitement d'un signal audio dans un système de décodage audio 3D de type codec normalisé MPEG-H 3D audio. L'invention se rapporte plus particulièrement au traitement d'un signal monophonique destiné à être restitué sur un casque recevant par ailleurs des signaux audio binauraux.
  • Le terme binaural vise une restitution sur casque audio ou paire d'écouteurs, d'un signal sonore avec néanmoins des effets de spatialisation. Un traitement binaural de signaux audio, appelé par la suite binauralisation ou traitement de binauralisation, utilise des filtres HRTF (pour « Head Related Transfert Function » en anglais) dans le domaine fréquentiel ou HRIR, BRIR (Pour « Head Related Transfert Function », « Binaural Room Impulse Response » en anglais) dans le domaine temporel qui reproduisent les fonctions de transfert acoustiques entre les sources sonores et les oreilles de l'auditeur. Ces filtres servent à simuler des indices de localisation auditive qui permettent à un auditeur de localiser les sources sonores comme en situation d'écoute réelle.
  • Le signal de l'oreille droite est obtenu en filtrant un signal monophonique par la fonction de transfert (HRTF) de l'oreille droite et le signal de l'oreille gauche est obtenu en filtrant ce même signal monophonique par la fonction de transfert de l'oreille gauche.
  • Dans les codecs de type NGA (pour « Next Generation Audio » en anglais), tels que MPEG-H 3D audio décrit dans le document référencé ISO/IEC 23008-3 : « High efficiency coding and media delivery in heterogeneous environments - Part 3 :3D audio » publié le 25/07/2014 ou encore AC4 décrit dans le document référencé ETSI TS 103 190 : « Digital Audio Compression Standard » publié en Avril 2014, les signaux reçus au décodeur sont dans un premier temps décodés puis subissent un traitement de binauralisation tel que décrit ci-dessus avant d'être restitués sur un casque audio. On s'intéresse ici au cas de la restitution sur casque audio, avec son spatialisé, c'est-à-dire à un signal binauralisé.
  • Les codecs cités prévoient donc la possibilité d'une restitution sur plusieurs des haut-parleurs virtuels grâce à l'écoute d'un signal binauralisé sur casque mais prévoient également la possibilité d'une restitution sur plusieurs haut-parleurs réels, d'un son spatialisé.
  • Dans certains cas, est associée avec le traitement de binauralisation, une fonction de traitement de suivi de la tête de l'auditeur (« Head tracking » en anglais) que l'on nommera rendu dynamique, par opposition au rendu statique. Ce traitement permet de prendre en compte le mouvement de la tête de l'auditeur pour modifier la restitution sonore sur chaque oreille afin de garder la restitution de la scène sonore stable. En d'autres termes, l'auditeur percevra les sources sonores au même endroit dans l'espace physique s'il bouge ou s'il ne bouge pas la tête.
  • Ceci peut être important pour la visualisation et l'écoute associée d'un contenu vidéo 360°.
  • Cependant, pour certains contenus, il n'est pas souhaitable qu'ils soient traités par ce type de traitement. En effet, dans certains cas, lorsque le contenu a été créé spécifiquement pour un rendu binaural, par exemple si les signaux ont été enregistrés directement par une tête artificielle ou déjà traités par un traitement de binauralisation, alors ils doivent être restitués directement sur les écouteurs du casque. Ces signaux ne nécessitent pas de traitement de binauralisation supplémentaire.
  • De même, un producteur de contenu peut souhaiter qu'un signal sonore soit restitué de façon indépendante de la scène sonore, c'est-à-dire qu'il soit perçu comme un son à part de la scène sonore, par exemple comme dans le cas d'une voix « OFF ».
  • Ce type de restitution peut permettre par exemple de donner des explications sur une scène sonore par ailleurs restituée. Par exemple, le producteur de contenu peut souhaiter que le son soit restitué sur une seule oreille pour pouvoir obtenir un effet volontaire de type « oreillette », c'est-à-dire que le son n'est entendu que d'une seule oreille. On peut souhaiter également que ce son reste en permanence uniquement sur cette oreille même si l'auditeur bouge sa tête, ce qui est le cas dans l'exemple précédent. Le producteur de contenu peut également souhaiter que ce son soit restitué à une position précise dans l'espace sonore, par rapport à une oreille de l'auditeur (et pas uniquement à l'intérieur d'une seule oreille) et ce, même s'il bouge la tête.
  • Un tel signal monophonique décodé et mis en entrée d'un système de restitution d'un codec de type MPEG-H 3D audio ou AC4, sera binauralisé. Le son sera alors réparti sur les deux oreilles (même s'il sera moins fort dans l'oreille contra-latérale) et si l'auditeur bouge sa tête, il ne percevra pas le son de la même façon sur son oreille, puisque le traitement de suivi de la tête, s'il est mis en oeuvre, fera en sorte que la position de la source sonore reste la même que dans la scène sonore initiale : selon la position de la tête, le son apparaitra donc plus fort dans l'une ou l'autre des oreilles.
  • Dans une proposition de modification du codec MPEG-H 3D audio, une contribution référencée « ISO/IEC JTC1/SC29/WG11 MPEG2015/M37265 » d'Octobre 2015 propose d'identifier les contenus qui ne doivent pas être altérés par la binauralisation.
  • Ainsi, une identification « Dichotic » est associée aux contenus ne devant pas être traités par binauralisation.
  • Tous les éléments audio seront alors binauralisés sauf ceux référencés « Dichotic ». « Dichotic » signifie que l'on a un signal différent sur chacune des oreilles.
  • De la même façon, dans la norme AC4, un bit d'information indique qu'un signal est déjà virtualisé. Ce bit permet la désactivation du post-traitement. Les contenus ainsi identifiés sont des contenus déjà formatés pour le casque audio, c'est à dire en binaural. Ils comportent deux canaux.
  • Ces méthodes ne traitent pas du cas d'un signal monophonique pour lequel, le producteur de la scène sonore ne désire pas de binauralisation.
  • Ceci ne permet pas de restituer un signal monophonique de façon indépendante de la scène sonore, à une position précise par rapport à une oreille d'un auditeur qu'on appellera en mode « oreillette ». En utilisant les techniques de l'état de l'art à deux canaux, une solution serait de créer un contenu à 2 canaux constitué d'un signal dans une des voies et d'un silence dans l'autre voie pour une restitution souhaitée sur une seule oreille ou bien de créer un contenu stéréophonique prenant en compte la position spatiale souhaitée et d'identifier ce contenu comme ayant déjà été spatialisé avant de le transmettre.
  • Cependant ce type de traitement crée de la complexité par la création de ce contenu stéréophonique et demande un débit supplémentaire de transmission de ce contenu stéréophonique.
  • Il existe donc un besoin d'offrir une solution qui permette de faire transiter un signal qui sera restitué à une position précise par rapport à une oreille d'un porteur de casque audio de façon indépendante d'une scène sonore restituée par ce même casque, tout en optimisant le débit du codec utilisé.
  • La présente invention vient améliorer la situation.
  • Elle propose à cet effet, un procédé de traitement d'un signal monophonique audio dans un décodeur audio 3D comportant une étape de traitement de binauralisation des signaux décodés destinés à être restitué spatialement par un casque audio. Le procédé est tel que, à la détection, dans un flux de données représentatif du signal monophonique, d'une indication de non-traitement de binauralisation associée à une information de position spatiale de restitution, le signal monophonique décodé est dirigé directement vers un module de mixage comportant un moteur de rendu stéréophonique prenant en compte l'information de position pour construire deux voies de restitution traitées par une étape de mixage direct sommant ces deux voies avec un signal binauralisé issu du traitement de binauralisation, pour être restitué sur le casque audio.
  • Ainsi, il est possible de spécifier qu'un contenu monophonique doit être restitué à une position spatiale précise par rapport à une oreille d'un auditeur et qu'il ne subisse pas de traitement de binauralisation de façon à ce que ce signal restitué puisse avoir un effet « oreillette », c'est-à-dire qu'il soit entendu par l'auditeur à une position déterminée par rapport à une oreille, à l'intérieur de la tête de la même façon qu'un signal stéréophonique et ceci même si la tête de l'auditeur bouge.
  • En effet, les signaux stéréophoniques sont caractérisés par le fait que chaque source sonore se trouve présente dans chacune des 2 voies de sortie (gauche et droite) avec une différence d'intensité (ou ILD pour « Interaural Level Différence ») et parfois de temps (ou ITD pour « Interaural Time Différence ») entre les voies. Lors d'une écoute au casque d'un signal stéréophonique, les sources sont perçues à l'intérieur de la tête, à un endroit se situant entre l'oreille gauche et l'oreille droite, dépendant de l'ILD et/ou de l'ITD. Les signaux binauraux s'opposent aux signaux stéréophoniques en ce que les sources se voient appliquer un filtre reproduisant le trajet acoustique de la source à l'oreille de l'auditeur. Lors d'une écoute au casque d'un signal binaural, les sources sont perçues en dehors de la tête, à un endroit se situant sur une sphère, dépendant du filtre utilisé.
  • Les signaux stéréophoniques et binauraux se rapprochent en ce qu'ils sont constitués de 2 voies gauche et droite, et se distinguent par le contenu de ces 2 voies.
  • Ce signal mono (pour monophonique) restitué vient alors en superposition aux autres signaux restitués qui forment une scène sonore 3D.
  • Le débit nécessaire pour indiquer ce type de contenu est optimisé puisqu'il ne suffit de coder qu'une indication de position dans la scène sonore en plus de l'indication de non-binauralisation pour informer le décodeur du traitement à effectuer, contrairement à une méthode qui nécessiterait d'encoder, transmettre puis décoder un signal stéréophonique prenant en compte cette position spatiale.
  • Les différents modes particuliers de réalisation mentionnés ci-après peuvent être ajoutés indépendamment ou en combinaison les uns avec les autres, aux étapes du procédé de traitement défini ci-dessus.
  • Dans un mode de réalisation particulier, l'information de position spatiale de restitution est une donnée binaire indiquant une seule voie du casque audio de restitution.
  • Cette information ne nécessite qu'un bit de codage, ce qui permet encore de restreindre le débit nécessaire.
  • Dans ce mode de réalisation, seule la voie de restitution correspondant à la voie indiquée par la donnée binaire est sommée à la voie correspondante du signal binauralisé à l'étape de mixage direct, l'autre voie de restitution étant de valeur nulle.
  • La sommation ainsi effectuée est simple à mettre en oeuvre et apporte l'effet « oreillette » désiré, de superposition du signal mono à la scène sonore restituée.
  • Dans un mode de réalisation particulier, le signal monophonique est un signal de type canal dirigé vers le module de mixage avec l'information de position spatiale de restitution.
  • Ainsi, le signal monophonique ne subit pas d'étape de traitement de binauralisation et n'est pas traité comme les signaux de type canal habituellement traités par les méthodes de l'état de l'art. Ce signal est traité par un module de mixage comportant un moteur de rendu stéréophonique différent de celui existant pour les signaux de type canal. Ce moteur de rendu consiste à dupliquer le signal monophonique sur les 2 voies, en appliquant des facteurs fonctions de l'information de position spatiale de restitution, sur les deux canaux.
  • Ce moteur de rendu stéréophonique peut par ailleurs être intégré au moteur de rendu canal avec un traitement différencié selon la détection faite pour le signal à l'entrée de ce moteur de rendu ou au module de mixage direct sommant les voies issues de ce moteur de rendu stéréophonique au signal binauralisé issu du module de traitement de binauralisation.
  • Dans un mode de réalisation lié au signal de type canal, l'information de position spatiale de restitution est une donnée de différence interaurale de niveau sonore de type ILD ou plus généralement une information de rapport de niveau entre les voies gauche et droite.
  • Dans un autre mode de réalisation, le signal monophonique est un signal de type objet associé à un ensemble de paramètres de restitution comprenant l'indication de non-binauralisation et l'information de position de restitution, le signal étant dirigé vers le module de mixage avec l'information de position spatiale de restitution.
  • Dans cet autre mode de réalisation, l'information de position spatiale de restitution est par exemple une donnée d'angle azimut.
  • Cette information permet de donner une position de restitution par rapport à une oreille du porteur du casque audio de façon à ce que ce son soit restitué en superposition d'une scène sonore.
  • Ainsi, le signal monophonique ne subit pas d'étape de traitement de binauralisation et n'est pas traité comme les signaux de type objet habituellement traités par les méthodes de l'état de l'art. Ce signal est traité par un module de mixage comportant un moteur de rendu stéréophonique différent de celui existant pour les signaux de type objet. L'indication de non-traitement de binauralisation ainsi que l'information de position de restitution sont comprises dans les paramètres de restitution (Métadata) associés au signal de type objet. Ce moteur de rendu peut par ailleurs être intégré au moteur de rendu objet ou au module de mixage direct sommant les voies issues de ce moteur de rendu stéréophonique au signal binauralisé issu du module de traitement de binauralisation.
  • La présente invention se rapporte aussi à un dispositif de traitement d'un signal monophonique audio comportant un module de traitement de binauralisation de signaux décodés destinés à être restitués spatialement par un casque audio. Ce dispositif est tel qu'il comporte :
    • un module de détection apte à détecter, dans un flux de données représentatif du signal monophonique, une indication de non-traitement de binauralisation associée à une information de position spatiale de restitution ;
    • un module de redirection, dans le cas d'une détection positive par le module de détection, apte à diriger le signal monophonique vers un module de mixage;
    • un module de mixage comportant un moteur de rendu stéréophonique apte à prendre en compte l'information de position pour construire deux voies de restitution, le module de mixage étant apte à traiter directement les deux voies de restitution en les sommant avec un signal binauralisé issu du module de traitement de binauralisation, pour être restitué sur le casque audio.
  • Ce dispositif présente les mêmes avantages que le procédé décrit précédemment, qu'il met en oeuvre.
  • Le moteur de rendu stéréophonique étant intégré dans le module de mixage direct, ce n'est qu'au module de mixage direct que les voies de restitution sont construites, seule l'information de position étant alors transmise avec le signal mono jusqu'au module de mixage direct. Ce signal peut être de type canal ou de type objet.
  • Dans un mode de réalisation, le signal monophonique est un signal de type canal et le moteur de rendu stéréophonique est intégré à un moteur de rendu canal construisant par ailleurs des voies de restitution pour des signaux à plusieurs canaux.
  • Dans un autre mode de réalisation, le signal monophonique est un signal de type objet et le moteur de rendu stéréophonique est intégré à un moteur de rendu objet construisant par ailleurs des voies de restitution pour des signaux monophoniques associées à des ensembles de paramètres de restitution.
  • La présente invention vise un décodeur audio comportant un dispositif de traitement tel que décrit ainsi qu'un programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé de traitement tel que décrit, lorsque ces instructions sont exécutées par un processeur.
  • Enfin l'invention se rapporte à un support de stockage, lisible par un processeur, intégré ou non au dispositif de traitement, éventuellement amovible, mémorisant un programme informatique comportant des instructions pour l'exécution du procédé de traitement tel que décrit précédemment.
  • D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante, donnée uniquement à titre d'exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels :
    • la figure 1 illustre un décodeur de type MPEG-H 3D audio tel qu'il existe dans l'état de l'art ;
    • La figure 2 illustre les étapes d'un procédé de traitement selon un mode de réalisation de l'invention ;
    • la figure 3 illustre un décodeur comportant un dispositif de traitement selon un premier mode de réalisation de l'invention ;
    • la figure 4 illustre un décodeur comportant un dispositif de traitement selon un deuxième mode de réalisation de l'invention ; et
    • la figure 5 illustre une représentation matérielle d'un dispositif de traitement selon un mode de réalisation de l'invention.
  • La figure 1 illustre schématiquement un décodeur tel que normalisé dans la norme MPEG-H 3D audio selon le document référencé ci-dessus. Le bloc 101 est un module de décodage cœur qui décode à la fois des signaux audio multicanaux (Ch.) de type « canal », des signaux audio monophoniques de type « objet » (Obj.) associés à des paramètres de spatialisation (« Metadata ») (Obj.MeDa.) et des signaux audio en format audio ambiophonique d'ordre supérieur (HOA) (HOA pour « Higher Order Ambisonic » en anglais).
  • Un signal de type canal est décodé et traité par un moteur de rendu canal 102 (« Channel renderer » en anglais, encore appelé « Format Converter » dans MPEG-H 3D Audio) afin d'adapter ce signal canal au système de restitution audio. Le moteur de rendu canal connait les caractéristiques du système de restitution et fournit ainsi un signal par voie de restitution (Rdr.Ch.) pour alimenter soit des haut-parleurs réels soit des haut-parleurs virtuels (qui seront alors binauralisés pour un rendu au casque).
  • Ces voies de restitutions sont mixées par le module de mixage 110, à d'autres voies de restitutions issues des moteurs de rendu objet 103 et HOA 105 décrits ultérieurement.
  • Les signaux de type objet (Obj.) sont des signaux monophoniques associés à des données (« Metadata ») comme des paramètres de spatialisation (angles azimut, élévation) qui permettent de positionner le signal monophonique dans la scène sonore spatialisée, des paramètres de priorité ou des paramètres de volume sonore. Ces signaux objet sont décodés ainsi que les paramètres associés, par le module de décodage 101 et sont traités par un moteur de rendu objet 103 (« Object Renderer » en anglais) qui, connaissant les caractéristiques du système de restitution, adapte ces signaux monophoniques à ces caractéristiques. Les différentes voies de restitution (Rdr.Obj.) ainsi créées sont mixées avec les autres voies de restitution issues des moteurs de rendu canal et HOA, par le module de mixage 110.
  • De la même façon, les signaux de type ambiophonique (HOA pour «Higher Order Ambisonic » en anglais) sont décodés et les composantes ambiophoniques décodées sont mis en entrée d'un moteur de rendu ambiophonique 105 (« HOA renderer » en anglais) pour adapter ces composantes au système de restitution sonore.
  • Les voies de restitution (Rdr .HOA) créées par ce moteur de rendu HOA sont mixées en 110 avec les voies de restitution crées par les autres moteurs de rendu 102 et 103.
  • Les signaux à la sortie du module de mixage 110 peuvent être restitués par des hauts parleurs réels HP situés dans une pièce de restitution. Dans ce cas, les signaux en sortie du module de mixage peuvent alimenter directement ces haut-parleurs réels, une voie correspondant à un haut-parleur.
  • Dans le cas où les signaux en sortie du module de mixage sont à restituer sur un casque audio CA, alors ces signaux sont traités par un module de traitement de binauralisation 120 selon des techniques de binauralisation décrits par exemple dans le document cité pour la norme MPEG-H 3D audio.
  • Ainsi, tous les signaux destinés à être restitués sur un casque audio, sont traités par le module de traitement de binauralisation 120.
  • La figure 2 décrit à présent les étapes d'un procédé de traitement selon un mode de réalisation de l'invention.
  • Ce procédé concerne le traitement d'un signal monophonique dans un décodeur audio 3D. Une étape E200 détecte si le flux de données (SMo) représentatif du signal monophonique (par exemple le bitstream à l'entrée du décodeur audio) comporte une indication de non-traitement de binauralisation associée à une information de position spatiale de restitution. Dans le cas contraire (N à l'étape E200), le signal doit être binauralisé. Il est traité par un traitement de binauralisation, à l'étape E210, avant d'être restitué en E240 sur un casque audio de restitution. Ce signal binauralisé peut être mixé avec d'autres signaux stéréophoniques issus de l'étape E220 décrite ci-dessous.
  • Dans le cas où le le flux de données représentatif du signal monophonique comporte à la fois une indication de non-binauralisation (Di.) et une information de position spatiale de restitution (Pos.) (O à l'étape E200), le signal monophonique décodé est dirigé vers un moteur de rendu stéréophonique pour être traité par une étape E220.
  • Cette indication de non-binauralisation peut être par exemple comme dans l'état de l'art, une identification « Dichotic » donnée au signal monophonique ou une autre identification comprise comme une instruction de ne pas traiter le signal par un traitement de binauralisation. L'information de position spatiale de restitution peut être par exemple un angle azimut indiquant la position de restitution du son par rapport à une oreille, droite ou gauche, ou encore une indication de différence de niveau entre les voies gauche et droite comme une information d'ILD permettant de répartir l'énergie du signal monophonique entre les voies gauche et droite, ou encore simplement l'indication d'une seule voie de restitution, correspondant à l'oreille droite ou gauche. Dans ce dernier cas, cette information est une information binaire qui ne nécessite que très peu de débit (1 seul bit d'information).
  • A l'étape E220, l'information de position est prise en compte pour construire deux voies de restitution pour les deux écouteurs du casque audio. Ces deux voies de restitution ainsi construites sont traitées directement par une étape de mixage direct E230 sommant ces deux voies stéréophoniques avec les deux voies du signal binauralisé issues du traitement de binauralisation E210.
  • Chacune des voies de restitution stéréophonique est alors sommée avec la voie correspondante du signal binauralisé.
  • Suite à cette étape de mixage direct, les deux voies de restitution issues de l'étape de mixage E230 sont restituées en E240 sur le casque audio CA.
  • Dans un mode de réalisation où l'information de position spatiale de restitution est une donnée binaire indiquant une seule voie du casque audio de restitution, cela veut dire que le signal monophonique doit être restitué uniquement sur un écouteur de ce casque. Les deux voies de restitution construites à l'étape E220 par le moteur de rendu stéréophonique sont constituées d'une voie comportant le signal monophonique, l'autre voie étant nulle, et donc possiblement absente.
  • A l'étape de mixage direct E230, une seule voie est donc sommée avec la voie correspondante du signal binauralisé, l'autre voie étant nulle. Cette étape de mixage est donc simplifiée.
  • Ainsi, l'auditeur muni du casque audio entend d'une part, une scène sonore spatialisée provenant du signal binauralisé, cette scène sonore est entendue par lui au même endroit physique même s'il bouge la tête dans le cas d'un rendu dynamique et d'autre part, un son positionné à l'intérieur de la tête, entre une oreille et le centre de la tête, qui se superpose à la scène sonore de façon indépendante, c'est-à-dire que si l'auditeur bouge la tête, ce son sera entendu à la même position par rapport à une oreille.
  • Ce son est donc perçu en superposition des autres sons binauralisés de la scène sonore, et agira par exemple comme une voix « OFF » à cette scène sonore.
  • L'effet « oreillette » est alors réalisé.
  • La figure 3 illustre un premier mode de réalisation d'un décodeur comportant un dispositif de traitement mettant en oeuvre le procédé de traitement décrit en référence à la figure 2. Dans cet exemple de réalisation, le signal monophonique traité par le procédé mis en oeuvre est un signal de type canal (Ch.).
  • Les signaux de type objet (obj.) et de type HOA (HOA) sont traités de la même façon par les blocs respectifs 303, 304 et 305 que les blocs 103, 104 et 105 décrits en référence à la figure 1. De la même façon, le bloc de mixage 310 effectue un mixage tel que décrit pour le bloc 110 de la figure 1.
  • Le bloc 330 recevant les signaux de type canal traite différemment un signal monophonique comportant une indication de non-binauralisation (Di.) associée à une information de position spatiale de restitution (Pos.) qu'un autre signal ne comportant pas ces informations, en particulier un signal multicanal. Pour ces signaux ne comportant pas ces informations, ils sont traités par le bloc 302 de la même façon que le bloc 102 décrit en référence à la figure 1.
  • Pour un signal monophonique comportant l'indication de non-binauralisation associée à une information de position spatiale de restitution, le bloc 330 agit comme un routeur ou interrupteur et dirige le signal monophonique décodé (Mo.) vers un moteur de rendu stéréophonique 331. Ce moteur de rendu stéréophonique reçoit par ailleurs, du module de décodage, l'information de position spatiale de restitution (Pos.). Avec cette information, il construit deux voies de restitution (2 Vo.), correspondants aux voies gauche et droite du casque audio de restitution, pour que ces voies soient restituées sur le casque audio CA.
  • Dans un exemple de réalisation, l'information de position spatiale de restitution est une information de différence interaurale de niveau sonore entre les voies gauche et droite. Cette information permet de définir un facteur à appliquer à chacune des voies de restitution pour respecter cette position spatiale de restitution.
  • La définition de ces facteurs peut s'effectuer comme dans le document référencé MPEG-2 AAC: ISO/IEC 13818-4:2004/DCOR 2, AAC dans la section 7.2 décrivant l'intensité stéréo.
  • Avant d'être restituées sur le casque audio, ces voies de restitution sont ajoutées aux voies d'un signal binauralisé issu du module de binauralisation 320 qui effectue un traitement de binauralisation de la même façon que le bloc 120 de la figure 1.
  • Cette étape de sommation des voies s'effectue par le module de mixage direct 340 qui somme la voie gauche issue du moteur de rendu stéréophonique 331 à la voie gauche du signal binauralisé issu du module de traitement de binauralisation 320 et la voie droite issue du moteur de rendu stéréophonique 331 à la voie droite du signal binauralisé issu du module de traitement de binauralisation 320, avant la restitution sur le casque CA.
  • Ainsi, le signal monophonique ne passe pas par le module de traitement de binauralisation 320, il est transmis directement au moteur de rendu stéréophonique 331 avant d'être mixé directement à un signal binauralisé.
  • Ce signal ne subira donc pas non plus de traitement de suivi de la tête. Le son restitué sera donc à une position de restitution par rapport à une oreille de l'auditeur et restera à cette position même si l'auditeur bouge sa tête.
  • Dans ce mode de réalisation, le moteur de rendu stéréophonique 331 peut être intégré au moteur de rendu canal 302. Dans ce cas, ce moteur de rendu canal met en oeuvre à la fois l'adaptation des signaux de type canal classiques, comme décrit à la figure 1 et la construction des deux voies de restitution du moteur de rendu 331 comme expliqué ci-dessus en recevant l'information de position spatiale de restitution (Pos.). Seules les deux voies de restitution sont alors redirigées vers le module de mixage direct 340 avant restitution sur le casque audio CA.
  • Dans une variante de réalisation, le moteur de rendu stéréophonique 331 est intégré au module de mixage direct 340. Dans ce cas, le module de routage 330, dirige le signal monophonique décodé (pour lequel il a été détecté l'indication de non-binauralisation et l'information de position spatiale de restitution) vers le module de mixage direct 340. D'autre part, l'information de position spatiale de restitution (Pos.) décodée est transmise également au module de mixage direct 340. Ce module de mixage direct comportant alors le moteur de rendu stéréophonique, met en oeuvre la construction des deux voies de restitution prenant en compte l'information de position spatiale de restitution ainsi que le mixage de ces deux voies de restitution avec les voies de restitution d'un signal binauralisé issu du module de traitement de binauralisation 320.
  • La figure 4 illustre un deuxième mode de réalisation d'un décodeur comportant un dispositif de traitement mettant en oeuvre le procédé de traitement décrit en référence à la figure 2. Dans cet exemple de réalisation, le signal monophonique traité par le procédé mis en oeuvre est un signal de type objet (Obj.).
  • Les signaux de type canal (Ch.) et de type HOA (HOA) sont traités de la même façon par les blocs respectifs 402 et 405 que les blocs 102 et 105 décrits en référence à la figure 1. De la même façon, le bloc de mixage 410 effectue un mixage tel que décrit pour le bloc 110 de la figure 1.
  • Le bloc 430 recevant les signaux de type objet (Obj.) traite différemment un signal monophonique pour lequel il a été détecté une indication de non-binauralisation (Di.) associée à une information de position spatiale de restitution (Pos.) qu'un autre signal monophonique pour lequel ces informations n'ont pas été détectées.
  • Pour ces signaux monophoniques pour lequel ces informations n'ont pas été détectés, ils sont traités par le bloc 403 de la même façon que le bloc 103 décrit en référence à la figure 1 en utilisant les paramètres décodés du bloc 404 décodant les Metadata de la même façon que le bloc 104 de la figure 1.
  • Pour un signal monophonique de type objet pour lequel il a été détecté l'indication de non-binauralisation associée à une information de position spatiale de restitution, le bloc 430 agit comme un routeur ou interrupteur et dirige le signal monophonique décodé (Mo.) vers un moteur de rendu stéréophonique 431.
  • L'indication de non-binauralisation (Di.) ainsi que l'information de position spatiale de restitution (Pos.) sont décodées par le bloc de décodage 404 des metadata ou paramètres associés aux signaux de type objet. L'indication de non-binauralisation (Di.) est transmise au bloc de routage 430 et l'information de position spatiale de restitution est transmise au moteur de rendu stéréophonique 431.
  • Ce moteur de rendu stéréophonique recevant ainsi l'information de position spatiale de restitution (Pos.), construit deux voies de restitution, correspondants aux voies gauche et droite du casque audio de restitution, pour que ces voies soient restituées sur le casque audio CA.
  • Dans un exemple de réalisation, l'information de position spatiale de restitution est une information d'angle azimut définissant un angle entre la position de restitution voulue et le centre de la tête de l'auditeur.
  • Cette information permet de définir un facteur à appliquer à chacune des voies de restitution pour respecter cette position spatiale de restitution.
  • Les facteurs de gains pour les voies gauche et droite peuvent être calculés de la manière présentée dans le document intitulé « Virtual Sound Source Positioning Using Vector Base Amplitude Panning » de Ville Pulkki dans J. Audio Eng. Soc., Vol.45, No.6, de Juin 1997.
  • Par exemple, les facteurs de gain du moteur de rendu stéréophonique peuvent être donnés par: g 1 = cosO .sinH + sinO .cosH / 2 . cosH .sinH
    Figure imgb0001
     g 2 = cosO . sinH − sinO . cosH / 2 . cosH . sinH
    Figure imgb0002
  • Où g1 et g2 correspondent aux facteurs pour les signaux des voies gauche et droite, O est l'angle entre la direction frontale et l'objet (nommé azimut), et H est l'angle entre la direction frontale et la position du haut-parleur virtuel (correspondant au demi-angle entre les haut-parleurs), fixé par exemple à 45°.
  • Avant d'être restituées sur le casque audio, ces voies de restitution sont ajoutées aux voies d'un signal binauralisé issu du module de binauralisation 420 qui effectue un traitement de binauralisation de la même façon que le bloc 120 de la figure 1.
  • Cette étape de sommation des voies s'effectue par le module de mixage direct 440 qui somme la voie gauche issue du moteur de rendu stéréophonique 431 à la voie gauche du signal binauralisé issu du module de traitement de binauralisation 420 et la voie droite issue du moteur de rendu stéréophonique 431 à la voie droite du signal binauralisé issu du module de traitement de binauralisation 420, avant la restitution sur le casque CA.
  • Ainsi, le signal monophonique ne passe pas par le module de traitement de binauralisation 420, il est transmis directement au moteur de rendu stéréophonique 431 avant d'être mixé directement à un signal binauralisé.
  • Ce signal ne subira donc pas non plus de traitement de suivi de la tête. Le son restitué sera donc à une position de restitution par rapport à une oreille de l'auditeur et restera à cette position même si l'auditeur bouge sa tête.
  • Dans ce mode de réalisation, le moteur de rendu stéréophonique 431 peut être intégré au moteur de rendu objet 403. Dans ce cas, ce moteur de rendu objet met en oeuvre à la fois l'adaptation des signaux de type objet classiques, comme décrit à la figure 1 et la construction des deux voies de restitution du moteur de rendu 431 comme expliqué ci-dessus en recevant l'information de position spatiale de restitution (Pos.) du module de décodage 404 des paramètres. Seules les deux voies de restitution (2Vo.) sont alors redirigées vers le module de mixage direct 440 avant restitution sur le casque audio CA.
  • Dans une variante de réalisation, le moteur de rendu stéréophonique 431 est intégré au module de mixage direct 440. Dans ce cas, le module de routage 430, dirige le signal monophonique décodé (Mo.) (pour lequel il a été détecté l'indication de non-binauralisation et l'information de position spatiale de restitution) vers le module de mixage direct 440. D'autre part, l'information de position spatiale de restitution (Pos.) décodée est transmise également au module de mixage direct 440 par le module de décodage des paramètres 404. Ce module de mixage direct comportant alors le moteur de rendu stéréophonique, met en oeuvre la construction des deux voies de restitution prenant en compte l'information de position spatiale de restitution ainsi que le mixage de ces deux voies de restitution avec les voies de restitution d'un signal binauralisé issu du module de traitement de binauralisation 420.
  • La figure 5 illustre à présent un exemple de réalisation matérielle d'un dispositif de traitement apte à mettre en oeuvre le procédé de traitement selon l'invention.
  • Le dispositif DIS comporte un espace de stockage 530, par exemple une mémoire MEM, une unité de traitement 520 comportant un processeur PROC, piloté par un programme informatique Pg, stocké dans la mémoire 530 et mettant en oeuvre le procédé de traitement selon l'invention.
  • Le programme informatique Pg comporte des instructions de code pour la mise en oeuvre des étapes du procédé de traitement au sens de l'invention, lorsque ces instructions sont exécutées par le processeur PROC, et notamment, à la détection, dans un flux de données représentatif du signal monophonique, d'une indication de non-traitement de binauralisation associée à une information de position spatiale de restitution, une étape de direction du signal monophonique décodé vers un moteur de rendu stéréophonique prenant en compte l'information de position pour construire deux voies de restitution traitées directement par une étape de mixage direct sommant ces deux voies avec un signal binauralisé issu du traitement de binauralisation, pour être restitué sur le casque audio.
  • Typiquement, la description de la figure 2 reprend les étapes d'un algorithme d'un tel programme informatique.
  • A l'initialisation, les instructions de code du programme Pg sont par exemple chargées dans une mémoire RAM (non représentée) avant d'être exécutées par le processeur PROC de l'unité de traitement 520. Les instructions de programme peuvent être mémorisées sur un support de stockage tel qu'une mémoire flash, un disque dur ou tout autre support de stockage non-transitoire.
  • Le dispositif DIS comporte un module de réception 510 apte à recevoir un flux de données SMo représentatif notamment d'un signal monophonique. Il comprend un module de détection 540 apte à détecter, dans ce flux de données, une indication de non-traitement de binauralisation associée à une information de position spatiale de restitution. Il comprend un module de direction 550, dans le cas d'une détection positive par le module de détection 540, du signal monophonique décodé vers un moteur de rendu stéréophonique 560, le moteur de rendu stéréophonique 560 étant apte à prendre en compte l'information de position pour construire deux voies de restitution.
  • Le dispositif DIS comporte également un module de mixage direct 570 apte à traiter directement les deux voies de restitution en les sommant avec les deux voies d'un signal binauralisé issu d'un module de traitement de binauralisation. Les voies de restitution ainsi obtenues sont transmises à un casque audio CA via un module de sortie 560, pour être restituées.
  • Ces différents modules sont tels que décrits en référence aux figures 3 et 4 selon les modes de réalisation.
  • Le terme module peut correspondre aussi bien à un composant logiciel qu'à un composant matériel ou un ensemble de composants matériels et logiciels, un composant logiciel correspondant lui-même à un ou plusieurs programmes ou sous-programmes d'ordinateur ou de manière plus générale à tout élément d'un programme apte à mettre en oeuvre une fonction ou un ensemble de fonctions telles que décrites pour les modules concernés. De la même manière, un composant matériel correspond à tout élément d'un ensemble matériel (ou hardware) apte à mettre en œuvre une fonction ou un ensemble de fonctions pour le module concerné (circuit intégré, carte à puce, carte à mémoire, etc.)
  • Le dispositif peut être intégré dans un décodeur audio tel que décrit en figure 3 ou 4 et peut être intégré par exemple dans des équipements multimédia de type décodeur de salon, "set top box" ou lecteur de contenu audio ou vidéo. Ils peuvent également être intégré dans des équipements de communication de type téléphone mobile ou passerelle de communication.

Claims (13)

  1. Procédé de traitement d'un signal monophonique audio dans un décodeur audio 3D comportant une étape de traitement de binauralisation des signaux décodés destinés à être restitué spatialement par un casque audio, caractérisé en ce que,
    à la détection (E200), dans un flux de données représentatif du signal monophonique, d'une indication de non-traitement de binauralisation associée à une information de position spatiale de restitution, le signal monophonique décodé est dirigé (O-E200) directement vers un module de mixage comportant un moteur de rendu stéréophonique prenant en compte l'information de position pour construire deux voies de restitution (E220) traitées directement par une étape de mixage direct (E230) sommant ces deux voies avec un signal binauralisé issu du traitement de binauralisation, pour être restitué (E240) sur le casque audio.
  2. Procédé selon la revendication 1, dans lequel l'information de position spatiale de restitution est une donnée binaire indiquant une seule voie du casque audio de restitution.
  3. Procédé selon la revendication 2, dans lequel seule la voie de restitution correspondant à la voie indiquée par la donnée binaire est sommée à la voie correspondante du signal binauralisé à l'étape de mixage direct, l'autre voie de restitution étant de valeur nulle.
  4. Procédé selon la revendication 1, dans lequel le signal monophonique est un signal de type canal dirigé vers le moteur de rendu stéréophonique, avec l'information de position spatiale de restitution.
  5. Procédé selon la revendication 4, dans lequel l'information de position spatiale de restitution est une donnée de différence interaurale de niveau sonore (ILD).
  6. Procédé selon la revendication 1, dans lequel le signal monophonique est un signal de type objet associé à un ensemble de paramètres de restitution comprenant l'indication de non-binauralisation et l'information de position de restitution, le signal étant dirigé vers le module de mixage avec l'information de position de restitution.
  7. Procédé selon la revendication 6, dans lequel l'information de position spatiale de restitution est une donnée d'angle azimut.
  8. Dispositif de traitement d'un signal monophonique audio comportant un module de traitement de binauralisation de signaux décodés destinés à être restitués spatialement par un casque audio, caractérisé en ce qu'il comporte :
    - un module de détection (330 ;430) apte à détecter, dans un flux de données représentatif du signal monophonique, une indication de non-traitement de binauralisation associée à une information de position spatiale de restitution ;
    - un module de redirection (330, 430), dans le cas d'une détection positive par le module de détection, apte à diriger le signal monophonique décodé directement vers un module de mixage;
    - un module de mixage (340 ; 440) comportant un moteur de rendu stéréophonique (331 ; 431) apte à prendre en compte l'information de position pour construire deux voies de restitution, le module de mixage étant apte à traiter directement les deux voies de restitution en les sommant avec un signal binauralisé issu du module de traitement de binauralisation (320 ; 420), pour être restitué sur le casque audio.
  9. Dispositif selon la revendication 8, dans lequel le signal monophonique est un signal de type canal et dans lequel le moteur de rendu stéréophonique est intégré à un moteur de rendu canal construisant par ailleurs des voies de restitution pour des signaux à plusieurs canaux.
  10. Dispositif selon la revendication 8, dans lequel le signal monophonique est un signal de type objet et dans lequel le moteur de rendu stéréophonique est intégré à un moteur de rendu objet construisant par ailleurs des voies de restitution pour des signaux monophoniques associées à des ensembles de paramètres de restitution.
  11. Décodeur audio comportant un dispositif de traitement selon l'une des revendications 8 à 10.
  12. Programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé de traitement selon l'une des revendications 1 à 7, lorsque ces instructions sont exécutées par un processeur.
  13. Support de stockage, lisible par un processeur, mémorisant un programme informatique comportant des instructions pour l'exécution du procédé de traitement selon l'une des revendications 1 à 7.
EP22197901.6A 2017-12-19 2018-12-07 Traitement d'un signal monophonique dans un décodeur audio 3d restituant un contenu binaural Pending EP4135350A1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1762478A FR3075443A1 (fr) 2017-12-19 2017-12-19 Traitement d'un signal monophonique dans un decodeur audio 3d restituant un contenu binaural
PCT/FR2018/053161 WO2019122580A1 (fr) 2017-12-19 2018-12-07 Traitement d'un signal monophonique dans un décodeur audio 3d restituant un contenu binaural
EP18833274.6A EP3729832B1 (fr) 2017-12-19 2018-12-07 Traitement d'un signal monophonique dans un décodeur audio 3d restituant un contenu binaural

Related Parent Applications (2)

Application Number Title Priority Date Filing Date
EP18833274.6A Division EP3729832B1 (fr) 2017-12-19 2018-12-07 Traitement d'un signal monophonique dans un décodeur audio 3d restituant un contenu binaural
EP18833274.6A Division-Into EP3729832B1 (fr) 2017-12-19 2018-12-07 Traitement d'un signal monophonique dans un décodeur audio 3d restituant un contenu binaural

Publications (1)

Publication Number Publication Date
EP4135350A1 true EP4135350A1 (fr) 2023-02-15

Family

ID=62222744

Family Applications (2)

Application Number Title Priority Date Filing Date
EP18833274.6A Active EP3729832B1 (fr) 2017-12-19 2018-12-07 Traitement d'un signal monophonique dans un décodeur audio 3d restituant un contenu binaural
EP22197901.6A Pending EP4135350A1 (fr) 2017-12-19 2018-12-07 Traitement d'un signal monophonique dans un décodeur audio 3d restituant un contenu binaural

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP18833274.6A Active EP3729832B1 (fr) 2017-12-19 2018-12-07 Traitement d'un signal monophonique dans un décodeur audio 3d restituant un contenu binaural

Country Status (10)

Country Link
US (1) US11176951B2 (fr)
EP (2) EP3729832B1 (fr)
JP (2) JP7279049B2 (fr)
KR (1) KR102555789B1 (fr)
CN (1) CN111492674B (fr)
BR (1) BR112020012071A2 (fr)
ES (1) ES2986617T3 (fr)
FR (1) FR3075443A1 (fr)
PL (1) PL3729832T3 (fr)
WO (1) WO2019122580A1 (fr)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3075443A1 (fr) 2017-12-19 2019-06-21 Orange Traitement d'un signal monophonique dans un decodeur audio 3d restituant un contenu binaural
WO2021034983A2 (fr) * 2019-08-19 2021-02-25 Dolby Laboratories Licensing Corporation Orientation de la binauralisation de l'audio
JP7661742B2 (ja) * 2021-03-29 2025-04-15 ヤマハ株式会社 オーディオミキサ及び音響信号の処理方法
TW202348047A (zh) * 2022-03-31 2023-12-01 瑞典商都比國際公司 用於沉浸式3自由度/6自由度音訊呈現的方法和系統
WO2024212118A1 (fr) * 2023-04-11 2024-10-17 北京小米移动软件有限公司 Procédé et appareil de traitement de signal de flux de code audio, dispositif électronique et support de stockage

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020147586A1 (en) * 2001-01-29 2002-10-10 Hewlett-Packard Company Audio annoucements with range indications
US20160266865A1 (en) * 2013-10-31 2016-09-15 Dolby Laboratories Licensing Corporation Binaural rendering for headphones using metadata processing
US20160300577A1 (en) * 2015-04-08 2016-10-13 Dolby International Ab Rendering of Audio Content

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09327100A (ja) * 1996-06-06 1997-12-16 Matsushita Electric Ind Co Ltd ヘッドホン再生装置
US20090299756A1 (en) * 2004-03-01 2009-12-03 Dolby Laboratories Licensing Corporation Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
KR100754220B1 (ko) * 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
CN101690269A (zh) * 2007-06-26 2010-03-31 皇家飞利浦电子股份有限公司 双耳的面向对象的音频解码器
ES2592416T3 (es) * 2008-07-17 2016-11-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Esquema de codificación/decodificación de audio que tiene una derivación conmutable
TWI475896B (zh) * 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
WO2010085083A2 (fr) * 2009-01-20 2010-07-29 Lg Electronics Inc. Appareil de traitement d'un signal audio et son procédé
WO2010122455A1 (fr) * 2009-04-21 2010-10-28 Koninklijke Philips Electronics N.V. Synthèse de signal audio
WO2010149700A1 (fr) * 2009-06-24 2010-12-29 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Décodeur de signal audio, procédé de décodage de signal audio et programme d'ordinateur utilisant des étapes de traitement en cascade d'objets audio
FR3075443A1 (fr) 2017-12-19 2019-06-21 Orange Traitement d'un signal monophonique dans un decodeur audio 3d restituant un contenu binaural

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020147586A1 (en) * 2001-01-29 2002-10-10 Hewlett-Packard Company Audio annoucements with range indications
US20160266865A1 (en) * 2013-10-31 2016-09-15 Dolby Laboratories Licensing Corporation Binaural rendering for headphones using metadata processing
US20160300577A1 (en) * 2015-04-08 2016-10-13 Dolby International Ab Rendering of Audio Content

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Digital Audio Compression Standard", ETSI TS 103 190, April 2014 (2014-04-01)
"High efficiency coding and media delivery in heterogeneous environments - Part 3 :3D audio", ISO/IEC 23008-3, 25 July 2014 (2014-07-25)
VILLE PULKKI: "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", J. AUDIO ENG. SOC., vol. 45, no. 6, June 1997 (1997-06-01)

Also Published As

Publication number Publication date
CN111492674B (zh) 2022-03-15
JP7279049B2 (ja) 2023-05-22
FR3075443A1 (fr) 2019-06-21
WO2019122580A1 (fr) 2019-06-27
US20210012782A1 (en) 2021-01-14
BR112020012071A2 (pt) 2020-11-24
KR20200100664A (ko) 2020-08-26
ES2986617T3 (es) 2024-11-12
EP3729832A1 (fr) 2020-10-28
EP3729832C0 (fr) 2024-06-26
CN111492674A (zh) 2020-08-04
JP2021508195A (ja) 2021-02-25
EP3729832B1 (fr) 2024-06-26
PL3729832T3 (pl) 2024-11-04
JP2023099599A (ja) 2023-07-13
KR102555789B1 (ko) 2023-07-13
US11176951B2 (en) 2021-11-16
JP7639053B2 (ja) 2025-03-04
RU2020121890A (ru) 2022-01-04

Similar Documents

Publication Publication Date Title
EP3729832B1 (fr) Traitement d'un signal monophonique dans un décodeur audio 3d restituant un contenu binaural
US10440496B2 (en) Spatial audio processing emphasizing sound sources close to a focal distance
EP2042001B1 (fr) Spatialisation binaurale de donnees sonores encodees en compression
WO2011045506A1 (fr) Traitement de donnees sonores encodees dans un domaine de sous-bandes
FR2790634A1 (fr) Procede de synthese d'un champ sonore tridimensionnel
US12035127B2 (en) Spatial audio capture, transmission and reproduction
EP3741139A1 (fr) Lecture audio spatiale associée
US12432516B2 (en) Method and system for spatially rendering three-dimensional (3D) scenes
EP3603076B1 (fr) Procédé de sélection d'au moins une partie d'image à télécharger par anticipation pour restituer un flux audiovisuel
FR3011373A1 (fr) Terminal portable d'ecoute haute-fidelite personnalisee
CN114631332B (zh) 比特流中音频效果元数据的信令
RU2779295C2 (ru) Обработка монофонического сигнала в декодере 3d-аудио, предоставляющая бинауральный информационный материал
FR3040253B1 (fr) Procede de mesure de filtres phrtf d'un auditeur, cabine pour la mise en oeuvre du procede, et procedes permettant d'aboutir a la restitution d'une bande sonore multicanal personnalisee
EP3108670B1 (fr) Procédé et dispositif de restitution d'un signal audio multicanal dans une zone d'écoute
WO2006075079A1 (fr) Procede d’encodage de pistes audio d’un contenu multimedia destine a une diffusion sur terminaux mobiles

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AC Divisional application: reference to earlier application

Ref document number: 3729832

Country of ref document: EP

Kind code of ref document: P

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230807

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20241206