EP3484185B1 - Modelisation d'ensemble de fonctions de transferts acoustiques propre a un individu, carte son tridimensionnel et systeme de reproduction sonore tridimensionnelle - Google Patents

Modelisation d'ensemble de fonctions de transferts acoustiques propre a un individu, carte son tridimensionnel et systeme de reproduction sonore tridimensionnelle Download PDF

Info

Publication number
EP3484185B1
EP3484185B1 EP18000887.2A EP18000887A EP3484185B1 EP 3484185 B1 EP3484185 B1 EP 3484185B1 EP 18000887 A EP18000887 A EP 18000887A EP 3484185 B1 EP3484185 B1 EP 3484185B1
Authority
EP
European Patent Office
Prior art keywords
transfer functions
acoustic transfer
individual
given direction
stimuli
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP18000887.2A
Other languages
German (de)
English (en)
Other versions
EP3484185A1 (fr
Inventor
Rozenn Nicol
Julian MOREIRA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP3484185A1 publication Critical patent/EP3484185A1/fr
Application granted granted Critical
Publication of EP3484185B1 publication Critical patent/EP3484185B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3023Estimation of noise, e.g. on error signals
    • G10K2210/30232Transfer functions, e.g. impulse response
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3055Transfer function of the acoustic system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • the invention concerns the modeling of individual acoustic transfer functions, relating to the hearing of an individual in three-dimensional space.
  • the invention falls in particular in the context of services, in particular navigation services using spatialized sound, telecommunications services offering spatialized sound broadcasting (for example an audio conference between several speakers, a broadcasting of a video such as 'a cinema trailer, a game%), etc.
  • telecommunications terminals particularly mobile ones, sound reproduction with a stereophonic headset is envisaged.
  • An effective technique for positioning sound sources in space is binaural synthesis.
  • Binaural synthesis is based on the use of filters, called “binaural", which reproduce the acoustic transfer functions between the sound source and the ears of the listener. These filters are used to simulate the auditory localization indices, indices which allow a listener to locate sound sources in a real listening situation. These filters take into account all acoustic phenomena (notably diffraction from the head, reflections on the pinna of the ear and the upper torso) which modify the acoustic wave as it travels between the source and the listener's ears. These phenomena vary greatly with the position of the sound source (mainly with its direction) and these variations allow the listener to locate the source in space.
  • these variations determine a sort of acoustic coding of the position of the source.
  • An individual's hearing system knows, through learning, how to interpret this coding to locate sound sources.
  • Quality binaural synthesis is therefore based on binaural filters which best reproduce the acoustic coding that the listener's body naturally produces, taking into account the individual specificities of their morphology.
  • This individualization is required to offer satisfactory and convincing listening quality (quality of spatialization and sound immersion in particular).
  • a deterioration in binaural rendering performance is observed: it results in particular in an intracranial perception of sources and front/rear confusions (sources located at the front are perceived at the rear and vice versa). versa).
  • binaural filters represent acoustic transfer functions also called HRTFs (for “Head Related Transfer Functions”) which model the transformations generated by the listener's torso, head and pinna on the signal coming from a sound source.
  • HRTFs Head Related Transfer Functions
  • Each sound source position is associated with a pair of individual acoustic transfer functions (an individual acoustic transfer function for the right ear, an individual acoustic transfer function for the left ear).
  • individual acoustic transfer functions carry the acoustic imprint of the morphology of the individual on whom they were measured. Individual acoustic transfer functions therefore depend not only on the direction of the sound, but also on the individual. They are thus a function of the frequency f, the position ( ⁇ , ⁇ ) of the sound source (where the angle ⁇ represents the azimuth and the angle ⁇ the elevation), of the ear (left or right) and the individual.
  • individual acoustic transfer functions are obtained by measurement. Initially, a selection of directions, which more or less finely cover the entire space surrounding the listener, is fixed. For each direction, the individual left and right acoustic transfer functions are measured using microphones inserted at the entrance to a subject's ear canal. The measurement must be carried out in an anechoic chamber (or “deaf chamber” ) . Ultimately, if M directions are measured, for a given subject, a database of 2M acoustic transfer functions representing each position in space for each ear is obtained. The experimental measurement of individual acoustic transfer functions directly on an individual is, at present, the most reliable solution for obtaining quality binaural filters that are truly individualized (taking into account the individual specificities of the individual's morphology). .
  • databases of acoustic transfer functions have been created. They were measured on a panel of individuals and allow a selection of a pair of binaural filters from the database by various techniques, such as a comparison between the morphology of the listener and the morphologies of the panel of individuals having been used to generate the database, by testing different pairs of binaural filters from the database by the listener.
  • the method of selecting a pair of binaural filters from a database lacks reliability and robustness and can be quite tedious for the user.
  • the American patent application US 20170238111 also concerns the selection of HRTF functions no longer based on a selection by the listener of the best immersive experience but following a determination of the best localization precision of the test sound by an HRTF function processing device.
  • the processing device selecting the HRTF functions and combining them in the boundary zones also lacks reliability and robustness because the HRTF function is not perfectly adapted to the listener since it is simply selected from stored HRFT functions, and for border zones, simply resulting from the combination of two selected HRTF functions. And, modeling HRTF functions can be quite tedious for the user since he must test all the stored HRTF functions so that the processing device determines those which provide the most precision.
  • the American patent application US 2017238111 discloses a device for combining a set of transfer functions linked to the head, comprising a switching unit adapted to switch the transfer function linked to the head used to emit a directional sound among a set of transfer functions linked to the head head.
  • One of the aims of the present invention is to propose an alternative solution providing improvements compared to the state of the art.
  • An object of the invention is a method for modeling sets of acoustic transfer functions specific to an individual in a multiplicity of spatial directions according to claim 1.
  • the invention is more reliable and more robust than a simple selection of a set of acoustic transfer functions in a database and overcomes the disadvantage of the critical acquisition of the 3D mesh of the individual morphology used by the classical numerical modeling.
  • the modeling method comprises a statistical analysis by direction of the space of the stimuli emitted and the responses received for the given direction of the multiplicity of directions of the space.
  • several stimuli are generated as a function of at least one set of predetermined acoustic transfer functions associated with the given direction.
  • a stimulus results from the addition of noise to a set of average acoustic transfer functions associated with the given direction calculated based on sets of acoustic transfer functions recorded in a database of acoustic transfer functions and associated with the given direction.
  • the generation of stimuli being based on a set of acoustic transfer functions, it makes it possible to simplify the modeling of the acoustic transfer function specific to an individual based on this same acoustic transfer function used to generate the stimuli.
  • the divergence between the set of acoustic transfer functions used for modeling and the set of acoustic transfer functions specific to the individual is less significant due to the use of average acoustic transfer functions rather than selection arbitrary of an acoustic transfer function reducing modeling errors. Consequently, the modeling is less complex and less time-consuming because it compensates for a smaller divergence.
  • the statistical analysis uses the psychophysical inverse correlation technique.
  • the modeling of the set of acoustic transfer functions specific to the individual is based on perception reducing the risks of intracranial perception and directional confusion.
  • the different steps of the method according to the invention are implemented by software or computer program, this software comprising software instructions intended to be executed by a data processor of a device forming part of a terminal, such as a communications terminal, and being designed to control the execution of the different stages of this method.
  • the invention therefore also relates to a program comprising program code instructions for executing the steps of the modeling method according to any one of the preceding claims when said program is executed by a processor.
  • This program may use any programming language and be in the form of source code, object code or intermediate code between source code and object code such as in partially compiled form or in any other desirable form.
  • An object of the invention is also a modeler of sets of acoustic transfer functions specific to an individual following a multiplicity of spatial directions according to claim 8.
  • the modeler includes a statistical analyzer of the stimuli emitted and the responses received by given direction of the multiplicity of directions.
  • Another object of the invention is a three-dimensional sound card according to claim 11.
  • An object of the invention is also a three-dimensional sound reproduction system according to claim 12.
  • the system comprises a headset on which the two speakers of the set of speakers are arranged such that each of the two speakers is placed on one of the two ears of the individual when the headset is placed on its head, and in that the set of acoustic transfer functions is a pair of corresponding transfer functions.
  • FIG. 1 illustrates a simplified diagram of a method for modeling a set of individual acoustic transfer functions according to the invention.
  • the process of modeling sets of acoustic transfer functions TFI_MD is specific to an individual following a multiplicity of spatial directions.
  • This TFI_MD modeling process includes a TFI_DT determination of a set of acoustic transfer functions (tf 1,di U , ⁇ tf N,di U ) specific to an individual U in a given direction di of the multiplicity of directions in function of the result r di U of a statistical analysis of several distinct stimuli ⁇ (s 1,di j , ⁇ s N,di j )) ⁇ j emitted to the individual U, and responses (s j ,di U ⁇ J received from the individual U at each stimulus emitted.
  • a stimulus is a function of at least one set of predetermined acoustic transfer functions associated with the given direction.
  • direction of space associated with an acoustic transfer function is understood in particular a direction relative to the user in which a virtual source is created by means of modeling.
  • the TFI_MD modeling method includes a statistical analysis ST_NLZ by direction di of the space of the stimuli emitted (s 1.dl ...S N.di ) and of the responses a dl U received.
  • a stimulus s 1,di l ... s N,di j results from the addition + of noise n j to a set of average acoustic transfer functions avg ⁇ tf 1,di k ⁇ k ... avg ⁇ tf N,di k ⁇ k associated with the given direction di calculated according to sets of acoustic transfer functions recorded in a database of acoustic transfer functions tf_bdd and associated with the given direction.
  • average acoustic transfer functions an average acoustic transfer function per reproduction channel, particularly in the case of binaural synthesis: an average acoustic transfer function for the right ear and an average acoustic transfer function for the right ear. left ear of user U.
  • the ST_NLZ statistical analysis uses the psychophysical inverse correlation technique. It is based on high-level observation of perceptual processes and is based on a test phase during which the TFI_MD modeling process subjects the individual to a set of stimuli obtained by adding noise to a neutral stimulus (for example an average of acoustic transfer functions) and observes the responses of the individual U to these different stimuli.
  • a neutral stimulus for example an average of acoustic transfer functions
  • the modeling process is based on perception to identify the acoustic transfer functions specific to an individual.
  • Modeling frontal sound sources (0° azimuth and 0° elevation direction) is particularly critical.
  • the use of generic binaural filters for such modeling results in a spatialization of sound sources that is often disappointing: the listener tends to locate the source above, or even inside, the head.
  • a pair of neutral binaural filters i.e. a set of so-called neutral acoustic transfer functions
  • a pair of neutral binaural filters is calculated by averaging AVG several sets of measured HRTF acoustic transfer functions in the frontal direction for a large selection of individuals constituting a panel (possibly pre-recorded in a database of sets of acoustic transfer functions tf_bdd).
  • a set of spatialized stimuli synthesized S_GN with binaural filters obtained by adding + noise n f to the pair of neutral filters is broadcast S_TR to the listener, that is to say the individual U for whom the TFLMO modeling process determines the custom acoustic transfer function set.
  • the addition of noise concerns the spectral profile.
  • the listener U For each stimulus emitted, the listener U indicates whether he perceives it correctly spatialized (that is to say in the direction di that the TFI_MD modeling attempts to reproduce, in this case the frontal direction and outside of head) or not. This indication from listener U constitutes the response A_REC received during TFI_MD modeling.
  • the ST_NLZ analysis of the statistical relationships between the stimuli and the author's responses makes it possible to determine TFI_DT the spectral profile adapted to the listener U and guaranteeing the correct reproduction of sounds in the modeled direction di, in this case the frontal direction .
  • This TFI_MD modeling process can be applied to any other direction.
  • a particular embodiment of the modeling method is a program comprising program code instructions for executing the steps of the modeling method when said program is executed by a processor.
  • FIG. 2 illustrates a simplified diagram of a modeler of a set of individual acoustic transfer functions according to the invention.
  • the modeler 100 of sets of acoustic transfer functions specific to an individual following a multiplicity of directions of space specific to an individual following a multiplicity of directions of space comprises a generator 1004 of sets of acoustic transfer functions specific to an individual in a given direction of the multiplicity of directions from the result of a statistical analysis of several distinct stimuli emitted to the individual, a stimulus being a function of at least one set of predetermined acoustic transfer functions associated with the given direction, and responses received from the individual to each stimulus emitted.
  • the modeler 100 includes a statistical analyzer 1003 of the stimuli emitted and the responses received by given direction of the multiplicity of directions.
  • the modeler 100 includes a stimulus generator 1000 providing, for a given direction di, several (j) sets of stimuli (s 1,di j ...s Ndi '),
  • the generator 1000 adds in particular for each set of stimuli (s 1id ) J ...s N,di j ) a noise n j has the same set of predetermined acoustic transfer functions (tf 1,di k' ... tf N,di k' ).
  • the noise n j applied to the set of predetermined acoustic transfer functions (tf 1.di k '...
  • the set of predetermined acoustic transfer functions used to generate the stimuli is in particular a set of so-called neutral acoustic transfer functions, namely that it does not reflect a specific morphology.
  • the statistical analysis is not biased by a particular morphological model and the determination of individual acoustic transfer functions allows a better approximation of the actual acoustic transfer functions of the individual.
  • such a set of so-called neutral acoustic transfer functions is obtained by averaging several sets of acoustic transfer functions recorded in a database of acoustic transfer functions.
  • the sets of acoustic transfer functions used to calculate this set of so-called neutral acoustic transfer functions are selected randomly from the acoustic transfer function database or according to one or more morphological parameters close to those of the acoustic transfer functions. individual, or are constituted by all the sets of acoustic transfer functions recorded in the acoustic transfer function database.
  • a set of acoustic transfer functions is a pair of acoustic transfer functions (for example in the particular case of binaural) composed of the acoustic transfer function corresponding to the right ear and the acoustic transfer function corresponding to the left ear of an individual.
  • the transmitter 1001 transmits, for at least one given direction di, several sets of stimuli (s 1,di j ...s N,di j ) to the individual U for which the modeler 100 determines a set of functions of acoustic transfer in a given direction di.
  • the transmitter 1001 transmits these sets of stimuli, for example by an output set 102 of a 3D sound card 10 and/or a terminal 1 comprising the modeler 100, to a set of speakers (2 1 ...2 N ) broadcasting the stimuli to the individual U.
  • Each stimuli s n,di j of a set of stimuli (s 1,di j ...s N,di j ) is intended for a loudspeaker specific 2 n of the speaker assembly (2 1 ...2 N ).
  • the individual U reacts by transmitting a response a in particular by means of an interface 12 of the terminal 1 (by input, by voice command. ..).
  • the receiver 1002 receives the response a j U to the set j of stimuli from the individual U.
  • the analyzer 1003 For a given direction di, the analyzer 1003 performs a statistical analysis on the sets of stimuli emitted (s 1,di j ...s N,di j ) and the corresponding responses a j U. Generator 1004 determines then the set (tf 1,di U ... tf N,diU ) of acoustic transfer functions specific to this individual U for the given direction di as a function of the result r di U provided by the analyzer 1003.
  • the operation is possibly repeated for one or more other distinct directions.
  • the terminal 1 comprising a sound signal reader 11 as can broadcast a 3D sound signal intended for the individual U.
  • the terminal 1 comprises a filter 101 whose filtering parameters are constituted, for at least one direction di, by the set of transfer functions provided by the modeler 100.
  • the filter 101 then convolves the monophonic sound signal es into a set of sound signals which are broadcast to the individual U by means of the set of speakers .
  • FIG. 3 illustrates a simplified diagram of a three-dimensional sound reproduction system according to the invention.
  • the reproduction system comprises a headset 20 on which the two speakers 2 1 and 2 2 of the set of speakers are arranged such that each of the two speakers is placed on one of the two ears of the individual U when the helmet 20 is placed on his head, the set of acoustic transfer functions being a pair of corresponding transfer functions.
  • the modeling according to the invention does not require specific equipment. It can be implemented with a simple headset.
  • the invention also relates to a support.
  • the information carrier can be any entity or device capable of storing the program.
  • the medium may comprise a storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM or even a magnetic recording means, for example a floppy disk or a hard disk.
  • the information carrier may be a transmissible medium such as an electrical or optical signal which may be conveyed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can in particular be downloaded onto a network, particularly of the Internet type.
  • the information carrier may be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in executing the method in question.
  • module can correspond to either a software component or a hardware component.
  • a software component corresponds to one or more computer programs, one or more subprograms of a program, or more generally to any element of a program or software capable of implementing a function or a set of functions according to the description above
  • a hardware component corresponds to any element of a hardware set (or hardware) capable of implementing a function or a set of functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Description

  • L'invention concerne la modélisation de fonctions de transferts acoustiques individuelles, relatives à l'audition d'un individu dans l'espace tridimensionnel.
  • L'invention s'inscrit en particulier dans le cadre de services, notamment de services de navigation par son spatialisé, de services de télécommunication proposant une diffusion du son spatialisée (par exemple une audioconférence entre plusieurs locuteurs, une diffusion d'une vidéo telle qu'une bande annonce de cinéma, un jeu...), etc. Sur des terminaux de télécommunication, notamment mobiles, il est envisagé un rendu sonore avec un casque d'écoute stéréophonique.
  • Parmi les technologies du son 3D ou de spatialisation sonore, en traitement du signal audio appliqué notamment à la simulation de phénomènes acoustiques et psycho-acoustiques, certaines visent la génération de signaux à diffuser sur haut-parleurs, notamment sur haut-parleurs distants de l'auditeur ou sur écouteurs, afin de donner à l'auditeur l'illusion auditive de sources sonores placées à des positions respectives particulières autour de lui. On parle alors de création de sources et d'images sonores virtuelles.
  • Différentes techniques sont appliquées au traitement d'un son 3D destiné à une diffusion sur casque à deux écouteurs, tels que des oreillettes, gauche et droite. Ces techniques visent la reconstruction du champ sonore au niveau des oreilles d'un auditeur, de telle sorte que ses tympans perçoivent un champ sonore pratiquement identique à celui qu'auraient induit les sources réelles dans l'espace 3D. Ces signaux de sons spatialisés peuvent être obtenus de deux façons:
    • par une prise de son directe, au moyen de deux microphones insérés à l'entrée du canal auditif d'un individu ou d'un mannequin à morphologie standard ("tête artificielle"), ou
    • par traitement du signal, en créant des sons spatialisés virtuels pour une écoute sur casque, par exemple : en filtrant un signal monophonique par deux filtres binauraux, ces filtres reproduisant les propriétés de la propagation acoustique entre la source placée à une position donnée et les deux oreilles d'un auditeur. Les techniques binaurales sont donc basées sur une paire de signaux binauraux qui alimentent respectivement les deux écouteurs du casque.
  • Une technique efficace de positionnement des sources sonores dans l'espace est la synthèse binaurale.
  • La synthèse binaurale repose sur l'utilisation de filtres, dits "binauraux", qui reproduisent les fonctions de transfert acoustiques entre la source sonore et les oreilles de l'auditeur, Ces filtres servent à simuler les indices de localisation auditive, indices qui permettent à un auditeur de localiser les sources sonores en situation d'écoute réelle. Ces filtres prennent en compte l'ensemble des phénomènes acoustiques (notamment la diffraction par la tête, les réflexions sur le pavillon de l'oreille et le haut du torse) qui modifient l'onde acoustique dans son trajet entre la source et les oreilles de l'auditeur. Ces phénomènes varient fortement avec la position de la source sonore (principalement avec sa direction) et ces variations permettent à l'auditeur de localiser la source dans l'espace. En effet, ces variations déterminent une sorte de codage acoustique de la position de la source. Le système auditif d'un individu sait, par apprentissage, interpréter ce codage pour localiser les sources sonores. Une synthèse binaurale de qualité repose donc sur des filtres binauraux qui reproduisent au mieux le codage acoustique que produit naturellement le corps de l'auditeur en prenant en compte les spécificités individuelles de sa morphologie. Cette individualisation est requise pour offrir une qualité d'écoute satisfaisante et convaincante (qualité de la spatialisation et de l'immersion sonore notamment). Lorsque ces conditions ne sont pas respectées, une dégradation des performances du rendu binaural est observée : elle se traduit notamment par une perception intracrânienne des sources et des confusions avant/arrière (Les sources situées à l'avant sont perçues à l'arrière et vice versa).
  • Ces filtres binauraux représentent des fonctions de transfert acoustiques aussi appelées HRTFs (pour « Head Related Transfert Functions» en anglais) qui modélisent les transformations engendrées par le torse, la tête et le pavillon de l'auditeur sur le signal provenant d'une source sonore. A chaque position de source sonore est associée une paire de Fonctions de transfert acoustiques individuelles (une fonction de transfert acoustique individuelle pour l'oreille droite, une fonction de transfert acoustique individuelle pour l'oreille gauche). De plus, les fonctions de transfert acoustiques individuelles portent l'empreinte acoustique de la morphologie de l'individu sur lequel elles ont été mesurées. Les Fonctions de transfert acoustiques individuelles dépendent donc non seulement de la direction du son, mais aussi de l'individu. Elles sont ainsi fonction de la fréquence f, de la position (θ,ϕ) de la source sonore (où l'angle θ représente l'azimut et l'angle ϕ l'élévation), de l'oreille (gauche ou droite) et de l'individu.
  • De manière classique, les fonctions de transfert acoustiques individuelles sont obtenues par la mesure. Initialement, une sélection de directions, qui couvrent plus ou moins finement l'ensemble de l'espace entourant l'auditeur, est fixée. Pour chaque direction, les fonctions de transfert acoustiques individuelles gauche et droite sont mesurées au moyen de microphones insérés à l'entrée du conduit auditif d'un sujet. La mesure doit être réalisée dans une chambre anéchoïque (ou "chambre sourde"). Au final, si M directions sont mesurées, pour un sujet donné, une base de données de 2M fonctions de transfert acoustiques représentant chaque position de l'espace pour chaque oreille est obtenue. La mesure expérimentale des fonctions de transfert acoustiques individuelles directement sur un individu est, à l'heure actuelle, la solution la plus fiable pour obtenir des filtres binauraux de qualité et réellement individualisés (tenant compte des spécificités individuelles de la morphologie de l'individu).
  • Toutefois, la mesure de ces fonctions de transfert acoustiques individuelles présente quelques difficultés. Elle requiert un équipement spécifique et coûteux (typiquement une chambre anéchoïque, un microphone, un dispositif mécanique de positionnement de sources). Cette opération est longue car il faut notamment mesurer les fonctions de transfert pour un grand nombre de directions afin de couvrir de façon homogène l'ensemble d'une sphère 3D entourant l'auditeur. Par conséquent, la procédure de mesure est pénible pour le sujet à cause, notamment des contraintes imposées au sujet par le système de mesure et de la durée du test. Cette mesure des fonctions de transfert acoustiques individuelles devient très difficile, voire impossible, dans le cadre d'applications de la synthèse binaurale destinée au grand public.
  • Des solutions nécessitant un minimum de mesures de fonctions de transfert acoustiques individuelles et implémentant davantage des techniques de modélisation ont alors été recherchées. En particulier, des modèles mathématiques de fonctions de transfert acoustiques individuelles consistant en une fonction F permettant d'exprimer une fonction de transfert acoustique individuelle (Y) à partir d'un jeu de paramètres (X) donnés a priori, tels que Y = F(X), ont été recherchés. Souvent, deux éléments essentiels interviennent : la mise au point du modèle mathématique (fonction F), et la spécification du jeu de paramètres à appliquer en entrée du modèle. Le jeu de paramètres consiste, par exemple, en un maillage 3D de la morphologie individuelle, notamment des pavillons d'oreilles. L'acquisition d'un maillage précis reste aujourd'hui un point critique.
  • De manière plus simple, des bases de données de fonctions de transfert acoustiques ont été constituées. Elles ont été mesurées sur un panel d'individus et permettent une sélection d'une paire de filtres binauraux dans la base de données par diverses techniques, telles qu'une comparaison entre la morphologie de l'auditeur et les morphologies du panel d'individus ayant servi à la génération de la base de données, par test de différentes paires de filtres binauraux de la base de données par l'auditeur.
  • L'article « How to make immersive audio available for mass-market listenning » de Rozenn Nicol et al, EBU Technical Review, 14 juillet 2016, p. 1-18, tout comme la demande de brevet chinoise CN103237287 , et la demande de brevet américaine US2008130906 propose une telle sélection d'une paire de filtres binauraux par l'auditeur. Ils décrivent une personnalisation de la restitution binaurale en proposant à l'auditeur plusieurs HRTF distinctes parmi lesquels l'auditeur choisit celui qui lui donne la meilleure expérience immersive à l'écoute d'un son test.
  • La méthode de sélection d'une paire de filtres binauraux dans une base de données manque de fiabilité et de robustesse et peut s'avérer d'un usage assez fastidieux pour l'utilisateur.
  • La demande de brevet américaine US 20170238111 concerne aussi la sélection de fonctions HRTF non plus en fonction d'une sélection par l'auditeur de la meilleure expérience immersive mais suite à une détermination de la meilleure précision de localisation du son test par un dispositif de traitement de fonctions HRTF. En outre, elle propose pour la zone frontière entre deux fonctions HRTF sélectionnées d'améliorer la continuité de perception en générant une combinaison des deux fonctions HRTF sélectionnées pour les deux zones adjacentes.
  • Etant donné que la génération se base sur une sélection préalable de fonctions HRTF, le dispositif de traitement sélectionnant les fonctions HRTF et les combinant dans les zones frontières manque aussi de fiabilité et de robustesse car la fonction HRTF n'est pas parfaitement adaptée à l'auditeur puisque soit simplement sélectionnée parmi des fonctions HRFT stockée, et pour les zones frontières, résultant simplement de la combinaison de deux fonctions HRTF sélectionnées. Et, la modélisation de fonctions HRTF peut s'avérer d'un usage assez fastidieux pour l'utilisateur puisqu'il doit tester toutes les fonctions HRTF stockées pour que le dispositif de traitement détermine celles qui apportent le plus de précision.
  • La demande de brevet américaine US 2017238111 divulgue un dispositif de combinaison d'un ensemble de fonctions de transfert liées à la tête, comportant une unité de commutation adaptée pour commuter la fonction de transfert liée à la tête utilisée pour émettre un son directionnel parmi un ensemble de fonctions de transfert liées à la tête.
  • Un des buts de la présente invention est de proposer une solution alternative apportant des améliorations par rapport à l'état de la technique.
  • Un objet de l'invention est un procédé de modélisation d'ensembles de fonctions de transfert acoustiques propres à un individu suivant une multiplicité de directions de l'espace selon la revendication 1.
  • Ainsi, l'invention est plus fiable et plus robuste qu'une simple sélection d'un ensemble de fonctions de transfert acoustique dans une base de données et pallie l'inconvénient de l'acquisition critique du maillage 3D de la morphologie individuelle utilisée par la modélisation numérique classique.
  • Avantageusement, le procédé de modélisation comporte une analyse statistique par direction de l'espace des stimuli émis et des réponses reçues pour la direction donnée de la multiplicité de directions de l'espace.
  • Ainsi, l'analyse statistique étant mise en oeuvre par le procédé de modélisation, la modélisation est plus rapide, donc moins fastidieuse pour l'individu.
  • Avantageusement, le procédé de modélisation comporte des étapes qui sont effectuées pour la direction donnée de la multiplicité de directions de l'espace, dans lesquelles :
    • plusieurs stimuli distincts fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à la direction donnée sont émis à destination d'un individu;
    • une réponse de l'individu à chaque stimulus émis est reçue.
  • Ainsi, l'émission des stimuli et la réception des réponses à ceux-ci étant mises en oeuvre par le procédé de modélisation, les latences entre la génération des stimuli et leur émission, et respectivement, la réception de réponses et l'analyse statistique sont réduites.
  • Avantageusement, pour la direction donnée, plusieurs stimuli sont générés en fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à la direction donnée.
  • Ainsi, la génération des stimuli étant mise en oeuvre par le procédé de modélisation, la latence entre la génération des stimuli et leur émission est réduite.
  • Selon la revendication 1, un stimulus résulte de l'ajout de bruit à un ensemble de fonctions de transferts acoustiques moyennes associées à la direction donnée calculées en fonction d'ensembles de fonctions de transfert acoustiques enregistrées dans une base de données de fonctions de transfert acoustiques et associées à la direction donnée.
  • Ainsi, la génération de stimuli étant basée sur un ensemble de fonctions de transfert acoustiques, elle permet de simplifier la modélisation de la fonction de transfert acoustique propre à un individu en se basant sur cette même fonction de transfert acoustique utilisée pour générer les stimuli.
  • Avantageusement, le procédé de modélisation comporte des étapes dans lesquelles:
    • un ensemble de fonctions de transfert acoustiques moyennes associées à la direction donnée est calculée en fonction de plusieurs ensembles de fonctions de transfert acoustiques enregistrées dans une base de données de fonctions de transfert acoustiques et associées à la direction donnée;
    • les stimuli sont fonction de l'ensemble de fonctions de transfert acoustiques moyennes calculées.
  • Ainsi, la divergence entre l'ensemble de fonctions de transfert acoustiques servant à la modélisation et l'ensemble de fonctions de transfert acoustiques propre à l'individu est moins importante en raison de l'utilisation de fonctions de transfert acoustiques moyennes plutôt que la sélection arbitraire d'une fonction de transfert acoustique réduisant les erreurs de modélisation. Par conséquent, la modélisation est moins complexe et moins longue car elle compense une divergence moins importante.
  • Avantageusement, l'analyse statistique utilise la technique psychophysique de corrélation inverse. Ainsi, la modélisation de l'ensemble de fonctions de transfert acoustique propre à l'individu est basée sur la perception réduisant les risques de perception intracrâniennes et confusions directionnelles.
  • Avantageusement, selon une implémentation de l'invention, les différentes étapes du procédé selon l'invention sont mises en oeuvre par un logiciel ou programme d'ordinateur, ce logiciel comprenant des instructions logicielles destinées à être exécutées par un processeur de données d'un dispositif faisant partie d'un terminal, tel qu'un terminal de communication, et étant conçus pour commander l'exécution des différentes étapes de ce procédé.
  • L'invention vise donc aussi un programme comprenant des instructions de code de programme pour l'exécution des étapes du procédé de modélisation selon l'une quelconque des revendications précédentes lorsque ledit programme est exécuté par un processeur.
  • Ce programme peut utiliser n'importe quel langage de programmation et être sous la forme de code source, code objet ou code intermédiaire entre code source et code objet tel que dans une forme partiellement compilée ou dans n'importe quelle autre forme souhaitable.
  • Un objet de l'invention est aussi un modélisateur d'ensembles de fonctions de transferts acoustiques propres à un individu suivant une multiplicité de directions de l'espace selon la revendication 8.
  • Avantageusement, le modélisateur comporte un analyseur statistique des stimuli émis et des réponses reçues par direction donnée de la multiplicité de directions.
  • Avantageusement, le modélisateur comporte :
    • un émetteur de plusieurs stimuli distincts à destination d'un individu fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à au moins une direction donnée de la multiplicité de directions; et
    • un récepteur des réponses de l'individu à chaque stimulus émis.
  • Un objet de l'invention est encore une carte son tridimensionnel selon la revendication 11.
  • Un objet de l'invention est également un système de reproduction sonore tridimensionnelle selon la revendication 12.
  • Avantageusement, le système comporte un casque sur lequel les deux haut-parleurs de l'ensemble de haut-parleurs sont disposés de tel sorte que chacun des deux haut-parleurs est placé sur une des deux oreilles de l'individu lorsque le casque est placé sur sa tête, et en ce que l'ensemble de fonctions de transferts acoustiques est une paire de fonctions de transferts correspondant.
  • Les caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description, faite à titre d'exemple, et des figures s'y rapportant qui représentent :
    • Figure 1, un schéma simplifié d'un procédé de modélisation d'ensemble de fonctions de transfert acoustiques individuelles selon l'invention,
    • Figure 2, un schéma simplifié d'un modélisateur d'ensemble de fonctions de transfert acoustiques individuelles selon l'invention,
    • Figure 3, un schéma simplifié d'un système de reproduction sonore tridimensionnelle selon l'invention.
  • La figure 1 illustre un schéma simplifié d'un procédé de modélisation d'ensemble de fonctions de transfert acoustiques individuelles selon l'invention.
  • Le procédé de modélisation d'ensembles de fonctions de transfert acoustiques TFI_MD est propre à un individu suivant une multiplicité de directions de l'espace. Ce procédé de modélisation TFI_MD comporte une détermination TFI_DT d'un ensemble de fonctions de transferts acoustiques (tf1,di U, ··· tfN,di U) propres à un individu U dans une direction donnée di de la multiplicité de directions en fonction du résultat rdi U d'une analyse statistique de plusieurs stimuli distincts {(s1,di j, ··· sN,di j))}j émis à destination de l'individu U, et de réponses (sj,di U}J reçues en provenance de l'individu U à chaque stimulus émis. Un stimulus est fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à la direction donnée.
  • Par direction de l'espace associée à une fonction de transfert acoustique est entendue notamment une direction relative à l'utilisateur dans laquelle une source virtuelle est créée au moyen de la modélisation.
  • En particulier, le procédé de modélisation TFI_MD comporte une analyse statistique ST_NLZ par direction di de l'espace des stimuli émis (s1.dl...SN.di) et des réponses adl U reçues.
  • En particulier, le procédé de modélisation TFI_MD comporte les étapes suivantes qui sont effectuées pour la direction donnée di de la multiplicité de directions de l'espace :
    • plusieurs stimuli distincts fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à la direction donnée di sont émis S_TR à destination d'un individu U;
    • une réponse de l'individu U à chaque stimulus émis est reçue A_REC.
  • En particulier, pour la direction donnée di, plusieurs stimuli sont générés S_GN en fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à la direction donnée.
  • En particulier, un stimulus s1,di l... sN,di j résulte de l'ajout + de bruit nj à un ensemble de fonctions de transferts acoustiques moyennes avg{tf1,di k}k ... avg{tfN,di k}k associées à la direction donnée di calculées en fonction d'ensembles de fonctions de transfert acoustiques enregistrées dans une base de données de fonctions de transfert acoustiques tf_bdd et associées à la direction donnée.
  • L'addition de bruit pour générer les stimuli permet d'explorer l'espace des variations sans hypothèses a priori sur les propriétés du profil spectral (de l'ensemble de fonctions de transfert acoustique individuelle) qui sont responsables de la localisation dans une direction donnée (par exemple dans la direction frontale).
  • En particulier, le procédé de modélisation TFI_MD comporte les étapes suivantes dans lesquelles
    • un ensemble de fonctions de transfert acoustiques moyennes associées à la direction donnée est calculée AVG en fonction de plusieurs ensembles de fonctions de transfert acoustiques enregistrées dans une base de données de fonctions de transfert acoustiques et associées à la direction donnée;
    • les stimuli sont fonction de l'ensemble de fonctions de transfert acoustiques moyennes calculées.
  • Par ensemble de fonctions de transfert acoustiques moyennes est entendu une fonction de transfert acoustique moyenne par canal de reproduction, notamment dans le cas de la synthèse binaurale : une fonction de transfert acoustique moyenne pour l'oreille droite et une fonction de transfert acoustique moyenne pour l'oreille gauche de l'utilisateur U.
  • En particulier, l'analyse statistique ST_NLZ utilise la technique psychophysique de corrélation inverse. Elle se base sur l'observation haut niveau des processus perceptifs et repose sur une phase de test durant laquelle le procédé de modélisation TFI_MD soumet l'individu à un ensemble de stimuli obtenus par ajout de bruit à un stimulus neutre (par exemple une moyenne de fonctions de transfert acoustique) et observe les réponses de l'individu U à ces différents stimuli. En analysant les relations statistiques entre les stimuli et les réponses, le procédé de modélisation TFI_MD identifie TFI_DT les filtres perceptifs, en l'occurrence les fonctions de transfert acoustiques individuelles, associés au processus perceptif étudié, c'est-à-dire les propriétés des stimuli qui déterminent une réponse perceptive donnée.
  • Ainsi, le procédé de modélisation est basé sur la perception pour identifier les fonctions de transfert acoustiques propre à un individu.
  • La modélisation de sources sonores frontales (direction d'azimuth 0° et d'élévation 0°) est particulièrement critique. L'utilisation de filtres binauraux génériques pour une telle modélisation engendre une spatialisation des sources sonores souvent décevante : l'auditeur tend à localiser la source au-dessus, voire à l'intérieur de la tête.
  • En utilisant le procédé de modélisation TFI_MD selon l'invention, une paire de filtres binauraux neutres (c'est-à-dire un ensemble de fonctions de transfert acoustique dit neutre) est calculé en moyennant AVG plusieurs ensembles de fonctions de transfert acoustiques HRTF mesurées dans la direction frontale pour une large sélection d'individus constituant un panel (éventuellement préenregistrées dans une base de données d'ensembles de fonctions de transfert acoustiques tf_bdd).
  • Un ensemble de stimuli spatialisés synthétisés S_GN avec des filtres binauraux obtenus en ajoutant + du bruit nf à la paire de filtres neutres est diffusé S_TR à destination de l'auditeur, c'est-à-dire de l'individu U pour lequel le procédé de modélisation TFLMO détermine l'ensemble de fonctions de transfert acoustique personnalisé. L'ajout de bruit porte sur le profil spectral.
  • Pour chaque stimulus émis, l'auditeur U indique s'il le perçoit correctement spatialisé (c'est-à-dire dans la direction di que la modélisation TFI_MD tente de reproduire, en l'occurrence la direction frontale et à l'extérieur de la tête) ou non. Cette indication de l'auditeur U constitue la réponse a reçue A_REC lors de la modélisation TFI_MD.
  • L'analyse ST_NLZ des relations statistiques entre les stimuli et les réponses de l'auteur permet de déterminer TFI_DT le profil spectral adapté à l'auditeur U et garantissant la reproduction correcte des sons dans la direction modélisée di, en l'occurrence la direction frontale.
  • Ce procédé de modélisation TFI_MD peut être appliqué à toute autre direction.
  • Un mode de réalisation particulier du procédé de modélisation est un programme comprenant des instructions de code de programme pour l'exécution des étapes du procédé de modélisation lorsque ledit programme est exécuté par un processeur.
  • La figure 2 illustre un schéma simplifié d'un modélisateur d'ensemble de fonctions de transfert acoustiques individuelles selon l'invention.
  • Le modélisateur 100 d'ensembles de fonctions de transferts acoustiques propres à un individu suivant une multiplicité de directions de l'espace propres à un individu suivant une multiplicité de directions de l'espace, comporte un générateur 1004 d'ensembles de fonctions de transferts acoustiques propres à un individu dans une direction donnée de la multiplicité de directions à partir du résultat d'une analyse statistique de plusieurs stimuli distincts émis à destination de l'individu, un stimulus étant fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à la direction donné, et de réponses reçues en provenance de l'individu à chaque stimulus émis.
  • En particulier, le modélisateur 100 comporte un analyseur statistique 1003 des stimuli émis et des réponses reçues par direction donnée de la multiplicité de directions.
  • En particulier, le modélisateur 100 comporte:
    • un émetteur 1001 de plusieurs stimuli distincts à destination d'un individu fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à au moins une direction donnée de la multiplicité de directions; et
    • un récepteur 1002 des réponses de l'individu à chaque stimulus émis.
  • Dans un mode de réalisation particulier, une carte son tridimensionnel 10 comporte :
    • un modélisateur 100 d'ensembles de fonctions de transferts acoustiques propres à un individu suivant une multiplicité de directions de l'espace apte à générer au moins un ensemble de fonctions de transferts acoustiques propres à un individu dans une direction donnée de la multiplicité de directions à partir du résultat d'une analyse statistique de plusieurs stimuli distincts émis à destination de l'individu, un stimulus étant fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à la direction donné, et de réponses reçues en provenance de l'individu à chaque stimulus émis, et
    • un ensemble 102 de sorties audio parallèles permettant de connecter simultanément plusieurs haut-parleurs 21..2N à la carte son et fournissant simultanément chacune un signal audio à reproduire à un haut-parleur connecté à la sortie audio, le signal audio comportant, durant une phase de modélisation, le stimulus correspondant au haut-parleur et, durant une phase de reproduction, le signal à reproduire modifié par la fonction correspondant à la sortie audio haut-parleur de l'ensemble de fonctions de transfert acoustiques modélisées pour l'individu utilisant la carte son.
  • En particulier, le modélisateur 100 comporte un générateur de stimuli 1000 fournissant, pour une direction donnée di, plusieurs (j) ensembles de stimuli (s1,di j...sNdi'), Le générateur 1000 ajoute notamment pour chaque ensemble de stimuli (s1id)J...sN,di j) un bruit nj à un même ensemble de fonctions de transfert acoustique prédéterminées (tf1,di k'... tfN,di k'). Le bruit nj appliqué à l'ensemble de fonctions de transfert acoustique prédéterminées (tf1.di k'... tfN.di k') pour obtenir l'ensemble de stimuli (s1,di l...sN,di j) est distinct du bruit nj appliqué au même ensemble de fonctions de transfert acoustique prédéterminées (tf1.di k'... tfN,di k') pour obtenir l'ensemble de stimuli (s1.di j'...sN,di j'),
  • L'ensemble de fonctions de transfert acoustiques prédéterminé utilisé pour générer les stimuli est notamment un ensemble de fonctions de transfert acoustiques dits neutre, à savoir qu'il ne reflète pas une morphologie spécifique. Ainsi, l'analyse statistique n'est pas biaisée par un modèle morphologique particulier et la détermination des fonctions de transferts acoustique individuelle permet une meilleure approximation des fonctions de transferts acoustiques réelles de l'individu.
  • En particulier, un tel ensemble de fonctions de transfert acoustique dit neutre est obtenu en moyennant plusieurs ensembles de fonctions de transfert acoustiques enregistrées dans une base de données de fonctions de transfert acoustique. Par exemple, les ensembles de fonctions de transfert acoustique utilisés pour calculer cet ensemble de fonctions de transfert acoustique dit neutre sont sélectionnés aléatoirement dans la base de données de fonctions de transfert acoustique ou en fonction d'un ou plusieurs paramètres morphologiques voisins de ceux de l'individu, ou sont constitués par tous les ensembles de fonctions de transfert acoustiques enregistrées dans la base de données de fonctions de transfert acoustique.
  • Le plus souvent un ensemble de fonctions de transfert acoustique est une paire de fonctions de transfert acoustique (par exemple dans le cas particulier du binaural) composée de la fonction de transfert acoustique correspondant à l'oreille droite et de la fonction de transfert acoustique correspondant à l'oreille gauche d'un individu.
  • L'émetteur 1001 émet, pour au moins une direction donnée di, plusieurs ensembles de stimuli (s1,di j...sN,di j) à destination de l'individu U pour lequel le modélisateur 100 détermine un ensemble de fonctions de transfert acoustique dans une direction donnée di. Notamment, l'émetteur 1001 transmet ces ensembles de stimuli, par exemple par un ensemble de sortie 102 d'une carte son 3D 10 et/ou d'un terminal 1 comportant le modélisateur 100, à un ensemble de haut-parleurs (21...2N) diffusant les stimuli à l'individu U. Chaque stimuli sn,di j d'un ensemble de stimuli (s1,di j...sN,di j) est destiné à un haut-parleur spécifique 2n de l'ensemble de haut-parleurs (21...2N).
  • A chaque ensemble de stimuli (s1,di j...sN,di j), l'individu U réagit en transmettant une réponse a notamment au moyen d'une interface 12 du terminal 1 (par saisie, par commande vocale...). Le récepteur 1002 reçoit la réponse aj U à l'ensemble j de stimuli de l'individu U.
  • Pour une direction donnée di, l'analyseur 1003 effectue une analyse statistique sur les ensembles de stimuli émis (s1,di j...sN,di j) et les réponses correspondantes aj U. Le générateur 1004 détermine alors l'ensemble (tf1,di U... tfN,diU) de fonctions de transfert acoustique propre à cet individu U pour la direction donnée di en fonction du résultat rdi U fourni par l'analyseur 1003.
  • L'opération est éventuellement répétée pour un ou plusieurs autres directions di' distinctes.
  • Ainsi, le terminal 1 comportant un lecteur 11 de signal sonore as peut diffuser un signal sonore 3D à destination de l'individu U. En effet, le terminal 1 comporte un filtre 101 dont les paramètres de filtrage sont constitués, pour au moins une direction di, par l'ensemble de fonction de transfert fourni par le modélisateur 100. Le filtre 101 convolue alors le signal sonore monophonique es en un ensemble de signaux sonores qui sont diffusés à l'individu U au moyen de l'ensemble de haut-parleurs.
  • La figure 3 illustre un schéma simplifié d'un système de reproduction sonore tridimensionnelle selon l'invention.
  • Le système de reproduction sonore tridimensionnelle comporte :
    • un modélisateur 100 d'ensembles de fonctions de transferts acoustiques propres à un individu suivant une multiplicité de directions de l'espace apte à générer au moins un ensemble de fonctions de transferts acoustiques propres à un individu dans une direction donnée de la multiplicité de directions à partir du résultat d'une analyse statistique de plusieurs stimuli distincts émis à destination de l'individu, un stimulus étant fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à la direction donné, et de réponses reçues en provenance de l'individu à chaque stimulus émis, et
    • un ensemble de haut-parleurs {21, 22} apte à reproduire chacun un signal audio, le signal audio comportant, durant une phase de modélisation, le stimulus correspondant au haut-parleur et, durant une phase de reproduction, à un signal à reproduire modifié par la fonction correspondant au haut-parleur de l'ensemble de fonctions de transfert acoustiques modélisées pour l'individu utilisant le système de reproduction.
  • En particulier, le système de reproduction comporte un casque 20 sur lequel les deux haut-parleurs 21 et 22 de l'ensemble de haut-parleurs sont disposés de tel sorte que chacun des deux haut-parleurs est placé sur une des deux oreilles de l'individu U lorsque le casque 20 est placé sur sa tête, l'ensemble de fonctions de transferts acoustiques étant une paire de fonctions de transferts correspondant.
  • Ainsi, la modélisation selon l'invention ne nécessite pas d'équipement spécifique. Elle peut être mis en œuvre avec un simple casque d'écoute.
  • L'invention vise aussi un support. Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique ou encore un moyen d'enregistrement magnétique, par exemple une disquette ou un disque dur.
  • D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau notamment de type Internet.
  • Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
  • Dans une autre implémentation, l'invention est mise en œuvre au moyen de composants logiciels et/ou matériels. Dans cette optique le terme module peut correspondre aussi bien à un composant logiciel ou à un composant matériel. Un composant logiciel correspond à un ou plusieurs programmes d'ordinateur, un ou plusieurs sous-programmes d'un programme, ou de manière plus générale à tout élément d'un programme ou d'un logiciel apte à mettre en œuvre une fonction ou un ensemble de fonction selon la description ci-dessus, Un composant matériel correspond à tout élément d'un ensemble matériel (ou hardware) apte à mettre en œuvre une fonction ou un ensemble de fonctions.

Claims (13)

  1. Procédé de modélisation d'ensembles de fonctions de transfert acoustiques propres à un individu suivant une multiplicité de directions de l'espace (TFI_MD), dans lequel un ensemble de fonctions de transferts acoustiques (tf1,di U, ... tfN,di U) propres à un individu (U) dans une direction donnée (di) de la multiplicité de directions est déterminée (TFI_DT) en fonction du résultat (rdi U) d'une analyse statistique (ST_NLZ) de plusieurs stimuli distincts émis ({(s1,di j, ... sN,di j))}j) à destination de l'individu (U), un stimulus étant fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à la direction donnée (di), et de réponses reçues ({sj,di U}j) en provenance de l'individu (U) à chaque stimulus émis, caractérisé en ce que chaque stimulus distinct (s1,di j... sN,di j) résulte de l'ajout (+) de bruit (nj) à un ensemble de fonctions de transferts acoustiques moyennes (avg{tf1,di k}k ... avg{tfN,di k}k) associées à la direction donnée (di) calculées en fonction d'ensembles de fonctions de transfert acoustiques enregistrées dans une base de données de fonctions de transfert acoustiques (tf_bdd) et associées à la direction donnée (di).
  2. Procédé de modélisation selon la revendication précédente, dans lequel une analyse statistique (ST_NLZ) par direction (di) de l'espace des stimuli émis (s1,di...SN,di) et des réponses reçues (adi U ) est effectuée pour la direction donnée (di) de la multiplicité de directions de l'espace.
  3. Procédé de modélisation selon l'une quelconque des revendications précédentes, dans lequel les étapes suivantes sont effectuées pour la direction donnée (di) de la multiplicité de directions de l'espace :
    • plusieurs stimuli distincts ({(s1,di j, ... sN,di j))}j) fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à la direction donnée (di) sont émis (S_TR) à destination d'un individu (U);
    • une réponse (adi U ) de l'individu (U) à chaque stimulus émis est reçue (A_REC).
  4. Procédé de modélisation selon l'une quelconque des revendications précédentes, dans lequel, pour la direction donnée (di), plusieurs stimuli ({(s1,di j, ... sN,di j))}j) sont générés (D_GN) en fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à la direction donnée (di).
  5. Procédé de modélisation selon l'une quelconque des revendications précédentes, dans lequel
    • un ensemble de fonctions de transfert acoustiques moyennes (avg{tf1,di k}k ... avg{tfN,di k}k) associées à la direction donnée (di) est calculée (AVG) en fonction de plusieurs ensembles de fonctions de transfert acoustiques enregistrées dans une base de données de fonctions de transfert acoustiques et associées à la direction donnée (di);
    • les stimuli ({(s1,di j, ... sN,di j))}j) sont fonction de l'ensemble de fonctions de transfert acoustiques moyennes calculées (avg{tf1,di k}k ... avg{tfN,di k}k).
  6. Procédé de modélisation selon l'une quelconque des revendications précédentes, dans lequel l'analyse statistique (ST_NLZ) utilise la technique psychophysique de corrélation inverse.
  7. Programme comprenant des instructions de code de programme pour l'exécution des étapes du procédé de modélisation (TFI_MD) selon l'une quelconque des revendications précédentes lorsque ledit programme est exécuté par un processeur.
  8. Modélisateur d'ensembles de fonctions de transferts acoustiques propres à un individu suivant une multiplicité de directions de l'espace (100), comportant un générateur (1004) d'ensembles de fonctions de transferts acoustiques (tf1,di U, ... tfN,di U) propres à un individu (U) dans une direction donnée (di) de la multiplicité de directions à partir du résultat (rdi U) d'une analyse statistique de plusieurs stimuli distincts émis ({(s1,di j, ... sN,di j))}j) à destination de l'individu (U), un stimulus étant fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à la direction donnée (di), et de réponses reçues ({sj,di U}j) en provenance de l'individu (U) à chaque stimulus émis, caractérisé en ce que chaque stimulus distinct (s1,di j... sN,di j) résulte de l'ajout (+) de bruit (nj) à un ensemble de fonctions de transferts acoustiques moyennes (avg{tf1,di k}k ... avg{tfN,di k}k) associées à la direction donnée (di) calculées en fonction d'ensembles de fonctions de transfert acoustiques enregistrées dans une base de données de fonctions de transfert acoustiques (tf_bdd) et associées à la direction donnée (di).
  9. Modélisateur selon la revendication précédente, caractérisé en ce que le modélisateur comporte un analyseur statistique (100,1003) des stimuli émis (s1,di j, ... sN,di j) et des réponses reçues (aj U) par direction donnée (di) de la multiplicité de directions.
  10. Modélisateur selon l'une quelconque des revendications précédentes, caractérisé en ce que le modélisateur comporte :
    • un émetteur (1001) de plusieurs stimuli distincts (s1,dij, ... sN,di j) à destination d'un individu (U) fonction d'au moins un ensemble de fonctions de transfert acoustiques prédéterminées associées à au moins une direction donnée (di) de la multiplicité de directions; et
    • un récepteur (1002) des réponses ({sj,di U}j) de l'individu (U) à chaque stimulus émis.
  11. Carte son tridimensionnel (10) comportant :
    • un modélisateur (100, 1003) d'ensembles de fonctions de transferts acoustiques (tf1,di U, ... tfN,di U) propres à un individu suivant une multiplicité de directions de l'espace selon l'une quelconque des revendications 8 à 10, et
    • un ensemble (102) de sorties audio parallèles permettant de connecter simultanément plusieurs haut-parleurs (21..2N) à la carte son (10) et fournissant simultanément chacune un signal audio à reproduire à un haut-parleur connecté à la sortie audio, le signal audio comportant, durant une phase de modélisation, le stimulus correspondant au haut-parleur et, durant une phase de reproduction, le signal à reproduire modifié par la fonction correspondant à la sortie audio haut-parleur de l'ensemble de fonctions de transfert acoustiques modélisées pour l'individu (U) utilisant la carte son.
  12. Système de reproduction sonore tridimensionnelle comportant :
    • un modélisateur (100, 1003) d'ensembles de fonctions de transferts acoustiques (tf1,di U, ... tfN,di U) propres à un individu (U) suivant une multiplicité de directions de l'espace selon l'une quelconque des revendications 8 à 10, et
    • un ensemble de haut-parleurs ({21, 22}) apte à reproduire chacun un signal audio, le signal audio comportant, durant une phase de modélisation, le stimulus correspondant au haut-parleur et, durant une phase de reproduction, à un signal à reproduire modifié par la fonction correspondant au haut-parleur de l'ensemble de fonctions de transfert acoustiques modélisées pour l'individu (U) utilisant le système de reproduction.
  13. Système de reproduction selon la revendication précédente, caractérisé en ce que le système comporte un casque (20) sur lequel les deux haut-parleurs (21, 22) de l'ensemble de haut-parleurs sont disposés de tel sorte que chacun des deux haut-parleurs (21, 22) est placé sur un des deux oreilles de l'individu (U) lorsque le casque (20) est placé sur sa tête, et en ce que l'ensemble de fonctions de transferts acoustiques est une paire de fonctions de transferts correspondant.
EP18000887.2A 2017-11-13 2018-11-12 Modelisation d'ensemble de fonctions de transferts acoustiques propre a un individu, carte son tridimensionnel et systeme de reproduction sonore tridimensionnelle Active EP3484185B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1760647A FR3073659A1 (fr) 2017-11-13 2017-11-13 Modelisation d'ensemble de fonctions de transferts acoustiques propre a un individu, carte son tridimensionnel et systeme de reproduction sonore tridimensionnelle

Publications (2)

Publication Number Publication Date
EP3484185A1 EP3484185A1 (fr) 2019-05-15
EP3484185B1 true EP3484185B1 (fr) 2024-07-31

Family

ID=62222724

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18000887.2A Active EP3484185B1 (fr) 2017-11-13 2018-11-12 Modelisation d'ensemble de fonctions de transferts acoustiques propre a un individu, carte son tridimensionnel et systeme de reproduction sonore tridimensionnelle

Country Status (3)

Country Link
US (1) US11218832B2 (fr)
EP (1) EP3484185B1 (fr)
FR (1) FR3073659A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3123467A1 (fr) * 2021-05-31 2022-12-02 Orange Procédé et dispositif de caractérisation d’un utilisateur, et dispositif de fourniture de services l’utilisant

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170238111A1 (en) * 2016-02-12 2017-08-17 Canon Kabushiki Kaisha Information processing apparatus and information processing method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742689A (en) * 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
US6181800B1 (en) * 1997-03-10 2001-01-30 Advanced Micro Devices, Inc. System and method for interactive approximation of a head transfer function
GB0419346D0 (en) * 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
US8170228B2 (en) * 2006-11-20 2012-05-01 Personics Holdings Inc. Methods and devices for hearing damage notification and intervention II
CN103237287B (zh) * 2013-03-29 2015-03-11 华南理工大学 具定制功能的5.1通路环绕声耳机重放信号处理方法
EP3001701B1 (fr) * 2014-09-24 2018-11-14 Harman Becker Automotive Systems GmbH Systèmes et procédés de reproduction audio
JP6561718B2 (ja) * 2015-09-17 2019-08-21 株式会社Jvcケンウッド 頭外定位処理装置、及び頭外定位処理方法
US10306396B2 (en) * 2017-04-19 2019-05-28 United States Of America As Represented By The Secretary Of The Air Force Collaborative personalization of head-related transfer function

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170238111A1 (en) * 2016-02-12 2017-08-17 Canon Kabushiki Kaisha Information processing apparatus and information processing method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAY ET AL: "The role of broadband inhibition in the rate representation of spectral cues for sound localization in the inferior colliculus", HEARING RESEARCH, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, vol. 238, no. 1-2, 26 January 2008 (2008-01-26), pages 77 - 93, XP022537260, ISSN: 0378-5955, DOI: 10.1016/J.HEARES.2008.01.008 *

Also Published As

Publication number Publication date
FR3073659A1 (fr) 2019-05-17
US11218832B2 (en) 2022-01-04
EP3484185A1 (fr) 2019-05-15
US20190149939A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
EP1836876B1 (fr) Procédé et dispositif d'individualisation de hrtfs par modélisation
Iida Head-related transfer function and acoustic virtual reality
EP1563485B1 (fr) Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
Paul Binaural recording technology: A historical review and possible future developments
Yao Headphone-based immersive audio for virtual reality headsets
WO2007101958A2 (fr) Optimisation d'une spatialisation sonore binaurale a partir d'un encodage multicanal
EP1479266B1 (fr) Procede et dispositif de pilotage d'un ensemble de restitution d'un champ acoustique
Garí et al. Flexible binaural resynthesis of room impulse responses for augmented reality research
EP2920979B1 (fr) Acquisition de données sonores spatialisées
MacDonald A localization algorithm based on head-related transfer functions
Durin et al. Acoustic analysis of the directional information captured by five different hearing aid styles
Sunder Binaural audio engineering
Fantini et al. Co-immersion in audio augmented virtuality: The case study of a static and approximated late reverberation algorithm
US11190896B1 (en) System and method of determining head-related transfer function parameter based on in-situ binaural recordings
FR3065137A1 (fr) Procede de spatialisation sonore
EP3484185B1 (fr) Modelisation d'ensemble de fonctions de transferts acoustiques propre a un individu, carte son tridimensionnel et systeme de reproduction sonore tridimensionnelle
Gardner Spatial audio reproduction: toward individualized binaural sound
EP3384688B1 (fr) Décompositions successives de filtres audio
Alonso-Martınez Improving Binaural Audio Techniques for Augmented Reality
Rudzki Improvements in the Perceived Quality of Streaming and Binaural Rendering of Ambisonics
Vorländer Virtual acoustics: opportunities and limits of spatial sound reproduction
CN116261086B (zh) 声音信号处理方法、装置、设备及存储介质
Liu Generating Personalized Head-Related Transfer Function (HRTF) Using Scanned Mesh from iPhone FaceID
Martínez et al. Towards Practical HRTF Individualization: Machine Learning Approaches Using Visual Data
FR3040253B1 (fr) Procede de mesure de filtres phrtf d'un auditeur, cabine pour la mise en oeuvre du procede, et procedes permettant d'aboutir a la restitution d'une bande sonore multicanal personnalisee

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20181120

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200924

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20240424

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602018072367

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20240731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241202

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1709681

Country of ref document: AT

Kind code of ref document: T

Effective date: 20240731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241202

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241101

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241130

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241031

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241031

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241130

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241101

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602018072367

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

26N No opposition filed

Effective date: 20250501

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20241112

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20241130

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20241130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20241130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20241112

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20251022

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20251023

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20251022

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20181112

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20181112