EP1836876A2 - Procédé et dispositif d'individualisation de hrtfs par modélisation - Google Patents

Procédé et dispositif d'individualisation de hrtfs par modélisation

Info

Publication number
EP1836876A2
EP1836876A2 EP06709051A EP06709051A EP1836876A2 EP 1836876 A2 EP1836876 A2 EP 1836876A2 EP 06709051 A EP06709051 A EP 06709051A EP 06709051 A EP06709051 A EP 06709051A EP 1836876 A2 EP1836876 A2 EP 1836876A2
Authority
EP
European Patent Office
Prior art keywords
hrtfs
directions
individual
model
measurements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP06709051A
Other languages
German (de)
English (en)
Other versions
EP1836876B1 (fr
Inventor
Rozenn Nicol
Sylvain Busson
Vincent Lemaire
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1836876A2 publication Critical patent/EP1836876A2/fr
Application granted granted Critical
Publication of EP1836876B1 publication Critical patent/EP1836876B1/fr
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • the present invention relates to the modeling of individual transfer functions called HRTFs (for "Head Related Transfer Functions"), relating to the hearing of an individual in the three-dimensional space.
  • HRTFs for "Head Related Transfer Functions”
  • the invention is particularly in the context of telecommunication services offering spatialized sound broadcasting (for example an audio conference between several speakers, a movie trailer).
  • spatialized sound broadcasting for example an audio conference between several speakers, a movie trailer.
  • the most effective technique for positioning sound sources in space is then binaural synthesis.
  • Binaural synthesis is based on the use of so-called "binaural" filters, which reproduce the acoustic transfer functions between the sound source and the listener's ears. These filters are used to simulate auditory location indices, indices that allow a listener to locate sound sources in real listening situations. These filters take into account all the acoustic phenomena (in particular the diffraction by the head, the reflections on the roof of the ear and the top of the torso) which modify the acoustic wave in its path between the source and the ears of the listener. These phenomena vary greatly with the position of the sound source (mainly with its direction) and these variations allow the listener to locate the source in the space.
  • the binaural techniques described above are applied to the treatment of a 3D sound intended for headset broadcasting to two left and right atria.
  • the binaural techniques aim at reconstructing the sound field at the level of a listener's ears, so that their eardrums perceive a sound field that is virtually identical to that which would have been induced by real sources in 3D space.
  • the binaural techniques are based on a pair of binaural signals that respectively feed the two headphones of the headphones. These binaural signals can be obtained in two ways:
  • Binaural techniques using binaural filters define the field of binaural synthesis in an advantageous context of the present invention.
  • Binaural synthesis is based on binaural filters that model the propagation of the acoustic wave between the source and the two ears of the listener. These filters represent acoustic transfer functions called HRTFs that model the transformations generated by the torso, head and horn of the listener on the signal coming from a sound source. At each sound source position is associated a pair of HRTFs (one HRTF for the right ear, one HRTF for the left ear). In addition, HRTFs carry the acoustic fingerprint of the morphology of the individual on which they were measured.
  • HRTFs therefore depend not only on the direction of the sound, but also on the individual. They are thus a function of the frequency f, the position ( ⁇ , ⁇ ) of the sound source (where the angle ⁇ represents the azimuth and the angle ⁇ the elevation), of the ear (left or right) and the individual.
  • HRTFs are obtained by measurement.
  • left and right HRTFs are measured by means of microphones inserted at the entrance of a subject's ear canal. The measurement must be performed in an anechoic chamber (or "deaf room”).
  • M directions we obtain, for a given subject, a database of 2M acoustic transfer functions representing each position of the space for each ear.
  • the spatialization effect is based on the use of HRTFs which, for optimal performance, must take into account acoustic propagation phenomena between the source and the ears, but also the individual specificities of the morphology of the listener.
  • the experimental measurement of HRTFs directly on an individual is, at the moment, the most reliable solution to obtain binaural filters of quality and really individualized (taking into account the individual specificities of the morphology of the individual). It is recalled that it is a matter of measuring the transfer function between a source located at a given position ( ⁇ 1, ⁇ 1) and the two ears of the subject by means of microphones placed at the entrance of the auditory ducts of this person.
  • HRTF HRTF itself is difficult to implement because it requires specific equipment. The measurement must be performed in an anechoic chamber. It also requires a mechanical device to move and control the measurement speaker to perform measurements for a large number of directions evenly distributed in azimuth and elevation around the listener. In addition, the measurement procedure as a whole is painful for the subject, because of the constraints imposed on the subject by the measuring system and because of the duration of the measurement.
  • a second problem is the need to measure HRTFs in a large number of directions to provide sufficient and homogeneous spatial sampling of the 3D sphere surrounding the listener. The higher the number of measured directions, the longer the test duration, which increases the discomfort of the subject. • A third problem is the measurement of a particular individual. To offer a binaural performance to any individual implies using its own HRTFs, which must have been measured beforehand, which is generally impossible.
  • An embodiment of this document provides in particular to enrich the morphological data of an individual, at the input of the model, by some HRTFs measured on this individual and in respective specific directions. Thus, only a small number of measurement directions are useful for obtaining the HRTFs of the individual in all directions of space.
  • the present invention therefore aims at a method for modeling HRTFs transfer functions specific to an individual, in which: a) a database is formed which includes a plurality of HRTFs in a multiplicity of spatial directions and for a plurality of of individuals, b) by learning on said database, a model for generating HRTFs for said plurality of directions is constructed from a set of measurements representative of HRTFs in respective directions selected from said plurality of directions and c) for any individual: ci) a set of functions representative of the HRTFs of the individual are measured in said selected directions only, c2) the model is applied to said measurements in the selected directions, and c3) the HRTFs are obtained. of the individual in all the said plurality of directions.
  • a database is formed which includes a plurality of HRTFs in a multiplicity of spatial directions and for a plurality of of individuals, b) by learning on said database, a model for generating HRTFs for said plurality of directions is constructed from a set of measurements representative of HRTFs in respective
  • step d substantially reproducible measurement conditions are applied with the measurement conditions of step b).
  • the conditions and directions in which the representative functions of the HRTFs are to be measured can be arbitrarily set in the learning step.
  • the term "arbitrarily” means that these measurements are not necessarily privileged directions for the model to give better results, so it will be understood that these conditions and / or directions of measurement may be chosen for reasons unrelated to the good
  • the measurement conditions are not necessarily optimal, which is why we are talking here about "representative HRTFs measurements” instead of "HRTFs measurements”.
  • step d) the measurement conditions of step d), on any individual, must preferentially be reproducible with those which made it possible to constitute the model in step b).
  • these measurement conditions can be chosen according to criteria that are completely independent of the operation of the model, the essential point being that they are reproducible between the moment when the model is constituted, in step b), and the moment when the measurements are taken on any individual in step c).
  • obtaining complete HRTFs from any individual can be achieved by roughly measuring its HRTFs in only a few directions, with a lean measurement procedure (ie that is, involving only a reduced number of measuring directions and / or a simplified measuring device).
  • the model is constructed using an artificial neural network. This category of powerful mathematical models is able to identify and reproduce high-level dependencies between input and output variables, without being limited to trivial solutions. It is then possible to apply at the input of the model parameters whose relation with the HRTFs is not necessarily obvious, but from which the model will nonetheless be able to extract information allowing to calculate the complete HRTFs of an individual any.
  • the present invention also provides an installation for implementing the above method and, more particularly, for estimating HRTFs transfer functions specific to an individual.
  • This installation comprises: a measurement cabin of transfer functions representative of HRTFs in a set of selected directions, and a processing unit for retrieving a set of measurements on an individual in said selected directions and evaluating the HRTFs of the individual. in a plurality of spatial directions including said selected directions, from a model capable of providing HRTFs for a multiplicity of directions, from a set of representative HRTFs measurements in only a few arbitrarily set directions from said multiplicity of directions.
  • the measurement directions in the aforementioned cabin then correspond to said arbitrarily fixed directions, to respect the measurement conditions between learning the model and its subsequent use.
  • the present invention is also directed to a computer program product for constituting the model.
  • This program may be stored in a memory of a processing unit or on a removable support adapted to cooperate with a reader of this processing unit, or may be transmitted from a server to the processing unit, in particular via a network extended.
  • the program then comprises instructions in the form of computer code for constructing a model capable of giving HRTFs transfer functions of an individual for a multiplicity of directions, from a set of measurements made on this individual, representative of HRTFs in a few directions only, and set arbitrarily among said plurality of directions, the program implementing, from a database including a plurality of HRTFs in a multiplicity of directions of space and for a plurality of individuals, at least a learning phase.
  • the present invention also relates to a second computer program product, intended to be stored in a memory of a processing unit or on a removable support adapted to cooperate with a reader of said processing unit, or intended to be transmitted from a server to said processing unit.
  • This second program comprises, in turn, instructions in the form of computer code for implementing a model based on an artificial neural network and capable of giving HRTFs transfer functions of an individual for a multiplicity of directions, from a set of measurements made on this individual, representative of HRTFs in only a few directions, and arbitrarily set among said plurality of directions.
  • the first program described above allows to build the model, while the second program consists of computer instructions representing the model itself.
  • FIG. 1 schematically illustrates the operating steps of a model implementing a network of artificial neurons, which can then correspond to a flowchart schematically showing the progress of the second computer program described above
  • FIG. 2 schematically illustrates the model construction steps, which may then correspond to a flowchart schematically showing the progress of the first computer program described above
  • FIG. 3 represents the variation of a validation error in the step of build the model based on the total number of measurements to be made to use the model
  • FIG. 4a schematically illustrates steps a) and b) of the process in the sense of the invention
  • FIG. 4b schematically illustrates step c) of the process within the meaning of the invention
  • FIG. 4c schematically illustrates an advantageous embodiment for the construction of the model in steps a) and b) of the method in the sense of the invention
  • FIG. 5 schematically represents an installation for implementing the invention.
  • the present invention proposes to calculate the transfer functions by means of a mathematical model based on a function F which makes it possible to express a transfer function from several input parameters.
  • the desired transfer function is represented as a vector Y (Ye $ R ", ne K) and if the input parameters are described as a vector X (Xe 5H m , K)
  • the function F makes it possible to deduce a transfer function from a given set of parameters known a priori.
  • mathematical model lies in the use of input parameters that are easy to acquire for any individual, bearing in mind, however, that their relationship to the transfer function is not necessarily direct or obvious.
  • mathematical model must in particular be able to extract more or less hidden information from input parameters to derive the desired transfer function.
  • the method of the invention is essentially based on two points:
  • the mathematical model of the HRTFs relies on a function F making it possible to express an HRTF from a given number of input parameters.
  • the input parameters are grouped in a vector X (Xe ⁇ me K) which therefore constitutes the input vector of the function F.
  • the output vector of the function is an HRTF which is represented by a vector Y (Ye
  • this vector Y may consist of frequency coefficients describing the spectrum modulus of the transfer function defined by HRTF Equivalently, Y may be:
  • the function F is therefore a function of 9V "in SR".
  • the input vector X of the model contains mainly information relating to:
  • an HRTF preferably in the form of an azimuth angle ( ⁇ ) and an elevation angle ( ⁇ ),
  • the output vector Y of the model consists of coefficients associated with a given representation of an HRTF. As indicated above, the vector Y may correspond to the frequency coefficients describing the spectrum modulus of an HRTF, but other representations may be considered (principal component analysis, HR filter, or others).
  • the model is applied for interpolation purposes.
  • a reduced number of HRTFs is measured on an individual.
  • the model is then used to calculate the HRTFs of this individual in all directions covering the 3D sphere. Previously measured HRTFs are therefore used as input parameters of the model.
  • the modeling consists essentially of:
  • the method of the invention is preferably based on statistical learning algorithms and, in a preferred embodiment, on network type algorithms. artificial neurons. These algorithms are briefly presented below.
  • Statistical learning algorithms are tools for predicting statistical processes. They have been used successfully for the prediction of processes for which several explanatory variables can be identified. Artificial neural networks define a particular category of these algorithms. The interest of neural networks lies in their ability to capturing high-level dependencies, that is, dependencies that involve multiple variables at once. The process prediction takes advantage of the knowledge and exploitation of high-level dependencies. There is a wide variety of application domains of neural networks, especially in financial techniques to predict market fluctuations, in pharmaceuticals, in the banking field for the detection of credit card fraud, in marketing to predict behavior. consumers, or others. Neural networks are often considered as universal predictors, in the sense that they are capable of predicting arbitrary data from any explanatory variables, provided that the number of hidden units is sufficient. In other words, they make it possible to model any mathematical function of 5R m in SR ", if the number of hidden units m is sufficient.
  • a neural network consists of three layers: an input layer 10, a hidden layer 11 and an output layer 12.
  • the input layer 11 corresponds to the explanatory variables, that is to say the variables of input (the aforementioned vector X), from which the prediction is made, and which will be described in detail later.
  • the output layer 12 defines the predicted values (the above-mentioned vector Y).
  • a first step 111 consists in calculating linear combinations of the explanatory variables so as to combine the information coming potentially from several variables.
  • a second step 112 consists in applying a non-linear transformation (for example a function of the "hyperbolic tangent" type) to each of the linear combinations in order to obtain the values of the hidden units or neurons that constitute the hidden layer. This nonlinear transformation defines the activation function of the neurons.
  • the hidden units are recombined linearly, at step 113, to calculate the value predicted by the neural network.
  • learning consisting in optimizing the parameters of the hidden layer from a series of training examples (forming training sets), from which the neural network seeks to minimize its prediction error; the validation procedure, conducted in parallel with the learning and intended to optimize the number of hidden layers of the network, so that the neural network does not over-learn the learning set.
  • the network models only the basic dependency relationships and does not attempt to reproduce relationships that are due only to statistical fluctuations in the learning set.
  • a prediction error is thus evaluated on examples from a validation set, which is distinct from the training set. This error defines the validation error. It begins to decrease when increasing the number of hidden layers, reaches a minimum, and then increases when the number of hidden layers becomes too large. The minimum therefore defines an optimal number of hidden layers of the network;
  • neural network There are different categories of neural network distinguished by their architecture (type of interconnection between neurons, choice of activation functions, or other) and the learning mode used.
  • Neural networks are not used for prediction purposes only. They are also used for classification and / or grouping of Clustering in a perspective of information reduction. Indeed, a network of neurons is able, in a set of data, to identify common characteristics between the elements of this set, to group them according to their resemblance. Each group thus formed is then associated with an element representative of the information contained in the group, called "representative”. This representative can then be substituted for the entire group. The set of data can thus be described by means of a reduced number of elements, which constitutes a reduction of data. Kohonen maps or self-organizing maps (SOM for "Self Organizing Map”) may be neural networks dedicated to this grouping task.
  • SOM Self-organizing maps
  • the method that seemed the most immediate was a uniform selection in which a subset of directions was chosen by trying to cover the entire 3D sphere as homogeneously and evenly as possible. This method was based on a regular sampling of the 3D sphere. However, it turned out that the HRTFs did not vary in a uniform way depending on the direction. From this point of view, a uniform selection of HRTFs was not really effective.
  • this grouping technique may consist of: in a first step, identifying the redundancies between the HRTFs of neighboring directions, in a second step, grouping the HRTFs according to a similarity criterion,
  • the whole of the 3D sphere surrounding the listener is thus subdivided into a reduced number of zones corresponding to the different groups of HRTFs previously identified, and
  • each group is associated with an HRTF which is considered to be the representative of the group.
  • This "representative" HRTF is one of the HRTFs of the cluster and is selected as the HRTF minimizing a distance criterion with all the other HRTFs in the group.
  • the representative HRTF contains most of the HRTFs information of the group. In the end, all the representative HRTFs thus obtained constitute a compact description of the properties of the HRTFs for the entire 3D sphere.
  • the clustering procedure also provides additional information as to the directions associated with the representative HRTFs, this information making it possible to define a selection of HRTFs intended to feed the input of the HRTFs calculation model. This selection is a priori non-uniform, but more efficient, and guarantees a better "representativeness" of the entire 3D sphere.
  • the present invention proposes the use, as input parameters of the model, of a selection of HRTFs corresponding to directions in the sense that these directions are not necessarily "representative" (in the sense of the clustering technique described above). However, these directions remain exploitable in that the model is able to extract specific information relating to each individual.
  • the invention uses "artificial neural network” type statistical learning algorithms, as a modeling tool for calculating HRTFs (for example with a "Multi Layer Perceptron” or MLP type neuron network). ).
  • the input parameters of the neural network are at least the azimuth angle ( ⁇ 1) and the elevation angle ( ⁇ 1) specifying the direction of an HRTF to be calculated. These parameters are possibly supplemented by "individual" parameters associated with the individual whose HRTFs are to be calculated. These individual parameters include a selection of HRTFs from the individual that have been previously measured. Nevertheless, it is not excluded to add morphological parameters of the individual to the input of the model to enrich the information to be provided to the model.
  • the output parameters of the model are then the coefficients of the vector describing the HRTF for the direction ( ⁇ 1, ⁇ 1) and for the individual specified as input.
  • the principle of calculating HRTFs by implementing an artificial neural network (for example of the MLP type) consists of:
  • the input layer 10 consists of the input parameters including then: o the HRTFs for a few already measured spatial directions only and rated HRTF ( ⁇ i my, ⁇ j my), with i between 1 and n, the directions for which it is desired to calculate the HRTFs, preferably specified in the form of an elevation angle ( ⁇ j cal ) and an azimuth angle ( ⁇ j cal ), with j being between 1 and N, N being much larger than n, - the output layer 12 giving the HRTFs of the individual in the directions ( ⁇ j cal , ⁇ j cal ) specified at the input, and
  • One or more hidden layers 11 which seek, by adjusting the weight and activation functions of neurons, to better model the relationship between the input layer and the output layer.
  • This database 20 is broken down into three distinct sets:
  • an input vector X (describing the direction of the HRTF to be calculated and the individual parameters such as measuring the HRTFs in some directions),
  • the learning phase is over-learning, which translates as follows: the neural network learns "by heart” the learning set and tries to reproduce variations specific to the learning set, then they do not exist at the global level.
  • the validation phase 22 is conducted jointly with the learning phase 21. Referring to FIG. 3, it consists in evaluating the prediction error of the neural network on a validation set.
  • the Err_valid validation error begins to decrease and then starts to grow again when over-learning occurs.
  • the minimum MIN of the validation error therefore determines the end of the learning.
  • an operational neural network is available, to which it suffices to submit input parameters to obtain the HRTFs of an individual in one direction.
  • the method in the general sense of the invention thus comprises a step a) during which a database 20 is constituted by measuring a plurality of HRTFs in a multiplicity of directions of space and for a plurality of individuals.
  • This measurement step referenced 40 in FIG. 4a consists in collecting the HRTFs measurements in N spatial directions, for several individuals, preferably of different morphology (or "morphotype"), in order to obtain an exhaustive database according to the specificities. individuals. More generally, the number of individuals taken into account during learning is high and better are the performance of the neural network, especially in terms of "universality".
  • step b) consists in learning the model using the database 20.
  • steps 41 arbitrary steps i of measurements representative of HRTFs in a restricted number n (with n ⁇ N) are arbitrarily selected. This step 41 will be described in detail below, with reference to FIG. 4c.
  • the three learning phases 21, validation 22 and test 23 are then conducted to build the model in step 44. It will be noted that it is possible to adjust the limited number of measurements n to avoid the phenomenon of over-learning described above. Thus, it is possible to determine an optimum number Nopt of measurements necessary for the proper functioning of the model (step 42) and to adopt this optimum number (step 43) for the definition of the model.
  • the neural network 44 for calculating the HRTFs.
  • the neural network 44 is then able to calculate the HRTFs of any individual, in any direction, provided that there are a few HRTFs of the individual in the predetermined directions ⁇ j mes , ⁇ j mes .
  • step 44 it is possible, in a subsequent step c), to determine the HRTFs of any individual in all directions of space.
  • the HRTFs of the individual are measured in the measurement directions i (HRTF (cpi mes , ⁇ i mes )) and the model is given the directions in which a computation is desired of HRTFs ( ⁇ j cal , ⁇ j cal ), in a step 45, c2) model 44 is then applied to these HRTFs measurements, and c3) the HRTFs of the individual, calculated in the desired directions ⁇ j cal are obtained , ⁇ j cal (step 46).
  • step d) the measurement conditions of step d) must be substantially reproducible with the measurement conditions for HRTFs in the directions i (step 41 of FIG. 4a).
  • the database 20 must be constituted under the most conventional and standard conditions to offer, at the output of the model, quality HRTFs that can be applied to rendering devices by providing satisfactory listening comfort.
  • the input of the model in which directions ( ⁇ j cal, ⁇ j cal) the HRTFs are to be calculated by the model.
  • this will of course be the largest possible number of 3D space directions.
  • a version of the model 44b, in the learning state calculates the HRTFs in these directions ( ⁇ j cal , ⁇ j cal ) from the "degraded" measurement sets HRTF ( ⁇ j mes , ⁇ j mes ), in a following step 46b .
  • the model compares these calculated HRTFs with the HRTFs of the database 20 in the same directions ( ⁇ j cal , ⁇ j cal ). If the deviation is considered too large (arrow n), the learning model 44b is perfected until this difference is reduced to an acceptable error (arrow o): the model then becomes definitive (end step 44).
  • step a in parallel with the constitution of the database 20 for a plurality of individuals, the respective sets of functions representative of the HRTFs are measured on the same plurality of individuals. (denoted HRTF (cpi mes , ⁇ j mes )) under arbitrarily set conditions and directions of measurement.
  • step b For the construction of the model in step b):
  • the database 20 is applied at the model's output for a comparison of the calculated HRTFs with those of the database.
  • IND is placed in a CAB that is not necessarily anechoic. He has a CAS helmet with at least one MIC microphone attached to one of his ears. Preferably, the CAS helmet is carried by a telescopic rigid rod in height (along the y axis). This rod is also attached to a rep mark 1 of the cab CAB.
  • This embodiment makes it possible to maintain the individual IND (with respect to the other axes x and z) and to position it correctly with respect to the reference mark REP1 and, consequently, with respect to the sound sources S1, S2,. CAB cabin.
  • REP2 mark such as a visual cue on a mirror
  • another REP2 mark allows the individual to be positioned in height (along the y axis).
  • the individual can sit on a height adjustable seat and adjust the height until his ears coincide with the mark REP2 on the mirror.
  • the source S2 is slightly offset with respect to the reference mark REP1.
  • the number of sources SI-Sn to predict depends, in principle, the number of HRTFs that one wishes to calculate from the model. Typically, to calculate HRTFs throughout the 3D space, between 25 and 30 prerequisite directions in CAB Cabin are recommended. Nevertheless, for a satisfactory comfort of listening, about fifteen measures is sufficient. Finally, in absolute terms, a single measure should be sufficient to obtain a single estimated HRTF. We will then choose the measurement direction closest to the direction of HRTF to calculate.
  • the sources S1 to Sn are not necessarily arranged on the same sphere portion surface.
  • the purpose of the measurement protocol of FIG. 5 is not to obtain HRTFs in the strict sense of the term, but more precisely transfer functions of an individual, these transfer functions being partially representative of its HRTFs. .
  • These transfer functions are intended to be used as input parameters of the model 44.
  • the inventors have indeed found that the model was able to extract and use the individual information contained in these transfer functions, even if this information is partial or scrambled. What matters is not the quality of the HRTFs measured according to this protocol, but their reproducibility. It is essentially on this reproducibility that the model of HRTFs is based.
  • the measurements applied at the input of the model are not necessarily real HRTFs, but representative transfer functions of HRTFs.
  • these transfer functions presented at the input of the model can have various forms (corresponding to different representations of HRTFs), in particular: a complex spectrum of the transfer function,
  • At least one additional parameter that can be provided at the input of the model may be morphological in nature and specific to the individual IND, such as the distance between its two ears.
  • the learning, validation and test phases of the neural network are performed from a database comprising, in addition to the HRTFs, morphological parameters of the individuals, such as:
  • the signals measured by the microphone PCM are collected by an interface 51 of a CPU (e.g. an audio acquisition card), which converts them into digital data. These data, if necessary enriched by a measurement of the morphological parameter (s) of the individual, are then processed by the model 44 in the sense of the invention.
  • the model 44 may be stored as a computer program product in a memory of the CPU.
  • the HRTFs calculated for all the directions of the space that the model gives can then be stored in memory 52 or recorded on a removable medium (on diskette or engraved on CD-ROM) or communicated via a network such as the Internet or equivalent .
  • the input layer of the neural network comprises a selection of HRTFs of the individual corresponding to any directions, but fixed a priori, and obtained under non-ideal conditions.
  • These "approximate" HRTFs are certainly obtained by direct measurement on the individual IND, but under non-ideal conditions, especially in an environment that is not necessarily anechoic.
  • the measurement protocol must be defined beforehand (typically in learning step b)) and must be rigorously followed in step c) of applying the model to any individual.
  • the network of neurons thus obtained is capable of calculating the HRTFs of any individual, in any direction, provided that measurements are available in the directions ⁇ j mes and ⁇ j my chosen and obtained under these predefined conditions.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Stereophonic System (AREA)

Abstract

La présente invention concerne la modélisation de fonctions de transfert individuelles HRTFs (pour "Head Related Transfer Functions"), relatives à l'audition d'un individu dans l'espace tridimensionnel. Selon l'invention : par apprentissage sur une base de données incluant plusieurs HRTFs dans toutes les directions de l'espace et pour plusieurs individus, on construit un modèle basé sur un réseau de neurones artificiels capable de calculer des HRTFs pour toute direction de l'espace, à partir d'un jeu de mesures, même grossières, de HRTFs dans des directions fixées arbitrairement, et ; pour un individu quelconque : on mesure grossièrement ses HRTFs seulement dans les directions fixées arbitrairement, on applique le modèle précité à ces mesures, et on obtient les HRTFs de l'individu dans toute l'espace.

Description

Procédé et dispositif d'individualisation de HRTFs par modélisation
La présente invention concerne la modélisation de fonctions de transfert individuelles dites HRTFs (pour "Head Related Transfer Functions"), relatives à l'audition d'un individu dans l'espace tridimensionnel.
L'invention s'inscrit en particulier dans le cadre de services de télécommunication proposant une diffusion du son spatialisée (par exemple une audioconférence entre plusieurs locuteurs, une diffusion de bande annonce de cinéma). Sur des terminaux de télécommunication, notamment mobiles, il est envisagé un rendu sonore avec un casque d'écoute stéréophonique. La technique la plus efficace de positionnement des sources sonores dans l'espace est alors la synthèse binaurale.
La synthèse binaurale repose sur l'utilisation de filtres, dits "binauraux", qui reproduisent les fonctions de transfert acoustiques entre la source sonore et les oreilles de l'auditeur. Ces filtres servent à simuler les indices de localisation auditive, indices qui permettent à un auditeur de localiser les sources sonores en situation d'écoute réelle. Ces filtres prennent en compte l'ensemble des phénomènes acoustiques (notamment la diffraction par la tête, les réflexions sur le pavillon de l'oreille et le haut du torse) qui modifient l'onde acoustique dans son trajet entre la source et les oreilles de l'auditeur. Ces phénomènes varient fortement avec la position de la source sonore (principalement avec sa direction) et ces variations permettent à l'auditeur de localiser la source dans l'espace. En effet, ces variations déterminent une sorte de codage acoustique de la position de la source. Le système auditif d'un individu sait, par apprentissage, interpréter ce codage pour localiser les sources sonores. Néanmoins, les phénomènes acoustiques de diffraction/réverbération dépendent tout aussi fortement de la morphologie de l'individu. Une synthèse binaurale de qualité repose donc sur des filtres binauraux qui reproduisent au mieux le codage acoustique que produit naturellement le corps de l'auditeur, en prenant en compte les spécificités individuelles de sa morphologie. Lorsque ces conditions ne sont pas respectées, on observe une dégradation des performances du rendu binaural, qui se traduit notamment par une perception intracrânienne des sources et des confusions avant/arrière. Les sources situées à l'avant sont perçues à l'arrière et vice versa.
Parmi les technologies du son 3D ou de spatialisation sonore, en traitement du signal audio appliqué notamment à la simulation de phénomènes acoustiques et psycho-acoustiques, certaines visent la génération de signaux à diffuser sur haut-parleurs ou sur écouteurs, afin de donner à l'auditeur l'illusion auditive de sources sonores placées à des positions respectives particulières autour de lui. On parle alors de création de sources et d'images sonores virtuelles.
Les techniques binaurales décrites ci-avant sont appliquées au traitement d'un son 3D destiné à une diffusion sur casque à deux oreillettes gauche et droite.
Ces techniques visent la reconstruction du champ sonore au niveau des oreilles d'un auditeur, de telle sorte que ses tympans perçoivent un champ sonore pratiquement identique à celui qu'auraient induit les sources réelles dans l'espace 3D. Les techniques binaurales sont donc basées sur une paire de signaux binauraux qui alimentent respectivement les deux écouteurs du casque. Ces signaux binauraux peuvent être obtenus de deux façons :
- par une prise de son directe, au moyen de deux microphones insérés à l'entrée du canal auditif d'un individu ou d'un mannequin à morphologie standard ("tête artificielle"), ou - par traitement du signal, en filtrant un signal monophonique par deux filtres binauraux, ces filtres reproduisant les propriétés de la propagation acoustique entre la source placée à une position donnée et les deux oreilles d'un auditeur.
Les techniques binaurales mettant en œuvre des filtres binauraux définissent le domaine de la synthèse binaurale dans un contexte avantageux de la présente invention. La synthèse binaurale repose sur les filtres binauraux qui modélisent la propagation de l'onde acoustique entre la source et les deux oreilles de l'auditeur. Ces filtres représentent des fonctions de transfert acoustiques appelées HRTFs qui modélisent les transformations engendrées par le torse, la tête et le pavillon de l'auditeur sur le signal provenant d'une source sonore. A chaque position de source sonore est associée une paire de HRTFs (une HRTF pour l'oreille droite, une HRTF pour l'oreille gauche). De plus, les HRTFs portent l'empreinte acoustique de la morphologie de l'individu sur lequel elles ont été mesurées.
Les HRTFs dépendent donc non seulement de la direction du son, mais aussi de l'individu. Elles sont ainsi fonction de la fréquence f, de la position (θ,φ) de la source sonore (où l'angle θ représente l'azimut et l'angle φ l'élévation), de l'oreille (gauche ou droite) et de l'individu.
De manière classique, les HRTFs sont obtenues par la mesure. On fixe initialement une sélection de directions qui couvrent plus ou moins finement l'ensemble de l'espace entourant l'auditeur. Pour chaque direction, les HRTFs gauche et droite sont mesurées au moyen de microphones insérés à l'entrée du conduit auditif d'un sujet. La mesure doit être réalisée dans une chambre anéchoïque (ou "chambre sourde"). Au final, si M directions sont mesurées, on obtient, pour un sujet donné, une base de données de 2M fonctions de transfert acoustiques représentant chaque position de l'espace pour chaque oreille.
Dans le contexte avantageux de la synthèse binaurale, l'effet de spatialisation repose sur l'utilisation de HRTFs qui, pour des performances optimales, doivent prendre en compte les phénomènes de propagation acoustique entre la source et les oreilles, mais aussi les spécificités individuelles de la morphologie de l'auditeur. La mesure expérimentale des HRTFs directement sur un individu est, à l'heure actuelle, la solution la plus fiable pour obtenir des filtres binauraux de qualité et réellement individualisés (tenant compte des spécificités individuelles de la morphologie de l'individu). On rappelle qu'il s'agit de mesurer la fonction de transfert entre une source située à une position donnée (Θ1 , φ1) et les deux oreilles du sujet au moyen de microphones placés à l'entrée des conduits auditifs de cette personne.
Toutefois, la mesure de ces fonctions de transfert HRTFs présente quelques difficultés. Elle requiert un équipement spécifique et coûteux (typiquement une chambre sourde, un microphone, un dispositif mécanique de positionnement de sources). Cette opération est longue car il faut notamment mesurer les fonctions de transfert pour un grand nombre de directions afin de couvrir de façon homogène l'ensemble d'une sphère 3D entourant l'auditeur.
Cette mesure des HRTFs devient très difficile, voire impossible, dans le cadre d'applications de la synthèse binaurale destinée au grand public. La mesure des HRTFs pose en fait au moins trois problèmes principaux :
• La mesure des HRTF en elle-même est difficile à mettre en œuvre, car elle nécessite un équipement spécifique. La mesure doit être réalisée dans une chambre anéchoïque. Elle requiert aussi un dispositif mécanique pour déplacer et piloter le haut-parleur de mesure afin d'effectuer des mesures pour un grand nombre de directions uniformément réparties en azimut et en élévation autour de l'auditeur. En outre, la procédure de mesure dans l'ensemble est pénible pour le sujet, à cause des contraintes imposées au sujet par le système de mesure et à cause de la durée de la mesure.
• Un second problème réside dans la nécessité de mesurer les HRTFs dans un grand nombre de directions pour offrir un échantillonnage spatial suffisant et homogène de la sphère 3D entourant l'auditeur. Plus le nombre de directions mesurées est élevé, plus la durée du test est longue, ce qui accroît l'inconfort du sujet. • Un troisième problème concerne la mesure d'un individu en particulier. Offrir une synthèse binaurale performante à un individu quelconque suppose d'utiliser ses HRTFs propres, qu'il aura fallu mesurer au préalable, ce qui est en général impossible.
On a donc recherché des solutions nécessitant un minimum de mesures de HRTFs et implémentant davantage des techniques de modélisation. En particulier, on a recherché des modèles mathématiques de HRTFs consistant en une fonction F permettant d'exprimer une HRTF (Y) à partir d'un jeu de paramètres (X) donnés a priori, tels que Y = F(X). Souvent, deux éléments essentiels interviennent :
- la mise au point du modèle mathématique (fonction F), et
- la spécification du jeu de paramètres à appliquer en entrée du modèle.
On présente ci-après l'état de l'art à la connaissance des inventeurs sur les modélisations des HRTFs mises en œuvre à ce jour, en portant attention au choix des paramètres d'entrée des modèles.
Dans le document US-2003/138107, on a présenté un modèle statistique de HRTFs à partir de données morphologiques. Cette approche part d'une analyse statistique appliquée à une base de données incluant des HRTFs et des données morphologiques. Une analyse en composantes principales est d'abord appliquée d'une part aux HRTFs et d'autre part aux données morphologiques, ce qui permet de décrire l'ensemble des données avec un nombre réduit de composantes. Ensuite, une régression linéaire est effectuée entre les composantes issues de l'analyse en composantes principales des
HRTFs et les composantes issues de celle des données morphologiques. On établit ainsi un modèle statistique reliant les données morphologiques aux
HRTFs. Il suffit ensuite de mesurer les paramètres morphologiques d'un individu quelconque pour prédire ses HRTFs à partir du modèle statistique obtenu. Un mode de réalisation de ce document prévoit en particulier d'enrichir les données morphologiques d'un individu, en entrée du modèle, par quelques HRTFs mesurées sur cet individu et dans des directions respectives spécifiques. Ainsi, seul un nombre restreint de directions de mesure est utile pour obtenir les HRTFs de l'individu dans toutes les directions de l'espace.
Néanmoins, même si le nombre de mesures est restreint dans ce document, il faut encore respecter le protocole de mesure de HRTFs, en particulier prévoir une chambre anéchoïque pour les mesures et positionner strictement les sources à des distances bien précises des microphones qui sont accolés aux oreilles de l'individu.
La mise en œuvre de la présente invention s'affranchit de telles contraintes.
La présente invention vise à cet effet un procédé de modélisation de fonctions de transfert HRTFs propres à un individu, dans lequel : a) on constitue une base de données incluant une pluralité de HRTFs suivant une multiplicité de directions de l'espace et pour une pluralité d'individus, b) par apprentissage sur ladite base de données, on construit un modèle propre à donner des HRTFs pour ladite multiplicité de directions, à partir d'un jeu de mesures représentatives de HRTFs dans des directions respectives sélectionnées parmi ladite multiplicité de directions, et c) pour un individu quelconque : ci) on mesure un jeu de fonctions représentatives des HRTFs de l'individu dans lesdites directions sélectionnées seulement, c2) on applique le modèle auxdites mesures dans les directions sélectionnées, et c3) on obtient les HRTFs de l'individu dans toute ladite multiplicité de directions. En outre, dans le procédé au sens de l'invention :
- les conditions et les directions de mesure pour obtenir ledit jeu de mesures sont fixées arbitrairement pendant l'étape d'apprentissage b), et
- on applique, à l'étape d), des conditions de mesure sensiblement reproductibles avec les conditions de mesure de l'étape b).
Ainsi, selon un aspect de l'invention, on peut fixer arbitrairement, dès l'étape d'apprentissage, les conditions et les directions dans lesquelles les fonctions représentatives des HRTFs vont être mesurées. On entend par le terme "arbitrairement le fait que ces mesures ne sont pas forcément des directions privilégiées pour que le modèle donne de meilleurs résultats. On comprendra donc que ces conditions et/ou ces directions de mesure peuvent être choisies pour des raisons indépendantes du bon fonctionnement du modèle. Par ailleurs, les conditions de mesure ne sont pas nécessairement optimales. C'est la raison pour laquelle on parle ici de "mesures représentatives de HRTFs" au lieu de "mesures de HRTFs".
Toutefois, les conditions de mesure de l'étape d), sur un individu quelconque, doivent préférentiellement être reproductibles avec celles qui ont permis de constituer le modèle à l'étape b). Ainsi, ces conditions de mesure peuvent être choisies selon des critères complètement indépendants du fonctionnement du modèle, l'essentiel étant qu'elles soient reproductibles entre le moment où l'on constitue le modèle, à l'étape b), et le moment où l'on mène les mesures sur un individu quelconque, à l'étape c).
Ainsi, selon l'un des avantages que procure la présente invention, l'obtention des HRTFs complètes d'un individu quelconque peut s'effectuer en mesurant grossièrement ses HRTFs dans quelques directions seulement, avec une procédure de mesure allégée (c'est-à-dire n'impliquant qu'un nombre réduit de directions de mesure et/ou un dispositif de mesure simplifié). Dans une réalisation préférée, le modèle est construit en mettant en oeuvre un réseau de neurones artificiels. Cette catégorie de modèles mathématiques performants est capable d'identifier et de reproduire des dépendances de haut niveau entre les variables d'entrée et de sortie, sans se limiter à des solutions triviales. Il est alors possible d'appliquer en entrée du modèle des paramètres dont la relation avec les HRTFs n'est pas forcément évidente, mais à partir desquels le modèle sera néanmoins capable d'extraire des informations permettant de calculer les HRTFs complètes d'un individu quelconque.
La présente invention vise aussi une installation pour la mise en œuvre du procédé ci-avant et, plus particulièrement, pour l'estimation de fonctions de transfert HRTFs propres à un individu. Cette installation comporte : - une cabine de mesure de fonctions de transfert représentatives de HRTFs dans un jeu de directions choisies, et - une unité de traitement pour récupérer un jeu de mesures sur un individu dans lesdites directions choisies et évaluer les HRTFs de l'individu dans une multiplicité de directions de l'espace incluant lesdites directions choisies, à partir d'un modèle capable de donner des HRTFs pour une multiplicité de directions, à partir d'un jeu de mesures représentatives de HRTFs dans quelques directions seulement fixées arbitrairement parmi ladite multiplicité de directions.
Au sens de l'invention, les directions de mesure dans la cabine précitée correspondent alors auxdites directions fixées arbitrairement, pour respecter les conditions de mesure entre l'apprentissage du modèle et son utilisation ultérieure.
La présente invention vise aussi un produit programme d'ordinateur pour constituer le modèle. Ce programme peut être stocké dans une mémoire d'une unité de traitement ou sur un support amovible propre à coopérer avec un lecteur de cette unité de traitement, ou encore être transmis d'un serveur vers l'unité de traitement, notamment via un réseau étendu. Le programme comporte alors des instructions sous forme de code informatique pour construire un modèle capable de donner des fonctions de transfert HRTFs d'un individu pour une multiplicité de directions, à partir d'un jeu de mesures, effectuées sur cet individu, représentatives de HRTFs dans quelques directions seulement, et fixées arbitrairement parmi ladite multiplicité de directions, le programme mettant en œuvre, à partir d'une base de données incluant une pluralité de HRTFs suivant une multiplicité de directions de l'espace et pour une pluralité d'individus, au moins une phase d'apprentissage.
La présente invention vise aussi un second produit programme d'ordinateur, destiné à être stocké dans une mémoire d'une unité de traitement ou sur un support amovible propre à coopérer avec un lecteur de ladite unité de traitement, ou destiné à être transmis d'un serveur vers ladite unité de traitement. Ce second programme comporte, quant à lui, des instructions sous forme de code informatique pour mettre en œuvre un modèle basé sur un réseau de neurones artificiels et capable de donner des fonctions de transfert HRTFs d'un individu pour une multiplicité de directions, à partir d'un jeu de mesures effectuées sur cet individu, représentatives de HRTFs dans quelques directions seulement, et fixées arbitrairement parmi ladite multiplicité de directions.
Ainsi, le premier programme décrit ci-avant permet de construire le modèle, tandis que le second programme consiste en des instructions informatiques représentant le modèle lui-même.
D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et des dessins annexés sur lesquels : - la figure 1 illustre schématiquement les étapes de fonctionnement d'un modèle mettant en œuvre un réseau de neurones artificiels, pouvant correspondre alors à un organigramme représentant schématiquement le déroulement du second programme informatique décrit ci-avant, - la figure 2 illustre schématiquement les étapes de construction du modèle, pouvant correspondre alors à un organigramme représentant schématiquement le déroulement du premier programme informatique décrit ci-avant, - la figure 3 représente la variation d'une erreur de validation dans l'étape de construction du modèle en fonction du nombre total de mesures à effectuer pour utiliser le modèle,
- la figure 4a illustre schématiquement les étapes a) et b) du procédé au sens de l'invention, - la figure 4b illustre schématiquement l'étape c) du procédé au sens de l'invention,
- la figure 4c illustre schématiquement une réalisation avantageuse pour la construction du modèle aux étapes a) et b) du procédé au sens de l'invention, et - la figure 5 représente schématiquement une installation pour la mise en œuvre de l'invention.
On rappelle que la présente invention propose de calculer les fonctions de transfert au moyen d'un modèle mathématique basé sur une fonction F qui permet d'exprimer une fonction de transfert à partir de plusieurs paramètres d'entrée. Plus précisément, si la fonction de transfert cherchée est représentée sous la forme d'un vecteur Y (Ye $R" , n e K) et si les paramètres d'entrée sont décrits sous la forme d'un vecteur X (Xe 5Hm , m e K ), la fonction F définit la relation suivante : Y = F(X). En d'autres termes, la fonction F permet de déduire une fonction de transfert d'un ensemble donné de paramètres connus a priori. L'intérêt du modèle mathématique réside dans l'utilisation de paramètres d'entrée qu'il est facile d'acquérir pour un individu quelconque, en gardant à l'esprit toutefois que leur relation avec la fonction de transfert n'est pas forcément directe ou évidente. Le modèle mathématique doit en particulier être capable d'extraire l'information plus ou moins cachée dans les paramètres d'entrée afin d'en déduire la fonction de transfert cherchée. Le procédé de l'invention repose essentiellement sur deux points :
- la définition de la fonction F,
- la détermination des paramètres d'entrée X. Le modèle mathématique des HRTFs repose sur une fonction F permettant d'exprimer une HRTF à partir d'un nombre donné de paramètres d'entrée. Les paramètres d'entrée sont regroupés dans un vecteur X (Xe ^ . m e K ) qui constitue donc le vecteur d'entrée de la fonction F. Le vecteur de sortie de la fonction est une HRTF qui est représentée par un vecteur Y (Ye 5H" , « e K ). Par exemple, ce vecteur Y peut être constitué de coefficients fréquentiels décrivant le module du spectre de la fonction de transfert définie par la HRTF. De manière équivalente, Y peut être constitué :
- de coefficients temporels décrivant la réponse impulsionnelle associée à la fonction de transfert définie par la HRTF, - ou de coefficients fréquentiels décrivant le spectre complexe de la fonction de transfert définie par la HRTF. La fonction F est donc une fonction de 9V" dans SR" .
Le problème de la modélisation consiste à déterminer la fonction F, en association avec un jeu pertinent de paramètres (X), telle que toute HRTF (Y) soit solution de : Y = F(X).
Spécifiquement pour l'estimation des HRTFs d'un individu, le vecteur d'entrée X du modèle contient principalement des informations relatives à :
- la direction dans laquelle on désire calculer une HRTF, préférentiellement sous la forme d'un angle d'azimut (θ) et d'un angle d'élévation (φ),
- et des paramètres "individuels" (tels que des HRTFs mesurées dans quelques directions de l'espace seulement, comme on le verra plus loin), ces paramètres individuels étant destinés à apporter au modèle des informations relatives aux spécificités de l'individu dont on désire calculer les HRTFs. Le vecteur de sortie Y du modèle est constitué de coefficients associés à une représentation donnée d'une HRTF. Comme indiqué ci-avant, le vecteur Y peut correspondre aux coefficients fréquentiels décrivant le module du spectre d'une HRTF, mais d'autres représentations peuvent être considérées (analyse en composantes principales, filtre HR, ou autres).
Ici, le modèle est appliqué à des fins d'interpolation. Un nombre réduit de HRTFs est mesuré sur un individu. Le modèle est alors utilisé pour calculer les HRTFs de cet individu dans toutes les directions couvrant la sphère 3D. Les HRTFs précédemment mesurées sont donc utilisées comme paramètres d'entrée du modèle. La modélisation consiste essentiellement à :
- déterminer la fonction F qui approche au mieux la relation entre X et Y,
- déterminer le jeu X de paramètres d'entrée le mieux adapté, en relation avec la fonction F, notamment en termes de qualité et de quantité des informations apportées par les paramètres et qui pourront être exploitées par le modèle utilisé.
La détermination de F et du vecteur X ne sont bien évidemment pas indépendants.
II existe une grande variété de procédés mathématiques pour déterminer ces deux entités F et X. Le procédé de l'invention est préférentiellement basé sur des algorithmes d'apprentissage statistique et, dans un mode de réalisation préféré, sur des algorithmes du type à réseaux de neurones artificiels. Ces algorithmes sont brièvement présentés ci-après.
Les algorithmes d'apprentissage statistique sont des outils de prédiction des processus statistiques. Ils ont été utilisés avec succès pour la prédiction de processus pour lesquels on peut identifier plusieurs variables explicatives. Les réseaux de neurones artificiels définissent une catégorie particulière de ces algorithmes. L'intérêt des réseaux de neurones réside dans leur capacité à capter les dépendances de haut niveau, c'est-à-dire des dépendances qui impliquent plusieurs variables à la fois. La prédiction du processus tire profit de la connaissance et de l'exploitation de dépendances de haut niveau. Il existe une grande variété de domaines applicatifs des réseaux de neurones, notamment dans les techniques financières pour prédire les fluctuations de marché, en pharmaceutique, dans le domaine bancaire pour la détection des fraudes sur les cartes de crédit, dans le marketing pour prévoir le comportement des consommateurs, ou autres. Les réseaux de neurones sont souvent considérés comme des prédicteurs universels, au sens où ils sont capables de prédire des données quelconques à partir de variables explicatives quelconques, dès lors que le nombre d'unités cachées est suffisant. En d'autres termes, ils permettent de modéliser une fonction mathématique quelconque de 5Rm dans SR" , si le nombre d'unités cachées m est suffisant.
En référence à la figure 1 ; un réseau de neurones se compose de trois couches : une couche d'entrée 10, une couche cachée 11 et une couche de sortie 12. La couche d'entrée 11 correspond aux variables explicatives, c'est-à- dire les variables d'entrée (le vecteur X précité), à partir desquelles s'effectue la prédiction, et qui sera décrit en détail plus loin. La couche de sortie 12 définit les valeurs prédites (le vecteur Y précité).
Dans la couche cachée, une première étape 111 consiste à calculer des combinaisons linéaires des variables explicatives de façon à combiner les informations provenant potentiellement de plusieurs variables. Une seconde étape 112 consiste à appliquer une transformation non linéaire (par exemple une fonction du type "tangente hyperbolique") à chacune des combinaisons linéaires afin d'obtenir les valeurs des unités cachées ou neurones qui constituent la couche cachée. Cette transformation non linéaire définit la fonction d'activation des neurones. Enfin, les unités cachées sont recombinées linéairement, à l'étape 113, afin de calculer la valeur prédite par le réseau de neurones.
Initialement, la mise au point d'un réseau de neurones passe par trois opérations :
- l'apprentissage, consistant à optimiser les paramètres de la couche cachée à partir d'une série d'exemples d'entraînement (formant ensemble d'apprentissage), à partir desquels le réseau de neurones cherche à minimiser son erreur de prédiction ; - la procédure de validation, menée en parallèle de l'apprentissage et destinée à optimiser le nombre de couches cachées du réseau, afin que le réseau de neurones ne sur-apprenne pas l'ensemble d'apprentissage. Le réseau ne modélise que les relations fondamentales de dépendance et ne cherche pas à reproduire des relations qui ne sont dues qu'à des fluctuations statistiques de l'ensemble d'apprentissage. En complément de l'erreur d'apprentissage, une erreur de prédiction est ainsi évaluée sur des exemples issus d'un ensemble de validation, qui est distinct de l'ensemble d'apprentissage. Cette erreur définit l'erreur de validation. Elle commence par décroître lorsqu'on augmente le nombre de couches cachées, atteint un minimum, puis croît lorsque le nombre de couches cachées devient trop important. Le minimum définit donc un nombre optimal de couches cachées du réseau ;
- le calcul de l'erreur de prédiction finale, sur un troisième ensemble de test, distinct des deux ensembles précédents.
II existe différentes catégories de réseau de neurones se distinguant par leur architecture (type d'interconnexion entre neurones, choix des fonctions d'activation, ou autres) et le mode d'apprentissage utilisé.
Les réseaux de neurones ne sont pas utilisés qu'à des fins de prédiction. Ils sont également utilisés pour la classification et/ou le regroupement de données (en anglais "clustering") dans une perspective de réduction d'information. En effet, un réseau de neurones est capable, dans un ensemble de données, d'identifier des caractéristiques communes entre les éléments de cet ensemble, pour les regrouper ensuite en fonction de leur ressemblance. A chaque groupe ainsi constitué est associé ensuite un élément représentatif de l'information contenue dans le groupe, dit "représentant". On peut alors substituer ce représentant à l'ensemble du groupe. L'ensemble des données peut ainsi être décrit au moyen d'un nombre réduit d'éléments, ce qui constitue une réduction de données. Les cartes de Kohonen ou cartes auto- organisatrices (en anglais SOM pour "Self Organizing Map") peuvent être des réseaux de neurones dédiés à cette tâche de regroupement.
Une question s'était posée par rapport au choix des directions des HRTFs à mesurer pour mener l'étape c) décrite ci-avant.
La méthode qui semblait la plus immédiate consistait en une sélection uniforme dans laquelle on choisissait un sous-ensemble de directions en cherchant à couvrir de la manière la plus homogène et régulière possible l'ensemble de la sphère 3D. Cette méthode reposait sur un échantillonnage régulier de la sphère 3D. Or, il s'est avéré que les HRTFs ne variaient pas de façon uniforme en fonction de la direction. De ce point de vue, une sélection uniforme des HRTFs n'était pas réellement efficace.
Une méthode plus prometteuse consistait à appliquer la technique de regroupement précitée (" clustering") afin d'identifier les directions des HRTFs les plus "pertinentes", c'est-à-dire les mieux représentatives des caractéristiques des HRTFs observées sur l'ensemble de la sphère 3D.
Lorsqu'elle est appliquée à la détermination des HRTFs d'un individu, cette technique de regroupement peut consister : - dans une première étape, à identifier les redondances entre les HRTFs de directions voisines, - dans une seconde étape, à regrouper les HRTFs selon un critère de ressemblance,
- dans une troisième étape, l'ensemble de la sphère 3D entourant l'auditeur est ainsi subdivisé en un nombre réduit de zones qui correspondent aux différents groupes de HRTFs précédemment identifiés, et
- dans une quatrième étape, à chaque groupe est associée une HRTF qui est considérée comme le représentant du groupe.
Cette HRTF "représentante" est l'une des HRTFs du regroupement et elle est sélectionnée comme la HRTF minimisant un critère de distance avec toutes les autres HRTFs du groupe. La HRTF représentante contient l'essentiel de l'information des HRTFs du groupe. Au final, l'ensemble des HRTFs représentantes ainsi obtenues constitue une description compacte des propriétés des HRTFs pour toute la sphère 3D.
Cette technique avait donné de bons résultats quant au modèle. Le premier résultat est une réduction de données. La procédure de clustering apporte en outre une information supplémentaire quant aux directions associées aux HRTFs représentantes, cette information permettant de définir une sélection de HRTFs destinées à alimenter l'entrée du modèle de calcul de HRTFs. Cette sélection est a priori non uniforme, mais plus efficace, et garantit une meilleure "représentativité" de l'ensemble de la sphère 3D.
Néanmoins, il est apparu aux inventeurs que cette étape de regroupement n'était pas nécessaire et qu'en fait, quelques directions de mesure de HRTFs pouvaient être choisies initialement, de façon arbitraire, sans que le modèle ne soit faussé ou que ses performances soient moindres pour autant. Un avantage considérable alors est que ces directions peuvent être choisies librement selon des conditions de mesures préférées qui seront décrites en détail plus loin. Ainsi, la présente invention propose l'utilisation, comme paramètres d'entrée du modèle, d'une sélection de HRTFs correspondant à des directions quelconques en ce sens que ces directions ne sont pas nécessairement "représentatives" (au sens de la technique de clustering exposée ci-avant). Toutefois, ces directions restent exploitables en ce sens que le modèle est capable d'extraire des informations spécifiques relatives à chaque individu.
Préférentiellement, l'invention utilise des algorithmes d'apprentissage statistique de type "réseau de neurones artificiels", en tant qu'outil de modélisation pour le calcul des HRTFs (par exemple avec un réseau de neurone de type "Multi Layer Perceptron" ou MLP). Les paramètres d'entrée du réseau de neurones sont au minimum l'angle d'azimut (Θ1) et d'élévation (φ1) spécifiant la direction d'une HRTF à calculer. Ces paramètres sont éventuellement complétés par des paramètres "individuels" associés à l'individu dont on veut calculer les HRTFs. Ces paramètres individuels comportent une sélection de HRTFs de l'individu qui ont été mesurées au préalable. Néanmoins, il n'est pas exclu d'ajouter en entrée du modèle des paramètres morphologiques de l'individu pour enrichir l'information à fournir au modèle.
Les paramètres de sortie du modèle sont alors les coefficients du vecteur décrivant la HRTF pour la direction (Θ1 , φ1) et pour l'individu spécifié en entrée.
En se référant à nouveau à la figure 1 , le principe du calcul des HRTFs par la mise en oeuvre d'un réseau de neurones artificiels (par exemple de type MLP) se compose :
- de la couche d'entrée 10 constituée des paramètres d'entrée incluant alors : o les HRTFs déjà mesurées pour quelques directions de l'espace seulement et notées HRTF(φimes, θjmes), avec i compris entre 1 et n, o les directions pour lesquelles on veut calculer les HRTFs, spécifiées préférentiellement sous la forme d'un angle d'élévation (φj cal) et un angle d'azimut (θj cal), avec j compris entre 1 et N, N étant beaucoup plus grand que n, - de la couche de sortie 12 donnant les HRTFs de l'individu dans les directions (φj cal, θj cal) spécifiées en entrée, et
- d'une ou plusieurs couches cachées 11 qui vont chercher, en ajustant les poids et les fonctions d'activation des neurones, à modéliser au mieux les relations entre la couche d'entrée et la couche de sortie.
En se référant maintenant à la figure 2, la mise en oeuvre d'un réseau de neurones passe par trois étapes :
- la phase d'apprentissage 21 ,
- la phase de validation 22, et - la phase de test 23.
Pour mener à bien ces trois phases, on dispose initialement d'une base de données 20 de HRTFs collectées sur un ou plusieurs individus. Ainsi, on comprendra qu'une étape préalable de collecte de mesures de HRTFs de plusieurs individus dans toutes les directions de l'espace est mise en œuvre. C'est ainsi que l'on constitue la base de données 20.
Cette base de données 20 est décomposée en trois ensembles distincts :
- un ensemble d'apprentissage (APPR),
- un ensemble de validation (VALID),
- un ensemble de test (TEST). Pour la phase d'apprentissage 21 , on dispose de couples combinant :
- un vecteur d'entrée X (décrivant la direction de la HRTF à calculer et les paramètres individuels tels que la mesure des HRTFs dans quelques directions),
- et un vecteur de sortie Y (correspondant à la HRTF que doit estimer au mieux le réseau de neurones). L'apprentissage consiste, pour chaque couple ainsi formé issu de l'ensemble d'apprentissage :
- à optimiser le réseau de neurones (en termes des poids et des fonctions d'activation des neurones), - et à comparer le résultat obtenu par le réseau de neurones et le résultat attendu (HRTF mesurée sur l'individu), de façon à minimiser un critère d'erreur donné.
Un risque de la phase d'apprentissage est le sur-apprentissage qui se traduit comme suit : le réseau de neurones apprend "par cœut" l'ensemble d'apprentissage et cherche à reproduire des variations propres à l'ensemble d'apprentissage, alors qu'elles n'existent pas au niveau global. Pour éviter le sur-apprentissage, la phase de validation 22 est menée conjointement à la phase d'apprentissage 21. En se référant à la figure 3, elle consiste à évaluer l'erreur de prédiction du réseau de neurones sur un ensemble de validation
(distinct de l'ensemble d'apprentissage), ce qui définit l'erreur de validation. Au cours de l'apprentissage, l'erreur de validation Err_valid commence par décroître, puis se remet à croître lorsque le sur-apprentissage se manifeste. Le minimum MIN de l'erreur de validation détermine donc la fin de l'apprentissage.
En fait, cette observation retentit directement sur le nombre de HRTFs mesurées à fournir en entrée du modèle, après la phase d'apprentissage, c'est-à-dire à l'étape c) décrite ci-avant. En effet, plus ce nombre de mesures est faible et moins le modèle dispose d'informations pour calculer les HRTFs : l'erreur de validation est élevée. Toutefois, plus ce nombre de mesures est élevé et plus le risque de sur-apprentissage est élevé. On retiendra donc qu'une caractéristique optionnelle avantageuse du procédé au sens de l'invention prévoit, à l'étape d'apprentissage b), de déterminer un nombre optimum Nopt (figure 3) de HRTFs mesurées (Nb_HRTFmes) à fournir en entrée du modèle pour la mise en œuvre de l'étape c). La phase de test est menée une fois l'apprentissage terminé et consiste à évaluer l'erreur de prédiction sur l'ensemble de test. Cette erreur, dite "erreur de test, décrit finalement les performances finales du réseau de neurones.
A l'issue de ces trois phases, on dispose d'un réseau de neurones opérationnel, auquel il suffit de soumettre des paramètres d'entrée pour obtenir les HRTFs d'un individu dans une direction.
Ainsi, en référence à la figure 4a, le procédé au sens général de l'invention comporte donc une étape a) au cours de laquelle on constitue une base de données 20 en mesurant une pluralité de HRTFs dans une multiplicité de directions de l'espace et pour une pluralité d'individus. Cette étape de mesure référencée 40 sur la figure 4a consiste à collecter les mesures de HRTFs dans N directions de l'espace, pour plusieurs individus préférentiellement de morphologie (ou de "morphotype") différente, pour obtenir une base de données exhaustives selon les spécificités des individus. Plus généralement, plus le nombre d'individus pris en compte lors de l'apprentissage est élevé et meilleures sont les performances du réseau de neurones, notamment en termes "d'universalité".
L'étape b) suivante consiste en l'apprentissage du modèle en utilisant la base de données 20. On choisit arbitrairement, à l'étape 41 , des directions i de mesures représentatives de HRTFs en nombre restreint n (avec n<N). Cette étape 41 sera décrite en détail plus loin, en référence à Ia figure 4c. On mène ensuite les trois phases d'apprentissage 21 , de validation 22 et de test 23, pour construire le modèle à l'étape 44. On notera qu'il est possible d'ajuster le nombre restreint de mesures n pour éviter le phénomène de sur-apprentissage décrit ci-avant. Ainsi, on peut déterminer un nombre optimum Nopt de mesures nécessaires au bon fonctionnement du modèle (étape 42) et adopter ce nombre optimum (étape 43) pour la définition du modèle. On obtient finalement le réseau de neurones 44 pour le calcul des HRTFs. Le réseau de neurones 44 est alors capable de calculer les HRTFs de n'importe quel individu, dans n'importe quelle direction, dès lors qu'on dispose de quelques HRTFs de l'individu dans les directions prédéterminées φjmes, θjmes.
Une fois le modèle construit (étape 44), on peut, au cours d'une étape c) ultérieure, déterminer les HRTFs d'un individu quelconque dans toutes les directions de l'espace. Ainsi, en référence à la figure 4b : d) on mesure les HRTFs de l'individu dans les directions i de mesures (HRTF(cpimes, θimes)) et l'on indique au modèle les directions dans lesquelles on souhaite un calcul de HRTFs (φj cal, θj cal), dans une étape 45, c2) on applique ensuite le modèle 44 à ces mesures de HRTFs, et c3) on obtient les HRTFs de l'individu, calculées dans les directions souhaitées φj cal, θj cal (étape 46).
Toutefois, on rappelle que les conditions de mesure de l'étape d) doivent être sensiblement reproductibles avec les conditions de mesure pour des HRTFs dans les directions i (étape 41 de la figure 4a).
En référence à la figure 4c, on précise maintenant un aspect optionnel de l'invention pour une réalisation préférée de l'apprentissage du modèle. En fait, la base de données 20 doit être constituée dans des conditions les plus classiques et les plus standard pour offrir, en sortie du modèle, des HRTFs de qualité qui pourront être appliquées à des dispositifs de restitution en offrant un confort d'écoute satisfaisant. En revanche, il est préférentiellement effectué un second type de mesures, parallèlement à la constitution de la base de données 20, dans des conditions qui peuvent être différentes, voire "dégradées", et dans un nombre restreint de directions. Ce second type de mesures est effectué sur les mêmes individus que ceux sur lesquels les mesures constituant la base de données 20 ont été menées. Ces mesures "dégradées" sont notées HRTF(φimes, θimes) et effectuées à une étape 48 de la figure 4c.
Ensuite, au cours d'une étape 49, on précise, en entrée du modèle, dans quelles directions (φjcal, θj cal) les HRTFs devront être calculées par le modèle. Préférentiellement, il s'agira bien entendu du plus grand nombre possible de directions de l'espace 3D. Une version du modèle 44b, en état d'apprentissage, calcule les HRTFs dans ces directions (φj cal, θj cal) à partir des jeux de mesures "dégradées" HRTF(φjmes, θjmes), dans une étape suivante 46b. Le modèle compare ces HRTFs calculées aux HRTFs de la base de données 20 dans les mêmes directions (φjcal, θj cal). Si l'écart est jugé trop grand (flèche n), le modèle en apprentissage 44b est perfectionné jusqu'à ce que cet écart soit réduit à une erreur acceptable (flèche o) : le modèle devient alors définitif (étape de fin 44).
On retiendra donc qu'à l'étape a), parallèlement à la constitution de la base de données 20 pour une pluralité d'individus, on mesure en outre, sur cette même pluralité d'individus, des jeux respectifs de fonctions représentatives des HRTFs (notées HRTF(cpimes, θjmes)) dans les conditions et directions de mesure fixées arbitrairement. Pour la construction du modèle à l'étape b) :
- on applique alors en entrée du modèle ces jeux respectifs de mesure - HRTF(q>imes, θimes), et
- on applique en sortie du modèle la base de données 20 pour une comparaison des HRTFs calculées avec celles de la base de données.
Bien entendu, cette réalisation optionnelle de la figure 4c est avantageuse en particulier si les mesures HRTF(φimes, θimes) sont réellement dégradées par rapport à celles qui ont permis de constituer la base de données 20. On rappelle encore que ces conditions de mesures de HRTF(φimes, θjmes) doivent être sensiblement les mêmes que celles de l'étape d) menées sur un individu quelconque.
En référence à la figure 5, on décrit maintenant un exemple de réalisation de ces conditions de mesure. L'individu IND est placé dans une cabine CAB qui n'est pas nécessairement anéchoïque. Il dispose d'un casque CAS portant au moins un microphone MIC accolé contre l'une de ses oreilles. Préférentiellement, le casque CAS est porté par une tige rigide télescopique en hauteur (le long de l'axe y). Cette tige est par ailleurs fixée à un repère REP 1 de la cabine CAB. Cette réalisation permet de maintenir immobile l'individu IND (par rapport aux autres axes x et z) et de le positionner correctement par rapport au repère REP1 et, par conséquent, par rapport aux sources sonores S1 , S2, ... , Sn de la cabine CAB. Par ailleurs, un autre repère REP2, tel qu'un repère visuel sur un miroir, permet à l'individu de se positionner en hauteur (le long de l'axe y). Typiquement, l'individu peut être assis sur un siège ajustable en hauteur et régler cette hauteur jusqu'à ce que ses oreilles coïncident avec le repère REP2, sur le miroir.
On comprend déjà que l'un des avantages de la mise en œuvre de l'invention est d'éviter la technique de regroupement {clustering) et de laisser un libre choix au niveau de l'emplacement des sources sonores SI-Sn. Par exemple, on peut disposer ces sources ailleurs qu'au niveau du miroir portant le repère
REP2, ou encore ailleurs qu'au niveau de la base de la tige REP1.
Typiquement, dans l'exemple de la figure 5, la source S2 est légèrement décalée par rapport au repère REP1.
Le nombre de sources SI-Sn à prévoir dépend, en principe, du nombre de HRTFs que l'on souhaite calculer à partir du modèle. Typiquement, pour calculer des HRTFs dans tout l'espace 3D, entre 25 et 30 directions de mesures préalables dans la cabine CAB sont recommandées. Néanmoins, pour un confort d'écoute satisfaisant, une quinzaine de mesures est suffisante. Enfin, dans l'absolu, une unique mesure devrait suffire pour obtenir une unique HRTF estimée. On choisira alors la direction de mesure la plus proche de la direction de HRTF à calculer.
De façon plus générale, on retiendra que le nombre optimum de directions de mesure, et donc le nombre de mesures Nopt (figure 3), sont de l'ordre d'une vingtaine.
On indique en outre qu'entre 700 et 1000 directions de mesure (par oreille) sont habituellement nécessaires pour obtenir une bonne base de données des HRTFs d'un individu, selon la technique de l'art antérieur. On appréciera alors la réduction du nombre de mesures utiles, au sens de l'invention.
On constatera en outre sur la figure 5 que les sources S1 à Sn ne sont pas nécessairement disposées sur une même surface de portion de sphère. En effet, le but du protocole de mesure de la figure 5 n'est pas d'obtenir des HRTFs au sens strict du terme, mais plus exactement des fonctions de transfert d'un individu, ces fonctions de transfert étant partiellement représentatives de ses HRTFs. Ces fonctions de transfert sont destinées à être utilisées comme paramètres d'entrée du modèle 44. Les inventeurs ont en effet constaté que le modèle était capable d'extraire et d'exploiter l'information individuelle contenue dans ces fonctions de transfert, même si cette information est partielle ou brouillée. Ce qui importe n'est pas la qualité des HRTFs mesurées selon ce protocole, mais leur reproductibilité. C'est essentiellement sur cette reproductibilité que se base le modèle de HRTFs. Un avantage qu'offre ce protocole de mesure est de relâcher les contraintes de la procédure de mesure, sans pour autant affecter le bon fonctionnement du modèle. On retiendra donc que, dans l'installation telle que représentée sur la figure 5, les sources sonores SI-Sn prévues dans la cabine CAB peuvent être dans des positions respectives appartenant à des surfaces de sphère distinctes.
On comprendra en outre que les mesures appliquées en entrée du modèle ne sont pas forcément des HRTFs réelles, mais des fonctions de transfert représentatives de HRTFs. Par ailleurs, ces fonctions de transfert présentées à l'entrée du modèle peuvent avoir des formes variées (correspondant à différentes représentations de HRTFs), notamment : - un spectre complexe de la fonction de transfert,
- un module du spectre de la fonction de transfert,
- une phase du spectre de la fonction de transfert,
- une réponse impulsionnelle associée à la fonction de transfert,
- ou une combinaison de ces différents éléments.
On indique en outre qu'au moins un paramètre complémentaire qui peut être fourni en entrée du modèle peut être de nature morphologique et propre à l'individu IND, tel que la distance entre ses deux oreilles. Dans ce cas, les phases d'apprentissage, de validation et de test du réseau de neurones sont réalisées à partir d'une base de données comportant, en complément des HRTFs, des paramètres morphologiques des individus, tels que :
- la distance entre les oreilles, comme indiqué ci-avant,
- et/ou une position et/ou une forme des pavillons des oreilles de l'individu,
- et/ou des dimensions d'ellipsoïdes représentant sa tête et/ou son torse, - et/ou les dimensions d'un cylindre représentant son cou.
En se référant à nouveau à la figure 5, les signaux mesurés par le microphone MIC sont recueillis par une interface 51 d'une unité centrale UC (par exemple une carte d'acquisition audio), qui les convertit en données numériques. Ces données, le cas échéant enrichies par une mesure du ou des paramètre(s) morphologique(s) de l'individu, sont ensuite traitées par le modèle 44 au sens de l'invention. Le modèle 44 peut être stocké sous la forme d'un produit programme d'ordinateur dans une mémoire de l'unité centrale UC. Les HRTFs calculées pour toutes les directions de l'espace que donne le modèle peuvent ensuite être stockées en mémoire 52 ou enregistrées sur un support amovible (sur disquette ou gravées sur CD-ROM) ou encore communiquées via un réseau tel qu'Internet ou équivalent.
Ainsi, dans cette mise en œuvre avantageuse, la couche d'entrée du réseau de neurones comporte une sélection de HRTFs de l'individu correspondant à des directions quelconques, mais fixées a priori, et obtenues dans des conditions non idéales. Ces HRTFs "approximatives" sont certes obtenues par la mesure directe sur l'individu IND, mais dans des conditions non idéales, notamment dans un environnement qui n'est pas nécessairement anéchoïque. Toutefois, le protocole de mesure doit être défini au préalable (typiquement à l'étape d'apprentissage b)) et doit être suivi rigoureusement à l'étape c) d'application du modèle à un individu quelconque. Le réseau de neurones ainsi obtenu est capable de calculer les HRTFs de n'importe quel individu, dans n'importe quelle direction, dès lors qu'on dispose des mesures dans les directions φjmes et θjmes choisies et obtenues sous ces conditions prédéfinies.
Bien entendu, la présente invention ne se limite pas à la forme de réalisation décrite ci-avant à titre d'exemple ; elle s'étend à d'autres variantes.
Par exemple, au lieu de prévoir une pluralité de sources sonores SI-Sn dans la cabine décrite en référence à la figure 5, on peut prévoir en variante une source unique qui se déplace entre des positions S1 à Sn.

Claims

Revendications
1. Procédé de modélisation de fonctions de transfert HRTFs propres à un individu, dans lequel : a) on constitue une base de données incluant une pluralité de HRTFs suivant une multiplicité de directions de l'espace et pour une pluralité d'individus, b) par apprentissage sur ladite base de données, on construit un modèle propre à donner des HRTFs pour ladite multiplicité de directions, à partir d'un jeu de mesures représentatives de HRTFs dans des directions respectives sélectionnées parmi ladite multiplicité de directions, et c) pour un individu quelconque : d) on mesure un jeu de fonctions représentatives des HRTFs de l'individu dans lesdites directions sélectionnées seulement, c2) on applique le modèle auxdites mesures dans les directions sélectionnées, et c3) on obtient les HRTFs de l'individu dans toute ladite multiplicité de directions, et dans lequel :
- les conditions et les directions de mesure pour obtenir ledit jeu de mesures sont fixées arbitrairement pendant l'étape d'apprentissage b), et
- on applique, à l'étape d), des conditions de mesure sensiblement reproductibles avec les conditions de mesure de l'étape b).
2. Procédé selon la revendication 1 , dans lequel, à l'étape a), parallèlement à la constitution de ladite base de données pour ladite pluralité d'individus, on mesure en outre, sur ladite pluralité d'individus, des jeux respectifs de fonctions représentatives des HRTFs dans lesdites conditions et directions de mesure fixées arbitrairement, et, pour la construction du modèle à l'étape b) :
- on applique en entrée du modèle lesdits jeux respectifs, et - on applique en sortie du modèle ladite base de données.
3. Procédé selon l'une des revendications 1 et 2, dans lequel le modèle est construit en mettant en œuvre un réseau de neurones artificiels.
4. Procédé selon la revendication 3, dans lequel l'étape b) comporte : - une phase d'apprentissage,
- une phase de validation menée parallèlement avec la phase d'apprentissage, et
- une phase de test, et dans lequel, pendant la phase de validation, on détermine un nombre optimum (Nopt) de mesures à fournir en entrée du modèle pour la mise en œuvre de l'étape c), en vue de limiter un effet de sur-apprentissage du modèle.
5. Procédé selon la revendication 4, dans lequel le nombre optimum (Nopt) est de l'ordre de vingt.
6. Procédé selon l'une des revendications précédentes, dans lequel le modèle utilise en outre au moins un paramètre morphologique caractérisant un individu, et dans lequel, à l'étape c2), on fournit en outre au modèle une mesure dudit paramètre morphologique.
7. Procédé selon l'une des revendications précédentes, dans lequel, à l'étape c2), on fournit en entrée du modèle :
- le jeu de mesures dans lesdites directions sélectionnées, et - au moins une direction (φjcal, θjcal) parmi ladite multiplicité de directions dans laquelle on souhaite une estimation de HRTFs.
8. Installation pour l'estimation de fonctions de transfert HRTFs propres à un individu, comportant : - une cabine de mesure de fonctions de transfert représentatives de HRTFs dans un jeu de directions choisies, et - une unité de traitement (UC) pour récupérer un jeu de mesures sur un individu dans lesdites directions choisies et évaluer les HRTFs de l'individu dans une multiplicité de directions de l'espace incluant lesdites directions choisies, à partir d'un modèle capable de donner des HRTFs pour une multiplicité de directions, à partir d'un jeu de mesures représentatives de
HRTFs dans quelques directions seulement fixées arbitrairement parmi ladite multiplicité de directions, et dans laquelle les directions de mesure dans ladite cabine correspondent auxdites directions fixées arbitrairement.
9. Installation selon la revendication 8, dans laquelle des sources sonores (S1-
Sn), prévues dans ladite cabine (CAB), sont dans des positions respectives appartenant à des surfaces de sphère distinctes.
10. Produit programme d'ordinateur, destiné à stocké dans une mémoire d'une unité de traitement ou sur un support amovible propre à coopérer avec un lecteur de ladite unité de traitement, ou destiné à être transmis d'un serveur vers ladite unité de traitement, comportant des instructions sous forme de code informatique pour construire un modèle basé sur un réseau de neurones artificiels et capable de donner des fonctions de transfert HRTFs d'un individu pour une multiplicité de directions, à partir d'un jeu de mesures, effectuées sur cet individu, représentatives de HRTFs dans quelques directions seulement, et fixées arbitrairement parmi ladite multiplicité de directions, le programme mettant en œuvre, à partir d'une base de données incluant une pluralité de HRTFs suivant une multiplicité de directions de l'espace et pour une pluralité d'individus, au moins une phase d'apprentissage.
11. Produit programme d'ordinateur, destiné à stocké dans une mémoire d'une unité de traitement ou sur un support amovible propre à coopérer avec un lecteur de ladite unité de traitement, ou destiné à être transmis d'un serveur vers ladite unité de traitement, comportant des instructions sous forme de code informatique pour mettre en oeuvre un modèle basé sur un réseau de neurones artificiels et capable de donner des fonctions de transfert HRTFs d'un individu pour une multiplicité de directions, à partir d'un jeu de mesures effectuées sur cet individu, représentatives de HRTFs dans quelques directions seulement, et fixées arbitrairement parmi ladite multiplicité de directions.
EP06709051.4A 2005-01-10 2006-01-09 Procédé et dispositif d'individualisation de hrtfs par modélisation Expired - Lifetime EP1836876B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0500218A FR2880755A1 (fr) 2005-01-10 2005-01-10 Procede et dispositif d'individualisation de hrtfs par modelisation
PCT/FR2006/000037 WO2006075077A2 (fr) 2005-01-10 2006-01-09 Procede et dispositif d’individualisation de hrtfs par modelisation

Publications (2)

Publication Number Publication Date
EP1836876A2 true EP1836876A2 (fr) 2007-09-26
EP1836876B1 EP1836876B1 (fr) 2018-07-18

Family

ID=34953232

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06709051.4A Expired - Lifetime EP1836876B1 (fr) 2005-01-10 2006-01-09 Procédé et dispositif d'individualisation de hrtfs par modélisation

Country Status (5)

Country Link
US (1) US20080137870A1 (fr)
EP (1) EP1836876B1 (fr)
JP (1) JP4718559B2 (fr)
FR (1) FR2880755A1 (fr)
WO (1) WO2006075077A2 (fr)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1946612B1 (fr) * 2005-10-27 2012-11-14 France Télécom Individualisation de hrtfs utilisant une modelisation par elements finis couplee a un modele correctif
EP1992198B1 (fr) * 2006-03-09 2016-07-20 Orange Optimisation d'une spatialisation sonore binaurale a partir d'un encodage multicanal
JP4866301B2 (ja) * 2007-06-18 2012-02-01 日本放送協会 頭部伝達関数補間装置
DE102007051308B4 (de) * 2007-10-26 2013-05-16 Siemens Medical Instruments Pte. Ltd. Verfahren zum Verarbeiten eines Mehrkanalaudiosignals für ein binaurales Hörgerätesystem und entsprechendes Hörgerätesystem
WO2009106783A1 (fr) * 2008-02-29 2009-09-03 France Telecom Procede et dispositif pour la determination de fonctions de transfert de type hrtf
JP5346187B2 (ja) * 2008-08-11 2013-11-20 日本放送協会 頭部音響伝達関数補間装置、そのプログラムおよび方法
US8428269B1 (en) * 2009-05-20 2013-04-23 The United States Of America As Represented By The Secretary Of The Air Force Head related transfer function (HRTF) enhancement for improved vertical-polar localization in spatial audio systems
FR2958825B1 (fr) * 2010-04-12 2016-04-01 Arkamys Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques
CN102802111B (zh) * 2012-07-19 2017-06-09 新奥特（北京）视频技术有限公司 一种输出环绕声的方法和系统
SG11201503926WA (en) 2012-11-22 2015-06-29 Razer Asia Pacific Pte Ltd Method for outputting a modified audio signal and graphical user interfaces produced by an application program
US9466305B2 (en) 2013-05-29 2016-10-11 Qualcomm Incorporated Performing positional analysis to code spherical harmonic coefficients
US9502044B2 (en) 2013-05-29 2016-11-22 Qualcomm Incorporated Compression of decomposed representations of a sound field
US9426589B2 (en) 2013-07-04 2016-08-23 Gn Resound A/S Determination of individual HRTFs
US9489955B2 (en) 2014-01-30 2016-11-08 Qualcomm Incorporated Indicating frame parameter reusability for coding vectors
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US9620137B2 (en) 2014-05-16 2017-04-11 Qualcomm Incorporated Determining between scalar and vector quantization in higher order ambisonic coefficients
US9852737B2 (en) 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
US9747910B2 (en) 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
US9584942B2 (en) * 2014-11-17 2017-02-28 Microsoft Technology Licensing, Llc Determination of head-related transfer function data from user vocalization perception
US9544706B1 (en) 2015-03-23 2017-01-10 Amazon Technologies, Inc. Customized head-related transfer functions
JP6596896B2 (ja) * 2015-04-13 2019-10-30 株式会社Ｊｖｃケンウッド 頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置
FR3040253B1 (fr) * 2015-08-21 2019-07-12 Immersive Presonalized Sound Procede de mesure de filtres phrtf d'un auditeur, cabine pour la mise en oeuvre du procede, et procedes permettant d'aboutir a la restitution d'une bande sonore multicanal personnalisee
US9967693B1 (en) * 2016-05-17 2018-05-08 Randy Seamans Advanced binaural sound imaging
US10306396B2 (en) 2017-04-19 2019-05-28 United States Of America As Represented By The Secretary Of The Air Force Collaborative personalization of head-related transfer function
WO2019236125A1 (fr) * 2018-06-06 2019-12-12 EmbodyVR, Inc. Versionnage et évaluation automatisés de flux de travaux d'apprentissage automatique
WO2020008655A1 (fr) * 2018-07-03 2020-01-09 学校法人千葉工業大学 Dispositif pour générer une fonction de transfert associée à la tête, procédé pour générer une fonction de transfert associée à la tête, et programme
EP3827603B1 (fr) * 2018-07-25 2024-12-25 Dolby Laboratories Licensing Corporation Hrtf personnalisées par capture optique
US10798513B2 (en) * 2018-11-30 2020-10-06 Qualcomm Incorporated Head-related transfer function generation
EP3903510B1 (fr) 2018-12-24 2025-04-09 DTS, Inc. Simulation acoustique d'une pièce à l'aide d'une analyse d'image à apprentissage profond
US10798515B2 (en) * 2019-01-30 2020-10-06 Facebook Technologies, Llc Compensating for effects of headset on head related transfer functions
JP7206027B2 (ja) * 2019-04-03 2023-01-17 アルパイン株式会社 頭部伝達関数学習装置および頭部伝達関数推論装置
GB2584152B (en) * 2019-05-24 2024-02-21 Sony Interactive Entertainment Inc Method and system for generating an HRTF for a user
WO2021010562A1 (fr) 2019-07-15 2021-01-21 Samsung Electronics Co., Ltd. Appareil électronique et procédé de commande associé
KR102863773B1 (ko) 2019-07-15 2025-09-24 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4085660A4 (fr) 2019-12-30 2024-05-22 Comhear Inc. Procédé pour fournir un champ sonore spatialisé
EP4272462A1 (fr) * 2020-12-31 2023-11-08 Harman International Industries, Incorporated Procédé et système de génération d'une fonction de transfert personnalisée de signal audio en champ libre d'après des données de fonction de transfert de signal audio en champ libre
US12549919B2 (en) 2020-12-31 2026-02-10 Harman International Industries, Incorporated Method for determining a personalized head- related transfer function
CN116711330A (zh) * 2020-12-31 2023-09-05 哈曼国际工业有限公司 基于近场音频信号传递函数数据来生成个性化自由场音频信号传递函数的方法和系统
US20250220375A1 (en) * 2024-01-03 2025-07-03 Mitsubishi Electric Research Laboratories, Inc. Generating spatialized audio signals based on modal interpolation of impulse responses
CN118363953B (zh) * 2024-06-19 2024-09-17 长春理工大学中山研究院 一种面向个性化hrtf的时域插值方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09191500A (ja) * 1995-09-26 1997-07-22 Nippon Telegr & Teleph Corp <Ntt> 仮想音像定位用伝達関数表作成方法、その伝達関数表を記録した記憶媒体及びそれを用いた音響信号編集方法
WO1997025834A2 (fr) * 1996-01-04 1997-07-17 Virtual Listening Systems, Inc. Procede et dispositif de traitement d'un signal multicanal destine a un casque audio
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
DE19910372A1 (de) * 1998-04-20 1999-11-04 Florian M Koenig Individuelle Außenrohr-Übertragungsfunktions-Bestimmung ohne zugehörige, übliche, akustische Probanden-Vermessung
JP4226142B2 (ja) * 1999-05-13 2009-02-18 三菱電機株式会社 音響再生装置
AUPQ514000A0 (en) * 2000-01-17 2000-02-10 University Of Sydney, The The generation of customised three dimensional sound effects for individuals
JP3521900B2 (ja) * 2002-02-04 2004-04-26 ヤマハ株式会社 バーチャルスピーカアンプ
EP1547437A2 (fr) * 2002-09-23 2005-06-29 Koninklijke Philips Electronics N.V. Syteme de reproduction sonore, programme et support de donnees
US7430300B2 (en) * 2002-11-18 2008-09-30 Digisenz Llc Sound production systems and methods for providing sound inside a headgear unit
US20090030552A1 (en) * 2002-12-17 2009-01-29 Japan Science And Technology Agency Robotics visual and auditory system
US7664272B2 (en) * 2003-09-08 2010-02-16 Panasonic Corporation Sound image control device and design tool therefor
EP1946612B1 (fr) * 2005-10-27 2012-11-14 France Télécom Individualisation de hrtfs utilisant une modelisation par elements finis couplee a un modele correctif

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006075077A2 *

Also Published As

Publication number Publication date
EP1836876B1 (fr) 2018-07-18
WO2006075077A3 (fr) 2006-10-05
JP2008527821A (ja) 2008-07-24
WO2006075077A2 (fr) 2006-07-20
JP4718559B2 (ja) 2011-07-06
US20080137870A1 (en) 2008-06-12
FR2880755A1 (fr) 2006-07-14

Similar Documents

Publication Publication Date Title
EP1836876B1 (fr) Procédé et dispositif d&#39;individualisation de hrtfs par modélisation
EP1946612B1 (fr) Individualisation de hrtfs utilisant une modelisation par elements finis couplee a un modele correctif
EP1992198B1 (fr) Optimisation d&#39;une spatialisation sonore binaurale a partir d&#39;un encodage multicanal
EP2898707B1 (fr) Calibration optimisee d&#39;un systeme de restitution sonore multi haut-parleurs
EP1563485B1 (fr) Procede de traitement de donnees sonores et dispositif d&#39;acquisition sonore mettant en oeuvre ce procede
EP3348079B1 (fr) Procédé et système d&#39;élaboration d&#39;une fonction de transfert relative à la tête adaptée à un individu
EP1600042B1 (fr) Procede de traitement de donnees sonores compressees, pour spatialisation
EP2258119B1 (fr) Procede et dispositif pour la determination de fonctions de transfert de type hrtf
EP1479266B1 (fr) Procede et dispositif de pilotage d&#39;un ensemble de restitution d&#39;un champ acoustique
EP1586220B1 (fr) Procede et dispositif de pilotage d&#39;un ensemble de restitution a partir d&#39;un signal multicanal
FR3065137A1 (fr) Procede de spatialisation sonore
EP3484185B1 (fr) Modelisation d&#39;ensemble de fonctions de transferts acoustiques propre a un individu, carte son tridimensionnel et systeme de reproduction sonore tridimensionnelle
EP3384688B1 (fr) Décompositions successives de filtres audio
EP2987339B1 (fr) Procédé de restitution sonore d&#39;un signal numérique audio
EP3449643B1 (fr) Procédé et système de diffusion d&#39;un signal audio à 360°
EP3934282A1 (fr) Procédé de conversion d&#39;un premier ensemble de signaux représentatifs d&#39;un champ sonore en un second ensemble de signaux et dispositif électronique associé

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070705

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20170327

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20180322

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1020662

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180815

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602006055839

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20180718

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1020662

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180718

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181018

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181118

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181019

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602006055839

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

26N No opposition filed

Effective date: 20190423

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190109

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20190131

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190131

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190109

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181118

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180718

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20060109

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20241219

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20241220

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20241218

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 602006055839

Country of ref document: DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20260108