EP3020043B1 - Facteur d'échelle optimisé pour l'extension de bande de fréquence dans un décodeur de signaux audiofréquences - Google Patents

Facteur d'échelle optimisé pour l'extension de bande de fréquence dans un décodeur de signaux audiofréquences Download PDF

Info

Publication number
EP3020043B1
EP3020043B1 EP14749907.3A EP14749907A EP3020043B1 EP 3020043 B1 EP3020043 B1 EP 3020043B1 EP 14749907 A EP14749907 A EP 14749907A EP 3020043 B1 EP3020043 B1 EP 3020043B1
Authority
EP
European Patent Office
Prior art keywords
frequency
filter
band
frequency band
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP14749907.3A
Other languages
German (de)
English (en)
Other versions
EP3020043A1 (fr
Inventor
Magdalena KANIEWSKA
Stéphane RAGOT
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49753286&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EP3020043(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Orange SA filed Critical Orange SA
Publication of EP3020043A1 publication Critical patent/EP3020043A1/fr
Application granted granted Critical
Publication of EP3020043B1 publication Critical patent/EP3020043B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/72—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for transmitting results of analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Definitions

  • the present invention relates to the field of coding / decoding and audio-frequency signal processing (such as speech, music or other signals) for their transmission or storage.
  • the invention relates to a method and an apparatus for determining an optimized scale factor for adjusting the level of an excitation signal or, in a similar manner, a filter during a band extension. frequency in a decoder or a processor performing audio-frequency signal enhancement.
  • state of the art audio signal coding (mono) consists of perceptual encoding by transform or subband, with parametric coding of high frequencies by tape replication.
  • a review of conventional speech and audio coding methods can be found in the books WB Kleijn and KK Paliwal (Eds.), Speech Coding and Synthesis, Elsevier, 1995 ; M. Bosi, RE Goldberg, Introduction to Digital Audio Coding and Standards, Springer 2002 ; J. Benesty, MM Sondhi, Y. Huang (Eds.), Handbook of Speech Processing, Springer 2008 .
  • 3GPP AMR-WB Adaptive Multi-Rate Wideband codec (decoder and decoder), which operates at an input / output frequency of 16 kHz and in which the signal is divided into two sub-bands, the low band (0-6.4 kHz) which is sampled at 12.8 kHz and coded by CELP model and the high band (6.4-7 kHz) which is parametrically reconstructed by " band extension " ( or BWE for "Bandwidth Extension” with or without additional information depending on the mode of the current frame.
  • band extension or BWE for "Bandwidth Extension
  • the limitation of the coded band of the AMR-WB codec at 7 kHz is essentially related to the fact that the transmit frequency response of the broadband terminals has been approximated at the time of standardization (ETSI / 3GPP then ITU-T T) according to the frequency mask defined in the ITU-T P.341 standard and more precisely by using a so-called "P341" filter defined in the ITU-T G.191 standard. which cuts frequencies above 7 kHz (this filter respects the mask defined in P.341).
  • a signal sampled at 16 kHz may have a defined audio band of 0 to 8000 Hz; the AMR-WB codec thus introduces a limitation of the high band in comparison with the theoretical bandwidth of 8 kHz.
  • the 3GPP AMR-WB speech codec was standardized in 2001 mainly for circuit-mode (CS) telephony applications over GSM (2G) and UMTS (3G). This same codec was also standardized in 2003 in the ITU-T as Recommendation G.722.2 "Wideband coding speech at around 16kbit / s using Adaptive Multi-Rate Wideband (AMR-WB)".
  • the principle of band extension in the AMR-WB codec is rather rudimentary. Indeed, the high band (6.4-7 kHz) is generated by formatting a white noise through a temporal envelope (applied in the form of gains per subframe) and frequency (by the application of a linear prediction synthesis filter or LPC for "Linear Predictive Coding").
  • This band extension technique is illustrated in figure 1 .
  • the present invention improves the situation.
  • an additional filter of a lower order than the filter of the first frequency band to be equalized makes it possible to avoid overestimations of energy in the high frequencies which could result from local fluctuations of the envelope and which can disrupt the equalization of the prediction filters.
  • the band extension method comprises a step of applying the optimized scaling factor to the extended excitation signal.
  • the application of the optimized scaling factor is combined with the filtering step in the second frequency band.
  • the coefficients of the additional filter are obtained by truncation of the transfer function of the linear prediction filter of the first frequency band to obtain a lower order.
  • the coefficients of the additional filter are modified according to a criterion of stability of the additional filter.
  • the optimized scaling factor is calculated to avoid annoying artifacts that might arise in the event that the higher order filter frequency response of the first band near the common frequency would reveal a peak or a valley. of the signal.
  • additional information can be used to improve the quality of the extended signal for a predetermined mode of operation.
  • the invention relates to a decoder comprising a device as described.
  • It relates to a computer program comprising code instructions for implementing the steps of the method of determining an optimized scale factor as described, when these instructions are executed by a processor.
  • the invention relates to a storage medium, readable by a processor, integrated or not to the device for determining an optimized scaling factor, possibly removable, storing a computer program implementing a method of determining a optimized scaling factor as previously described.
  • the figure 3 illustrates an exemplary decoder, compatible with the AMR-WB / G.722.2 standard, in which there is a band extension comprising a determination of an optimized scale factor according to one embodiment of the method of the invention, implemented implemented by the tape extension device illustrated by block 309.
  • AMR-WB decoding which operates with an output sampling frequency of 16 kHz
  • the CELP decoding (BF for low frequencies) still operates at the internal frequency of 12.8 kHz, as in AMR-WB, and the band extension (HF for high frequencies) used for the invention operates at the frequency of 16 kHz
  • the syntheses BF and HF are combined (block 312) at the frequency fs after adequate resampling (block 306 and internal processing block 311).
  • the combination of the low and high bands may be done at 16 kHz, after resampling the low band of 12.8 to 16 kHz, before resampling the combined signal at the frequency fs .
  • the decoder makes it possible to extend the decoded low band (50-6400 Hz taking into account the high-pass filtering at 50 Hz at the decoder, 0-6400 Hz in the general case) with an extended band whose width varies, ranging from approximately 50-6900 Hz to 50-7700 Hz depending on the mode implemented in the current frame.
  • the extension of the excitation is carried out in the frequency domain in a band of 5000 to 8000 Hz, to allow bandpass filtering of width 6000 to 6900 or 7700 Hz.
  • the HF gain correction information (0.8 kbit / s) transmitted at 23.85 kbit / s is decoded here. Its use is detailed below, with reference to the figure 4 .
  • the high band synthesis part is performed in block 309 representing the band extension device used for the invention and which is detailed in FIG. figure 7 in one embodiment.
  • a delay (block 310) is introduced to synchronize the outputs of the blocks 306 and 307 and the high band synthesized at 16 kHz is resampled from 16 kHz to the fs frequency (block output 311).
  • the value of the delay T depends on how to synthesize the high band signal, the frequency fs as well as the post-processing of the low frequencies. Thus, in general, the value of T in the block 310 will have to be adjusted according to the specific implementation.
  • the low and high bands are then combined (added) in block 312 and the resulting synthesis is post-processed by high-order 50 Hz (type IIR) high-pass filtering whose coefficients depend on the frequency fs (block 313) and output postprocessing with optional "noisegate” application similar to G.718 (block 314).
  • high-order 50 Hz type IIR
  • the block 400 from a decoded excitation signal in a first frequency band u ( n ), performs a band extension to obtain an extended excitation signal u HB ( n ) on at least a second frequency band.
  • the optimized scale factor estimation according to the invention is independent of how to obtain the signal u HB ( n ) .
  • a condition regarding its energy is important, however. Indeed, it is necessary that the energy of the high band of 6000 to 8000 Hz is at a level similar to the energy of the band 4000 to 6000 Hz of the decoded excitation signal at the output of the block 302. since the low-band signal is de-emphasized (block 305), it is also necessary to apply the de-emphasis to the high-band excitation signal, either by using an own de-emphasis filter or by multiplying by a constant factor which corresponds to a mean attenuation of mentioned filter. This condition does not apply to the 23.85 kbit / s rate that uses the additional information transmitted by the encoder. In this case, the energy of the high band excitation signal must be consistent with the signal energy corresponding to the encoder, as explained later.
  • the frequency band extension may for example be implemented in the same way as for the AMR-WB decoder described with reference to FIG. figure 1 in blocks 100 to 102, from a white noise.
  • this band extension can be performed from a combination of a white noise and a decoded excitation signal as illustrated and subsequently described for blocks 700 to 707 of FIG. figure 7 .
  • the tape expansion module may also be independent of the decoder and may extend a band of an existing audio signal stored or transmitted to the expansion module, with an analysis of the audio signal to extract one excitation and a LPC filter.
  • the excitation signal at the input of the extension module is no longer a decoded signal but a signal extracted after analysis, as well as the coefficients of the linear prediction filter of the first frequency band used in the method of determining the optimized scale factor in an implementation of the invention.
  • the determination of the optimized scale factor is also performed by the determination (in 401a) of a linear prediction filter called additional filter, of a lower order than the linear prediction filter of the first frequency band 1 / ⁇ (z ), the coefficients of the additional filter being obtained from the parameters decoded or extracted from the first frequency band.
  • the optimized scaling factor is then calculated (at 401b) based on at least one of these coefficients to be applied to the extended excitation signal u HB ( n ).
  • an extended excitation signal u HB (n) is obtained during a frequency band extension method E601 which comprises a decoding or extraction step, in a first so-called low band frequency band, an excitation signal and parameters of the first frequency band, for example the coefficients of the linear prediction filter of the first frequency band.
  • a step E602 determines a linear prediction filter called additional filter, of a lower order than that of the first frequency band. To determine this filter, the parameters of the first decoded or extracted frequency band are used.
  • this step is performed by truncation of the transfer function of the linear prediction filter of the low band to obtain a lower filter order, for example 2. These coefficients can then be modified according to a criterion of stability as explained above with reference to the figure 4 .
  • a step E603 is implemented to calculate the optimized scale factor to be applied to the extended excitation signal.
  • This optimized scale factor is for example calculated from the frequency response of the additional filter at a common frequency between the low band (first frequency band) and the high band (second frequency band). A minimum value that can be chosen between the frequency response of this filter and those of the low band and high band filters. This avoids the overestimation of energy that could exist in state-of-the-art methods.
  • This step of calculating the optimized scale factor is for example described above with reference to the figure 4 and to Figures 5a and 5b .
  • Step E604 performed by block 402 or 409 (depending on the decoding rate) for the band extension, applies the optimized scaling factor thus calculated to the extended excitation signal so as to obtain an extended excitation signal.
  • the optimized scaling factor device 708 is integrated in a tape expansion device described now with reference to the figure 7 .
  • This optimized scale factor determination device illustrated by block 708 implements the method of determining the optimized scale factor described above with reference to FIG. figure 6 .
  • the band extension block 400 of the figure 4 includes blocks 700 to 707 of the figure 7 described now.
  • a decoded or analytically estimated low band excitation signal is received ( u ( n )).
  • the band extension here uses the decoded excitation at 12.8 kHz (exc2 or u ( n )) at the output of the block 302 of the figure 3 .
  • the generation of the oversampled and extended excitation is carried out in a frequency band ranging from 5 to 8 kHz including a second frequency band (6.4-8kHz) greater than the first band of frequency (0-6.4 kHz).
  • the generation of an extended excitation signal is effected at least on the second frequency band but also on a part of the first frequency band.
  • this signal is transformed to obtain an excitation signal spectrum U ( k ) by the time-frequency transformation module 500.
  • the DCT-IV transformation is implemented by FFT according to the algorithm called " Evolved DCT (EDCT)" described in the article by DM Zhang, HT Li, A Low Complexity Transform - Evolved DCT, IEEE 14th International Conference on Computational Science and Engineering (CSE), Aug. 2011, pp. 144-149 , and implemented in ITU-T G.718 Annex B and G.729.1 Annex E.
  • EDCT Evolved DCT
  • the DCT-IV transformation may be replaced with other short-term time-frequency transformations of the same length and in the field of excitation, such as an FFT (for " Fast Fourier Transform "in English ) or DCT-II ( Discrete Cosine Transform - Type II).
  • FFT Fast Fourier Transform
  • DCT-II Discrete Cosine Transform - Type II
  • MDCT for "Modified Discrete Cosine Tranform" in English.
  • the delay T in the block 310 of the figure 3 should be adjusted (reduced) adequately according to the additional delay due to the analysis / synthesis by this transform.
  • This approach preserves the original spectrum in this band and avoids introducing distortions in the 5000-6000 Hz band during the addition of HF synthesis with BF synthesis - particularly the signal phase (implicitly represented in the DCT-IV domain) in this band is preserved.
  • the band 6000-8000 Hz of U HB 1 ( k ) is here defined by copying the 4000-6000 Hz band of U ( k ) since the value of start_band is preferably fixed at 160.
  • the value of start_band can be made adaptive around the value of 160.
  • the details of the adaptation of the value start_band are not described here because they go beyond the scope of the invention without changing the scope.
  • the noise generation block 702 For some broadband signals (sampled at 16 kHz), the high band (> 6 kHz) may be noisy, harmonic or have a mixture of noise and harmonics. In addition, the level of harmonicity in the 6000-8000 Hz band is generally correlated with that of the lower frequency bands.
  • the noise in the 6000-8000 Hz band
  • U HBN k - 1 + 13849 k 240 , ⁇ , 319 with the convention that U HBN (239) in the current frame corresponds to the value U HBN (319) of the previous frame.
  • this noise generation can be replaced by other methods.
  • the combination block 703 can be realized in different ways.
  • G HBN is a normalization factor for equalizing the energy level between the two signals
  • the coefficient ⁇ (between 0 and 1) is adjusted according to parameters estimated from the decoded low band and the coefficient ⁇ (between 0 and 1) depends on ⁇ .
  • N ( k 1 , k 2 ) is the set of indices k for which the index coefficient k is classified as being associated with noise.
  • This set can be obtained for example by detecting the local peaks in U '( k ) verifying
  • and considering that these lines are not associated with noise, ie (by applying the negation of the previous condition): NOT at b at ⁇ k ⁇ b
  • other methods of calculating the noise energy are possible, for example by taking the median value of the spectrum on the band in question or by applying a smoothing to each frequency line before calculating the energy per band.
  • the calculation of ⁇ may be replaced by other methods.
  • different parameters by limiting its value between 0 and 1.
  • the factors ⁇ and ⁇ may be adapted to take account of the fact that noise injected into a given band of the signal is generally perceived as stronger than a harmonic signal at the same energy in the same band.
  • block 703 realizes the equivalent of block 101 of the figure 1 to normalize the white noise according to an excitation which is on the other hand here in the frequency domain, already extended to the rate of 16 kHz; in addition, the mix is limited to the band 6000-8000 Hz.
  • an embodiment of block 703 may be considered, where the spectra, U HB 1 ( k ) or G HBN U HBN ( k ), are selected (switched) adaptively, which amounts to allowing only the values 0 or 1 for ⁇ ; this approach amounts to classifying the type of excitation to be generated in the 6000-8000 Hz band
  • the block 704 optionally carries out a dual operation of application of bandpass filter frequency response and deemphasis filtering (or deemphasis) in the frequency domain.
  • the deemphasis filtering may be performed in the time domain, after block 705 or even before block 700; however, in this case, bandpass filtering performed in block 704 may leave some low frequency components of very low levels that are amplified by de-emphasis, which may slightly discern the decoded low band. For this reason, it is preferred here to perform the deemphasis in the frequency domain.
  • the HF synthesis is not de-emphasized.
  • the high frequency signal is on the contrary de-emphasized so as to bring it back into a domain consistent with the low signal. frequencies (0-6.4 kHz) coming out of block 305 of the figure 3 . This is important for the estimation and subsequent adjustment of the energy of the HF synthesis.
  • the de-emphasis can be performed in an equivalent way in the time domain after inverse DCT.
  • band-pass filtering is applied with two separate parts: one fixed high-pass, the other adaptive low-pass (flow-rate function).
  • This filtering is performed in the frequency domain.
  • bandpass filtering can be adapted by defining a single filtering step combining the high-pass and low-pass filtering.
  • the bandpass filtering may be performed in an equivalent manner in the time domain (as in block 112 of the present invention). figure 1 ) with different filter coefficients according to the flow rate, after a reverse DCT step.
  • this step it is advantageous to carry out this step directly in the frequency domain because the filtering is carried out in the field of LPC excitation and therefore the problems of circular convolution and edge effects are very limited in this field. .
  • This excitation sampled at 16 kHz is then optionally scaled by gains defined by subframe of 80 samples (block 707).
  • the realization of the block 706 differs from that of the block 101 of the figure 1 because the energy at the current frame is taken into account in addition to that of the sub-frame. This makes it possible to have the ratio of the energy of each sub-frame with respect to the energy of the frame. Energy ratios (or relative energies) are compared rather than the absolute energies between low band and high band.
  • this scaling step makes it possible to keep in the high band the energy ratio between the subframe and the frame in the same way as in the low band.
  • the block 708 then performs a scaling factor calculation by subframe of the signal (steps E602 to E 603 of the figure 6 ), as previously described with reference to the figure 6 and detailed in figure 4 and 5 .
  • this filtering can be done in the same way as that described for block 111 of the figure 1 of the AMR-WB decoder, however the order of the filter goes to 20 at the rate of 6.6, which does not significantly change the quality of the synthesized signal.
  • the step of filtering by a linear prediction filter 710 for the second frequency band is combined with the application of the optimized scaling factor, which reduces the processing complexity.
  • the filtering steps 1 / ⁇ (z / ⁇ ) and the application of the optimized scaling factor g HB 2 are combined with a single filtering step g HB 2 / ⁇ (z / ⁇ ) to reduce the processing complexity. .
  • the coding of the low band (0-6.4 kHz) may be replaced by a CELP coder other than that used in AMR-WB, for example the CELP coder in G.718 to 8. kbit / s.
  • a CELP coder other than that used in AMR-WB, for example the CELP coder in G.718 to 8. kbit / s.
  • other encoders in wide band or operating at frequencies higher than 16 kHz in which the coding of the low band operates at an internal frequency at 12.8 kHz could be used.
  • the invention can be obviously adapted to other sampling frequencies than 12.8 kHz, when a low frequency encoder operates at a sampling frequency lower than that of the original or reconstructed signal.
  • the low band decoding does not use a linear prediction, it does not have an excitation signal to be extended, in this case it will be possible to carry out an LPC analysis of the reconstructed signal in the current frame and calculate an LPC excitation. so as to be able to apply the invention.
  • the excitation ( u ( n )) is resampled, for example by linear interpolation or "spline" cubic, from 12.8 to 16 kHz before transformation (for example DCT-IV)
  • This variant has the defect of being more complex, because the transform (DCT-IV) of the excitation is then calculated over a greater length and the resampling is not carried out in the field of the transformed.
  • all the calculations necessary for the estimation of the gains can be carried out in a logarithmic domain.
  • the low band excitation u ( n ) and the LPC 1 / ⁇ (z) filter will be estimated per frame, by LPC analysis of a low band signal whose band must be extended.
  • the low band excitation signal is then extracted by analyzing the audio signal.
  • the low band audio signal is resampled before the excitation extraction step, so that the excitation extracted from the audio signal (by linear prediction) is already resolved. sampled.
  • the illustrated tape extension at figure 7 applies in this case to a low band which is not decoded but analyzed.
  • the figure 8 represents an embodiment of a device for determining an optimized scale factor 800 according to the invention. This may be an integral part of an audio-frequency signal decoder or equipment receiving decoded or non-decoded audio signals.
  • This type of device comprises a PROC processor cooperating with a memory block BM having a memory storage and / or work MEM.
  • a PROC processor cooperating with a memory block BM having a memory storage and / or work MEM.
  • Such a device comprises an input module E adapted to receive a decoded or extracted excitation audio signal in a first so-called low band frequency band ( u ( n ) or U ( k )) and the parameters of a linear prediction synthesis filter ( ⁇ ( z )). It comprises an output module S adapted to transmit the synthesized and optimized high frequency signal (u HB '(n)) for example to a filtering module such as block 710 of FIG. figure 7 or a resampling module like module 311 of the figure 3 .
  • a filtering module such as block 710 of FIG. figure 7 or a resampling module like module 311 of the figure 3 .
  • the memory block may advantageously comprise a computer program comprising code instructions for carrying out the steps of the method for determining an optimized scale factor to be applied to an excitation signal or to a filter within the meaning of FIG. invention, when these instructions are executed by the processor PROC, and in particular the steps of determination (E602) of a linear prediction filter called additional filter, of order less than the linear prediction filter of the first frequency band, the coefficients additional filter being obtained from the parameters decoded or extracted from the first frequency band, calculation (E603) of an optimized scale factor according to at least the coefficients of the additional filter.
  • the description of the figure 6 takes the steps of an algorithm of such a computer program.
  • the computer program can also be stored on a memory medium readable by a reader of the device or downloadable in the memory space thereof.
  • the memory MEM generally records all the data necessary for the implementation of the method.
  • the device thus described may also include the functions of applying the optimized scaling factor to the extended excitation signal, frequency band extension, low band decoding and other processing functions. described for example in figure 3 and 4 in addition to the optimized scale factor determination functions according to the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)

Description

  • La présente invention se rapporte au domaine du codage/décodage et du traitement de signaux audiofréquences (comme des signaux de parole, de musique ou autres) pour leur transmission ou leur stockage.
  • Plus particulièrement, l'invention concerne un procédé et un dispositif de détermination d'un facteur d'échelle optimisé servant à ajuster le niveau d'un signal d'excitation ou de façon équivalent d'un filtre lors d'une extension de bande de fréquence dans un décodeur ou un processeur réalisant une amélioration de signal audiofréquence.
  • De nombreuses techniques existent pour compresser (avec perte) un signal audiofréquence comme la parole ou la musique.
  • Les méthodes classiques de codage pour les applications conversationnelles sont en général classifiées en codage de forme d'onde (MIC pour "Modulation par Impulsion et codage", MICDA pour "Modulation par Impulsion et Codage Différentiel Adaptatif', codage par transformée...), codage paramétrique (LPC pour "Linear Prédictive Coding" en anglais, codage sinusoïdal...) et codage hybride paramétrique avec une quantification des paramètres par "analyse par synthèse" dont le codage CELP (pour "Code Excited Linear Prédiction" en anglais) est l'exemple le plus connu.
  • Pour les applications non conversationnelles, l'état de l'art en codage de signal audio (mono) est constitué par le codage perceptuel par transformée ou en sous-bandes, avec un codage paramétrique des hautes fréquences par réplication de bande.
    Une revue des méthodes classiques de codage de parole et audio se trouve dans les ouvrages W.B. Kleijn and K.K. Paliwal (Eds.), Speech Coding and Synthesis, Elsevier, 1995 ; M. Bosi, R.E. Goldberg, Introduction to Digital Audio Coding and Standards, Springer 2002 ; J. Benesty, M.M. Sondhi, Y. Huang (Eds.), Handbook of Speech Processing, Springer 2008.
  • On s'intéresse ici plus particulièrement au codec (codeur et décodeur) normalisé 3GPP AMR-WB (pour "Adaptive Multi-Rate Wideband" en anglais) qui fonctionne à une fréquence d'entrée/sortie de 16 kHz et dans lequel le signal est divisé en deux sous-bandes, la bande basse (0-6.4 kHz) qui est échantillonnée à 12.8 kHz et codée par modèle CELP et la bande haute (6.4-7 kHz) qui est reconstruite de façon paramétrique par « extension de bande » (ou BWE pour "Bandwidth Extension" en anglais) avec ou sans information supplémentaire selon le mode de la trame courante. On peut noter ici que la limitation de la bande codée du codec AMR-WB à 7kHz est essentiellement liée au fait que la réponse en fréquence en émission des terminaux en bande élargie a été approximée au moment de la normalisation (ETSI/3GPP puis UIT-T) selon le masque fréquentiel défini dans la norme UIT-T P.341 et plus précisément en utilisant un filtre dit « P341 » défini dans la norme UIT-T G.191 qui coupe les fréquences au-dessus de 7 kHz (ce filtre respecte le masque défini dans P.341). Cependant, en théorie, il est bien connu qu'un signal échantillonné à 16 kHz peut avoir une bande audio définie de 0 à 8000 Hz ; le codec AMR-WB introduit donc une limitation de la bande haute en comparaison à la largeur de bande théorique de 8 kHz.
  • Le codec de parole 3GPP AMR-WB a été normalisé en 2001 principalement pour les applications de téléphonie en mode circuit (CS) sur GSM (2G) et UMTS (3G). Ce même codec a été aussi normalisé en 2003 à l'UIT-T en tant que recommandation G.722.2 "Wideband coding speech at around 16kbit/s using Adaptive Multi-Rate Wideband (AMR-WB)".
  • Il comprend neuf débits, appelés modes, de 6.6 à 23.85 kbit/s, et comprend des mécanismes de transmission continue (DTX pour "Discontinuous Transmission") avec détection d'activité vocale (VAD pour "Voice Activity Détection") et génération de bruit de confort (CNG pour "Confort Noise Génération") à partir de trames de description de silence (SID pour "Silence Insertion Descriptor"), ainsi que des mécanismes de correction de trames perdues (FEC pour "Frame Erasure Concealment", parfois appelé PLC pour "Packet Loss Concealment").
  • On ne reprend pas ici les détails de l'algorithme de codage et de décodage AMR-WB, une description détaillée de ce codec se trouve dans les spécifications 3GPP (TS 26.190, 26.191, 26.192, 26.193, 26.194, 26.204) et UIT-T-G.722.2 (et les Annexes et Appendice correspondantes) ainsi que dans l'article de B. Bessette et al. intitulé « The adaptive multirate wideband speech codec (AMR-WB) », IEEE Transactions on Speech and Audio Processing, vol. 10, no. 8, 2002, pp. 620-636 et les codes sources des standards 3GPP et UIT-T associés.
  • Le principe de l'extension de bande dans le codec AMR-WB est assez rudimentaire. En effet, la bande haute (6.4-7 kHz) est générée en mettant en forme un bruit blanc par le biais d'une enveloppe temporelle (appliquée sous la forme de gains par sous-trame) et fréquentielle (par l'application d'un filtre de synthèse de prédiction linéaire ou LPC pour "Linear Prédictive Coding"). Cette technique d'extension de bande est illustrée à la figure 1 .
  • Un bruit blanc, u HB1(n), n = 0,..., 79, est généré à 16 kHz par sous-trame de 5 ms par générateur congruentiel linéaire (bloc 100). Ce bruit u HB1(n) est mis en forme dans le temps par application de gains par sous-trame ; cette opération est décomposée en deux étapes de traitement (blocs 102, 106 ou 109) :
    • Un premier facteur est calculé (bloc 101) pour mettre le bruit blanc u HB1(n) (bloc 102) à un niveau semblable à celui de l'excitation, u(n), n = 0..., 63, décodée à 12.8 kHz dans la bande basse : u HB 2 n = u HB 1 n ∑ l = 0 63 u l 2 ∑ l = 0 79 u HB 1 l 2
      Figure imgb0001
  • On peut noter ici que la normalisation des énergies se fait en comparant des blocs de taille différente (64 pour u(n) et 80 pour u HB1(n)), sans compensation des différences de fréquences d'échantillonnage (12.8 ou 16 kHz).
    • L'excitation dans la bande haute est ensuite obtenue (bloc 106 ou 109) sous la forme : u HB n = g ^ HB u HB 2 n
      Figure imgb0002
       où le gain ĝHB est obtenu différemment selon le débit. Si le débit de la trame actuelle est <23.85 kbit/s, le gain ĝHB est estimé « en aveugle » (c'est-à-dire sans information supplémentaire); dans ce cas, le bloc 103 filtre le signal décodé en bande basse par un filtre passe-haut ayant une fréquence de coupure à 400 Hz pour obtenir un signal ŝhp (n), n = 0,..., 63 - ce filtre passe-haut élimine l'influence des très basses fréquences qui peuvent biaiser l'estimation faite dans le bloc 104 - puis on calcule le « tilt » (indicateur de pente spectrale) noté etilt du signal ŝhp(n) par autocorrélation normalisée (bloc 104): e tilt = ∑ n = 1 63 s ^ hp n s ^ hp n − 1 ∑ n = 0 63 s ^ hp n 2
      Figure imgb0003
       et enfin on calcule ĝHB sous la forme : g ^ HB = w SP g SP + 1 − w SP g BG
      Figure imgb0004
       où gSP = 1 - etilt est le gain appliqué dans les trames actives de parole (SP pour speech), gBG = 1.25gSP est le gain appliqué dans les trames inactives de parole associées à un bruit de fond (BG pour Background) et wSP est une fonction de pondération qui dépend de la détection d'activité vocale (VAD). On comprend que l'estimation du tilt (etilt ) permet d'adapter le niveau de la bande haute en fonction de la nature spectrale du signal ; cette estimation est particulièrement importante quand la pente spectrale du signal décodé CELP est telle que l'énergie moyenne décroît quand la fréquence augmente (cas d'un signal voisé où etilt est proche de 1, donc gSP = 1 - etilt est ainsi réduit). A noter aussi que le facteur ĝHB dans le décodage AMR-WB est borné pour prendre des valeurs dans l'intervalle [0.1, 1.0]. En effet, pour les signaux dont énergie croît quand la fréquence augmente (etilt proche de -1, gSP proche de 2), le gain ĝHB est d'habitude sous-estimé.
  • A 23.85 kbit/s, une information de correction est transmise par le codeur AMR-WB et décodée (blocs 107, 108) afin d'affiner le gain estimé par sous-trame (4 bits toutes les 5ms, soit 0.8 kbit/s). L'excitation artificielle uHB (n) est ensuite filtrée (bloc 111) par un filtre de synthèse LPC (bloc 111) de fonction de transfert 1/AHB (z) et fonctionnant à la fréquence d'échantillonnage de 16 kHz. La réalisation de ce filtre dépend du débit de la trame courante:
    • A 6.6 kbit/s, le filtre 1/AHB (z) est obtenu en pondérant par un facteur γ=0.9 un filtre LPC d'ordre 20, 1/Âext (z) qui « extrapole » le filtre LPC d'ordre 16, 1/Â(z), décodé dans la bande basse (à 12.8 kHz) - les détails de l'extrapolation dans le domaine des paramètres ISF (pour "Imittance Spectral Frequency" en anglais) sont décrits dans la norme G.722.2 à la section 6.3.2.1; dans ce cas, 1 / A HB z = 1 / A ^ ext z / γ
      Figure imgb0005
    • Aux débits > 6.6 kbit/s, le filtre 1/AHB (z) est d'ordre 16 et correspond simplement à : 1 / A HB z = 1 / A ^ z / γ
      Figure imgb0006
       où γ=0.6. A noter que dans ce cas le filtre 1/Â(zlγ) est utilisé à 16 kHz, ce qui résulte en un étalement (par homothétie) de la réponse en fréquence de ce filtre de [0, 6.4 kHz] à [0, 8 kHz].
    Le résultat, sHB (n), est enfin traité par un filtre passe-bande (bloc 112) de type FIR ("Finite Impulse Response"), pour ne garder que la bande 6 - 7 kHz ; à 23.85 kbit/s, un filtre passe-bas également de type FIR (bloc 113) se rajoute au traitement pour atténuer encore plus les fréquences supérieures à 7 kHz. La synthèse en hautes fréquences (HF) est finalement additionnée (bloc 130) à la synthèse en basses fréquences (BF) obtenue avec les blocs 120 à 122 et ré-échantillonnée à 16 kHz (bloc 123). Ainsi même si la bande haute s'étend en théorie de 6.4 à 7 kHz dans le codec AMR-WB, la synthèse HF est plutôt comprise dans la bande 6-7 kHz avant addition avec la synthèse BF.
  • On peut identifier plusieurs inconvénients à la technique d'extension de bande du codec AMR-WB, en particulier :
    • L'estimation de gains par sous-trame (bloc 101, 103 à 105) n'est pas optimale. Pour partie, elle se base sur une égalisation de l'énergie « absolue » par sous-trame (bloc 101) entre des signaux à des fréquences différentes : l'excitation artificielle à 16 kHz (bruit blanc) et un signal à 12.8 kHz (excitation ACELP décodée). On peut noter en particulier que cette approche induit implicitement une atténuation de l'excitation bande haute (par un ratio 12.8/16=0.8) ; en fait, on notera également qu'aucune désaccentuation (ou déemphase) n'est effectuée sur la bande haute dans le codec AMR-WB, ce qui induit implicitement une amplification relative proche de 0.6 (qui correspond à la valeur de la réponse en fréquence de 1/(1-0.68z -1) à 6400 Hz). En fait, les facteurs de 1/0.8 et de 0.6 se compensent approximativement.
    • Sur la parole, les tests de caractérisation du codec 3GPP AMR-WB documentés dans le rapport 3GPP TR 26.976 ont montré que le mode à 23.85 kbit/s a une qualité moins bonne qu'à 23.05 kbit/s, sa qualité est en fait similaire à celle du mode à 15.85 kbit/s. Ceci montre en particulier que le niveau du signal HF artificiel doit être contrôlé de façon très prudente, car la qualité est dégradée à 23.85 kbit/s alors que les 4 bits par trame sont sensés permettre de mieux approcher l'énergie des hautes fréquences originales.
    • Le filtre passe-bas à 7 kHz (bloc 113) introduit un décalage de près de 1 ms entre les bandes basses et hautes, ce qui peut potentiellement dégrader la qualité de certains signaux en désynchronisant légèrement les deux bandes à 23.85 kbit/s - cette désynchronisation peut également poser problème lors d'une commutation de débit de 23.85 kbit/s à d'autres modes.
    Un exemple d'extension de bande par approche temporelle est décrit dans la norme 3GPP TS 26.290 décrivant le codec AMR-WB+ (normalisé en 2005). Cet exemple est illustré dans les schémas-blocs des figures 2a (schéma global) et 2b (prédiction de gain par correction de niveau de réponses) qui correspondent respectivement aux figures 16 et 10 de la spécification 3GPP TS 26.290.
    Dans le codec AMR-WB+, le signal d'entrée (mono) échantillonné à la fréquence Fs (en Hz) est divisés en deux bandes de fréquences disjointes, dans lesquelles deux filtres LPC sont calculés et codés séparément:
    • un filtre LPC, noté A(z), dans la bande basse (0-Fs/4) - sa version quantifiée est notée Â(z)
    • un autre filtre LPC, noté AHF (z), dans la bande haute repliée spectralement (Fs/4-Fs/2) - sa version quantifiée est notée ÂHF (z)
    L'extension de bande se fait dans le codec AMR-WB+ comme détaillé dans les sections 5.4 (codage HF) et 6.2 (décodage HF) de la spécification 3GPP TS 26.290. On en résume ici le principe : l'extension consiste à utiliser l'excitation décodée en basses fréquences (LF excit.) et à mettre en forme cette excitation par un gain temporel par sous-trame (bloc 205) et un filtrage LPC de synthèse (bloc 207) ; de plus, des traitements d'améliorations (post-traitement de l'excitation (bloc 206) et lissage de l'énergie du signal HF reconstruit (bloc 208) sont mis en oeuvre comme illustré à la figure 2a.
    Il est important de remarquer que cette extension dans AMR-WB+ nécessite la transmission d'informations supplémentaires : les coefficients du filtre ÂHF (z) en 204 et un gain de mise en forme temporelle par sous-trame (bloc 201). Une particularité de l'algorithme d'extension de bande dans AMR-WB+ est que le gain par sous-trame est quantifié par une approche prédictive ; autrement dit, on ne code pas les gains directement, mais plutôt des corrections de gain qui sont relatives à une estimation du gain notée gmatch . Cette estimation, gmatch, correspondant en fait à un facteur d'égalisation du niveau entre les filtres Â(z) et ÂHF (z) à la fréquence de séparation entre bande basse et bande haute (Fs/4). Le calcul du facteur gmatch (bloc 203) est détaillé à la figure 10 de la spécification 3GPP TS 26.290 reprise ici à la figure 2b. On ne détaillera pas plus ici cette figure. On retiendra pour résumer que les blocs 210 à 213 servent à calculer l'énergie de la réponse impulsionnelle de A ^ z 1 − 0.9 z − 1 A ^ HF z ,
    Figure imgb0007
    en se rappelant que le filtre ÂHF (z) modélise une bande haute repliée spectrale (à cause des propriétés spectrales du banc de filtre séparant les bandes basse et haute). Puisque les filtres sont interpolés par sous-trames, le gain gmatch n'est calculé qu'une fois par trame, et il est interpolé par sous-trames.
    La technique de codage des gains d'extension de bande dans AMR-WB+, et plus précisément la compensation de niveaux des filtres LPC en leur point de jonction, est une méthode adaptée dans le contexte d'une extension de bande par modèles LPC en bande basse et haute, et on peut remarquer qu'une telle compensation de niveau entre filtres LPC n'est pas présente dans l'extension de bande du codec AMR-WB. Cependant, on peut vérifier dans la pratique que l'égalisation directe du niveau entre les deux filtres LPC à la fréquence de séparation n'est pas une méthode optimale et peut provoquer une surestimation d'énergie en bande-haute et des artefacts audibles dans certains cas ; on rappelle qu'un filtre LPC représente une enveloppe spectrale, ainsi le principe de l'égalisation du niveau entre deux filtres LPC pour une fréquence donnée revient à ajuster le niveau relatif de deux enveloppes LPC. Or un telle égalisation réalisée en une fréquence précise n'assure pas une complète continuité et cohérence globale de l'énergie (en fréquence) au voisinage du point d'égalisation lorsque l'enveloppe fréquentielle du signal fluctue de façon significative dans ce voisinage. Une façon mathématique de poser le problème consiste à remarquer que la continuité entre deux courbes peut être assurée en les forçant à se rejoindre en un même point, mais rien ne garantit que les propriétés locales (dérivées successives) coïncident de façon à assurer une cohérence plus globale. Le risque en assurant une continuité ponctuelle entre des enveloppes LPC bandes basse et haute est de fixer l'enveloppe de LPC en bande haute à un niveau relatif trop fort ou trop faible, le cas d'un niveau trop fort étant plus dommageable car il résulte en des artefacts plus gênants.
    Par ailleurs, la compensation de gain dans AMR-WB+ est avant tout une prédiction du gain connue au codeur et au décodeur et qui sert à réduire le débit nécessaire à la transmission d'information de gain mettant à l'échelle le signal d'excitation bande haute. Or, dans le contexte d'une amélioration du codage/décodage AMR-WB de façon interopérable, il n'est pas possible de modifier le codage existant des gains par sous-trames (0.8 kbit/s) de l'extension de bande dans le mode 23.85 kbit/s d'AMR-WB. De plus, pour les débits strictement inférieurs à 23.85 kbit/s, la compensation de niveaux de filtres LPC en bandes basse et haute peut être appliquée dans l'extension de bande d'un décodage compatible avec AMR-WB, cependant l'expérience montre que cette seule technique dérivée du codage AMR-WB+, appliquée sans optimisation, peut engendrer des problèmes de surestimation d'énergie de la bande haute (>6 kHz).
    Il existe donc un besoin pour améliorer la compensation de gains entre des filtres de prédiction linéaire de bande de fréquences différentes pour l'extension de bande de fréquence dans un codec de type AMR-WB ou une version interopérable de ce codec sans pour autant surestimer l'énergie dans une bande de fréquence et sans nécessiter d'informations supplémentaires du codeur.
  • La présente invention vient améliorer la situation.
  • A cet effet, l'invention vise un procédé de détermination d'un facteur d'échelle optimisé à appliquer à un signal d'excitation ou à un filtre lors d'un procédé d'extension de bande de fréquence d'un signal audiofréquence, le procédé d'extension de bande comportant une étape de décodage ou d'extraction, dans une première bande de fréquence, d'un signal d'excitation et de paramètres de la première bande de fréquence comprenant des coefficients d'un filtre de prédiction linéaire, une étape de génération d'un signal d'excitation étendu sur au moins une deuxième bande de fréquence et une étape de filtrage par un filtre de prédiction linéaire pour la deuxième bande de fréquence. Le procédé de détermination est tel qu'il comporte les étapes suivantes:
    • détermination d'un filtre de prédiction linéaire dit filtre additionnel, d'ordre inférieur au filtre de prédiction linéaire de la première bande de fréquence, les coefficients du filtre additionnel étant obtenus à partir des paramètres décodés ou extraits de la première bande de fréquence; et
    • calcul du facteur d'échelle optimisé en fonction au moins des coefficients du filtre additionnel.
  • Ainsi, l'utilisation d'un filtre additionnel d'ordre inférieur au filtre de la première bande de fréquence à égaliser, permet d'éviter les surestimations d'énergie dans les hautes fréquences qui pourraient résulter de fluctuations locales de l'enveloppe et qui peuvent perturber l'égalisation des filtres de prédiction.
  • L'égalisation de gains entre les filtres de prédiction linéaire de la première et deuxième bande de fréquence est ainsi améliorée.
  • Dans une application avantageuse du facteur d'échelle optimisé ainsi obtenu, le procédé d'extension de bande comprend une étape d'application du facteur d'échelle optimisé au signal d'excitation étendu.
  • Dans un mode de réalisation adapté, l'application du facteur d'échelle optimisé est combinée à l'étape de filtrage dans la deuxième bande de fréquence.
  • Ainsi les étapes de filtrage et d'application du facteur d'échelle optimisé sont combinées à une seule étape de filtrage pour réduire la complexité de traitement.
  • Dans un mode de réalisation particulier, les coefficients du filtre additionnel sont obtenus par troncature de la fonction de transfert du filtre de prédiction linéaire de la première bande de fréquence pour obtenir un ordre inférieur.
  • Ce filtre additionnel d'ordre inférieur est donc obtenu de façon simple.
  • De plus, de façon à obtenir un filtre stable, les coefficients du filtre additionnel sont modifiés en fonction d'un critère de stabilité du filtre additionnel.
  • Dans un mode de réalisation particulier, le calcul du facteur d'échelle optimisé comporte les étapes suivantes:
    • calcul des réponses en fréquence des filtres de prédiction linéaire des première et deuxième bandes de fréquence pour une fréquence commune;
    • calcul de la réponse en fréquence du filtre additionnel pour cette fréquence commune;
    • calcul du facteur d'échelle optimisé en fonction des réponses en fréquence ainsi calculées.
  • Ainsi, le facteur d'échelle optimisé est calculé de façon à éviter les artefacts gênants qui pourraient survenir dans le cas où la réponse en fréquence de filtre d'ordre supérieur de la première bande à proximité de la fréquence commune révèlerait un pic ou une vallée du signal.
  • Dans un mode de réalisation particulier, le procédé comprend en outre les étapes suivantes, mises en oeuvre pour un débit de décodage prédéterminé:
    • première mise à l'échelle du signal d'excitation étendu par un gain calculé par sous-trame fonction d'un rapport d'énergie entre le signal d'excitation décodé et le signal d'excitation étendu;
    • deuxième mise à l'échelle du signal d'excitation issu de la première mise à l'échelle par un gain de correction décodé;
    • ajustement de l'énergie de l'excitation pour la sous-trame courante par un facteur d'ajustement calculé en fonction de l'énergie du signal obtenu après la deuxième mise à l'échelle et en fonction du signal obtenu après application du facteur d'échelle optimisé.
  • Ainsi, des informations supplémentaires peuvent être utilisées pour améliorer la qualité du signal étendu pour un mode de fonctionnement prédéterminé.
  • L'invention vise également un dispositif de détermination d'un facteur d'échelle optimisé à appliquer à un signal d'excitation ou à un filtre dans un dispositif d'extension de bande de fréquence d'un signal audiofréquence, le dispositif d'extension de bande comprenant un module de décodage ou d'extraction, dans une première bande de fréquence, d'un signal d'excitation et de paramètres de la première bande de fréquence comprenant des coefficients d'un filtre de prédiction linéaire, un module de génération d'un signal d'excitation étendu sur au moins une deuxième bande de fréquence et un module de filtrage par un filtre de prédiction linéaire pour la deuxième bande de fréquence. Le dispositif de détermination est tel qu'il comprend:
    • un module de détermination d'un filtre de prédiction linéaire dit filtre additionnel, d'ordre inférieur au filtre de prédiction linéaire de la première bande de fréquence, les coefficients du filtre additionnel étant obtenus à partir des paramètres décodés ou extraits de la première bande de fréquence; et
    • un module de calcul du facteur d'échelle optimisé en fonction au moins des coefficients du filtre additionnel.
  • L'invention vise un décodeur comportant un dispositif tel que décrit.
  • Elle vise un programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé de détermination d'un facteur d'échelle optimisé tel que décrit, lorsque ces instructions sont exécutées par un processeur.
  • Enfin l'invention se rapporte à un support de stockage, lisible par un processeur, intégré ou non au dispositif de détermination d'un facteur d'échelle optimisé, éventuellement amovible, mémorisant un programme informatique mettant en oeuvre un procédé de détermination d'un facteur d'échelle optimisé tel que décrit précédemment.
  • D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante, donnée uniquement à titre d'exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels :
    • la figure 1 illustre une partie d'un décodeur de type AMR-WB mettant en oeuvre des étapes d'extension de bande de fréquence de l'état de l'art et tel que décrit précédemment;
    • les figures 2a et 2b présentent le codage de la bande haute dans le codec AMR-WB+ selon l'état de l'art et tel que décrit précédemment;
    • la figure 3 illustre un décodeur interopérable avec le codage AMR-WB et intégrant un dispositif d'extension de bande utilisé selon un mode de réalisation de l'invention ;
    • la figure 4 illustre un dispositif de détermination d'un facteur d'échelle optimisé par sous-trame en fonction du débit, selon un mode de réalisation de l'invention; et
    • les figures 5a et 5b illustrent les réponses en fréquences des filtres utilisées pour le calcul du facteur d'échelle optimisé selon un mode de réalisation de l'invention;
    • la figure 6 illustre sous forme d'organigramme, les étapes principales d'un procédé de détermination d'un facteur d'échelle optimisé selon un mode de réalisation de l'invention;
    • la figure 7 illustre un mode de réalisation dans le domaine fréquentiel d'un dispositif de détermination de facteur d'échelle optimisé lors d'une extension de bande;
    • la figure 8 illustre une réalisation matérielle d'un dispositif de détermination de facteur d'échelle optimisé lors d'une extension de bande selon l'invention.
  • La figure 3 illustre un exemple de décodeur, compatible avec la norme AMR-WB/G.722.2 dans lequel on retrouve une extension de bande comprenant une détermination d'un facteur d'échelle optimisé selon un mode de réalisation du procédé de l'invention, mis en oeuvre par le dispositif d'extension de bande illustré par le bloc 309.
  • Contrairement au décodage AMR-WB qui fonctionne avec une fréquence d'échantillonnage de sortie de 16 kHz, on considère ici un décodeur qui peut fonctionner avec un signal de sortie (synthèse) à la fréquence fs = 8, 16, 32 ou 48 kHz. A noter qu'on suppose ici que le codage a été effectué selon l'algorithme AMR-WB avec une fréquence interne de 12.8 kHz pour le codage CELP en bande basse et à 23.85 kbit/s avec un codage de gain par sous-trame à la fréquence de 16 kHz ; même si l'invention est décrite ici au niveau du décodage, on suppose ici que le codage peut aussi fonctionner avec un signal d'entrée à la fréquence fs = 8, 16, 32 ou 48 kHz et des opérations de ré-échantillonnage adéquate, dépassant le cadre de l'invention, sont mises en oeuvre au codage en fonction de la valeur de fs. On peut noter que quand fs=8 kHz, dans le cas d'un décodage compatible avec AMR-WB, il n'est pas nécessaire d'étendre la bande basse 0-6.4 kHz, car la bande audio reconstruite à la fréquence fs est limitée à 0-4000 Hz.
  • A la figure 3, le décodage CELP (BF pour basses fréquences) fonctionne toujours à la fréquence interne de 12.8 kHz, comme dans AMR-WB, et l'extension de bande (HF pour hautes fréquences) utilisée pour l'invention fonctionne à la fréquence de 16 kHz, les synthèses BF et HF sont combinées (bloc 312) à la fréquence fs après ré-échantillonnage adéquat (bloc 306 et traitement interne au bloc 311). Dans des variantes de réalisation, la combinaison des bandes basse et haute pourra se faire à 16 kHz, après avoir ré-échantillonnée la bande basse de 12.8 à 16 kHz, avant de ré-échantillonner le signal combiné à la fréquence fs.
  • Le décodage selon la figure 3 dépend du mode (ou débit) AMR-WB associé à la trame courante reçue. A titre indicatif et sans que cela impacte le bloc 309, le décodage de la partie CELP en bande basse comporte les étapes suivantes:
    • Démultiplexage des paramètres codés (bloc 300) en cas de trame correctement reçue (bfi=0 où bfi est le « bad frame indicator » valant 0 pour une trame reçue et 1 pour une trame perdue)
    • Décodage des paramètres ISF avec interpolation et conversion en coefficients LPC (bloc 301) comme décrit dans la clause 6.1 de la norme G.722.2.
    • Décodage de l'excitation CELP (bloc 302), avec une partie adaptative et fixe pour reconstruire l'excitation (exc ou u'(n)) dans chaque sous-trame de longueur 64 à 12.8 kHz: u ′ n = g ^ p v n + g ^ c c n , n = 0 , ⋯ , 63
      Figure imgb0008
       en suivant les notations de la clause 7.1.2.1 de la recommandation ITU-T G.718 d'un décodeur interopérable avec le codeur/décodeur AMR-WB, concernant le décodage CELP, où v(n) et c(n) sont respectivement les mots de code des dictionnaires adaptatif et fixe, et ĝp et ĝc sont les gains décodés associés. Cette excitation u'(n) est utilisée dans le dictionnaire adaptatif de la sous-trame suivante ; elle est ensuite post-traitée et on distingue comme dans G.718 l'excitation u'(n) (aussi notée exc) de sa version post-traitée modifiée u(n) (aussi notée exc2) qui sert d'entrée au filtre de synthèse, 1/Â(z), dans le bloc 303.
    • Filtrage de synthèse par 1/Â(z) (bloc 303) où le filtre LPC décodé Â(z) est d'ordre 16
    • Post-traitement bande étroite (bloc 304) selon la clause 7.3 de G.718 si fs=8 kHz.
    • Désaccentuation (bloc 305) par le filtre 1/(1 - 0.68z -1)
    • Post-traitement des basses fréquences (dit « bass posfilter ») (bloc 306) atténuant le bruit inter-harmonique en basses fréquences tel que décrit à la clause 7.14.1.1 de G.718. Ce traitement introduit un retard qui est pris en compte dans le décodage de la bande haute (>6.4 kHz).
    • Ré-échantillonnage de la fréquence interne de 12.8 kHz à la fréquence de sortie fs (bloc 307). Plusieurs réalisations sont possibles. Sans perte de généralité, on considère ici à titre d'exemple que si fs=8 ou 16 kHz, le ré-échantillonnage décrit dans la clause 7.6 de G.718 est repris ici, et si fs=32 ou 48 kHz, des filtres à réponse impulsionnelle finie (FIR) supplémentaires sont utilisés.
    • Calcul des paramètres du "noise gate" (bloc 308) qui est réalisé de façon préférentielle comme décrit dans la clause 7.14.3 de G.718 pour « améliorer » la qualité des silences par réduction du niveau.
    Dans des variantes qui peuvent être mises en oeuvre pour l'invention, les post-traitements appliqués à l'excitation peuvent être modifiés (par exemple, la dispersion de phase peut être améliorée) ou ces post-traitements peuvent être étendus (par exemple, une réduction du bruit inter-harmonique peut être mise en oeuvre), sans affecter la nature de l'extension de bande.
    On peut noter que l'utilisation des blocs 306, 308, 314 est optionnelle.
    On notera également que le décodage de la bande basse décrit ci-dessus suppose une trame courante dite « active » avec un débit entre 6.6 et 23.85 kbit/s. En fait, quand le mode DTX (transmission continue en français) est activé, certaines trames peuvent être codées comme « inactives » et dans ce cas on peut soit transmettre un descripteur de silence (sur 35 bits) soit ne rien transmettre. En particulier, on rappelle que la trame SID décrit plusieurs paramètres : paramètres ISF moyennés sur 8 trames, énergie moyenne sur 8 trames, flag de "dithering" pour la reconstruction de bruit non stationnaire. Dans tous les cas, au décodeur, on retrouve le même modèle de décodage que pour une trame active, avec une reconstruction de l'excitation et d'un filtre LPC pour la trame courante, ce qui permet d'appliquer l'extension de bande même sur des trames inactives. Le même constat s'applique pour le décodage de « trames perdues » (ou FEC, PLC) dans lequel le modèle LPC est appliqué.
  • Dans le mode de réalisation décrit ici et en référence à la figure 7, , le décodeur permet d'étendre la bande basse décodée (50-6400 Hz en tenant en compte du filtrage passe-haut à 50 Hz au décodeur, 0-6400 Hz dans le cas général) à une bande étendue dont la largeur varie, allant approximativement de 50-6900 Hz à 50-7700 Hz en fonction du mode mis en oeuvre dans la trame courante. On peut ainsi parler d'une première bande de fréquence de 0 à 6400Hz et d'une deuxième bande de fréquence de 6400 à 8000Hz. En réalité, dans le mode de réalisation privilégié, l'extension de l'excitation est réalisée dans le domaine fréquentiel dans une bande de 5000 à 8000 Hz, pour permettre un filtrage passe-bande de largeur 6000 à 6900 ou 7700 Hz.
  • A 23.85 kbit/s, l'information de correction de gain HF (0.8 kbit/s) transmise à 23.85 kbit/s est ici décodée. Son utilisation est détaillée plus loin, en référence à la figure 4. La partie synthèse bande haute est réalisée dans le bloc 309 représentant le dispositif d'extension de bande utilisé pour l'invention et qui est détaillé à la figure 7 dans un mode de réalisation.
  • Afin d'aligner les bandes basses et hautes décodées, un retard (bloc 310) est introduit pour synchroniser les sorties des blocs 306 et 307 et la bande haute synthétisée à 16 kHz est ré-échantillonnée de 16 kHz à la fréquence fs (sortie de bloc 311). La valeur du retard T dépend de la façon de synthétiser le signal bande haute, de la fréquence fs de même que du post-traitement des basses fréquences. Ainsi, de façon générale la valeur de T dans le bloc 310 devra être ajustée en fonction de la mise en oeuvre spécifique.
  • Les bandes basse et haute sont ensuite combinées (ajoutées) dans le bloc 312 et la synthèse obtenue est post-traitée par filtrage passe-haut à 50 Hz (de type IIR) d'ordre 2 dont les coefficients dépendent de la fréquence fs (bloc 313) et post-traitement de sortie avec application optionnelle du "noisegate"de façon similaire à G.718 (bloc 314).
  • En référence à la figure 3, on décrit à présent un mode de réalisation d'un dispositif de détermination d'un facteur d'échelle optimisé à appliquer à un signal d'excitation lors d'un processus d'extension de bande de fréquence. Ce dispositif est inclus dans le bloc d'extension de bande 309 décrit précédemment.
  • Ainsi, le bloc 400, à partir d'un signal d'excitation décodé dans une première bande de fréquence u(n), effectue une extension de bande pour obtenir un signal d'excitation étendu uHB (n) sur au moins une deuxième bande de fréquence.
  • On notera ici, que l'estimation de facteur d'échelle optimisé selon l'invention est indépendante de la façon d'obtenir le signal uHB (n). Une condition concernant son énergie est cependant importante. En effet, il faut que l'énergie de la bande haute de 6000 à 8000 Hz soit à un niveau similaire à l'énergie de la bande de 4000 à 6000 Hz du signal d'excitation décodé à la sortie du bloc 302. De plus, puisque le signal bande basse est désaccentué (bloc 305), il faut aussi appliquer la désaccentuation au signal d'excitation bande haute, soit en utilisant un filtre de désaccentuation propre, soit en multipliant par un facteur constant qui correspond à une atténuation moyenne du filtre mentionné. Cette condition ne s'applique pas au cas du débit 23.85 kbit/s qui utilise les informations supplémentaires transmises par le codeur. Dans ce cas l'énergie du signal d'excitation bande haute doit être cohérente avec l'énergie du signal correspondant au codeur, comme expliqué plus tard.
  • L'extension de bande de fréquence peut par exemple être mise en oeuvre de la même façon que pour le décodeur de type AMR-WB décrit en référence à la figure 1 dans les blocs 100 à 102, à partir d'un bruit blanc.
  • Dans un autre mode de réalisation, cette extension de bande peut s'effectuer à partir d'une combinaison d'un bruit blanc et d'un signal d'excitation décodé comme illustré et décrit ultérieurement pour les blocs 700 à 707 de la figure 7.
  • D'autres méthodes d'extension de bande de fréquence avec conservation du niveau d'énergie entre le signal d'excitation décodé et le signal d'excitation étendu comme décrit ci-dessous, peuvent bien sur être envisagées pour le bloc 400.
  • De plus, le module d'extension de bande peut également être indépendant du décodeur et peut effectuer une extension de bande d'un signal audio existant stocké ou transmis au module d'extension, avec une analyse du signal audio pour en extraire une excitation et un filtre LPC. Dans ce cas, le signal d'excitation en entrée du module d'extension, n'est plus un signal décodé mais un signal extrait après analyse, de même que les coefficients du filtre de prédiction linéaire de la première bande de fréquence utilisés dans le procédé de détermination du facteur d'échelle optimisé dans une mise en oeuvre de l'invention.
  • Dans l'exemple illustré à la figure 4, on considère tout d'abord le cas des débits <23.85kbit/s, pour lequel la détermination du facteur d'échelle optimisé se limite au bloc 401. On calcule dans ce cas un facteur d'échelle optimisé, noté gHB2 (m). Dans un mode de réalisation, ce calcul est effectué de façon préférentielle par sous-trame et il consiste à égaliser les niveaux des réponses en fréquences des filtres LPC 1/Â(z) et 1/Â(z/γ) utilisés en basses et hautes fréquences, comme décrit ultérieurement en référence à la figure 7, avec des précautions supplémentaires pour éviter les cas de surestimations qui peuvent résulter en une énergie trop grande de la bande haute synthétisée et générer donc des artefacts audibles.
    Dans un mode de réalisation alternatif, on pourra garder le filtre de synthèse HF extrapolé 1/Âext (z/γ) tel que mis en oeuvre dans le décodeur AMR-WB ou un décodeur interopérable avec le codeur/décodeur AMR-WB, par exemple selon la recommandation ITU-T G.718, au lieu du filtre 1/Â(z/γ). La compensation selon l'invention s'effectue alors à partir des filtres 1/Â(z) et 1/Âext (z/γ).
    La détermination du facteur d'échelle optimisé s'effectue aussi par la détermination (en 401a) d'un filtre de prédiction linéaire dit filtre additionnel, d'ordre inférieur au filtre de prédiction linéaire de la première bande de fréquence 1/Â(z), les coefficients du filtre additionnel étant obtenus à partir des paramètres décodés ou extraits de la première bande de fréquence. Le facteur d'échelle optimisé est ensuite calculé (en 401b) en fonction au moins de ces coefficients pour être appliqué au signal d'excitation étendu uHB (n).
  • Le principe de la détermination du facteur d'échelle optimisé, mis en oeuvre dans le bloc 401 est illustré aux figures 5a et 5b avec des exemples concrets obtenus à partir de signaux échantillonnés à 16 kHz ; les valeurs d'amplitude de réponses en fréquence, notées plus loin R, P, Q, de 3 filtres sont calculées à la fréquence commune de 6000 Hz (ligne verticale en pointillés) dans la sous-trame courante, dont l'indice m n'est pas rappelé ici dans la notations des filtres LPC interpolés par sous-trame pour alléger le texte. La valeur de 6000 Hz est choisie de sorte qu'elle soit proche de la fréquence de Nyquist de la bande basse, soit 6400 Hz. Il est préférable de ne pas prendre cette fréquence de Nyquist pour déterminer le facteur d'échelle optimisé. En effet l'énergie du signal décodé en basses fréquences est typiquement déjà atténuée à 6400 Hz. De plus, l'extension de bande décrite ici est effectuée sur une deuxième bande de fréquence dite bande haute qui va de 6000 à 8000 Hz. A noter que dans des variantes de l'invention, une autre fréquence que 6000 Hz pourra être choisie, sans perte de généralité pour déterminer le facteur d'échelle optimisé. On pourra aussi considérer le cas où les deux filtres LPC sont définis pour les bandes séparés (comme dans AMR-WB+). Dans ce cas R, P et Q seront calculées à la fréquence de séparation.
    Les figures 5a et 5b illustrent comment sont définies les quantités R, P, Q.
    La première étape consiste à calculer les réponses en fréquences R et P respectivement du filtre de prédiction linéaire de la première bande de fréquence (bande basse) et de la deuxième bande de fréquence (bande haute) à la fréquence de 6000 Hz. On calcule d'abord : R = 1 A ^ e jθ = 1 ∑ i = 0 M a ^ i e − jiθ
    Figure imgb0009
     où M = 16 est l'ordre du filtre LPC décodé 1/Â(z), et θ correspond à la fréquence de 6000 Hz normalisée pour la fréquence d'échantillonnage de 12.8 kHz, soit : θ = 2 π 6000 12800 .
    Figure imgb0010
     Ensuite, de façon similaire, on calcule : P = 1 A ^ e jθ ′ / γ = 1 ∑ i = 0 M a ^ i γ i e − jiθ ′
    Figure imgb0011
     où θ ′ = 2 π 6000 16000 .
    Figure imgb0012
     Dans un mode de réalisation privilégié, les quantités P et R sont calculées selon le pseudo-code suivant: px = py = 0 rx = ry = 0 for i = 0 to 16 px = px + Ap i * exp_tab_p i py = py + Ap i * exp_tab_ 33 − i rx = rx + Aq i * exp_tab_q i ry = ry + Aq i * exp_tab_q 33 − i end for P = 1 / sqrt px * px + py * py R = 1 / sqrt rx * rx + ry * ry
    Figure imgb0013
     où Aq[i] = âi correspond aux coefficients de Â(z) (d'ordre 16), Ap[i]= γiâi correspond aux coefficient de Â(z/γ), sqrt() correspond à l'opération de racine carrée et les tableaux exp_tab_p et exp_tab_q de taille 34 contiennent les parties réelles et imaginaires des exponentielles complexes associée à la fréquence de 6000 Hz, avec exp_tab_p i = { cos 2 π 6000 12800 i i = 0 , ⋯ , 16 − sin 2 π 6000 12800 33 − i i = 17 , ⋯ , 33
    Figure imgb0014
     exp_tab_q i = { cos 2 π 6000 16000 i i = 0 , ⋯ , 16 − sin 2 π 6000 16000 33 − i i = 17 , ⋯ , 33
    Figure imgb0015
     Le filtre de prédiction additionnel est obtenu par exemple en tronquant de façon adéquate le polynôme Â(z) à l'ordre 2.
    En fait la troncature directe à l'ordre conduit au filtre 1 + â 1 + â 2, ce qui peut poser problème car rien ne garantit en général que ce filtre d'ordre 2 est stable. Dans un mode de réalisation privilégiée, on détecte donc la stabilité du filtre 1 + â 1 + â 2 et on utilise un filtre 1 + â 1' + â 2',
    dont les coefficients sont tirés de 1 + â 1 + â 2 en fonction de la détection d'instabilité. Plus précisément, on initialise : a ^ i ′ = a ^ i , i = 1 , 2
    Figure imgb0016
     La stabilité du filtre 1 + â 1 + â 2 peut être vérifiée de différente façon, on utilise ici une conversion dans le domaine des coefficients PARCOR (ou coefficients de réflexion) en calculant : k 1 = a ^ 1 ′ / 1 + a ^ 2 ′
    Figure imgb0017
     k 2 = a ^ 2 ′
    Figure imgb0018
     La stabilité est vérifiée si |ki | < 1, i=1,2. On modifie donc de façon conditionnelle la valeur de ki avant d'assurer la stabilité du filtre, avec les étapes suivantes : k 2 ← { min 0.6 k 2 k 2 > 0 max − 0.6 , k 2 k 2 < 0
    Figure imgb0019
     k 1 ← { min 0.99 k 2 k 1 > 0 max − 0.99 , k 2 k 1 < 0
    Figure imgb0020
     où min(.,.) et max(.,.) donnent respectivement le minimum et le maximum de 2 opérandes. On note que les valeurs de seuils, 0.99 pour k 1 et 0.6 pour k2 , pourront être ajustées dans des variantes de l'invention. On rappelle que le premier coefficient de réflexion, k 1, caractérise la pente spectrale (ou tilt) du signal modélisé à l'ordre 1 ; dans l'invention on sature la valeur de k 1 à une valeur proche de la limite de stabilité, afin de préserver cette pente et conserver un tilt similaire à celui de 1/Â(z). On rappelle aussi que le second coefficient de réflexion, k 2, caractérise le niveau de résonance du modèle de signal à l'ordre 2 ; puisque l'utilisation d'un filtre d'ordre 2 vise à éliminer l'influence de telles résonances autour de la fréquence de 6000 Hz, on limite plus fortement la valeur de k 2, cette limite est fixée à 0.6.
    Les coefficients de 1 + â 1' + â 2' sont alors obtenus par: a ^ 1 ′ = 1 + k 2 k 1
    Figure imgb0021
     a ^ 2 ′ = k 2
    Figure imgb0022
     On calcule donc finalement la réponse en fréquence du filtre additionnel: Q = 1 ∑ k = 0 2 a ^ k ′ e − jkθ
    Figure imgb0023
     avec θ = 2 π 6000 12800 .
    Figure imgb0024
     Cette quantité est calculée de façon préférentielle selon le pseudo-code 12800 suivant : qx = qy = 0 for i = 0 to 2 qx = qx + As i * exp_tab_q i ; qy = qy + As i * exp_tab_q 33 − i ; end for Q = 1 / sqrt qx * qx + qy * qy
    Figure imgb0025
     où As[i] = âi '.
    Sans perte de généralité, on pourra calculer les coefficients du filtre d'ordre 2 autrement, par exemple en appliquant au filtre LPC Â(z) d'ordre 16 la procédure de réduction de l'ordre LPC dite « STEP DOWN » décrite dans J.D. Markel and A.H. Gray, Linear Prediction of Speech, Springer Verlag, 1976 ou en effectuant deux itérations d'algorithme de Levinson-Durbin (ou STEP-UP) à partir des autocorrélations calculées sur le signal synthétisé (décodé) à 12.8 kHz et fenêtré.
    Pour certains signaux, la quantité Q, calculée à partir des 3 premiers coefficients LPC décodés, prend mieux en compte l'influence de la pente spectrale (ou tilt) dans le spectre et évite l'influence de pics ou de vallées « parasites » proches de 6000 Hz qui peuvent biaiser ou élever la valeur de la quantité R, calculée à partir de tous les coefficients LPC.
    Dans un mode de réalisation privilégié, le facteur d'échelle optimisé est déduit des quantités pré-calculées R, P, Q de façon conditionnelle, comme suit :
    • Si le tilt (calculé comme dans AMR-WB dans le bloc 104, par autocorrélation normalisée sous la forme r(1)/r(0) où r(i) est l'autocorrélation) est négatif (tilt <0 comme représenté à la figure 5b), le calcul du facteur d'échelle se fait de la façon suivante:
      • Pour éviter des artefacts dus à des variations trop brusques d'énergie de la bande haute, on applique un lissage à la valeur de R . Dans un mode de réalisation privilégié, un lissage exponentiel est effectué avec un facteur fixe dans le temps (0.5) sous la forme : R = 0.5 R + 0.5 R prev
        Figure imgb0026
         R prev = R
        Figure imgb0027
         où Rprev correspond à la valeur de R dans la sous-trame précédente et le facteur 0.5 est optimisé de façon empirique - bien entendu, le facteur 0.5 pourra être changé pour une autre valeur et d'autres méthodes de lissage sont également possibles. A noter que le lissage permet de réduire les variantes temporelles et évite donc des artéfacts.
    Le facteur d'échelle optimisé est alors donné par : g HB 2 m = max min R Q , P / P
    Figure imgb0028
     Dans un mode de réalisation alternative, on pourra remplacer le lissage de R par un lissage de g HB2(m) tel que: g HB 2 m ← 0.5 g HB 2 m + 0.5 g HB 2 m − 1
    Figure imgb0029
     Si le tilt (calculé comme dans AMR-WB dans le bloc 104) est positif (tilt>0 comme à la figure 5a), le calcul du facteur d'échelle se fait de la façon suivante:
    • La quantité R est lissée de façon adaptative dans le temps, avec un lissage plus fort quand R est faible - comme dans le cas précédent, ce lissage permet de réduire les variantes temporelles et évite donc des artéfacts: R = 1 − α R + αR prev avec α = 1 − R 2
      Figure imgb0030
       R prev = R
      Figure imgb0031
       Ensuite, le facteur d'échelle optimisé est donné par : g HB 2 m = min R P Q / P
      Figure imgb0032
    Dans un mode de réalisation alternative, on pourra remplacer le lissage de R par un lissage de g HB2(m) tel que calculé ci-dessus. g HB m = 1 − α g HB m + αg HB m − 1 , m = 0 , … , 3 , α = 1 − g HB 2 m
    Figure imgb0033
     ou gHB (-1) est le facteur d'échelle ou gain calculé pour la dernière sous-trame de la trame précédente.
    On prend ici le minimum de R, P, Q afin d'éviter de surestimer le facteur d'échelle.
    Dans une variante, la condition ci-dessus dépendant uniquement du tilt pourra être étendue pour tenir compte non seulement du paramètre de tilt mais également d'autres paramètres afin d'affiner la décision. De plus, le calcul de g HB2(m) pourra être ajusté en fonction de ces dits paramètres supplémentaires.
    Un exemple de paramètre supplémentaire est le nombre de passage par zéro (ZCR, zero crossing rate) qui peut être défini comme : zcr c = 1 2 ∑ n = 1 N − 1 sgn s n − sgn n − 1
    Figure imgb0034
     où sgn x = { 1 if x ≥ 0 − 1 if x < 0
    Figure imgb0035
     Le paramètre zcr donne généralement les résultats similaires au tilt. Un bon critère de classification est le ratio entre zcrs calculé pour le signal synthétisé s(n) et zcru calculé pour le signal d'excitation u(n) à 12800 Hz. Ce ratio est entre 0 et 1, où 0 signifie que le signal a un spectre décroissant, 1 que le spectre est croissant (ce qui correspond à (1 - tilt)/2. Dans ce cas, un ratio zcrs / zcru >0.5 correspond au cas tilt <0, un ratio zcrs / zcru <0.5 correspond à tilt >0.
    Dans une variante, on pourra utiliser une fonction d'un paramètre tilthp où tilthp est le tilt calculé pour le signal synthétisé s(n) filtré par un filtre passe haut avec une fréquence de coupure par exemple à 4800 Hz ; dans ce cas, la réponse 1/Â(z/γ) de 6 à 8 kHz (appliquée à 16 kHz) correspond à la réponse pondérée de 1/Â(z) de 4.8 à 6.4 kHz. Comme 1/Â(z/γ) a une réponse plus aplatie, il faut compenser ce changement de tilt. La fonction de facteur d'échelle selon tilthp est alors donnée dans un mode de réalisation par : (1 - tilthp )2 + 0.6. On multiplie donc Q et R par min(1,(1 - tilthP )2 + 0.6) quand tilt >0
    ou par max(1,(1 - tilthp )2 + 0.6 quand tilt <0.
  • On considère maintenant le cas du débit de 23.85kbit/s, pour lequel une correction de gain est réalisée par les blocs 403 à 408. Cette correction de gain pourrait d'ailleurs faire l'objet d'une invention séparée. Dans ce mode particulier selon l'invention, l'information de correction de gain, notée gHBcorr (m), transmise par le codage (compatible) AMR-WB avec un débit de 0.8 kbit/s est utilisée pour améliorer la qualité à 23.85 kbit/s.
    On suppose ici que le codage (compatible) AMR-WB a effectué une quantification de gain de correction sur 4 bits comme décrit dans la clause UIT-T G.722.2/5.11 ou de façon équivalente dans la clause 3GPP TS 26.190/5.11.
    Dans le codeur AMR-WB, le gain de correction est calculé en comparant l'énergie du signal original échantillonné à 16 kHz et filtré par un filtre passe-bande 6-7 kHz, sHB (n) avec l'énergie du bruit blanc à 16 kHz filtré par un filtre de synthèse 1/Â(z/γ) et un filtre passe-bande 6-7 kHz (avant le filtrage l'énergie du bruit est mis à un niveau semblable à celui de l'excitation à 12.8 kHz), s HB2(n). Le gain est la racine du ratio d'énergie du signal original sur l'énergie du bruit divisé par deux. Dans un mode possible de réalisation on pourra changer le filtre passe-bande pour un filtre avec une bande plus large (par exemple de 6 à 7.6 kHz). g HBcorr m = ∑ n = 80 m 80 m + 1 − 1 s HB n 2 ∑ n = 80 m 80 m + 1 − 1 s HB 2 n 2 , m = 0 , … , 3
    Figure imgb0036
     Pour pouvoir appliquer l'information de gain reçue à 23.85 kbit/s (dans le bloc 407), il est important de ramener l'excitation à un niveau similaire à celui attendu au codage (compatible) AMR-WB. Ainsi, le bloc 404 effectue la mise à l'échelle du signal d'excitation selon l'équation suivante: u HB 1 n = g HB 3 m u HB n , n = 80 m , ⋯ , 80 m + 1 − 1
    Figure imgb0037
     où gHB3 (m) est un gain par sous-trame calculé dans le bloc 403 sous la forme : g HB 3 m = ∑ n = 0 63 u n 2 5. ∑ n = 0 79 u HB n 2
    Figure imgb0038
    où le facteur 5 au dénominateur sert à compenser la différence de largeur de bande entre le signal u(n) et le signal uHB (n), sachant qu'au codage AMR-WB l'excitation HF est un bruit blanc sur la bande 0-8000 Hz.
    L'indice de 4 bits par sous-trame, noté indexHF_gain(m), envoyé à 23.85 kbit/s est démultiplexé du train binaire (bloc 405) et décodé par le bloc 406 de la façon suivante : g HBcorr m = 2. HP _gain index HP_gain m
    Figure imgb0039
     où HP_gain(.) est le dictionnaire de quantification de gain HF défini dans le codage AMR-WB et rappelé ci-dessous : Tableau 1 (dictionnaire de gain à 23.85 kbit/s)
    i HP_gain(i) I HP_gain(i)
    0 0.110595703125000 8 0.342102050781250
    1 0.142608642578125 9 0.372497558593750
    2 0.170806884765625 10 0.408660888671875
    3 0.197723388671875 11 0.453002929687500
    4 0.226593017578125 12 0.511779785156250
    5 0.255676269531250 13 0.599822998046875f
    6 0.284545898437500 14 0.741241455078125
    7 0.313232421875000 15 0.998779296875000
    Le bloc 407 effectue la mise à l'échelle du signal d'excitation selon l'équation suivante: u HB 2 n = g HBcorr m u HB 1 n , n = 80 m , ⋯ , 80 m + 1 − 1
    Figure imgb0040
     Enfin, on ajuste l'énergie de l'excitation au niveau de la sous-trame courante avec les conditions suivantes (bloc 408). On calcule : fac m = ∑ n = 0 79 g m g HB 2 m u HB n 2 ∑ n = 0 79 u HB 2 n 2
    Figure imgb0041
     Le numérateur représente ici l'énergie de signal bande-haute qui serait obtenue dans le mode 23.05. Comme expliqué avant, pour les débits <23.85 kbit/s il faut conserver le niveau d'énergie entre le signal d'excitation décodé et le signal d'excitation étendu uHB (n), mais cette contrainte n'est pas nécessaire dans le cas du débit de 23.85 kbit/s, puisque uHB (n) est dans ce cas mis à l'échelle par le gain gHB3 (m). Pour éviter les doubles multiplications certaines opérations de multiplications appliqués au signal dans le bloc 400 sont appliquées dans le bloc 402 en multipliant par g(m). La valeur de g(m) dépend de l'algorithme de synthèse de uHB (n) et doit être ajusté de telle sorte que le niveau d'énergie entre le signal d'excitation décodé en bande basse et le signal g(m)uHB (n) soit conservé.
    Dans un mode de réalisation particulier, qui sera décrit en détail plus tard en référence à la figure 7, g(m) = 0.6g HB1(m), où g HB1(m) est un gain qui assure, pour le signal uHB, le même ratio entre énergie par sous-trame et énergie par trame que pour le signal u(n) et 0.6 correspond à la valeur moyenne d'amplitude de réponse en fréquence du filtre de désaccentuation de 5000 à 6400 Hz.
    On suppose que dans le bloc 408 on dispose d'une information sur le tilt du signal bande basse - dans un mode de réalisation privilégié ce tilt est calculé comme dans le codec AMR-WB selon les blocs 103 et 104, cependant d'autres méthodes d'estimation du tilt sont possibles sans changer le principe de l'invention.
    Si fac(m) >1 ou tilt <0, on prend : u HB ′ n = u HB 2 n , n = 80 m , ⋯ , 80 m + 1 − 1
    Figure imgb0042
     Sinon : u HB ′ n = max 1 − tilt , fac m . u HB 2 n , n = 80 m , ⋯ , 80 m + 1 − 1
    Figure imgb0043
     On notera que le calcul de facteur d'échelle optimisé présenté ici, notamment dans les blocs 401 et 402, se distingue de l'égalisation précitée de niveaux de filtres effectuée dans le codec AMR-WB+ par plusieurs aspects :
    • Le facteur d'échelle optimisé est calculé directement à partir des fonctions de transfert des filtres LPC sans impliquer de filtrage temporel. Ceci simplifie le procédé.
    • L'égalisation est faite de préférence à une fréquence différente de la fréquence de Nyquist (6400 Hz) associée à la bande basse. En effet, la modélisation LPC représente implicitement l'atténuation du signal typiquement causée par les opérations de ré-échantillonnage et donc la réponse en fréquence d'un filtre LPC peut subir à la fréquence de Nyquist une diminution qui ne se retrouve pas à la fréquence commune choisie.
    • L'égalisation repose ici sur un filtre d'ordre moins élevé (ici d'ordre 2) en plus des 2 filtres à égaliser. Ce filtre additionnel permet d'éviter les effets de fluctuations spectrales locales (pic ou vallée) qui peuvent être présentes à la fréquence commune pour le calcul de la réponse en fréquence des filtres de prédiction.
    Pour les blocs 403 à 408, l'avantage de l'invention est que la qualité du signal décodé à 23.85 kbit/s selon l'invention est améliorée par rapport à un signal décodé à 23.05 kbit/s, ce qui n'est pas le cas dans un décodeur AMR-WB. En fait, cet aspect de l'invention permet d'utiliser l'information supplémentaire (0.8 kbit/s) reçue à 23.85 kbit/s, mais de façon contrôlée (bloc 408), pour améliorer la qualité du signal d'excitation étendu au débit de 23.85.
    Le dispositif de détermination du facteur d'échelle optimisé tel qu'illustré par les blocs 401 à 408 de la figure 4, met en oeuvre un procédé de détermination du facteur d'échelle optimisé décrit maintenant en référence à la figure 6 .
  • Les étapes principales sont mises en oeuvre par le bloc 401.
  • Ainsi, un signal d'excitation étendu uHB(n) est obtenu lors d'un procédé d'extension de bande de fréquence E601 qui comporte une étape de décodage ou d'extraction, dans une première bande de fréquence dite bande basse, d'un signal d'excitation et de paramètres de la première bande de fréquence comme par exemple les coefficients du filtre de prédiction linéaire de la première bande de fréquence.
  • Une étape E602 détermine un filtre de prédiction linéaire dit filtre additionnel, d'ordre inférieur à celui de la première bande de fréquence. Pour déterminer ce filtre, les paramètres de la première bande de fréquence décodés ou extraits sont utilisés.
  • Dans un mode de réalisation cette étape est effectuée par troncature de la fonction de transfert du filtre de prédiction linéaire de la bande basse pour obtenir un ordre de filtre inférieur, par exemple 2. Ces coefficients peuvent ensuite être modifiés en fonction d'un critère de stabilité comme expliqué précédemment en référence à la figure 4.
  • A partir des coefficients du filtre additionnel ainsi déterminé, une étape E603 est mise en oeuvre pour calculer le facteur d'échelle optimisé à appliquer au signal d'excitation étendu. Ce facteur d'échelle optimisé est par exemple calculé à partir de la réponse en fréquence du filtre additionnel à une fréquence commune entre la bande basse (première bande de fréquence) et la bande haute (deuxième bande de fréquence). Une valeur minimale pouvant être choisie entre la réponse en fréquence de ce filtre et celles des filtres bande basse et bande haute.
    Ceci évite donc les surestimations d'énergie qui pouvaient exister dans les méthodes de l'état de l'art.
  • Cette étape de calcul du facteur d'échelle optimisé est par exemple décrite précédemment en référence à la figure 4 et aux figures 5a et 5b.
  • L'étape E604 réalisée par le bloc 402 ou 409 (selon le débit de décodage) pour l'extension de bande, applique le facteur d'échelle optimisé ainsi calculée au signal d'excitation étendu de façon à obtenir un signal d'excitation étendu optimisé uHB'(n).
  • Dans un mode de réalisation particulier, le dispositif de détermination du facteur d'échelle optimisé 708 est intégré dans un dispositif d'extension de bande décrit maintenant en référence à la figure 7 . Ce dispositif de détermination du facteur d'échelle optimisé illustré par le bloc 708 met en oeuvre le procédé de détermination du facteur d'échelle optimisé décrit précédemment en référence à la figure 6.
  • Dans ce mode de réalisation, le bloc 400 d'extension de bande de la figure 4 comprend les blocs 700 à 707 de la figure 7 décrite maintenant.
  • Ainsi, à l'entrée du dispositif d'extension de bande, un signal d'excitation bande basse décodé ou estimé par analyse est reçu (u(n)). L'extension de bande utilise ici l'excitation décodée à 12.8 kHz (exc2 ou u(n)) en sortie du bloc 302 de la figure 3.
  • On notera que dans ce mode de réalisation, la génération de l'excitation suréchantillonné et étendu s'effectue dans une bande de fréquence allant de 5 à 8 kHz incluant donc une deuxième bande de fréquence (6.4-8kHz) supérieure à la première bande de fréquence (0-6.4 kHz).
  • Ainsi, la génération d'un signal d'excitation étendu s'effectue au moins sur la deuxième bande de fréquence mais aussi sur une partie de la première bande de fréquence.
  • Bien évidemment, les valeurs définissant ces bandes de fréquences peuvent être différentes selon le décodeur ou le dispositif de traitement dans lequel l'invention s'applique.
  • Pour cet exemple de réalisation, ce signal est transformé pour obtenir un spectre de signal d'excitation U(k) par le module de transformation temps-fréquence 500.
    Dans un mode de réalisation particulier, la transformée utilise une DCT-IV (pour "Discrete Cosine Transform" - Type IV en anglais) (bloc 700) sur la trame courante de 20 ms (256 échantillons), sans fenêtrage, ce qui revient à transformer directement u(n) avec n = 0, ..., 255 selon la formule suivante : U k = ∑ n = 0 N − 1 u n cos π N n + 1 2 k + 1 2
    Figure imgb0044
     où N = 256 et k = 0, ..., 255.
    On note ici que la transformation sans fenêtrage (ou de façon équivalente avec une fenêtre rectangulaire implicite de la longueur de la trame) est possible car le traitement est effectué dans le domaine de l'excitation, et non le domaine du signal, si bien qu'aucun artefact (effets de bloc) n'est audible, ce qui constitue un avantage important de ce mode de réalisation de l'invention.
  • Dans ce mode de réalisation, la transformation DCT-IV est mise en oeuvre par FFT suivant l'algorithme dit « Evolved DCT (EDCT) » décrit dans l'article de D.M. Zhang, H.T. Li, A Low Complexity Transform - Evolved DCT, IEEE 14th International Conference on Computational Science and Engineering (CSE), Aug. 2011, pp. 144-149, et mis en oeuvre dans les normes UIT-T G.718 Annex B et G.729.1 Annex E.
  • Dans des variantes de l'invention et sans perte de généralité, la transformation DCT-IV pourra être remplacée par d'autres transformations temps-fréquences court-terme de même longueur et dans le domaine de l'excitation, comme une FFT (pour "Fast Fourier Transform" en anglais) ou une DCT-II (Discrete Cosine Transform - Type II). De façon alternative, on pourra remplacer la DCT-IV sur la trame par une transformation avec recouvrement-addition et fenêtrage de longueur supérieure à la longueur de la trame courante, par exemple en utilisant une MDCT (pour "Modified Discrete Cosine Tranform" en anglais). Dans ce cas le retard T dans le bloc 310 de la figure 3, devra être ajusté (réduit) de façon adéquate en fonction du retard additionnel dû à l'analyse/synthèse par cette transformée.
  • Le spectre DCT, U(k), de 256 échantillons couvrant la bande 0-6400 Hz (à 12.8 kHz), est ensuite étendu (bloc 701) en un spectre de 320 échantillons couvrant la bande 0-8000 Hz (à 16 kHz) sous la forme suivante : U HB 1 k = { 0 k = 0 , ⋯ , 199 U k k = 200 , ⋯ , 239 U k + start_band − 240 k = 240 , ⋯ , 319
    Figure imgb0045
     où on prend de façon préférentielle start_band = 160.
  • Le bloc 701 fonctionne comme module de génération d'un signal d'excitation sur-échantillonné et étendu et réalise un ré-échantillonnage de 12.8 à 16 kHz dans le domaine fréquentiel, en rajoutant ¼ d'échantillons (k = 240, ..., 319) au spectre, le ratio entre 16 et 12.8 étant de 5/4.
  • De plus, le bloc 701 réalise un filtrage passe-haut implicite dans la bande 0-5000 Hz puisque les 200 premiers échantillons de U HB1(k) sont mis à zéro ; comme expliqué plus tard, ce filtrage passe-haut est également complété par une partie d'atténuation progressive des valeurs spectrales d'indices k = 200, ..., 255 dans la bande 5000-6400 Hz, cette atténuation progressive est mise en oeuvre dans le bloc 704 mais pourrait être réalisée séparément en dehors du bloc 704. De façon équivalente et dans des variantes de l'invention, la mise en oeuvre du filtrage passe-haut séparée en blocs de coefficients d'indice k = 0, ..., 199 mis à zéro, de coefficients k = 200, ..., 255 atténués, dans le domaine transformé, pourra donc être effectué en une seule étape.
  • Dans cet exemple de réalisation et selon la définition de U HE1(k), on remarque que la bande 5000-6000 Hz de U HB1(k) (qui correspond aux indices k = 200, ..., 239) est copiée à partir de la bande 5000-6000 Hz de U(k). Cette approche permet de conserver le spectre original dans cette bande et elle évite d'introduire des distorsions dans la bande 5000-6000 Hz lors de l'addition de la synthèse HF avec la synthèse BF - en particulier la phase du signal (implicitement représentée dans le domaine DCT-IV) dans cette bande est préservée.
  • La bande 6000-8000 Hz de U HB1(k) est ici définie en copiant la bande 4000-6000 Hz de U(k) puisque la valeur de start_band est fixée préférentiellement à 160.
  • Dans une variante du mode de réalisation, la valeur de start_band pourra être rendue adaptative autour de la valeur de 160. Les détails de l'adaptation de la valeur start_band ne sont pas décrits ici car ils dépassent le cadre de l'invention sans en changer la portée.
  • Pour certains signaux en bande élargie (échantillonnés à 16 kHz), la bande haute (>6 kHz) peut être bruitée, harmonique ou comporter un mélange de bruit et d'harmoniques. De plus, le niveau d'harmonicité dans la bande 6000-8000 Hz est généralement corrélé à celui des bandes de fréquences inférieures. Ainsi le bloc 702 de génération de bruit, réalise une génération de bruit dans le domaine fréquentiel, U HBN(k) pour k = 240, ..., 319 (80 échantillons) correspondant à une deuxième bande de fréquence dite haute fréquence afin de combiner ensuite ce bruit avec le spectre U HB1(k) dans le bloc 703.
  • Dans un mode de réalisation particulier, le bruit (dans la bande 6000-8000 Hz) est généré de façon pseudo-aléatoire avec un générateur congruentiel linéaire sur 16 bits : U HBN k = { 0 k = 0 , ⋯ , 239 31821 U HBN k − 1 + 13849 k = 240 , ⋯ , 319
    Figure imgb0046
     avec la convention que UHBN (239) dans la trame courante correspond à la valeur UHBN (319) de la trame précédente. Dans des variantes de l'invention, on pourra remplacer cette génération de bruit par d'autres méthodes.
  • Le bloc 703 de combinaison peut être réalisé de différentes façons. De façon privilégiée, on considère un mixage additif adaptatif de la forme : U HB 2 k = βU HB 1 k + αG HBN U HBN k , k = 240 , ⋯ , 319
    Figure imgb0047
     où GHBN est un facteur de normalisation servant à égaliser le niveau d'énergie entre les deux signaux, G HBN = ∑ k = 240 319 U HB 1 k 2 + ε ∑ k = 240 319 U HBN k 2 + ε
    Figure imgb0048
     avec ε = 0.01, et le coefficient α (compris entre 0 et 1) est ajusté en fonction de paramètres estimés à partir de la bande basse décodée et le coefficient β (compris entre 0 et 1) dépend de α.
  • Dans un mode de réalisation privilégié on calcule l'énergie du bruit dans trois bandes : 2000-4000 Hz, 4000-6000 Hz et 6000-8000 Hz, avec E N 2 − 4 = ∑ k ∈ N 80 159 U ′ 2 k
    Figure imgb0049
     E N 4 − 6 = ∑ k ∈ N 160 239 U ′ 2 k
    Figure imgb0050
     E N 4 − 6 = ∑ k ∈ N 240 319 U ′ 2 k
    Figure imgb0051
     où U ′ k = { ∑ k = 160 239 U 2 k ∑ k = 80 159 U 2 k U k k = 80 , … , 159 U k k = 160 , … , 239 ∑ k = 160 239 U 2 k ∑ k = 240 319 U HB 1 2 k k = 240 , … , 319
    Figure imgb0052
     et N(k 1, k 2) est l'ensemble des indices k pour lesquels le coefficient d'indice k est classifié comme étant associé à du bruit. Cet ensemble peut être par exemple obtenu en détectant les pics locaux dans U'(k) vérifiant |U'(k)| ≥ |U'(k - 1)| et |U'(k) ≥ |U'(k + 1)| et en considérant que ces raies ne sont pas associés à du bruit, soit (en appliquant la négation de la condition précédente): N a b = a ≤ k ≤ b | U ′ k < U ′ k − 1 ou U ′ k < U ′ k + 1
    Figure imgb0053
     On peut noter que d'autres méthodes de calcul de l'énergie du bruit sont possibles, par exemple en prenant la valeur médiane du spectre sur la bande considérée ou en appliquant un lissage à chaque raie fréquentielle avant de calculer l'énergie par bande.
    On fixe α de telle sorte que le ratio entre l'énergie du bruit dans les bandes 4-6 kHz et 6-8 kHz soit le même qu'entre les bandes 2-4 kHz et 4-6 kHz : α = ρ − E N 6 − 8 ∑ k = 160 239 U 2 k − E N 6 − 8
    Figure imgb0054
     où E N 4 − 6 = max E N 4 − 6 E N 2 − 4 , ρ = E N 4 − 6 2 E N 2 − 4 , ρ = max ρ E N 6 − 8
    Figure imgb0055
     Dans des variantes de l'invention, le calcul de α pourra être remplacé par d'autres méthodes. Par exemple, dans une variante, on pourra extraire (calculer) différents paramètres (ou « features » en anglais) caractérisant le signal en bande basse, dont un paramètre « tilt » similaire à celui calculé dans le codec AMR-WB, et on estimera le facteur α en fonction d'une régression linéaire à partir de ces différents paramètres en limitant sa valeur entre 0 et 1. La régression linéaire pourra par exemple être estimée de façon supervisée en estimant le facteur α en se donnant la bande haute originale dans une base d'apprentissage. On notera que le mode de calcul de α ne limite pas la nature de l'invention.
    Dans un mode de réalisation privilégié, on prend β = 1 − α 2
    Figure imgb0056
     afin de préserver l'énergie du signal étendu après mixage.
    Dans une variante les facteurs β et α pourront être adaptés pour tenir compte du fait qu'un bruit injecté dans une bande donnée du signal est perçu en général comme plus fort qu'un signal harmonique à la même énergie dans la même bande. Ainsi on pourra modifier les facteurs β et α comme suit: β ← β . f α
    Figure imgb0057
     α ← α . f α
    Figure imgb0058
     où f(α) est une fonction décroissante de α, par exemple f α = b − a α ,
    Figure imgb0059
     b = 1.1, a = 1.2, f(α) limité de 0.3 à 1. Il faut remarquer qu'après multiplication par f(α), α 2 + β 2 < 1 si bien que l'énergie du signal UHB2 (k) = βU HB1 (k) + αGHBNUHBN(k) est plus basse que l'énergie de U HB1(k) (la différence d'énergie dépend de α, plus on rajoute de bruit, plus l'énergie est atténuée).
    Dans d'autres variantes de l'invention on pourra prendre : β = 1 − α
    Figure imgb0060
     ce qui permet de préserver le niveau d'amplitude (quand les signaux combinés sont de même signe) ; cependant cette variante a le désavantage de résulter en une énergie globale (au niveau de UHB2 (k)) qui n'est pas monotone en fonction de α.
    On remarque donc ici que le bloc 703 réalise l'équivalent du bloc 101 de la figure 1 pour normaliser le bruit blanc en fonction d'une excitation qui est par contre ici dans le domaine fréquentiel, déjà étendue à la cadence de 16 kHz ; de plus, le mixage est limité à la bande 6000-8000 Hz.
  • Dans une variante simple, on peut considérer une réalisation du bloc 703, où les spectres, U HB1(k) ou GHBNUHBN (k), sont sélectionnés (commutés) de façon adaptative, ce qui revient à n'autoriser que les valeurs 0 ou 1 pour α; cette approche revient à classifier le type d'excitation à générer dans la bande 6000-8000 Hz
  • Le bloc 704 réalise de façon optionnelle, une double opération d'application de réponse en fréquence de filtre passe-bande et de filtrage de désaccentuation (ou déemphase) dans le domaine fréquentiel.
  • Dans une variante de l'invention, le filtrage de désaccentuation pourra être réalisé dans le domaine temporel, après le bloc 705 voire avant le bloc 700 ; cependant, dans ce cas, le filtrage passe-bande réalisé dans le bloc 704 peut laisser certaines composantes basses fréquences de très faibles niveaux qui se voient amplifier par désaccentuation, ce qui peut modifier de façon légèrement perceptible la bande basse décodée. Pour cette raison, on préfère ici réaliser la désaccentuation dans le domaine fréquentiel. Dans le mode de réalisation privilégié, les coefficients d'indice k = 0, ...,199 sont mis à zéro, ainsi la désaccentuation est limitée aux coefficients supérieurs.
    L'excitation est d'abord désaccentuée selon l'équation suivante : U HB 2 ′ k = { 0 k = 0 , ⋯ , 199 G deempth k U HB 2 k k = 200 , ⋯ , 255 G deemph 255 U HB 2 k k = 256 , ⋯ , 319
    Figure imgb0061
     où Gdeemph (k) est la réponse en fréquence du filtre 1/(1 - 0.68z -1) sur une bande de fréquence discrète restreinte. En prenant en compte les fréquences discrètes (impaires) de la DCT-IV, on définit ici Gdeemph (k) comme: G deemph k = 1 e jθ k − 0.68 , k = 0 , ⋯ , 255
    Figure imgb0062
     où θ k = 256 − 80 + k + 1 2 256 .
    Figure imgb0063
     Dans le cas où une autre transformation que la DCT-IV est utilisée, la définition de θk pourra être ajustée (par exemple pour des fréquences paires).
    On note que la désaccentuation est appliquée en deux phases pour k = 200,...,255 correspondant à la bande de fréquence 5000-6400 Hz, où la réponse 1/(1-0.68z -1) est appliquée comme à 12.8 kHz, et pour k = 256,...,319 correspondant à la bande de fréquence 6400-8000 Hz, où la réponse est étendue de 16 kHz ici à une valeur constante dans la bande 6.4-8 kHz.
  • On peut noter que dans le codec AMR-WB la synthèse HF n'est pas désaccentuée. Dans le mode de réalisation présenté ici, le signal hautes fréquences est au contraire désaccentué de manière à le ramener dans un domaine cohérent avec le signal basses fréquences (0-6.4 kHz) qui sort du bloc 305 de la figure 3. Ceci est important pour l'estimation et l'ajustement ultérieur de l'énergie de la synthèse HF.
  • Dans une variante du mode de réalisation, afin de réduire la complexité, on pourra fixer Gdeemph (k) à une valeur constante indépendante de k, en prenant par exemple Gdeemph (k) = 0.6 ce qui correspond approximativement à la valeur moyenne de Gdeemph (k) pour k = 200,...,319 dans les conditions du mode de réalisation décrit ci-dessus.
  • Dans une autre variante du mode de réalisation du dispositif d'extension, la désaccentuation pourra être réalisée de façon équivalente dans le domaine temporel après DCT inverse.
  • En plus de la désaccentuation, un filtrage passe-bande est appliqué avec deux parties séparées : l'une passe-haut fixe, l'autre passe-bas adaptative (fonction du débit).
  • Ce filtrage est effectué dans le domaine fréquentiel.
  • Dans le mode de réalisation privilégiée, on calcule la réponse partielle de filtre passe-bas dans le domaine fréquentiel comme suit: G lp k = 1 − 0.999 k N lp − 1
    Figure imgb0064
     où Nlp =60 à 6.6 kbit/s, 40 à 8.85 kbit/s, 20 aux débits >8.85 bit/s. Ensuite on applique un filtre passe-bande sous la forme : U HB 3 k = { 0 k = 0 , ⋯ , 199 G hp k − 200 U HB 2 ′ k k = 200 , ⋯ , 255 U HB 2 ′ k k = 256 , ⋯ , 319 − N lp G lp k − 320 − N lp U HB 2 ′ k k = 320 − N lp , ⋯ , 319
    Figure imgb0065
     La définition de Ghp (k), k = 0,...,55, est donnée par exemple au tableau 2 ci-dessous. Tableau 2
    K ghp (k) K ghp (k) K ghp (k) k ghp (k)
    0 0.001622428 14 0.114057967 28 0.403990611 42 0.776551214
    1 0.004717458 15 0.128865425 29 0.430149896 43 0.800503267
    2 0.008410494 16 0.144662643 30 0.456722014 44 0.823611104
    3 0.012747280 17 0.161445005 31 0.483628433 45 0.845788355
    4 0.017772424 18 0.179202219 32 0.510787115 46 0.866951597
    5 0.023528982 19 0.197918220 33 0.538112915 47 0.887020781
    6 0.030058032 20 0.217571104 34 0.565518011 48 0.905919644
    7 0.037398264 21 0.238133114 35 0.592912340 49 0.923576092
    8 0.045585564 22 0.259570657 36 0.620204057 50 0.939922577
    9 0.054652620 23 0.281844373 37 0.647300005 51 0.954896429
    10 0.064628539 24 0.304909235 38 0.674106188 52 0.968440179
    11 0.075538482 25 0.328714699 39 0.700528260 53 0.980501849
    12 0.087403328 26 0.353204886 40 0.726472003 54 0.991035206
    13 0.100239356 27 0.378318805 41 0.751843820 55 1.000000000
    On notera que dans des variantes de l'invention les valeurs de Ghp (k) pourront être modifiées tout en gardant une atténuation progressive. De même le filtrage passe-bas à largeur de bande variable, Glp (k), pourra être ajusté avec des valeurs ou un support fréquentiel différents, sans changer le principe de cette étape de filtrage.
  • On notera aussi que le filtrage passe-bande pourra être adapté en définissant une seule étape de filtrage combinant les filtrages passe-haut et passe-bas.
  • Dans un autre mode de réalisation, le filtrage passe-bande pourra être réalisé de façon équivalente dans le domaine temporel (comme dans le bloc 112 de la figure 1) avec différents coefficients de filtre selon le débit, après une étape de DCT inverse. Cependant, on notera qu'il est avantageux de réaliser cette étape directement dans le domaine fréquentiel car le filtrage est effectué dans le domaine de l'excitation LPC et donc les problèmes de convolution circulaire et d'effets de bord sont très limités dans ce domaine.
  • On notera aussi que dans le cas du débit de 23.85 kbit/s on n'effectue pas la désaccentuation de l'excitation UHB2 (k) pour rester en accord avec la façon dont le gain de correction est calculé dans le codeur AMR-WB et pour éviter les doubles multiplications. Dans ce cas block 704 réalise seulement le filtrage passe-bas.
  • Le bloc 705 de transformée inverse réalise une DCT inverse sur 320 échantillons pour trouver l'excitation haute-fréquence échantillonnée à 16 kHz. Sa mise en oeuvre est identique au bloc 700, car la DCT-IV est orthonormée, sauf que la longueur de la transformée est de 320 au lieu de 256, et on obtient: u HB 0 n = ∑ k = 0 N 16 k − 1 U HB 3 k cos π N 16 k k + 1 2 n + 1 2
    Figure imgb0066
     où N 16k = 320 et k = 0, ..., 319. Cette excitation échantillonnée à 16 kHz est ensuite de façon optionnelle mise à l'échelle par des gains définis par sous-trame de 80 échantillons (bloc 707).
    Dans un mode de réalisation privilégié, on calcule d'abord (bloc 706) un gain gHB1(m) par sous-trame par des ratios d'énergie des sous-trames tel que dans chaque sous-trame d'indice m=0, 1, 2 ou 3 de la trame courante: g HB 1 m = e 3 m e 2 m
    Figure imgb0067
     où e 1 m = ∑ n = 0 63 u n + 64 m 2 + ε
    Figure imgb0068
     e 2 m = ∑ n = 0 79 u HB 0 n + 80 m 2 + ε
    Figure imgb0069
     e 3 m = e 1 m ∑ n = 0 319 u HB 0 n 2 + ε ∑ n = 0 255 u n 2 + ε
    Figure imgb0070
     avec ε = 0.01. On peut écrire le gain par sous-trame g HB1(m) sous la forme : g HB 1 m = ∑ n = 0 63 u n + 64 m 2 + ε ∑ n = 0 255 u n 2 + ε ∑ n = 0 79 u HB 0 n + 80 m 2 + ε ∑ n = 0 319 u HB 0 n 2 + ε
    Figure imgb0071
     ce qui montre qu'on assure dans le signal uHB le même ratio entre énergie par sous-trame et énergie par trame que dans le signal u(n).
    Le bloc 707 effectue la mise à l'échelle du signal combiné selon l'équation suivante: u HB n = g HB 1 m u HB 0 n , n = 80 m , ⋯ , 80 m + 1 − 1
    Figure imgb0072
  • On notera que la réalisation du bloc 706 diffère de celle du bloc 101 de la figure 1, car l'énergie au niveau de la trame courante est prise en compte en plus de celle de la sous-trame. Cela permet d'avoir le ratio de l'énergie de chaque sous-trame par rapport à l'énergie de la trame. On compare donc des ratios d'énergie (ou énergies relatives) plutôt que les énergies absolues entre bande basse et bande haute.
  • Ainsi, cette étape de mise à l'échelle permet de conserver dans la bande haute le ratio d'énergie entre la sous-trame et la trame de la même façon que dans la bande basse.
  • On notera ici que dans le cas du débit 23.85 kbit/s les gains g HB1(m) sont calculés mais appliqués dans l'étape suivante, comme expliqué en référence à la figure 4, pour éviter les doubles multiplications. Dans ce cas uHB (n) = u HB0(n).
  • Selon l'invention, le bloc 708 effectue ensuite un calcul de facteur d'échelle par sous-trame du signal (étapes E602 à E 603 de la figure 6), comme décrit précédemment en référence à la figure 6 et détaillé en figure 4 et 5.
  • Enfin, l'excitation corrigée uHB '(n) est filtrée par le module de filtrage 710 qui peut être réalisé ici en prenant comme fonction de transfert 1/Â(z/γ), où γ = 0.9 à 6.6 kbit/s et γ =0.6 aux autres débits, ce qui limite l'ordre du filtre à l'ordre 16.
    Dans une variante, ce filtrage pourra être réalisé de la même façon que ce qui est décrit pour le bloc 111 de la figure 1 du décodeur AMR-WB, cependant l'ordre du filtre passe à 20 au débit de 6.6, ce qui ne change pas de façon significative la qualité du signal synthétisé. Dans une autre variante, on pourra effectuer le filtrage de synthèse LPC dans le domaine fréquentiel, après avoir calculé la réponse en fréquence du filtre mis en oeuvre dans le bloc 710.
  • Dans une variante de réalisation, l'étape de filtrage par un filtre 710 de prédiction linéaire pour la deuxième bande de fréquence est combinée à l'application du facteur d'échelle optimisé, ce qui permet de réduire la complexité de traitement. Ainsi les étapes de filtrage 1/Â(z/γ) et d'application du facteur d'échelle optimisé g HB2 sont combinées à une seule étape de filtrage g HB2/Â(z/γ) pour réduire la complexité de traitement.
  • Dans des variantes de réalisation de l'invention, le codage de la bande basse (0-6.4 kHz) pourra être remplacé par un codeur CELP autre que celui utilisé dans AMR-WB, comme par exemple le codeur CELP dans G.718 à 8 kbit/s. Sans perte de généralité d'autres codeurs en bande élargie ou fonctionnant à des fréquences supérieurs à 16 kHz, dans lesquels le codage de la bande basse fonctionne à une fréquence interne à 12.8 kHz pourraient être utilisés. Par ailleurs, l'invention peut être adaptée de façon évidente à d'autres fréquences d'échantillonnage que 12.8 kHz, lorsqu'un codeur de basses fréquences fonctionne à une fréquence d'échantillonnage inférieure à celle du signal original ou reconstruit. Lorsque le décodage en bande basse n'utilise pas de prédiction linéaire, on ne dispose pas d'un signal d'excitation à étendre, dans ce cas on pourra réaliser une analyse LPC du signal reconstruit dans la trame courante et on calculera une excitation LPC de manière à pouvoir appliquer l'invention.
  • Enfin, dans une autre variante de l'invention, l'excitation (u(n)) est ré-échantillonnée, par exemple par interpolation linéaire ou "spline" cubique, de 12.8 à 16 kHz avant transformation (par exemple DCT-IV) de longueur 320. Cette variante a le défaut d'être plus complexe, car la transformée (DCT-IV) de l'excitation est alors calculée sur une plus grande longueur et le ré-échantillonnage n'est pas effectué dans le domaine de la transformée.
  • De plus, dans des variantes de l'invention, tous les calculs nécessaires à l'estimation des gains ( GHBN , g HB1(m), g HB2(m), gHBN , ...) pourront être effectués dans un domaine logarithmique.
  • Dans des variantes de l'extension de bande, l'excitation en bande basse u(n) et le filtre LPC 1/Â(z) seront estimés par trame, par analyse LPC d'un signal en bande basse dont la bande doit être étendue. Le signal d'excitation bande basse est alors extrait par analyse du signal audio.
  • Dans un mode possible de réalisation de cette variante, le signal audio bande basse est ré-échantillonné avant l'étape d'extraction de l'excitation, si bien que l'excitation extraite du signal audio (par prédiction linéaire) est déjà ré-échantillonnée.
  • L'extension de bande illustrée à la figure 7, s'applique dans ce cas à une bande basse qui n'est pas décodée mais analysée.
  • La figure 8 représente un exemple de réalisation matérielle d'un dispositif de détermination d'un facteur d'échelle optimisé 800 selon l'invention. Celui-ci peut faire partie intégrante d'un décodeur de signal audiofréquence ou d'un équipement recevant des signaux audiofréquences décodés ou non.
  • Ce type de dispositif comporte un processeur PROC coopérant avec un bloc mémoire BM comportant une mémoire de stockage et/ou de travail MEM.
    Un tel dispositif comporte un module d'entrée E apte à recevoir un signal audio d'excitation décodé ou extrait dans une première bande de fréquence dite bande basse (u(n) ou U(k))
    et les paramètres d'un filtre de synthèse de prédiction linéaire (Â(z)). Il comporte un module de sortie S apte à transmettre le signal haute fréquence synthétisé et optimisé (uHB'(n)) par exemple à un module de filtrage comme le bloc 710 de la figure 7 ou à un module de ré-échantillonnage comme le module 311 de la figure 3.
  • Le bloc mémoire peut avantageusement comporter un programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé de détermination d'un facteur d'échelle optimisé à appliquer à un signal d'excitation ou à un filtre au sens de l'invention, lorsque ces instructions sont exécutées par le processeur PROC, et notamment les étapes de détermination (E602) d'un filtre de prédiction linéaire dit filtre additionnel, d'ordre inférieur au filtre de prédiction linéaire de la première bande de fréquence, les coefficients du filtre additionnel étant obtenus à partir des paramètres décodés ou extraits de la première bande de fréquence, de calcul (E603) d'un facteur d'échelle optimisé en fonction au moins des coefficients du filtre additionnel.
  • Typiquement, la description de la figure 6 reprend les étapes d'un algorithme d'un tel programme informatique. Le programme informatique peut également être stocké sur un support mémoire lisible par un lecteur du dispositif ou téléchargeable dans l'espace mémoire de celui-ci.
  • La mémoire MEM enregistre de manière générale, toutes les données nécessaires à la mise en oeuvre du procédé.
  • Dans un mode possible de réalisation, le dispositif ainsi décrit peut également comporter les fonctions d'application du facteur d'échelle optimisé au signal d'excitation étendu, d'extension de bande de fréquence, de décodage bande basse et autre fonctions.de traitement décrites par exemple en figure 3 et 4 en plus des fonctions de détermination de facteur d'échelle optimisé selon l'invention.

Claims (11)

  1. Procédé de détermination d'un facteur d'échelle optimisé à appliquer à un signal d'excitation ou à un filtre lors d'un procédé d'extension de bande de fréquence d'un signal audiofréquence, le procédé d'extension de bande (E601) comportant une étape de décodage ou d'extraction, dans une première bande de fréquence, d'un signal d'excitation et de paramètres de la première bande de fréquence comprenant des coefficients d'un filtre de prédiction linéaire, une étape de génération d'un signal d'excitation étendu sur au moins une deuxième bande de fréquence et une étape de filtrage par un filtre de prédiction linéaire pour la deuxième bande de fréquence, le procédé de détermination étant caractérisé en ce qu'il comporte les étapes suivantes:
    - détermination (E602) d'un filtre de prédiction linéaire dit filtre additionnel, d'ordre inférieur au filtre de prédiction linéaire de la première bande de fréquence, les coefficients du filtre additionnel étant obtenus à partir des paramètres décodés ou extraits de la première bande de fréquence; et
    - calcul (E603) du facteur d'échelle optimisé en fonction au moins des coefficients du filtre additionnel.
  2. Procédé selon la revendication 1, caractérisé en ce que le procédé d'extension de bande comprend une étape d'application (E604) du facteur d'échelle optimisé au signal d'excitation étendu.
  3. Procédé selon la revendication 2, caractérisé en ce que l'application du facteur d'échelle optimisé est combinée à l'étape de filtrage dans la deuxième bande de fréquence.
  4. Procédé selon la revendication 1, caractérisé en ce que les coefficients du filtre additionnel sont obtenus par troncature de la fonction de transfert du filtre de prédiction linéaire de la première bande de fréquence pour obtenir un ordre inférieur.
  5. Procédé selon la revendication 4, caractérisé en ce que les coefficients du filtre additionnel sont modifiés en fonction d'un critère de stabilité du filtre additionnel.
  6. Procédé selon la revendication 1, caractérisé en ce que le calcul du facteur d'échelle optimisé comporte les étapes suivantes:
    - calcul des réponses en fréquence des filtres de prédiction linéaire des première et deuxième bandes de fréquence pour une fréquence commune;
    - calcul de la réponse en fréquence du filtre additionnel pour cette fréquence commune;
    - calcul du facteur d'échelle optimisé en fonction des réponses en fréquence ainsi calculées.
  7. Procédé selon la revendication 1, caractérisé en ce qu'il comprend en outre les étapes suivantes, mises en oeuvre pour un débit de décodage prédéterminé:
    - première mise à l'échelle du signal d'excitation étendu par un gain calculé par sous-trame fonction d'un rapport d'énergie entre le signal d'excitation décodé et le signal d'excitation étendu;
    - deuxième mise à l'échelle du signal d'excitation issu de la première mise à l'échelle par un gain de correction décodé;
    - ajustement de l'énergie de l'excitation pour la sous-trame courante par un facteur d'ajustement calculé en fonction de l'énergie du signal obtenu après la deuxième mise à l'échelle et en fonction du signal obtenu après application du facteur d'échelle optimisé.
  8. Dispositif de détermination d'un facteur d'échelle optimisé à appliquer à un signal d'excitation ou à un filtre dans un dispositif d'extension de bande de fréquence d'un signal audiofréquence, le dispositif d'extension de bande (400) comprenant un module de décodage ou d'extraction, dans une première bande de fréquence, d'un signal d'excitation et de paramètres de la première bande de fréquence comprenant des coefficients d'un filtre de prédiction linéaire, un module de génération d'un signal d'excitation étendu sur au moins une deuxième bande de fréquence et un module de filtrage par un filtre de prédiction linéaire pour la deuxième bande de fréquence, le dispositif de détermination étant caractérisé en ce qu'il comprend:
    - un module de détermination (401a) d'un filtre de prédiction linéaire dit filtre additionnel, d'ordre inférieur au filtre de prédiction linéaire de la première bande de fréquence, les coefficients du filtre additionnel étant obtenus à partir des paramètres décodés ou extraits de la première bande de fréquence; et
    - un module de calcul (401b) du facteur d'échelle optimisé en fonction au moins des coefficients du filtre additionnel.
  9. Décodeur de signal audiofréquence caractérisé en ce qu'il comporte un dispositif de détermination d'un facteur d'échelle optimisé conforme à la revendication 8.
  10. Programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé détermination d'un facteur d'échelle optimisé selon l'une des revendications 1 à 7, lorsque ces instructions sont exécutées par un processeur.
  11. Support de stockage lisible par un dispositif de détermination d'un facteur d'échelle optimisé sur lequel est enregistré un programme informatique comprenant des instructions de code pour l'exécution des étapes du procédé de détermination d'un facteur d'échelle optimisé selon l'une des revendications 1 à 7.
EP14749907.3A 2013-07-12 2014-07-04 Facteur d'échelle optimisé pour l'extension de bande de fréquence dans un décodeur de signaux audiofréquences Active EP3020043B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1356909A FR3008533A1 (fr) 2013-07-12 2013-07-12 Facteur d'echelle optimise pour l'extension de bande de frequence dans un decodeur de signaux audiofrequences
PCT/FR2014/051720 WO2015004373A1 (fr) 2013-07-12 2014-07-04 Facteur d'échelle optimisé pour l'extension de bande de fréquence dans un décodeur de signaux audiofréquences

Publications (2)

Publication Number Publication Date
EP3020043A1 EP3020043A1 (fr) 2016-05-18
EP3020043B1 true EP3020043B1 (fr) 2017-02-08

Family

ID=49753286

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14749907.3A Active EP3020043B1 (fr) 2013-07-12 2014-07-04 Facteur d'échelle optimisé pour l'extension de bande de fréquence dans un décodeur de signaux audiofréquences

Country Status (11)

Country Link
US (8) US10446163B2 (fr)
EP (1) EP3020043B1 (fr)
JP (4) JP6487429B2 (fr)
KR (4) KR102319881B1 (fr)
CN (4) CN107492385B (fr)
BR (4) BR112016000337B1 (fr)
CA (4) CA3108921C (fr)
FR (1) FR3008533A1 (fr)
MX (1) MX354394B (fr)
RU (4) RU2756434C2 (fr)
WO (1) WO2015004373A1 (fr)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2631906A1 (fr) * 2012-02-27 2013-08-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Commande à cohérence de phase pour signaux harmoniques dans des codecs audio perceptuels
CN103928029B (zh) * 2013-01-11 2017-02-08 华为技术有限公司 音频信号编码和解码方法、音频信号编码和解码装置
FR3008533A1 (fr) * 2013-07-12 2015-01-16 Orange Facteur d'echelle optimise pour l'extension de bande de frequence dans un decodeur de signaux audiofrequences
TWI557726B (zh) * 2013-08-29 2016-11-11 杜比國際公司 用於決定音頻信號的高頻帶信號的主比例因子頻帶表之系統和方法
US20160323425A1 (en) * 2015-04-29 2016-11-03 Qualcomm Incorporated Enhanced voice services (evs) in 3gpp2 network
US9830921B2 (en) * 2015-08-17 2017-11-28 Qualcomm Incorporated High-band target signal control
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment
US20190051286A1 (en) * 2017-08-14 2019-02-14 Microsoft Technology Licensing, Llc Normalization of high band signals in network telephony communications
US10681486B2 (en) * 2017-10-18 2020-06-09 Htc Corporation Method, electronic device and recording medium for obtaining Hi-Res audio transfer information
TW202546816A (zh) 2018-01-26 2025-12-01 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
CN110660409A (zh) * 2018-06-29 2020-01-07 华为技术有限公司 一种扩频的方法及装置
US11803351B2 (en) * 2019-04-03 2023-10-31 Dolby Laboratories Licensing Corporation Scalable voice scene media server
US11184617B2 (en) * 2019-09-19 2021-11-23 Qualcomm Incorporated Transform unit design for video coding
WO2021172053A1 (fr) * 2020-02-25 2021-09-02 ソニーグループ株式会社 Dispositif et procédé de traitement de signaux et programme
RU2747368C1 (ru) * 2020-07-13 2021-05-04 федеральное государственное казенное военное образовательное учреждение высшего образования "Военная академия связи имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации Способ мониторинга и управления информационной безопасностью подвижной сети связи
CN114333856B (zh) * 2021-12-24 2024-08-02 南京西觉硕信息科技有限公司 给定线性预测系数时后半帧语音信号的求解方法、装置及系统
CN117128462A (zh) * 2023-05-23 2023-11-28 沈阳联合东华科技有限责任公司 一种基于声波的通球指示装置与方法
WO2025201625A1 (fr) * 2024-03-25 2025-10-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codeur et décodeur

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1998319B1 (fr) * 1991-06-11 2010-08-11 Qualcomm Incorporated Vocodeur à débit variable
US5455888A (en) * 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
SE502244C2 (sv) * 1993-06-11 1995-09-25 Ericsson Telefon Ab L M Sätt och anordning för avkodning av ljudsignaler i ett system för mobilradiokommunikation
JP3189614B2 (ja) * 1995-03-13 2001-07-16 松下電器産業株式会社 音声帯域拡大装置
US6002352A (en) * 1997-06-24 1999-12-14 International Business Machines Corporation Method of sampling, downconverting, and digitizing a bandpass signal using a digital predictive coder
US7072832B1 (en) * 1998-08-24 2006-07-04 Mindspeed Technologies, Inc. System for speech encoding having an adaptive encoding arrangement
US6453287B1 (en) * 1999-02-04 2002-09-17 Georgia-Tech Research Corporation Apparatus and quality enhancement algorithm for mixed excitation linear predictive (MELP) and other speech coders
JP4792613B2 (ja) * 1999-09-29 2011-10-12 ソニー株式会社 情報処理装置および方法、並びに記録媒体
FI119576B (fi) 2000-03-07 2008-12-31 Nokia Corp Puheenkäsittelylaite ja menetelmä puheen käsittelemiseksi, sekä digitaalinen radiopuhelin
US6889182B2 (en) * 2001-01-12 2005-05-03 Telefonaktiebolaget L M Ericsson (Publ) Speech bandwidth extension
AUPR433901A0 (en) * 2001-04-10 2001-05-17 Lake Technology Limited High frequency signal construction method
US6732071B2 (en) * 2001-09-27 2004-05-04 Intel Corporation Method, apparatus, and system for efficient rate control in audio encoding
US7512535B2 (en) * 2001-10-03 2009-03-31 Broadcom Corporation Adaptive postfiltering methods and systems for decoding speech
US6895375B2 (en) * 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
DE60208426T2 (de) * 2001-11-02 2006-08-24 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur signalkodierung, signaldekodierung und system zum verteilen von audiodaten
RU2325046C2 (ru) * 2002-07-16 2008-05-20 Конинклейке Филипс Электроникс Н.В. Аудиокодирование
JP4676140B2 (ja) * 2002-09-04 2011-04-27 マイクロソフト コーポレーション オーディオの量子化および逆量子化
US7299190B2 (en) * 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
JP4767687B2 (ja) * 2003-10-07 2011-09-07 パナソニック株式会社 スペクトル包絡線符号化のための時間境界及び周波数分解能の決定方法
BRPI0415464B1 (pt) * 2003-10-23 2019-04-24 Panasonic Intellectual Property Management Co., Ltd. Aparelho e método de codificação de espectro.
CA2457988A1 (fr) * 2004-02-18 2005-08-18 Voiceage Corporation Methodes et dispositifs pour la compression audio basee sur le codage acelp/tcx et sur la quantification vectorielle a taux d'echantillonnage multiples
CA2992065C (fr) * 2004-03-01 2018-11-20 Dolby Laboratories Licensing Corporation Reconstruction de signaux audio au moyen de plusieurs techniques de decorrelation
FI119533B (fi) * 2004-04-15 2008-12-15 Nokia Corp Audiosignaalien koodaus
US20070147518A1 (en) * 2005-02-18 2007-06-28 Bruno Bessette Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
US20090319277A1 (en) * 2005-03-30 2009-12-24 Nokia Corporation Source Coding and/or Decoding
RU2386179C2 (ru) * 2005-04-01 2010-04-10 Квэлкомм Инкорпорейтед Способ и устройство для кодирования речевых сигналов с расщеплением полосы
TWI324336B (en) * 2005-04-22 2010-05-01 Qualcomm Inc Method of signal processing and apparatus for gain factor smoothing
FR2888699A1 (fr) * 2005-07-13 2007-01-19 France Telecom Dispositif de codage/decodage hierachique
US7974713B2 (en) * 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
US8332216B2 (en) * 2006-01-12 2012-12-11 Stmicroelectronics Asia Pacific Pte., Ltd. System and method for low power stereo perceptual audio coding using adaptive masking threshold
US7831434B2 (en) * 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
JP5117407B2 (ja) * 2006-02-14 2013-01-16 フランス・テレコム オーディオ符号化／復号化で知覚的に重み付けするための装置
US20080004883A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Scalable audio coding
US8032371B2 (en) * 2006-07-28 2011-10-04 Apple Inc. Determining scale factor values in encoding audio data with AAC
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US9454974B2 (en) * 2006-07-31 2016-09-27 Qualcomm Incorporated Systems, methods, and apparatus for gain factor limiting
CN101140759B (zh) * 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
KR101565919B1 (ko) * 2006-11-17 2015-11-05 삼성전자주식회사 고주파수 신호 부호화 및 복호화 방법 및 장치
KR100905585B1 (ko) * 2007-03-02 2009-07-02 삼성전자주식회사 음성신호의 대역폭 확장 제어 방법 및 장치
US8392198B1 (en) * 2007-04-03 2013-03-05 Arizona Board Of Regents For And On Behalf Of Arizona State University Split-band speech compression based on loudness estimation
US8706480B2 (en) * 2007-06-11 2014-04-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding an audio signal having an impulse-like portion and stationary portion, encoding methods, decoder, decoding method, and encoding audio signal
KR101373004B1 (ko) * 2007-10-30 2014-03-26 삼성전자주식회사 고주파수 신호 부호화 및 복호화 장치 및 방법
US8515767B2 (en) * 2007-11-04 2013-08-20 Qualcomm Incorporated Technique for encoding/decoding of codebook indices for quantized MDCT spectrum in scalable speech and audio codecs
US20090201983A1 (en) * 2008-02-07 2009-08-13 Motorola, Inc. Method and apparatus for estimating high-band energy in a bandwidth extension system
CN101281748B (zh) * 2008-05-14 2011-06-15 武汉大学 用编码索引实现的空缺子带填充方法及编码索引生成方法
BRPI0915450B1 (pt) * 2008-07-10 2020-03-10 Voiceage Corporation Dispositivo e método para quantizar e quantizar inversamente filtros de lpc em um superquadro
US8577673B2 (en) * 2008-09-15 2013-11-05 Huawei Technologies Co., Ltd. CELP post-processing for music signals
US8463599B2 (en) * 2009-02-04 2013-06-11 Motorola Mobility Llc Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
US8571231B2 (en) * 2009-10-01 2013-10-29 Qualcomm Incorporated Suppressing noise in an audio signal
WO2011048117A1 (fr) * 2009-10-20 2011-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codeur de signal audio, décodeur de signal audio, procédé de codage ou de décodage d'un signal audio utilisant une annulation de repliement
CA2683983A1 (fr) 2009-10-21 2011-04-21 Carbon Solutions Inc. Stabilisation et recuperation de fractions de gaz acides du gaz sulfureux de chantier de forage
CN102044250B (zh) * 2009-10-23 2012-06-27 华为技术有限公司 频带扩展方法及装置
US8484020B2 (en) * 2009-10-23 2013-07-09 Qualcomm Incorporated Determining an upperband signal from a narrowband signal
US8380524B2 (en) * 2009-11-26 2013-02-19 Research In Motion Limited Rate-distortion optimization for advanced audio coding
US8455888B2 (en) * 2010-05-20 2013-06-04 Industrial Technology Research Institute Light emitting diode module, and light emitting diode lamp
CA2800208C (fr) * 2010-05-25 2016-05-17 Nokia Corporation Extenseur de bande passante
US8600737B2 (en) * 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
US8862465B2 (en) * 2010-09-17 2014-10-14 Qualcomm Incorporated Determining pitch cycle energy and scaling an excitation signal
US8924200B2 (en) * 2010-10-15 2014-12-30 Motorola Mobility Llc Audio signal bandwidth extension in CELP-based speech coder
CN103035248B (zh) * 2011-10-08 2015-01-21 华为技术有限公司 音频信号编码方法和装置
EP3089164A1 (fr) * 2011-11-02 2016-11-02 Telefonaktiebolaget LM Ericsson (publ) Génération d'une extension de bande haute d'un signal audio à bande passante étendue
WO2013066244A1 (fr) * 2011-11-03 2013-05-10 Telefonaktiebolaget L M Ericsson (Publ) Extension de largeur de bande de signaux audio
US8909539B2 (en) * 2011-12-07 2014-12-09 Gwangju Institute Of Science And Technology Method and device for extending bandwidth of speech signal
CN102930872A (zh) * 2012-11-05 2013-02-13 深圳广晟信源技术有限公司 用于宽带语音解码中基音增强后处理的方法及装置
CN109346101B (zh) * 2013-01-29 2024-05-24 弗劳恩霍夫应用研究促进协会 产生频率增强音频信号的译码器和产生编码信号的编码器
FR3008533A1 (fr) * 2013-07-12 2015-01-16 Orange Facteur d'echelle optimise pour l'extension de bande de frequence dans un decodeur de signaux audiofrequences
CN104517610B (zh) * 2013-09-26 2018-03-06 华为技术有限公司 频带扩展的方法及装置
CN105761723B (zh) * 2013-09-26 2019-01-15 华为技术有限公司 一种高频激励信号预测方法及装置
US10163447B2 (en) * 2013-12-16 2018-12-25 Qualcomm Incorporated High-band signal modeling
US9542955B2 (en) * 2014-03-31 2017-01-10 Qualcomm Incorporated High-band signal coding using multiple sub-bands
US9697843B2 (en) * 2014-04-30 2017-07-04 Qualcomm Incorporated High band excitation signal generation
JP2017145792A (ja) 2016-02-19 2017-08-24 株式会社ケーヒン インテークマニホールドにおけるセンサ取付構造
RU2636700C1 (ru) 2016-03-18 2017-11-27 Акционерное общество "Лаборатория Касперского" Способ устранения уязвимостей устройств, имеющих выход в Интернет
TWI596952B (zh) 2016-03-21 2017-08-21 固昌通訊股份有限公司 耳道式耳機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
US10438600B2 (en) 2019-10-08
FR3008533A1 (fr) 2015-01-16
EP3020043A1 (fr) 2016-05-18
US20180018983A1 (en) 2018-01-18
CN107527628A (zh) 2017-12-29
CN107492385B (zh) 2022-02-11
JP6515158B2 (ja) 2019-05-15
US10446163B2 (en) 2019-10-15
BR112016000337B1 (pt) 2021-02-23
RU2751104C2 (ru) 2021-07-08
US10783895B2 (en) 2020-09-22
JP2017215619A (ja) 2017-12-07
KR102315639B1 (ko) 2021-10-21
CN105378837B (zh) 2019-09-13
KR102319881B1 (ko) 2021-11-02
RU2017144519A3 (fr) 2021-04-19
RU2017144515A3 (fr) 2021-04-19
KR20170103996A (ko) 2017-09-13
CN107527629A (zh) 2017-12-29
US10943594B2 (en) 2021-03-09
US20190378527A1 (en) 2019-12-12
RU2756435C2 (ru) 2021-09-30
CA3108924A1 (fr) 2015-01-15
CA3108921C (fr) 2024-01-30
JP6515147B2 (ja) 2019-05-15
CA3109028C (fr) 2024-01-30
CA3109028A1 (fr) 2015-01-15
US20180018982A1 (en) 2018-01-18
RU2017144518A3 (fr) 2021-05-07
CN107527629B (zh) 2022-01-04
CA2917795C (fr) 2021-11-30
US10438599B2 (en) 2019-10-08
KR102423081B1 (ko) 2022-07-21
US10943593B2 (en) 2021-03-09
RU2016104466A (ru) 2017-08-18
JP2017215601A (ja) 2017-12-07
CN107527628B (zh) 2021-03-30
CN107492385A (zh) 2017-12-19
RU2668058C2 (ru) 2018-09-25
US20180082699A1 (en) 2018-03-22
US20190385626A1 (en) 2019-12-19
KR20160030555A (ko) 2016-03-18
JP6487429B2 (ja) 2019-03-20
CN105378837A (zh) 2016-03-02
KR20170103042A (ko) 2017-09-12
MX354394B (es) 2018-02-23
BR122017018556B1 (pt) 2022-03-29
KR20170103995A (ko) 2017-09-13
RU2017144519A (ru) 2019-02-15
WO2015004373A1 (fr) 2015-01-15
CA2917795A1 (fr) 2015-01-15
MX2016000255A (es) 2016-04-28
KR102343019B1 (ko) 2021-12-27
US10672412B2 (en) 2020-06-02
US20160203826A1 (en) 2016-07-14
JP2017215618A (ja) 2017-12-07
JP6515157B2 (ja) 2019-05-15
US20190371350A1 (en) 2019-12-05
BR122017018553B1 (pt) 2022-04-19
RU2017144515A (ru) 2019-02-15
US20190385625A1 (en) 2019-12-19
JP2016528539A (ja) 2016-09-15
RU2016104466A3 (fr) 2018-05-28
US10354664B2 (en) 2019-07-16
BR122017018557B1 (pt) 2021-08-03
RU2017144518A (ru) 2019-02-15
CA3108921A1 (fr) 2015-01-15
RU2756434C2 (ru) 2021-09-30

Similar Documents

Publication Publication Date Title
EP3014611B1 (fr) Extension améliorée de bande de fréquence dans un décodeur de signaux audiofréquences
EP3330966B1 (fr) Extension améliorée de bande de fréquence dans un décodeur de signaux audiofréquences
WO2015004373A1 (fr) Facteur d&#39;échelle optimisé pour l&#39;extension de bande de fréquence dans un décodeur de signaux audiofréquences

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20160210

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
RIN1 Information on inventor provided before grant (corrected)

Inventor name: RAGOT, STEPHANE

Inventor name: KANIEWSKA, MAGDALENA

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20161123

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 867179

Country of ref document: AT

Kind code of ref document: T

Effective date: 20170215

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602014006746

Country of ref document: DE

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20170208

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 4

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 867179

Country of ref document: AT

Kind code of ref document: T

Effective date: 20170208

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 602014006746

Country of ref document: DE

Owner name: KONINKLIJKE PHILIPS N.V., NL

Free format text: FORMER OWNER: ORANGE, PARIS, FR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170509

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170608

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170208

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170508

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20170824 AND 20170830

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: KONINKLIJKE PHILIPS N.V.

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602014006746

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20171109

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170731

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170731

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170704

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20170731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170704

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20140704

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170208

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170608

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 602014006746

Country of ref document: DE

Representative=s name: EISENFUEHR SPEISER PATENTANWAELTE RECHTSANWAEL, DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R039

Ref document number: 602014006746

Country of ref document: DE

Ref country code: DE

Ref legal event code: R008

Ref document number: 602014006746

Country of ref document: DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: S72Z

Free format text: COUNTERCLAIM LODGED; COUNTERCLAIM FOR REVOCATION LODGED AT THE PATENTS COURT ON 30 SEPTEMBER 2022 (HP-2020-000010)

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230527

REG Reference to a national code

Ref country code: DE

Ref legal event code: R040

Ref document number: 602014006746

Country of ref document: DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250728

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20250722

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20250725

Year of fee payment: 12