EP2158588A1 - Spektralglättungsverfahren von verrauschten signalen - Google Patents

Spektralglättungsverfahren von verrauschten signalen

Info

Publication number
EP2158588A1
EP2158588A1 EP08784249A EP08784249A EP2158588A1 EP 2158588 A1 EP2158588 A1 EP 2158588A1 EP 08784249 A EP08784249 A EP 08784249A EP 08784249 A EP08784249 A EP 08784249A EP 2158588 A1 EP2158588 A1 EP 2158588A1
Authority
EP
European Patent Office
Prior art keywords
short
smoothing method
smoothing
transformation
term
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP08784249A
Other languages
English (en)
French (fr)
Other versions
EP2158588B1 (de
Inventor
Rainer Martin
Timo Gerkmann
Colin Breithaupt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos GmbH
Ruhr Universitaet Bochum
Original Assignee
Siemens Audiologische Technik GmbH
Ruhr Universitaet Bochum
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Audiologische Technik GmbH, Ruhr Universitaet Bochum filed Critical Siemens Audiologische Technik GmbH
Publication of EP2158588A1 publication Critical patent/EP2158588A1/de
Application granted granted Critical
Publication of EP2158588B1 publication Critical patent/EP2158588B1/de
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique

Definitions

  • the invention relates to a smoothing method for suppressing fluctuating artifacts in noise reduction.
  • noise suppression is an important aspect.
  • the audio signals recorded with a microphone and subsequently digitized contain, in addition to the useful signal (FIG. 1), ambient noises superimposed on the useful signal (FIG. 2).
  • FOG. 1 useful signal
  • FIG. 2 useful signal
  • hearing aids are constantly changing ambient noise such as traffic noise or people talking in the background, such as in a restaurant.
  • the noise reduction aims accordingly to a relief of Speech understanding. Therefore, reducing the noise should not audibly distort the speech signal.
  • the spectral representation is a favorable representation of the signal.
  • the signal is displayed in frequency broken down.
  • a practical realization of the spectral representation are short-term spectra which result from a division of the signal into short frames (FIG. 3), which are subjected to spectral transformation separately from one another (FIG. 4).
  • a transformed frame then consists of M so-called frequency bins.
  • the squared amplitude value of a frequency bin corresponds to the energy that contains the signal in the narrow frequency slice of about 31 Hz bandwidth represented by the respective frequency bin. Due to the symmetry properties of the spectral transformation, only M / 2 + 1 of the M frequency bins, ie 129 bins in the previous example, are relevant for the signal representation. With 129 relevant bins and 31 Hz bandwidth per bin, a total of spectral band from 0 Hz to about 4000 Hz is covered. This is sufficient to describe many speech sounds with sufficient spectral resolution.
  • Another common bandwidth is 8000 Hz, which can be achieved by a higher sampling rate and thus more frequency bins with the same frame duration.
  • the frequency bins are indexed with ⁇ .
  • the index for frames is ⁇ .
  • the amplitudes of the short-term spectrum of a frame ⁇ are generally noted here as a spectral quantity G ⁇ ( ⁇ ).
  • G ⁇ ( ⁇ ) G M - ⁇ ( ⁇ ).
  • a common form of presentation of the short-term spectra are so-called spectrograms, which are formed by juxtaposing time-sequential short-term spectra (see, for example, FIGS. 6 to 9).
  • the advantage of the spectral representation is that the essential speech energy is concentrated in a relatively small number of frequency bins (FIGS. 4 and 6), while in the time signal all digital samples are equally relevant (FIG. 3).
  • the signal energy of the disturbance is in most cases distributed over a larger number of frequency bins. Since the frequency bins contain different amounts of speech energy, it is possible to suppress the noise in those bins that contain little speech energy. The narrowband the frequency bins are, the better this separation succeeds.
  • a spectral weighting function is estimated, which can be calculated according to different optimization criteria. It gives low values or zero in frequency bins, which are mostly perturbations, and values close to or equal to one for bins in which voice energy dominates (Figure 5).
  • the weighting function is generally re-estimated for each signal frame in each frequency bin.
  • the totality of the weighting values of all the frequency bins of a frame is also referred to herein as the "short-term spectrum of the weighting function" or simply as the "weighting function".
  • the isolated outliers are heard as tonal artifacts (musical noise), which are perceived as particularly disturbing because of their tonality ( Figures 10 and 11).
  • a single tonal artifact has the duration of a signal frame and its frequency is determined by the frequency bin in which the outlier occurred.
  • these spectral magnitudes can be smoothed by an averaging method and thus freed from excessive values.
  • Spectral magnitudes of several spectrally adjacent or temporally successive frequency bins are calculated to an average, so that the amplitude of individual outliers is relativized.
  • a smoothing is above the frequency [1: Tim Fingscheidt, Christophe Beaugeant and Suhadi Suhadi. Overcoming the Statistical independence assumption is frequency in speech enhancement. Proceedings, IEEE Int. Conf.
  • cepstrum basically consists of a non-linear mapping, namely the logarithmization, an absolute magnitude of the spectral magnitude and a subsequent transformation of this logarithmic magnitude spectrum with a transformation.
  • the advantage of a cepstral representation of the amplitudes ( Figure 14) is that speech is no longer comb-like across the frequency ( Figures 4 and 6), but the essential information about the speech signal is represented in the cepstral small-index bins. In addition, substantial speech information is still represented in the relatively easily detectable cepstral bin of higher index, which represents the so-called pitch frequency of the speaker.
  • a smoothed short-term spectrum can be calculated by setting cepstral bins to zero with relatively small amounts, and then re-transforming the altered cepstrum back to a short-term spectrum.
  • cepstral bins to zero with relatively small amounts
  • re-transforming the altered cepstrum back to a short-term spectrum.
  • strong fluctuations or outliers to correspondingly high Amplitudes in the cepstrum these artifacts can not be detected by these methods and suppressed.
  • the object of the invention is to provide a smoothing method for suppressing fluctuations in the weighting function or in spectral intermediate variables or outliers in filtered short-term spectra, which neither reduces the frequency resolution of the short-term spectra nor impairs the temporal dynamics of the speech signal.
  • the smoothing method according to the invention comprises the following steps:
  • the smoothing method according to the invention makes use of a transformation such as cepstrum in order to describe a broadband speech signal with as few transformation coefficients as possible in its essential structure. Unlike in known methods, however, the transformation coefficients are not set to zero independently of each other if they fall below a threshold value. Instead, the values of transformation coefficients from at least two consecutive frames are offset by smoothing over time. In this case, the degree of smoothing is made dependent on the extent to which the spectral structure represented by the coefficient is decisive for the description of the useful signal. The degree of temporal smoothing of a coefficient therefore depends, for example, on whether a transformation coefficient contains a lot of speech energy or little.
  • Increased temporal smoothing thus counteracts the formation of outliers without affecting the structure of the language.
  • the smoothing method thus does not result in a reduced spectral resolution for speech sounds.
  • the change in the fine structure of the short-term spectrum in successive frames is delayed such that only narrowband spectral changes with time constants smaller than that of un noisy speech are suppressed.
  • Transformations differ in their basic functions used.
  • the process of transformation means that the signal is correlated with the various basis functions.
  • the resulting degree of correlation between the signal and a basis function is then the associated transformation coefficient.
  • Orthogonal transformation bases contain only basis functions that are uncorrelated. In the case that the signal is identical to one of the basic functions, transform coefficients with the value zero occur in the case of orthogonal transformations, with the exception of the one coefficient which is identical to the signal. The selectivity of an orthogonal transformation is therefore high.
  • Non-orthogonal transforms use function bases that are correlated with each other.
  • Another feature is that the basic functions for the considered application are discrete and finite, since the processed signal frames are discrete signals of the length of one frame.
  • discrete Fourier transform is a preferred transformation.
  • FFT Fast Fourier Transformation
  • DCT discrete cosine transform
  • DST discrete sine transform
  • Term "standard transformations” An already mentioned property of the standard transformations, which is decisive for the invention, is that the amplitudes of the different transformation coefficients are different. represent different levels of fine structure of the transformed signal.
  • coefficients with small indices describe the coarse structures of the transformed signal because the associated basis functions are low-frequency harmonic functions.
  • the invertibility of the transforms also makes it possible to interchange the transform and its inverse in the back and forth transformations.
  • the use of the DFT from (2) is thus also possible, for example, if the IDFT from (1) is used in (2).
  • the spectral coefficients of the short-term spectra are mapped before non-linear transformation.
  • a principal feature of non-linear imaging which is advantageous for the invention is dynamic compression of relatively large amplitudes and dynamic expansion of relatively small amplitudes.
  • the spectral coefficients of the smoothed short-term spectra after the inverse transformation can be mapped non-linearly, the non-linear mapping after the inverse transformation being the inverse of the non-linear mapping before the forward transformation.
  • the spectral coefficients are imaged non-linearly by logarithmization before the forward transformation.
  • a form of temporal smoothing can be achieved by a recursive system of preferably first order:
  • the smoothing method is applied to the magnitude or power of the magnitude of the short-term spectra.
  • time constants can be selected in such a way that the transformation coefficients, which primarily represent speech, are less smoothed.
  • the transformation coefficients which mainly fluctuate background noise and Artifacts of noise reduction algorithms describe being heavily smoothed.
  • the spectral weighting function of a noise reduction algorithm can be provided.
  • the spectral weighting function of a postfilter for multi-channel noise reduction methods can also be used as the short-term spectrum.
  • the spectral weighting function results here from the minimization of an error criterion.
  • a filtered short-term spectrum can also be provided.
  • a spectral weighting function of a multi-channel method for noise reduction is provided as the short-term spectrum.
  • an estimated coherence or an estimated magnitude squared coherence can also be provided between at least two microphone channels.
  • a spectral weighting function of a multi-channel method for speaker or source separation is provided as the short-term spectrum.
  • a spectral weighting function of a multi-channel method for speaker separation on the basis of phase differences of signals in the different channels is provided as a short-term spectrum.
  • GCC Generalized Cross-Correlation
  • spectral magnitudes containing both speech and noise components can also be provided.
  • an estimate of the signal-to-noise ratio in the individual frequency bins can also be provided as the short-term spectrum.
  • an estimate of the noise power can be used as the short-term spectrum.
  • the line of an image is interpreted as a signal frame that can be transformed into the spectral range.
  • the resulting frequency bins are called spatial frequency bins here.
  • algorithms equivalent to those used in audio signal processing are used. Possible fluctuations that generate these algorithms in the spatial frequency range result in the processed image in optical artifacts. These are equivalent to tonal noise in audio processing.
  • signals are derived from the human body that can be noisy, such as acoustic signals.
  • the noisy signal can be transformed into the spectral range frame by frame.
  • the resulting spectrograms can be processed like audio spectra.
  • the smoothing method can be used in a telecommunications network and / or in broadcasting to improve speech and / or picture quality and to suppress artifacts.
  • Distortions of the speech signal occur in mobile voice communication, which are caused, on the one hand, by the speech coding method used (redundant speech compression) and the associated quantization noise and, on the other hand, by the interference caused by the transmission channel.
  • the latter in turn, fluctuate greatly in terms of time and spectral and lead to a noticeable deterioration of the voice quality.
  • the receiver side or network must be put signal processing to ensure that the quasi-random artifacts are reduced.
  • so-called post-filters and error concealment methods have hitherto been used.
  • the smoothing method can thus be used as a postfilter, in a postfilter, in combination with a postfilter, as part of an error concealment method or in connection with a method for speech and / or picture coding (decompression method or decoding method), in particular on the receiver side.
  • a postfilter it is meant that the method is used for post-filtering, that is to say that the data resulting from the applications are processed with an algorithm implementing the method.
  • it is possible to improve the quality of the speech signal in the telecommunications network by smoothing the speech signal spectrum or a variable derived therefrom with the smoothing method according to the invention.
  • FIG. 1 shows an unrisen time signal
  • FIG. 2 shows a noisy time signal
  • FIG. 3 shows a single signal frame in the time domain
  • FIG. 4 shows a single signal frame in the spectral range
  • Figure 5 shows a weighting function for a single frame
  • Figure 6 shows the spectrogram of a noisy signal
  • Figure 7 shows the spectrogram of a noisy signal
  • Figure 8 shows the spectrogram of a signal filtered with the unsmoothed weighting function
  • FIG. 9 shows the spectrogram of a signal filtered with a smoothed weighting function according to the invention.
  • FIG. 10 shows a filtered time signal with tonal artifacts
  • FIG. 11 shows a time signal filtered according to the invention
  • Figure 12 is the spectrogram of an unsmoothed weighting function
  • FIG. 13 shows the spectrogram of a weighting function smoothed according to the invention
  • FIG. 14 shows the magnitude of the cepstrum of a noisy speech signal
  • FIG. 15 shows the signal flow graph according to a preferred embodiment of the invention.
  • FIG. 1 shows an undrawn signal in the form of the amplitude over time.
  • the duration of the signal is 4 seconds, the amplitudes range from about -0.18 to about 0.18.
  • the signal is shown in noisy form. One recognizes a random background noise over the entire time course.
  • FIG. 3 shows the signal of a single signal frame ⁇ .
  • the signal frame has a segment duration of 32 milliseconds.
  • the amplitude of both graphs ranges between -0.1 and 0.1.
  • the individual samples of the digital signals are connected to graphs.
  • the noisy graph represents the input signal containing the noisy signal. A separation of signal and noise in the noisy signal is hardly possible in this representation of the signal.
  • Figure 4 is a representation of the same signal frame after the transformation into the frequency domain.
  • the individual frequency bins ⁇ are connected to graphs.
  • the frequency bins are noisy and noisy, again with the noisy signal in the noisy signal is included speech signal.
  • the abscissa shows the frequency bins ⁇ from 0 to 128. They have amplitudes of about -40 decibels (dB) to about 10 dB. From the comparison of the graphs, it can be seen that the energy of the speech signal in some frequency bins is concentrated in a comb-like structure, while the noise is also present in the intervening bins.
  • FIG. 5 shows a weighting function for the noisy frame of FIG. For each frequency bin ⁇ , a factor between 0 and 1 results depending on the ratio of speech and noise energy.
  • the individual weighting factors are connected to a graph. One recognizes the comb-like structure of the speech spectrum again.
  • FIGS. 6 and 7 show spectrograms from a series of noisy or noisy short-term spectra (FIG. 4).
  • the frame index ⁇ is plotted, on the ordinate of the frequency bin index ⁇ .
  • the amplitudes of the individual frequency bins are shown as gray values.
  • Figure 6 and 7 it becomes clear how speech is concentrated in a few frequency bins. It also trains regular structures. The noise, however, is distributed over all frequency bins.
  • FIG. 8 shows the spectrogram of a filtered signal.
  • the axes correspond to those in FIGS. 6 and 7. It can be seen from a comparison with FIG. 6 that estimation errors in the weighting function leave high amplitudes in frequency bins which contain no speech. To suppress these outliers is the aim of the method according to the invention.
  • FIG. 9 shows the spectrogram of a signal which has been filtered with a smoothed weighting function in accordance with a preferred development of the method according to the invention.
  • the axes correspond to those of the previous spectrograms.
  • the outliers are greatly reduced.
  • the speech components in the spectrogram are preserved in their essential form.
  • FIGS. 10 and 11 show the time signals resulting from the filtered spectra of FIGS. 8 and 9, respectively. Plotted is the amplitude over time. The signals are 4 seconds long and have amplitudes between about -0.18 and 0.18.
  • the outliers in the spectrogram from FIG. 8 produce clearly visible tonal artifacts in the associated time signal in FIG. 10, which are not present in the noise-free signal from FIG.
  • the time signal in Figure 11 has a much quieter course of the residual noise. This time signal results from the spectrogram of Figure 9, which was generated by filtering with the smoothed weighting function.
  • FIG. 12 shows the unsmoothed weighting function for all frames. Frequency bins ⁇ are plotted along the ordinate for each frame ⁇ . The values of the weighting function are shown as gray tones. The fluctuations resulting from estimation errors are recognizable as irregular patches.
  • FIG. 13 shows the smoothed weighting function for all frames.
  • the axes correspond to those in FIG. 12. Smoothing smears the fluctuations and greatly reduces their value.
  • the structure of the voice frequency bins however, remains clearly recognizable.
  • FIG. 14 shows the magnitude of the cepstrum of a noiseless signal over all frames. For each frame ⁇ , the cepstral bins ⁇ 'are plotted along the ordinate. The values of the amounts of cepstral
  • Coefficients Gy pst ⁇ are shown as gray tones. A comparison with Figure 6 shows that speech in the cepstrum is concentrated to an even smaller number of coefficients. In addition, these coefficients are less variable in their position. Clearly recognizable is the course of the cepstral coefficient, which represents the pitch frequency.
  • FIG. 15 shows a signal flow graph according to a preferred embodiment of the invention.
  • a noisy input signal is transformed into a sequence of short-term spectra, and then a weighting function for filtering is then estimated via spectral intermediate quantities. It will be respectively a frame currently being edited.
  • the short-term spectra of the weighting function are subjected to a non-linear, logarithmic mapping. This is followed by a transformation into the cepstral area.
  • the thus transformed short-term spectra are thus represented by transformation coefficients of the basis functions.
  • the transformation coefficients calculated in this way are smoothed separately using different time constants.
  • the recursive nature of the smoothing is indicated by the return of the output of the smoothing to its input.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Networks Using Active Elements (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Optical Communication System (AREA)
  • Color Television Image Signal Generators (AREA)
  • Holo Graphy (AREA)
  • Photoreceptors In Electrophotography (AREA)

Description

SPEKTRALGLÄTTUNGSVERFAHREN VON VERRAUSCHTEN SIGNALEN
Die Erfindung betrifft ein Glättungsverfahren zur Unterdrückung von fluktuierenden Artefakten bei der Störgeräuschreduktion.
In der digitalen Sprachsignalübertragung ist die Störgeräuschunterdrückung ein wichtiger Aspekt. Die mit einem Mikrofon erfassten und anschließend digitalisierten Audiosignale enthalten neben dem Nutzsignal (Figur 1) noch Umgebungsgeräusche, die dem Nutzsignal überlagert sind (Figur 2). So werden z.B. bei Freisprechanlagen in Fahrzeugen neben den Sprachsignalen noch Motoren- und Windgeräusche erfasst, bei Hörhilfen sind es ständig wechselnde Umgebungsgeräusche wie Verkehrsgeräusche oder im Hintergrund sprechende Personen wie etwa in einem Restaurant. Dadurch ist ein Verstehen des Sprachsignals nur mit erhöhter Anstrengung möglich. Die Störgeräuschreduktion zielt dementsprechend auf eine Erleichterung des Sprachverstehens ab. Daher darf eine Verringerung des Störgeräuschs auch das Sprachsignal nicht hörbar verzerren.
Für die Störgeräuschreduktion ist die Spektraldarstellung eine günstige Repräsentation des Signals. Hierbei wird das Signal in Frequenzen aufgeschlüsselt dargestellt. Eine praktische Realisierung der Spektraldarstellung sind Kurzzeitspektren, die durch eine Zerteilung des Signals in kurze Rahmen entstehen (Figur 3), die getrennt voneinander einer Spektraltransformation unterzogen werden (Figur 4). Ein Signalrahmen kann dabei bei einer Abtastrate von fs = 8000 Hz beispielsweise M = 256 aufeinanderfolgende digitale
Signalabtastwerte umfassen, was dann einer Dauer von 32 ms entspricht. Ein transformierter Rahmen besteht dann aus M sogenannten Frequenzbins. Der quadrierte Amplitudenwert eines Frequenzbins korrespondiert zur Energie, die das Signal in dem schmalen Frequenzausschnitt von ca. 31 Hz Bandbreite enthält, der vom jeweiligen Frequenzbin repräsentiert wird. Aufgrund der Symmetrieeigenschaften der Spektraltransformation sind von den M Frequenzbins nur M/2+1 , also im vorangegangenen Beispiel 129 Bins relevant für die Signaldarstellung. Mit 129 relevanten Bins und 31 Hz Bandbreite pro Bin wird insgesamt ein spektrales Band von 0 Hz bis ca. 4000 Hz abgedeckt. Dies reicht aus, um viele Sprachlaute mit hinreichender spektraler Auflösung zu beschreiben. Eine andere gängige Bandbreite ist 8000 Hz, die durch eine höhere Abtastrate und somit mehr Frequenzbins bei gleicher Rahmendauer erreicht werden kann. In einem Kurzzeitspektrum sind die Frequenzbins mit μ indiziert. Der Index für Rahmen ist λ. Die Amplituden des Kurzzeitspektrums eines Rahmens λ werden hier allgemein als spektrale Größe Gμ(λ) notiert. Ein vollständiges Kurzzeitspektrum bestehend aus den M Frequenzbins eines Rahmens ergibt sich aus den Amplituden Gμ (λ) der Indizes μ = 0 bis μ = M - 1 , also μ = 0 ... M - 1. Für reelle Zeitsignale erfüllen Kurzzeitspektren die Symmetriebedingung Gμ (λ) = GM-μ (λ). Eine gängige Form der Präsentation der Kurzzeitspektren sind sogenannte Spektrogramme, die durch Aneinanderreihung zeitlich aufeinanderfolgender Kurzzeitspektren gebildet werden (vgl. beispielhaft Figuren 6 bis 9). Vorteil der Spektraldarstellung ist, dass die wesentliche Sprachenergie in einer relativ geringen Anzahl von Frequenzbins konzentriert vorliegt (Figuren 4 und 6), während im Zeitsignal alle digitalen Abtastwerte gleich relevant sind (Figur 3). Die Signalenergie der Störung ist in den meisten Fällen auf eine größere Anzahl von Frequenzbins verteilt. Da die Frequenzbins unterschiedlich viel Sprachenergie enthalten, ist es möglich, das Rauschen in jenen Bins zu unterdrücken, die nur wenig Sprachenergie enthalten. Je schmalbandiger die Frequenzbins sind, desto besser gelingt diese Trennung.
Für die Störgeräuschreduktion wird eine spektrale Gewichtungsfunktion geschätzt, die nach unterschiedlichen Optimierungskriterien berechnet werden kann. Sie ergibt niedrige Werte oder Null in Frequenzbins, in denen hauptsächlich Störung vorliegt, und Werte nahe oder gleich Eins für Bins, in denen Sprachenergie dominiert (Figur 5). Die Gewichtungsfunktion wird im Allgemeinen für jeden Signalrahmen in jedem Frequenzbin neu geschätzt. Die Gesamtheit der Gewichtungswerte aller Frequenzbins eines Rahmens wird hier auch als „Kurzzeitspektrum der Gewichtungsfunktion" oder einfach als „Gewichtungsfunktion" bezeichnet.
Eine Multiplikation der Gewichtungsfunktion mit dem Kurzzeitspektrum des verrauschten Signals ergibt das gefilterte Spektrum, in dem die Amplituden der Frequenzbins, in denen Störung dominiert, stark verringert sind, während Sprachkomponenten nahezu unbeeinflusst bleiben (Figuren 8 und 9).
Schätzfehler bei der Berechnung der spektralen Gewichtungsfunktion, sogenannte Fluktuationen, ergeben gelegentlich zu hohe Gewichtungswerte für Frequenzbins, die hauptsächlich Störung enthalten (Figur 8). Dies geschieht unabhängig von spektral benachbarten oder zeitlich vorangegangenen Werten. Fluktuationen kommen auch schon in spektralen Zwischengrößen wie z.B. der Schätzung des Signal-zu-Rausch-Verhältnisses (signal-to-noise ratio, SNR) vor. Nach Multiplikation der schätzfehlerbehafteten Gewichtungsfunktion mit dem verrauschten Kurzzeitspektrum enthält das gefilterte Spektrum einzelne Frequenzbins, die hauptsächlich Störung enthalten und dennoch relativ hohe Amplituden aufweisen. Diese Bins heißen Ausreißer. Bei der Synthese eines Zeitsignals aus den gefilterten Kurzzeitspektren sind die vereinzelten Ausreißer als tonale Artefakte (musical noise) zu hören, die wegen ihrer Tonalität als besonders störend empfunden werden (Figuren 10 und 11). Ein einzelnes tonales Artefakt hat die Dauer eines Signalrahmens und seine Frequenz wird durch den Frequenzbin bestimmt, in dem der Ausreißer vorkam.
Zur Unterdrückung von Fluktuationen in der Gewichtungsfunktion oder in spektralen Zwischengrößen bzw. zur Unterdrückung von Ausreißern im gefilterten Spektrum können diese spektralen Größen durch ein Mittelungsverfahren geglättet und somit von überhöhten Werten befreit werden. Spektrale Größen mehrerer spektral benachbarter oder zeitlich aufeinanderfolgender Frequenzbins werden dabei zu einem Mittelwert verrechnet, so dass die Amplitude einzelner Ausreißer relativiert wird. Eine Glättung ist über der Frequenz [1: Tim Fingscheidt, Christophe Beaugeant and Suhadi Suhadi. Overcoming the Statistical independence assumption w.r.t. frequency in speech enhancement. Proceedings, IEEE Int. Conf. Acoustics, Speech, Signal Processing (ICASSP), 1 :1081-1084, 2005], entlang der Zeit [2: Harald Gustafsson, Sven Erik Nordholm and Ingvar Claesson. Spectral subtraction using reduced delay convolution and adaptive averaging. IEEE Transactions on Speech and Audio Processing, 9(8):799-807, November 2001] oder als Kombination aus zeitlicher und spektraler Mittelung [3: Zenton Goh, Kah-Chye Tan and B.T.G. Tan. Postprocessing method for suppressing musical noise generated by spectral subtraction. IEEE Transactions on Speech and Audio Processing, 6(3):287-292, May 1998] bekannt. Nachteil einer Glättung über der Frequenz ist, dass bei einer Verrechnung mehrerer Frequenzbins die spektrale Auflösung verringert wird, also die Unterscheidung zwischen Sprachbins und Rauschbins schwieriger wird. Eine zeitliche Glättung durch Zusammenfassung aufeinanderfolgender Werte eines Bins verringert die zeitliche Dynamik der spektralen Werte, also ihr Vermögen, schnellen zeitlichen Änderungen der Sprache zu folgen. Eine Verzerrung des Sprachsignals ist die Folge (clipping). Außerdem kann ein mit dem Sprachsignal korreliertes, irritierendes Restrauschen hörbar werden (noise shaping). Diese Glättungsverfahren im Spektralbereich müssen deshalb im Allgemeinen aufwändig an das Sprachsignal adaptiert werden.
Eine weitere bekannte Form der Glättung einzelner Kurzzeitspektren über der Frequenz ist ein als „Liftering" bekanntes Verfahren [4: Andrzej Czyzewski. Multitask noisy speech enhancement System, http://sound.eti.pg.gda.pl/ denoise/main.html, 2004], [5: Francois Thibault. High-Ievel control of einging voice timbre transformations. http://www.music.mcgill.ca/thibault/Thesis/ node43.html, 2004]. Hierbei wird das Kurzzeitspektrum eines Rahmens λ zunächst in den sogenannten Cepstralbereich transformiert. Die cepstrale Repräsentation der spektralen Amplituden Gμ(λ) berechnet sich zu
G7st (A) = IDFT {log (Gμ(λ))} , μ'= 0... (M - \), μ = 0... (M - I) (1)
mit IDFT{-} der inversen diskreten Fourier-Transformation (DFT) einer Folge von Werten der Länge M. Diese Transformation resultiert in M Transformationskoeffizienten Gμ°Tι (λ) , den sogenannten cepstralen Bins mit Index μ'. Das
Cepstrum besteht nach Gleichung (1 ) prinzipiell aus einer nicht-linearen Abbildung, nämlich der Logarithmierung, einer betragsmäßig vorliegenden spektralen Größe und einer anschließenden Transformation dieses logarithmierten Betragsspektrums mit einer Transformation. Der Vorteil einer cepstralen Repräsentation der Amplituden (Figur 14) ist, dass Sprache nicht mehr kammartig über die Frequenz verteilt ist (Figuren 4 und 6), sondern die wesentliche Information über das Sprachsignal in den cepstralen Bins mit kleinem Index repräsentiert ist. Außerdem wird wesentliche Sprachinformation noch in dem verhältnismäßig leicht zu detektierenden cepstralen Bin mit höherem Index repräsentiert, der die sogenannte Pitch-Frequenz (Sprachgrundfrequenz) des Sprechers repräsentiert.
Ein geglättetes Kurzzeitspektrum kann berechnet werden, indem cepstrale Bins mit relativ kleinen Beträgen zu Null gesetzt werden und anschließend das veränderte Cepstrum wieder in ein Kurzzeitspektrum rücktransformiert wird. Da allerdings starke Fluktuationen bzw. Ausreißer zu entsprechend hohen Amplituden im Cepstrum führen, können diese Artefakte durch diese Verfahren nicht detektiert und unterdrückt werden.
Alternativ zum Liftering gibt es noch das Verfahen nach [6: Petre Stoica and Niclas Sandgren. Smoothed nonparametric spectral estimation via cepstrum thresholding. IEEE Signal Processing Magazine, pages 34-45, November 2006]. Hier werden nach einem Kriterium ausgesuchte cepstrale Bins nicht zu Null gesetzt, sondern zu einem Wert, der für die Schätzung von Langzeitspektren stationärer Signale aus Kurzzeitspektren optimal ist. Diese Form der Schätzung von Signalspektren bringt für stark nicht-stationäre Signale wie Sprache generell keine Vorteile.
Hiervon ausgehend liegt der Erfindung die Aufgabe zugrunde, für die Rauschreduktion ein Glättungsverfahren zur Unterdrückung von Fluktuationen in der Gewichtungsfunktion oder in spektralen Zwischengrößen bzw. von Ausreißern in gefilterten Kurzzeitspektren aufzuzeigen, das weder die Frequenzauflösung der Kurzzeitspektren verringert noch die zeitliche Dynamik des Sprachsignals beeinträchtigt.
Die Lösung dieser Aufgabe besteht in einem Glättungsverfahren mit den Maßnahmen von Patentanspruch 1. Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
Das erfindungsgemäße Glättungsverfahren umfasst folgende Schritte:
• Bereitstellen von Kurzzeitspektren einer Folge von Signalrahmen,
• Transformieren jedes Kurzzeitspektrums durch eine Hintransformation, die das Kurzzeitspektrum durch Transformationskoeffizienten beschreibt, welche das Kurzzeitspektrum in seine groben und seine feinen Strukturen unterteilt repräsentieren,
• Glätten der Transformationskoeffizienten jeweils gleicher Koeffizientenindizes durch Kombination von wenigstens zwei aufeinanderfolgenden transformierten Kurzzeitspektren und
• Transformieren der geglätteten Transformationskoeffizienten in geglättete Kurzzeitspektren durch eine Rücktransformation. Das erfindungsgemäße Glättungsverfahren bedient sich einer Transformation wie des Cepstrums, um ein breitbandiges Sprachsignal mit möglichst wenig Transformationskoeffizienten in seiner wesentlichen Struktur zu beschreiben. Anders als in bekannten Verfahren werden die Transformationskoeffizienten aber nicht unabhängig voneinander zu Null gesetzt, wenn sie einen Schwellwert unterschreiten. Es werden stattdessen die Werte von Transformationskoeffizienten aus mindestens zwei aufeinanderfolgenden Rahmen durch eine Glättung über die Zeit miteinander verrechnet. Hierbei wird der Grad der Glättung davon abhängig gemacht, inwieweit die durch den Koeffizienten repräsentierte spektrale Struktur entscheidend für die Beschreibung des Nutzsignals ist. Der Grad der zeitlichen Glättung eines Koeffizienten hängt daher beispielsweise davon ab, ob ein Transformationskoeffizient viel Sprachenergie enthält oder wenig. Dies ist im Cepstrum oder ähnlichen Transformationen leichter zu bestimmen als im Kurzzeitspektrum. So kann beispielsweise angenommen werden, dass die ersten vier cepstralen Koeffizienten mit Indizes μ1 = 0 ... 3 und zusätzlich der Koeffizient mit maximalem Betrag und Index μ1 größer 16 und kleiner 160 bei fs = 8000 Hz
(Pitch) Sprache repräsentieren. Koeffizienten mit viel Sprachinformation werden nur soweit geglättet, dass ihre zeitliche Dynamik nicht geringer wird als bei einem unverrauschten Sprachsignal. Gegebenenfalls werden diese Koeffizienten gar nicht geglättet. Sprachverzerrungen werden so verhindert. Da spektrale Fluktuationen und Ausreißer eine kurzzeitige Änderung in der Feinstruktur eines Kurzzeitspektrums darstellen, bilden sie sich im transformierten Kurzzeitspektrum als kurzzeitige Änderung derjenigen Transformationskoeffizienten ab, die die Feinstruktur des Kurzzeitspektrums repräsentieren. Da diese Transformationskoeffizienten bei unverrauschter Sprache eine relativ geringe zeitliche Änderungsrate haben, können eben diese Koeffizienten stärker geglättet werden. Eine verstärkte zeitliche Glättung wirkt somit der Ausbildung von Ausreißern entgegen, ohne die Struktur der Sprache zu beeinflussen. Das Glättungsverfahren resultiert somit nicht in einer verringerten spektralen Auflösung für Sprachlaute. Die Änderung der Feinstruktur des Kurzzeitspektrums bei aufeinanderfolgenden Rahmen ist derart verzögert, dass nur schmalbandige spektrale Änderungen mit Zeitkonstanten kleiner als derjenigen von un verrauschter Sprache unterbunden werden.
Aus der geglätteten Größe, notiert als G^woth (λ), kann durch eine Rücktransformation wieder eine spektrale Darstellung des geglätteten Kurzzeitspektrums gewonnen werden. Für eine cepstrale Repräsentation, wie unter (1) beschrieben, ist eine mögliche Rücktransformation:
Gμ,smooth (A) = exp (DFT fe00, (λ)} ) , μ = 0... (M - 1)5 μ<= 0... (M - 1) (2)
mit DFT{} der diskreten Fourier-Transformation und exp() der Exponentialfunktion, die in (2) elementweise angewendet wird.
Die Vorteile, die sich aus der erfindungsgemäßen Glättung von Kurzzeitspektren ergeben, sind:
• eine effektive Unterdrückung von Fluktuationen bzw. Ausreißern,
• Beibehaltung der spektralen Auflösung für Sprachsignale und
• keine hörbare Beeinflussung von Sprache.
Es ist wichtig anzumerken, dass die für das Cepstrum verwendete inverse DFT in (1) und die DFT für die Rücktransformation in (2) durch andere Transformationen ersetzt werden können, ohne dass dabei die prinzipiellen Eigenschaften der Transformationskoeffizienten bzgl. der kompakten Repräsentation von Sprache verloren gehen. Genauso verhält es sich mit der Logarithmierung in (1) und der entsprechenden Umkehrfunktion in (2), der Exponentialfunktion. Auch hier sind andere nicht-lineare Abbildungen und auch lineare Abbildungen denkbar.
Transformationen unterscheiden sich in ihren verwendeten Basisfunktionen. Der Vorgang der Transformation bedeutet, dass das Signal mit den verschiedenen Basisfunktionen korreliert wird. Der resultierende Grad der Korrelation zwischen dem Signal und einer Basisfunktion ist dann der zugehörige Transformationskoeffizient. Bei einer Transformation entstehen so viele Transformationskoeffizienten wie es Basisfunktionen gibt. Ihre Anzahl ist hier mit M bezeichnet. Für die Erfindung wichtige Transformationen sind solche, durch deren Basisfunktionen das zu transformierende Kurzzeitspektrum in seiner Grobstruktur und seiner Feinstruktur aufgeschlüsselt wird.
Ein Unterscheidungsmerkmal von Transformationen ist die Orthogonalität. Orthogonale Transformationsbasen enthalten nur Basisfunktionen, die unkorreliert sind. Für den Fall, dass das Signal mit einer der Basisfunktionen identisch ist, entstehen bei orthogonalen Transformationen Transformationskoeffizienten mit dem Wert Null, bis auf den einen Koeffizienten, der identisch zum Signal ist. Die Trennschärfe einer orthogonalen Transformation ist demnach hoch. Nicht-orthogonale Transformationen verwenden Funktionsbasen, die miteinander korreliert sind.
Ein weiteres Merkmal ist, dass die Basisfunktionen für den betrachteten Anwendungsfall diskret und endlich sind, da es sich bei den verarbeiteten Signalrahmen um diskrete Signale von der Länge eines Rahmens handelt.
Wichtiges Merkmal einer Transformation ist die Invertierbarkeit. Existiert zu einer Transformation (Hintransformation) eine inverse Transformation, so entsteht durch Transformation eines Signals in Transformationskoeffizienten und anschließender inverser Transformation (Rücktransformation) dieser Koeffizienten wieder das Ausgangssignal, falls die Transformationkoeffizienten nicht verändert wurden.
In der Signalverarbeitung, wie sie hier beschrieben wird, ist die diskrete Fourier- Transformation (DFT) eine bevorzugte Transformation. Ein dazugehöriger wichtiger Algorithmus in der diskreten Signalverarbeitung ist die „Fast-Fourier- Transformation" (FFT). Außerdem sind die diskrete Cosinus-Transformation (DCT) und die diskrete Sinus-Transformation (DST) häufig verwendete Transformationen. Diese Transformationen werden hier unter dem Begriff „Standardtransformationen" zusammengefasst. Eine für die Erfindung entscheidende bereits erwähnte Eigenschaft der Standardtransformationen ist, dass die Amplituden der verschiedenen Transformationskoeffizienten unter- schiedliche Grade an Feinstruktur des transformierten Signals repräsentieren. So beschreiben Koeffizienten mit kleinen Indizes die groben Strukturen des transformierten Signals, weil die zugehörigen Basisfunktionen niederfrequente harmonische Funktionen sind. Je höher der Index eines Transformationskoeffizienten bis hin zu μ1 = M/2, desto feiner sind die Strukturen des transformierten Signals, die durch diesen Koeffizienten beschrieben werden. Für darüber hinausgehende Koeffizienten dreht sich diese Eigenschaft wegen der Symmetrie der Koeffizienten um. In der Regel werden bei der Signalverarbeitung nur die Koeffizienten mit Indizes μ' = 0 bis μ" = M/2 verarbeitet und die restlichen Werte durch spiegeln der Resultate ermittelt.
Die Invertierbarkeit der Transformationen macht es außerdem möglich, die Transformation und ihre Inverse bei der Hin- und Rücktransformation zu vertauschen. In (1) ist also auch beispielsweise die Verwendung der DFT aus (2) möglich, wenn in (2) die IDFT aus (1) verwendet wird.
Vorteilhaft werden die spektralen Koeffizienten der Kurzzeitspektren vor der Hintransformation nicht-linear abgebildet. Prinzipielle, für die Erfindung vorteilhafte Eigenschaft der nicht-linearen Abbildung ist eine Dynamik-Kompression relativ großer Amplituden und eine Dynamik-Expansion relativ kleiner Amplituden.
Entsprechend können die spektralen Koeffizienten der geglätteten Kurzzeitspektren nach der Rücktransformation nicht-linear abgebildet werden, wobei die nicht-lineare Abbildung nach der Rücktransformation die Umkehrung der nicht-linearen Abbildung vor der Hintransformation ist.
Zweckmäßigerweise werden die spektralen Koeffizienten vor der Hintransformation durch Logarithmierung nicht-linear abgebildet.
Eine Form der zeitlichen Glättung kann durch ein rekursives System vorzugsweise erster Ordnung erreicht werden:
GSLW . (3) Mögliche Werte für die Glättungskonstanten für Koeffizienten der Standard- transformationen im Falle von Sprachsignalen sind ßμ> = 0 für μ' = 0 ... 3, ßμ- = 0,8 für μ' = 4 ... M/2 mit Ausnahme der Transformationskoeffizienten durch die die Pitch-Frequenz eines Sprechers repräsentiert wird, und ßμ> = 0,4 für Transformationskoeffizienten, die die Pitch-Frequenz repräsentieren. Verfahren zur Bestimmung des Pitch-Koeffizienten sind zahlreich in der Literatur verfügbar. Beispielsweise kann zur Bestimmung des Koeffizienten der Pitch derjenige Koeffizient gewählt werden, dessen Index zwischen μ' = 16 und μ' = 160 liegt und der die maximale Amplitude aller Koeffizienten in diesem Indexbereich aufweist. Für die verbleibenden Transformationskoeffizienten mit Indizes μ' = M/2 + 1 ... M - 1 gilt die Symmetriebedingung ßM-μ' = ßμ'. Die Werte sind für die Standardtransformationen sowie Kurzzeitspektren, die aus Signalen mit /. = 8000 Hz entstanden sind, geeignet. Sie sind durch verhältnismäßige
Umrechnung an andere Systeme anpassbar. Die Wahl ßμ> = 0 bedeutet, dass die betreffenden Koeffizienten nicht geglättet werden. Es ist eine entscheidende Eigenschaft der Erfindung, dass Koeffizienten, die den groben Verlauf des Kurzzeitspektrums beschreiben, möglichst wenig geglättet werden, wenn es sich um die Entrauschung von Sprachsignalen handelt. So werden die groben Strukturen des breitbandigen Sprachspektrums vor Glättungseffekten geschützt. Die feinen Strukturen von Fluktuationen bzw. spektralen Ausreißern bilden sich bei den Standardtransformationen in den Transformationskoeffizienten zwischen μ' = 4 und μ' = M/2 ab, weshalb diese bis auf den Pitch der Sprache stark geglättet werden.
Vorteilhafterweise wird das Glättungsverfahren auf den Betrag oder eine Potenz des Betrags der Kurzzeitspektren angewendet.
Besonders vorteilhaft ist es, wenn zum Glätten der jeweiligen Transformationskoeffizienten unterschiedliche Zeitkonstanten verwendet werden. Die Zeitkonstanten können so gewählt werden, dass die Trans- formationskoeffizenten, die vornehmlich Sprache repräsentieren, wenig geglättet werden. Zweckmäßigerweise können die Transformations- koeffizenten, die hauptsächlich fluktuierende Hintergrundgeräusche und Artefakte der Geräuschreduktionsalgorithmen beschreiben, stark geglättet werden.
Als Kurzzeitspektrum kann die spektrale Gewichtungsfunktion eines Geräuschreduktionsalgorithmus bereitgestellt werden. Vorteilhaft kann als Kurzzeitspektrum auch die spektrale Gewichtungsfunktion eines Postfilters für mehrkanalige Verfahren zur Geräuschreduktion verwendet werden. Zweckmäßigerweise ergibt sich die spektrale Gewichtungsfunktion hierbei aus der Minimierung eines Fehlerkriteriums.
Als Kurzzeitspektrum kann auch ein gefiltertes Kurzzeitspektrum bereitgestellt werden.
Nach einer anderen Weiterbildung des Verfahrens, wird als Kurzzeitspektrum eine spektrale Gewichtungsfunktion eines mehrkanaligen Verfahrens zur Geräuschreduktion bereitgestellt.
Als Kurzzeitspektrum kann auch eine geschätzte Kohärenz oder eine geschätzte „Magnitude Squared Coherence" zwischen wenigstens zwei Mikrofonkanälen bereitgestellt werden.
Vorteilhaft wird als Kurzzeitspektrum eine spektrale Gewichtungsfunktion eines mehrkanaligen Verfahrens zur Sprecher- oder Quellentrennung bereitgestellt.
Weiterhin ist vorgesehen, dass als Kurzzeitspektrum eine spektrale Gewichtungsfunktion eines mehrkanaligen Verfahrens zur Sprechertrennung auf Basis von Phasenunterschieden von Signalen in den verschiedenen Kanälen (Phase Transform - PHAT) bereitgestellt wird.
Ferner ist es möglich, als Kurzzeitspektrum eine spektrale Gewichtungsfunktion eines mehrkanaligen Verfahrens auf Basis einer „Generalized Cross- Correlation" (GCC) zu verwenden.
Als Kurzzeitspektrum können auch spektrale Größen, die sowohl Sprach- als auch Störanteile enthalten, bereitgestellt werden. So kann als Kurzzeitspektrum auch eine Schätzung des Signal-zu-Rausch- Verhältnisses in den einzelnen Frequenzbins bereitgestellt werden. Femer kann als Kurzzeitspektrum eine Schätzung der Rauschleistung verwendet werden.
Das Problem von Fluktuationen in Kurzzeitspektren ist nicht nur in der Audiosignalverarbeitung bekannt. Weitere vorteilhafte Anwendungsgebiete sind die Bild- und die medizinische Signalverarbeitung.
In der Bildverarbeitung kann z.B. die Zeile eines Bildes als Signalrahmen interpretiert werden, der in den Spektralbereich transformiert werden kann. Die entstehenden Frequenzbins werden hier Ortsfrequenzbins genannt. Bei der Verarbeitung von Bildern im Ortsfrequenzbereich werden Algorithmen verwendet, die denen in der Audiosignalverarbeitung äquivalent sind. Mögliche Fluktuationen, die diese Algorithmen im Ortsfrequenzbereich erzeugen, resultieren im verarbeiteten Bild in optischen Artefakten. Diese sind äquivalent zum tonalen Rauschen in der Audioverarbeitung.
In der medizinischen Signalverarbeitung werden vom menschlichen Körper Signale abgeleitet, die wie akustische Signale verrauscht sein können. Das verrauschte Signal kann entsprechend rahmenweise in den Spektralbereich transformiert werden. Die entstehenden Spektrogramme lassen sich wie Audiospektren verarbeiten.
Das Glättungsverfahren kann in einem Telekommunikationsnetzwerk und/oder bei einer Rundfunkübertragung zur Verbesserung der Sprach- und/oder Bildqualität sowie zur Unterdrückung von Artefakten eingesetzt werden. In der mobilen Sprachkommunikation treten Verzerrungen des Sprachsignals auf, die zum einen durch die eingesetzten Sprachcodierverfahren (redundanzver- mindemde Sprachkompression) und das damit verbundene Quantisierungsrauschen und zum anderen durch die vom Übertragungskanal hervorgerufenen Störungen bedingt sind. Letztere sind wiederum stark zeitlich und spektral fluktuierend und führen zu einer deutlich wahrnehmbaren Verschlechterung der Sprachqualität. Auch hier muss die empfängerseitig oder im Netzwerk einge- setzte Signalverarbeitung sicherstellen, dass die quasi zufälligen Artefakte reduziert werden. Zur Qualitätsverbesserung werden bisher sogenannte Postfilter und Fehlerverdeckungsverfahren eingesetzt. Während das Postfilter überwiegend die Reduktion von Quantisierungsrauschen zur Aufgabe hat, werden Fehlerverdeckungsverfahren zur Unterdrückung von übertragungsbedingten Kanalstörungen eingesetzt. In beiden Anwendungen können Verbesserungen erzielt werden, wenn in das Postfilter oder das Verdeckungsverfahren das erfindungsgemäße Glättungsverfahren integriert wird. Das Glättungsverfahren kann somit als Postfilter, in einem Postfilter, in Kombination mit einem Postfilter, im Rahmen eines Fehlerverdeckungsverfahrens oder in Zusammenhang mit einem Verfahren zur Sprach- und/oder Bildcodierung (Dekompressions- verfahren bzw. Dekodierungsverfahren) insbesondere empfängerseitig eingesetzt werden. Mit der Verwendung des Verfahrens als Postfilter ist dabei gemeint, dass das Verfahren zum Postfiltem eingesetzt wird, dass also mit einem das Verfahren umsetzenden Algorithmus die in den Anwendungen entstehenden Daten prozessiert werden. Weiterhin ist es möglich, die Qualität des Sprachsignals im Telekommunikationsnetzwerk zu verbessern, indem das Sprachsignalspektrum oder eine davon abgeleitete Größe mit dem erfindungsgemäßen Glättungsverfahren geglättet wird.
Die Erfindung wird nachfolgend anhand von in den Figuren dargestellten Abbildungen näher erläutert. Es zeigen:
Figur 1 ein unverrauschtes Zeitsignal;
Figur 2 ein verrauschtes Zeitsignal;
Figur 3 einen einzelnen Signalrahmen im Zeitbereich;
Figur 4 einen einzelnen Signalrahmen im Spektralbereich;
Figur 5 eine Gewichtungsfunktion für einen einzelnen Rahmen;
Figur 6 das Spektrogramm eines unverrauschten Signals;
Figur 7 das Spektrogramm eines verrauschten Signals; Figur 8 das Spektrogramm eines mit der ungeglätteten Gewichtungsfunktion gefilterten Signals;
Figur 9 das Spektrogramm eines mit einer erfindungsgemäß geglätteten Gewichtungsfunktion gefilterten Signals;
Figur 10 ein gefiltertes Zeitsignal mit tonalen Artefakten;
Figur 11 ein gemäß der Erfindung gefiltertes Zeitsignal;
Figur 12 das Spektrogramm einer ungeglätteten Gewichtungsfunktion;
Figur 13 das Spektrogramm einer erfindungsgemäß geglätteten Gewichtungsfunktion;
Figur 14 den Betrag des Cepstrums eines unverrauschten Sprachsignals und
Figur 15 den Signalflussgraphen gemäß einer bevorzugten Ausführungsform der Erfindung.
In Figur 1 ist ein unverrauschtes Signal in Form der Amplitude über die Zeit dargestellt. Die Dauer des Signals ist 4 Sekunden, die Amplituden reichen von ca. -0,18 bis ca. 0,18. In Figur 2 ist das Signal in verrauschter Form dargestellt. Man erkennt ein zufälliges Grundrauschen über dem gesamten Zeitverlauf.
In Figur 3 ist das Signal eines einzelnen Signalrahmens λ dargestellt. Der Signalrahmen hat eine Segmentdauer von 32 Millisekunden. Die Amplitude beider Graphen bewegt sich zwischen -0,1 und 0,1. Die einzelnen Abtastwerte der digitalen Signale sind zu Graphen verbunden. Der verrauschte Graph repräsentiert das Eingangssignal, in dem das unverrauschte Signal enthalten ist. Eine Trennung von Signal und Rauschen im verrauschten Signal ist in dieser Repräsentation des Signals kaum möglich.
Figur 4 ist eine Darstellung desselben Signalrahmens nach der Transformation in den Frequenzbereich. Die einzelnen Frequenzbins μ sind zu Graphen verbunden. Auch in dieser Figur sind die Frequenzbins verrauscht und unverrauscht dargestellt, wobei wieder das unverrauschte Signal das im verrauschten Signal enthaltene Sprachsignal ist. Über der Abszisse sind die Frequenzbins μ von 0 bis 128 eingezeichnet. Sie haben Amplituden von ca. -40 Dezibel (dB) bis ca. 10 dB. Aus dem Vergleich der Graphen ist ersichtlich, dass die Energie des Sprachsignals in einigen Frequenzbins in einer kammartigen Struktur konzentriert ist, während das Rauschen auch in den dazwischenliegenden Bins vorhanden ist.
In Figur 5 ist eine Gewichtungsfunktion für den verrauschten Rahmen aus Figur 4 dargestellt. Für jeden Frequenzbin μ ergibt sich in Abhängigkeit vom Verhältnis aus Sprach- und Rauschenergie ein Faktor zwischen 0 und 1. Die einzelnen Gewichtungsfaktoren sind zu einem Graphen verbunden. Man erkennt die kammartige Struktur des Sprachspektrums wieder.
In den Figuren 6 und 7 sind Spektrogramme aus einer Folge von unverrauschten bzw. verrauschten Kurzzeitspektren (Figur 4) dargestellt. Auf der Abszisse ist der Rahmenindex λ aufgetragen, über der Ordinate der Frequenzbinindex μ. Die Amplituden der einzelnen Frequenzbins sind als Grauwerte dargestellt. Im Vergleich von Figur 6 und 7 wird deutlich, wie Sprache in wenigen Frequenzbins konzentriert ist. Sie bildet zudem regelmäßige Strukturen aus. Das Rauschen ist dagegen über alle Frequenzbins verteilt.
In Figur 8 ist das Spektrogramm eines gefilterten Signals dargestellt. Die Achsen entsprechen denen aus den Figuren 6 und 7. Aus einem Vergleich mit Figur 6 ist erkennbar, dass durch Schätzfehler in der Gewichtungsfunktion hohe Amplituden in Frequenzbins verbleiben, die keine Sprache enthalten. Diese Ausreißer zu unterdrücken ist Ziel des erfindungsgemäßen Verfahrens.
In Figur 9 ist das Spektrogramm eines Signals dargestellt, das gemäß einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens mit einer geglätteten Gewichtungsfunktion gefiltert wurde. Die Achsen entsprechen denen der vorangegangenen Spektrogramme. Im Vergleich mit Figur 8 sind die Ausreißer stark vermindert. Die Sprachanteile im Spektrogramm sind dagegen in ihrer wesentlichen Form erhalten. In den Figuren 10 und 11 sind die Zeitsignale dargestellt, die sich jeweils aus den gefilterten Spektren der Figuren 8 und 9 ergeben. Aufgetragen ist die Amplitude über der Zeit. Die Signale sind 4 Sekunden lang und haben Amplituden zwischen ca. -0,18 und 0,18. Die Ausreißer im Spektrogramm aus Figur 8 ergeben im zugehörigen Zeitsignal in Figur 10 deutlich sichtbare tonale Artefakte, die im unverrauschten Signal aus Figur 1 nicht vorhanden sind. Das Zeitsignal in Figur 11 weist einen deutlich ruhigeren Verlauf des Restrauschens auf. Dieses Zeitsignal ergibt sich aus dem Spektrogramm von Figur 9, das durch Filterung mit der geglätteten Gewichtungsfunktion erzeugt wurde.
In Figur 12 ist die ungeglättete Gewichtungsfunktion für alle Rahmen dargestellt. Zu jedem Rahmen λ sind entlang der Ordinate Frequenzbins μ aufgetragen. Die Werte der Gewichtungsfunktion sind als Grauton dargestellt. Die Fluktuationen, die aus Schätzfehlern resultieren, sind als unregelmäßige Flecken erkennbar.
In Figur 13 ist die geglättete Gewichtungsfunktion für alle Rahmen dargestellt. Die Achsen entsprechen denen aus Figur 12. Durch die Glättung werden die Fluktuationen verschmiert und im Wert stark vermindert. Die Struktur der Sprachfrequenzbins bleibt dagegen deutlich erkennbar.
In Figur 14 ist der Betrag des Cepstrums eines unverrauschten Signals über alle Rahmen dargestellt. Zu jedem Rahmen λ sind entlang der Ordinate die cepstralen Bins μ' aufgetragen. Die Werte der Beträge der cepstralen
Koeffizienten Gypst {λ) sind als Grautöne dargestellt. Ein Vergleich mit Figur 6 zeigt, dass Sprache im Cepstrum auf eine noch geringere Anzahl von Koeffizienten konzentriert ist. Außerdem sind diese Koeffizienten in ihrer Position weniger variabel. Deutlich erkennbar ist auch der Verlauf des cepstralen Koeffizienten, der die Pitch-Frequenz repräsentiert.
In Figur 15 ist ein Signalflussgraph gemäß einer bevorzugten Ausführungsform der Erfindung dargestellt. Ein verrauschtes Eingangssignal wird in eine Folge von Kurzzeitspektren transformiert und daraus über spektrale Zwischengrößen anschließend eine Gewichtungsfunktion zur Filterung geschätzt. Es wird jeweils ein Rahmen zur Zeit bearbeitet. Zunächst werden die Kurzzeitspektren der Gewichtungsfunktion einer nicht-linearen, logarithmischen Abbildung unterworfen. Es folgt eine Hintransformation in den cepstralen Bereich. Die so transformierten Kurzzeitspektren werden damit durch Transformationskoeffizienten der Basisfunktionen repräsentiert. Die auf diesem Wege berechneten Transformationskoeffizienten werden getrennt voneinander unter Verwendung von unterschiedlichen Zeitkonstanten geglättet. Der rekursive Charakter der Glättung ist durch die Rückführung der Ausgabe der Glättung zu ihrem Eingang angedeutet. Von den Signalpfaden der insgesamt M Transformationskoeffizienten sind nur 3 dargestellt, die restlichen sind durch drei Punkte „..." ersetzt. Nach der Glättung erfolgen eine Rücktransformation und danach die nicht-lineare Umkehrabbildung. Auf diese Weise erhält man als Ergebnis eine Folge von geglätteten Kurzzeitspektren der Gewichtungsfunktion. Diese geglätteten Kurzzeitspektren der Gewichtungsfunktion können mit den verrauschten Kurzzeitspektren multipliziert werden, wodurch gefilterte Kurzzeitspektren mit wenigen Ausreißern entstehen. Diese können dann in ein Zeitsignal mit verringertem Rauschpegel umgerechnet werden. Der Teil des Signalflussgraphen, der die erfindungsgemäße Glättung beschreibt, ist gestrichelt umrandet.

Claims

Patentansprüche
1. Glättungsverfahren zur Unterdrückung von fluktuierenden Artefakten bei der Störgeräuschreduktion mit folgenden Schritten:
• Bereitstellen von Kurzzeitspektren einer Folge von Signalrahmen,
• Transformieren jedes Kurzzeitspektrums durch eine Hintransformation, die das Kurzzeitspektrum durch Transformationskoeffizienten beschreibt, welche das Kurzzeitspektrum in seine groben und seine feinen Strukturen unterteilt repräsentieren,
• Glätten der Transformationskoeffizienten jeweils gleicher Koeffizientenindizes durch Kombination von wenigstens zwei aufeinanderfolgenden transformierten Kurzzeitspektren und
• Transformieren der geglätteten Transformationskoeffizienten in geglättete Kurzzeitspektren durch eine Rücktransformation.
2. Glättungsverfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass für die Rücktransformation die Inverse zur Hintransformation verwendet wird.
3. Glättungsverfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Transformation mit orthogonaler Basis verwendet wird.
4. Glättungsverfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Transformation mit nicht-orthogonaler Basis verwendet wird.
5. Glättungsverfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass für die Transformationen die diskrete Fourier- Transformation und ihre Inverse verwendet werden.
6. Glättungsverfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass für die Transformationen die Fast-Fourier-Trans- formation und ihre Inverse verwendet werden.
7. Glättungsverfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass für die Transformationen die diskrete Cosinus- Transformation und ihre Inverse verwendet werden.
8. Glättungsverfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass für die Transformationen die diskrete Sinus- Transformation und ihre Inverse verwendet werden.
9. Glättungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kurzzeitspektren vor der Hintransformation nicht-linear abgebildet werden.
10. Glättungsverfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die geglätteten Kurzzeitspektren nach der Rücktransformation nicht-linear abgebildet werden, wobei die nichtlineare Abbildung der Rücktransformation die Umkehrung der nichtlinearen Abbildung der Hintransformation ist.
11. Glättungsverfahren nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kurzzeitspektren vor der Hintransformation durch Logarithmierung nicht-linear abgebildet werden.
12. Glättungsverfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass zum Glätten der Transformationskoeffizienten eine rekursive Glättung verwendet wird.
13. Glättungsverfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass zum Glätten der Transformationskoeffizienten eine nicht-rekursive Glättung verwendet wird.
14. Glättungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Glättung auf den Betrag oder eine Potenz des Betrags der Kurzzeitspektren angewendet wird.
15. Glättungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Glätten der jeweiligen Transformationskoeffizienten unterschiedliche Zeitkonstanten verwendet werden.
16. Glättungsverfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass Zeitkonstanten so gewählt werden, dass die Transformationskoeffizienten, die typischerweise spektrale Strukturen von Sprache beschreiben, wenig geglättet werden.
17. Glättungsverfahren nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Zeitkonstanten so gewählt werden, dass die Transformationskoeffizienten, die spektrale Strukturen von fluktuierenden spektralen Größen und von Artefakten von Geräuschreduktionsalgorithmen beschreiben, stark geglättet werden.
18. Glättungsverfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass als Kurzzeitspektrum eine spektrale Gewichtungsfunktion eines Geräuschreduktionsalgorithmus bereitgestellt wird.
19. Glättungsverfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass als Kurzzeitspektrum eine spektrale Gewichtungsfunktion eines Postfilters für mehrkanalige Verfahren zur Geräuschreduktion verwendet wird.
20. Glättungsverfahren nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich die spektrale Gewichtungsfunktion aus der Minimierung eines Fehlerkriteriums ergibt.
21. Glättungsverfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass als Kurzzeitspektrum ein gefiltertes Kurzzeitspektrum bereitgestellt wird.
22. Glättungsverfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass als Kurzzeitspektrum eine spektrale Gewichtungsfunktion eines mehrkanaligen Verfahrens zur Geräuschreduktion bereitgestellt wird.
23. Glättungsverfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass als Kurzzeitspektrum eine geschätzte Kohärenz oder eine geschätzte „Magnitude Squared Coherence" zwischen wenigstens zwei Mikrofonkanälen bereitgestellt wird.
24. Glättungsverfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass als Kurzzeitspektrum eine spektrale Gewichtungsfunktion eines mehrkanaligen Verfahrens zur Sprecheroder Quellentrennung bereitgestellt wird.
25. Glättungsverfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass als Kurzzeitspektrum eine spektrale Gewichtungsfunktion eines mehrkanaligen Verfahrens zur Sprechertrennung auf Basis von Phasenunterschieden von Signalen in den verschiedenen Kanälen (Phase Transform - PHAT) bereitgestellt wird.
26. Glättungsverfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass als Kurzzeitspektrum eine spektrale Gewichtungsfunktion eines mehrkanaligen Verfahrens zur Geräuschreduktion auf Basis einer „Generalized Cross-Correlation" (GCC) bereitgestellt wird.
27. Glättungsverfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass als Kurzzeitspektrum spektrale Größen, die sowohl Sprach- als auch Störanteile enthalten, bereitgestellt werden.
28. Glättungsverfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass als Kurzzeitspektrum eine Schätzung des Signal-zu-Rausch-Verhältnisses bereitgestellt wird.
29. Glättungsverfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass als Kurzzeitspektrum eine Schätzung der Rauschleistung bereitgestellt wird.
30. Glättungsverfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass als Kurzzeitspektrum transformierte Signalrahmen eines Bildsignals bereitgestellt werden und die Zeilen- oder spaltenweise oder 2-dimensional berechneten Koeffizienten des transformierten Bildsignals einer räumlichen Glättung mit unterschiedlichen Glättungsparametem unterworfen werden.
31. Glättungsverfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das Bildsignal ein Videosignal ist.
32. Glättungsverfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass als Kurzzeitspektrum ein transformiertes, vom menschlichen Körper abgeleitetes, medizinisches Signal verwendet wird.
33. Glättungsverfahren nach einem der Ansprüche 1 bis 32, d ad u rch gekennzeichnet dass das Glättungsverfahren in einem Postfilter, in Kombination mit einem Postfilter, im Rahmen eines Fehler- verdeckungsverfahrens oder in Zusammenhang mit einem Verfahren zur Sprach- und/oder Bildcodierung insbesondere empfängerseitig eingesetzt wird.
34. Glättungsverfahren nach einem der Ansprüche 1 bis 33, dadurch gekennzeichnet, dass das Glättungsverfahren in einem Telekommunikationsnetzwerk und/oder bei einer Rundfunkübertragung zur Verbesserung der Sprach- und/oder Bildqualität sowie zur Unterdrückung von Artefakten eingesetzt wird.
EP08784249A 2007-06-27 2008-06-25 Spektralglättungsverfahren von verrauschten signalen Not-in-force EP2158588B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007030209A DE102007030209A1 (de) 2007-06-27 2007-06-27 Glättungsverfahren
PCT/DE2008/001047 WO2009000255A1 (de) 2007-06-27 2008-06-25 Spektralglättungsverfahren von verrauschten signalen

Publications (2)

Publication Number Publication Date
EP2158588A1 true EP2158588A1 (de) 2010-03-03
EP2158588B1 EP2158588B1 (de) 2010-10-13

Family

ID=39767094

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08784249A Not-in-force EP2158588B1 (de) 2007-06-27 2008-06-25 Spektralglättungsverfahren von verrauschten signalen

Country Status (6)

Country Link
US (1) US8892431B2 (de)
EP (1) EP2158588B1 (de)
AT (1) ATE484822T1 (de)
DE (2) DE102007030209A1 (de)
DK (1) DK2158588T3 (de)
WO (1) WO2009000255A1 (de)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE454696T1 (de) * 2007-08-31 2010-01-15 Harman Becker Automotive Sys Schnelle schätzung der spektraldichte der rauschleistung zur sprachsignalverbesserung
US8588138B2 (en) * 2009-07-23 2013-11-19 Qualcomm Incorporated Header compression for relay nodes
US8675115B1 (en) 2011-02-14 2014-03-18 DigitalOptics Corporation Europe Limited Forward interpolation approach for constructing a second version of an image from a first version of the image
US8577186B1 (en) * 2011-02-14 2013-11-05 DigitalOptics Corporation Europe Limited Forward interpolation approach using forward and backward mapping
WO2012128678A1 (en) * 2011-03-21 2012-09-27 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for damping of dominant frequencies in an audio signal
JP2014513320A (ja) 2011-03-21 2014-05-29 テレフオンアクチーボラゲット エル エム エリクソン（パブル） オーディオ信号におけるドミナント周波数を減衰する方法及び装置
GB201114737D0 (en) * 2011-08-26 2011-10-12 Univ Belfast Method and apparatus for acoustic source separation
US9026451B1 (en) * 2012-05-09 2015-05-05 Google Inc. Pitch post-filter
JP5772723B2 (ja) * 2012-05-31 2015-09-02 ヤマハ株式会社 音響処理装置および分離マスク生成装置
CN105144290B (zh) * 2013-04-11 2021-06-15 日本电气株式会社 信号处理装置、信号处理方法和信号处理程序
US20150179181A1 (en) * 2013-12-20 2015-06-25 Microsoft Corporation Adapting audio based upon detected environmental accoustics
DE102014210760B4 (de) * 2014-06-05 2023-03-09 Bayerische Motoren Werke Aktiengesellschaft Betrieb einer Kommunikationsanlage
US11385168B2 (en) * 2015-03-31 2022-07-12 Nec Corporation Spectroscopic analysis apparatus, spectroscopic analysis method, and readable medium
US9721581B2 (en) * 2015-08-25 2017-08-01 Blackberry Limited Method and device for mitigating wind noise in a speech signal generated at a microphone of the device
US9972134B2 (en) 2016-06-30 2018-05-15 Microsoft Technology Licensing, Llc Adaptive smoothing based on user focus on a target object
WO2019213769A1 (en) 2018-05-09 2019-11-14 Nureva Inc. Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters
EP3573058B1 (de) * 2018-05-23 2021-02-24 Harman Becker Automotive Systems GmbH Trocken- und raumschalltrennung
JP7278092B2 (ja) * 2019-02-15 2023-05-19 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、撮像装置の制御方法、及びプログラム
US12462782B2 (en) 2021-06-25 2025-11-04 Nureva, Inc. System for dynamically adjusting a soundmask signal based on realtime ambient noise parameters while maintaining echo canceller calibration performance
CN113726348B (zh) * 2021-07-21 2022-06-21 湖南艾科诺维科技有限公司 一种无线电信号频谱的平滑滤波方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02195400A (ja) * 1989-01-24 1990-08-01 Canon Inc 音声認識装置
US5365592A (en) * 1990-07-19 1994-11-15 Hughes Aircraft Company Digital voice detection apparatus and method using transform domain processing
US5737485A (en) * 1995-03-07 1998-04-07 Rutgers The State University Of New Jersey Method and apparatus including microphone arrays and neural networks for speech/speaker recognition systems
US6070140A (en) * 1995-06-05 2000-05-30 Tran; Bao Q. Speech recognizer
DE19629132A1 (de) * 1996-07-19 1998-01-22 Daimler Benz Ag Verfahren zur Verringerung von Störungen eines Sprachsignals
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US6226606B1 (en) * 1998-11-24 2001-05-01 Microsoft Corporation Method and apparatus for pitch tracking
US6766292B1 (en) * 2000-03-28 2004-07-20 Tellabs Operations, Inc. Relative noise ratio weighting techniques for adaptive noise cancellation
JP3566197B2 (ja) * 2000-08-31 2004-09-15 松下電器産業株式会社 雑音抑圧装置及び雑音抑圧方法
US7054810B2 (en) * 2000-10-06 2006-05-30 International Business Machines Corporation Feature vector-based apparatus and method for robust pattern recognition
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US7124075B2 (en) * 2001-10-26 2006-10-17 Dmitry Edward Terez Methods and apparatus for pitch determination
US20040002856A1 (en) * 2002-03-08 2004-01-01 Udaya Bhaskar Multi-rate frequency domain interpolative speech CODEC system
US7725314B2 (en) * 2004-02-16 2010-05-25 Microsoft Corporation Method and apparatus for constructing a speech filter using estimates of clean speech and noise
US7689419B2 (en) * 2005-09-22 2010-03-30 Microsoft Corporation Updating hidden conditional random field model parameters after processing individual training samples
US7680663B2 (en) * 2006-08-21 2010-03-16 Micrsoft Corporation Using a discretized, higher order representation of hidden dynamic variables for speech recognition
US8145488B2 (en) * 2008-09-16 2012-03-27 Microsoft Corporation Parameter clustering and sharing for variable-parameter hidden markov models

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2009000255A1 *

Also Published As

Publication number Publication date
DE502008001543D1 (de) 2010-11-25
EP2158588B1 (de) 2010-10-13
WO2009000255A9 (de) 2010-05-14
DK2158588T3 (da) 2011-02-07
US20100182510A1 (en) 2010-07-22
DE102007030209A1 (de) 2009-01-08
US8892431B2 (en) 2014-11-18
ATE484822T1 (de) 2010-10-15
WO2009000255A1 (de) 2008-12-31

Similar Documents

Publication Publication Date Title
EP2158588B1 (de) Spektralglättungsverfahren von verrauschten signalen
DE60116255T2 (de) Rauschunterdückungsvorrichtung und -verfahren
DE60131639T2 (de) Vorrichtungen und Verfahren zur Bestimmung von Leistungswerten für die Geräuschunterdrückung für ein Sprachkommunikationssystem
DE112009000805B4 (de) Rauschreduktion
DE602005000539T2 (de) Verstärkungsgesteuerte Geräuschunterdrückung
DE60225130T2 (de) Verbesserung der transientenleistung bei kodierern mit niedriger bitrate durch unterdrückung des vorgeräusches
EP1143416B1 (de) Geräuschunterdrückung im Zeitbereich
DE69428119T2 (de) Verringerung des hintergrundrauschens zur sprachverbesserung
DE60024501T2 (de) Verbesserung der perzeptuellen Qualität von SBR (Spektralbandreplikation) UND HFR (Hochfrequenzen-Rekonstruktion) Kodierverfahren mittels adaptivem Addieren von Grundrauschen und Begrenzung der Rauschsubstitution
DE60027438T2 (de) Verbesserung eines verrauschten akustischen signals
DE19747885B4 (de) Verfahren zur Reduktion von Störungen akustischer Signale mittels der adaptiven Filter-Methode der spektralen Subtraktion
DE3689035T2 (de) Rauschminderungssystem.
DE69630580T2 (de) Rauschunterdrücker und Verfahren zur Unterdrückung des Hintergrundrauschens in einem verrauschten Sprachsignal und eine Mobilstation
DE69627580T2 (de) Verfahren zur Rauschverminderung in einem Sprachsignal
DE112011104737B4 (de) Geräuschunterdrückungsvorrichtung
DE112012006876T5 (de) Formantabhaengige Sprachsignalverbesserung
AT509570B1 (de) Methode und apparat zur einkanal-sprachverbesserung basierend auf einem latenzzeitreduzierten gehörmodell
DE112011106045B4 (de) Audiosignal-Wiederherstellungsvorrichtung und Audiosignal-Wiederherstellungsverfahren
EP3065417B1 (de) Verfahren zur unterdrückung eines störgeräusches in einem akustischen system
EP1103956A2 (de) Exponentielle Echo- und Geräuschabsenkung in Sprachpausen
EP1155561B1 (de) Vorrichtung und verfahren zur geräuschunterdrückung in fernsprecheinrichtungen
DE102018117558A1 (de) Adaptives nachfiltern
EP1239455A2 (de) Verfahren und Anordnung zur Durchführung einer an die Übertragungsfunktion menschilcher Sinnesorgane angepassten Fourier Transformation sowie darauf basierende Vorrichtungen zur Geräuschreduktion und Spracherkennung
DE602004006912T2 (de) Verfahren zur Verarbeitung eines akustischen Signals und ein Hörgerät
DE10137348A1 (de) Verfahren und Schaltungsanordnung zur Geräuschreduktion bei der Sprachübertragung in Kommunikationssystemen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20091210

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

DAX Request for extension of the european patent (deleted)
AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 502008001543

Country of ref document: DE

Date of ref document: 20101125

Kind code of ref document: P

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: SIEMENS SCHWEIZ AG

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20101013

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20101013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110113

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110113

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110213

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110214

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110114

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110124

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

26N No opposition filed

Effective date: 20110714

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502008001543

Country of ref document: DE

Effective date: 20110714

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

BERE Be: lapsed

Owner name: RUHR-UNIVERSITAT BOCHUM

Effective date: 20110630

Owner name: SIEMENS AUDIOLOGISCHE TECHNIK G.M.B.H.

Effective date: 20110630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110630

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20120626

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110625

Ref country code: CY

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20101013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20101013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130625

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 484822

Country of ref document: AT

Kind code of ref document: T

Effective date: 20130625

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130625

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502008001543

Country of ref document: DE

Representative=s name: FDST PATENTANWAELTE FREIER DOERR STAMMLER TSCH, DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502008001543

Country of ref document: DE

Representative=s name: FDST PATENTANWAELTE FREIER DOERR STAMMLER TSCH, DE

Ref country code: DE

Ref legal event code: R081

Ref document number: 502008001543

Country of ref document: DE

Owner name: RUHR-UNIVERSITAET BOCHUM, DE

Free format text: FORMER OWNERS: RUHR-UNIVERSITAET BOCHUM, 44801 BOCHUM, DE; SIEMENS AUDIOLOGISCHE TECHNIK GMBH, 91058 ERLANGEN, DE

Ref country code: DE

Ref legal event code: R081

Ref document number: 502008001543

Country of ref document: DE

Owner name: SIVANTOS GMBH, DE

Free format text: FORMER OWNERS: RUHR-UNIVERSITAET BOCHUM, 44801 BOCHUM, DE; SIEMENS AUDIOLOGISCHE TECHNIK GMBH, 91058 ERLANGEN, DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20190624

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20190626

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20190624

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20190624

Year of fee payment: 12

Ref country code: GB

Payment date: 20190624

Year of fee payment: 12

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502008001543

Country of ref document: DE

REG Reference to a national code

Ref country code: DK

Ref legal event code: EBP

Effective date: 20200630

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20200625

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200630

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200625

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200630

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210101

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200630