DE69920461T2 - Verfahren und Vorrichtung zur robusten Merkmalsextraktion für die Spracherkennung - Google Patents

Verfahren und Vorrichtung zur robusten Merkmalsextraktion für die Spracherkennung Download PDF

Info

Publication number
DE69920461T2
DE69920461T2 DE69920461T DE69920461T DE69920461T2 DE 69920461 T2 DE69920461 T2 DE 69920461T2 DE 69920461 T DE69920461 T DE 69920461T DE 69920461 T DE69920461 T DE 69920461T DE 69920461 T2 DE69920461 T2 DE 69920461T2
Authority
DE
Germany
Prior art keywords
spectral
short
spectrum
noise
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69920461T
Other languages
English (en)
Other versions
DE69920461D1 (de
Inventor
Raymond Brückner
Hans-Günther Hirsch
Rainer Klisch
Volker Springer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of DE69920461D1 publication Critical patent/DE69920461D1/de
Application granted granted Critical
Publication of DE69920461T2 publication Critical patent/DE69920461T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Telephonic Communication Services (AREA)
  • Facsimile Transmission Control (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Image Analysis (AREA)

Description

  • Die Erfindung bezieht sich auf ein Verfahren und eine Einrichtung zum Ausführen einer robusten Merkmalsextrahierung für eine Spracherkennung in einem Umfeld mit Rauschen.
  • In dem Gebiet der Spracherkennung tritt ein Hauptproblem für eine akkurate Erkennung von Sprache in einem Fall eines Umfelds mit Rauschen auf. Alle möglichen verschiedenen Arten von Rauschen haben einen Einfluss auf die Spracherkennung, und sie können eine Erkennungsgenauigkeit drastisch verringern.
  • Vor allem in dem Gebiet des mobilen Fernsprechverkehrs oder von Zugangssystemen, die einen Zugang nach einer Erkennung eines gesprochenen Passworts erlauben, wird Spracherkennung immer wichtiger. Vor allem in diesen genannten Gebieten sind von den möglichen verschiedenen Arten von Rauschen die problematischsten ein zusätzliches stationäres oder ein nicht-stationäres Hintergrundrauschen. Eine andere Art von die Erkennungsgenauigkeit verringerndem Rauschen ist der Einfluss von Frequenzeigenschaften eines Übertragungskanals, falls die zu erkennende Sprache über solch einen Kanal übertragen wird. Zusätzliches Rauschen kann aus einem Hintergrundrauschen in Kombination mit einem auf einer Übertragungsleitung erzeugten Rauschen bestehen.
  • Deshalb ist es aus dem Stand der Technik bekannt, eine sogenannte lineare oder nicht-lineare spektrale Subtrahierung bereitzustellen. Die spektrale Subtrahierung ist eine Rauschunterdrückungstechnik, die die Effekte von zusätzlichem Rauschen zur Sprache reduziert. Sie schätzt die Größe oder das Leistungsspektrum von sauberer Sprache ab durch ein explizites Subtrahieren der Rauschgröße oder des Leistungsspektrums von der Größe mit Rauschen oder dem Leistungsspektrum. Solch eine Technik wurde zum Verbessern von Sprache in verschiedenen Kommunikationssituationen entwickelt.
  • Während die spektrale Subtrahierung eine Abschätzung des Rauschens während Pausen benötigt, wird auch angenommen, dass Rauscheigenschaften sich langsam ändern, um zu garantieren, dass die Rauschabschätzung noch gültig ist. Der Erfolg dieses Verfahrens benötigt die Verfügbarkeit eines robusten Endpunktes oder eines Sprachaktivierungsdetektors, um Sprache von Rauschen zu unterscheiden. Jedoch stellt eine gute Sprach- und Rauschtrennung eine notwendige Bedingung dar, aber sie ist bei einem geringen Signal-zu-Rauschverhältnis (SNR) schwer zu erreichen.
  • Zusätzlich ist selbst dann, wenn die spektrale Subtrahierung recheneffizient ist, da das Rauschen während Sprachpausen abgeschätzt wird, und selbst wenn diese Technik als eine Vorverarbeitungstechnik implementiert werden kann, die die anderen Verarbeitungsschritte unverändert lässt, die Leistungsfähigkeit des spektralen Subtrahierungsverfahrens stark von dem Rauschen abhängig und wie jedes Rauschen extrahiert wird. Das damit in Zusammenhang stehende Problem ist, dass, selbst wenn das Breitbandrauschen reduziert wird, ein Rauschrest verbleibt (Junqua et al; "Robustness in automatic speech recognition"; Kluwer Academic Publisher; 1996; Abschnitt 9.2 Speech Enhancement, Seiten 277 ff.)
  • Nichtsdestotrotz ist, selbst wenn mit den obengenannten Verfahren die Spracherkennung verbessert werden kann, für diese Herangehensweisen die Abschätzung der Rauscheigenschaften entscheidend. Wie oben bemerkt, wird eine Sprach-zu-Rausch-Unterscheidung zum Markieren solcher Segmente eines nur Rauschen enthaltenden Sprachsignals, gebraucht. Aber solch eine Unterscheidung kann nicht fehlerfrei sein, und sie ist schwer zu erreichen. Zusätzlich zu diesem können, wenn Segmente des Sprachsignals betrachtet werden, die das Überlagern von Sprache und stationärem Rauschen enthalten, diese Segmente durch die Überlagerung von entsprechenden Verteilungsfunktionen für eine spektrale Rauschkomponente und eine spektrale Sprachkomponente beschrieben werden. Diese Verteilungsfunktionen überlappen sich abhängig von dem SNR. Die Überlappung ist höher je geringer das SNR ist. Und deshalb kann es in diesem Fall nicht entschieden werden, ob kurzzeitige Spektren Sprache in spektralen Bereichen enthalten, wobei die spektrale Größenordnung der Sprache Werte der gleichen Größe oder geringeren Größe als das Rauschen annimmt.
  • Matsumoto H et al; "Smoothed Spectral Subtraction for a Frequency-Weighted HMM in Noisy Speech Recognition", Proceedings of the International Conference on Spoken Language Processing, XX, XX, 1. Januar 1996, Seiten 905-908, XP002065141 beschreibt ein Verfahren, in welchem ein sauberes Sprachleistungsspektrum durch eine spektrale Subtrahierung eines abgeschätzten Rauschleistungsspektrums von einem Sprachleistungsspektrum mit Rauschen abgeschätzt wird. Um eine Verzerrung in dem abgeschätzten log-Leistungsspektrum zu unterdrücken, das durch die spektrale Subtrahierung hervorgerufen wird, wird ein geglättetes log-Spektrum abgeleitet, und eine neue Abschätzung eines log-Leistungsspektrums wird dann berechnet als eine gewichtete Summe von dem nicht-geglätteten und dem geglätteten log-Leistungsspektrum. Die gewichteten Koeffizienten werden als eine monoton zunehmende Funktion des abgeschätzten SNR ausgewählt, so dass hohe SNR-Komponenten im wesentlichen beibehalten werden, während niedrige SNR-Komponenten im wesentlichen durch solche des geglätteten log-Leistungsspektrums ersetzt werden. Jedoch ist vor allem die Berechnung des geglätteten log-Leistungsspektrums ziemlich komplex und verlangt eine große Menge an Rechenressourcen, die das Verfahren weniger geeignet für mobile Anwendungen machen.
  • Deshalb ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung bereitzustellen, die die Probleme überwinden, und die eine robustere Spracherkennung in einem Umfeld mit Rauschen erlauben.
  • Dies wird durch die Lehre der Ansprüche 1, 12, 17 und 19 erreicht.
  • Gemäß der Erfindung ist es vorteilhaft, dass ein kurzzeitiges nur Rauschen enthaltendes Spektrum geglättet wird und zusätzlich im Fall von Sprachsegmenten mit Rauschen unzuverlässige spektrale Komponenten durch sogenannte zuverlässige Komponenten interpoliert werden, was daher in einer verbesserten Spracherkennung resultiert oder noch deutlicher, in einer robusten Merkmalsextrahierung, die eine verbesserte Spracherkennung unterstützt.
  • Es ist vorteilhaft, die Interpolation basierend auf mindestens einem spektralen Komponenten eines angrenzenden kurzzeitigen Spektrums und/oder mindestens einem in der Zeit vorhergehenden spektralen Komponenten auszuführen, da es erwartet werden könnte, dass eine sogenannte unzuverlässige Sprachkomponente mit einer geringen Wahrscheinlichkeit Sprache zu enthalten, geglättet wird.
  • Weitere bevorzugte Ausführungsformen können in den Ansprüchen 2–11 und 13–16 und 20 gefunden werden.
  • Nach Anspruch 2 wird eine verbesserte Spracherkennung durch Aufnehmen von zwei angrenzenden spektralen Komponenten erreicht, und wobei eine in der Zeit vorangeht.
  • Ein weiterer Vorteil nach Anspruch 3 ist die berechnete Wahrscheinlichkeit mit einer Schwelle zu vergleichen, um eine Definition zu bekommen, welche spektrale Komponente zu interpolieren ist.
  • Nach Anspruch 5 ist es weiterhin vorteilhaft, die spektrale Komponente basierend auf rauschloser Sprache zu interpolieren.
  • Nach Anspruch 8 werden zwei Interpolationen ausgeführt, die in einer noch besseren Spracherkennung resultieren.
  • Es ist nach Anspruch 11 vorteilhaft, die Einteilung YYY der kurzeitigen Spektren auf einem MEL-Frequenzbereich zu basieren, da der MEL-Frequenzbereich auf dem menschlichen Ohr basiert.
  • Weiterhin ist es vorteilhaft, das Verfahren für eine Spracherkennung zum Steuern von elektronischen Geräten anzuwenden, wie zum Beispiel für Mobiltelefone, Telefone oder ein Sprache verwendendes Zugangssystem, um Zugang oder Wählen etc. zu erlauben.
  • In dem folgenden wird die Erfindung weiterhin beschrieben und mittels Beispiele und durch die Figuren unterstützt.
  • Die folgenden Figuren zeigen:
  • 1: Integration einer Interpolation in eine Merkmalsextrahierung nach Anspruch 1,
  • 2: Integration einer Interpolation in eine Merkmalsextrahierung nach Anspruch 5,
  • 3: Integration einer Interpolation in eine Merkmalsextrahierung nach Anspruch 8,
  • 4: Diagramm einer Wahrscheinlichkeitsfunktion für die Existenz von Sprache.
  • Um eine Spracherkennung robuster gegenüber Rauschen zu machen, kann ein robustes Merkmalsextrahierungsschema angewandt werden. Dieses Schema versucht diese Merkmale aus dem Sprachsignal zu extrahieren, die nicht für Rauschen empfindlich sind, oder die von dem Einfluss des Rauschens befreit sind. Zusätzlich zu diesem sind die Mehrheit der Merkmalsextrahierungsschemata auf einer kurzzeitigen spektralen Analyse basiert. Zusätzlich sind die meisten der Spracherkennungssysteme auf einer kurzzeitigen Analyse in dem MEL-Frequenzbereich basiert. Der MEL-Frequenzbereich basiert auf dem menschlichen Ohr und ist im Stand der Technik bekannt und wird deshalb nicht weiter in dieser Anmeldung beschrieben.
  • Der Ausdruck "robust" sollte eine Robustheit gegenüber stationärem und nicht-stationärem Hintergrundrauschen, wie in dem Stand der Technik genannt, abdecken. Zusätzlich zu diesem sollte die in der Anmeldung genannte Robustheit auch eine Robustheit gegenüber unbekannten Frequenzeigenschaften abdecken, die von irgendeiner Art eines elektronischen Gerätes resultieren, zum Beispiel einem Mikrofon und/oder einem digitalen oder analogen Filter durch Verwendung der Erfindung mit einem Mobiltelefon oder irgendeinem anderen Telefon.
  • In dem folgenden wird die Erfindung weiter mit der Hilfe von 1 beschrieben. Ein Sprachsignal wird, nach einer Vorverarbeitung, zum Beispiel einem Framing bzw. einer Rahmenbildung und einer Transformation, die nicht auf dieser Erfindung basiert, und die im Stand der Technik gut bekannt ist, in eine Anzahl von kurzzeitigen spektralen Komponenten in L-Unterbänder aufgespaltet, wobei L = 1, 2, ... L bevorzugt in dem Bereich von 10 bis 30 MEL ist. Die Einteilung in kurzeitige spektrale Komponenten kann auf einer kurzzeitigen spektralen Analyse in dem MEL-Frequenzbereich basieren. Die Ausgabe solch einer Filterbank in dem MEL-Frequenzbereich ist ein kurzzeitiges Größen- oder Leistungsspektrum in die Anzahl von L-Unterbändern mit L = 1, 2, ... .
  • In einem nächsten Schritt wird eine Abschätzung eines Rauschspektrums von nur Rauschen enthaltenden Segmenten ausgeführt ES. Dies kann durch Anwenden eines Sprachaktivitätsdetektors durchgeführt werden. Das Durchschnittsspektrum wird aus allen Spektren berechnet, die zu einem Segment gehören, das als Rauschen durch einen Sprachaktivitätsdetektor markiert ist. Das Durchschnittsspektrum wird als die Abschätzung des Rauschspektrum genommen bzw. aufgefasst.
  • Dann wird eine spektrale Subtrahierung ausgeführt, durch Subtrahieren des abgeschätzten Rauschspektrums von dem kurzzeitigen Spektrum Ssub mit Rauschen, und was in einem Schätzergebnis resultiert. Eine Realisierung ist die Subtrahierung der spektralen Komponenten in dem Größenbereich, der wie folgt berechnet wird: l(ṫi)| = |Xl(ti)| – |N ^l(ti)| (1)mit |Ŝl| = das Abschätzungsergebnis einer spektralen Sprachkomponente;
    mit |Xl| = die tatsächliche Eingangskomponente mit Rauschen,
    und |N ^l| = die abgeschätzte Rauschkomponente zur Zeit = t und für das Unterband l = 1, ..., L.
  • Es sollte bemerkt werden, dass in allen Gleichungen die Werte Ŝl, t etc. die gleiche Bedeutung haben sollten. In einem weiteren Schritt wird eine Wahrscheinlichkeit, Rauschen zu enthalten, für jede kurzzeitige Spektralkomponente berechnet. Die Berechnung der Wahrscheinlichkeit wird später detaillierter beschrieben.
  • Falls die berechnete Wahrscheinlichkeit für die kurzeitige spektrale Komponente in einer geringen Wahrscheinlichkeit, Sprache zu enthalten, resultiert, wird in einem nächsten Schritt, diese spektrale Komponente interpoliert IP.
  • Die in den meisten der heute verwendeten Spracherkennungssystemen cepstrale Koeffizienten angewandt werden, können die wie vorher beschriebenen, geglätteten und interpolierten kurzzeitigen Spektren weiter wie folgt verarbeitet werden. Ein Logarithmus von jeder kurzeitigen spektralen Komponente wird einer log-bildung unterzogen, und letztendlich wird eine Anzahl von cepstralen Koeffizienten aus ihr über eine diskrete Kosinustransformation DCT transferiert.
  • In dem folgenden wird eine Interpolation der spektralen Komponenten jedes kurzzeitigen Spektrums detaillierter beschrieben.
  • Wie zuvor beschrieben, wird die Wahrscheinlichkeit berechnet, dass eine spektrale Komponente Sprache enthält. Im Fall, dass die Wahrscheinlichkeitsberechung in einer niedrigen Wahrscheinlichkeit resultiert, Sprache zu enthalten, wird die spektrale Komponente als unzuverlässig betrachtet. Diese unzuverlässigen Komponenten werden dann interpoliert. Diese Interpolation basiert zum Beispiel auf einem Betrachten der spektralen Komponenten mindestens eines angrenzenden Unterbandes und/oder mindestens einer in der Zeit vorhergehenden oder nachfolgenden spektralen Komponente des kurzzeitigen Spektrums.
  • Als ein bevorzugtes Beispiel werden zwei angrenzende Unterbänder und eine in der Zeit vorhergehende spektrale Komponente für die Interpolation genommen.
  • Die Interpolation wird zum Beispiel durch Berechnen einer gewichteten Summe wie folgt durchgeführt: |S ~l(ti)| = [probl(ti) × |Ŝl(ti)| + probl-1(ti) × |Ŝl-1(ti)| + probl+1(ti) × |Ŝl+1(ti)| + probl(ti-1) |Ŝl(ti-1)|]/(Σprob) (2)wobei prob = Wahrscheinlichkeit eines Unterbandes l.
  • Trotzdem können weitere spektrale Komponenten von weiteren angrenzenden Unterbändern eine Basis für die Interpolation darstellen, und deshalb wird die Beschreibung nicht als den Umfang dieser einschränkend angesehen.
  • Wie zuvor bemerkt, wird die Wahrscheinlichkeit berechnet, dass jedes kurzzeitige Spektrum Rauschen enthält. Deshalb wird ein Verhältnis zwischen |Ŝl(ti)|/|Xl(ti)| ausgeführt. Dies enthält indirekt das Signal-zu-Rauschverhältnis in einem kurzzeitigen Spektrum zur Zeit ti. Das Verhältnis kann Werte zwischen minus unendlich und 1 annehmen, wie in 4 gezeigt, wo die X-Achse das Verhältnis zeigt und die Y-Achse die Wahrscheinlichkeit prob zeigt. Negative Werte treten in einem Fall auf, in dem die Rauschkomponente |N ^l(ti) größer ist als die tatsächliche spektrale Komponente Xl(ti). Dies kennzeichnet Rauschen, und es kennzeichnet deshalb ferner eine unzuverlässige Komponente. Im Vergleich zu diesem wird ein Wert von 1 genommen, falls kein Rauschen abgeschätzt wird und wo reine Sprache existiert. 4 zeigt ein Beispiel zum Definieren eines Maßes für die Wahrscheinlichkeit, dass eine spektrale Komponente Sprache enthält.
  • Wie vorher bemerkt, wird eine Interpolation in einem Fall ausgeführt, dass die berechnete Wahrscheinlichkeit für das kurzeitige Spektrum dazu führt, dass das Spektrum eine geringe Wahrscheinlichkeit aufweist, Sprache zu enthalten. Da die berechnete Wahrscheinlichkeit nicht immer entweder 0 oder 1 ist, wird bevorzugt eine Schwelle definiert, um spektrale Komponenten mit ihrem entsprechenden Verhältnis zu definieren, das unter dieser Schwelle liegt und deshalb angenommen wird, dass es eine geringe Wahrscheinlichkeit aufweist, Sprache zu enthalten.
  • Bevorzugt ist die Schwelle 0,6, aber kann irgendeinen Wert zwischen 0 und 1 annehmen. Die Schwelle kann vordefiniert sein oder kann sich abhängig von der Umgebung ändern.
  • Im folgenden wird ein anderes Beispiel mit der Hilfe von 2 beschrieben.
  • Es sollte hier bemerkt werden, dass Blöcke mit dem gleichen Index dazu gedacht sind, durchgehend für alle Figuren die gleiche Bedeutung zu haben.
  • Zusätzlich zu den genannten Schritten wird eine Anzahl M von spektralen Abständen für jedes kurzzeitige Spektrum bestimmt. Die spektralen Abstände werden zwischen dem kurzzeitigen Spektrum nach Subtrahierung und einer Anzahl M von Spektren bestimmt, die rauschlose Sprache enthalten, wobei M = 1, 2, ... ist. Weiterhin wird für jedes kurzzeitige Spektrum mindestens ein Spektrum bestimmt, welches rauschlose Sprache mit dem kleinsten spektralen Abstand zu dem kurzzeitigen Spektrum enthält MATCH.
  • Der spektrale Abstand kann wie folgt berechnet werden:
    Figure 00100001
    mit V(m) = Spektrum mit rauschloser Sprache, und
    wobei m einer der Codebucheinträge ist.
  • Der eine Wert, der berechnet wird und den kleinsten Fehler aufweist, wird als derjenige mit dem kleinsten spektralen Abstand betrachtet.
  • Diesem folgend wird die Interpolation durch Extrahieren von spektraler Information von den rauschlosen Sprachspektren mit dem kleinsten spektralen Abstand ausgeführt. Trotzdem können auch eine Anzahl von rauschlosen Sprachspektren genommen werden, die alle einen kleinen spektralen Abstand aufweisen.
  • Eine Möglichkeit zum Ausführen der Interpolation ist eine gewichtete Summe von der tatsächliche abgeschätzten spektralen Komponente |Ŝl(ti)| und der entsprechenden Komponente des nächsten Sektors zu berechnen. Dies könnte wie folgt ausgeführt werden: |S ~l(ti)| = probl(ti)|Ŝl(ti)| + (1–probl(ti)) × Vl(mclosest) (4)
  • Der Grund für diese Vorgehensweise basiert auf einem Wissen, dass Sprache nur in gewissen Gebieten eines L-dimensionalen spektralen Merkmalsraum vorliegt. Mit diesem Wissen basiert die Interpolation der spektralen Komponenten mit einer geringen Wahrscheinlichkeit, Sprache zu enthalten, auf der Extrahierung von spektraler Information von dem nächsten Eintrag oder mehr als einem nahen Eintrag in dem Codebuch CB.
  • In dem folgenden wird eine andere bevorzugte Ausführungsform der Erfindung mittels 3 beschrieben.
  • Wie in 3 gezeigt, wird zusätzlich zu einer ersten Interpolation IP1 eine andere Interpolation IP2 ausgeführt. In dem gezeigten Beispiel basiert die erste Interpolation auf spektralen Komponenten mindestens eines angrenzenden Unterbandes und/oder mindestens einer in der Zeit vorangehenden oder nachfolgenden spektralen Komponente des kurzzeitigen Spektrums, wie gemäß Anspruch 1 und 1 bemerkt wurde.
  • Die zweite Interpolation IP2 basiert auf einem Extrahieren von spektraler Information von den rauschlosen Sprachspektren mit dem kleinsten spektralen Abstand gemäß Anspruch 6 und 2.
  • Trotzdem wird dies nicht als die Erfindung einschränkend angesehen, da die Interpolation nach Anspruch 6 zuerst ausgeführt werden könnte, und dann die Interpolation nach Anspruch 1 ausgeführt werden kann. Trotzdem sollte wieder bemerkt werden, dass für beide Interpolationen der wesentliche Aspekt der ist, dass unzuverlässige kurzeitige spektrale Komponenten interpoliert werden oder besser, die kurzeitigen spektralen Komponenten mit einer geringen Wahrscheinlichkeit, Sprache zu enthalten. Im allgemeinen basiert die Interpolation der spektralen Komponenten mit Rauschen auf zuverlässigen spektralen Sprachkomponenten, die in der Nachbarschaft gefunden werden könnten, wie es für beide Interpolationen angewandt werden könnte.
  • In dem folgenden wird eine Vorrichtung für eine robuste Merkmalsextrahierung für Spracherkennung in einer Umgebung mit Rauschen gemäß 1 beschrieben, wobei ein Sprachsignal segmentiert wird, und gekennzeichnet ist durch spektrale Komponenten. Die Vorrichtung umfasst eine Filterbank MEL zum Aufspalten des Sprachsignals in eine Anzahl von spektralen Komponenten in L-Unterbändern, mit L = 1, 2, ... Ferner werden Abschätzeinrichtungen ES vorgesehen zum Abschätzen eines Rauschspektrums aus Segmenten, die nur Rauschen enthalten.
  • Die Vorrichtung umfasst ferner einen Subtrahierer SSub zum Ausführen einer spektralen Subtrahierung des abgeschätzten Rauschspektrums von dem entsprechenden Kurzzeitspektrum, und einen Rechner zum Berechnen einer Wahrscheinlichkeit für jedes kurzzeitige Spektrum, Rauschen zu enthalten, wird vorgesehen.
  • Es werden in der Vorrichtung auch Interpolationseinrichtungen IP vorgesehen zum Interpolieren der spektralen Komponente jedes kurzzeitigen Spektrums, wenn die berechnete Wahrscheinlichkeit, Sprache zu enthalten, für die kurzzeitige Spektrumskomponente gering ist.
  • In einer anderen bevorzugten Ausführungsform der Anmeldung wird ein Vergleicher zum Vergleichen der berechneten Wahrscheinlichkeit mit einer Schwelle bereitgestellt, die die niedrige Wahrscheinlichkeit definiert, Sprache zu enthalten.
  • Um cepstrale Koeffizienten zu bekommen, werden letztendlich eine Einrichtung zum Logarithmieren log jeder spektralen Komponente, und ferner eine Einrichtung zum Ausführen einer diskreten Kosinustransformation DCT vorgesehen, und ihre Ausgabe ist eine Anzahl von cepstralen Koeffizienten, die für die Spracherkennung benutzt werden.
  • In dem folgenden wird eine andere bevorzugte Ausführungsform gemäß 2 beschrieben. Es sollte wieder bemerkt werden, dass die gleichen Abkürzungen für den gleichen Block beibehalten werden sollten.
  • Zusätzlich zu der mit Bezug auf 1 genannten Einrichtung wird ein Codebuch CB mit rauschlosen Sprachspektren vorgesehen, und ferner Bestimmungseinrichtungen zum Bestimmen einer Anzahl M von spektralen Abständen für jedes kurzzeitige Spektrum durch Bestimmen der spektralen Abstände zwischen dem kurzzeitigen Spektrum nach Subtrahierung, und eine Anzahl M von Spektren, die rauschlose Sprachspektren enthalten, werden auch bereitgestellt.
  • Weiterhin werden zu dieser Bestimmungseinrichtung MATCH vorgesehen, um für jedes kurzzeitige Spektrum mindestens ein rauschlose Sprache enthaltendes Spektrum mit dem kleinsten spektralen Abstand zu dem kurzzeitigen Spektrum zu bestimmen, und ihr Ergebnis ist eine Eingabe an die Interpolationseinrichtung IP, um die Interpolation auszuführen.
  • Schließlich wird ein Computerprogrammprodukt, ladbar in einen Speicher eines elektronischen Geräts, beschrieben werden (ohne Figur). Ein Computerprogrammprodukt, ladbar in einen Speicher, zum Beispiel eines Mobiltelefons, sollte Software-Codeteile oder Module zum Ausführen der Schritte einer der Ansprüche 1 bis 11 umfassen.
  • Bevorzugt wird dieses Computerprogramm auf einem computerlesbaren Medium gespeichert.
  • Letztendlich können das Verfahren und die Vorrichtung und das Computerprogrammprodukt für eine Spracherkennung zum Steuern elektronischer Geräte benutzt werden. Solch ein elektronisches Gerät ist zum Beispiel ein Telefon oder ein Mobiltelefon oder eine Zugangseinrichtung.

Claims (20)

  1. Verfahren für eine robuste Merkmalsextrahierung für eine Spracherkennung in einem verrauschten Umfeld bzw. einem Umfeld mit Rauschen, wobei ein Sprachsignal segmentiert wird und gekennzeichnet ist durch spektrale Komponenten mit den Schritten: – Aufspalten des Sprachsignals in eine Anzahl von kurzzeitigen spektralen Komponenten in L Unterbändern mit L = 1, 2, ... – Abschätzen eines Rauschspektrums aus Segmenten, die nur Rauschen enthalten, – Ausführen einer spektralen Subtrahierung des abgeschätzten Rauschspektrums von dem entsprechenden kurzzeitigen Spektrum, – Berechnen einer Wahrscheinlichkeit für jede kurzzeitige Spektrumskomponente, Rauschen zu enthalten, und – Interpolieren der spektralen Komponente jedes kurzeitigen Spektrums, wenn die berechnete Wahrscheinlichkeit, Sprache zu enthalten, für die kurzzeitige Spektrumskomponente gering ist, dadurch gekennzeichnet, dass die Interpolation auf spektrale Komponenten mindestens eines angrenzenden Unterbandes und/oder mindestens auf eine in der Zeit vorhergehende oder nachfolgende spektrale Komponente des kurzzeitigen Spektrums basiert.
  2. Verfahren nach Anspruch 1, wobei die Interpolation auf zwei angrenzende Unterbänder und eine in der Zeit vorhergehende spektrale Komponente basiert.
  3. Verfahren nach Anspruch 1 oder 2, wobei die berechnete Wahrscheinlichkeit mit einer Schwelle verglichen wird, die durch die geringe Wahrscheinlichkeit, Sprache zu enthalten, definiert wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei jede spektrale Komponente logarithmiert wird und eine diskrete Kosinustransformation (DCT) ausgeführt wird.
  5. Verfahren nach Anspruch 1, mit den zusätzlichen Schritten: – Bestimmen einer Anzahl M spektraler Abstände für jedes kurzzeitige Spektrum durch Bestimmen der spektralen Abstände zwischen dem kurzzeitigen Spektrum nach Subtrahierung und einer Anzahl M von Spektra, die rauschlose Sprache enthalten, – Bestimmen für jedes kurzzeitige Spektrum mindestens eines Spektrums, das rauschlose Sprache mit dem kleinsten spektralen Abstand zu dem kurzzeitigen Spektrum enthält.
  6. Verfahren nach Anspruch 5, wobei – eine Interpolation ausgeführt wird, durch Extrahieren von spektraler Information von den rauschlosen Sprachspektren mit dem kleinsten spektralen Abstand.
  7. Verfahren nach Anspruch 5 oder 6, wobei der spektrale Abstand bestimmt wird durch Berechnen eines gewichteten mittleren quadratischen Fehlers (MSE).
  8. Verfahren nach Anspruch 1, wobei eine erste Interpolation gemäß Anspruch 1 ausgeführt wird und eine zweite Interpolation gemäß Anspruch 6 ausgeführt wird.
  9. Verfahren nach einem der Ansprüche 5 bis 7, wobei die rauschlose Sprache enthaltenden Spektren in einem mit rauschloser Sprache trainiertem Codebuch enthalten sind.
  10. Verfahren nach Anspruch 9, wobei die in dem Codebuch gespeicherte spektrale Information aus cepstralen Parametern besteht.
  11. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Einteilung der Sprache in eine Anzahl von Unterbändern auf einem MEL-Frequenzbereich basiert.
  12. Vorrichtung für eine robuste Merkmalsextrahierung für Spracherkennung in einer Umgebung mit Rauschen, wobei ein Sprachsignal segmentiert wird und gekennzeichnet ist durch spektrale Komponenten, mit – einer Filterbank (MEL) zum Aufspalten des Sprachsignals in eine Anzahl von spektralen Komponenten in L Unterbändern, mit L = 1, 2, ..., – einer Abschätzungseinrichtung (ES) zum Abschätzen eines Rauschspektrums aus Segmenten, die nur Rauschen enthalten, – einem Subtrahierer (SSub) zum Ausführen einer spektralen Subtrahierung des abgeschätzten Rauschspektrums von dem entsprechenden kurzzeitigen Spektrum, – einem Rechner zum Berechnen einer Wahrscheinlichkeit für jedes kurzzeitige Spektrum, Rauschen zu enthalten, und – einer Interpolationseinrichtung (IP) zum Interpolieren der spektralen Komponente jedes kurzzeitigen Spektrums, wenn die berechnete Wahrscheinlichkeit, Sprache zu enthalten, für die kurzzeitige Spektrumskomponente gering ist, dadurch gekennzeichnet, dass die Interpolationseinrichtung (IP) dazu ausbildet ist, die Interpolation basierend auf spektralen Komponenten von mindestens einem angrenzenden Unterband und/oder auf mindestens einer in der Zeit vorhergehenden oder nachfolgenden spektralen Komponente des kurzzeitigen Spektrums auszuführen.
  13. Vorrichtung nach Anspruch 12, mit einem Vergleicher zum Vergleichen der berechneten Wahrscheinlichkeit mit einer Schwelle, die die niedrige Wahrscheinlichkeit, Sprache zu enthalten, definiert.
  14. Vorrichtung nach Anspruch 12 oder 13, mit einer Einrichtung (log) zum Logarithmieren jeder spektralen Komponente und einer diskreten Kosinustransformationseinrichtung (DCT) zum Ausführen einer Transformation.
  15. Vorrichtung nach einem der Ansprüche 12 bis 14 mit – einem Codebuch (CB), das rauschlose Sprachspektren enthält, – einer Bestimmungseinrichtung zum Bestimmen einer Anzahl M von spektralen Abständen für jedes kurzzeitige Spektrum durch Bestimmen der spektralen Abstände zwischen dem kurzzeitigen Spektrum nach Subtrahierung und einer Anzahl M von Spektren, die rauschlose Sprachspektren enthalten, und – einer Bestimmungseinrichtung (MATCH), um für jedes kurzzeitige Spektrum mindestens ein rauschlose Sprache enthaltendes Spektrum mit dem kleinsten spektralen Abstand zu dem kurzzeitigen Spektrum zu bestimmen.
  16. Vorrichtung nach einem der Ansprüche 12 bis 15, wobei die Filterbank eine MEL-Filterbank ist.
  17. Vewendung der Vorrichtung nach einem der Ansprüche 12 bis 16 für eine Spracherkennung, um elektronische Geräte zu steuern.
  18. Verwendung nach Anspruch 17, wobei das elektronische Gerät ein Telefon oder ein Mobiltelefon oder eine Zugangseinrichtung ist.
  19. Computerprogrammprodukt, ladbar in einen Speicher eines elektronischen Geräts, das Software-Codeteile zum Ausführen der Schritte einer der Ansprüche 1 bis 11 umfasst.
  20. Computerprogrammprodukt nach Anspruch 19, wobei das Computerprogramm auf einem computerlesbaren Medium gespeichert ist.
DE69920461T 1999-10-29 1999-10-29 Verfahren und Vorrichtung zur robusten Merkmalsextraktion für die Spracherkennung Expired - Fee Related DE69920461T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP99203613A EP1096471B1 (de) 1999-10-29 1999-10-29 Verfahren und Vorrichtung zur robusten Merkmalsextraktion für die Spracherkennung

Publications (2)

Publication Number Publication Date
DE69920461D1 DE69920461D1 (de) 2004-10-28
DE69920461T2 true DE69920461T2 (de) 2005-12-01

Family

ID=8240813

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69920461T Expired - Fee Related DE69920461T2 (de) 1999-10-29 1999-10-29 Verfahren und Vorrichtung zur robusten Merkmalsextraktion für die Spracherkennung

Country Status (8)

Country Link
US (1) US6678657B1 (de)
EP (1) EP1096471B1 (de)
JP (1) JP2003513340A (de)
CN (1) CN1185622C (de)
AT (1) ATE277400T1 (de)
AU (1) AU7660800A (de)
DE (1) DE69920461T2 (de)
WO (1) WO2001033552A1 (de)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725307B2 (en) 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US7392185B2 (en) 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
US7050977B1 (en) 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US6633846B1 (en) 1999-11-12 2003-10-14 Phoenix Solutions, Inc. Distributed realtime speech recognition system
US6665640B1 (en) 1999-11-12 2003-12-16 Phoenix Solutions, Inc. Interactive speech based learning/training system formulating search queries based on natural language parsing of recognized user queries
US9076448B2 (en) 1999-11-12 2015-07-07 Nuance Communications, Inc. Distributed real time speech recognition system
EP1229516A1 (de) * 2001-01-26 2002-08-07 Telefonaktiebolaget L M Ericsson (Publ) Verfahren, Vorrichtung, Endgerät und System zur automatischen Erkennung verzerrter Sprachdaten
GB0103245D0 (en) * 2001-02-09 2001-03-28 Radioscape Ltd Method of inserting additional data into a compressed signal
TW533406B (en) * 2001-09-28 2003-05-21 Ind Tech Res Inst Speech noise elimination method
KR100400226B1 (ko) * 2001-10-15 2003-10-01 삼성전자주식회사 음성 부재 확률 계산 장치 및 방법과 이 장치 및 방법을이용한 잡음 제거 장치 및 방법
KR20050071656A (ko) * 2002-11-05 2005-07-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 코드북을 이용한 스펙트로그램 재구성 기술
DE10305369B4 (de) * 2003-02-10 2005-05-19 Siemens Ag Benutzeradaptives Verfahren zur Geräuschmodellierung
JP3907194B2 (ja) * 2003-05-23 2007-04-18 株式会社東芝 音声認識装置、音声認識方法及び音声認識プログラム
US7516069B2 (en) * 2004-04-13 2009-04-07 Texas Instruments Incorporated Middle-end solution to robust speech recognition
EP1635331A1 (de) * 2004-09-14 2006-03-15 Siemens Aktiengesellschaft Verfahren zur Abschätzung eines Signal-Rauschverhältnisses
JP4729927B2 (ja) * 2005-01-11 2011-07-20 ソニー株式会社 音声検出装置、自動撮像装置、および音声検出方法
KR101335417B1 (ko) * 2008-03-31 2013-12-05 (주)트란소노 노이지 음성 신호의 처리 방법과 이를 위한 장치 및 컴퓨터판독 가능한 기록매체
DE102008033056A1 (de) 2008-07-15 2010-01-21 Volkswagen Ag Kraftfahrzeug mit einem Mikrofon zur akustischen Eingabe eines Befehls zur Bedienung der Funktion des Kraftfahrzeuges
CN102290047B (zh) * 2011-09-22 2012-12-12 哈尔滨工业大学 基于稀疏分解与重构的鲁棒语音特征提取方法
US10306389B2 (en) 2013-03-13 2019-05-28 Kopin Corporation Head wearable acoustic system with noise canceling microphone geometry apparatuses and methods
US12380906B2 (en) 2013-03-13 2025-08-05 Solos Technology Limited Microphone configurations for eyewear devices, systems, apparatuses, and methods
US9312826B2 (en) 2013-03-13 2016-04-12 Kopin Corporation Apparatuses and methods for acoustic channel auto-balancing during multi-channel signal extraction
CN105139855A (zh) * 2014-05-29 2015-12-09 哈尔滨理工大学 一种两阶段稀疏分解的说话人识别方法与装置
US11631421B2 (en) * 2015-10-18 2023-04-18 Solos Technology Limited Apparatuses and methods for enhanced speech recognition in variable environments
US9838737B2 (en) * 2016-05-05 2017-12-05 Google Inc. Filtering wind noises in video content
CN106356070B (zh) * 2016-08-29 2019-10-29 广州市百果园网络科技有限公司 一种音频信号处理方法,及装置
CN110738990B (zh) * 2018-07-19 2022-03-25 南京地平线机器人技术有限公司 识别语音的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8400728A (nl) * 1984-03-07 1985-10-01 Philips Nv Digitale spraakcoder met basisband residucodering.
US4897878A (en) * 1985-08-26 1990-01-30 Itt Corporation Noise compensation in speech recognition apparatus
US5455888A (en) * 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
JP3484757B2 (ja) * 1994-05-13 2004-01-06 ソニー株式会社 音声信号の雑音低減方法及び雑音区間検出方法

Also Published As

Publication number Publication date
AU7660800A (en) 2001-05-14
WO2001033552A1 (en) 2001-05-10
EP1096471A1 (de) 2001-05-02
EP1096471B1 (de) 2004-09-22
CN1185622C (zh) 2005-01-19
DE69920461D1 (de) 2004-10-28
ATE277400T1 (de) 2004-10-15
JP2003513340A (ja) 2003-04-08
US6678657B1 (en) 2004-01-13
CN1384960A (zh) 2002-12-11

Similar Documents

Publication Publication Date Title
DE69920461T2 (de) Verfahren und Vorrichtung zur robusten Merkmalsextraktion für die Spracherkennung
DE69831288T2 (de) An Umgebungsgeräusche angepasste Sprachverarbeitung
DE10041512B4 (de) Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen
DE69811310T2 (de) Verfahren und Vorrichtung zur Detektion und Endpunkt-Detektion von Vordergrund-Sprachsignalen
DE60131639T2 (de) Vorrichtungen und Verfahren zur Bestimmung von Leistungswerten für die Geräuschunterdrückung für ein Sprachkommunikationssystem
DE60314128T2 (de) Parametrische online-histogramm normierung zur rauschrobusten spracherkennung
DE69524994T2 (de) Verfahren und Vorrichtung zur Signalerkennung unter Kompensation von Fehlzusammensetzungen
DE69432943T2 (de) Verfahren und Vorrichtung zur Sprachdetektion
DE69905035T2 (de) Rauschunterdrückung mittels spektraler subtraktion unter verwendung von linearem faltungsprodukt und kausaler filterung
DE69627580T2 (de) Verfahren zur Rauschverminderung in einem Sprachsignal
DE60216214T2 (de) Verfahren zur Erweiterung der Bandbreite eines schmalbandigen Sprachsignals
DE69518705T2 (de) Verfahren und Vorrichtung zur Spracherkennung
DE69433593T2 (de) Aufgeteiltes spracherkennungssystem
DE69420400T2 (de) Verfahren und gerät zur sprechererkennung
DE69121145T2 (de) Spektralbewertungsverfahren zur verbesserung der widerstandsfähigkeit gegen rauschen bei der spracherkennung
DE112011105791B4 (de) Störungsunterdrückungsvorrichtung
DE60025748T2 (de) Spracherkennung
DE102019110272A1 (de) Neuronalnetzwerkbasierte zeit-frequenzmaskenschätzung und strahlformung zur sprachvorverarbeitung
DE60017763T2 (de) Verfahren und vorrichtung zur erhaltung einer ziel-bitrate in einem sprachkodierer
EP0747880B1 (de) Spracherkennungssystem
DE102008039330A1 (de) Vorrichtung und Verfahren zum Berechnen von Filterkoeffizienten zur Echounterdrückung
DE60212617T2 (de) Vorrichtung zur sprachverbesserung
DE10030105A1 (de) Spracherkennungseinrichtung
CN1210608A (zh) 一种有噪语音参数增强的方法和装置
DE10296616T5 (de) Bandbreiten-Ausdehnung von akustischen Signalen

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee