JP2000507714A - 言語処理 - Google Patents

言語処理

Info

Publication number
JP2000507714A
JP2000507714A JP9535016A JP53501697A JP2000507714A JP 2000507714 A JP2000507714 A JP 2000507714A JP 9535016 A JP9535016 A JP 9535016A JP 53501697 A JP53501697 A JP 53501697A JP 2000507714 A JP2000507714 A JP 2000507714A
Authority
JP
Japan
Prior art keywords
language
recognition
feature
input
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9535016A
Other languages
English (en)
Other versions
JP4218982B2 (ja
JP2000507714A5 (ja
Inventor
ミルナー、ベンジャミン・ピーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Publication of JP2000507714A publication Critical patent/JP2000507714A/ja
Publication of JP2000507714A5 publication Critical patent/JP2000507714A5/ja
Application granted granted Critical
Publication of JP4218982B2 publication Critical patent/JP4218982B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Complex Calculations (AREA)
  • Machine Translation (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 言語認識で使用するための特徴を生成する方法及び装置であって、この方法の構成は、入力言語信号の所定数nのフレームの各々について対数フレームエネルギー値を計算し;nの対数フレームエネルギー値にマトリックス変換を適用して入力言語信号を表わす時間的マトリックスを形成することを含む。このマトリックス変換は離散的余弦変換である。

Description

【発明の詳細な説明】 言語処理 この発明は言語(発話)認識と、とくに言語認識で使用する特徴生成とに関す る。 自動言語認識システムは一般に特定使用のために設計されている。例えば、一 般公衆によってアクセスされることになるサービスはどんな使用者からの言語も 認識するように設計された汎用言語認識システムを要求する。自動言語認識器で ある使用者に特有のデータと関係づけられたものが使用されて、(いわゆる話者 認識という)使用者の申請した識別子を検証するかあるいは使用者を認識するか のいずれかで使用されている。 自動言語認識システムはマイクロホンから入力信号を直接又は間接に(たとえ ば、遠隔通信リンクを経由して)受領する。この入力信号は次に言語処理システ ムによって処理されて、そこでは、継続する時間区分(セグメント)もしくはフ レームに一般には分けられて、時間変動する入力信号の特性についての適切な( スペクトルの)表現を作ることになる。スペクトル解析の共通な技術は線形予測 符号化(LPC)とFourier変換とである。次に、スペクトル測定が一組のもし くはベクトルの特徴に変換され、この特徴が入力信号についての広い音響的性質 を記述する。もっとも共通した特徴で言語認識に使用されるものはmel-(メル) 周波数セプストラル(cepstral)係数(MFCCs)である。 この特徴ベクトルは次に複数のパターンであって何らかの形で単語(複数)( またはその一部)とか語句(フレーズ)で認識すべきものを表わすか、それらと 関係しているものと比較される。この比較の結果は認識されたと考えられている 単語/語句を示す。 言語認識でのパターン整合のやり型は一般に2つの技術のうちの1つを包含し ている。すなわち、テンプレートマッチング(型整合)が統計的モデリング(モ デル形成)である。前者の場合には、テンプレートがある単語を表わす典型的な 言語信号のスペクトル性質を表わすように形成される。各テンプレートはその言 語の経続期間にわたるスペクトルフレームを連結したものである。あるパターン に対する言語フレームの典型的なシーケンスはここで平均化プロセスによって作 り出されて、入力信号がこれらのテンプレートと比較される。よく知られかつ広 く使われている統計的方法の1つでありパターンのフレームのスペクトル性質を 特性づけるものに隠れたMarkovモデル(HMM)手法がある。HMM(あるいは 他の統計モデルについてもその)の根底にある仮定は言語信号がパラメトリック ・ランダム・プロセスとして特性が決まることと、推計学的プロセスのパラメー タが精巧なよく定義されたやり方で決めることができるということである。 現状のパターン整合技術、とくにHMMについてよく知られている欠点は、特 徴抽出の相関を利用するための有効な方法手段が欠除していることである。左右 HMMは、言語スペクトル特性がある状態から次の状態への時間変化をモデル化 する時間構造を用意するが、各状態内部では観測ベクトルは独立していてしかも 全く同じに分布している(Independent and Identically Distributed)のであ る。IID仮定は継続する言語ベクトル間に相関がないことを述べている。これ は各状態内部では、言語ベクトルが同一の確率密度関数(PDFs)と関係して いて、それらが同じ意味と共分散(covariance)をもっていることを黙示的に意 味している。さらに、これがスペクトルの時間軌跡は各状態内部でランダムに揺 らいでいる曲線であって定常平均値をもっていることを意味している。しかし、 現実にはスペクトルの時間軌跡は1つの言語事象から次のものへと動くときには はっきりとした方向を明らかにもっている。 IID仮定のスペクトルベクトルによるこの食い違いはHMMの性能の限界を 作るのに貢献している。言語特徴に何らかの時間情報を含めることは、言語が定 常的な独立プロセスであるとする仮定がもたらす効果を緩和し、認識プロセスを 改良するために使用できる。 特徴ベクトル内に時間情報を包含できるようにする通常の方法は特徴ベクトル にセプストラム(cepstrum)の第1次及び第2次微分を付帯させることである。 数学的にもっと絶対的な言語ダイナミックスの表現は、セプストラル・時間マト リックスであり、これは余弦変換を用いて時間情報を符号化するものであり、BP Milner and S V Vaseghi,“An analysis of cepstral-time feature matrices for noise and channel robust speech recognition”,Proc.Eurospeech,pp519- 522,1995に記述されている。 セプストラル・時間マトリックス、Ct(m,n)はスペクトル・時間マトリ ックスに二次元(2−D)離散的余弦変換(DCT)を適用するか、あるいはメ ル周波数セプストラル時間係数(MFCC)言語ベクトルのスタッキング(stack ing)に一次元(1−D)DCTを適用するかのいずれかによって得られる。Mの N次元対数フィルタバンクベクトルが一緒にまとめられて(スタックされて)ス ペクトル・時間マトリックス、Xt(f,k)を作る。ここでtは時間フレーム を、fはフィルタバンクチャンネルを、またkはマトリックス内の時間ベクトル を示す。次にスペクトル・時間マトリックスは二次元DCTを用いてセプストラ ルマトリックスに変換される。二次元DCTは2つの一次元DCTsに分割され るので、セプストラル・時間マトリックスの別の実現法は一次元DCTをMの通 常のMFCCベクトルで成るマトリックスの時間軸に沿って適用することである 。 この発明の第1の特徴によると、言語認識で使用するための特徴を生成するの 方法が用意され、この方法の構成は入力言語信号の所定数nの各々について対数 フレームエネルギーを計算し;このnの対数フレームエネルギー値に変換を適用 して入力言語信号を表わす時間ベクトルを形成するようにすることを含む。 言語遷移ダイナミックスは時間ベクトル内部で黙示的に(implicitly)に作られ 、微分値が付帯されているセプストラルベクトルで得られる明白な(explicit)表 現と比較される。したがって、このようなマトリックスで訓練されたモデルは、 逆変換が適用できるという利点があり、雑音に対する丈夫さを改善するために並 列モデル組合せ(PMC)のような技術のために線形フィルタバンク領域に戻す 変換が可能となる。 この変換は離散的な余弦変換であってよい。時間マトリックスは切り詰められ ていてn要素よりも少ないものを含んでいるのが望ましい。このことは良い性能 を作りしかも実行する計算量を減らすということが発見された。マトリックスの 定常状態(m=0)列は省略されてよく、それによって線形たたみ込みチャンネ ルひずみによる言語信号のひずみの除去をすることになりマトリックスにチャン ネルの丈夫な特徴を与える。 この発明は言語認識の方法に係り、この発明の特徴生成方法を含んでいるもの である。 この発明の別の特徴によると、言語認識で使用するための特徴生成装置が用意 されており、その構成は: 入力言語信号の所定数nのフレームの各々についてのエネルギーの対数を計算 するためのプロセッサと; 入力言語を表わす時間ベクトルを形成するためにこのように計算されたnの対 数エネルギー値に変換を適用するためのプロセッサとから成る。 この発明の特徴生成手段は言語認識装置とともに使用するのに適しており、か つまたこのような装置とともに使用するための認識データを生成するためのもの でもある。 この発明をここで例として添付の図面を参照して記述して行く。 図1は遠隔通信環境において言語認識器を採用することを模式的に示す。 図2は言語認識器を模式的に示すものである。 図3はこの発明による特徴抽出器の1実施例の部品を模式的に示す。 図4はKarhunen-Loeve変換を決めるための段階を示す。 図5は図2の言語認識器の通常の言語分類器形成部分の部品を構式的に示す。 図6は図5の分類器の動作を模式的に示す流れ図である。 図7は図2の言語認識器の通常のシーケンサの部品を模式的に示す構成図であ る。 図8は図7のシーケンサのメモリ構成部分内のフィールド内容を模式的に示す 。 図9は図7のシーケンサの動作を模式的に示す流れ図である。 図1を参照すると、言語認識を含む遠隔通信システムが一般に、マイクロホン 1(典型的なものは電話ハンドセットの一部を成している)、遠隔通信網2(典 型的なものは公衆交換遠隔通信網(PSTN))、言語認識器3で網2から音声 信号を受領するための接続がとられているもの、及び言語認識器3に接続されて いて、そこから音声認識信号を受領するようにされた利用する装置4とを含んで いる。ここでこの音声認識信号は特定の単語又は語句の認識などを示しており、 利用する装置はそれに応答して動作をするものである。例えば、利用する装置4 は遠隔動作端末であって、銀行取引業務や情報サービスなどを実行するためのも のであってもよい。 多くの場合に、利用する装置4は使用者に向けて可聴応答を生成することにな り、網2を経由して典型的な場合として使用者のハンドセットの構成部品である ラウドスピーカ5に送る。 動作時には、使用者はマイクロホン1に向って話をし、信号がマイクロホン1 から網2内に送られて言語認識器3に向う。言語認識器は言語信号を解析して、 特定の単語又は語句を認識したとかその他を示す信号が生成されて、利用する装 置4に送られ、次にそこでは言語の認識の場合には適切な動作がとられる。 一般に、言語認識器3はマイクロホン1から網2へ向いそこを通る信号がとる 経路にるいては無知である。非常に多くの種類または品質のハンドセットのどれ が使われてもよい。同様に、網2の内部では、いろいろな伝送路のいずれかの1 つがとられてよく、無線リンクでも、アナログ及びディジタル経路等々であって よい。したがって、言語認識器3に到達する言語信号Yはマイクロホン1で受け た言語信号Sをマイクロホン1と、網2に至るリンクと、網2を通るチャンネル と、言語認識器3に至るリンクとの変換特性(これをまとめて単一の伝達特性H と表わすことにする)でたたみ込んだものに対応している。 一般に、言語認識器3は言語についてデータを取得する必要があり、この言語 に対しては言語信号が確認されることになり、このデータ取得は動作の訓練モー ドで言語認識器によって実行され、この訓練モードでは言語認識器3はマイクロ ホン1から言語信号を受けて、その単語又は語句に対する認識データを形成して いる。しかし、言語認識データを取得するための他の方法もまた可能である。 図2を参照すると、言語認識器は(ディジタル網からかあるいはアナログディ ジタル変換器から)ディジタル形式で言語を受領するための入力31と;ディジ タルサンプルの列を連続するサンプルのフレーム列に区分するためのフレーム生 成器32と;サンプルのフレームから対応する特徴ベクトルを生成するための特 徴抽出器33と;特徴ベクトルの列を受領して認識結果を生成するための分類器 34と;どの入力信号が最高類似度をを示しているかについて所定の話声を判断 するためのシーケンサ35と;認識信号が供給されて認識された言語話声を示す ようにする出力ポート35とで成る。 前述したように、言語認識器は一般に訓練段階(フェーズ)の間に認識データ を得る。訓練中は、言語信号は言語認識器3に入力されて、特徴が特徴抽出器3 3により、この発明に従って、抽出される。この特徴は後の認識のために言語認 識器3により記憶される。この特徴は例えば、以下で述べるように言語処理でよ く知られている技術である、隠れたMarkovモデル(HMM)によってモデル化さ れたような便宣的ないずれかの形式で記憶されてよい。認識の際には、特徴抽出 器は未知の入力信号から同じような特徴を抽出して、未知信号の特徴を認識すべ き各単語/語句に対して記憶した特徴と比較する。 簡単のために、認識段階での言語認識器の動作を下記に示す。訓練段階では、 抽出された特徴は、既知技術のように適当な分類器34を訓練するために使われ る。フレーム生成器32 フレーム生成器32は、例えば8,000サンプル/秒の割合で言語サンプル を受領して、256の連続サンプルで成るフレームを、毎16msで1フレーム のフレームレートで形成するようにされている。 各フレームは窓がけがされていて(すなわち、フレームの端に向けられたサン プルは所定の重み付け定数で乗算されていて)それには、例えばHamming窓が用 いられて、フレーム端(エッジ)によって生成される寄生の人工物(スプリアス ノイズ)を減らすようにしている。好ましい実施例では、フレームは(例えば5 0%だけ)重なっていて、窓がけの効果を改善するようにしている。特徴抽出器33 特徴抽出器33はフレーム生成器32からフレームを受領して、各フレームか ら特徴もしくは特徴のベクトルを生成する。図3はこの発明による特徴抽出器の 実施例を示す。別の手段が他の特徴、たとえばLPCセプストラル係数又はMF CCsを生成するために用意されてもよい。 各フレームjで到来する言語信号のものがプロセッサ331に入力され、そこ ではデータのフレームの平均エネルギーが計算される。言い換えれば、エネルギ ー計算器プロセッサ331が次式を計算する ここでχiはフレームj内のサンプルiのエネルギー値である。 対数プロセッサ332は次にフレームjについてこの平均値の対数をとる。こ の対数エネルギー値はバッファ333に入力され、そこにはnフレーム、例えば n=7、に対する対数エネルギー値を記憶するのに十分な長さがある。7フレー ム分のデータが計算し終ると、スタックされたデータが変換プロセッサ334に 向けて出力される。 フレームエネルギーベクトル又は時間マトリックスの形成にあたっては、スタ ックされた対数エネルギー値のスペクトル・時間ベクトルで変換プロセッサ33 4に入力されるものが変換マトリックスにより乗算される。すなわち MH=T ここでMはスタックされた対数エネルギー値のベクトルであり、Hは変換であ って時間情報を符号化できるものであり、Tはフレームエネルギーベクトルであ る。 変換Hの列は時間情報を符号化するための基礎関数である。時間情報を符号化 するこの方法を用いると、広い範囲の変換が時間変換マトリックスHとして使用 できる。 変換Hは時間情報を符号化する。すなわち変換Hは対数エネルギー値スタック の共分散マトリックスが対角化されるようにする。言い換えると、対数エネルギ ー値の共分散マトリックスの対角線上にない要素(すなわち、対角化させないも の)がH変換されて零となる。共分散マトリックスの対角線上にない要素はそれ ぞれのサンプル間の相関の程度を示している。この結果を生む最適変換はKarhun en-Loev(KL)変換であってこのことはN S Jayant and P Noll著“Digital co ding of Waveforms”、Prentice-Hall、1984という本に記述されている。 特徴ベクトルによって伝えられる時間情報を符号化するために最適のKL変換 をを見付けるためには、そのベクトルの継続する相関についての統計が必要とな る。この相関情報を用いると、KL変換が計算できる。図4は言語データからK L変換を判断する際に含まれるプロセスを示している。 KL変換を正確に判断するためには、訓練データの全体の組が先ず対数エネル ギー値としてパラメータ化される。ベクトルχtで時間的に継続する対数エネル ギー値が生成される。 xt=[Ct,Ct-1,・・・・Ct+n-1] 訓練組を横断したこれらのベクトルの全体組から、共分散マトリックスΣxxが 計算され、Σxx=E{xxT}−μxμx Tであり、ここでμxは対数エネルギー値 の平均ベクトルである。 ここから分るように、これは相関マトリックスE{xxT}と密接に関係して おり、したがって、言語の時間的ダイナミックスに関係する情報を含んでいる。 KL変換は共分散マトリックスの固有ベクトル(アイゲンベクトル)から決めら れ、例えば特異値分解(Singular value decomposition)を用いて計算できる。 ここで HTΣxxH=dia(λ0λ1,・・・,λM)=Λ である。 結果として得られるマトリックスHは共分散マトリックスの固有ベクトルから 作られている。これらはそれぞれの固有値、λj、の大きさに従ってランク付け されている。このマトリックスはKLで求めた時間変換マトリックスである。 他の多項式を用いて時間変換マトリックスを生成することができ、例えばLege ndre,Laguerreなどがそれである。KL変換は訓練データの各組に対して自分自 身の変換を計算する必要があって複雑である。代りに離散的な余弦変換(DCT )を使用してもよい。この場合には、変換プロセッサ334はnのフレームに対 する対数エネルギー値に関してスタックされたデータのDCTを計算する。 一次元DCTは次のように定義される。 ここで、f(i)はフレームiに対する対数エネルギー値であり、 uは0ないしn−1の整数である。 変換プロセッサ334はデータのnフレームから生成されたnのDCT係数を 出力する。これらの係数は入力信号のエネルギーレベルに関するフレーム・エネ ルギーベクトルを形成する。 フレームエネルギーベクトルは入力信号の継続するnフレームの各々に対して 形成され、例えばn=7ではフレーム0ないし6、1ないし7、2ないし8等々 となる。このフレームエネルギーベクトルは言語の1つのフレームに対する1つ の特徴ベクトルの一部となっている。この特徴は他の特徴である例えばMFCC sや微分MFCCを拡大する(そこに付帯させる)ために使用できる。分類器34 図5を参照すると、分類器34は通常の設計のものであり、この実施例では、 HMM分類用プロセッサ341、とHMM状態メモリ342と、モードメモリ3 43とで成る。 状態メモリ342は状態フィールド3421,3422…を含み、認識される べき複数の言語部分の各々と対応している。例えば、状態フィールドは状態メモ リ342内に備えられていて、認識することになる単語の各フォニームと対応し ていてよい。また雑音/静寂に対する状態フィールドがあってもよい。 状態メモリ342内の各状態フィールドはポインタフィールド3421b,3 422b,…を含み、モードメモリ343内のモードフィールド組361,36 2…に対するポインタアドレスを記憶している。各モードフィールド組は複数の モードフィールド3611,3612…を含み、その各々は問題となっている状 態を特徴づける特徴係数値の多次元ガウス分布を定義するデータを含んでいる。 例えば、もし各特徴内にdの係数があるとすると(例えば第1のMFCC係数と この発明のエネルギーマトリックスの7つの係数を言う)、各モードフィールド 3611,3612…内に記憶されているデータで各モードを特徴づけているも のは:定数C、1組のdの特徴平均値μi、及び1組のdの特徴偏差値Jiであり 、別な言葉で言えば全部で2d+1の数である。 モードフィールド3611,3612…で各モードフィールド組361,36 2…内にあるものの数Niは変数である。モードフィールドは訓練段階で生成さ れて、特徴抽出器により求められた特徴を表わしている。 認識の際には、分類プロセッサ34はメモリ342内部の各状態フィールドを 順に読取るようにされ、各々に対して、この発明の特徴抽出器33によって出力 される現在の入力特徴係数組を用いて、入力特徴組又はベクトルが対応する状態 に対応する確率を計算する。これをするために、図6で示したように、プロセッ サ341は状態フィールド内のポインタを読み取り;ポイントされているモード メモリ343内のモードフィールド組にアクセスし;モードフィールド組内部の 各モードフィールドjに対して、モード確率Pjを計算するようにされている。 次にプロセッサ341はモードの確率Pjを合算して状態確率を計算する。し たがって、分類プロセッサ341の出力は複数の状態確率Pであり、状態メモリ 342内の各状態に1つずつあって、入力特徴ベクトルが各状態に対応していそ うな程度を示している。 図6は分類器プロセッサ341の動作を単に例示したにすぎないと理解されよ う。実際には、モード確率は各々が1度計算されて、一時的に記憶されて、モー ドが対応する現象に関係した状態確率のすべての計算で使用されることとしてよ い。 分類器プロセッサ341は適切にプログラムされたディジタル信号処理(DS P)デバイスでよく、とくに特徴抽出器33と同じディジタル信号処理デバイス でよい。シーケンサ35 図7を参照すると、シーケンサ35は通常設計のものであり、この実施例では 、状態確率メモリ353と、状態シーケンスメモリ325と、解剖用プロセッサ 351と、シーケンサ出力バッファ354とで成り、このうち状態確率メモリ3 53は処理された各フレームに対して、分類器プロセッサ341により出力され た状態確率を記憶する。 状態シーケンサメモリ352は複数の状態シーケンスフィールド3521,3 522,…を含み、その各々は、ここの例では、フォニームの糸(ストリング) で成る、認識されることになる単語又は語句のシーケンスに対応している。状態 シーケンスメモリ352内の各状態シーケンスは、図8に示すように、多数の状 態P1,P2,…PNと、各状態に対して2つの確率すなわち繰返し確率(Pi1) と後続状態への遷移確率(Pi2)とを含む。一連のフレームと関係した状態につ いての観測したシーケンスはそこで各状態シーケンスモデル3251などでの各 状態Piのいくつかの繰返しを含むことになり、例えば: 図9に示すように、シーケンス用プロセッサ351は、各フレーム時間で、分 類器プロセッサ341によって出力された状態確率と状態メモリ353内に前に 記憶した状態確率とを読み、かつ時の流れに従ってここまでに最もありそうな経 路またこれを状態シーケンスメモリ352内に記憶された状態シーケンスの各々 と比較する。 この計算はよく知られている隠れたMarkovモデル方法を採用しており、この方 法は“Hidden Markov Models for Automatic Speech Recognition:theory and a pplications”S.J.Cox,British Telecom Technology Journal,April1988,p1 05、に記載されている。便利なことに、HMM処理としてシーケンス用プロセ ッサ351で実行されるものは良く知られているViterbiアルゴリズムを 使用する。シーケンス用プロセッサ351は、例えばIntel(TM)i−486(TM) マイクロプロセッサとか、Motorota(TM)68000マイクロプロセッサであって よいし、または代ってDSPデバイス(例えば前段のプロセッサのいずれかとし て採用されたのと同じもの)であってもよい。 したがって、各状態シーケンス(認識されることになる単語、語句もしくは他 の言語シーケンス)に対して、確率得点(スコア)が入力言語の各フレームでシ ーケンス用プロセッサ351により出力される。例えば状態シーケンスは電話デ ィレクトリ(番号帳)内の名前を含んでいてよい。話声の終りが検出されると、 最もありそうな状態シーケンスを示すラベル信号がシーケンス用プロセッサ35 1から出力ポート38に出力されて、対応する名前、単語又は語句が認識された ことを示す。
【手続補正書】 【提出日】1998年5月8日(1998.5.8) 【補正内容】 (1)明細書第11頁7行に「路またこれ」とあるのを下記の通り訂正する。 記 「路を計算し、またこれ」
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FI,FR,GB,GR,IE,IT,L U,MC,NL,PT,SE),OA(BF,BJ,CF ,CG,CI,CM,GA,GN,ML,MR,NE, SN,TD,TG),AP(GH,KE,LS,MW,S D,SZ,UG),UA(AM,AZ,BY,KG,KZ ,MD,RU,TJ,TM),AL,AM,AT,AU ,AZ,BA,BB,BG,BR,BY,CA,CH, CN,CU,CZ,DE,DK,EE,ES,FI,G B,GE,GH,HU,IL,IS,JP,KE,KG ,KP,KR,KZ,LC,LK,LR,LS,LT, LU,LV,MD,MG,MK,MN,MW,MX,N O,NZ,PL,PT,RO,RU,SD,SE,SG ,SI,SK,TJ,TM,TR,TT,UA,UG, US,UZ,VN,YU

Claims (1)

  1. 【特許請求の範囲】 1. 言語応答装置と使用するための特徴を生成する方法であって、所定数n の入力言語信号のフレームの各々の対数フレームエネルギー値を計算し、かつn の対数フレームエネルギー値に変換マトリックスを適用して入力言語信号を表わ す時間マトリックスを形成することで成る方法。 2. 入力信号のnのフレームの重なっている群を継続する特徴が表わわして いる請求項1記載の方法。 3. 前記変換マトリックスが離散的余弦変換である請求項1又は2記載の方 法。 4. 前記時間マトリックスが切り捨てされていてn要素よりも少なくなって いる請求項1ないし3のいずれか1項記載の方法。 5. 言語認識の方法であって、その構成は: 言語を表わし、かつフレームに分割されている入力信号を受領し;所定数nの 入力言語信号のフレームの各々の対数フレームエネルギー値を計算することによ り特徴を生成し; nの対数フレームエネルギー値に変換マトリックスを適用して入力言語信号を 表わす時間マトリックスを形成し; 生成された特徴を許容された話声を表わしかつ該特徴と関係している認識デー タと比較しこの比較段階に基づいて認識もしくは他のことを示すことを含む言語 認識の方法。 6. 前記変換プロセッサはnの対数エネルギー値に離散的余弦変換を適用す るようにされている請求項5記載の言語認識の方法。 7. 言語応答装置と使用するための特徴生成用装置であって、所定数nの入 力言語信号のフレームの各々のエネルギーの対数を計算するためのプロセッサと ;該nの対数エネルギー値に変換を適用して入力言語を表わす時間マトリックス を形成するための計算をするプロセッサとで成る特徴生成用装置。 8. 変換を適用するプロセッサがnの対数エネルギー値に離散的余弦変換を 適用するようにされている請求項7記載の特徴生成用装置。 9. 請求項7又は8記載の特徴生成用装置を含む言語認識装置。 10. 請求項1の方法により生成された特徴に関係する認識データを受領す るための入力を含む言語認識装置。
JP53501697A 1996-03-29 1997-03-25 音声処理 Expired - Fee Related JP4218982B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP96302236.3 1996-03-29
EP96302236 1996-03-29
PCT/GB1997/000837 WO1997037346A1 (en) 1996-03-29 1997-03-25 Speech processing

Publications (3)

Publication Number Publication Date
JP2000507714A true JP2000507714A (ja) 2000-06-20
JP2000507714A5 JP2000507714A5 (ja) 2004-11-25
JP4218982B2 JP4218982B2 (ja) 2009-02-04

Family

ID=8224867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP53501697A Expired - Fee Related JP4218982B2 (ja) 1996-03-29 1997-03-25 音声処理

Country Status (11)

Country Link
US (1) US6278970B1 (ja)
EP (1) EP0891618B1 (ja)
JP (1) JP4218982B2 (ja)
KR (1) KR20000004972A (ja)
CN (1) CN1121681C (ja)
AU (1) AU712412B2 (ja)
CA (1) CA2247006C (ja)
DE (1) DE69705830T2 (ja)
NO (1) NO984502D0 (ja)
NZ (1) NZ331431A (ja)
WO (1) WO1997037346A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051689A (ja) * 1999-07-02 2001-02-23 Mitsubishi Electric Inf Technol Center America Inc 信号の混合物からの特徴抽出方法およびその装置

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9824552D0 (en) * 1998-11-09 1999-01-06 Royal Holloway University Of L Data classification apparatus and method thereof
US6246978B1 (en) * 1999-05-18 2001-06-12 Mci Worldcom, Inc. Method and system for measurement of speech distortion from samples of telephonic voice signals
US6542866B1 (en) * 1999-09-22 2003-04-01 Microsoft Corporation Speech recognition method and apparatus utilizing multiple feature streams
GB2355834A (en) * 1999-10-29 2001-05-02 Nokia Mobile Phones Ltd Speech recognition
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US6633839B2 (en) * 2001-02-02 2003-10-14 Motorola, Inc. Method and apparatus for speech reconstruction in a distributed speech recognition system
US6687672B2 (en) * 2002-03-15 2004-02-03 Matsushita Electric Industrial Co., Ltd. Methods and apparatus for blind channel estimation based upon speech correlation structure
US7437397B1 (en) * 2003-04-10 2008-10-14 At&T Intellectual Property Ii, L.P. Apparatus and method for correlating synchronous and asynchronous data streams
WO2004111759A2 (en) * 2003-05-27 2004-12-23 Purdue Research Foundation Applied estimation of eigenvectors and eigenvalues
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7920758B2 (en) * 2006-11-22 2011-04-05 Tektronix, Inc. Measurement apparatus and method of measurement of video spatial scale, offset and cropping
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
TWI356399B (en) * 2007-12-14 2012-01-11 Ind Tech Res Inst Speech recognition system and method with cepstral
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9390085B2 (en) * 2012-03-23 2016-07-12 Tata Consultancy Sevices Limited Speech processing system and method for recognizing speech samples from a speaker with an oriyan accent when speaking english
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144949A2 (en) 2013-03-15 2014-09-18 Apple Inc. Training an at least partial voice command system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
KR101749009B1 (ko) 2013-08-06 2017-06-19 애플 인크. 원격 디바이스로부터의 활동에 기초한 스마트 응답의 자동 활성화
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4092493A (en) * 1976-11-30 1978-05-30 Bell Telephone Laboratories, Incorporated Speech recognition system
US5717824A (en) * 1992-08-07 1998-02-10 Pacific Communication Sciences, Inc. Adaptive speech coder having code excited linear predictor with multiple codebook searches
US5598504A (en) * 1993-03-15 1997-01-28 Nec Corporation Speech coding system to reduce distortion through signal overlap

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051689A (ja) * 1999-07-02 2001-02-23 Mitsubishi Electric Inf Technol Center America Inc 信号の混合物からの特徴抽出方法およびその装置

Also Published As

Publication number Publication date
EP0891618A1 (en) 1999-01-20
EP0891618B1 (en) 2001-07-25
CA2247006A1 (en) 1997-10-09
KR20000004972A (ko) 2000-01-25
NO984502L (no) 1998-09-28
NO984502D0 (no) 1998-09-28
US6278970B1 (en) 2001-08-21
NZ331431A (en) 2000-06-23
AU712412B2 (en) 1999-11-04
CA2247006C (en) 2002-09-17
DE69705830T2 (de) 2002-04-04
WO1997037346A1 (en) 1997-10-09
AU2168497A (en) 1997-10-22
DE69705830D1 (de) 2001-08-30
HK1018110A1 (en) 1999-12-10
JP4218982B2 (ja) 2009-02-04
CN1215491A (zh) 1999-04-28
CN1121681C (zh) 2003-09-17

Similar Documents

Publication Publication Date Title
JP4218982B2 (ja) 音声処理
Murthy et al. Robust text-independent speaker identification over telephone channels
US5167004A (en) Temporal decorrelation method for robust speaker verification
Li et al. An overview of noise-robust automatic speech recognition
EP0866442A2 (en) Combining frequency warping and spectral shaping in HMM based speech recognition
US6922668B1 (en) Speaker recognition
US5734793A (en) System for recognizing spoken sounds from continuous speech and method of using same
US5594834A (en) Method and system for recognizing a boundary between sounds in continuous speech
JPH0636156B2 (ja) 音声認識装置
JP2007523374A (ja) 自動音声認識器のためのトレーニングデータを生成する方法およびシステム
US8271283B2 (en) Method and apparatus for recognizing speech by measuring confidence levels of respective frames
JPH075892A (ja) 音声認識方法
EP1023718B1 (en) Pattern recognition using multiple reference models
Zolnay et al. Robust speech recognition using a voiced-unvoiced feature
US20040122669A1 (en) Method and apparatus for adapting reference templates
Makhijani et al. Speech enhancement using pitch detection approach for noisy environment
US7003465B2 (en) Method for speech recognition, apparatus for the same, and voice controller
Zolnay et al. Extraction methods of voicing feature for robust speech recognition.
Upadhyay et al. Analysis of different classifier using feature extraction in speaker identification and verification under adverse acoustic condition for different scenario
Pattanayak et al. Significance of single frequency filter for the development of children's KWS system.
Dey et al. Content normalization for text-dependent speaker verification
US20050192806A1 (en) Probability density function compensation method for hidden markov model and speech recognition method and apparatus using the same
Maurya et al. Speaker recognition for noisy speech in telephonic channel
CN101339765A (zh) 一种可广泛应用的国语单音辨认系统
MXPA98007769A (en) Processing of

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060816

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080919

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees