JPH06348292A - 音声認識システム - Google Patents
音声認識システムInfo
- Publication number
- JPH06348292A JPH06348292A JP5133049A JP13304993A JPH06348292A JP H06348292 A JPH06348292 A JP H06348292A JP 5133049 A JP5133049 A JP 5133049A JP 13304993 A JP13304993 A JP 13304993A JP H06348292 A JPH06348292 A JP H06348292A
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- frame
- vector
- distribution
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims abstract description 106
- 238000009826 distribution Methods 0.000 claims description 94
- 238000004364 calculation method Methods 0.000 claims description 39
- 238000010276 construction Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/12—Speech classification or search using dynamic programming techniques, e.g. dynamic time warping [DTW]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 フレーム距離計算、フレーム尤度計算量を削
減し、小型でかつ精度の高い音声認識システムを提供す
ること。 【構成】 入力記憶部２１は入力パターンを保持し、フ
レームべクトル木記憶部２２は、木構造表現されたフレ
ームベクトル集合を保持し、フレーム距離計算部２３
は、クラスタ距離計算部２４と子ノード選択部２５を制
御しフレーム距離集合を出力し、２４は、２３により指
定されたフレームベクトル木のノードのクラスタベクト
ルと入力ベクトルの距離を計算し、子ノード選択部２５
は、２４により計算されたクラスタ距離の小さい子ノー
ドを選択し、マッチング部２６は、２３で計算したフレ
ーム距離を用いてパタン距離を求め、距離最小となるパ
タンを認識結果として出力する。
減し、小型でかつ精度の高い音声認識システムを提供す
ること。 【構成】 入力記憶部２１は入力パターンを保持し、フ
レームべクトル木記憶部２２は、木構造表現されたフレ
ームベクトル集合を保持し、フレーム距離計算部２３
は、クラスタ距離計算部２４と子ノード選択部２５を制
御しフレーム距離集合を出力し、２４は、２３により指
定されたフレームベクトル木のノードのクラスタベクト
ルと入力ベクトルの距離を計算し、子ノード選択部２５
は、２４により計算されたクラスタ距離の小さい子ノー
ドを選択し、マッチング部２６は、２３で計算したフレ
ーム距離を用いてパタン距離を求め、距離最小となるパ
タンを認識結果として出力する。
Description
【０００１】
【産業上の利用分野】本発明は音声認識システムに関
し、特に標準パタンを用いた音声認識システム並びに混
合連続分布モデル型ＨＭＭによる音声認識システムに関
する。
し、特に標準パタンを用いた音声認識システム並びに混
合連続分布モデル型ＨＭＭによる音声認識システムに関
する。
【０００２】
【従来の技術】近年、音声パターンの機械による認識に
関する研究が行われ、数々の手法が提案されている。こ
の中で、よく使われる代表的なものに、ＤＰマッチング
（ダイナミックプログラミングマッチング）と呼ばれる
方法、並びに、隠れマルコフモデル（ＨＭＭ）と呼ばれ
る方法がある。
関する研究が行われ、数々の手法が提案されている。こ
の中で、よく使われる代表的なものに、ＤＰマッチング
（ダイナミックプログラミングマッチング）と呼ばれる
方法、並びに、隠れマルコフモデル（ＨＭＭ）と呼ばれ
る方法がある。
【０００３】ＤＰマッチングによる方法では、特徴ベク
トルの時系列として表された２つのパタン、すなわち標
準パタンと入力パタン、のマッチングを動的計画法（ダ
イナミックプログラミング）を用いて行う。マッチング
は、２つのパタンの間の類似度が最大（距離が最小）と
なるように時間的に伸縮した時間対応付けを見いだすこ
とにより行われる。ＤＰマッチングの詳細な説明は、文
献１：中川聖一、確率モデルによる音声認識、１８〜２
０ページ、電子情報通信学会編（昭和６３）に詳述され
ている。ＤＰマッチングの基本的な方法を以下に概説す
る。
トルの時系列として表された２つのパタン、すなわち標
準パタンと入力パタン、のマッチングを動的計画法（ダ
イナミックプログラミング）を用いて行う。マッチング
は、２つのパタンの間の類似度が最大（距離が最小）と
なるように時間的に伸縮した時間対応付けを見いだすこ
とにより行われる。ＤＰマッチングの詳細な説明は、文
献１：中川聖一、確率モデルによる音声認識、１８〜２
０ページ、電子情報通信学会編（昭和６３）に詳述され
ている。ＤＰマッチングの基本的な方法を以下に概説す
る。
【０００４】入力パタンＸ、標準パタンＢをそれぞれ Ｘ＝ｘ1 ，ｘ2 ，・・・・，ｘt ，・・・・，ｘT （１） Ｂ＝ｂ1 ，ｂ2 ，・・・・，ｂj ，・・・・，ｂJ （２） とする。パタンＸ，Ｂは時間長Ｔ，Ｊが異なり、２つの
パタンの間の距離を求めるには、２つのパタンの間での
時間的な対応付けを付けなければならない。時間的な対
応付けを歪関数ｊ＝ｊ（ｔ）で表す。これは、入力パタ
ンのある時刻ｔに対応する標準パタンの時刻がｊ（ｔ）
であることを表す。問題は、パタン間距離Ｄ［Ｘ，Ｂ］
に関する最小化問題を解くことである。すなわち、
パタンの間の距離を求めるには、２つのパタンの間での
時間的な対応付けを付けなければならない。時間的な対
応付けを歪関数ｊ＝ｊ（ｔ）で表す。これは、入力パタ
ンのある時刻ｔに対応する標準パタンの時刻がｊ（ｔ）
であることを表す。問題は、パタン間距離Ｄ［Ｘ，Ｂ］
に関する最小化問題を解くことである。すなわち、
【０００５】
【０００６】ここで、ｄ（ｔ，ｊ）は、入力パタンの時
刻ｔの特徴ベクトルｘt と標準パタンの時刻ｊの特徴ベ
クトル（フレームベクトルと呼ぶ）ｂj 間の距離（フレ
ーム距離と呼ぶ）である。この最小化問題は、距離累積
値ｇ（ｔ，ｊ）に関する以下の漸化式により解くことが
できる。
刻ｔの特徴ベクトルｘt と標準パタンの時刻ｊの特徴ベ
クトル（フレームベクトルと呼ぶ）ｂj 間の距離（フレ
ーム距離と呼ぶ）である。この最小化問題は、距離累積
値ｇ（ｔ，ｊ）に関する以下の漸化式により解くことが
できる。
【０００７】
【０００８】漸化式（５）は一例でありいろいろのバリ
エーションが存在する。フレーム距離として、
エーションが存在する。フレーム距離として、
【０００９】
【００１０】が用いられる。標準パタンの単位として、
単語単位、音素単位等種々のものが用いられる。入力パ
タンの各時刻ｉに対して、フレーム距離の計算は、（標
準パタン数）ｘ（標準パタンの時間長）回必要である。
単語単位、音素単位等種々のものが用いられる。入力パ
タンの各時刻ｉに対して、フレーム距離の計算は、（標
準パタン数）ｘ（標準パタンの時間長）回必要である。
【００１１】標準パタンの各時刻のフレームベクトルの
うち類似のものをベクトル量子化により共通的な表現と
し、標準パタンの圧縮とフレーム距離の計算を低減する
方法が知られている（文献１：２６〜２７ページに詳述
されている）。すなわち、標準パタンＢは、フレームベ
クトル系列ではなく、コード列 Ｂ’＝ｃ1 ，ｃ2 ，・・・，ｃj ，・・・，ｃJ （７） により表現される．ここで，各ｃj はフレームベクトル
のコードブック ｛ｂ（１），ｂ（２），・・・，ｂ（ｋ），・・・，ｂ（Ｋ）｝ （８） の番号を表す。すなわちここではフレームベクトルｃj
はコードブックベクトルｂ（ｃj ）により近似的に表現
される。ベクトル量子化を採用した場合には、フレーム
距離計算の回数は、入力パタンの各時刻ｔにおいてＫ回
である。
うち類似のものをベクトル量子化により共通的な表現と
し、標準パタンの圧縮とフレーム距離の計算を低減する
方法が知られている（文献１：２６〜２７ページに詳述
されている）。すなわち、標準パタンＢは、フレームベ
クトル系列ではなく、コード列 Ｂ’＝ｃ1 ，ｃ2 ，・・・，ｃj ，・・・，ｃJ （７） により表現される．ここで，各ｃj はフレームベクトル
のコードブック ｛ｂ（１），ｂ（２），・・・，ｂ（ｋ），・・・，ｂ（Ｋ）｝ （８） の番号を表す。すなわちここではフレームベクトルｃj
はコードブックベクトルｂ（ｃj ）により近似的に表現
される。ベクトル量子化を採用した場合には、フレーム
距離計算の回数は、入力パタンの各時刻ｔにおいてＫ回
である。
【００１２】ＨＭＭは、音声パタンの様々な揺らぎに対
処するため、標準パタンの記述に統計的な考えを導入し
たものである。ＨＭＭの詳細な説明は、文献１の４０−
４６頁、５５−６０頁、６９−７４頁にかかれている。
ＨＭＭのパラメータには遷移確率と出力確率パラメータ
がある。遷移確率パラメータは音声パタンの時間的な揺
らぎを表現するためのパラメータである。出力確率パラ
メータは、音声パタンの声色の揺らぎを表現するもので
あり、離散確率分布表現と連続確率分布表現がある。離
散確率分布表現では、量子化誤差の影響が問題となり、
連続確率分布表現の方が優れていると考えられる。連続
確率分布表現では、混合連続分布、すなわち、複数のガ
ウス分布を重みつきで加算した分布が使われる。遷移確
率パラメータ、出力確率分布パラメータは、あらかじ
め、学習データを用いて、前向き後ろ向き（フォワード
バックワード）アルゴリズムにより求められる。
処するため、標準パタンの記述に統計的な考えを導入し
たものである。ＨＭＭの詳細な説明は、文献１の４０−
４６頁、５５−６０頁、６９−７４頁にかかれている。
ＨＭＭのパラメータには遷移確率と出力確率パラメータ
がある。遷移確率パラメータは音声パタンの時間的な揺
らぎを表現するためのパラメータである。出力確率パラ
メータは、音声パタンの声色の揺らぎを表現するもので
あり、離散確率分布表現と連続確率分布表現がある。離
散確率分布表現では、量子化誤差の影響が問題となり、
連続確率分布表現の方が優れていると考えられる。連続
確率分布表現では、混合連続分布、すなわち、複数のガ
ウス分布を重みつきで加算した分布が使われる。遷移確
率パラメータ、出力確率分布パラメータは、あらかじ
め、学習データを用いて、前向き後ろ向き（フォワード
バックワード）アルゴリズムにより求められる。
【００１３】認識時の処理は、次の通りである。特徴ベ
クトルの時系列として表現された入力パタンＸを Ｘ＝ｘ1 ，ｘ2 ，・・・，ｘt ，・・・，ｘT （９） とする。出力確率は混合連続確率分布とする。遷移確率
をａj i 、出力確率分布の混合重みをλi m 、各要素ガ
ウス分布（フレーム分布とよぶ）の平均ベクトルをμ
i m 、共分散行列を
クトルの時系列として表現された入力パタンＸを Ｘ＝ｘ1 ，ｘ2 ，・・・，ｘt ，・・・，ｘT （９） とする。出力確率は混合連続確率分布とする。遷移確率
をａj i 、出力確率分布の混合重みをλi m 、各要素ガ
ウス分布（フレーム分布とよぶ）の平均ベクトルをμ
i m 、共分散行列を
【００１４】
【００１５】とする。ここで、ｔは入力時刻、ｉ，ｊは
ＨＭＭの状態、ｍは混合要素番号を表す。前向き確率α
（ｉ，ｔ）に関する次の漸化式計算を行う。
ＨＭＭの状態、ｍは混合要素番号を表す。前向き確率α
（ｉ，ｔ）に関する次の漸化式計算を行う。
【００１６】
【００１７】入力パタンに対する尤度は Ｐ（Ｘ）＝α（Ｉ，Ｔ） （１３） により求められる。Ｉは最終状態である。入力パタンの
各時刻ｔに対して、フレーム分布に対するフレーム尤度
各時刻ｔに対して、フレーム分布に対するフレーム尤度
【００１８】
【００１９】の計算は、（ＨＭＭの個数）×（１つのＨ
ＭＭの状態数）×（混合数）回行われる。
ＭＭの状態数）×（混合数）回行われる。
【００２０】
【発明が解決しようとする課題】上述した方法による従
来の音声認識システムは、ＤＰマッチングでは、ベクト
ル量子化を行わない場合には、標準パタンの個数および
長さが増えるに従って、ベクトル量子化を行った場合に
は、量子化数が増えるに従って、また、ＨＭＭでは、Ｈ
ＭＭの状態数および混合数が増えるに従って、計算量が
増える。従来は、こうした計算量の増加のため、音声認
識システムを実現するコストを抑えることが困難であっ
た。
来の音声認識システムは、ＤＰマッチングでは、ベクト
ル量子化を行わない場合には、標準パタンの個数および
長さが増えるに従って、ベクトル量子化を行った場合に
は、量子化数が増えるに従って、また、ＨＭＭでは、Ｈ
ＭＭの状態数および混合数が増えるに従って、計算量が
増える。従来は、こうした計算量の増加のため、音声認
識システムを実現するコストを抑えることが困難であっ
た。
【００２１】本発明の目的は、計算量を削減することが
でき、かつ認識性能の高い音声認識システムを提供する
ことである。
でき、かつ認識性能の高い音声認識システムを提供する
ことである。
【００２２】
【課題を解決するための手段】第１の発明による音声認
識システムは、フレームベクトル群の時系列として表現
された標準パタンを用いて認識を行うシステムにおい
て、入力パタンのベクトル時系列を保持する記憶手段
と、木構造表現された、標準パタンのフレームベクトル
の集合を保持する記憶手段と、入力パタンの各時刻のベ
クトルと指定されたノード（クラスタ）に対応するクラ
スタベクトルとの距離を計算するクラスタ距離計算手段
と、指定されたノード（クラスタ）の子ノードのうち、
前記距離の値の小さい方から１つ以上の子ノードを選択
する子ノード選択手段と、前記クラスタ距離計算手段お
よび子ノード選択手段を制御して、ルートノードから選
択された子ノードを辿って順次計算されるクラスタ距離
を用いて、フレームベクトルとの距離（フレーム距離）
の群を算出するフレーム距離計算手段と、前記フレーム
距離の群を用いて、標準パタンとのマッチングを行う手
段、とを含んで構成される。
識システムは、フレームベクトル群の時系列として表現
された標準パタンを用いて認識を行うシステムにおい
て、入力パタンのベクトル時系列を保持する記憶手段
と、木構造表現された、標準パタンのフレームベクトル
の集合を保持する記憶手段と、入力パタンの各時刻のベ
クトルと指定されたノード（クラスタ）に対応するクラ
スタベクトルとの距離を計算するクラスタ距離計算手段
と、指定されたノード（クラスタ）の子ノードのうち、
前記距離の値の小さい方から１つ以上の子ノードを選択
する子ノード選択手段と、前記クラスタ距離計算手段お
よび子ノード選択手段を制御して、ルートノードから選
択された子ノードを辿って順次計算されるクラスタ距離
を用いて、フレームベクトルとの距離（フレーム距離）
の群を算出するフレーム距離計算手段と、前記フレーム
距離の群を用いて、標準パタンとのマッチングを行う手
段、とを含んで構成される。
【００２３】第２の発明の音声認識システムは、第１の
発明において、フレームベクトルからなるクラスタリン
グベクトル群をクラスタ化するとともに、各クラスタの
クラスタ代表ベクトルを算出するクラスタベクトル計算
手段と、すべての標準パタンのフレームベクトルより構
成される集合を初期クラスタリングベクトル群として前
記クラスタベクトル計算を実行し、さらに、得られた各
クラスタに属するフレームベクトル群をクラスタリング
ベクトル群としてクラスタベクトル計算を繰り返す制御
手段、とを更に含んで構成される。
発明において、フレームベクトルからなるクラスタリン
グベクトル群をクラスタ化するとともに、各クラスタの
クラスタ代表ベクトルを算出するクラスタベクトル計算
手段と、すべての標準パタンのフレームベクトルより構
成される集合を初期クラスタリングベクトル群として前
記クラスタベクトル計算を実行し、さらに、得られた各
クラスタに属するフレームベクトル群をクラスタリング
ベクトル群としてクラスタベクトル計算を繰り返す制御
手段、とを更に含んで構成される。
【００２４】第３の発明の音声認識システムは、混合連
続分布ＨＭＭとして表現された標準パタンを用いて認識
を行うシステムにおいて、入力パタンのベクトル時系列
を保持する記憶手段と、木構造表現された、混合連続分
布ＨＭＭを構成する要素分布の群を保持する記憶手段
と、入力パタンの各時刻のベクトルの、指定されたノー
ド（クラスタ）に対応するクラスタ分布に対する尤度を
計算するクラスタ尤度計算手段と、指定されたノード
（クラスタ）の子ノードのうち、前記クラスタ尤度の大
きい方から１つ以上の子ノードを選択する子ノード選択
手段と、前記クラスタ尤度計算手段および子ノード選択
手段を制御して、ルートノードから選択された子ノード
を辿って順次計算されるクラスタ尤度を用いて、フレー
ム分布に対する尤度（フレーム尤度の）群を算出するフ
レーム尤度計算手段と、前記フレーム尤度の群を用い
て、標準パタンに対する尤度計算を行う手段、とを含ん
で構成される。
続分布ＨＭＭとして表現された標準パタンを用いて認識
を行うシステムにおいて、入力パタンのベクトル時系列
を保持する記憶手段と、木構造表現された、混合連続分
布ＨＭＭを構成する要素分布の群を保持する記憶手段
と、入力パタンの各時刻のベクトルの、指定されたノー
ド（クラスタ）に対応するクラスタ分布に対する尤度を
計算するクラスタ尤度計算手段と、指定されたノード
（クラスタ）の子ノードのうち、前記クラスタ尤度の大
きい方から１つ以上の子ノードを選択する子ノード選択
手段と、前記クラスタ尤度計算手段および子ノード選択
手段を制御して、ルートノードから選択された子ノード
を辿って順次計算されるクラスタ尤度を用いて、フレー
ム分布に対する尤度（フレーム尤度の）群を算出するフ
レーム尤度計算手段と、前記フレーム尤度の群を用い
て、標準パタンに対する尤度計算を行う手段、とを含ん
で構成される。
【００２５】第４の発明の音声認識システムは、第３の
発明において、フレーム分布からなるクラスタリング分
布の群をクラスタ化するとともに、各クラスタを表現す
るクラスタ分布を算出するクラスタ分布計算手段と、す
べてのフレーム分布より構成される集合を初期クラスタ
リング分布群として前記クラスタ分布計算を実行し、以
後、得られた各クラスタに属するフレーム分布の群をク
ラスタリング分布群として、クラスタ分布計算を繰り返
す制御手段、とを更に含んで構成される。
発明において、フレーム分布からなるクラスタリング分
布の群をクラスタ化するとともに、各クラスタを表現す
るクラスタ分布を算出するクラスタ分布計算手段と、す
べてのフレーム分布より構成される集合を初期クラスタ
リング分布群として前記クラスタ分布計算を実行し、以
後、得られた各クラスタに属するフレーム分布の群をク
ラスタリング分布群として、クラスタ分布計算を繰り返
す制御手段、とを更に含んで構成される。
【００２６】
【作用】フレーム距離計算では、入力パタンの各時刻の
ベクトルｘに対して、フレーム
ベクトルｘに対して、フレーム
【００２７】
【００２８】を計算する。ここで、ｂ（ｋ）は、フレー
ム番号ｋのフレームベクトルであり、ｋは標準パタンの
時刻（ベクトル量子化なしのとき）、または、ベクトル
量子化コード番号を表す。フレームベクトルの集合は、
図１に示すように、木構造表現される。各ノード（Ｎ
１，Ｎ１１，Ｎ１２，Ｎ１３等）はクラスタ、即ちフレ
ームベクトルの部分集合を表す。ルートノード（Ｎ１）
はフレームベクトル全体の集合を表す。あるノードの子
ノード群は、親ノードに対応するフレームベクトル集合
をクラスタに分けたときのクラスタを表す。各ノードす
なわち各クラスタは、クラスタを代表するベクトル（ク
ラスタベクトル）をを持つ。リーフノード（Ｆ１，Ｆ
２，Ｆ３等）は１つのフレームベクトル（ｂ（１），ｂ
（２），ｂ（３）等）に対応し、リーフノードのクラス
タベクトルはフレームベクトルそのものである。
ム番号ｋのフレームベクトルであり、ｋは標準パタンの
時刻（ベクトル量子化なしのとき）、または、ベクトル
量子化コード番号を表す。フレームベクトルの集合は、
図１に示すように、木構造表現される。各ノード（Ｎ
１，Ｎ１１，Ｎ１２，Ｎ１３等）はクラスタ、即ちフレ
ームベクトルの部分集合を表す。ルートノード（Ｎ１）
はフレームベクトル全体の集合を表す。あるノードの子
ノード群は、親ノードに対応するフレームベクトル集合
をクラスタに分けたときのクラスタを表す。各ノードす
なわち各クラスタは、クラスタを代表するベクトル（ク
ラスタベクトル）をを持つ。リーフノード（Ｆ１，Ｆ
２，Ｆ３等）は１つのフレームベクトル（ｂ（１），ｂ
（２），ｂ（３）等）に対応し、リーフノードのクラス
タベクトルはフレームベクトルそのものである。
【００２９】入力ベクトルｘに対してフレーム距離集合
は以下の手順により求められる。 （Ａ１）親ノードをルートノードとする。 （Ａ２）親ノードの子ノードの各々に対して、入力ベク
トルとクラスタベクトルとの距離（クラスタ距離）を計
算する。 （Ａ３）（Ａ２）で計算されたクラスタ距離のうち距離
の小さい方から子ノードをあらかじめ指定した個数選択
する。 （Ａ４）（Ａ３）で選択された子ノードの各々を新たに
親ノードとし、（Ａ２）へ行く。ただし、リ−フノード
ならばそのノードの処理はそれ以上行わない。 （Ａ５）選択されたノードがすべてリーフノードになる
まで（Ａ２）〜（Ａ４）を繰り返す。 （Ａ６）対応するリーフノードが選択されたフレームベ
クトルに対しては、リーフノードのクラスタ距離がその
ままフレーム距離となる。対応するリーフノードが選択
されなかったフレームベクトルに対しては、最後に選択
された上位ノードのクラスタ距離をフレーム距離とす
る。
は以下の手順により求められる。 （Ａ１）親ノードをルートノードとする。 （Ａ２）親ノードの子ノードの各々に対して、入力ベク
トルとクラスタベクトルとの距離（クラスタ距離）を計
算する。 （Ａ３）（Ａ２）で計算されたクラスタ距離のうち距離
の小さい方から子ノードをあらかじめ指定した個数選択
する。 （Ａ４）（Ａ３）で選択された子ノードの各々を新たに
親ノードとし、（Ａ２）へ行く。ただし、リ−フノード
ならばそのノードの処理はそれ以上行わない。 （Ａ５）選択されたノードがすべてリーフノードになる
まで（Ａ２）〜（Ａ４）を繰り返す。 （Ａ６）対応するリーフノードが選択されたフレームベ
クトルに対しては、リーフノードのクラスタ距離がその
ままフレーム距離となる。対応するリーフノードが選択
されなかったフレームベクトルに対しては、最後に選択
された上位ノードのクラスタ距離をフレーム距離とす
る。
【００３０】以上の手順を、図１を例として説明する。
まず、ノードＮ１１，Ｎ１２，Ｎ１３に対してクラスタ
距離を計算する。このとき、ノードＮ１１，Ｎ１２の２
つを選択したとする。次いでノードＮ１１の子ノードＮ
１１，Ｎ１２，Ｎ１３に対してクラスタ距離を計算す
る。ノードＮ１１，Ｎ１２の２つを選択したとする。同
様に、ノード１２の子ノードＮ１２１，Ｎ１２２，Ｎ１
２３に対してクラスタ距離を計算する。ノードＮ１２
１，Ｎ１２２の２つを選択したとする。
まず、ノードＮ１１，Ｎ１２，Ｎ１３に対してクラスタ
距離を計算する。このとき、ノードＮ１１，Ｎ１２の２
つを選択したとする。次いでノードＮ１１の子ノードＮ
１１，Ｎ１２，Ｎ１３に対してクラスタ距離を計算す
る。ノードＮ１１，Ｎ１２の２つを選択したとする。同
様に、ノード１２の子ノードＮ１２１，Ｎ１２２，Ｎ１
２３に対してクラスタ距離を計算する。ノードＮ１２
１，Ｎ１２２の２つを選択したとする。
【００３１】ノードＮ１３１，Ｎ１３２，Ｎ１３３に対
してはクラスタ距離計算を行わない。リーフノードに対
しては、ノードＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，
Ｆ１０，Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５のみ
に対してクラスタ距離を計算することになる。結局、フ
レーム距離はノードでのクラスタ距離をｅ（）とすると ｄ（１）＝ｅ（Ｆ１），ｄ（２）＝ｅ（Ｆ２），ｄ
（３）＝ｅ（Ｆ３） ｄ（４）＝ｅ（Ｆ４），ｄ（５）＝ｅ（Ｆ５），ｄ
（６）＝ｅ（Ｆ６） ｄ（７）＝ｄ（８）＝ｄ（９）＝ｅ（Ｎ１１） ｄ（１０）＝ｅ（Ｆ１０），ｄ（１１）＝ｅ（Ｆ１
１），ｄ（１２）＝ｅ（Ｆ１２） ｄ（１３）＝ｅ（Ｆ１３），ｄ（１４）＝ｅ（Ｆ１
４），ｄ（１５）＝ｅ（Ｆ１５） ｄ（１６）＝ｄ（１７）＝ｄ（１８）＝ｅ（Ｎ１２） 等、となる。
してはクラスタ距離計算を行わない。リーフノードに対
しては、ノードＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，
Ｆ１０，Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５のみ
に対してクラスタ距離を計算することになる。結局、フ
レーム距離はノードでのクラスタ距離をｅ（）とすると ｄ（１）＝ｅ（Ｆ１），ｄ（２）＝ｅ（Ｆ２），ｄ
（３）＝ｅ（Ｆ３） ｄ（４）＝ｅ（Ｆ４），ｄ（５）＝ｅ（Ｆ５），ｄ
（６）＝ｅ（Ｆ６） ｄ（７）＝ｄ（８）＝ｄ（９）＝ｅ（Ｎ１１） ｄ（１０）＝ｅ（Ｆ１０），ｄ（１１）＝ｅ（Ｆ１
１），ｄ（１２）＝ｅ（Ｆ１２） ｄ（１３）＝ｅ（Ｆ１３），ｄ（１４）＝ｅ（Ｆ１
４），ｄ（１５）＝ｅ（Ｆ１５） ｄ（１６）＝ｄ（１７）＝ｄ（１８）＝ｅ（Ｎ１２） 等、となる。
【００３２】フレームベクトルの木構造は、以下の階層
クラスタリングの手順により得られる。 （Ａ１１）全フレームベクトルからクラスタリングベク
トル群を構成する。 （Ａ１２）クラスタリングベクトル群を複数のクラスタ
に分割する。各クラスタの代表ベクトルを求めクラスタ
ベクトルとする。 （Ａ１３）（Ａ１２）で得た各クラスタについて、クラ
スタ内のフレームベクトルをクラスタリングベクトル群
とし、（Ａ１２）へいく。 （Ａ１４）指定した回数（Ａ１２），（Ａ１３）を繰り
返す。
クラスタリングの手順により得られる。 （Ａ１１）全フレームベクトルからクラスタリングベク
トル群を構成する。 （Ａ１２）クラスタリングベクトル群を複数のクラスタ
に分割する。各クラスタの代表ベクトルを求めクラスタ
ベクトルとする。 （Ａ１３）（Ａ１２）で得た各クラスタについて、クラ
スタ内のフレームベクトルをクラスタリングベクトル群
とし、（Ａ１２）へいく。 （Ａ１４）指定した回数（Ａ１２），（Ａ１３）を繰り
返す。
【００３３】ここで、クラスタ分割法として、例えばＫ
−ｍｅａｎｓ法（文献２：Ｊ．Ｔ．Ｔｏｕ，Ｒ．Ｃ．Ｇ
ｏｎｚａｌｅｚ：Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉ
ｏｎＰｒｉｎｃｉｐｌｅｓ，９４−９５ページ、Ａｄｄ
ｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ
ｍｐａｎｙ，１９７４に詳述）を使うことができる。
−ｍｅａｎｓ法（文献２：Ｊ．Ｔ．Ｔｏｕ，Ｒ．Ｃ．Ｇ
ｏｎｚａｌｅｚ：Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉ
ｏｎＰｒｉｎｃｉｐｌｅｓ，９４−９５ページ、Ａｄｄ
ｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ
ｍｐａｎｙ，１９７４に詳述）を使うことができる。
【００３４】ＨＭＭでは、入力ベクトルｘの、フレーム
分布に対するフレーム尤度の集合
分布に対するフレーム尤度の集合
【００３５】
【００３６】を計算する。ここで
【００３７】
【００３８】は平均値ベクトルμk 、共分散
【００３９】
【００４０】の多次元ガウス分布を表し、ｋはフレーム
の番号を表す。フレーム分布の集合は、フレームベクト
ルの集合の場合と同様に、図１に示すように、木構造表
現される。フレームベクトルの場合と異なる点は、各ノ
ードにクラスタベクトルではなく、クラスタ分布が付随
することである。入力ベクトルｘに対してフレーム尤度
集合は以下の手順により求められる。 （Ｂ１）親ノードをルートノードとする。 （Ｂ２）親ノードの子ノードの各々に対して、入力ベク
トルのクラスタ分布に対する尤度（クラスタ尤度）を計
算する。 （Ｂ３）（Ｂ２）で計算されたクラスタ尤度のうち尤度
の大きい方から子ノードをあらかじめ指定した個数選択
する。 （Ｂ４）（Ｂ３）で選択された子ノードの各々を新たに
親ノードとし、（Ｂ２）へ行く。ただし、リ−フノード
ならばそのノードの処理はそれ以上行わない。 （Ｂ５）選択されたノードがすべてリーフノードになる
まで（Ｂ２）〜（Ｂ４）を繰り返す。 （Ｂ６）対応するリーフノードが選択されたフレーム分
布に対しては、リーフノードのクラスタ尤度がそのまま
フレーム尤度となる。対応するリーフノードが選択され
なかったフレーム分布に対しては、最後に選択された上
位ノードのクラスタ尤度をフレーム尤度とする。
の番号を表す。フレーム分布の集合は、フレームベクト
ルの集合の場合と同様に、図１に示すように、木構造表
現される。フレームベクトルの場合と異なる点は、各ノ
ードにクラスタベクトルではなく、クラスタ分布が付随
することである。入力ベクトルｘに対してフレーム尤度
集合は以下の手順により求められる。 （Ｂ１）親ノードをルートノードとする。 （Ｂ２）親ノードの子ノードの各々に対して、入力ベク
トルのクラスタ分布に対する尤度（クラスタ尤度）を計
算する。 （Ｂ３）（Ｂ２）で計算されたクラスタ尤度のうち尤度
の大きい方から子ノードをあらかじめ指定した個数選択
する。 （Ｂ４）（Ｂ３）で選択された子ノードの各々を新たに
親ノードとし、（Ｂ２）へ行く。ただし、リ−フノード
ならばそのノードの処理はそれ以上行わない。 （Ｂ５）選択されたノードがすべてリーフノードになる
まで（Ｂ２）〜（Ｂ４）を繰り返す。 （Ｂ６）対応するリーフノードが選択されたフレーム分
布に対しては、リーフノードのクラスタ尤度がそのまま
フレーム尤度となる。対応するリーフノードが選択され
なかったフレーム分布に対しては、最後に選択された上
位ノードのクラスタ尤度をフレーム尤度とする。
【００４１】フレーム分布の木構造は、以下の階層クラ
スタリングの手順により得られる。 （Ｂ１１）全ての要素分布をクラスタリング分布群とす
る。 （Ｂ１２）クラスタリング分布群を複数のクラスタに分
割する。各クラスタの代表分布を求めクラスタ分布とす
る。 （Ｂ１３）（Ｂ１２）で得た各クラスタについて、クラ
スタ内のフレーム分布をクラスタリング分布群とし、
（Ｂ１２）へいく。 （Ｂ１４）指定した回数（Ｂ１２），（Ｂ１３）を繰り
返す。
スタリングの手順により得られる。 （Ｂ１１）全ての要素分布をクラスタリング分布群とす
る。 （Ｂ１２）クラスタリング分布群を複数のクラスタに分
割する。各クラスタの代表分布を求めクラスタ分布とす
る。 （Ｂ１３）（Ｂ１２）で得た各クラスタについて、クラ
スタ内のフレーム分布をクラスタリング分布群とし、
（Ｂ１２）へいく。 （Ｂ１４）指定した回数（Ｂ１２），（Ｂ１３）を繰り
返す。
【００４２】ここで、クラスタリング法として、Ｋ−ｍ
ｅａｎｓ法においてカルバックダイバージェンスを距離
として用いた方法を用いることができる。
ｅａｎｓ法においてカルバックダイバージェンスを距離
として用いた方法を用いることができる。
【００４３】図６はＫ−ｍｅａｎｓ法によるクラスタリ
ング手順を示す流れ図である。クラスタリングの対象と
なる分布要素をＮj ［ｘ］，ｊ＝１，・・，Ｊとする。
ング手順を示す流れ図である。クラスタリングの対象と
なる分布要素をＮj ［ｘ］，ｊ＝１，・・，Ｊとする。
【００４４】最初にＳ５でクラスタリングの対象となる
分布要素からランダムにＫ個の分布要素を選ぶことによ
り、初期クラスタセンターの分布Ｎc k ［ｘ］，ｋ＝
１，・・，Ｋを決定する。次にＳ６で各分布要素Ｎ
j ［ｘ］と各クラスターセンター分布Ｎc k ［ｘ］との
距離：Ｄ［ｊ，ｋ］を算出する。分布間の距離として、
例えば、次のカルバックダイバージェンス（Ｋｕｌｌｂ
ａｃｋ ｄｉｖｅｒｇｅｎｃｅ）を用いることができ
る。
分布要素からランダムにＫ個の分布要素を選ぶことによ
り、初期クラスタセンターの分布Ｎc k ［ｘ］，ｋ＝
１，・・，Ｋを決定する。次にＳ６で各分布要素Ｎ
j ［ｘ］と各クラスターセンター分布Ｎc k ［ｘ］との
距離：Ｄ［ｊ，ｋ］を算出する。分布間の距離として、
例えば、次のカルバックダイバージェンス（Ｋｕｌｌｂ
ａｃｋ ｄｉｖｅｒｇｅｎｃｅ）を用いることができ
る。
【００４５】
【００４６】カルバックダイバージェンスは、ガウス分
布の平均、共分散の値から容易に計算できる。文献１、
第２９２〜２９３頁にこれらの計算法が載っている。次
にＳ７で各ｊについて、Ｄ［ｊ，ｋ］を最小とするｋを
求め、このときのクラスタ番号を分布コードとする。す
なわち
布の平均、共分散の値から容易に計算できる。文献１、
第２９２〜２９３頁にこれらの計算法が載っている。次
にＳ７で各ｊについて、Ｄ［ｊ，ｋ］を最小とするｋを
求め、このときのクラスタ番号を分布コードとする。す
なわち
【００４７】
【００４８】である。次にＳ８で各クラスタｋに属する
分布要素の平均として、新しいクラスタセンター分布を
求める。この分布の平均値および共分散は、共分散行列
が対角行列の場合、すなわち
分布要素の平均として、新しいクラスタセンター分布を
求める。この分布の平均値および共分散は、共分散行列
が対角行列の場合、すなわち
【００４９】
【００５０】のとき、次式で求めることができる。
【００５１】
【００５２】ただし、μi （ｋ）はクラスタセンターｋ
の分布の平均値の第ｉ要素、μi （ｊ）は分布要素ｊの
平均値の第ｉ要素、σi （ｋ）2 はクラスの分布の分散
の第ｉ要素、σi （ｊ）2 は分布要素ｊの分散のｉ要
素、
の分布の平均値の第ｉ要素、μi （ｊ）は分布要素ｊの
平均値の第ｉ要素、σi （ｋ）2 はクラスの分布の分散
の第ｉ要素、σi （ｊ）2 は分布要素ｊの分散のｉ要
素、
【００５３】
【００５４】はクラスタｋに属する分布要素ｊについて
の和を表し、Ｊ（ｋ）はクラスタｋに属する分布要素の
個数を表す。
の和を表し、Ｊ（ｋ）はクラスタｋに属する分布要素の
個数を表す。
【００５５】続いてＳ９でクラスタリングの結果以下に
示す（２０）式が収束したか否かを判別し、収束してい
なければ再度Ｓ６に飛び、Ｓ６からＳ９の処理をクラス
タリング結果が収束するまで繰り返し行う。
示す（２０）式が収束したか否かを判別し、収束してい
なければ再度Ｓ６に飛び、Ｓ６からＳ９の処理をクラス
タリング結果が収束するまで繰り返し行う。
【００５６】
【００５７】
【実施例】図２は、第１の発明の一実施例のブロック図
である。入力記憶部２１は（１）式の入力パタンＸを保
持する。フレームベクトル木記憶部２２は、木構造表現
されたフレームベクトル集合を保持する。フレーム距離
計算部２３は、クラスタ距離計算部２４と子ノード選択
部２５を制御して、手順（Ａ１）〜（Ａ６）を実行し、
（１４）式のフレーム距離集合｛ｄ（ｋ）｝を出力す
る。クラスタ距離計算部２４は、手順（Ａ２）を実行す
る。すなわち、２４は、２３により指定されたフレーム
ベクトル木のノードのクラスタベクトルと入力ベクトル
ｘの距離を計算する。子ノード選択部２５は手順（Ａ
３）を実行する。すなわち、２４により計算されたクラ
スタ距離の小さい子ノードを選択する。マッチング部２
６は、２３で計算したフレーム距離を用いて、式
（４）、（５）、（６）を実行し、パタン距離を求め、
距離最小となるパタンを認識結果として出力する。
である。入力記憶部２１は（１）式の入力パタンＸを保
持する。フレームベクトル木記憶部２２は、木構造表現
されたフレームベクトル集合を保持する。フレーム距離
計算部２３は、クラスタ距離計算部２４と子ノード選択
部２５を制御して、手順（Ａ１）〜（Ａ６）を実行し、
（１４）式のフレーム距離集合｛ｄ（ｋ）｝を出力す
る。クラスタ距離計算部２４は、手順（Ａ２）を実行す
る。すなわち、２４は、２３により指定されたフレーム
ベクトル木のノードのクラスタベクトルと入力ベクトル
ｘの距離を計算する。子ノード選択部２５は手順（Ａ
３）を実行する。すなわち、２４により計算されたクラ
スタ距離の小さい子ノードを選択する。マッチング部２
６は、２３で計算したフレーム距離を用いて、式
（４）、（５）、（６）を実行し、パタン距離を求め、
距離最小となるパタンを認識結果として出力する。
【００５８】図３は、第２の発明の一実施例のブロック
図である。認識部３１の動作に先だって、制御部３４は
フレームベクトル集合記憶部３３の内容を読みだし、手
順（Ａ１１）〜（Ａ１３）を実行し、木構造表現したフ
レームベクトル、すなわちフレームベクトル木を作成
し、フレームベクトル木記憶部３２に格納する。認識部
３１は、入力パタンＸに対してフレームベクトル木記憶
部３２の内容を読みだし、フレーム距離を計算し、計算
されたフレーム距離を用いてマッチングを行い、認識結
果を出力する。３１の詳細な動作は、図２の２１〜２６
の動作と同じである。
図である。認識部３１の動作に先だって、制御部３４は
フレームベクトル集合記憶部３３の内容を読みだし、手
順（Ａ１１）〜（Ａ１３）を実行し、木構造表現したフ
レームベクトル、すなわちフレームベクトル木を作成
し、フレームベクトル木記憶部３２に格納する。認識部
３１は、入力パタンＸに対してフレームベクトル木記憶
部３２の内容を読みだし、フレーム距離を計算し、計算
されたフレーム距離を用いてマッチングを行い、認識結
果を出力する。３１の詳細な動作は、図２の２１〜２６
の動作と同じである。
【００５９】図４は、第３の発明の一実施例のブロック
図である。入力記憶部４１は（９）式の入力パタンＸを
保持する。フレーム分布木記憶部４２は、木構造表現さ
れたフレーム分布集合を保持する。フレーム尤度計算部
４３は、クラスタ尤度計算部４４と子ノード選択部４５
を制御して、手順（Ｂ１）〜（Ｂ６）を実行し、（１
５）式のフレーム分布集合｛ｐ（ｋ）｝を出力する。ク
ラスタ尤度計算部４４は、手順（Ｂ２）を実行する。す
なわち、４４は、４３により指定されたフレーム分布木
のノードのクラスタ分布に対する入力ベクトルｘの尤度
を計算する。子ノード選択部４５は手順（Ｂ３）を実行
する。すなわち、４４により計算されたクラスタ尤度の
大きい子ノードを選択する。尤度計算部４６は、４３で
計算したフレーム尤度を用いて、式（１０）、（１
１）、（１３）を実行し、尤度を求め、尤度最大となる
パタンを認識結果として出力する。
図である。入力記憶部４１は（９）式の入力パタンＸを
保持する。フレーム分布木記憶部４２は、木構造表現さ
れたフレーム分布集合を保持する。フレーム尤度計算部
４３は、クラスタ尤度計算部４４と子ノード選択部４５
を制御して、手順（Ｂ１）〜（Ｂ６）を実行し、（１
５）式のフレーム分布集合｛ｐ（ｋ）｝を出力する。ク
ラスタ尤度計算部４４は、手順（Ｂ２）を実行する。す
なわち、４４は、４３により指定されたフレーム分布木
のノードのクラスタ分布に対する入力ベクトルｘの尤度
を計算する。子ノード選択部４５は手順（Ｂ３）を実行
する。すなわち、４４により計算されたクラスタ尤度の
大きい子ノードを選択する。尤度計算部４６は、４３で
計算したフレーム尤度を用いて、式（１０）、（１
１）、（１３）を実行し、尤度を求め、尤度最大となる
パタンを認識結果として出力する。
【００６０】図５は、第４の発明の一実施例のブロック
図である。認識部５１の動作に先だって、制御部５４は
フレーム分布集合記憶部５３の内容を読みだし、手順
（Ｂ１１）〜（Ｂ１３）を実行し、木構造表現したフレ
ーム分布、すなわちフレーム部分布木を作成し、フレー
ム分布木記憶部５２に格納する。認識部５１は、入力パ
タンＸに対してフレーム分布木記憶部５２の内容を読み
だし、フレーム尤度を計算し、計算されたフレーム尤度
を用いて尤度計算を行い、認識結果を出力する。５１の
詳細な動作は、図４の４１〜４６の動作と同じである。
図である。認識部５１の動作に先だって、制御部５４は
フレーム分布集合記憶部５３の内容を読みだし、手順
（Ｂ１１）〜（Ｂ１３）を実行し、木構造表現したフレ
ーム分布、すなわちフレーム部分布木を作成し、フレー
ム分布木記憶部５２に格納する。認識部５１は、入力パ
タンＸに対してフレーム分布木記憶部５２の内容を読み
だし、フレーム尤度を計算し、計算されたフレーム尤度
を用いて尤度計算を行い、認識結果を出力する。５１の
詳細な動作は、図４の４１〜４６の動作と同じである。
【００６１】
【発明の効果】以上説明したように、本発明は、フレー
ムベクトル集合を木構造表現し、このフレームベクトル
木を用いてフレーム距離の集合を求めることにより、フ
レーム距離計算量を削減することができ、小型でかつ認
識精度の高い音声認識システムを実現できる。また、本
発明は、フレーム分布集合を木構造表現し、このフレー
ム分布木を用いてフレーム尤度の集合を求めることによ
り、フレーム尤度計算量を削減することができ、小型で
かつ認識精度の高い音声認識システムを実現できる。
ムベクトル集合を木構造表現し、このフレームベクトル
木を用いてフレーム距離の集合を求めることにより、フ
レーム距離計算量を削減することができ、小型でかつ認
識精度の高い音声認識システムを実現できる。また、本
発明は、フレーム分布集合を木構造表現し、このフレー
ム分布木を用いてフレーム尤度の集合を求めることによ
り、フレーム尤度計算量を削減することができ、小型で
かつ認識精度の高い音声認識システムを実現できる。
【図１】フレームベクトル木およびフレーム分布木
【図２】第１の発明の一実施例のブロック図
【図３】第２の発明の一実施例のブロック図
【図４】第３の発明の一実施例のブロック図
【図５】第４の発明の一実施例のブロック図
【図６】Ｋ−ｍｅａｎｓ法によるクラスタリング手順を
示す流れ図
示す流れ図
２１ 入力記憶部 ２２ フレームベクトル記憶部 ２３ フレーム距離計算部 ２４ クラスタ距離計算部 ２５ 子ノード選択部 ２６ マッチング部 ３１ 認識部 ３２ フレームベクトル木記憶部 ３３ フレームベクトル集合記憶部 ３４ 制御部 ３５ クラスタベクトル計算部 ４１ 入力記憶部 ４２ フレーム分布記憶部 ４３ フレーム尤度計算部 ４４ クラスタ尤度計算部 ４５ 子ノード選択部 ４６ 尤度計算部 ５１ 認識部 ５２ フレーム分布木記憶部 ５３ フレーム分布記憶部 ５４ 制御部 ５５ クラスタ分布計算部
Claims (4)
- 【請求項１】 フレームベクトル群の時系列として表現
された標準パタンを用いて認識を行うシステムにおい
て、入力パタンのベクトル時系列を保持する記憶手段
と、木構造表現された、標準パタンのフレームベクトル
の集合を保持する記憶手段と、入力パタンの各時刻のベ
クトルと指定されたノード（クラスタ）に対応するクラ
スタベクトルとの距離を計算するクラスタ距離計算手段
と、指定されたノード（クラスタ）の子ノードのうち、
前記距離の値の小さい方から１つ以上の子ノードを選択
する子ノード選択手段と、前記クラスタ距離計算手段お
よび前記子ノード選択手段を制御して、ルートノードか
ら選択された子ノードを辿って順次計算されるクラスタ
距離を用いて、フレームベクトルとの距離（フレーム距
離）の群を算出するフレーム距離計算手段と、前記フレ
ーム距離の群を用いて、標準パタンとのマッチングを行
う手段、とを含んで構成されることを特徴とする音声認
識システム。 - 【請求項２】 フレームベクトルからなるクラスタリン
グベクトル群をクラスタ化するとともに、各クラスタの
クラスタ代表ベクトルを算出するクラスタベクトル計算
手段と、すべての標準パタンのフレームベクトルより構
成される集合を初期クラスタリングベクトル群として前
記クラスタベクトル計算を実行し、さらに、得られた各
クラスタに属するフレームベクトル群をクラスタリング
ベクトル群としてクラスタベクトル計算を繰り返す制御
手段、とを更に含んで構成されることを特徴とする請求
項１記載の音声認識システム。 - 【請求項３】 混合連続分布ＨＭＭとして表現された標
準パタンを用いて認識を行うシステムにおいて、入力パ
タンのベクトル時系列を保持する記憶手段と、木構造表
現された、混合連続分布ＨＭＭを構成する要素分布（フ
レーム分布）の群を保持する記憶手段と、入力パタンの
各時刻のベクトルの、指定されたノード（クラスタ）に
対応するクラスタ分布に対する尤度を計算するクラスタ
尤度計算手段と、指定されたノード（クラスタ）の子ノ
ードのうち、前記クラスタ尤度の大きい方から１つ以上
の子ノードを選択する子ノード選択手段と、前記クラス
タ尤度計算手段および前記子ノード選択手段を制御し
て、ルートノードから選択された子ノードを辿って順次
計算されるクラスタ尤度を用いて、フレーム分布に対す
る尤度（フレーム尤度）の群を算出するフレーム尤度計
算手段と、前記フレーム尤度の群を用いて、標準パタン
に対する尤度計算を行う手段、とを含んで構成されるこ
とを特徴とする音声認識システム。 - 【請求項４】 フレーム分布からなるクラスタリング分
布の群をクラスタ化するとともに、各クラスタを表現す
るクラスタ分布を算出するクラスタ分布計算手段と、す
べてのフレーム分布より構成される集合を初期クラスタ
リング分布群として前記クラスタ分布計算を実行し、さ
らに、得られた各クラスタに属するフレーム分布の群を
クラスタリング分布群として、クラスタ分布計算を繰り
返す制御手段、とを更に含んで構成されることを特徴と
する請求項３記載の音声認識システム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5133049A JP2522154B2 (ja) | 1993-06-03 | 1993-06-03 | 音声認識システム |
| CA002124906A CA2124906C (en) | 1993-06-03 | 1994-06-01 | Pattern recognition with a tree structure used for reference pattern feature vectors or for hmm |
| DE69420891T DE69420891T2 (de) | 1993-06-03 | 1994-06-01 | Mustererkennung mit Baumstruktur für Referenzmustermerkmalsvektoren oder für "HMM" |
| EP94108456A EP0627726B1 (en) | 1993-06-03 | 1994-06-01 | Pattern recognition with a tree structure used for reference pattern feature vectors or for HMM |
| US08/659,557 US5912989A (en) | 1993-06-03 | 1996-06-06 | Pattern recognition with a tree structure used for reference pattern feature vectors or for HMM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5133049A JP2522154B2 (ja) | 1993-06-03 | 1993-06-03 | 音声認識システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06348292A true JPH06348292A (ja) | 1994-12-22 |
| JP2522154B2 JP2522154B2 (ja) | 1996-08-07 |
Family
ID=15095626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5133049A Expired - Fee Related JP2522154B2 (ja) | 1993-06-03 | 1993-06-03 | 音声認識システム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5912989A (ja) |
| EP (1) | EP0627726B1 (ja) |
| JP (1) | JP2522154B2 (ja) |
| CA (1) | CA2124906C (ja) |
| DE (1) | DE69420891T2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0762383A2 (en) | 1995-08-30 | 1997-03-12 | Nec Corporation | Pattern adapting apparatus for speech or pattern recognition |
| US6112173A (en) * | 1997-04-01 | 2000-08-29 | Nec Corporation | Pattern recognition device using tree structure data |
| US6173076B1 (en) | 1995-02-03 | 2001-01-09 | Nec Corporation | Speech recognition pattern adaptation system using tree scheme |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
| US7242988B1 (en) | 1991-12-23 | 2007-07-10 | Linda Irene Hoffberg | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US6418424B1 (en) | 1991-12-23 | 2002-07-09 | Steven M. Hoffberg | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US6850252B1 (en) | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
| US6400996B1 (en) | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
| JPH08146988A (ja) * | 1994-11-21 | 1996-06-07 | N T T Data Tsushin Kk | 音声認識方法及び音声認識装置 |
| WO1997008686A2 (en) * | 1995-08-28 | 1997-03-06 | Philips Electronics N.V. | Method and system for pattern recognition based on tree organised probability densities |
| WO1997008685A2 (en) * | 1995-08-28 | 1997-03-06 | Philips Electronics N.V. | Method and system for pattern recognition based on dynamically constructing a subset of reference vectors |
| US6128587A (en) * | 1997-01-14 | 2000-10-03 | The Regents Of The University Of California | Method and apparatus using Bayesian subfamily identification for sequence analysis |
| JP2991287B2 (ja) * | 1997-01-28 | 1999-12-20 | 日本電気株式会社 | 抑制標準パターン選択式話者認識装置 |
| JP2991288B2 (ja) * | 1997-01-30 | 1999-12-20 | 日本電気株式会社 | 話者認識装置 |
| DE19723294C2 (de) * | 1997-06-04 | 2003-06-18 | Daimler Chrysler Ag | Mustererkennungsverfahren |
| GB2333172A (en) * | 1998-01-13 | 1999-07-14 | Softsound Limited | Recognition |
| US5983180A (en) * | 1997-10-23 | 1999-11-09 | Softsound Limited | Recognition of sequential data using finite state sequence models organized in a tree structure |
| US6151574A (en) * | 1997-12-05 | 2000-11-21 | Lucent Technologies Inc. | Technique for adaptation of hidden markov models for speech recognition |
| US6163622A (en) * | 1997-12-18 | 2000-12-19 | U.S. Philips Corporation | Image retrieval system |
| US6070164A (en) * | 1998-05-09 | 2000-05-30 | Information Systems Corporation | Database method and apparatus using hierarchical bit vector index structure |
| US6272250B1 (en) * | 1999-01-20 | 2001-08-07 | University Of Washington | Color clustering for scene change detection and object tracking in video sequences |
| US6721759B1 (en) * | 1998-12-24 | 2004-04-13 | Sony Corporation | Techniques for spatial representation of data and browsing based on similarity |
| US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
| US6594392B2 (en) * | 1999-05-17 | 2003-07-15 | Intel Corporation | Pattern recognition based on piecewise linear probability density function |
| US6526379B1 (en) * | 1999-11-29 | 2003-02-25 | Matsushita Electric Industrial Co., Ltd. | Discriminative clustering methods for automatic speech recognition |
| US20040205035A1 (en) * | 2000-05-01 | 2004-10-14 | Norbert Rimoux | Method and system for adaptive learning and pattern recognition |
| WO2002029617A1 (en) * | 2000-09-30 | 2002-04-11 | Intel Corporation (A Corporation Of Delaware) | Method, apparatus, and system for building a compact model for large vocabulary continuous speech recognition (lvcsr) system |
| US6978239B2 (en) * | 2000-12-04 | 2005-12-20 | Microsoft Corporation | Method and apparatus for speech synthesis without prosody modification |
| US7802236B2 (en) * | 2002-09-09 | 2010-09-21 | The Regents Of The University Of California | Method and apparatus for identifying similar regions of a program's execution |
| US7496498B2 (en) * | 2003-03-24 | 2009-02-24 | Microsoft Corporation | Front-end architecture for a multi-lingual text-to-speech system |
| US7542949B2 (en) * | 2004-05-12 | 2009-06-02 | Mitsubishi Electric Research Laboratories, Inc. | Determining temporal patterns in sensed data sequences by hierarchical decomposition of hidden Markov models |
| US7805301B2 (en) * | 2005-07-01 | 2010-09-28 | Microsoft Corporation | Covariance estimation for pattern recognition |
| US20100185672A1 (en) * | 2009-01-21 | 2010-07-22 | Rising Iii Hawley K | Techniques for spatial representation of data and browsing based on similarity |
| US20100239168A1 (en) * | 2009-03-20 | 2010-09-23 | Microsoft Corporation | Semi-tied covariance modelling for handwriting recognition |
| US20100246941A1 (en) * | 2009-03-24 | 2010-09-30 | Microsoft Corporation | Precision constrained gaussian model for handwriting recognition |
| US9336774B1 (en) * | 2012-04-20 | 2016-05-10 | Google Inc. | Pattern recognizing engine |
| CN110889438B (zh) * | 2019-11-08 | 2023-07-04 | 重庆金山医疗技术研究院有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN115398437B (zh) | 2020-03-30 | 2026-04-03 | 甲骨文国际公司 | 改进的域外(ood)检测技术 |
| US11823478B2 (en) | 2022-04-06 | 2023-11-21 | Oracle International Corporation | Pseudo labelling for key-value extraction from documents |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5525150A (en) * | 1978-08-10 | 1980-02-22 | Nec Corp | Pattern recognition unit |
| JPS55157799A (en) * | 1979-05-29 | 1980-12-08 | Nippon Electric Co | High efficiency pattern matching unit |
| DE58906476D1 (de) * | 1988-07-05 | 1994-02-03 | Siemens Ag | In integrierter Schaltungstechnik ausgeführtes digitales neuronales Netz. |
| JP2940933B2 (ja) * | 1989-05-20 | 1999-08-25 | 株式会社リコー | パターン認識方式 |
| JPH07104952B2 (ja) * | 1989-12-28 | 1995-11-13 | シャープ株式会社 | パターンマッチング装置 |
| US5060282A (en) * | 1990-03-26 | 1991-10-22 | The United States Of America As Represented By The United States Department Of Energy | Optical pattern recognition architecture implementing the mean-square error correlation algorithm |
| US5276766A (en) * | 1991-07-16 | 1994-01-04 | International Business Machines Corporation | Fast algorithm for deriving acoustic prototypes for automatic speech recognition |
| JP3118725B2 (ja) * | 1991-09-11 | 2000-12-18 | 株式会社日立製作所 | 自動分類方法 |
| US5325445A (en) * | 1992-05-29 | 1994-06-28 | Eastman Kodak Company | Feature classification using supervised statistical pattern recognition |
-
1993
- 1993-06-03 JP JP5133049A patent/JP2522154B2/ja not_active Expired - Fee Related
-
1994
- 1994-06-01 EP EP94108456A patent/EP0627726B1/en not_active Expired - Lifetime
- 1994-06-01 DE DE69420891T patent/DE69420891T2/de not_active Expired - Lifetime
- 1994-06-01 CA CA002124906A patent/CA2124906C/en not_active Expired - Fee Related
-
1996
- 1996-06-06 US US08/659,557 patent/US5912989A/en not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6173076B1 (en) | 1995-02-03 | 2001-01-09 | Nec Corporation | Speech recognition pattern adaptation system using tree scheme |
| EP0762383A2 (en) | 1995-08-30 | 1997-03-12 | Nec Corporation | Pattern adapting apparatus for speech or pattern recognition |
| US5956676A (en) * | 1995-08-30 | 1999-09-21 | Nec Corporation | Pattern adapting apparatus using minimum description length criterion in pattern recognition processing and speech recognition system |
| US6112173A (en) * | 1997-04-01 | 2000-08-29 | Nec Corporation | Pattern recognition device using tree structure data |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0627726A1 (en) | 1994-12-07 |
| DE69420891D1 (de) | 1999-11-04 |
| US5912989A (en) | 1999-06-15 |
| CA2124906A1 (en) | 1994-12-04 |
| EP0627726B1 (en) | 1999-09-29 |
| JP2522154B2 (ja) | 1996-08-07 |
| CA2124906C (en) | 1999-09-14 |
| DE69420891T2 (de) | 2000-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2522154B2 (ja) | 音声認識システム | |
| CN114492363B (zh) | 一种小样本微调方法、系统及相关装置 | |
| Wang et al. | Residual convolutional CTC networks for automatic speech recognition | |
| JP5418223B2 (ja) | 音声分類装置、音声分類方法、および音声分類用プログラム | |
| Gales | Cluster adaptive training of hidden Markov models | |
| EP0750293B1 (en) | Triphone hidden Markov model (HMM) design method and apparatus | |
| US7437288B2 (en) | Speech recognition apparatus | |
| CN108415898B (zh) | 深度学习语言模型的词图重打分方法和系统 | |
| JP2007047818A (ja) | 最適化された部分的確率混合共通化を用いる音声認識のための方法および装置 | |
| US20080243506A1 (en) | Speech recognition apparatus and method and program therefor | |
| WO2015022761A1 (en) | Pattern recognition apparatus and pattern recognition method | |
| Sankar | Robust HMM estimation with Gaussian merging-splitting and tied-transform HMMs | |
| Yu et al. | Discriminative cluster adaptive training | |
| Li et al. | Solving large-margin hidden Markov model estimation via semidefinite programming | |
| JP3176210B2 (ja) | 音声認識方法及び音声認識装置 | |
| JP3589044B2 (ja) | 話者適応化装置 | |
| CN114530145A (zh) | 语音识别结果纠错方法及装置、计算机可读存储介质 | |
| CN115064159A (zh) | 基于hmm的失语症患者语音识别算法及装置 | |
| Liu et al. | Automatic model complexity control using marginalized discriminative growth functions | |
| JP2013174768A (ja) | 特徴量補正パラメータ推定装置、音声認識システム、特徴量補正パラメータ推定方法、音声認識方法及びプログラム | |
| CN119832939B (zh) | 语音情感的识别方法、装置、电子设备及存储介质 | |
| JP5694976B2 (ja) | 分散補正パラメータ推定装置、音声認識システム、分散補正パラメータ推定方法、音声認識方法及びプログラム | |
| JP2011048255A (ja) | 経路探索装置、音声認識装置、これらの方法及びプログラム | |
| JPH07114394A (ja) | 話者学習装置 | |
| JP2531073B2 (ja) | 音声認識システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19960402 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090531 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100531 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110531 Year of fee payment: 15 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110531 Year of fee payment: 15 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120531 Year of fee payment: 16 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120531 Year of fee payment: 16 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130531 Year of fee payment: 17 |
|
| LAPS | Cancellation because of no payment of annual fees |