JPH0247756B2

JPH0247756B2 -

Info

Publication number: JPH0247756B2
Application number: JP57110527A
Authority: JP
Inventors: Seiichi Nakagawa; Hidekazu Tsuboka
Original assignee: Individual
Current assignee: Individual
Priority date: 1982-06-25
Filing date: 1982-06-25
Publication date: 1990-10-22
Also published as: JPS59196A

Description

【発明の詳細な説明】本発明は特徴ベクトルの系列として登録された
標準パターンのそれぞれと、特徴ベクトルの系列
に変換された入力パターンとの比較を行い、入力
パターンを認識するパターン比較装置、特に標準
パターンとしてパターンの一部のみが異なるのみ
で他のパターン部分が非常に類似している標準パ
ターンの認識に適したパターン比較装置に関す
る。

人間にとつて最も自然な情報発生手段である音
声が、人間−機械系の入力手段として実現される
ことに対する期待は大きい。近年、ワードプロセ
サの入力を、仮名漢字変換の技術と組合せ、仮名
キーによる入力の代りに単音節音声の発声により
実行することが試みられている。この場合、各単
語節は孤立して発生されるが、「タ」，「パ」，「カ」
のようにそのパターンの一部が異なるのみで全体
として非常に類似した入力パターン（以下、類似
パターンという）の場合、誤認識の問題が生じて
いる。

ところで標準パターンと入力パターンとを比較
し、その類似度や距離を計算して音声認識を行う
場合、類似度や距離の計算に動的計画法（以下、
DP法という）の手法が用いられる。この動的計
画法を用いた音声認識において前記類似パターン
の誤認識の問題を解決しようとすると、単音節１
個当りの特徴ベクトルの数を増したり、ベクトル
の次元を増したりすることが必要である。しかし
ながら特徴ベクトルの数や次元を増すと計算量は
飛躍的に増大し、実用化することができなくな
る。

また単音節を孤立して発生した場合でなく、連
続して発生した場合の認識、すなわち連続単音節
認識においては、前記問題に加えて単音節間の境
界を分離するという問題があり、これも計算量の
増大に影響する。

このような計算量の増大は音声認識をリアルタ
イムで行おうとする場合に大きな障害となる。

本発明は以上の点に鑑み、類似パターンの認識
を、計算量をほとんど増すことなく行い、リアル
タイムで入力パターンの認識を行うことができる
パターン比較装置を提供することを目的とする。

この目的を達成するために本発明は、動的計画
法を用いてパターンマツチングの計算を行う場合
に、標準パターンの全パターン部分と入力パター
ンとのマツチングを行つて累積距離を求めるとと
もにこの累積距離の計算において同時に得られる
部分的な累積距離すなわち標準パターンの特定部
分と入力パターンとの累積距離を求め、前記２種
の累積距離を用いて入力パターンの認識を行うよ
うに構成している。

以下、第１図を用いて本発明の原理について連
続単音節認識を例にとり説明する。

第１図は入力パターンの第ｉフレームを始端と
して標準パターンである単音節ｎとマツチングし
た場合のマツチングの様子を示したものである。
すなわち、イ，ロはそれぞれ傾き1/2，２の直線
でマツチングはこの両者の直線で囲まれた領域で
行われる。この領域は必要な認識精度、計算速度
などを考慮して定められる。第１図の場合は標準
パターン長に対し入力パターンが0.5〜２の範囲
で変化するのを許容するように定めたものであ
る。ハは第ｉフレームを始端とし、第ｂフレーム
を終端としたときのマツチングの径路を示してい
る。jⁿは標準パターンｎを構成する単音節の子音
部と母音部を分けるフレームであつて、標準パタ
ーンとしてのこの単音節を登録するときに同時に
登録しておくものである。従つて、登録単音節ｎ
の第１フレームから第jⁿフレームまではその単音
節の子音部、第jⁿ＋１フレームから第Jⁿフレーム
まではその単音節の母音部ということになる。ｅ
は径路ハにおいて、jⁿに対応する入力パターンの
フレームである。

ここで、第１〜ｉフレームまでの入力パターン
と、各標準パターンの最適な組み合せの結合パタ
ーンとのパターン間の距離（以下、最小累積距離
という）をＤ（ｉ）とする。従つてこのＤ（ｉ）は
両者の類似の程度を表わす尺度として用いられ、
次の式で定義される。

Ｄ（ｉ）＝min ｎ，i′〔Ｄ（i′−１）＋Dⁿ ₀ （i′：ｉ）〕 …(1) なお、Ｄ（i′−１）は入力パターンの第i′−１フ
レームまでの最小累積距離であり、Dⁿ ₀（i′：ｉ）
は標準パターンｎに対し、入力パターンの第i′〜
ｉフレーム間のパターン（以下、部分入力パター
ンという）とのパターン間の距離（以下、部分距
離という）である。

従来のDP法を用いたパターン比較装置におい
ては前記Ｄ（ｉ）を決定するのにＤ（i′−１）＋Dⁿ ₀
（ｉ：ｉ）を最小にするi′（＝i′）とｎ（＝ｎ）をｉ
−2Jⁿ＋１≦i′≦ｉ−１／２Jⁿ；ｎ＝１，２，…，Ｎについて求めたのであるが、本発明のパターン比
較装置においてはDⁿ ₀（i′：ｉ）のみでなく、子音
部のみのマツチング結果、すなわち第ｂ〜ｅフレ
ームのパターン間の距離をも加味してＤ（ｉ），Ｂ
（ｉ），Ｎ（ｉ）を求めるものである。なお、Ｂ
（ｉ）＝i^′−１，Ｎ（ｉ）＝n^である。本発明におけ
るＤ（ｉ）としては例えば以下のものがある。第
１図のｉ−ｊ平面において、Dⁿ _i0（i′，ｊ）を径路
ハに沿う始点（ｅ，jⁿ）から点（i′，ｊ）までの
パターン間の距離、Lⁿ（ｉ，ｊ）を第i′フレーム
から第ｅフレームまでの入力のフレーム数とする
とき、Dⁿ ₁₀（ｂ，１）／Lⁿ（ｂ，１）とDⁿ（ｉ）と
の荷重和 S_o＝w₁Dⁿ／_i0（ｂ，１）／Lⁿ（ｂ，１）＋w₂Dⁿ（ｉ）
……(2) が最小になる単音節ｎ（＝n^）を求め、Ｄ（ｉ）＝Ｄ（ｂ−１）＋Dⁿ ₀（ｂ：ｉ） ……(3) Ｂ（ｉ）＝ｂ−１Ｎ（ｉ）＝ｎとする。

ただしDⁿ（ｉ）は式(1)でｎを固定し、i′につい
てのみ最小化したものであり、そのときのi′をｂ
としている。

またＤ（ｉ）として以下のように定義すること
もできる。

Ｄ（ｉ）＝min ｎ，i′〔Ｄ（i′−１）＋w₁Dⁿ／_i0（i′，１）／Lⁿ（i′，１）＋w₂Dⁿ／₀
（i′：ｉ）／ｉ−ｉ／w₁＋w₂ ・（ｉ−i′）〕 …(3)′ Ｂ（ｉ）＝i^′−１Ｎ（ｉ）＝n^ ただしi^′，n^は式(3)′を満たすi′およびｎである
。

以上の原理を用いた本発明の実施例について、
以下、説明する。

第２図は本発明のパターン比較装置を連続単音
節音声の認識に適用した場合の一実施例を示すブ
ロツク図である。

図において、音声信号入力端子１０に入力され
た音声信号は、特徴抽出部１１で特徴ベクトルの
系列Ａ＝a₁a₂…a_Iに変換される。１２はこのそれ
ぞれの特徴ベクトルを母音とみなして認識する母
音認識部で、１３は母音認識部１２で前記特徴ベ
クトルを母音とみなして認識するために必要な識
別函数を記憶している識別函数記憶部である。識
別函数による認識は通常の良く知られたパターン
認識の手法がそのまま使用される。１４は母音認
識部１２で前記のように母音として認識された結
果をフレーム番号と共に記憶する母音認識結果記
憶部である。１５は単音節標準パターン記憶部
で、それぞれの単音節は特徴ベクトルの系列の形
で記憶されている。１６は入力音声信号の第ｉフ
レームにおいて、単音節標準パターン記憶部１５
に記憶されている第ｎ単音節bⁿ ₁bⁿ ₂…bⁿ _Joを構成す
るベクトルのそれぞれと、特徴抽出部１１の出力
の特徴ベクトルの系列a_i-2Jo+1a_i-2Jo+2…a₁のそれ
ぞれのベクトルとのベクトル距離dⁿ（i′，ｊ）（ｉ
−2Jⁿ＋１i′ｉ）を第１図の直線イ，ロで囲ま
れた部分について計算し、その計算結果を一時的
に記憶するベクトル間距離計算部である。ベクト
ルa_i＝（a_i，a_i2，…，a_iM）とベクトルbⁿ _j＝（bⁿ _j1，
bⁿ _j2，…，bⁿ _jMとの距離dⁿ（ｉ，ｊ）は例えばdⁿ（ｉ，
ｊ）＝_M 〓^m=1 ｜a_in−bⁿ _jn｜とすることができる。１７
は入力の第i′フレームからｉフレームまでのベク
トルの系列a_i′a_i′₊₁…a_i（ｉ−2Jⁿ＋１i′ｉ−１
／２ Jⁿ）よりなるパターンと第ｎ単音節bⁿ ₁bⁿ ₂…bⁿ _Jｎと
のマツチング距離Dⁿ ₀（i′：ｉ）と、子音部のみの
マツチング距離Dⁿ _i0（i′，１）と、子音部の入力方
向のフレーム数Lⁿ（i′，１）とをベクトル間距離
計算部１６の出力から計算し、その結果を一時的
に記憶する部分累積距離計算部である。なおDⁿ ₀
（i′：ｉ）は次のように計算される。

マツチング径路の拘束条件として第８図に示す
ものを用いた場合、始点（ｉ，Jⁿ）から（i′，ｊ）
までのパターン間の距離Dⁿ ₁（i′，ｊ）は次のよう
になる。すなわち標準パターンｎの第ｊフレーム
に対応する入力パターンのフレームi′の範囲は第
１図に示すようにｉ−2Jⁿ−１＋2ji′ｉ−１／２Jⁿ＋１／２＋１／
２ｊであるから、この範囲のi′に対して j^＝argmin ｊj′＜ｊ＋２〔Dⁿ _j（i′＋１，j′）〕 ……(4) Dⁿ _i（i′，ｊ）＝Dⁿ _i（i′＋１，j^）＋dⁿ（ｉ，ｊ）
……(5) なる漸化式を Dⁿ _i（ｉ，Jⁿ）＝dⁿ（ｉ，Jⁿ） ……(6) を初期値として解く。ここで、argmin ｘ〔〕な
る記法は〔〕内の値を最小にするｘという意味
である。従つて、 Dⁿ ₀（i′：ｉ）＝Dⁿ _i（i′，１） ……(7) となる。

また、この計算を行つているとき、同時にDⁿ _i0
（i′，ｊ），Lⁿ（i′，ｊ）も求める。すなわち、１ｊ＝jⁿ（またはｊ＝jⁿ−１かつj^＝jⁿ＋１）のと
きは Dⁿ _i0（i′，ｊ）＝dⁿ（i′，ｊ） ……(8) Lⁿ（i′，ｊ）＝１ ……(9) ２１以外のｊ＜jⁿ−１に対しては Dⁿ _i0（i′，ｊ）＝Dⁿ _i0（i′＋１，j^）＋ｄ（i′，
ｊ）
…(10) Lⁿ（i′，ｊ）＝Lⁿ（i′＋１，j^）＋１ ……(11) なる計算をするのである。従つて、Dⁿ _i0（i′，ｊ）
はDⁿ ₀（i′：ｉ）を求めたときの径路に沿つたｊ＝jⁿ
またはｊ＝jⁿ−１からｊまでの子音部のみの累積
マツチング距離として求まり、Lⁿ（i′，ｊ）はｊ
＝jⁿまたはｊ＝jⁿ−１からｊまでの前記径路の入
力方向のフレームの数として求める。単音節ｎに
対する第i′フレームから第ｉフレームまでの入力
パターンの子音部のみのマツチング結果はDⁿ _i0（i′，
１），子音部の入力方向の長さはLⁿ（i′，１）とな
る。前記項目１は、子音部の始点が、マツチング
径路がjⁿを通るときはjⁿであり、jⁿを通らないと
きはjⁿ−１となることを意味している。

１８は第ｉフレームが最終フレームと仮定した
とき、最終単音節がｎのときのｉ＝１からの累積
距離Dⁿ（ｉ）と単音節ｎのバツクポインタBⁿ（ｉ）
を計算するとともにそれらを記憶する累積距離計
算部である。すなわち、 i^′＝argmin ｉＤ（i′−１）＋Dⁿ ₀（i′：ｉ）〕 (12) Dⁿ（ｉ）＝Ｄ（i^′−１）＋Dⁿ ₀（i^′：ｉ）……（1
3） Bⁿ（ｉ）＝i^′−１ ……（14）として求まる。

（19）は最後尾単音節母音フレーム計算部であ
つて、（16），（17），（18）における計算をｎ＝１，
２，…，Ｎについて実行した結果から、最後尾単
音節を n^＝argmin ｎ〔Dⁿ（ｉ）〕として仮に求めると共に、単音節ｎに対し、その
マツチング径路に関し、ｊⁿ＾に対応する入力フレー
ムと第ｉフレームの中点（母音の定常部に相当）
i″を求めるものである。なお簡便なi″の決め方と
して、第ｉフレームから一定数のフレームを遡つ
たフレームとして決めることができる。

２０は候補単音節発生部であつて、最後尾単音
節母音フレーム計算部１９で計算されたi″に対
し、既に第i″フレームが何れの母音であつたか記
憶されている母音認識結果記憶部１４の第i″フレ
ームに対応する出力から、その母音を母音部とし
てもつ単音節を発生するものである。

２１はこの候補単音節をｋとするとき、 D^k _i0（B^k（ｉ）＋１，１），L^k（B^k（ｉ）＋１，１）
を部分累積距離計算部１７から読み出し、D^k
（ｉ）を累積距離計算部１８から読み出し、w₁，
w₂を重み係数とするとき、 k^＝argmin〔w₁D^k／_i0（B^k（ｉ）＋１，１）／L^k（B^k（ｉ）＋１，１）＋w₂D^k（ｉ）〕 ……（28）を計算する最後尾単音節決定部である。このよう
にして、第ｉフレームにおける最後尾単音節はk^
であると決定される。

（22）は最後尾単音節記憶部であつて、Ｎ（ｉ）＝k^ として記憶される。

また、最後尾単音節がｋであると決定される
と、累積距離計算部１８に記憶されているD^k
（ｉ），B^k（ｉ）がそれぞれ累積距離記憶部２３、
バツクポインタ記憶部２４に記憶される。累積距
離計算部１８において求められる式（25）の計算
中のＤ（i′−１）は、この累積距離記憶部２３に
前記のようにして既に記憶されているものであ
る。ただしＤ（₀）＝０である２５は音声区間検出部であつて、入力信号の大
きさ等から音声区間を判定するものであり、この
音声区間検出部２５が音声入力が開始されたこと
を検出すると、フレーム数計数器２６は、フレー
ム毎に計数をはじめる。前記母音認識より最後尾
単音節の決定までの処理は第ｉフレームについて
の処理であつたが、このフレーム数計数器２６の
計数値がすなわちこのｉを設定している。従つ
て、前記と同様の処理がフレームが１進む毎に行
われることになる。フレーム数計数器２６は音声
区間が検出されると計数を始め、音声区間が終了
するとリセツトされる。最後尾単音節記憶部２
２、バツクポインタ記憶部２４には、従つて、Ｎ
（ｉ），Ｂ（ｉ）がｉ＝１，２，…，Ｉについて記
憶されることになる。

セグメンテーシヨン部２７はバツクポインタ記
憶部２４に対し、所定のバツクポインタを読み出
すべき命令を発するものである。すなわち、セグ
メンテーシヨン部２７がｉなる値をバツクポイン
タ記憶部２４に発すると、バツクポインタ記憶部
２４からはバツクポインタＢ（ｉ）が読み出され
る。セグメンテーシヨン部２７はバツクポインタ
記憶部２４からＢ（ｉ）なる値を受け取ると、そ
の同じ値をバツクポインタ記憶部２４に発する。
従つて、音声区間検出部２５が音声入力の終了を
検知すると、フレーム数計数器２６の最終値Ｉが
セグメンテーシヨン部２７に供給され、セグメン
テーシヨン部２７は先ずＩなる値をバツクポイン
タ記憶部２４に発する。以後、前記説明の動作に
従つて、バツクポインタ記憶部２４には、Ｂ
（Ｉ），Ｂ（Ｂ（Ｉ）），Ｂ（Ｂ（Ｂ（Ｉ））），…，
０なる
出力が順次得られることになる。これらの値は、
最後から２番目の単音節の終りのフレーム、同３
番目の終りのフレーム、同４番目の終りのフレー
ム、…というものであり、Ｎ（ｉ）はｉフレーム
で終る単音節であつたから、この値をそのまま最
後尾単音節記憶部２２に与えると、最後の単音節
から逆の順序で認識結果が得られることになる。
なお、これを避けるためには、この順序の変換を
バツクポインタ記憶部２４の出力に対して行う
か、最後尾単音節記憶部２２の出力に対して行え
ばよい。

第４図は前記実施例装置の機能をソフトウエア
で実現した場合のフローチヤートであり、以下前
記実施例装置の各部の動作と結びつけて説明す
る。

ステツプ101は初期値設定であつて、累積距離
記憶部２３においてＤ（₀）＝０であることを示す。

ステツプ102は入力のフレーム番号であつて、
ｉ＝１，２，…，Ｉのそれぞれについてステツプ
108〜121の処理が行われる。実際にはこの値はフ
レーム数計数器２６で設定される。

ステツプ108は各フレームｉを母音とみなして
認識する部分であつて、母音認識部１２、母音認
識結果記憶部１４で行う動作である。

ステツプ105は認識すべき単音節ｎ＝１，２，
…，Ｎについてステツプ105〜117の処理を行うこ
とを示している。

ステツプ106，107，108は、ベクトル間距離計
算部１６の動作を示し、第１図の直線イ，ロで囲
まれた部分について、標準パターンと入力パター
ンの対応する特徴ベクトルの間の距離を求める。

ステツプ109〜116は部分累積距離計算部１７の
動作であつて、前記範囲においてDⁿ ₀（i′：ｉ），
Dⁿ _i0（i′，１），Lⁿ（i′，１）を計算する部分である
。

ステツプ117は累積距離計算部１８の動作を示
し、最後尾単語をｎとしたときの累積距離Dⁿ
（ｉ）とそのときのバツクポインタBⁿ（ｉ）を計
算する部分である。

ステツプ118〜119は最後尾単音節母音フレーム
計算部１９の動作であつて、ステツプ117の結果
から最適の最後尾単音節を仮に決定し、そのとき
の母音とおぼしきフレームi″を前記の方法で求め
る部分である。

ステツプ120はステツプ119で求めたi″フレーム
が何れの母音であつたかはステツプ108の結果を
参照すればわかるから、その母音段の単音節ｋに
ついて、最適のものを見つけ出す部分であつて、
この計算は最後尾単音節決定部２１で行つてい
る。ステツプ121はステツプ120で求まつた最適の
単音節k^に対し、Ｎ（ｉ）＝k^として最後尾単音節
記憶部２２に、Ｄ（ｉ）＝D^k（ｉ）として累積距離
記憶部２３に、Ｂ（ｉ）＝B^k（ｉ）としてバツクポ
インタ記憶部２４にそれぞれ格納されることを示
している。

ステツプ122〜125は以上のようにして求められ
たＮ（ｉ），Ｂ（ｉ）から逆の順序で単音節の認識
結果を求める部分である。

以上のように本実施例においては、連続して発
声された音声を精度よく単音節列に変換すること
ができ、音声タイプライタ等への応用が可能とな
る。

なお、前記実施例においては、子音プラス母音
のいわゆるCVを単位とする単音節について説明
したが、VCV（母音＋子音＋母音）を単位とする
場合にも本発明は適用することができる。この場
合、第５図に示すように、jⁿ¹，jⁿ²を標準パター
ンの子音部と母音部の境界とするとき、マツチン
グ径路２９において、ｊ＝jⁿ²〜１の部分の累積
距離からｊ＝jⁿ¹〜１の部分の累積距離を差し引
いたものをjⁿ¹〜jⁿ²の累積距離として評価すれば
よい。jⁿ²〜１あるいはjⁿ¹〜１の部分の累積距離
は、CVの場合のjⁿをjⁿ²あるいはjⁿ¹におきかえれ
ばよいから、結局前記実施例において次の置き換
えをすればよいだけである。すなわち、jⁿ¹〜１
の間の累積距離は、前記実施例において、jⁿを
jⁿ¹，Lⁿ（i′，ｊ）をLⁿ¹（i′，ｊ），Dⁿ ₀（i′，ｊ）
をDⁿⁱ ₀
（i′，ｊ）にそれぞれおきかえればよく、jⁿ²〜１
の間の累積距離は、jⁿをjⁿ²，Lⁿ（i′，ｊ）をLⁿ²
（ｉ，ｊ），Dⁿ _i0（i′，ｊ）をDⁿ² _i0（i′，ｊ）にそ
れぞ
れおきかえればよい。従つて、子音部のみの累積
距離Dⁿ _i0（ｂ，１）、入力軸方向の長さLⁿ（ｂ，１）
は次のようになる。

Dⁿ _i0（ｂ，１）＝Dⁿ² _i0（ｂ，１）−Dⁿ¹ _b0（ｂ，１） Lⁿ（ｂ，１）＝Lⁿ²（ｂ，１）−Lⁿ¹（ｂ，１）＝ｇ−
ｆ第２図に示した実施例装置における部分累積距
離計算部１７を以上の動作を行う機能を有するも
のに置き換えれば、前記実施例装置はそのまま
VCVを標準パターンとする場合のものになる。

また本発明は実施例としては連続して発声され
た単音節の認識について説明したが、孤立して発
声された単音節の認識にも用いることができ、単
音節全体としてのマツチング結果と、子音部のみ
のマツチング結果の両方から最終的な認識結果を
得ることができる。すなわち、入力音声が単に１
つの単音節であると仮定すれば、本発明はそのま
ま孤立単音節音声の認識に適用することができ
る。

またマツチング方法としては２段DP法を用い
た実施例について説明したが、その他のDPマツ
チングの手法を用いたマツチング方法も用いても
よい。

また実施例では単音節音声について説明した
が、ベクトルの系列で表わされるあらゆるパター
ンのマツチングに本発明は用いることができる。

以上のように本発明のパターン比較装置は標準
パターンと入力パターンの全体としての動的計画
法によるマツチング結果と、この全体としてのマ
ツチング結果の計算の過程で得られる標準パター
ンの一部分とそれに対応する入力パターンの一部
分のマツチング結果とを用いて入力パターンに最
も近い標準パターンを識別するように構成したの
で、全体として類似し、一部のみが微妙に異なる
ような入力パターンの識別を計算量をほとんど増
すことなく行うことができる。

【図面の簡単な説明】

第１図は本発明の原理を説明するための図、第
２図は本発明におけるパターン比較装置の一実施
例のブロツク図、第３図はマツチング径路の拘束
条件を示す図、第４図は第２図に示した実施例装
置の機能を実現したソフトウエアのフローチヤー
ト、第５図は標準パターンがVCV音節の場合の
説明図である。１１…特徴抽出部、１５…単音節標準パターン
記憶部、１６…ベクトル間距離計算部、１７…部
分累積距離計算部、１８…累積距離計算部、２１
…最後尾単音節決定部、２２…最後尾単音節記憶
部、２３…累積距離記憶部、２４…バツクポイン
タ記憶部、２５…音声区間検出部、２６…フレー
ム数計数器、２７…セグメンテーシヨン部。

Claims

【特許請求の範囲】

１入力信号を特徴ベクトルa₁（ｉ＝１，２，…，
Ｉ）の時系列に変換する特徴抽出手段と、標準パ
ターンBⁿ＝bⁿ ₁bⁿ ₂…bⁿ _Jo（ｎ＝１，２，…，Ｎ）を
記憶する標準パターン記憶手段と、前記標準パタ
ーンのそれぞれと、前記特徴ベクトルa₁の系列で
表わされた入力パターンとの動的計画法を用いた
マツチング計算を行うマツチング計算手段と、標
準パターンと入力パターンの全体としてのマツチ
ング結果と、それぞれの標準パターンの登録時に
予め指定されている各標準パターンの一部分と対
応する入力パターンの一部分とのマツチング結果
とを少なくとも用い、前記入力パターンに最も近
い標準パターンを識別する手段とを備えたことを
特徴とするパターン比較装置。