JPH0437996B2 - - Google Patents

Description

【発明の詳細な説明】 〔発明の技術分野〕 本発明は連続発声された入力音声を効率良く認
識することのできる連続音声認識装置に関する。

〔発明の技術的背景とその問題点〕

音声を情報入力手段とする日本語ワードプロセ
ツサや音声タイプライタにあつては、自然性良く
連続的に発声される音声を如何に効率良く認識す
るかが重要な課題となる。しかして従来より知ら
れている連続音声認識の１つに、認識単位を音素
程度のものとし、入力音声の特徴パラメータの時
系列を、一旦音素ラベルの列や、所謂セグメント
ラテイスに変換してその単語や文を抽出するもの
がある。然し乍ら、連続発声される入力音声にあ
つては、同じ音素であつてもその前後の音素環境
によつて所謂調音結合が生じ、この結果、音響的
な表現が多様な変形を受けると云う性質がある。
この為、高精度に上記音素ラベルへの変換を行う
ことが難しく、実用性に乏しかつた。

これに対して、認識単位を単語程度のものと
し、特徴パラメータの時系列から単語を直接的に
同定し、その後単語列を文として認識する方式が
提唱されている。この方式は、単語として標準パ
ターンを持つことによつて前述した調音結合の問
題を回避したものである。しかして上記単語の同
定法は、入力音声から単語境界位置を検出し、そ
の境界によつて定まる入力音声の部分区間につい
て単語を同定するものと、逆に境界を検出するこ
となしに入力音声の全ての部分区間に単語が存在
すると看做して単語を同定するものとに大別され
る。上記境界の検出は、例えば入力音声の音声パ
ワーやスペクトラム変化等の特徴パラメータを抽
出し、その時系列上の極値を求める等して行われ
る。ところが、例えば数字の“２”（／ni／）と
数字の“１”（／it∫i／）が連続発声されて（／
ni：t∫i／）となつた場合には、その単語境界を
検出することができない等の不具合があつた。

この点、上述した後者の単語同定方式は一部に
おいて実用化されている。即ち、この単語同定の
基本的なアルゴリズムは、語彙中の各単語（言語
的な意味ではなく、音声認識における認識単位と
して定義される）に対して、標準パターンを一定
時間毎に分析された特徴パラメータの時系列とし
て準備する。そして、入力音声の全ての部分区間
について上記標準パターンとの距離を求めて、最
小距離を与える単語を判定するものである。この
際、所定の分析時間毎に得られる特徴パラメータ
間の距離（フレーム間距離）を計算し、動的計画
法を時間正規化に利用して時系列パターン間の距
離を求める。そして、単語列としての入力音声と
の距離を全ての部分区間の組合せについて評価
し、最小の累積距離を持ち、且つ入力音声の全体
に対応する単語列を認識結果として得るものであ
る。

ところがこの方式は話者が特定される場合には
良好に作用するが、話者が不特定になると次のよ
うな問題を招来した。即ち、不特定な話者を対象
とすると、話者によつて単語の音声パターンが大
きく異なる為、話者に対応した非常に膨大な量の
単語標準パターンを準備することが必要となる。
故に、不特定な話者に対しては、原理的には無限
数の標準パターンが必要となり、その実現が著し
く困難となる。

そこで近時、各単語について有限少数の標準パ
ターンだけを準備し、クラスタリングの手法を応
用することによつて上記不特定話者に対する標準
パターンの問題を解決することが考えられてい
る。然し乍ら、このようにすると単語列（文）に
対する認識率が著しく低下し、実用的には堪え難
いものとなつている。しかも、この手法を採用す
ると、全ての単語カテゴリについて、更にはそれ
ぞれ複数個の時系列標準パターンについて逐一そ
の距離を計算する必要があり、全体の計算処理量
が非常に膨大なものとなると云う致命的な欠点が
あつた。これらの理由により、連続発声された入
力音声を効率良く、効果的に認識することが非常
に困難であつた。

〔発明の目的〕

本発明はこのような事情を考慮してなされたも
ので、その目的とするところは、不特定話者が連
続発声した入力音声を高精度に、しかも実時間処
理によつて効率良く認識することのできる実用性
の高い連続音声認識装置を提供することにある。

〔発明の概要〕

本発明は標準パターンを周波数・時間の構造を
反映する一定次元の特徴ベクトルとして持ち、入
力音声を一定時間毎に分析して求められる特徴パ
ラメータのベクトルと上記各標準パターンの各時
間点における部分特徴ベクトルとの部分類似度を
それぞれ求め、これら各標準パターン別に求めら
れた部分類似度の列について現時点を基準にし、
この基準時点からの遡り時間長さが異なる複数の
部分区間を設定し、これら部分区間内に位置する
前記部分類似度の中から分散された位置上にある
部分類似度を一定個数ずつ抽出し、抽出された部
分類似度が最大値をとる標準パターン名とその単
位類似度とを各部分区間毎にそれぞれ求めたの
ち、入力音声区間と等しい区間を為す前記部分区
間の列の各部分区間毎に求められた前記単位類似
度の和を求めて部分区間の列を構成している標準
パターン名列を評価するようにしたものである。

〔発明の効果〕

従つて本発明によれば、標準パターンが周波
数・時間構造を反映する特徴パラメータの一定次
元のベクトルとして示されるので、少ない標準パ
ターン数で、不特定話者に起因する音声パターン
の多様な変動に十分対処して高精度に音声を認識
することが可能となる。また、各標準パターン別
に求められた部分類似度の列について現時点を基
準にし、この基準時点からの遡り時間長さが異な
る複数の部分区間を設定し、これら部分区間内に
位置する部分類似度の中から分散された位置上に
ある部分類似度を一定個数ずつ抽出し、抽出され
た部分類似度が最大値をとる標準パターン名とそ
の単位類似度とを各部分区間毎にそれぞれ求める
ようにしているので、計算処理数を抑えた状態で
入力音声パターンの時間長の異なりを吸収でき、
認識精度を上げることができる。また、部分特徴
ベクトルとの類似度の関数として部分区間に対す
る類似度を求め、これにより部分区間の標準パタ
ーン（候補単語）を求めることによつて、その類
似度計算を分析時間毎に部分的に分解して行うこ
とができ、従つて実時間処理が可能となる。故
に、リアルタイムで精度の高い認識処理が可能と
なり、実用上絶大なる効果が奏せられる。

〔発明の実施例〕

以下、図面を参照して本発明の一実施例につき
説明する。尚、ここでは入力音声の認識単位を単
語として説明するが、この単語は言語学的な意味
ではなく、音声認識処理における音声の取扱い単
位として定義されるものである。またこの単語
は、音節や文節或るいはこれに類するものでもよ
い。

さて、第１図は実施例装置の概略構成図であ
り、第２図は同装置の主たる処理手順を示す図で
ある。不特定話者が連続発声して入力される入力
音声は、音響分析部１に入力されて所定の分析時
間毎に分析されて、その特徴パラメータに変換さ
れる。この音響分析部１は、例えば音声帯域を16
〜30程度の帯域に分割してそのスペクトル分析を
行う複数の帯域通過フイルターからなるフイルタ
ーバンクによつて構成される。これにより、入力
音声の特徴パラメータからなる特徴ベクトルが一
定時間毎に求められる。しかして、この入力音声
の特徴ベクトルは、部分類似度計算部２に入力さ
れ、標準パターン記憶部（メモリ）３に予め登録
された標準パターンの部分特徴ベクトルとの部分
類似度が計算され、その類似度値が保持される。
この部分類似度値を入力して単位類似度計算判定
部４が入力音声中の単語存在可能な部分区間につ
いて、各単語に対する類似度を計算している。

第２図は、これらの各部による処理手順を概略
的に示しており、本装置では類似度計算を、例え
ばパターン認識における複合類似度法を用いて行
なわれる。しかしてここでは、単語の音声パター
ンは、周波数軸方向にＭ点、そして時間軸方向に
Ｎ点についてそれぞれ求められた特徴パラメータ
からなる（Ｍ×Ｎ）次元の特徴ベクトルとして表
現される。上記時間軸方向のＮ点は、単語音声の
継続時間について線形にＮ個の内分点を求めて定
められるものであり、また周波数軸方向のＭ点
は、前記フイルターバンクのＭ個の帯域通過フイ
ルタの各出力に対応させる等して定められる。こ
の複合類似度法に用いられる前記記憶部３に予め
登録された複数の単語（認識単位）の各標準パタ
ーンは、例えば不特定多数の発声単語から予め統
計的処理して求められるものである。即ち、各単
語のカテゴリｉ（ｉ＝1.2〜Ｉ）について、その
（Ｍ×Ｎ）次元空間上の分布に対応する相関行列
を計算し、それらの固有ベクトルをその固有値が
大きいものから順に並べて r_i1，r_i2，r_i3，…r_ij…r_iJ として求められる。これによつて各単語の標準パ
ターンはそれぞれ相互に直交する特徴ベクトルと
して表現されることになる。

このような標準パターンに対して、単語カテゴ
リｉに対する複合類似度S_iは、入力音声を時間的
に同じくリサンプルして（Ｍ×Ｎ）次元の特徴ベ
クトルを求め、その特徴ベクトルがｘで示される
とき、例えば次のようにして計算される。

S² _i＝_J 〓^j=1 （ｘ，r_ij）² 但しここで、（ｘ，r_ij）は、ベクトルｘとベク
トルr_ijとの内積を示している。

ところがこのようにして従来知られた複合類似
度計算を行う為には、入力音声の特徴ベクトルｘ
は、その特徴パラメータの時系列を与えられた部
分区間に応じてその部分区間をリサンプルしたも
のでなければならない。従つて大容量のバツフア
メモリを用いて入力音声の特徴パラメータの時系
列を記憶しておく等の処理が必要となり、その実
時間処理が不可能となる。そこで、本装置では、
標準パターンのベクトルr_ijを時間軸方向に分解
し、つまり時間軸方向に複数に区切るとともに各
区切り時間点における特徴パラメータを一定次元
の部分特徴ベクトルとして取扱うようにしてい
る。

今、或る分析時刻における入力音声の特徴ベク
トルが、周波数軸方向に ｙ＝（y¹，y²，…，y^m，…，y^M） として与えられるものとする。また単語カテゴリ
ｉの標準パターンのベクトルr_ijは r_i ⁿ _j＝（rⁿ¹ _ij，rⁿ² _ij…r^nm _ij…r^nM _ij） r_i ⁿ _j＝rⁿ¹ _ij，rⁿ² _ij…r^nm _ij…r^nM _ij） として表現されるものとなる。尚、上式中r_i ⁿ _jは、
ベクトルr_ijのｎ番目の時間点での周波数軸方向の
部分特徴ベクトルである。しかして、上記或る時
刻における入力音声の特徴ベクトルｙが入力され
ると、計算部２では上記入力特徴ベクトルｙに対
し、記憶部３に登録された全ての単語カテゴリ
ｉ、固有ベクトルｊおよび時間サンプル点ｎに関
する標準パターンの各部分特徴ベクトルとの部分
類似度を積和演算処理によつて S_i ⁿ _j＝_J 〓^j=1 r^nm _ij・y^m として求める。この計算量は、例えばフイルター
バンクのフイルタ数Ｍが10、時間軸方向のサンプ
ル点数Ｎが16、標準パターンの固有ベクトル数Ｊ
が５、単語カテゴリーの数Ｉが数字を例として10
として与えられるものとすれば、音響分析の一定
時間内に（Ｍ×Ｎ×Ｊ×Ｉ）＝8000回の乗算およ
び加算処理を行うものとして与えられる。このと
き、音声信号の分析時間間隔は16msec程度あれ
ばよいので、上記8000回の乗加算処理の各々を
2μsec以内で行えば良く、十分に実時間処理を行
い得る。このようにして、入力音声の特徴ベクト
ルと、標準パターンの各時間点における部分特徴
ベクトルとの部分類似度がその全てについて求め
られる。

単位類似度計算判定部４は、このようにして求
められた部分類似度S_i ⁿ _jから、入力音声中の現時
点までに形成される単語存在可能性のある全ての
部分区間について上記部分類似度S_i ⁿ _jを時間軸上
でリサンプルし、そのリサンプルされた部分類似
度S_i ⁿ _jからその部分区間における認識単位（単語）
に対する類似度S_iを S_i＝｛S_iｎｊ（_M 〓^m=1 S_i ⁿ _j）²｝^1/2 として求めている。そして、各部分区間について
最大の類似度値をとる単語カテゴリｉ名をその部
分区間の認識結果として求め、その類似度値およ
び該部分区間の位置と共に記憶する。尚、この計
算は固有ベクトル数Ｊとサンプル点数Ｎによつて
示される区間について行うだけでよく、その量は
さほど多くない。従つて短時間に計算処理を終え
ることが可能である。

しかるのち、単位評価判定部５は、音声入力区
間と同じ開始端および終了端となる上記部分区間
の列を、部分区間の全ての組合せの中から選択す
る。そして、その部分区間の列について、各部分
区間毎に求められた前記単語類似度S_iの和を求
め、各列についてそれぞれ求められた上記和の値
を相互に比較して、その大小関係から部分区間列
を構成する単語列を評価している。例えば、部分
区間列の類似度の和が最大となるものを、連続発
声された入力音声の全区間に亘つてマツチングが
とられていると評価し、その部分区間列を構成す
る各部分区間毎に求められた単語カテゴリｉの列
を認識結果として出力する。

以上が本装置による連続音声の認識処理の作用
である。これを第３図乃至第６図を参照して、更
に詳しく説明すると次のようになる。即ち、入力
音声の一定時間毎に分析された特徴ベクトルの時
系列が第３図中Ａに示されるものとすると、各サ
ンプル時点の入力音声特徴ベクトル毎に標準パタ
ーンの各時間点での部分特徴ベクトルとの部分類
似度がB₁，B₂〜B_Nの如く求められる。つまり、
或るサンプル時刻について、Ｉ，Ｊ，Ｎの全ての
組合せについて入力音声の特徴パラメータy^mに
ついて部分類似度が求められ、例えばテーブルと
して格納保持される。この部分類似度計算は音声
入力の時間経過に伴い、一定の分析時間間隔毎に
順次行われる。

しかして、単位類似度計算判定部４は、音声入
力開始時点から現時点までに、入力音声中で単語
が存在し得る候補区間を部分区間として、第４図
に示すように決定している。つまり、単語が存在
し得る部分区間の長さは或る範囲を以つて殆んど
決定され、例えば上記分析単位時間に比較して、
最も短いもので３単位時間、また最も長いもので
11単位時間として定められる。このような音声入
力条件から、例えば現時刻を基準として、３単位
時間の部分区間、４単位時間の部分区間…11単位
の部分区間等の遡り時間長が異なる複数の部分区
間をそれぞれ仮定する。そして、これらの各部分
区間につき、その部分区間に対応したサンプル時
点でそれぞれ求められた前記部分類似度から、該
部分区間の各標準パターンに対する類似度を計算
する。この類似度計算を行うに際しては、上記の
如く各部分区間の長さの異なりによる入力音声単
語の時間長の異なりを吸収する為に、これをリサ
ンプルして、処理対象とする単語の時間長変動を
吸収することが必要である。従つて、部分類似度
のリサンプル点を、例えば第５図に示すように、
現時点を基準として、長さの異なる部分区間に対
して時間軸方向に分散し、かつ同数となるように
定めておけばよい。そしてこのリサンプル点によ
つて部分類似度S_i ⁿ _jの類似度計算に用いる添字(n)
の位置を決定し、このようにして選択された部分
類似度から第３図中に示すように、その部分区間
に対する類似度S_iを求めるようにすればよい。こ
れによつて、各部分区間毎に、それぞれ複数の標
準パターンに対する類似度が求められるから、そ
の中で最大の類似度値を得、且つその類似度値が
所定の閾値を越え、更に第２位の類似度値との差
が十分広いものの単語カテゴリｉを、その部分区
間の候補単語として認識する。

このようにして、各部分区間毎にその候補単語
と、この候補単語を得た類似度とを、上記部分区
間の位置毎に整理すると第６図に示すようにな
る。そこで、単位列評価判定部５において、音声
区間と等しい区間を為す部分区間の列を選択し、
例えばこの例では（Ｌ，Ｊ，Ｂ），（Ｌ，Ｇ，Ｃ），
（Ｋ，Ｈ，Ｃ），（Ｉ，Ｂ）なる部分区間列を選択
し、各部分区間列の類似度の和を求める。この和
の値によつて、その部分区間列が入力音声の全区
間について良くマツチングしているか否かが評価
されることになる。尚、この部分区間列の評価に
ついては、VCV音節を単位とした連続単語音声
の認識として知られるような動的計画法や、タス
クドメインによる並列探索の手法を用いることも
可能である。またこのとき、或る時点までに得ら
れた単語類似度の中間結果を順次利用していくよ
うにしてもよい。このようにすれば音声入力の終
了と同時に、リアルタイムにその認識結果を得る
ことが可能となる。

以上説明したように本発明によれば、認識単位
である単語の音声パターンを、周波数および時間
的構造を反映した一定次元の特徴ベクトルとして
表現し、入力音声の周波数時に対応する特徴パラ
メータが一定時間毎に得られる都度、その単語の
類似度の一部を計算するので、連続音声を実時間
で処理することが可能となる。しかも、単語の音
声パターンを一定次元の特徴ベクトルとして表現
して認識処理に用いているので、少ない標準パタ
ーン数で不特定話者の発生の異なりに十分対応で
きる。また、各標準パターン別に求められた部分
類似度の列について現時点を基準にし、この基準
時点からの遡り時間長さが異なる複数の部分区間
を設定し、これら部分区間内に位置する部分類似
度の中から分散された位置上にある部分類似度を
一定個数ずつ抽出し、抽出された部分類似度が最
大値をとる標準パターン名とその単位類似度とを
各部分区間毎にそれぞれ求めるようにしているの
で、計算処理数を抑えた状態で入力音声パターン
の時間長の異なりを吸収でき、認識精度を上げる
ことができる。

尚、本発明は上記実施例に限定されるものでは
ない。例えば単語の類似度計算を、マハラノビス
の距離計算や、統計的識別関数を用いて行うこと
もできる。この場合、距離値や関数値を写像処理
して、これを類似度とすればよい。また認識単位
を音節や文節等としてもよく、これらを組合せて
も良いことは云うまでもない。要するに本発明は
その要旨を逸脱しない範囲で種種変形して実施す
ることができる。

【図面の簡単な説明】

図は本発明の一実施例を示すもので、第１図は
実施例装置の概略構成図、第２図は同装置の処理
手順を示す図、第３図乃至第６図はそれぞれ認識
処理過程における処理概念を示す図である。 １……音響分析部、２……部分類似度計算部、
３……標準パターン記憶部、４……単位類似度計
算判定部、５……単位列評価判定部。

Claims (1)

1. 【特許請求の範囲】 １ 認識単位である複数の標準パターンをそれぞ
   れ時間軸方向に複数に区切るとともに各区切り時
   間点における特徴パラメータを一定次元の特徴ベ
   クトルとして記憶したメモリと、入力音声を一定
   時間毎に分析してその特徴パラメータからなる特
   徴ベクトルを求める手段と、この手段で得られた
   入力音声の特徴ベクトルと前記各標準パターンの
   各時間点における特徴ベクトルとの部分類似度を
   積和演算処理でそれぞれ求める手段と、この手段
   で各標準パターン別に求められた部分類似度の列
   について現時点を基準にし、この基準時点からの
   遡り時間長さが異なる複数の部分区間を設定し、
   これら部分区間内に位置する前記部分類似度の中
   から分散された位置上にある部分類似度を一定個
   数ずつ抽出し、抽出された部分類似度が最大値を
   とる標準パターン名とその単位類似度とを各部分
   区間毎にそれぞれ求める手段と、入力音声区間と
   等しい区間を為す前記部分区間の列の各部分区間
   毎に求められた前記単位類似度の和を求めて部分
   区間の列を構成している標準パターン名列を評価
   する手段とを具備してなることを特徴とする連続
   音声認識装置。 ２ 前記認識単位は、音節や単語または文節とし
   て定められるものである特許請求の範囲第１項記
   載の連続音声認識装置。