JPH053596B2 - - Google Patents

Description

【発明の詳細な説明】

産業上の利用分野 本発明は音声の内容を自動的に認識するための
音声認識装置に関するものである。 従来の技術 最近音声入力装置は荷物の仕分け、銀行預金の
問い合わせ等の分野で盛んに利用されるようにな
つてきた。この音声認識装置は例えば三輪譲二他
により「音声スペクトルの概略形とその動特性を
利用した単語音声認識システム」日本音響学会誌
34・３（1978）に記載されている構成が知られて
いる。以下、第３図を参照して、従来の音声認識
装置について説明する。 まずあらかじめ多数話者の音声データをクラス
タリング手法等を用いてグループ分けし、音素単
位で標準パタンを作成し、標準パタン群１，２，
……として格納部５９に格納しておく。ここでは
説明のため、格納部５９中の標準パタン群１は男
声で、標準パタン群２は女声で作成したものが格
納されているとする。又、説明を簡単にするため
格納部５９中には前記標準パタン群１，２のみ用
意されているとする。 マイク５１からの入力音声はＡ／Ｄ変換器５２
で変換した後に一方は信号処理回路５３へ送られ
プリエンフアシス、窓計算を行つて特徴抽出部５
４へ転送される。他方、セグメンテーシヨン部５
６は帯域パワー計算、音声区間の検出、有音無声
判定、子音のセグメンテーシヨンを行い、結果を
メインメモリ５７に転送する。類似度計算部５５
は、特徴抽出部５４で得た帯域フイルタ群の出力
をパラメータとして、格納部５９内の標準パタン
との類似度計算を行なう。まず標準パタン群１と
の間の類似度計算を行い、結果をメインメモリ５
７に転送する。同様にして標準パタン群２につい
ても行い、メインプロセツサ５８はメインメモリ
５７中の最も類似度の高かつた標準パタンに相当
する音素を認識結果として採用する。さらにセグ
メンテーシヨン部５６の結果を用いて音素の時系
列を作成する。 最後に前記音素の時系列を単語マツチング部６
１に送り、単語辞書５２と、用意されている単一
のコンフユージヨンマトリクスとを照合して単語
類似度を求めることによつて単語認識を行い、メ
インプロセツサ５８は最も単語類似度の高かつ単
語を出力部６３に出力する。 発明が解決しようとする問題点 しかし、以上のような構成では次の問題点を有
していた。 (1) マイクの種類、騒音の内容、話者の種類によ
つて音素の認識、置換、付加、脱落等の認識傾
向が異なるため、単一のコンフユージヨンマト
リクスでは前記認識傾向との間にずれが生じる
ことにより、単語認識率が低下する。 (2) 複数組の標準パタン群に対し常に類似度計算
を行う必要があり、計算量が多くなつてしまう
とともに、標準パタン数の増大によつて認識時
における互いの混同が多くなり、音素認識率を
低下させる。 本発明は上記問題を解決するもので、未知入力
音声を用いて、入力環境や話者の種類に最も適し
た音素の標準パタン群およびコンフユージヨンマ
トリクスを自動選択して用いることにより、入力
環境や話者の種類の変化に対して安定で高い単語
認識率を得る音声認識装置を提供することを目的
とする。 問題点を解決するための手段 本発明は、入力音声を音素毎に分割するセグメ
ンテーシヨン部と、同一の音声入力環境又は話者
の種類によつて作成した標準パタン群とコンフユ
ージヨンマトリクスの対を複数組用意して格納す
る格納部と、前記音素標準パタン群を用いて類似
度を算出する類似度計算部と、セグメンテーシヨ
ン部と類似度計算部の結果を用いて音素系列を作
成し、その中の母音・鼻音の中心位置を求め、か
つ装置全体の制御を行うメインプロセツサと、前
記メインプロセツサの結果を用いて入力音声に最
も類似した標準パタン群を自動選択する選択部
と、前記選択された標準パタン群の対となるコン
フユージヨンマトリクスを用いて単語認識を行う
単語マツチング部を主な要素として構成された音
声認識装置により、上記目的を達成するものであ
る。 作 用 本発明は予め同一の音声入力環境又は話者の種
類によつて作成した標準パタン群とコンフユージ
ヨンマトリクスを対として準備しておき、音声の
入力環境、話者の種類が変化した場合、その使用
条件に最も適した音素標準パタン群及びコンフユ
ージヨンマトリクスを自動的に選択するので、類
似度計算における計算量を増大させることなく、
認識時の混同をさけ高い音素認識率を達成するこ
とができると同時に、単語認識率の向上をも図る
ことができる。 実施例 本発明は不特定話者の音声を、周囲の騒音の種
類やマイクの種類等の入力環境に影響されること
なく、又性別、年令等の話者の違いに影響される
ことなく、安定に認識できる音声認識装置を提供
するものである。 そのために、音声を認識するための標準パタン
群を騒音の種類、マイクの種類等の入力環境によ
つて、又性別、年令等の話者の種類によつて分け
て作成しておく。又、同一条件にて多数話者の音
声からコンフユージヨンマトリクスを作成し、上
記標準パタン群と対にして用意しておく。コンフ
ユージヨンマトリクス（以下CMと略す）とは、
音素同士の置換の割合、各音素の脱落する割合、
音素間に他の音素の付加する割合を表わしたもの
である。 実際に入力される音声はどういう入力環境、あ
るいは話者の種類であるかは不明であるが、本方
法を用いることによつて、どういう入力環境か、
あるいは話者の種類であるかを自動的に決定し、
入力音声に最も適した標準パタン群とCMを使用
して安定した認識を実現することができる。 以下の実施例では成人男女を対象に、男声と女
声の２つの種類で認識を行う場合の方法について
説明する。本発明の一実施例における音声認識装
置の機能ブロツク図を第１図に示す。 まず格納部９に入れる内容を説明する。まず男
声の音素ｉのLPCケプストラム係数をパラメー
タとし、その平均値を M_i ⁽¹⁾＝（M_i1 ⁽¹⁾、M_i2 ⁽¹⁾、……、M_ip ⁽¹⁾） とする。ｐは使用パラメータ数である。これを母
音｜ａ｜、｜ｉ｜、｜ｕ｜、｜ｅ｜、｜ｏ｜と鼻音の
６個について求める。 同様に女声に対しても６個求め、計12個とす
る。この12個の音素に共通の共分数行列を｜Ｒと
し、逆行列を 〓^-1とする。〓^-1の（ｊ、j′）要素をijj′とする
と、パラメータのｊ次に対する重み係数は例えば
男声の音素ｉに対し aij⁽¹⁾＝２_p 〓^j ′⁼¹rjj′Mij′⁽¹⁾ (1) で求める。又平均値に対する距離di⁽¹⁾は di⁽¹⁾＝〓i^(1)t〓−１〓i⁽¹⁾ (2) で求める。 このaij⁽¹⁾、di⁽¹⁾を音素毎に求め、格納部９の標
準パタン群１に入れる。同時にこの標準パタン群
１には、男声の他の音素の標準パタン（子音・半
母音等）も共存させておく。 同様に、標準パタン群２には女声の各種標準パ
タンを格納しておく。 更に格納部９には上記各標準パタン群と対をな
すコンフユージヨンマトリクスCM₁、CM₂、…
…、CM_oを格納しておく。この場合コンフユー
ジヨンマトリクスは音素標準パタン群と同一条件
にて多数話者の音声から作成されていれば良く、
格納場所は別の箇所に格納されても良いことはも
ちろんである。 次に、類似度計算部５の動作について説明す
る。未知入力音声がマイク１から入力されると、
Ａ／Ｄ変換器２でＡ／Ｄ変換し、信号処理回路３
でプリエンフアシス、窓処理を行つた後、特徴抽
出部４にてLPCケプストラム係数Cj（ｊ＝１、
２、……、ｐ）を求める。類似度計算部５はこの
Cjと、選択部１０を通して転送された格納部９中
の標準パタンを用いて、類似度計算を行なう。標
準パタン群１の音素ｉに対する類似度li⁽¹⁾は li⁽¹⁾＝_p 〓^j=1 aij⁽¹⁾Cj−di⁽¹⁾ (3) で求める。標準パタン群２に対しては li⁽²⁾＝_p 〓^j=1 aij⁽²⁾Cj−di⁽²⁾ (4) で求め、メインメモリ７へ転送する。 次に選択部１０の動作とメインプロセツサ８と
の関係について述べる。メインプロセツサ８は、
メインメモリ７に転送された類似度計算部５の結
果とセグメンテーシヨン部６の結果を参照して、
母音・鼻音の位置を求め、その中の中心位置を決
定する。さらに、その位置における母音・鼻音の
全ての類似度（標準パターン群ごとに６個づつ、
標準パタン群１，２では計12個）の中で最大の類
似度を持つものを選ぶ。選ばれた標準パタンが標
準パタン群１に属する場合は、選ばれた回数N⁽¹⁾
を１増やす。標準パタン群２に属する場合は回数
N⁽²⁾を１増やす。この操作を各母音・鼻音の中心
位置毎にくり返し、N⁽¹⁾又はN⁽²⁾をカウントアツ
プしていく。 N⁽¹⁾、N⁽²⁾を用いて入力単語毎に信頼度Reを次
式で求める。 Re⁽¹⁾＝N⁽¹⁾／N⁽²⁾ (5) Re⁽²⁾＝N⁽²⁾／N⁽⁴⁾ (6) このRe⁽¹⁾又はRe⁽²⁾があらかじめ定められた閾
値を超えた時点で閾値を超えた方の標準パタン群
を以降使用することを決定し、学習を打切る。 閾値を超えない間はN⁽¹⁾とN⁽²⁾を比較し、大き
い方の標準パタン群を使用するよう、メインプロ
セツサに指示する。 同時に選択された標準パタン群と対の関係にあ
るCMを単語マツチングに使用するよう、単語マ
ツチング部１１に指示する。 単語マツチングの方法について説明する。 単語辞書１２の各項目を〓とし、セグメンテー
シヨン部６の結果に基づきメインプロセツサ８で
作成された音素系列を〓とし、両者の類似度をＳ
（〓、〓）で表わす。音素系列に脱落と付加がそ
れぞれ３音素以上連続しないことと、脱落と付加
が連続しないことを仮定すると、Ｓ（〓、〓）は
次式で計算する。 Ｓ（〓，〓） ＝ｇ（Ｉ＋１、Ｊ＋１）／（Ｉ＋Ｊ） (7) ｇ（ｉ、ｊ）＝2l（ｉ、ｊ） ＋max｛Ｌ、La、Laa、Lo、Loo｝ (8) Ｌ＝ｇ（ｉ−１、ｊ−１） La＝ｇ（ｉ−１、ｊ−２）＋la（ｊ−１） La＝ｇ（ｉ−１、ｊ−２）＋la（ｊ−１） Laa＝ｇ（ｉ−１、ｊ−３）＋laa（ｊ−２）＋laa（ｊ
−１） Lo＝ｇ（ｉ−２、ｊ−１）＋lo（ｊ−１） Lo＝ｇ（ｉ−２、ｊ−１）＋lo（ｊ−１） Loo＝ｇ（ｉ−３、ｊ−１）−loo（ｉ−２）＋loo（ｉ
−１）(9) ここでＩは〓の音素数、Ｊは〓の音素数、ｌ
（ｉ、ｊ）は〓のｉ番目音素と〓のｊ番目音素の
尤度関数、la(j)、lo(i)は１音素の付加と脱落の尤
度関数、laa(j)、loo(i)は２音素連続の付加と脱落
の尤度関数を表わす。 得られたＳ（〓、〓の中で最大類似度となる〓
を単語認識結果として、メインプロセツサ８を経
由して出力部１３へ出力する。 従つてCMの内容は前記ｌ（ｉ、ｊ）、la(j)、lo
(i)、laa(j)、loo(i)に相当し、その内容は入力環
境、話者の種類によつて分類して用意しておくこ
とにより、使用条件にあつた音素認識の誤り傾向
を反映させた単語マツチングを行うことができ
る。 本実施例による処理の流れを第２図に示す。最
初の音声が入力された（判断イ）後、プリエンフ
アシス、窓計算、LPCケプストラム係数の計算
等の音響分析を行う（ステツプロ）。次に、セグ
メンテーシヨンと類似度計算(1)を行い（ステツプ
ハ）、母音・鼻音の中心位置において、全ての標
準パタン群の中で最大類似度のパタンを選出する
（ステツプニ）。これによつて前記N⁽¹⁾、N⁽²⁾を求
めておき、(5)式、(6)式で信頼度を計算する（ステ
ツプホ）。この信頼度が閾値以上であつた場合
（判断ヘ）は、閾値を超えた方の標準パタン群を
使用することに決定する。又、この標準パタン群
と対にして用意されたCMを使用することに決定
する（ステツプト）。閾値以下であつた場合は上
記N⁽¹⁾とN⁽²⁾を比較し、大きい方の標準パタン群
およびそれと対に用意されたCMを使用する。 以下指示された標準パタン群を用いて音素認識
を行い（ステツプチ）、指示されたCMを用いて
単語認識を行い（ステツプリ）、結果を出力して
（ステツプヌ）もとにもどる。 次に音声が入力されたら音響分析（ステツプ
ロ）の後、選択終了か否かを調べ（判断ル）、さ
れてなければ最初の音声と同様な処理をくり返
す。されていれば、すでに選択された標準パタン
群を用いてセグメンテーシヨン、類似度計算(2)を
行い（ステツプオ）、音素認識を行つた（ステツ
プチ）後、すでに選択されているCMを用いて単
語認識を行い（ステツプリ）、その結果を出力す
る（ステツプヌ）。 本実施例は標準パタン群が男声と女声の場合に
ついて述べたが、話者の種類でなく、音声の入力
環境（外部騒音の種類、マイクの種類等）によつ
て分けて標準パタン群を作り、同一の入力環境に
てコンフユージヨンマトリクスを標準パタン群と
対にして用意すると、本方法はより有効である。
又、格納部は１つでなくても良く、複数個に分け
て格納しておいても良いのは当然である。 又、標準パタン群が３組以上の場合にも同様な
方法で選択作業が出来、(5)式、(6)式のN⁽¹⁾、N⁽²⁾
にN⁽³⁾、N⁽⁴⁾……が加わつてその中で最も大きい
２つのＮを用いてその比を計算すれば信頼度Re
を求めることができる。 このように、本方法は音声の入力環境、話者の
種類によつて複数組の標準パタン群を用意し、又
同一条件にてコンフユージヨンマトリクスを標準
パタン群と対に用意しておき、母音・鼻音の中心
付近の位置における類似度を求め、最も類似度の
高い標準パタンの属する標準パタン群の使用回数
を用いて選択のための信頼度を求め、信頼度が閾
値を超えた時点で選択作業を終了することを特徴
とし、特に複雑な演算、処理を要することなく実
現することができる。 本実施例の音声認識装置について成人男女100
名を対象に、212単語中の最初の10単語を用いて、
選択に必要な単語数を人数で累計して評価した結
果を第１表に示す。

【表】 すなわち、４単語を用いれば100人中98人まで
正しく標準パタン群の選択を行うこができる。誤
つた１名は女声を男声に誤つた場合であるが、こ
の話者は音声の性質が男声と女声の中間に位置
し、誤つても母音・鼻音認識率の低下は極めて少
ない。 このように本方法を用いれば高い確度で最適な
標準パタン群の選択を行なうことができる。 男女20名を対象に、５母音・鼻音の平均認識率
をフレーム単位で評価、比較した結果を第２表に
示す。フレーム認識率を％で示し、（ ）で認識
率のバラツキを標準偏差で示す。 従来法の男女の区別なしに比べ、本方法による
男女の区別ありでは認識率は大きく向上し、バラ
ツキは減少して、本方法の有効性を示している。 また、前記標準パタン群が選択されることによ
つて、対となるCMを選択することができ、選択
されたCMを用いることによつて高い単語認識率
を得ることができる。CMを男女別に作成した場
合と男女共通に作成した場合の単語認識率の比較
を第２表に示す。40人の212単語で評価した。

【表】 すなわち、その入力環境又は話者の種類に最も
合うCMを用いることによつて平均認識率は向上
し、単語認識率の話者によるバラツキも減少し、
安定な結果が得られる。 発明の効果 以上述べたように本発明は、入力環境や話者の
種類によつて標準パタン群を別々に用意し、同時
に同一条件にてCMを作成して前記標準パタン群
と対にして用意しておき、未知入力音声を用いて
その音声に最も適した標準パタン群およびCMを
自動選択する機能を持たせることにより、話者に
負担をかけることなく、最も適した標準パタン群
およびCMを用いて音声を認識することができ、
種々の入力環境、話者の種類に対して安定した高
い単語認識率を得ることが可能となるという利点
を有する。

【図面の簡単な説明】

第１図は本発明の一実施例における音声認識装
置の機能ブロツク図、第２図は本発明の処理手順
を示すフローチヤート、第３図は従来例の音声認
識装置の機能ブロツク図である。 ５……類似度計算部、８……メインプロセツ
サ、９……格納部、１０……選択部、１１……単
語マツチング部、１２……単語辞書、５５……類
似度計算部、５９……格納部、６０……コンフユ
ージヨンマトリクス、６１……単語マツチング
部。

Claims (1)

1. 【特許請求の範囲】 １ 入力音声から特徴パラメータを得る特徴抽出
   部と、入力音声を音素毎に分割するセグメンテー
   シヨン部と、互いに対をなす音素標準パタン群と
   コンフユージヨンマトリクスを複数組格納する１
   個又は複数個の格納部と、前記音素標準パタン群
   を用いて前記特徴パラメータの類似度を算出する
   類似度計算部と、前記セグメンテーシヨン部と類
   似度計算部の結果を用いて音素系列を作成し、そ
   の中の母音・鼻音の中心位置を求め、かつ装置全
   体の制御を行うメインプロセツサと、前記メイン
   プロセツサの処理結果を用いて入力音声に最も類
   似した標準パタン群を自動選択する選択部と、音
   素系列で表記された単語辞書部と、前記選択され
   た標準パタン群の対となるコンフユージヨンマト
   クリスを用いて単語辞書部の内容との類似度を算
   出する単語マツチング部とを少なくとも具備する
   音声認識装置。 ２ 前記選択部における標準パタン群の選択と、
   最大類似度となる標準パタンを得る回数の総和を
   標準パタン群毎に求め、最大回数と２番目に大き
   い回数の比又は差があらかじめ定めた閾値を超え
   た時点で打切ることによつて行うことを特徴とす
   る特許請求の範囲第１項記載の音声認識装置。 ３ 前記格納部の標準パタン群とコンフユージヨ
   ンマトリクスの対が、同一の音声入力環境又は同
   一種類の性別、年令範囲によつて作成したもので
   あることを特徴とする特許請求の範囲第１項記載
   の音声認識装置。