JPH09325793A - 音声認識方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 尤度の計算に要する計算量が多く、計算機に
かかる負荷が過大になっている。 【解決手段】 尤度の算出に先立ち、候補単語を、話者
の口許を撮像した撮像画像から求めた発話区間中の口形
情報に基づいて絞り込み、当該絞り込まれた候補単語に
ついて尤度を算出するようにする。これにより、尤度の
算出にかかる回数を減らすことができ、従来に比して、
計算機にかかる負荷を小さくできる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、コンピュ
ータとの対話的な音声インターフェースを実現するのに
用いて好適な音声認識装置に関するものである。

【０００２】

【従来の技術】近年、計算機の演算処理によって、入力
音声が意味する単語や文章を自動認識させようとする技
術の研究及び開発が盛んに行われている。図２に、かか
る自動認識に用いられる音声認識装置の基本構成を示
す。なお、図２は、音声認識装置の中でも、特に単語の
認識処理までを分担する音声認識部１０８を表してい
る。

【０００３】音声認識部１０８に入力された音声は、ま
ず、音素特徴量抽出部１０８Ａに入力され、一定の短い
時間間隔ごとの特徴量を表した特徴ベクトルに変換され
る。この特徴ベクトルは、時系列順に音素特徴記憶部１
０８Ｂに記憶される。このように記憶された特徴ベクト
ルの時系列の連なりを特徴ベクトル系列と呼ぶことにす
る。

【０００４】次に、この特徴ベクトル系列は、尤度算出
部ｌ０８Ｃにおいて、単語辞書から読み出された単語モ
デルと比較される。ここで、単語辞書には、予め単語毎
に求められておいた全ての単語モデルが記憶されている
ので、当該単語モデルとの比較により、入力音声がその
単語と仮定した場合における信憑性（尤度）が求められ
る。

【０００５】このように単語辞書に収容されている全て
の単語について求めた信憑性（尤度）が最も高いもの
が、入力音声に対応する単語として認識されるのであ
る。

【０００６】なお、このような尤度の算出方法として、
代表的なものに、ＤＰ（Dynamic Programming ）マッチ
ング法やＨＭＭ（Hidden Markov Model:隠れマルコフモ
デル）法等がある。

【０００７】また、これら従来技術に関する文献として
は、「北脇信彦：マルチモーダル環境に向けた音声認識
の実現を目指して：ＮＴＴ Ｒ＆Ｄ Ｖｏｌ.４４ Ｎｏ.
１１１９９５」等がある。

【０００８】

【発明が解決しようとする課題】ところが、従来の音声
認識装置では、参照する単語数が多ければ、その分、尤
度算出に必要な計算量（計算回数）が多く、計算機にか
かる負荷が大きいという問題があった。

【０００９】また、正解単語よりも高い尤度の単語が出
現する可能性、つまり、誤った単語が認識結果として出
力される可能性もあった。

【００１０】

【課題を解決するための手段】かかる課題を解決するた
め、入力音声と候補単語との尤度を求め、入力音声につ
いて最も大きい尤度が得られた候補単語を、入力音声に
ついての認識結果とする音声認識方法及び装置におい
て、次のようにしたことを特徴とする。

【００１１】すなわち、尤度の算出に先立ち、候補単語
を、話者の口許を撮像した撮像画像から求めた発話区間
中の口形情報に基づいて絞り込むことを特徴とする。

【００１２】このように予め候補単語を絞り込むことに
より、その後の尤度の算出回数を減らすことができる。
かくして、従来に比して、計算機にかかる負荷を小さく
できる。

【００１３】また、本発明における音声認識方法及び装
置において、次のようにしたことを特徴とする。

【００１４】すなわち、入力音声と単語辞書に登録され
ている単語について求めた尤度が高い複数の候補単語に
ついて、話者の口許を撮像した撮像画像から求めた発話
区間中の口形情報との類似度を調べ、複数の候補単語の
うち、類似度と尤度との総合的な類似度が最も高いもの
を、入力音声についての認識結果とすることを特徴とす
る。

【００１５】このように高い尤度が得られた候補単語に
ついて、さらに口形情報に基づく類似度を判断するよう
にしたことにより、背景雑音が大きい環境下での音声認
識精度を、さらに高めることができる。

【００１６】さらに、本発明における音声認識方法及び
装置において、次のようにしたことを特徴とする。

【００１７】すなわち、話者の口許を撮像した撮像画像
から求めた発話区間中の口形情報に基づいて、入力音声
と候補単語との尤度の算出に用いる候補単語を単語辞書
に登録されている単語の中から複数絞り込んだ後、さら
に、当該絞り込まれた候補単語について入力音声と高い
尤度が得られた候補単語を複数選択し、当該選択された
候補単語と口形情報との類似度と上記尤度との総合的な
類似度が最も高いものを、入力音声についての認識結果
とすることを特徴とする。

【００１８】このように、まず口形情報から予め候補単
語を絞り込んでから尤度の計算を行うので、処理に要す
る負荷を低減することができる。また、尤度の計算の際
に認識結果を一つに絞り込むのではなく、複数の候補へ
の絞り込みにとどめ、再び、口形情報に基づく類似度を
含めた総合的な類似度で最終的な認識結果を絞り込むの
で、精度をさらに高めることができる。

【００１９】

【発明の実施の形態】

（Ａ）第１の実施形態 以下、本発明による音声認識装置の第１の実施形態を図
面を参照しながら詳述する。

【００２０】（Ａ−１）音声認識装置の構成 図３は、本実施形態に係る音声認識装置１００によって
構成される音声認識システムを表すブロック図である。
この音声認識装置１００は、ビデオカメラ１が撮像した
話者（ユーザ）の唇周辺画像を画像信号Ｓ１００として
入力し、また、マイクロフォン２で取り込んだ話者（ユ
ーザ）の音声を音声信号Ｓ１０６として入力し、処理し
ている。

【００２１】図１は、かかる音声認識装置１００の構成
を機能ブロックで表した図である。

【００２２】すなわち、音声認識装置１００は、実際
上、ディスプレイやプリンタ等の出力装置、ハードディ
スク等の周辺装置を備えたコンピュータ等の情報処理装
置で構成されるものであるが、音声認識機能から構成を
ブロック化すると、図１に示すようになる。

【００２３】音声認識装置１００は、以下に示す機能ブ
ロック１０１〜１０８により構成されている。

【００２４】画像フレームバッファ１０１は、入力され
た画像信号Ｓ１００を１画面（フレーム）分記憶する記
憶部である。

【００２５】口形認識部１０２は、画像フレームバッフ
ァ１０１から読み出した顔画像信号Ｓ１０１（撮像され
画像）から発音時の口の形や動きを認識する認識部であ
り、図４に示す機能ブロックにより構成されている。す
なわち、１フレーム分の顔画像信号Ｓ１０１から口形部
分の特徴ベクトル（口形特徴ペクトル）を出力する口形
特徴抽出部１０２Ａと、口形特徴ペクトルを時系列順に
記憶保持する口形特徴記憶部１０２Ｂと、口形特徴ペク
トルの系列から口形の動作（口形動作情報）を抽出する
口形動作抽出部１０２Ｃとで構成されている。

【００２６】単語辞書１０４は、認識する単語候補につ
いて予め求めておいた音節情報と音素モデルとを記憶す
る記憶部である。

【００２７】口形音節マッチング部１０３は、単語辞書
１０４から入力された音節情報と口形の動作から得られ
た音節とのマッチング程度を調ベ、その結果（口形音節
マッチングスコア）を出力するマッチング部である。

【００２８】単語候補絞り込部１０５は、口形音節マッ
チングスコアに応じて単語候補を絞り込み、音声認識部
１０８における認識処理の際に参照させる単語数を減ら
す部分である。

【００２９】音声フレーム分割部１０６は、入力される
音声信号を、一定の短い時間間隔の音声データ列（以
下、音声フレームと呼ぶ）に区切り、出力する部分であ
る。

【００３０】有音検出部１０７は、入力された音声フレ
ームＳ１０７が有音かそれとも無音かを判定する部分で
ある。ここで、有音であることが判定された場合には、
入力された音声フレーム１０８がそのまま音声フレーム
Ｓ１０８として音声認識部１０８に与えられる。また、
この判定結果（現在有音か無音か）は、判定信号Ｓ１０
９として口形認識部１０２に与えられる。

【００３１】音声認識部１０８は、入力された有音区間
の音声フレームＳ１０８の列と単語侯補絞り込部１０５
で紋り込まれた単語の音素モデルＳ１１１とを比較し、
最も尤度の高い単語を認識結果として出力するブロック
である。この内部構成は、先に説明した図２と同様であ
る。

【００３２】（Ａ−２）第１の実施形態の動作 以下、第１の実施形態に係る音声認識装置１００の動作
を説明する。図５は、かかる音声認識装置１００の動作
を示すフローチャートである。

【００３３】音声認識装置１００の動作は、プロセス
（以下、Ｐで表す）１００から開始される。

【００３４】（Ａ−２−１）処理動作の概要 Ｐ１０１に進むと、音声認識装置１００の初期化が行な
われ、フラグ（flag）変数（有音区間が入力されたか否
かを識別する変数）にオフ(OFF) が代入される。このＰ
１０１が終わると、次はＰ１０２に進む。

【００３５】Ｐ１０２では、ビデオカメラ１で撮像され
た話者（ユーザ）の唇周辺部の画像である画像信号Ｓ１
００と、マイクロフォン２で取り込まれた話者（ユー
ザ）の音声信号Ｓ１０６が音声認識装置１００に入力さ
れる。この画像信号Ｓ１００は、図１に示すように、音
声認識装置１００内の画像フレームバッファ１０１に入
力される。

【００３６】一方、音声信号Ｓ１０６は、同じく、音声
認識装置１００内の音声フレーム分割部１０６に順次入
力される。ここで、音声フレーム分割部１０６は、入力
された音声信号Ｓ１０６を、例えぱ８[ｍsec ]毎シフト
しながら３２[ｍsec ]分の音声フレームに区切り、互い
に前後の音声フレームと一部が重複した３２[ｍsec ]長
の音声フレームを出力する。このＰ１０２では音声フレ
ームが一つ完成すると、次のＰ１０３に進む。以上がＰ
１０２の動作である。

【００３７】Ｐ１０３では、音声フレーム分割部１０６
から有音検出部１０７に入力された音声フレームＳ１０
７が有音か無音かが判定される。この判定結果は判定信
号Ｓ１０９として出力される。なお、音声フレームＳ１
０７が有音であった場合、入力された音声フレームＳ１
０７はそのまま音声認識部１０８に出力される。

【００３８】この有音検出部１０７の有音判別方法とし
ては、例えぱ、入力された音声フレームＳ１０７の内部
サンプル値について求めた絶対値平均Ｑが閾値Ｕより大
きいか否かで判定する方法がある。この有音検出部１０
７での判定が有音であれぱＰ１０４に進み、無音であれ
ぱＰ１０６に進む。以上がＰ１０３の説明である。

【００３９】Ｐ１０４では、画像フレームＳ１０１及ぴ
音声フレームＳ１０７の各々から口形特徴情報および音
素特徴ペクトルが抽出される。このＰ１０４で実行され
る処理の詳細は、後述することにする。Ｐ１０４の処理
を終えるとＰ１０５に進む。

【００４０】Ｐ１０５では、フラグ（flag）変数にオン
（ON）が代入される。Ｐ１０５を終えるとＰ１０２に戻
る。

【００４１】次に、Ｐ１０３からＰ１０６に進んだ場合
を説明する。

【００４２】Ｐ１０６では、フラグ(flag）変数の値が
オン（ON）であれぱ、Ｐ１０７に進み、フラグ(flag）
変数の値がオフ（OFF ）であればＰ１０２に進む。つま
り、音声認識装置１００の処理が開始された後、有音区
間が入力されるまではＰ１０２→Ｐ１０３→Ｐ１０６→
Ｐ１０２の処理ループを繰り返す。

【００４３】Ｐ１０６からＰ１０７に進んだ場合、Ｐ１
０７では、口形特徴記憶部１０２Ｂに記憶されている口
形特徴情報の系列Ｓ１０２Ｂが口形動作抽出部１０２Ｃ
に入力され、有音区間に口がどのように動いたかが調べ
られる。これには、前後の画像フレーム中の唇の縦・横
の長さが比較され、口が開いたピークや口が閉じたピー
クのフレームとその時の唇の縦・横の長さを調べること
により行われる。この口形動作抽出部１０２Ｃの詳細に
ついては、後で詳しく述べることにする。こうして口形
動作情報Ｓ１０３を得る。Ｐ１０７を終えるとＰ１０８
に進む。

【００４４】Ｐ１０８では、口形動作抽出部１０２Ｃで
得られた口形動作情報Ｓ１０３が口形音節マッチング部
１０３に入力され、口形動作情報Ｓ１０３から特定の音
節部分を検出し、この口形から得られた音節と単語辞書
１０４に記憶されている単語の音節とのマッチングを調
ベ、そのマッチングの程度を口形音節マッチングスコア
Ｓ１０５として出力する。

【００４５】このマッチングを調べる処理を単語辞書１
０４に登録されている全ての単語に対して行なった後、
Ｐ１１０に進む。このＰ１０８の詳細についても後で述
べることにする。

【００４６】Ｐ１１０では、単語候補絞り込部１０５に
入力された各単語の口形音節マッチン７スコアＳ１０５
が閾値以上の単語のみ絞り込み、その絞り込まれた単語
の音素モデルＳ１１１を単語辞書１０４から受けとり音
声認識部１０８にその音素モデルＳ１１１を送る。Ｐ１
０９を終えるとＰ１１０に進む。

【００４７】Ｐ１１０では、尤度算出部１０８Ｃにおい
て、単語侯補絞り込部１０５から送られてきた音素モデ
ルＳ１１１と音声認識部１０８内部の音素特徴記憶部１
０８Ｂに記憶されている音声信号の音素特徴ベクトルの
系列との間でＤＰマッチング法やＨＭＭ法による尤度が
算出される。Ｐ１１０を終えるとＰ１１１に進む。

【００４８】Ｐ１１１では、尤度算出部１０８Ｃで求ま
った各単語に対する尤度の中から最大のものを入力音声
に対する認識単語として出力する。Ｐ１１１を終えると
Ｐｌ１２に進み、音声認識装置１００の処理を終了す
る。

【００４９】（Ａ−２−２）Ｐ１０４の処理内容 Ｐ１０４で実行される動作の詳細を図６に示す。このＰ
１０４では、図６に示す通り、画像フレームＳ１０１か
ら口形特徴情報を抽出して記憶保持する処理（Ｐｌ０４
Ａ〜Ｐ１０４Ｃ）と、音声フレームＳ１０７から音素特
徴ベクトルを抽出して記憶保持する処理（Ｐ１０４Ｄ〜
Ｐ１０４Ｅ）との２つの処理が並列に行なわれる。

【００５０】（Ａ−２−２−１）Ｐ１０４Ａ〜Ｐ１０４
Ｃの処理 まず、Ｐ１０４Ａ〜Ｐ１０４Ｃの処理を、図４に示す口
形認識部１０２の構成図を用いて説明する。

【００５１】Ｐｌ０４Ａでは、既に画像フレームバッフ
ァ１０１に画像データが１画面分溜ったか調べられる。
Ｐ１０４Ａで画像フレームバッファ１０１に画像データ
が１画面分あれぱＰ１０４Ｂに進み、そうでなければＰ
１０４Ｃの次の処理（すなわち、Ｐ１０５）に進む。

【００５２】Ｐ１０４Ｂでは、口形特徴抽出部１０２Ａ
において、入力された１画面分の画像データから唇領域
の抽出が行われ、唇の縦と横の長さ等が収まった口形特
徴情報Ｓ１０１Ａが出カされる。この口形特徴抽出部１
０２Ａで行われる詳細なフローチャートを図７に示す。

【００５３】まず、Ｐ１０４Ｂ１で、入力画像に対する
色変換（ＲＧＢ→ＨＳＶ［Ｈ：色相，Ｓ：色彩，Ｖ：明
度］が行なわれる。このＰ１０４Ｂ１が終わると、Ｐ１
０４Ｂ２に進む。

【００５４】Ｐ１０４Ｂ２では、予め求めておいた色情
報ＨＳＶで表された閾値の範囲（以下、閾値ベクトルと
呼ぶ）を満たす画素を１とし、それ以外の画素を０とし
て２値化する。この閾値ベクトルは、唇領域の色を満た
す範囲であり、２値化された画素の値が１の部分がこの
画像フレームの唇領域になる。Ｐ１０４Ｂ２が終わる
と、Ｐ１０４Ｂ３に進む。

【００５５】Ｐ１０４Ｂ３では、２値化によって画素の
値が１となった部分の縦と横の長さ（ｈｓ，ｗｓ）が求
められる。Ｐ１０４Ｂ３が終わると、Ｐ１０４Ｂ４に進
む。Ｐ１０４Ｂ４では、Ｐ１０４Ｂ３で求めた唇の縦と
横の長さ（ｈｓ，ｗｓ）の各々を、予め計測しておいた
口を閉じた状態の唇の縦と横の長さ（Ｈｃ，Ｗｃ）で引
いて割り、次の(1) 式で表される正規化した値を求め
る。

【００５６】

【数１】 以上がＰ１０４Ｂの処理の説明である。Ｐ１０４Ｂが終
わるとＰ１０４Ｃに進む。

【００５７】Ｐ１０４Ｃでは、口形特徴情報Ｓ１０１Ａ
を時系列順に口形特徴記憶部１０２Ｂに記憶させる。こ
の口形特徴記憶部１０２Ｂでは、有音区間の最初からの
口形特徴情報が時系列順に記憶される。

【００５８】（Ａ−２−２−２）Ｐ１０４Ｄ〜Ｐ１０４
Ｅの処理 次に、Ｐ１０４Ｄ〜Ｐ１０４Ｅまでの処理について、図
２に示す音声認識部１０８の構成図を用いて説明する。

【００５９】Ｐ１０４Ｄでは、音素特徴抽出部１０８Ａ
において、入力された音声フレームＳ１０８から例えぱ
周知の「ケプストラム」などの音素特徴ベクトルを抽出
する。Ｐ１０４Ｄを終えるとＰ１０４Ｅに進む。

【００６０】Ｐ１０４Ｅでは、音素特徴ベクトルを音素
特徴記憶部１０８Ｂに記憶させる。以上の処理によっ
て、この音素特徴記憶部１０８Ｂでは有音区間の最初か
らの音素特徴ベクトルが時系列順に記憶される。

【００６１】以上がＰ１０４（Ｐ１０４Ａ〜Ｐ１０４
Ｅ）の処理の説明である。

【００６２】（Ａ−２−３）Ｐ１０７の処理内容 次に、口形動作抽出部１０２Ｃで行われるＰ１０７の詳
細動作を説明する。口形動作抽出部１０２Ｃでは、唇の
縦の動きの極点（口の開くピークや口の閉じるピーク）
のフレームが検索され、その時の唇の縦・横の大きさを
抽出した口形動作情報が出力される。図８に、口形動作
抽出部１０２Ｃで実行される処理動作のフローチャート
を示す。

【００６３】なお、図８で使われる変数の内訳は、以下
の通りとする。ｎ及びｉはカウンタのカウント値を表
し、ｈ（ｎ）はｎ番目の画像フレームの唇の縦の長さを
表し、ｗ（ｎ）はｎ番目の画像フレームの唇の横の長さ
を表し、ｄｈは現フレームと前フレームの唇の縦の長さ
の差分値を表し、ｐｄｈは一つ前のｄｈの値を表す。

【００６４】まず、Ｐ１０７Ａで、口形動作抽出部１０
２Ｃの初期化が行なわれる。ここで、ｎ＝１，ｄｐｈ＝
０，ｉ＝０とそれぞれ代入される。Ｐ１０７Ａを終える
と、Ｐ１０７Ｂに進む。

【００６５】Ｐ１０７Ｂでは、唇の縦方向に関する現フ
レームの唇の縦の長さｈ（ｎ）と、前フレームの唇の縦
の長さｈ（ｎ−１）についての差分値（＝ｈ（ｎ）−ｈ
（ｎ−１））が求められる。Ｐ１０７Ｂを終えるとＰ１
０７Ｃに進む。

【００６６】Ｐ１０７Ｃでは、ｄｈとｐｄｈの符号が調
べられる。ここで、符号とは、ｄｈ＞０であれば「プラ
ス（＋）」、ｄｈ＜０であれぱ「マイナス（−）」、ｄ
ｈ＝０であれば「ゼロ（０）」の三通りの符号であり、
もしｄｈとｐｄｈの符号が異なっていれば、Ｐ１０７Ｄ
に進み、ｄｈとｐｄｈの符号が一致していれぱＰ１０７
Ｆに進む。

【００６７】Ｐ１０７Ｄでは、ｎ−１番目の画像フレー
ムについての以下の情報を、口形動作情報のｉ番目の記
憶素子［mlip(i) ］に記憶する。ここで、口形動作情報
の記憶素子[mlip(i) ]は、mlip(i).frame （フレーム番
号ｎ‐１格納用）、mlip(i).h （唇の縦の長さｈ（ｎ‐
１）格納用）、mlip(i).w（唇の横の長さｗ（ｎ‐１）
格納用）、mlip(i).pdh（ｐｄｈの符号格納用）、mlip
(i).dh（ｄｈの符号格納用）の５つでなる。

【００６８】Ｐ１０７Ｄを終えると、Ｐ１０７Ｅに進
む。

【００６９】Ｐ１０７Ｅでは、ｉの値に１が加えられ
る。Ｐ１０７Ｅを終えるとＰ１０７Ｆに進む。

【００７０】Ｐ１０７Ｆでは、ｐｄｈにｄｈを代入し、
ｎの値に１を加える。Ｐ１０７Ｆを終えると、Ｐ１０７
Ｇに進む。

【００７１】Ｐ１０７Ｇでは、ｎの値がこの有音区間の
最終フレーム番号より小さいか否かを調べる。もし小さ
ければＰ１０７Ｂに戻り、そうでなけれぱＰ１０７Ｈに
進む。

【００７２】Ｐ１０７Ｈでは、口形音節マッチング部１
０３にこれまで得られた口形動作情報が出力される。以
上が、口形動作抽出部１０２Ｃで実行されるＰ１０７の
詳細動作である。

【００７３】（Ａ−２−４）Ｐ１０８の処理内容 続いて、口形音節マッチング部１０３で実行されるＰ１
０８の詳細動作を説明する。

【００７４】口形音節マッチング部１０３は、口形動作
情報から、／ｍ／，／ｐ／，／ｂ／などのように発声に
唇を一瞬閉じる動作を伴う音（以下、両唇音という）の
発生箇所を見つけ、次の(i) 〜(iii) に示す３つの事項
を比較する。

【００７５】(i) 口形動作情報に含まれる両唇音の個
数と、参照する単語内部に含まれる両唇音の個数 (ii) 有音区間中に現れた両唇音の位置と、参照する単
語内部の両唇音の位置 (iii)動作情報から得られる両唇音の前後の母音につい
て発声時の口形と、参照する単語内の両唇音の前後の母
音から導かれるモデル口形 これらの比較処理を行う口形音節マッチング部１０３の
処理動作を、図９に示すフローチャート（Ｐ１０８）で
説明する。

【００７６】（Ａ−２−４−１）Ｐ１０８Ａの処理 まず、Ｐ１０８Ａでは、口形動作情報から両唇音を発声
している箇所（フレーム番号）と、その前後の唇の動き
の極点の口形およぴ両唇音の総個数（ｌｎ）が調べられ
る。このＰ１０８Ａで行われる詳細動作を、図１０を用
いて説明する。まず、図１０のＰ１０８Ａ１では、両唇
音の個数をカウントする変数ｎに０が代入され、口形動
作情報の各アドレスを示すｉに１が代入される。

【００７７】次に、Ｐ１０８Ａ２で、口形動作情報のｉ
番目の記憶素子に記憶されている各情報の中からmlip
(i).pdh とmlip(i).dhの符号が調ベられ、mlip(i).pdh
の符号が[−]であり、かつ、mlip(i).dhの符号が[＋]で
あるとき、Ｐ１０８Ａ３に進む。それ以外は、Ｐ１０８
Ａ６に進む。

【００７８】Ｐ１０８Ａ３では、この時の唇の縦横の長
さmlip(i).h 及びmlip(i).w が、口を閉じたときの長さ
を中心に任意の閾値の範囲内にあるか、つまり、両唇音
を発話する瞬間の口の形になっているかを調べる。この
Ｐ１０８Ａ３の条件を満たせばＰ１０８Ａ４に進み、そ
うでなければＰ１０８Ａ６に進む。

【００７９】Ｐ１０８Ａ４では、ｎに１が加えられ、Ｐ
１０８Ａ５に進む。

【００８０】Ｐ１０８Ａ５では、以下の３つの情報を記
憶する。すなわち、フレーム番号（mlip(i).frame）、
一つ前の極点の口形（mlip(i-1).hとmlip(i-1).w ）、
一つ後の極点の口形（mlip(i+1).hとmlip(i+1).w）の３
つの情報が記憶される。このＰ１０８Ａ５を終えると、
Ｐ１０８Ａ６に進む。

【００８１】Ｐ１０８Ａ６では、ｉに１が加えられ、Ｐ
１０８Ａ７に進む。

【００８２】Ｐ１０８Ａ７では、口形動作情報の最後ま
で調べたかがチェックされ、最後まで調べた場合は、Ｐ
１０８Ａ８に進み、そうでなけれぱＰ１０８Ａ２に戻
る。

【００８３】Ｐ１０８Ａ８では、この口形動作情報から
検出された両唇音の総個数（ｌｎ）にｎが代入され、Ｐ
１０８Ｂに進む。以上がＰ１０８Ａの説明である。

【００８４】（Ａ−２−４−２）Ｐ１０８Ｂ〜Ｅの処理 再ぴ図９に戻り、Ｐ１０８の説明を続ける。

【００８５】Ｐ１０８Ｂでは、単語辞書１０４に記憶さ
れている侯補単語の番号に対応する変数ｉを０に初期北
する。Ｐ１０８Ｂを終えると、Ｐ１０８Ｃに進む。

【００８６】Ｐ１０８Ｃでは、第ｉ番目の侯補単語であ
るｗｏｒｄ(i) に含まれる両唇音の位置と、その前後の
母音と、両唇音の総個数（ｗｎ）とが調べられる。これ
は、例えば候補単語ｗｏｒｄ(i) が「くるまえび（ｋｕ
ｒｍａｅｂｉ）」であれぱ、両唇音の総個数（ｗｎ）は
２で、最初の両唇音／ｍ／の前後の母音は／ｕ／，／ａ
／であり、２番目の両唇音／ｂ／の前後の母音は／ｅ
／，／ｉ／である。

【００８７】ただし、「パイナップル（ｐａｉｎａｐｐ
ｕｒｕ）」の最初の／ｐ／のように単語の先頭にある両
唇音については、これをカウントしないことにする。従
って、この場合、単語の中間に位置する／ｐ／が両唇音
となり、この／ｐ／の前後の母音は／ａ／，／ｕ／とな
る。Ｐ１０８Ｃが終わると、Ｐ１０８Ｄに進む。

【００８８】Ｐ１０８Ｄでは、口形動作情報から得た両
唇音の総個数ｌｎと参照単語ｗｏｒｄ(i) に含まれる両
唇音の総個数ｗｎが等しいかを調べ、等しければＰ１０
８Ｅに進み、等しくなけれぱＰ１０８Ｍで口形音節マッ
チングスコアＳＣ(i) の値を０にしてからＰ１０８Ｋに
進む。

【００８９】Ｐ１０８Ｅでは、両唇音の総個数が０より
大きいかを調ベ、大きけれぱＰ１０８Ｆに進み、両唇音
の総個数が０であれぱＰ１０８Ｎで口形音節マッチング
スコアＳＣ(i) の値を１にしてからＰ１０８Ｋに進む。

【００９０】（Ａ−２−４−３）Ｐ１０８Ｆの処理 Ｐ１０８Ｆでは、両唇音が単語中のどの位置にあるかの
マッチングを調べる。図１１に、Ｐ１０８Ｆの詳細なフ
ローチャートを示す。

【００９１】図１１において、まずＰ１０８Ｆ１では、
両唇音をカウントする変数ｊを０に初期化し、位置スコ
アＡの初期値を１にする。Ｐ１０８Ｆ１を終えると、Ｐ
１０８Ｆ２に進む。

【００９２】次に、Ｐ１０８Ｆ２では、口形動作情報か
ら得た第ｊ番目の両唇音の画像フレームの相対位置ｓｖ
(j) を算出する。ｓｖ(j) の算出式は、次の(2) 式で与
えられる。

【００９３】

【数２】 このＰ１０８Ｆ２を終えると、次は、Ｐ１０８Ｆ３に進
む。

【００９４】次のＰ１０８Ｆ３では、候補単語中の第ｊ
番目の両唇音の相対位置ｓｗ(j) を算出する。ｓｗ(j)
の算出式は、次の(3) 式のようになる。

【００９５】

【数３】 例えぱ、候補単語が「くるまえび」の場合、最初（第０
番目）の両唇音／ｍ／の相対位置ｓｗ(j) は、候補単語
中の音節数５に対して両唇音がある音節位置は２である
ので（位置０が「く」、位置１が「る」）、(3) 式より
２／５＝0.4 である。なお、相対位置ｓｗ(j) はその都
度算出するのではなく、予め全て求めておいても良く、
また、予め実際の音声から両唇音の位置を求めるように
しても良い。Ｐ１０８Ｆ３を終えると、Ｐ１０８Ｆ４に
進む。

【００９６】Ｐ１０８Ｆ４では、ｓｖ(j) とｓｗ(j) の
マッチング度ｓ(j) を算出する。このマッチング度ｓ
(j) は、ｘ＝｜ｓｖ(j) −ｓｗ(j) ｜として、図１２に
示す非線形関数ｆ（ｘ）についての出力値で与えられ
る。Ｐ１０８Ｆ４を終えると、Ｐ１０８Ｆ５に進む。

【００９７】Ｐ１０８Ｆ５では、位置スコアＡにマッチ
ング度ｓ(j) を掛け合わせる。Ｐｌ０８Ｆ５を終える
と、Ｐ１０８Ｆ６に進む。

【００９８】Ｐ１０８Ｆ６では、ｊに１を加算する。Ｐ
１０８Ｆ６を終えると、Ｐ１０８Ｆ７に進む。

【００９９】Ｐ１０８Ｆ７では、ｊ＜ｌｎ（両唇音の個
数）を満たすか否かが判定され、条件を満たしていれば
Ｐ１０８Ｆ２に戻り、それ以外はＰ１０８Ｆの処理を終
了して位置スコアＡを出力し。Ｐ１０８Ｇに進む。以上
がＰ１０８Ｆの説明である。

【０１００】（Ａ−２−４−４）Ｐ１０８Ｇ、Ｈの処理 再び図９に戻り、Ｐ１０８Ｇ以降の処理を説明をする。

【０１０１】Ｐ１０８Ｇでは、位置スコアＡが閾値ＬＡ
より大きいか否かを調ベ、大きければＰ１０８Ｈに進
み、そうでなければＰ１０８Ｏで口形音節マッチングス
コアＳＣ(i) の値を０にしてからＰ１０８Ｋに進む。

【０１０２】Ｐ１０８Ｈでは、両唇音の前後の口形と候
補単語の両唇音の前後の母音を発声している場合のモデ
ル口形との類似度を調べ、前後母音スコアＢを算出す
る。なお、予め複数の口形情報から各母音（／ａ／，／
ｉ／，／ｕ／，／ｅ／，／ｏ／）毎に発声時の唇の縦と
横の長さの平均値と、分散値と、唇の縦と横の長さの相
関係数を求めておく。

【０１０３】まずここで、Ｐ１０８Ｈの処理に用いる各
種変数の定義をしておく。母音ｖ（＝／ａ／，／ｉ／，
／ｕ／，／ｅ／，／ｏ／）を発声している場合の口形の
平均値、分散値、相関係数を、それぞれ次のように定義
する。

【０１０４】すなわち、母音ｖにおける唇の縦およぴ横
の長さの平均値をμｈ(v) ，μｗ(v) とし、母音ｖにお
ける唇の縦および横の長さの分散の平方根をσｈ(v)，
σｗ(v)とし、母音ｖにおける唇の縦と横の長さの相関
係数をρ(ｖ)とする。

【０１０５】また、口形動作情報から得られた第ｊ番目
の両唇音の前後の口形を、それぞれ次のように定義す
る。

【０１０６】すなわち、両唇音の一つ前の極点の縦およ
ぴ横の長さをｈ０(j)，ｗ０(j) とし、両唇音の一つ後
の極点の縦およぴ横の長さをｈ１(j) ，ｗ１(j) とす
る。

【０１０７】前後母音スコアＢを算出するステップは、
検出されたｌｎ個の各両唇音について、前母音と後母音
の類似度（スコア）を求め、前母音と後母音のスコアを
線形結合させた値の掛け合わせから求める。

【０１０８】さて、第ｊ番目の両唇音についての前後母
音スコアＢ(j) を求める方法を述べる。

【０１０９】このときまず、第ｊ番目の両唇音の前の母
音ｖ０に対する類似度Ｂ０(j) は、次の(4) 式で与えら
れる。

【０１１０】

【数４】 また、第ｊ番目の両唇音の後の母音ｖ１に対する類似度
Ｂ１(j) は、次の(5)式のようになる。

【０１１１】

【数５】 そして、第０番目の両唇音から第ｌｎ‐１番目の両唇音
までの前後母音スコアＢは、次の(6) 式で与えられる。

【０１１２】

【数６】 以上が前後母音スコアＢの算出方法である。なお、βは
０≦β≦１を満たす任意の定数である。Ｐ１０８Ｈを終
えると、Ｐ１０８Ｉに進む。

【０１１３】（Ａ−２−４−５）Ｐ１０８Ｉ〜１０８Ｐ
の処理 Ｐ１０８Ｉでは、前後母音スコアＢが閾値ＬＢより大き
いかを調べる。閾値ＬＢより大きい場合はＰ１０８Ｊに
進み、小さい場合はＰ１０８Ｐで口形音節マッチングス
コアＳＣ(i) の値を０にしてからＰ１０８Ｋに進む。

【０１１４】Ｐ１０８Ｊでは、Ｐ１０８Ｆで得られた位
置スコアＡと、Ｐ１０８Ｈで得られた前後母音スコアＢ
とで最終的な候補単語ｗｏｒｄ(i) に対する口形音節マ
ッチングスコアＳＣ(i) を算出する。この単語に対する
口形音節マッチングスコアＳＣ(i) の算出式は、次の
(7) 式のようになる。

【０１１５】

【数７】 なお、αは０≦α≦１を満たす任意の定数である。Ｐ１
０８Ｊを終えると、Ｐ１０８Ｋに進む。

【０１１６】Ｐ１０８Ｋでは、ｉに１を加算する。Ｐ１
０８Ｋを終えると、Ｐ１０８Ｌに進む。

【０１１７】Ｐ１０８Ｌでは、ｉが候補単語数を越えて
いないか、つまりまだ参照していない候補単語があれ
ば、Ｐ１０８Ｃに戻り、次の候補単語を参照する。もし
全ての候補単語を参照し終っていれぱＰ１０８の処理は
終りであり、次のＰ１０９に進む。

【０１１８】こうして得られた各単語に対する口形音節
マッチングスコアＳＣ(i) が、閾値以上の単語のみが音
声認識装置によって認識されるのである。

【０１１９】（Ａ−３）第１の実施形態の効果 以上のように第１の実施例によれば、口形情報から予め
音声認識で参照する候補単語の絞り込みを行なうので、
従来の音声認識装置の中で最も処理負荷の大きい尤度計
算の回数を減らすことができる。

【０１２０】また、特に、両唇音は他の音に比べ発声時
の口形がはっきりしており、口形からの両唇音の検出は
極めて容易であるので、両唇音の個数や位置には高い信
頼性があり、不特定話者に適応可能である。

【０１２１】また、取り扱う音声が日本語であれば、単
語の先頭に両唇音がある場合を除いて、両唇音の前後は
母音である。そして、その母音発声時の口形は、それぞ
れ両唇音の前後の口形動作の極点になる。そこで、前後
母音の類似性を求めることによって、更に精度の高い候
補単語の絞り込みを行なうことができる。

【０１２２】以上のように、両唇音の個数と位置と前後
母音の類似性から精度の高い候補単語の絞り込みを行な
うことができる。

【０１２３】（Ｂ）第２の実施形態 次に、本発明による音声認識装置の第２の実施形態を図
面を参照しながら説明する。

【０１２４】第１の実施形態は、口形情報から単語辞書
に登録されている候補単語の絞り込みを行なった上で、
音素モデルと入力音声の尤度の最も高い単語を認識結果
として出力していたが、第２の実施形態では、第１の実
施形態と逆の処理順序で認識結果を求めていることが異
なる。

【０１２５】すなわち、第２の実施形態では、まず、単
語辞書に登録されている候補単語の音素モデルと入力音
声の尤度の計算を行ない、その中から尤度の高いものを
複数絞り込み、その絞り込まれた単語の音節と口形情報
から得られた音節情報とのマッチングに基づいて最も相
応しい単語を認識結果として出力するようにする。

【０１２６】この相違点の説明を中心に、第２の実施形
態を説明する。

【０１２７】（Ｂ−１）第２の実施形態の構成 第２の実施形態で説明する音声認識装置は、機能ブロッ
ク図で表すと、第１の実施形態に係る図１と同様に表す
ことができる。本実施形態に係る音声認識装置２００の
構成を表したが図１３である。この図１３では、図１と
の同一、対応部分に同一、対応符号を付して示してい
る。

【０１２８】図１３が図１と異なる点は、単語候補絞り
込部１０５がなくなった点、本実施形態ようの音声認識
部２０２を用いる点、総合マッチングスコア算出部２０
３が新たに設けられた点である。ここでは、相違点の構
成についてのみ説明する。

【０１２９】まず、音声認識部２０２について説明す
る。この音声認識部２０２の基本構成は、第１の実施形
態の音声認識部１０８と同様であり、その詳細構成は図
２に示したものと同じである。ただし、この実施形態に
係る音声認識装置２０２の場合、入力された音声フレー
ム列と単語辞書１０４から入力された候補単語の音素モ
デルとを比較し、類似度の高い単語を複数個出力するだ
けで、最終的な認識結果を得るものではない。

【０１３０】一方、総合マッチングスコア算出部２０３
は、口形音節マッチング部１０３のスコアと音声認識部
２０２の尤度とから総合的なマッチングスコアを算出
し、最も高い総合マッチングスコアが得られた単語を出
力するようになされている。

【０１３１】（Ｂ−２）第２の実施形態の動作 以下、第２の実施形態に係る音声認識装置２００の動作
を説明する。図１４は、かかる音声認識装置２００の動
作を示すフローチャートである。なお、図１４におい
て、Ｐ１００からＰ１０６までの処理は、第１の実施形
態で説明した内容と同じであるので説明を省略し、相違
点のみについて説明する。従って、以下の説明では、Ｐ
２０１以降から説明を始める。

【０１３２】まず、Ｐ２０１では、入力音声から得られ
た音素ベクトル系列と単語辞書１０４に登録されている
候補単語の各音素モデルとの間の尤度を求める。この尤
度を求める方法は、第１の実施形態の場合と同様、ＨＭ
Ｍ等から求める。Ｐ２０１を終えると、Ｐ２０２に進
む。

【０１３３】Ｐ２０２では、Ｐ２０１で求められた尤度
が高かった単語を複数選ぶ。これは尤度の高い順に上位
ｎ個までの単語を選ぶようにしても良いし、ある閾値以
上の尤度を持つ単語を選ぶようにしても良い。Ｐ２０２
を終えると、Ｐ２０３に進む。

【０１３４】Ｐ２０３では、第１の実施形態で説明した
Ｐ１０７と同様の処理を行なう。つまり、口形特徴情報
から口形動作情報を得る。Ｐ２０３を終えると、Ｐ２０
４に進む。

【０１３５】Ｐ２０４では、Ｐ２０２で選ぱれた候補単
語について、その音節情報と口形動作情報から得られた
両唇音を中心とした音節情報とのマッチングを行なう。
このＰ２０４で行なうマッチングは、第１の実施形態の
Ｐ１０８で行なったように両唇音の個数と位置と前後の
母音についてマッチングを行ない、口形音節マッチング
スコアＳＣ(i) を出力する。Ｐ２０４を終えると、Ｐ２
０５に進む。

【０１３６】Ｐ２０５では、総合マッチングスコア算出
部２０３において、Ｐ２０１で得られた尤度Ｎと、Ｐ２
０４で得られた口形音節マッチングスコアＳＣ(i) とか
ら、最終的なマッチングスコアＬＳＣを算出し、最も高
いマッチングスコアＬＳＣを得た単語を認識結果として
出力する。

【０１３７】このマッチングスコア（ＬＳＣ）の算出方
法の例を、次の(8) 式に示す。

【０１３８】 ＬＳＣ＝λＮ＋（１−λ）ＳＣ ……(8) ただし、０≦λ≦１であり、λは任意の定数とする。

【０１３９】（Ｂ−３）第２の実施形態の効果 以上のように、第２の実施形態によれば、入力音声と候
補単語の音素モデルとの尤度計算から即座に認識単語を
求めるのではなく、複数の候補を絞り込み、当該絞り込
まれた候補について口形情報を併用して認識単語を決定
することにしたので、従来の音声認識装置に比べて認識
精度を高めることができる。

【０１４０】また、両唇音は他の音に比べ発声時の口形
がはっきりしており、口形からの両唇音の検出は極めて
容易であるので、両唇音の個数や位置には高い信頼性が
あり、不特定話者に適応可能である。特に背景雑音が大
きい環境の中で音声の自動認識を行なう際に有効であ
る。

【０１４１】（Ｃ）第３の実施形態 続いて、本発明による音声認識装置の第３の実施形態を
図面を参照しながら説明する。

【０１４２】この第３の実施形態は、前述した第１の実
施形態と、第２の実施形態とを組み合わせたものであ
り、全体の流れは、おおよそ次の３段階に分けることが
できる。

【０１４３】すなわち、(1) 口形情報から単語辞書に登
録されている候補単語の絞り込みを行なう段階と、(2)
絞り込まれた候補単語の音素モデルと入力音声の尤度を
計算し、特に尤度の高かった単語を複数選ぶ段階と、
(3) 先に説明した(2) で選ぱれた単語に対し、その尤度
と(1) で求めた口形音節マッチングスコアから最終的な
認識単語を出力する段階の３つである。以下、この点を
中心に説明する。

【０１４４】（Ｃ−１）第３の実施形態の構成 第３の実施形態で説明する音声認識装置は、機能ブロッ
ク図で表すと、第１及び第２の実施形態に係る図１及び
図１３と同様に表すことができる。本実施形態に係る音
声認識装置３００の構成を表したが図１５である。この
図１５では、図１及び図１３との同一、対応部分に同
一、対応符号を付して示している。

【０１４５】図１５が図１及び図１３と異なる点は、新
たに口形マッチングスコア記憶部３０１が設けられた点
である。

【０１４６】ここで、口形音節マッチングスコア記憶部
３０１は、口形音節マッチング部１０３で得られた口形
音節マッチングスコアを一時記憶するのに用いられる記
憶部であり、総合マッチングスコア算出部２０３の処理
が開始されるまで保持する役割を有している。

【０１４７】なお、この実施形態の音声認識部２０２
は、入力された音声フレーム列と、予め単語候補絞り込
部１０５で絞り込まれた候補単語の音素モデルとを比較
するようになされ、当該比較結果から類似度の高い単語
を複数個出力するようになっている。

【０１４８】また、この実施形態の総合マッチングスコ
ア算出部２０３は、口形音節マッチングスコア３０１に
保持されている口形音節マッチングスコアと、音声認識
部２０２から得られた尤度から総合的なマッチングスコ
アを算出し、総合的なマッチングスコアの一番高かった
単語を認識結果として出力するようになっている。

【０１４９】（Ｃ−２）第３の実施形態の動作 以下、第３の実施形態にかかる音声認識装置３００の動
作の詳細を述べる。図１６に、本発明の第３の実施例の
音声認識装置３００の動作のフローチャートを示す。な
お、図１６において、Ｐ１００からＰ１１０までの処理
は、第１の実施形態の動作を説明した図５の場合と同じ
であるので、その説明は省略する。以下、Ｐ３０１以降
から説明を始める。

【０１５０】まず、Ｐ３０１では、Ｐ１１０で求められ
たモデル音素との尤度が高かった単語を複数選ぶことに
する。これは尤度の高い順に上位ｎ個までの単語を選ぶ
ようにしても良いし、ある関値以上の尤度の持つ単語を
選ぶようにしても良い。いずれにしても、Ｐ３０１を終
えると、Ｐ３０２に進む。

【０１５１】Ｐ３０２では、Ｐ１１０で得られた尤度Ｎ
と、Ｐ１０８で得られた口形音節マッチングスコアＳＣ
(i) とから、総合的なマッチングスコアＬＳＣを算出す
る。この総合マッチングスコアＬＳＣの算出方法は、第
２の実施形態のＰ２０５の処理と同様であり、(8) 式を
用いることができる。Ｐ３０２を終えると、Ｐ３０３に
進む。

【０１５２】Ｐ３０３では、Ｐ３０２で求めた総合マッ
チングスコアＬＳＣの最も高かった単語を認識結果とし
て出カする。Ｐ３０３を終えると、Ｐ３０４に進み一連
の処理を終える。

【０１５３】以上が、第３の実施形態に特有な動作部分
の説明である。

【０１５４】（Ｃ−３）第３の実施形態の効果 以上のように、第３の実施形態によれば、まず、口形情
報から予め候補単語を絞り込み、絞り込まれた単語につ
いて音声認識を行なうので、音声認識に費やす処理の軽
減を実現できる。

【０１５５】更に、音声認識部２０２で認識結果を一つ
に絞り込むのではなく、更に再ぴ口形情報から求まった
口形音節マッチングスコアＬＳＣも用いて最終的に出力
する認識結果を一つに絞り込むので、音声認識の精度を
高めることが可能になる。

【０１５６】このように、両唇音という他の音に比べ発
声時の口形がはっきりしている口形の情報を用いて認識
処理するため、背景雑音が大きい環境の中で話者の音声
を高い精度で自動認識することが可能となる。

【０１５７】（Ｄ）第４の実施形態 さらに、本発明による音声認識装置の第４の実施形態を
図面を参照しながら説明する。

【０１５８】この第４の実施形態は、第１の実施形態の
変形例とも言うべきものであり、口形音節マッチング部
１０３が口形音節マッチングスコアを求める際に用いる
処理方法のみを異にするものである。

【０１５９】すなわち、第１の実施形態は、口形音節マ
ッチングスコアを求める際、両唇音の前後に位置する波
形のピーク位置を母音位置と決定する手法を用いていた
が、第４の実施形態においては、発話速度が一定である
との仮定の下に、両唇音から時間的距離がある範囲内で
あり、かつ、唇の開き具合が閾値以上であるような位置
を母音位置として決定する。

【０１６０】以下、この部分を中心に、第４の実施形態
を説明する。

【０１６１】（Ｄ−１）第４実施形態の構成 第４の実施形態に係る音声認識装置４００の機能ブロッ
ク構成を図１７に示す。この図１７には、図１との同
一、対応部分に同一、対応符号を付して示している。図
１７から分かるように、音声認識装置４００の機能ブロ
ック構成は、第１の実施形態で説明した音声認識装置１
００の機能ブロック構成と同じである。異なるのは、入
力された音節情報と、口形の動作から得られた音節との
マッチング程度を調べ、結果を口形音節マッチングスコ
アとして出力する口形音節マッチング部１０３で行われ
る処理内容のみである。

【０１６２】（Ｄ−２）第４実施形態の動作 以下、第４の実施形態にかかる音声認識装置４００の動
作の詳細を述べる。参考までに音声認識装置４００の動
作のフローチャートを図１８に示す。図１８からも分か
るように、その内容は第１の実施形態の説明に用いた図
５と同じである。異なるのは、この一連の処理のうち、
Ｐ１０８’に係る部分である。従って、Ｐ１０８’の詳
細のみを説明する。

【０１６３】（Ｄ−２−１）Ｐ１０８’の処理内容 続いて、口形音節マッチング部１０３で実行されるＰ１
０８’の詳細動作を、図１９を用いて説明する。

【０１６４】口形音節マッチング部１０３は、このＰ１
０８’により、口形動作情報から／ｍ／，／ｐ／，／ｂ
／などの両唇音の発生箇所を見つけ、次の(1) 〜(3) に
示す３つの事項を比較する。なお、第１の実施形態の場
合とは、(2) の内容が異なる。

【０１６５】(1) 口形動作情報に含まれる両唇音の個数
と、参照する単語内部に含まれる両唇音の個数 (2) 有音区間中に現れた両唇音の始端・終端位置と、参
照する単語内の両唇音の始端・終端位置 (3) 動作情報から得られる両唇音の前後の母音について
発声時の口形と、参照する単内の両唇音の前後の母音か
ら導かれるモデル口形 次に、Ｐ１０８’を構成する各処理の内容を説明する。

【０１６６】（Ｄ−２−１−１）Ｐ１０８Ａ’の処理 まず、Ｐ１０８’の最初の処理として行われるＰ１０８
Ａ’の処理を説明する。

【０１６７】Ｐ１０８Ａ’では、口形動作情報から両唇
音を発声している始端およぴ終端位置（フレーム番号）
と、両唇音の前後の唇の動きの極点の口形との抽出がな
され、両唇音の総個数ｌｎが調べられる。このＰｌ０８
Ａ’の詳細を表したのが図２０のフローチャートであ
る。

【０１６８】（Ｄ−２−１−１−１）Ｐ１０８Ａ１’〜
Ｐ１０８Ａ２’の処理 まず、Ｐ１０８Ａ１’で、両唇音の個数をカウントする
変数ｌｎを０とし、口形動作情報の番号を示すｉに１を
代入する。

【０１６９】次に、Ｐ１０８Ａ２’で、口形動作情報の
ｉ番目の口形動作情報 mlip(i)が両唇音の始端のフレー
ムのものであるかを調べる。この判別には、次の(1) 〜
(3)の３つの条件が用いられる。

【０１７０】(1) mlip(i).pdh が［−］ (2) mlip(i).dh が［＋］又は[０] (3) 唇の縦横の長さである mlip(i).hと、mlip(i).w と
が、閾値Ｌ０＝（Ｌｈ０，Ｌｗ０）〜Ｌ１＝（Ｌｈ１，
Ｌｗ１）の範囲に収まっている ここで、口形動作情報 mlip(i)が上記３つの条件を同時
に満たせば、mlip(i).frame は両唇音の始端フレームと
なり、以後、この両唇音の終端、両唇音の直前・直後の
母音の位置検出を行なう。なお、この両唇音の始端のｉ
を、以下、ｓｉとする。このＰ１０８Ａ２’で、始端で
あることが確認されれば、Ｐ１０８Ａ３’に進み、そう
でなければ、Ｐ１０８Ａ８’に進む。

【０１７１】（Ｄ−２−１−１−２）Ｐ１０８Ａ３’〜
Ｐ１０８Ａ４’の処理 Ｐ１０８Ａ３’では、第ｌｎ番目の両唇音の始端情報ｌ
ｖｓ（ｌｎ）に mlip(i)を代入する。Ｐ１０８Ａ３’を
終えると、Ｐ１０８Ａ４’に進む。

【０１７２】Ｐ１０８Ａ４’では、この両唇音の直前の
母音を発話した時の口形動作情報を捜す処理と、見つか
った口形動作情報を両唇音の直前母音情報ｌｖｈ（ｌ
ｎ）に代入する処理を行う。図２１に、両唇音の直前の
母音位置を検出手順を示す詳細なフローチャートを示
す。

【０１７３】まず、Ｐ１０８Ａ４１’でｉにｓｉ−１を
代入する。次に、Ｐ１０８Ａ４２’で、mlip(i) が次の
(1) 、(2) の２つの条件を同時に満たすか調べる。

【０１７４】(1) mlip(i).dhが［−］ (2) 唇の縦横の長さであるmlip(i).h と、mlip(i).w が
共に閾値の範囲外にある ここで、mlip(i) が上記の２つの条件を同時に満たせ
ば、Ｐ１０８Ａ４５’に進み、条件を満たさなければ、
Ｐ１０８Ａ４３’に進む。

【０１７５】Ｐ１０８Ａ４５’では、ｌｎ番目の両唇音
の直前の母音情報１ｖｈ（ｌｎ）にmlip(i) を代入し、
Ｐ１０８Ａ５’に進む。

【０１７６】一方、Ｐ１０８Ａ４２’からＰ１０８Ａ４
３’に進んだ場合、Ｐ１０８Ａ４３’でｉから１を減算
し、次のＰ１０８Ａ４４’でｉが閾値ＭＬＶＨより小さ
いか否か調べる。小さければ、Ｐ１０８Ａ８’に進み、
小さくなければＰ１０８Ａ４２’に戻る。

【０１７７】すなわち、このＰ１０４Ａ４’で両唇音の
直前母音が見つからない場合はＰ１０８Ａ８’に進み、
見つかった場合はＰ１０８Ａ５’に進む。

【０１７８】（Ｄ−２−１−１−３）Ｐ１０８Ａ５’の
処理 Ｐｌ０８Ａ５’では、両唇音の終端のフレームの捜索が
行われ、その時の口形動作情報を終端情報ｌｖｅ（ｌ
ｎ）に代入する処理がなされる。図２２に、両唇音の終
端の位置検出の詳細なフローチャートを示す。

【０１７９】まず、Ｐ１０８Ａ５１’で、ｉにｓｉ＋ｌ
を代入する。次に、Ｐ１０８Ａ５２’で、mlip(i).h と
mlip(i).w が共に閾値Ｌ０〜Ｌｌの範囲にあるかを調べ
る。ここで、閾値の範囲外であれば、Ｐ１０８Ａ５５’
に進み、閾値の範囲内であればＰ１０８Ａ５３’に進
む。

【０１８０】Ｐ１０８Ａ５５’では、ｌｎ番目の両唇音
の終端情報ｌｖｅ（ｌｎ）にmlip(i-1) を代入し、Ｐ１
０８Ａ６’に進む。

【０１８１】一方、Ｐｌ０８Ａ５２’からＰ１０８Ａ５
３’に進んだ場合、Ｐｌ０８Ａ５３’では、ｉに１を加
算する。

【０１８２】次に、ｉが閾値ＭＬＶＥより大きいか調
べ、大きければＰ１０８Ａ８’に進み、大きくなければ
Ｐ１０８Ａ５２’に戻る。なお、Ｐ１０８Ａ５５’のと
きのｉを、以下、ｅｉとする。

【０１８３】すなわち、このＰ１０８Ａ５’で両唇音の
終端が見つからない場合はＰ１０８Ａ８’に進み、見つ
からない場合はＰ１０８Ａ６’に進む。

【０１８４】（Ｄ−２−１−１−４）Ｐ１０８Ａ６’の
処理 Ｐ１０８Ａ６’では、この両唇音の直後の母音を発話し
た時の口形動作情報の探索が行われ、この口形動作情報
を両唇音の直後の母音情報ｌｖｔ（ｌｎ）に代入する処
理を行う。図２３に、両唇音の直後の母音位置検出処理
の詳細なフローチャートを示す。

【０１８５】まず、Ｐ１０８Ａ６１’で、ｉにｅｉ＋１
を代入する。次に、Ｐ１０８Ａ６２’で、mlip(i) が次
の(1) 、(2) の２つの条件を同時に満たすか調べる。

【０１８６】(1) mlip(i).dhが[＋] (2) 唇の縦横の長さであるmlip(i).h と、mlip(i).w が
共に閾値の範囲外にある ここで、mlip(i) が上記の２つの条件を同時に満たせ
ば、Ｐ１０８Ａ６５’に進み、条件を満たさなければ、
Ｐ１０８Ａ６３’に進む。

【０１８７】Ｐ１０８Ａ６５’では、ｌｎ番目の両唇音
の直後の母音情報ｌｖｈ（ｌｎ）にmlip(i) を代入し、
Ｐ１０８Ａ７’に進む。

【０１８８】一方、Ｐ１０８Ａ６２’からＰ１０８Ａ６
３’に進んだ場合、Ｐ１０８Ａ６３’では、ｉに１を加
算する。次に、ｉが閾値ＭＬＶＴより大きいかを調べ、
大きければＰ１０８Ａ８’に進み、大きくなければＰ１
０８Ａ６２’に戻る。

【０１８９】すなわち、このＰ１０８Ａ６’で両唇音の
直後の母音が見つからない場合はＰｌ０８Ａ８’に進
み、見つかった場合はＰ１０８Ａ７’に進む。

【０１９０】（Ｄ−２−１−１−５）Ｐ１０８Ａ７’〜
Ｐ１０８Ａ９’の処理 Ｐ１０８Ａ７’では、ｌｎに１を加える。Ｐ１０８Ａ
７’を終えると、Ｐ１０８Ａ８’に進む。

【０１９１】Ｐｌ０８Ａ８’では、ｉに１を加える。Ｐ
ｌ０８Ａ８’を終えると、Ｐ１０８Ａ９’に進む。

【０１９２】Ｐ１０８Ａ９’では、口形動作情報の最後
まで調べたかをチェックし、最後まで調べた場合には、
Ｐ１０８Ｂに進み、そうでなければＰ１０８Ａ２’に戻
る。以上がＰ１０８Ａ’の説明である。

【０１９３】（Ｄ−２−１−２）Ｐ１０８Ｂ〜Ｐ１０８
Ｃ’の処理 Ｐ１０８Ｂでは、単語辞書１０４に記憶されている候補
単語の番号に対応する変数ｉの初期化が行われる。初期
化により、変数ｉは０になる。Ｐ１０８Ｂを終えると、
Ｐ１０８Ｃ’に進む。

【０１９４】Ｐ１０８Ｃ’では、第ｉ番目の候補単語で
あるｗｏｒｄ(i) に含まれる両唇音の個数ｗｎと、各々
の両唇音の始端と終端の位置と、前後の母音を調べる。

【０１９５】両唇音の始端と終端の位置は、両唇音の単
語中における音節位置によって決まる。通常は、第ｎ番
目の音節に両唇音があれば、両唇音の位置は、始端がｎ
−１、終端がｎ−１である。

【０１９６】例えば、入力音声が「にまいがい」の場
合、両唇音「ま」は第二音節にあるので始端位置は１、
終端位置は１である。但し、「みかん」のように両唇音
「み」が単語の第一音節にある両唇音については、これ
をカウントしない。

【０１９７】更に例外として、両唇音の前の音節が「つ
まる音」（例えば、パイナップルの場合の「ッ」）や
「はねる音」（例えば、さんまの場合の「ん」）の場合
は、両唇音の始端はこれらの音節の位置になる。つま
り、「パイナップル」の両唇音「ップ」の始端位置は
３、終端位置は４となる。

【０１９８】また、前後の母音とは、両唇音の前の音節
が「つまる音」や「はねる音」の場合は、これを含めた
両唇音の直前直後の母音をいう。例えば、「さんま」の
場合、「んま」の前の母音は／ａ／、後の母音は／ａ／
である。このＰ１０８Ｃ’を終えると、Ｐ１０８Ｄに進
む。

【０１９９】（Ｄ−２−１−３）Ｐ１０８Ｄ〜Ｐ１０８
Ｆ’の処理 Ｐ１０８Ｄでは、口形動作情報から得た両唇音の総個数
ｌｎと、参照単語Ｗｏｒｄ(i) に含まれる両唇音の総個
数Ｗｎとが等しいかを調ベ、等しければＰ１０８Ｅに進
み、等しくなければＰ１０８Ｍで口形音節マッチングス
コアＳＣ(i) の値を０にしてからＰ１０８Ｋに進む。

【０２００】Ｐｌ０８Ｅでは、両唇音の総個数ｌｎが０
より大きいかを調べ、大きければＰｌ０８Ｆ’に進み、
両唇音の総個数が０であればＰ１０８Ｎで口形音節マッ
チングスコアＳＣ(i) の値を１にしてからＰ１０８Ｋに
進む。

【０２０１】Ｐ１０８Ｆ’では、ｗｏｒｄ(i)に対する
両唇音の位置のマッチングを調べる。図２４に、Ｐ１０
８Ｆ’の詳細なフローチャートを示す。

【０２０２】まず、Ｐ１０８Ｆ１’で、両唇音をカウン
トする変数ｊを０に初期化し、位置スコアＡの初期値を
１にする。Ｐ１０８Ｆ１’を終えると、Ｐ１０８Ｆ２’
に進む。

【０２０３】次に、Ｐ１０８Ｆ２’では、口形動作情報
から得た第ｊ番目の両唇音の始端・終端の相対位置ｓｖ
(j) （＝[ｓｖ(j).ｓ，ｓｖ(j).ｅ]）を算出する。この
とき、ｓｖ(j) の算出式は、次の(9) 、(10)式で与えら
れる。

【０２０４】

【数８】

【数９】 以上、両唇音の始端の画像フレーム番号Ｐ１０８Ｆ２’
を終えると、Ｐ１０８Ｆ３’に進む。

【０２０５】次に、Ｐ１０８Ｆ３’では、Ｐ１０８Ａ’
の処理で得られた候補単語中の第ｊ番目の始端・終端の
両唇音の位置ｓｗ(j) （＝［ｓｗ(j).ｓ，ｓｗ(j).
ｅ］）に代入する。Ｐ１０８Ｆ３’を終えると、Ｐ１０
８Ｆ４’に進む。

【０２０６】Ｐ１０８Ｆ４’では、ｓｖ(j) とｓｗ(j)
についてのマッチング度ｓ(j) の算出が行われる。ここ
で、マッチング度ｓ(j) は、両唇音の始端相対位置の差
分ｘｓ（＝｜ｓｖ(j).s−ｓｗ(j).s｜）と、両唇音の終
端相対位置の差分ｘｅ（＝｜ｓｖ(j).e −ｓｗ(j).e｜
）とを、図１２のような非線形関数ｆ(x) で変換した
出力値ｆ(xs)、ｆ(xe) の積（＝ｆ(xs)×ｆ(xe)）で与
えられる。マッチング度ｓ(j) は、ｘｓ又はｘｅが小さ
い、つまり、位置のマッチングが合っているほど大き
く、位置のマッチングがずれているほど小さい値にな
る。このＰ１０８Ｆ４’を終えると、Ｐ１０８Ｆ５’に
進む。

【０２０７】Ｐ１０８Ｆ５’では、位置スコアＡにマッ
チング度ｓ(j) を掛け合わせる。Ｐ１０８Ｆ５’を終え
ると、Ｐ１０８Ｆ６’に進む。

【０２０８】Ｐ１０８Ｆ６’では、ｊに１を加算する。
Ｐ１０８Ｆ６’を終えると、Ｐ１０８Ｆ７’に進む。

【０２０９】Ｐ１０８Ｆ７’では、ｊ＜ｌｎ（両唇音の
個数）を満たしていればＰ１０８Ｆ２’に戻り、それ以
外はＰ１０８Ｆ’の処理を終了し、位置スコアＡを出力
してＰ１０８Ｇに進む。以上がＰ１０８Ｆ’の説明であ
る。

【０２１０】（Ｄ−２−１−４）Ｐ１０８Ｇ〜Ｐ１０８
Ｐの処理 次のＰ１０８Ｇでは、位置スコアＡが閾値ＬＡより大き
いかを調べる。ここで大きければＰ１０８Ｈ’に進み、
小さければＰ１０８Ｏで口形音節マッチングスコアＳＣ
(i) の値を０にしてからＰ１０８Ｋに進む。

【０２１１】Ｐ１０８Ｈ’では、ｗｏｒｄ(i) 内の各両
唇音について、その前後の口形と候補単語の両唇音の前
後の母音を発声している場合のモデルロ形との類似度を
調べ、前後母音スコアＢを算出する。なお、予め、複数
の口形情報から各母音（／ａ／，／ｉ／，／ｕ／，／ｅ
／，／ｏ／）毎に、発声時の唇の縦と横の大きさの平均
値と、分散値とを求めておく。

【０２１２】まずここで、Ｐ１０８Ｈ’の処理で用いる
各種変数の定義をしておく。母音ｖ（＝／ａ／，／ｉ
／，／ｕ／，／ｅ／，／ｏ／）を発声している場合の口
形の平均値と分散値を、それぞれ次のように定義する。

【０２１３】すなわち、母音ｖにおける唇の縦およぴ横
の長さの平均値をＨμ(v) ，Ｗμ(v) とし、母音ｖにお
ける唇の縦および横の長さの分散の平方根をＨσ(v)，
Ｗσ(v)とする。

【０２１４】また、口形動作情報から得られた第ｊ番目
の両唇音の前後の口形を、それぞれ次のように定義す
る。

【０２１５】すなわち、両唇音の一つ前の極点の縦およ
ぴ横の長さをsｈ０(j) ，sｗ０(j)とし、両唇音の一つ
後の極点の縦およぴ横の長さをｓｈ１(j) ，ｓｗ１(j)
とする。

【０２１６】前後母音スコアＢを算出するステップは、
検出されたｌｎ個の各両唇音について、前母音と後母音
の類似度（スコア）を求め、前母音と後母音のスコアを
加重加算させた値より両唇音の前後母音のマッチング程
度を調べる。

【０２１７】続いて、第ｊ番目の両唇音についての前後
母音スコアＢ(j) を求める方法を述べる。まず、第ｊ番
目の両唇音の前にある母音ｖ０に対する類似度Ｂ０(j)
を、次の(11)式で求める。

【０２１８】

【数１０】 同様に、第ｊ番目の両唇音の後にある母音ｖ１に対する
類似度Ｂ１(j) を、次の(12)式で求める。

【０２１９】

【数１１】 そして、ｗｏｒｄ(i) に対する第０番目の両唇音から第
ｌｎ−１番目の両唇音までの前後母音スコアＢは、次の
(13)式となる。

【０２２０】

【数１２】 以上が前後母音スコアＢの算出方法である。なお、βは
例えば 0.5等の任意の定数である。Ｐ１０８Ｈ’を終え
ると、Ｐ１０８Ｉに進む。

【０２２１】Ｐ１０８Ｉでは、前後母音スコアＢが閾値
ＬＢより大きいかを調べる。ここで閾値ＬＢより大きい
場合はＰ１０８Ｊに進み、小さい場合はＰ１０８Ｐで口
形音節マッチングスコアＳＣ(i) の値を０にしてからＰ
１０８Ｋに進む。。

【０２２２】Ｐ１０８Ｊでは、Ｐ１０８Ｆ’で得られた
位置スコアＡと、Ｐ１０８Ｈ’で得られた前後母音スコ
アＢとで最終的な候補単語ｗｏｒｄ(i) に対する口形音
節マッチングスコアＳＣ(i) を算出する。この単語に対
する口形音節マッチングスコアＳＣ(i) の算出式は、次
の(14)式となる。

【０２２３】 ＳＣ(i) ＝αＡ＋（１−α）Ｂ ……(14) ただし、０≦α≦１であり、αは任意の定数である。Ｐ
１０８Ｊを終えると、Ｐ１０８Ｋに進む。

【０２２４】Ｐ１０８Ｋでは、ｉに１を加算する。Ｐ１
０８Ｋを終えると、Ｐ１０８Ｌに進む。

【０２２５】Ｐ１０８Ｌでは、ｉが候補単語数を越えて
いないかを調べる。まだマッチングを行なっていない候
補単語があれば、Ｐ１０８Ｂに戻り、次の候補単語との
マッチング処理を行なう。もし全ての候補単語とのマッ
チング処理を終了していればＰ１０８’の処理は終りで
あり、次のＰ１０９に進む。

【０２２６】なお、これ以降の処理は、第１の実施形態
の場合と同様である。

【０２２７】（Ｄ−３）第４実施形態の効果 以上のように、第４の実施形態によれば、音声認識で参
照する候補単語を予め口形情報で絞り込んでから尤度計
算を実行するので、第１の実施形態の場合と同様、尤度
計算の回数の低減と信頼性の向上を実現することができ
る。

【０２２８】また、発話速度が一定であるという仮定が
成り立つ環境下では、第４の実施形態の方が高い精度で
両唇音の前後に位置する母音の位置を決定できるので、
第１の実施形態よりも高い認識精度が得られる。

【０２２９】（Ｅ）第５の実施形態 次に、本発明による音声認識装置の第５の実施形態を図
面を参照しながら説明する。

【０２３０】図２５は、第５の実施形態に係る音声認識
装置５００の機能ブロック図である。なお、図２５で
は、図１３との同一、対応部分に同一、対応符号を付し
て示している。図２５から分かるように、第５の実施形
態は、第１の実施形態に対する第２の実施形態と同じ関
係にある実施形態である。

【０２３１】すなわち、第４の実施形態では、口形情報
から単語辞書に登録されている候補単語の絞り込みを行
なった後、音素モデルと入力音声の尤度計算を実行して
いたが、第５の実施形態では、単語辞書に登録されてい
る候補単語の音素モデルと入力音声との尤度計算を行な
った後、その中から尤度の高いものを複数絞り込み、そ
の絞り込まれた単語の音節と口形情報から得られた音節
情報とのマッチング処理を行う。

【０２３２】このことからも分かるように、音声認識装
置５００の音声認識処理手順は、第２の実施形態で説明
した図１４と同じである。

【０２３３】ただし、口形特徴情報から特定の音節部分
を検出し口形から得られた音節と選ばれた単語の音節情
報との間でマッチングをとるＰ２０４の処理において、
両唇音の前後の母音位置の決定する際、第４の実施形態
で説明した方法を用いるようにする。

【０２３４】すなわち、発話速度が一定であるという仮
定の下、両唇音からの時間的な距離がある範囲内であ
り、かつ唇の開き具合が閾値以上であるような音を両唇
音の前後にある母音の位置と決定する。

【０２３５】以上のように、この第５の実施形態のよう
に構成しても、従来の音声認識装置に比して認識精度の
高い音声認識装置を実現することができる。しかも、発
話速度が一定であるという仮定が成り立つ環境下では、
第５の実施形態の方が高い精度で両唇音の前後に位置す
る母音の位置を決定できるので、第２の実施形態よりも
高い認識精度を得ることが可能である。

【０２３６】（Ｆ）第６の実施形態 次に、本発明による音声認識装置の第６の実施形態を図
面を参照しながら説明する。

【０２３７】図２６は、第６の実施形態に係る音声認識
装置５００の機能ブロック図である。なお、図２６で
は、図１５との同一、対応部分に同一、対応符号を付し
て示している。図２６から分かるように、第６の実施形
態は、第１及び第２の実施形態に対する第３の実施形態
と同じ関係にある実施形態である。

【０２３８】すなわち、第６の実施形態は、前述した第
４の実施形態と、第５の実施形態とを組み合わせたもの
であり、(1) 口形情報から単語辞書に登録されている候
補単語の絞り込み処理と、(2) 絞り込まれた候補単語の
音素モデルと入力音声の尤度を計算し、特に尤度の高か
った単語を複数選ぶ処理と、(3) (2) で選ばれた単語に
対し、その尤度と(1) で求めた口形音節マッチングスコ
アから最終的な認識単語を出力する処理の３段階からな
るものである。

【０２３９】このことからも分かるように、音声認識装
置６００の音声認識処理手順は、第３の実施形態で説明
した図１６と同じである。

【０２４０】ただし、図１６のフローチャートのうち、
口形特徴情報から特定の音節部分を検出し口形から得ら
れた音節と単語辞書１０４に記憶されている音節情報と
の間でマッチングをとるＰ１０８の処理と、口形音節マ
ッチングスコアと音素モデルの尤度から総合的なマッチ
ングスコアを算出するＰ３０２の処理とにおいて、両唇
音の前後の母音位置の決定する際、第４の実施形態で説
明した手法を用いるようにする。

【０２４１】すなわち、発話速度が一定であるという仮
定の下、両唇音からの時間的な距離がある範囲内であ
り、かつ唇の開き具合が閾値以上であるような音を両唇
音の前後にある母音の位置と決定する。

【０２４２】このようにしても、従来の音声認識装置に
比して認識精度の高い音声認識装置を実現することがで
きる。しかも、発話速度が一定であるという仮定が成り
立つ環境下では、第６の実施形態の方が高い精度で両唇
音の前後に位置する母音の位置を決定できるので、第３
の実施形態よりも高い認識精度を得ることが可能であ
る。

【０２４３】（Ｇ）第７の実施形態 次に、本発明による音声認識装置の第７の実施形態を図
面を参照しながら説明する。

【０２４４】この実施形態は、第４〜第６の実施形態に
おいてマッチング精度が低下したときの補完手法ともい
うべきものである。すなわち、第４〜第６の実施形態に
おいては、口形音節マッチング部１０３内で両唇音の前
後にある母音のマッチング処理（Ｐ１０８Ｈ’）する
際、口形動作情報内の口の縦横の大きさと、予め求めて
ある各母音（／ａ／、／ｉ／，／ｕ／，／ｅ／，／ｏ
／）毎の発声時の唇の縦と横の長さの平均値と分散値
と、口の縦横の長さの相関係数から両唇音の前後の音を
決定した。

【０２４５】この方法は、各母音毎のとのマッチング精
度が高い反面、通常より発話時の声が小さく口の開きが
小さい場合や、逆に、通常より発話時の声が大きく口の
開きが大きい場合、うまくマッチングできないおそれが
ある。

【０２４６】そこで、第７の実施形態に係る音声認識装
置７００では、単に両唇音の直前母音を発声した時の口
の開きと両唇音の直後母音を発声した時の口の開きの大
きさを比較し、どちらが大きいかだけに基づいてマッチ
ングを行なうようにする。

【０２４７】なお、第７の実施形態の構成は、第４〜第
６の実施形態の各構成と基本的に同じであるので、ここ
では省略する。異なる点は、口形音節マッチング部１０
３（１０３’）内の処理のうち、両唇音前後の母音マッ
チング処理（Ｐ１０８Ｈ（１０８Ｈ’））以降である。

【０２４８】（Ｇ−１）第７の実施形態の動作 図２７に、第７の実施形態における口形音節マッチング
部１０３のフローチャートを示す。なお、図２７におい
て、Ｐ１０８Ａ’〜Ｐ１０８Ｇまでの処理については第
４〜第６の実施形態の場合と同様であるので説明を省略
する。従って、Ｐ１０８Ｇで肯定結果が得られた場合に
実行されるＰ１０８Ｑ以降について説明する。

【０２４９】（Ｇ−１−１）Ｐ１０８Ｑの処理 Ｐ１０８Ｑでは、参照単語中の第ｉ番目の両唇音につい
て、両唇音の直前母音を発声したときの口の開きと、両
唇音の直後母音を発声した時の口の開きの大きさを比較
し、どちらが大きいかのマッチングを行なう。

【０２５０】ここで、Ｐ１０８Ｑの処理で用いる各種変
数の定義をする。

【０２５１】すなわち、参照単語ｗｏｒｄ(i) 中の第ｊ
番目の両唇音の直前の母音をｖｔとし、直後の母音をｖ
ｃとする。また、ＶｔとＶｃの縦およぴ横の大小関係を
ｖｃｈ及びｖｃｗとする。さらに、口形動作情報から得
られた第ｊ番目の両唇音の前後の口形については、両唇
音の直前の縦およぴ横の大きさを、それぞれｈ０(j)お
よびｗ０(j) とし、両唇音の直後の縦およぴ横の大きさ
を、ｈ１(j) およびｗ１(j) とする。

【０２５２】この定義の下、Ｐ１０８Ｑの具体的な処理
手順を図２８に示す。

【０２５３】まず、Ｐ１０８Ｑ１で、ｊを０に初期化す
る。

【０２５４】次に、Ｐｌ０８Ｑ２で、参照単語中にある
第ｊ番目の両唇音の直前の母音ｖｔと直後の母音ｖｃの
縦方向の大小関係ｖｃｈ（＋，−，×の３種類）を図２
９に示す図表（ａ）から検索する。ここで、'＋'は、前
の母音の方が大きいことを意味する。また、'−'は、後
の母音の方が大きいことを意味する。そして、'×'は、
前と後とどちらが大きいかは分からないことを意味す
る。

【０２５５】例えば、前母音ｖｔが／ａ／で、後母音ｖ
ｅが／ｏ／であれば、縦方向の大小関係ｖｃｈは'＋'と
なる。大小関係を表から検索したら、Ｐ１０８Ｑ３に進
む。Ｐ１０８Ｑ３では、縦方向の大小関係ｖｃｈが'×'
であるか否かを判定し、縦方向の大小関係ｖｃｈが'×'
であればＰ１０８Ｑ５に進む。これに対して、'×'でな
ければ、Ｐ１０８Ｑ４に進む。

【０２５６】Ｐｌ０８Ｑ４では、以下の２つの条件(1)
及び(2) のうちいづれかが満たされるかを調べる。

【０２５７】(1) ｈ０(i) −ｈ１(i) の符号が＋で、ｖ
ｃｈが'＋' (2) ｈ０(i) −ｈ１(i) の符号が−で、ｖｃｈが'−' もし、上記の条件を満たせば、Ｐ１０８Ｑ５に進む。上
記の条件を満たさない場合はＰ１０８Ｐに進む。

【０２５８】さて、Ｐ１０８Ｑ４からＰ１０８Ｑ５に進
んだ場合、Ｐ１０８Ｑ３では、参照単語中の第ｉ番目の
両唇音の直前の母音ｖｔと、直後の母音ｖｅの横方向の
大小関係ｖｃｗを、図２９の図表（ｂ）から検索する。

【０２５９】例えば、両唇音の直前の母音ｖｔが／ａ／
で、直後の母音ｖｅが／ｏ／であれは、ｖｃｗは'＋'で
ある。検索したら、Ｐ１０８Ｑ６に進む。

【０２６０】Ｐ１０８Ｑ６では、もし、ｖｃｗが'×'で
あれば、Ｐ１０８Ｑ７に進み、それ以外は、Ｐ１０８Ｑ
８に進む。

【０２６１】Ｐ１０８Ｑ７では、以下の２つの条件(1)
及び(2) のうちいづれかが満たされるかを調べる。

【０２６２】(1) ｗ０(i) −ｗ１(i) の符号が＋で、ｖ
ｃｗが'＋' (2) ｗ０(i) −ｗ１(i) の符号が−で、ｖｃｗが'−' もし、上記条件を満たせば、Ｐ１０８Ｑ８に進む。上記
の条件を満たさない場合は、Ｐ１０８Ｐに進む。

【０２６３】Ｐ１０８Ｑ７からＰ１０８Ｑ８に進んだ場
合、Ｐ１０８Ｑ８で、ｊに１が加算される。

【０２６４】次にＰ１０８Ｑ９で、ｊがｗｏｒｄ(i) の
両唇音数ｌｎを越えているかを調べ、ｊ＜ｌｎならＰ１
０８Ｒに進み、それ以外はＰ１０８Ｑ２に戻る。以上が
Ｐ１０８Ｑで行われる処理の説明である。

【０２６５】（Ｇ−１−１）Ｐ１０８Ｋ、Ｐ１０８Ｌ、
Ｐ１０８Ｐ、Ｐ１０８Ｒの処理 続いて、Ｐｌ０８Ｑ以後の処理を説明する。

【０２６６】Ｐ１０８ＱからＰ１０８Ｒに進んだ場合、
候補単語ｗｏｒｄ(i) のマッチングスコアＳＣ(i) の値
を０にしてＰ１０８Ｋに進む。

【０２６７】一方、Ｐ１０８ＱからＰｌ０８Ｒに進んだ
場合、マッチングスコアＳＣ(i) の候補単語ｗｏｒｄ
(i) に位置スコアＡを代入する。以後の処理は第４〜６
の実施形態の場合と同じである。

【０２６８】（Ｇ−２）第７の実施形態の効果 以上のように、第７の実施形態によれば、発話時の口の
開きが通常より全体的に大きい場合や小さい場合におけ
る音声認識のように、前後母音のマッチング精度が十分
得られないような環境下では、両唇音の前後の母音の口
形の大小関係の一致具合を考慮し、当該大小関係が一致
している場合には、両唇音の位置マッチングにより得ら
れた位置スコアを候補単語ｗｏｒｄ(i) についての口形
音節マッチングスコアＳＣ(i) として用いるようにした
ことにより、その分、候補単語の絞り込み精度を向上さ
せることができる。

【０２６９】（Ｈ）他の実施形態 (H-1) なお、上述の第１〜第７の実施形態においては、
音声認識の対象を単語とする場合について述べたが、本
発明はこれに限らず、音声認識の対象を文章とする場合
にも適用し得る。

【０２７０】(H-2) また、上述の第１〜第７の実施形態
においては、口形音節マッチングの際、両唇音の位置
と、その前後に位置する母音のそれぞれについてマッチ
ング処理を行なったが、いずれか一方の母音についてマ
ッチング処理を行うようにしても良い。

【０２７１】(H-3) さらに、第１〜第７の実施形態にお
いては、口形音節マッチングにおいて、口形特徴情報か
ら両唇音を検出したが、他にも英語の'ｖ’，'ｆ’のよ
うに発声時の口形が一定の音節があればこれを用いても
良い。更に、同時に複数の音節を用いても良い。

【０２７２】(H-4) さらにまた、第１〜第７の実施形態
においては、口形特徴抽出部１０２Ａにおける唇領域の
抽出の方法として、画像フレーム中の色成分を２値化す
る方法を採用したが、これに限定するものではない。例
えば、前フレームとの動きベクトルなどから唇特徴を抽
出しても良い。

【０２７３】(H-5) また、第２、第３、第５及び第６の
実施形態においては、音声認識部２０２で尤度の高い単
語を複数個選び、当該選択された単語を出力する場合に
ついて述べたが、全ての単語を尤度と共に出力するよう
にしても良い。

【０２７４】(H-6) さらに、第１〜第７の実施形態にお
いては、口形音節マッチングの際、口の縦と横の２つの
大きさを用いる場合について述べたが、口の縦又は横だ
けを用いるようにしても良い。

【０２７５】(H-7) また、第１〜第７の実施形態におい
ては、口形音節マッチング部１０３において、候補単語
の両唇音の位置を音節位置から求めたが、音声認識装置
１０８（２０２）から音節の位置が分かれば、これを用
いても良い。

【０２７６】(H-8) さらに、第７の実施形態において
は、両唇音を挟む前後母音の口の大小関係を表す図表と
して図２９を用いたが、本発明はこれに限らず、他の関
係表を用いても良い。

【０２７７】

【発明の効果】上述のように、本発明によれば、尤度の
算出に先立ち、候補単語を、話者の口許を撮像した撮像
画像から求めた発話区間中の口形情報に基づいて絞り込
み、当該絞り込まれた候補単語について尤度を算出する
ようにしたことにより、尤度の算出にかかる回数を減ら
すことができ、従来に比して、計算機にかかる負荷を小
さくできる。また、話者が実際に発話したときの口の形
を情報に使用するため、高い精度を実現できる。

【０２７８】また、本発明によれば、入力音声と単語辞
書に登録されている単語について求めた尤度が高い複数
の候補単語について、話者の口許を撮像した撮像画像か
ら求めた発話区間中の口形情報との類似度を調べ、複数
の候補単語のうち、類似度と尤度との総合的な類似度が
最も高いものを、入力音声についての認識結果とするこ
とにより、従来に比して、背景雑音が大きい環境下での
音声認識精度を高めることができる。

【０２７９】さらに、本発明によれば、話者の口許を撮
像した撮像画像から求めた発話区間中の口形情報に基づ
いて、入力音声と候補単語との尤度の算出に用いる候補
単語を単語辞書に登録されている単語の中から複数絞り
込んだ後、さらに、当該絞り込まれた候補単語について
入力音声と高い尤度が得られた候補単語を複数選択し、
当該選択された候補単語と口形情報との類似度と上記尤
度との総合的な類似度が最も高いものを、入力音声につ
いての認識結果とすることにより、処理に要する負荷を
低減することができる。また、尤度の計算の際に認識結
果を一つに絞り込むのではなく、複数の候補への絞り込
みにとどめ、再び、口形情報に基づく類似度を含めた総
合的な類似度で最終的な認識結果を絞り込むので、精度
をさらに高めることができる。

【図面の簡単な説明】

【図１】第１の実施形態の全体構成を表すブロック図で
ある。

【図２】音声認識部の構成を示すブロック図である。

【図３】音声認識装置の利用形態を示すブロック図であ
る。

【図４】口形認識部の構成を示すブロック図である。

【図５】第１の実施形態による音声認識手順を示すフロ
ーチャートである。

【図６】Ｐ１０４の詳細な処理内容を示すフローチャー
トである。

【図７】Ｐ１０４Ｂの詳細な処理内容を示すフローチャ
ートである。

【図８】Ｐ１０７の詳細な処理内容を示すフローチャー
トである。

【図９】Ｐ１０８の詳細な処理内容を示すフローチャー
トである。

【図１０】Ｐ１０８Ａの詳細な処理内容を示すフローチ
ャートである。

【図１１】Ｐ１０８Ｆの詳細な処理内容を示すフローチ
ャートである。

【図１２】マッチング度の算出の際使用する非線形関数
を示す説明図である。

【図１３】第２の実施形態の全体構成を表すブロック図
である。

【図１４】第２の実施形態による音声認識手順を示すフ
ローチャートである。

【図１５】第３の実施形態の全体構成を表すブロック図
である。

【図１６】第３の実施形態による音声認識手順を示すフ
ローチャートである。

【図１７】第４の実施形態の全体構成を表すブロック図
である。

【図１８】第４の実施形態による音声認識手順を示すフ
ローチャートである。

【図１９】Ｐ１０８’の詳細な処理内容を示すフローチ
ャートである。

【図２０】Ｐ１０８Ａ’の詳細な処理内容を示すフロー
チャートである。

【図２１】両唇音の直前の母音位置検出手順を示すフロ
ーチャートである。

【図２２】両唇音の終端位置検出手順を示すフローチャ
ートである。

【図２３】両唇音の直後の母音位置検出手順を示すフロ
ーチャートである。

【図２４】Ｐ１０８Ｆ’の詳細な処理内容を示すフロー
チャートである。

【図２５】第５の実施形態の全体構成を表すブロック図
である。

【図２６】第６の実施形態の全体構成を表すブロック図
である。

【図２７】第７の実施形態におけるＰ１０８の詳細な処
理内容を示すフローチャートである。

【図２８】Ｐ１０８Ｑの詳細な処理内容を示すフローチ
ャートである。

【図２９】両唇音の直後の口形大小マッチング表の説明
図である。

【符号の説明】

１……ビデオカメラ、２……マイクロフォン、１００、
２００、３００、４００、５００、６００、７００……
音声認識装置、１０１……画像フレームバッファ、１０
２……口形認識部、１０２Ａ……口形特徴抽出部、１０
２Ｂ……口形特徴記憶部、１０２Ｃ……口形動作抽出
部、１０３……口形音節マッチング部、１０４……単語
辞書、１０５……単語候補絞り込部、１０６……音声フ
レーム分割部、１０７……有音検出部、１０８……音声
認識部、１０８Ａ……音素特徴量抽出部、１０８Ｂ……
音素特徴記憶部、１０８Ｃ……尤度算出部、２０２……
音声認識部、２０３……総合マッチングスコア算出部。

Claims (13)

【特許請求の範囲】
1. 【請求項１】 入力音声と候補単語との尤度を求め、上
   記入力音声について最も大きい尤度が得られた候補単語
   を、上記入力音声についての認識結果とする音声認識方
   法において、 上記尤度の算出に先立ち、上記候補単語を、話者の口許
   を撮像した撮像画像から求めた発話区間中の口形情報に
   基づいて絞り込むことを特徴とする音声認識方法。
2. 【請求項２】 入力音声と単語辞書に登録されている単
   語について求めた尤度が高い複数の候補単語について、
   話者の口許を撮像した撮像画像から求めた発話区間中の
   口形情報との類似度を調べ、上記複数の候補単語のう
   ち、上記類似度と上記尤度との総合的な類似度が最も高
   いものを、入力音声についての認識結果とすることを特
   徴とする音声認識方法。
3. 【請求項３】 話者の口許を撮像した撮像画像から求め
   た発話区間中の口形情報に基づいて、入力音声と候補単
   語との尤度の算出に用いる候補単語を単語辞書に登録さ
   れている単語の中から複数絞り込んだ後、さらに、当該
   絞り込まれた候補単語について入力音声と高い尤度が得
   られた候補単語を複数選択し、当該選択された候補単語
   と上記口形情報との類似度と上記尤度との総合的な類似
   度が最も高いものを、入力音声についての認識結果とす
   ることを特徴とする音声認識方法。
4. 【請求項４】 発話時の口形に特徴がある特定の音節の
   出現情報に基づいて候補単語を絞り込むことを特徴とす
   る請求項１、請求項２又は請求項３に記載の音声認識方
   法。
5. 【請求項５】 上記特定の音節が検出された位置の前後
   における口形状態から候補単語を絞り込むことを特等と
   する請求項４に記載の音声認識方法。
6. 【請求項６】 話者の発話速度が一定であるという条件
   で、上記特定の音節が検出された位置の前後における口
   形状態を検出することを特徴とする請求項５に記載の音
   声認識方法。
7. 【請求項７】 話者の口許を撮像した撮像画像から発話
   区間中の口の動きや口の開き具合を検出し、これらを収
   めた口形動作情報を出力する口形認識部と、 上記口形動作情報と単語辞書に登録されている単語につ
   いて、口形動作が単語内の音節に対応しているかの類似
   度を調べる口形音節マッチング部と、 上記口形音節マッチング部から得た類似度に基づいて、
   上記単語辞書に登録されている単語の絞り込みを行う単
   語候補絞り込部と、 入力音声と絞り込まれた候補単語との尤度を求め、上記
   入力音声について最も高い尤度が得られた候補単語を、
   上記入力音声についての認識結果とする音声認識部とを
   備えることを特徴とする音声認識装置。
8. 【請求項８】 入力音声と単語辞書に登録されている単
   語の音素モデルとの尤度を調べ、高い尤度が得られた複
   数又は全ての単語を、候補単語としてその尤度と共に出
   力する音声認識部と、 話者の口許を撮像した撮像画像から発話区間中の口の動
   きや口の開き具合を検出し、これらを収めた口形動作情
   報を出力する口形認識部と、 上記口形動作情報と、上記音声認識部で選ばれた候補単
   語について、口形動作が単語内の音節に対応しているか
   否かの類似度を調べる口形音節マッチング部と、 上記音声認識部で選ばれた候補単語について、上記音声
   認識部から得られた尤度と上記口形音節マッチング部か
   ら得た類似度から総合的な類似度を調べ、最も高い総合
   類似度を持つ候補単語を、入力音声についての認識結果
   とする総合類似度算出部とを備えることを特徴とする音
   声認識装置。
9. 【請求項９】 話者の口許を撮像した撮像画像から発話
   区間中の口の動きや口の開き具合を検出し、これらを収
   めた口形動作情報を出力する口形認識部と、 上記口形動作情報と単語辞書に登録されている単語につ
   いて、口形動作が単語内の音節に対応しているか否かの
   類似度を調べる口形音節マッチング部と、 口形音節マッチング部から得た類似度から単語辞書に登
   録されている単語を絞り込む単語候補絞り込部と、 入力音声と上記単語候補絞り込部で絞り込まれた候補単
   語について音素モデルの尤度を調べ、高い尤度が得られ
   た複数又は全ての候補単語を、その尤度と共に出力する
   音声認識部と、 上記音声認識部で選ばれた候補単語について、上記音声
   認識部から得られた尤度と上記口形音節マッチング部か
   ら得た類似度から総合的な類似度を調べ、最も高い総合
   類似度を持つ候補単語を、入力音声についての認識結果
   とする総合類似度算出部とを備えることを特徴とする音
   声認識装置。
10. 【請求項１０】 上記口形音節マッチング部は、 上記口形動作情報から特定の音節の個数、位置及び前後
    の口形状態を検出し、 その検出された特定音節の個数と入力された候補単語内
    にある特定音節の個数とを比較する音節個数比較手段、 上記検出された特定音節と、入力された候補単語内にあ
    る特定音節の位置を比較する音節位置比較手段、 上記検出された特定音節と、入力された候補単語内にあ
    る特定音節の前後の口形状態を比較する音節前後比較手
    段の３つ全て又はその一部を備え、これらの比較結果よ
    り上記口形情報と上記候補単語とのマッチング程度を求
    めることを特徴とする請求項７、請求項８又は請求項９
    に記載の音声認識装置。
11. 【請求項１１】 上記音節位置比較手段は、それぞれの
    特定音節の始端と終端の位置について比較することを特
    徴とする請求項１０に記載の音声認識装置。
12. 【請求項１２】 上記音節前後比較手段は、それぞれの
    特定音節の前及び後の口形状態の大きさについて各々類
    似度を求めることを特徴とする請求項１０に記載の音声
    認識装置。
13. 【請求項１３】 上記音節前後比較手段は、それぞれの
    特定音節の前及び後口形状態のどちらが大きいかの大小
    関係について各々比較することを特徴とする請求項１０
    に記載の音声認識装置。