JPH11184494A

JPH11184494A - 音声認識方法及び装置

Info

Publication number: JPH11184494A
Application number: JP9355273A
Authority: JP
Inventors: Masaaki Date; 正晃伊達
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1997-12-24
Filing date: 1997-12-24
Publication date: 1999-07-09

Abstract

(57)【要約】【課題】処理量を増加させることなく、リジェクト精
度を向上させる。【解決手段】隠れマルコフモデルネットワークでなる
音響モデルを利用して音声認識を行う音声認識方法及び
装置に関する。音響モデルを構成する隠れマルコフモデ
ルネットワークの任意の状態間の状態遷移の起こりやす
さを表す状態遷移制約情報をあらかじめ作成して格納し
ておく。認識処理により得られた局所ゆう度と格納され
ている状態遷移制約情報との加重和を、入力音声データ
の各フレーム毎に、隠れマルコフモデルネットワークの
各状態に対して算出し、これを全フレームにわたって累
積加算した値の最大値を参照ゆう度として算出し、認識
処理により得られた認識ゆう度と、参照ゆう度の比較に
より、入力音声データの棄却判定を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声認識方法及び
音声認識装置に関し、特に、ＨＭＭ（隠れマルコフモデ
ル；ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ）ネット
ワークを音声認識に利用しているものに適用して好適な
ものである。

【０００２】

【従来の技術】文献１：渡辺他，”音節認識を用いたゆ
う度補正による未知発話のリジェクション”，電子情報
通信学会論文誌，Ｖｏ１．Ｊ７５−Ｄ−II，Ｎｏ．１２
（１９９２）文献２：大河内，”ＨｉｄｄｅｎＭａｒｋｏｖＭｏ
ｄｅ１に基づいた音声認識”，日本音響学会誌４２巻１
２号（１９８６）音声認識装置では高い認識精度とリアルタイム処理を実
現するため、あらかじめ装置が受理できる単語や文法規
則等を規定することによって、認識対象を制約して認識
処理を行う。しかし、利用者が実際に装置を使用する場
合は、認識対象外の発話や言い誤り、言い直しといった
ことは避けられない。そこで、ある発話に対する認識結
果の信頼性が低い場合に発話を棄却するリジェクト機能
が必要になる。リジェクト機能を付加するための方法と
して、従来、上記文献１に開示される方法がある。

【０００３】この方法では、音声を表現するモデル（一
般に、音響モデルと呼ばれる）として、音素や音節など
のサブワード単位のＨＭＭを用いることを前提としてい
る。ＨＭＭを用いた音声認識方法の詳細については、上
記文献２に開示されている。サブワードモデルを連結す
ることによって、認識対象として規定された単語や文な
どの発話内容の仮説に対するモデルを構成し、各仮説に
対するモデルが入力音声データを生成する確率（ゆう
度）を計算する。最大ゆう度を与えるモデルに対応する
仮説を認識結果とする。

【０００４】これにリジェクト機能を付加するために
は、以上のような認識対象を制約して行うゆう度計算
（認識処理）の他に、入力音声を任意の音素列あるいは
音節列として認識するためのゆう度計算を行う。それぞ
れのゆう度計算の結果得られた最大ゆう度の差を求め、
閾値判定により入力発話のリジェクト判定を行う。

【０００５】

【発明が解決しようとする課題】しかしながら、以上述
べた従来の音声認識方法及び装置におけるリジェクト方
法は、以下の問題がある。

【０００６】（ａ）音響モデルとして、トライフォンモ
デル等のコンテキスト依存音素（あるいは音節）モデル
を用いる場合、リジェクト機能を付加すると処理量が大
幅に増加する。

【０００７】（ｂ）認識対象外発話のリジェクト精度
が、まだ十分といえるレベルではない。

【０００８】（ｃ）入力音声を任意の音素列あるいは音
節列として認識するので、「うわっ」、「あれっ」、
「ひゃー」などの通常の言語発声とはやや異なる感情を
表現する発声に対して、十分なリジェクト精度を期待す
ることができない。

【０００９】（ｄ）入力発話の一部に不要語や未知語を
含む場合に、認識のための処理量の増加を抑えつつ、効
果的に不要語や未知語部分を検出し、それ以外の発話部
分を精度良く認識することが困難である。上記（ａ）と
同様に、音響モデルとしてコンテキスト依存音素（ある
いは音節）モデルを用いる場合は、特に処理量が大幅に
増加する。

【００１０】トライフォンモデル等のコンテキスト依存
音素モデルは、音素コンテキストに依存した異音を表現
でき、比較的高い認識精度が得られるため音響モデルと
して一般によく用いられる。しかし、上記（ａ）、
（ｂ）及び（ｃ）の問題のため、リジェクト機能を付加
することが困難であった。また、自然な発話に対する音
声認識装置の頑健性を向上させるには、入力発話中の不
要語や未知語に対処する必要があるが、認識に対する処
理量と精度において十分な性能を得ることは困難であっ
た。

【００１１】

【課題を解決するための手段】第１の本発明は、隠れマ
ルコフモデルネットワークでなる音響モデルを利用して
音声認識を行う音声認識方法であって、音響モデルを構
成する隠れマルコフモデルネットワークの任意の状態間
の状態遷移の起こりやすさを表す状態遷移制約情報をあ
らかじめ作成して格納しておき、認識処理により得られ
た局所ゆう度と格納されている状態遷移制約情報とに基
づいて、入力音声データの棄却判定に用いる参照ゆう度
を算出し、認識処理により得られた認識ゆう度と、上記
参照ゆう度の比較により、入力音声データの棄却判定を
行う音声認識方法において、あらかじめ作成して格納し
ておく状態遷移制約情報が、以下のステップａ１〜ステ
ップａ２で作成されたものであることを特徴とする。

【００１２】（ステップａ１）音響モデルを構成する隠
れマルコフモデルネットワークの全状態に対するクラス
タリングを行い、生成された状態クラスタにおける各状
態間の遷移接続に基づいて、状態クラスタ間の遷移の起
こりやすさを表わす尺度である状態クラスタ間の遷移確
率の初期値を算出する。

【００１３】（ステップａ２）状態クラスタ数と同数の
状態を有する、任意の状態間に遷移接続を有する隠れマ
ルコフモデルネットワークであるエルゴディック隠れマ
ルコフモデルネットワークを構成し、その状態遷移確率
パラメータに上記状態クラスタ間の遷移確率の初期値
を、また、出力確率分布パラメータに各状態クラスタを
代表する状態の出力確率分布をそれぞれ対応させ、この
ようにして作成したエルゴディック隠れマルコフモデル
ネットワークを、音声データを用いて学習することによ
って得られる状態遷移確率を、状態クラスタ間の遷移確
率の推定値とし、隠れマルコフモデルネットワークの各
状態がどの状態クラスタに属するかを示す情報を付加し
て状態遷移制約情報とする。

【００１４】第２の本発明は、隠れマルコフモデルネッ
トワークでなる音響モデルを利用して音声認識を行う音
声認識方法において、（１）音響モデルを構成する隠れ
マルコフモデルネットワークの任意の状態間の状態遷移
の起こりやすさを表す状態遷移制約情報をあらかじめ作
成して格納しておき、（２）認識処理により得られた局
所ゆう度と格納されている状態遷移制約情報との加重和
を、入力音声データの各フレーム毎に、隠れマルコフモ
デルネットワークの各状態に対して算出し、これを全フ
レームにわたって累積加算した値の最大値を上記参照ゆ
う度として算出し、（３）認識処理により得られた認識
ゆう度と、上記参照ゆう度の比較により、入力音声デー
タの棄却判定を行うことを特徴とする。

【００１５】第３の本発明は、隠れマルコフモデルネッ
トワークでなる音響モデルを利用して音声認識を行う音
声認識方法において、（１）音響モデルを構成する隠れ
マルコフモデルネットワークの任意の状態間の状態遷移
の起こりやすさを表す状態遷移制約情報をあらかじめ作
成して格納しておき、（２）認識処理により得られた局
所ゆう度及び部分仮説累積ゆう度と、上記状態遷移制約
情報とから、入力音声データ中の不要語あるいは未知語
を処理するために用いる不要語仮説累積ゆう度を算出
し、（３）この不要語仮説累積ゆう度を認識処理で用い
て、入力音声データ中の不要語あるいは未知語部分の検
出と、それ以外の部分の認識を行うことを特徴とする。

【００１６】第４の本発明は、隠れマルコフモデルネッ
トワークでなる音響モデルを利用して音声認識を行う音
声認識装置において、（１）あらかじめ作成された、音
響モデルを構成する隠れマルコフモデルネットワークの
任意の状態間の状態遷移の起こりやすさを表す状態遷移
制約情報を格納している状態遷移制約情報格納手段と、
（２）入力音声データに対する認識結果を算出する認識
処理手段と、（３）認識処理により得られた局所ゆう度
と格納されている状態遷移制約情報とに基づいて、参照
ゆう度を算出する参照ゆう度算出手段と、（４）認識処
理により得られた認識ゆう度と、上記参照ゆう度の比較
により、入力音声データの棄却判定を行うリジェクト判
定手段とを有し、（５）上記状態遷移制約情報格納手段
に格納されている状態遷移制約情報が、以下のステップ
ｃ１〜ステップｃ２で作成されたものであることを特徴
とする。

【００１７】（ステップｃ１）音響モデルを構成する隠
れマルコフモデルネットワークの全状態に対するクラス
タリングを行い、生成された状態クラスタにおける各状
態間の遷移接続に基づいて、状態クラスタ間の遷移の起
こりやすさを表わす尺度である状態クラスタ間の遷移確
率の初期値を算出する。

【００１８】（ステップｃ２）状態クラスタ数と同数の
状態を有する、任意の状態間に遷移接続を有する隠れマ
ルコフモデルネットワークであるエルゴディック隠れマ
ルコフモデルネットワークを構成し、その状態遷移確率
パラメータに上記状態クラスタ間の遷移確率の初期値
を、また、出力確率分布パラメータに各状態クラスタを
代表する状態の出力確率分布をそれぞれ対応させ、この
ようにして作成したエルゴディック隠れマルコフモデル
ネットワークを、音声データを用いて学習することによ
って得られる状態遷移確率を、状態クラスタ間の遷移確
率の推定値とし、隠れマルコフモデルネットワークの各
状態がどの状態クラスタに属するかを示す情報を付加し
て状態遷移制約情報とする。

【００１９】第５の本発明は、隠れマルコフモデルネッ
トワークでなる音響モデルを利用して音声認識を行う音
声認識装置において、（１）あらかじめ作成された、音
響モデルを構成する隠れマルコフモデルネットワークの
任意の状態間の状態遷移の起こりやすさを表す状態遷移
制約情報を格納している状態遷移制約情報格納手段と、
（２）入力音声データに対する認識結果を算出する認識
処理手段と、（３）認識処理により得られた局所ゆう度
と格納されている状態遷移制約情報との加重和を、入力
音声データの各フレーム毎に、隠れマルコフモデルネッ
トワークの各状態に対して算出し、これを全フレームに
わたって累積加算した値の最大値を上記参照ゆう度とし
て算出する参照ゆう度算出手段と、（４）認識処理によ
り得られた認識ゆう度と、上記参照ゆう度の比較によ
り、入力音声データの棄却判定を行うリジェクト判定手
段とを有することを特徴とする。

【００２０】第６の本発明は、隠れマルコフモデルネッ
トワークでなる音響モデルを利用して音声認識を行う音
声認識装置において、（１）あらかじめ作成された、音
響モデルを構成する隠れマルコフモデルネットワークの
任意の状態間の状態遷移の起こりやすさを表す状態遷移
制約情報を格納している状態遷移制約情報格納手段と、
（２）入力音声データに対する認識結果を算出すると共
に、その際、不要語仮説累積ゆう度を認識処理で用い
て、入力音声データ中の不要語あるいは未知語部分の検
出と、それ以外の部分の認識を行う認識処理手段と、
（３）認識処理により得られた局所ゆう度及び部分仮説
累積ゆう度と、上記状態遷移制約情報とから、入力音声
データ中の不要語あるいは未知語を処理するために用い
る不要語仮説累積ゆう度を算出する不要語処理手段とを
有することを特徴とする。

【００２１】

【発明の実施の形態】（Ａ）第１の実施形態以下、本発明による音声認識方法及び装置の第１の実施
形態を図面を参照しながら詳述する。

【００２２】（Ａ−１）第１の実施形態の全体構成及び
概略動作まず、この第１の実施形態の音声認識装置の全体構成を
その概略動作と共に説明する。

【００２３】ここで、図１は、この第１の実施形態の音
声認識装置の全体構成を示すブロック図である。

【００２４】図１において、第１の実施形態の音声認識
装置は、音声分析部１０、音響モデル（格納部）１１、
言語モデル（格納部）１２、認識処理部１３、参照ゆう
度算出部１４、参照テーブル（状態遷移制約情報格納手
段）１５及びリジェクト判定部１６からなっている。

【００２５】入力音声データＤ１０は、マイクロフォン
などから入力された音声信号（アナログ信号）をディジ
タル信号に変換した信号である。音声分析部１０におい
て、入力音声データＤ１０は音響特徴パラメータ時系列
Ｄ１１に変換され、認識処理部１３に入力される。認識
処理部１３では、音響モデル１１及び言語モデル１２を
用いて、入力音声データＤ１０に対する認識結果候補Ｄ
１２及び認識ゆう度（ゆう度は確からしさ）Ｄ１３を求
め、リジェクト判定部１６に出力する。また、参照ゆう
度算出部１４では、認識処理部１３で算出された局所ゆ
う度Ｄ１４と、参照テーブル１５に格納されている状態
遷移制約情報Ｄ１５とを用いて、参照ゆう度Ｄ１６を算
出する。リジェクト判定部１６では、認識ゆう度Ｄ１３
と参照ゆう度Ｄ１６を用いてリジェクト判定を行い、認
識結果（場合によってはリジェクトという認識結果）Ｄ
１７を出力する。

【００２６】次に、図１に示した音声認識装置を構成し
ている各部の機能及び動作について、詳細に説明する。

【００２７】（Ａ−２）音声分析部１０音声分析部１０は、ＬＰＣ（ＬｉｎｅａｒＰｒｅｄｉ
ｃｔｉｖｅＣｏｄｉｎｇ）分析等の分析手法を用い
て、入力音声データＤ１０を数ｍｓ〜数十ｍｓ程度の短
時間周期（以後、フレームと呼ぶ）毎に音響特徴パラメ
ータに変換する。ここで、音響特徴パラメータとは、音
声データのスペクトル包絡情報を表現するパラメータで
あり、例えば、ケプストラム（対数スペクトルを逆フー
リエ変換した量）やその時間変化量などである。フレー
ム単位に得られる音響特徴パラメータを音響特徴パラメ
ータ時系列Ｄ１１とする。

【００２８】（Ａ−３）音響モデル１１音響モデル１１は、音声を表現するモデル（ＨＭＭ）の
集合である。この第１の実施形態では、音響モデル１１
の言語的な単位として、音声の任意の構成要素（音素、
音節、単語、文節など）を採用することが可能である。
また、音素や音節などのサブワードを単位として採用し
た場合、コンテキスト独立／依存のどちらのモデルでも
使用することができる。つまり、リジェクト機能を付加
するために使用する音響モデルが制限されることはな
い。

【００２９】以下の第１の実施形態の説明においては、
例として、トライフォンモデルを使用する場合について
説明する。トライフォンモデルは、コンテキスト依存音
素モデルで、各々の音素に対して、前後の音素コンテス
ト別に異なるモデルを用意するものである。

【００３０】（Ａ−４）言語モデル１２言語モデル１２は、音声認識装置が受理可能な単語や文
法規則（構文）等を規定して、認識対象を制約するモデ
ルである。例えば、図２に示すように、有限状態オート
マトンを用いて、受理可能な単語系列を構文ネットワー
クの形で記述したものである。

【００３１】（Ａ−５）認識処理部１３認識処理部１３は、音声が音声認識装置に入力される
（認識処理を開始する）以前に、音響モデル１１及び言
語モデル１２を用いて受理可能な発話内容の仮説を表現
するＨＭＭネットワークをあらかじめ構成しておく。

【００３２】ここで、ＨＭＭネットワークとは、単語の
音素表記や文法規則等の制約に従ってトライフォンモデ
ルを連結して作成する、文字通りＨＭＭのネットワーク
である。例えば、図２に示したような構文ネットワーク
において、単語の部分を、トライフォンモデルの連結に
よって作成した単語モデル（ＨＭＭ）に置き換えたもの
である。このようなネットワークを構成することによっ
て認識処理を効率化することができる。各々の発話内容
に仮説に対応するモデルは、ＨＭＭネットワークの一部
として表現される。

【００３３】認識処理部１３は、装置に発話が入力され
ると、ＨＭＭネットワークを用いて対応するモデルが音
響特徴パラメータ時系列Ｄ１１を生成する確率（ゆう
度）を計算する。認識処理部１３は、ＨＭＭネットワー
ク中で最大ゆう度を与える仮説を探索し、その仮説を認
識結果候補Ｄ１２とし、また、このときの最大ゆう度を
対数化した最大対数ゆう度を、認識ゆう度Ｄ１３とす
る。

【００３４】ここで、認識処理部１３は、各仮説に対す
るゆう度計算を、音響特徴パラメータ時系列Ｄ１１のフ
レームに同期して並列に行う。認識処理部１３は、各フ
レームについては、ＨＭＭネットワークの各状態に対す
る出力確率分布計算（当該フレームの音響特徴パラメー
タを出力する確率の計算）を行い、これを対数化して局
所ゆう度１４とする。

【００３５】認識処理部１３は、認識ゆう度Ｄ１３を、
局所ゆう度Ｄ１４とＨＭＭネットワークの状態遷移確率
を用いて、前述した文献２に開示されるビタビ（Ｖｉｔ
ｅｒｂｉ）アルゴリズム等の手段により算出する。

【００３６】（Ａ−６）参照テーブル１５参照テーブル１５は、参照ゆう度算出部１４で用いる状
態遷移制約情報Ｄ１５を格納しているテーブルである。
状態遷移制約情報Ｄ１５は、あらかじめ音響モデル１１
を用いて作成される。図示しない参照テーブル作成部が
行う状態遷移制約情報Ｄ１５の作成方法は、以下の通り
である。

【００３７】［ｓｔｅｐ１］参照テーブル作成部は、ま
ず、音響モデル１１を構成する全てのトライフォンモデ
ルを用いて、ＨＭＭネットワークの状態に対するクラス
タリングを行う。

【００３８】クラスタリングにより生成される各クラス
タを、以後、状態クラスタと呼ぶ。クラスタリングにお
ける距離尺度は、各状態を表現するパラメータを用いて
定義する。例えば、各状態の出力確率分布が多次元正規
分布で表されている場合には、多次元正規分布の平均ベ
クトル（あるいは、さらに分散ベクトルを付加したベク
トル）を用いて、例えば、以下のように定義すればよ
い。

【００３９】２つの平均ベクトル（あるいは、さらに分
散ベクトルを付加したベクトル）ｘ＝［ａ１，ａ２，…，ａｎ］ｙ＝［ｂ１，ｂ２，…，ｂｎ］に対する、距離尺度Ｄを、Ｄ＝（ａ１−ｂ１）²＋（ａ２−ｂ２）²＋…＋（ａｎ
−ｂｎ）² で定義する。

【００４０】クラスタリング方法には、ＬＢＧアルゴリ
ズム等の一般的なクラスタリングアルゴリズムを用いる
ことができるが、ここでは、より簡易な方法を、一例と
して以下に示す。

【００４１】Ｍ個のサンプル集合Ｘ＝｛ｘ１，ｘ２，・
・・，ｘＭ｝をクラスタリングする場合を考える。ま
た、閾値Ｔｈが与えられているとする。

【００４２】まず、任意に１個のサンプル、例えばｘ１
を取り出し、これをクラスタ中心ｚ１（＝ｘ１）とす
る。

【００４３】次に、他のサンプルｘｋ（ｋ＝２，…，
Ｍ）を取り出し、既に定められたクラスタ中心ｚ１と今
回取り出したサンプルｘｋとの距離Ｄ１ｋを計算する。
そして、Ｄ１ｋ≦Ｔｈであれば、サンプルｘｋはクラス
タ中心ｚ１を中心とするクラスタに属すると判定する。
一方、Ｄ１ｋ＞Ｔｈであれば、サンプルｘｋを新たなク
ラスタ中心ｚ２とする。

【００４４】また次に、残りのサンプルｘｋの１個を取
り出し、既に定められたクラスタ中心ｚ１，ｚ２との距
離Ｄ１ｋ，Ｄ２ｋを計算して、距離Ｄ１ｋ，Ｄ２ｋのい
ずれかが閾値Ｔｈより小さければ、今回取り出したサン
プルｘｋはそのクラスタに属するものとし、そうでなけ
れば、今回取り出したサンプルｘｋを新たなクラスタ中
心ｚ３とする。

【００４５】以上の操作を全てのサンプル｛ｘ１，ｘ
２，・・・，ｘＭ｝に対して行うことによって、クラス
タリングを終了する。ここで、閾値Ｔｈの値は、例えば
実験的に決定する。

【００４６】［ｓｔｅｐ２］図示しない参照テーブル作
成部は、次に、状態クラスタ間の遷移確率を算出する。
状態クラスタ間の遷移確率の算出は、例えば、以下のよ
うに行う。

【００４７】まず、状態クラスタ間の遷移確率を定義す
る。それぞれの状態クラスタに属する各状態は、トライ
フォンモデル上では他の状態に接続させている。例え
ば、図３に示すように、状態Ｓ₁は状態Ｓ₂に、状態Ｓ
₂は状態Ｓ₃にそれぞれ接続されている。また、トライ
フォンモデルの終端状態Ｓ₃は、次に続き得るトランフ
ォンモデルの始端状態Ｓ₄，Ｓ₅，Ｓ₆に接続されてい
る。一般に、あるトライフォンモデルに対して、次に続
き得るトランフォンモデルは複数存在するので、トライ
フォンモデルの終端状態は複数に接続されている。状態
の接続関係には向き（図３では矢印）があり、向きは一
方の状態から他方の状態への遷移方向を表している。こ
のときの遷移の起こりやすさとして、状態遷移確率が付
与されている。また、各状態には自己ループ遷移を表す
接続も存在する。このようなトランフォンモデル上での
状態の遷移接続を、状態クラスタに属する各状態に対し
て適用する。そうすると、任意の状態クラスタ間に、構
成要素の状態が作る遷移接続の束ができる。図４はこの
様子を示した例である。図４において、状態クラスタ１
に属する状態Ｓ₁は、状態クラスタ２に属する状態Ｓ₂
に接続されており、トランフォンモデルにおいて、状態
Ｓ₁から状態Ｓ₂への遷移接続（状態遷移確率ａ₁₂）が
存在することを意味する。図４では状態クラスタ１に属
する状態から、他の状態クラスタに属する状態への遷移
接続だけを示した（一部、状態クラスタ１の内部におけ
る遷移接続も示した）。状態クラスタ間で同一の遷移方
向を持つ遷移接続を束ねたものが”遷移接続の束”であ
る。

【００４８】この遷移接続の束を用いて状態クラスタ間
の遷移確率を、次の（１）式〜（３）式により定義す
る。

【００４９】

【数１】Ｐ_ij：状態クラスタｈから状態クラスタｉへの遷移確率Ｎ：状態クラスタの総数Ｍ：状態の総数ａ_uv：状態Ｓ_uから状態Ｓ_vへの状態遷移確率ａ_uu：状態Ｓ_uの自己ループ遷移確率ｒ_i：ともに状態クラスタｉに属する異なる状態間にお
ける遷移接続の個数（自己ループ遷移接続は対象外）ｚ_i：状態クラスタｉから他の状態クラスタへの”遷移
接続の束”の個数ｑ_u：ある状態クラスタに属する状態Ｓ_uから他の状態
クラスタに属する状態への遷移接続の個数上式において、ｆ_ij（ｉ≠ｊ）は、状態クラスタｉから
状態クラスタｊへの遷移接続の束に対する状態遷移確率
の総和を表している。ただし、遷移接続が存在しない状
態クラスタ間においてはｆ_ij＝０である。また、ｆ
_iiは、状態クラスタｉの内部における遷移接続に対する
状態遷移確率の総和を、状態クラスタｉから他の状態ク
ラスタへの”遷移接続の束”の個数で割った値を表して
いる。

【００５０】状態クラスタ間の遷移確率の初期値の算出
は、状態クラスタ間の遷移接続に基づいて算出するので
あれば、上記以外の式を用いて行っても構わない。

【００５１】［ｓｔｅｐ３］図示しない参照テーブル作
成部は、次に、状態クラスタ間の遷移確率の推定を行
う。状態クラスタ間の遷移確率の推定は、例えば、以下
のように行う。

【００５２】状態クラスタ数と同数の状態を有するエル
ゴディックＨＭＭ（任意の状態間に遷移接続を有するＨ
ＭＭ）を構成し、状態遷移確率パラメータには上記［ｓ
ｔｅｐ２］で算出した状態クラスタ間の遷移確率の初期
値を、出力確率分布パラメータには各状態クラスタのセ
ントロイド（クラスタ中心）に対応する状態の出力確率
分布をそれぞれ対応させる。このようにして作成したエ
ルゴディックＨＭＭを、音声データを用いて学習する。
得られた状態遷移確率を、状態クラスタ間の遷移確率の
推定値とする。

【００５３】ここで、学習とは、用いるデータの生成確
率が最大になるように、ＨＭＭのパラメータを推定する
ことで、上記文献２に開示されるＢａｕｍ−Ｗｅｌｃｈ
アルゴリズム等の方法により実行することができる。Ｂ
ａｕｍ−Ｗｅｌｃｈアルゴリズム等の一般に知られてい
るＨＷの学習方法は、データの生成確率が局所的に最大
になるようにしかパラメータを推定することができない
ため、パラメータの初期値がきわめて重要になる。エル
ゴディックＨＭＭのパラメータの初期値に、上記の値を
対応させることにより、比較的高い精度でパラメータを
推定することができる。

【００５４】なお、学習に際しては、出力確率分布パラ
メータを固定化して、状態遷移確率パラメータのみ推定
することも可能である。また、上記の学習に用いる音声
データには、音響モデル１１のＨＭＭを作成（学習）す
る際に用いた音声データのみならず、「うわっ」、「あ
れっ」などの通常の言語発声とはやや異なる”感情を表
現する発声の音声データ”を併用する。このようにする
ことによって、上記のような発声に特有な音声の時間構
造を状態クラスタ間の遷移確率の推定値に反映させるこ
とができる。従って、上記のような発声に対するリジェ
クト精度の向上を期待することができる。

【００５５】［ｓｔｅｐ４］推定した状態クラスタ間の
遷移確率Ｐ_ijを対数化して、重み係数（定数）Ｗを乗じ
る。ここで、状態クラスタ間の遷移確率の記号には、初
期値に用いた記号と特に区別することなくＰ_ijを用い
た。また、重み係数Ｗについては後述する参照ゆう度算
出部１４で説明する。このようにして得られた値Ｗ・ｌ
ｏｇＰ_ijに、トライフォンモデルの各状態がどの状態
クラスタに属するかを示すヘッダ情報を付加して状態遷
移制約情報Ｄ１５とする。

【００５６】（Ａ−７）参照ゆう度算出部１４参照ゆう度算出部１４では、次の（４）、（５）式に従
って参照ゆう度Ｄ１６を算出する。

【００５７】

【数２】Ｌ_G：参照ゆう度Ｄ１６Ｔ：フレーム総数Ｗ：状態遷移制約情報に対する重み係数ｕ：フレーム番号（ｔ−１）において、（５）式の右辺
の最大値を与える状態番号ｖ：任意の状態番号Ｐ_ij：状態クラスタｈから状態クラスタｉへの遷移確率ｉ，ｊ：任意の状態クラスタ番号Ｖ_t：認識処理部１３において、フレーム番号ｔに出力
確率分布計算を行う状態全体の集合ｂ_v（Ｘ_t）：状態ｖにおける音響特徴パラメータＸ_t
の出力確率（密度）Ｘ_t：フレームｔにおける音響特徴パラメータＩＮＨ：状態クラスタ間の遷移確率を対数化した値の下
限値上記（５）式において、ｌｏｇｂ_v（Ｘ_t）は認識処
理部１３より局所ゆう度Ｄ１４として与えられ、Ｗ・ｌ
ｏｇｃ_uvは参照テーブル１５より状態遷移制約情報Ｄ
１５として与えられる。従って、参照ゆう度算出部１４
で行う演算は、加算と大小比較のみである。

【００５８】また、（４）式において、状態遷移制約情
報に対する重み係数Ｗは、ｌｏｇｃ_uvとｌｏｇｂ
_v（Ｘ_t）のＬ_g（ｔ）に寄与する割合を調節するため
のパラメータ（定数）であり、定数ＩＮＨは状態クラス
タ間の遷移確率を対数化した値の下限値を設定するため
のパラメータ（定数）で、クラスタ別に設定することも
可能である。ともに、その値は実験的に決定する。参照
ゆう度Ｌ_Gは任意の発話内容を表現するモデルに対する
累積対数ゆう度を表す。また、Ｌ_g（ｔ）は任意の発話
内容を表現するモデルに対する各フレームにおける局所
的な対数ゆう度を表す。

【００５９】次に、Ｌ_g（ｔ）を定義する（５）式にお
けるｌｏｇｃ_uvの働きについて説明する。フレーム番
号（ｔ−１）において（５）式の右辺の最大値を与える
状態番号をｕとする。ｌｏｇｃ_uvは状態番号ｕが何で
あるかによって、次フレーム番号ｔにおいて（５）式の
右辺の最大値を与える状態番号の候補を制約する。状態
番号ｕの状態から状態番号ｖの状態への遷移の起こりや
すさを制約として用いている。このような状態遷移制約
によって、トライフォンモデルが有する音声の時間構造
を考慮した参照ゆう度の算出を可能にしている。

【００６０】（Ａ−８）リジェクト判定部１６リジェクト判定部１６は、次の（６）式により、認識ゆ
う度Ｌ_Rと参照ゆう度Ｌ_Gとの差をフレーム総数で正規
化した値Ｌ_Mを求め、この値Ｌ_Mを閾値θと比較して入
力音声データＤ１０のリジェクト判定を行う。なお、
（６）式における認識ゆう度Ｌ_R（＝Ｄ１３）は、認識
処理部１３から与えられ、参照ゆう度Ｌ_G（＝Ｄ１６）
は、参照ゆう度算出部１４から与えられる。

【００６１】

【数３】Ｌ_R：認識ゆう度Ｄ１３Ｌ_G：参照ゆう度Ｄ１６Ｔ：フレーム総数 θ：リジェクト判定の閾値（６）式において、リジェクト判定の閾値θは、例えば
実験的に決定される。閾値θの値によって、入力が認識
対象である場合の認識率と、認識対象外である場合のリ
ジェクト率が変化する。一般に、両者にはトレードオフ
の関係にあるので、所望の性能に合わせて閾値θの値を
決定する。

【００６２】リジェクト判定部１６は、値Ｌ_Mが閾値θ
より大きければ、入力がリジェクトされたことを表す情
報を認識結果Ｄ１７として出力し、一方、値Ｌ_Mが閾値
θ以下であれば、認識処理部１３から与えられた認識結
果候補Ｄ１２を認識結果Ｄ１７として出力する。

【００６３】（Ａ−９）第１の実施形態の効果第１の実施形態では、入力発話のリジェクト判定に用い
る参照ゆう度Ｄ１６を、認識ゆう度Ｄ１３の算出過程で
得られる局所ゆう度Ｄ１４と、あらかじめ作成した状態
遷移制約情報Ｄ１５を用いて算出する。入力音声データ
の各フレーム毎に、加算と最大値選択を行なうだけで参
照ゆう度Ｄ１６を算出するため、リジェクト機能の付加
による処理量の増加をきわめて小さくすることができ
る。

【００６４】また、参照ゆう度Ｄ１６の算出において、
以下の点を考慮しているため、様々な入力に対して、従
来法と同等、あるいはそれを越えるリジェクト精度を期
待することがができる。

【００６５】（１）音声の時間構造を表現するパラメー
タとして、音声データを用いて任意の状態間の遷移の起
りやすさを、状態クラスタレベルで推定した値を使用し
ている。こうすることにより、参照ゆう度Ｄ１６の算出
において、音声の時間構造を比較的高い精度で考慮する
ことを可能にしている、また、パラメータ推定の際に、
通常の言語発声の音声データのみならず、「うわっ」、
「あれっ」などの感情を表現する発声の音声データを併
用することにより、このような発声に特有な音声の時間
構造を推定パラメータに反映させることができる。

【００６６】（２）認識処理部１３で計算されるＨＭＭ
の各状態に対する局所ゆう度Ｄ１４を用いて、音声の種
々の音響的事象に対処可能にしている。

【００６７】従って、認識対象外の発話（認識対象語以
外の語、あるいは文法外の発話）が装置に入力された場
合に、認識のための処理量をほとんど増加させることな
く、効果的に入力を棄却することが可能になる。

【００６８】（Ｂ）第２の実施形態以下、本発明による音声認識方法及び装置の第２の実施
形態を図面を参照しながら詳述する。

【００６９】第１の実施形態では、認識対象語以外の語
や文法外の入力発話を、全体として棄却する方法につい
て説明した。第２の実施形態では、入力発話の一部に
「あのー」、「えーと」等に代表される間投詞や、「○
○かな」、「○○とか」等の不要な語尾、あるいは
「（じょ）情報」といったような言いよどみなどを含む
場合に対処するものである。以後、間投詞、不要な語、
言いよどみ等をまとめて不要語と呼ぶ。

【００７０】（Ｂ−１）第２の実施形態の全体構成及び
概略動作まず、この第２の実施形態の音声認識装置の全体構成を
その概略動作と共に説明する。

【００７１】ここで、図５は、この第２の実施形態の音
声認識装置の全体構成を示すブロック図である。

【００７２】図５において、第２の実施形態の音声認識
装置は、音声分析部２０、音響モデル（格納部）２１、
言語モデル（格納部）２２、認識処理部２３、不要語処
理部２４及び参照テーブル２５からなっている。

【００７３】入力音声データＤ２０は、マイクロフォン
などから入力された音声（アナログ信号）をディジタル
信号に変換した信号である。入力音声データＤ２０は、
音声分析部２０により音響特徴パラメータ時系列Ｄ２１
に変換され、認識処理部２３に入力される。認識処理部
２３では音響モデル２１及び言語モデル２２を用いて、
入力音声データＤ２０に対する認識結果Ｄ２６を出力す
る。また、不要語処理部２４では認識処理部２３で算出
される局所ゆう度Ｄ２２と部分仮説累積ゆう度Ｄ２３、
さらに参照テーブル２５に格納されている状態遷移制約
情報Ｄ２４を用いて不要語仮説累積ゆう度Ｄ２５を算出
する。不要語仮説累積ゆう度Ｄ２５は認識処理部２３に
出力され、認識結果Ｄ２６の算出に用いられる。

【００７４】次に、図５に示した音声認識装置を構成し
ている各部の機能及び動作について、詳細に説明する。
なお、音声分析部２０、音響モデル２１については、第
１の実施形態のもの（１０、１１）と同一であるのでそ
の説明を省略する。

【００７５】（Ｂ−２）参照テーブル２５参照テーブル２５は不要語処理部２４で用いる状態遷移
制約情報Ｄ２４を格納しているテーブルである。状態遷
移制約情報Ｄ２４は、第１の実施形態と同様の方法であ
らかじめ作成しておく。ただし、第１の実施形態で述べ
たエルゴディックＨＭＭの学習に用いる音声データに
は、音響モデル２２のＨＭＭを作成（学習）する際に用
いた音声データだけでなく、「あのー」、「えーと」等
の間投詞や、「○○かな」、「○○とか」等の不要な語
尾など、日常的な発話でよく用いられる不要語の音声デ
ータを併用する。このようにすることによって、上記の
ような発声に特有な音声の時間構造を状態遷移制約情報
Ｄ２４に反映させることができる。従って、比較的よく
用いられる不要語の発声に対する検出精度の向上を期待
することができる、（Ｂ−３）言語モデル２２言語モデル２２は、音声認識装置が受理可能な単語や文
法規則（構文）等を規定して、認識対象を制約するモデ
ルである。例えば、図６に示すように有限状態オートマ
トンを用いて、受理可能な単語系列を構文ネットワーク
の形で記述したものである。この第２の実施形態では、
入力発話中の不要語に対処するため、構文ネットワーク
の各ノードに自己遷移として不要語を表現するアークを
付加する。このようにすることによって、任意の単語間
において不要語を受理することが可能になる。

【００７６】（Ｂ−４）認識処理部２３認識処理部２３ではあらかじめ音声が装置に入力される
（認識処理を開始する）以前に、音響モデル２１及び言
語モデル２２を用いて受理可能な発話内容の仮説を表現
するＨＭＭネットワークを構成しておく。ＨＭＭネット
ワークとは、単語の音素表記や文法規則等の制約に従っ
てトライフォンモデルを連結して作成する、文字通りＨ
ＭＭのネットワークである。例えば、図６に示したよう
な構文ネットワークにおいて、単語の部分をトライフォ
ンモデルの連結によって作成した単語モデル（ＨＭＭ）
に置き換えたものである。

【００７７】ただし、不要語の部分については、ＨＭＭ
による明示的な不要語モデルを用意せず、後述する不要
語処理部２４を介して各ノードに自己遷移させる。つま
り、不要語処理部２４を不要語モデルとして用いる。こ
のようなネットワークを構成することによって認識処
理、及び不要語処理を効率的に行うことができる。

【００７８】各々の発話内容の仮説に対応するモデル
は、仮説の任意の単語間において不要語を受理可能な形
で、ＨＭＭネットワークの一部として表現される。装置
に発話が入力されると、ＨＭＭネットワークを用いて各
仮説に対応するモデルが音響特徴パラメータ時系列Ｄ２
１を生成する確率（ゆう度）を計算する。ＨＭＭネット
ワーク中で最大ゆう度を与える仮説を探索し、認識結果
Ｄ２６とする。入力発話の一部に不要語が含まれる場合
の認識結果Ｄ２６は、例えば次のようになる。

【００７９】（例）図６の言語モデルを用いた場合入力発話：「それじゃあー東京の（こ）交通情報」認識結果Ｄ２６：「＃東京＃交通情報」（＃は不要語を
表す記号）認識結果Ｄ２６に対応する最大ゆう度を対数化した最大
対数ゆう度を、以後、認識ゆう度と呼ぶ。ここで、各仮
説に対するゆう度計算は、音響特徴パラメータ時系列Ｄ
２１のフレームに同期して並列に行う。各フレームでは
ＨＭＭの各状態に対する出力確率分布計算（当該フレー
ムの音響特徴パラメータを出力する確率の計算）を行
い、これを対数化して局所ゆう度Ｄ２２とする。認識ゆ
う度は局所ゆう度Ｄ２２とＨＭＭの状態遷移確率を用い
て、上記文献２に開示されるＶｉｔｅｒｂｉアルゴリズ
ム等の手段により算出する。

【００８０】ただし、不要語の部分は不要語処理部２４
によりゆう度計算を行う。不要語処理部２４におけるゆ
う度計算方法については次項で説明する。認識ゆう度を
算出する上での不要語処理部２４の扱いは、他の単語モ
デルと同様である。音響パラメータ時系列Ｄ２１のフレ
ーム番号１から任意のフレーム番号までの”発話内容の
部分仮説”に対する累積対数ゆう度を、部分仮説累積ゆ
う度Ｄ２３とする。部分仮説累積ゆう度Ｄ２３は、その
部分仮説の終端フレーム番号を付加して不要語処理部２
４に出力される。

【００８１】（Ｂ−５）不要語処理部２４不要語処理部２４では、次の（７）〜（９）式に従って
不要語仮説累積ゆう度Ｄ２５を算出する。以下では、不
要語を表す発話内容の部分仮説を不要語仮説、不要語仮
説に対する対数ゆう度を不要語仮説ゆう度と呼ぶ。

【００８２】

【数４】Ｌ_B（ｔ１）：フレーム番号ｔ１における不要語仮説累
積ゆう度Ｄ２５Ｌ_F（ｔ０−１）：フレーム番号（ｔ０−１）における
部分仮説累積ゆう度Ｄ２３Ｌ_G（ｔ１）：フレーム番号ｔ１における不要語仮説ゆ
う度ｔ０：不要語仮説ゆう度の算出における始端フレーム番
号ｔ１：不要語仮説ゆう度の算出における終端フレーム番
号Ｔｍｉｎ：不要語仮説ゆう度の算出に用いる（最小フレ
ーム数−１）Ｔｄｅｌ：不要語仮説ゆう度の算出に用いる最大フレー
ム数と最小フレーム数の差Ｒ：補正定数Ｔ：フレーム総数Ｗ：状態遷移制約情報に対する重み係数ｕ：フレーム番号（ｔ−１）において、（９）式の右辺
の最大値を与える状態番号ｖ：任意の状態の番号ｉ，ｊ：任意の状態クラスタ番号Ｖ_t：認識処理部２３において、フレーム番号ｔに局所
ゆう度Ｄ２２の計算が行われた状態全体の集合ｂ_v（Ｘ_t）：状態ｖにおける音響特徴パラメータＸ_t
の出力確率（密度）Ｘ_t：フレーム番号ｔにおける音響特徴パラメータＩＮＨ：状態クラスタ間の遷移確率を対数化した値の下
限値不要語仮説ゆう度の算出における始端フレーム番号及び
終端フレーム番号をそれぞれｔ０、ｔ１とし、このとき
の不要語仮説ゆう度をＬ_G（ｔ１）で表す。不要語仮説
累積ゆう度Ｄ２５はフレーム番号（ｔ０−１）における
部分仮説累積ゆう度Ｄ２３と、不要語仮説ゆう度Ｌ
_G（ｔ１）の和として定義する。従って、不要語仮説累
積ゆう度Ｄ２５はフレーム番号１からフレーム番号ｔ１
（不要語仮説ゆう度の算出における終端フレーム番号）
までの発話内容の部分仮説に対する累積対数ゆう度を表
している。

【００８３】次に、不要語仮説ゆう度Ｌ_G（ｔ１）につ
いて説明する。（８）式は任意の始端フレーム番号ｔ０
に対して、異なる（Ｔｄｅｌ＋１）個の終端フレーム番
号ｔ１（＝ｔ０＋Ｔｍｉｎ，ｔ０＋Ｔｍｉｎ＋１，…，
ｔ０＋Ｔｍｉｎ＋Ｔｄｅｌ）における不要語仮説ゆう度
Ｌ_G（ｔ１）を算出することを表している。（８）式に
おいて、Ｌ_g（ｔ）は各フレームにおける不要語仮説に
対する局所的な対数ゆう度を表す。また、補正定数Ｒは
不要語仮説ゆう度の変域を調節するためのパラメータ
（定数）で、値は実験的に決定する。不要語仮説ゆう度
Ｌ_G（ｔ１）は｛Ｌ_g（ｔ）＋Ｒ｝を始端フレーム番号
ｔ０から終端フレーム番号ｔ１まで累積加算したものと
して定義する。不要語仮説ゆう度Ｌ_G（ｔ１）の算出に
用いる（最小フレーム数−１）Ｔｍｉｎ、及び最大フレ
ーム数と最小フレーム数の差Ｔｄｅｌの値は実験的に決
定する。

【００８４】Ｌ_g（ｔ）を定義する（９）式において、
ｌｏｇｂ_v（Ｘ_t）は認識処理部２３より局所ゆう度
Ｄ２２として与えられ、Ｗ・ｌｏｇｃ_uvは参照テーブ
ル２５より状態遷移制約情報Ｄ２４として与えられる。
従って、不要語処理部２４で行う演算は、加算と大小比
較のみである。また、（９）式において、状態遷移制約
情報に対する重み係数Ｗは、ｌｏｇｃ_uvとｌｏｇｂ
_v（Ｘ_t）のＬ_g（ｔ）に寄与する割合を調節するため
のパラメータ（定数）であり、定数ＩＮＨは状態クラス
タ間の遷移確率を対数化した値の下限値を設定するため
のパラメータ（定数）で、クラスタ別に設定することも
可能である。ともに、その値は実験的に決定する。

【００８５】次に、（９）式におけるｌｏｇｃ_uvの働
きについて説明する。フレーム番号（ｔ−１）におい
て、（９）式の右辺の最大値を与える状態番号をｕとす
る。ｌｏｇｃ_uvは状態番号ｕが何であるかによって、
次フレーム番号ｔにおいて（９）式の右辺の最大値を与
える状態番号の候補を制約する。状態番号ｕの状態から
状態番号ｖの状態への遷移の起こりやすさを制約として
用いている。このような状態遷移制約によって、トライ
フォンモデルが有する音声の時間構造を考慮した不要語
仮説ゆう度の算出を可能にしている。

【００８６】不要語処理部２４で算出されたフレーム番
号ｔ１における不要語仮説累積ゆう度Ｄ２５は、認識処
理部２３に出力される。認識処理部２３では、不要語仮
説に後続する発話内容の部分仮説に対するゆう度計算
を、不要語仮説累積ゆう度Ｄ２５を初期値とし、フレー
ム番号（ｔ１＋１）を始端フレーム番号として行う。こ
のようにすることによって、認識処理部２３における認
識ゆう度の計算は、単語仮説（単語を表す発話内容の部
分仮説）に対するゆう度と不要語仮説に対するゆう度を
同様に扱って行うことができる。

【００８７】（Ｂ−６）第２の実施形態の効果第２の実施形態では、入力発話の一部に不要語を含む場
合に対処するため、不要語仮説に対するゆう度（不要語
仮説ゆう度）を、認識ゆう度算出過程で得られる局所ゆ
う度Ｄ２２と、あらかじめ作成した状態遷移制約情報Ｄ
２４を用いて算出する。入力音声データの各フレーム毎
に、加算と最大値選択を行うだけで不要語仮説ゆう度を
算出するため、不要語処理の付加による処理量の増加を
きわめて小さくすることができる。不要語処理の付加に
よる処理量の増加は、ＨＭＭによる明示的な不要語モデ
ル（一般に、ｇａｒｂａｇｅモデルと呼ばれ、種々の不
要語を１種類のＨＭＭでモデル化する）を用いる方法よ
り小さい。

【００８８】また、不要語仮説ゆう度の算出において、
以下の点を考慮しているため、入力発話の一部に不要語
を含む場合に、認識のための処理量の増加を小さく抑え
つつ、効果的に不要語を検出し、不要語以外の部分の認
識率を向上させることが可能になる。しかも、不要語が
入力発話の先頭、末尾、任意の単語間において複数含ま
れていても対処可能である。

【００８９】（１）音声の時間構造を表現するパラメー
タとして、音声データを用いて任意の状態間の遷移の起
りやすさを、状態クラスタレベルで推定した値を使用し
ている。これにより、不要語仮説ゆう度の算出におい
て、音声の時間構造を比較的高い精度で考慮することを
可能にしている。

【００９０】また、パラメータ推定の際に、音響モデル
２２のＨＭＭの作成（学習）に用いた音声データのみな
らず、「あのー」、「えーと」等の間投詞や、「○○か
な」、「○○とか」等の不要な語尾など、日常的な発話
でよく用いられる不要語の音声データを併用することに
より、このような発声に特有な音声の時間構造を推定パ
ラメータに反映させることができる。

【００９１】（２）認識処理部２３で計算されるＨＭＭ
の各状態に対する局所ゆう度Ｄ２２を用いて、音声の種
々の音響的事象に対処可能にしている。従って、入力発
話の一部に不要語を含む場合に、認識のための処理量の
増加を小さく抑えつつ効果的に不要語を検出し、不要語
以外の部分の認識率を向上させることが可能になる。し
かも、不要語が入力発話の先頭、末尾、任意の単語間に
おいて複数含まれていても対処可能である。

【００９２】また、第２の実施形態では、以下に示すよ
うな効果も得られる。

【００９３】（ａ）音響モデルとして、音素や音節など
のサブワードに対するコンテキスト依存モデルを用いて
も、不要語処理の付加による処理量の増加は非常に小さ
くて済む。

【００９４】（ｂ）ｇａｒｂａｇｅモデルを用いる場合
に比べて、不要語を表現するモデルの音響的分解能が高
い。従って、種々の不要語の音響的バリエーションに対
処することが可能である。

【００９５】（Ｃ）第３の実施形態以下、本発明による音声認識方法及び装置の第３の実施
形態を図面を参照しながら詳述する。

【００９６】（Ｃ−１）第３の実施形態の全体構成及び
概略動作第３の実施形態の音声認識装置の全体構成は、上述した
第１の実施形態で説明した図１で表すことができ、その
ため、第３の実施形態の音声認識装置の全体構成を改め
て図示することを行わず、以下では、図１での符号を適
宜用いて説明を行う。

【００９７】また、第３の実施形態の音声認識装置の概
略動作も、第１の実施形態と同様であり、その説明は省
略する。

【００９８】しかし、参照ゆう度算出部１４の機能、動
作が第１の実施形態のものと異なっており、また、参照
ゆう度算出部１４が処理において適宜参照する参照テー
ブル１５の格納内容（状態遷移制約情報Ｄ１５）が第１
の実施形態とは異なっている。そこで、以下では、この
第３の実施形態の参照テーブル１５及び参照ゆう度算出
部１４の機能、動作についてのみ説明する。

【００９９】（Ｃ−２）参照テーブル１５この第３の実施形態でも、参照テーブル１５は参照ゆう
度算出部１４で用いる状態遷移制約情報Ｄ１５を格納し
ているテーブルである。しかしながら、状態遷移制約情
報Ｄ１５を、あらかじめ音響モデル１１、音声データを
用いて作成しておく方法が、従って、状態遷移制約情報
Ｄ１５が第１の実施形態とは異なっている。そこで、以
下では、この第３の実施形態における状態遷移制約情報
Ｄ１５の作成方法を説明する。

【０１００】［ｓｔｅｐ１］音響モデル１１を構成する
すべてのトライフォンモデルを用いて、ＨＭＭの状態に
対するクラスタリングを行う。この処理は、第１の実施
形態と同様であるので、その説明は省略する。

【０１０１】［ｓｔｅｐ２］まず、状態クラスタ間の遷
移確率Ｐ_ijを算出する。第１の実施形態においては、上
記（１）式〜（３）式で定義された状態クラスタ間の遷
移確率Ｐijを初期値として、ｓｔｅｐ３において状態ク
ラスタ間の遷移確率Ｐ_ijに対する推定動作を実行して状
態クラスタ間の遷移確率Ｐ_ijを最終的に定めるものを示
したが、この第３の実施形態では、上記（１）式〜
（３）式で定義された状態クラスタ間の遷移確率Ｐ_ijを
そのまま最終的な状態クラスタ間の遷移確率Ｐ_ijとす
る。

【０１０２】上記（１）式〜（３）式に従って算出され
た状態クラスタ間の遷移確率Ｐ_ijを、対数化して重み係
数（定数）Ｗを乗じる。このようにして得られたＷ・ｌ
ｏｇＰｉｊに、トライフォンモデルの各状態がどの状態
クラスタに属するかを示すヘッダ情報を付加して状態遷
移制約情報Ｄ１５とする。

【０１０３】（Ｃ−３）参照ゆう度算出部１４参照ゆう度算出部１４では、次の（１０）、（１１）式
に従って参照ゆう度Ｄ１６を算出する。

【０１０４】

【数５】Ｌ_G：参照ゆう度Ｄ１６ｔ：フレーム番号Ｔ：フレーム総数ｕ：認識処理部１３において、フレーム番号（ｔ−１）
に局所ゆう度Ｄ１４の計算が行われた状態の番号ｖ：認識処理部１３において、フレーム番号ｔに局所ゆ
う度Ｄ１４の計算が行われた状態の番号Ｖ_t：認識処理部１３において、フレーム番号ｔに局所
ゆう度Ｄ１４の計算が行われた状態全体の集合Ｗ：状態遷移制約情報に対する重み係数Ｐ_ij：状態クラスタｉから状態クラスタｊへの遷移確率ｉ，ｊ：任意の状態クラスタ番号ｂ_v（Ｘ_t）：状態ｖにおける音響特徴パラメータＸ_t
の出力確率（密度）Ｘ_t：フレームｔにおける音響特徴パラメータＩＮＨ：状態クラスタ間の遷移確率を対数化した値の下
限値（１１）式において、ｌｏｇｂ_v（Ｘ_t）は認識処理
部１３より局所ゆう度Ｄ１４として与えられ、Ｗ・ｌｏ
ｇｃ_uvは参照テーブル１５より状態遷移制約情報Ｄ１
５として与えられる。従って、参照ゆう度算出部１４で
行う演算は、累積加算と最大値選択のみである。また、
（１１）式の計算は同一の状態クラスタに属する全状態
に対して行う必要はなく、各状態クラスタでｌｏｇｂ
_v（Ｘ_t）の値が最大である状態ｖについてのみ行えば
よい。

【０１０５】ここで、状態遷移制約情報に対する重み係
数Ｗは、ｌｏｇｃ_uvとｌｏｇｂ_v（Ｘ_t）の参照ゆ
う度Ｌ_Gに寄与する割合を調節するためのパラメータ
（定数）である。また、定数ＩＮＨは状態クラスタ間の
遷移確率を対数化した値の下限値を設定するためのパラ
メータ（定数）で、クラスタ別に設定することも可能で
ある。ともに、その値は実験的に決定する。

【０１０６】参照ゆう度Ｌ_Gは任意の発話内容を表現す
るモデルに対する累積対数ゆう度を表す。（１１）式で
定義されるＬ_uv（ｔ）は、フレーム番号（ｔ−１）に状
態ｕ、フレーム番号ｔに状態ｖをそれぞれ選択した場合
の、フレーム番号ｔにおける局所的な対数ゆう度を表
す。認識処理部１３で局所ゆう度Ｄ１４が計算された状
態を、フレーム番号に沿って任意に組合せた状態系列
（状態ｕ，ｖの時系列）の中で、累積対数ゆう度が最大
の系列に対応するゆう度が参照ゆう度Ｌ_Gである。この
とき、任意の状態間の遷移の起りやすさを、状態遷移制
約情報Ｄ１５により考慮している。これは、入力音声デ
ータに最もマッチする状態系列を、認識処理部１３の処
理過程で得られる局所ゆう度Ｄ１４と、音声の時間構造
を表現する状態遷移制約情報Ｄ１５を用いて探索するこ
とに相当する。（１０）、（１１）式で表わされる参照
ゆう度Ｌ_Gの計算は、文献２に開示されるＶｉｔｅｒｂ
ｉアルゴリズム等の手段を用いることにより、より効率
的に行うことができる。しかし、通常のＶｉｔｅｒｂｉ
アルゴリスムの計算とは、上述のように次の点で異な
る。

【０１０７】・参照ゆう度計算は局所ゆう度Ｄ１４と状
態遷移制約情報Ｄ１５を用いて行う。

【０１０８】・参照ゆう度計算は各状態クラスタでｌｏ
ｇｂ_v（Ｘ_t）の値が最大である状態ｖについてのみ
行う（ここで、状態ｖは認識処理部１３において、フレ
ーム番号ｔに局所ゆう度Ｄ１４の計算が行われた状態を
表わす）。

【０１０９】従って、通常のＶｉｔｅｒｂｉアルゴリズ
ムの計算に比べて、きわめて少ない処理量でゆう度計算
を行うことができる。このようにして、トライフォンモ
デルが有する音声の時間構造を考慮した参照ゆう度を、
効率的かつ高精度に算出することを可能にしている。

【０１１０】（Ｃ−４）第３の実施形態の効果第３の実施形態では、入力発話のリジェクト判定に用い
る参照ゆう度Ｄ１６を、認識ゆう度Ｄ１３の算出過程で
得られる局所ゆう度Ｄ１４と、あらかじめ作成した状態
遷移制約情報Ｄ１５を用いて、Ｖｉｔｅｒｂｉアルゴリ
ズム等のゆう度計算方法を実行することによって算出す
る。これにより、入力音声データに最もマッチする状態
遷移系列を、音声の時間構造を考慮しつつ、少ない処理
量で探索することが可能になり、参照ゆう度を効率的、
かつ、高精度に算出することができる。

【０１１１】従って、リジェクト機能の付加による処理
量の増加を小さく抑えつつ、高精度に認識対象外発話を
リジェクトすることが可能になる。

【０１１２】（Ｄ）第４の実施形態以下、本発明による音声認識方法及び装置の第４の実施
形態を図面を参照しながら詳述する。

【０１１３】この第４の実施形態と第３の実施形態の関
係は、第２の実施形態と第１の実施形態の関係と同様で
ある。すなわち、第３の実施形態では、認識対象語以外
の語や文法外の入力発話を、全体として棄却する方法で
あったが、この第４の実施形態は、不要語に対処できる
ようにしたものであり、その際に利用する参照テーブル
は、第３の実施形態と同一のものである。

【０１１４】（Ｄ−１）第４の実施形態の全体構成及び
概略動作第４の実施形態の音声認識装置の全体構成は、上述した
第２の実施形態で説明した図５で表すことができ、その
ため、第４の実施形態の音声認識装置の全体構成を改め
て図示することを行わず、以下では、図５での符号を適
宜用いて説明を行う。

【０１１５】また、第４の実施形態の音声認識装置の概
略動作も、第２の実施形態と同様であり、その説明は省
略する。

【０１１６】しかし、参照テーブル２５の格納内容（状
態遷移制約情報Ｄ２４）が第２の実施形態とは異なって
おり、それに関連して、不要語処理部２４の機能、動作
が第２の実施形態のものと異なっている。また、参照テ
ーブル２５（の格納内容）は、上述した第３の実施形態
の参照テーブル１５と同一である。

【０１１７】そこで、以下では、この第４の実施形態の
不要語処理部２４の機能、動作についてのみ説明する。
他の構成要素の機能については、既述した第２又は第３
の実施形態を参照されたい。

【０１１８】（Ｄ−２）不要語処理部２４不要語処理部２４では、次の（１２）〜（１４）式に従
って不要語仮説累積ゆう度Ｄ２５を算出する。この実施
形態でも、不要語に対応する発話内容の部分仮説を不要
語仮説、不要語仮説に対する対数ゆう度を不要語仮説ゆ
う度と呼ぶ。

【０１１９】

【数６】Ｌ_B（ｔ１）：フレーム番号ｔ１における不要語仮説累
積ゆう度Ｄ２５Ｌ_F（ｔ０−１）：フレーム番号（ｔ０−１）における
部分仮説累積ゆう度Ｄ２３Ｌ_G（ｔ１）：フレーム番号ｔ１における不要語仮説ゆ
う度ｔ０：不要語仮説ゆう度の算出における始端フレーム番
号ｔ１：不要語仮説ゆう度の算出における終端フレーム番
号Ｔｍｉｎ：不要語仮説ゆう度の算出に用いる（最小フレ
ーム数−１）Ｔｄｅｌ：不要語仮説ゆう度の算出に用いる最大フレー
ム数と最小フレーム数の差Ｒ：補正定数Ｔ：フレーム総数ｕ：認識処理部２３において、フレーム番号（ｔ−１）
に局所ゆう度Ｄ２２の計算が行われた状態の番号ｖ：認識処理部２３において、フレーム番号ｔに局所ゆ
う度Ｄ２２の計算が行われた状態の番号Ｖ_t：認識処理部２３において、フレーム番号ｔに局所
ゆう度Ｄ２２の計算が行われた状態全体の集合Ｗ：状態遷移制約情報に対する重み係数ｉ，ｊ：任意の状態クラスタ番号Ｖ_t：認識処理部２３において、フレーム番号ｔに局所
ゆう度Ｄ２２の計算が行われた状態全体の集合ｂ_v（Ｘ_t）：状態ｖにおける音響特徴パラメータＸ_t
の出力確率（密度）Ｘ_t：フレーム番号ｔにおける音響特徴パラメータＩＮＨ：状態クラスタ間の遷移確率を対数化した値の下
限値不要語仮説ゆう度の算出における始端フレーム番号及び
終端フレーム番号をそれぞれｔ０、ｔ１とし、このとき
の不要語仮説ゆう度をＬ_G（ｔ１）で表す。不要語仮説
累積ゆう度Ｄ２５はフレーム番号（ｔ０−１）における
部分仮説累積ゆう度Ｄ２３と、不要語仮説ゆう度Ｌ
_G（ｔ１）の和として定義する。従って、不要語仮説累
積ゆう度Ｄ２５は、フレーム番号１からフレーム番号ｔ
１（不要語仮説ゆう度の算出における終端フレーム番
号）までの”不要語を含む発話内容の部分仮説”に対す
る累積対数ゆう度を表している。

【０１２０】次に、不要語仮説ゆう度Ｌ_G（ｔ１）につ
いて説明する。（１３）式は、任意の始端フレーム番号
ｔ０に対して、異なる（Ｔｄｅｌ＋１）個の終端フレー
ム番号ｔ１（＝ｔ０＋Ｔｍｉｎ，ｔ０＋Ｔｍｉｎ＋１，
…，ｔ０＋Ｔｍｉｎ＋Ｔｄｅｌ）における不要語仮説ゆ
う度Ｌ_G（ｔ１）を算出することを表している。ここ
で、不要語仮説ゆう度Ｌ_G（ｔ１）の算出に用いる定数
パラメータＴｍｉｎ（最小フレーム数−１）、及びＴｄ
ｅｌ（最大フレーム数と最小フレーム数の差）の値は実
験的に決定する。不要語仮説ゆう度Ｌ_G（ｔ１）はフレ
ーム番号ｔにおける局所的な対数ゆう度Ｌ_uv（ｔ）を、
始端フレーム番号ｔ０から終端フレーム番号ｔ１まで累
積加算した値の状態番号ｕ，ｖの時系列に関する最大値
として定義する。

【０１２１】（１４）式で定義されるＬ_uv（ｔ）につい
て、さらに詳しく説明する。（１４）式において、ｌｏ
ｇｂ_v（Ｘ_t）は認識処理部２３より局所ゆう度Ｄ２
２として与えられ、Ｗ・ｌｏｇｃ_uvは参照テーブル２
５より状態遷移制約情報Ｄ２４として与えられる、従っ
て、（１３）、（１４）式で行う演算は、累積加算と最
大値選択のみである。さらに、（１３）、（１４）式の
計算は同一の状態クラスタに属する全状態に対して行う
必要はなく、各状態クラスタでｌｏｇｂ_v（Ｘ_t）の
値が最大である状態ｖについてのみ行えばよい。（１
４）式において、状態遷移制約情報に対する重み係数Ｗ
は、ｌｏｇｃ_uvとｌｏｇｂ_v（Ｘ_t）のＬ_uv（ｔ）
に寄与する割合を調節するための定数パラメータであ
る。また、定数ＩＮＨは状態クラスタ間の遷移確率を対
数化した値の下限値を設定するための定数パラメータ
で、クラスタ別に設定することも可能である。さらに、
補正定数Ｒは不要語仮説ゆう度の変域を調節するための
定数パラメータである。これらのパラメータ値は実験的
に決定する。

【０１２２】（１４）式で定義されるＬ_uv（ｔ）は、フ
レーム番号（ｔ−１）に状態ｕ、フレーム番号ｔに状態
ｖをそれぞれ選択した場合のフレーム番号ｔにおける不
要語仮説に対する局所的な対数ゆう度を表す。認識処理
部２３で局所ゆう度Ｄ２２が計算された状態を、フレー
ム番号に沿って任意に組合せた状態系列（状態番号ｕ，
ｖの時系列）の中で、累積対数ゆう度が最大の系列に対
応する対数ゆう度が不要語仮説ゆう度Ｌ_G（ｔ１）であ
る。このとき、任意の状態間の遷移の起りやすさを、状
態遷移制約情報Ｄ２４により考慮している。これは、フ
レーム番号ｔ０〜ｔ１までの入力音声データに最もマッ
チする状態系列を、認識処理部２３の処理過程で得られ
る局所ゆう度Ｄ２２と、音声の時間構造を表現する状態
遷移制約情報Ｄ２４を用いて探索することに相当する。

【０１２３】（１３）、（１４）式で表わされる不要語
仮説ゆう度Ｌ_G（ｔ１）の計算は、文献２に開示される
Ｖｉｔｅｒｂｉアルゴリズム等の手段を用いることによ
り、より効率的に行うことができる。しかし、通常のＶ
ｉｔｅｒｂｉアルゴリズムの計算とは、次の点で異な
る。

【０１２４】・不要語仮説ゆう度の計算は局所ゆう度Ｄ
２２と状態遷移制約情報Ｄ２４を用いて行う。

【０１２５】・不要語仮説ゆう度の計算は各状態クラス
タでｌｏｇｂ_v（Ｘ_t）の値が最大である状態ｖにつ
いてのみ行う（ここで、状態ｖは認識処理部２３におい
て、フレーム番号ｔに局所ゆう度Ｄ２２の計算が行われ
た状態を表わす）。

【０１２６】従って、通常のＶｉｔｅｒｂｉアルゴリズ
ムの計算に比べて、きわめて少ない処理量でゆう度計算
を行うことができる。このようにして、トライフォンモ
デルが有する音声の時間構造を考慮した不要語仮説ゆう
度を、効率的かつ高精度に算出することを可能にしてい
る。

【０１２７】以上のようにして算出したフレーム番号ｔ
１における不要語仮説累積ゆう度Ｄ２５は、認識処理部
２３に出力される。認識処理部２３では、不要語仮説累
積ゆう度Ｄ２５を初期値とし、フレーム番号（ｔ１＋
１）を始端フレーム番号として、不要語仮説に後続する
発話内容の部分仮説に対するゆう度計算を行う。このよ
うにすることによって、認識処理部２３における認識ゆ
う度の計算は、単語仮説（単語を表す発話内容の部分仮
説）に対するゆう度と不要語仮説に対するゆう度を同様
に扱って行うことができる。

【０１２８】（Ｄ−３）第４の実施形態の効果第４の実施形態では、入力発話の一部に不要語を含む場
合に対処するため、不要語仮説に対するゆう度（不要語
仮説ゆう度）を、認識ゆう度算出過程で得られる局所ゆ
う度Ｄ２２と、あらかじめ作成した状態遷移制約情報Ｄ
２４を用いて、Ｖｉｔｅｒｂｉアルゴリズム等のゆう度
計算方法を実行することによって算出する。これによ
り、入力音声データの各部分に最もマッチする状態系列
を、音声の時間構造を考慮しつつ、少ない処理量で探索
することが可能になり、不要語仮説ゆう度を効率的かつ
高精度に算出することができる。

【０１２９】従って、入力発話の一部に不要語を含む場
合に、認識のための処理量の増加を小さく抑えつつ、効
果的に不要語を検出し、不要語以外の部分の認識率を向
上させることが可能になる。しかも、不要語が入力発話
の先頭、末尾、任意の単語間において複数含まれていて
も対処可能である。

【０１３０】また、第４の実施形態では、以下に示すよ
うな効果も得られる。

【０１３１】（ａ）音響モデルとして、音素や音節など
のサブワードに対するコンテキスト依存モデルを用いて
も、不要語処理の付加による処理量の増加をごく小さく
抑えることができる。

【０１３２】（ｂ）ＨＭＭによる明示的な不要語モデル
（ｇａｒｂａｇｅモデル）を用いる場合に比べて、不要
語を表現するモデルの音響的分解能が高い。従って、種
々の不要語の音響的バリエーションに対処することが可
能である。

【０１３３】（Ｅ）他の実施形態上記第２及び第４の実施形態では、入力発話の一部に不
要語が含まれる場合に対処する方法について説明した
が、この方法は入力発話の一部に未知語（認識対象語以
外の語）が含まれる場合に対処する方法としても使用可
能である。その場合、図５における言語モデル２２を、
例えば図７に示すように記述する。このようにすること
によって、入力発話全体を棄却するのではなく、入力発
話中の未知語部分を効果的に検出し、未知語以外の部分
の認識率を向上させることができる。例えば、図７に示
した言語モデルを用いた場合において、「ニューヨーク
観光情報」と発声されたときを考える。”ニューヨー
ク”が未知語である場合に、「＠観光情報」（＠は未知
語を表す記号）という認識結果を出力することが可能に
なる。

【０１３４】

【発明の効果】以上のように、本発明によれば、処理量
を増加させることなく、リジェクト機能を付加すること
ができ、又は、不要語や未知語を含む入力発話に対して
も処理量と精度において十分な性能を得ることができ
る。

【図面の簡単な説明】

【図１】第１（及び第３）の実施形態の全体構成を示す
ブロック図である。

【図２】第１の実施形態の言語モデルの構成例を示す説
明図である。

【図３】第１の実施形態の音響モデル（トライフォンモ
デル）の構成例を示す説明図である。

【図４】第１の実施形態の状態遷移制約情報の作成方法
の説明に用いた状態クラスタ間の遷移接続を示す図面で
ある。

【図５】第２（及び第４）の実施形態の全体構成を示す
ブロック図である。

【図６】第２の実施形態の言語モデルの構成例を示す説
明図である。

【図７】第２（又は第４）の実施形態の変形実施形態の
言語モデルの構成例を示す説明図である。

【符号の説明】

１０、２０…音声分析部、１１、２１…音響モデル、１
２、２２…言語モデル、１３、２３…認識処理部、１４
…参照ゆう度算出部、１５、２５…参照テーブル（状態
遷移制約情報格納手段）、１６…リジェクト判定部、２
４…不要語処理部。

Claims

【特許請求の範囲】

【請求項１】隠れマルコフモデルネットワークでなる
音響モデルを利用して音声認識を行う音声認識方法であ
って、音響モデルを構成する隠れマルコフモデルネット
ワークの任意の状態間の状態遷移の起こりやすさを表す
状態遷移制約情報をあらかじめ作成して格納しておき、
認識処理により得られた局所ゆう度と格納されている状
態遷移制約情報とに基づいて、入力音声データの棄却判
定に用いる参照ゆう度を算出し、認識処理により得られ
た認識ゆう度と、上記参照ゆう度の比較により、入力音
声データの棄却判定を行う音声認識方法において、あらかじめ作成して格納しておく状態遷移制約情報が、
以下のステップａ１〜ステップａ２で作成されたもので
あることを特徴とする音声認識方法。（ステップａ１）音響モデルを構成する隠れマルコフモ
デルネットワークの全状態に対するクラスタリングを行
い、生成された状態クラスタにおける各状態間の遷移接
続に基づいて、状態クラスタ間の遷移の起こりやすさを
表わす尺度である状態クラスタ間の遷移確率の初期値を
算出する。（ステップａ２）状態クラスタ数と同数の状態を有す
る、任意の状態間に遷移接続を有する隠れマルコフモデ
ルネットワークであるエルゴディック隠れマルコフモデ
ルネットワークを構成し、その状態遷移確率パラメータ
に上記状態クラスタ間の遷移確率の初期値を、また、出
力確率分布パラメータに各状態クラスタを代表する状態
の出力確率分布をそれぞれ対応させ、このようにして作
成したエルゴディック隠れマルコフモデルネットワーク
を、音声データを用いて学習することによって得られる
状態遷移確率を、状態クラスタ間の遷移確率の推定値と
し、隠れマルコフモデルネットワークの各状態がどの状
態クラスタに属するかを示す情報を付加して状態遷移制
約情報とする。
【請求項２】隠れマルコフモデルネットワークでなる
音響モデルを利用して音声認識を行う音声認識方法にお
いて、音響モデルを構成する隠れマルコフモデルネットワーク
の任意の状態間の状態遷移の起こりやすさを表す状態遷
移制約情報をあらかじめ作成して、格納しておき、認識処理により得られた局所ゆう度と格納されている状
態遷移制約情報との加重和を、入力音声データの各フレ
ーム毎に、隠れマルコフモデルネットワークの各状態に
対して算出し、これを全フレームにわたって累積加算し
た値の最大値を上記参照ゆう度として算出し、認識処理により得られた認識ゆう度と、上記参照ゆう度
の比較により、入力音声データの棄却判定を行うことを
特徴とする音声認識方法。
【請求項３】上記状態遷移制約情報の表現に用いる、
類似した音響的特徴を有する隠れマルコフモデルネット
ワークの状態のグループである各状態クラスタで、上記
局所ゆう度の値が最大である状態に対してのみ、上記加
重和及び上記累積加算の計算を行うことによって、上記
参照ゆう度を算出することを特徴とする請求項２に記載
の音声認識方法。
【請求項４】隠れマルコフモデルネットワークでなる
音響モデルを利用して音声認識を行う音声認識方法にお
いて、音響モデルを構成する隠れマルコフモデルネットワーク
の任意の状態間の状態遷移の起こりやすさを表す状態遷
移制約情報をあらかじめ作成して、格納しておき、認識処理により得られた局所ゆう度及び部分仮説累積ゆ
う度と、上記状態遷移制約情報とから、入力音声データ
中の不要語あるいは未知語を処理するために用いる不要
語仮説累積ゆう度を算出し、この不要語仮説累積ゆう度を認識処理で用いて、入力音
声データ中の不要語あるいは未知語部分の検出と、それ
以外の部分の認識を行うことを特徴とする音声認識方
法。
【請求項５】上記認識処理により得られた局所ゆう度
の加重和に補正定数を加算した値を、入力音声データの
各フレーム毎に、隠れマルコフモデルネットワークの各
状態に対して算出し、これを入力音声デー夕の部分区間
フレームにわたって累積加算した値の最大値を不要語仮
説ゆう度とし、認識処理により得られた部分仮説累積ゆ
う度に、上記不要語仮説ゆう度を加算して上記不要語仮
説累積ゆう度を算出することを特徴とする請求項４に記
載の音声認識方法。
【請求項６】上記状態遷移制約情報の表現に用いる、
類似した音響的特徴を有する隠れマルコフモデルネット
ワークの状態のグループである各状態クラスタで、上記
局所ゆう度の値が最大である状態に対してのみ、上記加
重和及び上記累積加算の計算を行うことによって、上記
不要語仮説ゆう度を算出することを特徴とする請求項５
に記載の音声認識方法。
【請求項７】あらかじめ作成して格納しておく上記状
態遷移制約情報が、以下のステップｂ１〜ステップｂ２
で作成されたものであることを特徴とする請求項４に記
載の音声認識方法。（ステップｂ１）音響モデルを構成する隠れマルコフモ
デルネットワークの全状態に対するクラスタリングを行
い、生成された状態クラスタにおける各状態間の遷移接
続に基づいて、状態クラスタ間の遷移の起こりやすさを
表わす尺度である状態クラスタ間の遷移確率の初期値を
算出する。（ステップｂ２）状態クラスタ数と同数の状態を有す
る、任意の状態間に遷移接続を有する隠れマルコフモデ
ルネットワークであるエルゴディック隠れマルコフモデ
ルネットワークを構成し、その状態遷移確率パラメータ
に上記状態クラスタ間の遷移確率の初期値を、また、出
力確率分布パラメータに各状態クラスタを代表する状態
の出力確率分布をそれぞれ対応させ、このようにして作
成したエルゴディック隠れマルコフモデルネットワーク
を、音声データを用いて学習することによって得られる
状態遷移確率を、状態クラスタ間の遷移確率の推定値と
し、隠れマルコフモデルネットワークの各状態がどの状
態クラスタに属するかを示す情報を付加して状態遷移制
約情報とする。
【請求項８】上記ステップａ２又はｂ２による状態ク
ラスタ間の遷移確率の算出における、上記エルゴディッ
ク隠れマルコフモデルネットワークの学習の際に、音響
モデルの隠れマルコフモデルネットワークを作成する際
に用いた通常の言語発声の音声データだけでなく、感情
を表現する発声の音声データ、間投詞、あるいは不要な
語尾など、日常的な発話でよく用いられる不要語の音声
データを併用することにより、このような発声に特有な
音声の時間構造を上記状態クラスタ間の遷移確率に反映
させることを特徴とする請求項１又は７に記載の音声認
識方法。
【請求項９】隠れマルコフモデルネットワークでなる
音響モデルを利用して音声認識を行う音声認識装置にお
いて、あらかじめ作成された、音響モデルを構成する隠れマル
コフモデルネットワークの任意の状態間の状態遷移の起
こりやすさを表す状態遷移制約情報を格納している状態
遷移制約情報格納手段と、入力音声データに対する認識結果を算出する認識処理手
段と、認識処理により得られた局所ゆう度と格納されている状
態遷移制約情報とに基づいて、参照ゆう度を算出する参
照ゆう度算出手段と、認識処理により得られた認識ゆう度と、上記参照ゆう度
の比較により、入力音声データの棄却判定を行うリジェ
クト判定手段とを有し、上記状態遷移制約情報格納手段に格納されている状態遷
移制約情報が、以下のステップｃ１〜ステップｃ２で作
成されたものであることを特徴とする音声認識装置。（ステップｃ１）音響モデルを構成する隠れマルコフモ
デルネットワークの全状態に対するクラスタリングを行
い、生成された状態クラスタにおける各状態間の遷移接
続に基づいて、状態クラスタ間の遷移の起こりやすさを
表わす尺度である状態クラスタ間の遷移確率の初期値を
算出する。（ステップｃ２）状態クラスタ数と同数の状態を有す
る、任意の状態間に遷移接続を有する隠れマルコフモデ
ルネットワークであるエルゴディック隠れマルコフモデ
ルネットワークを構成し、その状態遷移確率パラメータ
に上記状態クラスタ間の遷移確率の初期値を、また、出
力確率分布パラメータに各状態クラスタを代表する状態
の出力確率分布をそれぞれ対応させ、このようにして作
成したエルゴディック隠れマルコフモデルネットワーク
を、音声データを用いて学習することによって得られる
状態遷移確率を、状態クラスタ間の遷移確率の推定値と
し、隠れマルコフモデルネットワークの各状態がどの状
態クラスタに属するかを示す情報を付加して状態遷移制
約情報とする。
【請求項１０】隠れマルコフモデルネットワークでな
る音響モデルを利用して音声認識を行う音声認識装置に
おいて、あらかじめ作成された、音響モデルを構成する隠れマル
コフモデルネットワークの任意の状態間の状態遷移の起
こりやすさを表す状態遷移制約情報を格納している状態
遷移制約情報格納手段と、入力音声データに対する認識結果を算出する認識処理手
段と、認識処理により得られた局所ゆう度と格納されている状
態遷移制約情報との加重和を、入力音声データの各フレ
ーム毎に、隠れマルコフモデルネットワークの各状態に
対して算出し、これを全フレームにわたって累積加算し
た値の最大値を上記参照ゆう度として算出する参照ゆう
度算出手段と、認識処理により得られた認識ゆう度と、上記参照ゆう度
の比較により、入力音声データの棄却判定を行うリジェ
クト判定手段とを有することを特徴とする音声認識装
置。
【請求項１１】上記参照ゆう度算出手段は、状態遷移
制約情報の表現に用いる、類似した音響的特徴を有する
隠れマルコフモデルネットワークの状態のグループであ
る各状態クラスタで、上記局所ゆう度の値が最大である
状態に対してのみ、上記加重和及び上記累積加算の計算
を行うことによって、上記参照ゆう度を算出することを
特徴とする請求項１０に記載の音声認識装置。
【請求項１２】隠れマルコフモデルネットワークでな
る音響モデルを利用して音声認識を行う音声認識装置に
おいて、あらかじめ作成された、音響モデルを構成する隠れマル
コフモデルネットワークの任意の状態間の状態遷移の起
こりやすさを表す状態遷移制約情報を格納している状態
遷移制約情報格納手段と、入力音声データに対する認識結果を算出すると共に、そ
の際、不要語仮説累積ゆう度を認識処理で用いて、入力
音声データ中の不要語あるいは未知語部分の検出と、そ
れ以外の部分の認識を行う認識処理手段と、認識処理により得られた局所ゆう度及び部分仮説累積ゆ
う度と、上記状態遷移制約情報とから、入力音声データ
中の不要語あるいは未知語を処理するために用いる不要
語仮説累積ゆう度を算出する不要語処理手段とを有する
ことを特徴とする音声認識装置。
【請求項１３】上記不要語処理手段は、認識処理によ
り得られた局所ゆう度の加重和に補正定数を加算した値
を、入力音声データの各フレーム毎に、隠れマルコフモ
デルネットワークの各状態に対して算出し、これを入力
音声デー夕の部分区間フレームにわたって累積加算した
値の最大値を不要語仮説ゆう度とし、認識処理により得
られた部分仮説累積ゆう度に、上記不要語仮説ゆう度を
加算して上記不要語仮説累積ゆう度を算出することを特
徴とする請求項１２に記載の音声認識装置。
【請求項１４】上記不要語処理手段は、上記状態遷移
制約情報の表現に用いる、類似した音響的特徴を有する
隠れマルコフモデルネットワークの状態のグループであ
る各状態クラスタで、上記局所ゆう度の値が最大である
状態に対してのみ、上記加重和及び上記累積加算の計算
を行うことによって、上記不要語仮説ゆう度を算出する
ことを特徴とする請求項１３に記載の音声認識装置。
【請求項１５】上記状態遷移制約情報格納手段に格納
されている上記状態遷移制約情報が、以下のステップｄ
１〜ステップｄ２で作成されたものであることを特徴と
する請求項１２に記載の音声認識装置。（ステップｄ１）音響モデルを構成する隠れマルコフモ
デルネットワークの全状態に対するクラスタリングを行
い、生成された状態クラスタにおける各状態間の遷移接
続に基づいて、状態クラスタ間の遷移の起こりやすさを
表わす尺度である状態クラスタ間の遷移確率の初期値を
算出する。（ステップｄ２）状態クラスタ数と同数の状態を有す
る、任意の状態間に遷移接続を有する隠れマルコフモデ
ルネットワークであるエルゴディック隠れマルコフモデ
ルネットワークを構成し、その状態遷移確率パラメータ
に上記状態クラスタ間の遷移確率の初期値を、また、出
力確率分布パラメータに各状態クラスタを代表する状態
の出力確率分布をそれぞれ対応させ、このようにして作
成したエルゴディック隠れマルコフモデルネットワーク
を、音声データを用いて学習することによって得られる
状態遷移確率を、状態クラスタ間の遷移確率の推定値と
し、隠れマルコフモデルネットワークの各状態がどの状
態クラスタに属するかを示す情報を付加して状態遷移制
約情報とする。
【請求項１６】上記ステップｃ２又はｄ２による状態
クラスタ間の遷移確率の算出における、上記エルゴディ
ック隠れマルコフモデルネットワークの学習の際に、音
響モデルの隠れマルコフモデルネットワークを作成する
際に用いた通常の言語発声の音声データだけでなく、感
情を表現する発声の音声データ、間投詞、あるいは不要
な語尾など、日常的な発話でよく用いられる不要語の音
声データを併用することにより、このような発声に特有
な音声の時間構造を上記状態クラスタ間の遷移確率に反
映させることを特徴とする請求項８又は１５に記載の音
声認識装置。