JPH11272288A - 連続音声認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 単語等のグラフを中間結果として作成するマ
ルチパス探索を行う場合に、グラフの最尤経路以外の単
語等の境界の情報を保持する。 【解決手段】 単語仮説伸長部４１は木構造辞書４２を
参照して、入力された音素仮説をつないで単語仮説を生
成する。単語グラフ伸長部４３は単語仮説を木状につな
げ、単語列仮説を生成する。一つの単語列仮説は単語列
仮説の後端の単語仮説の最終フレームである先端フレー
ムと、単語列仮説を構成する単語仮説の単語スコアの和
である単語列スコアの組を一つまたは複数保持する。単
語グラフ伸長部４３は、単語列仮説の最後尾の単語が等
しくかつ先端フレームが全て等しいものがあれば、それ
らの単語列仮説を表すノードのマージを行い、グラフを
作成する。単語グラフ伸長部４３は、言語認識部５から
言語スコアを受け取り、単語列の総合スコアとする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は音声認識装置に関
し、特に、大語彙連続音声認識において認識の途中結果
として得られる音素や音節・単語などの系列を、有向グ
ラフ型のデータ構造を用いて表現する連続音声認識装置
に関する。

【０００２】

【従来の技術】文や文節などの単位で発声された音声を
自動的に認識しようとするとき、可能性のある単語列に
対する音声の音響的尤度を計算する音声処理と、可能性
のある単語列の言語的出現確率を計算する言語処理をど
のように結合するかが問題となる。比較的語彙数の少な
い場合は、音声処理と言語処理の密結合型であるシング
ルパス探索方式が、処理効率及び認識精度において有利
であると考えられる。しかし、語彙数１万語を超える大
語彙連続音声認識においては、同一音素列に対する言語
的解釈の曖昧性が大きいことから、音響的尤度計算の結
果を単語グラフ（Ｍ．Ｏｅｒｄｅｒ ａｎｄ Ｈ．Ｎｅ
ｙ，”Ｗｏｒｄ ｇｒａｐｈｓ：Ａｎ ｅｆｆｉｃｉｅ
ｎｔ ｉｎｔｅｒｆａｃｅ ｂｅｔｗｅｅｎ ｃｏｎｔ
ｉｎｕｏｕｓ−ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ
ａｎｄ ｌａｎｇｕａｇｅ ｕｎｄｅｒｓｔａｎｄｉ
ｎｇ”，Ｐｒｏｃ．ＩＣＡＳＳＰ−９３，ｖｏｌ．Ｉ
Ｉ，ｐｐ．１１９−１２２）等の中間結果にまとめ、莫
大な数の単語等の系列をコンパクトに表現する方法がよ
く使われる。

【０００３】一般に、グラフはノード（節点）の集合
と、二つのノードを結ぶアーク（枝）の集合として定義
される。アークに向きのついているものは特に有向グラ
フと呼ばれる。音声処理と言語処理とのインターフェー
スとして、有向グラフ型のデータ構造を用いる場合に
は、ノードは時刻をその属性として持ち、アークは単語
などを示すラベルと、そのスコア（確からしさ）という
属性を持つ。

【０００４】有向グラフでは、隣り合ったアークをアー
クの向きに従ってつないでいくことで、ノードとノード
を結ぶ経路を考えることができる。このような経路はパ
スと呼ばれる。グラフが音声処理の結果を表している時
には、アークとノードの属性から、一つのパスには単語
などの系列とその系列に対するスコア（そのパス上のア
ークのスコアの和）、およびこの系列がいつからいつま
で存在するか、が一意に対応している。

【０００５】

【発明が解決しようとする課題】シングルパス探索方式
では、通常、音響的尤度計算は単語列毎に独立して行う
ため、異なる単語列中に同一ラベルで存在時間も同じ音
素が存在しても、その尤度計算は別個に行われる。これ
に対し、単語グラフなどを中間結果として作成する場合
は、時間的に重複した、異なる履歴を持つ単語仮説を一
つのアークにまとめることにより、音素認識の重複計算
を抑えることができる。しかし、グラフを中間表現とし
て用いる場合には、最尤単語列以外の最適性は失われる
ことが多い。単語境界の判定に、先行単語の違いにより
境界を一意に決定する単語対近似などを用いるためであ
る。このためグラフなどの中間表現を用いてマルチパス
探索で音声認識を行う方式は、シングルパス探索で音声
認識を行う方式に比べ、一般に精度が落ちるとされる。

【０００６】本発明は、このような事情を考慮してなさ
れたものであり、その目的は、単語等のグラフを中間結
果として作成するマルチパス探索を行う場合に、グラフ
の最尤経路以外の単語等の境界の最適性をよりよく保持
し、かつグラフの作成を実時間処理を行なえるようにす
ることである。

【０００７】

【課題を解決するための手段】本発明の音声認識装置
は、音声の基本単位の尤度を計算し音声の基本単位の仮
説を生成する音韻認識手段と、下位の音声の単位、例え
ば音素などの仮説を接続して上位の音声単位、例えば単
語などの仮説を生成する仮説伸長手段と、単語等の音声
単位の仮説をグラフの形式に構成するグラフ伸長手段と
を備える。以下の説明においては、入力された音声信号
に対する音響的尤度計算を、音素仮説の尤度計算、単語
仮説の尤度計算、単語列仮説の尤度計算の３段構成で行
い、単語仮説を単位としたグラフを作成するが、本発明
はこれに限定するものではなく、例えば音素仮説の尤度
計算と単語仮説の尤度計算の間に、形態素仮説の尤度計
算を行ったり、単語仮説の尤度計算と単語列仮説の尤度
計算の間に文節仮説の尤度計算を行い、文節を単位とし
たグラフを作成することもできる。

【０００８】本発明の音韻認識手段は音韻認識を効率的
に行うため、音素や音素片などの基本的な単位で音響的
尤度の計算を行い、同一時刻に開始される同一ラベルの
尤度計算を共通化する。以下の説明においては音素を音
韻認識の単位とするが、本発明はこれに限定されるもの
ではなく音素片あるいは音節等を単位とすることもでき
る。また以下の説明では音響的尤度の計算はＨＭＭ（Ｈ
ｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）を用いて行う
が、ニューラルネットワーク等を用いることもできる。
音韻認識手段はＨＭＭにより入力された音声信号のある
区間が一つの音素に相当する尤度を計算し、その尤度が
ある閾値より高いとき、音素仮説を出力する。音素仮説
が出力されたとき、出力された音素に接続しうる音素の
ＨＭＭを起動する。複数の音素仮説が同時に出力された
ときは、出力された複数の音素仮説の夫々に接続しうる
音素の集合の和を求め、同時刻に同音素のＨＭＭは一つ
だけ起動されるようにする。これにより同一時刻に開始
される同一ラベルの尤度計算は共通化される。一つの音
素の継続時間は限られているため、ある時刻に起動され
たＨＭＭは、一定時間後に消去される。こうして、一時
に起動されているＨＭＭの数は常に、高々、音素カテゴ
リー数×音素の継続時間長となる。

【０００９】仮説伸長手段は音韻認識手段から出力され
た音素仮説を接続して単語仮説をつくり、同一時間帯に
存在する同一音韻列に対応する単語仮説の尤度計算を一
度だけ行う。単語仮説伸長手段は単語仮説の尤度がある
閾値より高いとき、単語仮説を出力する。

【００１０】グラフ伸長手段は単語仮説を接続して単語
列仮説を木の形に保持し、単語列仮説の尤度計算を行
う。認識の途中において、グラフ伸長手段は同一単語列
に対する単語列仮説で、単語列仮説の終端の時刻が異な
るものを保持しておき、認識の途中で単語境界あるいは
音素境界を決定しないため、セグメンテーションの失敗
による音響的尤度計算の精度の劣化を防止し、音響的最
尤音韻列以外の単語列に対しても音響的尤度計算の最適
性を保障する。グラフ伸長手段は同一の単語列に対応す
る複数の単語列仮説の終端の時刻が全て等しい単語列に
ついて、それらの単語列仮説に後続する単語列仮説を共
有させる形で、木からグラフに変換する。

【００１１】無音区間の検出等により、ある時刻におい
てグラフのノードが一つだけ存在し、その時刻を跨いで
グラフのアークが存在しない場合、グラフの収束が起る
という。グラフ伸長手段はグラフの収束が起ると、グラ
フ作成開始時刻からグラフの収束が起った時刻までの、
グラフ上の全ての単語仮説の境界時刻を一意に決定す
る。

【００１２】以上は下位の音声単位の認識結果を基に上
位の音声単位の認識を行うボトムアップ的構成である
が、これを以下のように修正することにより、上位の音
声単位の認識結果によって下位の音声単位の認識を制御
するようにトップダウン的制御を行うことが可能にな
る。

【００１３】グラフ伸長手段において、文法や統計量を
用いて単語列の言語的尤度を求める場合、音響的尤度の
高い単語列仮説であっても言語的尤度と音響的尤度の積
は低くなることがある。そのような単語列仮説に後続す
る単語仮説の尤度計算を行わないことで処理効率が上が
る。グラフ伸長手段から単語仮説伸長手段に、ある時刻
から始まりうる単語の集合、あるいはある時刻から始ま
りうる単語とその単語を含む単語列の言語的尤度の組の
集合を渡すことにより、単語仮説伸長手段では既存の単
語列仮説に接続しない単語仮説、あるいは単語列仮説と
接続したとき言語的に低い尤度しか持たない単語仮説の
計算を省くことができる。

【００１４】また、音韻認識手段に仮説伸長手段から、
ある時刻に始まりうる音素の集合、あるいはある時刻に
始まりうる音素とその音素が後続しうる音韻列の言語的
音響的尤度の組の集合を渡すことにより、無駄な音韻認
識を行わないようにすることができる。

【００１５】

【発明の実施の形態】以下、本発明をその一実施例を参
照して詳細に説明する。この実施例は文節あるいは文単
位の音声入力に対し、複数の認識候補を出力する、連続
音声入力装置に関するものである。

【００１６】図１はこの実施例のブロック図である。マ
イクロホン１に入力された音声は電気信号に変換され、
特徴抽出部２に入力される。特徴抽出部２では電気信号
をＡ／Ｄ変換し、適当な周期（例えば８ミリ秒）で周波
数分析を行いＬＰＣケプストラム係数などを抽出する。
この周期一つ分を１フレームと呼ぶ。１フレーム毎に、
ＬＰＣケプストラム係数などからなる音響特徴ベクトル
が、音響的尤度計算部３に入力される。音響的尤度計算
部３はＨＭＭによる照合を行い、音素ラベル、開始フレ
ーム、終了フレーム、音素スコアなどからなる音素仮説
を単語グラフ作成部４に入力する。単語グラフ作成部４
は音素仮説をつないで単語仮説を生成し、単語仮説をつ
ないで単語列仮説を生成する。単語グラフ作成部４は単
語列仮説を言語認識部５に入力し、言語認識部５は、入
力された単語列仮説の言語的尤度の関数である言語スコ
アを、単語グラフ作成部４に返す。単語グラフ作成部４
は音素スコアと言語スコアによって、単語列仮説の枝刈
りを行い、最終的に認識候補を出力する。

【００１７】図２は音響的尤度計算部３のブロック図で
ある。ＨＭＭ計算部３１はＨＭＭ音素モデル３２を参照
して、入力された音響特徴ベクトルから音素仮説の尤度
の関数である音素スコアを計算する。ある音素の最終状
態のスコアが、全音素の全状態のスコアの内、最良のも
のと比べ、ある閾値以内であるとき、その音素を一つの
音素仮説として出力する。ＨＭＭ設定部３３はＨＭＭ計
算部３１から入力された音素に接続しうる音素を、音素
接続表３４を参照して設定し、ＨＭＭ計算部３１に入力
する。

【００１８】図３はＨＭＭの計算の途中経過を表す模式
図である。ＨＭＭの初期状態は無音（音声区間の前後を
表す）ＨＭＭのみが設定されている。各ＨＭＭは音素番
号、音素ＨＭＭを構成する状態（ここでは各音素３状
態）に対するその音素の開始フレーム（最初の無音に関
しては０フレーム）からの最良パスのスコア、開始フレ
ーム、０フレームからその音素の開始フレームまでの最
良パスのスコアである履歴スコアからなる。

【００１９】各フレームにおいて、設定されている全音
素ＨＭＭの全状態の内で、履歴スコアと状態のスコアの
和の最小値を求め、その値よりある値だけ大きい値を閾
値として設定する。設定されている全音素ＨＭＭについ
て、各音素ＨＭＭの全状態のスコアの最小値と履歴スコ
アの和が閾値より大きいものは、消去する。また、音素
ＨＭＭの開始フレームが現在のフレームよりある一定時
間（例えば３０フレーム）以前のものは、消去する。設
定されている全音素ＨＭＭの最終状態のスコアと履歴ス
コアの和が閾値より小さいものは、開始フレームからそ
のフレームまでの音素仮説として出力される。音素仮説
は図４のように音素番号、開始フレーム、終了フレー
ム、履歴スコア、及び音素仮説の開始フレームから終了
フレームまでのスコアである音素スコアからなる。図５
は音素仮説が生成される様子の模式図である。

【００２０】出力された音素仮説の音素に後続しうる音
素のＨＭＭを、その音素の終了フレームの次のフレーム
を開始フレームとして設定する。また履歴スコアは出力
された音素仮説の履歴スコアと音素スコアの和である。
出力された音素仮説の内複数のものが同一の後続しうる
音素を持つ場合、新しく設定されるＨＭＭは同一の音素
に対し一つである。その場合の、新しく設定されたＨＭ
Ｍの履歴スコアは、出力された音素仮説の内、その音素
が新しく設定されたＨＭＭの音素の先行音素であるもの
について、履歴スコアと音素スコアの和の最小の値とす
る。

【００２１】図６は単語グラフ作成部４のブロック図で
ある。単語仮説伸長部４１は木構造辞書４２を参照し
て、入力された音素仮説をつないで単語仮説を生成す
る。図７は木構造辞書の一部を表す模式図である。木は
ノードとアークからなり、一つのアークには一つの音素
が対応づけられる。木のルートノードからリーフノード
あるいは途中のノードまでの経路のアークに対応した音
素の並びが単語に対応する。図８は図７の木構造辞書の
ノードと辞書項目の対応を表す。図９は単語仮説が伸長
される途中の様子の模式図である。音素仮説がつながれ
て、木構造辞書のルートノードからあるノードに至る音
素仮説の連鎖がつくられる。単語仮説の伸長は、木構造
辞書のあるノードに至る音素仮説の連鎖に、そのノード
から出ているアークに対応する音素の音素仮説をつなぐ
ことによって行われる。このとき、音素仮説の連鎖の終
端の音素仮説の終了フレームを先端フレームとして記憶
し、先端フレームの次フレームが開始フレームである音
素仮説のみをつなぐ。また、開始フレームと先端フレー
ムが等しい、同一の音素列に対応する複数の音素仮説の
連鎖が生じうるが、単語仮説を構成する音素仮説のスコ
アの和である単語スコアの最も低いもののみを残して消
去する。

【００２２】同一の先端フレームを持つ音素仮説の連鎖
について、履歴スコアと単語スコアの和の最小値を求
め、その値よりある値だけ大きい値を閾値として設定す
る。同一の先端フレームを持つ音素仮説の連鎖の内、履
歴スコアと単語スコアの和が閾値より大きいものは消去
する。また、同一の先端フレームを持つ音素仮説の連鎖
を、履歴スコアと単語スコアの和のよってソートし、そ
の値が低いものから、ある数の音素仮説の連鎖を残し
て、それ以外のものを消去する。

【００２３】音素仮説の連鎖が対応する辞書ノードが、
単語に対応するとき、単語仮説が出力される。単語仮説
は図１０のように単語番号、開始フレーム、終了フレー
ム、単語スコア、履歴スコアからなる。図１１は単語仮
説が生成される様子の模式図である。

【００２４】図６の単語グラフ伸長部４３は単語仮説伸
長部４１から出力された単語仮説を木状につなげ、単語
列仮説を生成する。同一の単語列に相当する単語仮説の
連鎖は一つにまとめられ単語列仮説となり、一つの単語
列仮説は単語列仮説の後端の単語仮説の最終フレームで
ある先端フレームと、単語列仮説を構成する単語仮説の
単語スコアの和である単語列スコアの組を一つまたは複
数保持する。先端フレームが等しい同一の単語列仮説を
構成する単語仮説の連鎖が複数存在する場合は、単語列
スコアの最も低いもののみを残して消去する。図１２は
単語列仮説が伸長される様子の模式図である。図１２の
木のノードは一つの単語列仮説を表し、アークは単語列
仮説を構成する個々の単語仮説を表す。

【００２５】単語グラフ伸長部４３は単語列を言語認識
部５に入力し、言語認識部５は単語列の生起確率の関数
である言語スコアを単語Ｎ−ｇｒａｍなどによって求
め、その値を単語列仮説伸長部４３に入力する。単語グ
ラフ伸長部４３は言語スコアを単語列スコアに加える。

【００２６】同一の先端フレームを持つ単語仮説の連鎖
について、単語列スコアの最小値を求め、その値よりあ
る値だけ大きい値を閾値として設定する。同一の先端フ
レームを持つ単語仮説の連鎖の内、単語列スコアが閾値
より大きいものは消去する。また、同一の先端フレーム
を持つ単語仮説の連鎖を、単語列スコアによってソート
し、その値が低いものから、ある数の単語仮説の連鎖を
残して、それ以外のものを消去する。

【００２７】単語グラフ伸長部４３は、単語列仮説の最
後尾の単語が等しくかつ先端フレームが全て等しいもの
があれば、それらの単語列仮説を表すノードのマージを
行い、グラフを作成する。図１３は木状に表現されてい
た単語列仮説が、木のノードがマージされグラフになる
様子の模式図である。図１３の例では「＃（無音）文章
を」と「＃（無音）文書を」がマージされ、２つの単語
列仮説に後続する単語列仮説は共通になる。マージされ
た単語列仮説各々の単語列スコアの和を求め、その値が
最も低い単語列仮説をマージされた単語列仮説の代表と
し、後続する単語列仮説の単語列スコアは代表の単語列
仮説の単語列スコアをもとに計算する。

【００２８】単語列仮説のマージを行うタイミングは単
語列仮説の先端フレームの最も新しいものからあるフレ
ーム数後とし、ノードのマージを行った後にマージされ
た単語列仮説の内一部だけに新しい先端フレームが加わ
った場合は、マージされたノードの分割を行い、マージ
された単語列仮説は先端フレームが全て等しくなるよう
にする。ノードの分割が行われたときは、そのノードに
後続する単語列仮説をコピーして、分割されて生じた新
しいノードに接続する。ただし、コピーされた単語列仮
説の単語列スコアは、分割されたノードに対応する単語
列仮説をもとに再計算される。

【００２９】音声入力が終了したフレームを先端フレー
ムとする単語列仮説及び、そのような単語列仮説に単語
列の途中でマージする単語列を単語グラフとして出力す
る。

【００３０】

【発明の効果】以上説明したように、本発明によれば、
例えば、同一時間帯に存在する同一音素のＨＭＭ計算を
一回だけ行うことにより、計算コストの高いＨＭＭモデ
ルを用いても効率的に音響的尤度計算を行える。また、
グラフ中の各パスのスコアは近似計算が少なく、ほぼ最
適性が期待できる。

【図面の簡単な説明】

【図１】 本発明の実施例の全体のブロック図である。

【図２】 図１の音響的尤度計算部のブロック図であ
る。

【図３】 ＨＭＭによる音響的尤度計算の経過の様子の
模式図である。

【図４】 音素仮説の模式図である。

【図５】 音素仮説が生成される様子の模式図である。

【図６】 図１の単語グラフ作成部のブロック図であ
る。

【図７】 図６の木構造辞書の模式図である。

【図８】 図７の木構造辞書のノードと単語の対応を示
す図である。

【図９】 単語仮説が伸長する様子の模式図である。

【図１０】 単語仮説の模式図である。

【図１１】 単語仮説が生成される様子の模式図であ
る。

【図１２】 単語列仮説が伸長される様子の模式図であ
る。

【図１３】 単語列仮説のマージが行われる様子の模式
図である。

【符号の説明】

１ マイクロホン ２ 特徴抽出部 ３ 音響的尤度計算部 ４ 単語グラフ作成部 ５ 言語認識部 ３１ ＨＭＭ計算部 ３２ ＨＭＭ音素モデル ３３ ＨＭＭ設定部 ３４ 音素接続表 ４１ 単語仮説伸長部 ４２ 木構造辞書 ４３ 単語グラフ伸長部

Claims (7)

【特許請求の範囲】
1. 【請求項１】 以下の（ａ）〜（ｃ）の手段を有する連
   続音声認識装置。 （ａ）音声の基本単位の尤度を計算し音声の基本単位の
   仮説を生成する音韻認識手段。この音韻認識手段は、音
   素や音素片などの音声の基本単位で音響的尤度の計算を
   行い、同一時刻に開始される同一基本単位候補の尤度計
   算を共通化する。上記音声の基本単位は最も下位の音声
   単位である。 （ｂ）下位の音声単位の仮説、例えば音素などの仮説を
   接続して上位の音声単位の仮説、例えば単語などの仮説
   を生成する仮説伸長手段。この仮説伸長手段は、下位の
   音声単位の仮説を接続して上位の音声単位の仮説を作
   り、上記上位の音声単位の候補の尤度計算は上記下位の
   音声単位の仮説の尤度計算に基づいて行なう。上記尤度
   計算は（ｃ）のグラフ伸長手段が伸長するグラフに沿っ
   て実行され、同一時間帯に存在するかぎり１の上記上位
   の音声単位の仮説に対して一度しか尤度計算を行なわな
   い。 （ｃ）単語等の音声単位の仮説をグラフの形式に構成す
   るグラフ伸長手段。このグラフ伸長手段は単語仮説等、
   最も上位の音声単位の仮説を接続して最上位音声単位列
   仮説を木の形に保持し、最上位音声単位列仮説の尤度計
   算を行う。このグラフ伸長手段は、終了時刻が同一の複
   数の最上位音声単位列仮説に、それらの最上位音声単位
   列仮説に後続する最上位音声単位列仮説を共有させる態
   様で、木をグラフに変換する。認識の途中において、上
   記グラフ伸長手段は、継続時間が異なる最上位音声単位
   列仮説も保持しておき、認識の途中で最上位音声単位の
   境界を一意に決定しない。
2. 【請求項２】 有向グラフ型のデータ構造を用い、所定
   レベルの音声単位を有向グラフのアークに対応させ、上
   記所定レベルの音声単位が連続して発話されて成る入力
   音声を認識する連続音声認識装置において、上記入力音
   声の音響的尤度を計算するのに、階層的に下位の第１の
   レベルの音声単位の音響的尤度を計算し、上記第１のレ
   ベルの音声単位の仮説の系列を生成し、上記第１のレベ
   ルの音声単位の仮説を接続して上記第１のレベルの音声
   単位より階層的に上位の第２のレベルの音声単位の仮説
   を生成し、上記第１のレベルの音声単位の仮説の音響的
   尤度から上記第２のレベルの音声単位の仮説の音響的尤
   度を計算し、同一時間帯に存在する同一ラベルの仮説の
   生成を一回だけ行うようにし、入力音声全体の処理が終
   了するまでは仮説の境界を決定せず、入力音声の終端等
   に於いてグラフが収束するまではグラフのノードの属性
   である時刻は一意に決定せず、グラフの各々のアークに
   同一ラベルの複数の、上記所定レベルの音声単位の仮説
   を対応させることを特徴とする連続音声認識装置。
3. 【請求項３】 上記第１のレベルの音声単位を音素と
   し、上記第２のレベルの音声単位および上記所定のレベ
   ルの音声単位を単語とした請求項２記載の連続音声認識
   装置。
4. 【請求項４】 上記所定のレベルの音声単位の仮説をア
   ークとして木を構成し、木のノードの属性である時刻の
   組が全て等しいことを基準として木のノードのマージを
   行い、マージされたノードから出るアークを共有するこ
   とで木からグラフを作成することとする請求項２または
   ３記載の連続音声認識装置。
5. 【請求項５】 グラフのノードの属性である時刻の数に
   上限を設け、その数が上限を超えた場合は、上記所定レ
   ベルの音声単位の仮説の音響的尤度と最尤音韻列の音響
   的尤度とを用いて、グラフのノードの属性である時刻の
   尤度を評価し、評価の低い時刻に関しては該ノードの属
   性から除外する請求項２、３または４記載の連続音声認
   識装置。
6. 【請求項６】 上記第２のレベルの音声単位の仮説の状
   態に基づいて、上記第１のレベルの音声単位の系列の次
   に来る上記第１のレベルの音声単位の仮説を予測し、効
   率的に上記第１のレベルの音声単位の仮説の探索を行う
   ことを特徴とする請求項２、３、４または５記載の連続
   音声認識装置。
7. 【請求項７】 上記所定のレベルの音声単位の仮説を接
   続してグラフを伸長する際、上記所定のレベルの音声単
   位の並びの言語的尤度を計算し、音響的尤度と言語的尤
   度とを統合して、尤度の低い仮説の伸長を抑制するとと
   もに、グラフのノードの属性である時刻に与えられた音
   響的尤度と言語的尤度とを基に、該時刻を始端時刻とす
   る上記所定のレベルの音声単位の仮説の枝刈りを行い、
   上記枝刈りにより、上記第１のレベルの音声単位の仮説
   の系列の次に来る、上記第１のレベルの音声単位の仮説
   を効率的に探索する請求項２、３、４または５記載の連
   続音声認識装置。