JPH0338699A - 音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〈産業上の利用分野〉・ この発明は、入力された音声を単語または文節等の意味
の有る単位で認識する音声認識装置に関する。

〈従来の技術〉 従来、音声認識装置として、音韻を識別単位とする音声
認識装置がある。この音韻を識別単位とする音声認識装
置においては、音韻の識別結果を組み合わせて音声の認
識処理（ボトムアップ処理）を行うので、文節等のよう
に活用を含む超大給量の認識が可能であり、文章入力に
適している。

ところが、上記音韻を識別単位とする音声認識装置によ
って文節の単位で認識処理を行う場合には、文節認識の
精度をある程度以上高くすることは困難である。そこで
、音韻を識別単位とする識別動作に平行して単語を識別
単位とする識別動作を行って、両識別結果に基づいて文
節を認識することが試みられている（例えば、「連続音
声認識における頻出単語スポツティング」日本音響学会
昭和６１年度秋期研究発表会講演論文集２−３１Ｏ１特
開昭６３−１５３５９５等）。

〈発明が解決しようとする課題〉 しかしながら、上記音韻単位による識別と単語単位によ
る識別とを平行して行う音声認識装置においては単語を
識別単位とする識別動作を実行しなければならない。と
ころが、単語を識別単位としｆこ場合には識別に時間を
要するにら拘わらず、識別できる単語は高々ｉ、ｏｏｏ
語程度である。

しかも、その識別の対象となる総ての単語を一度発声し
て、その単語の特徴パラメータから戊る単語標準パター
ンを辞書に登録しておかなければならず効率が悪いとい
う問題がある。

そこで、この発明の目的は、音韻を識別単位として、効
率良くしかも精度良く超大給電の音声を認識できる音声
認識装置を提供することにある。

〈課題を解決するための手段〉 上記目的を達成するため、この発明は、人力された音声
信号を音響分「して特徴パラメータに変換し、この特徴
パラメータを所定の手法によって音韻単位で識別し、こ
の識別結果に基づいて音声を認識する音声認識装置にお
いて、上記音韻単位の識別結果に基づいて、入力音声を
単語または文節等の意味の有る認識単位で辞書を照合し
て認識する認識部であって、各々の認識単位が異なる複
数の認識部と、各認識部による認識結果を表示する表示
部を備えて、異なる認識単位の認識処理を併用できるよ
うにしたことを特徴としている。

また、上記音声認識装置において上記各認識部が音声を
認識する際に用いる辞書は、各認識部の認識単位に対応
させて構成すると共に、各認識部毎に設けるようにする
のが望ましい。

さらに、上記音声認識装置において認識処理を行う際に
、動作させる認識部を切り替え選択するための切替手段
を設けるようにするのが望ましい。

さらに、上記音声認識装置における上記表示手段は、複
数の領域に分けられ、各領域に異なった認識部による認
識候補を表示する１つのウィンドウを有して、表示され
た認識候補の中から所望の認識候補を認識候補選択手段
によって選択可能にするのが望ましい。

さらに、上記音声認識装置における上記表示手段は、異
なった認識部による認識候補を夫々表示する複数のウィ
ンドウを有して、複数のウィンドウの中から所望のウィ
ンドウをウィンドウ選択手段によって選択し、この選択
されたウィンドウに表示された認識候補の中から所望の
認識候補を認識候補選択手段によって選択可能にするの
が望ましい。

く作用〉 音声信号が入力されると、この入力された音声信号が音
響分析されて特徴パラメータに変換され、この特徴パラ
メータがパターンマツチング等によって音韻単位で識別
される。そして、この音韻単位で識別された識別結果が
複数の認識部に入力され、上記識別結果に基づいて、各
認識部に応じた単語または文節等の意味の有る認識単位
で辞書等を照合して人力音声が認識される。そして、各
認識部における認識結果が表示部に表示される。

しｒこがって、複数の認識部によって異なる認識単位の
認識処理を併用して音声を認識することかできる。

また、上記音声認識装置は、各認識部において音声を認
識する際に用いる辞書を、各認識部の認識単位に対応さ
せて構成して各認識ＫＳ毎に設けるようにし、動作させ
る認識部を切替手段によって切り替え可能にすれば、人
力されろ音声の内容に応じて認識部を組み合わせて、さ
らに効率良く音声を認識することができる。

また、上記音声認識装置は、表示手段にオーブンされる
【つのウィンドウを複数の領域に分け、その各領域に異
なった認識部による認識候補を表示し、表示された認識
候補の中から所望の認識候補を認識候補選択手段によっ
て選択可能にすれば、簡単に正しい認識候補を選択する
ことができる。

また、上記音声認識装置は、表示手段にオーブンされる
複数のウィンドウの各ウィンドウに異なった認識部によ
る認識候補を表示し、上記オーブンされた複数のウィン
ドウの中から所望のウィンドウをウィンドウ選択手段に
よって選択し、かつ、この選択されたウィンドウに表示
された認識候補の中から所望する認識候補を認識候補手
段によって選択可能にすれば、さらに簡単に正しい認識
候補をより効率的に選択することかできる。

〈実施例〉 以下、この発明を図示の実施例により詳細に説明する。

この発明は、連続発声された音声を音節単位にセグメテ
ーションして識別し、得られた音節ラティスに基づいて
単語認識処理および文節認識処理の２種類の認識単位に
よる認識処理を実施し、単語認識結果と文節認識結果と
を併用して超大誘電の音声を認識するものである。

第１図はこの発明の音声認識装置の一実施例を示すブロ
ック図である。アナログ入力部ｌに連続して人力される
アナログ音声信号は、増幅器（ＡＭＰ）＋　１によって
増幅され、Ａ／Ｄ変換器１２によってディジタル音声信
号に変換されて音声分析部２に出力される。Ａ／Ｄ変換
器１２から音声分析部２に入力されたディジタル音声信
号は８ｍｓの周期で１６ｍ５をフレームの単位としてス
ペクトル分析が行われ、音響的特徴パラメータが生成さ
れる。そして、この生成された特徴パラメータは音節区
間の抽出に必要な情報（パワーおよび零交差数等）と共
に音節区間抽出部３出力される。

そうすると、音声分析部２から音節区間抽出部３に人力
された特徴パラメータは、音節区間の抽出に必要な情報
に基づいて音節単位に切り出される。そして、音節単位
に切り出された音節特徴パターンは、音節区間情報（音
節長、直前／直後の音節との間の無音時間長等）と共に
パターンメモリ７の特徴パターンメモリ７Ｉに格納され
る。上記パターンメモリ７は、上述のようにして音節区
間抽出部３によって切り出されたｌ音節分の音節特徴パ
ターンを１個だけ格納する上記特徴パターンメモリ７１
と、予め作成された標準となる音節の音響的特徴パラメ
ータから成る標準パターンを複数個記憶している標準パ
ターンメモリ７２とから構成されている。

上記特徴パターンメモリ７Ｉに格納された！音節の音節
特徴パターンと標準パターンメモリ７２に記憶された標
準パターンとの間の類似度計算が単音節認識部６によっ
て行われ、演算結果に基づいて音節区間抽出部３で切り
出された単音節が識別される。そして、連続した音節認
識結果（音節ラティス）内の音節候補の組み合わせと文
節認識用辞書９の内容との照合が文節認識部８によって
行われ、入力音声が文節単位で認識される。一方、単語
認識用辞書１１の辞書項目と連続した音節認識結果（音
節ラティス）内の音節候補群との照合が単語認識部ＩＯ
によって行われ、人力音声が単語単位で認識される。す
なわち、文節等の超大誘電の単位で音声が認識されるの
である。そして、文節認識部８による認識結果（文節候
補）および単語認識部１０による認識結果（単語候補）
が表示部１２に表示される。そうすると、オペレータに
よってキーボード１３が操作されて表示部１２に表示さ
れた文節候補および単語候補の中から正しい認識候補が
選択されて出力される。

ＣＰＵ（中央処理装置）５は上記アナログ入力部１、音
声分析部２．音節区間抽出部３．単音節認識部６．パタ
ーンメモリ７、文節認識部８．単語認識部ｌＯ１表示部
１２およびキーボード１３を制御して、音声認識処理動
作を実行する。また、ＣＰＵメモリ４には、ＣＰＵ５用
のプログラムおよび音声認識処理に必要な情報等が格納
されている。

第２図は上記ＣＰＵ５の制御に基づいて実施される音声
認識処理動作のフローチャートである。

以下、第２図に従って音声認識処理動作について詳細に
説明する。

ステップＳＬで、上記音声分析部２によって生成された
特徴パラメータが、音節区間抽出部３によって音節単位
に切り出される。その際に、複数の音節区間候補が存在
すれば複数の音節区間候補で切り出される。

上記音節区間の切り出しには種々の方法があるか、例え
ば次のようにして行われる。すなわち、パワーの増大も
しくは減少を伴うスペクトルの変化点とパワーデイツプ
とから音節境界を検出する。

そして、検出された音節境界によって挟まれる区間に含
まれる音節数が推定平均フレーム長の最小値の２倍以上
ある場合には、上記区間を複数の音節区間と見なして区
間内のスペクトルの変化点に基づいて複数の音節区間候
補が切り出される（第３図）。

ステップＳ２で、上記ステップＳＬにおいて切り出され
た音節区間候補が展開されて複数の音節区間列が生成さ
れる（第４図）。その際に、各音節区間列には、各音節
境界候補の確からしさに基づく信頼度が付加される。

ステップＳ３で、上記ステップＳ２において生成された
複数の音節区間列の一つの音節区間の特徴パターンが特
徴パターンメモリ７１に格納され、上述のようにして単
音節認識部６によって単音節認識が行われて音節候補が
出力される。こうして、上記複数の音節区間列が各音節
区間毎に認識されるのである。

ステップＳ４で、上記ステップＳ３における単音節認識
の認識結果として各音節区間列毎に音節ラティスが生成
される。その際に、音節ラティスの各音節候補には標準
パターンとの類似度に基づく信頼度が付加され、その信
頼度の高い順に音節候補が配列されるのである（第５図
）。

ステップＳ５で、上記ステップＳ４において生成された
各音節区間列毎の複数の音節ラティスに基づいて、信頼
度が第１位の音節区間列に対応する音節ラティス（以下
、第１位の音節ラティスと言う）が文節認識部８に送出
される。それと同時に文節処理の実行が指示される。

そうすると、文節認識部８においては、人力された第１
位の音節ラティスを構成する音節候補を組み合わせて文
字列が作成され、文節認識用辞書９の照合等の言語処理
が行われて、文法的に成立する文字列のみが認識結果（
文節候補）として累積信頼度と共に、累積信頼度の順に
出力される（第６図）。すなわち、文節認識処理はボト
ムアップ処理であると言うことができる。

ステップＳ６で、上記ステップＳ４において生成された
複数の音節ラティスの総てが単語認識部ｌＯに送出され
る。そして、単語認識用辞書１１が照合されて単語候補
が出力される。

上記辞書照合は次のように行われる。すなわち、単語認
識用辞書２における辞書項目（単語）を構成する総ての
音節が、音節ラティスを構成する音節候補群の中に存在
するような音節ラティスが在るか否かが各辞書項目毎に
判定される。その結果、そのような音節ラティスか存在
する場合にはその辞書項目（単語）が累積信頼度と共に
累積信頼度の順に認識結果（単語候補）として出力され
る（第７図）。すなわち、ｓ語処理はトップダウン処理
であると言うことができる。

ステップＳ７で、上記ステップＳ５において出力された
文節候補およびステップＳ６において出力された単語候
補が表示部１２に表示される（第８図または第９図）。

ステップＳ８で、上記ステップＳ７における表示内容を
参照して、文節候補および単語候補の中から人力音声に
対応する正しい認識候補が、キーボード１３によって選
択されて認識候補が確定され、音声認識処理動作が終了
する。

次に、例えば単語「はいけい」かアナログ入力部ｌに入
力された場合を例に、第１図〜第９図に従って上述の音
声認識処理動作をより具体的に説明する。

第３図は音節区間抽出部３において切り出された音節区
間候補を発声内容と音素記号と併せて示す。上記音素記
号は音声の変化を分かり易く示すために添記したもので
あり、この発明とは直接関係はない。この場合、人力音
声「はい」の部分においては音節／は／が音節区間候補
ＳＯに、音節／い／が音節区間候補Ｓｌに一意に決定さ
れている。ところが、入力音声「けい」の部分において
は音節列／けい／が音節区間候補Ｓ２に決定される場合
と、音節／け／が音節区間候補Ｓ３に決定されると共に
音節／い／が音節区間候補Ｓ４に決定される場合との２
通りの音節区間候補が作成されている。

・・・第２図のステップＳ１ 上述のように作成された音節区間候補か展開されて第４
図に示すような音節区間列が生成されろ。

この場合、音節区間候補列５Ｏ−９Ｌ−９２から成る音
節区間列０と音節区間候補列５Ｏ−９ｌ−８３Ｓ４から
成る音節区間列１との２通りの音節区間列が生成される
。その際に、上述のように音節区間列には信頼度か付加
されており、音節区間列０に付加された信頼度の方が音
節区間列１に付加された信頼度よりも高いものとする。

・・・第２図のステップＳ２ 第４図に示す音節区間列Ｏの各音節区間候補ＳＯ，Ｓｔ
、Ｓ２が単音認識部６で単音節認識され、その単音節認
識結果に基づいて第５図に示すようＧ音節ラティスが生
成される。この場合、音節区間列Ｏに基づく音節ラティ
スを音節ラティス０とし、音節区間列１に基づく音節ラ
ティスを音節ラティス１とする。

・・第２図のステップＳ３．ステップＳ４第１位の音節
ラティスである音節ラティス０が文節認識部８に送出さ
れて、音節ラティス０を構成する各音節区間候補Ｓ　Ｏ
，Ｓ　ｌ、　Ｓ　２に対応する音節候補が後に詳述する
ようにして選択されて文字列が作成される。すなわち、
まず各音節区間候補ＳＯ，Ｓ１．Ｓ２における信頼度が
第１位の音節候補が選択されて累積信頼度が最も高い文
字列「はいて」が作成される。以下、作成された文字列
の各文字が順次他の音節候補と取り替えられて文字列が
作成される。そして、文節認識用辞書９を照合して文節
認識用辞書９にない文字列や文法的に成立しない文字列
が除去されて、第６図に示すような文節候補が得られる
。図中における候補順位は、その文節候補を構成する音
節候補列の累積信頼度の大きい順である。　　　　　　
・・・ステップＳ５さらに、生成された総ての音節ラテ
ィス、すなわち、音節ラティスＯおよび音節ラティスｌ
が単語認識部１０に送出され、単語認識用辞書ｌｌが上
述のようにして照合されて単語認識が実行される。この
場合には、単語認識用辞書ｌｌの辞書項目「はいけい」
を構成する音節／は／、／い／、／け／および／い／の
総てが音節ラティス１の音節候補群の中に在るので、単
語候補として「はいけい」が音節ラティス番号１”と対
応付けて得られる。同様にして、辞書項目「かいて」を
構成する音節の総てが音節ラティスＯの音節候補群の中
に在るので単語候補「かいて」が音節ラティス番号“０
”と対応付けて得られる。以下同様にして、単語候補の
文字列と音節ラティス番号とが対応付けて得られ、第７
図に示すような単語候補が得られるのである。図中にお
ける候補順位は、その単語候補を構成する音節候補列の
累積信頼度の大きい順である。

・・・ステップＳに うして得られた、文節候補および単語候補の認識候補が
表示部１２に表示される。その際に、表示方法として次
に示すような２つの方法がある。

１つの方法は、第８図に示すように表示部Ｉ２にオープ
ンされた１つのウィンドウ２１を２つの領域に分割し、
その一方の領域には単語候補を表示すると共に他方の領
域には文節候補を表示することによって、１つのウィン
ドウ２１内に両認識候浦を同時に表示するのである。い
ま１つの方法は、第９図に示すように表示部１２に２つ
のウィンドウ２２．２３をオープンし、その一方のウィ
ンドウ２２に単語候補を表示すると共に他方のウィンド
ウ２３に文節候補を表示するのである。

・・・ステップＳ７ そして、第８図あるいは第９図の表示内容に従って、認
識候補を選択する場合には例えば次のようにして行う。

すなわち、１つのウィンドウ内の認識候補の選択にはキ
ーボード１３の「↓」、「↑」等のキーを用い、ウィン
ドウの選択の場合には「−」「←」等のキーを用いる。

　　　・・・ステップＳ８このように、文節認識処理と
単語認識処理とを併用することによって、文節等の超大
給量での認識が可能となると共に、その際に文節認識部
８において認識できなかった単語「はいけい」が単語認
識部ＩＯで認識されるので、キーボード１３による選択
によって所望の認識結果を得ることができるのである。

すなわち、本実施例においては、入力された音声の音声
信号に基づいて音節区間抽出部３によって音節区間列を
生成する。そして、この生成された音節区間列毎に、単
音節認識部６によって単音節認識を行って各音節区間列
に対応する音節ラティスを生成する。その後、信頼度が
第１位の音節ラティスに対しては文節認識部８によって
文節認識処理を実行すると共に、総ての音節ラティスに
対して単語認識処理を実行する。そして、表示部１２に
よって上記文節認識処理によって得られた文節候補およ
び単語認識処理によって得られた単語候補を表示し、こ
の表示結果を参照してキーボード１３によって所望の認
識結果を選択するようにしている。

このように、文節認識部８による文節認識処理と、単語
認識部１０による単語認識処理とを併用することによっ
て、以下に述べるような効果が得られる。すなわち、頻
度の高い単語を単語認識用辞書１１に登録しておくこと
によって、単語認識用辞書１１に登録された頻度の高い
単語は単語認識処理によって精度よく認識できる。一方
、単語認識用辞書１１に登録されていない単語あるいは
文節等は文節認識処理によって効率良く認識できる。

換言すれば、ボトムアップ処理である文節認識処理とト
ップダウン処理である単語認識処理とを併用することに
よって、精度と効率とをバランスさせて超大給量の音声
を認識できるのである。その際に、上述のように識別単
位を音節としているので、単語を識別単位とした場合よ
りも標準パターンの登録を効率良く行うことができるの
である。

すなわち、本実施例によれば、音節を識別単位としてい
るので効率良く音声の識別かできる。また単語単位での
認識処理と文節単位での認識処理とを併用しているので
超大給電の音声を効率良くしかも精度良く認識できるの
である。

上記実施例においては、音節を音声識別の単位としてい
る。しかしながら、この発明はこれに限定されるもので
はなく、音素および半音節等であってもよい。すなわち
、音素、半音節および音節等を総称したいわゆる音韻を
識別単位とすればよいのである。

上記実施例においては、信頼度第１位の音節ラティスで
文節認識処理を実行し、総ての音節ラティスで単語認識
処理を実行するようにしている。しかしながら、この発
明はこれに限定されるものではない。要は、異なる認識
単位の複数の認識処理を併用できればよいのである。

上記実施例においては、表示部１２に文節候補および単
語候補を表示する際に仮名文字によって表示するように
しているが、仮名漢字変換を行って漢字によって表示す
るようにしてもよい。

上記実施例においては、文節認識処理および単語認識処
理を同時に実行するようにしている。しかしながら、こ
の発明はこれに限定されるものではなく、両認識処理を
同時に実行するかあるいはいずれか一方の認識処理のみ
を実行するかを、切替手段によって切り替え可能にして
もよい。こうすることによって、例えば単語認識用辞書
１１に地名のみを登録しているような場合には、地名が
含まれていない一般の文章を人力する際には文節認識処
理のみを選択することによって、表示部■２に余分な認
識候補が表示されないようにして、さらに効率良く音声
認識を実施することができるのである。

〈発明の効果〉 以上より明らかなように、この発明の音声認識装置は、
認識単位の異なる複数の認識部および表示部を備えて、
入力された音声を音韻単位で識別し、この識別結果に基
づいて、上記複数の認識部によって辞書を照合して各認
識部に応じた認識単位で音声を認識し、その認識結果を
表示部に表示するようにしたので、異なる認識単位の認
識処理をＯＦ用できる。したがって、入力音声を音韻単
位て識別てきると共に、異なる認識中（立による複数の
認識処理を併用することによって、各認識単位による認
識の特徴を生かして効率良くしかも精度良く超大給量の
音声を認識することかできる。

また、この発明の音声認識装置は、上記各認識部が音声
を認識する際に用いる辞書を、各認識部の認識単位に対
応させて構成して各認識部毎に設するようにし、動作さ
せる認識部を切替手段によって切り替え選択可能にした
ので、入力音声の内容に応じた認識処理のみによって音
声認識を実行することができ、さらに効率良く音声を認
識できる。

また、この発明の音声認識装置は、上記表示部にオープ
ンする１つのウィンドウを複数の領域に分け、その各領
域に異なった認識部による認識候補を表示するようにし
、表示された認識候補の中から所望の認識候補を認識候
補選択手段によって選択可能にしたので、表示された認
識候補の中から正しい認識候補を選択でき、簡単に正し
い認識・候補を選択できる。

また、この発明の音声認識装置は、上記表示部にオーブ
ンする複数のウィンドウに異なった認識部による認識候
補を表示するようにし、複数のウィンドウの中から所望
のウィンドウをウィンドウ選択手段によって選択し、か
つ、この選択されたウィンドウに表示された認識候補の
中から所望の認識候補を認識候補選択手段によって選択
可能にしたので、さらに簡単に正しい認識候補を選択で
きる。

【図面の簡単な説明】

第１図はこの発明の音声認識装置における一実施例のブ
ロック図、第２図は音声認識処理動作のフローチャート
、第３図は切り出された音節区間候補の例を示す図、第
４図は生成された音節区間列の例を示す図、第５図は生
成された音節ラティスの例を示す図、第６図は得られた
文節候補の例を示す図、第７図は得られた単語候補の例
を示す図、第８図は認識候補表示の一例を示す図、第９
図は認識候補表示の他の例を示す図である。 ｌ・・・アナログ入力部、２・・・音声分析部、３・・
・音節区間抽出部、　　　５・・・ＣＰＵ、６・・・単
音節認識部、　　　　７・・・パターンメモリ、８・・
・文節認識部、　　　　　９・・・文節認識用辞書、ｌ
Ｏ・・・単語認識部、　　　１１・・・単語認識用辞書
、１２・・・表示部、　　　　　１３・・・キーボード
。

Claims (5)

【特許請求の範囲】
1. （１）入力された音声信号を音響分析して特徴パラメー
   タに変換し、この特徴パラメータを所定の手法によって
   音韻単位で識別し、この識別結果に基づいて音声を認識
   する音声認識装置において、上記音韻単位の識別結果に
   基づいて、入力音声を単語または文節等の意味の有る認
   識単位で辞書を照合して認識する認識部であって、各々
   の認識単位が異なる複数の認識部と、 各認識部による認識結果を表示する表示部を備えて、異
   なる認識単位の認識処理を併用できるようにしたことを
   特徴とする音声認識装置。
2. （２）上記各認識部が音声を認識する際に用いる辞書は
   、各認識部の認識単位に対応させて構成すると共に、各
   認識部毎に設けたことを特徴とする請求項１に記載の音
   声認識装置。
3. （３）認識処理を行う際に、動作させる認識部を切り替
   え選択するための切替手段を設けたことを特徴とする請
   求項２に記載の音声認識装置。
4. （４）上記表示手段は、複数の領域に分けられ、各領域
   に異なった認識部による認識候補を表示する１つのウィ
   ンドウを有して、表示された認識候補の中から所望の認
   識候補を認識候補選択手段によって選択可能にしたこと
   を特徴とする請求項１乃至請求項３のいずれかに記載の
   音声認識装置。
5. （５）上記表示手段は、異なった認識部による認識候補
   を夫々表示する複数のウィンドウを有して、複数のウィ
   ンドウの中から所望のウィンドウをウィンドウ選択手段
   によって選択し、この選択されたウィンドウに表示され
   た認識候補の中から所望の認識候補を認識候補選択手段
   によって選択可能にしたことを特徴とする請求項１乃至
   請求項３のいずれかに記載の音声認識装置。