JPH0446399A - 音声認識装置 - Google Patents
音声認識装置Info
- Publication number
- JPH0446399A JPH0446399A JP2155849A JP15584990A JPH0446399A JP H0446399 A JPH0446399 A JP H0446399A JP 2155849 A JP2155849 A JP 2155849A JP 15584990 A JP15584990 A JP 15584990A JP H0446399 A JPH0446399 A JP H0446399A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- syllable
- candidate
- key
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
この発明は、入力された音声を音韻単位で識別して文節
等の意味の有る単位で認識する音声認識装置であって、
操作方法を容易に習得できるようにユーザを支援できる
音声認識装置に関する。
等の意味の有る単位で認識する音声認識装置であって、
操作方法を容易に習得できるようにユーザを支援できる
音声認識装置に関する。
従来、音声認識装置として、音節を単位とじて入力音声
を識別し、この識別結果に基づいて文節単位で文節認識
用辞書を、照合して入力音声を文節単位で認識する音声
認識装置がある。この音節を識別単位として文節単位で
認識する音声認識装置においては、音節の識別結果を組
み合わけて音声の認識処理(ボトムアップ処理)を行う
ので、文節等のように活用を含む超大給電の認識が可能
であり、文章入力に適していると言える。
を識別し、この識別結果に基づいて文節単位で文節認識
用辞書を、照合して入力音声を文節単位で認識する音声
認識装置がある。この音節を識別単位として文節単位で
認識する音声認識装置においては、音節の識別結果を組
み合わけて音声の認識処理(ボトムアップ処理)を行う
ので、文節等のように活用を含む超大給電の認識が可能
であり、文章入力に適していると言える。
しかしながら、ボトムアップ処理によって音声の認識処
理を行う音声認識装置においては、例えば音節の識別結
果(音節ラティス)から信頼度の高い順に音節候補を読
み出して組み合わせることによって文節候補を生成する
ので、入力音声の認識結果として正しい文節候補の累積
信頼度が必ずしも最も高いとは限らない。 したがって、文節認識等のように大誘電を扱う音声認識
装置においては、得られた複数の文節候補を累積信頼度
の高い順に表示部に表示し、この表示された複数の文節
候補の中から正しい文節候補をキー人力等によって選択
するという補助操作を必要とするのである。 また、認識困難な文節は何度発声しても認識されにくい
場合があり、文節を構成する音節のうち正しく認識され
ていない音節のみを再発声する追加発声操作を実施する
必要が生ずる場合かある。 上述のような補助操作や追加発声操作等の際におけるキ
ー操作は、音声認識と言う不確定な事象(同じように発
声しても同一結果が得られるとは限らない)においては
不可欠の操作である。そして、これらのキー操作は上記
不確定な事象の内容に応じて行なう必要があり、マニュ
アル等の手段によって予め総ての場合をユーザに説明す
ることはできないのである。 したがって、身近にインストラクタのいない初心者は、
上記補助操作や追加発声操作等の際におするキー操作を
経験によって習得しなければならず、音声認識装置を使
いこなすには時間が掛かるという問題がある。 そこで、この発明の目的は、認識候補に基づいて正しい
認識結果を得るための操作方法を容易に習得可能なよう
に、ユーザを支援することができる音声認識装置を提供
することにある。
理を行う音声認識装置においては、例えば音節の識別結
果(音節ラティス)から信頼度の高い順に音節候補を読
み出して組み合わせることによって文節候補を生成する
ので、入力音声の認識結果として正しい文節候補の累積
信頼度が必ずしも最も高いとは限らない。 したがって、文節認識等のように大誘電を扱う音声認識
装置においては、得られた複数の文節候補を累積信頼度
の高い順に表示部に表示し、この表示された複数の文節
候補の中から正しい文節候補をキー人力等によって選択
するという補助操作を必要とするのである。 また、認識困難な文節は何度発声しても認識されにくい
場合があり、文節を構成する音節のうち正しく認識され
ていない音節のみを再発声する追加発声操作を実施する
必要が生ずる場合かある。 上述のような補助操作や追加発声操作等の際におけるキ
ー操作は、音声認識と言う不確定な事象(同じように発
声しても同一結果が得られるとは限らない)においては
不可欠の操作である。そして、これらのキー操作は上記
不確定な事象の内容に応じて行なう必要があり、マニュ
アル等の手段によって予め総ての場合をユーザに説明す
ることはできないのである。 したがって、身近にインストラクタのいない初心者は、
上記補助操作や追加発声操作等の際におするキー操作を
経験によって習得しなければならず、音声認識装置を使
いこなすには時間が掛かるという問題がある。 そこで、この発明の目的は、認識候補に基づいて正しい
認識結果を得るための操作方法を容易に習得可能なよう
に、ユーザを支援することができる音声認識装置を提供
することにある。
上記目的を達成する1こめ、第1の発明は、人力された
音声信号を音響分析して特徴パラメータに変換し、この
特徴パラメータを所定の手法によって音韻単位で識別し
、この識別結果に基ついて音声を認識する音声認識装置
において、上記音韻単位の識別結果に基づいて、入力音
声を文節等の意味の有る認識単位で認識して認識候補を
得る認識部と、発声すべき音節の順序を表す指示音節列
を格納するメモリと、上記メモリに格納された上記指示
音節列、上記認識部によって得られた認識候補および各
種メツセージを表示する表示手段と、上記表示手段で表
示された指示音節列に従って発声された音声に係る識別
結果に基づいて上記認識部によって得られた認識候補と
上記指示音節列とを比較/照合し、認識候補に基づいて
正しい認識結果を得るために次に実施すべき操作を所定
の手順によって判定する次操作判定手段と、上記次操作
判定手段による判定結果に従って、この判定結果の内容
を上記表示手段で表示するための操作メツセージを生成
する操作メツセージ生成手段を備えにことを特徴として
いる。 また、第2の発明は、上記第1の発明の音声認識装置に
おいて、上記次操作判定手段は、正しい認識結果を得る
ために次に実施すべき操作を判定する際に、当該認識候
補に係る指示音節列が上記表示手段で表示されてから後
の操作履歴を考慮して判定することを特徴としている。
音声信号を音響分析して特徴パラメータに変換し、この
特徴パラメータを所定の手法によって音韻単位で識別し
、この識別結果に基ついて音声を認識する音声認識装置
において、上記音韻単位の識別結果に基づいて、入力音
声を文節等の意味の有る認識単位で認識して認識候補を
得る認識部と、発声すべき音節の順序を表す指示音節列
を格納するメモリと、上記メモリに格納された上記指示
音節列、上記認識部によって得られた認識候補および各
種メツセージを表示する表示手段と、上記表示手段で表
示された指示音節列に従って発声された音声に係る識別
結果に基づいて上記認識部によって得られた認識候補と
上記指示音節列とを比較/照合し、認識候補に基づいて
正しい認識結果を得るために次に実施すべき操作を所定
の手順によって判定する次操作判定手段と、上記次操作
判定手段による判定結果に従って、この判定結果の内容
を上記表示手段で表示するための操作メツセージを生成
する操作メツセージ生成手段を備えにことを特徴として
いる。 また、第2の発明は、上記第1の発明の音声認識装置に
おいて、上記次操作判定手段は、正しい認識結果を得る
ために次に実施すべき操作を判定する際に、当該認識候
補に係る指示音節列が上記表示手段で表示されてから後
の操作履歴を考慮して判定することを特徴としている。
第1の発明の音声認識装置では、メモリに格納された発
声すべき音節の順序を表す指示音節列が表示手段によっ
て表示され、その表示された指示音節列に従って発声さ
れた音声に基づく音声信号が音響分析されて特徴パラメ
ータに変換される。 そして、この特徴パラメータが所定の手法によって音韻
単位で識別され、この識別結果に基づいて入力音声が文
節等の意味のある単位で認識部によって認識されて認識
候補が得られる。そして、この得られた認識候補が上記
表示手段によって表示される。 一方、上記表示手段で表示された指示音節列に従って発
声された音声に係る上記識別結果に基づいて上記認識部
によって得られた認識候補と上記指示音節列とが操作判
定手段によって比較/照合され、認識候補に基づいて正
しい認識結果を得るために次に実施すべき操作が所定の
手順によって判定される。そして、この判定結果に従っ
て、上記判定結果の内容を表す操作メツセージが操作メ
、−)セージ生成手段によって生成され、生成された操
作メツセージが上記表示手段で表示される。 したがって、ユーザは上記表示手段によって表示すれル
操作メツセージに従って、正しい認識結果を得るための
操作方法を訓練することによって、上記表示手段によっ
て表示された認識候補に基づいて正しい認識結果を得る
ための操作方法を習得できる。 また、第2の発明の音声認識装置では、上記操作判定手
段は、正しい認識結果を得るために次に実施オへき操作
を判定する際に、当該認識候補に係る指示音節列が上記
表示手段で表示されてから後の操作履歴を考慮して判定
する。 したがって、上記操作履歴に応じて、より確実に正しい
認識結果を得ることができるような操作メツセージが上
記表示手段によって表示される。
声すべき音節の順序を表す指示音節列が表示手段によっ
て表示され、その表示された指示音節列に従って発声さ
れた音声に基づく音声信号が音響分析されて特徴パラメ
ータに変換される。 そして、この特徴パラメータが所定の手法によって音韻
単位で識別され、この識別結果に基づいて入力音声が文
節等の意味のある単位で認識部によって認識されて認識
候補が得られる。そして、この得られた認識候補が上記
表示手段によって表示される。 一方、上記表示手段で表示された指示音節列に従って発
声された音声に係る上記識別結果に基づいて上記認識部
によって得られた認識候補と上記指示音節列とが操作判
定手段によって比較/照合され、認識候補に基づいて正
しい認識結果を得るために次に実施すべき操作が所定の
手順によって判定される。そして、この判定結果に従っ
て、上記判定結果の内容を表す操作メツセージが操作メ
、−)セージ生成手段によって生成され、生成された操
作メツセージが上記表示手段で表示される。 したがって、ユーザは上記表示手段によって表示すれル
操作メツセージに従って、正しい認識結果を得るための
操作方法を訓練することによって、上記表示手段によっ
て表示された認識候補に基づいて正しい認識結果を得る
ための操作方法を習得できる。 また、第2の発明の音声認識装置では、上記操作判定手
段は、正しい認識結果を得るために次に実施オへき操作
を判定する際に、当該認識候補に係る指示音節列が上記
表示手段で表示されてから後の操作履歴を考慮して判定
する。 したがって、上記操作履歴に応じて、より確実に正しい
認識結果を得ることができるような操作メツセージが上
記表示手段によって表示される。
以下、この発明を図示の実施例により詳細に説明する。
この実施例においては、連続発声された音声を音節単位
にセグメテーンヨンして識別し、得られた音節ラティス
に基づいて文節単位で認識処理を実施し、得られた認識
結果を表示するような日本語用の音声認識装置を例とし
て説明する。 第1図はこの発明の音声認識装置の一実施例を示すブロ
ック図である。 ユーザに発声すべき音節列を指示するための複数の指示
音節列がCPU(中央処理装置)メモリ4に格納されて
いる。そして、キーボード12からのキー人力によって
処理モードがユーザ支援モードに指定されると、CPU
メモリ4に格納され1こ指示音節列の一つが読み出され
て表示部11に表示され、ユーザ支援モードが開始され
る。 上記表示部I+に表示された指示音節列に従って、ユー
ザによって発声された音声に基づくアナログ音声信号が
アナログ入力部lに入力される。 そして、増幅器(AMP)21によって増幅され、A/
D変換器22によってディジタル音声信号に変換されて
音声分析部2に出力される。A/D変換器22から音声
分析部2に入力されたディジタル音声信号は8msの周
期で16m5をフレームの単位としてスペクトル分析が
行われ、音響的特徴パラメータが生成される。そして、
この生成された特徴パラメータは音節区間の抽出に必要
な情報(パワーおよび零交差数等)と共に音節区間抽出
部3に出力される。 そうすると、音声分析部2から音節区間抽出部3に入力
された特徴パラメータは、音節区間の抽出に必要な情報
に基づいて音節単位に切り出される。そして、音節単位
に切り出された特徴パラメータ(以下、音節特徴パター
ンと言う)は、音節区間情報(音節長、直前/直後の音
節との間の無音時間長等)と共にパターンメモリ7の特
徴バターツメモリ71に格納される。上記パターンメモ
リ7は、上述のようにして音節区間抽出部3によって切
り出されたI音節分の音節特徴バターノを1個たけ格納
する上記特徴パターンメモリ71と、予め作成され几標
準となる音節の音響的特徴パラメータから成る標準パタ
ーンを複数個記憶している標準パターンメモリ72とか
ら構成されている。 上記特徴パターンメモリ7Iに格納された1音節の音節
特徴パターンと標準パターンメモリ72に記憶された標
準パターンとの間の類似度計算か単音節認識部6によっ
て行われ、音節区間抽出部3で切り出された単音節が演
算結果に基づいて識別される。そして、連続した音節認
識結果(音節ラティス)内の音節候補の組み合わせと文
節認識用辞書9の内容との照合が文節認識部8によって
行われ、人力音声か文節単位で認識される(文節認識処
理)。そして、文節認識部8による認識結果(文節候補
)が表示部IIに表示される。 キー操作指示部IOは、上記CPUメモリ4から読み出
された当該指示音節列とその当該指示音節列に従って発
声された音声の認識結果である文節候補との比較/照合
を行なう。そして、その比較/照合の結果から、ユーザ
が正しい認識結果を得るためには次にどのキーを操作す
べきかを判定する。こうして、得られたキー操作指示の
メツセージが表示部+1に表示される。その結果、ユー
ザは、表示部11に表示されたキー操作メツセージの内
容に従ってキーボード12のキー操作を行なうことによ
って、正しい認識結果を得るためのキー操作を習得する
ことができるのである。 上記キーボード12は、ユーザによるキー操作によって
、上述の処理モード(音声登録モード、認識モードおよ
びユーザ支援モート等)の指定や正しい認識結果の選択
の他に、認識結果の漢字への変換や認識結果の取り消し
等を指示する。 上J2CPU5は上記アナロク人力部l、音声分析部2
.音節区間抽出部3.単音節認識部6.ノくターンメモ
リ7、文節認識部8.キー操作指示部10表示部11お
よびキーボード12を制御して、ユーザ支援処理動作を
実行する。また、上記CPUメモリ4には、上記指示音
節列の他にCPU5用の制御プログラムおよび音声認識
処理に必要な情報等が格納されている。 第2図は上記CPU5の制御に基づいて実施されるユー
ザ支援処理動作のフローチャートである。 以下、第2図に従ってユーザ支援処理動作について詳細
に説明する。 ステップS】で、上記CPUメモリ4に格納された複数
の指示音節列から一つの指示音節列が選択され、表示部
11に表示される。 ステップS2で、上記表示部11に表示された指示音節
列に従って発声された音声から得られたアナログ音声信
号に基づいて上記音声分析部2によって生成された特徴
パラメータが、音節区間抽出部3によって音節単位に切
り出される。(第3図)。 ステップS3て、」二記ステップS2において切り出さ
れた音節区間候補に基づいて音節区間列か生成される。 そして、生成された音節区間列の一つの音節区間候補に
対応する特徴パターンか特徴パターンメモリ71に格納
され、上述のようにして単音節認識部6によって単音節
認識か行シつれて音節候補か出力される。こうして、人
力音声か各音節区間毎に識別されるのである。 ステップS4て、上記ステップS3における単音節認識
の認識結果として音節ラティスが生成される。その際に
、音節ラティスの各音節候補には標準パターンとの類似
度に基づく信頼度が付加され、その信頼度の高い順に音
節候補が配列されるのである(第4図)。 ステップS5で、上記ステップS4において生成された
音節ラティスが文節認識部8に送出される。 それと同時に文節認識処理の実行が指示される。 そうすると、文節認識部8においては、入力された音節
ラティスを構成する音節候補を組み合わせて文字列が作
成され、文節認識用辞書9の照合等の言語処理か行われ
て、文法的に成立する文字列のみか認識結果(文節候補
)として累積信頼度と共に、累積信頼度の順に出力され
る(第5図)。 ステ、プS6て、上記ステップS5において出力された
文節候補に、現在選択されている文節候補を示すための
カーソルが付加さ君て表示部IIに表示される(第6図
)。 ステップS7て、上記キー操作指示部IOによって、当
該指示音節列、候補順位(累積信頼度)か付加されに文
節候補、現在選択されている文節候補の候補順位、指示
音節列が呈示されてからの“取消”キーおよび“後退′
キーの操作回数に基づいて、次にどのキーを操作すべき
かを判定するための評価値Hか後に詳述するようにして
算出される(第7図および第8図)。 ステップS8で、上記ステップS7において算出された
評価値Hに基づいて、当該指示音節列を構成する音節の
うち、認識されなかった音節のみを再発声する追加発声
が必要か否かが判別される。 その結果追加発声か必要であればステップS9に進み、
そうでなければステップS10に進む。 ステップS9で、追加発声を促すメツセージか表示部1
1に表示されてステップS2に戻り、追加発声された音
声の認識処理が実施される。 ステップSIOで、上記キー操作指示部lOによって算
出された評価値Hに基づいて、次にどのキーを操作すべ
きかのキー操作判定が実施される。 ここで、“変換”キーは現在選択されている文節候補を
正しい認識結果であると確定する際に操作される。また
、“↓”キーは現在選択されている文節候補の次の文節
候補を選択する際に操作される。 また、“↑′キーは現在選択されている文節候補の前の
文節候補を選択する際に操作される。また、“後退”キ
ーは現在選択されている文節候補における指示音節列と
の不一致音節を消去する際に操作される。また、“取消
”キーは音節ラティスを構成している全音節を消去する
際に操作される。 ステップSllで、上記ステップSIOにおける判定結
果に基づくキー操作メツセージが生成されて、表示部1
1に表示される(第9図および第10図)。 ステップS12で、上記ステップSllにおいて表示部
11に表示されたキー操作メツセージに従って、ユーザ
によってキーボードI2のキーか操作される。 ステップS13で、上記ステップSI2において操作さ
れたキーが何のキーであるかが判断される。 その結果、“変換”キーであると判断されf二場合には
ステップS14に進み、“=”キーであると判断された
場合にはステップS]、5に進み、“↑”キーであると
判断された場合にはステップSI6に進み、“後退“キ
ーであると判断された場合にはステップS17に進み、
“取消”キーであると判断された場合にはステップS1
8に進む。 ステップS14で、現在選択されている文節候補か漢字
に変換されて正しい認識結果として確定され、ステップ
S1に戻って次の指示音節列に従って発声された音声の
認識処理が実施される。 ステップS15で、現在選択されている文節候補より“
↓”キーの操作回数だけ候補順位の低い文節候補が選択
される。そして、ステップS6に戻り、表示部11にお
いて現在選択されている文節候補を指示するカーソルの
位置が“↓゛キー操作回数だけ低順位側に移動される。 ステップS16で、現在選択されている文節候補より“
″”キーの操作回数たけ候補順位の高い文節候補が選択
される。そして、ステップS6に戻り、表示部11にお
いて現在選択されている文節候補を指示するカーソルの
位置が“1”キーの操作回数だけ高順位側に移動される
。 ステップS17で、現在選択されている文節候補におけ
る最後尾から“後退“キーの操作回数だけの数の音節が
消去されてステップS4に戻る。 そうすると、上記音節ラティスの対応する音節区間候補
における総ての音節候補が削除される。 こうして、再編成された音節ラティスに基づいて、再度
文節認識処理が実施されるのである。 ステップS18で、音節ラティスを構成している全音節
が消去される。そして、ユーザによって再発声された音
声の認識処理が実施されるのである。 こうして、次々に表示部11に表示される指示音節列に
従って発声か行われ、その際の認識結果に基づいてキー
操作メツセージか表示部11に表示される。ユーザは、
この表示されたキー操作メツセージに従って正しい認識
結果を得るためのキ操作方法を習得するのである。 その間に、“解除”キーか操作されたことかステップS
]3で判断されろとユーザ支援処理動作か終了する。 次に、キー操作指示部lOにおいて実施される評価値H
の算出と、その評価値I(に基つくキー操作判定につい
て詳細に説明する。 まず、指示音節列と第6図に示す各文節候補とか比較さ
れ、各文節候補毎に評価値Hが次のようにして算出され
る。 ここで、 A 指示音節列の音節数 B 指示音節列と文節候補とにおいて先頭から連続して
一致する音節数 C文節候補の音節数−B D: A−B(C=0の場合) 0 (C≠0の場合) N、現在のカーソル位置からのずれ(候補順位数) X “取消”キーを押した回数 Y “後退”キーを押した回数 I(評価値 とする。 (a) A=Bであり、かつ、C=O,D=Oである
(すなわち、指示音節列と文節候補との音節列が完全に
一致する)場合 H=255−N (b)B=Oの場合 )(=0 (c) (a)、(b)以外の場合 H=(255−128x(A−B)/B)−I 6XC
−4XD−] 6XN +32XZ ここで、Z=X+Y/4 少数点以下は切り捨て Z>3の場合はZ=3 但し、
にセグメテーンヨンして識別し、得られた音節ラティス
に基づいて文節単位で認識処理を実施し、得られた認識
結果を表示するような日本語用の音声認識装置を例とし
て説明する。 第1図はこの発明の音声認識装置の一実施例を示すブロ
ック図である。 ユーザに発声すべき音節列を指示するための複数の指示
音節列がCPU(中央処理装置)メモリ4に格納されて
いる。そして、キーボード12からのキー人力によって
処理モードがユーザ支援モードに指定されると、CPU
メモリ4に格納され1こ指示音節列の一つが読み出され
て表示部11に表示され、ユーザ支援モードが開始され
る。 上記表示部I+に表示された指示音節列に従って、ユー
ザによって発声された音声に基づくアナログ音声信号が
アナログ入力部lに入力される。 そして、増幅器(AMP)21によって増幅され、A/
D変換器22によってディジタル音声信号に変換されて
音声分析部2に出力される。A/D変換器22から音声
分析部2に入力されたディジタル音声信号は8msの周
期で16m5をフレームの単位としてスペクトル分析が
行われ、音響的特徴パラメータが生成される。そして、
この生成された特徴パラメータは音節区間の抽出に必要
な情報(パワーおよび零交差数等)と共に音節区間抽出
部3に出力される。 そうすると、音声分析部2から音節区間抽出部3に入力
された特徴パラメータは、音節区間の抽出に必要な情報
に基づいて音節単位に切り出される。そして、音節単位
に切り出された特徴パラメータ(以下、音節特徴パター
ンと言う)は、音節区間情報(音節長、直前/直後の音
節との間の無音時間長等)と共にパターンメモリ7の特
徴バターツメモリ71に格納される。上記パターンメモ
リ7は、上述のようにして音節区間抽出部3によって切
り出されたI音節分の音節特徴バターノを1個たけ格納
する上記特徴パターンメモリ71と、予め作成され几標
準となる音節の音響的特徴パラメータから成る標準パタ
ーンを複数個記憶している標準パターンメモリ72とか
ら構成されている。 上記特徴パターンメモリ7Iに格納された1音節の音節
特徴パターンと標準パターンメモリ72に記憶された標
準パターンとの間の類似度計算か単音節認識部6によっ
て行われ、音節区間抽出部3で切り出された単音節が演
算結果に基づいて識別される。そして、連続した音節認
識結果(音節ラティス)内の音節候補の組み合わせと文
節認識用辞書9の内容との照合が文節認識部8によって
行われ、人力音声か文節単位で認識される(文節認識処
理)。そして、文節認識部8による認識結果(文節候補
)が表示部IIに表示される。 キー操作指示部IOは、上記CPUメモリ4から読み出
された当該指示音節列とその当該指示音節列に従って発
声された音声の認識結果である文節候補との比較/照合
を行なう。そして、その比較/照合の結果から、ユーザ
が正しい認識結果を得るためには次にどのキーを操作す
べきかを判定する。こうして、得られたキー操作指示の
メツセージが表示部+1に表示される。その結果、ユー
ザは、表示部11に表示されたキー操作メツセージの内
容に従ってキーボード12のキー操作を行なうことによ
って、正しい認識結果を得るためのキー操作を習得する
ことができるのである。 上記キーボード12は、ユーザによるキー操作によって
、上述の処理モード(音声登録モード、認識モードおよ
びユーザ支援モート等)の指定や正しい認識結果の選択
の他に、認識結果の漢字への変換や認識結果の取り消し
等を指示する。 上J2CPU5は上記アナロク人力部l、音声分析部2
.音節区間抽出部3.単音節認識部6.ノくターンメモ
リ7、文節認識部8.キー操作指示部10表示部11お
よびキーボード12を制御して、ユーザ支援処理動作を
実行する。また、上記CPUメモリ4には、上記指示音
節列の他にCPU5用の制御プログラムおよび音声認識
処理に必要な情報等が格納されている。 第2図は上記CPU5の制御に基づいて実施されるユー
ザ支援処理動作のフローチャートである。 以下、第2図に従ってユーザ支援処理動作について詳細
に説明する。 ステップS】で、上記CPUメモリ4に格納された複数
の指示音節列から一つの指示音節列が選択され、表示部
11に表示される。 ステップS2で、上記表示部11に表示された指示音節
列に従って発声された音声から得られたアナログ音声信
号に基づいて上記音声分析部2によって生成された特徴
パラメータが、音節区間抽出部3によって音節単位に切
り出される。(第3図)。 ステップS3て、」二記ステップS2において切り出さ
れた音節区間候補に基づいて音節区間列か生成される。 そして、生成された音節区間列の一つの音節区間候補に
対応する特徴パターンか特徴パターンメモリ71に格納
され、上述のようにして単音節認識部6によって単音節
認識か行シつれて音節候補か出力される。こうして、人
力音声か各音節区間毎に識別されるのである。 ステップS4て、上記ステップS3における単音節認識
の認識結果として音節ラティスが生成される。その際に
、音節ラティスの各音節候補には標準パターンとの類似
度に基づく信頼度が付加され、その信頼度の高い順に音
節候補が配列されるのである(第4図)。 ステップS5で、上記ステップS4において生成された
音節ラティスが文節認識部8に送出される。 それと同時に文節認識処理の実行が指示される。 そうすると、文節認識部8においては、入力された音節
ラティスを構成する音節候補を組み合わせて文字列が作
成され、文節認識用辞書9の照合等の言語処理か行われ
て、文法的に成立する文字列のみか認識結果(文節候補
)として累積信頼度と共に、累積信頼度の順に出力され
る(第5図)。 ステ、プS6て、上記ステップS5において出力された
文節候補に、現在選択されている文節候補を示すための
カーソルが付加さ君て表示部IIに表示される(第6図
)。 ステップS7て、上記キー操作指示部IOによって、当
該指示音節列、候補順位(累積信頼度)か付加されに文
節候補、現在選択されている文節候補の候補順位、指示
音節列が呈示されてからの“取消”キーおよび“後退′
キーの操作回数に基づいて、次にどのキーを操作すべき
かを判定するための評価値Hか後に詳述するようにして
算出される(第7図および第8図)。 ステップS8で、上記ステップS7において算出された
評価値Hに基づいて、当該指示音節列を構成する音節の
うち、認識されなかった音節のみを再発声する追加発声
が必要か否かが判別される。 その結果追加発声か必要であればステップS9に進み、
そうでなければステップS10に進む。 ステップS9で、追加発声を促すメツセージか表示部1
1に表示されてステップS2に戻り、追加発声された音
声の認識処理が実施される。 ステップSIOで、上記キー操作指示部lOによって算
出された評価値Hに基づいて、次にどのキーを操作すべ
きかのキー操作判定が実施される。 ここで、“変換”キーは現在選択されている文節候補を
正しい認識結果であると確定する際に操作される。また
、“↓”キーは現在選択されている文節候補の次の文節
候補を選択する際に操作される。 また、“↑′キーは現在選択されている文節候補の前の
文節候補を選択する際に操作される。また、“後退”キ
ーは現在選択されている文節候補における指示音節列と
の不一致音節を消去する際に操作される。また、“取消
”キーは音節ラティスを構成している全音節を消去する
際に操作される。 ステップSllで、上記ステップSIOにおける判定結
果に基づくキー操作メツセージが生成されて、表示部1
1に表示される(第9図および第10図)。 ステップS12で、上記ステップSllにおいて表示部
11に表示されたキー操作メツセージに従って、ユーザ
によってキーボードI2のキーか操作される。 ステップS13で、上記ステップSI2において操作さ
れたキーが何のキーであるかが判断される。 その結果、“変換”キーであると判断されf二場合には
ステップS14に進み、“=”キーであると判断された
場合にはステップS]、5に進み、“↑”キーであると
判断された場合にはステップSI6に進み、“後退“キ
ーであると判断された場合にはステップS17に進み、
“取消”キーであると判断された場合にはステップS1
8に進む。 ステップS14で、現在選択されている文節候補か漢字
に変換されて正しい認識結果として確定され、ステップ
S1に戻って次の指示音節列に従って発声された音声の
認識処理が実施される。 ステップS15で、現在選択されている文節候補より“
↓”キーの操作回数だけ候補順位の低い文節候補が選択
される。そして、ステップS6に戻り、表示部11にお
いて現在選択されている文節候補を指示するカーソルの
位置が“↓゛キー操作回数だけ低順位側に移動される。 ステップS16で、現在選択されている文節候補より“
″”キーの操作回数たけ候補順位の高い文節候補が選択
される。そして、ステップS6に戻り、表示部11にお
いて現在選択されている文節候補を指示するカーソルの
位置が“1”キーの操作回数だけ高順位側に移動される
。 ステップS17で、現在選択されている文節候補におけ
る最後尾から“後退“キーの操作回数だけの数の音節が
消去されてステップS4に戻る。 そうすると、上記音節ラティスの対応する音節区間候補
における総ての音節候補が削除される。 こうして、再編成された音節ラティスに基づいて、再度
文節認識処理が実施されるのである。 ステップS18で、音節ラティスを構成している全音節
が消去される。そして、ユーザによって再発声された音
声の認識処理が実施されるのである。 こうして、次々に表示部11に表示される指示音節列に
従って発声か行われ、その際の認識結果に基づいてキー
操作メツセージか表示部11に表示される。ユーザは、
この表示されたキー操作メツセージに従って正しい認識
結果を得るためのキ操作方法を習得するのである。 その間に、“解除”キーか操作されたことかステップS
]3で判断されろとユーザ支援処理動作か終了する。 次に、キー操作指示部lOにおいて実施される評価値H
の算出と、その評価値I(に基つくキー操作判定につい
て詳細に説明する。 まず、指示音節列と第6図に示す各文節候補とか比較さ
れ、各文節候補毎に評価値Hが次のようにして算出され
る。 ここで、 A 指示音節列の音節数 B 指示音節列と文節候補とにおいて先頭から連続して
一致する音節数 C文節候補の音節数−B D: A−B(C=0の場合) 0 (C≠0の場合) N、現在のカーソル位置からのずれ(候補順位数) X “取消”キーを押した回数 Y “後退”キーを押した回数 I(評価値 とする。 (a) A=Bであり、かつ、C=O,D=Oである
(すなわち、指示音節列と文節候補との音節列が完全に
一致する)場合 H=255−N (b)B=Oの場合 )(=0 (c) (a)、(b)以外の場合 H=(255−128x(A−B)/B)−I 6XC
−4XD−] 6XN +32XZ ここで、Z=X+Y/4 少数点以下は切り捨て Z>3の場合はZ=3 但し、
【(≧240の場合はH=240とする。
さらにキー操作指示110は、上述のようにして算出し
た総ての文節候補における評価値Hの値に基づいて、以
下のようなキー操作判定基準に従ってキー操作判定を実
施する。 ここで、 Hmax:総ての文節候補における評価値Hの最大値 i: Hmaxを与える文節候補の候補順位コニ現在選
択されている文節候補の候補順位(現在のカーソル位置
) とする。 (イ) Hmax= 255の場合 この場合は、指示音節列と現在選択されている文節候補
との音節列が完全に一致していることを意味する。した
がって、現在選択されている文節候補を正しい認識結果
として確定するために、次操作キーは“変換”キーであ
ると判定する。 (ロ) Hmax< 128の場合 この場合は、指示音節列と総ての文節候補との音節があ
まりにら一致していないことを意味する。 したかって、当該指示音節列の再発声を促すために、次
操作キーは“取消”キーであると判定する。 (ハ)(イ)、(ロ)以外で、1−」の場合)C−0 この場合は、指示音節列と現在選択されている文節候補
との音節列か完全に一致していないが、C−Oであるた
め文節候補の後ろからD個分の音節か不足していること
を意味する。したがって、この不足している音節の追加
発声を促すためのメツセージを表示部IIに表示する。 )C≠0 この場合は、指示音節列と現在選択されている文節候補
との音節列の後ろからC個分の音節か不一致であること
を意味する。したがって、この不一致の音節を削除して
追加発声するために、次操作キーは“後退“キーであり
、その操作回数は0回であると判定する。 (ニ)(イ)、(ロ)以外で、1≠jの場合) j>i この場合は、Hmaxを与える文節候補の位置よりしカ
ーソルの位置か候補順位にして(j−i)だけ低順位側
にあることを意味する。したがって、Hmaxを与える
文節候補の位置にカーソルの位置を移動するために、次
操作キーは“↑”キーであり、その操作回数は(j−i
)であると判定する。 )J〈】 この場合は、I−1maxを与える文節候補の位置より
もカーソルの位置が候補順位にして(i−j)だけ高順
位側にあることを意味する。したがって、F(maxを
与える文節候補の位置にカーソルの位置を移動するため
に、次操作キーは“↓”キーであり、その操作回数は(
i−j)であると判定する。 こうして、評価値Hの算出とこれに基づくキー操作判定
が実施されるのである。 以下、例えば指示音節列「はいけい」が表示部11に表
示され、単語「はいけい」のアナログ音声信号がアナロ
グ入力部1に入力された場合を例に、第1図〜第10に
従って上述のユーザ支援処理動作をより具体的に説明す
る。 第3図は音節区間抽出部3において切り出された音節区
間候補を発声内容と音素記号とを併せて示す。上記音素
記号は音声の変化を分かり易く示すために添記したもの
であり、この発明とは直接関係はない。 ・・・第2図のステップS2 第3図に示す各音節区間候補S O,S l、 S 2
. S 3が単音認識部6で単音節認識され、その単音
節認識結果に基づいて第4図に示すような音節ラティス
が生成される。 ・・・第2図のステップS3.ステップS4第4図に示
す音節ラティスが文g認識部8ノこ送出されて、音節ラ
ティスを構成する各音節区間候補So、St、S2.S
3に対応する音節候補が次のようにして選択されて文字
列が作成される。すなわち、まず各音節区間候補SO,
SL、S2.S3における信頼度が第1位の音節候補が
選択されて累積信頼度が最も高い文字列「はいてい」が
作成される。 以下、作成された文字列の各文字が順次他の音節候補と
取り替えられて文字列か作成されて、第5図に示すよう
な文節候補が得られる。 ここで、第5図における候補順位は、その文節候補を構
成する音節候補列の累積信頼度の大きい順である。また
、第5図においては、累積信頼度が最も高い文字列「は
いてい」が文節認識用辞書9にはないので、文字列「は
いてい」における音節区間候補SOに対応する文字「は
」が信頼度が第2位の音節候補の文字「か」と取り替え
られて作成された文字列「かいてい」が、候補順位1位
の文節候補として得られている。 ・・第2図のステップS5 こうして得られた文節候補が表示部j1に表示される。 第6図はその際における表示方法の一例を示し、表示画
面の最上部には指示音節列の内容が表示されている。 第2図のステップS6 次に、キー操作指示部10によって、上述のようにして
第6図に示す文節候補に基づいて評価値11を算出する
。第7図および第8図に、こうして算出された評価値f
イを、他の変数A、B、C,D、NX、Yと共に示す。 ・・・第2図のステップS7 こうして、キー操作指示部IOによって評価値Hが算出
された結果、第7図においては、最大評価値Hmax=
254であり、最大評価値Hmaxを与える文節候補
「はいけい」の候補順位よりもカーソル位置か“1位”
だけ高順位にあるため、上記キー操作判定基準(ニ)の
ii)に該当する。したがって、第9図に示すように「
“↓”キーを一回押して下さい。」のキー操作メツセー
ジか表示される。 ・・・第2図のステップS10.ステップSll上記キ
ー操作メツセージに従って“↓”キーが一回操作される
。そうすると、第10図に示すようにカーソルの位置が
最大評価値Hmaxを与える文節候補「はいけい」の位
置になり、文節候補「はいけい」が選択される。 ・第2図のステップS 13.ステップS15そして、
可変評価値I]の算出が実行されて、評価値Hの値か第
8図に示すように更新される。その際に、各文節候補に
おける現在のカーソル位置からのずれの程度を表す数N
の値か第8図に示すように変化するため、それに連れて
評価値Hの値も変化する。その結果、最大評価値Hma
x−255になって、上記キー操作判定基準(イ)に該
当ブーるようになる。したがって、第10図に示すよう
に「“変換”キーを押して下さい。」のキー操作メツセ
ージが表示される。 ・第2図のステップSIOステップSll上記メツセー
ジに従って“変換”キーか操作される。そうすると、第
10図のように現在選択されている文節候補「はいけい
」が漢字変換されて、文節候補「けいけい」が正しい認
識結果として確定される。 ・・第2図のステップS 13.ステップS14こうし
て、評価値Hの値に基づいて、各種キーの操作手順や追
加発声のメッセージを表示部11に表示してユーザを指
導する。そして、そのキー操作メツセージに従ったユー
ザのキー操作に連れて、評価値Hの内容を更新して次の
メツセージを表示し、“変換”キーの操作による認識結
果の確定までユーザを指導するのである。 上述のようなユーザ支援処理に際して、“取消”キーや
“後退”キーか操作されるような認識困難な音声の認識
に際しては、以下に詳述するように評価値Hの値を順次
高めて、やがては追加発声によって正しい認識結果が確
定されるのである。 すなわち、例えば指示音節列「おすごし」に対する入力
音声に係る文節候補の評価値Hの値が第11図に示すよ
うに算出されたとする。この場合には、最大評価値Hm
ax= I I Iであるため、上記キー操作判定基準
(ロ)に該当する。したがって、“取消”キーを操作す
るようにキー操作メツセージが表示される。 ・・・第2図のステップSIO,ステップSll上記キ
ー操作メツセージに従って“取消”キーが操作される。 そうすると、第12図に示すように“取消”キー操作回
数Xの値が“ビに変化するため、それに連れて評価値H
の値も変化する。その結果、最大評価値Hmax= 1
43になるため、゛上記キー操作判定基準(ニ)の11
)に該当するようになる。 したかって、“↓”キーを3回操作するようにメツセー
ジが表示される。 ・・第2図のステップS10.ステップSll上記メツ
セージに従って“↓“キーを3回操作してカーソル位置
を文節候補「おすうしコの位置に移動する。そうすると
、次には“後退“キーを2回操作するようにキー操作メ
ツセージを表示して、文節候補の後ろ2音節の削除と音
節/ごし/の追加発声を指導するのである。 上述のようにして、表示部ILに表示されるキー操作メ
ツセージに従ってキー操作方法をill練することによ
って、やがて、ユーザはキー操作メツセージなしでも第
1I図において文節候補「おすうし」の選択と文節候補
「おすうし」の後ろ2音節の削除と追加発声を実行して
、正しい認識結果「おすごし」が得られるようになるの
である。 このように、“取消”キーや“後退”キーの操作回数を
考慮して次のキー操作を判定することによって、通常は
何度発声しても正しく認識されないような音声であって
も追加発声によって正しく認識できるように指導できる
のである。 」二連のように、本実施例においては、指示音節列に従
って入力された音声のアナログ音声信号に基づいて、単
音節認識部6によって単音節認識を行って音節区間列に
対応する音節ラティスを生成する。その後、生成された
音節ラティス基づいて文節認識部8によって文節認識処
理を実行し、上記文節認識処理によって得られた文節候
補を表示部11に表示する。 そうすると、キー操作指示部10は、上記表示部+1に
表示された文節候補と指示音節列とを比較/照合し、指
示音節列の音節数、指示音節列と文節候補とにおける連
続一致音節数、現在選択されている文節候補の候補順位
、“取消”キーおよび“後退“キーの操作回数等に基づ
いて、所定の手順で評価値Hを各文節候補毎に算出する
。そして、この評価値I(に基づいて上述のキー操作判
定基準に従ってキー操作を判定し、キー操作メツセージ
を表示部11に表示する。さらに、表示部11に表示さ
れたキー操作メツセージに従ってユーザによってキー操
作が行われると、そのキー操作に基づいた処理を実行し
た後、各文節候補毎に評価値11を再度算出してキー操
作メツセージを表示するのである。 こうして、ユーザかキー操作を実施する度に、正しい認
識結果を得るための次のキー操作をメソセージによって
ユーザを指導するのである。 しにがって、この音声認識装置によれば、身近にインス
トラクタがいない初心者であっても、表示部11に表示
されるキー操作メツセージに従ってキー操作を実施する
たけで、正しい認識結果を得るf二めの補助操作や追加
発声操作等の際におけるキー操作方法を習得できるので
ある。 上記実施例においては、音節を音声識別の単位としてい
る。しかしながら、この発明はこれに限定されるもので
はなく、音素および半音節等であってもよい。すなわち
、音素1半音節および音節等を総称したいわゆる音韻を
識別単位とすればよいのである。 上記実施例においては、人力された音声を文節単位で認
識しているが単語単位で認識してもよい。 要は、意味のある認識単位であればよいのである。 この発明における上記補助操作および追加発声操作の際
におけるキー操作方法やキー操作メツセージの表示方法
は、上記実施例に限定されるものではない。 この発明における評価値Hの算出アルゴリズム。 キー操作判定アルゴリズムおよびユーザ支援処理動作ア
ルゴリズムは、上記実施例に限定されるものではない。
た総ての文節候補における評価値Hの値に基づいて、以
下のようなキー操作判定基準に従ってキー操作判定を実
施する。 ここで、 Hmax:総ての文節候補における評価値Hの最大値 i: Hmaxを与える文節候補の候補順位コニ現在選
択されている文節候補の候補順位(現在のカーソル位置
) とする。 (イ) Hmax= 255の場合 この場合は、指示音節列と現在選択されている文節候補
との音節列が完全に一致していることを意味する。した
がって、現在選択されている文節候補を正しい認識結果
として確定するために、次操作キーは“変換”キーであ
ると判定する。 (ロ) Hmax< 128の場合 この場合は、指示音節列と総ての文節候補との音節があ
まりにら一致していないことを意味する。 したかって、当該指示音節列の再発声を促すために、次
操作キーは“取消”キーであると判定する。 (ハ)(イ)、(ロ)以外で、1−」の場合)C−0 この場合は、指示音節列と現在選択されている文節候補
との音節列か完全に一致していないが、C−Oであるた
め文節候補の後ろからD個分の音節か不足していること
を意味する。したがって、この不足している音節の追加
発声を促すためのメツセージを表示部IIに表示する。 )C≠0 この場合は、指示音節列と現在選択されている文節候補
との音節列の後ろからC個分の音節か不一致であること
を意味する。したがって、この不一致の音節を削除して
追加発声するために、次操作キーは“後退“キーであり
、その操作回数は0回であると判定する。 (ニ)(イ)、(ロ)以外で、1≠jの場合) j>i この場合は、Hmaxを与える文節候補の位置よりしカ
ーソルの位置か候補順位にして(j−i)だけ低順位側
にあることを意味する。したがって、Hmaxを与える
文節候補の位置にカーソルの位置を移動するために、次
操作キーは“↑”キーであり、その操作回数は(j−i
)であると判定する。 )J〈】 この場合は、I−1maxを与える文節候補の位置より
もカーソルの位置が候補順位にして(i−j)だけ高順
位側にあることを意味する。したがって、F(maxを
与える文節候補の位置にカーソルの位置を移動するため
に、次操作キーは“↓”キーであり、その操作回数は(
i−j)であると判定する。 こうして、評価値Hの算出とこれに基づくキー操作判定
が実施されるのである。 以下、例えば指示音節列「はいけい」が表示部11に表
示され、単語「はいけい」のアナログ音声信号がアナロ
グ入力部1に入力された場合を例に、第1図〜第10に
従って上述のユーザ支援処理動作をより具体的に説明す
る。 第3図は音節区間抽出部3において切り出された音節区
間候補を発声内容と音素記号とを併せて示す。上記音素
記号は音声の変化を分かり易く示すために添記したもの
であり、この発明とは直接関係はない。 ・・・第2図のステップS2 第3図に示す各音節区間候補S O,S l、 S 2
. S 3が単音認識部6で単音節認識され、その単音
節認識結果に基づいて第4図に示すような音節ラティス
が生成される。 ・・・第2図のステップS3.ステップS4第4図に示
す音節ラティスが文g認識部8ノこ送出されて、音節ラ
ティスを構成する各音節区間候補So、St、S2.S
3に対応する音節候補が次のようにして選択されて文字
列が作成される。すなわち、まず各音節区間候補SO,
SL、S2.S3における信頼度が第1位の音節候補が
選択されて累積信頼度が最も高い文字列「はいてい」が
作成される。 以下、作成された文字列の各文字が順次他の音節候補と
取り替えられて文字列か作成されて、第5図に示すよう
な文節候補が得られる。 ここで、第5図における候補順位は、その文節候補を構
成する音節候補列の累積信頼度の大きい順である。また
、第5図においては、累積信頼度が最も高い文字列「は
いてい」が文節認識用辞書9にはないので、文字列「は
いてい」における音節区間候補SOに対応する文字「は
」が信頼度が第2位の音節候補の文字「か」と取り替え
られて作成された文字列「かいてい」が、候補順位1位
の文節候補として得られている。 ・・第2図のステップS5 こうして得られた文節候補が表示部j1に表示される。 第6図はその際における表示方法の一例を示し、表示画
面の最上部には指示音節列の内容が表示されている。 第2図のステップS6 次に、キー操作指示部10によって、上述のようにして
第6図に示す文節候補に基づいて評価値11を算出する
。第7図および第8図に、こうして算出された評価値f
イを、他の変数A、B、C,D、NX、Yと共に示す。 ・・・第2図のステップS7 こうして、キー操作指示部IOによって評価値Hが算出
された結果、第7図においては、最大評価値Hmax=
254であり、最大評価値Hmaxを与える文節候補
「はいけい」の候補順位よりもカーソル位置か“1位”
だけ高順位にあるため、上記キー操作判定基準(ニ)の
ii)に該当する。したがって、第9図に示すように「
“↓”キーを一回押して下さい。」のキー操作メツセー
ジか表示される。 ・・・第2図のステップS10.ステップSll上記キ
ー操作メツセージに従って“↓”キーが一回操作される
。そうすると、第10図に示すようにカーソルの位置が
最大評価値Hmaxを与える文節候補「はいけい」の位
置になり、文節候補「はいけい」が選択される。 ・第2図のステップS 13.ステップS15そして、
可変評価値I]の算出が実行されて、評価値Hの値か第
8図に示すように更新される。その際に、各文節候補に
おける現在のカーソル位置からのずれの程度を表す数N
の値か第8図に示すように変化するため、それに連れて
評価値Hの値も変化する。その結果、最大評価値Hma
x−255になって、上記キー操作判定基準(イ)に該
当ブーるようになる。したがって、第10図に示すよう
に「“変換”キーを押して下さい。」のキー操作メツセ
ージが表示される。 ・第2図のステップSIOステップSll上記メツセー
ジに従って“変換”キーか操作される。そうすると、第
10図のように現在選択されている文節候補「はいけい
」が漢字変換されて、文節候補「けいけい」が正しい認
識結果として確定される。 ・・第2図のステップS 13.ステップS14こうし
て、評価値Hの値に基づいて、各種キーの操作手順や追
加発声のメッセージを表示部11に表示してユーザを指
導する。そして、そのキー操作メツセージに従ったユー
ザのキー操作に連れて、評価値Hの内容を更新して次の
メツセージを表示し、“変換”キーの操作による認識結
果の確定までユーザを指導するのである。 上述のようなユーザ支援処理に際して、“取消”キーや
“後退”キーか操作されるような認識困難な音声の認識
に際しては、以下に詳述するように評価値Hの値を順次
高めて、やがては追加発声によって正しい認識結果が確
定されるのである。 すなわち、例えば指示音節列「おすごし」に対する入力
音声に係る文節候補の評価値Hの値が第11図に示すよ
うに算出されたとする。この場合には、最大評価値Hm
ax= I I Iであるため、上記キー操作判定基準
(ロ)に該当する。したがって、“取消”キーを操作す
るようにキー操作メツセージが表示される。 ・・・第2図のステップSIO,ステップSll上記キ
ー操作メツセージに従って“取消”キーが操作される。 そうすると、第12図に示すように“取消”キー操作回
数Xの値が“ビに変化するため、それに連れて評価値H
の値も変化する。その結果、最大評価値Hmax= 1
43になるため、゛上記キー操作判定基準(ニ)の11
)に該当するようになる。 したかって、“↓”キーを3回操作するようにメツセー
ジが表示される。 ・・第2図のステップS10.ステップSll上記メツ
セージに従って“↓“キーを3回操作してカーソル位置
を文節候補「おすうしコの位置に移動する。そうすると
、次には“後退“キーを2回操作するようにキー操作メ
ツセージを表示して、文節候補の後ろ2音節の削除と音
節/ごし/の追加発声を指導するのである。 上述のようにして、表示部ILに表示されるキー操作メ
ツセージに従ってキー操作方法をill練することによ
って、やがて、ユーザはキー操作メツセージなしでも第
1I図において文節候補「おすうし」の選択と文節候補
「おすうし」の後ろ2音節の削除と追加発声を実行して
、正しい認識結果「おすごし」が得られるようになるの
である。 このように、“取消”キーや“後退”キーの操作回数を
考慮して次のキー操作を判定することによって、通常は
何度発声しても正しく認識されないような音声であって
も追加発声によって正しく認識できるように指導できる
のである。 」二連のように、本実施例においては、指示音節列に従
って入力された音声のアナログ音声信号に基づいて、単
音節認識部6によって単音節認識を行って音節区間列に
対応する音節ラティスを生成する。その後、生成された
音節ラティス基づいて文節認識部8によって文節認識処
理を実行し、上記文節認識処理によって得られた文節候
補を表示部11に表示する。 そうすると、キー操作指示部10は、上記表示部+1に
表示された文節候補と指示音節列とを比較/照合し、指
示音節列の音節数、指示音節列と文節候補とにおける連
続一致音節数、現在選択されている文節候補の候補順位
、“取消”キーおよび“後退“キーの操作回数等に基づ
いて、所定の手順で評価値Hを各文節候補毎に算出する
。そして、この評価値I(に基づいて上述のキー操作判
定基準に従ってキー操作を判定し、キー操作メツセージ
を表示部11に表示する。さらに、表示部11に表示さ
れたキー操作メツセージに従ってユーザによってキー操
作が行われると、そのキー操作に基づいた処理を実行し
た後、各文節候補毎に評価値11を再度算出してキー操
作メツセージを表示するのである。 こうして、ユーザかキー操作を実施する度に、正しい認
識結果を得るための次のキー操作をメソセージによって
ユーザを指導するのである。 しにがって、この音声認識装置によれば、身近にインス
トラクタがいない初心者であっても、表示部11に表示
されるキー操作メツセージに従ってキー操作を実施する
たけで、正しい認識結果を得るf二めの補助操作や追加
発声操作等の際におけるキー操作方法を習得できるので
ある。 上記実施例においては、音節を音声識別の単位としてい
る。しかしながら、この発明はこれに限定されるもので
はなく、音素および半音節等であってもよい。すなわち
、音素1半音節および音節等を総称したいわゆる音韻を
識別単位とすればよいのである。 上記実施例においては、人力された音声を文節単位で認
識しているが単語単位で認識してもよい。 要は、意味のある認識単位であればよいのである。 この発明における上記補助操作および追加発声操作の際
におけるキー操作方法やキー操作メツセージの表示方法
は、上記実施例に限定されるものではない。 この発明における評価値Hの算出アルゴリズム。 キー操作判定アルゴリズムおよびユーザ支援処理動作ア
ルゴリズムは、上記実施例に限定されるものではない。
以上より明らかなように、第1の発明の音声認識装置は
、表示手段で表示された指示音韻列に従って発声された
音声を音韻単位で識別し、この識別結果に基づいて認識
部によって文節等の意味のある認識単位で音声を認識し
て認識候補を得、その認識候補を上記表示手段に表示す
る。そして、上記認識候補と上記指示音韻列とを比較/
照合して、正しい認識結果を得るための次操作を次操作
判定手段によって判定する。そして、判定結果の内容を
表す操作メツセージを操作メツセージ生成手段によって
生成して上記表示手段で表示するようにしたので、ユー
ザは、上記操作メツセージに従って次操作を実施するこ
とによって、上記認識候補に基づいて正しい認識結果を
得るような操作方法を容易に習得できる。 すなわち、この発明の音声認識装置は、身近にインスト
ラクタのいない初心者であっても、正しい認識結果を得
るための操作方法を容易に習得可能なようにユーザを支
援できるのである。 また、第2の発明の音声認識装置は、上記次操作判定手
段を、指示音節列が呈示されてから後の操作履歴を考慮
して判定するようにしたので、上記操作履歴に応じて、
より確実に正しい認識結果を得ることができるような操
作メツセージを表示できる。
、表示手段で表示された指示音韻列に従って発声された
音声を音韻単位で識別し、この識別結果に基づいて認識
部によって文節等の意味のある認識単位で音声を認識し
て認識候補を得、その認識候補を上記表示手段に表示す
る。そして、上記認識候補と上記指示音韻列とを比較/
照合して、正しい認識結果を得るための次操作を次操作
判定手段によって判定する。そして、判定結果の内容を
表す操作メツセージを操作メツセージ生成手段によって
生成して上記表示手段で表示するようにしたので、ユー
ザは、上記操作メツセージに従って次操作を実施するこ
とによって、上記認識候補に基づいて正しい認識結果を
得るような操作方法を容易に習得できる。 すなわち、この発明の音声認識装置は、身近にインスト
ラクタのいない初心者であっても、正しい認識結果を得
るための操作方法を容易に習得可能なようにユーザを支
援できるのである。 また、第2の発明の音声認識装置は、上記次操作判定手
段を、指示音節列が呈示されてから後の操作履歴を考慮
して判定するようにしたので、上記操作履歴に応じて、
より確実に正しい認識結果を得ることができるような操
作メツセージを表示できる。
第1図はこの発明の音声認識装置における一実施例のブ
ロック図、第2図はユーザ支援処理動作のフローチャー
ト、第3図は切り出された音節区間候補の一例を示す図
、第4図は生成された音節ラティスの一例を示す図、第
5図は得られた文節候補の一例を示す図、第6図は認識
候補表示の一例を示す図、第7図および第8図は評価値
Hの算出例を示す図、第9図および第1O図はキー操作
メツセージの表示例を示す図、第11図および第12図
は第7図および第8図とは異なる評価値Hの算出例を示
す図である。 l・・・アナログ入力部、 2・・・音声分析部、3
・音節区間抽出部、 4・・・CPLIメモリ、5
・・・CPU、 6 単音節認識部、7・
・パターンメモリ、 8−文節認識部、9・・・文
節認識用辞書、 IO・・・キー操作指示部、11・
表示部、 12・・キーボード。 第3図 /は/ /い/ /け/ /い/HHHHAAA
AAAAAEEEE11111.、KK、EEEEEE
EEEIll第 4 図 一発声内容 一音素記号
ロック図、第2図はユーザ支援処理動作のフローチャー
ト、第3図は切り出された音節区間候補の一例を示す図
、第4図は生成された音節ラティスの一例を示す図、第
5図は得られた文節候補の一例を示す図、第6図は認識
候補表示の一例を示す図、第7図および第8図は評価値
Hの算出例を示す図、第9図および第1O図はキー操作
メツセージの表示例を示す図、第11図および第12図
は第7図および第8図とは異なる評価値Hの算出例を示
す図である。 l・・・アナログ入力部、 2・・・音声分析部、3
・音節区間抽出部、 4・・・CPLIメモリ、5
・・・CPU、 6 単音節認識部、7・
・パターンメモリ、 8−文節認識部、9・・・文
節認識用辞書、 IO・・・キー操作指示部、11・
表示部、 12・・キーボード。 第3図 /は/ /い/ /け/ /い/HHHHAAA
AAAAAEEEE11111.、KK、EEEEEE
EEEIll第 4 図 一発声内容 一音素記号
Claims (2)
- (1)入力された音声信号を音響分析して特徴パラメー
タに変換し、この特徴パラメータを所定の手法によって
音韻単位で識別し、この識別結果に基づいて音声を認識
する音声認識装置において、上記音韻単位の識別結果に
基づいて、入力音声を文節等の意味の有る認識単位で認
識して認識候補を得る認識部と、 発声すべき音節の順序を表す指示音節列を格納するメモ
リと、 上記メモリに格納された上記指示音節列、上記認識部に
よって得られた認識候補および各種メッセージを表示す
る表示手段と、 上記表示手段で表示された指示音節列に従って発声され
た音声に係る識別結果に基づいて上記認識部によって得
られた認識候補と上記指示音節列とを比較/照合し、認
識候補に基づいて正しい認識結果を得るために次に実施
すべき操作を所定の手順によって判定する次操作判定手
段と、 上記次操作判定手段による判定結果に従って、この判定
結果の内容を上記表示手段で表示するための操作メッセ
ージを生成する操作メッセージ生成手段を備えたことを
特徴とする音声認識装置。 - (2)請求項1に記載の音声認識装置において、上記次
操作判定手段は、正しい認識結果を得るために次に実施
すべき操作を判定する際に、当該認識候補に係る指示音
節列が上記表示手段で表示されてから後の操作履歴を考
慮して判定することを特徴とする音声認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2155849A JP2755792B2 (ja) | 1990-06-14 | 1990-06-14 | 音声認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2155849A JP2755792B2 (ja) | 1990-06-14 | 1990-06-14 | 音声認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0446399A true JPH0446399A (ja) | 1992-02-17 |
| JP2755792B2 JP2755792B2 (ja) | 1998-05-25 |
Family
ID=15614849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2155849A Expired - Fee Related JP2755792B2 (ja) | 1990-06-14 | 1990-06-14 | 音声認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2755792B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009150991A (ja) * | 2007-12-19 | 2009-07-09 | Denso Corp | 単音節入力装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60205594A (ja) * | 1984-03-30 | 1985-10-17 | 電子計算機基本技術研究組合 | 認識結果表示方式 |
| JPH01191217A (ja) * | 1988-01-26 | 1989-08-01 | Canon Inc | 情報処理装置 |
| JPH01285997A (ja) * | 1988-05-13 | 1989-11-16 | Sharp Corp | 音声認識装置 |
-
1990
- 1990-06-14 JP JP2155849A patent/JP2755792B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60205594A (ja) * | 1984-03-30 | 1985-10-17 | 電子計算機基本技術研究組合 | 認識結果表示方式 |
| JPH01191217A (ja) * | 1988-01-26 | 1989-08-01 | Canon Inc | 情報処理装置 |
| JPH01285997A (ja) * | 1988-05-13 | 1989-11-16 | Sharp Corp | 音声認識装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009150991A (ja) * | 2007-12-19 | 2009-07-09 | Denso Corp | 単音節入力装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2755792B2 (ja) | 1998-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5787230A (en) | System and method of intelligent Mandarin speech input for Chinese computers | |
| JP3520022B2 (ja) | 外国語学習装置、外国語学習方法および媒体 | |
| US5220639A (en) | Mandarin speech input method for Chinese computers and a mandarin speech recognition machine | |
| WO2006054724A1 (ja) | 音声認識装置及び方法ならびにプログラム | |
| JP2008309856A (ja) | 音声認識装置及び会議システム | |
| JP5105943B2 (ja) | 発話評価装置及び発話評価プログラム | |
| JPH10503033A (ja) | 新ワードのモデル化に基づく音声認識方法及びその装置 | |
| US7240008B2 (en) | Speech recognition system, program and navigation system | |
| JPH06110494A (ja) | 発音学習装置 | |
| KR102405547B1 (ko) | 딥러닝 기반의 발음 평가 시스템 | |
| KR101250897B1 (ko) | 전자사전에서 음성인식을 이용한 단어 탐색 장치 및 그 방법 | |
| CN101310315A (zh) | 语言学习设备,语言助学方法、程序及记录介质 | |
| JP2755792B2 (ja) | 音声認識装置 | |
| JP4094255B2 (ja) | コマンド入力機能つきディクテーション装置 | |
| JP3254977B2 (ja) | 音声認識方法及び音声認識装置 | |
| JP2017015823A (ja) | 発話練習装置、表示制御方法、及びプログラム | |
| JPH0338699A (ja) | 音声認識装置 | |
| JP2001282098A (ja) | 外国語学習装置、外国語学習方法および媒体 | |
| JPH0434499A (ja) | 発声法指示装置 | |
| JP2647234B2 (ja) | 音声認識装置 | |
| JP2000276189A (ja) | 日本語ディクテーションシステム | |
| JP2001188556A (ja) | 音声認識方法及び装置 | |
| KR102112059B1 (ko) | 청음 기반 중국어 발음 한글 표기 형성 방법, 청음 기반 중국어 발음 한글 표기 표시 방법 및 이것을 이용한 외국어 학습 방법 | |
| JPH09259145A (ja) | 検索方法および音声認識装置 | |
| JPH03217900A (ja) | テキスト音声合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |