JPH0374426B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は音声ワードプロセツサ、特に、例えば
音声により入力された文章データを表示する際
に、その入力の確からしさに対応した複数種の表
示形態により表示するなどして、次の操作によつ
て起こる変化ないし効果を、操作者が予想できる
ようにし、効率的な文書作成を可能とした音声ワ
ードプロセツサに関するものである。

〔従来の技術と問題点〕

最近、音声認識の技術が実用化の段階に入り、
日本語ワードプロセツサの入力を、音声入力で行
うことが考慮されている。

このような音声ワードプロセツサでは、文章デ
ータの読み上げ音声について音声認識を行う部分
と、仮名漢字変換を処理する部分とは、一般に独
立に設けられ、音声認識する部分から仮名漢字変
換を処理する部分に対して、子音(C)／母音（Ｖ）
の組合わせからなるCV音節候補系列に関するデ
ータが引き渡される。そして、候補となる音節の
組合わせによる曖昧文字列について、単語辞書と
照合することにより、不適正な文字列を排除し、
適正な文字列をデイスプレイに順次表示するよう
にされる。特に適正文字の摘出にあたつては、同
時に仮名漢字変換がなされることが多い。

しかし、従来方式によれば、曖昧文字列から得
られた適正文字系列の読みまたはその漢字変換結
果が、所定の優先順位でもつて順次表示されてい
くものの、操作者にとつてみれば、次に表示され
る内容が全く予想できず、従つて、先頭の候補か
ら正解に達するまで順番に表示していかなければ
ならないという問題があつた。特に、不明瞭に発
声された入力の場合等には、再入力し直したほう
がよいか、または変換修正を行つたほうがよいか
などについての情報が得られないため、その時点
における最善の操作を選択できないという問題が
あつた。

〔問題点を解決するための手段〕

本発明は上記問題点の解決を図り、操作者が選
択し得る複数の指示操作に対し、その結果を予想
可能とする情報を入力文字列の読みまたはその漢
字変換結果と共に表示し、最適な指示を選択し
て、迅速に日本語文書を作成できるようにしてい
る。

即ち、本発明の音声ワードプロセツサは、文章
データの入力について、該データの読み上げ音声
を音声認識に基づきCV音節候補系列に変換し、
該系列に対し辞書照合を用いた仮名漢字変換処理
によつて日本語文書を作成する音声ワードプロセ
ツサにおいて、入力音声の特徴パラメータを抽出
するパラメータ抽出部と、該パラメータ抽出部が
抽出した特徴パラメータに基づいて予め辞書に格
納された標準パターンと照合することにより候補
となる音節系列を選出する音声認識部と、各適正
文字に関する情報が登録された単語辞書と、上記
音声認識部による認識結果に基づいて生成される
曖昧文字列について上記単語辞書を検索し適正文
字を抽出する辞書照合部と、少なくとも音声再入
力指示、読み取替え指示および漢字取替え指示を
含む指示に対する入力操作を検出し指示内容に関
する制御を行う指示制御部と、次に選択される上
記入力操作に対して変化する表示内容を予測させ
る情報を表示する表示選択部とを備えたことを特
徴としている。以下、図面を参照しつつ、実施例
に従つて説明する。

〔実施例〕

第１図は本発明の一実施例ブロツク図、第２図
は第１図図示表示選択部による処理の例、第３図
は音節種類数のカウント範囲を説明する図、第４
図は本発明の実施例による表示態様を説明する
図、第５図は本発明の他の実施例による表示態様
を説明する図、第６図は読みの変化部分を予告す
る表示の説明図、第７図は漢字の変化を予告する
表示の説明図を示す。

第１図において、符号１は音声を入力するマイ
ク、２は音声パラメータ抽出部、３は音声の特徴
パラメータに関する標準パターンが格納された音
声辞書、４は連続音声認識または離散音声認識を
行う音声認識部、５は音声認識部４による認識結
果が格納される音節ラテイス記憶部、６は音節ラ
テイス記憶部５に記憶された候補となる音節の組
合わせによる曖昧文字列を生成し変換対象を選択
する変換対象選択部、７は適正文字への変換の対
象となる曖昧文字列が格納される曖昧文字列バツ
フア、８は読みと漢字混じりの適正文字とが予め
登録された単語辞書、９は辞書照合部、１０は指
示操作に対する制御を行う指示制御部、１１はキ
ーボード、１２は例えばマウス等の画面ポインテ
イング装置、１３は辞書照合部９による照合結果
を記憶する照合結果記憶部、１４は次の操作に対
する変化を予測させる表示形態により照合結果を
表示する制御を行う表示選択部、１５はデイスプ
レイ、１６はデイスプレイ画面における読み表示
領域、１７は照合結果が表示される漢字表示領域
を表す。

マイク１から、文章データを読み上げた音声が
入力されると、音声パラメータ抽出部２によつ
て、スペクトル情報等に関する音声の特徴パラメ
ータ時系列が抽出される。音声認識部４は、音声
パラメータ抽出部２が抽出した未知入力音声の特
徴パラメータと、音声辞書３に例えば単音節単位
に格納されている標準パターンとを、例えばDP
マツチング法等により照合し、認識結果である
CV音節候補系列を、候補順位に従つて、音節ラ
テイス記憶部５に格納する。なお、候補となる各
音節毎の標準パターンとの距離情報についても対
応させて格納する。

変換対象選択部６は、音節ラテイス記憶部５に
格納された音声認識結果に基づいて、各候補とな
る音節を組合わせることにより、曖昧文字列を生
成し、曖昧文字列バツフア７に格納する。各候補
音節の組合わせは、例えば各音節の標準パターン
との距離の総和が最小となるものから順に、所定
の距離内にあるもの、または所定の個数分だけ選
択されるようになつている。また、必要に応じ
て、例えば“wa”の発音を「は」に、“ｅ”の発
音を「へ」に読替えるというように、所定の読替
え規則による曖昧文字列も組入れられる。曖昧文
字列バツフア７に格納された曖昧文字列は、順
次、変換対象選択部６によつて選択され、辞書照
合部９へ引き渡される。

辞書照合部９は、渡された曖昧文字列につい
て、必要に応じて適当な文字列に区切り、その読
みをキーとして、単語辞書８を検索する。単語辞
書８には、予め適正な文字についての読みと、そ
の読みに対応する漢字を含む適正文字ないし単語
が登録されている。単語辞書８に求める適正文字
等があると、その照合結果を照合結果記憶部１３
に順次格納する。

表示選択部１４は、照合結果記憶部１３に格納
された各照合結果について、デイスプレイ１５の
画面に表示する。このとき、後述するような各種
表示形態により、操作者が次にどのような操作を
すれば、効率のよい最適な結果を得ることができ
るかについての判断材料を呈示する。デイスプレ
イ画面の読み表示領域１６には、選択された曖昧
文字列についての読みが表示され、漢字表示領域
１７には、その仮名漢字変換結果が表示される。
なお、読み表示領域１６および漢字表示領域１７
は、必ずしもデイスプレイ画面における固定領域
である必要はない。

指示制御部１０は、例えばキーボード１１や、
いわゆるマウス等の画面ポインテイング装置１２
からの入力によつて、例えば読み表示領域１６に
表示された読みを取替える指示、漢字変換を繰り
返す指示、現在の入力を取消し音声の再入力を行
う旨の指示などを、変換対象選択部６、辞書照合
部９または表示選択部１４などに通知する処理を
行うものである。即ち、操作者は、音声入力され
た文章データをどう扱うかについて、指示制御部
１０を介して、選択できるようになつている。

次に第２図ないし第４図に従つて、入力された
文章データを表示する際に、表示音節について、
その入力の確からしさに対応した複数種の表示形
態により表示する例を説明する。この例では、入
力の確からしさに関する情報として、表示予定音
節系列中における音節の異なる回数の大小を採用
し、例えば、変化することが少ない音節が認識誤
りである場合には、照合によらずに、キーボード
１１などから直接修正するか、発声し直したほう
がよいということを、操作者に認知させ、修正速
度の迅速化を可能としている。

表示音節系列中における各音節が、次の操作ま
たは何回かの操作で変化する可能性が大きいか否
かは、ある範囲内において、異なる音節が現れる
回数に関係する。例えば、曖昧文字列バツフア７
に格納された曖昧文字列が、第３図図示のよう
に、音声適正順位に従つて並んでいたとする。こ
の適正順位が第位から第位のものに着目する
と、第１音には、「ふ／く」の２種類の音節があ
る。同じ範囲では、第２音には、「じ／ぎ／ち」
の３種類の音節がある。従つて、第１音よりも第
２音のほうが、変化する可能性が大きいことにな
る。同様に第３音は、「つ」の１種類であるので、
少なくとも４回の通常の操作では、変化しないこ
とになる。

この音節数のカウントのため、第１図に示す表
示選択部１４は、例えば第２図図示のように処理
する。即ち、最初に処理Ｐ１により、まず第１音
節を処理対象としてポイントする。次に処理Ｐ２
により、カウント範囲を設定する。第３図に示し
た例では、カウント範囲を「５」として、例えば
１回目の表示に対しては、カウント範囲を第位
から第位までとしている。そして、処理Ｐ３に
より、まず第位の音節が新しい音節種別かどう
かを判定する。最初の音節「ふ」は、必ず新しい
ことになるので、処理Ｐ４により、音節種類数を
「１」にする。そして、処理Ｐ５の判定により、
カウント範囲が終了するまで、処理Ｐ３および処
理Ｐ４を繰り返す。第位の「く」の音節で音節
種類数がカウントアツプされて「２」となること
になる。

第１音節についてのカウントが終了したなら
ば、次の処理Ｐ６によつて、第２音節をポイント
するようにし、処理Ｐ７の判定および分岐によつ
て、同様に処理Ｐ２ないし処理Ｐ６を繰り返す。
そして、順次各音節について処理し、最終音節が
終了したならば、処理Ｐ８によつて、各音節毎に
音節の種類数に対応した表示色を選択し、デイス
プレイに表示する。

この表示は、例えば第４図イ図示のように行わ
れる。即ち、最初の表示は、音声適正順位が第
位の「ふじつう」であり、第１音節は音節種類数
が２であるので、例えば黄色で表示される。第２
音節「じ」は、第２音節の種類数が３であるの
で、赤で表示され、第３音節「つ」は青、第４音
節「う」は黄色で表示される。これを見れば、第
２音節が最も曖昧に認識されており、第２音節の
確からしさが小さいことがわかる。なお、この例
では、表示形態を色彩に対応させ、色彩の変化で
もつて音節種類数を表しているが、表示形態の種
類を、例えば輝度、反転表示またはブリンク等と
してもよい。後述する実施例においても同様であ
る。

第４図イに示すような表示がなされたとき、通
常の読み取替え指示操作が行われると、音声適正
順位が第位の「ふぎつう」が表示される。この
２回目の表示におけるカウント範囲は、第３図に
示すように第位から第位までであり、第４図
ロに示す色彩でもつて、各音節が表示されること
になる。

第５図は、音節認識における確からしさを、音
節認識時に計算された標準パターンとの距離によ
る類似度とした例を示している。即ち、各音節毎
の類似度の大小により、色彩等の異なる表示形態
がとられる例を示している。

例えば“fujitsuu”と発声して、「ふじつう」
という読みを入力しようとしているときに、第５
図イ図示のように認識結果として「うじつう」が
表示されたとする。ここで色彩等による類似度の
情報をみると、第１音の「う」の類似度が最も小
さい。従つて、次の曖昧文字列を指定する操作を
行えば、第１音が変化し、正しい結果が得られる
可能性が大きいと判断できる。

一方、例えば同じ入力に対して、第５図ロ図示
のように表示されたとする。この類似度をみる
と、誤つている第１音「う」の類似度が大きく、
正しい第４音「う」の類似度が小さい。誤つてい
る音節の類似度が大き場合、次の曖昧文字列で修
正される可能性は小さい。従つて、順次曖昧文字
列を取替える操作は、適切でなく、例えば音声を
再入力するか、またはキーボード１１ないし画面
ポインデイング装置１２からの入力により、直
接、先頭文字の修正指示操作を行つたほうがよい
ことがわかる。

第６図は、さらに他の実施例における表示の例
を示している。例えば曖昧文字列バツフア７にお
いて、曖昧文字列が、第６図に示す示す順位でも
つて格納されていたとする。デイスプレイ画面の
読み表示領域１６における最初の表示は、音節適
正順位が第位の「ふじつう」である。この表示
を行うとき、第１図図示表示選択部１４は、予め
次の候補である曖昧文字列「ふぎつう」を読み出
し、現在表示する「ふじつう」との変化部分を抽
出する。そして、その変化する位置に、例えばア
ンダーライン等による変化予告表示２０を付け
る。同様に２回目の表示における第位の「ふぎ
つう」を表示するときには、第位の「くじつ
う」との比較により、第１音および第２音に変化
予告表示２０を付ける。３回目以降の表示につい
ても同様である。

第６図が読みを取替える場合の例を示している
のに対し、第７図は漢字を取替える場合の表示例
を示している。照合結果記憶部１３の内容が、第
７図に示すようになつていたとする。最初の表示
は、「富士通」である。これに対し、第２番目の
仮名漢字変換結果が「藤通」となつていたとする
と、漢字取替え指示により「富士」が「藤」に変
化することとなるので、「富」と「士」の文字に
対して、それぞれ変化予告表示２１を付ける。以
下の表示についても同様である。これにより操作
者は、次の操作による変化を予測できることとな
る。なお、残り操作回数／残り候補数等を表示す
ると、読みまたは漢字の取替えを続行するのがよ
いか、または再入力がよいかなどについて、操作
者は、さらに適切に判断できることとなる。

〔発明の効果〕

以上説明した如く、本発明によれば、次の操作
によつて起こる変化を、操作者が予想できるよう
になる。従つて、操作者は適切な操作手段を選択
できるようになり、迅速に目的とする日本語文章
を表示させることができるようになる。

【図面の簡単な説明】

第１図は本発明の一実施例ブロツク図、第２図
は第１図図示表示選択部による処理の例、第３図
は音節種類数のカウント範囲を説明する図、第４
図は本発明の実施例による表示態様を説明する
図、第５図は本発明の他の実施例による表示態様
を説明する図、第６図は読みの変化部分を予告す
る表示の説明図、第７図は漢字の変化を予告する
表示の説明図を示す。 図中、２は音声パラメータ抽出部、３は音声辞
書、４は音声認識部、５は音節ラテイス記憶部、
６は変換対象選択部、７は曖昧文字列バツフア、
８は単語辞書、９は辞書照合部、１０は指示制御
部、１１はキーボード、１２は画面ポインテイグ
装置、１３は照合結果記憶部、１４は表示選択
部、１５はデイスプレイ、２０および２１は変化
予告表示を表す。

Claims (1)

1. 【特許請求の範囲】 １ 文章データの入力について、該データの読み
   上げ音声を音声認識に基づきCV音節候補系列に
   変換し、該系列に対し辞書照合を用いた仮名漢字
   変換処理によつて日本語文書を作成する音声ワー
   ドプロセツサにおいて、入力音声の特徴パラメー
   タを抽出するパラメータ抽出部と、該パラメータ
   抽出部が抽出した特徴パラメータに基づいて予め
   辞書に格納された標準パターンと照合することに
   より候補となる音節系列を選出する音声認識部
   と、各適正文字に関する情報が登録された単語辞
   書と、上記音声認識部による認識結果に基づいて
   生成される曖昧文字列について上記単語辞書を検
   索し適正文字を抽出する辞書照合部と、少なくと
   も音声再入力指示、読み取替え指示および漢字取
   替え指示を含む指示に対する入力操作を検出し指
   示内容に関する制御を行う指示制御部と、次に選
   択される上記入力操作に対して変化する表示内容
   を予測させる情報を表示する表示選択部とを備え
   たことを特徴とする音声ワードプロセツサ。 ２ 上記変化する表示内容を予測させる情報は、
   表示予定音節系列中における音節の異なる回数の
   大小または各音節の標準パターンとの類似度に基
   づき選択される複数種の表示形態であることを特
   徴とする特許請求の範囲第１項記載の音声ワード
   プロセツサ。 ３ 上記変化する表示内容を予測させる情報は、
   上記読み取替え指示または／および漢字取替え指
   示に対して取替えの対象となる文字を予告する表
   示情報であることを特徴とする特許請求の範囲第
   １項記載の音声ワードプロセツサ。