JP2000206986A - 言語情報検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 発話等と、調音器官の運動との対応に基づ
き、発話を必ずしも前提とすることなく音声等の言語情
報を入力する。 【解決手段】 マイクロホン１００により入力した音声
情報、及び、３次元デジタイザ部１１０により入力した
調音器官の位置情報に対して、適宜に処理を行い、テー
ブル部１２０に記録する。次に、３次元デジタイザ部１
１０により入力した調音器官の運動を、各測定部位の位
置の時間パターンとして入力し、テーブル部１２０に記
録してある調音器官の運動情報と、類似度が最も高いも
のを検索する。これにより、入力した調音器官の運動と
対応付けられた音響情報を推定する。調音器官の画像か
ら、発話している音声情報を獲得することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声、調音器官の動き
等の言語情報を入力ないしは認識する装置に関する。更
に詳細には、音声等の情報と、調音器官の運動との対応
を、通常の使用中に随時、記録し、この対応に基づい
て、発話ないしは調音器官の運動の少なくとも一方から
音声等の言語情報を入力ないしは認識する装置に関す
る。

【０００２】

【従来の技術】音声等の言語情報を音響情報として入力
する装置としては、マイクロホンが広く用いられてい
る。また、音声等の言語情報を文字情報や文字列からな
る文書情報として認識する方法は、音声認識として広く
知られ、一部は実用化されている。音声入力や、音声認
識においては、話者が発話した音声を、音響情報として
マイクロホンなどにより入力する。必然的に、話者は発
話する必要がある。また、マイクロホンから入力される
音響情報は、発話に由来するか否かに関わらず、マイク
ロホンからの音声信号として出力される。従って、騒音
が大きい状況では、所望の音声情報のほか、騒音も音声
信号として出力されるという問題があった。そこで、複
数のマイクロホンと、信号処理を用いて、周囲の騒音が
音声信号として出力されにくい装置が、特開平５−２２
３９２号公報や、特開平２−０７２３９８号公報で提案
されている。

【０００３】特開平５−２２３９２号公報では、ハンド
セット形状をなす携帯形無線電話機において、送話音声
を集音して送話音声信号を出力するための第１のマイク
ロホンと、周囲雑音を集音して周囲雑音信号を出力する
ための第２のマイクロホンと、この第２のマイクロホン
から出力された周囲雑音信号に基づいて、前記第１のマ
イクロホンから出力された送話音声信号に含まれる周囲
雑音成分を除去するための演算処理を行なう雑音除去回
路とを具備したことを特徴とする携帯形無線電話機が示
されている。

【０００４】また、特開平２−０７２３９８号公報で
は、２以上のマイクロホンと、前記マイクロホンからの
信号を入力するニユーラルネツトワーク・タイプのフイ
ルタにより、騒音下での信号対騒音比を改善する方法が
示されている。

【０００５】これらの方法によれば、所定の条件におい
ては、信号対騒音比を改善することが可能であるが、原
理的に発話による音響情報と騒音を分離することは困難
であった。

【０００６】また、音声認識において、音声信号だけで
なく画像情報を利用するという提案がある（特開平９−
１３４１９４号公報）。この特開平９−１３４１９４号
公報は、送話器ハウジングに収納されたカメラにより獲
得された画像情報に基づいて読話認識を実行する画像認
識システムを開示している。このような読話認識のシス
テムを、音声認識を補強するように用いることにより、
音声認識の認識精度を維持したまま、より多くの語彙に
ついてより多くの人に適用できる音声認識が可能にな
る。しかし、この提案は、画像認識において使用する参
照辞書の構成方法について言及するものではなく、ま
た、発話の音声認識の補強を前提としていることから、
実質的に発話を前提としている。そのため、騒音の影響
を免れることは困難である。また、音声認識や画像認識
に基づいた認識は、計算時間が比較的長いという課題が
あった。

【０００７】また、上述のようにマイクロホンを用いた
音声入力では発話する必要がある。しかし、公共性の高
い場所等において音声を発話することが社会問題となっ
ている。例えば、乗合バスや電車においては、携帯電話
の使用が制限されている場合が多い。また、静粛なオフ
ィスや図書館などでも、発話による音声入力が適切でな
い場合もある。また、秘話を必要とする状況においての
発話が課題となることも想定される。このような環境下
で発話を前提とするマイクロホンを用いた音声入力は適
切でない。

【０００８】このような状況での入力装置としては、キ
ーボードや、手書き文字認識が用いられている。しか
し、これらの入力方法については、手を利用し、ある程
度の習熟が必要であるという課題がある。

【０００９】

【発明が解決しようとする課題】本発明は、音声等、言
語情報を検出する際に、発話等と、調音器官の運動との
対応に基づき、発話を必ずしも前提としない入力装置を
提供することを課題とする。また、この入力装置で用い
る発話と調音器官の外見との対応を、使用や習熟に応じ
て学習することにより精度を向上させることを課題とす
る。

【００１０】

【課題を解決するための手段】請求項１の発明は、調音
器官の運動と、調音器官の運動以外からの言語情報とを
対応付ける言語情報対応付け装置であって、話者が発話
する時に生ずる調音器官の運動を調音器官およびその周
辺の外皮の少なくとも１部から計測して入力データを生
成する調音器官形態入力手段と、調音器官の運動以外か
らの言語情報を入力する手段と、前記発話中の調音器官
の運動と、前記調音器官の運動以外から入力した言語情
報を対応付ける手段とを有することを特徴とする。特
に、調音器官の運動以外から入力した情報は、請求項２
の発明のように音声情報が挙げられる。ここでは、調音
器官の運動以外から入力した情報と、調音器官の運動が
対応付けられれば良いので、本発明の請求項３にあるよ
うに、装置から発話すべき発話を指示し、利用者がその
指示に基づいて発話した際の調音器官の運動を認識する
ことが可能である。また、本発明の請求項４にあるよう
に、表音文字、表音文字列、任意の記号ないしは記号列
からなる情報を認識することも可能である。

【００１１】なお、言語情報とは、発話情報、文字情
報、シンボル、調音器官の動き等、意味内容を伝達する
ために用いる情報を指す。

【００１２】請求項１〜４の装置により構成された音声
情報と調音器官の運動の対応に基づき、請求項５にある
ように、調音器官の動きから、調音器官の運動以外から
入力した情報を獲得することが可能であり、また、請求
項６にあるように、調音器官の運動以外から入力した情
報から、対応付けられた調音器官の動きを推定すること
も可能である。この際、対応付けを認識するためには、
請求項１〜４記載の手段を含んでもよいし、予め対応付
けられた情報を入力しても良い。これらの記録のうち、
調音器官の運動や調音器官の運動以外から入力した情報
情報は時間パターンとなっているため、対応を検索する
ためには、対応を学習したニューラルネットワークや、
時間パターンのマッチングで一般的なダイナミックプロ
グラミングなどを用いることができる。

【００１３】音声等を検出する際、音響入力などの調音
器官の運動以外の入力と、調音器官の運動による入力の
２つがあるので、いずれか一方だけから検出が難しい状
況などでは、本発明の請求項７の発明のように、他方の
情報を統合することにより音声等を検出することも可能
となる。また、通常の使用状態では、辞書を随時記録
し、学習を行いながら、いずれか一方が使用できないと
判断された場合には他方から音声を検出することも可能
である。この場合、請求項９の発明のように何れか一方
を選択してもよいし、請求項１０の発明のように双方を
合成してもよい。また請求項双方をこれによれば、通常
の使用中に、対応付けを記録することができる。このと
きに、検出が困難か否かを判定する根拠として、請求項
１０、１１の発明のように、確信度を算出し、根拠とす
ることができる。発話が不適切な状況において、発話に
関する確信度でもっとも重要な発話が有音であるか無音
であるかが挙げられる。本発明の請求項１２は、発話が
有音であるか無音であるかを認識することによって確信
度を得ている。

【００１４】また、請求項８の発明のように発話者の器
官の運動とジェスチャー等の意味情報とを対応づけるよ
うにしてもよい。

【００１５】音声情報調音器官の運動以外から入力した
音声情報は、請求項２の発明のようにマイクロホンなど
で入力した音声信号や、音声信号を適宜の周波数帯域の
信号強度に変換した時間パターン、また、音声認識した
結果などを用いることができるが、明示的に表音文字を
キーボード等から入力しても、音声情報を入力すること
ができる。

【００１６】話者が発話する時に生ずる調音器官の運動
を調音器官およびその周辺の外皮の少なくとも１部から
計測して入力データを生成する調音器官形態入力手段
は、外皮に接したセンサーを用いても入力が可能であ
る。また、本発明の請求項１３にあるように、外皮の外
見を適宜のセンサー、例えば光学的に３次元の形状を入
力するセンサーを用いても良いし、本発明の請求項１４
にあるように外皮の画像を撮影して運動を検出すること
も可能である。画像から運動を検出する方法としては、
オプティカルフローによる方法が知られている。

【００１７】調音器官の運動以外から入力した音声情
報、及び、話者が発話する時に生ずる調音器官の運動を
調音器官およびその周辺の外皮の少なくとも１部から計
測した入力データは、何れも、時刻によって変化する時
間パターンと考えることができる。従って、調音器官の
運動以外から入力した音声情報と、発話中の調音器官の
運動を対応付ける手法としては、これらを時間パターン
としてテーブルに記録する方法が考えられるほか、請求
項１５、１６の発明のように、階層型ニューラルネット
ワークや、リカレントニューラルネットワークなどのニ
ューラルネットワークにより、例えば運動の時間パター
ンを入力信号として、対応する表音文字を教師信号とし
て学習することにより対応付けを行うことができる。同
様に、表音文字を入力信号として、運動の時間パターン
を教師信号として学習することにより対応付けを行うこ
とができる。

【００１８】この学習の基となる入力信号や教師信号の
データは、請求項１７のように、調音器官の運動以外か
ら入力した音声情報、及び、発話中の調音器官の運動を
記録することにより得ることができる。ここで、記録す
るデータは、請求項１８記載のように、入力した音声情
報、及び、発話中の調音器官の運動に基づいて、この対
応を随時、ないしは指示に基づいて記録し、更新するこ
とができるが、請求項１９記載のように、各入力の確信
度を算出し、この確信度に応じて記録を自動的に制御す
ることも可能である。例えば、何れの確信度も９０％を
超えた場合に限り、記録を更新するなどの制御が可能で
ある。また、請求項２０記載のように、音声を検出する
過程で、入力した何れか一方の確信度が所定の値以下の
場合には、他方の入力と、その入力に対応するもう一方
の特性に基づいて検出結果を出力し、双方の確信度が所
定の値以上であった場合には、得られた双方の確信度に
応じて記録、及び更新を制御する手段を有すると同時
に、検出結果を出力することも可能である。この発明に
よれば、通常の使用中に、確信度の高い入出力の対応を
随時記録しながら、認識率を向上させることが可能とな
る。同様に、請求項２１記載のように、音声認識に適用
することができる。

【００１９】以上の発明は、請求項２３に記載のように
電話装置に適用することができる。電話装置には、通常
の据置型の電話機のほか、携帯型無線電話装置や、テレ
ビ電話も含まれる。このような電話装置に適用すること
によって、発話が困難な状況での使用や、騒音が大きな
状況下での使用が可能となる。また、本質的に音声情報
と画像情報を取り扱うビデオカメラや、ビデオテープレ
コーダーに代表される視聴覚機器では、音声信号と画像
信号を容易に獲得することが出来るため、本発明の調音
器官の運動以外から入力した音声情報を入力する手段
と、話者が発話する時に生ずる調音器官の運動を調音器
官およびその周辺の外皮の画像を入力する手段は具備さ
れており、実施が容易である。

【００２０】特に、テレビ電話では、音声情報から、調
音器官の動きを対応付けることができるので、調音器官
の動きに関しては伝送を省略ないしは低減することが可
能となる。

【００２１】また、文字、ないしは文字列からなる文書
を入力する装置に適用すると、入力の確信度を向上させ
ることが可能になる。また、通常の発話とは異なる調音
器官の動き、例えば、著しい左右非対称の運動などは、
発話とは異なる信号として認識することが可能である。
このような運動を、適宜のジェスチャーに割り当てるこ
とにより、音声認識だけでは不可能なジェスチャーを入
力する装置を構成できる。

【００２２】以上の発明は各手段について説明したもの
であるが、これらの手段の内、一部ないし全部をコンピ
ュータプログラムとして実装することも可能である。ま
た、適宜の媒体に、これらのコンピュータプログラム
や、対応付けを記録することが可能である。

【００２３】

【作用】この発明では、音声情報を入力したり、音声を
伝達するために、発話した音響情報と、調音器官の運動
を統合する。

【００２４】発話した音響情報は、マイクロホンなどの
音声入力手段によて入力した音響情報と、３次元デジタ
イザや、画像入力装置により入力した調音器官の運動情
報を、テーブルやニューラルネットワークにより対応付
ける。

【００２５】この対応付けにより、いずれか一方の入力
に課題がある場合には、他方の入力から入力を行う。ま
た、何れの入力も正しいと想定される場合には、その情
報を対応付けのための情報として用いる。

【００２６】請求項１の発明のように、音声情報と、調
音器官の運動を対応付ける装置として、音声情報を入力
する手段と、発話中の調音器官の運動を入力する手段と
により入力した情報を、必要に応じて適宜の処理を施
し、テーブルに記録したり、請求項１５、１６の発明の
ように、ニューラルネットワークの学習を行う。

【００２７】この対応付けに基づいて、請求項２の発明
のように、調音器官の運動から、音声情報を獲得した
り、請求項３の発明のように、音声に基づき、調音器官
の運動を推定する。

【００２８】この際、音声情報は、そのまま記録（録
音）しても良いし、周波数スペクトラムの時間パターン
としてもよいし、また、音声認識を行い、結果の発音記
号や、文字または、文字情報、ないしは文字列からなる
文書情報として認識しても良い。

【００２９】また、調音器官の運動は、画像による場合
にはそのまま記録（録画）しても良いし、オプティカル
フロー手法などを用いて、形状の認識やその運動として
記録しても良い。ただし、テーブルやニューラルネット
ワークに記録し、運動の類似度に基づいてテーブルを索
引する場合や、ニューラルネットワークの入力を想定す
る場合には、音声情報も、運動情報も、数値化するほう
が望ましい場合がある。例えば、入力した運動情報に、
テーブル中でもっとも類似度の高い運動情報を、ダイナ
ミックプログラミング手法により検索する場合、録画情
報では処理することは困難であるが、所定の位置の運動
情報として、位置の時間パターンとして記録すれば容易
に検索することが出来る。

【００３０】

【発明の実施の態様】以下、図面を参照しながら実施例
に基づいて本発明の特長を具体的に説明する。 ［実施例１］第１図は本発明の実施例１を示す。この実
施例１は、音声情報と、調音器官の運動とを対応付ける
言語情報対応付け装置とし実現されている。

【００３１】図１において、言語情報対応付け装置は、
マイクロホン１００、三次元デジタイザ部１１０、テー
ブル部１２０およびスペクトラム情報算出部１３０を含
んで構成されている。マイクロホン１００により入力し
た音声信号と、調音器官に接触する３次元デジタイザ部
１１０から入力した音声信号に同期した顔を含む調音器
官の位置情報とを、テーブル部１２０に記録する。この
際、音声情報はスペクトラム情報算出部１３０により、
適宜の周波数帯域ごとのスペクトラム強度の時間パター
ンとして記録する。また、顔を含む調音器官の位置情報
は、調音器官上の適宜の１つ以上の点（例として、唇両
端、上下唇の中心、のどぼとけの中心位置、頬中央な
ど）の軌跡を３次元デジタイザ部１１０により入力し、
各測定部位の位置の時間パターンとして記録する。

【００３２】このテーブル部１２０により、入力した音
声情報と、入力した発話中の調音器官の運動を対応付け
ることができる。

【００３３】このテーブル部１２０は、索引が容易なよ
うに、適宜の並べ替えを行っても良い。また、本実施例
では調音器官の運動を入力する手段として３次元デジタ
イザを用いたが、調音器官の運動を入力できる手段であ
れば、他の方法を用いても良い。

【００３４】［実施例２］第２図は本発明の実施例２を
示す。この実施例２は、調音器官の運動から、音声情報
を推定する音声情報推定装置として実現されている。な
お、図２において図１と対応する箇所には対応する符号
を付した。

【００３５】図２において、実施例１と同様に、マイク
ロホン１００により入力した音声情報、及び、３次元デ
ジタイザ部１１０により入力した調音器官の位置情報に
対して、適宜に処理を行い、テーブル部１２０に記録す
る。

【００３６】次に、テーブル部１２０に記録したときと
同じように、３次元デジタイザ部１１０により入力した
調音器官の運動を、各測定部位の位置の時間パターンと
して入力し、テーブル部１２０に記録してある調音器官
の運動情報と、類似度が最も高いものを検索する。この
手法の一例としては、時間パターンの認識に広く用いら
れているダイナミックプログラミング手法を用いてもよ
い。

【００３７】以上によりテーブル部１２０を検索し、入
力した調音器官の運動と対応付けられた音響情報を推定
する。

【００３８】本実施例によれば、音声認識を行うことな
しに調音器官の画像から、発話している音声情報を獲得
することができる。この音声情報は、例えば人間が直接
音響情報として聞く場合や、高度な音声認識の入力とし
て用いる場合には、文脈等の情報や、他の自然言語情報
を勘案することにより、多少の誤差があっても補正が可
能である。例えば、日本語においては、母音がほぼ正確
であれば、子音に多少の誤差があっても文脈などの情報
を勘案すれば、文章の内容を了解することが出来る場合
が多い。

【００３９】また、本実施例では、テーブル部１２０へ
の記録までの手段と、テーブル部１２０の索引からの手
段を、同一の装置で実施する例を示したが、各手段間で
所要の情報を通信などにより伝達することが出来る場合
には、同一の装置内で実施しなくても本発明を実施する
ことができる。

【００４０】［実施例３］第３図は本発明の実施例３を
示す。この実施例３は、音声に基づき、調音器官の運動
を推定する調音器官運動推定装置として実現されてい
る。なお、図３において図１と対応する箇所には対応す
る符号を付した。

【００４１】実施例１と同様に、マイクロホン１００に
より入力した音声情報、及び、３次元デジタイザ部１１
０により入力した調音器官の位置情報に対して、適宜に
処理を行い、テーブル部１２０に記録する。

【００４２】次に、テーブル部１２０に記録した際と同
じように、マイクロホン１００により入力した音声信号
を、スペクトラム情報算出部１３０により、適宜の周波
数帯域ごとのスペクトラム強度の時間パターンとして入
力し、テーブル部１２０に記録してある音声情報と、類
似度が最も高いものを検索する。この手法の一例として
は、時間パターンの認識に広く用いられているダイナミ
ックプログラミング手法を用いてもよい。

【００４３】以上によりテーブル部１２０を検索し、入
力した音声情報と対応付けられた調音器官の動を推定す
る。

【００４４】本実施例によれば、容易に音声に基づき、
調音器官の運動を推定するすることができる。テーブル
部１２０への記録までの手段と、テーブル部１２０を索
引する以降の手段は、同一の装置内にあってもよいし、
異なる装置に設置して、テーブル部１２０に記録された
情報をそれらの装置間で伝送しても良い。

【００４５】［実施例４］第４図は本発明の実施例４を
示す。実施例４は、テレビ電話装置として実現されてい
る。図４においても図１と対応する箇所には対応する符
号を付した。

【００４６】図４において、実施例３と同様に、入力し
た音声情報と対応付けられた調音器官の動を推定する。

【００４７】対応付けのテーブル１２０および、入力し
た音声信号は、伝送路２２０により受信側に伝送され、
受信側では音声に対応した運動情報を、伝送されたテー
ブル１２０から推定し、運動情報を推定する。推定した
調音器官の運動に、顔表面の画像をテクスチャーマッピ
ング部２００により割り付ける。その画像を、表示部２
１０により表示する。

【００４８】本実施例によれば、調音器官については、
随時の運動を伝送することなしに、顔画像のうち、調音
器官の運動を伝送することができる。

【００４９】［実施例５］第５図（ａ）は本発明の実施
例５を示す。実施例５は、音声情報と、調音器官の運動
とを対応付ける装置を示す。なお、図５（ａ）において
も図１と対応する箇所には対応する符号を付した。

【００５０】図５（ａ）において、マイクロホン１００
により入力した音声信号と、調音器官に接触する３次元
デジタイザ部１１０から入力した音声信号に同期した顔
を含む調音器官の位置情報とを、テーブル部１２０に記
録する。この際、音声情報は音素認識部１３１により、
母音と子音の時間パターンとして記録する。また、顔を
含む調音器官の位置情報は、調音器官上の適宜の１つ以
上の点（例として、唇両端、上下唇の中心、のどぼとけ
の中心位置、頬中央など）の軌跡を３次元デジタイザ部
１１０により入力し、各測定部位の位置の時間パターン
として記録する。

【００５１】このテーブル部１２０により、入力した音
素情報と、入力した発話中の調音器官の運動を対応付け
ることができる。

【００５２】このテーブル部１２０は、索引が容易なよ
うに、適宜の並べ替えを行っても良い。また、本実施例
では調音器官の運動を入力する手段として３次元デジタ
イザを用いたが、調音器官の運動を入力できる手段であ
れば、他の方法を用いても良い。

【００５３】また、図５（ｂ）に示すように、本実施例
の音素認識部１３１に代えて、音声認識部１３２を用
い、音声情報を文字情報ないしは文字列からなる文書情
報として認識することも可能である。

【００５４】［実施例６］第６図は本発明の実施例６を
示す。この実施例は、本発明を携帯型無線電話装置に適
用したものである。本実施例は、特開平９−１３４１９
４号公報にあるハンドセットに、本発明を実装したもの
である。図６においても図１と対応する箇所には対応す
る符号を付した。

【００５５】携帯型無線電話装置は、通常の有線電話に
比較して、通話が可能な状況が広範囲で、例えば、公共
交通機関内でも原理的には通話が可能である。しかし、
一般的には、このような状況下で、電話機へ向けての発
話が迷惑となると考えられている。本実施例では、この
ような状況における使用を想定したものである。また、
この実施例は、携帯型無線電話装置だけではなく、他の
電話装置に適用することもできる。

【００５６】図６において、発話が可能な状況下におい
ては、マイクロホン１００により入力し、送話した音声
信号、及び、調音器官に接触する携帯型無線電話装置の
ビデオカメラ１１１から入力した音声信号に同期した顔
を含む調音器官の位置情報を、テーブル部１２０に記録
する。この際、音声情報は、入力した音声に類似した音
声を、音声合成部１４０により合成する場合のパラメー
タとなるように、音声変換部１３３により変換し、テー
ブル部１２０に記録する。この過程で、音声認識を行っ
ても良いが、必ずしも認識を行わなくても、ほぼ同等に
聞こえる音響情報を合成できるレベルのパラメータを算
出してもよい。

【００５７】このテーブル部１２０により、音声合成パ
ラメータと、発話中の調音器官の運動を対応付けること
ができる。

【００５８】このテーブル部１２０は、索引が容易なよ
うに、適宜の並べ替えを行っても良い。また、本実施例
では調音器官の運動を入力する手段として調音器官に接
触する携帯型無線電話装置のビデオカメラ１１１を用い
たが、調音器官の運動を入力できる手段であれば、画像
入力や、超音波による距離測定など、他の方法を用いて
も良い。

【００５９】発話に支障のある状況下では、利用者の指
示に基づいて、下記の手順により使用する。

【００６０】まず、調音器官に接触する携帯型無線電話
装置のビデオカメラ１１１から入力した顔を含む調音器
官の位置情報に最も近いテーブル部１２０に記録された
調音器官の運動を、ダイナミックプログラミング手法に
より検索する。この運動に対応する音声合成パラメータ
を索引し、音声合成部１４０により、音声を合成する。
合成した音声を、切り替え部１４１により、マイクロホ
ン１００からの出力に代えて送話する。

【００６１】本実施例では、利用者の指示に基づいてテ
ーブルへの記録と、テーブルの索引と合成を切り替えた
が、マイクロホン１００からの入力の有無に応じて上記
の切り替えを自動で行うことも可能である。また、騒音
などを検知する手段を加え、騒音の大小に応じて切り替
えることも可能である。自動で切り替えを行う場合、例
えば、マイクロホン１００からの入力が途切れ途切れに
なるような状況で、本発明により一部を合成することを
想定すると、高々母音程度が了解できるレベルでも、実
用上は通話品質を大幅に向上することができる。

【００６２】［実施例７］第７図は本発明の実施例７を
示す。この実施例７は、本発明を音声認識装置に適用し
たものである。図７においても図１等と対応する箇所に
は対応する符号を付した。

【００６３】近年の音声認識技術の発展により、用途に
よっては実用に耐えるレベルの音声認識技術が実用化さ
れている。しかし、現状の音声認識技術は発話すること
が前提となっているために、例えば公共交通機関内、静
かなオフィスや図書館での使用に支障がある場合があ
る。また、車両内などにおいて、騒音が大きい場合に
は、音声だけを入力する方法に課題がある状況もある。
本実施例では、このような状況における音声認識を想定
したものである。

【００６４】発話のみでの音声認識が可能な状況下にお
いては、マイクロホン１００により入力し、送話した音
声信号、及び、調音器官を撮影するのビデオカメラ１１
１から入力した音声信号に同期した顔を含む調音器官の
画像から求めた位置情報を、テーブル部１２０に記録す
る。この際、音声情報は、音声認識部１３２により認識
し、テーブル部１２０に記録する。また、ビデオ画像か
ら調音器官の運動を取得する方法としては、オプティカ
ルフロー手法を用いることができる。

【００６５】ここで、発話のみでの音声認識が可能な状
況であるか否かの判断は、利用者が指定しても良いし、
音声認識の際に、確信度を算出し、確信度が所定の値以
上であるか否かにより判断してもよい。

【００６６】次に、音声認識の際、以下の手順で認識を
行う。

【００６７】マイクロホン１００により入力し、送話し
た音声信号、及び、調音器官のビデオ画像から入力した
音声信号に同期した顔を含む調音器官の位置情報を、同
時に入力する。この入力と認識については、テーブル部
１２０に記録する際に用いた手段を用いても良いし、結
果が同等であれば異なる手段を用いても良い。この際、
入力した音声情報の確信度併せて認識する。例えば、雑
音などを検知することにより、認識結果が正しく認識さ
れている（誤認識でない）確率などを算出する。

【００６８】この確率が所定の値以上であれば、音声認
識の結果を認識結果として採用し、そうでない場合には
調音器官の運動を認識した結果を認識結果として採用す
る。

【００６９】以上では、音声認識のみの確信度を用いた
が、調音器官の運動を認識した結果についても確信度を
算出し、確信度が高い認識結果を採用しても良いし、合
計の確信度が高い認識結果を採用してもよい。また、調
音器官の確信度だけを求め、それに基づいて選択ないし
は合成を制御しても良い。

【００７０】また、子音は音声認識の結果を用い、母音
だけ双方の確信度が高いものを用い、子音と母音の認識
結果を合成しても良い。このように、選択と合成につい
ては種々の組み合わせや手法を用いることが出来る。

【００７１】［実施例８］第８図は本発明の実施例８を
示す。この実施例８は、調音器官の運動から、文字情報
を対応付ける装置を示す。図８においても図１等と対応
する箇所には対応する符号を付した。

【００７２】マイクロホン１００により入力し、音声認
識した文字情報と、調音器官に接触する３次元デジタイ
ザ部１１０から入力した音声信号に同期した顔を含む調
音器官の位置情報を獲得する。この際、音声の入力と認
識を行わず、利用者が発話した文字情報をキーボードな
どにより入力しても良いし、適宜の指示装置により発話
すべき文字情報を利用者に提示して、発話しても良い。
この際、発話は調音器官の運動だけで、実際に発話しな
くても良いし、発話してもよい。

【００７３】以上により対応付けられた文字情報と、調
音器官の運動情報を用いて、ニューラルネットワーク１
２１を学習する。この際、調音器官の運動情報を、教師
信号として、文字情報をニューラルネットワーク１２１
に与える。そして、認識率をエネルギー関数として、エ
ネルギーが小さくなるようにニューラルネットワーク１
２１の諸係数を調整することにより学習を行う。ここで
は、認識率をエネルギー関数としたが、文字情報に対応
する適宜の理想出力を教師信号とし、教師信号とニュー
ラルネットワーク１２１の出力のユークリッド距離をエ
ネルギー関数としてもよい。

【００７４】このような時間パターンの認識には、一般
的な階層型ニューラルネットワークを用いても良いし、
リカレントニューラルネットワークを用いていも良い。

【００７５】以上により、エネルギー関数が所定の値以
下になるか、所定の回数まで学習を繰り返す。

【００７６】学習が終了した時点で、音声認識の際、以
下の手順で認識を行う。

【００７７】調音器官に接触する３次元デジタイザ部１
１０から入力した音声信号に同期した顔を含む調音器官
の位置情報を獲得する。この位置情報、ないしは位置情
報の時間パターンを、ニューラルネットワーク１２１に
入力する。必要に応じて、ニューラルネットワーク１２
１の出力を文字情報に変換することによって、認識結果
を算出することが出来る。

【００７８】また、認識は、文字単位で行っても良い
し、文字列からなる文書単位で行っても良い。文字列か
らなる文書単位で認識を行う場合には、出現頻度や文脈
などを勘案し、認識率を向上させることができる。

【００７９】また、ここではテーブル部１２０に代えて
ニューラルネットワーク１２１を用いたが、他の手段、
例えば、請求項４における、「入力した音声情報と、対
応付けられた音声情報の少なくとも一方から出力を選
択、ないしは合成する手段」に用いても良いし、請求項
５の確信度を認識する手段に用いても良い。この場合、
学習が不要であれば、必ずしも学習を行う必要はない。

【００８０】また、文字、ないしは文字列からなる文書
に対応しないような調音器官の運動、たとえば、左右非
対称の運動を、「ｙｅｓ」，「ｎｏ」や、ポインティン
グなどに割り当て、認識させることにより、請求項２２
のように、ジェスチャーを認識することも可能である。

【００８１】［実施例９］第９図は本発明の実施例９を
示す。実施例９は、調音器官の運動から、文字情報を対
応付ける装置として実現されている。この実施例は図８
と同様にニューラルネットワーク１２１を用いるもので
ある。図９においても図１等と対応する箇所には対応す
る符号を付した。

【００８２】実施例８と同様に、マイクロホン１００
と、調音器官に接触する３次元デジタイザ部１１０を用
い、適宜の処理を加えた結果を、記録手段１７０に随
時、ないしは指示に基づいて記録する。次に、この記録
を基に、実施例８のようにニューラルネットワークの学
習を行う。認識については実施例８と同様とする。

【００８３】この実施例によれば、利用中に随時学習を
行うことが可能であり、利用するにしたがって認識率を
向上させることが可能となる。

【００８４】また、認識結果を利用者に提示する提示手
段１６０を用いると、利用者は、調音器官の運動を、認
識率が高くなるように訓練することが可能になる。この
実施によれば、他に、聴覚障害者の発話訓練に適用する
ことも可能である。ここで、提示は視覚的に提示しても
良いし、音強敵に提示しても良い。

【００８５】［実施例１０］第１０図は本発明の実施例
１０を示す。この実施例１０は音声認識装置として実現
されている。図１０においても図１等と対応する箇所に
は対応する符号を付した。

【００８６】マイクロホン１００およびビデオカメラ１
１１により入力した音声及びビデオ画像、ないしは、ビ
デオテープレコーダー１８０に記録し、再生した音声及
びビデオ画像において、発話している音声と、調音器官
の映像から、確信度の高い音声認識を行う例を示す。

【００８７】入力ないしは再生された音声から、音声認
識部１３２により、音声を認識する。併せて、確信度１
９１を算出する。

【００８８】また、再生された画像中の調音器官の画像
から、オプティカルフロー解析部１５０により、調音器
官の運動を認識する。認識結果と併せて、確信度１９２
を算出する。

【００８９】これらの２組の認識結果と確信度に基づ
き、認識結果判定部１９０により、いずれか確信度の高
いほうの認識結果を選択し、出力する。

【００９０】

【発明の効果】上述したように、この発明によれば、音
声情報を入力する際に、音声情報と調音器官の外見との
対応に基づき、発話を前提としない入力方法を提供する
ことができる。また、併せて、発話と調音器官の外見と
の対応を、使用や習熟に応じて学習することにより精度
を向上させることができる。

【図面の簡単な説明】

【第１図】 本発明の実施例１を示す図である。

【第２図】 本発明の実施例２を示す図である。

【第３図】 本発明の実施例３を示す図である。

【第４図】 本発明の実施例４を示す図である。

【第５図】 本発明の実施例５の一例を示す図である。

【第６図】 本発明の実施例６を示す図である。

【第７図】 本発明の実施例７を示す図である。

【第８図】 本発明の実施例８を示す図である。

【第９図】 本発明の実施例９を示す図である。

【第１０図】 本発明の実施例１０を示す図である。

【符号の説明】

１００…マイクロホン １１０…３次元デジタイザ部 １１１…ビデオカメラ １２０…テーブル部 １２１…ニューラルネットワーク １３０…スペクトラム情報算出部 １３１…音素認識部 １３２…音声認識部 １３３…音声変換部 １４０…音声合成部 １４１…切り替え部 １５０…オプティカルフロー解析部 １６０…提示手段 １８０…ビデオテープレコーダー １９０…認識結果判定部 １９１…音声認識の確信度 １９２…オプティカルフロー解析部の確信度 ２００…テクスチャーマッピング部 ２１０…表示部 ２２０…伝送路および

───────────────────────────────────────────────────── フロントページの続き (72)発明者 竹内 伸 神奈川県足柄上郡中井町境430 グリーン テクなかい 富士ゼロックス株式会社内 Ｆターム(参考） 5D015 CC00 LL07 9A001 BB04 HZ05 KZ20

Claims (23)

【特許請求の範囲】
1. 【請求項１】 調音器官の運動と、調音器官の運動以外
   からの言語情報とを対応付ける言語情報対応付け装置で
   あって、 話者が発話する時に生ずる調音器官の運動を調音器官お
   よびその周辺の外皮の少なくとも１部から計測して入力
   データを生成する調音器官形態入力手段と、 調音器官の運動以外からの言語情報を入力する手段と、 前記発話中の調音器官の運動と、前記調音器官の運動以
   外から入力した言語情報を対応付ける手段とを有するこ
   とを特徴とする言語情報対応付け装置。
2. 【請求項２】 前記調音器官の運動以外からの言語情報
   は、音声情報であることを特徴とする請求項１記載の言
   語情報対応付け装置。
3. 【請求項３】 調音器官の運動と、調音器官の運動以外
   からの言語情報とを対応付ける言語情報対応付け装置で
   あって、 話者に発話および発話内容を指示する手段と、 話者が発話する時に生ずる調音器官の運動を調音器官お
   よびその周辺の外皮の少なくとも１部から計測して入力
   データを生成する調音器官形態入力手段と、 前記発話中の調音器官の運動と、前記調音器官の運動以
   外から入力した言語情報を対応付ける手段とを有するこ
   とを特徴とする言語情報対応付け装置。
4. 【請求項４】 調音器官の運動と、調音器官の運動以外
   からの言語情報とを対応付ける言語情報対応付け装置で
   あって、 話者が発話する時に生ずる調音器官の運動を調音器官お
   よびその周辺の外皮の少なくとも１部から計測して入力
   データを生成する調音器官形態入力手段と、 表音文字、表音文字列、任意の記号ないしは記号列から
   なる情報を入力する手段と、 前記調音器官の運動以外から入力した情報と、前記発話
   中の調音器官の運動を対応付ける手段とを有することを
   特徴とする言語情報対応付け装置。
5. 【請求項５】 調音器官の運動から、調音器官の運動以
   外の言語情報を推定する言語情報推定装置であって、 発話中の調音器官の運動と、調音器官の運動以外から入
   力した言語情報との間の対応付けを認識する対応付け認
   識手段と、 話者が発話する時に生ずる調音器官の運動を調音器官お
   よびその周辺の外皮の少なくとも１部から計測して入力
   データを生成する調音器官形態入力手段と、 前記対応付け認識手段により認識された対応付けに基づ
   いて、発話中の調音器官の運動から、対応する言語情報
   を獲得する手段とを有することを特徴とする言語情報推
   定装置。
6. 【請求項６】 調音器官の運動以外の情報に基づき、調
   音器官の運動を推定する調音器官運動推定装置であっ
   て、 発話中の調音器官の運動と、調音器官の運動以外から入
   力した情報との間の対応付けを認識する対応付け認識手
   段と、 調音器官の運動以外から言語情報を入力する手段と、 前記対応付け認識手段により認識された対応付けに基づ
   いて、調音器官の運動以外から、発話中の調音器官の運
   動を推定する手段を有することを特徴とする調音器官運
   動推定装置。
7. 【請求項７】 音声等の言語情報を検出する言語情報検
   出装置であって、 発話中の調音器官の運動と、調音器官の運動以外から入
   力した言語情報との間の対応付けを認識する対応付け認
   識手段と、 調音器官の運動以外から言語情報を入力する言語情報入
   力手段と、 話者が発話する時に生ずる調音器官の運動を調音器官お
   よびその周辺の外皮の少なくとも１部から計測して入力
   データを生成する調音器官形態入力手段と、 前記対応付け認識手段により認識された対応付けに基づ
   いて、前記発話中の調音器官の運動から、対応する言語
   情報を獲得する言語情報獲得手段と、 前記言語情報獲得手段により調音器官の運動から獲得さ
   れた言語情報、および前記言語情報入力手段により、調
   音器官の運動以外から入力された言語情報に基づいて言
   語情報を検出する言語情報検出手段を有することを特徴
   とする言語情報検出装置。
8. 【請求項８】 発話者の器官の運動とジェスチャー等の
   意味情報との間の対応付けを認識する手段を更に有し、
   対応付けを利用して意味情報を検出する請求項７記載の
   言語情報検出装置。
9. 【請求項９】 前記言語情報検出手段は、前記言語情報
   獲得手段により調音器官の運動から獲得された言語情
   報、および前記言語情報入力手段により、調音器官の運
   動以外から入力された言語情報を選択して検出結果とす
   る選択手段、および前記言語情報獲得手段により調音器
   官の運動から獲得された言語情報、および前記言語情報
   入力手段により、調音器官の運動以外から入力された言
   語情報を合成して検出結果とする合成手段の少なくとも
   一方を具備する請求項７記載の言語情報検出装置。
10. 【請求項１０】 前記選択手段は、調音器官の運動に対
    応付けられた言語情報の確信度を認識する手段と、調音
    器官の運動以外から入力した言語情報の確信度を認識す
    る手段の少なくとも一方を有し、一方ないしは両方の確
    信度に応じて、調音器官の運動から獲得した言語情報、
    および調音器官の運動以外から入力した言語情報の一方
    を選択する請求項９記載の言語情報検出装置。
11. 【請求項１１】 前記合成手段は、調音器官の運動に対
    応付けられた言語情報の確信度を認識する手段と、調音
    器官の運動以外から入力した言語情報の確信度を認識す
    る手段の少なくとも一方を有し、一方ないしは両方の確
    信度に応じて、調音器官の運動から獲得した言語情報、
    および調音器官の運動以外から入力した言語情報を合成
    する請求項９または１０記載の言語情報検出装置。
12. 【請求項１２】 前記調音器官の運動以外から入力した
    言語情報の確信度を認識する手段は、発話が有音である
    か無音であるかを認識する手段を含む請求項１０または
    １１記載の言語情報検出装置。
13. 【請求項１３】 前記調音器官形態入力手段は、外皮の
    形状を入力する手段を含む請求項７〜１２のいずれかに
    記載の言語情報検出装置。
14. 【請求項１４】 前記外皮の形状を入力する手段は、外
    皮の画像を入力する手段を含む請求項１３記載の言語情
    報検出装置。
15. 【請求項１５】 前記対応付け認識手段、前記言語情報
    入力手段、および前記言語情報獲得手段は、ニューラル
    ネットワークを含む請求項７〜１４のいずれかに記載の
    言語情報検出装置。
16. 【請求項１６】 前記対応付け認識手段は、ニューラル
    ネットワークの学習を行なう請求項１５記載の言語情報
    検出装置。
17. 【請求項１７】 発話中の調音器官の運動、及び、調音
    器官の運動以外から入力した情報を記録する手段をさら
    に有する請求項７〜１６のいずれかに記載の言語情報検
    出装置。
18. 【請求項１８】 発話中の調音器官の運動、及び、調音
    器官の運動以外から入力した情報に基づいて、この対応
    を随時、ないしは指示に基づいて記録し、更新する請求
    項１７に記載の言語情報検出装置。
19. 【請求項１９】 発話中の調音器官の運動の確信度を算
    出する手段と、調音器官の運動以外から入力した情報の
    確信度を算出する手段とを備え、さらに得られた双方の
    確信度に応じて記録、及び更新を制御する手段を有する
    請求項１８記載の言語情報検出装置。
20. 【請求項２０】 発話中の調音器官の運動の確信度を算
    出する手段と、調音器官の運動以外から入力した情報の
    確信度を算出する手段とを備え、入力した何れか一方の
    確信度が所定の値以下の場合には、他方の入力と、その
    入力に対応するもう一方の特性に基づいて検出結果を出
    力し、双方の確信度が所定の値以上であった場合には、
    得られた双方の確信度に応じて対応付けを更新すると同
    時に、検出結果を出力する請求項７〜１８のいずれかに
    記載の言語情報検出装置。
21. 【請求項２１】 音声認識を行う場合には、前記調音器
    官の運動情報による認識結果、前記調音器官の運動以外
    から入力した情報を認識した結果、ないしは、それらを
    選択ないしは合成した結果を、利用者に提示する手段を
    有する請求項７〜２０のいずれかに記載の言語情報検出
    装置。
22. 【請求項２２】 請求項１〜３記載のいずれかに記載の
    言語情報対応付け装置により対応付けられた調音器官の
    運動以外から入力した音声等情報と、発話中の調音器官
    の運動との間の対応付けを記録した媒体。
23. 【請求項２３】 請求項１、請求項３または請求項４に
    記載の言語情報対応付け装置、請求項５に記載の言語情
    報推定装置、請求項６に記載の調音器官運動推定装置あ
    るいは請求項７に記載の言語情報検出装置を含んでなる
    電話装置。