JPH08335091A - 音声認識装置、および音声合成装置、並びに音声認識合成装置 - Google Patents

Abstract

(57)【要約】 【目的】 雑音や妨害音のある環境において分離しやす
い音素を用いて、言語を構築することができるようにす
る。 【構成】 音響信号分析部１０１に供給された、雑音や
妨害音のある環境において分離しやすい音素からなる音
響信号は、そこで分析され、音名認識部１０２におい
て、その分析結果から音名が認識され、さらに所定のセ
ンテンスとして認識された後、発話生成部１０３に供給
される。それに対応して、発話生成部１０３は、雑音や
妨害音のある環境において分離しやすい音素からなる音
名で構成された所定の時系列を生成し、音響信号生成部
１０４に供給する。音響信号生成部１０４においては、
それに対応する音響信号が合成され、出力される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声認識装置、および
音声合成装置、並びに音声認識合成装置に関し、可聴帯
域の音響信号を認識または合成する場合に用いて好適な
音声認識装置、および音声合成装置、並びに音声認識合
成装置に関する。

【０００２】

【従来の技術】１つ以上の機械と１人以上の人間が会話
をする場合、従来は、音声認識と音声合成を組み合わせ
て、機械が自然言語（日本語、英語など）を認識し、単
語あるいは文章を音声信号に変換して自然言語で答える
というシステムを構築する。しかしながら、従来の音声
認識では、雑音や妨害音の影響により認識率が悪化する
ため、その対策として次のような手法が提案されてい
る。

【０００３】まず、マイクなどを工夫して雑音、妨害音
が混入しないようにするものがある。例えば、指向性の
あるマイクを用い、それを音源の方向に向け、雑音を低
減したりする方法がある。特開昭５９−０１２５００は
この例である。

【０００４】あるいは、信号処理的に雑音、妨害音を推
定し、それらを引き去るものがある。例えば、周波数変
換などの前処理において、背景雑音のスペクトル成分を
引き算し、その影響を取り除くようなスペクトルサブト
ラクションとよばれる手法がある。特開昭５７−２１２
４９６はこの例である。また、適応信号処理を用いて、
雑音のみを採取できる条件であれば、雑音にフィルタを
かけて、音声と雑音が混入したものからそれを引き去る
ものも存在する。

【０００５】あるいは、妨害音と認識対象の音声とを、
適当な写像を用いて比較的両者の距離が大きくなるよう
な空間にマッピングし、認識対象の音声を認識する方法
がある。例えば、特開平２−１５７１８「神経回路網モ
デルを用いた雑音除去装置」では、多層構造の神経回路
網に、入力を雑音が混入した音声、出力を雑音無しの音
声として写像を学習させ、雑音を除去する装置が示され
ている。また、特開昭６０−７５８９８には、音声ピッ
チの調波成分のみを検出し、騒音下における単語認識性
能の劣化を防止する方法が示されている。

【０００６】これらの方法は、音声認識装置の設計の自
由度という観点から考えると、使用環境において、適切
な集音の方法を与えることにより妨害音を除去する方
法、適切な信号処理により妨害音を除去する方法、また
は適切な写像を選ぶことにより音声と妨害音を分離する
方法であるということがいえる。

【０００７】一方、機械から人間へのメッセージの伝え
方として、自然言語を前提とするものは従来から開示さ
れている。自然言語を用いないと考えられるものとし
て、特開昭５４−１５３０７０では、時計の時刻を自然
言語ではなく、「ドレミファ．．．、」などの音と数字
を１対で対応させることで時刻を知らせるという装置を
開示している。これは、自然言語を用いない機械から人
間への情報の伝え方であるが、人間から機械への情報伝
達は音声にはよらず、会話システムではない。

【０００８】また、人間から機械への情報伝達手段とし
て、特開昭６１−１１０８３７では手叩きや笛で遠隔操
作ができるようにした装置を開示している。この請求項
１では、「離れた所から電源のＯＮ、ＯＦＦやその他の
制御が可能な、遠隔制御式空気調和機の制御方式に於い
て、一定時間内に任意の数の音波を断続入力することに
より、空気調和機の運転、停止を行なうことを特徴とす
る空気調和機の制御方式」となっている。背景としてワ
イヤレスリモコン（ワイヤレスリモートコントローラ）
では落としたり紛失したりするという欠点を挙げている
が、対雑音特性、対妨害音に関しての音素の設計に関し
ては述べられていない。また、この例も人間から機械へ
の一方向の情報伝達であり、会話システムではない。

【０００９】このように、従来の音声認識装置は、設計
の自由度という観点から考えると、 （１） 集音の方法を与え、妨害音を除去する。 （２） 適切な信号処理により、妨害音を除去する。 （３） 適切な写像を選ぶことにより、音声と妨害音を
分離する。 という観点で設計の最適化が計られている。

【００１０】

【発明が解決しようとする課題】上述のように、自然言
語を用いた音声認識、音声合成では会話システムは開示
されているが、現状において、自然言語による自然な会
話は技術的にはまだ困難である。特に認識に関しては対
妨害音、対雑音特性もあわせると通常のオフィスや家庭
の環境の中では、非常に困難である課題があった。

【００１１】また、自然言語を用いない合成装置あるい
は認識装置はそれぞれ単独で開示されているが、それら
は対妨害、対雑音特性の向上のために導入されたもので
はなく、従って、会話システムをそこから推測すること
はできない課題があった。

【００１２】本発明はこのような状況に鑑みてなされた
ものであり、対妨害音、対雑音特性を考慮に入れ、かつ
１つ以上の機械と１人以上の人間が互いに伝達情報を確
認可能な会話システムを実現することができるようにす
るものである。

【００１３】

【課題を解決するための手段】請求項１に記載の音声認
識装置は、雑音や妨害音が存在する環境で音声認識を行
う音声認識装置において、雑音や妨害音と分離が容易な
音響特性を有する音素あるいは音素の時系列より構成さ
れた音を分析する分析手段を備えることを特徴とする。

【００１４】分析手段による分析結果を、所定の次元の
分析空間に所定の順序でそれぞれ並べたとき、分析結果
の特徴点の位置は、分析空間と時間軸で構成された時系
列分析空間において、所定の規則に従った動きをするよ
うにすることができる。

【００１５】特徴点は、分析空間における分析結果の極
大値あるいは極小値より選ばれた点であるようにするこ
とができる。

【００１６】時系列分析空間上における特徴点の位置の
動きは、所定の時間以上、時間軸に対して所定の傾きを
持った動きであるようにすることができる。

【００１７】時系列分析空間上における特徴点の位置の
動きは、所定の時間以上、時間軸に対して平行な動きで
あるようにすることができる。

【００１８】音のピッチは、所定の時間以上、所定の範
囲以上に変化しないようにすることができる。

【００１９】音素は、母音であるようにすることができ
る。

【００２０】分析手段は、線形の畳み込み演算を行うよ
うにすることができる。

【００２１】Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ
を含む認識手段をさらに設け、認識手段により、分析手
段による分析結果に対応する音が認識されるようにする
ことができる。

【００２２】請求項１０に記載の音声合成装置は、雑音
や妨害音が存在する環境で音声合成を行う音声合成装置
において、雑音や妨害音と分離が容易な音響特性を有す
る音素あるいは音素の時系列より構成された音を合成す
る合成手段を備えることを特徴とする。

【００２３】音を所定の分析方法で分析した分析結果
を、所定の次元の分析空間に所定の順序でそれぞれ並べ
たとき、分析結果の特徴点の位置は、分析空間と時間軸
で構成された時系列分析空間において、所定の規則に従
った動きをするようにすることができる。

【００２４】特徴点は、分析空間における分析結果の極
大値あるいは極小値より選ばれた点であるようにするこ
とができる。

【００２５】時系列分析空間上における特徴点の位置の
動きは、所定の時間以上、時間軸に対して所定の傾きを
持った動きであるようにすることができる。

【００２６】時系列分析空間上における特徴点の位置の
動きは、所定の時間以上、時間軸に対して平行な動きで
あるようにすることができる。

【００２７】音のピッチは、所定の時間以上、所定の範
囲以上に変化しないようにすることができる。

【００２８】音素は、母音であるようにすることができ
る。

【００２９】請求項１７に記載の音声認識合成装置は、
雑音や妨害音が存在する環境で音声認識と音声合成を行
う音声認識合成装置において、雑音や妨害音と分離が容
易な音響特性を有する音素あるいは音素の時系列より構
成された音を分析する分析手段と、雑音や妨害音と分離
が容易な音響特性を有する音素あるいは音素の時系列よ
り構成された音を合成する合成手段を備えることを特徴
とする。

【００３０】音の分析手段による分析結果を、所定の次
元の分析空間に所定の順序でそれぞれ並べたとき、分析
結果の特徴点の位置は、分析空間と時間軸で構成された
時系列分析空間において、所定の規則に従った動きをす
るようにすることができる。

【００３１】特徴点は、分析空間における極大値あるい
は極小値より選ばれた点であるようにすることができ
る。

【００３２】時系列分析空間上における特徴点の位置の
動きは、所定の時間以上、時間軸に対して所定の傾きを
持った動きであるようにすることができる。

【００３３】時系列分析空間上における特徴点の位置の
動きは、所定の時間以上、時間軸に対して平行な動きで
あるようにすることができる。

【００３４】音のピッチは、所定の時間以上、所定の範
囲以上に変化しないようにすることができる。

【００３５】音素は、母音であるようにすることができ
る。

【００３６】分析手段は、線形の畳み込み演算を行うよ
うにすることができる。

【００３７】Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ
を含む認識手段をさらに設け、認識手段により、分析手
段による分析結果に対応する音が認識されるようにする
ことができる。

【００３８】

【作用】請求項１に記載の音声認識装置においては、分
析手段により、雑音や妨害音と分離が容易な音響特性を
有する音素あるいは音素の時系列より構成された音の分
析が行われる。従って、妨害音あるいは雑音の影響を受
けずに目的の音を検出あるいは認識することができる。

【００３９】請求項１０に記載の音声合成装置において
は、合成手段により、雑音や妨害音と分離が容易な音響
特性を有する音素あるいは音素の時系列より構成された
音が合成される。従って、妨害音あるいは雑音の影響を
受け難い目的の音を合成することができる。

【００４０】請求項１７に記載の音声認識合成装置にお
いては、分析手段により、雑音や妨害音と分離が容易な
音響特性を有する音素あるいは音素の時系列より構成さ
れた音の分析が行われ、合成手段により、雑音や妨害音
と分離が容易な音響特性を有する音素あるいは音素の時
系列より構成された音が合成される。従って、妨害音あ
るいは雑音の影響を受けずに目的の音を検出あるいは認
識することができ、妨害音あるいは雑音の影響を受け難
い目的の音を合成することができる。

【００４１】

【実施例】図１は、本発明を応用した対話システムの一
実施例の全体の構成を示すブロック図である。この実施
例において、音響信号分析部１０１（分析手段）は、時
間ｔの関数とみなせる入力の音響信号ｇ（ｔ）を分析す
る。音名認識部１０２（認識手段）は、音響信号分析部
１０１からの出力をさらに解析して、音名を認識する。
発話生成部１０３（合成手段）は、音名認識部１０２の
認識結果により、同様に音名を用いて所定のメッセージ
を作りだす。音響信号合成部１０４は発話生成部１０３
により作成されたメッセージを音響信号に変換するよう
になされている。

【００４２】次に、その動作について説明する。例えば
マイクロフォンなどにより検出された音響信号ｇ（ｔ）
は、音響信号分析部１０１に入力され、そこで周波数分
析が行われ、音名認識部１０２にその周波数構造に対応
するデータが供給される。音名認識部１０２において
は、音響信号ｇ（ｔ）の周波数構造に基づいて、例えば
音楽でいうところのドレミ．．．、などの音名が検出さ
れ、その時系列より音楽の和音のアルペジオ表現として
コードが認識され、対応する単語あるいはセンテンスと
して認識される。

【００４３】発話生成部１０３においては、音名認識部
１０２の認識結果および発話生成部１０３内部の内部状
態により、同じく音名で構成された時系列が生成され、
音響信号合成部１０４に供給される。音響信号合成部１
０４においては、発話生成部１０３からの結果が音響信
号に変換され、スピーカなどを駆動する信号として出力
される。

【００４４】ここで、音名とは音楽のドレミ．．．など
のことで、Ｃ，Ｄ，Ｅ，．．．という表現も用いられ
る。コードとは和音のことであるが、この実施例では分
散和音あるいはアルペジオと呼ばれる、タイミングをず
らして和音の構成音を順次出力してできる音の時系列の
ことである。

【００４５】以下、それぞれのブロックに分けて説明を
加える。図２は音響信号分析部１０１の詳細な構成を示
すブロック図である。Ａ／Ｄ変換部２０１は、アナログ
の入力信号ｇ（ｔ）をデジタル信号ｇ（ｋ）に変換して
出力するようになされている。入力信号バッファ２０２
は、入力されたデジタル信号ｇ（ｋ）を記憶する。周波
数分析部２０３は、入力された信号に対してフーリエ変
換処理を施し、変換結果を出力するようになされてい
る。

【００４６】例えば、アナログの入力信号ｇ（ｔ）がＡ
／Ｄ変換部２０１に入力されると、Ａ／Ｄ変換部２０１
において、それがデジタル信号ｇ（ｋ）に変換され、出
力される。ここでｋ＝０，１，２，．．，は標本化列の
ｉｎｄｅｘである。

【００４７】Ａ／Ｄ変換部２０１は、例えば、折り返し
雑音防止のためのＬｏｗ ＰａｓｓＦｉｌｔｅｒ（ＬＰ
Ｆ）と１６ｂｉｔで８ｋＨｚの標本化周波数をもつＡ／
Ｄ変換器より構成されている。このデジタル信号ｇ
（ｋ）は、入力信号バッファ２０２において５１２標本
（ｇ（０），ｇ（１），．．，ｇ（Ｎ−１），Ｎ＝５１
２として表す）がひとつのブロックとして蓄えられ、周
波数分析部２０３においてそのブロックがフーリエ変換
され、周波数分析が行なわれる。入力信号バッファ２０
２より出力される信号（ｆｌｇ）は、入力信号バッファ
２０２に５１２個のデータが蓄えられたことを示す信号
であり、この信号（ｆｌｇ）が供給されたタイミング
で、周波数分析部２０３は５１２個のデータからなる１
つのブロックの信号（ｖｅｃｔ＿ｇ）を入力信号バッフ
ァ２０２より入力する。これは次の式１で表される。

【００４８】 （式１） ｖｅｃｔ＿ｇ＝［ｇ（０），ｇ（１），．．，ｇ（５１１）］＾ｔ

【００４９】式１において、＾ｔはマトリクスの転置を
表す。すなわち、ｖｅｃｔ＿ｇは５１２行１列のマトリ
クス、あるいは列ベクトルである。周波数分析部２０３
でのフーリエ変換とは次の式２で表される処理である。

【００５０】 （式２） Ｇ（ｗ，ｍ）＝ｖｅｃｔ＿ｇ＾ｔ・ｖｅｃｔ＿ｋｅｒｎｅｌ（ｗ）

【００５１】式２において、変数ｍは周波数分析の結果
を時系列として扱うためのｉｎｄｅｘである。また、式
２においてｖｅｃｔ＿ｋｅｒｎｅｌ（ｗ）は次の式３で
表されるベクトルである。

【００５２】 （式３） ｖｅｃｔ＿ｋｅｒｎｅｌ（ｗ） ＝［ｅｘｐ（−ｊ２πｗ×０／５１２）， ｅｘｐ（−ｊ２πｗ×１／５１２），．．，ｅｘｐ（−ｊ２πｗ５１１ ／５１２）］

【００５３】式３において、ｊは虚数を表し、πは円周
率を表す。変数ｗ＝０，１，２，．．，５１１は周波数
のｉｎｄｅｘである。実際の周波数は標本化周波数ｆｓ
に対応してｆｓ×ｗ／Ｎ（Ｎはブロックの長さ、この例
ではＮ＝５１２）で表される。また、通常は信号のベク
トルｖｅｃｔ＿ｇに窓関数なるものを掛け算したのちに
式３の変換を行なうが、今回は簡単のため方形型の窓関
数を想定し、掛け算を省略している。

【００５４】さらに、この実施例では同じピッチ周波
数、あるいは同じｉｎｄｅｘのフーリエ変換の出力があ
る程度の時間だけ継続することを、検出するべき音の特
徴として利用するため、式２のＧ（ｗ，ｍ）を変数ｗ毎
に変数ｍに関してＬｏｗ Ｐａｓｓ Ｆｉｌｔｅｒを施
すことにする。実際には、移動平均によりＬｏｗ Ｐａ
ｓｓ Ｆｉｌｔｅｒの代用をする。すなわち、［Ｇ
（ｗ，ｍ）＋Ｇ（ｗ，ｍ＋１）＋，．．＋Ｇ（ｗ，ｍ＋
ＭＭ−１）］／ＭＭを出力とする。この実施例では、変
数ＭＭ＝３とする。以下、簡単のためこの値［Ｇ（ｗ，
ｍ）＋Ｇ（ｗ，ｍ＋１）＋，．．＋Ｇ（ｗ，ｍ＋ＭＭ−
１）］／ＭＭをＧ（ｗ，ｍ）として表すものとする。

【００５５】次に、図１の音名認識部１０２の詳細を図
３に示す。音名認識部１０２はさらに３つの処理を行う
部分から構成されている。１番目は入力信号Ｇ（ｗ，
ｍ）より音名および音の大きさを検出する音名検出部３
０１、次に検出された音名ｔｏｎｅ（ｍ）よりそれを時
系列として音楽のコード（ｃｈｏｒｄ（ｌ））を認識す
るコード認識部３０２、ただし、ここでｌ＝０，
２，．．，はコードを時系列データとしたときのｉｎｄ
ｅｘである。最後にｃｈｏｒｄ（ｌ）を時系列として捕
らえてコマンド解釈し、システムに対する入力センテン
ス（ｃｏｍ（ｐ））を出力するコマンド解釈部３０３で
ある。

【００５６】次に、各部の動作を説明する。

【００５７】まず、音名検出部３０１の動作を説明す
る。音名検出部３０１は、音楽の音名に相当するものを
検出する。実際には、フーリエ変換のｉｎｄｅｘで代理
表現する。Ｇ（ｗ，ｍ）は、標本化周波数８０００Ｈｚ
とフーリエ変換に用いた点が５１２点であることから、
式４で与えられる周波数分解能Δｆをもつ。

【００５８】 （式４） Δｆ＝８０００／５１２＝１５．６２５（Ｈｚ）

【００５９】すなわち、Ｇ（ｗ，ｍ）のｗ＝０，１，
２，．．．，は周波数の値としては、Δｆ×ｗに対応す
る。

【００６０】一方、音楽の音名（ドレミファソラシ）あ
るいはそれらの半音異なる音の周波数は、周波数４４０
Ｈｚを基準のオクターブのラの周波数として、オクター
ブをｌｏｇスケールで１２等分した周波数が割り当てら
れる。簡便のため、ドの音としてｆ＿ｄｏ＿ｒｅｆ＝１
３０．８１Ｈｚを基準周波数としたときの場合を式５に
示す。

【００６１】 （式５） ｆ（ｉ，ｏｃｔ）＝ｆ＿ｄｏ＿ｒｅｆ×２^(i/12)×２^(oct)

【００６２】式５において、変数ｉ＝０，１，
２，．．．，１１はド、ド＃、レ、レ＃、．．．，シと
１オクターブ中の音名を周波数順にならべたｉｎｄｅ
ｘ、変数ｏｃｔ＝．．，−１，０，１，２，．．は、ｆ
＿ｄｏ＿ｒｅｆと同じオクターブを０としたオクターブ
のｉｎｄｅｘである。ただし、この実施例では有効なオ
クターブは標本化周波数より４０００Ｈｚ以上は識別で
きないものとし、また、周波数分解能Δｆ＝１５．６２
５Ｈｚから隣合う音の周波数が簡単に識別できるｏｃｔ
＝０（ｆ＿ｄｏ＿ｒｅｆ＝ｆ（０，０）を最低の周波数
として想定する）とする。すなわち、変数ｏｃｔ＝０，
１，２，３，４とする。

【００６３】音名検出部３０１の処理手順を図４のフロ
ーチャートで示す。ステップＳ１において、音名検出部
３０１は、フーリエ変換の結果Ｇ（ｗ，ｍ）の最大値検
出を行なう。最大となるときの周波数のｉｎｄｅｘであ
るｗ＝ｗ＿ｍａｘとする。次に、ステップＳ２に進み、
変換結果Ｇ（ｗ，ｍ）の絶対値の平均値ｍｅａｎ＝（｜
Ｇ（０，ｍ）｜＋｜Ｇ（１，ｍ）｜＋．．．＋｜Ｇ（５
１１，ｍ）｜）／５１２を演算する。

【００６４】次に、ステップＳ３において、フーリエ変
換の結果の最大値の絶対値｜Ｇ（ｗ＿ｍａｘ，ｍ）｜
が、変換結果｜Ｇ（ｗ，ｍ）｜の平均値ｍｅａｎより適
当な倍数Ａ以上の大きさであるか否かを判定する。この
実施例では、例えば倍数Ａ＝３とする。フーリエ変換の
結果の最大値の絶対値｜Ｇ（ｗ＿ｍａｘ，ｍ）｜が、変
換結果｜Ｇ（ｗ，ｍ）｜の平均値ｍｅａｎより倍数Ａ以
上の大きさであると判定された場合、ステップＳ４に進
み、ｔｏｎｅ（ｍ）＝ｗ＿ｍａｘとする。また、音の大
きさｌｅｖｅｌ（ｍ）＝｜Ｇ（ｗ＿ｍａｘ，ｍ）｜と定
義する。

【００６５】一方、フーリエ変換の結果の最大値の絶対
値｜Ｇ（ｗ＿ｍａｘ，ｍ）｜が、変換結果｜Ｇ（ｗ，
ｍ）｜の平均値ｍｅａｎより倍数Ａ以上の大きさではな
いと判定された場合、ステップＳ５に進み、ｔｏｎｅ
（ｍ）＝−１として無効であることを示す。また、音の
大きさｌｅｖｅｌ（ｍ）＝｜Ｇ（ｗ＿ｍａｘ，ｍ）｜と
定義する。

【００６６】ステップＳ４およびＳ５において、ｔｏｎ
ｅ（ｍ）はフーリエ変換のｉｎｄｅｘそのものであるこ
とに注意する。すなわち、Δｆ×ｔｏｎｅ（ｍ）が実際
の周波数を表し、これを音楽の音名に変換する必要があ
る。この変換は、次のコード認識部３０２において行な
われる。また、上述したように、音の大きさｌｅｖｅｌ
（ｍ）＝｜Ｇ（ｗ＿ｍａｘ，ｍ）｜と定義し、後述のコ
ード認識部３０２において無音検出などを行なう。

【００６７】次に、図５のフローチャートを参照して、
コード認識部３０２の処理手順について説明する。ステ
ップＳ１１において、後述する多数決フィルタにより、
ｔｏｎｅ（ｍ）に対して揺らぎや雑音による誤検出の影
響を軽減する処理を施したｆ＿ｔｏｎｅ（ｍ）を求め
る。ここでは、音名検出部３０１の出力ｔｏｎｅ（ｍ）
を時系列データとして扱う。ｍ＝０，１，２，．．は標
本列５１２点を１ブロックとするため、標本化周波数を
８０００Ｈｚとすると、６４ｍｓｅｃ（＝１／８０００
×５１２）の時系列データとなる。まず、時間方向にフ
ィルタリングをして揺らぎや雑音による誤検出の影響を
軽減する。この実施例では、１０データの多数決フィル
タをかける。これは、次の式６で定義される処理であ
る。

【００６８】 （式６） ｆ＿ｔｏｎｅ（ｍ）＝ｔｏｎｅ（ｍ），ｔｏｎｅ（ｍ＋１）， ．．，ｔｏｎｅ（ｍ＋９） で最も標本数の多いもの

【００６９】ただし、少なくとも４つ連続していなけれ
ば無効とする。また、同時に無音部をｌｅｖｅｌ（ｍ）
を用いて検出する。無音とは、１ｓｅｃ以上の時間、ｌ
ｅｖｅｌ（ｍ）＜Ｔｈとなるような状態が続くこととす
る。ここで、１ｓｅｃは６４ｍｓｅｃの時系列が１６回
続くこととし、Ｔｈは適当なスレショルド値とする。こ
の実施例では、この値Ｔｈは予めターゲットの音を入れ
ずに環境音だけでデータをとり、そのレベルの平均値の
定数倍（例えば２倍）としている。無音部が検出された
場合、ｃｈｏｒｄ（ｌ）＝ＮＵＬＬとしてコマンド解釈
部３０３にその情報を伝えるものとする。

【００７０】ステップＳ１２において、まず、ｆ＿ｔｏ
ｎｅ（ｍ）をフーリエ変換のｉｎｄｅｘから音名のｉｎ
ｄｅｘに変換する。すなわち、周波数に変換したΔｆ×
ｆ＿ｔｏｎｅ（ｍ）の値と、式５のｆ（ｉ，ｏｃｔ）と
を、ｉ＝０，１，２，．．，１１，ｏｃｔ＝０，１，
２，３，４で比較し、最も近い周波数ｆ（ｉ＿ｍａｘ，
ｏｃｔ＿ｍａｘ）のｉｎｄｅｘである、ｉ＿ｍａｘ，ｏ
ｃｔ＿ｍａｘを求める。次に、ステップＳ１３におい
て、簡便のため、ｐ＿ｔｏｎｅ（ｍ）＝ｉ＿ｍａｘ＋ｏ
ｃｔ＿ｍａｘ×１２とする。

【００７１】次に、ステップＳ１４に進み、音の大きさ
ｌｅｖｅｌ（ｍ）が所定のスレショルド値Ｔｈより小さ
いか否かが判定される。ｌｅｖｅｌ（ｍ）がスレショル
ド値Ｔｈより大きいかまたは等しいと判定された場合、
処理を終了する。一方、ｌｅｖｅｌ（ｍ）がスレショル
ド値Ｔｈより小さいと判定された場合、ステップＳ１５
に進み、無音が続く回数をカウントするための変数（ｍ
ｕｏｎ＿ｃｏｕｎｔ）の値を１だけカウントアップす
る。

【００７２】次に、ステップＳ１６において、変数ｍｕ
ｏｎ＿ｃｏｕｎｔの値が値１６より大きいかまたは等し
いか否かが判定される。変数ｍｕｏｎ＿ｃｏｕｎｔの値
が値１６より小さいと判定された場合、無音状態ではな
いとされ、処理を終了する。一方、変数ｍｕｏｎ＿ｃｏ
ｕｎｔの値が値１６より大きいかまたは等しいと判定さ
れた場合、無音状態であるとされ、ステップＳ１７に進
み、変数（ｍｕｏｎ＿ｃｏｕｎｔ）の値を０に初期化す
る。

【００７３】次に、ステップＳ１８に進み、無音部より
以前の最大４つの連続する異なるｐ＿ｔｏｎｅ（ｍ）を
検出する。次に、その検出方法について説明する。

【００７４】まず、ｐ＿ｔｏｎｅ（ｍ）を分析してｐ＿
ｔｏｎｅ（ｍ）が無音部に対応する部分より以前の連続
する３つ、あるいは４つの音名を求める。いま、ｉｎｄ
ｅｘであるｍが所定の値Ｍのとき無音が検出されたとす
る。このとき、ｍ＝Ｍ−１５，．．，Ｍまでは無音であ
るので、ｍ＝Ｍ−１６から順次時間を遡って、ｐ＿ｔｏ
ｎｅ（ｍ）を調べていく。ｐ＿ｔｏｎｅ（ｍ），ｍ＝Ｍ
−１６，Ｍ−１７，．．，と調べて、最大４つの異なる
音名が検出されるまで、あるいはメモリを全て調べ尽く
すまで検査をする。このようにして、連続する３つの異
なる音名、あるいは４つの異なる音名を検出する。

【００７５】次に、ステップＳ１９に進み、ステップＳ
１８において、連続する３つの異なる音名、あるいは４
つの異なる音名が検出されたときのみ、それらの音名を
用いてコード（ｃｈｏｒｄ（ｌ））を検出あるいは認識
し、処理を終了する。

【００７６】最大４つの異なる音名とした理由は以下に
述べるコードの検出あるいは認識を簡便に行なうためで
ある。コードにはＭａｊｏｒ，ｍｉｎｏｒ，７ｔｈ，ｍ
ｉｎｏｒ７ｔｈ，ｄｉｍｉｎｉｓｈなどさまざまなコー
ドが定義されているが、この実施例では簡便のためＭａ
ｊｏｒ，ｍｉｎｏｒ，７ｔｈのみを検出し、そのほかの
コードは無効とする。また、音名の並びかたは低い音か
ら順番に時間軸上に並んでいるものとし、それ以外の順
番で入力されたものも無効とする。ただし、後述するよ
うに、センテンスの終了を示すものとして高い音から順
に並べたものを用いる。ここで再び、ｐ＿ｔｏｎｅ
（ｍ）を音名とオクターブにわけた表現に直した後に行
なう。これは、式５におけるｉとｏｃｔによる表現であ
り、次の式７、および式８で定義される。

【００７７】 （式７） ｉ＿ｍａｘ＝ｐ＿ｔｏｎｅ％１２

【００７８】 （式８） ｏｃｔ＿ｍａｘ＝（ｐ＿ｔｏｎｅ−ｉ＿ｍａｘ）／１２

【００７９】式７において％は割り算の余りを取ること
を意味する。ここで、音楽における標記法との対応は次
のようになる。ｉ＝０，１，２，．．，１１の順番に、
Ｃ，Ｃ＃（Ｄｂ），Ｄ，Ｄ＃（Ｅｂ），Ｅ，Ｆ，Ｆ＃
（Ｇｂ），Ｇ，Ｇ＃（Ａｂ），Ａ，Ａ＃（Ｂｂ），Ｂで
ある。（）内はたとえばＣ＃とＤｂは同じ音の異なる標
記であることを示す。

【００８０】コードの検出は例えばＣ，Ｅ，Ｇという３
音が時間軸上で並んでいればＣ−Ｍａｊｏｒ、Ｃ，Ｄ
＃，ＧであればＣ−ｍｉｎｏｒ、Ｃ，Ｅ，Ｇ，Ａ＃であ
ればＣ−７ｔｈであるとする。その他の対応を図６に示
す。実際のｃｈｏｒｄ（ｌ）は文字列情報として”Ｃ０
−Ｍａｊｏｒ”，”Ｃ０−ｍｉｎｏｒ”などのコード名
称が入っているものとする。ここで、Ｃ０の０はオクタ
ーブを示しており、”Ｃ０−Ｍａｊｏｒ”は式５におけ
るｏｃｔ＝０，ｉ＝０に対応する音名を基音とするＭａ
ｊｏｒ ｃｈｏｒｄである。また、前述のように無音は
ｃｈｏｒｄ（ｌ）＝ＮＵＬＬ、すなわちＮＵＬＬ ｓｔ
ｒｉｎｇであり、無効なコードはｃｈｏｒｄ（ｌ）＝”
ＮＧ”を送るものとする。

【００８１】また、前述のように高い音から順に時系列
が並んでいるコードはセンテンス終了を表すものとし
て、ｃｈｏｒｄ（ｌ）＝”ｅｎｄ−Ｄ１−Ｍａｊｏｒ”
などのように文字列の先頭に”ｅｎｄ−”という文字を
付加して送る。このようにして得られたコードｃｈｏｒ
ｄ（ｌ）は、次にコマンド解釈部３０３へ入力される。
ここで、ｌ＝０，１，２，．．はｃｈｏｒｄ（ｌ）を時
系列データとして扱うためのｉｎｄｅｘであり、コード
を検出するごとに増えていく。また、適当な数あるいは
コマンド解釈が成立したときにクリアされる。

【００８２】次に、図７のフローチャートを参照して、
コマンド解釈部３０３の処理手順について説明する。コ
ード解釈を通常の音声認識の単語認識とすれば、コマン
ド解釈はセンテンスの認識となる。従って、最初に、ス
テップＳ２１において、センテンスの句点に相当するｃ
ｈｏｒｄ（ｌ）として前述のように文字列”ｅｎｄ−”
が付加されているものを検出する。すなわち、ｃｈｏｒ
ｄ（ｌ）の最初の４文字が”ｅｎｄ＿”であるか否かが
判定される。ｃｈｏｒｄ（ｌ）の最初の４文字が”ｅｎ
ｄ＿”ではないと判定された場合、ステップＳ２３に進
み、ｂｕｆｆｅｒにｃｈｏｒｄ（ｌ）を記憶させ、次
に、ｌを１だけカウントアップし、処理を終了する。

【００８３】一方、ｃｈｏｒｄ（ｌ）の最初の４文字
が”ｅｎｄ＿”であると判定された場合、すなわち、セ
ンテンスの終了が検出された場合、ステップＳ２２に進
み、”ｅｎｄ−”が付加されたｃｈｏｒｄ（ｌ）のｉｎ
ｄｅｘであるｌ＝Ｌとし、ｃｈｏｒｄ（Ｌ）に付加され
た文字列”ｅｎｄ−”を除いておく。また、後述するＨ
パターンを指示するｉｎｄｅｘであるｈに０を代入して
初期化しておく。

【００８４】次に、ステップＳ２４以降で、ｃｈｏｒｄ
（Ｌ）以前にｂｕｆｆｅｒに溜められているｃｈｏｒｄ
（ｌ）（ここで、ｌ＝０，１，２，．．．，Ｌ−１，
Ｌ）をセンテンスとして認識する。この実施例では簡便
のため、予め記憶されている所定数Ｈ種類のパターン
（ｔｅｍｐ（ｈ）（ただし、ｈ＝０，１，．．，Ｈ−
１））のどれかと完全に一致しているかどうかを検査し
てコマンド解釈をする。

【００８５】すなわち、ステップＳ２４において、ｃｈ
ｏｒｄ（０），ｃｈｏｒｄ（１），．．．，ｃｈｏｒｄ
（Ｌ）が、Ｈパターンｔｅｍｐ（ｈ）のいずれかと等し
いか否かが判定される。ｃｈｏｒｄ（０），ｃｈｏｒｄ
（１），．．．，ｃｈｏｒｄ（Ｌ）が、Ｈパターンｔｅ
ｍｐ（ｈ）のいずれとも等しくないと判定された場合、
ステップＳ２５に進み、ｉｎｄｅｘであるｈを１だけカ
ウントアップする。

【００８６】次に、ステップＳ２６において、ｉｎｄｅ
ｘであるｈが所定数Ｈと等しいか否か、すなわち、ｃｈ
ｏｒｄ（０），ｃｈｏｒｄ（１），．．．，ｃｈｏｒｄ
（Ｌ）が、Ｈパターンｔｅｍｐ（ｈ）のどれとも等しく
ないか否かが判定される。ｉｎｄｅｘであるｈが所定数
Ｈと等しくないと判定された場合、ステップＳ２４に戻
り、ステップＳ２４以降の処理が繰り返し実行される。
一方、ｉｎｄｅｘであるｈが所定数Ｈと等しいと判定さ
れた場合、ステップＳ２７に進む。

【００８７】一方、ステップＳ２４において、ｃｈｏｒ
ｄ（０），ｃｈｏｒｄ（１），．．．，ｃｈｏｒｄ
（Ｌ）が、パターンｔｅｍｐ（ｈ）と等しいと判定され
た場合、ステップＳ２７に進む。

【００８８】ステップＳ２７においては、コマンド解釈
の結果としてのｃｏｍｐ（ｐ）としてｈを出力し、次
に、ｃｏｍｐ（ｐ）のｉｎｄｅｘであるｌを０に初期化
し、処理を終了する。

【００８９】このようにして、解釈されたコマンドをｃ
ｏｍ（ｐ）＝０、または１、または２，．．，またはＨ
−１として出力する。なお、Ｈ種類のパターンのどれと
も一致しなかった場合、ｃｏｍ（ｐ）＝Ｈとして出力す
る。

【００９０】以上で、音名認識部１０２の構成と処理の
説明を終える。

【００９１】次に、図１の発話生成部１０３の説明に移
る。図８は、発話生成部１０３の詳細な構成例を示すブ
ロック図である。図８に示すように、発話生成部１０３
は内部状態決定部４０１と発話内容決定部４０２より構
成される。発話生成部１０３には、音名認識部１０２の
コマンド解釈部３０３（図３）の出力である認識結果
（ｃｏｍｐ（ｐ））が入力されるようになされている。
内部状態決定部４０１には図示せぬバッテリからの電源
電圧が供給され、内蔵するタイマやバッテリ電圧を監視
するバッテリセンサなどからの情報も入力されるように
なされている。

【００９２】内部的なタイマあるいはバッテリ電圧を監
視するバッテリセンサなどの情報が内部状態決定部４０
１に入力されると、それに従って状態遷移がおきる。こ
の実施例では、この状態は、簡便のため３状態であり、
バッテリセンサの値が所定のスレショルド値ＴＨＲ＿１
以下であれば状態１（ＯＵＴ＿Ｓ＝１）であり、バッテ
リセンサの値がスレショルド値ＴＨＲ＿１以上であり、
かつ所定のスレショルド値ＴＨＲ＿２以下であれば状態
２（ＯＵＴ＿Ｓ＝２）であり、バッテリセンサの値がス
レショルド値ＴＨＲ＿２以上であれば状態３（ＯＵＴ＿
Ｓ＝３）であるとする。また、別の信号Ｎｏｗを設け、
内部タイマにより２０秒ごとにＮｏｗ＝１となるように
する。この信号Ｎｏｗを、発話内容決定部４０２に出力
する。

【００９３】一方、発話内容決定部４０２は、コマンド
解釈部３０３から受けた認識結果と、前述の内部状態決
定部４０１の出力ＯＵＴ＿Ｓを受け取り、適当な規則に
より発話すべき内容を決定する。規則として、この実施
例はコードによる会話をするものとしてあるので、例え
ば音階の時系列として予め登録してあるＫ個のコードに
よるセンテンスが入力されたときの出力をテーブルとし
て持つこととする。センテンス数を６としてテーブルの
例を図９に示す。これは、前述のコマンド解釈部３０３
において無音をいれたコマンド数Ｈ＝７としたものにな
る。センテンスＴ０，．．，Ｔ６には適当なコードの時
系列ｃｈｏｒｄ（ｌ’）と、楽器の種類、１つの音の長
さ、大きさを表すパラメータｐａｒａｍ（ｌ’）が記憶
されている。ここではｐａｒａｍ（ｌ’）をプログラミ
ング言語Ｃの記法にならって、それぞれｐａｒａｍ
（ｌ’）．ｋｉｎｄ，ｐａｒａｍ（ｌ’）．ｌｅｎｇｔ
ｈ，ｐａｒａｍ（ｌ’）．ｌｅｖｅｌと表す。

【００９４】説明を分かりやすくするために、この実施
例がロボット装置に組み込まれているものとして、テー
ブルのセンテンスに意味を付けてみる。センテンスＴ１
は「前進」を意味する。センテンスＴ２は「止まれ」を
意味する。センテンスＴ３は「バッテリを交換してくだ
さい」を意味する。センテンスＴ４は「頑張れ」を意味
する。センテンスＴ５は「はい」を意味する。センテン
スＴ６は「いいえ」を意味する。なお、センテンスＴ０
は発話しないという意味である。また、出力信号Ｓ１，
Ｓ２，Ｓ３はそれぞれ内部状態決定部４０１の出力であ
り、上述した状態１、状態２、状態３に対応する。ま
た、センテンス入力がＴ０での出力は、上述した内部状
態決定部４０１の出力Ｎｏｗ＝１であるか、Ｎｏｗ＝０
であるかによって異なる。

【００９５】例えば、図９に示したような規則により、
「前進」、「止まれ」などの指示に対して、「はい」、
「いいえ」で答え、また、音声入力がなく、バッテリが
なくなってきたときには、「バッテリを交換してくださ
い」とお願いし、他のロボットが、「バッテリを交換し
てください」と言っているときには、「頑張れ」と答え
るようなシステムが構成できる。

【００９６】例えば、何も指示されず（センテンスＴ０
が入力され）、かつバッテリがなく状態Ｓ１である場
合、ロボットは、２０秒毎に信号Ｎｏｗ＝１が入力され
る度に、センテンスＴ３「バッテリを交換してくださ
い」を発話する。状態Ｓ２およびＳ３のときは、何も発
話しない。また、「前進」（センテンスＴ１）を指示す
ると、状態Ｓ１のとき、「いいえ」（センテンスＴ６）
と答え、状態Ｓ２およびＳ３のとき、「はい」（センテ
ンスＴ５）と答える。

【００９７】「止まれ」（センテンスＴ２）と指示する
と、「はい」（センテンスＴ５）と答え、他のロボット
が「バッテリを交換してください」（センテンスＴ３）
と発話すると、「頑張れ」（センテンスＴ４）と答え
る。また、他のロボットから「頑張れ」（センテンスＴ
４）と発話されるか、または「頑張れ」と指示される
と、「はい」（センテンスＴ５）と答える。また、セン
テンスＴ５（「はい」）およびセンテンスＴ６（「いい
え」）に対しては何も答えない。

【００９８】次に、音響信号合成部１０４の説明に移
る。図１０は、音響信号合成部１０４の内部の詳細な構
成例を示すブロック図である。音響信号合成部１０４で
はコードの時系列ｃｈｏｒｄ（ｌ’）とパラメータｐａ
ｒａｍ（ｌ’）を用いて、音名生成部５０１にてコード
情報を音名の時系列ｏ＿ｔｏｎｅ（ｍ’），ｍ’＝０，
１，２，．．．に変換し、さらに、シンセサイザ部５０
２でｏ＿ｔｏｎｅ（ｍ’）とｐａｒａｍ（ｌ’）によっ
て決定される１次元波形ｈ（ｋ），ｋ＝０，１，
２，．．．を生成し、Ｄ／Ａ変換部５０３でアナログ信
号ｈ（ｔ）（ｔは時間）として出力する。

【００９９】音名生成部５０１ではコード認識部３０２
において行われる変換の逆の変換を行なう。すなわち、
コード名に対して通常は低い音から順に音名ｏ＿ｔｏｎ
ｅ（ｍ’）を生成していく。例えば、ｃｈｏｒｄ
（ｌ’）＝”Ｃ０−Ｍａｊｏｒ”であれば、ｏｃｔ＝０
のＣの音を基音として、Ｃ，Ｅ，Ｇという音名時系列を
生成する。ただし、ｃｈｏｒｄ（ｌ’）＝”ｅｎｄ−Ｃ
０−Ｍａｊｏｒ”であればＧ，Ｅ，Ｃという高い音から
順に音名時系列を生成するものとする。実際のｏ＿ｔｏ
ｎｅ（ｍ’）のデータは、式５のｉとｏｃｔに対してｉ
＋ｏｃｔ×１２の０以上の整数値を取るものとする。す
なわち、ｃｈｏｒｄ（ｌ’）＝”Ｃ０−Ｍａｊｏｒ”で
あれば、ｏ＿ｔｏｎｅ（０）＝０，ｏ＿ｔｏｎｅ（１）
＝４，ｏ＿ｔｏｎｅ（２）＝７，ｏ＿ｔｏｎｅ（３）＝
−１という出力になる。なお、ｏ＿ｔｏｎｅ（３）＝−
１は無音を意味するデータとする。

【０１００】次のシンセサイザ部５０２では、このｏ＿
ｔｏｎｅ（ｍ’）とｐａｒａｍ（ｌ’）を用いて実際の
音響信号のデジタル波形ｈ（ｋ）を生成する。簡便のた
め、ｃｈｏｒｄ（ｌ’）＝”Ｃ０−Ｍａｊｏｒ”とし、
これにより、ｏ＿ｔｏｎｅ（ｍ’）として、前述の出力
（０，４，７，−１）が入力されたものとする。一方、
ｐａｒａｍ（ｌ’）で設定された長さ、大きさ、種類を
ここで設定する。シンセサイザとしては現在市販の電子
楽器、パーソナルコンピュータあるいはビデオゲーム機
などに、安価なＦＭ音源あるいはサンプリング音源のＬ
ＳＩが搭載されている。

【０１０１】この実施例では簡便のため、予め５種類の
電子楽器の音を８０００Ｈｚサンプリングした波形を記
憶しておき、その大きさと長さを変化させることによっ
てｈ（ｋ）を生成するものとする。通常のシンセサイザ
ＬＳＩは基本周期の音を記憶し、それにサンプリングレ
ートを変換するフィルタを施すことにより様々な音名を
作り出すが、この実施例では簡便のためすべての種類の
すべての音名の音を約１ｓｅｃ分記憶し、ｐａｒａｍ
（ｌ’）．ｌｅｎｇｔｈで指定された長さで振幅を０に
することで長さのコントロールを行なう。したがって、
１ｓｅｃより長い音は設定しないものとする。大きさに
関しては、前述のとおり記憶波形をｐａｒａｍ（ｌ’）
／２５６倍するものとする。最後のＤ／Ａ変換部では、
８０００ＨｚのサンプリングレートでＤ／Ａ変換を行な
い、アナログ信号ｈ（ｔ）を得る。

【０１０２】以上で音響信号生成部１０４の説明を終え
る。

【０１０３】この実施例のポイントは、環境雑音や妨害
波に対して分離性能の高い音響信号を組み合わせること
により、頑強な認識システムおよび合成システムを組み
合わせて対話するようなシステムを構築することにあ
る。この実施例のシステムは、口笛で使用する場合、通
常のオフィス空間ではもちろん、入力信号ｇ（ｔ）に人
の会話が混入している場合でも、正常に動作する。その
理由として、まず、自然発話における周波数構造におい
ては、スペクトルが広がって分布するため口笛や楽器音
のような特定の周波数に集中した音よりはスペクトルピ
ークが低くなってしまうこと、また、例えば日本語の発
話においては安定なピッチを保って発声することは非常
に不自然であり、通常の会話では２０ｍｓｅｃの分析長
ピッチを検出して、同一のピッチが連続することはほと
んどないことが上げられる。

【０１０４】ピッチ周波数の変化は文章や状況によって
異なるが、典型的なパターンとして、５００ｍｓｅｃで
ピッチ周波数が１００Ｈｚ乃至２００Ｈｚの間を上がっ
て、下がってという変化をすることから、この実施例の
ように、式３の結果に各周波数毎にＬｏｗ Ｐａｓｓ
Ｆｉｌｔｅｒを施し、式６のような多数決フィルタと４
ブロック（２５６ｍｓｅｃ）の連続を認識条件としてい
る場合、人間の会話がこの条件を満たすことはほとんど
ない。

【０１０５】この実施例では、周波数分解能が約１６Ｈ
ｚであったが、周波数分析部２０３において、フーリエ
変換ではなく、例えば並列に分解能が数Ｈｚのバンドパ
スフィルタを用いて分析することにより、周波数の揺ら
ぎをもっと細かく分析することによって、自然発話の音
声とこの実施例で認識するために発話された音声を区別
することも可能である。したがって、この実施例のよう
に音名の進行を組み合わせて情報を伝達することによ
り、オフィスや家庭内の空間などにおいて通常の人間の
自然な会話が妨害音として存在しているときでも、機械
と人間の間、機械と機械の間、あるいは人間と人間の間
でさえも疑似的な会話をすることが可能となる。

【０１０６】これは、従来の音声認識が妨害音の除去や
妨害音とターゲットの音声に対して、その２つを適切に
分離するような写像を作ろうとしているのに対し、この
実施例では、存在する妨害音に対して分離しやすい音響
信号を組み合わせて対妨害特性を上げようとするもので
あり、それが新しい方法論となっている。すなわち、従
来では例えば写像のみが対雑音特性の向上のための認識
器の設計の自由度であるのに対し、この実施例では、写
像はもちろん、ターゲットの音響信号そのものの構成の
仕方にも自由度が与えられている。

【０１０７】図１１は、本発明を応用した対話システム
の他の実施例の構成を示すブロック図である。この実施
例は、音名ではなく雑音に強い母音だけで形成された音
素列を認識、合成することにより、対雑音、対妨害音特
性を向上させるものである。図１１にこの実施例の全体
の構成を示す。この実施例においては、構成は大きく２
つに別れる。Ａ／Ｄ変換部６０１、音声認識部６０２、
音声区間検出部６０３、および制御部６０４は音声認識
システム６０７（認識手段）を構成し、発話生成部６０
５および音声生成部６０６は音声合成システム６０８
（合成手段）を構成し、両方で対話システムを構成して
いる。

【０１０８】この実施例の構成を説明する前に、この実
施例で用いているＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ
Ｍｏｄｅｌ）という音声認識手法について、様々な文
献や特許に説明されているが、ここでも、簡単に説明す
る。

【０１０９】いま、特徴ベクトルが、所定の音声カテゴ
リｗｓに対応するものである確率を、Ｐ（ｗｓ，ｙ）と
表現した場合、次の式９で示す値を最大にする音声ｗｓ
に特徴ベクトルｙが属するということができる。

【０１１０】 （式９） Ｐ（ｗｓ，ｙ）＝Ｐ（ｗｓ）Ｐ（ｙ｜ｗｓ）

【０１１１】ただし、式９においてＰ（ｗｓ）は音声ｗ
ｓが発生される事前確率であり、Ｐ（ｙ｜ｗｓ）は音声
ｗｓが発生されたときに、特徴ベクトルｙが得られる確
率である。ＨＭＭ法は、式９のＰ（ｗｓ，ｙ）を最大に
する音声ｗｓを推定する方法である。ＨＭＭのモデルは
図１２（ａ）に示すように、状態Ｓ１，Ｓ２，．．．，
ＳＮ，（Ｎは状態数）と、状態間の遷移をあらわすパス
から構成され、状態の遷移に伴い、シンボルを出力す
る。

【０１１２】音声認識においては、図１２（ｂ）に示す
ように、自分自身と次の状態に遷移するパスのみを有す
るモデルが一般的に使用される。ＨＭＭ法のうち離散的
ＨＭＭ法では、音声の特徴ベクトルを例えばベクトル量
子化処理することなどにより得られるシンボルの系列Ｙ
＝（ｙ１，ｙ２，．．，ｙＴ）が各モデルで生起される
確率が計算され、その確率が最も大きいモデルが認識結
果となる。

【０１１３】ここで、 Ｎ： モデルの有する状態数 Ｙ＝（ｙ１，．．，ＹＴ）：シンボル系列 Ｔ： シンボル系列長 ａ＿ｉ＿ｊ： 状態ｉ（Ｓｉ）から状態ｊ（Ｓｊ）へ遷
移する遷移確率 ｂ＿ｉ＿ｊ（ｋ）： 状態ｉから状態ｊへ遷移するとき
にシンボルｋが生起される出力確率。 Ｋ： シンボル数（シンボルの種類） π＝（π１，π２，．．，πＮ）： 初期状態が状態ｉ
である確率を示す初期状態確率 のようにパラメータを表すとすると、モデルθからシン
ボル系列Ｙが観測される確率Ｐ（Ｙ｜θ）は次のように
して求めることができる。

【０１１４】（ＳＴ１）初期状態確率πに基づいて初期
状態ｉを決定し、時刻ｔ＝１とする。 （ＳＴ２）遷移確率ａ＿ｉ＿ｊに基づいて状態ｉから状
態ｊへの遷移を決定する。 （ＳＴ３）出力確率ｂ＿ｉ＿ｊ（ｋ）に基づいて状態ｉ
から状態ｊへ遷移するときに出力するシンボルｙ＿ｔを
決定する。 （ＳＴ４）ｔ＝ｔ＋１，ｉ＝ｊ，ｔ＜＝Ｔであれば、Ｓ
Ｔ２へ戻る。

【０１１５】なお、音声認識においては、初期状態また
は最終状態はそれぞれ１つとするのが一般的であり、以
下、ｔ＝１における状態をＳ１、ｔ＝Ｔにおける状態を
ＳＮとする。したがって、初期状態確率はπ１のみでそ
の他はすべて０となる。

【０１１６】モデルθがシンボル系列ｙ１，ｙ
２，．．，ｙｔを出力して状態ｉにいる前方予測確率を
αｉ（ｔ）とすると、上述したモデルの出力の定義
（（ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４））から、モデル
θがシンボル系列Ｙ＝（ｙ＿１，ｙ＿２，．．．，ｙ＿
Ｔ）を出力する確率Ｐ（Ｙ｜θ）は次のようにして計算
できる。

【０１１７】 （式１０） ｔ＝１のとき、 ｉ＝１，α１（ｔ）＝１ ｔ＝２，３，．．，Ｔのとき、 αｉ（ｔ）＝Σ＿ｊ（αｉ（ｔ−１）×ａ＿ｉ＿ｊ ×ｂ＿ｉ＿ｊ（ｙ＿ｔ）） Ｐ（Ｙ｜θ）＝αＮ（Ｔ）

【０１１８】なお、式１０においてΣ＿ｊはサメーショ
ンであり、状態ｊから状態ｉへの遷移が許されている場
合のみとられる。したがって、音声から求められたシン
ボル系列Ｙ＝（ｙ＿１，．．，ｙ＿Ｔ）に対してＰ（Ｙ
｜θ）を最大とするモデルθが認識結果となる。

【０１１９】次にモデルの学習について説明する。モデ
ルの学習では、学習用のシンボル系列Ｙから、上述した
前方予測確率αｉ（ｔ）が求められ、さらに、時刻ｔに
おいて状態ｉにいて、以後、シンボル系列ｙ＿（ｔ＋
１），ｙ＿（ｔ＋２），．．．，ｙ＿Ｔを出力する後方
予測確率βｉ（ｔ）が次の式１１により求められる。

【０１２０】 （式１１） ｔ＝Ｔのとき、 ｉ＝Ｎ，βｉ（ｔ）＝１ ｔ＝Ｔ−１，Ｔ−２，．．．，１のとき βｉ（ｔ）＝Σ＿ｊ（ａ＿ｉ＿ｊ×ｂ＿ｉ＿ｊ（ｙ＿（ｔ＋１）） ×βｊ（ｔ＋１））

【０１２１】なお、上式のΣ＿ｊは与えられたモデルに
おいて、状態ｉから状態ｊへの遷移が許されている場合
にのみとられる。

【０１２２】そして、次式にしたがって、ａ＿ｉ＿ｊと
ｂ＿ｉ＿ｊ（ｋ）が更新される。

【０１２３】 （式１２） γ＿ｉ＿ｊ（ｔ）＝［αｉ（ｔ−１）×ａ＿ｉ＿ｊ ×ｂ＿ｉ＿ｊ（ｙ＿ｔ）×βｊ（ｔ）］／αＮ（Ｔ） ＾ａ＿ｉ＿ｊ＝［Σ＿ｔ（γ＿ｉ＿ｊ（ｔ））］ ／［Σ＿ｔ（Σ＿ｈ（γ＿ｉ＿ｈ（ｔ）））］ ＾ｂ＿ｉ＿ｊ（ｋ）＝［Σ＿ｔ：ｙ＿ｔ＝ｋ（γ＿ｉ＿ｊ（ｔ））］ ／［Σ＿ｔ（γ＿ｉ＿ｊ（ｔ））］

【０１２４】なお、＾ａ＿ｉ＿ｊ、および＾ｂ＿ｉ＿ｊ
（ｋ）はそれぞれ更新された遷移確率および出力確率を
表す。また、上式のｈ＝１，．．，Ｎのサメーションは
状態ｉから状態ｈへの遷移が許されている場合にのみと
られる。さらに、ｔ：ｙ＿ｔ＝ｋに関するサメーション
は、時刻ｔにおいてｋなるシンボルが生起される場合に
のみとられる。

【０１２５】式１２による学習はＢａｕｍ−Ｗｅｌｃｈ
の再推定法と呼ばれる。

【０１２６】ここで、式１２に従って更新されるａ＿ｉ
＿ｊ、およびｂ＿ｉ＿ｊ（ｋ）は、ある学習シンボル系
列１つに対してだけであり、これにより学習が行なわれ
たモデルは、あるシンボル系列だけを高い確率で出力す
るようになる。しかしながら、これでは話者や発話のば
らつきなどに対処することができない。

【０１２７】そこで、いくつかのシンボル系列を高い確
率で出力するようにモデルθの学習を行なう必要があ
る。これは、例えばＱ種類のシンボル系列の、ｑ番目の
シンボル系列をＹ＾ｑ＝（ｙ＿１＾ｑ，．．．，ｙ＿Ｔ
＾ｑ）としたとき、各シンボル系列Ｙ＾ｑ，ｑ＝１，
２，．．，Ｑが観測される確率Ｐ（Ｙ＾ｑ｜θ）の積が
最大になるようにモデルθの学習を行なえばよい。

【０１２８】これは、Ｂａｕｍ−Ｗｅｌｃｈの再推定法
を多重系列に拡張した次式によって求めることができ
る。

【０１２９】 （式１３） γ＿ｉ＿ｊ＾ｑ（ｔ）＝［αｉ（ｔ−１）×ａ＿ｉ＿ｊ ×ｂ＿ｉ＿ｊ（ｙ＿ｔ＾ｑ）×βｊ（ｔ）］／αＮ（Ｔ） ＾ａ＿ｉ＿ｊ＝［Σ＿ｑ（Σ＿ｔ（γ＿ｉ＿ｊ＾ｑ（ｔ）））］ ／［Σ＿ｑ（Σ＿ｔ（Σ＿ｈ（γ＿ｉ＿ｈ＾ｑ（ｔ））））］ ＾ｂ＿ｉ＿ｊ（ｋ）＝ ［［Σ＿ｑ（Σ＿ｔ：ｙ＿ｔ＾ｑ＝ｋ（γ＿ｉ＿ｊ＾ｑ（ｔ）））］ ／［Σ＿ｑ（Σ＿ｔ（γ＿ｉ＿ｊ＾ｑ（ｔ）））］］

【０１３０】以上は、単語に対応するモデルの学習を個
別に行なう場合であるが、実際にはモデルを連結した連
結学習が必要になる。モデルの連結学習では予め用意し
た単語辞書に登録されている単語に基づき、音韻または
音素モデル同士が連結され、これを単語モデルと見なし
て、単語の学習用のシンボル系列として用意されたシン
ボル系列Ｙ＾ｑに対する学習が行なわれる。

【０１３１】すなわち、Ｍ個の音韻または音素モデルの
学習を個別に行なった場合において、そのうちのｍ番目
のモデル（モデルｍ）のパラメータ（遷移確率、出力確
率）をそれぞれ、ａ＿ｉ＿ｊ＾ｍおよびｂ＿ｉ＿ｊ＾ｍ
（ｋ）と表し、そのモデルｍに音韻あるいは音素モデル
を連結したモデル（連結モデル）の状態をｕまたはｖで
表す。さらに、連結モデルの状態がｕからｖへ遷移する
場合において、状態ｕがモデルｍに属する状態であるこ
とを（ｕ−＞ｖ）ｍと表すと、次式にしたがって、ａ＿
ｉ＿ｊ＾ｍとｂ＿ｉ＿ｊ＾ｍ（ｋ）が更新（再推定、学
習）される。

【０１３２】 （式１４） ＾ａ＿ｉ＿ｊ＾ｍ＝［Σ＿（ｕ＝ｉ，ｖ＝ｊ）（Σ＿ｑ（Σ＿ｔ （γ＿ｕ＿ｖ＾ｑ（ｔ））））］ ／［Σ＿（ｕ＝ｉ）（Σ＿ｑ（Σ＿ｔ （Σ＿（ｈ：（ｕ−＞ｈ）ｉｎｍ）（γ＿ｕ＿ｈ＾ｑ（ｔ）））））］ ＾ｂ＿ｉ＿ｊ＾ｍ（ｋ）＝［Σ＿（ｕ＝ｉ，ｖ＝ｊ）（Σ＿ｑ （Σ＿ｔ：ｙ＿ｔ＾ｑ＝ｋ（γ＿ｕ＿ｖ＾ｑ（ｔ））））］ ／［Σ＿（ｕ＝ｉ）（Σ＿ｑ（Σ＿ｔ（γ＿ｕ＿ｖ＾ｑ（ｔ））））］

【０１３３】ここで、連結モデルが同一のモデルｍを複
数回使用している場合、例えば、３つの状態Ｓ１，Ｓ
２，Ｓ３からなるモデルｍを２回使用して構成されてい
る場合、連結モデルはＳ１，Ｓ２，Ｓ３，Ｓ１，Ｓ２，
Ｓ３の６状態を有することになる。したがって、モデル
ｍの状態Ｓ１，Ｓ２，Ｓ３のうちの例えば先頭の状態Ｓ
１は、連結モデルの先頭の状態と４番目の状態と同一と
なる。このように、連結モデルの複数の状態ｕまたはｖ
がモデルｍの１つの状態ｉまたはｊと同一になる場合が
ある。

【０１３４】式１４において、Σ＿（ｕ＝ｉ，ｖ＝ｊ）
はこのような連結モデルの状態ｕ，ｖがモデルｍの状態
ｉまたはｊと同一である場合、サメーションがとられ
る。さらに、Σ＿（ｕ＝ｉ）は連結モデルの状態ｕがモ
デルｍの状態ｉと同一である場合、サメーションがとら
れる。

【０１３５】また、Σ＿（ｈ：（ｕ−＞ｈ）ｉｎｍ）は
連結モデルの状態ｕから状態ｈへの遷移が許されている
場合で、連結モデルの状態ｕがモデルｍに属するときに
のみとられる。

【０１３６】さらに、式１４において、モデルｍの後続
にモデルｍが連結されており、連結モデルのある状態ｕ
がモデルｍの最終状態（ｕ＝Ｎ）となった場合、状態ｕ
から遷移先の状態ｖはモデルｍの直後に連結したモデル
の初期状態になるものとする。

【０１３７】次に、以上説明した離散型ＨＭＭ法を用い
て音声認識が行なわれる場合について説明する。まず、
学習用に用意された学習系列Ｙを用いて、上述した式１
２または式１３（以下、式１３におけるａ＿ｉ＿ｊ＾
ｍ，ｂ＿ｉ＿ｊ＾ｍ（ｋ）を式１２における場合と同様
にａ＿ｉ＿ｊ，ｂ＿ｉ＿ｊ（ｋ）と記載する）にしたが
ってモデルの学習（連結学習）がおこなわれ、モデルθ
の遷移確率ａ＿ｉ＿ｊおよび出力確率ｂ＿ｉ＿ｊ（ｋ）
が求められる。

【０１３８】そして、認識時において音声からシンボル
系列Ｙが観測された場合には、モデルθがそのシンボル
系列を出力する確率Ｐ（Ｙ｜θ）が、式１０にしたがっ
て、すなわち、フォワード法によって計算される。な
お、Ｐ（Ｙ｜θ）の計算はそのほか例えばビタビ法など
によって行なうこともできる。

【０１３９】以上の処理がモデルθ以外のモデルに対し
ても行なわれ、前述したように確率Ｐが最も大きいモデ
ルが認識結果とされる。

【０１４０】次に、図１１におけるＡ／Ｄ変換部６０
１、音声認識部６０２、音声区間検出部６０３、および
制御部６０４からなる音声認識システム６０７について
説明する。

【０１４１】Ａ／Ｄ変換部６０１でマイクなどより入力
された信号を、所定の標本化周波数によってデジタル信
号に変換し、音声認識部６０２と音声区間検出部６０３
に出力する。音声認識部６０２は、例えば図１３に示す
ように分析部７０１（分析手段）、ベクトル量子化部７
０２、およびＨＭＭ部７０３から構成される。分析部７
０１はＡ／Ｄ変換部６０１からのデジタル信号を所定の
フレーム単位で音響分析し、その分析の結果得られる音
声の特徴ベクトルをベクトル量子化部７０２に出力す
る。ベクトル量子化部７０２は、予め作成されたコード
ブックを用いて、分析部７０１からの特徴ベクトルをベ
クトル量子化し、その結果得られるシンボルをＨＭＭ部
７０３に出力する。ＨＭＭ部７０３は、学習用の音声を
用いて上述したような連結学習が行なわれた音素モデル
（遷移確率ａ＿ｉ＿ｊおよび出力確率ｂ＿ｉ＿ｊ
（ｋ））を記憶しているモデル記憶部７０４を有してい
る。

【０１４２】ＨＭＭ部７０３は後述する制御部６０４
（図１１）から供給される音声認識処理に必要な必要情
報にしたがい、モデル記憶部７０４に記憶されているモ
デルを用いて、ベクトル量子化部７０２から供給される
シンボル系列から、上述した離散型ＨＭＭ法による音声
認識を行うようになっている。音声認識の結果得られた
認識結果候補は、制御部６０４に出力される。

【０１４３】図１１の音声区間検出部６０３は、Ａ／Ｄ
変換部６０１の出力の短時間パワーまたはゼロクロス数
を算出し、その短時間パワーまたはゼロクロス数が所定
のスレショルド値を超えた区間を音声区間として検出
し、制御部６０４に出力する。制御部６０４は、図示せ
ぬ単語辞書を内蔵しており、その単語辞書を参照して、
音声認識の対象とする単語を設定し、その単語を、必要
情報として、音声認識部６０２を構成するＨＭＭ部７０
３に出力する。なお、制御部６０４は音声区間検出部６
０３からの音声区間も必要情報としてＨＭＭ部７０３に
出力する。

【０１４４】また、制御部６０４はＨＭＭ部７０３から
の認識結果候補を受信し、所定のアルゴリズムにしたが
って、そのうちの少なくとも１つを選択し、これを認識
結果として出力する。

【０１４５】以上のように構成される音声認識システム
６０７では次のようにして音声認識が行なわれる。

【０１４６】音声認識部６０２では、まず、分析部７０
１において、Ａ／Ｄ変換部６０１の出力が所定のフレー
ム単位で例えば、線形予測分析などの音響分析処理がな
され、これにより、所定の次数の線形予測係数が算出さ
れる。さらに、分析部７０１では、線形予測係数から所
定の再帰式によって、ケプストラム係数（ＬＰＣ（Ｌｉ
ｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ）ケプ
ストラム係数）が算出され、これが特徴ベクトルとし
て、ベクトル量子化部７０２に出力される。

【０１４７】ベクトル量子化部７０２では分析部７０１
からの特徴ベクトルが、ベクトル量子化され、その結
果、フレーム単位で得られるシンボルが、ＨＭＭ部７０
３に出力される。

【０１４８】一方、音声区間検出部６０３では、Ａ／Ｄ
変換部６０１の出力から上述したような方法で音声区間
が検出され、制御部６０４に出力され、制御部６０４で
は内蔵する単語辞書を参照して、音声認識対象の単語
（認識対象単語）が少なくとも１つ以上決定される。ま
た、制御部６０４は音声区間検出部６０３からの音声区
間を受信すると、その区間と共に認識対象単語を必要情
報として音声認識部６０２のＨＭＭ部７０３に出力す
る。

【０１４９】ＨＭＭ部７０３では必要情報を受信する
と、そのうち認識対象単語に対応するモデルが、モデル
記憶部７０４に記憶されている音素モデルを連結するこ
とにより生成される。以上のようにして制御部６０４か
らの認識対象単語すべてに対応する単語モデルが生成さ
れた後、ＨＭＭ７０３では制御部６０４からの音声区間
において、ベクトル量子化部７０２から供給されるシン
ボル系列が単語モデルから観測される確率が上述したよ
うにして計算される。そして、その確率が所定値より大
きくなる単語モデルに対応する単語を認識結果候補とし
て制御部６０４に出力する。制御部６０４はＨＭＭ部か
らの認識結果候補を受信し、所定のアルゴリズムにした
がって、そのうちの少なくとも１つを選択し、これを認
識結果として出力する。

【０１５０】次に、図１１に示した発話生成部６０５お
よび音声生成部６０６からなる音声合成システム６０８
について説明する。

【０１５１】図１４は、発話生成部６０５の内部の構成
例を示すブロック図である。発話生成部６０５は、内部
状態決定部８０１と発話内容決定部８０２より構成され
る。発話生成部６０５には、前述の制御部６０４の出力
である認識結果が入力されるようになされている。

【０１５２】また、内部状態決定部８０１には、内部的
なタイマあるいはバッテリ電圧を監視するバッテリセン
サなどの情報が入力され、それに従って状態遷移が起き
るようになされている。この実施例では、この状態は、
簡便のため３状態であり、バッテリセンサの値が所定の
スレショルド値ＴＨＲ＿１以下であれば状態１（ＯＵＴ
＿Ｓ＝１）であり、スレショルド値ＴＨＲ＿１以上であ
り、かつ別の所定のスレショルド値ＴＨＲ＿２以下であ
れば状態２（ＯＵＴ＿Ｓ＝２）であり、スレショルド値
ＴＨＲ＿２以上であれば状態３（ＯＵＴ＿Ｓ＝３）であ
るとする。また、別の信号Ｎｏｗを設け、内部タイマに
より２０秒ごとにＮｏｗ＝１となるようにする。この信
号Ｎｏｗを、発話内容決定部８０２に出力する。

【０１５３】一方、発話内容決定部８０２は、制御部６
０４からの認識結果と、前述の内部状態決定部８０１か
らの出力ＯＵＴ＿Ｓを受け取り、適当な規則により発話
するべき内容を決定する。規則として、この実施例は単
語による会話をするものとしてあるので、母音の時系列
として予め登録してあるＫ個の単語が入力されたときの
出力をテーブルとして持つこととする。単語数を６とし
てテーブルの例を図１５に示す。

【０１５４】説明を分かりやすくするために、この実施
例がロボット装置に組み込まれているものとして、テー
ブルの単語に意味を付けてみる。単語Ｔ１は「前進」を
意味する。単語Ｔ２は「止まれ」を意味する。単語Ｔ３
は「バッテリを交換してください」を意味する。単語Ｔ
４は「頑張れ」を意味する。単語Ｔ５は「はい」を意味
する。単語Ｔ６は「いいえ」を意味する。なお、単語Ｔ
０は発話しないという意味である。また、出力信号Ｓ
１，Ｓ２，Ｓ３はそれぞれ内部状態決定部８０１の出力
であり、状態１、状態２、状態３に対応する。また、単
語入力がＴ０での出力は、前述の内部状態決定部８０１
の出力Ｎｏｗ＝１であるか、Ｎｏｗ＝０であるかによっ
て異なる。

【０１５５】図１５のような規則により前進、止まれな
どの指示に、「はい」、「いいえ」で答え、また、音声
入力がなく、バッテリがなくなってきたときには、「バ
ッテリを交換してください」とお願いし、他のロボット
が、「バッテリを交換してください」といっているとき
には、「頑張れ」と答えるようなシステムが構成でき
る。

【０１５６】次に、この結果を、母音のみで構成される
音声に変換する音声生成部６０６について説明する。音
声生成部６０６は、いわゆる音声合成のシンセサイザ部
であり、この実施例では予め単語レベルで録音してある
ものを選んで出力するものとする。これは、前述の単語
Ｔ１から単語Ｔ６までを母音のみで構成される単語と対
応付けることと同じであり、前述の音声認識部６０２で
ＨＭＭ部７０３が持っているモデル、あるいは単語辞書
と同様の母音列から構成される。

【０１５７】例えば、単語Ｔ１を”ａ−ｉ−ｕ”，単語
Ｔ２を”ａ−ｉ−ｅ”，単語Ｔ３を”ｉ−ｕ−ｅ”，単
語Ｔ４を”ｉ−ｕ−ｏ”，単語Ｔ５を”ｕ−ｅ−ｏ”、
単語Ｔ６を”ｏ−ｅ−ｕ”とする。これを、適当に発音
したものをデジタルデータとして記録したものを、音声
生成部６０６の図示せぬ内部のメモリで持つものとし、
発話生成部６０５からの単語にしたがって、対応するデ
ジタルデータをメモリから読みだし、Ｄ／Ａ変換をして
音声信号に変換する。

【０１５８】第１の実施例（図１）と大きく異なるの
は、音声認識部６０２にＨＭＭを利用することと、音素
構成として母音のみで形成される音素系列を単語として
登録してあることである。このような音素による設計を
行なうことにおいて、ホワイト雑音が非常に大きな環境
では簡単に妨害音との区別を行なうことができる。ま
た、人間は母音を子音と比較して大きなパワーで発声す
るため、通常の自然言語に比べてシステムの入力信号の
Ｓ／Ｎ比を良くすることができる。

【０１５９】このように、上記各実施例においては、音
声認識において、対妨害音、対雑音の問題に対応し、か
つ、機械と人間との間で会話を実現できる方法として、
音声認識の設計の自由度に注目する。すなわち、従来見
落としている認識システムの構成自由度に注目し、対雑
音、対妨害音特性を向上させるものである。

【０１６０】その自由度とは使用する音そのものであ
り、対妨害特性、対雑音特性に優れた音響特性をもつ音
素を選択あるいは設計することである。それを用いて発
話することにより通常の認識技術だけでも十分な対雑
音、対妨害音特性をもつ認識システムを実現することが
できる。すなわち、日本語あるいは英語の音声認識装置
ではないが、可帯域の信号で特殊な音響特性をもつ音素
をもちいて単語やセンテンスを構築し、それを認識する
システム、そして合成するシステムを構築することによ
り対雑音、対妨害音特性のすぐれた認識あるいは対話シ
ステムがより実現しやすくなる。

【０１６１】この方法は、従来の技術のところで上述し
た３つの手法のどれにもあてはまるものではない。例え
ば日本語音声認識装置において、日本語として固有名詞
を含む任意の音素の組合せに対して、上述の３つの手法
で対雑音、対妨害特性の向上を施しているどの手法にも
あてはまらない。音素の組合せを雑音や妨害音に合わせ
て選び、または設計する自由度が与えられ、それゆえに
対雑音、対妨害音特性を容易に改善することができる。

【０１６２】なお、第１の実施例においては、音響分析
手法にフーリエ変換を用いたが、本発明はそれに限定さ
れるものではない。通常の音声認識の前処理として用い
る分析手法を利用することもできる。例えば、ＬＰＣ分
析などは通常の音声認識で良く使われる手法である。ま
た、音名を認識するのであれば通常のピッチ検出技術を
利用することができる。例えば、ゼロクロス検出による
ピッチ検出や自己相関を用いたピッチ検出などはその代
表例である。

【０１６３】また、第１の実施例においては、音名認識
部において１つの音名の区切りを無音部の検出に利用し
ているが、それに限定されるものではない。また、無音
部を想定せずにｐ＿ｔｏｎｅの変化した音を３つあるい
は４つに注目し、それがＣ−ＭａｊｏｒやＣ−ｍｉｎｏ
ｒなどのコードを構成する音と一致した時のみｃｈｏｒ
ｄ（ｌ）を出力し、そうでない場合は無効であるとし、
有効なｃｈｏｒｄ（ｌ）の時系列だけをコマンド解釈に
あてることによっても実現できる。ただし、７ｔｈコー
ドなどのように４つで構成されるコードの場合、４つ目
の音を検出する前にＭａｊｏｒコードとして有効なｃｈ
ｏｒｄ（ｌ）を出力するため、その対策が必要である。
これは、ｌ＝Ｌで７ｔｈコードが認識されたときにそれ
以前の３音で構成されたＭａｊｏｒコードｃｈｏｒｄ
（Ｌ−１）を無効データに書き換えることで可能であ
る。

【０１６４】また、第１の実施例においては、低い音か
ら順に入力されることが条件になっているが、本発明は
これに限定されるものではない。これは３つあるいは４
つの音の構成が、あるコードの構成音と同一であるか否
か、あるいは別の定められた順番であるか否かによって
認識することにより実現することができる。

【０１６５】また、第１の実施例においては、センテン
スの終了は高い音から順に入力されることを前提として
いるが、本発明はこれに限定されるものではない。適当
な長さの無音検出でもセンテンスの終了を決めることも
できるし、適当な無効パターンを決めることにより終了
を決めることもできる。また、特定のコードを終了コー
ドとしてもよい。あるいは、特定のコード進行により終
了とみなしてもよい。また、第１の実施例では３音から
構成されるコードは３音、４音から構成されるコードは
４音であることを前提としているが、本発明はそれに限
定されるものではない。例えば、”Ｃ−Ｍａｊｏｒ”と
してＣ，Ｅ，Ｆ，Ｅ，Ｃというようなギターの奏法で用
いられるようなアルペジオでもよい。

【０１６６】また、第１の実施例においては、音楽のコ
ードの時系列を認識しているが、本発明はこれに限定さ
れるものではない。例えば、コードそのものが１つでコ
マンドであることも可能である。また、コードに限定せ
ずに、音名の時系列でその長さ、高さで情報を表すこと
も第１の実施例の変形と考えられる。

【０１６７】また、第１の実施例においては、絶対的な
音名およびコードを認識しているが、相対的な周波数変
化、相対的な音名の変化、あるいは相対的なコード変化
を認識することにより、いわゆるチューンのずれに対応
することは容易である。

【０１６８】また、第１の実施例においては、人間と機
械、あるいは人間が楽器を用いて機械と対話している例
で記述されているが、本発明はそれに限定されるもので
はない。この実施例より、２つ以上の装置がこの実施例
の構成を独立に持っておれば、機械同士の会話が可能な
構成であり、かつ、その内容を人間が聴覚を用いて認識
可能であることも容易に推測できる。また、人間同士が
この音素を用いた会話が可能であり、その内容を機械が
理解することも可能である。

【０１６９】さらに、第２の実施例においては、母音を
認識しているがＨＭＭを用いて第１の実施例のような音
名やコードを認識することは容易な変更で可能である。
たとえば、「あー」というような声でドレミ、、を発声
し、それを認識することは可能である。

【０１７０】また、第２の実施例においては、母音の認
識としてＨＭＭを用いているが本発明はこれに限定され
るものではない。

【０１７１】また、第２の実施例においては、音声合成
の手法は予め記憶してある母音からなる波形を出力した
が、本発明はそれに限定されるものではない。規則合成
による音声合成や声道モデルによる音声合成方法を利用
することは容易に推定できる。また、それを用いて、音
声に自然なゆらぎを導入し、より人間に近い母音発話を
することは容易である。

【０１７２】また、第２の実施例においては、音声認識
は単語認識となっているが、本発明はそれに限定される
ものではない。センテンスへの拡張は容易である。

【０１７３】また、第２の実施例においては、音素は
ａ，ｉ，ｕ，ｅ，ｏを仮定しているが本発明はそれに限
定されるものではない。たとえば、子音を発声するが子
音部を無視して母音部のみの時系列認識とすれば、対雑
音特性を損なわずに発声の容易さを増すことができる。
また、そのほかの雑音と区別しやすい音素を利用するこ
とは本発明の変形である。

【０１７４】さらに、第２の実施例においては、母音で
あっても雑音と区別しづらい音素を予め除くことも可能
である。例えば、ｉの音素は人間の発声において、その
他の母音に比べて出力パワーが小さいことが知られてい
るが、このような音素を除いた音素の組みで単語を設計
することも可能である。

【０１７５】

【発明の効果】請求項１に記載の音声認識装置によれ
ば、分析手段により、雑音や妨害音と分離が容易な音響
特性を有する音素あるいは音素の時系列より構成された
音の分析が行われるようにしたので、妨害音または雑音
の影響を抑制することができる。従って、目的の音を確
実に検出あるいは認識することが可能となる。

【０１７６】請求項１０に記載の音声合成装置によれ
ば、合成手段により、雑音や妨害音と分離が容易な音響
特性を有する音素あるいは音素の時系列より構成された
音が合成されるようにしたので、妨害音あるいは雑音の
影響を受け難い目的の音を合成することができる。従っ
て、相手に、目的の音を確実に認識させることが可能と
なる。

【０１７７】請求項１７に記載の音声認識合成装置によ
れば、分析手段により、雑音や妨害音と分離が容易な音
響特性を有する音素あるいは音素の時系列より構成され
た音の分析が行われ、合成手段により、雑音や妨害音と
分離が容易な音響特性を有する音素あるいは音素の時系
列より構成された音が合成されるようにしたので、妨害
音あるいは雑音の影響を受けずに目的の音を検出あるい
は認識することができ、妨害音あるいは雑音の影響を受
け難い目的の音を合成することができる。従って、妨害
音や雑音の影響を受けずに、１つ以上の機械と１人以上
の人間との間、あるいは機械同士において対話をするシ
ステムを容易に構築することができる。また、自然言語
による対話ではないため、このシステムによる対話によ
り娯楽性を生み出すことができる。さらに、エンターテ
イメント用途の対話システムに応用した場合において
は、自然言語による対話よりも効果的な対話システムを
構築することが可能となる。

【図面の簡単な説明】

【図１】本発明を応用した対話システムの一実施例の構
成を示すブロック図である。

【図２】図１の音響信号分析部１０１の構成例を示すブ
ロック図である。

【図３】図１の音名認識部１０２の構成例を示すブロッ
ク図である。

【図４】音名認識部１０２の処理例を示すフローチャー
トである。

【図５】コード認識部３０２の処理例を示すフローチャ
ートである。

【図６】コードと音階の定義を示す図である。

【図７】コマンド解釈部３０３の処理例を示すフローチ
ャートである。

【図８】発話生成部１０３の構成例を示すブロック図で
ある。

【図９】発話のためのテーブルを示す図である。

【図１０】音響信号合成部１０４の構成例を示すブロッ
ク図である。

【図１１】本発明を応用した対話システムの他の実施例
の構成を示すブロック図である。

【図１２】ＨＭＭのモデルを示す図である。

【図１３】音声認識部６０２の構成例を示すブロック図
である。

【図１４】発話生成部６０５の構成例を示すブロック図
である。

【図１５】発話のためのテーブルを示す図である。

【符号の説明】

１０１ 音響信号分析部（分析手段） １０２ 音名認識部（認識手段） １０３ 発話生成部（合成手段） １０４ 音響信号合成部 ２０１ Ａ／Ｄ変換部 ２０２ 入力信号バッファ ２０３ 周波数分析部 ３０１ 音名検出部 ３０２ コード認識部 ３０３ コマンド解釈部 ４０１ 内部状態決定部 ４０２ 発話内容決定部 ５０１ 音名生成部 ５０２ シンセサイザ部 ５０３ Ｄ／Ａ変換部 ６０１ Ａ／Ｄ変換部 ６０２ 音声認識部 ６０３ 音声区間検出部 ６０４ 制御部 ６０５ 発話生成部 ６０６ 音声生成部 ６０７ 音声認識システム（認識手段） ６０８ 音声合成システム（合成手段） ７０１ 分析部（分析手段） ７０２ ベクトル量子化部 ７０３ ＨＭＭ部 ７０４ モデル記憶部 ８０１ 内部状態決定部 ８０２ 発話内容決定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 赤羽 誠 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (25)

【特許請求の範囲】
1. 【請求項１】 雑音や妨害音が存在する環境で音声認識
   を行う音声認識装置において、 前記雑音や妨害音と分離が容易な音響特性を有する音素
   あるいは前記音素の時系列より構成された音を分析する
   分析手段を備えることを特徴とする音声認識装置。
2. 【請求項２】 前記分析手段による分析結果を、所定の
   次元の分析空間に所定の順序でそれぞれ並べたとき、前
   記分析結果の特徴点の位置は、前記分析空間と時間軸で
   構成された時系列分析空間において、所定の規則に従っ
   た動きをすることを特徴とする請求項１に記載の音声認
   識装置。
3. 【請求項３】 前記特徴点は、前記分析空間における前
   記分析結果の極大値あるいは極小値より選ばれた点であ
   ることを特徴とする請求項２に記載の音声認識装置。
4. 【請求項４】 前記時系列分析空間上における前記特徴
   点の位置の前記動きは、所定の時間以上、前記時間軸に
   対して所定の傾きを持った動きであることを特徴とする
   請求項２に記載の音声認識装置。
5. 【請求項５】 前記時系列分析空間上における前記特徴
   点の位置の前記動きは、所定の時間以上、前記時間軸に
   対して平行な動きであることを特徴とする請求項２に記
   載の音声認識装置。
6. 【請求項６】 前記音のピッチは、所定の時間以上、所
   定の範囲以上に変化しないことを特徴とする請求項１に
   記載の音声認識装置。
7. 【請求項７】 前記音素は、母音であることを特徴とす
   る請求項１に記載の音声認識装置。
8. 【請求項８】 前記分析手段は、線形の畳み込み演算を
   行うことを特徴とする請求項１に記載の音声認識装置。
9. 【請求項９】 Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅ
   ｌを含む認識手段をさらに備え、 前記認識手段により、前記分析手段による前記分析結果
   に対応する音が認識されることを特徴とする請求項１に
   記載の音声認識装置。
10. 【請求項１０】 雑音や妨害音が存在する環境で音声合
    成を行う音声合成装置において、 前記雑音や妨害音と分離が容易な音響特性を有する音素
    あるいは前記音素の時系列より構成された音を合成する
    合成手段を備えることを特徴とする音声合成装置。
11. 【請求項１１】 前記音を所定の分析方法で分析した分
    析結果を、所定の次元の分析空間に所定の順序でそれぞ
    れ並べたとき、前記分析結果の特徴点の位置は、前記分
    析空間と時間軸で構成された時系列分析空間において、
    所定の規則に従った動きをすることを特徴とする請求項
    １０に記載の音声合成装置。
12. 【請求項１２】 前記特徴点は、前記分析空間における
    前記分析結果の極大値あるいは極小値より選ばれた点で
    あることを特徴とする請求項１１に記載の音声合成装
    置。
13. 【請求項１３】 前記時系列分析空間上における前記特
    徴点の位置の前記動きは、所定の時間以上、前記時間軸
    に対して所定の傾きを持った動きであることを特徴とす
    る請求項１１に記載の音声合成装置。
14. 【請求項１４】 前記時系列分析空間上における前記特
    徴点の位置の前記動きは、所定の時間以上、前記時間軸
    に対して平行な動きであることを特徴とする請求項１１
    に記載の音声合成装置。
15. 【請求項１５】 前記音のピッチは、所定の時間以上、
    所定の範囲以上に変化しないことを特徴とする請求項１
    ０に記載の音声合成装置。
16. 【請求項１６】 前記音素は、母音であることを特徴と
    する請求項１０に記載の音声合成装置。
17. 【請求項１７】 雑音や妨害音が存在する環境で音声認
    識と音声合成を行う音声認識合成装置において、 前記雑音や妨害音と分離が容易な音響特性を有する音素
    あるいは前記音素の時系列より構成された音を分析する
    分析手段と、 前記雑音や妨害音と分離が容易な音響特性を有する前記
    音素あるいは前記音素の時系列より構成された前記音を
    合成する合成手段とを備えることを特徴とする音声認識
    合成装置。
18. 【請求項１８】 前記音の前記分析手段による分析結果
    を、所定の次元の分析空間に所定の順序でそれぞれ並べ
    たとき、前記分析結果の特徴点の位置は、前記分析空間
    と時間軸で構成された時系列分析空間において、所定の
    規則に従った動きをすることを特徴とする請求項１７に
    記載の音声認識合成装置。
19. 【請求項１９】 前記特徴点は、前記分析空間における
    極大値あるいは極小値より選ばれた点であることを特徴
    とする請求項１８に記載の音声認識合成装置。
20. 【請求項２０】 前記時系列分析空間上における前記特
    徴点の位置の前記動きは、所定の時間以上、前記時間軸
    に対して所定の傾きを持った動きであることを特徴とす
    る請求項１８に記載の音声認識合成装置。
21. 【請求項２１】 前記時系列分析空間上における前記特
    徴点の位置の前記動きは、所定の時間以上、前記時間軸
    に対して平行な動きであることを特徴とする請求項１８
    に記載の音声認識合成装置。
22. 【請求項２２】 前記音のピッチは、所定の時間以上、
    所定の範囲以上に変化しないことを特徴とする請求項１
    ７に記載の音声認識合成装置。
23. 【請求項２３】 前記音素は、母音であることを特徴と
    する請求項１７に記載の音声認識合成装置。
24. 【請求項２４】 前記分析手段は、線形の畳み込み演算
    を行うことを特徴とする請求項１７に記載の音声認識合
    成装置。
25. 【請求項２５】 Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄ
    ｅｌを含む認識手段をさらに備え、 前記認識手段により、前記分析手段による前記分析結果
    に対応する音が認識されることを特徴とする請求項１７
    に記載の音声認識合成装置。