JPH11119791A

JPH11119791A - 音声感情認識システムおよび方法

Info

Publication number: JPH11119791A
Application number: JP9286372A
Authority: JP
Inventors: Shinji Wakizaka; 新路脇坂; Kazuo Kondo; 和夫近藤; Yasunari Obuchi; 康成大淵; Tetsuji Toushita; 哲司塔下; Yasuyo Ishikawa; 泰代石川
Original assignee: Hitachi Ltd; Hitachi ULSI Systems Co Ltd
Current assignee: Hitachi Ltd; Hitachi Solutions Technology Ltd
Priority date: 1997-10-20
Filing date: 1997-10-20
Publication date: 1999-04-30

Abstract

(57)【要約】【課題】音声認識システムにおいて話者の感情のレベル
を認識する。【解決手段】音声認識の対象となる単語を集めた辞書部
と、音声分析処理を行う音声分析部と、音声のパターン
を音素単位でもつ音響モデル部と、感情による音韻スペ
クトルの変形を表す発声変形感情モデル部と、音声分析
結果に対して、音響モデル部と発声変形感情モデル部と
辞書部とを連結して音声認識処理を行う音声認識部とを
備え、音声の特徴から、音声認識の対象となる単語を音
声認識結果として出力すると共に、音声がもっている話
者の感情の度合を示す感情レベルを出力する。他の音声
分析部は音声のパワーの特徴から感情レベルを出力す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声認識システム
および方法に係わり、カーナビゲーションシステム、車
載用PC、PDA（パーソナル・デジタル・アシスタン
ト）、ハンドヘルドPCに代表される小型情報機器、携帯
型音声翻訳機、ゲーム、家電機器に用いる音声認識シス
テムであって、特に、音声認識の対象となる単語や文章
の認識とともに、感情を表わす単語や文章においては、
感情の度合まで認識する音声感情認識システムおよび方
法に関する。

【０００２】

【従来の技術】近年、音声認識技術を用いた小型情報シ
ステムが普久しつつある。カーナビゲーションシステム
をはじめとして、PDAに代表される小型情報機器、携帯
型翻訳機等である。

【０００３】このような音声認識システムの例として、
特願平５ー３５７７６号公報の「言語自動選択機能付翻
訳装置」には、マイクから入力した操作者の音声を認識
して、翻訳し、翻訳した言語の音声を出力するようにし
た携帯用の翻訳装置に関する技術が開示されている。

【０００４】以下、図７を用いてこのような従来技術に
係わる音声翻訳装置の概要について説明する。

【０００５】図７は従来技術に係わる音声翻訳装置の構
成を示すブロック図である。制御部７０１は、マイクロ
プロセッサ等からなり、装置の各部を制御する。音声区
間切出し部７０２は、マイク７０９から入力された音声
をデジタル信号に変換して切り出し、音声認識部７０３
に送る。音声認識部７０３は、キーボード又はスイッチ
等による操作信号７１１を受けた制御部７０１の指示に
より、マイク７０９、音声区間切出し部７０２を経て、
切り出された音声を分析する。そしてその結果を、音声
認識辞書部７０７に格納された標準音声パターンと比較
することにより、音声認識をおこなう。音声合成部７０
５は、音声認識部７０３により認識された音声に対応し
た翻訳語を、翻訳語データ用メモリカード７０６から読
み込み、音声信号に変換してスピーカアンプ７１０、ス
ピーカ７０８を経て出力する。

【０００６】表示部７０４は、翻訳装置の使用者への指
示や翻訳語の文字による表示等をおこなう。翻訳語デー
タ用メモリカード７０６は、ＲＯＭカード等からなり、
翻訳語を音声合成して出力する場合には、音声データを
格納している。また、この翻訳語データ用メモリカード
７０６から、翻訳語に対応したキャラクターコードを読
み込み、表示部７０４に表示する。そして、この翻訳語
データ用メモリカード７０６を他の言語のものと交換す
ることにより、複数の言語に翻訳することが可能とな
る。音声認識辞書部７０７は、ＲＡＭ等からなり、操作
者の発生に応じた標準音声パターンを格納している。こ
の標準音声パターンは、操作者があらかじめ格納してお
く。

【０００７】

【発明が解決しようとする課題】このような音声認識、
音声合成技術の分野は、半導体技術の向上を背景とし
て、システムがより人間的なユーザインタフェースを提
供すべきであるという要望から、その発展が期待されて
いる。上記従来の音声認識技術を用いた小型情報システ
ムにおいても、カーナビゲーションシステムをはじめと
して、ＰＤＡに代表される携帯型情報機器、携帯型翻訳
機、さらに、音声インタフェースを持った情報家電とし
て、今後ますます普及してくることが予想される。

【０００８】しかしながら、音声認識は、処理すべき情
報量が膨大なものになるため、従来の技術では、認識率
や認識応答時間の性能を低下させないためには、認識す
る語数に制約を設ける必要がある。そのためには、あら
かじめ登録しておいた単語、文に対して、その文字列が
持つ統計的な話者の音声の特徴と、実際に話者が発声し
た音声の特徴とを比較し、確率的に一番近い値を認識結
果としている。

【０００９】今後、音声認識における技術革新や、それ
を実現するソフトウエア、ハードウエアの性能向上によ
り、認識率や認識応答時間の性能は向上することが考え
られる。そこで、さらに、人間的なユーザインタフェー
スを提供すためには、単に、従来の音声認識技術におい
て、あらかじめ登録した単語、文の文字列を認識するだ
けでなく、話者の感情や意図を認識できれば、たとえ制
限された認識語数においても、使い勝手の向上が期待で
きる。しかしながら、従来の音声認識システムでは、あ
らかじめ登録した単語や文の文字列のみを音声で照合し
て、入力した音声に最も近い文字列を音声認識結果とし
て出力する音声認識システムであり、音声を発声した話
者の感情や意図までは認識できない。

【００１０】本発明は、システムが少しでも人間的なユ
ーザインタフェースを持てるように、上記問題点を解決
するためになされたものである。

【００１１】本発明の目的は、小型情報システムに用い
られる音声認識システムにおいて、入力された音声に対
して、辞書に登録された単語や文の文字列を認識すると
ともに、入力された音声が持っている話者の感情や意図
を認識することができる音声感情認識システム及び方法
を提供することにある。

【００１２】また、本発明の他の目的は、小型情報シス
テムに用いられる音声認識システムにおいて、入力され
た音声が持っている話者の感情や意図を感情の度合いを
表現する数字や修飾語に変換して、人間とシステムにお
ける良好な音声インタフェースを実現することである。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に、本発明の音声感情認識システム及び方法に於いては
音声認識の対象となる単語や文章を集めて辞書として定
義し、音声認識結果として、それらの単語や文章を辞書
部からピックアップして、文字列表示や音声合成を用い
て出力する音声認識システムにおいて、取り込んだ音声
に対して音声分析処理を行う音声分析部と、音声のパタ
ーンを音素単位でもつ音響モデル部と、感情による音韻
スペクトルの変形を表す発声変形感情モデル部と、音声
分析結果に対して音響モデル部と発声変形感情モデル部
と辞書部とを連結して音声認識処理を行う音声認識部と
を備え、音声の特徴から音声認識の対象となる単語や文
章を音声認識結果として出力するとともに、音声がもっ
ている話者の感情の度合を出力するようにしたものであ
る。

【００１４】より詳しい１実施例に於いては、音声が持
っている話者の感情の度合を示すレベルは、数字０〜N
（Nは整数）であるようにしたものである。

【００１５】また、本発明の音声感情認識システム及び
方法に於いては、音声が持っている話者の感情の度合
は、音声認識の対象となる単語や文章を集めた辞書とそ
れらの単語や文章に対して感情のレベルを表現する修飾
語を集めた辞書と有する辞書部を備え、音声認識結果と
して、それらの単語や文章をピックアップするととも
に、感情のレベルを表現する修飾語をピックアップし
て、単語や文章に修飾語を付加して、文字や音声合成を
用いて出力するようにしたものである。

【００１６】さらに詳しい１実施例に於いては、音声認
識の対象となる単語や文章を集めて辞書として定義し、
音声認識結果として、それらの単語や文章をピックアッ
プして、文字列表示や音声合成を用いて出力する音声認
識システムにおいて、取り込んだ音声に対して音声分析
処理を行う音声分析部と、音声のパターンを音素単位で
もつ音響モデル部と、音声分析結果に対して音響モデル
部と辞書部とを連結して音声認識処理を行う音声認識部
とを備え、取り込んだ音声に対して音声分析処理を行う
音声分析部は、感情の度合が現われる音の強弱を示すパ
ワーの特徴から感情の度合を出力することが出来る。

【００１７】

【発明の実施の形態】以下、本発明に係る各実施形態を
図１から図６を用いて説明する。

【００１８】図１は本発明に係る音声および感情認識シ
ステムの各機能とその処理の流れを示すブロック図であ
る。

【００１９】音声および感情認識をおこなうために、図
１に示されるマイク１０１から音声が取り込まれる。取
り込まれた音声であるアナログ信号は、アナログ信号を
デジタル信号に変換するＡ／Ｄ変換器１０２によって、
任意に決められたサンプリング周期により、アナログデ
ータからデジタルデータに変換される。変換された音声
のデジタルデータは、音声分析部１０３によって、雑音
処理や音声分析や話者適応などの前処理がなされ、音声
感情認識部１０４により音声および感情認識がなされ
る。ここで、音声および感情認識とは、２つの処理を実
行する。

【００２０】第１の処理は、音声信号を解析して、それ
を短い時間ごとの音素として分析して、そのパターンを
解析し、該当する単語や文章を辞書から選択することで
ある。

【００２１】第２の処理は、音声信号を解析して、それ
を短い時間（５〜２０ｍｓ）ごとの音素として分析し
て、そのパターンを解析し、話者が発声した音声の感情
の度合いを示すレベルを単語や文章ごとに選択すること
である。

【００２２】以上の２つの処理から、音声感情認識シス
テムの出力として、音声認識結果および音声の感情レベ
ル１０９を生成する。

【００２３】音声感情認識部１０４は、音声分析部１０
３で分析された入力音声の音声分析結果に対して、音響
モデル部１０５、発声変形感情モデル部１０６、単語辞
書部１０７をモデル連結部１０８によって連結された音
素単位で照合して、単語辞書部１０７に登録した単語の
中で、一番近い単語をピックアップする。さらに、ピッ
クアップされた単語の入力音声を持っている感情の度合
いを示すレベルを選択する。なを、図１に示す実施例に
於いては、電源を投入すると、モデル連結部１０８で連
結された音素単位の単語及び感情の度合いを示すレベル
は音声感情認識部１０４に記憶され、音声分析部１０３
からの音声分析結果と直ちに照合出来るようになってい
る。

【００２４】音響モデル部１０５は、音声認識に用いら
れるモデルであり、具体的には、単語辞書部１０７に用
いられている文字と音素との対応であり、音素の特徴が
出現する確率の分布、出現した音素の特徴が次のどの特
徴が現れる状態に遷移するかの確率の分布を記憶したも
のである。音素の特徴が出現する確率の分布について説
明する。例えば、「あつい」という音声の「あ」に対し
て音声スぺクトラムは人によって変わるため、「あ」と
言う音素に対して、横軸に音声スぺクトラムをとり、縦
軸に音素が出現する確率を取ると、音声スぺクトラムに
対して「あ」と認識される確率が変わることを言う。次
に、出現した音素の特徴が次のどの特徴が現れる状態に
遷移するかの確率の分布について説明する。例えば、
「あ」という音素は「あつい」のように次に「つ」がく
る場合もあるし、「あさい」のように次に「さ」がくる
こともあるし、「あまい」のように次に「ま」に遷移す
ることもある。「あ」が次にどの音素に遷移するかの確
率は各音素によって変わる。つまり、ある音素の特徴が
次にどの音素の特徴に変化するかの確率は変わるので、
この確率の分布を言う。

【００２５】音響モデル部１０５は、あらかじめ声を登
録しなくても、誰が話し手でもその声を認識できるいわ
ゆる「不特定話者対応」が、一般的になってきている。
このような音響モデルとしては、例えば、隠れマルコフ
モデル（ＨＭＭ：Hidden Markov Model）を用いること
ができる。

【００２６】発声変形感情モデル部１０６は、感情の変
化による音韻スペクトルの変形要素に着目して、感情が
変化したときの単語辞書部１０７に用いられている文字
と音素との対応である。即ち、感情を込めたときに音素
の確率の分布が変わるが、その時の音素の特徴が出現す
る確率の分布、出現した音素の特徴が次のどの特徴が現
れる状態に遷移するかの確率の分布を記憶したものであ
る。この、出現した音素の特徴が次のどの特徴が現れる
状態に遷移するかの確率の分布は、例えば、「あつい」
と言う言葉を感情を込めて「あつい」と言っても変化し
ないが、「あちー」とか「あちい」に変化した場合に変
わる。このような発声変形感情モデル部１０６として
は、例えば、隠れマルコフモデル（ＨＭＭ：Hidden Mar
kov Model）を用いることができる。

【００２７】単語辞書部１０７は、言葉、単語（名詞、
動詞等）、文章を集めたものである。例えば、カーナビ
ゲーションシステムにおいては、通り名、地名、建造物
名、町名、番地、交差点名、個人住宅（個人名）、電話
番号等や、必要最小限の会話に必要な言葉の集合体であ
る。ただし、音声認識感情システムでは、特に、単語の
中でも、感情を表現する単語、あるいは、感情が現われ
る単語で構成された単語の集合体である。より具体的に
は、話者が発声する「暑い」「寒い」「熱い」「冷た
い」「はやく」「おそく」「大きい」「小さい」「赤
い」「白い」「高く」「低く」「走れ」「進め」「戻
れ」「回れ」「飛べ」等の言葉である。また、名詞等の
感情表現でない単語も含まれる。この単語辞書部１０７
は、システムの能力に応じて一つの辞書あたり、例えば
１０〜５０００語の単語で構成する。

【００２８】以上から、音声感情認識とは、音声を解析
して、それを短い時間ごとの音素として分析して、その
パターンを解析し、該当する単語や文章を辞書から選択
するとともに、話者が発声した音声の感情の度合いを示
すレベルを単語や文章ごとに選択することである。

【００２９】なお、図１に示す各処理ブロックは、複数
のＬＳＩやメモリで構成されたシステムであっても、半
導体素子上に構成された一つないし複数のシステムオン
チップであってもよい。また、各処理は、専用ＬＳＩや
専用ＩＣで処理するハードウエアであっても、ＤＳＰや
ＲＩＳＣマイコン等のソフトウエアで実現したミドルウ
エアであってもよい。

【００３０】図２は、隠れマルコフモデル（HMM:Hidden
Markov Model）による日本語音素のモデル化の例であ
る。

【００３１】２０１、２０２、２０３は音素分布の状態
を表わしている。話者が発声した音声は、「あつい」で
あり、発音記号の１例で表わす「ａｔｓｕｉ」である。
説明を簡単にするために、図２（ａ）において、「ａ」
が２０１の状態に対応し、「ｔｓｕ」が２０２の状態に
対応し、「ｉ」が２０３の状態に対応している。実際の
音声認識では、状態をさらに細分化して表わしている。
音声は、非定常信号であり、あるときは「ａ」のスペク
トル、あるときは「ｔｓｕ」のスペクトルという具合
に、スペクトルの性質が時々刻々と変化することによっ
て言語情報を伝える。この非定常な信号は、性質の異な
る定常信号の音素片の連続とみることができる。この性
質の異なる定常信号の音素片の一つ一つが、２０１〜２
０３に示したＨＭＭ状態遷移ネットワークの状態に対応
している。この状態、すなわち、非定常信号源からの出
力として音声のスペクトルが観測される。観測値は、短
時間フレーム毎の音声信号のＬＰＣ分析結果であって
も、ベクトル量子化された符号であってもよい。よっ
て、ＨＭＭとは、状態２０１と状態２０２の間の状態遷
移確率２０７と、状態２０１から出力される音声のスペ
クトルが出力される確率２０１である。確率２０１と
は、「ａ」の音素分布の内どの確率値が出力されるかと
言う事を示す。即ち、２０１〜２０３は、音素の分布で
あり、各状態から出力される音声のスペクトルが出力さ
れる確率を示したものであ。２０４〜２０９は、各状態
が次にどの状態に遷移するかの確率を示したものであ
る。この内、２０４〜２０６は、例えば、ある音を長く
発音したとすると、これを音声分析した場合、ある時間
間隔の中では、また同じ音に戻ることを示している。

【００３２】つぎに、音声認識に用いるＨＭＭの一例を
説明する。

【００３３】図２（ａ）に示す曲線２１１は、状態２０
１から出力される音声のスペクトルが出力される確率を
連続分布で表現したものである。ここで、音声のスペク
トルは、音声の特徴パラメータをｉ次元としたときのｎ
番目の特徴パラメータとする。つまり、音声の特徴を表
わす表現方法としては何種類もあるが、仮にこの表現方
法がｉ個あったとすると、そのｎ番目の表現方法の特徴
パラメータを意味する。横軸は、状態２０１から出力さ
れる音声のスペクトルであり、縦軸は、その確率値であ
る。この分布は、平均μ＿ａ、分散σ＿ａをもつ連続分
布である。同様に、図２（ｂ）に示す曲線２１２は状態
２０２から出力される音声のスペクトルが出力される確
率を連続分布で表現したものである。横軸は、状態２０
２から出力される音声のスペクトルであり、縦軸は、そ
の確率値である。この分布は、平均μ＿ｔｓｕ、分散σ
＿ｔｓｕをもつ連続分布である。

【００３４】図２（ｃ）に示す曲線２１３は、状態２０
３から出力される音声のスペクトルが出力される確率を
連続分布で表現したものである。横軸は、状態２０３か
ら出力される音声のスペクトルであり、縦軸は、その確
率値である。この分布は、平均μ＿ｉ、分散σ＿ｉをも
つ連続分布である。

【００３５】ここで、認識対象単語として登録された
「ａｔｓｕｉ」の単語辞書部１０７に話者が「あつい」
と音声を入力する。「あ」の音声に対して、音声分析が
行われ、音声の特徴が出力される。例えば、音声の特徴
パラメータをｉ次元としたときのｎ番目の特徴パラメー
タを使用するものとすると、「あ」の特徴ｆ＿ｎ１が出
力される。このとき、単語辞書「ａ」において、特徴ｆ
＿ｎ１の出現する確率が連続分布曲線２１１から計算さ
れ、確率値ｐ＿ｎ１が出力される。同様にして、「つ」
「い」の音声に対して、音声分析が行われ、音声の特徴
が出力される。それぞれ、単語辞書「ｔｓｕ」におい
て、特徴ｆ＿ｎ２の出現する確率が連続分布曲線２１２
から計算され、確率値ｐ＿ｎ２が出力される。また、単
語辞書「ｉ」において、特徴ｆ＿ｎ３の出現する確率が
連続分布曲線２１３から計算され、確率値ｐ＿ｎ３が出
力される。さらに、音素分布状態２０１から音素分布状
態２０２関の状態遷移確率においても同様の処理がおこ
なわれ、状態遷移先を状態２０７に決定している。最終
的に、登録された単語辞書「ａｔｓｕｉ」に対して、音
声入力された「あつい」の出現する確率値はＰ＿ａｔｓ
ｕｉ＝ｐ＿ｎ１＋ｐ＿ｎ２＋ｐ＿ｎ３となる。この一連
の処理を、登録された単語辞書全てにおいて計算し、確
率値の一番高かったものが、認識結果となる。以上が音
声認識の一連の処理である。

【００３６】さらに、図２（ｅ）から図２（ｇ）を用い
て、音声感情認識における発声変形感情モデルを用いた
HMMの一例を説明する。

【００３７】発声変形感情モデル部１０６は、感情の変
化による音韻スペクトルの変形要素に着目して、感情が
変化したときの単語辞書部１０７に格納されている単語
の文字と音素との対応であり、音素の特徴が出現する確
率の分布、出現した音素の特徴が次のどの特徴が現れる
状態に遷移するかの確率の分布を記憶したものである。

【００３８】曲線２１１は前に説明したように、状態２
０１から出力される音声のスペクトルが出力される確率
を連続分布で表現したものである。ここで、音声のスペ
クトルは、音声の特徴パラメータをｉ次元としたときの
ｎ番目の特徴パラメータとする。横軸は、状態２０１か
ら出力される音声のスペクトルであり、縦軸は、その確
率値である。この分布は、平均μ＿ａ、分散σ＿ａをも
つ連続分布である。このとき、音声の特徴パラメータを
ｉ次元としたときのｎ番目の特徴パラメータにおいて、
感情の変化による音韻スペクトルの変形が顕著に現われ
たとする。そこで、話者が通常の感情で発声したときの
音声スペクトルの連続分布曲線を２１１とし、話者が感
情をこめて発声したとき、すなわち、感情の変化により
変形した時の音声スペクトルの連続分布曲線を２１４と
する。よって、従来の音声認識に用いられてきた音響モ
デルのHMMに加えて、感情の変化により音韻スペクトル
の変形が現われる特徴パラメータだけで構成した確率分
布を音声感情認識モデルのHMMとして用意する。曲線２
１４は、音声感情認識モデルにおいて、状態２０１から
出力される感情の変化による音声のスペクトルが出力さ
れる確率を連続分布で表現したものである。横軸は、状
態２０１から出力される音声のスペクトルであり、縦軸
は、その確率値である。この分布は、平均μ＿ａ＿ｓ、
分散σ＿ａ＿ｓをもつ連続分布である。ここで、認識対
象単語として登録された「ａｔｓｕｉ」の単語辞書にお
いて、実際に、話者が「あつい」と感情をこめて音声を
入力する。「あ」の音声に対して、音声分析が行われ、
音声の特徴が出力される。例えば、音声の特徴パラメー
タをｉ次元としたときに、ｎ番目の音声の特徴パラメー
タを採用したとすると、「あ」の特徴ｆ＿ｎ１＿ｅが出
力される。このとき、単語辞書「ａ」において、特徴ｆ
＿ｎ１＿ｅの出現する確率が連続分布曲線２１４から計
算され、確率値ｐ＿ｎ１＿ｅが出力される。ここで、こ
の連続分布曲線２１４に関して、確率値ｐ＿ｎ１＿ｅ
は、話者が通常の発声をしたときの特徴ｆ＿ｎ１での確
率値ｐ＿ｎ１より高い値をとる。

【００３９】また、曲線２２２は、状態２０２から出力
される音声のスペクトルが出力される確率を連続分布で
表現したものである。横軸は、状態２０２から出力され
る音声のスペクトルであり、縦軸は、その確率値であ
る。この分布は、平均μ＿ｔｓｕ＿ｓ、分散σ＿ｔｓｕ
＿ｓをもつ連続分布である。曲線２２３は、状態２０３
から出力される音声のスペクトルが出力される確率を連
続分布で表現したものである。横軸は、状態２０３から
出力される音声のスペクトルであり、縦軸は、その確率
値である。この分布は、平均μ＿ｉ＿ｓ、分散σ＿ｉ＿
ｓをもつ連続分布である。

【００４０】曲線２１４の場合と同様に、「つ」「い」
の音声に対して、音声分析が行われ、音声の特徴が出力
される。それぞれ、単語辞書「ｔｓｕ」において、特徴
ｆ＿ｎ２＿ｅの出現する確率が連続分布曲線２２２から
計算され、確率値ｐ＿ｎ２＿ｅが出力される。また、単
語辞書「ｉ」において、特徴ｆ＿ｎ３＿ｅの出現する確
率が連続分布曲線２２３から計算され、確率値ｐ＿ｎ３
＿ｅが出力される。さらに、状態と状態の間の状態遷移
確率においても同様の処理がおこなわれ、状態遷移先を
決定している。最終的に、登録された単語辞書「ａｔｓ
ｕｉ」に対して、感情をこめて音声入力された「あつ
い」の出現する確率値はＰ＿ａｔｓｕｉ＝ｐ＿ｎ１＿ｅ
＋ｐ＿ｎ２＿ｅ＋ｐ＿ｎ３＿ｅとなる。この一連の処理
を、登録された単語辞書全てにおいて計算し、計算され
た確率値の範囲によって感情のレベルを出力する。以上
が音声の感情レベルを認識する一連の処理である。

【００４１】図３は、本発明に係る他の音声および感情
認識システムの各機能とその処理の流れを示すブロック
図である。

【００４２】音声および感情認識をおこなうために、図
３に於いては、マイク３０１から音声が取り込まれる。
取り込まれた音声であるアナログ信号は、アナログ信号
をデジタル信号に変換するＡ／Ｄ変換器３０２によっ
て、任意に決められたサンプリング周期により、アナロ
グデータからデジタルデータに変換される。変換された
音声のデジタルデータは、音声分析部３０３によって、
雑音処理や音声分析や話者適応などの前処理がなされる
と共に、音声分析部３０３に含まれている音声パワー分
析部３０３ａで音声パワーを分析して感情のレベルが出
力される。音声分析部３０３の出力は音声感情認識部３
０４で処理され、音声および感情認識がなされる。ここ
で、音声感情認識部３０４で行われる音声感情認識と
は、２つの処理を実行する。

【００４３】第１の処理は、音声信号を解析して、それ
を短い時間ごとの音素として分析して、そのパターンを
解析し、該当する単語や文章を辞書から選択することで
ある。

【００４４】第２の処理は、音声信号を解析して、それ
を短い時間（５〜２０ｍｓ）ごとの音素として分析し
て、そのパターンを解析し、話者が発声した音声の感情
の度合いを示すレベルを単語や文章ごとに選択すること
である。

【００４５】以上の２つの処理から、音声感情認識シス
テムの出力として、音声認識結果および音声の感情レベ
ル３０９を生成する。

【００４６】音声感情認識部３０４は、音声分析部３０
３で分析された入力音声の音声分析結果に対して、音響
モデル３０５、単語辞書３０７をモデル連結部３０８に
よって連結された音素単位で照合して、単語辞書部３０
７に登録した単語辞書３０７の中で、一番近い単語をピ
ックアップする。さらに、ピックアップされた単語の入
力音声が持っている感情の度合いを示すレベルを選択す
る。

【００４７】音響モデル部３０５は、音声認識に用いら
れるモデルであり、具体的には、単語辞書部３０７に格
納されている文字と音素との対応であり、音素の特徴が
出現する確率の分布、出現した音素の特徴が次のどの特
徴が現れる状態に遷移するかの確率の分布を記憶したも
のである。音響モデル部３０５は、あらかじめ声を登録
しなくても、誰が話し手でもその声を認識できるいわゆ
る「不特定話者対応」が、一般的になってきている。こ
のような音響モデルとしては、例えば、隠れマルコフモ
デル（ＨＭＭ：Hidden Markov Model）を用いることが
できる。

【００４８】単語辞書部３０７は、言葉、単語（名詞、
動詞等）、文章を集めたものである。例えば、カーナビ
ゲーションシステムにおいては、通り名、地名、建造物
名、町名、番地、交差点名、個人住宅（個人名）、電話
番号等や、必要最小限の会話に必要な言葉の集合体であ
る。ただし、音声認識感情システムでは、特に、単語の
中でも、感情を表現する単語、あるいは、感情が現われ
る単語で構成された単語の集合体である。より具体的に
は、話者が発声する「暑い」「寒い」「熱い」「冷た
い」「はやく」「おそく」「大きい」「小さい」「赤
い」「白い」「高く」「低く」「走れ」「進め」「戻
れ」「回れ」「飛べ」等の言葉である。また、名詞等の
感情表現でない単語も含まれる。この単語辞書部３０７
に格納される単語数は、システムの能力に応じて決めら
れるが、一つの辞書あたり、例えば、１０〜５０００語
である。

【００４９】以上から、音声感情認識システム又は音声
感情認識方法とは、音声信号を解析して、それを短い時
間ごとの音素として分析して、そのパターンを解析し、
該当する単語や文章を辞書から選択するとともに、話者
が発声した音声の感情の度合いを示すレベルを単語や文
章ごとに選択することである。

【００５０】なお、図３に示す各処理ブロックは、複数
のＬＳＩやメモリで構成されたシステムであっても、半
導体素子上に構成された一つないし複数のシステムオン
チップであってもよい。また、各処理は、専用ＬＳＩや
専用ＩＣで処理するハードウエアであっても、ＤＳＰや
ＲＩＳＣマイコン等のソフトウエアで実現したミドルウ
エアであってもよい。

【００５１】図４（ａ）は、図３で説明した音声感情認
識システムにおいて、話者が発声した音声「あつい」の
音声入力波形を示すもので、横軸は時間を、縦軸は音声
レベルを示す。また、図４（ｂ）は「あつい」の音声の
パワーを示したものであり、横軸に時間を、縦軸に音声
のパワーを示している。

【００５２】音声入力波形４０１は、話者が平常の音声
で「あつい」と発声したときの音声波形である。音声信
号は、時々刻々と変化する非定常な信号である。この音
声信号を２０ｍｓの短時間で切り出して見ると、定常信
号と同様なスペクトル音声分析ができる。切り出された
音声信号のサンプル値から、例えば、音声分析で広く用
いられているＬＰＣ分析において、自己相関関数を計算
すると、音声の特徴パラメータの一つとして、音声のパ
ワーが求められる。

【００５３】音声パワーを示す曲線４０２は、音声波形
４０１の音声信号から計算されたパワーである。時間ｔ
に対するパワーの変化を表わしている。ここで、このパ
ワー情報に対して、しきい値を任意に設定し、入力され
た音声毎にこのしきい値を超えたかどうかを観測する。
この観測は、音声分析部３０３で行う。さらに、複数の
しきい値を設け、入力された音声毎にそれぞれのしきい
値を超えたかどうかを観測する。例えば、音声パワー曲
線４０２の音声の場合は、しきい値ＴＨ１超えている
が、しきい値ＴＨ２は超えていない。すなわち、連続的
にパワーが、しきい値ＴＨ１とＴＨ２の間にある場合に
は、感情のレベルを１と見なし、音声分析部３０３は感
情レベル１を出力する。

【００５４】つぎに、話者が、感情を込めた強い口調の
音声で「あつい」と発声したときの音声波形及び音声パ
ワーをそれぞれ図４（ｃ）及び図４（ｄ）に示す。図４
（ｃ）は横軸に時間を、縦軸に音声レベルを示し、図４
（ｄ）は横軸に時間を、縦軸に音声パワーを示す。図４
（ｃ）に於いて、４０３は音声波形を示す。、図４
（ｄ）に於いて、４０４は音声波形４０３の音声信号か
ら計算された音声のパワーであり、時間ｔに対するパワ
ーの変化を表わしている。例えば、音声パワー４０４の
場合は、しきい値ＴＨ１超えて、さらに、しきい値ＴＨ
２を超えている。すなわち、連続的にパワーが、しきい
値ＴＨ２を超えている場合には、感情のレベルを２と見
なし、音声分析部３０３は感情レベル２を出力する。こ
の例の場合は、感情レベルを２段階に設定したが、しき
い値を増やすことによって、感情レベルをN（Nは整数）
段階に設定できる。

【００５５】また、音声分析部３０３からは、感情レベ
ルとともに、音声認識の為の音声の特徴パラメータが時
々刻々と音声感情認識部３０４にに入力され、最終的
に、音声感情認識部３０４からは音声認識結果「ａｔｕ
ｓｉ」（＝あつい）と感情レベルNを示すデータ３０９
が出力される。

【００５６】次に、図５を用いて本発明に係る音声認識
システムのハードウエア構成について説明する。

【００５７】音声を取り込むためのマイク５０１は、カ
ーナビゲーションシステム、携帯型情報端末、ＰＤＡ、
ハンドヘルドＰＣ、ゲーム、携帯型翻訳機、並びに、エ
アコン等の家庭電化製品等では、周囲の雑音を取り込ま
ないために指向性をもたせた指向性マイクである。５０
４は、マイク５０１により取り込まれたアナログ音声デ
ータを、デジタル音声データに変換するＡ／Ｄ変換器で
ある。

【００５８】音声入力用ボタン５０２は、音声を入力し
ている区間を指定するためのボタンである。ボタンが押
されている間、あるいは、ボタンが押された時点から音
声が入力されたことをシステムに知らせる。５０５は、
音声入力用ボタン５０２と、システムを接続するための
インタフェースである。

【００５９】キー入力用デバイス５０９は、例えば、携
帯型情報端末であれば、ペン入力用のデジタイザであ
り、ハンドヘルドＰＣであれば、キーボードである。ま
た、ファミコンなどのゲーム機であれば、キャラクタ等
を操作するキーパッドや、ジョイスティックである。５
１０は、キー入力用デバイス５０９と、システムを接続
するためのインタフェースである。

【００６０】ＣＰＵ５０３は、カーナビゲーションシス
テム、携帯型情報端末、ＰＤＡ、ハンドヘルドＰＣ、ゲ
ーム、携帯型翻訳機、並びに、家庭電化製品等のメイン
システムの制御と、音声感情認識システムにおける音声
認識および感情認識処理を行う。図３に示す本発明の音
声感情認識システムの音声分析部３０３、音声感情認識
部３０４及びモデル連結部３０８はこのＣＰＵ５０３に
設けられる。このＣＰＵ５０３には、ＲＩＳＣマイコン
やＤＳＰが用いられるのが、最近の潮流である。

【００６１】ＲＯＭ５０６は、音声認識用単語辞書、音
響モデル、発声変形感情モデル、プログラムを格納して
おく記憶装置である。また、複数の辞書や、音響モデ
ル、発声変形感情モデルを格納しておくために、メモリ
カードを用いてもよい。

【００６２】ＲＡＭ５０７は、ＲＯＭ５０６から転送さ
れた一部の辞書や、音響モデル、プログラムが格納さ
れ、また、音声感情認識処理に必要な必要最小限のワー
クメモリであり、ＲＯＭ５０６に比べて、通常アクセス
時間の短い半導体素子が用いられる。また、ここにはＣ
ＰＵ５０３から音声認識結果及び感情のレベルを示すデ
ータ３０９が入力される。

【００６３】バス５０８は、システムにおけるデータバ
ス、アドレスバス、制御信号バスとして用いられる。

【００６４】音声感情認識結果を出力表示するためのデ
ィスプレイ５１２は、ＴＦＴ液晶ディスプレイ等のＬＣ
Ｄで構成し、音声認識結果および音声の感情レベルを表
示する。５１１は、ディスプレイ５１２と、システムを
接続するためのインタフェースである。

【００６５】音声感情認識結果を音で出力するためのス
ピーカ５１４は、音声認識結果および音声の感情レベル
を音声合成して出力する。５１３は、音声認識結果およ
び、音声の感情レベルをテキストから音声合成データに
変換処理した後、デジタル音声合成データからアナログ
音声信号に変換するＤ／Ａ変換器である。

【００６６】以下、本発明に係る実施形態の一例を、図
６及び図８を用いて説明する。

【００６７】本実施形態では、本発明の音声感情認識シ
ステムをカーエレクトロニクス製品に適用した場合につ
いて説明する。

【００６８】図６（ａ）は本発明による音声感情認識シ
ステムをカーエレクトロニクス製品のエアコン操作に利
用した場合のブロック図であり、図６（ｂ）はこの音声
感情認識システムのおける音声入力例とその認識結果を
示す模式図である。

【００６９】図６（ａ）に於いて、６０１は音声入力用
マイク、６０２は音声感情認識システム、６０３は音声
感情認識結果や、話者との双方向のやり取りを行うため
に、会話形式の文字情報を出力するためのディスプレ
イ、６０４は音声感情認識結果や、話者との双方向のや
り取りを行うために、会話形式の文字情報を音声合成し
て出力するためのスピーカである。

【００７０】次に、図６（ｂ）を用いて、話者が発声し
た音声入力例と、音声感情認識システムが出力した認識
結果例を説明する。

【００７１】６０５は話者が音声感情システム６０２に
対して、普通の発声で、「暑い」と発声した場合の音声
感情システム６０２の認識結果である「暑い＝感情レベ
ル３」を示す。次に、６０６は話者が音声感情システム
に対して、強い調子で、「暑い」と発声した時の音声感
情システム６０２の認識結果であり、「暑い＝感情レベ
ル５」を示す。

【００７２】また、６０７は話者が音声感情システムに
対して、普通の発声で、「暑い」と発声したときの音声
感情システム６０２の認識結果である「少し暑いです
か」を示す。次に、６０８は話者が音声感情システムに
対して、強い調子で、「暑い」と発声した時の音声感情
システム６０２の認識結果である「かなり暑いですか」
を示す。

【００７３】さらに、認識結果６０８に対して「はい」
と声感情システム６０２に対して発声すると、音声感情
システム６０２その認識結果として、「車内を２５℃に
設定します」を出力する。実際に、車内が２５℃に設定
される。

【００７４】また、他の本実施形態では、本発明の音声
感情認識システムをファミリーコンピュータ（登録商
標）等のゲーム製品に適用した場合について説明する。

【００７５】図８（ａ）から図８（ｄ）は、ファミリコ
ンピュータ等のゲーム機のキャラクタの操作において、
音声感情認識システムを用いた一例であり、音声による
インターフェースの音声入力例及び認識結果による動作
例を示す模式図である。

【００７６】図８に於いて、８０１、８０２、８０９及
び８１０は、ゲーム機本体のディスプレイやゲーム機が
接続されたＴＶ等の画面である。

【００７７】図８（ａ）に於いて、ゲームに登場するキ
ャラクター８０５は、例えば、画面８０１に向かって左
から右へと進んでいる。この操作を音声感情認識を使っ
て行う。そこで、操作者（話者）は、発声例８０３に示
すように「進め」と普通の音声で発声する。音声感情認
識システムは、進め（ｓｕｓｕｍｅ）を認識し、さら
に、感情レベルを認識する。例えば、このゲーム機にお
ける音声感情認識システムでは、感情レベルを５段階に
設定したとすると、感情レベル＝３と認識する。そこ
で、ゲーム機本体側のシステムでは、キャラクター８０
５をキャラクター８０６の位置へ移動する。

【００７８】図８（ｂ）に於いて、ゲームに登場するキ
ャラクター８０７は、例えば、画面８０２に向かって左
から右へと進んでいる。この操作を音声感情認識を使っ
て行う。そこで、操作者（話者）は、音声例８０４に示
すように、「進め」と強い調子で発声する。音声感情認
識システムは、進め（ｓｕｓｕｍｅ）を認識し、さら
に、感情レベルを認識する。例えば、このゲーム機にお
ける音声感情認識システムでは、感情レベルを５段階に
設定したとすると、感情レベル＝５と認識する。そこ
で、ゲーム機本体側のシステムでは、キャラクター８０
７はキャラクター８０８の位置へ大きく移動する。ここ
で、キャラクターの移動量は、認識された音声「進め」
の感情レベルに比例する。

【００７９】図８（ｃ）に於いては、ゲームに登場する
キャラクター８１３は、例えば、画面８０９に向かって
左から右へと進んでいる。このとき、前方に障害物８１
６が現われたとする。そこで、この障害物８１６を飛び
超えなくてはならない。この操作を音声感情認識を使っ
て行う。そこで、操作者（話者）は、音声例８１１に示
すように「ジャンプ」と普通の音声で発声する。音声感
情認識システムは、ジャンプ（ｊｙａｎｐｕ）を認識
し、さらに、感情レベルを認識する。例えば、このゲー
ム機における音声感情認識システムでは、感情レベルを
５段階に設定したとすると、感情レベル＝３と認識す
る。そこで、ゲーム機本体側のシステムでは、キャラク
ター８１３をキャラクター８１４の位置へ移動し、さら
に、キャラクター８１５の位置へ移動する。

【００８０】図８（ｄ）にに於いては、ゲームに登場す
るキャラクター８１７は、例えば、画面８１０に向かっ
て左から右へと進んでいる。このとき、前方に障害物８
２０が現われたとする。この障害物８２０は、画面８０
９のときの障害物８１６よりも大きい。そこで、この障
害物８２０を高く飛び超えなくてはならない。この操作
を音声感情認識を使って行う。そこで、操作者（話者）
は、音声例８１２に示すように「ジャンプ」と強い調子
で発声する。音声感情認識システムは、ジャンプ（ｊｙ
ａｎｐｕ）を認識し、さらに、感情レベルを認識する。
例えば、このゲーム機における音声感情認識システムで
は、感情レベルを５段階に設定したとすると、感情レベ
ル＝５と認識する。そこで、ゲーム機本体側のシステム
では、キャラクター８１７をキャラクター８１８の位置
へ大きく移動し、さらに、キャラクター８１９の位置へ
移動する。キャラクターの移動量は、認識された音声
「ジャンプ」の感情レベルに比例する。

【００８１】

【発明の効果】本発明によれば、カーナビゲーションシ
ステム、小型情報システム、ゲームに用いられる音声認
識システムにおいて、登録した辞書の単語の文字列を音
声で認識するとともに、音声認識された単語において、
話者の音声が持つ感情のレベルを認識することができる
音声感情認識システムを提供することができる。

【００８２】また、本発明によれば、音声認識を用いた
カーナビゲーションシステム、小型情報システム、ゲー
ムにおいて、音声の感情レベルを認識できることから、
限られた単語数においても、音声認識によるインタフェ
ースのバリエーションを増やすことができ、良好な音声
認識インタフェースを実現することができる。

【図面の簡単な説明】

【図１】本発明に係る音声感情認識システムの一実施例
を示す示すブロック図である。

【図２】図１に示す音声感情認識システムの音響モデル
および発声変形感情モデルを説明するための模式図であ
る。

【図３】本発明に係る音声感情認識システムの他の実施
例を示すブロック図である。

【図４】図３に示す音声感情認識システムの音声波形お
よび音声パワーと感情レベルの関係を説明するための模
式図である。

【図５】本発明のハードウエア構成を示すブロック図で
ある。

【図６】本発明の音声認識感情システムを適用したカー
ナビゲーションシステムにおける音声によるインタフェ
ースの音声入力例および認識結果例を示す模式図であ
る。

【図７】従来の携帯型翻訳機のブロック図である。

【図８】本発明の音声認識感情システムを適用したゲー
ム機における音声によるインタフェースの音声入力例お
よび認識結果による動作例を示した模式図である。

【符号の説明】

１０１、３０１、５０１、６０１・・・マイク、１０２、
３０２、５０４・・・Ａ／Ｄ変換器、１０３、３０３・・・音
声分析部、１０４、３０４・・・音声感情認識部、１０
８、３０８・・・モデル連結部、１０５、３０５・・・音響モ
デル部、１０６・・・発声変形感情モデル部、１０７、３
０７・・・単語辞書部、２０１…ＨＭＭ音響モデル連結に
おける「あ」の状態、２０２…ＨＭＭ音響モデル連結に
おける「つ」の状態、２０３…ＨＭＭ音響モデル連結に
おける「い」の状態、２０４…状態「あ」から状態
「あ」へ遷移する確率、２０５…状態「つ」から状態
「つ」へ遷移する確率、２０６…状態「い」から状態
「い」へ遷移する確率、２０７…状態「あ」から状態
「つ」へ遷移する確率、２０８…状態「つ」から状態
「い」へ遷移する確率、２０９…状態「い」から他の状
態へ遷移する確率、２１１…状態「あ」の出力確率の連
続分布、２１２…状態「つ」の出力確率の連続分布、２
１３…状態「い」の出力確率の連続分布、２１４…ＨＭ
Ｍ発声変形感情モデルにおける状態「あ」の出力確率の
連続分布、２２１…ＨＭＭ発声変形感情モデルにおける
状態「あ」の出力確率の連続分布、２２２…ＨＭＭ発声
変形感情モデルにおける状態「つ」の出力確率の連続分
布、２２３…ＨＭＭ発声変形感情モデルにおける状態
「い」の出力確率の連続分布、５０２・・・ボタン、５０
３・・・ＣＰＵ、５０６・・・ＲＯＭ、５０７・・・ＲＡＭ、５
０９・・・キー、６０２・・・音声感情認識システム。

フロントページの続き (72)発明者近藤和夫東京都小平市上水本町五丁目20番１号株式会社日立製作所半導体事業部内 (72)発明者大淵康成東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内 (72)発明者塔下哲司東京都小平市上水本町五丁目20番１号株式会社日立製作所半導体事業部内 (72)発明者石川泰代東京都小平市上水本町五丁目22番１号株式会社日立マイコンシステム内

Claims

【特許請求の範囲】

【請求項１】音声認識の対象となる単語や文章を集めて
辞書として定義し、音声認識結果として、それらの単語
や文章を辞書部からピックアップして、文字列表示や音
声合成を用いて出力する音声認識システムにおいて、取り込んだ音声に対して音声分析処理を行う音声分析部
と、音声のパターンを音素単位でもつ音響モデル部と、
感情による音韻スペクトルの変形を表す発声変形感情モ
デル部と、音声分析結果に対して、音響モデル部と発声
変形感情モデル部と辞書部とを連結して、音声認識処理
を行う音声認識部とを備え、音声の特徴から、音声認識
の対象となる単語や文章を音声認識結果として出力する
とともに、音声がもっている話者の感情の度合を示すレ
ベルを出力することを特徴とする音声感情認識システ
ム。
【請求項２】請求項１記載の音声感情認識システムにお
いて、音声が持っている話者の感情の度合を示すレベルは、数
字０〜N（Nは整数）であることを特徴とする音声感情認
識システム。
【請求項３】請求項１記載の音声感情認識システムにお
いて、前記辞書部は、音声認識の対象となる単語や文章を集め
た辞書と、それらの単語や文章に対して、音声が持って
いる感情のレベルを表現する修飾語を集めた辞書とを備
え、音声認識結果として、それらの単語や文章をピック
アップするとともに、感情のレベルを表現する修飾語を
ピックアップして、単語や文章に修飾語を付加して、文
字や音声合成を用いて出力することを特徴とする音声感
情認識システム。
【請求項４】音声認識の対象となる単語や文章を集めて
辞書として定義し、音声認識結果として、それらの単語
や文章をピックアップして、文字列表示や音声合成を用
いて出力する音声認識システムにおいて、取り込んだ音声に対して音声分析処理を行う音声分析部
と、音声のパターンを音素単位でもつ音響モデル部と、
音声分析結果に対して音響モデル部と辞書部とを連結し
て音声認識処理を行う音声認識部とを備え、取り込んだ
音声に対して、音声分析処理を行う音声分析部は、感情
の度合が現われる音の強弱を示すパワーの特徴から、感
情の度合を示すレベルを出力することを特徴とする音声
感情認識システム。
【請求項５】音声認識の対象となる単語や文章を集めた
辞書と、取り込んだ音声に対して音声分析処理を行う音
声分析部と、音声のパターンを音素単位でもつ音響モデ
ル部と、感情による音韻スペクトルの変形を表す発声変
形感情モデル部と、音声分析結果に対して、音響モデル
部と発声変形感情モデル部と辞書部とを連結して音声認
識処理を行う音声認識部とを備え、音声の特徴から音声
認識の対象となる単語や文章を音声認識結果として出力
するとともに、発声変形感情モデル部からのデータを用
いて音声がもっている話者の感情の度合を出力すること
を特徴とする音声感情認識方法。
【請求項６】音声認識の対象となる単語や文章を集めて
辞書と、取り込んだ音声に対して音声分析処理を行うと
共に音のパワーを分析して感情のレベルを出力すること
が出来る音声分析部と、音声のパターンを音素単位でも
つ音響モデル部と、音声分析結果に対して音響モデル部
と辞書を連結して音声認識処理を行う音声認識部とを備
え、音声分析部は取り込んだ音声に対して感情の度合が
現われる音の強弱を示すパワーの特徴から、感情の度合
を認識し、この出力感情のレベルを出力することを特徴
とする音声感情認識方法。
【請求項７】請求項５又は６記載の音声感情認識方法に
おいて、音声が持っている話者の感情の度合を示すレベルは、数
字０〜N（Nは整数）であることを特徴とする音声感情認
識方法。
【請求項８】請求項５又は６記載の音声感情認識方法に
於いて、前記辞書部は、音声認識の対象となる単語や文章を集め
た辞書と、それらの単語や文章に対して、音声が持って
いる感情のレベルを表現する修飾語を集めた辞書とを備
え、音声認識結果として、それらの単語や文章をピック
アップするとともに、感情のレベルを表現する修飾語を
ピックアップして、単語や文章に修飾語を付加して、文
字や音声合成を用いて出力することを特徴とする音声感
情認識システム。