JPWO2019123775A1

JPWO2019123775A1 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Info

Publication number: JPWO2019123775A1
Application number: JP2019527566A
Authority: JP
Inventors: 東山　恵祐; 恵祐東山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-12-22
Filing date: 2018-10-05
Publication date: 2020-10-22
Anticipated expiration: 2038-10-05
Also published as: US11328716B2; JP7276129B2; EP3588492A4; WO2019123775A1; EP3588492A1; US20190378508A1

Abstract

ユーザ発話に対する確認応答を生成する際に、辞書データやアプリケーション実行結果から取得される付加情報を追加することで誤解が生じる可能性を低減した確認応答を生成する。ユーザ発話を入力する音声入力部と、ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、確認応答生成部の生成した確認応答を出力する音声出力部を有し、確認応答生成部は、辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する。例えば、一般知識ベース辞書データや、アプリケーションの実行結果、あるいは、撮影画像やセンサー等から得られる情報を用いた確認応答を生成する。

Description

本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、ユーザ発話の音声認識結果に基づいて応答を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。

昨今、ユーザ発話の音声認識を行い、認識結果に基づいて応答を行う対話システムの利用が増大している。
この対話システムにおいては、例えばシステムが、マイクを介して入力するユーザ発話を認識理解して、それに応じた処理を行う。
例えばユーザが、「明日の天気を教えて」と発話した場合、天気情報提供サーバから天気情報を取得して、取得情報に基づく応答を生成してスピーカーから出力する処理を行う。あるいは、ユーザが、「テレビを消して」と発話した場合、テレビをオフにする動作を行う。

しかし、このような対話システムにおいて、ユーザ発話の音声認識結果あるいは意図推定結果に対する信頼度が低い場合や、認識した結果の解釈が複数通りある場合等、システムが行動を一意に決定できない場合がある。
このような場合、システムは、ユーザに対してユーザ意図を確認するための確認応答を生成して出力することがある。
また、例えばシステムの記憶部に保存してあるデータの登録や削除など、失敗した場合のリスクが高い処理を行う場合には、システムはユーザに対して処理を行ってよいかどうかを再確認するための確認応答を出力することがある。

例えば、特許文献１（特開２０１１−５４０８８号公報）は、以下の構成を開示している。
聞き間違いをしやすいユーザ発話、例えば、
（例１）「ｇｅｔａｃｕｐ」と、「ｐｕｔａｃｕｔ」、
（例２）「銀閣寺について教えて」と、「金閣寺について教えて」、
このようなユーザ発話を入力した場合に、ユーザの意図を確認するための応答を出力する構成を開示している。

特許文献１には、さらに、行動の対象物が複数あって決定できない場合の例として以下の例が記載されている。
（例３）「コップを取って」
上記（例３）のユーザ発話は認識できるが、コップが複数ある場合には、どのコップなのかがわからない。このような場合にもユーザの意図を確認するための応答を出力する。
特許文献１には、このような対話型の確認構成が開示されている。

特許文献１に示す上記（例２）の場合にシステムが生成して出力する確認応答は、以下の応答である。
ユーザ：「銀閣寺（発音不明瞭）について教えて」
システム：「銀閣寺でよろしいですか？」

この先行技術の例では、ユーザ発話に対して「銀閣寺」という単語のみを利用したおうむ返しの応答文章を出力している。
ここで、システムの応答が音声でユーザに伝えられる場合を考えると、システムの応答が何らかの理由で聞き取りにくい場合には、システムが「銀閣寺」と発話したにも関わらず、ユーザは「金閣寺」と聞き間違いをすることがある。また、仮に音声だけではなく何らかの画面表示等も交えた応答出力を行う際でも、ユーザ自身が金閣寺と銀閣寺を勘違い等により逆に理解している場合には、本来は銀閣寺についての情報が欲しい場合でも、金閣寺の情報が欲しいと意志表明をすることになるため、最終的にユーザの意図とは異なる情報しか得られないことになる。

特開２０１１−５４０８８号公報

上述したように、既存の対話システムにおいては、システムのユーザ発話に対する音声認識結果あるいは意図推定結果に対する信頼度が低い場合や、認識した結果の解釈が複数通りある場合等には、ユーザに対して確認応答を出力することがある。しかし、その際に、ユーザの発話をそのままおうむ返しする手法だと、ユーザがさらに聞き間違いをする可能性や、ユーザ自身が勘違いをしている場合にそれを正すことができず、本来ユーザが欲しい情報とは異なる情報を提供してしまう、といった問題が発生する。

本開示は、例えば、上記問題点に鑑みてなされたものであり、ユーザ発話の認識結果があいまいな場合、あるいは複数の候補がある場合等、システム側が処理を決定できない場合等において、システムがユーザに対して曖昧性解消のための確認応答を提示する際に情報を付加した応答とすることにより、確認精度の向上を実現する情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記確認応答生成部は、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理装置にある。

さらに、本開示の第２の側面は、
ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記データ処理サーバは、
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行するとともに、意図理解結果に基づいて前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末の確認応答生成部に対して確認応答生成命令を出力する対話制御部を有し、
前記ユーザ端末の前記確認応答生成部は、
前記データ処理サーバからの確認応答生成命令入力に応じて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理システムにある。

さらに、本開示の第３の側面は、
情報処理装置において実行する情報処理方法であり、
音声入力部が、ユーザ発話を入力する音声入力ステップと、
確認応答生成部が、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成ステップと、
音声出力部が、前記確認応答生成ステップで生成した確認応答を出力する音声出力ステップを実行し、
前記確認応答生成ステップにおいて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理方法にある。

さらに、本開示の第４の側面は、
ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記音声入力処理において入力された入力音声の音声認識処理と、
前記音声認識処理の生成した音声認識結果に基づく意図理解処理と、
前記意図理解処理の意図理解結果に基づいて、前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末に対して確認応答生成命令を出力し、
前記ユーザ端末が、
前記データ処理サーバからの確認応答生成命令入力に応じて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成処理を実行し、
前記確認応答生成処理において、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成処理を実行する情報処理方法にある。

さらに、本開示の第５の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
音声入力部に、ユーザ発話を入力させる音声入力ステップと、
確認応答生成部に、前記ユーザ発話に対する発話ユーザの確認を求めるための確認応答を生成させる確認応答生成ステップと、
音声出力部に、前記確認応答を出力させる音声出力ステップを実行させ、
前記確認応答生成ステップにおいては、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、ユーザ発話に対する確認応答を生成する際に、辞書データやアプリケーション実行結果から取得される付加情報を追加することで誤解が生じる可能性を低減した確認応答を生成する構成が実現される。
具体的には、例えば、ユーザ発話を入力する音声入力部と、ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、確認応答生成部の生成した確認応答を出力する音声出力部を有し、確認応答生成部は、辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する。例えば、一般知識ベース辞書データや、アプリケーションの実行結果、あるいは、撮影画像やセンサー等から得られる情報を用いた確認応答を生成する。
本構成により、ユーザ発話に対する確認応答を生成する際に、辞書データやアプリケーション実行結果から取得される付加情報を追加することで誤解が生じる可能性を低減した確認応答を生成する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

ユーザ発話を認識して応答を行う情報処理装置の一般的な構成例について説明する図である。実施例１の情報処理装置２２０の構成例を示す図である。実施例１の情報処理装置２２０を適用した確認応答生成例について説明する図である。実施例１の情報処理装置２２０を適用した確認応答生成例について説明する図である。実施例２の情報処理装置２４０の構成例を示す図である。実施例２の情報処理装置２４０を適用した確認応答生成例について説明する図である。実施例２の情報処理装置２４０を適用した確認応答生成例について説明する図である。実施例３の情報処理装置２６０の構成例を示す図である。実施例３の情報処理装置２６０を適用した確認応答生成例について説明する図である。実施例３の変形例としての情報処理装置２８０の構成例を示す図である。実施例３の変形例としての情報処理装置２８０を適用した確認応答生成例について説明する図である。実施例３の変形例としての情報処理装置２８０を適用した確認応答生成例について説明する図である。実施例３の変形例としての情報処理装置２８０を適用した確認応答生成例について説明する図である。実施例３の変形例としての情報処理装置２９０の構成例を示す図である。実施例３の変形例としての情報処理装置２８０を適用した確認応答生成例について説明する図である。実施例４の情報処理装置３１０の構成例を示す図である。実施例４の情報処理装置３１０を適用した確認応答生成例について説明する図である。実施例４の変形例としての情報処理装置３２０の構成例を示す図である。実施例４の変形例としての情報処理装置３２０を適用した確認応答生成例について説明する図である。実施例５の情報処理装置を適用した確認応答生成例について説明する図である。情報処理システムの構成例について説明する図である。情報処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．ユーザ発話を認識して応答や処理を行う情報処理装置の一般的な構成例について
２．（実施例１）応答生成部が一般知識ベース辞書データを利用して確認応答を生成する実施例について
３．（実施例２）応答生成部がアプリ（アプリケーション）実行部を利用して確認応答を生成する実施例について
４．（実施例３）応答生成部が情報入力部の情報を利用して確認応答を生成する実施例について
５．（実施例４）音声出力に併せて、画像や制御信号の出力を実行する実施例について
６．（実施例５）対話履歴に基づいて、確認応答を生成する実施例について
７．情報処理装置、および情報処理システムの構成例について
８．情報処理装置のハードウェア構成例について
９．本開示の構成のまとめ

［１．ユーザ発話を認識して応答や処理を行う情報処理装置の一般的な構成例について］
まず、図１を参照して、ユーザ発話を認識して応答や処理を行う情報処理装置の一般的な構成例について説明する。

図１は、ユーザ発話を認識して応答を行う情報処理装置１００の一般的な構成例を示す図である。
図１に示すように、情報処理装置１００は、音声入力部（マイク）１０１、音声認識部１０２、意図理解部１０３、対話制御部１０４、アプリ実行部１０５、応答生成部１０６、音声出力部（スピーカー）１０７を有する。

音声入力部（マイク）１０１から入力されたユーザ発話音声は音声認識部１０２において音声データからテキストデータに変換される。
音声認識部１０２は、例えばＡＳＲ（ＡｕｔｏｍａｔｉｃＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎ）機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。

音声認識部１０２において生成されたテキストデータは、意図理解部１０３に入力される。
意図理解部１０３は、テキストに含まれるユーザの意図候補を選択して出力する。
意図理解部１０３は、例えば、ＮＬＵ（ＮａｔｕｒａｌＬａｎｇｕａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ）等の自然言語認識機能を有し、テキストデータから、ユーザ発話の意図（Ｉｎｔｅｎｔ）の候補を選択する。
意図理解部１０３の生成した意図理解結果は、対話制御部１０４に入力される。

対話制御部１０４は、意図理解部１０３の生成した意図理解結果を入力して、例えば、過去の対話履歴等から現在の対話状態を推定し、応答生成に必要となる処理を実行させるためにコールすべきＡＰＩとその引数を決定する。

これは、具体的には、例えば、意図理解部１０３の生成した意図理解結果として、
ユーザ発話が、「東京の天気を問い合わせる発話である」との意図理解結果が得られた場合、天気情報を取得可能なアプリケーションを起動させて、東京（引数）をアプリケーションに渡して、応答に必要な情報（東京の天気）を取得させるといった処理である。

対話制御部１０４によるＡＰＩコールと引数情報がアブリ実行部１０５に出力されて、ＡＰＩコール対応のアプリケーションが実行され、引数に応じたＡＰＩ出力、すなわち、応答処理に必要となるデータが応答生成部１０６に出力される。

応答生成部１０６は、アブリ実行部１０５から入力したＡＰＩ出力、すなわち、応答処理に必要となるデータを入力して、応答として出力すべき音声データを生成する。
応答生成部１０６は、ＴＴＳ（ＴｅｘｔｔｏＳｐｅｅｃｈ）機能に基づいて、応答データを構成するテキストデータを音声データに変換する。
応答生成部１０６の生成した音声データは、音声出力部（スピーカー）１０７を介してユーザに向けて出力される。

上述した処理シーケンスは、ユーザ発話に基づく音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が問題なく行われた場合の処理であり、ユーザの意図に応じた正しい応答が出力された例である。

しかし、ユーザ発話に基づく音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が困難な場合がある。
このような場合には、対話制御部１０４は、応答生成部１０６に対して、ユーザ発話に対する発話ユーザの確認を求める確認応答の生成命令、すなわち「確認応答生成命令」を出力して、応答生成部１０６が、ユーザに再度、確認のための発話を要求する。

すなわち、ユーザ発話の認識や理解の確信度が低い場合には、その内容をユーザに問い返して確認する応答文章を生成して提示することがある。
なお、音声認識部１０２におけるテキスト変換データや、意図理解部１０３における意図理解結果データには、信頼度を示す属性情報が付加され、対話制御部１０４に入力され、対話制御部１０４は、この属性情報に基づいて信頼度を判定することができる。

また、例えば、ユーザの発話が、スケジュール記録アプリケーションを起動して、予定を登録する処理や削除する処理を要求している場合等、スケジュール記録データベースに変更を加える必要がある場合等、重要な処理を行う場合は、その処理を行ってよいかどうかの確認を行うための応答文章を生成して出力する場合がある。

以下、情報処理装置１００が、ユーザの意図を確認するための確認応答を行う場合の具体的な処理例について説明する。
例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「８日（よーか）に買い物の予定を入れてくれる？」
このようなユーザ発話があると、
情報処理装置１００は、「よーか」が、本当に「８日（よーか）」を意図しているのか、あるいはユーザが「４日（よっか）」を意図して発話してしまったかを判別できない。
このため、情報処理装置１００は、ユーザに対して確認を求める以下の確認応答を出力する。
装置の確認応答：「８日（よーか）ですね？」

この例は、ユーザが発話した日時情報（８日）について、装置側の認識理解確信度が低い場合の例である。

このような確認応答は、従来の装置においても多く行われる。
上記の確認応答では、ユーザの発話情報（「８日（よーか）」）をそのまま応答に用いている。このような応答を行う場合、以下に挙げるような問題が発生する可能性がある。
（ａ）装置が応答を、スピーカーを介して音声出力した場合、ユーザが「８日」を「４日」と聞き間違える可能性がある。
（ｂ）ユーザの真の意図は８日ではないが、何らかの勘違い（例えば予定を入れたいのは水曜日だが、本来水曜日は７日なのに８日であると思い違いしている等）により８日と発話してしまった場合、その勘違いに気付くことができない

このように、従来の装置は、ユーザ発話の確認を求める確認応答を出力する際、ユーザ発話をそのまま「おうむ返し」する構成としたものが多い。
この手法は、ユーザがさらに聞き間違いをする可能性や、ユーザ自身が勘違いをしている場合にそれをただすことができず、本来ユーザが欲しい情報とは異なる情報を提供してしまう、といった問題が発生する。

本開示の情報処理装置は、このような問題を解決する構成を有する。
すなわち、ユーザ発話の認識結果があいまいな場合、あるいは複数の候補がある場合において、システムがユーザに対して曖昧性解消のための確認応答を提示する際に、情報を付加することにより確認精度を上げることを可能としたものである。
具体的には、例えば、辞書データまたはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する。
以下、本開示の情報処理装置の構成と処理の具体例について説明する。

［２．（実施例１）応答生成部が一般知識ベース辞書データを利用して確認応答を生成する実施例について］
まず、実施例１として、応答生成部が一般知識ベース辞書データを利用して確認応答を生成する実施例について説明する。

図２は、本実施例１の情報処理装置２２０の構成例を示す図である。
図２に示すように、情報処理装置２２０は、音声入力部（マイク）１０１、音声認識部１０２、意図理解部１０３、対話制御部１０４、アプリ実行部１０５、応答生成部１０６、音声出力部（スピーカー）１０７を有し、さらに、応答生成部１０６が応答生成に利用する一般知識ベース辞書データ２２１を有する。

音声入力部（マイク）１０１、音声認識部１０２、意図理解部１０３、対話制御部１０４、アプリ実行部１０５、応答生成部１０６、音声出力部（スピーカー）１０７、これらの構成部は、基本的には、先に図１を参照して説明した処理を行う。

すなわち、音声入力部（マイク）１０１から入力されたユーザ発話音声は音声認識部１０２において音声データからテキストデータに変換される。
音声認識部１０２は、例えばＡＳＲ（ＡｕｔｏｍａｔｉｃＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎ）機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。

上述した処理シーケンスは、先に図１を参照して説明した処理シーケンスと同様の処理である。
すなわち、ユーザ発話に基づく音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が問題なく行われた場合の処理であり、ユーザの意図に応じた正しい応答が出力された例である。

対話制御部１０４は、ユーザ発話に基づく音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解の信頼度が低い場合、あるいは、ユーザの発話がスケジュール設定等の重要処理である場合に、応答生成部１０６に対して確認応答の生成、出力を要求する。
本実施例１では、この応答生成部１０６の実行する確認応答生成処理が、先に図１を参照して説明した処理とは異なる。

先に、図１を参照して説明した確認応答は、
ユーザ発話：「８日（よーか）に買い物の予定を入れてくれる？」
このようなユーザ発話に対して、ユーザの意図が、「８日（よーか）」であるか、「４日（よっか）」であるかを確認するため、装置の確認応答として、
「８日（よーか）ですね？」
このようなおうむ返しの確認応答を行っていた。

この場合、前述したように、
（ａ）装置が応答を、スピーカーを介して音声出力した場合、ユーザが「８日」を「４日」と聞き間違える可能性がある。
（ｂ）ユーザの真の意図は８日ではないが、何らかの勘違い（例えば予定を入れたいのは水曜日だが、本来水曜日は７日なのに８日であると思い違いしている等）により８日と発話してしまった場合、その勘違いに気付くことができない
このような問題が発生する。

図２に示す本開示の情報処理装置２２０の応答生成部１０６は、このような問題の発生を低減させるため、一般知識ベース辞書データ２２１を利用して確認応答、すなわち、ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する。
なお、一般知識ベース辞書データ２２１は、様々な事実や、常識、習慣、経験等の一般的な知識をコンピュータ可読形式のデータとしてデータベース化したデータである。ナレッジベース辞書データとも呼ばれる。

なお、図２以下において説明する本開示の情報処理装置２２０の応答生成部１０６は、対話制御部１０４から応答生成命令を入力した場合に確認応答を生成して出力するのみならず、さらに、対話制御部１０４から確認応答生成命令ではない通常の応答生成命令を入力した場合にも、ユーザ発話内容を再確認するための確認応答を生成して出力する場合がある。
すなわち、応答生成部１０６が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部（スピーカ）１０７を介して出力する。

本開示の情報処理装置２２０の応答生成部１０６の生成する確認応答の具体例について説明する。
まず、図３に示す３つの確認応答生成例１０１〜１０３について説明する。

（確認応答生成例１０１）
図３（１０１）に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「８日（よーか）に買い物の予定を入れてくれる？」
このようなユーザ発話があると、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が行われ、意図理解結果が対話制御部１０４に入力される。入力データには、音声認識部１０２におけるテキスト変換データや、意図理解部１０３における意図理解結果データには、信頼度を示す属性情報が付加されている。

対話制御部１０４は、属性情報に基づいて、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解の信頼度が低い否かを判定する。信頼度が予め規定した基準値（しきい値）より低い場合、応答生成部１０６に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部１０６に対して確認応答の生成、出力を要求する。

本処理例においては、例えば以下のような処理が行われることになる。
情報処理装置２２０の意図理解部１０３が、上記のユーザ発話に対する意図理解処理において、「よーか」が、本当に「８日（よーか）」を意図しているのか、あるいはユーザが「４日（よっか）」を意図して発話してしまったかを判別できず、ユーザの意図が曖昧である（信頼度が低い）という意図理解結果を対話制御部１０４に出力する。

対話制御部１０４は、この意図理解部１０３からの入力、すなわち、ユーザの意図が曖昧であるという意図理解結果に基づいて、応答生成部１０６に確認応答生成命令を出力する。

なお、意図理解部１０３が、意図理解処理において、「よーか」が、「８日（よーか）」を意図しているとする高信頼度情報を属性情報として付加した結果を対話制御部１０４に出力した場合であっても、対話制御部１０４は、スケジュール設定の重要な処理であるとの判断に基づいて、日にちの再確認が必要であるとの判断を行う場合がある。この判断が行われた場合も、応答生成部１０６に確認応答生成命令を出力する。

また、対話制御部１０４から応答生成部１０６に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部１０６が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部（スピーカ）１０７を介して出力する。

本実施例において、応答生成部１０６は、一般知識ベース辞書データ２２１のデータを利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答：「８日（はちにち）に買い物の予定を登録しますね？」

上記の例は、８日には「よーか」と「はちにち」の二通りの読み方がある、という知識を用いて、両方の読み方を伝える確認応答の例である。
この知識は、応答生成部１０６が、一般知識ベース辞書データ２２１のデータを利用して取得する。
応答生成部１０６は、一般知識ベース辞書データ２２１のデータを利用して得られる知識により、以下の確認応答、すなわち、
「８日（はちにち）に買い物の予定を登録しますね？」
このような確認応答を生成して出力する。

この確認応答は、音声出力部（スピーカー）１０７を介してユーザに対して出力される。
ユーザは、「８日」の２つの読み方（よーか、はちにち）の確認を求める確認応答を聞き、情報処理装置２２０が伝えたいのは４日ではなく８日であると確信することができ、聞き間違いを防ぐことができる。

（確認応答生成例１０２）
図２に示す情報処理装置２２０の応答生成部１０６が生成する確認応答の第２の具体例について説明する。
図３（１０２）に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「８日に買い物の予定を入れてくれる？」
このようなユーザ発話があると、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が行われ、意図理解結果が対話制御部１０４に入力される。

対話制御部１０４は、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解の信頼度が低い場合、あるいは、ユーザの発話がスケジュール設定等の重要処理である場合、応答生成部１０６に対して確認応答の生成、出力を要求する。

本例では、意図理解部１０３における意図理解の結果として、ユーザ発話が「８日（よーか）」を意図しているか、「４日（よっか）」を意図しているかが曖昧である（信頼度が低い）との意図理解結果を対話制御部１０４が入力する。
さらに、対話制御部１０４は、ユーザ発話がスケジュール設定を要求する重要な処理であるとの判断から、日にちの再確認が必要であるとの判断を行い、この判断に基づいて、応答生成部１０６に確認応答生成命令を出力する。

なお、対話制御部１０４から応答生成部１０６に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部１０６が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部（スピーカ）１０７を介して出力する。

応答生成部１０６は、一般知識ベース辞書データ２２１のデータを利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答：「来週水曜日の８日ですね？」

上記の例は、ユーザの意図が「８日（よーか）」であるか、「４日（よっか）」であるかを確認するために装置が実行する確認応答である。
情報処理装置２２０の応答生成部１０６は、一般知識ベース辞書データ２２１のデータを利用して、８日は来週水曜日であるという知識を取得して、取得した知識に基づく情報（８日は来週水曜日である）を付加した確認応答を生成する。

この確認応答は、音声出力部（スピーカー）１０７を介してユーザに対して出力される。
これにより、ユーザは、情報処理装置２２０が、４日ではなく８日と認識していることを確信することができる。
また、例えば、ユーザ自身の真の意図が９日の木曜日に買い物の予定を登録したいと思っていた場合に、ユーザ自身の勘違いにより８日と発話してしまった場合であっても、上記の確認応答を装置から聞くことで、ユーザは８日を木曜日だと勘違いしていたことを気づくことになる。
すなわち、８日が正しくは水曜日であることに気付かせることができる。その結果として、ユーザが、本来、予定を登録したかった木曜日は９日であると認識でき、「９日に予定を入れておいて」のように、真の意図に基づく発話をさせることが可能となる。

（確認応答生成例１０３）
図２に示す情報処理装置２２０の応答生成部１０６の生成する確認応答の第３の具体例について説明する。
図３（１０３）に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「３日後に買い物の予定を入れていて。」
このようなユーザ発話があると、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が行われ、意図理解結果が対話制御部１０４に入力される。

対話制御部１０４は、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解の信頼度が低い否かを判定し、信頼度が低い場合、応答生成部１０６に対して確認応答の生成、出力を要求する。あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部１０６に対して確認応答の生成、出力を要求する。

本例では、対話制御部１０４は、スケジュール設定の重要な処理であるとの判断から、日にちの再確認が必要であるとの判断を行い、この判断に基づいて、応答生成部１０６に確認応答生成命令を出力する。

応答生成部１０６は、一般知識ベース辞書データ２２１のデータを利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答：「１１日木曜日ですね？」

上記の例は、ユーザ発話に含まれる「３日後」を、実際の日にちと曜日（１１日木曜日）に置き換えて確認を求める形式の確認応答の例である。
情報処理装置２２０の応答生成部１０６は、一般知識ベース辞書データ２２１のデータを利用して、「３日後」は「１１日」であり、さらに「木曜日」であるという知識を取得する。

応答生成部１０６は、この知識を用いて、取得した知識を付加した（ここでは置き換えた）応答を生成する。すなわち、
「１１日木曜日ですね？」
この確認応答を生成して、音声出力部（スピーカー）１０７を介してユーザに対して出力する。
これにより、ユーザは、自分自身が発話した「３日後」に加え、「１１日」「木曜日」という情報を取得する。
この付加的な情報によって、予定を登録する日時に対する確信度を上げることができる。

さらに、ユーザの真の意図は金曜日（４日後）への予定登録だった場合、すなわち、ユーザが「３日後が金曜日である」と誤解していた場合には、上記の情報処理装置２２０からの確認応答、すなわち、
「１１日木曜日ですね？」
この確認応答によって、「木曜日」という情報がユーザに提供される。
この結果、ユーザは、「３日後は金曜日だと思っていたけど木曜日だったのか。じゃあ、４日後の１２日にしよう」と考えなおして、新たな発話、
「４日後に予定を入れておいて」
という訂正発話を行うことが可能となる。

このように、１つの情報に対して他の表現を加えて応答することにより、ユーザは複数の観点から確認することができるようになる。この例の場合、ユーザが自身の勘違いに気付く元ともなっており、結果としてユーザが求めているゴールに早く到達できることになる。また、システムがユーザの発話を正しく理解しているかどうかの確認も同時に行うことができる。

以上、説明した３つの具体例（確認応答生成例１０１〜１０３）は、日付に関する例であるが、日付以外にも、図２に示す一般知識ベース辞書データ２２１から得られる知識を用いて、ユーザの意図を正確に取得可能とした確認応答を生成することができる。
以下、日付の確認と異なる確認応答の生成例について説明する。
図４に示す２つの確認応答生成例１０４〜１０５について説明する。

（確認応答生成例１０４）
図２に示す情報処理装置２２０の応答生成部１０６の生成する確認応答の第４の具体例について説明する。
図４（１０４）に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「金閣寺への行き方を教えて」
このようなユーザ発話があると、
まず、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が行われ、意図理解結果が対話制御部１０４に入力される。

本例では、例えば、情報処理装置２２０の意図理解部１０３は、意図理解処理において、「金閣寺」が、本当に「金閣寺（キンカクジ）」を意図しているのか、あるいは「銀閣寺（ギンカクジ）」を意図して誤って発話してしまったかを判別できず、ユーザの意図が曖昧であるという意図理解結果を対話制御部１０４に出力する。

対話制御部１０４は、この意図理解結果に基づいて、応答生成部１０６に確認応答生成命令を出力する。
情報処理装置２２０の応答生成部１０６は、対話制御部１０４からの確認応答生成命令の入力に応じて確認応答を生成する。

応答生成部１０６は、一般知識ベース辞書データ２２１のデータを利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答：「足利義満が作った金閣寺ですか？」

上記の例は、ユーザの発話意図が「金閣寺（キンカクジ）」を意図しているのか、あるいは「銀閣寺（ギンカクジ）」を意図しているかが、曖昧だったので、確認をしたい場合の確認応答である。

この確認応答において、例えば、そのまま「金閣寺ですか？」と応答を出した場合、その応答が音声のみの場合には、ユーザがまた聞き間違える（金閣寺を銀閣寺と聞き間違える）可能性がある。
例えば情報処理装置が表示部を有する場合には、表示部に音声出力した文字を表示することにより、ユーザの聞き違いを防ぐこともできるが、ユーザが表示部を見るとは限らない。
従って、音声だけでも誤解が生じにくい応答にすることが望ましい。

よって、上記の例、すなわち、
装置の確認応答：「足利義満が作った金閣寺ですか？」
この確認応答のように、「足利義満が作った」という情報を追加することにより、ユーザにとっての確信度を上げることが可能となる。

なお、応答生成部１０６は、一般知識ベース辞書データ２２１から得られる知識に基づいて、様々な情報を付加した確認応答を生成することが可能である。
例えば、以下のような様々な確認応答を生成することが可能である。
「黄金色の金閣寺ですか？」
「三島由紀夫の小説になった金閣寺ですか？」
「正式名称は鹿苑寺と呼ばれる金閣寺ですか？」
例えば、これらの金閣寺に関する付加的な情報を、一般知識ベース辞書データ２２１から取得して、付加的情報を追加した確認応答を生成して出力することが可能である。

（確認応答生成例１０５）
図２に示す情報処理装置２２０の応答生成部１０６の生成する確認応答の第５の具体例について説明する。
図４（１０５）に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「１チャンネル（いっちゃんねる）を５時から録画して」
このようなユーザ発話があると、
まず、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が行われ、意図理解結果が対話制御部１０４に入力される。

本例は、情報処理装置２２０の意図理解部１０３は、意図理解処理において、録画すべきチャネルを指定していると理解したが、それが１ｃｈ（いっちゃんねる）か１０ｃｈ（じゅっちゃんねる）かが曖昧なため、ユーザの意図が曖昧であるという意図理解結果を対話制御部１０４に出力する。

応答生成部１０６は、一般知識ベース辞書データ２２１のデータを利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答：「ＸＹＺテレビでよろしいですか？」

上記の例は、ユーザの発話意図は録画すべきチャネルを指定していると理解したが、それが１ｃｈか１０ｃｈかが曖昧なため、ユーザへの確認を行った例である。
応答生成部１０６は、一般知識ベース辞書データ２２１のデータを利用して、１チャンネルが「ＸＹＺテレビ」のチャンネルであるという知識を取得し、聞き間違いを起こしやすい数字＋チャネルを提示するのではなく、放送局名を含む確認応答を生成する。
この処理により、ユーザは確認応答の意図を正しく理解することができるようになる。

［３．（実施例２）応答生成部がアプリ（アプリケーション）実行部を利用して確認応答を生成する実施例について］
次に、実施例２として、応答生成部がアプリ（アプリケーション）実行部を利用して確認応答を生成する実施例について説明する。

図５は、本実施例２の情報処理装置２４０の構成例を示す図である。
図５に示すように、情報処理装置２４０は、音声入力部（マイク）１０１、音声認識部１０２、意図理解部１０３、対話制御部１０４、アプリ実行部１０５、応答生成部１０６、音声出力部（スピーカー）１０７を有し、さらに、応答生成部１０６が応答生成に利用するアプリ実行部２４１を有する。

音声入力部（マイク）１０１、音声認識部１０２、意図理解部１０３、対話制御部１０４、アプリ実行部１０５、音声出力部（スピーカー）１０７については、図１、図２を参照して説明したと同様の処理を行う構成であるので説明を省略する。

図５に示す本実施例２の情報処理装置２４０の応答生成部１０６は、アプリ実行部２４１を利用して確認応答を生成する。
なお、アプリ実行部２４１は、例えば、情報処理装置２４０内のアプリケーションに限らず、ネットワークによって接続された様々な装置において実行されるアプリケーションを利用することを可能な構成である。
例えば、音楽再生アプリ、天気情報取得アプリ、レストラン予約アプリ等、様々なアプリを利用することができる。

本実施例の情報処理装置２４０の応答生成部１０６の生成する確認応答の具体例について説明する。
まず、図６に示す２つの確認応答生成例２０１〜２０２について説明する。

（確認応答生成例２０１）
図６（２０１）に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「１０日に買い物の予定を入れてくれる？」
このようなユーザ発話があると、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が行われ、意図理解結果が対話制御部１０４に入力される。

対話制御部１０４は、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解の信頼度が低い否かを判定し、信頼度が低い場合、応答生成部１０６に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部１０６に対して確認応答の生成、出力を要求する。

本例では、ユーザ発話がスケジュール設定等の重要処理であると判断し、日にちの再確認が必要であるとの判断を行い、この判断に基づいて、応答生成部１０６に確認応答生成命令を出力する。

応答生成部１０６は、アプリ実行部２４１を利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答：「１０日ですね。ライブに行く日ですね。」

上記の例は、ユーザ発話に含まれる買い物の日付について、再確認を行う確認応答である。
応答生成部１０６は、アプリ実行部２４１を利用して、ユーザのスケジュールが登録されているスケジューラアプリを起動して、ユーザ発話に含まれていた日付（１０日）の予定を検索する。
その結果、ユーザの１０日の予定として、「ライブに行く予定」が設定されていたことを確認する。

応答生成部１０６は、アプリ実行部２４１を利用して取得したこの確認結果を利用して、ユーザへ提示する情報量を増やした確認応答を生成する。すなわち、以下の確認応答を生成する。
装置の確認応答：「１０日ですね。ライブに行く日ですね。」

音声出力部１０７を介して上記の確認応答を聞いたユーザは、
ライブに行くのは９日だと思っていたけど、１０日だったのか。じゃあ買い物は１１日にしようと考え、
その結果、新たなユーザ発話、
「いや、１１日にして」
を行い、予定をスムーズに修正することが可能となる。

（確認応答生成例２０２）
図５に示す情報処理装置２４０の応答生成部１０６の生成する確認応答の第２の具体例について説明する。
図６（２０２）に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「銀閣寺への行き方を教えて」
このようなユーザ発話があると、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が行われ、意図理解結果が対話制御部１０４に入力される。

本例では、対話制御部１０４は、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解の信頼度が低い、すなわち、ユーザ発話が「金閣寺」なのか「銀閣寺」なのかについての確信度が低いとの判定に基づいて、どちらなのかを確認するため応答生成部１０６に対して確認応答の生成、出力を要求する。

応答生成部１０６は、アプリ実行部２４１を利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答：「昨年８月に行った金閣寺ですね？」

応答生成部１０６は、アプリ実行部２４１において起動されたスケジューラアプリ（スケジュール登録アプリケーション）を利用して「金閣寺」に関する予定が過去になかったかどうかを検索し、その結果を合わせて、ユーザへ提示する情報量を増やした確認応答を生成する。すなわち、以下の確認応答を生成する。
装置の確認応答：「昨年８月に行った金閣寺ですね？」

音声出力部１０７を介して上記の確認応答を聞いたユーザは、銀閣寺には行ったことがない、ということは、「装置側で「銀閣寺」を「金閣寺」と聞き間違えている」のだと気付くことができる。その結果、新たなユーザ発話、
「いや、金閣寺ではなくて銀閣寺」
を行い、正確なコミュニケーションを行うことが可能となる。

（確認応答生成例２０３）
図５に示す情報処理装置２４０の応答生成部１０６の生成する確認応答の第３の具体例について説明する。
図７（２０３）に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「佐藤さん家族とバーベキューって入れて」
このようなユーザ発話があると、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が行われ、意図理解結果が対話制御部１０４に入力される。

本例では、対話制御部１０４は、「佐藤さん」なのか「加藤さん」なのかについての確信度が低いとの判定に基づいて、どちらなのかを確認するため応答生成部１０６に対して確認応答の生成、出力を要求する。

応答生成部１０６は、アプリ実行部２４１を利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答：「お向かいの佐藤さんでよろしいですか？」

応答生成部１０６は、アプリ実行部２４１において起動された住所登録アプリや知人登録アプリに登録されているご近所さん情報（名前と場所）を参照して、その結果を合わせて、ユーザへ提示する情報量を増やした確認応答を生成する。すなわち、以下の確認応答を生成する。
装置の確認応答：「お向かいの佐藤さんでよろしいですか？」

音声出力部１０７を介して上記の確認応答を聞いたユーザは、（お向かいの佐藤さんで合っている、システムは自分の発話を正しく推定している）と考えることができ、新たなユーザ発話、
「そうだよ」
のように回答することができる。

以上、説明した確認応答生成例２０１〜２０３は、音声認識や意図理解結果の信頼度が低い場合の例であるが、音声認識や意図理解結果の信頼度が高いものの、その内容が複数の候補を持つ場合についても、同様の手段により、問題を解決することができる。
以下、このような確認応答生成例について説明する。

（確認応答生成例２０４）
図５に示す情報処理装置２４０の応答生成部１０６の生成する確認応答の第４の具体例について説明する。
図７（２０４）に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「佐藤さん家族とバーベキューって入れて」
このようなユーザ発話があると、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が行われ、意図理解結果が対話制御部１０４に入力される。

本例では、ユーザの発話がスケジュール設定等の重要処理であり、応答生成部１０６に対して確認応答の生成、出力を要求する。
なお、対話制御部１０４から応答生成部１０６に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部１０６が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部（スピーカ）１０７を介して出力する。

応答生成部１０６は、アプリ実行部２４１を利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答：「ご近所の佐藤さんでよろしいですか？」

応答生成部１０６は、アプリ実行部２４１において起動された住所登録アプリや知人登録アプリに登録されている「佐藤さん」に該当する人データが２人ある。登録住所が近所の佐藤さんと、登録住所が遠方でかつ会社の同僚である佐藤さんが登録されており、どちらの佐藤さんなのかについて確認するための確認応答を生成する。すなわち、以下の確認応答を生成する。
装置の確認応答：「ご近所の佐藤さんでよろしいですか？」

音声出力部１０７を介して上記の確認応答を聞いたユーザは、（そっか、佐藤さんは複数人いるのか、でもご近所の佐藤さんじゃない方で登録したい）と考えることができ、新たなユーザ発話、例えば
「いや、同僚の佐藤さん」
上記のように回答することができる。

なお、応答生成部１０６は、上述した例の他にも、例えば、住所登録アプリに登録されている佐藤さんの下の名前を用いて
「佐藤太郎さんでよろしいですか？」
このような応答を生成してもよいい。

［４．（実施例３）応答生成部が情報入力部の情報を利用して確認応答を生成する実施例について］
次に、実施例３として、応答生成部が、例えば画像入力部等、音声以外の情報入力部の情報を利用して確認応答を生成する実施例について説明する。

図８は、本実施例３の情報処理装置２６０の構成例を示す図である。
図５に示すように、情報処理装置２６０は、音声入力部（マイク）１０１、音声認識部１０２、意図理解部１０３、対話制御部１０４、アプリ実行部１０５、応答生成部１０６、音声出力部（スピーカー）１０７を有し、さらに、画像入力部（カメラ）２６１、画像認識部２６２、オブジェクト（画像）データベース２６３、オブジェクト関連知識ベース辞書データ２６４を有する。

図８に示す本実施例３の情報処理装置２６０は、発話を実行するユーザの画像を含むユーザ周囲の画像を入力する画像入力部（カメラ）２６１を有する。
画像入力部（カメラ）２６１の撮影画像は、画像認識部２６２に入力され、画像認識部２６２は、予め様々なオブジェクト画像が登録されたデータベースであるオブジェクト（画像）データベース２６３の登録情報と対比して、撮影画像に含まれる様々なオブジェクト（人や物品）を識別する。

応答生成部１０６は、画像認識部２６２が識別した発話ユーザの周囲環境のオブジェクト情報を入力するとともに、オブジェクト関連知識ベース辞書データ２６４を利用して確認応答を生成する。

本実施例の情報処理装置２６０の応答生成部１０６の生成する確認応答の具体例について説明する。
図９に示す確認応答生成例３０１について説明する。

（確認応答生成例３０１）
図９（３０１）に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「スピーカーから音楽を再生して」
このようなユーザ発話があると、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が行われ、意図理解結果が対話制御部１０４に入力される。

本例は、対話制御部１０４は、ユーザ発話の意図は、「スピーカーから音楽を再生して」という意図であることを理解できており、対話制御部１０４は、応答生成部１０６に対して確認応答の生成、出力を要求しない可能性がある。

しかし、応答生成部１０６は、画像認識部２６２が識別した発話ユーザの周囲環境のオブジェクト情報を入力し、オブジェクト関連知識ベース辞書データ２６４の辞書データを参照することにより、発話ユーザの周囲に複数のスピーカーが存在していることを把握することができる。
このような場合、応答生成部１０６自身で確認応答を実行すべきと判断し、確認応答を生成して音声出力部（スピーカ）１０７を介して出力する。
具体的には、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答：「あなたの近くにあるスピーカーでよろしいですか？」

この例は、応答生成部１０６が、発話ユーザの近くにスピーカーがあることを画像認識部２６２からの入力によって知り、さらに、オブジェクト関連知識ベース辞書データ２６４に基づいて制御可能なスピーカーが複数あることを知ったことによって生成された確認応答である。
ユーザからは「スピーカー」とのみ指定されているため、どのスピーカーなのかについて確認をしている。

画像認識部２６２が解析した画像情報より、発話ユーザの近くにスピーカーがあることが確認できたため、その結果を合わせた応答文章を出力し、ユーザへ提示する情報量を増やして、以下の確認応答を生成して出力する。
装置の確認応答：「あなたの近くにあるスピーカーでよろしいですか？」

音声出力部１０７を介して上記の確認応答を聞いたユーザは（そうそう、このスピーカー）と考えることができ、その結果、新たなユーザ発話、
「うん、そうだよ」
のように回答することができる。

次に、本実施例３の変形例として、情報入力部からの入力情報に基づいて話者識別を行う構成と処理について図１０以下を参照して説明する。
図１０に示す情報処理装置２８０は、
図８を参照して説明した構成と類似する構成であるが、以下の点が異なる。
図８の画像認識部２６２を、図１０のユーザ識別部２８２に変更、
図８のオブジェクト（画像）データベース２６３を、図１０のユーザ画像データベース２８３に変更、
図８のオブジェクト関連知識ベース辞書データ２６４を、図１０のユーザ情報関連知識ベース辞書データ２８４に変更、
これらの点が異なる。

図１０に示す情報処理装置２８０は、発話を実行するユーザの周囲の人の顔画像を画像入力部（カメラ）２６１からユーザ識別部２８２に入力する。ユーザ識別部２８２は、予め様々なユーザ画像が登録されたデータベースであるユーザ画像データベース２８３の登録情報と対比して、撮影画像に含まれる人を識別する。

応答生成部１０６は、ユーザ識別部２８２が識別したユーザ情報を入力するとともに、ユーザ情報関連知識ベース辞書データ２８４利用して確認応答を生成する。

本実施例の情報処理装置２８０の応答生成部１０６の生成する確認応答の具体例について説明する。
図１１に示す確認応答生成例３０２について説明する。

（確認応答生成例３０２）
ここでは、ユーザ発話の前段階で、ユーザと情報処理装置２８０による対話が行われ、今晩の食事場所を決定する処理が行われたとする。その後、図１１（３０２）に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話：「じゃあユウキにメールしておいて」
このようなユーザ発話があると、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が行われ、意図理解結果が対話制御部１０４に入力され、対話制御部１０４は、応答生成部１０６に対して応答生成、出力を要求する。

しかし、応答生成部１０６は、ユーザ識別部２８２が識別したユーザの周囲にいる人物情報を入力し、さらに、ユーザ情報関連知識ベース辞書データ２８４の辞書データを参照することにより、発話ユーザの周囲に「ユウキ」がいないことを把握する。

さらに、ユーザ識別部２８２の識別情報と、ユーザ情報関連知識ベース辞書データ２８４の辞書データに基づいて、発話ユーザがパパであることを判別し、ママと娘のユウコも一緒にいることを認識する。

応答生成部１０６は、発話ユーザであるパパのユーザ発話：「じゃあユウキにメールしておいて」に含まれる人名「ユウキ」が、「ユウコ」さんである可能性もあると判定し、メール先が「ユウキ」さんであるか、「ユウコ」さんであるかを確認させるための確認応答を生成する。すなわち以下の確認応答である。
装置の確認応答：「ユウキくんに送りますね？ユウキさんは今ここにはいないですよね？」

上記の確認応答の例は、応答生成部１０６が、ユーザ識別部２８２の識別情報と、ユーザ情報関連知識ベース辞書データ２８４の辞書データに基づいて、対話しているのはパパであり、またママと娘のユウコも一緒に画面を見ていることを認識し、発話者の意図が「ユウコ」さんなのか「ユウキ」さんなのかについての確信度が低いと判定した結果に基づく確認応答の例である。

ユーザ情報関連知識ベース辞書データ２８４に登録されている家族は、パパ・ママ・ユウキ（息子）・ユウコ（娘）の４人であるが、ユーザ識別部２８２の識別情報に基づいて、ユウコさんが今ここにいることを認識しているため、その結果を合わせて応答文章とすることにより、ユーザへ提示する情報量を増やしている。その結果、ユーザは、（そう、ユウキに送って欲しい）と考えることができ、その結果、新たなユーザ発話、
「お願いね」
のように回答することができる。

さらに、図１０に示す情報処理装置２８０における応答生成部１０６は、ユーザ識別部２８２のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ２８４の情報を利用することで、以下のような処理を行うこともできる。

応答生成部１０６は、応答文言を作成する際に発話ユーザの属性（年齢等）によって確認応答の構成を変えることができる。
具体例を図１２に示す。

（確認応答生成例３０３）
確認応答例３０３は、応答生成部１０６が、ユーザ識別部２８２のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ２８４の情報を利用して、発話ユーザの年齢が低いと判断した場合の例である。
図１２（３０３）に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話：「金閣寺への行き方を教えて」

応答生成部１０６は、ユーザ識別部２８２のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ２８４の情報を利用して、発話ユーザの年齢が低いと判断する。
この場合、応答生成部１０６は、以下の確認応答を生成して出力する。
装置の確認応答：「黄金色でピカピカしている金閣寺ですか？」
ユーザの年齢が低い場合、金閣寺や銀閣寺についての詳細な知識を持っていない可能性が高い。よって、例えば「足利義満が作った」というような知識を応答文に付加しても、ユーザがそれに対する知識を持ち合わせていなければ、かえって混乱の元になってしまう。そこで、そのようなユーザに向けては誰にでもわかりやすいような知識を付加することにより、曖昧性をより確実に解消することができる。

（確認応答生成例３０４）
確認応答例３０４は、応答生成部１０６が、ユーザ識別部２８２のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ２８４の情報を利用して、発話ユーザの年齢が高いと判断した場合の例である。
図１２（３０４）に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話：「１０日に外出の予定を登録」

応答生成部１０６は、ユーザ識別部２８２のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ２８４の情報を利用して、発話ユーザの年齢が高いと判断する。
この場合、応答生成部１０６は、以下の確認応答を生成して出力する。
装置の確認応答：「１０日の旗日でよろしいですか？」

「１０日」が国民の祝日の場合、「祝日」「休みの日」「休日」などいろいろな言葉で表現することができるが、最近使われなくなった表現として「旗日」がある。ユーザの年代（や環境）によっては「旗日」の方が簡単に理解できる場合もあり、そのような場合にはその年代向けの表現を用いて応答文を生成して出力する。

（確認応答生成例３０５）
確認応答例３０５は、応答生成部１０６が、ユーザ識別部２８２のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ２８４の情報を利用して、発話ユーザがある中学校の学生であると判断した場合の例である。
図１２（３０５）に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話：「学校に電話かけて」

この発話からは、多数存在する学校のうち、どの学校なのかを特定することができない。また、ユーザの家族に学生が二人以上いる場合（例えば小学生と中学生等）にも、どちらの学校を指しているかを特定することができない。
応答生成部１０６は、ユーザ識別部２８２のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ２８４の情報を利用して、発話したユーザを特定し、かつ、そのユーザが、品川中学の学生である知識を取得する。この取得知識に基づいて、応答生成部１０６は、以下の確認応答を生成して出力する。
装置の確認応答：「品川中学校でよろしいですね」

このように、学校名を用いた確認応答を発話ユーザに提示することで、発話ユーザは、装置側が、ユーザ発話を正しく認識していることを容易に確認することが可能となる。

さらに、応答生成部１０６は、ユーザの状況や履歴に応じて、応答内容を切り替えることもできる。
具体例を図１３に示す。

（確認応答生成例３０６，３０７）
図１３に示す確認応答例３０６は、発話ユーザ（家族中の属性：父親）が一人で対話している場合の応答例であり、
確認応答例３０７は、発話ユーザ（家族中の属性：父親）が家族とともに対話している場合の応答例である。

図１３（３０６）に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話：「おばあさんの家までの道路状況を教えて」

応答生成部１０６は、ユーザ識別部２８２のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ２８４の情報を利用して、発話したユーザが父親であること、さらに、確認応答例３０６の場合は、発話ユーザ（家族中の属性：父親）が一人で対話していることを識別したものとする。
この場合、応答生成部１０６は、以下の確認応答を生成して出力する。
装置の確認応答：「△△さん（ユーザの祖母）の家ですね？」

一方、図１４に示す（３０７）確認応答例３０７は、発話ユーザ（家族中の属性：父親）が家族とともに対話していることを識別した場合の例である。
この場合、応答生成部１０６は、以下の確認応答を生成して出力する。
装置の確認応答：「○○さん（ユーザの母親、ユーザの子供たちから見た祖母）の家ですね？」

これらの例は、ユーザ発話が「おばさん」「おばあさん」のどちらを発話したかの確信度が低い場合である。ここで、「おばあさん」という言葉が指す相手は一意ではなく、誰にとっての祖母であるかによりその対象相手が異なる。ここで、ユーザが発話している状況がユーザ一人だけの場合は、ユーザ自身の祖母であり、ユーザがその子供たちと一緒に発話している状況であれば、子供たちにとっての祖母を指す可能性が高いという判断の下に、「おばあさん」にあたると思われる人の名前を応答文に入れている。このように、ユーザの状況に応じて確認応答を切り替えることにより、その場にいる対話参加者がより容易に内容を確認することが可能となる。

次に、本実施例３の変形例として、情報入力部を例えば、温度、照度、ユーザの脈拍等を検出するセンサーを用い、センサーからの入力情報に基づいて確認応答を生成する構成と処理について図１４以下を参照して説明する。
図１４に示す情報処理装置２９０は、
図８を参照して説明した構成と類似する構成であるが、以下の点が異なる。
図８の画像入力部（カメラ）２６１を、図１４のセンサー２９１に変更、
図８の画像認識部２６２を、図１４のセンサー検出信号解析部２９２に変更、
図８のオブジェクト（画像）データベース２６３を、図１４では省略、
図８のオブジェクト関連知識ベース辞書データ２６４を、図１４のセンサー検出情報関連知識ベース辞書データ２９３に変更、
これらの点が異なる。

図１４に示す情報処理装置２９０は、発話を実行するユーザやユーザの周囲の様々なオブジェクトについての状況（コンテキスト）を検出するセンサー２９１の検出情報をセンサー検出信号解析部２９２に入力する。
センサー２９１は、例えば、発話ユーザの部屋の温度や湿度、照度等を検出するセンサー、あるいは発話ユーザの周辺にある様々な機器の動作状況を検出するセンサー、例えばテレビやエアコンの動作状況、さらに、ユーザの体温、心拍数、脈拍等の検出センサーである。

センサー検出信号解析部２９２は、これらのセンサーの検出信号を解析して、解析結果を応答生成部１０６に入力する。
応答生成部１０６は、センサー検出信号解析部２９２が解析したセンサー検出情報を入力するとともに、センサー検出情報関連知識ベース辞書データ２９３を利用して確認応答を生成する。

本実施例の情報処理装置２９０の応答生成部１０６の生成する確認応答の具体例について説明する。
図１５に示す確認応答生成例３０８について説明する。

（確認応答生成例３０８）
以下に説明する例は、センサー２９１として、発話ユーザの部屋の温度を計測する温度センサーを利用した場合の例である。
センサー検出信号解析部２９２は、発話ーザの部屋の温度が１０℃（寒い）であることを検出して、応答生成部１０６にこの温度情報（１０℃）を入力する。
その後、図１５（３０８）に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話：「飲み物をください」
このようなユーザ発話があると、音声認識部１０２におけるテキスト変換、および意図理解部１０３における意図理解が行われ、意図理解結果が対話制御部１０４に入力され、対話制御部１０４は、応答生成部１０６に対して応答生成、出力を要求する。

ここで、応答生成部１０６は、センサー検出信号解析部２９２から入力した情報に基づいて、発話ーザの部屋の温度が１０℃（寒い）であると判断して、以下のような確認応答を生成して出力する。
装置の確認応答：「ホットコーヒーでよろしいですか？それともお茶がよろしいでしょうか？」

上記の確認応答の例は、ユーザに提供可能な飲み物としてコーヒー、お茶等の温かい飲み物と、牛乳、ジュースなどの冷たい飲み物がある状況において、応答生成部１０６が、センサー検出信号解析部２９２から入力した情報に基づいて、気温が１０℃と低い状態であることを認識して、発話ユーザが冷たい飲み物よりも温かい飲み物を欲しがっている可能性が高いと判断する。

なお、寒い場合は、コーヒー、お茶等の温かい飲み物をを欲しがっている可能性が高く、暑い場合は牛乳、ジュースなどの冷たい飲み物を欲しがっている可能性が高いとの知識は、センサー検出情報関連知識ベース辞書データ２９３から取得する。

［５．（実施例４）音声出力に併せて、画像や制御信号の出力を実行する実施例について］
次に、実施例４として、音声出力に併せて、画像や制御信号の出力を実行する実施例について説明する。

以下に説明する実施例は、ユーザに対する音声による確認応答の出力に併せて画像や制御信号の出力を実行する実施例である。
ユーザが応答の内容を容易に理解できるように、音声以外の情報を用いた構成である。

図１６を参照して本実施例の情報処理装置３１０の構成例について説明する。
図１６に示す情報処理装置３１０は、先に実施例１として説明した図２に示す情報処理装置２２０の構成に、画像出力部（モニタ）３１１を追加した構成である。
この情報処理装置３１０は、応答生成部１０６は、音声出力部（スピーカー）１０７を介して、確認応答の音声を出力するとともに、画像出力部（モニタ）３１１を介して、確認応答の音声に応じて説明画像を出力する。

本実施例の情報処理装置３１０の応答生成部１０６の生成する確認応答の具体例について説明する。
図１７に示す確認応答生成例４０１について説明する。

（確認応答生成例４０１）
図１７に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「あしたという曲をかけて」

ここで、「あした」という曲が、複数の歌手によって歌われているとする。
すなわち、情報処理装置３１０は、ユーザがどの歌手の「あした」をかけてほしいかを確認する必要がある。
応答生成部１０６は、一般知識ベース辞書データ２２１のデータに基づいて、
「あした」という曲が、複数の歌手によって歌われていることを確認し、その歌手名や、ＣＤジャケット画像等を取得する。

応答生成部１０６は、一般知識ベース辞書データ２２１のデータを利用して得られた「あした」を歌っている歌手の歌手名や、ＣＤジャケット画像等を画像出力部３１１に出力しながら、音声出力部１０７に以下の確認応答を出力する。
装置の確認応答：「どちらの『あした』を再生しましょうか？」

この例は、「あした」という曲名検索に対して、複数の曲が見つかった例である。複数の例を音声だけでユーザに伝える場合、いくつかの内容を同時に伝える必要がある。例えば、表記がひらがななのか、あるいは漢字が使われているのか、また、誰の曲なのか、を伝えなくてはならないが、音声だけで理解するのは困難である。
ここで、応答を伝えるモーダルとして画像が使える場合には、曲のタイトルやアーティスト名、ジャケット写真等を同時に表示することにより、ユーザは容易にその内容を理解することが可能となる。ただし、この場合はユーザがその画面を見ていることが前提となるため、別途センサーを用いた認識などにより、ユーザが画面を見ているか、あるいは画面を見ることができる位置にいるかどうかを判定した上で、画面を用いるか音声のみを用いるかを決定する構成とすることが好ましい。

さらに、本実施例の変形例として、応答生成部１０６が、確認応答の出力に併せて外部機器に対する制御信号を出力する例について説明する。
図１８を参照して本実施例の情報処理装置３２０の構成例について説明する。
図１８に示す情報処理装置３２０は、先に実施例３として説明した図８に示す情報処理装置２６０の構成をベースとしており、応答生成部１０６が音声出力部（スピーカー）１０７を介した音声出力を実行するのみならず、外部機器３２１に対する制御信号を出力する構成としたものである。

この情報処理装置３１０は、応答生成部１０６は、音声出力部（スピーカー）１０７を介して、確認応答の音声を出力するとともに、外部機器３２１に対する制御信号を出力して、外部機器３２１を制御する。

本実施例の情報処理装置３２０の応答生成部１０６の生成する確認応答の具体例について説明する。
図１９に示す確認応答生成例４０２について説明する。

（確認応答生成例４０２）
図１９（４０２）に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話：「スピーカーから音楽を再生して」

ここで、発話ユーザの周囲には、複数のスピーカーがあるとする。
すなわち、情報処理装置３２０は、ユーザ周囲のどのスピーカーを利用して音楽再生を行うかを確認する必要がある。
応答生成部１０６は、画像認識部２６２から入力する複数のスピーカーの位置情報と、オブジェクト関連知識ベース辞書データから、各スピーカーに対する制御信号の出力態様情報を取得する。

さらに、応答生成部１０６は、取得した情報を利用して、例えば、まず、ユーザに一番近いスピーカー（外部機器）のＬＥＤを点滅させる制御信号をそのスピーカー（外部機器）に出力して、ＬＥＤを点滅させながら、音声出力部１０７を介して以下の確認応答を出力する。
装置の確認応答：「こちらのスピーカーでよろしいですか？」

この例は、ユーザ周囲には複数のスピーカーがあるが、ユーザからは「スピーカー」とのみ指定されているため、どのスピーカーなのかについて確認をするための確認応答である。

応答生成部１０６は、画像情報に基づいて、発話ユーザの近くにスピーカーがあることが確認できたため、そのスピーカーに対してＬＥＤ点滅制御信号を出力し、確認応答に含まれる「こちらのスピーカー」がどのスピーカーであるかをユーザに確実に認識させることが可能となる。

その結果、ユーザは（そうそう、このスピーカー）と考えることができ、
「うん、そうだよ」
のように回答することができる。

ただし、この場合はユーザがそのスピーカーの近くにいることが前提となるため、別途センサーを用いた認識などにより、ユーザがスピーカーの近くにいるか、あるいはスピーカーを見ることができる位置にいるかどうかを判定した上で、最適な処理を行うように制御することが好ましい。
また、応答生成部１０６は、さらに例えばセンサーによる認識・識別結果を入力して、応答や制御信号の出力態様をセンサーによる認識・識別結果に応じて変更する構成としてもよい。

［６．（実施例５）対話履歴に基づいて、確認応答を生成する実施例について］
次に、対話履歴に基づいて、確認応答を生成する実施例について説明する。
次に説明する実施例は、上述した実施例１〜４のいずれにおいても利用可能な実施例であり、対話履歴に基づいて、確認応答を生成する実施例である。

図２０を参照して本実施例の応答生成部１０６の生成する確認応答の具体例について説明する。
図２０には、最終的な装置の確認応答の前に、ユーザと装置間で以下の対話が行われた例を示している。
ユーザ発話：「横浜で遊べるところを教えて」
装置応答：「横浜みなとみらいに横浜コスモワールドという遊園地がありますよ」
ユーザ発話：「横浜みなとみらいのレストランを探して」
装置応答：「例えば、ランドマークタワーの中にいくつかレストランがありますよ。詳細をお知らせしましょうか？」
ユーザ発話：「港南区の地図を見せて」

ここで、「こうなん」という発話に対して、愛知県江南市、高知県香南市、横浜市港南区、新潟市江南区といった候補があり、一意に決められるだけの確信度がないものとする。
しかし、応答生成部１０６は、この発話以前に、横浜に関する対話を続けていたことにより、その履歴から横浜市港南区である可能性が高いと判断する。
そこで、応答生成部１０６は、『横浜の』を付与した確認応答、すなわち、以下の確認応答を生成して出力する。
装置確認応答：「横浜の港南区でよろしいですか？」

このような対話履歴に基づく付加情報（横浜の）を追加して確認応答を行うことで、ユーザは装置が正しく場所を認識したことを確認できる。

なお、図２〜図２０を参照して、本開示の情報処理装置の構成と処理の複数の例について説明したが、これらの各実施例は、任意の複数の実施例を組み合わせた構成とすることが可能である。さらに、以下において説明するように、図２他に示す情報処理装置の機能や処理は、複数の装置に分散させた構成とすることも可能である。

［７．情報処理装置、および情報処理システムの構成例について］
複数の実施例について説明したが、これらの実施例において説明した例えば、図２他に示す情報処理装置の各処理機能は、すべて一つの装置、例えばユーザの所有するスマホやＰＣ等の装置内に構成することも可能であるが、その一部をサーバ等において実行する構成とすることも可能である。

図２１にシステム構成例を示す。
図２１（１）情報処理システム構成例１は、図２他に示す情報処理装置のほぼ全ての機能を一つの装置、例えばユーザの所有するスマホやＰＣ、あるいは音声の入出力と画像の入出力機能を持つエージェント機器等のユーザ端末である情報処理装置４１０内に構成した例である。
ユーザ端末に相当する情報処理装置４１０は、例えば応答文生成時に外部アプリを利用する場合にのみ、アプリ実行サーバ４２０と通信を実行する。

一方、図２１（２）情報処理システム構成例２は、図２他に示す情報処理装置の機能の一部をユーザの所有するスマホやＰＣ、エージェント機器等のユーザ端末である情報処理装置４１０内に構成し、一部を情報処理装置と通信可能なデータ処理サーバ４６０において実行する構成としたシステム例である。
例えば、図２に示す装置中の音声入力部１０１、音声出力部１０２のみ、あるいはこれらに画像入出力部や応答生成部１０６を含む機能のみをユーザ端末側の情報処理装置４１０側に設け、その他の機能をすべてサーバ側で実行するといった構成等が可能である。

［８．情報処理装置のハードウェア構成例について］
次に、図２２を参照して、情報処理装置のハードウェア構成例について説明する。
図２２を参照して説明するハードウェアは、先に図２他を参照して説明した情報処理装置のハードウェア構成例であり、また、図２１を参照して説明したデータ処理サーバ４６０を構成する情報処理装置のハードウェア構成の一例である。

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）５０１は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサーなどよりなる入力部５０６、ディスプレイ、スピーカーなどよりなる出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ−Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

［９．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記確認応答生成部は、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理装置。

（２）前記確認応答生成部は、
一般知識ベース辞書データから取得した一般知識によって構成される付加情報を用いた確認応答の生成を実行する（１）に記載の情報処理装置。

（３）前記一般知識は日付の読み方情報、またはカレンダー情報の少なくともいずれかである（２）に記載の情報処理装置。

（４）前記一般知識は歴史情報、または組織情報の少なくともいずれかである（２）に記載の情報処理装置。

（５）前記確認応答生成部は、
アプリケーション実行部において実行されるアプリケーションから得られる情報を用いた確認応答の生成を実行する（１）〜（４）いずれかに記載の情報処理装置。

（６）前記アプリケーション実行部において実行されるアプリケーションはスケジュール登録アプリケーションであり、
前記確認応答生成部は、
前記スケジュール登録アプリケーションから得られる発話ユーザのスケジュール情報を用いた確認応答の生成を実行する（５）に記載の情報処理装置。

（７）前記アプリケーション実行部において実行されるアプリケーションは知人登録アプリケーションであり、
前記確認応答生成部は、
前記知人登録アプリケーションから得られる発話ユーザの知人情報を用いた確認応答の生成を実行する（５）に記載の情報処理装置。

（８）前記情報処理装置は、さらに、
前記発話ユーザの周辺画像を撮影する画像入力部、または前記発話ユーザの周辺情報を入力するセンサーを有し、
前記確認応答生成部は、
前記画像入力部からの入力画像、またはセンサー検出情報を解析し、解析結果から得られる情報を用いた確認応答を生成する（１）〜（７）いずれかに記載の情報処理装置。

（９）前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人または物を識別して、識別結果を用いた確認応答を生成する（８）に記載の情報処理装置。

（１０）前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人の属性を識別して、識別属性に応じた確認応答の生成を実行する（８）または（９）に記載の情報処理装置。

（１１）前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人の年齢を識別して、識別年令に応じた確認応答の生成を実行する（８）〜（１０）いずれかに記載の情報処理装置。

（１２）前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人の構成を識別して、識別した人の構成に応じた確認応答の生成を実行する（８）〜（１１）いずれかに記載の情報処理装置。

（１３）前記確認応答生成部は、
確認応答の音声出力に併せて、確認応答のための画像を生成して画像出力部に出力する（１）〜（１２）いずれかに記載の情報処理装置。

（１４）前記確認応答生成部は、
確認応答の音声出力に併せて、確認応答のための機器制御信号を生成して、制御対象となる外部機器に出力する（１）〜（１３）いずれかに記載の情報処理装置。

（１５）前記確認応答生成部は、
対話履歴情報に基づく確認応答生成処理を実行する（１）〜（１４）いずれかに記載の情報処理装置。

（１６）前記情報処理装置は、
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行する対話制御部を有し、
前記対話制御部は、
前記意図理解部の生成した意図理解結果に基づいて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を行うか否かを判定し、
前記確認応答生成部は、
前記対話制御部において確認応答を行うとの判定がなされた場合に、確認応答の生成処理を実行する（１）〜（１５）いずれかに記載の情報処理装置。

（１７）ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記データ処理サーバは、
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行するとともに、意図理解結果に基づいて前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末の確認応答生成部に対して確認応答生成命令を出力する対話制御部を有し、
前記ユーザ端末の前記確認応答生成部は、
前記データ処理サーバからの確認応答生成命令入力に応じて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理システム。

（１８）情報処理装置において実行する情報処理方法であり、
音声入力部が、ユーザ発話を入力する音声入力ステップと、
確認応答生成部が、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成ステップと、
音声出力部が、前記確認応答生成ステップで生成した確認応答を出力する音声出力ステップを実行し、
前記確認応答生成ステップにおいて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理方法。

（１９）ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記音声入力処理において入力された入力音声の音声認識処理と、
前記音声認識処理の生成した音声認識結果に基づく意図理解処理と、
前記意図理解処理の意図理解結果に基づいて、前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末に対して確認応答生成命令を出力し、
前記ユーザ端末が、
前記データ処理サーバからの確認応答生成命令入力に応じて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成処理を実行し、
前記確認応答生成処理において、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成処理を実行する情報処理方法。

（２０）情報処理装置において情報処理を実行させるプログラムであり、
音声入力部に、ユーザ発話を入力させる音声入力ステップと、
確認応答生成部に、前記ユーザ発話に対する発話ユーザの確認を求めるための確認応答を生成させる確認応答生成ステップと、
音声出力部に、前記確認応答を出力させる音声出力ステップを実行させ、
前記確認応答生成ステップにおいては、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、ユーザ発話に対する確認応答を生成する際に、辞書データやアプリケーション実行結果から取得される付加情報を追加することで誤解が生じる可能性を低減した確認応答を生成する構成が実現される。
具体的には、例えば、ユーザ発話を入力する音声入力部と、ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、確認応答生成部の生成した確認応答を出力する音声出力部を有し、確認応答生成部は、辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する。例えば、一般知識ベース辞書データや、アプリケーションの実行結果、あるいは、撮影画像やセンサー等から得られる情報を用いた確認応答を生成する。
本構成により、ユーザ発話に対する確認応答を生成する際に、辞書データやアプリケーション実行結果から取得される付加情報を追加することで誤解が生じる可能性を低減した確認応答を生成する構成が実現される。

１００情報処理装置
１０１音声入力部（マイク）
１０２音声認識部
１０３意図理解部
１０４対話制御部
１０５アプリ実行部
１０６応答生成部
１０７音声出力部（スピーカ）
２２０，２４０，２６０，２８０，２９０，３１０，３２０情報処理装置
２２１一般知識ベース辞書データ
２４１アプリ実行部
２６１画像入力部（カメラ）
２６２画像認識部
２６３オブジェクト（画像）データベース
２６４オブジェクト関連知識ベース辞書データ
２８１画像入力部（カメラ）
２８２ユーザ識別部
２８３ユーザ画像データベース
２８４ユーザ情報関連知識ベース辞書データ
２９１センサー
２９２センサー検出信号解析部
２９３センサー検出情報関連知識ベース辞書データ
３１１画像出力部（モニタ）
３２１外部機器
４１０情報処理装置
４２０アプリ実行サーサーバ
４６０データ処理サーバ
５０１ＣＰＵ
５０２ＲＯＭ
５０３ＲＡＭ
５０４バス
５０５入出力インタフェース
５０６入力部
５０７出力部
５０８記憶部
５０９通信部
５１０ドライブ
５１１リムーバブルメディア

Claims

ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記確認応答生成部は、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理装置。
前記確認応答生成部は、
一般知識ベース辞書データから取得した一般知識によって構成される付加情報を用いた確認応答の生成を実行する請求項１に記載の情報処理装置。
前記一般知識は日付の読み方情報、またはカレンダー情報の少なくともいずれかである請求項２に記載の情報処理装置。
前記一般知識は歴史情報、または組織情報の少なくともいずれかである請求項２に記載の情報処理装置。
前記確認応答生成部は、
アプリケーション実行部において実行されるアプリケーションから得られる情報を用いた確認応答の生成を実行する請求項１に記載の情報処理装置。
前記アプリケーション実行部において実行されるアプリケーションはスケジュール登録アプリケーションであり、
前記確認応答生成部は、
前記スケジュール登録アプリケーションから得られる発話ユーザのスケジュール情報を用いた確認応答の生成を実行する請求項５に記載の情報処理装置。
前記アプリケーション実行部において実行されるアプリケーションは知人登録アプリケーションであり、
前記確認応答生成部は、
前記知人登録アプリケーションから得られる発話ユーザの知人情報を用いた確認応答の生成を実行する請求項５に記載の情報処理装置。
前記情報処理装置は、さらに、
前記発話ユーザの周辺画像を撮影する画像入力部、または前記発話ユーザの周辺情報を入力するセンサーを有し、
前記確認応答生成部は、
前記画像入力部からの入力画像、またはセンサー検出情報を解析し、解析結果から得られる情報を用いた確認応答を生成する請求項１に記載の情報処理装置。
前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人または物を識別して、識別結果を用いた確認応答を生成する請求項８に記載の情報処理装置。
前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人の属性を識別して、識別属性に応じた確認応答の生成を実行する請求項８に記載の情報処理装置。
前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人の年齢を識別して、識別年令に応じた確認応答の生成を実行する請求項８に記載の情報処理装置。
前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人の構成を識別して、識別した人の構成に応じた確認応答の生成を実行する請求項８に記載の情報処理装置。
前記確認応答生成部は、
確認応答の音声出力に併せて、確認応答のための画像を生成して画像出力部に出力する請求項１に記載の情報処理装置。
前記確認応答生成部は、
確認応答の音声出力に併せて、確認応答のための機器制御信号を生成して、制御対象となる外部機器に出力する請求項１に記載の情報処理装置。
前記確認応答生成部は、
対話履歴情報に基づく確認応答生成処理を実行する請求項１に記載の情報処理装置。
前記情報処理装置は、
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行する対話制御部を有し、
前記対話制御部は、
前記意図理解部の生成した意図理解結果に基づいて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を行うか否かを判定し、
前記確認応答生成部は、
前記対話制御部において確認応答を行うとの判定がなされた場合に、確認応答の生成処理を実行する請求項１に記載の情報処理装置。
ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記データ処理サーバは、
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行するとともに、意図理解結果に基づいて前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末の確認応答生成部に対して確認応答生成命令を出力する対話制御部を有し、
前記ユーザ端末の前記確認応答生成部は、
前記データ処理サーバからの確認応答生成命令入力に応じて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理システム。
情報処理装置において実行する情報処理方法であり、
音声入力部が、ユーザ発話を入力する音声入力ステップと、
確認応答生成部が、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成ステップと、
音声出力部が、前記確認応答生成ステップで生成した確認応答を出力する音声出力ステップを実行し、
前記確認応答生成ステップにおいて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理方法。
ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記音声入力処理において入力された入力音声の音声認識処理と、
前記音声認識処理の生成した音声認識結果に基づく意図理解処理と、
前記意図理解処理の意図理解結果に基づいて、前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末に対して確認応答生成命令を出力し、
前記ユーザ端末が、
前記データ処理サーバからの確認応答生成命令入力に応じて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成処理を実行し、
前記確認応答生成処理において、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成処理を実行する情報処理方法。
情報処理装置において情報処理を実行させるプログラムであり、
音声入力部に、ユーザ発話を入力させる音声入力ステップと、
確認応答生成部に、前記ユーザ発話に対する発話ユーザの確認を求めるための確認応答を生成させる確認応答生成ステップと、
音声出力部に、前記確認応答を出力させる音声出力ステップを実行させ、
前記確認応答生成ステップにおいては、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行させるプログラム。