WO2020003820A1

WO2020003820A1 - 複数の処理を並列実行する情報処理装置

Info

Publication number: WO2020003820A1
Application number: PCT/JP2019/020276
Authority: WO
Inventors: 鶴田　泰士
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-06-28
Filing date: 2019-05-22
Publication date: 2020-01-02
Anticipated expiration: 2020-12-28
Also published as: US20210271358A1; EP3816774A4; EP3816774A1

Abstract

情報処理装置に対する複数ユーザからの指示各々に対応する処理を遅滞なく並列に実行する装置、方法を実現する。情報処理装置に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成するユーザ対応指示解析部と、ユーザ対応指示情報に基づいて各ユーザ指示に対応の複数処理を並列に実行する処理実行部を有する。情報処理装置に対する複数ユーザからの指示がポインタの異なる方向への移動指示である場合、処理実行部はポインタを分割して、複数のポインタを各ユーザの指示する方向へ移動させる処理を実行する。ユーザ指示が異なる選択肢の選択指示の場合、各ユーザの選択肢に対応する情報を、表示領域を分割して並列に表示する。

Description

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

　本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、ユーザ発話の音声認識結果に基づく処理や応答を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。

　昨今、ユーザ発話の音声認識を行い、認識結果に基づく様々な処理や応答を行う音声認識システムの利用が増大している。
　この音声認識システムにおいては、マイクを介して入力するユーザ発話を認識理解して、それに応じた処理を行う。
　例えばユーザが、「明日の天気を教えて」と発話した場合、天気情報提供サーバから天気情報を取得して、取得情報に基づくシステム応答を生成して、生成した応答をスピーカーから出力する。具体的には、例えば、
　システム発話＝「明日の天気は晴れです。ただし、夕方、雷雨があるかもしれません」
　このようなシステム発話を出力する。

　このような音声認識を行う機器として、スマートフォン等のモバイル機器、スマートスピーカー、エージェント機器、サイネージ機器等がある。
　スマートスピーカー、エージェント機器、サイネージ機器等を利用した構成では、これらの機器の周囲に多くの人がいる場合が多い。
　音声認識機器は、機器に対する発話者（発話ユーザ）を特定し、その発話者の求めるサービスを提供すること、具体的には例えば発話者の求める表示情報を表示する等の処理が必要となる。

　発話者の求める表示情報の表示処理を開示した従来技術として、例えば特許文献１（特開２０００－１８７５５３号公報）がある。この文献は、カメラ等によって撮影された画像から発話者の注視位置を検出して、検出結果に基づいて表示情報を制御する構成を開示している。

　しかし、例えば、エージェント機器の前に複数のユーザがおり、これらのユーザが機器に対してほぼ同時に異なる指示を行った場合、多くの場合、エージェント機器は、これらの複数の異なる指示に対する処理を同時に実行することができない。

　例えば、あるユーザがエージェント機器の表示画面に示されたポインタの操作指示として、例えば「もっと上」等の発話を行っているときに、別のユーザが別の場所を指し示したくなり、「左」と発話したとしても、エージェント機器はいずれか一方の指示に対応した処理を行うしかない。このように２人のユーザが異なる指示を行った場合、一方のユーザの指示に対する処理が終わるのを待って、別のユーザの指示に応じた処理を開始せざる得ない。

　このように、複数のユーザが別々の異なる指示をほぼ同時に発話した場合、エージェント機器は、これら２つの指示を同時に実行することができない。機器が先に認識した発話の指示情報のみに従った処理を行い、その指示の処理が完了した後、次のユーザの指示に応じた処理を行うといった処理を行わざる得ない。これでは、ユーザの利便性が損なわれる。

特開２０００－１８７５５３号公報

　本開示は、例えば、上記問題点に鑑みてなされたものであり、複数のユーザの異なる指示に対する処理を遅滞なく実行することを可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　情報処理装置に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成するユーザ対応指示解析部と、
　前記ユーザ対応指示情報に基づいて、各ユーザ指示に対応する複数の処理を並列に実行する処理実行部を有する情報処理装置にある。

　さらに、本開示の第２の側面は、
　情報処理端末とサーバを有する情報処理システムであり、
　前記情報処理端末は、
　音声入力部と、画像入力部と、
　音声出力部と、画像出力部と、
　前記音声入力部を介して取得した音声と、前記画像入力部を介して取得した撮影画像を前記サーバに送信する通信部を有し、
　前記サーバは、
　前記情報処理端末からの受信データに基づいて、
　前記情報処理端末に対する複数ユーザからの指示各々に対応する複数の処理を並列に実行し、処理結果を前記情報処理端末に送信し、
　前記情報処理端末は、
　前記サーバから受信した処理結果を前記音声出力部と前記画像出力部の少なくともいずれかに出力する情報処理システムにある。

　さらに、本開示の第３の側面は、
　情報処理装置において実行する情報処理方法であり、
　ユーザ対応指示解析部が、情報処理装置に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成するユーザ対応指示解析ステップと、
　処理実行部が、前記ユーザ対応指示情報に基づいて、各ユーザ指示に対応する複数の処理を並列に実行する処理実行ステップを実行する情報処理方法にある。

　さらに、本開示の第４の側面は、
　情報処理端末とサーバを有する情報処理システムにおいて実行する情報処理方法であり、
　前記情報処理端末は、
　音声入力部を介して取得した音声と、撮像部を介して取得した撮影画像を前記サーバに送信し、
　前記サーバは、
　前記情報処理端末からの受信データに基づいて、
　前記情報処理端末に対する複数ユーザからの指示各々に対応する複数の処理を並列に実行し、処理結果を前記情報処理端末に送信し、
　前記情報処理端末は、
　前記サーバから受信した処理結果を音声出力部と画像出力部の少なくともいずれかに出力する情報処理方法にある。

　さらに、本開示の第５の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　ユーザ対応指示解析部に、情報処理装置に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成させるユーザ対応指示解析ステップと、
　処理実行部に、前記ユーザ対応指示情報に基づいて、各ユーザ指示に対応する複数の処理を並列に実行させる処理実行ステップを、
　実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、情報処理装置に対する複数ユーザからの指示各々に対応する処理を遅滞なく並列に実行する装置、方法が実現される。
　具体的には、例えば、情報処理装置に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成するユーザ対応指示解析部と、ユーザ対応指示情報に基づいて各ユーザ指示に対応の複数処理を並列に実行する処理実行部を有する。情報処理装置に対する複数ユーザからの指示がポインタの異なる方向への移動指示である場合、処理実行部はポインタを分割して、複数のポインタを各ユーザの指示する方向へ移動させる処理を実行する。ユーザ指示が異なる選択肢の選択指示の場合、各ユーザの選択肢に対応する情報を、表示領域を分割して並列に表示する。
　本構成により、情報処理装置に対する複数ユーザからの指示各々に対応する処理を遅滞なく並列に実行する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

ユーザ発話に対する応答を行う情報処理装置の具体的な処理例について説明する図である。情報処理装置の構成例と利用例について説明する図である。本開示の情報処理装置の構成例について説明する図である。本開示の情報処理装置の実行する処理の一例について説明する図である。本開示の情報処理装置の実行する処理の一例について説明する図である。本開示の情報処理装置の実行する処理の一例について説明する図である。本開示の情報処理装置の実行する処理の一例について説明する図である。本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。本開示の情報処理装置の実行する処理の一例について説明する図である。本開示の情報処理装置の実行する処理の一例について説明する図である。本開示の情報処理装置の実行する処理の一例について説明する図である。本開示の情報処理装置の実行する処理の一例について説明する図である。本開示の情報処理装置の実行する処理の一例について説明する図である。本開示の情報処理装置の実行する処理の一例について説明する図である。本開示の情報処理装置の実行する処理の一例について説明する図である。本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。情報処理システムの構成例について説明する図である。情報処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．情報処理装置の実行する処理の概要について
　２．情報処理装置の構成例について
　３．画像出力部（表示部）に表示されたポインタの移動指示に対する処理例について
　４．画像出力部（表示部）の表示情報の更新処理の具体例について
　５．情報処理装置、および情報処理システムの構成例について
　６．情報処理装置のハードウェア構成例について
　７．本開示の構成のまとめ

　　［１．情報処理装置の実行する処理の概要について］
　まず、図１以下を参照して、本開示の情報処理装置の実行する処理の概要についてについて説明する。

　図１は、発話者１の発するユーザ発話を認識して応答を行う情報処理装置１０の一処理例を示す図である。
　情報処理装置１０は、発話者１のユーザ発話、例えば、
　ユーザ発話＝「大阪の明日、午後の天気を教えて」
　このユーザ発話の音声認識処理を実行する。

　さらに、情報処理装置１０は、ユーザ発話の音声認識結果に基づく処理を実行する。
　図１に示す例では、ユーザ発話＝「大阪の明日、午後の天気を教えて」に応答するためのデータを取得し、取得データに基づいて応答を生成して、生成した応答を、スピーカー１４を介して出力する。
　図１に示す例では、情報処理装置１０は、天気情報を示す画像表示を行うとともに、以下のシステム応答を行っている。
　システム応答＝「大阪の明日、午後の天気は晴れですが、夕方、にわか雨がある可能性があります。」
　情報処理装置１０は、音声合成処理（ＴＴＳ：Ｔｅｘｔ　Ｔｏ　Ｓｐｅｅｃｈ）を実行して上記のシステム応答を生成して出力する。

　情報処理装置１０は、装置内の記憶部から取得した知識データ、またはネットワークを介して取得した知識データを利用して応答を生成して出力する。
　図１に示す情報処理装置１０は、撮像部１１、マイク１２、表示部１３、スピーカー１４を有しており、音声入出力と画像入出力が可能な構成を有する。

　撮像部１１は、例えば、ほぼ周囲３６０°の画像を撮影可能な全方位カメラである。また、マイク１２は、音源方向を特定可能とした複数のマイクロフォンから構成されるマイクロフォン・アレイとして構成されている。
　表示部１３は、図に示す例ではプロジェクタ型の表示部を用いた例を示している。ただし、表示部１３は、ディスプレイ型の表示部としてもよいし、あるいは情報処理装置１０に接続されたＴＶ、ＰＣ等の表示部に表示情報を出力する構成としてもよい、

　図１に示す情報処理装置１０は、例えばスマートスピーカーあるいはエージェント機器と呼ばれる。
　本開示の情報処理装置１０は、図２に示すように、エージェント機器１０ａに限らず、スマホ１０ｂやＰＣ１０ｃ等、あるいは公共の場所に設置されたサイネージ機器のような様々な装置形態とすることが可能である。

　情報処理装置１０は、発話者１の発話を認識して、ユーザ発話に基づく応答を行う他、例えば、ユーザ発話に応じて図２に示すテレビ、エアコン等の外部機器３０の制御も実行する。
　例えばユーザ発話が「テレビのチャンネルを１に変えて」、あるいは「エアコンの設定温度を２０度にして」といった要求である場合、情報処理装置１０は、このユーザ発話の音声認識結果に基づいて、外部機器３０に対して制御信号（Ｗｉ－Ｆｉ、赤外光など）を出力して、ユーザ発話に従った制御を実行する。

　なお、情報処理装置１０は、ネットワークを介してサーバ２０と接続され、サーバ２０から、ユーザ発話に対する応答を生成するために必要となる情報を取得することが可能である。また、音声認識処理や意味解析処理をサーバに行わせる構成としてもよい。

　　［２．情報処理装置の構成例について］
　次に、図３を参照して、情報処理装置の具体的な構成例について説明する。
　図３には、ユーザ発話を認識して、ユーザ発話に対応する処理や応答を行う情報処理装置１０の一構成例を示す図である。

　図３に示すように、情報処理装置１０は、入力部１１０、出力部１２０、データ処理部１５０を有する。
　なお、データ処理部１５０は、情報処理装置１０内に構成することも可能であるが、情報処理装置１０内に構成せず、外部サーバのデータ処理部を利用してもよい。サーバを利用した構成の場合、情報処理装置１０は、入力部１１０から入力した入力データを、ネットワークを介してサーバに送信し、サーバのデータ処理部１５０の処理結果を受信して、出力部１２０を介して出力する。

　次に、図３に示す情報処理装置１０の構成要素について説明する。
　入力部１１０は、音声入力部（マイク）１１１、画像入力部（カメラ）１１２を有する。
　出力部１２０は、音声出力部（スピーカー）１２１、画像出力部（表示部）１２２を有する。
　情報処理装置１０は、最低限、これらの構成要素を有する。

　音声入力部（マイク）１１１は、図１に示す情報処理装置１０のマイク１２に対応する。音声入力部（マイク）１１１は、音源方向を特定可能とした複数のマイクロフォンから構成されるマイクロフォン・アレイとして構成されている。
　撮像部１１２は、図１に示す情報処理装置１０の撮像部１１に対応する。例えば、ほぼ周囲３６０°の画像を撮影可能な全方位カメラである。

　音声出力部（スピーカー）１２１は、図１に示す情報処理装置１０のスピーカー１４に対応する。
　画像出力部（表示部）１２２は、図１に示す情報処理装置１０の表示部１３に対応する。
　なお、画像出力部（表示部）１２２は、例えば、プロジェクタや、液晶表示部等のディスプレイによって構成することが可能であり、また外部装置のテレビの表示部を利用した構成とすることも可能である。

　データ処理部１５０は、前述したように情報処理装置１０、または情報処理装置１０と通信可能なサーバのいずれかに構成される。
　データ処理部１５０は、入力データ解析部１６０、処理制御部１７０、出力制御部１８０、記憶部１９０を有する。

　入力データ解析部１６０は、音声解析部１６１、画像解析部１６２を有する。
　処理制御部１７０は、ユーザ識別部１７１、ユーザ情報ＤＢ（データベース）１７２、ユーザ対応指示解析部１７３、処理実行部１７４、アプリケーション群１７５を有する。
　出力制御部１８０は、出力音声制御部１８１、表示情報制御部１８２を有する。

　ユーザの発話音声はマイクなどの音声入力部１１１に入力される。
　音声入力部（マイク）１１１は、入力したユーザ発話音声を音声解析部１６１に入力する。
　音声解析部１６１は、例えばＡＳＲ（Ａｕｔｏｍａｔｉｃ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ）機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。
　さらに、テキストデータに対する発話意味解析処理を実行する。
　音声解析部１６１は、例えば、ＮＬＵ（Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｕｎｄｅｒｓｔａｎｄｉｎｇ）等の自然言語理解機能を有し、テキストデータからユーザ発話の意図（インテント：Ｉｎｔｅｎｔ）や、発話に含まれる意味のある要素（有意要素）である実体情報（エンティティ：Ｅｎｔｉｔｙ）を推定する。

　ユーザ発話から、意図（インテント）と、実体情報（エンティティ）を正確に推定、取得することができれば、情報処理装置１０は、ユーザ発話に対する正確な処理を行うことができる。

　音声解析部１６１は、さらに、音源方向推定処理を行う。前述したように、音声入力部（マイク）１１１は、音源方向を特定可能とした複数のマイクロフォンから構成されるマイクロフォン・アレイとして構成されている。マイクロフォン・アレイの取得音は、複数の異なる位置に配置された複数のマイクの取得音である。音声解析部１６１は、この複数マイクの取得音に基づいて音源方向を推定する。マイクロフォン・アレイを構成する各マイクは音源方向に応じて位相差を持った音信号を取得する。この位相差は、音源方向に応じて異なるものとなる。音声解析部１６１は、各マイクの取得した音声信号の位相差を解析することで、音源方向を求める。

　音声解析部１６１の解析情報であるユーザ発話の音源方向情報は、処理制御部１７０のユーザ識別部１７１に入力される。
　また、音声解析部１６１の解析情報であるユーザ発話の意図（インテント：Ｉｎｔｅｎｔ）や、実体情報（エンティティ：Ｅｎｔｉｔｙ）を含む発話意味解析結果は、処理制御部１７０のユーザ対応指示解析部１７３に入力される。

　画像入力部１１２は、発話ユーザおよびその周囲の画像を撮影して、画像解析部１６２に入力する。
　画像解析部１６２は、発話ユーザの顔の表情やユーザの位置情報、行動、視線情報、発話ユーザの周囲情報等の解析を行い、この解析結果を、処理制御部１７０内のユーザ識別部１７１、ユーザ対応指示解析部１７２に出力する。

　処理制御部１７０のユーザ識別部１７１は、入力データ解析部１６０の音声解析部１６１や、画像解析部１６２からの解析情報を入力して、情報処理装置１０に対する指示を要求したユーザや、情報処理装置１０の前にいるユーザの識別処理を行う。

　ユーザ情報ＤＢ１７２には、予め登録されたユーザのユーザ情報が格納されている。具体的には、顔画像、顔特徴情報、音声情報や、その他、年齢、性別等の属来情報がユーザ識別子（ユーザＩＤ）に対応付けられて記録されている。
　ユーザ識別部１７１は、入力データ解析部１６０から入力する情報と、ユーザ情報ＤＢ１７２に登録された情報とを比較照合して、情報処理装置１０に対する指示を要求したユーザや、情報処理装置１０の前にいるユーザの識別処理を行う。

　ユーザ対応指示解析部１７３は、ユーザ識別部１７１が識別したユーザ識別情報と、入力データ解析部１６０の音声解析部１６１や、画像解析部１６２からの解析情報に基づいて得られる情報処理装置１０に対する指示情報を結び付けて、各ユーザ対応の指示情報を解析する。
　例えば、
　（１）ユーザＡの指示ａ、
　（２）ユーザＢの指示ｂ、
　このように各指示がどのユーザによるものかを判別する処理を行う。具体的にはユーザＩＤと指示情報とを対応付けたデータ、すなわちユーザ対応指示情報を生成して処理実行部１７４に入力する。

　なお、ユーザ対応指示解析部１７３は、ユーザ発話の音声解析によって得られたユーザの発話意図の他、画像入力部（カメラ）１１２の撮影した画像情報から得られたユーザの顔の向き、視線、指さし等のユーザのアクション（行動）を解析してユーザ対応指示情報を生成する。

　ユーザ対応指示解析部１７３が生成したユーザ対応指示情報は、処理実行部１７４に入力される。
　処理実行部１７４は、ユーザ対応指示情報に応じた処理を実行する。
　具体的には、例えば、アプリケーション群１７５からユーザ指示に応じた処理を実行するアプリケーションを選択して実行する。なお、これらのアプリケーションは情報処理装置１０内の記憶部に格納されたアプリケーションに限らず、外部サーバの提供するアプリケーションである場合もある。

　処理実行部１７４において実行された処理結果は、出力制御部１８０を介して出力される。出力制御部１８０は、出力音声制御部１８１、表示情報制御部１８２を有する。
　出力音声制御部１８１は、処理実行部１７４におけるアプリケーションの実行結果に基づいて、ユーザに対するシステム発話を生成する。
　出力音声制御部１８１の生成した応答音声情報は、スピーカー等の音声出力部１２１を介して出力される。

　表示情報制御部１８２は、処理実行部１７４におけるアプリケーションの実行結果に基づいて、画像出力部（表示部）１２２の表示情報の生成、更新等のま処理を行う。例えばユーザが世界地図を見せてというユーザ発話を行った場合、世界地図を表示する。

　また、ユーザが画像出力部（表示部）１２２に表示されたポインタを上に移動させてといった指示を行った場合、ユーザ指示に応じてポインタを上に移動させる処理を実行する。
　また、ユーザが画像出力部（表示部）１２２に表示された複数のインデックス画像からの１つの画像の選択指示を行った場合、その選択無画像の拡大画像の表示や詳細情報の表示等の処理を行う。
　これらの具体的な処理例については以下において説明する。

　　［３．画像出力部（表示部）に表示されたポインタの移動指示に対する処理例について］
　次に、ユーザの情報処理装置１０に対する指示が、画像出力部（表示部）１２２に表示されたポインタの移動指示である場合に、情報処理装置１０１が実行する処理の具体例について説明する。

　図４には、情報処理装置１０の画像出力部（表示部）１２２の表示画像２００の一例を示している。
　表示画像２００の前にはユーザＡ、ユーザＢの２人のユーザがいる。
　これらのユーザは、ユーザ識別部１７１において識別されている。すなわち、ユーザＡ，Ｂともユーザ情報ＤＢ１７２に登録されたユーザであり、情報処理装置１０は表示画像２００を見ているユーザがユーザＡとユーザＢであることを認識している。

　情報処理装置１０は、表示画像２００として地図データを表示している。この表示情報２００は、処理実行部１７４において実行されている地図表示アプリケーションが生成した表示データである。

　処理実行部１７４において実行されている地図表示アプリケーションに従って、情報処理装置１０は、例えば以下のシステム発話を、音声出力部（スピーカー）１２１を介して出力する。
　システム発話＝「目的地を指定してください」

　このシステム発話に併せて、処理実行部１７４のアプリケーションは表示情報制御部１８２を介して表示部にポインタを表示する。
　例えば図４に示すポインタ＠ｔ１，２０１が地図上に表示される。
　なお、＠ｔ１は時間ｔ１の表示データであることを意味する。
　図４に示す表示画像２００は、時間ｔ１の表示画像である。

　次に、図５に時間ｔ１以後（ｔ１～ｔ２）の表示画像２００の例を示す。
　時間ｔ１において、ユーザＡが以下のユーザ発話を行う。
　ユーザＡのユーザ発話＝「みぎ、みぎ…」

　情報処理装置１０は、このユーザ発話に対する音声認識結果に基づいて、ユーザＡがポインタを右に移動させる指示を出していると認識し、処理実行部１７４は、ポインタを表示画像２００の右方向に移動させる処理を行う。
　図５に示すように、時間ｔ１のポインタ＠ｔ１，２０１は、時間ｔ２において、ポインタ＠ｔ２，２０２の位置に右に移動して表示される。
　なお、ユーザＡのポインタの移動要求位置は、図５の表示画像２００の右領域に示す「ユーザＡのポインタ移動要求位置２１１」であるとする。

　図６は、次の時間ｔ２の表示画像２００の例を示している。
　時間ｔ２において、ユーザＢが以下のユーザ発話を行う。
　ユーザＢのユーザ発話＝「うえ、うえ…」
　このとき、ユーザＡも、以下のユーザ発話を継続して行っている。
　ユーザＡのユーザ発話＝「みぎ、みぎ…」

　情報処理装置１０は、これらのユーザ発話に対する音声認識結果に基づいて、ユーザＢがポインタを上に移動させる指示を出しており、ユーザＡはポインタを右に移動させる指示を継続して出していると認識する。

　図６に示すように、時間ｔ２において、ポインタは、ポインタ＠ｔ２，２０２の位置に表示されている。
　また、ユーザＢのポインタの移動要求位置は、図６の表示画像２００の上部領域に示す「ユーザＢのポインタ移動要求位置２１２」であるとする。

　図７は、次の時間ｔ３の表示画像２００の例を示している。
　先の図６において説明したように、ユーザＡ，Ｂは、時間ｔ２以降、以下のユーザ発話を行っている。
　ユーザＡのユーザ発話＝「みぎ、みぎ…」
　ユーザＢのユーザ発話＝「うえ、うえ…」

　このようにユーザＡ，Ｂは、それぞれ異なる方向へのポインタの移動指示を行っている。
　この場合、情報処理装置１０の処理制御部１７０のユーザ対応指示解析部１７３は、情報処理装置１０に対するユーザ対応指示として、以下の２つの異なる指示が行われていることを認識する。
　（ユーザＡ対応指示１）ユーザＡによるポインタの右移動指示、
　（ユーザＢ対応指示２）ユーザＢによるポインタの上移動指示、

　情報処理装置１０の処理制御部１７０のユーザ対応指示解析部１７３は、これら２つの異なる指示が２人の異なるユーザによって行われていることを認識し、この２つの異なるユーザ対応指示情報を処理実行部１７４に入力する。

　処理実行部１７４は、ユーザ対応指示解析部１７３の解析した２つの異なるユーザ対応指示に応じた処理を実行する。
　すなわち、図７に示すように、時間ｔ２におけるポインタ位置で表示されたポインタ＠ｔ２を２つに分割する。

　分割後は、以下の２つの処理を並列に実行する。
　（ユーザＡ対応指示１）ユーザＡによるポインタの右移動指示、
　このユーザＡの指示に従って、ポインタを右方向に移動させて、ポインタ＠ｔ３，２０３として１つのポインタを表示する。さらに、
　（ユーザＢ対応指示２）ユーザＢによるポインタの上移動指示、
　このユーザＢの指示に従ってポインタを上方向に移動させて、分割ポインタ＠ｔ３，２０４として１つの分割ポインタを表示する。

　すなわち、時間ｔ２において、ポインタが分割され、右方向に移動するポインタと、上方向に移動するポインタの２つのポインタが同時に表示されることになる。
　時間ｔ３では、
　ユーザＡの指示に従って右方向に移動したポインタ＠ｔ３，２０３と、
　ユーザＢの指示に従って上方向に移動した分割ポインタ＠ｔ３，２０４、
　これらの２つのポインタが表示画像２００上に併せて表示された状態となる。

　この後、２つのポインタは、それぞれユーザＡとユーザＢの移動指示に従い、最終的には、それぞれ、図に示す「ユーザＡのポインタ移動要求位置２１１」と、「ユーザＢのポインタ移動要求位置２１２」の位置に到達することになる。
　処理実行部１７４は、表示されたポインタの各々について、ユーザと対応付けたオブジェクトとして識別し、各ポインタについて対応ユーザの指示に応じて移動させる処理を実行する。

　このように、本開示の情報処理装置１０は、ユーザ単位の指示を個別に認識し、それぞれの指示を個別に並列に実行する。
　なお、ポインタを操作するユーザの指示は、方向を表す発話として、上述した上下左右の指示の他、東西南北の指示等も可能である。
　さらに、ユーザ発話に限らず、情報処理装置１０の入力部として構成されているテンキーに対する操作、例えばテンキーを方向に見立てて８が上、２が下等の入力部に対する操作であってもよい。

　また、ユーザのアクション、例えば、ユーザの指差し動作などであってもよい。例えば、画像解析部１６２がユーザアクションを解析して、ユーザ対応指示解析部１７３が、各ユーザのアクションに応じたユーザ対応指示を解析する。

　ポインタを分割するか否かの判定処理は、処理実行部１７４がユーザ対応指示解析部１７３の解析結果に応じて実行する。
　処理実行部１７４は、ユーザ対応指示解析部１７３から入力するユーザ対応指示が、２人の異なるユーザによる異なる指示である場合にポインタを分割する。

　すなわち、これまでのポインタ移動を指示していたユーザと、異なる新しいユーザによって、異なる移動指示が行われたかどうかで、ポインタ分割を行うか否かを判定する。

　指示を行ったユーザが、これまでの指示を行っていたユーザと異なる新しいユーザであるか否かの判定は、ユーザ対応指示解析部１７３が、ユーザ識別部１７１の識別結果に応じて実行することになる。
　ユーザ識別部１７１のユーザ識別処理は、音声解析部１６１の解析するユーザ発話の音声波形情報や、音声方向、さらに、画像解析部１６２の解析したユーザの顔やユーザの全体像、ユーザの位置などに基づいて行われる。なお、このユーザ識別処理にはユーザ情報ＤＢ１７２に登録済みの情報を利用して行われる。

　ポインタの移動指示等のポインタ操作を行っていない、新たなユーザが新たな異なる方向への移動等、異なるポインタ操作を指示すると、処理実行部１７４は、ポインタを分割して、複数のポインタを表示して、各ユーザの指示に応じた複数の移動処理を行い、各ユーザの意図に応じた複数の処理を並列に実行する。

　図４～図７を参照して説明したポインタ分割による複数ユーザ対応の処理を行う処理シーケンスについて、図８に示すフローチャートを参照して説明する。
　なお、図８のフローに示す処理は、情報処理装置１０の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
　以下、図８に示すフローの各ステップの処理について説明する。

　　（ステップＳ１０１）
　まず、ステップＳ１０１において、情報処理装置１０に対してなされたユーザ指示の解析処理を実行する。
　このユーザ指示の解析処理は、入力データ解析部１６０と、処理制御部１７０において行われる。

　ユーザ指示は、ユーザ発話、指さし、顔方向や視線の移動等、様々なユーザの行動によって行うことが可能である。
　入力データ解析部１６０の音声解析部１６１は、音声入力部（マイク）１１１を介して入力するユーザ発話を解析しユーザ指示の有無、ユーザ指示の意図等の解析を行う。
　また、入力データ解析部１６０の画像解析部１６２は、画像入力部（カメラ）１１２を介して入力するユーザの画像を解析し、例えば指さし等のユーザアクションに基づいてユーザ指示の有無、ユーザ指示の意図等の解析を行う。
　この解析情報は処理制御部１７０のユーザ識別部１７１、ユーザ対応指示解析部１７３に入力される。

　　（ステップＳ１０２）
　ステップＳ１０２では、入力データ解析部１６０が解析結果に基づいてユーザ指示がポインタの移動指示であるか否かを判定する。
　ユーザ指示がポインタの移動指示である場合は、ステップＳ１０３に進む。
　ユーザ指示がポインタの移動指示でない場合は、ステップＳ１１１に進む。

　　（ステップＳ１１１）
　先に、ステップＳ１１１の処理について説明する。
　ステップＳ１１１は、ステップＳ１０２において、ユーザ指示がポインタの移動指示でない場合に実行する処理である。

　ユーザ指示がポインタの移動指示でない場合は、ステップＳ１１１において、ポインタ移動指示以外のユーザ指示に応じた処理を実行する。
　この処理は、処理実行部１７４が、ユーザ対応指示解析部１７３の解析したユーザ対応指示情報に従って実行する。

　ユーザ対応指示解析部１７３は、前述したように、ユーザ識別部１７１が識別したユーザ識別情報と、入力データ解析部１６０の音声解析部１６１や、画像解析部１６２からの解析情報に基づいて得られる情報処理装置１０に対する指示情報を結び付けて、各ユーザ対応の指示情報を解析する。
　例えば、
　（１）ユーザＡの指示ａ、
　（２）ユーザＢの指示ｂ、
　このように各指示がどのユーザによるものかを判別する処理を行う。具体的にはユーザＩＤと指示情報とを対応付けたデータ、すなわちユーザ対応指示情報を生成して処理実行部１７４に入力する。

　処理実行部１７４は、ユーザ対応指示解析部１７３が解析したユーザ対応指示情報に応じた処理を実行する。
　具体的には、例えば、アプリケーション群１７５からユーザ指示に応じた処理を実行するアプリケーションを選択して実行する。なお、これらのアプリケーションは情報処理装置１０内の記憶部に格納されたアプリケーションに限らず、外部サーバの提供するアプリケーションである場合もある。

　　（ステップＳ１０３）
　次に、ステップＳ１０３の処理について説明する。
　ステップＳ１０３は、ステップＳ１０２において、ユーザ指示がポインタの移動指示である場合に実行する処理である。

　ユーザ指示がポインタの移動指示である場合は、ステップＳ１０３において、ポインタ移動指示を実行したユーザのユーザ識別を実行する。
　この処理は、ユーザ識別部１７１と、ユーザ対応指示解析部１７３の実行する処理である。

　ユーザ識別部１７１は、入力データ解析部１６０の音声解析部１６１や、画像解析部１６２からの解析情報を入力して、情報処理装置１０に対する指示を要求したユーザや、情報処理装置１０の前にいるユーザの識別処理を行う。
　ユーザ識別部１７１は、入力データ解析部１６０から入力する情報と、ユーザ情報ＤＢ１７２に登録された情報とを比較照合して、情報処理装置１０に対する指示を要求したユーザや、情報処理装置１０の前にいるユーザの識別処理を行う。

　このユーザ識別情報は、ユーザ対応指示解析部１７３に入力され、ユーザ対応指示解析部１７３は、ユーザ識別部１７１が識別したユーザ識別情報と、入力データ解析部１６０の音声解析部１６１や、画像解析部１６２からの解析情報に基づいて得られる情報処理装置１０に対するユーザによるポインタ移動指示を実行したユーザを特定する。

　　（ステップＳ１０４）
　さらに、ユーザ対応指示解析部１７３は、ステップＳ１０４において、ポインタ移動指示の実行ユーザが、新規ユーザであるか否かを判定する。
　すなわち、これまでポインタの移動指示等のポインタ操作を行っていない、新たなユーザが新たな異なる方向への移動等、異なるポインタ操作を指示したか否かの判定処理を行う。

　前述したように、ユーザ対応指示解析部１７３は、ユーザ識別部１７１が識別したユーザ識別情報と、入力データ解析部１６０の解析情報に基づいて得られるユーザ指示情報との対応データを生成しており、このデータに基づいてポインタ移動指示の実行ユーザが、新規ユーザであるか否かを判定する。

　ポインタ移動指示の実行ユーザが新規ユーザでなく、これまでポインタ操作を行っているユーザと同じユーザであると判定した場合は、ステップＳ１０５に進む。
　一方、ポインタ移動指示の実行ユーザがこれまで、ポインタ操作を行っていたユーザと異なる新規ユーザであると判定した場合は、ステップＳ１０６に進む。

　　（ステップＳ１０５）
　ステップＳ１０５は、ステップＳ１０４で、ポインタ移動指示の実行ユーザが新規ユーザでなく、これまでポインタ操作を行っているユーザと同じユーザであると判定した場合に実行する処理である。

　この場合、ステップＳ１０５において、ユーザ指示に従ってポインタを移動する。
　この処理は、処理実行部１７４が実行する処理である。処理実行部１７４は、ユーザ対応指示解析部１７３の解析したユーザ対応指示情報、すなわちこれまでと同じユーザによるポインタ移動指示情報を入力して、この入力指示情報に従って処理を実行する。
　具体的には、アプリケーションの実行により、出力制御部１８０の表示情報制御部１８２に対してポインタの表示位置を変更させる処理コマンドを出力してポインタ位置をユーザの指示方向に移動させる処理を行う。

　　（ステップＳ１０６）
　ステップＳ１０６は、ステップＳ１０４で、ポインタ移動指示の実行ユーザが新規ユーザであり、これまでポインタ操作を行っているユーザと異なるユーザであると判定した場合に実行する処理である。

　この場合、ステップＳ１０６において、ポインタを分割して新規ユーザの指示に従って分割ポインタを移動させて表示する。この処理は、先に図７を参照して説明した処理に相当する。

　先に図７を参照して説明したように、処理実行部１７４は、ユーザ対応指示解析部１７３の解析したユーザ対応指示情報として、例えば以下の２つのユーザ対応指示情報を入力する。
　（ユーザＡ対応指示１）ユーザＡによるポインタの右移動指示、
　（ユーザＢ対応指示２）ユーザＢによるポインタの上移動指示、

　処理実行部１７４は、これら２つの異なるユーザ対応指示に応じた処理を実行する。
　すなわち、図７に示すように、時間ｔ２におけるポインタ位置で表示されたポインタ＠ｔ２を２つに分割し、１つは、
　（ユーザＡ対応指示１）ユーザＡによるポインタの右移動指示、
　このユーザＡの指示に従って、ポインタを右方向に移動させて、ポインタ＠ｔ３，２０３として１つのポインタを表示し、さらに、
　（ユーザＢ対応指示２）ユーザＢによるポインタの上移動指示、
　このユーザＢの指示に従ってポインタを上方向に移動させて、分割ポインタ＠ｔ３，２０４として１つの分割ポインタを表示する。

　なお、ステップＳ１１１、ステップＳ１０５、ステップＳ１０６の処理の後は、新たなユーザ指示の入力に応じてステップＳ１０１以下の処理を繰り返し実行する。

　このように、本開示の情報処理装置１０は、ユーザ単位の指示を個別に認識し、それぞれの指示を個別に並列に実行する。すなわち、各ユーザの意図に応じた複数の処理を並列に実行することが可能となり、ユーザ各々に、各ユーザの要求を反映した情報や処理を提供することが可能となる。

　　［４．画像出力部（表示部）の表示情報の更新処理の具体例について］
　次に、ユーザの情報処理装置１０に対する指示に応じて、画像出力部（表示部）１２２に表示された表示情報の分割表示や拡大表示、あるいは選択表示処理等、表示情報の更新を実行する場合の具体例について説明する。

　図９には、情報処理装置１０の画像出力部（表示部）１２２の時間ｔ１における表示画像２００の一例を示している。
　表示画像２００の前にはユーザＡ、ユーザＢの２人のユーザがいる。
　これらのユーザは、ユーザ識別部１７１において識別されている。すなわち、ユーザＡ，Ｂともユーザ情報ＤＢ１７２に登録されたユーザであり、情報処理装置１０は表示画像２００を見ているユーザがユーザＡとユーザＢであることを認識している。

　情報処理装置１０は、表示画像２００としておすすめ行楽地の候補値として６つの行楽地の代表画像をインデックス番号１～６とともに表示している。この表示情報２００は、処理実行部１７４において実行されている観光ガイドアプリケーションが生成した表示データである。

　処理実行部１７４において実行されている観光ガイドアプリケーションに従って、情報処理装置１０は、例えば以下のシステム発話を、音声出力部（スピーカー）１２１を介して出力する。
　システム発話＝「お好きな行楽地を指定してください」

　このシステム発話に応じて、２人のユーザＡ，Ｂがそれぞれ以下の発話を行う。
　ユーザＡのユーザ発話＝「３番みせて」
　ユーザＢのユーザ発話＝「５番みせて」

　情報処理装置１０は、これらのユーザ発話に対する音声認識結果に基づいて、ユーザＡが３番の行楽地の詳細情報の表示を要求する指示を行っており、ユーザＢが５番の行楽地の詳細情報の表示を要求する指示を行っていると認識する。

　すなわち、情報処理装置１０の処理制御部１７０のユーザ対応指示解析部１７３は、情報処理装置１０に対するユーザ対応指示として、以下の２つの異なる指示が行われていることを認識する。
　（ユーザＡ対応指示１）ユーザＡによる３番の行楽地の詳細情報表示指示、
　（ユーザＢ対応指示２）ユーザＢによる５番の行楽地の詳細情報表示指示、

　処理実行部１７４は、ユーザ対応指示解析部１７３の解析した２つの異なるユーザ対応指示に応じた処理を実行する。
　すなわち、図１０に示すように、表示画像２００の表示領域を２つに区分して、ユーザＡ側の右側の区分領域に、ユーザＡの指示に応じた３番の行楽地の詳細情報を表示し、ユーザＢ側の左側の区分領域に、ユーザＢの指示に応じた５番の行楽地の詳細情報を表示する。図１０に示す表示画像２００は時間ｔ２の表示画像である。

　なお、ユーザＡ，ユーザＢの位置については、画像入力部（カメラ）１１２の撮影画像に基づく画像解析部１６２の解析結果から取得される。
　ユーザ対応指示解析部１７３は、ユーザ位置情報も含むユーザ対応指示情報を生成して処理実行部１７４に出力する。
　すなわち、具体的には、例えば、以下のようなデータセット（１），（２）をユーザ対応指示情報として生成して処理実行部１７４に出力する。
　（１）ユーザＡの位置情報とユーザＡの指示情報の対応データ、
　（２）ユーザＢの位置情報とユーザＢの指示情報の対応データ、

　処理実行部１７４は、これらのユーザ単位の位置情報を含むユーザ単位の指示情報を入力して、実行する処理を決定して決定した処理を実行する。
　この結果として、図１０に示すように、ユーザＡの位置する右側領域にユーザＡの指示に応じた３番の行楽地の詳細情報を表示し、ユーザＢの位置する左側領域にユーザＢの指示に応じた５番の行楽地の詳細情報が表示される。

　さらに、図１１は、時間ｔ３における表示画像２００の更新処理例を示した図である。
　時間ｔ３においてユーザＡ、ユーザＢは以下のアクションを伴うユーザ発話を行っている。
　ユーザＡ
　ユーザＡアクション＝左側に表示された「ＭＭタワー」を指さしながら、
　ユーザＡ発話＝「行ってよかった」
　ユーザＢ
　ユーザＢアクション＝右側に表示された「ＰＰ公園」を見ながら、
　ユーザＢ発話＝「違う写真見せて」

　ユーザ対応指示解析部１７３は、ユーザＡ，ユーザＢの指さしや、顔、視線方向等のユーザアクション情報を、画像入力部（カメラ）１１２の撮影画像に基づく画像解析部１６２の解析結果から取得して、ユーザアクション情報も含むユーザ対応指示情報を生成して処理実行部１７４に出力する。
　すなわち、具体的には、例えば、以下のようなデータセット（１），（２）をユーザ対応指示情報として生成して処理実行部１７４に出力する。
　（１）ユーザＡのアクション情報（指さしとその方向）とユーザＡの指示情報の対応データ、
　（２）ユーザＢのアクション情報（顔、視線方向）とユーザＢの指示情報の対応データ、

　具体的には、以下のようなデータセット（１），（２）をユーザ対応指示情報として生成して処理実行部１７４に出力する。
　（１）ユーザＡ＝表示画像の左側方向の表示画像（ＭＭタワーの詳細情報）を指さしながらユーザ発話＝「行ってよかった」の投票指示、
　（２）ユーザＢ＝表示画像の右側方向の表示画像（ＰＰ公園の詳細情報）を見ながらユーザ発話＝「違う写真見せて」の指示、

　処理実行部１７４は、これらのユーザ単位のアクション情報を含むユーザ単位の指示情報を入力して、実行する処理を決定して決定した処理を実行する。
　この結果として、図１１に示すように、ユーザＡの指さし方向のＭＭタワーの詳細情報の投票項目［行ってよかった］に投票が行われ、投票数が１つカウントアップされる。
　また、ユーザＢの見ている方向のＰＰ公園の詳細情報に表示された写真が新たな写真に切り替える画像更新が実行される。

　このように、本開示の情報処理装置は、ユーザ各々の位置やアクション情報を解析し、さらに、ユーザ各々の位置やアクションに応じた処理を並列に実行する。このような処理を行うことで、各ユーザは、一方のユーザの処理の完了を待つといったことを行うことなく、即座に各々の指示を反映した情報の取得や処理の実行を行わせることが可能となる。

　次に、複数ユーザ各々の指示を反映させた処理を実行する実施例として、複数ユーザの指示が一致した場合の実施例について説明する。

　図１２は、先に説明した図９と同様、情報処理装置１０の画像出力部（表示部）１２２の時間ｔ１における表示画像２００の一例を示している。
　表示画像２００の前にはユーザＡ、ユーザＢの２人のユーザがいる。
　これらのユーザは、ユーザ識別部１７１において識別されている。すなわち、ユーザＡ，Ｂともユーザ情報ＤＢ１７２に登録されたユーザであり、情報処理装置１０は表示画像２００を見ているユーザがユーザＡとユーザＢであることを認識している。

　処理実行部１７４において実行されている観光ガイドアプリケーションに従って、情報処理装置１０は、例えば以下のシステム発話を、音声出力部（スピーカー）１２１を介して出力する。
　システム発話＝「お好きな行楽地を指定してください」
　このシステム発話に応じて、２人のユーザＡ，Ｂがそれぞれ以下の発話を行う。
　ユーザＡのユーザ発話＝「５番みせて」
　ユーザＢのユーザ発話＝「５番みせて」

　情報処理装置１０は、これらのユーザ発話に対する音声認識結果に基づいて、ユーザＡが５番の行楽地の詳細情報の表示を要求する指示を行っており、ユーザＢも５番の行楽地の詳細情報の表示を要求する指示を行っていると認識する。

　すなわち、情報処理装置１０の処理制御部１７０のユーザ対応指示解析部１７３は、情報処理装置１０に対するユーザ対応指示として、以下の２つの指示が行われていることを認識する。
　（ユーザＡ対応指示１）ユーザＡによる５番の行楽地の詳細情報表示指示、
　（ユーザＢ対応指示２）ユーザＢによる５番の行楽地の詳細情報表示指示、

　情報処理装置１０の処理制御部１７０のユーザ対応指示解析部１７３は、２人の異なるユーザの指示（同一の指示）を認識し、この２つのユーザ対応指示情報を処理実行部１７４に入力する。

　処理実行部１７４は、ユーザ対応指示解析部１７３の解析した２つのユーザ指示（同一の指示）に応じた処理を実行する。
　すなわち、図１３に示すように、表示画像２００の表示領域の全体に、２つのユーザ指示（同一の指示）に従って５番の行楽地の詳細情報を表示する。図１３に示す表示画像２００は時間ｔ２の表示画像である。

　このように、本開示の情報処理装置１０は、複数ユーザの指示が同じである場合、各ユーザの指示を反映した１つの処理を実行する。すなわち例えば表示領域を区分して同じ情報を並べて表示することなく、表示領域全体に１つの情報を出力する処理を行う。

　次に、複数ユーザ各々の指示を反映させた処理を実行する実施例として、複数ユーザの投票結果に基づく処理を行う実施例について説明する。

　図１４は、先に説明した図９と同様、情報処理装置１０の画像出力部（表示部）１２２の時間ｔ１における表示画像２００の一例を示している。
　表示画像２００の前にはユーザＡ～ユーザＦの６人のユーザがいる。
　これらのユーザは、ユーザ識別部１７１において識別されている。すなわち、ユーザＡ～Ｄは、いずれもユーザ情報ＤＢ１７２に登録されたユーザであり、情報処理装置１０は表示画像２００を見ているユーザがユーザＡ～ユーザＦであることを認識している。

　ただし、必ずしもすべてのユーザが予めユーザ情報ＤＢ１７２に登録されたユーザであることは必要でない。例えば、ユーザ情報ＤＢ１７２に登録されていないユーザが画像入力部（カメラ）１１２の撮影画像から検出された場合、ユーザ識別部１７１は、その新規ユーザに新たなユーザＩＤを対応付けて顔画像や位置情報とともにユーザ情報ＤＢ１７２に登録する。この登録情報を用いてその後の処理を実行する。

　図１４に示すように、情報処理装置１０は、表示画像２００としておすすめ行楽地の候補値として６つの行楽地の代表画像をインデックス番号１～６とともに表示している。この表示情報２００は、処理実行部１７４において実行されている観光ガイドアプリケーションが生成した表示データである。

　処理実行部１７４において実行されている観光ガイドアプリケーションに従って、情報処理装置１０は、例えば以下のシステム発話を、音声出力部（スピーカー）１２１を介して出力する。
　システム発話＝「見たいところに投票してください」
　処理実行部１７４は、さらに、このシステム発話の出力に併せて、表示画像２００上に投票締め切りまでの残り時間を示すバーインジケータを表示し、時間経過に併せてインジケータの残り時間の表示を減らしていくインジケータ更新処理を行う。

　システム発話に応じて、６人のユーザＡ～ユーザＦがそれぞれ以下の発話、すなわち投票を行う。
　ユーザＡのユーザ発話（投票）＝「３番みせて」
　ユーザＢのユーザ発話（投票）＝「ＰＰ公園」
　ユーザＡのユーザ発話（投票）＝「５番みせて」
　ユーザＢのユーザ発話（投票）＝「５番」
　ユーザＡのユーザ発話（投票）＝「２番みせて」
　ユーザＢのユーザ発話（投票）＝「ＭＭタワー」

　情報処理装置１０は、これらのユーザ発話に対する音声認識結果に基づいて、ユーザＡ～ユーザＦの発話、すなわち投票先を解析し、各行楽地１～６の得票数をカウントする。
　なお、各ユーザ発話の音声認識は、音声解析部１６１が実行し、どのユーザがどの発話を行ったかは、ユーザ対応指示解析部１７３が解析する。

　このユーザ対応指示解析部１７３の解析結果であるユーザ対応指示情報（＝投票情報）が処理実行部１７４に入力される。
　処理実行部１７４は、実行中のアプリケーションの処理によって、各行楽地１～６に対する得票数のカウントを実行する。

　この得票数カウント処理の結果に応じて、処理実行部１７４は、図１５に示すような表示画像の更新処理を行う。
　すなわち、図１５に示すように、表示画像２００の表示領域を２つに区分して、投票の多かった上位２つの行楽地の詳細情報を並べて表示する。さらに、この表示情報の更新処理に際して、以下のシステム発話を出力する。
　システム発話＝投票が多かった上位２つを表示します。

　このように、本開示の情報処理装置１０は、多数のユーザの指示に応じた処理をすべて並列に実行するのみならず、より多くのユーザが行った指示を選択して、その選択された指示に応じた処理を行うといった処理を行うこともできる。
　これらは、各ユーザの個別の指示をすべて解析することで実現されるものである。

　次に、図９～図１５を参照して説明した処理の処理シーケンスについてフローチャートを参照して説明する。
　まず、図１６に示すフローチャートを参照して、ユーザ指示に応じて画面分割を行い、各分割領域に各ユーザ指示に対応した情報を出力する処理シーケンスについて説明する。

　なお、図１６のフローに示す処理は、情報処理装置１０の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
　以下、図１６に示すフローの各ステップの処理について説明する。

　　（ステップＳ２０１）
　ステップＳ２０１～Ｓ２０５の処理は、処理実行部１７４において実行しているアプリケーションが規定する画面分割処理許容期間内に行われる処理である。

　　（ステップＳ２０２）
　ステップＳ２０２において、情報処理装置１０に対して実行されたユーザ指示の解析処理を行う。
　このユーザ指示の解析処理は、入力データ解析部１６０と、処理制御部１７０において行われる。

　ユーザ指示は、ユーザ発話、指さし、顔方向や視線の移動等、様々なユーザアクションによって行うことが可能である。
　入力データ解析部１６０の音声解析部１６１は、音声入力部（マイク）１１１を介して入力するユーザ発話を解析しユーザ指示の有無、ユーザ指示の意図等の解析を行う。
　また、入力データ解析部１６０の画像解析部１６２は、画像入力部（カメラ）１１２を介して入力するユーザの画像を解析し、例えば指さし等のユーザアクションに基づいてユーザ指示の有無、ユーザ指示の意図等の解析を行う。
　この解析情報は処理制御部１７０のユーザ識別部１７１、ユーザ対応指示解析部１７３に入力される。

　　（ステップＳ２０３）
　ステップＳ２０３では、入力データ解析部１６０が解析結果に基づいてユーザ指示が選択肢の選択指示、すなわち表示中のデータ項目（アイテム）の選択指示であるか否かを判定する。
　例えば、先に図９を参照して説明した表示画像２００である。すなわち、おすすめ行楽地の候補値として６つの行楽地の代表画像がインデックス番号１～６とともに表示されている。この場合、ユーザはインデックス番号１～６や、各画像のタイトル等を選択することができる。

　ステップＳ２０３において、ユーザ指示が選択肢の選択指示、すなわちデータ項目（アイテム）の選択指示であると判定した場合は、ステップＳ２０５に進む。
　ユーザ指示がデータ項目（アイテム）の選択指示でないと判定した場合は、ステップＳ２１１に進む。

　　（ステップＳ２１１）
　先に、ステップＳ２１１の処理について説明する。
　ステップＳ２１１は、ステップＳ２０３において、ユーザ指示がデータ項目（アイテム）の選択指示でない場合に実行する処理である。

　ユーザ指示がデータ項目（アイテム）の選択指示でない場合は、ステップＳ２１１において、データ項目（アイテム）の選択指示でないユーザ指示に応じた処理を実行する。
　この処理は、処理実行部１７４が、ユーザ対応指示解析部１７３の解析したユーザ対応指示情報に従って実行する。

　　（ステップＳ２０４）
　次に、ステップＳ２０４の処理について説明する。
　ステップＳ２０４は、ステップＳ２０３において、ユーザ指示がデータ項目（アイテム）の選択指示である場合に実行する処理である。

　ユーザ指示がデータ項目（アイテム）の選択指示である場合は、ステップＳ２０４において、ユーザ指示によって選択されたデータ項目（アイテム）の数をカウントする。

　　（ステップＳ２０５）
　前述したようにステップＳ２０１～Ｓ２０５の処理は、処理実行部１７４において実行しているアプリケーションが規定する画面分割処理許容期間内に行われる処理である。
　この期間内に情報処理装置１０の表示画像を見ている１人以上のユーザによって、データ項目（アイテム）の選択指示が実行され、１つ以上のデータ項目（アイテム）の選択指示が入力され、その選択先の数がカウントされている。

　　（ステップＳ２０６）
　ステップＳ２０１～Ｓ２０５の処理期間が経過すると、ステップＳ２０６に進む。
　ステップＳ２０６において、ステップＳ２０１～Ｓ２０５の処理期間内に置いて実行されたユーザ指示に複数のデータ項目（アイテム）の選択指示が含まれるか否かを判定する。

　複数のデータ項目（アイテム）の選択指示が含まれる場合とは、例えば先に図９を参照して説明したようにユーザＡ，Ｂが各々別のインデックス番号（データ項目（アイテム））を指定した場合である。図１４に示す例も同様であり、複数のデータ項目（アイテム）の選択指示が含まれる場合に相当する。

　一方、ユーザ指示に複数のデータ項目（アイテム）の選択指示が含まれない場合とは、例えば先に図１２を参照して説明したようにユーザＡ，Ｂが同じインデックス番号（データ項目（アイテム））を指定した場合である。

　ユーザ指示に複数のデータ項目（アイテム）の選択指示が含まれる場合は、ステップＳ２０７に進む。一方、ユーザ指示に複数のデータ項目（アイテム）の選択指示が含まれない場合は、ステップＳ２０８に進む。

　　（ステップＳ２０７）
　ステップＳ２０６の判定処理において、ユーザ指示に複数のデータ項目（アイテム）の選択指示が含まれる場合は、ステップＳ２０７に進む。
　ステップＳ２０７では、処理実行部１７４が、表示画像の表示領域を複数に分割して、各ユーザの指示に応じた情報をそれぞれの分割領域に表示する。

　なお、この表示処理に際しては、ユーザ位置を考慮して、ユーザ指示を行ったユーザに近い分割領域にそのユーザの指示に対応した情報を表示する。
　先に図１０を参照して説明した処理である。ユーザ対応指示解析部１７３は、画像入力部（カメラ）１１２の撮影画像に基づく画像解析部１６２の解析結果から取得されるユーザ位置情報を含むユーザ対応指示情報を生成して処理実行部１７４に出力する。

　処理実行部１７４は、これらのユーザ単位の位置情報を含むユーザ単位の指示情報を入力して、実行する処理を決定して決定した処理を実行する。この結果として、図１０に示すように、ユーザＡの位置する右側領域にユーザＡの指示に応じた情報、ユーザＢの位置する左側領域にユーザＢの指示に応じた情報が表示される。

　なお、先に図１４、図１５を参照して説明したように、ユーザ指示に多数のデータ項目（アイテム）が含まれる場合、これらの多数のデータ項目（アイテム）から上位のデータ項目（アイテム）項目のみを選択して表示する構成としてもよい。

　　（ステップＳ２０８）
　ステップＳ２０８の処理は、ステップＳ２０６の判定処理において、ユーザ指示に複数のデータ項目（アイテム）の選択指示が含まれない場合に実行される。
　ステップＳ２０８では、処理実行部１７４が、表示画像の表示領域を分割することなく、ユーザ指示に応じた１つの情報を表示する。
　この処理は、先に図１２、図１３を参照して説明した処理に相当する。

　次に、図１７に示すフローを参照して、ユーザ位置やユーザのアクションを解析して、表示画像等の出力情報の制御を行うシーケンスについて説明する。

　図１７に示すフローチャートに示す処理は、情報処理装置１０の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
　以下、図１７に示すフローの各ステップの処理について説明する。

　　（ステップＳ３０１）
　まず、ステップＳ３０１において、ユーザ位置、ユーザアクションの解析を実行する。これらの解析処理は、画像解析部１６２とユーザ対応指示解析部１７３において実行される。
　なお、ユーザアクションとは、先に図１１を参照して説明したユーザによる指さしや顔や視線方向の移動処理等である。

　画像解析部１６２は、画像入力部（カメラ）１１２の撮影画像に基づく画像解析を行い、この解析結果がユーザ対応指示解析部１７３に入力される。
　ユーザ対応指示解析部１７３は、ユーザ位置情報やユーザアクション情報を含むユーザ対応指示情報を生成して処理実行部１７４に出力する。

　　（ステップＳ３０２）
　次に、ステップＳ３２０２において、情報処理装置１０に対して実行されたユーザ指示の解析処理を行う。
　このユーザ指示の解析処理は、入力データ解析部１６０と、処理制御部１７０において行われる。

　ユーザ指示は、ユーザ発話の他、ステップＳＺ３０１で解析されているユーザの指さし、顔方向や視線の移動等の様々なユーザアクションによって行うことが可能である。
　入力データ解析部１６０の音声解析部１６１は、音声入力部（マイク）１１１を介して入力するユーザ発話を解析しユーザ指示の有無、ユーザ指示の意図等の解析を行う。
　また、入力データ解析部１６０の画像解析部１６２は、画像入力部（カメラ）１１２を介して入力するユーザの画像を解析し、例えば指さし等のユーザアクションに基づいてユーザ指示の有無、ユーザ指示の意図等の解析を行う。
　この解析情報は処理制御部１７０のユーザ識別部１７１、ユーザ対応指示解析部１７３に入力される。

　　（ステップＳ３０３）
　次に、実行処理の決定を行う。この処理は、ユーザ対応指示解析部１７３と処理実行部１７４が実行する処理である。

　ユーザ対応指示解析部１７３は、ユーザ位置、ユーザアクション、ユーザ指示を対応付けたユーザ対応指示情報を生成して処理実行部１７４に出力する。
　処理実行部１７４は、ユーザ対応指示解析部１７３から入力するユーザ対応指示情報、すなわち、ユーザ位置、ユーザアクション、ユーザ指示を対応付けたユーザ対応指示情報に基づいて実行すべき処理を決定する。

　例えば、ユーザ対応指示情報にユーザ位置情報が付加されている場合は、先に図１０を参照して説明したように、ユーザ位置に基づいて各表示情報の表示位置を決定する。
　また、ユーザ対応指示情報にユーザアクション情報が付加されている場合は、先に図１１を参照して説明したように、ユーザアクションに基づいて表示情報の更新処理の態様を決定する。

　　（ステップＳ３０４）
　次に、ステップＳ３０４において、ステップＳ３０３で決定した実行処理に表示情報の更新処理が含まれるか否かを判定する。
　含まれる場合は、ステップＳ２０６Ｓ３０５に進み、フクマレナイ場合はステップＳ３１１に進む。

　　（ステップＳ３１１）
　先に、ステップＳ３１１の処理について説明する。
　ステップＳ３１１は、ステップＳ３０４において、決定した実行処理に表示情報の更新処理が含まれない場合に実行する処理である。

　この場合は、ステップＳ３１１において、表示情報更新以外のユーザ指示に応じた処理を実行する。
　例えばユーザ指示に応答するシステム発話の出力処理等である。この処理は、処理実行部１７４が、ユーザ対応指示解析部１７３の解析したユーザ対応指示情報に従って実行する。

　　（ステップＳ３０５）
　次に、ステップＳ３０５の処理について説明する。
　ステップＳ３０５は、ステップＳ３０４において、決定した実行処理に表示情報の更新処理が含まれる場合に実行する処理である。

　この場合、ステップＳ３０５において、ユーザ指示に基づく表示情報更新処理を実行する。
　具体的には、例えば、先に図１０を参照して説明したように、ユーザ位置に基づいて各表示情報の表示位置を設定した分割すか画像表示を行う。
　あるいは、先に図１１を参照して説明したように、ユーザアクションに基づいて表示情報の更新処理を実行する。

　　［５．情報処理装置、および情報処理システムの構成例について］
　図３に示す情報処理装置１０の各構成要素の処理機能は、すべて一つの装置、例えばユーザの所有するエージェント機器、あるいはスマホやＰＣ等の装置内に構成することも可能であるが、その一部をサーバ等において実行する構成とすることも可能である。

　図１８に、本開示の処理を実行するためのシステム構成の例を示す。
　図１８（１）情報処理システム構成例１は、図３に示す情報処理装置のほぼ全ての機能を一つの装置、例えばユーザの所有するスマホやＰＣ、あるいは音声入出力と画像入出力機能を持つエージェント機器等のユーザ端末である情報処理装置４１０内に構成した例である。
　ユーザ端末に相当する情報処理装置４１０は、例えば応答文生成時に外部アプリを利用する場合にのみ、アプリ実行サーバ４２０と通信を実行する。

　アプリ実行サーバ４２０は、例えば天気情報提供サーバ、交通情報提供サーバ、医療情報提供サーバ、観光情報提供サーバ等であり、ユーザ発話に対する応答を生成するための情報を提供可能なサーバ群によって構成される。

　一方、図１８（２）情報処理システム構成例２は、図３に示す情報処理装置の機能の一部をユーザの所有するスマホやＰＣ、エージェント機器等の情報処理端末である情報処理装置４１０内に構成し、一部を情報処理装置と通信可能なデータ処理サーバ４６０において実行する構成としたシステム例である。

　例えば、図３に示す装置中の音声認識部１１０や画像解析部１２０、および処理制御部１７０で実行する処理をサーバ側で実行する構成等が可能である。情報処理端末側の情報処理装置４１０側の音声入力部１０１と撮像部１０２の取得データをサーバに送信してサーバ側でユーザ指示に対する処理を行い、処理結果を情報処理端末側の情報処理装置４１０に返信するといった設定である。

　具体的な構成例としては、例えば以下のような構成が可能である。情報処理端末とサーバを有する情報処理システムであり、情報処理端末は、音声入力部と、画像入力部と、音声出力部と、画像出力部と、通信部を有する。
　サーバは、情報処理端末からの受信データに基づいて、情報処理端末に対する複数ユーザからの指示各々に対応する複数の処理を並列に実行し、処理結果を情報処理端末に送信する。情報処理端末は、サーバから受信した処理結果を音声出力部と画像出力部に出力する。

　なお、この構成において、サーバは、情報処理端末に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成するユーザ対応指示解析部と、ユーザ対応指示情報を入力し、ユーザ対応指示情報に基づいて、各ユーザの指示に対する複数の処理を並列に実行する処理実行部を有する。
　例えば、このようなシステム構成が可能である。
　なお、ユーザ端末等の情報処理端末側の機能と、サーバ側の機能の機能分轄態様は、様々な異なる設定が可能であり、また、１つの機能を双方で実行する構成も可能である。

　　［６．情報処理装置のハードウェア構成例について］
　次に、図１９を参照して、情報処理装置のハードウェア構成例について説明する。
　図１９を参照して説明するハードウェアは、先に図３を参照して説明した情報処理装置のハードウェア構成例であり、また、図１８を参照して説明したデータ処理サーバ４６０を構成する情報処理装置のハードウェア構成の一例である。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

　ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、マウス、マイクロフォン、センサーなどよりなる入力部５０６、ディスプレイ、スピーカーなどよりなる出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

　入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

　　［７．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　情報処理装置に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成するユーザ対応指示解析部と、
　前記ユーザ対応指示情報に基づいて、各ユーザ指示に対応する複数の処理を並列に実行する処理実行部を有する情報処理装置。

　（２）　前記情報処理装置は、さらに、
　音声入力部を介して入力する音声の解析処理を実行する音声認識部と、
　撮像部を介して入力する撮影画像の解析処理を実行する画像解析部と、
　前記音声認識部と前記画像解析部の少なくともいずれかを用いてユーザ識別を実行するユーザ識別部を有し、
　前記ユーザ対応指示解析部は、
　前記ユーザ識別部の生成したユーザ識別情報を利用して、前記ユーザ対応指示情報を生成する（１）に記載の情報処理装置。

　（３）　前記情報処理装置に対する複数ユーザからの指示は、
　前記情報処理装置の表示画像上のポインタの異なる方向への移動指示であり、
　前記ユーザ対応指示解析部は、
　ユーザ対応指示情報として、各ユーザ単位の異なる方向へのポインタ移動指示情報を生成し、
　前記処理実行部は、
　各ユーザ単位の異なる方向へのポインタ移動指示情報に基づいて、前記表示画像上のポインタを分割して、複数のポインタを各ユーザの指示する方向へ移動させる処理を実行する（１）または（２）に記載の情報処理装置。

　（４）　前記情報処理装置に対する複数ユーザからの指示は、
　前記情報処理装置に対する異なる選択肢の選択指示であり、
　前記ユーザ対応指示解析部は、
　ユーザ対応指示情報として、各ユーザ単位の異なる選択肢の選択指示情報を生成し、
　前記処理実行部は、
　各ユーザ単位の異なる選択肢の選択指示情報に基づいて、各ユーザの選択肢に対応する処理を並列に実行する（１）または（２）に記載の情報処理装置。

　（５）　前記処理実行部は、
　各ユーザ単位の異なる選択肢の選択指示情報に基づいて、前記情報処理装置の表示画像を分割して、各ユーザの選択肢に対応する情報を並列に表示する（４）に記載の情報処理装置。

　（６）　前記処理実行部は、
　ユーザ位置に応じて情報表示位置を制御する処理を実行し、ユーザの選択した情報をそのユーザの位置に近い位置に表示する制御を実行する（５）に記載の情報処理装置。

　（７）　前記処理実行部は、
　各ユーザ単位の選択指示情報が同一の選択肢によって構成されている場合、その同一選択肢に対応する１つの情報のみを表示する（４）に記載の情報処理装置。

　（８）　前記処理実行部は、
　各ユーザ単位の異なる選択肢の選択指示情報に基づいて、
　選択ユーザの多い選択肢に対応する情報を優先的に選択して処理を実行する（４）に記載の情報処理装置。

　（９）　前記ユーザ対応指示解析部は、
　ユーザ位置とユーザ指示を対応付けたユーザ対応指示情報を生成し、
　前記処理実行部は、
　前記ユーザ対応指示情報に含まれるユーザ位置情報に基づいて、指示を実行したユーザに近い位置にそのユーザの指示に対応する情報を表示する（１）～（８）いずれかに記載の情報処理装置。

　（１０）　前記ユーザ対応指示解析部は、
　ユーザアクションとユーザ指示を対応付けたユーザ対応指示情報を生成し、
　前記処理実行部は、
　前記ユーザ対応指示情報に含まれるユーザアクション情報に基づいて処理対象を決定するゅ（１）～（９）いずれかに記載の情報処理装置。

　（１１）　情報処理端末とサーバを有する情報処理システムであり、
　前記情報処理端末は、
　音声入力部と、画像入力部と、
　音声出力部と、画像出力部と、
　前記音声入力部を介して取得した音声と、前記画像入力部を介して取得した撮影画像を前記サーバに送信する通信部を有し、
　前記サーバは、
　前記情報処理端末からの受信データに基づいて、
　前記情報処理端末に対する複数ユーザからの指示各々に対応する複数の処理を並列に実行し、処理結果を前記情報処理端末に送信し、
　前記情報処理端末は、
　前記サーバから受信した処理結果を前記音声出力部と前記画像出力部の少なくともいずれかに出力する情報処理システム。

　（１２）　前記サーバは、
　前記情報処理端末に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成するユーザ対応指示解析部と、
　前記ユーザ対応指示情報に基づいて、各ユーザ指示に対応する複数の処理を並列に実行する処理実行部を有する（１１）に記載の情報処理システム。

　（１３）　情報処理装置において実行する情報処理方法であり、
　ユーザ対応指示解析部が、情報処理装置に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成するユーザ対応指示解析ステップと、
　処理実行部が、前記ユーザ対応指示情報に基づいて、各ユーザ指示に対応する複数の処理を並列に実行する処理実行ステップを実行する情報処理方法。

　（１４）　情報処理端末とサーバを有する情報処理システムにおいて実行する情報処理方法であり、
　前記情報処理端末は、
　音声入力部を介して取得した音声と、撮像部を介して取得した撮影画像を前記サーバに送信し、
　前記サーバは、
　前記情報処理端末からの受信データに基づいて、
　前記情報処理端末に対する複数ユーザからの指示各々に対応する複数の処理を並列に実行し、処理結果を前記情報処理端末に送信し、
　前記情報処理端末は、
　前記サーバから受信した処理結果を音声出力部と画像出力部の少なくともいずれかに出力する情報処理方法。

　（１５）　情報処理装置において情報処理を実行させるプログラムであり、
　ユーザ対応指示解析部に、情報処理装置に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成させるユーザ対応指示解析ステップと、
　処理実行部に、前記ユーザ対応指示情報に基づいて、各ユーザ指示に対応する複数の処理を並列に実行させる処理実行ステップを、
　実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、情報処理装置に対する複数ユーザからの指示各々に対応する処理を遅滞なく並列に実行する装置、方法が実現される。
　具体的には、例えば、情報処理装置に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成するユーザ対応指示解析部と、ユーザ対応指示情報に基づいて各ユーザ指示に対応の複数処理を並列に実行する処理実行部を有する。情報処理装置に対する複数ユーザからの指示がポインタの異なる方向への移動指示である場合、処理実行部はポインタを分割して、複数のポインタを各ユーザの指示する方向へ移動させる処理を実行する。ユーザ指示が異なる選択肢の選択指示の場合、各ユーザの選択肢に対応する情報を、表示領域を分割して並列に表示する。
　本構成により、情報処理装置に対する複数ユーザからの指示各々に対応する処理を遅滞なく並列に実行する装置、方法が実現される。

　　１０　情報処理装置
　　１１　撮像部
　　１２　マイク
　　１３　表示部
　　１４　スピーカー
　　２０　サーバ
　　３０　外部機器
　１１０　入力部
　１１１　音声入力部
　１１２　画像入力部
　１２０　出力部
　１２１　音声出力部
　１２２　画像出力部
　１５０　データ処理部
　１６０　入力データ解析部
　１６１　音声解析部
　１６２　画像解析部
　１７０　処理制御部
　１７１　ユーザ識別部
　１７２　ユーザ情報ＤＢ
　１７３　ユーザ対応指示解析部
　１７４　処理実行部
　１７５　アプリケーション群
　１８０　出力制御部
　１８１　出力音声制御部
　１８２　表示情報制御部
　４１０　情報処理装置
　４２０　アプリ実行サーバ
　４６０　データ処理サーバ
　５０１　ＣＰＵ
　５０２　ＲＯＭ
　５０３　ＲＡＭ
　５０４　バス
　５０５　入出力インタフェース
　５０６　入力部
　５０７　出力部
　５０８　記憶部
　５０９　通信部
　５１０　ドライブ
　５１１　リムーバブルメディア

Claims

　情報処理装置に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成するユーザ対応指示解析部と、
　前記ユーザ対応指示情報に基づいて、各ユーザ指示に対応する複数の処理を並列に実行する処理実行部を有する情報処理装置。
　前記情報処理装置は、さらに、
　音声入力部を介して入力する音声の解析処理を実行する音声認識部と、
　撮像部を介して入力する撮影画像の解析処理を実行する画像解析部と、
　前記音声認識部と前記画像解析部の少なくともいずれかを用いてユーザ識別を実行するユーザ識別部を有し、
　前記ユーザ対応指示解析部は、
　前記ユーザ識別部の生成したユーザ識別情報を利用して、前記ユーザ対応指示情報を生成する請求項１に記載の情報処理装置。
　前記情報処理装置に対する複数ユーザからの指示は、
　前記情報処理装置の表示画像上のポインタの異なる方向への移動指示であり、
　前記ユーザ対応指示解析部は、
　ユーザ対応指示情報として、各ユーザ単位の異なる方向へのポインタ移動指示情報を生成し、
　前記処理実行部は、
　各ユーザ単位の異なる方向へのポインタ移動指示情報に基づいて、前記表示画像上のポインタを分割して、複数のポインタを各ユーザの指示する方向へ移動させる処理を実行する請求項１に記載の情報処理装置。
　前記情報処理装置に対する複数ユーザからの指示は、
　前記情報処理装置に対する異なる選択肢の選択指示であり、
　前記ユーザ対応指示解析部は、
　ユーザ対応指示情報として、各ユーザ単位の異なる選択肢の選択指示情報を生成し、
　前記処理実行部は、
　各ユーザ単位の異なる選択肢の選択指示情報に基づいて、各ユーザの選択肢に対応する処理を並列に実行する請求項１に記載の情報処理装置。
　前記処理実行部は、
　各ユーザ単位の異なる選択肢の選択指示情報に基づいて、前記情報処理装置の表示画像を分割して、各ユーザの選択肢に対応する情報を並列に表示する請求項４に記載の情報処理装置。
　前記処理実行部は、
　ユーザ位置に応じて情報表示位置を制御する処理を実行し、ユーザの選択した情報をそのユーザの位置に近い位置に表示する制御を実行する請求項５に記載の情報処理装置。
　前記処理実行部は、
　各ユーザ単位の選択指示情報が同一の選択肢によって構成されている場合、その同一選択肢に対応する１つの情報のみを表示する請求項４に記載の情報処理装置。
　前記処理実行部は、
　各ユーザ単位の異なる選択肢の選択指示情報に基づいて、
　選択ユーザの多い選択肢に対応する情報を優先的に選択して処理を実行する請求項４に記載の情報処理装置。
　前記ユーザ対応指示解析部は、
　ユーザ位置とユーザ指示を対応付けたユーザ対応指示情報を生成し、
　前記処理実行部は、
　前記ユーザ対応指示情報に含まれるユーザ位置情報に基づいて、指示を実行したユーザに近い位置にそのユーザの指示に対応する情報を表示する請求項１に記載の情報処理装置。
　前記ユーザ対応指示解析部は、
　ユーザアクションとユーザ指示を対応付けたユーザ対応指示情報を生成し、
　前記処理実行部は、
　前記ユーザ対応指示情報に含まれるユーザアクション情報に基づいて処理対象を決定する請求項１に記載の情報処理装置。
　情報処理端末とサーバを有する情報処理システムであり、
　前記情報処理端末は、
　音声入力部と、画像入力部と、
　音声出力部と、画像出力部と、
　前記音声入力部を介して取得した音声と、前記画像入力部を介して取得した撮影画像を前記サーバに送信する通信部を有し、
　前記サーバは、
　前記情報処理端末からの受信データに基づいて、
　前記情報処理端末に対する複数ユーザからの指示各々に対応する複数の処理を並列に実行し、処理結果を前記情報処理端末に送信し、
　前記情報処理端末は、
　前記サーバから受信した処理結果を前記音声出力部と前記画像出力部の少なくともいずれかに出力する情報処理システム。
　前記サーバは、
　前記情報処理端末に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成するユーザ対応指示解析部と、
　前記ユーザ対応指示情報に基づいて、各ユーザ指示に対応する複数の処理を並列に実行する処理実行部を有する請求項１１に記載の情報処理システム。
　情報処理装置において実行する情報処理方法であり、
　ユーザ対応指示解析部が、情報処理装置に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成するユーザ対応指示解析ステップと、
　処理実行部が、前記ユーザ対応指示情報に基づいて、各ユーザ指示に対応する複数の処理を並列に実行する処理実行ステップを実行する情報処理方法。
　情報処理端末とサーバを有する情報処理システムにおいて実行する情報処理方法であり、
　前記情報処理端末は、
　音声入力部を介して取得した音声と、撮像部を介して取得した撮影画像を前記サーバに送信し、
　前記サーバは、
　前記情報処理端末からの受信データに基づいて、
　前記情報処理端末に対する複数ユーザからの指示各々に対応する複数の処理を並列に実行し、処理結果を前記情報処理端末に送信し、
　前記情報処理端末は、
　前記サーバから受信した処理結果を音声出力部と画像出力部の少なくともいずれかに出力する情報処理方法。
　情報処理装置において情報処理を実行させるプログラムであり、
　ユーザ対応指示解析部に、情報処理装置に対する複数ユーザからの指示各々について、各指示を行ったユーザに対応付けたユーザ対応指示情報を生成させるユーザ対応指示解析ステップと、
　処理実行部に、前記ユーザ対応指示情報に基づいて、各ユーザ指示に対応する複数の処理を並列に実行させる処理実行ステップを、
　実行させるプログラム。