WO2019013016A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

本技術は、複数のユーザの同一のコンテンツ視聴について、コミュニケーションの観点の改善を行うことができるようにする情報処理装置、情報処理方法、及びプログラムに関する。 コンテンツのデータが取得され、そのコンテンツのデータに基づくコンテンツ画像から第１のユーザの視野に対応する第１の視野画像が切り出されるとともに、コンテンツ画像を視聴する第２のユーザの視野を表す視野情報が取得される。そして、表示装置において、第１の視野画像が表示され、第２のユーザの視野情報に基づいて第２のユーザの視野が表示される。本技術は、例えば、全天球画像や自由視点画像等のコンテンツを複数のユーザで視聴する場合に適用できる。

Description

情報処理装置、情報処理方法、及びプログラム

　本技術は、情報処理装置、情報処理方法、及びプログラムに関し、特に、例えば、複数のユーザの同一のコンテンツ視聴について、コミュニケーションの改善を図ることができるようにする情報処理装置、情報処理方法、及びプログラムに関する。

　例えば、ある視点から上下左右全周囲を見た場合の画像から成る全天球画像等のコンテンツを、ヘッドマウントディスプレイ（以下、HMDと略称する）を用いて視聴することを想定する。この場合、HMDでは、コンテンツの画像全体のうちの一部の範囲が表示される。HMDを装着したユーザは、自身の頭部を動かすことにより、HMDに表示される範囲を移動させ、全天球画像の中で、ユーザが見ることができる画像（に映る光景）の範囲、すなわち、ユーザの視野を移動させることができる（例えば、特許文献１参照）。

　例えば、HMDを装着したユーザが右側を向くことに応じ、HMDに表示される範囲が、全天球画像のうちの現在表示されている範囲の右側に移動される。よって、ユーザは、現在の視野よりも右側を見ることができる。また、例えば、HMDを装着したユーザが上側を向くことに応じ、HMDに表示される範囲が、全天球画像のうちの現在表示されている範囲の上側に移動される。よって、ユーザは、現在の視野よりも上側を見ることができる。

特開２００５－３５４６４４号公報

　ところで、HMDを装着した複数のユーザが同一のコンテンツを視聴する場合、各ユーザは、コンテンツの画像全体のうちの任意の範囲を見ることができる。ただし、あるユーザが見ている範囲（あるユーザの視野）と、他のユーザが見ている範囲（他のユーザの視野）とは必ずしも一致しない。したがって、複数のユーザの同一のコンテンツ視聴については、例えばコミュニケーションの観点で改善の余地がある。

　本技術はこのような状況に鑑みてなされたものであり、複数のユーザの同一のコンテンツ視聴について、コミュニケーションの改善を図ることができるようにするものである。

　本技術の情報処理装置又はプログラムは、コンテンツのデータを取得するように構成されたコンテンツ取得部と、前記コンテンツのデータに基づくコンテンツ画像から第１のユーザの視野に対応する第１の視野画像を切り出すように構成された画像切り出し部と、前記コンテンツ画像を視聴する第２のユーザの視野を表す視野情報を取得するように構成された視野情報取得部と、前記第１の視野画像を表示するよう表示装置を制御することと、前記第２のユーザの視野情報に基づいて前記第２のユーザの視野を表示するよう前記表示装置を制御することとを行うように構成された表示制御部とを備える情報処理装置又はそのような情報処理装置としてコンピュータを機能させるためのプログラムである。

　本技術の情報処理方法は、コンテンツのデータを取得することと、前記コンテンツのデータに基づくコンテンツ画像から第１のユーザの視野に対応する第１の視野画像を切り出すことと、前記コンテンツ画像を視聴する第２のユーザの視野を表す視野情報を取得することと、前記第１の視野画像を表示するよう表示装置を制御することと、前記第２のユーザの視野情報に基づいて前記第２のユーザの視野を表示するよう前記表示装置を制御することとを含む情報処理方法である。

　本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、コンテンツのデータが取得され、前記コンテンツのデータに基づくコンテンツ画像から第１のユーザの視野に対応する第１の視野画像が切り出されるとともに、前記コンテンツ画像を視聴する第２のユーザの視野を表す視野情報が取得される。そして、前記第１の視野画像が表示装置に表示され、また、前記第２のユーザの視野情報に基づいて前記第２のユーザの視野が前記表示装置に表示される。

　本技術の一側面によれば、複数のユーザによる同一のコンテンツ視聴におけるコミュニケーションを改善することができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用したコンテンツ視聴システムの構成例を示すブロック図である。 情報処理装置の構成例を示すブロック図である。 表示装置の構成例を示すブロック図である。 全体画像の例を示す図である。 コンテンツ画像から切り出された視野画像の表示例を示す図である。 視野画像の重畳される広域画像の拡大図である。 視野画像に視野方向指示マークが重畳表示された場合の表示例を示す図である。 ユーザの視野が他のユーザの視野よりも狭い場合の視野画像の表示例を示す図である。 ユーザの視野が他のユーザの視野よりも広い場合の視野画像の表示例を示す図である。 視野画像に視野方向指示ラインが重畳表示された場合の表示例を示す図である。 他のユーザの視野を追尾した追尾画像の表示例を示す図である。 他のユーザの視野を追尾した追尾画像の表示例を示す図である。 発話中のユーザに対応する視野方向指示マークを強調表示した場合の表示例を示す図である。 視野情報提示処理を説明するフローチャートである。 視野画像から切り替えられる広域画像の表示例を示す図である。 画像切り替え処理を説明するフローチャートである。 ユーザの頭部の回転量よりも大きく視野画像が移動される例を示す図である。 ユーザの視線の動きと視野画像の移動との関係を示す図である。 ユーザの視線の動きと視野画像の移動との関係を示す図である。 視線移動角を説明するための図である。 頭部回転角を説明するための図である。 視野画像移動処理を説明するフローチャートである。 表示するアバタを選択する方法を説明するための図である。 アバタの表示例を示す図である。 アバタ表示処理を説明するフローチャートである。 汎用のコンピュータの構成例を示すブロック図である。

　以下、本技術を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。なお、説明は、以下の順序で行なう。
　１．本技術を適用したコンテンツ視聴システムの構成例
　２．各ユーザの視野の提示
　３．他のユーザの視野を追尾した追尾画像
　４．発話中のユーザの強調
　５．ユーザ装置２０による視野情報提示処理
　６．視野画像と広域画像の切り替え
　７．視野画像の移動
　８．表示するアバタの選択
　９．一連の処理のソフトウェアによる実行

　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味すると見做されてよく、すべての構成要素が同一筐体中に無くても良い。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、本明細書におけるシステムと見做され得る。
　＜１．本技術を適用したコンテンツ視聴システムの構成例＞
　図１は、本技術を適用したコンテンツ視聴システムの構成例を示すブロック図である。

　このコンテンツ視聴システム１０は、複数のユーザが同一のコンテンツを視聴する場合において、他のユーザの視野を把握できるようにするものである。なお、コンテンツは、画像から成る。もちろん、画像に対応する音声が有ってもよいが、以下においては、コンテンツの画像についてのみ言及し、コンテンツの音声については言及しない。

　複数のユーザが同一のコンテンツを視聴するタイミングは、必ずしも同時である必要はない。例えば、あるユーザ（ユーザＡとする）がコンテンツを視聴したときにユーザＡの視野を表す視野情報を保存するようにし、その後のタイミングに、同一のコンテンツを視聴している他のユーザ（ユーザＢとする）に対して、保存しているユーザＡの視野情報に基づき、ユーザＡの視野を提示するようにしてもよい。

　コンテンツ視聴システム１０が提供するコンテンツとしては、ある視点から上下左右全周囲を見た場合の画像から成る全天球画像、又は、視点が移動しながら上下左右全周囲を見た場合の画像から成る自由視点画像が想定される。

　全天球画像及び自由視点画像は、実空間を撮像して得られた画像（撮像済みの画像）、実空間をリアルタイムに撮像している画像（撮像中の画像）、ゲーム等のVR（バーチャルリアリティ）空間がコンピュータグラフィックスにより生成された画像、実空間に仮想物体を重畳した画像等のいずれであってもよい。

　コンテンツ視聴システム１０は、各ユーザが用いるユーザ装置２０－１ないし２０－Ｎ（Ｎは自然数）と、サーバ装置４０を有する。以下、ユーザ装置２０－１ないし２０－Ｎは、個々に区別する必要が無い場合、単にユーザ装置２０と称する。

　ユーザ装置２０は、情報処理装置２１と表示装置２２とから成る。情報処理装置２１は、主に、コンテンツの画像の一部を切り出して表示装置２２に表示させる視野画像を生成する処理を行う。表示装置２２は、主に、視野画像を表示する。また、表示装置２２は、他のユーザ装置２０を使用している他のユーザの視野を表示することにより、ユーザ装置２０のユーザに、他のユーザの視野を提示する。

　ユーザ装置２０のユーザは、コンテンツの画像の中で、表示装置２２に表示される視野画像を視聴するので、その視野画像に映る光景の範囲が、視野画像を視聴するユーザの視野となる。視野画像の画角、すなわち、視野画像を視聴するユーザの視野の視野サイズ（視野画像を視聴するユーザに表示装置２２が提供する視野の視野サイズ（視界））は、表示装置２２としての表示デバイスや表示を行う表示ソフトウェアによって異なり、例えば、視野画像の画角が、90度の表示デバイスや210度の表示デバイス等がある。

　表示装置２２としては、例えば、AR（オーグメンテッドリアリティ）グラスその他のHMDのようにユーザが頭部に装着して用いる表示装置を想定する。ただし、表示装置２２は、テレビジョン受像機のような平面状の表示デバイスや、プロジェクタのように画像を投影する表示デバイスであってもよい。

　なお、ユーザ装置２０を成す情報処理装置２１と表示装置２２は、一体化されていてもよいし、それぞれが異なる筐体に収められて離れて配置されてもよい。情報処理装置２１と表示装置２２との間の接続は、有線でもよいし、無線でもよい。

　サーバ装置４０は、インターネット３１を介してユーザ装置２０と接続される。サーバ装置４０は、コンテンツ配信部４１、視野情報管理部４２、及びコミュニケーション管理部４３を有する。

　コンテンツ配信部４１は、各ユーザ装置２０からの要求に応じ、インターネット３１を介してコンテンツのデータを配信する。各ユーザ装置２０に対するコンテンツのデータの配信は、同じタイミングで行ってもよいし、異なるタイミングで行ってもよい。

　視野情報管理部４２は、各ユーザ装置２０においてコンテンツが視聴されたときのユーザの視野を表す視野情報を、各ユーザ装置２０から取得して管理する。

　視野情報には、コンテンツ識別情報、経過時間情報、視点情報、視野中心情報、又は視野サイズ情報のうちの少なくとも一つが含まれている。

コンテンツ識別情報は、コンテンツを識別するための情報である。経過時間情報は、コンテンツの画像が時間の経過とともに変化する場合に存在し、コンテンツの先頭からの経過時間（再生が行われている時間的な位置）を表す情報である。視点情報は、コンテンツが自由視点画像である場合の、その自由視点画像に映る（光景の）空間であるコンテンツ空間における視点の位置を表す情報である。

　視野中心情報は、ユーザ装置２０において、コンテンツの画像、すなわち、コンテンツのデータに基づくコンテンツ画像から切り出される視野画像（ユーザの視野となる範囲）の中心である視野中心（の座標）を表す情報である。視野サイズ情報は、ユーザ装置２０において、コンテンツ画像から切り出される視野画像のサイズ、すなわち、視野画像を視聴するユーザの視野となる範囲のサイズ（視野画像を視聴するユーザに表示装置２２が提供する視野のサイズ）である視野サイズを表す情報である。なお、視野サイズは、表示装置２２が許す範囲で、ユーザが任意に設定できる。また、視野中心は、視野画像を視聴するユーザの視野の中心として捉えることができ、視野サイズは、視野画像を視聴するユーザの視野のサイズとして捉えることができる。

　コンテンツ識別情報を参照することにより、ユーザが視聴しているコンテンツを特定することができる。経過時間情報を参照することにより、コンテンツ識別情報によって特定されるコンテンツが時間の経過とともに変化する内容である場合に、そのコンテンツにおける、ユーザが視聴している時間的な位置（タイミング）（シーク位置）を特定することができる。視野中心情報、さらには、必要に応じて、視野サイズ情報及び視点情報を参照することにより、コンテンツ識別情報によって特定されるコンテンツを視聴するユーザの視野、すなわち、コンテンツ画像の中で、ユーザが視聴している視野画像（の範囲）を特定することができる。なお、ユーザの視野（視界）を大雑把に把握したい場合には、視野サイズ情報を含まない視野情報を送受信するとともに、各ユーザについて、視野サイズを同一の固定値とみなして、視野中心から、各ユーザの視野を特定することができる。

　コミュニケーション管理部４３は、同一のコンテンツを視聴するユーザ間における、音声や文字を用いたメッセージのやり取り等のコミュニケーションを管理する。

　なお、少なくとも１台のユーザ装置２０にサーバ装置４０としての機能を付加するようにし、サーバ装置４０としての機能が付加されたユーザ装置２０を含む複数のユーザ装置２０を、イントラネット等を介して相互に接続するようにしてもよい。

　図２は、ユーザ装置２０を成す情報処理装置２１の構成例を示すブロック図である。

　情報処理装置２１は、通信部５１、コンテンツ保持部５２、視野画像決定部５３、画像切り出し部５４、視野情報保持部５５、入力部５８、トリガ検出部５９、及び表示制御部６０を有する。

　通信部５１は、インターネット３１を介してサーバ装置４０と接続し、コンテンツのデータを取得するコンテンツ取得部として機能する。さらに、通信部５１は、各ユーザのアイコンやアバタ等の、各ユーザに対応するユーザ画像（ユーザを表すユーザ画像）の画像データ等を取得する。通信部５１がサーバ装置４０から取得したコンテンツのデータ等は、コンテンツ保持部５２に記録される。また、通信部５１は、視野情報保持部５５にて逐次生成される、このユーザ装置２０を用いているユーザ（第１のユーザ）の視野情報をサーバ装置４０に通知する。さらに、通信部５１は、他のユーザ装置２０を用いてコンテンツを視聴する他のユーザ（第２のユーザ）の視野情報をサーバ装置４０から取得する視野情報取得部として機能する。通信部５１は、サーバ装置４０から取得した他のユーザの視野情報を、視野情報保持部５５に出力する。

　コンテンツ保持部５２は、サーバ装置４０から取得されるコンテンツのデータを保持する。また、コンテンツ保持部５２は、コンテンツのデータに基づくコンテンツ画像から切り出される画像（視野画像）に重畳して表示する、各ユーザを表すためのアイコンやアバタ等のユーザ画像の画像データ等も保持する。

　視野画像決定部５３は、表示装置２２の視線検出部７１（図３）から通知される視線の移動量、又は頭部動き検出部７２（図３）から通知される頭部の移動量の少なくとも一方に基づいて視野中心を決定する。さらに、視野画像決定部５３は、視野中心と視野サイズ（視野画像を視聴するユーザに表示装置２２によって提供（制限）される視野の視野サイズ）とに基づいて、コンテンツ画像から切り出すユーザの視野画像（の範囲）を決定する。例えば、表示装置２２がHMDである場合には、視野画像決定部５３は、表示装置２２としてのHMDに関連付けられたユーザの視線の移動、又はユーザの頭部の移動の少なくとも一方に基づき、視野中心を決定し、その視野中心と視野サイズとに基づき、ユーザの視野画像を決定する。

　また、視野画像決定部５３は、ユーザの視線が、そのユーザの視野画像の端部に近づいたことに応じ、ユーザの視野画像を、そのユーザの視線を基準として移動する。

　なお、視野画像決定部５３は、ユーザの視線の回転角と頭部の回転角とに基づいて、ユーザの視野画像の移動量としての回転角を、ユーザの頭部の回転角よりも大きくすることができる。

　また、視野画像決定部５３は、ユーザがコンテンツの視聴を実質的に開始したタイミング（ユーザ装置２０の利用を開始したタイミング）に対応する視野画像の初期位置、すなわち、視野画像の視野中心の初期位置を、他のユーザの視野情報に基づいて決定することができる。例えば、視野画像決定部５３は、他のユーザの視野情報に基づいて、コンテンツ画像において、所定数以上の数の他のユーザの視野が集まっている領域を特定し、その領域内の位置を視野中心の初期位置に決定することができる。そして、視野画像決定部５３は、その視野中心の初期位置に基づいて、コンテンツ画像から切り出す視野画像を決定すること、すなわち、コンテンツ画像から、視野中心の初期位置を中心とする範囲の画像を視野画像に決定することができる。この場合、ユーザは、コンテンツの視聴を開始した直後から、他のユーザとのコミュニケーションを図りやすくなる。

　画像切り出し部５４は、コンテンツのデータに基づくコンテンツ画像から、ユーザの視野に対応する視野画像、すなわち、視野画像決定部５３で決定された視野画像を切り出す（ことにより生成する）。また、画像切り出し部５４は、視野情報保持部５５から他のユーザの視野情報を取得し、その他のユーザの視野情報に応じて、コンテンツ画像から、ユーザの視野サイズ（ユーザの視野情報に含まれる視野サイズ情報が表す視野サイズ）又は他のユーザの視野サイズの画像を、視野画像として切り出すことができる。この視野画像は、例えば、他のユーザの視野を追尾する追尾画像として、表示装置２２に表示することができる。追尾画像によれば、ユーザは、他のユーザの視野を自身の視野として、他のユーザが視聴している視野画像と同様の画像を視聴することができる。

　視野情報保持部５５は、このユーザ装置２０における視野情報を逐次更新、保持するとともに、通信部５１に出力してサーバ装置４０に通知させる。また、視野情報保持部５５は、通信部５１がサーバ装置４０から取得した他のユーザの視野情報を保持する。

　入力部５８は、リモートコントローラ等の操作デバイス、マイクロフォン等の音声入力デバイス、カメラ等の撮像デバイスから成る。入力部５８は、操作デバイスを用いたユーザのキー操作を入力したり、音声入力デバイスを用いてユーザの発声を入力したり、撮像デバイスを用いてユーザを撮像した画像を入力したりする。

　トリガ検出部５９は、入力部５８により入力されるユーザの操作、発声、画像等の中から所定の動作のトリガとなるキー操作、音声コマンド、ジェスチャ等を検出する。

　表示制御部６０は、視野画像や、各ユーザに対応するアイコンやアバタ等のユーザを表すユーザ画像を、表示装置２２に表示させる表示制御を行う。また、表示制御部６０は、各ユーザの視野情報に基づいて、必要なユーザの視野（を表す情報）を、表示装置２２に表示させる表示制御を行う。

　例えば、表示制御部６０は、他のユーザの視野情報に基づいて、他のユーザの視野の位置を示す視野位置指示画像を、表示装置２２に表示させる。視野位置指示画像には、ユーザ装置２０のユーザの視野画像（第１の視野画像）と他のユーザの視野に対応する視野画像（第２の視野画像）とを含む広域画像１１２（図５）が含まれる。さらに、視野位置指示画像には、他のユーザの視野の位置を示す、ユーザ装置２０のユーザの視野画像に重畳されるシンボル画像が含まれる。シンボル画像としては、後述する視野方向指示マークや視野方向指示ライン等がある。

　なお、表示制御部６０は、所定のトリガに応じて、ユーザ装置２０のユーザの視野画像と広域画像とを切り替えるよう表示装置２２を制御することができる。所定のトリガは、ユーザ装置２０のユーザによるキー操作、音声コマンド、頭部の動き、又はジェスチャ操作のうちの少なくとも一つを含む。

　また、表示制御部６０は、他のユーザのアバタ等のユーザ画像を、ユーザの視野画像に重畳して、表示装置２２に表示させるが、他のユーザとして、複数の他のユーザが存在する場合、表示制御部６０は、複数の他のユーザに対応する複数のユーザ画像のうち少なくとも一つをユーザの視野画像に重畳させて表示装置２２に表示させることができる。

　例えば、表示制御部６０は、表示装置２２において、視野画像等にアバタ等のユーザ画像を重畳表示させる他のユーザの優先順位を設定し、その優先順位に従って、複数の他のユーザの一部又は全部のユーザ画像を、表示装置２２に表示させることができる。

　例えば、表示制御部６０は、ユーザの視野画像と、複数の他のユーザそれぞれの視野との位置関係に応じて、複数の他のユーザの複数のユーザ画像それぞれを、ユーザの視野画像に重畳させるか否かを制御する（優先順位を決定する）ことができる。

　また、例えば、表示制御部６０は、複数の他のユーザのうち、その視野がユーザの視野画像（によって与えられる視野）と相対的に近い他のユーザのユーザ画像を、優先的に、ユーザの視野画像に重畳させて、表示装置２２に表示させることができる。

　さらに、例えば、表示制御部６０は、ユーザと複数の他のユーザとのコミュニケーションの履歴に応じ、複数の他のユーザの複数のユーザ画像のうち一部を優先的にユーザの視野画像に重畳させて、表示装置２２に表示させることができる。

　図３は、ユーザ装置２０を成す表示装置２２の構成例を示すブロック図である。特に、図３は、表示装置２２が、ユーザの頭部に装着されるHMDである場合に好適な構成例を示している。

　表示装置２２は、視線検出部７１、頭部動き検出部７２、表示部７３、及び音声入出力部７４を有する。

　視線検出部７１は、ユーザの視線を検出する。視線の検出には、例えば、角膜反射法や、その他任意の手法・技術を利用することができる。さらに、視線検出部７１は、表示部７３に表示される視野画像の中央（視野中央）から、ユーザの視線までの角度（視線移動角）を視線の移動量として検出して、情報処理装置２１の視野画像決定部５３に通知する。

　頭部動き検出部７２は、頭部の移動量として、表示装置２２としてのHMDを装着しているユーザの頭部回転角を検出して、情報処理装置２１の視野画像決定部５３に通知する。表示装置２２としてのHMDを装着しているユーザの頭部回転角は、HMDの回転角でもある。

　表示部７３は、表示制御部６０から供給される視野画像等の画像信号に基づいて視野画像等を表示する。

　音声入出力部７４は、例えば、マイクロフォン及びスピーカから成り、コンテンツの音声（コンテンツのデータに基づくコンテンツ音声）を出力したり、ユーザの発声を入力したりする。入力されたユーザの発声は、例えば、同一のコンテンツを視聴するユーザ間のコミュニケーションに用いられる。すなわち、入力されたユーザの発声は、他のユーザ装置２０に送信され、その他のユーザ装置２０の音声入出力部７４のスピーカから出力される。

　表示装置２２としてのHMDは、以上のように視線検出部７１及び頭部動き検出部７２を有し、ユーザの視線の移動や頭部の移動は、HMD（に関連付けられた形）で検出される。

　＜２．各ユーザの視野の提示＞
　図４は、コンテンツ画像全体を平面に展開した全体画像の例を示す図である。

　この全体画像１００は、全天球画像であるコンテンツ画像全体を、正距円筒図法によって平面に展開した画像である。

　なお、全天球画像であるコンテンツ画像全体を平面に展開する図法は、正距円筒図法以外の図法を用いてもよい。例えば、正距円筒図法の代わりに、メルカトル図法を用いることができる。以下、正距円筒図法によって平面に展開した画像を正距円筒図と称する。同様に、メルカトル図法によって平面に展開した画像をメルカトル図と称する。

　いまの場合、このコンテンツは、３人のユーザＡないしＣによって共有（視聴）されているとする。ただし、ユーザＡないしＣがコンテンツを視聴するタイミングは同時でなくてもよい。

　ユーザＡが用いる表示装置２２では、コンテンツ画像から、ユーザＡの視野情報の視野中心情報及び視野サイズ情報に応じた視野範囲（視野中心情報が表す視野中心を中心とする、視野サイズ情報が表す視野サイズの範囲）１０１Ａを切り出すことにより生成される視野画像が表示される。同様に、ユーザＢが用いる表示装置２２では、コンテンツ画像から、ユーザＢの視野情報の視野中心情報及び視野サイズ情報に応じた視野範囲１０１Ｂを切り出すことにより生成される視野画像が表示され、ユーザＣが用いる表示装置２２では、コンテンツ画像から、ユーザＣの視野情報の視野中心情報及び視野サイズ情報に応じた視野範囲１０ＣＢを切り出すことにより生成される視野画像が表示される。

　視野範囲１０１Ａは、ユーザＡの視野（となっている範囲）を表す。同様に、視野範囲１０１Ｂは、ユーザＢの視野を表し、視野範囲１０１Ｃは、ユーザＣの視野を表す。

　＜広域画像を用いる方法＞
　図５は、ユーザＡが用いる表示装置２２に表示される、コンテンツ画像から視野範囲１０１Ａを切り出すことにより生成された視野画像１１１Ａの表示例を示す図である。

　ただし、同図の場合、ユーザＡによる所定の操作に応じて、視野画像１１１Ａにおける所定の位置（同図の場合、左上）に、広域画像１１２が重畳表示されている。

　広域画像１１２は、ユーザ（いまの場合、ユーザＡ）に対して、同一のコンテンツを共有（視聴）している他のユーザ（いまの場合、ユーザＢ及びＣ）の視野を提示するための、他のユーザの視野の位置を示す視野位置指示画像の一種である。

　広域画像１１２は、全体画像１００の全部又は一部を用いて生成される。すなわち、広域画像１１２は、ユーザの視野画像（第１の視野画像）及び他のユーザの視野画像（第２の視野画像）を含む範囲を、全体画像１００から切り出すことにより生成される。したがって、コンテンツを共有している複数のユーザの視野が分散している場合、広域画像１１２は、全体画像１００の大きな範囲を切り出した画像、又は、全体画像１００の全部をベースに生成される。コンテンツを共有している複数のユーザの視野が密集している場合、広域画像１１２は、全体画像１００から小さな範囲を切り出した画像をベースに生成される。なお、広域画像１１２は、常に、全体画像１００の全部をベースに生成することができる。

　図６は、ユーザＡが用いる表示装置２２に表示される視野画像１１１Ａ（図５）に重畳された広域画像１１２の拡大図である。

　ユーザＡの表示装置２２（ユーザＡが用いる表示装置２２）に表示される広域画像１１２は、ユーザＡの視野画像、及び、ユーザＡと同一のコンテンツを共有する他のユーザとしてのユーザＢ及びＣそれぞれの視野画像を含み、したがって、ユーザＡの（視野の）視野範囲、及び、ユーザＢ及びＣそれぞれの視野範囲を含む。なお、図６では、広域画像１１２を正距円筒図としているが、広域画像１１２は、メルカトル図、俯瞰図、鳥瞰図、２次元地図のような平面図のいずれであってもよい。

　図６において、広域画像１１２には、ユーザＡの視野範囲を表す視野範囲表示１１３Ａ、ユーザＢの視野範囲を表す視野範囲表示１１３Ｂ及びユーザＢのユーザ画像としてのアイコン１１４Ｂ、並びに、ユーザＣに視野範囲を表す視野範囲表示１１３Ｃ及びユーザＣのユーザ画像としてのアイコン１１４Ｃが重畳表示されている。

　視野範囲表示１１３Ｂ及びアイコン１１４Ｂによれば、ユーザＢの視野範囲１０１Ｂ（図４）がユーザＡに提示される。同様に、視野範囲表示１１３Ｃ及びアイコン１１４Ｃによれば、ユーザＣの視野範囲１０１Ｃ（図４）がユーザＡに提示される。

　したがって、ユーザＡは、自身が用いる表示装置２２に表示される視野画像１１１Ａ（図５）に広域画像１１２が重畳表示されることにより、コンテンツを共有している他のユーザ（いまの場合、ユーザＢ及びＣ）の視野を把握することができる。

　これにより、複数のユーザの同一のコンテンツ視聴について、コミュニケーションの改善を図ることができる。すなわち、例えば、ユーザ間で、それぞれが見ているものに関して、音声や文字によるメッセージのやり取り等のコミュニケーションを行う場合に、話が噛み合わない等の事態の発生を抑制することができ、ユーザ間の円滑なコミュニケーションを支援することができる。

　なお、広域画像１１２を視野画像１１１Ａ（図５）に重畳表示する代わりに、広域画像１１２を表示装置２２以外の表示デバイス、例えば、テレビジョン受像機等に表示するようにしてもよい。

　次に、ユーザに対して、コンテンツを共有している他のユーザの視野範囲を提示する他の方法を説明する。

　＜視野方向指示マークを用いる方法＞
　図７は、ユーザが用いる表示装置２２に表示される視野画像１１１Ａに、コンテンツを共有している他のユーザの視野の位置を示すシンボル画像として、他のユーザの視野が存在している方向を表す視野方向指示マーク１２１が重畳表示されている場合の表示例を示す図である。

　図７の表示例では、ユーザＡに対応する視野画像（ユーザＡの視野画像）１１１Ａに、ユーザＢに対応する視野方向指示マーク１２１Ｂ及びユーザＣに対応する視野方向指示マーク１２１Ｃが重畳表示されている。

　視野方向指示マーク１２１Ｂは、ユーザＢに対応するアイコン１１４Ｂ（図６）を鋭角な突起部分を有する図形で囲んだものであり、その鋭角な突起部分がユーザＢの視野の方向を指し示している。

　同様に、視野方向指示マーク１２１Ｃは、ユーザＣに対応するアイコン１１４Ｃ（図６）を鋭角な突起部分を有する図形（いわゆる吹き出しを表す図形）で囲んだものであり、その鋭角な突起部分がユーザＣの視野の方向を指し示している。

　ユーザＡは、自身が用いる表示装置２２に表示された視野画像１１１Ａに重畳されている視野方向指示マーク１２１Ｂや１２１Ｃにより、コンテンツを共有している他のユーザ（いまの場合、ユーザＢ及びＣ）の視野が存在する方向を把握することができる。ユーザＡは、例えば、視野方向指示マーク１２１Ｂの鋭角な突起部分が指し示す左上方向に、頭部を回転させれば、自身（ユーザＡ）の視野をユーザＢの視野まで移動させることができる。

　同様に、ユーザＡは、例えば、視野方向指示マーク１２１Ｃの鋭角な突起部分が指し示す右方向に、頭部を回転させれば、自身（ユーザＡ）の視野をユーザＣの視野まで移動させることができる。

　図８は、ユーザの視野が他のユーザの視野よりも狭い場合の視野画像の表示例を示す図である。

　上述した図７のように、視野方向指示マーク１２１Ｃが重畳されている視野画像１１１Ａを見たユーザＡが、視野方向指示マーク１２１Ｃの鋭角な突起部分が指し示す右方向に、頭部を回転させると、表示装置２２に表示される視野画像１１１Ａ（として切り出される範囲）がコンテンツ画像の右側に移動し、これにより、自身（ユーザＡ）の視野がユーザＣの視野に徐々に近づく。これに伴い、視野方向指示マーク１２１Ｃの鋭角な突起部分は徐々に小さくなる。そして、自身（ユーザＡ）の視野が、自身（ユーザＡ）の視野よりも広いユーザＣの視野に包含されると（ユーザＡの（表示装置２２に表示された）視野画像が、ユーザＣの視野画像に包含されると）、図８に示されるように、視野方向指示マーク１２１Ｃの鋭角な突起部分が無くなる。

　したがって、ユーザＡは、自身が用いる表示装置２２に表示された視野画像１１１Ａに重畳されている視野方向指示マーク１２１Ｃの突起部分の大きさにより、自己（ユーザＡ）の視野と他のユーザ（いまの場合、ユーザＣ）の視野との近さや一致具合を把握することができる。

　そして、視野方向指示マーク１２１Ｃの突起部分が無くなったときには、自己（ユーザＡ）と他のユーザ（いまの場合、ユーザＣ）が同じものを見ていると判断できるので、この状態で、ユーザＡがユーザＣとの間でメッセージのやり取り等のコミュニケーションを行えば、話が噛み合わない等の事態の発生を抑制することができる。

　図９は、ユーザの視野が他のユーザの視野よりも広い場合の視野画像の表示例を示す図である。

　上述した図７のように、視野方向指示マーク１２１Ｃが重畳されている視野画像１１１Ａを見たユーザＡが、視野方向指示マーク１２１Ｃの鋭角な突起部分が指し示す右方向に、頭部を回転させると、自身（ユーザＡ）の視野がユーザＣの視野に徐々に近づく。これに伴って、視野方向指示マーク１２１Ｃの鋭角な突起部分は徐々に小さくなる。そして、自身（ユーザＡ）の視野に、自身（ユーザＡ）の視野よりも狭いユーザＣの視野が包含されると、図９に示されるように、視野方向指示マーク１２１Ｃの鋭角な突起部分が無くなり、かつ、ユーザＣの視野を表す視野範囲表示１４１Ｃが視野画像１１１Ａに重畳表示される。

　したがって、ユーザＡは、自身が用いる表示装置２２に表示された視野画像１１１Ａに重畳されている視野方向指示マーク１２１Ｃの突起部分の大きさや、視野範囲表示１４１Ｃにより、自己（ユーザＡ）の視野と他のユーザ（いまの場合、ユーザＣ）の視野との近さや一致（重なり）具合を把握することができる。

　そして、視野方向指示マーク１２１Ｃの突起部分が無くなったときには、自己（ユーザＡ）と他のユーザ（いまの場合、ユーザＣ）が同じものを見ていると判断できるので、この状態で、ユーザＡがユーザＣとの間でメッセージのやり取り等のコミュニケーションを行えば、話が噛み合わない等の事態の発生を抑制することができる。なお、視野方向指示マーク１２１Ｃや視野範囲表示１４１Ｃは、ユーザＣの視野の位置を示す視野位置指示画像の一種である。

　＜視野方向指示ラインを用いる方法＞
　図１０は、ユーザが用いる表示装置２２に表示される視野画像１１１Ａに、コンテンツを共有している他のユーザの視野の位置を示すシンボル画像として、他のユーザの視野が存在している方向を表す視野方向指示ライン１３１が重畳表示されている場合の表示例を示す図である。

　図１０の表示例では、ユーザＡの視野に対応する視野画像１１１Ａに視野方向指示ライン１３１Ｂが重畳表示されている。

　視野方向指示ライン１３１Ｂは、その直線の一端がユーザＢの視野が存在している方向（いまの場合、左上方向）を表している。また、視野方向指示ライン１３１Ｂの近傍には、視野方向指示ライン１３１ＢがユーザＢに対応することを表すために、ユーザＢに対応するアイコン１３２Ｂが視野画像１１１Ａに対して重畳表示される。

　ユーザＡは、自身が用いる表示装置２２に表示された視野画像１１１Ａに重畳されている視野方向指示ライン１３１Ｂにより、コンテンツを共有している他のユーザ（いまの場合、ユーザＢ）の視野が存在する方向を把握することができる。ユーザＡは、例えば、視野方向指示ライン１３１Ｂに沿って頭部を左上方向に回転させれば、自身（ユーザＡ）の視野をユーザＢの視野まで移動させることができる。

　これにより、ユーザ間でメッセージのやり取り等のコミュニケーションを行う場合に、話が噛み合わない等の事態の発生を抑制することができ、ユーザ間の円滑なコミュニケーションを支援することができる。

　＜３．他のユーザの視野を追尾した追尾画像＞
　ユーザ装置２０は、サーバ装置４０から取得する他のユーザ装置２０の視野情報に基づき、他のユーザ装置２０の他のユーザの視野を追尾することができる。

　図１１は、ユーザＡの視野画像（としてコンテンツ画像から切り出される範囲）がユーザＣの視野画像より大きく、そのため、ユーザＡの視野がユーザＣの視野よりも広い場合において、ユーザＡが用いるユーザ装置２０にて、ユーザＣの視野を追尾するときの、表示装置２２の表示部７３に表示される追尾画像ＡＣの表示例を示す図である。

　追尾画像ＡＣは、ユーザＡが用いるユーザ装置２０において、ユーザＣの視野情報に基づいて、コンテンツ画像から、ユーザＣの視野情報が表す視野中心を中心とする、ユーザＡの視野サイズ又はユーザＣの視野サイズの画像を、視野画像として切り出すことにより生成することができる。

　同図のＡに示す追尾画像１５１ＡＣは、ユーザＡの視野サイズの視野画像に、ユーザＣの視野を表す視野範囲表示１５２ＣとユーザＣに対応するアイコン１５３Ｃを重畳表示したものである。

　同図のＢに示す追尾画像１５１ＡＣは、ユーザＡの視野サイズの視野画像のうちの、ユーザＣの視野以外の範囲にマスキング表示１５４を重畳するとともに、ユーザＣの視野の範囲にユーザＣに対応するアイコン１５３Ｃを重畳表示したものである。

　同図のＣに示す追尾画像１５１ＡＣは、ユーザＡの視野サイズに合うように、ユーザＣの視野サイズの視野画像を拡大し、さらに、ユーザＣに対応するアイコン１５３Ｃを重畳表示したものである。

　図１２は、ユーザＡの視野画像がユーザＣの視野画像より小さく、そのため、ユーザＡの視野がユーザＣの視野よりも狭い場合において、ユーザＡが用いるユーザ装置２０にて、ユーザＣの視野を追尾するときの、表示装置２２の表示部７３に表示される追尾画像ＡＣの表示例を示す図である。

　同図のＡに示す追尾画像１６１ＡＣは、ユーザＡの視野サイズの視野画像に、ユーザＣに対応するアイコン１６２Ｃと、ユーザＣの視野がユーザＡの視野を包含していること（ユーザＣの視野がユーザＡの視野よりも広いこと）を表す矢印１６３を重畳表示したものである。

　同図のＢに示す追尾画像１６１ＡＣは、ユーザＣの視野サイズの視野画像をユーザＡの視野サイズに収まるサイズに縮小した画像に、アイコン１６２Ｃ及び矢印１６３と、ユーザＡの視野を表す視野範囲表示１６４を重畳表示したものである。

　ユーザ装置２０では、ユーザの頭部等の動きに応じて、表示装置２２に表示するユーザの視野画像を決定する通常モードと、図１１及び図１２に示された追尾画像を表示する追尾モードとを切り替えることができる。追尾モードによれば、ユーザは、他のユーザが見ている光景を見ることができる。

　＜４．発話中のユーザの強調＞
　ユーザＡの視野に対応する視野画像１１１Ａに、常に他のユーザの視野（視野の方向を含む）を表示していると、他のユーザの数が増えた場合、ユーザＡにとって視野画像１１１Ａが見づらくなることがある。そこで、他のユーザの視野の表示では、例えば、ユーザ間のコミュニケーションとしてメッセージを送信しているユーザだけの視野の表示を行うことや、メッセージを送信しているユーザの視野を強調表示することができる。

　図１３は、ユーザＡが用いるユーザ装置２０にて、ユーザＣがメッセージを送信していることに対応して、ユーザＣに対応する視野方向指示マーク１７１Ｃを強調表示した場合の表示例を示す図である。

　同図の場合、ユーザＡの視野に対応する視野画像１１１Ａに、輪郭線を太くすることによって強調表示されている視野方向指示マーク１７１Ｃが重畳されている。さらに、視野方向指示マーク１７１Ｃの下には、ユーザＣの発話に対応するテキスト表示１７２（同図の場合、「こっち見て」）が重畳表示される。

　なお、ユーザＡが、メッセージを送信した他のユーザと、メッセージを送信していない他のユーザとを視覚的により容易に区別できるように、メッセージを送信していない他のユーザ（いまの場合、ユーザＢ）に対応する視野方向指示マーク１７１Ｂが目立たなくなるように、その輪郭を破線にして表示したり、輝度を低下して表示したりしてもよい。

　＜５．ユーザ装置２０による視野情報提示処理＞
　次に、ユーザ装置２０の表示装置２２にユーザの視野に対応する視野画像を表示しつつ、他のユーザの視野がどこに存在しているのかをユーザに提示するための視野情報提示処理について説明する。

　図１４は、視野情報提示処理を説明するフローチャートである。

　ユーザＡが用いるユーザ装置２０の情報処理装置２１（図２）では、ステップＳ１にて、通信部５１が、インターネット３１を介してサーバ装置４０に接続し、コンテンツのデータを取得する。サーバ装置４０から取得したコンテンツのデータは、コンテンツ保持部５２に保持される。

　さらに、ステップＳ１にて、通信部５１が、サーバ装置４０の視野情報管理部４２から、同一のコンテンツを視聴する他のユーザ（例えば、ユーザＢ及びＣ）の視野情報の取得を開始する。

　ステップＳ２にて、視野画像決定部５３は、他のユーザの視野情報に基づき、より多くの他のユーザが見ている範囲内の位置を視野中心の初期位置に決定する。さらに、視野画像決定部５３は、視野中心の初期位置及び視野サイズに基づいて、コンテンツ画像におけるユーザの（視野に対応する）視野画像を決定する。視野中心の初期位置を、より多くの他のユーザが見ている範囲内の位置とすることにより、ユーザ（いまの場合、ユーザＡ）は、他のユーザと同じ画像を視野画像として直ちに見ることができるので、ユーザ間でコミュニケーションを行い易くすることができる。

　ステップＳ３にて、画像切り出し部５４は、コンテンツ画像から、視野画像決定部５３で決定された視野画像１１１Ａ（図５）を切り出すことにより生成する。

　ステップＳ４にて、表示制御部６０は、視野画像１１１Ａに、他のユーザの視野を表す表示である視野位置指示画像を重畳する。この後、表示制御部６０が、視野位置指示画像が重畳された視野画像１１１Ａの画像信号を、表示装置２２に供給して、表示部７３に表示させる。

　ここで、視野位置指示画像とは、広域画像１１２（図６）や、シンボル画像等である。シンボル画像とは、視野方向指示マーク１２１Ｂ及び１２１Ｃ（図７）や、視野方向指示ライン１３１Ｂ（図１０）等である。

ステップＳ５にて、視野画像決定部５３は、視線の移動量（回転角）や頭部の移動量（回転角）に基づき、表示部７３に表示される視野画像を移動させるか否かを判定する。ここで、視野画像を移動させると判定された場合、処理はステップＳ６に進められる。

　ステップＳ６にて、視野情報保持部５５は、視線の移動量や頭部の移動量に基づき、ユーザの視野情報を更新、保持するとともに、通信部５１に出力する。通信部５１は、更新されたユーザの視野情報を、インターネット３１を介してサーバ装置４０に通知する。なお、サーバ装置４０に通知された視野情報は、他のユーザ装置２０に供給されることになる。

　視野画像決定部５３は、更新後の視野情報に基づいて、コンテンツ画像におけるユーザの視野に対応する視野画像を決定し、処理はステップＳ３に戻されて、それ以降の処理がコンテンツの再生終了まで繰り返される。以上のように、更新後の視野情報に基づいて、コンテンツ画像におけるユーザの視野に対応する視野画像が決定されることにより、表示部７３に表示される視野画像は、ユーザの視線の移動量や頭部の移動量に基づいて移動する（コンテンツ画像から視野画像として切り出される範囲が移動する）。

　また、ステップＳ５にて、視野画像を移動させないと判定された場合、視野画像決定部５３は、前回の視野画像を、再度、ユーザの視野に対応する視野画像に決定し、ステップＳ６はスキップされる。そして、処理はステップＳ３に戻されて、それ以降の処理がコンテンツの再生終了まで繰り返される。

　以上に説明した視野情報提示処理によれば、他のユーザの視野（視野が存在する方向を含む）が表示されることにより、ユーザに対して、他のユーザの視野が提示される。この提示に基づき、ユーザが自身の視野を移動させるように、視線や頭部を移動させれば、他のユーザと同じ画像を直ちに見ることができるので、ユーザ間でコミュニケーションを行う場合に、話が噛み合わない等の事態の発生を抑制することができる。

　＜６．視野画像と広域画像の切り替え＞
　ここまでの説明では、広域画像（図６）は、視野画像（図５）に重畳表示するか、他の表示デバイスに表示するものとして説明したが、表示装置２２において視野画像と広域画像とを切り替えて表示するようにしてもよい。

　表示装置２２の表示を視野画像から広域画像に切り替えるときには、視野画像から広域画像に瞬時に切り替えてもよいし、視野画像をズームアウトしたり、視点を移動させたりすることによって徐々に広域画像まで変化させるようにしてもよい。

　視野画像から広域画像への切り替えは、例えば、ユーザ（例えば、ユーザＡ）が他のユーザ（例えば、ユーザＢ）の視野（視野の方向を含む）を知りたいときに行うことができる。また、他のユーザが存在しない場合においても、ユーザＡが、コンテンツ画像全体における自身の視野の位置や、ユーザ自身の視点（コンテンツが自由視点画像である場合）を把握したいときに行うことができる。

　視野画像から広域画像に切り替えるトリガとしては、以下の例を挙げることができる。

　例えば、ユーザによる入力部５８（図２）に含まれるリモートコントローラのキーに対する操作をトリガとし、ユーザがリモートコントローラのキーを押している期間だけ、視野画像から広域画像に切り替えて表示するようにしてもよい。

　また例えば、ユーザによる音声コマンドの発声をトリガとし、ユーザが予め決められている音声コマンド「引いて」を発声したことに応じて視野画像から広域画像に切り替え、音声コマンド「戻して」を発声したことに応じて広域画像から視野画像に戻すようにしてもよい。

　また例えば、ユーザの頭部の動きをトリガとし、ユーザが真下を向いたことに応じて、視野画像から広域画像としての鳥瞰図等に切り替え、ユーザが真上を向いたことに応じて、視野画像から広域画像としての、コンテンツ空間に対応する２Ｄ地図の画像に切り替えるようにしてもよい。

　また例えば、ユーザ間のコミュニケーションをトリガとし、ユーザが他のユーザとコミュニケーションを開始したことやコミュニケーション中の他のユーザとの距離が遠くなって視野から外れたこと等に応じて広域画像に切り替え、その後、ユーザによるうなずきや手の動き等の所定のジェスチャ操作に応じて、視野画像と広域画像を切り替えるようにしてもよい。

　また例えば、コンテンツの中で何からのイベントが生じたことをトリガとし、これに応じて、視野画像から、イベントが生じた場所を含む広域画像に切り替えるようにしてもよい。

　また例えば、コンテンツが実空間のライブ画像である場合等において実空間で何からのアラート（例えば、不審者の発見、火災、非常ボタンの操作等）が発生したことをトリガとし、これに応じて、視野画像から、アラートが発生した現場を含む広域画像に切り替えるようにしてもよい。

　さらに、ユーザ間のコミュニケーションとしての会話の内容を解析し、その解析結果が所定の内容であったことをトリガとして、視野画像と広域画像との切り替えを行うことができる。

　また、ユーザの左右を見るジェスチャ（動作）や、引き寄せるジェスチャ等に応じて、視野画像と広域画像との切り替えを行うことができる。

　次に、図１５は、視野画像から切り替わる広域画像の表示例を示す図である。同図のＡは、ユーザＡが装着している表示装置２２に表示される視野画像１８１の表示例である。

　同図のＢは、トリガの検出に応じて、視野画像１８１（同図のＡ）から切り替えられる鳥瞰図による広域画像１８２の表示例である。広域画像１８２には、ユーザの位置（すなわち視点）と視野の方向を示す視野マーク１８３が重畳される。この鳥瞰図は、視野マーク１８３が示すユーザの現在の視野が分かりやすくなることを優先しつつ、視野マーク１８３が、広域画像１８２上の主要な建物等のオブジェクトの影に入らない角度で表示するようにする。

　同図のＣは、トリガの検出に応じて、視野画像１８１（同図のＡ）から切り替えられる正距円筒図による広域画像１８４の表示例である。広域画像１８４には、ユーザＡの視野を表す視野範囲表示１８５Ａが重畳される。

　同図のＤは、ユーザＡがユーザＢとコミュニケーションを開始したこと等をトリガとして、視野画像１８１（同図のＡ）から切り替えられる、正距円筒図による広域画像１８６の表示例である。広域画像１８６には、ユーザＡの視野を表す視野範囲表示１８７Ａと、ユーザＢの視野を表す視野範囲表示１８７Ｂが重畳される。

　同図のＥは、ユーザＡがユーザＢとコミュニケーションを開始したこと等をトリガとして、視野画像１８１（同図のＡ）から切り替えられる正距円筒図による広域画像１８８の表示例である。広域画像１８８は、ユーザＡとユーザＢの視野を含む範囲を拡大した画像であり、ユーザＡの視野を表す視野範囲表示１８９Ａと、ユーザＢの視野を表す視野範囲表示１８９Ｂが重畳される。

　広域画像については、複数のユーザが、コンテンツを視聴しつつコミュニケーションする場合において、その複数のユーザの視野が大きくずれているときに、複数のユーザの視野（複数のユーザの視野画像）を同時に含むような俯瞰図等を、広域画像として採用して自動的に表示することができる。ARのコンテンツについては、例えば、実世界を別にカメラで撮像した画像を用いて、広域画像を生成することができる。

　さらに、ARグラスを装着したユーザと、そのユーザがいる空間に配置されたライブカメラの画像のコンテンツを遠隔から視聴している他のユーザとがいる場合、そのユーザと他のユーザとのコミュニケーション時に、ユーザと他のユーザとの視野を同時に含むような俯瞰画像を、広域画像として採用して自動的に表示することができる。

　また、複数のユーザの視野が大きくずれている場合には、視野画像の表示よりも広域画像の表示を優先することができる。

　さらに、複数のユーザが、コンテンツ画像における異なるオブジェクトに注目していると推定される場合には、その異なるオブジェクトを含む画像（異なるオブジェクトが映る画像）を、広域画像として採用することができる。

　また、広域画像としては、コンテンツ画像のうちの、ユーザの視野画像を中心とする所定の範囲を超広角で表示するように縮小した画像であって、他のユーザの位置を表示した画像を採用することができる。

　さらに、広域画像としての俯瞰図については、表示装置２２としてのHMDの向きによって、俯瞰図を見る視点と俯瞰図の画角を選択することができる。

　広域画像を表示するトリガとしては、ユーザが他のユーザを認識して会話を始めたこと、すなわち、例えば、ユーザが、他のユーザのアイコンが表示されたメニューから、その他のユーザを選択して、音声通話やテキストチャットを開始したことを採用することができる。

　また、広域画像を表示するトリガとしては、ユーザが他のユーザとの音声通話等の会話の途中で、他のユーザが、ユーザから遠ざかったことを採用することができる。

　なお、コンテンツが自由視点画像である場合、その自由視点画像に映るコンテンツ空間を、任意の視点から任意の方向を見た光景が映る画像を、視野画像として、表示装置２２としてのHMDに表示することができるが、ユーザがHMDを装着して動ける範囲は限られている。そのため、視野画像の移動については、回転方向の移動はユーザに許し、並行移動はユーザ装置２０が自動的に行うことができる。以上のような自由視点画像を視聴する場合も、上述のように、広域画像を表示することができる。

　また、広域画像は、ユーザの視界の全体を覆うように表示することができる。さらに、広域画像は、ユーザが下を向いたときに、ユーザの視野の下側に、地面に張り付くように表示することができる。また、広域画像は、視野画像の一部にウインドウを表示し、そのウインドウ内に表示することができる。

　さらに、広域画像は、視野画像に比較して、輝度を低くして、うっすらと表示することができる。

　広域画像によれば、ユーザと他のユーザとの視野が異なっており、コミュニケーションがスムーズに行かない場合に、ユーザと他のユーザとの視野を含む広域画像が表示されることで、コミュニケーションの障害（ギャップ）を改善することができる。

　さらに、広域画像によれば、自由視点画像において、位置が分からなくなったユーザが、所望の位置に容易に復帰することや、大きい距離の移動を短時間で行うことが可能になる。

　＜視野画像と広域画像とを切り替える画像切り替え処理について＞
　次に、図１６は、視野画像と広域画像とを切り替える画像切り替え処理を説明するフローチャートである。

　ただし、画像切り替え処理の説明では、ユーザの視野の移動について言及しないことにする。

　ステップＳ１１にて、情報処理装置２１は、ユーザの視野に対応する視野画像を生成し、生成した視野画像を表示部７３に表示させる。

　具体的には、情報処理装置２１の画像切り出し部５４が、コンテンツ保持部５２に保持されているコンテンツ画像から、視野画像を切り出すことによって生成し、表示制御部６０が、生成された視野画像の画像信号を、表示装置２２に供給して、表示部７３に表示させる。

　ステップＳ１２にて、情報処理装置２１は、視野画像と広域画像との切り替えを指示するトリガの有無を判断する。具体的には、情報処理装置２１のトリガ検出部５９が、入力部５８が入力するユーザからのキー操作、ユーザの発声、ユーザの画像等に基づき、広域画像への切り替えを指示する広域トリガを検出したか否かを判定する。ここで、広域トリガを検出していないと判定された場合、処理はステップＳ１１に戻される。これにより、表示部７３の表示は、視野画像のままとなる。

　反対に、ステップＳ１２にて、広域トリガを検出したと判定された場合、処理はステップＳ１３に進められる。

　ステップＳ１３にて、情報処理装置２１は広域画像を生成し、表示装置２２は、表示部７３の表示を視野画像から広域画像に切り替える。

　具体的には、例えば、コンテンツ保持部５２に保持されているコンテンツ画像の全体画像１００（図４）に、表示制御部６０が、各ユーザの視野を表す視野範囲表示（例えば、図１５のＤの視野範囲表示１８７Ａ及び１８７Ｂ）を重畳することにより、広域画像（例えば、図１５のＤの広域画像１８６）を生成し、生成された広域画像の画像信号を、表示装置２２に供給して、表示部７３に表示させる。

　なお、各ユーザの視野を表す視野範囲表示の表示位置は、表示制御部６０が、視野情報保持部５５に保持されている各ユーザの視野情報に基づいて決定できる。

　上述したステップＳ１３の後、処理はステップＳ１４に進み、トリガ検出部５９が、入力部５８が入力するユーザからのキー操作、ユーザの発声、ユーザの画像等に基づき、視野画像への切り替えを指示する視野トリガを検出したか否かを判定する。ここで、視野トリガを検出していないと判定された場合、処理はステップＳ１３に戻される。これにより、表示部７３の表示は、広域画像のままとなる。

　ステップＳ１４において、視野トリガが検出されたと判定された場合、処理はステップＳ１１に戻されて、表示部７３の表示は、視野画像に切り替えられる。

　以上に説明した画像切り替え処理によれば、ユーザは、トリガとなる操作、発声、動作、ジェスチャ等を行うことにより、視野画像と広域画像とを切り替えることができる。

　広域画像を見たユーザは、他のユーザの視野を把握できるので、ユーザ間のコミュニケーションにおいて、話が噛み合わない等の事態の発生を抑制することができる。

　また、広域画像を見たユーザは、自身の視野や視点（コンテンツが自由視点画像である場合のコンテンツ空間における自身の位置）を把握できるので、例えば、コンテンツ空間において自身に位置がわからなくなった場合等には、速やかに希望する位置に戻ることができる。

　＜７．視野画像の移動＞
　次に、視野画像の移動について説明する。

　HMDでは、ユーザが頭部を回転することによって、コンテンツ画像から切り出す視野画像（の範囲）を移動され、これにより、ユーザの視野は移動する。ただし、例えば、コンテンツ画像において、表示装置２２に現在表示されている視野画像の真後ろに視野画像を移動させるような場合、通常、人は頭部だけを１８０度回転させることはできないので、頭部とともに体も回転させる必要がある。したがって、ユーザがHMDを装着した状態で、高い頻度で左右や後方を見回したりすると身体的な疲労を生じることになる。

　そこで、本実施の形態であるユーザ装置２０では、ユーザの身体的疲労が軽減できるように、頭部の回転量よりも大きく視野画像（を決定するための視野情報に含まれる視野中心情報が表す視野中心）を移動させるようにする。すなわち、視野画像の回転角を、ユーザの頭部の回転角よりも大きくする。例えば、ユーザが頭部を水平方向に90度回転させたことに応じ、視野画像を水平方向に180度回転移動させるようにする。

　図１７は、ユーザの頭部の回転量よりも大きく視野画像が回転移動される例を示す図である。

　同図のＡは、ユーザが所定の方向を正面として向いて、コンテンツ画像２００としての全天球画像を視聴している状態を上方から見た場合を示している。コンテンツ画像２００において、ユーザの前方には物体２０１が存在し、ユーザの後方には物体２０２が存在する。このとき、物体２０１は、ユーザが正面を向いているときにコンテンツ画像２００から切り出される視野画像（の範囲）２０３の中に存在するので、ユーザは物体２０１を視認できる。一方、物体２０２は、ユーザの視野画像２０３の外に存在するので、ユーザは物体２０２を視認できない。

　この状態から、ユーザが頭部を９０度回転させると、同図のＢに示されるように、視野画像２０３は、コンテンツ画像２００において、頭部の回転と同じ方向に、頭部の回転角より大きい、例えば、１８０度だけ回転される。このとき、物体２０１は、回転後の視野画像２０３の外に存在するので、ユーザは物体２０１を視認できなくなるが、物体２０２が回転後の視野画像２０３に存在するので、ユーザは物体２０２を視認できる。

　ただし、図１７に示されたように、単に頭部の回転量以上に視野画像を移動させた場合、ユーザによっては、不快感や酔い等を起こしてしまうことがある。そこで、ユーザ装置２０では、ユーザが視野を大きく移動させたいという強い意志と見做せる動作を行った場合や、ユーザが視野の大きな移動に気付きにくい条件下である場合にだけ、頭部の回転量よりも大きく視野画像を回転移動させることができる。

　＜視線の移動に応じた視野画像の移動＞
　ユーザ装置２０では、頭部が回転されなくても、視線が移動されるだけで、視野画像を移動させ、これにより、ユーザの視野を移動させることができる。

　図１８及び図１９は、ユーザの視線の動きと視野画像の移動との関係を示す図である。

　図１８のＡは、コンテンツ画像を平面に展開した全体画像１９０の例であり、全体画像１９０上の範囲１９１は、表示装置２２の表示部７３に表示される視野画像１９２（図１８のＢ）として切り出される範囲を示している。図１８のＢは、視野画像１９２の表示例であり、Ｘ印は、視野画像１９２上のユーザの視線位置１９５を示している。図１８のＢの場合、視線位置１９５は視野画像１９２の中央下側に位置している。

　図１９のＡは、ユーザの視線の動きを示している。図１９のＡでは、ユーザの視線位置１９５が、視野画像１９２の左端部下側に移動されている。図１９のＢは、視線の移動に応じた視野画像の移動、すなわち、図１９のＡに示した視線の移動後に視野画像として切り出される範囲を示している。

　ユーザが、図１９のＡに示されるように、視線位置１９５が視野画像の端部に近づくように視線を移動した場合、ユーザには、現在の視野画像の範囲１９１の外側を見たいという意思があると見做せる。そこで、視野画像決定部５３は、視線位置１９５が視野画像の端部に近づいたことに応じ、視野画像を、視線位置１９５を基準として移動させる。すなわち、視野画像として切り出す範囲が、範囲１９１（図１７のＡ）から視線の移動方向と同じ方向に範囲１９６（図１８のＢ）に移動される。以上のような（移動後の視線の）視線位置１９５を基準とする視野画像の移動は、例えば、視線位置１９５を視野中心として、コンテンツ画像から切り出す視野画像を決定することにより行うことができる。

　＜視線の移動量及び頭部の回転量に応じた視野画像の移動＞
　ユーザが視線の移動、及び頭部の回転を素早く行っている場合、そのユーザは視野の大きな移動に気付きにくいと考えられる。そこで、ユーザ装置２０では、一定時間における、ユーザの視線の移動量としての回転角、及び頭部の回転量（回転角）が閾値以上である場合、頭部の回転量よりも大きく視野画像を移動させるようにする。

　ただし、頭部の回転方向と視線の移動方向とが異なる場合、ユーザは、現在表示されている視野画像内の物体を見ている可能性が高く、このような状態下で、実際の頭部の回転以上に視野画像を移動させてしまうと、ユーザが不自然さや不快を感じさせてしまうことがある。したがって、この頭部の回転方向と視線の移動方向とが逆方向である場合には、頭部の回転と視線の移動（後述する視線移動角）との差分が一定時間内に閾値を超える変化があった場合にのみ、実際の頭部の回転以上に視野画像を移動させるようにする。

　＜視線移動角と頭部回転角の定義＞
　図２０は、ユーザの視線の移動量を表す視線移動角の定義を説明するための図であり、表示装置２２によって与えられるユーザの視野を上方から見た状態を示している。同図に示されるように、視野の中央を表す視野中央から視線の移動後の視線方向までの角度を、ユーザの視線の動き量としての回転角を表す視線移動角とし、例えば、視野中央から左の視野端側を正の視線移動角、視野中央から右の視野端側を負の視線移動角と定義する。

　図２１は、ユーザの頭部の回転量を表す頭部回転角の定義を説明するための図であり、ユーザがコンテンツ画像２００としての全天球画像を視聴している状態を上方から見た様子を示している。頭部回転角は、同図のＡに示す、ユーザの頭部が現在向いている所定の方向を0度とし、例えば、所定の方向から左側を正の頭部回転角、所定の方向から右側を負の頭部回転角と定義する。

　なお、同図のＡでは、頭部回転角は0度であるが、視線移動角は正の値を有している。同図のＢでは、頭部回転角は正の値であり、視線移動角は、同図のＡの視線移動角よりも大きい正の値を有している。同図のＣでは、頭部回転角は正の値であり、視線移動角は、負の値を有している。

　＜視線の移動量及び頭部の回転量に応じた視野画像移動処理について＞
　次に、視線の移動量及び頭部の回転量に応じた視野画像移動処理について説明する。

　図２２は、視線の移動量及び頭部の回転量に応じて視野画像を移動する視野画像移動処理を説明するフローチャートである。この視野画像移動処理は、コンテンツの視聴が行われている間実行される。

　ステップＳ２１にて、表示装置２２（図３）の頭部動き検出部７２は、ユーザの頭部回転角の取得を開始する。取得されたユーザの頭部回転角は、情報処理装置２１（図２）の視野画像決定部５３に通知される。ステップＳ２２にて、表示装置２２の視線検出部７１は、ユーザの視線を検出し、視線位置１９５（図１８）、及びユーザの視線移動角の取得を開始する。視線位置１９５、及び、視線移動角は、情報処理装置２１の視野画像決定部５３に通知される。

　ステップＳ２３にて、視野画像決定部５３は、視線検出部７１からの通知に基づき、ユーザの視線が視野画像の端部に近づいたか否かを判定し、ユーザの視線が視野画像の端部に近づいたと判定した場合、処理をステップＳ２４に進める。ステップＳ２４にて、視野画像決定部５３は、視野画像を、コンテンツ画像における現在の位置から、視線の移動方向と同じ方向に移動する。これにより、表示部７３に表示される視野画像は視線の方向に移動される。

　なお、ステップＳ２３にて、ユーザの視線が視野画像の端部に近づいたと判定されなかった場合、ステップＳ２４はスキップされて、処理はステップＳ２５に進められる。

　ステップＳ２５にて、視野画像決定部５３は、一定時間におけるユーザの頭部回転角と視線移動角とを合わせた合成角が閾値以上であるか否かを判定する。一定時間におけるユーザの頭部回転角と視線移動角とを合わせた合成角が閾値以上であると判定された場合、すなわち、例えば、ユーザの頭部と視線とが同じ方向に一定速度以上で動いている場合や、ユーザの頭部と視線とが逆方向に動いているが、頭部及び視線の動き（回転）のうちの一方が他方より十分大である場合、処理はステップＳ２６に進められる。ステップＳ２６にて、視野画像決定部５３は、視野画像を、コンテンツ画像における現在の位置から、頭部回転角よりも大きく（回転）移動させる。なお、視野画像を頭部回転角よりも大きく移動させるときの視野画像の移動量（回転角）の算出には、任意の方法を用いることができる。この後、処理はステップＳ２３に戻されて、それ以降が繰り返される。

　反対に、ステップＳ２５にて、一定時間におけるユーザの頭部回転角と視線移動角とを合わせた合成角が閾値よりも小さいと判定された場合、処理はステップＳ２７に進められる。ステップＳ２７にて、視野画像決定部５３は、視野画像を、コンテンツ画像における現在の位置から、頭部回転角に合わせて移動させる。この後、処理はステップＳ２３に戻されて、それ以降が繰り返される。

　以上に説明した視野画像移動処理によれば、ユーザが視線を視野画像の端部に移動した場合には、ユーザには現在の視野画像（に映る光景）の外側（の光景）を見たいという意思があると見做せるので、ユーザが視線を動かした方向に、視野画像が移動される。

　また、一定時間におけるユーザの頭部回転角と視線移動角とを足した合成角が閾値以上である場合には、ユーザは視野の大きな移動に気付きにくいと考えられるので、視野画像を、頭部回転角よりも大きく移動させる。これにより、ユーザは、例えば、体を回転させなくても、頭部をある程度回転させることにより、視野を真後ろに移動させることができる。よって、身体的な負荷を増すことなく、コンテンツの視聴において視野の移動を容易に行うことができる。

　＜８．表示するアバタの選択＞
　複数のユーザが同一のコンテンツを視聴するに際し、コンテンツが自由視点画像である場合、各ユーザはそれぞれの視点を任意に変えることができる。したがって、あるユーザの視野（ユーザが見ている視野画像）に、他のユーザ（の視点）が存在していることがあり、このような場合、視野画像（に映るコンテンツ空間）の、他のユーザ（の視点）が存在している位置に、他のユーザの分身としてのキャラクタである、例えば、アバタを（重畳）表示することができる。アバタは、絵であっても写真であってもよい。また、２次元的な表示でもよいし、３次元的な表示でもよい。

　視野画像に他のユーザのアバタを表示すると、ユーザ間のコミュニケーションをより円滑に行うことができる効果が期待できる。

　ただし、視野画像に他のユーザが複数存在し、複数の他のユーザそれぞれに対応するアバタを全て表示してしまうと、視野画像が、他のユーザのアバタ（他のユーザに対応するアバタ）で占められてしまったり、コミュニケーションと取りたい相手（アバタ）を見つけ出し難くなったり等の不都合がある。

　よって、アバタを表示する場合においては、視野画像に表示するアバタを取捨選択する仕組みを導入することができる。

　本実施の形態であるユーザ装置２０では、情報処理装置２１の表示制御部６０（図２）により、視野画像に（重畳）表示するアバタを選択する。

　図２３は、表示制御部６０において視野画像に表示するアバタを選択する方法を説明するための平面図である。同図は、複数のユーザが同一の自由視点画像のコンテンツを視聴している場合における、コンテンツ空間３０１を上方から見た場合を示している。

　コンテンツ空間３０１には、ユーザＡに対応するアバタ３１１Ａ、ユーザＢに対応するアバタ３１１Ｂ、ユーザＣに対応するアバタ３１１Ｃ、及びユーザＤに対応するアバタ３１１Ｄが存在している。図２３では、ユーザＡの視野画像に映る範囲３１２Ａ、ユーザＢの視野画像に映る範囲３１２Ｂ、ユーザＣの視野画像に映る範囲３１２Ｃ、及び、ユーザＤの視野画像に映る範囲３１２Ｄが示されている。

　ユーザ装置２０の情報処理装置２１の表示制御部６０では、ユーザの視野画像に存在している他のユーザ（アバタ）のうち、ユーザと同じものを見ている可能性が高いと考えられる順、すなわち、例えば、視野画像に映る範囲の重複する面積（ここでは、図２３の平面図で見た面積）が広い順に、他のユーザ（のアバタ）に優先順位を設定し、その優先順位に従って、他のユーザのアバタを表示することができる。

　例えば、ユーザＡが用いるユーザ装置２０の情報処理装置２１の表示制御部６０では、ユーザＡの視野画像に映る範囲３１２Ａに存在している他のユーザ（同図の場合、ユーザＢ，Ｃ，Ｄ）を特定し、ユーザＡの視野画像に映る範囲３１２Ａと他のユーザの視野画像に映る範囲との重複する面積を検出する。具体的には、表示制御部６０は、範囲３１２ＡとユーザＢの視野画像に映る範囲３１２Ｂとの重複範囲３１５ＡＢ、範囲３１２ＡとユーザＣの視野画像に映る範囲３１２Ｃとの重複範囲３１５ＡＣ、及び、範囲３１２ＡとユーザＤの視野画像に映る範囲３１２Ｄとの重複範囲３１５ＡＤそれぞれの面積を検出する。

　同図の場合、重複範囲３１５ＡＤの面積が最も広く、次に重複範囲３１５ＡＢ、重複範囲３１５ＡＣの順である。したがって、アバタを表示させる優先順位は、ユーザＤ、ユーザＢ、ユーザＣに決定される。そして、ユーザＡの視野画像に表示させる他のユーザのアバタ数に応じて、優先順位に従ってアバタが表示される。なお、視野画像に表示させる他のユーザのアバタ数は、予め決められており、ユーザが変更できる。

　図２４は、図２３に示された状態に対応する、ユーザＡが用いるユーザ装置２０の表示装置２２に表示されるユーザＡの視野画像と、その視野画像に表示される他のユーザに対応するアバタの表示例を示す図である。ただし、同図は、視野画像に表示させる他のユーザのアバタ数が１とされている場合に対応する。

　同図に示されるように、ユーザＡの視野画像３２１Ａには、実線で示されたユーザＤに対応するアバタ３１１Ｄが重畳表示される。なお、点線で示されたユーザＢに対応するアバタ３１１Ｂ、及び、ユーザＣに対応するアバタ３１１は表示されない。ただし、視野画像に表示させる他のユーザのアバタ数が２とされている場合には、アバタ３１１Ｄ、及びアバタ３１１Ｂが表示されることになり、視野画像に表示させる他のユーザのアバタ数が３以上とされている場合には、アバタ３１１Ｄ、アバタ３１１Ｂ、及び３１１Ｃが表示される。

　なお、ここでは、ユーザＡの視野画像に映る範囲と、他のユーザの視野画像に映る範囲との重複する面積に応じて、ユーザＡの視野画像に表示するアバタの優先順位を設定することにしたので、傾向としては、視野がユーザＡの視野画像（に映る範囲）に近い他のユーザのアバタが優先的に、ユーザＡの視野画像に表示される。

　ユーザＡの視野画像にアバタを表示する優先順位は、以上のように、他のユーザの視野のユーザＡの視野画像との近さに応じて設定する他、ユーザＡの視野画像（に映る範囲）と、他のユーザの視野との位置関係に応じて設定し、これにより、他のユーザのアバタを、ユーザＡの視野画像に（重畳）表示するか否かを、ユーザＡの視野画像と、他のユーザの視野との位置関係に応じて制御することができる。

　＜アバタ表示処理＞
　次に、図２５は、上述したように、アバタに優先順位を設定して表示させるアバタ表示処理を説明するフローチャートである。

　ステップＳ３１にて、表示制御部６０は、視野情報保持部５５に保持されているユーザの視野情報と、他のユーザの視野情報を読み出す。ステップＳ３２にて、表示制御部６０は、ユーザと他のユーザの視野情報を参照し、ユーザの視野画像、すなわち、ユーザの視野情報に応じて決定されるユーザの視野画像（に映る範囲）に、他のユーザ（の視点）が所定数を超えて存在するか否かを判定する。この所定数とは、予め設定されている、ユーザの視野画像に表示させる他のユーザのアバタ数に相当する。

　ステップＳ３２にて、ユーザの視野画像に、他のユーザ（の視点）が所定数を超えて存在すると判定された場合、処理はステップＳ３３に進められる。ステップＳ３３にて、表示制御部６０は、ユーザと他のユーザの視野情報を参照し、視野（視野画像に映る範囲）がユーザの視野画像（に映る範囲）と重複する範囲が広い順に、他のユーザのアバタに対して優先順位を設定する。

　ステップＳ３４にて、表示制御部６０は、設定した優先順位に従い、ユーザの視野画像に表示する所定数の他のユーザのアバタ（他のユーザに対応するアバタ）を決定し、視野画像に、決定した他のユーザのアバタを重畳する。これにより、表示部７３に表示される視野画像には、所定数のアバタが重畳表示される。

　一方、ステップＳ３２にて、ユーザの視野画像に、他のユーザ（の視点）が所定数を超えて存在しないと判定された場合、ユーザの視野画像に存在する他のユーザのアバタを全て表示することになり、処理はステップＳ３５に進められる。

　ステップＳ３５にて、表示制御部６０は、ユーザの視野画像に存在する全ての他のユーザのアバタを、視野画像に表示するアバタに決定し、視野画像に、決定した他のユーザのアバタを重畳する。これにより、表示部７３に表示される視野画像には、所定数以下のアバタが重畳表示される。

　以上に説明したアバタ表示処理によれば、ユーザには、同じような視野画像を見ていると考えられる他のアバタだけが見え、他のアバタは見えないので、見えているアバタに対応する他のユーザと話が噛み合わない等のコミュニケーション上の不具合の発生を抑制できる。また、ユーザの視野がアバタによって占められてしまうことを抑制できる。

　また、他のユーザに対応するアバタの表示に関する優先順位は、ユーザが任意に設定できるようにしてもよい。また、例えば、メッセージのやり取りの回数が多いほど、優先順位を高く設定する等、コミュニケーションの履歴に応じて優先順位を設定するようにしてもよい。さらに、これら様々な基準によって設定された優先順位を切り替えられるようにしてもよい。

　さらに、コンテンツが時間の経過とともに変化する内容である場合、視野画像（に映る範囲）の重複範囲の面積だけでなく、視野画像が重複している時間も考慮して、優先順位を設定するようにしてもよい。

　なお、上述したアバタ表示処理は、アバタを表示させる代わりに、ユーザのアイコン（ユーザに対応するアイコン）や、ユーザの実写の画像、ユーザを表す文字（列）（の画像）、その他ユーザを表すユーザ画像を表示させる場合にも適用できる。

　さらに、始めはアイコンを表示するようにし、ユーザ間の関係の深さやコミュニケーションの程度に応じて、アバタの輪郭だけの表示、アバタのモノクロ表示、アバタのフルカラー表示等に変更するようにしてもよい。

　また、アイコンやアバタを表示する前に、ユーザ間で相互承認を行うようにしてもよい。

　なお、ユーザの視野画像に、他のユーザのアバタ等のユーザ画像を（重畳）表示するか否かの制御は、自由視点画像及び全天球画像のいずれのコンテンツについても、様々な方法で行うことができる。

　例えば、ユーザの視野画像には、ユーザと視野が近い他のユーザ、すなわち、視野画像が類似する他のユーザのアバタを、ユーザの視野画像の、ユーザから見て近い位置に表示することができる。

　また、ユーザの視野画像には、ユーザ及び他のユーザが視聴している同一のコンテンツのシーク位置（コンテンツが再生されている時間的な位置）どうしの近さや、コンテンツが3Dゲーム等の自由視点画像である場合の、ユーザと他のユーザとの視点の近さ、ユーザと他のユーザとの過去の会話の履歴、SNSからの関係の近さ等に応じて、ユーザと話があいそうな他のユーザのアバタを、優先的に表示することができる。

　さらに、各ユーザのアバタについては、アバタとともに、例えば、ユーザが行っている会話（テキストチャット）の内容の他、ユーザのニックネーム等のユーザに関するユーザ情報を表示することができる。ユーザの視野画像に、他のユーザのアバタが表示可能である場合、ユーザと他のユーザとの関係等に応じて、ユーザの視野画像に表示する他のユーザのアバタに関する表示を制限することができる。

　例えば、ユーザの視野に、他のユーザのアバタ（の位置）が入っているが、他のユーザの視野には、ユーザのアバタが入っていない場合、ユーザの視野画像には、他のユーザのアバタに関する表示の詳細、すなわち、例えば、他のユーザのアバタの首の角度や表情、会話としてのテキスト等を表示せず、簡易なアバタ、すなわち、例えば、アバタのシルエット（外形）だけを表示することができる。そして、ユーザ及び他のユーザそれぞれの視野画像に、コミュニケーションの許可を求めるダイアログを表示し、ユーザ及び他のユーザのそれぞれがコミュニケーションを許可した場合に、視野画像に、相手のアバタに関する表示を表示することができる。この場合、ユーザが、他のユーザのコミュニケーションをのぞき見をすることを防止することができる。なお、その他、ユーザ及び他のユーザのそれぞれがコミュニケーションを許可する前は、相手のアイコンだけを表示し、ユーザ及び他のユーザのそれぞれがコミュニケーションを許可した場合には、相手のアバタや実写のシルエットを表示することができる。

　また、ユーザの視野画像に、他のユーザのアバタを表示する場合には、他のユーザのアバタとして、3Dの画像等を採用し、ユーザの首や体の動きに従って、他のユーザのアバタに回り込むような視野画像を表示することで、ユーザは、他のユーザの存在を、リアルに感じることができる。

　さらに、ユーザの視野画像に、ユーザと視野が近い他のユーザ、すなわち、視野画像が類似する他のユーザのアバタを、ユーザの視野画像に表示している場合において、他のユーザが首を回して遠ざかったときには、他のユーザのアバタを、ユーザの視野画像の、ユーザから見て遠い位置に移動することや、ユーザの視野画像に、他のユーザのアバタに代えて、ユーザと視野が近い別のユーザ（他のユーザとは別のユーザ）のアバタを表示することができる。

　また、ユーザの視野画像に表示する他のユーザのアバタに関する表示は、ユーザと他のユーザとの関係に応じて変化させることができる。例えば、他のユーザと一度話して友達として登録されたユーザの視野画像には、他のユーザのアバタに関する表示の一部の情報（少ない情報）を表示し、他のユーザと会話を行っているユーザの視野画像には、他のユーザのアバタに関する表示の全部（多くの情報）を表示することができる。

　さらに、表示装置２２に表示される画像について、ユーザが、ズームインやズームアウトの操作により、画像の画角（画像に映る光景の範囲）を調整することができる場合には、ユーザの表示装置２２に表示される画像の画角と、他のユーザの表示装置２２に表示される画像の画角とが類似しているかどうかをも考慮して、ユーザの視野画像に、他のユーザのアバタを表示する優先順位を設定することができる。

　また、コンテンツが、複数の全天球カメラで撮像された複数の全天球画像で構成される場合には、ユーザと他のユーザとが、同一の全天球カメラで撮像された全天球画像を視聴しているか、異なる全天球カメラで撮像された全天球画像を視聴しているかをも考慮して、ユーザの視野画像に、他のユーザのアバタを表示する優先順位を設定することができる。

　さらに、コンテンツが自由視点画像である場合には、ユーザと他のユーザとの視野の近さは、例えば、ユーザ及び他のユーザそれぞれの首の角度や、ユーザ及び他のユーザそれぞれの視野画像に、同一の物体（オブジェクト）が映っているかどうか等に応じて判定することができる。ユーザ及び他のユーザそれぞれの視野画像に、同一の物体が映っているかどうかは、例えば、ユーザ及び他のユーザそれぞれの位置（視点）と、ユーザ及び他のユーザそれぞれの視野画像の画角との組み合わせ等により判定することができる。

　また、アバタの表示については、ユーザの視野画像に、特定の他のユーザのアバタを表示するモードや、過去に会話をしたことがある他のユーザのアバタを優先して表示するモードを設け、ユーザの操作に応じて、かかるモードに、アバタを表示するモードを切り替えることができる。

　以上のように、アバタを表示することにより、同一のコンテンツの同じような光景を見ている不特定多数のユーザどうしがつながりを持ち、会話が円滑に進めることが可能となる。さらに、視野の近さや、コミュニケーションの許可等に応じて、アバタ（他のユーザ）に優先順位を設定し、その優先順位に応じて、アバタを表示することにより、多数のアバタが、視野画像を覆い尽くし、コンテンツの視聴が妨げられることを防止することができる。

　＜９．一連の処理のソフトウェアによる実行＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

　入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

　コンピュータ５００では、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

　なお、コンピュータ５００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　＜１＞
　コンテンツのデータを取得するように構成されたコンテンツ取得部と、
　前記コンテンツのデータに基づくコンテンツ画像から第１のユーザの視野に対応する第１の視野画像を切り出すように構成された画像切り出し部と、
　前記コンテンツ画像を視聴する第２のユーザの視野を表す視野情報を取得するように構成された視野情報取得部と、
　前記第１の視野画像を表示するよう表示装置を制御することと、前記第２のユーザの視野情報に基づいて前記第２のユーザの視野を表示するよう前記表示装置を制御することとを行うように構成された表示制御部と
　を備える情報処理装置。
　＜２＞
　前記表示制御部は、前記第２のユーザの視野情報に基づき、前記第２のユーザの視野の位置を示す視野位置指示画像を表示するよう前記表示装置を制御するように構成される
　＜１＞に記載の情報処理装置。
　＜３＞
　前記視野位置指示画像は、前記第１の視野画像及び前記第２のユーザの視野に対応する第２の視野画像を含む広域画像を含む
　＜２＞に記載の情報処理装置。
　＜４＞
　前記表示制御部は、所定のトリガに応じて、前記第１の視野画像と前記広域画像とを切り替えるよう前記表示装置を制御するように構成される
　＜３＞に記載の情報処理装置。
　＜５＞
　前記所定のトリガは、前記第１のユーザによるキー操作、音声コマンド、頭部の動き、又はジェスチャ操作のうちの少なくとも一つを含む
　＜４＞に記載の情報処理装置。
　＜６＞
　前記広域画像は、正距円筒図、メルカトル図、鳥瞰図、俯瞰図、又は２次元地図のうち少なくとも１つを含む
　＜３＞ないし＜５＞のいずれかに記載の情報処理装置。
　＜７＞
　前記視野位置指示画像は、前記第２のユーザの視野の位置を示す、前記第１の視野画像に対して重畳されるシンボル画像を含む
　＜２＞ないし＜６＞のいずれかに記載の情報処理装置。
　＜８＞
　前記第１のユーザの視線の移動、又は前記第１のユーザの頭部の移動の少なくとも一方に基づき、前記コンテンツ画像から切り出す前記第１の視野画像を決定するように構成された視野画像決定部をさらに備える
　＜１＞ないし＜７＞のいずれかに記載の情報処理装置。
　＜９＞
　前記視野画像決定部は、前記第１のユーザの視線が前記第１の視野画像の端部に近づいたことに応じ、前記第１の視野画像を、前記第１のユーザの視線を基準として移動するように構成される
　＜８＞に記載の情報処理装置。
　＜１０＞
　前記視野画像決定部は、前記第１のユーザの視線の回転角と前記第１のユーザの頭部の回転角とに基づいて、前記第１の視野画像の回転角を、前記第１のユーザの頭部の回転角よりも大きくするように構成される
　＜８＞又は＜９＞に記載の情報処理装置。
　＜１１＞
　前記視野画像決定部は、前記第１のユーザが前記コンテンツの視聴を実質的に開始したタイミングに対応する前記第１のユーザの視野画像の初期位置を、前記第２のユーザの視野情報に基づいて決定するように構成される
　＜８＞ないし＜１０＞のいずれかに記載の情報処理装置。
　＜１２＞
　前記表示装置は、ヘッドマウントディスプレイであり、
　前記視野画像決定部は、前記ヘッドマウントディスプレイに関連付けられた、前記第１のユーザの視線の移動、又は前記第１のユーザの頭部の移動の少なくとも一方に基づき、前記第１の視野画像を決定するように構成される
　＜８＞ないし＜１１＞のいずれかに記載の情報処理装置。
　＜１３＞
　前記第２のユーザは、複数のユーザを含み、
　前記表示制御部は、前記複数のユーザに対応する複数のユーザ画像のうち少なくとも一つを前記第１の視野画像に重畳させるように前記表示装置を制御するように構成され、
　前記表示制御部は、前記第１の視野画像と、前記複数のユーザそれぞれの視野との位置関係に応じて、前記複数のユーザ画像それぞれを前記第１の視野画像に重畳させるか否かを制御するように構成される
　＜１＞ないし＜１２＞のいずれかに記載の情報処理装置。
　＜１４＞
　前記表示制御部は、前記複数のユーザのうち、その視野が前記第１の視野画像と相対的に近いユーザに対応するユーザ画像を前記第１の視野画像に優先的に重畳させるよう前記表示装置を制御するように構成される
　＜１３＞に記載の情報処理装置。
　＜１５＞
　前記表示制御部は、前記第１のユーザと前記複数のユーザとのコミュニケーションの履歴に応じ、前記複数のユーザ画像のうち一部を優先的に前記第１の視野画像に重畳させるように前記表示装置を制御するよう構成される
　＜１３＞又は＜１４＞に記載の情報処理装置。
　＜１６＞
　前記コンテンツ画像は、全天球画像又は自由視点画像である
　＜１＞ないし＜１５＞のいずれかに記載の情報処理装置。
　＜１７＞
　前記表示装置をさらに備える
　＜１＞ないし＜１６＞のいずれかに記載の情報処理装置。
　＜１８＞
　コンテンツのデータを取得することと、
　前記コンテンツのデータに基づくコンテンツ画像から第１のユーザの視野に対応する第１の視野画像を切り出すことと、
　前記コンテンツ画像を視聴する第２のユーザの視野を表す視野情報を取得することと、
　前記第１の視野画像を表示するよう表示装置を制御することと、前記第２のユーザの視野情報に基づいて前記第２のユーザの視野を表示するよう前記表示装置を制御することと
　を含む情報処理方法。
　＜１９＞
　コンテンツのデータを取得するように構成されたコンテンツ取得部と、
　前記コンテンツのデータに基づくコンテンツ画像から第１のユーザの視野に対応する第１の視野画像を切り出すように構成された画像切り出し部と、
　前記コンテンツ画像を視聴する第２のユーザの視野を表す視野情報を取得するように構成された視野情報取得部と、
　前記第１の視野画像を表示するよう表示装置を制御することと、前記第２のユーザの視野情報に基づいて前記第２のユーザの視野を表示するよう前記表示装置を制御することとを行うように構成された表示制御部と
　して、コンピュータを機能させるためのプログラム。

　１０　コンテンツ視聴システム，　２０　ユーザ装置，　２１　情報処理装置，　２２　表示装置，　３１　インターネット，　４０　サーバ装置，　４１　コンテンツ配信部，　４２　視野情報管理部，　４３　コミュニケーション管理部，　５１　通信部，　５２　コンテンツ保持部，　５３　視野画像決定部，　５４　画像切り出し部，　５５　視野情報保持部，　５８　入力部，　５９　トリガ検出部，　６０　表示制御部，　７１　視線検出部，　７２　頭部動き検出部，　７３　表示部，　７４　音声入出力部，　１００　全体画像，　１０１　視野範囲，　１１１　視野画像，　１１２　広域画像，　１１３　視野範囲表示，　１２１　視野方向指示マーク，１３１　視野方向指示ライン，１３２　アイコン，　１４１　視野範囲表示，１５１　追尾画像，　１６２　アイコン，　１６３　矢印，　２００　コンテンツ画像，　３０１　コンテンツ空間，　３１１　アバタ，　５００　コンピュータ，　５０１　CPU

Claims (19)

1. 　コンテンツのデータを取得するように構成されたコンテンツ取得部と、
   　前記コンテンツのデータに基づくコンテンツ画像から第１のユーザの視野に対応する第１の視野画像を切り出すように構成された画像切り出し部と、
   　前記コンテンツ画像を視聴する第２のユーザの視野を表す視野情報を取得するように構成された視野情報取得部と、
   　前記第１の視野画像を表示するよう表示装置を制御することと、前記第２のユーザの視野情報に基づいて前記第２のユーザの視野を表示するよう前記表示装置を制御することとを行うように構成された表示制御部と
   　を備える情報処理装置。
2. 　前記表示制御部は、前記第２のユーザの視野情報に基づき、前記第２のユーザの視野の位置を示す視野位置指示画像を表示するよう前記表示装置を制御するように構成される
   　請求項１に記載の情報処理装置。
3. 　前記視野位置指示画像は、前記第１の視野画像及び前記第２のユーザの視野に対応する第２の視野画像を含む広域画像を含む
   　請求項２に記載の情報処理装置。
4. 　前記表示制御部は、所定のトリガに応じて、前記第１の視野画像と前記広域画像とを切り替えるよう前記表示装置を制御するように構成される
   　請求項３に記載の情報処理装置。
5. 　前記所定のトリガは、前記第１のユーザによるキー操作、音声コマンド、頭部の動き、又はジェスチャ操作のうちの少なくとも一つを含む
   　請求項４に記載の情報処理装置。
6. 　前記広域画像は、正距円筒図、メルカトル図、鳥瞰図、俯瞰図、又は２次元地図のうち少なくとも１つを含む
   　請求項３に記載の情報処理装置。
7. 　前記視野位置指示画像は、前記第２のユーザの視野の位置を示す、前記第１の視野画像に対して重畳されるシンボル画像を含む
   　請求項２に記載の情報処理装置。
8. 　前記第１のユーザの視線の移動、又は前記第１のユーザの頭部の移動の少なくとも一方に基づき、前記コンテンツ画像から切り出す前記第１の視野画像を決定するように構成された視野画像決定部をさらに備える
   　請求項１に記載の情報処理装置。
9. 　前記視野画像決定部は、前記第１のユーザの視線が前記第１の視野画像の端部に近づいたことに応じ、前記第１の視野画像を、前記第１のユーザの視線を基準として移動するように構成される
   　請求項８に記載の情報処理装置。
10. 　前記視野画像決定部は、前記第１のユーザの視線の回転角と前記第１のユーザの頭部の回転角とに基づいて、前記第１の視野画像の回転角を、前記第１のユーザの頭部の回転角よりも大きくするように構成される
    　請求項８に記載の情報処理装置。
11. 　前記視野画像決定部は、前記第１のユーザが前記コンテンツの視聴を実質的に開始したタイミングに対応する前記第１の視野画像の初期位置を、前記第２のユーザの視野情報に基づいて決定するように構成される
    　請求項８に記載の情報処理装置。
12. 　前記表示装置は、ヘッドマウントディスプレイであり、
    　前記視野画像決定部は、前記ヘッドマウントディスプレイに関連付けられた、前記第１のユーザの視線の移動、又は前記第１のユーザの頭部の移動の少なくとも一方に基づき、前記第１の視野画像を決定するように構成される
    　請求項８に記載の情報処理装置。
13. 　前記第２のユーザは、複数のユーザを含み、
    　前記表示制御部は、前記複数のユーザに対応する複数のユーザ画像のうち少なくとも一つを前記第１の視野画像に重畳させるように前記表示装置を制御するように構成され、
    　前記表示制御部は、前記第１の視野画像と、前記複数のユーザそれぞれの視野との位置関係に応じて、前記複数のユーザ画像それぞれを前記第１の視野画像に重畳させるか否かを制御するように構成される
    　請求項１に記載の情報処理装置。
14. 　前記表示制御部は、前記複数のユーザのうち、その視野が前記第１の視野画像と相対的に近いユーザに対応するユーザ画像を前記第１の視野画像に優先的に重畳させるよう前記表示装置を制御するように構成される
    　請求項１３に記載の情報処理装置。
15. 　前記表示制御部は、前記第１のユーザと前記複数のユーザとのコミュニケーションの履歴に応じ、前記複数のユーザ画像のうち一部を優先的に前記第１の視野画像に重畳させるように前記表示装置を制御するよう構成される
    　請求項１３に記載の情報処理装置。
16. 　前記コンテンツ画像は、全天球画像又は自由視点画像である
    　請求項１に記載の情報処理装置。
17. 　前記表示装置をさらに備える
    　請求項１に記載の情報処理装置。
18. 　コンテンツのデータを取得することと、
    　前記コンテンツのデータに基づくコンテンツ画像から第１のユーザの視野に対応する第１の視野画像を切り出すことと、
    　前記コンテンツ画像を視聴する第２のユーザの視野を表す視野情報を取得することと、
    　前記第１の視野画像を表示するよう表示装置を制御することと、前記第２のユーザの視野情報に基づいて前記第２のユーザの視野を表示するよう前記表示装置を制御することと
    　を含む情報処理方法。
19. 　コンテンツのデータを取得するように構成されたコンテンツ取得部と、
    　前記コンテンツのデータに基づくコンテンツ画像から第１のユーザの視野に対応する第１の視野画像を切り出すように構成された画像切り出し部と、
    　前記コンテンツ画像を視聴する第２のユーザの視野を表す視野情報を取得するように構成された視野情報取得部と、
    　前記第１の視野画像を表示するよう表示装置を制御することと、前記第２のユーザの視野情報に基づいて前記第２のユーザの視野を表示するよう前記表示装置を制御することとを行うように構成された表示制御部と
    　して、コンピュータを機能させるためのプログラム。

Images