JP6093473B1 - 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】仮想コンテンツのデータ容量が大きくなることを防止しつつ、ユーザに仮想体験を提供し得る。
【解決手段】コンピュータを用いてヘッドマウントディスプレイ（以下、ＨＭＤ）にユーザが没入する仮想空間を提供する方法であって、ユーザの身体の部分の動きに応じて操作オブジェクトを動かすステップと、操作オブジェクトと全方位映像が投影される投影部とが接触した場合に、投影部に全方位映像を第１態様とは異なる第２態様で投影するステップと、を含む。
【選択図】図１２

Description

本開示は、情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。

特許文献１は、全方位カメラで撮影された全方位映像を配信するシステムを開示している。非特許文献１は、現実空間におけるユーザの手の状態（位置や傾き等）に応じて、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）空間における手オブジェクトの状態を変化させると共に、当該手オブジェクトを操作することで仮想空間内の所定のオブジェクトに所定の作用を与えることを開示している。

特開２００３−３１９３５１号公報

"Ｔｏｙｂｏｘ Ｄｅｍｏ ｆｏｒ Ｏｃｕｌｕｓ Ｔｏｕｃｈ"、［ｏｎｌｉｎｅ］、平成２７年１０月１３日、Ｏｃｕｌｕｓ、［平成２８年８月６日検索］、インターネット＜ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ｉＦＥＭｉｙＧＭａ５８＞

近年では、ネットワークを介して全方位映像を配信し、ユーザがヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）を用いて視聴することが提案されている。ここで、非特許文献１に記載のような技術を採用して、ユーザが全方位映像のような仮想コンテンツと相互作用することが可能な仮想体験を提供することが考えられる。しかしながら、ユーザに仮想体験を提供するために仮想コンテンツ内に様々なオブジェクトを定義することは、仮想コンテンツのデータ容量が大きくなることが懸念される。

本開示は、仮想コンテンツのデータ容量が大きくなることを防止しつつ、ユーザに仮想体験を提供することを目的とする。

本開示が示す一態様によれば、ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの位置とユーザの頭部以外の身体の部分の位置を検出するように構成された位置センサとを備えたシステムにおける情報処理方法であって、
（ａ）仮想カメラと、操作オブジェクトと、全方位映像と、前記全方位映像が投影される投影部と、を含む仮想空間を規定する仮想空間データを特定するステップと、
（ｂ）前記投影部に前記全方位映像を第１態様で投影するステップと、
（ｃ）前記ヘッドマウントディスプレイの動きに応じて、前記仮想カメラを動かすステップと、
（ｄ）前記仮想カメラの動きに基づいて前記仮想カメラの視野を定義し、前記視野と前記仮想空間データに基づいて、視野画像データを生成するステップと、
（ｅ）前記視野画像データに基づいて、前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
（ｆ）前記身体の部分の動きに応じて、前記操作オブジェクトを動かすステップと、
（ｇ）前記操作オブジェクトと前記投影部とが接触した場合に、前記投影部に前記全方位映像を前記第１態様とは異なる第２態様で投影するステップと、
を含む、情報処理方法、が提供される。

本開示によれば、仮想コンテンツのデータ容量が大きくなることを防止しつつ、ユーザに仮想体験を提供し得る。

ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）システムを示す概略図である。 ＨＭＤを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 外部コントローラの具体的な構成の一例を示す図である。 視野画像をＨＭＤに表示する処理を示すフローチャートである。 仮想空間の一例を示すｘｙｚ空間図である。 状態（Ａ）は、図６に示す仮想空間のｙｘ平面図である。状態（Ｂ）は、図６に示す仮想空間のｚｘ平面図である。 ＨＭＤに表示された視野画像の一例を示す図である。 状態（Ａ）は、ＨＭＤと外部コントローラを装着したユーザを示す図である。状態（Ｂ）は、仮想カメラと、操作オブジェクト（手オブジェクト、対象オブジェクト）を含む仮想空間を示す図である。 本実施形態に係る情報処理方法を説明するためのフローチャートである。 状態（Ａ）は、視野画像の一例を示す。状態（Ｂ）は、操作オブジェクトと投影部の関係を示す。 状態（Ａ）は、視野画像の一例を示す。状態（Ｂ）は、操作オブジェクトと投影部の関係を示す。 全方位動画を定義する映像データの一例を示す。 本実施形態に係る情報処理方法を説明するためのフローチャートである。 状態（Ａ）は、視野画像の一例を示す。状態（Ｂ）は、操作オブジェクトと投影部の関係を示す。 状態（Ａ）は、視野画像の一例を示す。状態（Ｂ）は、操作オブジェクトと投影部の関係を示す。 本実施形態における情報処理方法を、全方位映像の再生時間に基づいてまとめたものである。 本実施形態に係る情報処理方法を説明するためのフローチャートである。 状態（Ａ）は、視野画像の一例を示す。状態（Ｂ）は、操作オブジェクトと投影部の関係を示す。 状態（Ａ）は、視野画像の一例を示す。状態（Ｂ）は、操作オブジェクトと投影部の関係を示す。 本実施形態における情報処理方法を、全方位映像の再生時間に基づいてまとめたものである。

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（項目１）
ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの位置とユーザの頭部以外の身体の部分の位置を検出するように構成された位置センサとを備えたシステムにおける情報処理方法であって、
（ａ）仮想カメラと、操作オブジェクトと、全方位映像と、前記全方位映像が投影される投影部と、を含む仮想空間を規定する仮想空間データを特定するステップと、
（ｂ）前記投影部に前記全方位映像を第１態様で投影するステップと、
（ｃ）前記ヘッドマウントディスプレイの動きに応じて、前記仮想カメラを動かすステップと、
（ｄ）前記仮想カメラの動きに基づいて前記仮想カメラの視野を定義し、前記視野と前記仮想空間データに基づいて、視野画像データを生成するステップと、
（ｅ）前記視野画像データに基づいて、前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
（ｆ）前記身体の部分の動きに応じて、前記操作オブジェクトを動かすステップと、
（ｇ）前記操作オブジェクトと前記投影部とが接触した場合に、前記投影部に前記全方位映像を前記第１態様とは異なる第２態様で投影するステップと、を含む、情報処理方法。
本項目の情報処理方法によれば、全方位映像が投影される投影部と操作オブジェクトの相互作用に基づいて、全方位映像の表示態様が変更される。これにより、全方位映像コンテンツデータのデータ容量が大きくなることを抑制しつつ、ユーザに仮想コンテンツとのインタラクションに基づく仮想体験が提供され得る。
（項目２）
前記投影部は第１部分、および、前記第１部分とは異なる第２部分を含む複数の部分に区分され、前記第１部分に表示対象の少なくとも一部が表示されており、
（ｇ）において、前記操作オブジェクトが前記第１部分と接触した場合、または、前記第２部分と接触した場合に、前記表示対象の表示態様を変化させることにより、前記全方位映像を前記第１態様から前記第２態様に変化させる、項目１の方法。
これにより、ユーザが接触することを意図した表示対象の表示態様を選択的に変化させることができるので、仮想コンテンツとの直感的なインタラクションに基づく仮想体験が提供され得る。
（項目３）
前記操作オブジェクトは、前記身体の部分の動きに連動して動く仮想身体である、項目１または２の方法。
これにより、仮想コンテンツとの直感的なインタラクションに基づく仮想体験が提供され得る。
（項目４）
前記操作オブジェクトは、前記身体の部分の動きに連動して動く仮想身体によって挙動が操作された対象オブジェクトである、項目１または２の方法。
これにより、仮想コンテンツとの直感的なインタラクションに基づく仮想体験が提供され得る。
（項目５）
前記投影部は第１部分、および、前記第１部分とは異なる第２部分を含む複数の部分に区分され、前記第１部分に表示対象の少なくとも一部が表示されており、
前記表示対象は、前記全方位映像の再生時間の経過に伴って前記第１態様に基づいて表示態様が変化するように構成され、
（ｇ）において、前記操作オブジェクトが前記第１部分と接触した場合、または、前記第２部分と接触した場合に、前記表示対象の表示態様を変化させることにより、前記全方位映像を前記第１態様から前記第２態様に変化させるとともに、
前記操作オブジェクトが前記第１部分と接触した時間に基づいて、前記表示対象に関連付けられる視聴対象を特定し、前記視聴対象を特定する情報を出力する、項目３または４の方法。
これにより、操作オブジェクトと投影部が接触した部分に基づいて、ユーザが興味をインタラクションすることを望んだ視聴対象を特定することができる。従って、全方位動画に広告等を表示させた場合において、広告効果を測定することが可能になる。
（項目６）
前記投影部は第１部分、および、前記第１部分とは異なる第２部分を含む複数の部分に区分され、前記第１部分に表示対象の少なくとも一部が表示されており、
前記表示対象は、共通の内容を異なる表示態様で表示させる前記第１態様または前記第２態様に基づいて、前記全方位映像の再生時間の経過に伴って表示態様が変化するように構成され、
（ｇ）において、前記操作オブジェクトが前記第１部分と接触した場合、または、前記第２部分と接触した場合に、前記表示対象の表示態様を変化させることにより、前記全方位映像を前記第１態様から前記第２態様に変化させるとともに、前記第２態様に基づいて前記表示対象の表示態様を前記再生時間の経過に伴って変化させることを継続する、項目３または４の方法。
これにより、ユーザに所定の内容に沿って進行する全方位映像を提供しつつ、仮想コンテンツとのインタラクションに基づく仮想体験を提供することができる。
（項目７）
前記投影部は第１部分、および、前記第１部分とは異なる第２部分を含む複数の部分に区分され、前記第１部分に表示対象の少なくとも一部が表示されており、
前記表示対象は、異なる内容を構成する前記第１態様または前記第２態様に基づいて、前記全方位映像の再生時間の経過に伴って表示態様が変化するように構成され、
（ｇ）において、前記操作オブジェクトが前記第１部分と接触した場合、または、前記第２部分と接触した場合に、前記表示対象の表示態様を変化させることにより、前記全方位映像を前記第１態様から前記第２態様に変化させるとともに、
前記第１態様に基づいて前記表示対象の表示態様を前記再生時間の経過に伴って変化させることを停止し、
前記第２態様に基づいて前記表示対象の表示態様を所定期間に渡って前記再生時間の経過に伴って変化させた後、
前記第１態様に基づいて前記表示対象の表示態様を前記再生時間の経過に伴って変化させることを再開する、項目３または４の方法。
これにより、ユーザに所定の内容に沿って進行する全方位映像を提供しつつ、仮想コンテンツとのインタラクションに基づく仮想体験を提供することができる。
（項目８）
項目１〜７のいずれかの方法を、前記コンピュータに実行させるプログラム。

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。

最初に、図１を参照してヘッドマウントディスプレイ（ＨＭＤ）システム１の構成について説明する。図１は、ＨＭＤシステム１を示す概略図である。図１に示すように、ＨＭＤシステム１は、ユーザＵの頭部に装着されたＨＭＤ１１０と、位置センサ１３０と、制御装置１２０と、外部コントローラ３２０とを備える。

ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、注視センサ１４０とを備える。表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を覆うように構成された非透過型の表示装置を備えている。これにより、ユーザＵは、表示部１１２に表示された視野画像を見ることで仮想空間に没入することができる。尚、表示部１１２は、ユーザＵの左目に画像を提供するように構成された左目用の表示部とユーザＵの右目に画像を提供するように構成された右目用の表示部から構成されてもよい。また、ＨＭＤ１１０は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、ＨＭＤ１１０に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。

ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動きを検出することができる。

注視センサ１４０は、ユーザＵの視線方向を検出するアイトラッキング機能を有する。注視センサ１４０は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザＵの右目に例えば赤外光を照射して、右目（特に、角膜や虹彩）から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザＵの左目に例えば赤外光を照射して、左目（特に、角膜や虹彩）から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。

位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０と外部コントローラ３２０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線又は有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾き又は発光強度に関する情報を検出するように構成されている。さらに、位置センサ１３０は、外部コントローラ３２０に設けられた複数の検知点３０４（図４参照）の位置、傾き及び／又は発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。

制御装置１２０は、ＨＭＤセンサ１１４や位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置や向きといった動き情報を取得し、当該取得された動き情報に基づいて、仮想空間における仮想視点（仮想カメラ）の位置や向きと、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置や向きを正確に対応付けることができる。さらに、制御装置１２０は、位置センサ１３０から取得された情報に基づいて、外部コントローラ３２０の動き情報を取得し、当該取得された動き情報に基づいて、仮想空間内に表示される手指オブジェクト（後述する）の位置や向きと、現実空間における外部コントローラ３２０とＨＭＤ１１０との間の、位置や向きの相対関係を正確に対応付けることができる。なお、外部コントローラ３２０の動き情報は、ＨＭＤセンサ１１４と同様に、外部コントローラ３２０に搭載された地磁気センサ、加速度センサ、傾きセンサ等であってもよい。

制御装置１２０は、注視センサ１４０から送信された情報に基づいて、ユーザＵの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。さらに、制御装置１２０は、特定された注視点に基づいて、ユーザＵの視線方向を特定することができる。ここで、ユーザＵの視線方向は、ユーザＵの両目の視線方向であって、ユーザＵの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。

図２を参照して、ＨＭＤ１１０の位置や向きに関する情報を取得する方法について説明する。図２は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や向きに関する情報は、位置センサ１３０及び／又はＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交しＨＭＤ１１０の中心を通る方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０及び／又はＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、仮想視点からの視軸を定義するための角度情報を決定する。

図３を参照して、制御装置１２０のハードウェア構成について説明する。図３は、制御装置１２０のハードウェア構成を示す図である。制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５は、バス１２６を介して互いに通信可能に接続されている。

制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、タブレット又はウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０に内蔵されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。

制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

プロセッサが本実施形態に係る情報処理方法をコンピュータに実行させるためのプログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で当該プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、メモリや記憶部１２３に格納された所定のアプリケーションプログラム（ゲームプログラムやインターフェースプログラム等を含む。）を実行することで、ＨＭＤ１１０の表示部１１２に仮想空間（視野画像）を表示する。これにより、ユーザＵは、表示部１１２に表示された仮想空間に没入することができる。

記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３は、本実施形態に係る情報処理方法をコンピュータに実行させるプログラムを格納してもよい。また、ユーザＵの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。

Ｉ／Ｏインターフェース１２４は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０とをそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。尚、制御装置１２０は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０とのそれぞれと無線接続されていてもよい。

通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介してネットワーク上の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。

制御装置１２０は、通信ネットワーク３を介してコンテンツ管理サーバ４に接続される。コンテンツ管理サーバ４は、制御部４１と、コンテンツ管理部４２と、視聴データ管理部４３を含む。制御部４１は、主としてメモリとプロセッサを含んで構成される。コンテンツ管理部４２と視聴データ管理部４３は、主として記憶部（ストレージ）を含んで構成される。コンテンツ管理部４２は後述する各種全方位映像を含む仮想空間コンテンツを構成する仮想空間データを格納する。制御部４１は、制御装置１２０から所定のコンテンツの視聴要求を受け付けると、当該視聴要求に対応する仮想空間データをコンテンツ管理部４２から読み出して、制御装置１２０に送信する。制御部４１は、制御装置１２０から送信されるユーザの視聴履歴を特定するためのデータを受信し、当該データを視聴データ管理部４３に記憶させる。

図４を参照して外部コントローラ３２０の具体的構成の一例について説明する。外部コントローラ３２０は、ユーザＵの身体の一部（頭部以外の部位であり、本実施形態においてはユーザＵの手）の動きを検知することにより、仮想空間内に表示される手オブジェクトの動作を制御するために使用される。外部コントローラ３２０は、ユーザＵの右手によって操作される右手用外部コントローラ３２０Ｒ（以下、単にコントローラ３２０Ｒという。）と、ユーザＵの左手によって操作される左手用外部コントローラ３２０Ｌ（以下、単にコントローラ３２０Ｌという。）と、を有する。コントローラ３２０Ｒは、ユーザＵの右手の位置や右手の手指の動きを示す装置である。また、コントローラ３２０Ｒの動きに応じて仮想空間内に存在する右手オブジェクト４００Ｒ（図９参照）が移動する。コントローラ３２０Ｌは、ユーザＵの左手の位置や左手の手指の動きを示す装置である。また、コントローラ３２０Ｌの動きに応じて仮想空間内に存在する左手オブジェクト４００Ｌ（図９参照）が移動する。コントローラ３２０Ｒとコントローラ３２０Ｌは略同一の構成を有するので、以下では、図４を参照してコントローラ３２０Ｒの具体的構成についてのみ説明する。尚、以降の説明では、便宜上、コントローラ３２０Ｌ，３２０Ｒを単に外部コントローラ３２０と総称する場合がある。また、左手オブジェクト４００Ｌ，右手オブジェクト４００Ｒを単に手オブジェクト４００、仮想手、仮想身体などと総称する場合がある。

図４に示すように、コントローラ３２０Ｒは、操作ボタン３０２と、複数の検知点３０４と、図示しないセンサと、図示しないトランシーバとを備える。検知点３０４とセンサは、どちらか一方のみが設けられていてもよい。操作ボタン３０２は、ユーザＵからの操作入力を受付けるように構成された複数のボタン群により構成されている。操作ボタン３０２は、プッシュ式ボタン、トリガー式ボタン及びアナログスティックを含む。プッシュ式ボタンは、親指による押下する動作によって操作されるボタンである。例えば、天面３２２上に２つのプッシュ式ボタン３０２ａ，３０２ｂが設けられている。天面３２２上に親指が置かれることや、プッシュ式ボタン３０２ａ，３０２ｂが押下されることに応じて、手オブジェクト４００の親指を伸ばした状態から曲げた状態に変化させることが好ましい。トリガー式ボタンは、人差し指や中指で引き金を引くような動作によって操作されるボタンである。例えば、グリップ３２４の前面部分にトリガー式ボタン３０２ｅが設けられると共に、グリップ３２４の側面部分にトリガー式ボタン３０２ｆが設けられる。トリガー式ボタン３０２ｅは、人差し指によって操作されることが想定されており、押下されることによって手オブジェクト４００における人差し指が伸ばした状態から曲げた状態に変化させることが好ましい。トリガー式ボタン３０２ｆは、中指によって操作されることが想定されており、押下されることによって手オブジェクト４００における中指、薬指、小指が伸ばした状態から曲げた状態に変化させることが好ましい。アナログスティックは、所定のニュートラル位置から３６０度任意の方向へ傾けて操作されうるスティック型のボタンである。例えば、天面３２２上にアナログスティック３２０ｉが設けられており、親指を用いて操作されることが想定されている。

コントローラ３２０Ｒは、グリップ３２４の両側面から天面３２２とは反対側の方向へ延びて半円状のリングを形成するフレーム３２６を備える。フレーム３２６の外側面には、複数の検知点３０４が埋め込まれている。複数の検知点３０４は、例えば、フレーム３２６の円周方向に沿って一列に並んだ複数の赤外線ＬＥＤである。位置センサ１３０は、複数の検知点３０４の位置、傾き又は発光強度に関する情報を検出した後に、制御装置１２０は、位置センサ１３０によって検出された情報に基づいて、コントローラ３２０Ｒの位置や姿勢（傾き・向き）に関する情報を含む動き情報を取得する。

コントローラ３２０Ｒのセンサは、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせであってもよい。センサは、ユーザＵがコントローラ３２０Ｒを動かしたときに、コントローラ３２０Ｒの向きや動きに応じた信号（例えば、磁気、角速度、又は加速度に関する情報を示す信号）を出力する。制御装置１２０は、センサから出力された信号に基づいて、コントローラ３２０Ｒの位置や姿勢に関する情報を取得する。

コントローラ３２０Ｒのトランシーバは、コントローラ３２０Ｒと制御装置１２０との間でデータを送受信するように構成されている。例えば、トランシーバは、ユーザＵの操作入力に対応する操作信号を制御装置１２０に送信してもよい。また、トランシーバは、検知点３０４の発光をコントローラ３２０Ｒに指示する指示信号を制御装置１２０から受信してもよい。さらに、トランシーバは、センサによって検出された値を示す信号を制御装置１２０に送信してもよい。

図５から図８を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図５は、視野画像をＨＭＤ１１０に表示する処理を示すフローチャートである。図６は、仮想空間２００の一例を示すｘｙｚ空間図である。図７における状態（ａ）は、図６に示す仮想空間２００のｙｘ平面図である。図７における状態（ｂ）は、図６に示す仮想空間２００のｚｘ平面図である。図８は、ＨＭＤ１１０に表示された視野画像Ｍの一例を示す図である。

図５に示すように、ステップＳ１において、制御部１２１（図３参照）は、仮想空間データを生成する。仮想空間データは、記憶部１２３に格納された全方位映像を含む仮想コンテンツ、全方位映像を投影するための投影部２１０、仮想カメラ３００や手オブジェクト４００といった各種オブジェクトとを含む。以下の説明においては、投影部２００に全方位映像が投影された状態を、仮想空間２００と称することがある。図６に示すように、仮想空間２００は、中心位置２１を中心とした全天球として規定される（図６では、上半分の天球のみが図示されている）。また、仮想空間２００では、中心位置２１を原点とするｘｙｚ座標系が設定されている。仮想カメラ３００は、ＨＭＤ１１０に表示される視野画像Ｍ（図８の状態（Ａ）等を参照）を特定するための視軸Ｌを規定している。仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、制御部１２１は、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に応じて、仮想カメラ３００を仮想空間２００内で移動させてもよい。また、仮想空間２００内における各種オブジェクトは、例えば、左手オブジェクト４００Ｌ、右手オブジェクト４００Ｒ、操作オブジェクト５００を含む（図９参照）。

ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図７参照）を特定する。具体的には、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを特定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸Ｌを決定し、決定された視軸Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域に相当する。換言すれば、視野ＣＶは、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に相当する。また、視野ＣＶは、状態（ａ）に示すｘｙ平面において、視軸Ｌを中心とした極角αの角度範囲として設定される第１領域ＣＶａと、状態（ｂ）に示すｘｚ平面において、視軸Ｌを中心とした方位角βの角度範囲として設定される第２領域ＣＶｂとを有する。尚、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線方向を示すデータに基づいて、ユーザＵの視線方向を特定し、ユーザＵの視線方向に基づいて仮想カメラ３００の向きを決定してもよい。

制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを変化させることができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを変化させることができる。同様に、ユーザＵの視線方向が変化すると、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線方向を示すデータに基づいて、仮想カメラ３００の視野ＣＶを移動させることができる。つまり、制御部１２１は、ユーザＵの視線方向の変化に応じて、視野ＣＶを変化させることができる。

ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｍを示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。

ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像Ｍを表示する。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが更新され、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｍが更新されるので、ユーザＵは仮想空間２００に没入することができる。

仮想カメラ３００は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部１２１は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。さらに、制御部１２１は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部１２１は、左目用視野画像データと右目用視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に左目用視野画像と右目用視野画像を表示する。このようにして、ユーザＵは、左目用視野画像と右目用視野画像から、視野画像を３次元画像として視認することができる。本開示では、説明の便宜上、仮想カメラ３００の数は一つとするが、本開示の実施形態は、仮想カメラの数が２つの場合でも適用可能である。

仮想空間２００内に配置される手オブジェクト４００（操作オブジェクトの一例）と、対象オブジェクト５００（操作オブジェクトの一例）、または、投影部２１０について図９を参照して説明する。状態（Ａ）は、ＨＭＤ１１０とコントローラ３２０Ｌ，３２０Ｒを装着したユーザＵを示す。状態（Ｂ）は、仮想カメラ３００と、右手オブジェクト４００Ｒと、左手オブジェクト４００Ｌと、対象オブジェクト５００、または、投影部２１０とを含む仮想空間２００を示す。

図９に示すように、仮想空間２００は、仮想カメラ３００と、左手オブジェクト４００Ｌと、右手オブジェクト４００Ｒと、対象オブジェクト５００、または、投影部２１０とを含む。制御部１２１は、これらのオブジェクトを含む仮想空間２００を規定する仮想空間データを生成している。上述したように、仮想カメラ３００は、ユーザＵが装着しているＨＭＤ１１０の動きに連動する。つまり、仮想カメラ３００の視野は、ＨＭＤ１１０の動きに応じて更新される。また、左手オブジェクト４００Ｌと右手オブジェクト４００Ｒは、それぞれコリジョンエリアＣＡを有する。コリジョンエリアＣＡは、手オブジェクト４００と対象オブジェクト（例えば、対象オブジェクト５００や投影部２１０）とのコリジョン判定（当たり判定）に供される。例えば、手オブジェクト４００のコリジョンエリアＣＡと対象オブジェクト５００のコリジョンエリアとが接触することで、手オブジェクト４００と対象オブジェクト５００とが接触したことが判定される。また、手オブジェクト４００のコリジョンエリアＣＡと投影部２１０のコリジョンエリアとが接触することで、手オブジェクト４００と投影部２１０とが接触したことが判定される。図９に示すように、コリジョンエリアＣＡは、例えば、手オブジェクト４００の中心位置を中心とした直径Ｒを有する球により規定されてもよい。以下の説明では、コリジョンエリアＣＡは、オブジェクトの中心位置を中心とした直径Ｒの球状に形成されているものとする。

なお、投影部２１０にもコリジョンエリアが設定され、対象オブジェクト５００のコリジョンエリアとの関係に基づいて、対象オブジェクト５００と投影部２１０の接触を判定してもよい。これにより、手オブジェクト４００によって対象オブジェクト５００の挙動が操作された場合（投げられるなど）にも、対象オブジェクト５００に基づいて投影部２１０に容易に作用を与え、各種判定に供することができる。

対象オブジェクト５００は、左手オブジェクト４００Ｌ，右手オブジェクト４００Ｒによって移動させることができる。例えば、手オブジェクト４００と対象オブジェクト５００が接触した状態でコントローラ３２０を操作して手オブジェクト４００の指を曲げることにより掴む動作を行う。この状態で手オブジェクト４００を移動させると、手オブジェクト４００の移動に追随するように、対象オブジェクト５００を移動させることができる。また、移動中に手オブジェクト４００の掴む動作を解除すると、手オブジェクト４００の移動速度、加速度、および、重力等を考慮して対象オブジェクト５００を仮想空間２００内において移動させることができる。これにより、ユーザはコントローラ３２０を用いて、対象オブジェクト５００を掴んだり投げたりといった直感的な操作によって、意のままに操ることができる。一方、投影部２１０は主として全方位映像を投影する対象であるため、手オブジェクト４００と接触した場合にも、移動させたり変形させたりすることはできない。

本実施形態に係る情報処理方法について、図８および図１０から図２１を参照して説明する。図１０に示すように、ステップＳ１０において、制御部１２１はユーザによって選択された仮想コンテンツを構成する全方位映像を投影部２１０に投影する。この後、制御部１２１がステップＳ１〜Ｓ４と同様の処理を実行することにより、ＨＭＤ１１０に視野画像Ｍが表示される。本実施形態においては、図８の状態（Ｂ）に示すように、仮想カメラ３００の前方に手オブジェクト４００Ｌ，４００Ｒが生成されている。また、投影部２１０には、壁Ｗ、各種家具Ｆ、キャラクタＣ１、広告ＡＤ１が表示された表示部ＤＰを含む全方位映像が投影されている。従って、図８の状態（Ａ）に示すように、視野画像Ｍ内にも、仮想カメラ３００の視野内に位置する壁Ｗ、各種家具Ｆ、キャラクタＣ１、広告ＡＤ１が表示された表示部ＤＰが表示されている。図８の状態（Ｂ）には、全方位映像のうち、キャラクタＣ１の一部と、広告ＡＤ１のみを代表して図示する。

本実施形態において、投影部２１０は複数の部分に区分されている。図８の状態（Ｂ）に示すように、天球状に構成された投影部２１０に所定間隔で設定された緯線および経線を定義することによって、格子状に区分されている。例えば、仮想カメラ３００が仮想空間２００の中心２１に配置され、当該仮想カメラ３００の垂直方向における向きが所定角度間隔となるように緯線が設定されている。また、当該仮想カメラ３００の水平方向における向きが所定角度間隔となるように経線が設定されている。図８の状態（Ｂ）において、ネコのキャラクタＣ１がグリッド２１１に配置され、水の広告ＡＤ１がグリッド２１２に配置されている。このように、キャラクタＣ１や広告ＡＤ１の少なくとも一部が配置されたグリッド２１１，２１２を、投影部２１０における第１部分と称することがある。また、キャラクタＣ１が配置されたグリッド２１１以外のグリッドや、広告ＡＤ１が配置されたグリッド２１２以外のグリッドを、投影部２１０における第２部分と称することがある。

ステップＳ１１において、制御部１２１は、コントローラ３２０によって検知されるユーザＵの手の動きに応じて、前述のように手オブジェクト４００を動かす。

ステップＳ１２において、制御部１２１は、手オブジェクト４００が投影部２１０における広告ＡＤ１が表示されたグリッド２１２に接触したか否かを判定する。本実施形態においては、図１１に示すように、手オブジェクト４００がグリッド２１２と接触するとともに、手オブジェクト４００の全ての指が曲げられることによって掴むように動作された場合に、広告ＡＤ１を選択することができる。手オブジェクト４００とグリッド２１２の接触は、前述したように、
手オブジェクト４００に設定されたコリジョンエリアＣＡと投影部２１０の接触が判定された位置に基づいて判定される。

上記のようにして広告ＡＤ１が選択された状態で手オブジェクト４００が移動されると、ステップＳ１３において、制御部１２１は、対象オブジェクト５１０を生成するとともに、手オブジェクト４００の操作に基づいて、対象オブジェクト５１０を操作させる。本実施形態においては、図１２に示すように、表示部ＤＰに表示されていた広告ＡＤ１に対応する３Ｄオブジェクトとしての対象オブジェクト５１０が生成される。これにより、ユーザは全方位動画を視聴中に表示部ＤＰに視線を向け、表示された広告ＡＤ１が気になった場合には、当該広告ＡＤ１の対象物を３Ｄオブジェクトとして手に取り、手オブジェクト４００を操作することによって自由な角度から眺めることができる。従って、広告効果が高まることが期待される。

また、本実施形態においては、全方位動画とともに、全方位動画中において再生される広告ＡＤ１に対応した３Ｄオブジェクトを、制御部１２１が仮想空間データとして予め記憶部１２３に記憶させておくことができる。これにより、全方位動画と広告ＡＤ１に対応する３Ｄモデルといった限られた容量のデータに基づいて、ユーザに仮想コンテンツとのインタラクションに基づく仮想体験が提供され得る

ステップＳ１４において、制御部１２１は、投影部２１０にける表示部ＤＰに表示された広告の表示態様を、広告ＡＤ１から広告ＡＤ２に変化させる。図１２の状態（Ａ）に示すように、ユーザが広告ＡＤ１に対応する対象オブジェクト５１０を手に取った後には、広告ＡＤ２を引き続いて表示させることにより、様々な広告をはじめとしたコンテンツをユーザに提供し得る。

ステップＳ１５において、制御部１２１は、図１７に示すように、変化前の広告に表示された表示対象である広告ＡＤ１を視聴対象として特定することが好ましい。ユーザが対象オブジェクト５１０として手に取った広告ＡＤ１については、当該ユーザが興味を示す対象である可能性が高い。従って、当該広告ＡＤ１を特定するための情報を出力して、コンテンツ管理サーバ４に送信し、視聴データ管理部４３に記憶させることによって、当該広告ＡＤ１に関する広告効果を測定することができる。

なお、広告ＡＤ１を特定するための情報は、手オブジェクト４００と広告ＡＤ１が表示されていたグリッド２１２が接触した時間情報を含むことが好ましい。これにより、視聴データを送受信する際のデータ通信量を削減することができる。

また、視聴対象として広告ＡＤ１を特定することは、投影部２１０にける表示部ＤＰに手オブジェクト４００が触れた場合に限られない。例えば、適宜の操作オブジェクト５００の挙動を後述するように手オブジェクト４００に基づいて操作し（投げるなど）、表示部ＤＰに接触した場合に、視聴対象として広告ＡＤ１を特定してもよい。

記憶部１２３、および、コンテンツ管理部４２には、図１３に示すような全方位映像を定義する映像データが記憶されている。映像データは、全方位映像コンテンツのストーリーである内容を定義するコンテンツデータと、全方位映像の一部（表示部ＤＰに相当）に挿入されるコンテンツである広告を定義する広告データが含まれる。全方位映像は、コンテンツデータに基づく映像の一部に、広告データに基づく映像を合成することによって、生成され得る。本実施形態においては、広告データは広告ＡＤ１と広告ＡＤ２が含まれており、表示対象である表示部ＤＰに対して飲み物の表示態様として表示されることが定義されている。そして、図１３、図１７に示すように、コンテンツの再生開始後１０分〜１５分の間に広告ＡＤ１が表示され、１５分〜３０分の間に広告ＡＤ２が表示されることが定義されている。なお、１０分〜１５分の間に手オブジェクト４００によって広告ＡＤ１が選択された場合には、その後〜３０分の間に広告ＡＤ２が表示される。従って、手オブジェクト４００と広告ＡＤ１が表示されていたグリッド２１２が接触した時間情報に基づいて、ユーザに選択された広告が特定され得る。また、後述するように、コンテンツデータに基づく全方位映像の再生中に、ユーザによる操作オブジェクトに基づく作用により、一時的にリアクション映像を挿入してもよい。これにより、ユーザとのインタラクションが可能な全方位映像が提供され得る。

また、図１４に示すように、ステップＳ１６において、手オブジェクト４００によって対象オブジェクト５１０の挙動が操作される。本実施形態においては、図１５の状態（Ａ）に示すように、手オブジェクト４００が対象オブジェクト５１０を掴んだ状態で手オブジェクト４００を移動させると、手オブジェクト４００の移動に追随するように、対象オブジェクト５１０を移動させることができる。また、移動中に手オブジェクト４００の掴む動作を解除すると、手オブジェクト４００の移動速度、加速度、および、重力等を考慮して対象オブジェクト５１０を仮想空間２００内において移動させることができる。図１５の状態（Ａ）に示す矢印で示された方向に手オブジェクト４００の掴む動作を解除すると、対象オブジェクト５１０が矢印で示された方向に投げられたように、その挙動が操作される。

ステップＳ１７において、制御部１２１は、対象オブジェクト５１０が投影部２１０における第１部分に接触したか否かを判定する。図１５に示す例においては、状態（Ｂ）に示すように、対象オブジェクトがネコのキャラクタＣ１が投影されているグリッド２１１に接触したと判定される。

ステップＳ１８において、制御部１２１は、対象オブジェクト５１０が接触した投影部２１０の第１部分２１１に投影されたネコのキャラクタＣ１の表示態様を、接触前の第１態様（通常の状態）Ｃ１から、図１６に示すような第２態様（濡れた状態）Ｃ２に変化させる。本実施形態においては、変化する前のキャラクタＣ１の表示態様、および、変化した後のキャラクタＣ２の表示態様は、図１３に示す映像データによって定義されている。例えば、仮想コンテンツを構成するコンテンツデータは、キャラクタＣ１の表示態様を異ならせた２種類が用意されている。２種類のコンテンツデータは、共通の内容を異なる表示態様で表示させるものであり、キャラクタＣ１の表示態様が異なるものの、全体としてのストーリー、全方位映像としての開始時間や終了時間は共通である。従って、キャラクタＣ１の表示態様が異なるものの、全方位映像の再生時間の経過に伴った表示態様が変化（ストーリーの進行に基づくキャラクタの動作等）は共通である。

ステップＳ１９において、制御部１２１は、変化された後のキャラクタの表示態様（上述の濡れた状態のネコのキャラクタＣ２）に基づいて、全方位映像の再生を継続する。上述のように、表示態様が変化された前後において仮想コンテンツの全体としてのストーリーは共通であるため、ユーザに所定の内容に沿って進行する全方位映像を提供しつつ、仮想コンテンツとのインタラクションに基づく仮想体験を提供することができる。

なお、図１３に示した２種類のコンテンツデータは、全方位映像全体として２種類が記憶されていてもよいし、グリッド毎に設定されていてもよい。例えば、変化後のネコのキャラクタＣ２の表示態様に対応するコンテンツデータは、当該キャラクタが配置されたグリッド２１１いついてのみ定義され、変化前の表示態様に対応するコンテンツデータは全方位映像全体として記憶されていてもよい。これにより、キャラクタＣ１の表示態様を変化させる場合に当該グリッド２１１の部分のみに上記２種類のコンテンツデータを合成する処理を施すことによって、容易に第２態様で表示されたキャラクタＣ２に基づいて全方位映像が提供され得る。また、以上のコンテンツデータの処理については、上述した広告データについても同様に適用され得る。

図１７は、以上の実施形態における情報処理方法を、全方位映像の再生時間に基づいてまとめたものである。まず、制御部１２１は、記憶部１２３に格納された図１３に示した映像データに基づいて、表示態様１のキャラクタＣ１、および、広告ＡＤ１を含む全方位映像を生成し、再生を開始する。ユーザが手オブジェクト４００を操作してグリッド２１２に接触させると、制御部１２１は、記憶部１２３に格納された映像データに基づいて、広告の表示態様を第１態様である広告ＡＤ１から第２態様である広告ＡＤ２に変化させる。そして、広告ＡＤ１をユーザの視聴対象として特定する情報を出力し、コンテンツ管理サーバ４に送信する。

さらに、ユーザが手オブジェクト４００をグリッド２１２に接触させた状態で掴む操作を行うことにより対象オブジェクト５１０を生成する。手オブジェクト４００の操作に基づいて対象オブジェクト５１０の挙動が操作され、対象オブジェクト５１０がグリッド２１１に接触したと判定されると、制御部１２１は、記憶部１２３に格納された映像データに基づいて、キャラクタＣ１の表示態様を第１態様であるキャラクタＣ１から第２態様であるキャラクタＣ２に変化させる。そして、第２態様で表示されたキャラクタＣ２に基づいて、所定のストーリーに基づいた全方位映像の再生が継続される。なお、所定期間のみ第２態様で表示されたキャラクタＣ２に基づいて、所定のストーリーに基づいた全方位映像を再生した後、第１態様で表示されたキャラクタＣ１に基づいて、所定のストーリーに基づいた全方位映像の再生を再開してもよい。

図１８〜図２１を参照して、本開示が提供する他の実施形態について説明する。本実施形態においても、図１３に示した映像データに基づいて、全方位映像が生成され、再生されるものとする。

図１８は、本システムにおいて実行される情報処理方法を示すフローチャートである。ステップ１０〜ステップ１５については、上記実施形態と共通であり、ステップ１６以降において相違する。

ステップＳ２０において、図１９に示すように、手オブジェクト４００によって対象オブジェクト５１０の挙動が操作される。本実施形態においても、図１９の状態（Ａ）に示すように、手オブジェクト４００が対象オブジェクト５１０を掴んだ状態で手オブジェクト４００を移動させると、手オブジェクト４００の移動に追随するように、対象オブジェクト５１０を移動させることができる。また、移動中に手オブジェクト４００の掴む動作を解除すると、手オブジェクト４００の移動速度、加速度、および、重力等を考慮して対象オブジェクト５１０を仮想空間２００内において移動させることができる。図１９の状態（Ａ）に示す矢印で示された方向に手オブジェクト４００の掴む動作を解除すると、対象オブジェクト５１０が矢印で示された方向に投げられたように、その挙動が操作される。

ステップＳ２１において、制御部１２１は、対象オブジェクト５１０が投影部２１０における第１部分２１１の近傍に接触したか否かを判定する。図１９に示す例においては、状態（Ｂ）に示すように、対象オブジェクトがネコのキャラクタＣ１が投影されているグリッド２１１に隣接するグリッド２１３に接触したことが判定される。このように、所定の表示対象であるキャラクタＣ１の少なくとも一部が配置された投影部２１０における部分以外の部分を、投影部２１０における第２部分と称することがある。本実施形態においては、第２部分の一例として、所定の表示対象であるキャラクタＣ１が投影されているグリッド２１１に隣接するグリッド２１３を示す。

ステップＳ２２において、制御部１２１は、対象オブジェクト５１０が接触した投影部２１３に投影された家具Ｆの表示態様を、接触前の第１態様（通常の状態）から、図２０に示すような第２態様（濡れた状態）に変化させる。本実施形態においても、上記実施形態と同様に、記憶部１２３に記憶された映像データに基づいて、制御部１２１が家具Ｆの表示態様を変化させる処理を実行すればよい。

ここで、本実施形態においては、図２１に示すように、コンテンツデータに基づく全方位映像の再生を一旦停止し（ステップＳ２３）、所定期間だけ図１３に示した映像データによって定義されるリアクション映像を再生してもよい（ステップＳ２４）。リアクション映像は、当該仮想コンテンツのストーリーを定義するコンテンツデータ（第１態様）とは異なる内容（第２態様）であり、ユーザ（操作オブジェクト）による投影部２１０への作用に基づいて、仮想コンテンツの内容に一時的に変化をもたせるものである。

リアクション映像データは、図１３に示すように、再生されるタイミング（場面）を定義する種類、表示対象、表示態様、再生時間を指定する。本実施形態においては、リアクション映像が再生される場面として、キャラクタＣ１が投影されているグリッド２１１に隣接するグリッド２１３に操作オブジェクト５１０が接触した場合が規定されていることが好ましい。表示対象として上記キャラクタＣ１が指定され、表示態様としてキャラクタＣ１が驚いた様子を示す映像データが指定される。また、再生時間として３秒間が指定されており、グリッド２１３に操作オブジェクト５１０が接触してから３秒間だけリアクション映像が再生された後、ステップ２５に示すように、コンテンツデータに基づく全方位映像コンテンツの再生が再開される。

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

本実施形態では、ユーザＵの手の動きを示す外部コントローラ３２０の動きに応じて、手オブジェクトの移動が制御されているが、ユーザＵの手自体の移動量に応じて、仮想空間内における手オブジェクトの移動が制御されてもよい。例えば、外部コントローラを用いる代わりに、ユーザの手指に装着されるグローブ型デバイスや指輪型デバイスを用いることで、位置センサ１３０により、ユーザＵの手の位置や移動量を検出することができると共に、ユーザＵの手指の動きや状態を検出することができる。また、位置センサ１３０は、ユーザＵの手（手指を含む）を撮像するように構成されたカメラであってもよい。この場合、カメラを用いてユーザの手を撮像することにより、ユーザの手指に直接何らかのデバイスを装着させることなく、ユーザの手が表示された画像データに基づいて、ユーザＵの手の位置や移動量を検出することができると共に、ユーザＵの手指の動きや状態を検出することができる。

また、本実施形態では、ユーザＵの頭部以外の身体の一部である手の位置及び／又は動きに応じて、手オブジェクトが対象オブジェクトに与える影響を規定するコリジョン効果が設定されているが、本実施形態はこれには限定されない。例えば、ユーザＵの頭部以外の身体の一部（例えば、足の位置及び／又は動き）に応じて、ユーザＵの当該身体の一部（例えば、仮想足の動き）に連動する仮想身体（仮想足、足オブジェクト：操作オブジェクトの一例）が対象オブジェクトに与える影響を規定するコリジョン効果が設定されてもよい。このように、本実施形態では、ＨＭＤ１１０とユーザＵの身体の一部との間の相対的な関係（距離及び相対速度）を特定し、特定された相対的な関係に応じて、当該ユーザＵの身体の一部と連動する仮想身体（操作オブジェクト）が対象オブジェクトに与える影響を規定するコリジョン効果が設定されてもよい。

また、本実施形態においては、ＨＭＤ１１０によってユーザが没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤ１１０として透過型ＨＭＤを採用してもよい。この場合、透過型ＨＭＤ１１０を介してユーザＵが視認する現実空間に対象オブジェクト５００の画像を合成して出力し、ＡＲ空間やＭＲ空間としての仮想体験を提供してもよい。そして、第１操作オブジェクト、および、第２操作オブジェクトにかえて、ユーザの身体の一部の動きに基づいて、対象オブジェクト５００の選択、および、変形を行ってもよい。この場合には、現実空間、および、ユーザの身体の一部の座標情報を特定するとともに、対象オブジェクト５００の座標情報を現実空間における座標情報との関係で定義することによって、ユーザＵの身体の動きに基づいて対象オブジェクト５００に作用を与えることができる。

１：ＨＭＤシステム
３：通信ネットワーク
２１：中心位置
１１２：表示部
１１４：ＨＭＤセンサ
１２０：制御装置
１２１：制御部
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
１４０：注視センサ
２００：仮想空間
２１０：投影部
３００：仮想カメラ
３０２：操作ボタン
３０２ａ，３０２ｂ：プッシュ式ボタン
３０２ｅ，３０２ｆ：トリガー式ボタン
３０４：検知点
３２０：外部コントローラ
３２０ｉ：アナログスティック
３２０Ｌ：左手用外部コントローラ（コントローラ）
３２０Ｒ：右手用外部コントローラ（コントローラ）
３２２：天面
３２４：グリップ
３２６：フレーム
４００：手オブジェクト（仮想手）
４００Ｌ：左手オブジェクト（仮想左手）
４００Ｒ：右手オブジェクト（仮想右手）
５００、５１０：対象オブジェクト
ＣＡ：コリジョンエリア
ＣＶ：視野
ＣＶａ：第１領域
ＣＶｂ：第２領域

Claims (8)

1. ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの位置とユーザの頭部以外の身体の部分の位置を検出するように構成された位置センサとを備えたシステムにおける情報処理方法であって、
   （ａ）仮想カメラと、操作オブジェクトと、全方位映像と、前記全方位映像が投影される投影部と、を含む仮想空間を規定する仮想空間データを特定するステップと、
   （ｂ）前記投影部に前記全方位映像を第１態様で投影するステップと、
   （ｃ）前記ヘッドマウントディスプレイの動きに応じて、前記仮想カメラを動かすステップと、
   （ｄ）前記仮想カメラの動きに基づいて前記仮想カメラの視野を定義し、前記視野と前記仮想空間データに基づいて、視野画像データを生成するステップと、
   （ｅ）前記視野画像データに基づいて、前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
   （ｆ）前記身体の部分の動きに応じて、前記操作オブジェクトを動かすステップと、
   （ｇ）前記操作オブジェクトと前記投影部とが接触した場合に、前記投影部に前記全方位映像を前記第１態様とは異なる第２態様で投影するステップと、
   を含む、情報処理方法。
2. 前記投影部は第１部分、および、前記第１部分とは異なる第２部分を含む複数の部分に区分され、前記第１部分に表示対象の少なくとも一部が表示されており、
   （ｇ）において、前記操作オブジェクトが前記第１部分と接触した場合、または、前記第２部分と接触した場合に、前記表示対象の表示態様を変化させることにより、前記全方位映像を前記第１態様から前記第２態様に変化させる、
   請求項１の方法。
3. 前記操作オブジェクトは、前記身体の部分の動きに連動して動く仮想身体である、請求項１または２の方法。
4. 前記操作オブジェクトは、前記身体の部分の動きに連動して動く仮想身体によって挙動が操作された対象オブジェクトである、
   請求項１または２の方法。
5. 前記投影部は第１部分、および、前記第１部分とは異なる第２部分を含む複数の部分に区分され、前記第１部分に表示対象の少なくとも一部が表示されており、
   前記表示対象は、前記全方位映像の再生時間の経過に伴って前記第１態様に基づいて表示態様が変化するように構成され、
   （ｇ）において、前記操作オブジェクトが前記第１部分と接触した場合、または、前記第２部分と接触した場合に、前記表示対象の表示態様を変化させることにより、前記全方位映像を前記第１態様から前記第２態様に変化させるとともに、
   前記操作オブジェクトが前記第１部分と接触した時間に基づいて、前記表示対象に関連付けられる視聴対象を特定し、前記視聴対象を特定する情報を出力する、
   請求項３または４の方法。
6. 前記投影部は第１部分、および、前記第１部分とは異なる第２部分を含む複数の部分に区分され、前記第１部分に表示対象の少なくとも一部が表示されており、
   前記表示対象は、共通の内容を異なる表示態様で表示させる前記第１態様または前記第２態様に基づいて、前記全方位映像の再生時間の経過に伴って表示態様が変化するように構成され、
   （ｇ）において、前記操作オブジェクトが前記第１部分と接触した場合、または、前記第２部分と接触した場合に、前記表示対象の表示態様を変化させることにより、前記全方位映像を前記第１態様から前記第２態様に変化させるとともに、前記第２態様に基づいて前記表示対象の表示態様を前記再生時間の経過に伴って変化させることを継続する、
   請求項３または４の方法。
7. 前記投影部は第１部分、および、前記第１部分とは異なる第２部分を含む複数の部分に区分され、前記第１部分に表示対象の少なくとも一部が表示されており、
   前記表示対象は、異なる内容を構成する前記第１態様または前記第２態様に基づいて、前記全方位映像の再生時間の経過に伴って表示態様が変化するように構成され、
   （ｇ）において、前記操作オブジェクトが前記第１部分と接触した場合、または、前記第２部分と接触した場合に、前記表示対象の表示態様を変化させることにより、前記全方位映像を前記第１態様から前記第２態様に変化させるとともに、
   前記第１態様に基づいて前記表示対象の表示態様を前記再生時間の経過に伴って変化させることを停止し、
   前記第２態様に基づいて前記表示対象の表示態様を所定期間に渡って前記再生時間の経過に伴って変化させた後、
   前記第１態様に基づいて前記表示対象の表示態様を前記再生時間の経過に伴って変化させることを再開する、
   請求項３または４の方法。
8. 請求項１〜７のいずれかの方法を、前記コンピュータに実行させるプログラム。