JP7664111B2 - 情報処理装置、情報処理方法およびコンピュータプログラム - Google Patents

Description

本発明は、データ処理技術に関し、特に情報処理装置、情報処理方法およびコンピュータプログラムに関する。

ヘッドマウントディスプレイを装着したユーザが対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ユーザの視線方向に応じた画像がヘッドマウントディスプレイに表示されるようにすることで仮想現実（Virtual Reality：ＶＲ）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲーム等のアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能な範囲は、ユーザの部屋のサイズや、ユーザの部屋に設置された家具や荷物等の環境に応じて制限される必要がある。

本発明はこうした課題に鑑みてなされたものであり、１つの目的は、設定されたプレイエリアのサイズに応じて、ＶＲ画像を生成するアプリケーションの動作モードを適切に決定する技術を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアを設定するプレイエリア設定部と、プレイエリア設定部により設定されたプレイエリアのサイズに応じて、ユーザが移動可能なモードでアプリケーションを動作させることを決定し、または、ユーザが移動不可能なモードでアプリケーションを動作させることを決定する決定部とを備える。

本発明の別の態様は、情報処理方法である。この方法は、ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアを設定するステップと、設定されたプレイエリアのサイズに応じて、ユーザが移動可能なモードでアプリケーションを動作させるか、または、ユーザが移動不可能なモードでアプリケーションを動作させるかを決定するステップとをコンピュータが実行する。

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、設定されたプレイエリアのサイズに応じて、ＶＲ画像を生成するアプリケーションの動作モードを適切に決定することができる。

ヘッドマウントディスプレイの外観例を示す図である。 実施例の画像表示システムの構成例を示す図である。 画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。 画像生成装置の内部回路構成を示す図である。 ヘッドマウントディスプレイの内部回路構成を示す図である。 画像生成装置の機能ブロックを示すブロック図である。 画像生成装置の動作を示すフローチャートである。 プレイエリア設定時のユーザの行動を模式的に示す図である。 カメラ画像の例を示す図である。 キーフレームの例を示す図である。 複数のビンを示す図である。 プレイエリア編集画面の例を示す図である。 図１３（ａ）－（ｄ）は、プレイエリアを拡大させる編集の例を示す図である。 図１４（ａ）－（ｄ）は、プレイエリア編集画面にプレイエリアを設定する処理の詳細を示す図である。 図１５（ａ）－（ｅ）は、プレイエリアを拡大する処理の詳細を示す図である。 図１６（ａ）－（ｄ）は、プレイエリアを縮小させる編集の例を示す図である。 図１７（ａ）－（ｄ）は、プレイエリアを縮小する処理の詳細を示す図である。 画像生成装置の動作を示すフローチャートである。 図１９（ａ）－（ｄ）は、プレイエリアを拡大させる編集の変形例を示す図である。 図２０（ａ）－（ｂ）は、プレイエリアを縮小させる編集の変形例を示す図である。

本実施例は、ユーザの頭部に装着されたヘッドマウントディスプレイにアプリケーションの画像を表示する画像表示システムに関する。図１は、ヘッドマウントディスプレイ１００の外観例を示す。実施例のヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。実施例のヘッドマウントディスプレイ１００の表示パネルは、透過性がないものとする。すなわち、実施例のヘッドマウントディスプレイ１００は、光不透過型のヘッドマウントディスプレイである。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備えてよい。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。また、ヘッドマウントディスプレイ１００は、モーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

また、ヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備える。ステレオカメラ１１０は、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば拡張現実（Augmented Reality：ＡＲ）を実現できる。

図２は、実施例の画像表示システム１０の構成例を示す。画像表示システム１０は、ヘッドマウントディスプレイ１００、画像生成装置２００、コントローラ１４０を備える。ヘッドマウントディスプレイ１００は、無線通信により画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションのデータを画像生成装置２００に提供してもよい。

画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する情報処理装置である。例えば、画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために動画像を表示させてもよい。また、ユーザの視点を中心に広い画角のパノラマ画像をヘッドマウントディスプレイ１００に表示させることによって、表示世界への深い没入感をユーザに与えることができる。なお、画像生成装置２００は、据置型ゲーム機であってもよく、ＰＣであってもよい。

コントローラ１４０は、ユーザの手に把持され、画像生成装置２００における画像生成や、ヘッドマウントディスプレイ１００における画像表示を制御するためのユーザの操作が入力されるコントローラ（例えばゲームコントローラ）である。コントローラ１４０は、無線通信により画像生成装置２００に接続される。変形例として、ヘッドマウントディスプレイ１００とコントローラ１４０の一方または両方は、信号ケーブル等を介した有線通信により画像生成装置２００に接続されてもよい。

図３は、画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例では、ユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には、図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は、当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。

画像生成装置２００は、ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートでヘッドマウントディスプレイ１００から取得し、これに応じてビュースクリーン１４の位置や方向を変化させる。これにより、ユーザの視点に対応する視野で画像をヘッドマウントディスプレイ１００に表示させることができる。また、画像生成装置２００は、視差を有するステレオ画像を生成し、ヘッドマウントディスプレイ１００の表示パネルの左右の領域にステレオ画像を表示させれば、仮想空間をユーザ１２に立体視させることもできる。これにより、ユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。

図４は、画像生成装置２００の内部回路構成を示す。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続される。バス２３０にはさらに入出力インターフェース２２８が接続される。入出力インターフェース２２８には、通信部２３２、記憶部２３４、出力部２３６、入力部２３８、記録媒体駆動部２４０が接続される。

通信部２３２は、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線ＬＡＮまたは無線ＬＡＮ等のネットワークインターフェースを含む。記憶部２３４は、ハードディスクドライブや不揮発性メモリ等を含む。出力部２３６は、ヘッドマウントディスプレイ１００へのデータを出力する。入力部２３８は、ヘッドマウントディスプレイ１００からのデータ入力を受け付け、また、コントローラ１４０からのデータ入力を受け付ける。記録媒体駆動部２４０は、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。また、ＣＰＵ２２２は、記憶部２３４またはリムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラム（例えばＶＲゲームアプリケーション等）を実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令にしたがって描画処理を行い、描画結果を出力部２３６に出力する。メインメモリ２２６は、ＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図５は、ヘッドマウントディスプレイ１００の内部回路構成を示す。ヘッドマウントディスプレイ１００は、ＣＰＵ１２０、メインメモリ１２２、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、無線通信のインターフェースを含む通信部１３２、モーションセンサ１３４、およびステレオカメラ１１０が接続される。

ＣＰＵ１２０は、バス１２８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理するとともに、画像生成装置２００から取得した表示画像や音声のデータを表示部１２４や音声出力部１２６に供給する。メインメモリ１２２は、ＣＰＵ１２０における処理に必要なプログラムやデータを格納する。

表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルを含み、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。表示部１２４は、左右の目に対応する領域に一対のステレオ画像を表示することにより立体視を実現してもよい。表示部１２４はさらに、ヘッドマウントディスプレイ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。

音声出力部１２６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。通信部１３２は、画像生成装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）などの既知の無線通信技術により通信を実現する。モーションセンサ１３４はジャイロセンサおよび加速度センサを含み、ヘッドマウントディスプレイ１００の角速度や加速度を取得する。

ステレオカメラ１１０は、図１で示したとおり、ユーザの視点に対応する視野で周囲の実空間を左右の視点から撮影するビデオカメラの対である。ステレオカメラ１１０により撮像された画像であり、ユーザの周囲空間を映した画像を以下「カメラ画像」とも呼ぶ。カメラ画像は、ユーザの視線方向（典型的にはユーザの正面）に存在する物体が映る画像とも言える。モーションセンサ１３４による計測値や、ステレオカメラ１１０による撮影画像（カメラ画像）のデータは、必要に応じて、通信部１３２を介して画像生成装置２００へ送信される。

実施例の画像表示システム１０では、ヘッドマウントディスプレイ１００を装着したユーザがアプリケーションのプレイ中に移動可能な実世界の範囲を規定したプレイエリアが設定される。プレイエリアは、ユーザの周囲空間（ユーザの周囲に広がる実世界の空間）うち、ユーザが仮想現実の画像（以下「ＶＲ画像」とも呼ぶ。）を視聴中に動き回ることが許可されたエリアまたは範囲と言える。アプリケーションのプレイ中にユーザがプレイエリアを逸脱しようとする場合や逸脱した場合、画像表示システム１０は、注意を促す内容、または、プレイエリアへの復帰を促す内容の警告をユーザに提供する。

上記のアプリケーションは、ＶＲ画像をヘッドマウントディスプレイ１００に表示させるゲームアプリケーションであることとし、以下「ＶＲゲーム」とも呼ぶ。例えば、ＶＲゲームは、仮想世界のテニスコートを示すＶＲ画像を表示させ、実世界でのユーザの移動（歩行等）に伴って、仮想世界のテニスコートにおけるキャラクタの位置を変化させるテニスゲームであってもよい。

実施例の画像表示システム１０の第１の特徴を説明する。画像生成装置２００は、第１のステップとして、ヘッドマウントディスプレイ１００を装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアを自動検出する。画像生成装置２００は、第１のステップより後の第２のステップとして、自動検出されたプレイエリアを編集するユーザの操作を受け付け、その操作に応じてプレイエリアの形状を変更する。これにより、ユーザが任意形状のプレイエリアを効率的に設定できるよう支援する。

実施例の画像表示システム１０の第２の特徴を説明する。画像生成装置２００は、ユーザがプレイエリアを手動編集する際に、ユーザの操作に応じてプレイエリアを縮小する。例えば、画像生成装置２００は、プレイエリアの手動編集のためのユーザインタフェースであり、かつ、プレイエリアから除外するエリアを指定可能なユーザインタフェースを提供する。画像生成装置２００は、上記ユーザインタフェースを介してユーザが指定したエリアをプレイエリアから削除する。これにより、ユーザが所望のプレイエリアを効率的に設定できるよう支援する。

実施例の画像表示システム１０の第３の特徴を説明する。画像生成装置２００は、設定されたプレイエリアのサイズに応じて、そのプレイエリアを加味してＶＲ画像を生成するアプリケーション（実施例ではＶＲゲーム）の動作モードを自動的に切り替える。具体的には、画像生成装置２００は、設定されたプレイエリアのサイズに応じて、ユーザが移動可能なモードでアプリケーションを動作させるか、または、ユーザが移動不可能なモードでアプリケーションを動作させるかを決定する。これにより、アプリケーションの動作モードをプレイエリアのサイズに応じて自動的に切り替えることができる。

図６は、画像生成装置の機能ブロックを示すブロック図である。上述したように、画像生成装置２００は、ＶＲゲームの進行やサーバとの通信等、一般的な情報処理を実行するが、図６では特に、プレイエリアの設定に関する機能ブロックを詳細に示している。なお、図６に示す画像生成装置２００の機能のうち少なくとも一部は、ネットワークを介して画像生成装置２００に接続されたサーバに実装されてもよい。

また、図６に示す複数の機能ブロックは、ハードウェア的には、図４に示したＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６、記憶部２３４等の構成で実現でき、ソフトウェア的には、複数の機能ブロックの機能を実装したコンピュータプログラムにより実現できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像生成装置２００は、データ処理部２５０とデータ記憶部２５２を備える。データ処理部２５０は、各種のデータ処理を実行する。データ処理部２５０は、図４に示した通信部２３２、出力部２３６、入力部２３８を介して、ヘッドマウントディスプレイ１００およびコントローラ１４０とデータを送受信する。データ記憶部２５２は、データ処理部２５０により参照または更新されるデータを記憶する。

データ記憶部２５２は、Ａｐｐ記憶部２５４、プレイエリア記憶部２５６、マップ記憶部２５８を備える。Ａｐｐ記憶部２５４は、ＶＲ画像を生成するアプリケーション（実施例ではＶＲゲーム）のデータを記憶する。

プレイエリア記憶部２５６は、プレイエリアに関するデータを記憶する。プレイエリアに関するデータは、プレイエリアの境界を構成する点群の位置を示すデータ（例えばワールド座標系における各点の座標値）を含む。

マップ記憶部２５８は、ヘッドマウントディスプレイ１００の位置（すなわちヘッドマウントディスプレイ１００を装着したユーザの位置）を推定するためのマップデータを記憶する。実施例のマップデータは、ユーザがＶＲゲームをプレイする部屋が映る画像（当該画像に映る特徴点）であり、位置関係（位置および方向）が判明している画像（当該画像に映る特徴点）の集合を含む。具体的には、マップデータは、ヘッドマウントディスプレイ１００の位置、視線方向、およびキーフレームを対応付けた組を複数組含む。なお、マップデータは、いわゆる自己位置推定に必要な他の項目を含んでもよい。

或る組のキーフレームは、同じ組の位置および視線方向で見える像の特徴を示すデータである。キーフレームは、ヘッドマウントディスプレイ１００のステレオカメラ１１０により撮像された画像（以下「カメラ画像」とも呼ぶ。）をもとに生成された画像であり、かつ、所定個数以上の特徴点を含む画像である。キーフレームに含まれるべき特徴点の個数は２４個以上であってもよい。特徴点は、公知のコーナー検出法により検出されたコーナーを含んでもよく、また、輝度の勾配に基づいて検出されてもよい。キーフレームは、カメラ画像から切り出された部分画像の集合とも言える。

データ処理部２５０は、システム部２６０、Ａｐｐ実行部２９０、表示制御部２９２を備える。これら複数の機能ブロックの機能は、コンピュータプログラムに実装されてもよい。画像生成装置２００のＣＰＵ２２２とＧＰＵ２２４は、上記コンピュータプログラムを記憶部２３４や記録媒体からメインメモリ２２６に読み出して実行することにより上記複数の機能ブロックの機能を発揮してもよい。

Ａｐｐ実行部２９０は、ユーザにより選択されたアプリケーション（実施例ではＶＲゲーム）のデータをＡｐｐ記憶部２５４から読み出し、ユーザにより選択されたアプリケーションを実行する。表示制御部２９２は、システム部２６０およびＡｐｐ実行部２９０により生成された様々な画像（例えばＶＲ画像やＡＲ画像）のデータをヘッドマウントディスプレイ１００へ送信し、それらの画像をヘッドマウントディスプレイ１００の表示部１２４（表示パネル）に表示させる。

システム部２６０は、ヘッドマウントディスプレイ１００に関するシステムの処理を実行する。システム部２６０は、ヘッドマウントディスプレイ１００用の複数のアプリケーション（例えばＶＲゲーム）に対して共通のサービスを提供する。システム部２６０は、カメラ画像取得部２６２、プレイエリア設定部２６４、マップ生成部２７４、モード決定部２７６、通知部２７８、位置推定部２８０、警告処理部２８２を含む。

カメラ画像取得部２６２は、ヘッドマウントディスプレイ１００から送信された、ヘッドマウントディスプレイ１００のステレオカメラ１１０により撮像されたカメラ画像を取得する。

プレイエリア設定部２６４は、プレイエリアの設定を支援するための各種処理を実行する、プレイエリア設定部２６４は、カメラ画像取得部２６２により取得されたカメラ画像と、コントローラ１４０を介して入力されたユーザの操作とに基づいて、プレイエリアを設定する。プレイエリア設定部２６４は、プレイエリア検出部２６６、床面設定部２６８、プレイエリア編集部２７０、テンポラリ設定部２７２を含む。

プレイエリア検出部２６６は、カメラ画像取得部２６２により取得されたカメラ画像に基づいて、ヘッドマウントディスプレイ１００を装着したユーザの周囲空間からプレイエリアを自動検出する。床面設定部２６８は、プレイエリア検出部２６６によりプレイエリアとして検出された床面の高さを編集するユーザの操作を受け付け、その操作に応じて床面の高さを変更する。

プレイエリア編集部２７０は、プレイエリア検出部２６６により自動検出されたプレイエリアを編集するユーザの操作を受け付け、その操作に応じてプレイエリアの形状を変更する。例えば、プレイエリア編集部２７０は、プレイエリア検出部２６６により自動検出されたプレイエリアを、ユーザの操作に応じて縮小する。

テンポラリ設定部２７２は、ユーザにより設定されたプレイエリア（すなわちユーザによる手動編集後のプレイエリア）のサイズが所定の閾値より小さい場合、ユーザにより設定されたプレイエリアに代えて一時的に有効なテンポラリプレイエリアを設定する。テンポラリプレイエリアは、ユーザが移動不可能なプレイエリア（言い換えればユーザの移動が禁止されたプレイエリア）であり、かつ、固定形状のプレイエリアである。

マップ生成部２７４は、プレイエリア検出部２６６がプレイエリアを検出することと並行して、カメラ画像取得部２６２により取得されたカメラ画像に基づいて、ユーザの位置を推定するためのマップを生成する。マップ生成部２７４は、生成したマップデータをマップ記憶部２５８に格納する。マップ生成部２７４は、ユーザの周囲空間を複数の方向から映した複数枚のカメラ画像であって、予め定められた枚数以上のカメラ画像が入力された場合、マップの生成を終了する。

モード決定部２７６は、プレイエリア設定部２６４により設定されたプレイエリア（実施例ではユーザによる手動編集後のプレイエリア）のサイズに応じて、ユーザが移動可能なモードでＶＲゲームを動作させることを決定し、または、ユーザが移動不可能なモードでＶＲゲームを動作させることを決定する。モード決定部２７６は、プレイエリアのサイズが所定の閾値以上の場合、ユーザが移動可能なモードでＶＲゲームを動作させることを決定し、プレイエリアのサイズが上記閾値未満の場合、ユーザが移動不可能なモードでＶＲゲームを動作させることを決定する。

通知部２７８は、Ａｐｐ実行部２９０によるＶＲゲームの実行に必要な情報をＡｐｐ実行部２９０へ通知する。例えば、通知部２７８は、モード決定部２７６によりユーザが移動可能なモードでＶＲゲームを動作させることが決定された場合、ユーザが移動可能であることを示すデータをＶＲゲーム（実施例ではＶＲゲームを実行するＡｐｐ実行部２９０）へ送信する。また、通知部２７８は、モード決定部２７６によりユーザが移動不可能なモードでＶＲゲームを動作させることが決定された場合、ユーザが移動不可能であることを示すデータをＶＲゲーム（実施例ではＶＲゲームを実行するＡｐｐ実行部２９０）へ送信する。

位置推定部２８０は、マップ記憶部２５８に記憶されたマップデータと、カメラ画像取得部２６２により取得されたカメラ画像とに基づいて、実世界におけるユーザの位置を推定し、言い換えれば、プレイエリアにおけるユーザの位置を推定する。例えば、位置推定部２８０は、マップデータに含まれる複数のキーフレームとカメラ画像とを照合し、その照合結果と、各キーフレームに対応付けられたヘッドマウントディスプレイ１００の位置および視線方向とに基づいて、ユーザの位置を推定してもよい。また、位置推定部２８０は、ＳＬＡＭ（Simultaneous Localization and Mapping）等、公知の自己位置推定技術を用いてユーザの位置を推定してもよい。警告処理部２８２は、プレイエリアの境界と、ユーザの位置との関係に応じて、ユーザに対する警告処理を実行する。

以上の構成による画像表示システム１０の動作を説明する。
図７は、画像生成装置２００の動作を示すフローチャートである。同図は、プレイエリアを設定する際の画像生成装置２００の動作を示している。ユーザは、ヘッドマウントディスプレイ１００のシステムの設定メニューの中で、プレイエリアの初期設定または再設定を選択可能である。プレイエリアの初期設定または再設定が選択された場合、画像生成装置２００のプレイエリア設定部２６４は、表示制御部２９２を介して、周囲を見回すよう促す内容のメッセージをヘッドマウントディスプレイ１００に表示させる。

図８は、プレイエリア設定時のユーザの行動を模式的に示す。部屋３０の中で、ユーザは、ヘッドマウントディスプレイ１００を頭部に装着して周囲を見回しつつ移動する。図８のユーザ３２は、このときのユーザの位置を示している。矢印３４は、ユーザの視線方向を示している。プレイエリア３６は、設定されるプレイエリアの一例を示している。後述のＳ１０－Ｓ１２（プレイエリア検出処理とマップ生成処理）の実行中、画像生成装置２００のプレイエリア設定部２６４は、カメラ画像取得部２６２により取得されたカメラ画像を、表示制御部２９２を介して、ヘッドマウントディスプレイ１００の表示パネルに表示させ、すなわち、ユーザが向いた方向の実空間の様子をそのままユーザに見せるビデオシースルーを行う。これによりユーザの安全性を高める。

ヘッドマウントディスプレイ１００は、複数のカメラ画像のデータを画像生成装置２００へ逐次送信する。複数のカメラ画像のデータのそれぞれは、各カメラ画像生成時のセンサデータを含む。センサデータは、モーションセンサ１３４による計測値を含み、例えば、ヘッドマウントディスプレイ１００の角速度や加速度を含む。図７に戻り、画像生成装置２００のカメラ画像取得部２６２は、ヘッドマウントディスプレイ１００から送信されたカメラ画像のデータを取得する（Ｓ１０）。

画像生成装置２００のプレイエリア検出部２６６は、Ｓ１０で取得されたカメラ画像に基づいて、ユーザの周囲空間におけるプレイエリアを自動検出する（Ｓ１１）。具体的には、プレイエリア検出部２６６は、カメラ画像と、そのカメラ画像に対応するセンサデータとに基づいて、公知の手法によりユーザの部屋の３Ｄ形状を推定してもよい。プレイエリア検出部２６６は、推定した部屋の３Ｄ形状をもとに、センサデータが示す重力方向に対して垂直な平面（典型的には床面）を検出し、検出した同じ高さの複数の平面を合成した結果をプレイエリアとして検出してもよい。プレイエリア検出部２６６は、プレイエリアの境界を構成する点群の座標値を含むプレイエリアデータをプレイエリア記憶部２５６に格納する。

プレイエリア検出部２６６は、プレイエリア検出時、プレイエリアとしての床面の高さを検出する。床面の高さは、例えば、重力方向における床面とヘッドマウントディスプレイ１００との距離であってもよい。プレイエリア検出部２６６は、床面の高さを示すデータをプレイエリア記憶部２５６に格納する。ヘッドマウントディスプレイ１００の位置が原点の場合、床面の高さはマイナス１メートル等であってもよい。

画像生成装置２００のマップ生成部２７４は、Ｓ１１の処理と並行して、Ｓ１０で取得されたカメラ画像に基づいて、ユーザの位置を推定するためのマップを生成する（Ｓ１２）。図９は、カメラ画像の例を示し、図１０は、キーフレームの例を示す。マップ生成部２７４は、コーナー検出法等の公知の手法を用いてカメラ画像４０に含まれる複数の特徴点４４を抽出し、抽出した複数の特徴点４４を示すキーフレーム４２を生成する。マップ生成部２７４は、１枚のカメラ画像４０から２４個以上の特徴点４４を抽出した場合、抽出した２４個以上の特徴点４４を含むキーフレーム４２を、センサデータにより特定されるユーザの位置および視線方向と対応付けてマップ記憶部２５８に格納する。

マップ生成部２７４は、ユーザの周囲空間のうち入力されたカメラ画像（実施例ではカメラ画像から生成されたキーフレーム）によりカバーされる割合に関するスコアを導出するための複数の基準（以下「ビン」と呼ぶ。）を記憶する。複数のビンは、ユーザの周囲空間を異なる態様で分割した複数の基準である。

図１１は、複数のビンを示す。ビン５０、ビン５２、ビン５４のそれぞれは、中心をユーザの位置とし、ユーザの周囲空間を重力方向を軸として分割したものである。ビン５０は、プレイエリア設定開始時のユーザの視線方向と、視線方向に垂直な方向とに基づいて、ユーザの周囲空間を中心角９０度で４分割した基準である。ビン５２は、ビン５０に対して位相を４５度ずらしたものである。ビン５４は、ユーザの周囲空間を中心角２２．５度で１６分割した基準である。以下、ビン５０、ビン５２、ビン５４のそれぞれで規定された、ユーザの周囲空間における分割されたエリアを「分割エリア」と呼ぶ。

マップ生成部２７４は、ビン５０、ビン５２、ビン５４に基づいて、ユーザの周囲空間のうち入力された複数枚のカメラ画像（実施例ではカメラ画像から生成されたキーフレーム）によりカバーされる割合に関するスコアを導出する。マップ生成部２７４は、そのスコアが予め定められた閾値以上になった場合、マップの生成処理を終了する。

具体的には、マップ生成部２７４は、カメラ画像からキーフレームを生成した場合、ビン５０、ビン５２、ビン５４のそれぞれについて、当該キーフレームが得られた視線方向に合致する分割エリアが埋まったこととし、各ビンにおいて分割エリアが埋まった個数の合計をスコアとしてカウントする。マップ生成部２７４は、新たなキーフレームを生成すると、同様のアルゴリズムにより、各ビンにおいて新たに分割エリアが埋まった個数をスコアに加算する。

図７に戻り、実施例では、スコアが閾値「１０」未満であれば（Ｓ１３のＮ）、Ｓ１０に戻り、プレイエリアの検出処理とマップの生成処理を継続する。スコアが閾値「１０」以上になった場合（Ｓ１３のＹ）、プレイエリア検出部２６６は、プレイエリアの検出処理を終了し、マップ生成部２７４は、マップの生成処理を終了する。スコアの閾値「１０」は、ヘッドマウントディスプレイ１００を装着したユーザが自身の周囲１８０度をぐるりと見渡せばクリアできる値であるが、ユーザが周囲を見渡さない場合にはクリアできない値として定められたものである。

プレイエリア検出処理とマップ生成処理の実行後、画像生成装置２００の床面設定部２６８は、プレイエリア記憶部２５６に記憶された床面の高さを示すデータに基づいて、床面調整画面を生成する。床面調整画面は、カメラ画像取得部２６２により取得されたカメラ画像に床面を示すオブジェクト（例えば半透明の格子状のオブジェクト）を重畳したＡＲ画像を含んでもよい。床面設定部２６８は、表示制御部２９２を介して、ヘッドマウントディスプレイ１００の表示パネルに床面調整画面を表示させる。床面設定部２６８は、床面調整画面に入力された床面の高さを調整するユーザの操作を受け付け、ユーザの操作にしたがって床面の高さを変更する。床面設定部２６８は、変更後の床面の高さを示すデータをプレイエリア記憶部２５６に格納する（Ｓ１４）。

画像生成装置２００のプレイエリア編集部２７０は、プレイエリア検出部２６６により自動検出されたプレイエリアを示す画像を生成する。具体的には、プレイエリア編集部２７０は、プレイエリア記憶部２５６に格納されたプレイエリアデータに基づいて、プレイエリア編集画面を生成する。プレイエリア編集画面は、カメラ画像取得部２６２により取得されたカメラ画像の上にプレイエリアを示すオブジェクトを重畳したＡＲ画像を含む。画像生成装置２００の表示制御部２９２は、プレイエリア編集画面をヘッドマウントディスプレイ１００の表示パネルに表示させる（Ｓ１５）。

図１２は、プレイエリア編集画面の例を示す。プレイエリア編集画面６０は、プレイエリア６２と境界６４を含む。プレイエリア６２は、プレイエリア（典型的には障害物のない床面）を示す画像であり、例えば半透明の格子状のオブジェクトを示す画像であってもよい。境界６４は、プレイエリア６２の境界を示す画像であり、プレイエリア６２の境界においてプレイエリアに垂直に交わる画像である。境界６４も、例えば半透明の格子状のオブジェクトであってもよい。

図７に戻り、プレイエリア編集部２７０は、プレイエリア編集画面６０に入力されたプレイエリア６２を編集するユーザの操作を受け付ける。プレイエリア編集部２７０は、ユーザの操作に応じてプレイエリア６２の形状を変更し、すなわち、ユーザの操作に応じてプレイエリア６２を拡大または縮小する。プレイエリア編集部２７０は、形状変更後のプレイエリア６２のデータ（例えば境界を構成する点群の座標値）をプレイエリア記憶部２５６に格納することにより、プレイエリア記憶部２５６に記憶されたプレイエリアデータを更新する（Ｓ１６）。

図１３（ａ）－（ｄ）は、図１２のプレイエリア編集画面６０を上から見た図であり、プレイエリア６２を拡大させる編集の例を示す図である。コントローラカーソル６６は、ヘッドマウントディスプレイ１００を装着したユーザがコントローラ１４０に入力した操作により指定された位置を示すオブジェクトである。例えば、コントローラ１４０は、ポインティングデバイスの機能を備えてもよく、プレイエリア編集部２７０は、コントローラ１４０により指定された仮想空間の位置にコントローラカーソル６６を表示させてもよい。

図１３（ａ）～（ｃ）に示すように、ユーザは、プレイエリア編集画面６０においてコントローラカーソル６６を移動させ、コントローラカーソル６６の移動軌跡を示す線として、プレイエリア６２の内からプレイエリア６２の外に出てプレイエリア６２の内に入る線を描く。この場合、図１３（ｄ）に示すように、プレイエリア編集部２７０は、描画された線により囲まれた領域をプレイエリア６２に追加する。

ここでユーザが、コントローラカーソル６６の移動軌跡を示す線として、プレイエリア６２の内からプレイエリア６２の外に出てプレイエリア６２の外で終了する線を描いた場合を考える。この場合、プレイエリア編集部２７０は、描画された線（言い換えればコントローラカーソル６６の移動軌跡）に沿った領域をプレイエリア６２に追加する。例えば、ユーザが、図１３（ｂ）に示すコントローラカーソル６６の位置でコントローラカーソル６６の移動（言い換えれば線の描画）を終了させた場合、元のプレイエリア６２から右に細く伸びた領域をプレイエリア６２に追加する。

図１４（ａ）－（ｄ）は、プレイエリアの編集に関して、プレイエリア編集画面６０にプレイエリアを設定する処理の詳細を示す。図１４（ａ）に示すように、プレイエリア編集部２７０は、プレイエリア検出部２６６により自動検出されたプレイエリア６２のデータを取得する。図１４（ｂ）に示すように、プレイエリア編集部２７０は、自動検出されたプレイエリア６２をグリッド化し、言い換えればプレイエリア６２をグリッド上に配置する。

図１４（ｃ）に示すように、プレイエリア編集部２７０は、プレイエリア６２の内側のグリッドをオブジェクト６８で埋める。この例では、１つのグリッドに１つのオブジェクト６８を配置する。図１４（ｄ）に示すように、プレイエリア編集部２７０は、オブジェクト６８で埋められたグリッドに基づいてプレイエリア６２の境界を抽出し、プレイエリア６２の境界線を確定する。

図１５（ａ）－（ｅ）は、プレイエリアの編集に関して、プレイエリアを拡大する処理の詳細を示す。ここでは、図１５（ａ）に示すように、ユーザがコントローラ１４０のトリガー（すなわちコントローラカーソル６６の表示契機となる入力部）を押したときのコントローラカーソル６６の位置がプレイエリア６２の内側である。ユーザは、トリガーを押したままコントローラカーソル６６をプレイエリア６２の外側に移動させ、さらにコントローラカーソル６６をプレイエリア６２の内側に移動させてトリガーを離す。この場合、図１５（ｂ）に示すように、プレイエリア編集部２７０は、コントローラカーソル６６の移動に伴って、コントローラカーソル６６の移動軌跡の内側のグリッドをオブジェクト６８で埋めていく。

図１５（ｃ）に示すように、プレイエリア編集部２７０は、オブジェクト６８で埋められたグリッドに基づいてプレイエリア６２の境界を抽出する。図１５（ｄ）に示すように、プレイエリア編集部２７０は、ユーザがトリガーを離したとき、プレイエリア６２の境界を確定させる。境界が複数存在する場合、プレイエリア編集部２７０は、より範囲が大きい境界、言い換えれば、外側の境界を選択する。図１５（ｅ）に示すように、プレイエリア編集部２７０は、境界線内側のグリッドをオブジェクト６８で埋める。

図１６（ａ）－（ｄ）は、図１２のプレイエリア編集画面６０を上から見た図であり、プレイエリア６２を縮小させる編集の例を示す図である。図１６（ａ）－（ｃ）に示すように、ユーザは、プレイエリア編集画面６０においてコントローラカーソル６６を移動させ、コントローラカーソル６６の移動軌跡を示す線として、プレイエリア６２の外からプレイエリア６２の内に入ってプレイエリア６２の外に出る線を描く。この場合、図１６（ｄ）に示すように、プレイエリア編集部２７０は、描画された線により分断されたプレイエリア６２の一方を削除する。

実施例では、プレイエリア編集部２７０は、位置推定部２８０により推定されたユーザの位置に基づいて、分断されたプレイエリアの一方にユーザが存在する場合、そのことを検出する。プレイエリア編集部２７０は、分断されたプレイエリアの一方（例えば図１６（ｃ）のプレイエリア６２ａ）がユーザが存在するエリアであり、他方（例えば図１６（ｃ）のプレイエリア６２ｂ）がユーザが存在しないエリアである場合、ユーザが存在しないエリア（例えばプレイエリア６２ｂ）を削除する。

変形例として、プレイエリア編集部２７０は、分断されたプレイエリアのうち相対的に大きいプレイエリア（例えばプレイエリア６２ａ）を残し、相対的に小さいプレイエリア（例えばプレイエリア６２ｂ）を削除してもよい。また、プレイエリア編集部２７０は、分断されたプレイエリアのいずれかにユーザが存在する場合、分断されたプレイエリアのうちユーザが存在しないプレイエリアを削除し、分断されたプレイエリアのいずれにもユーザが存在しない場合、分断されたプレイエリアのうち相対的に小さいプレイエリアを削除してもよい。

ここでユーザが、コントローラカーソル６６の移動軌跡を示す線として、プレイエリア６２の外からプレイエリア６２の内に入ってプレイエリア６２の内で終了する線を描いたとする。この場合、プレイエリア編集部２７０は、描画された線（言い換えればコントローラカーソル６６の移動軌跡）に沿った領域をプレイエリア６２から削除する。例えば、ユーザが、図１６（ｂ）に示すコントローラカーソル６６の位置でコントローラカーソル６６の移動を終了させた場合、元のプレイエリア６２からコントローラカーソル６６が通った領域を削除する。

図１７（ａ）－（ｄ）は、プレイエリアの編集に関して、プレイエリアを縮小する処理の詳細を示す。ここでは、図１７（ａ）に示すように、ユーザがコントローラ１４０のトリガーを押したときのコントローラカーソル６６の位置がプレイエリア６２の外側である。ユーザは、トリガーを押したままコントローラカーソル６６をプレイエリア６２の内側に移動させ、さらにコントローラカーソル６６をプレイエリア６２の外側に移動させてトリガーを離す。この場合、図１７（ｂ）に示すように、プレイエリア編集部２７０は、コントローラカーソル６６の移動に伴って、コントローラカーソル６６の移動軌跡内のグリッドを埋めたオブジェクト６８を削除する。

図１７（ｃ）に示すように、プレイエリア編集部２７０は、オブジェクト６８で埋められたグリッドに基づいてプレイエリア６２の境界を抽出する。図１７（ｄ）に示すように、プレイエリア編集部２７０は、ユーザがトリガを離したとき、ユーザが存在するプレイエリア６２のみ境界線を確定し、ユーザが存在しないプレイエリア６２を削除する。

図７に戻る。Ｓ１６までの処理によって、プレイエリア設定部２６４により設定されたプレイエリアであり、言い換えれば、ユーザにより設定された任意形状のプレイエリア（以下「ユーザ設定プレイエリア」とも呼ぶ。）のデータ（例えばプレイエリアの境界を構成する点群の座標値）がプレイエリア記憶部２５６に記憶される。画像生成装置２００のモード決定部２７６は、ユーザ設定プレイエリアのデータに基づいて、ユーザ設定プレイエリアのサイズおよび形状を導出する。

ユーザ設定プレイエリアのサイズ（ここでは形状を含む）が所定の第１閾値以上の場合（Ｓ１７のＹ）、モード決定部２７６は、ユーザ設定プレイエリアを移動可能なプレイエリアと判定し、ＶＲゲームをユーザが移動可能なモードで動作させることを決定する。実施例では、ユーザ設定プレイエリアに縦２メートル×横２メートルの正方形が含まれる場合、ユーザ設定プレイエリアのサイズが第１閾値以上と判定する。モード決定部２７６は、ユーザ設定プレイエリアが移動可能なプレイエリアであることを示すデータをプレイエリア記憶部２５６に格納する（Ｓ１８）。

ユーザ設定プレイエリアのサイズが第１閾値未満であり（Ｓ１７のＮ）、かつ、ユーザ設定プレイエリアのサイズが第１閾値より小さい所定の第２閾値以上の場合（Ｓ１９のＹ）、モード決定部２７６は、ユーザ設定プレイエリアを移動不可能なプレイエリアと判定し、ＶＲゲームをユーザが移動不可能なモードで動作させることを決定する。実施例では、ユーザ設定プレイエリアに縦１メートル×横１メートルの正方形が含まれる場合、ユーザ設定プレイエリアのサイズが第２閾値以上と判定する。モード決定部２７６は、ユーザ設定プレイエリアが移動不可能なプレイエリアであることを示すデータをプレイエリア記憶部２５６に格納する（Ｓ２０）。

ユーザ設定プレイエリアのサイズが第２閾値未満の場合、すなわち、ユーザ設定プレイエリアに縦１メートル×横１メートルの正方形が含まれない場合（Ｓ１９のＮ）、モード決定部２７６は、テンポラリプレイエリアを設定することを決定する。テンポラリ設定部２７２は、テンポラリ設定エリアを設定する旨のメッセージをヘッドマウントディスプレイ１００に表示させ、また、ユーザがコントローラ１４０を介して指定した位置にテンポラリプレイエリアを設定する。テンポラリプレイエリアは、ユーザによる編集が禁止された固定形状（言い換えれば固定サイズ）のプレイエリアである。実施例のテンポラリプレイエリアの形状は、半径１．５メートルの円である。

テンポラリプレイエリアを設定した場合、テンポラリ設定部２７２は、それまでプレイエリア記憶部２５６に記憶されたユーザ設定プレイエリアに関するデータに代えて、テンポラリプレイエリアに関するデータをプレイエリア記憶部２５６に格納する。このデータは、例えば、テンポラリプレイエリアの境界を構成する点群の座標値を含む。また、テンポラリ設定部２７２は、移動不可能なプレイエリアであることを示すデータをプレイエリア記憶部２５６に格納する（Ｓ２１）。

図１８も、画像生成装置２００の動作を示すフローチャートである。同図は、ＶＲゲーム実行時の画像生成装置２００の動作を示している。ユーザが画像生成装置２００においてＶＲゲームを起動すると（Ｓ３０のＹ）、通知部２７８は、プレイエリア記憶部２５６に記憶されたプレイエリア（ユーザ設定プレイエリアまたはテンポラリプレイエリア）のデータ、例えば、プレイエリアの形状およびサイズを示すデータをＡｐｐ実行部２９０へ送信する。また、通知部２７８は、上記プレイエリアが移動可能なプレイエリアと移動不可能なプレイエリアのいずれであるかを示すデータをＡｐｐ実行部２９０へ送信する（Ｓ３１）。

Ｓ３１の処理と並行して、通知部２７８は、表示制御部２９２を介して、ＶＲゲームプレイ中の移動可否をユーザに通知する（Ｓ３２）。具体的には、表示制御部２９２は、モード決定部２７６によりユーザが移動可能なモードでＶＲゲームを動作させることが決定された場合であり、すなわち、移動可能なプレイエリアであることを示すデータがプレイエリア記憶部２５６に記憶されている場合、ＶＲゲームのプレイ中にユーザが移動可能であることを示すメッセージをヘッドマウントディスプレイ１００の表示パネルに表示させる。

一方、モード決定部２７６によりユーザが移動不可能なモードでＶＲゲームを動作させることが決定された場合であり、すなわち、移動不可能なプレイエリアであることを示すデータがプレイエリア記憶部２５６に記憶されている場合、表示制御部２９２は、ＶＲゲームのプレイ中にユーザが移動不可能であることを示すメッセージをヘッドマウントディスプレイ１００の表示パネルに表示させる。このメッセージは、例えば、ＶＲゲームのプレイ中に移動しないよう警告する内容のメッセージであってもよい。

画像生成装置２００のＡｐｐ実行部２９０は、Ａｐｐ記憶部２５４からＶＲゲームのプログラムデータを読み出し、ＶＲゲームを開始する（Ｓ３３）。例えば、Ａｐｐ実行部２９０は、ゲーム世界を描いた仮想空間の中でプレイエリア（テンポラリプレイエリアを含む）の範囲内にゲームアイテムを配置することによりユーザにそのアイテムを取得させてもよい。表示制御部２９２は、Ａｐｐ実行部２９０により生成されたＶＲゲームの画像（例えばＶＲ画像）をヘッドマウントディスプレイ１００の表示パネルに表示させる。

画像生成装置２００のカメラ画像取得部２６２は、ヘッドマウントディスプレイ１００から逐次送信されたカメラ画像を逐次取得し、位置推定部２８０は、実世界におけるユーザの位置および視線方向を逐次推定する（Ｓ３４）。通知部２７８は、位置推定部２８０により推定されたユーザの位置および視線方向をＡｐｐ実行部２９０へ通知する（Ｓ３５）。Ａｐｐ実行部２９０は、推定されたユーザの位置および視線方向に応じてＶＲゲームを進行させる（Ｓ３６）。例えば、ユーザが移動可能なプレイエリアである場合、Ａｐｐ実行部２９０は、実世界（言い換えればプレイエリア内）におけるユーザの位置の変化に応じて、ＶＲゲーム内のユーザキャラクタを移動させてもよい。

画像生成装置２００の警告処理部２８２は、実世界におけるユーザの位置がプレイエリアの境界近傍に至った場合、例えば、ユーザに装着されたヘッドマウントディスプレイ１００からプレイエリアの境界までの距離が所定の閾値（例えば３０センチ）以下になった場合（Ｓ３７のＹ）、そのことを検出する。警告処理部２８２は、ユーザに対する所定の警告処理を実行する（Ｓ３８）。

例えば、警告処理部２８２は、ユーザの位置がプレイエリアの境界近傍に至った場合、プレイエリアの境界を示す画像（例えば図１２に示した境界６４）を表示制御部２９２に渡してもよい。表示制御部２９２は、Ａｐｐ実行部２９０により生成されたゲーム画像に、プレイエリアの境界を示す画像を重畳したものを表示画像としてヘッドマウントディスプレイ１００の表示パネルに表示させてもよい。また、警告処理部２８２は、実世界におけるユーザの位置がプレイエリアの境界近傍に至った場合やプレイエリアの境界を超えてしまった場合、表示制御部２９２を介してヘッドマウントディスプレイ１００の表示パネルにビデオシースルー画像を表示させても良い。また、警告処理部２８２は、実世界におけるユーザの位置がプレイエリアの境界近傍に至った場合（例えば３０センチ）、最初にプレイエリアの境界を示す画像を表示させ、実世界におけるユーザの位置がさらにプレイエリアの境界近傍に至った場合（例えば１０センチ）は、ビデオシースルー画像を表示させても良い 。一方、実世界におけるユーザの位置がプレイエリアの境界近傍でなければ（Ｓ３７のＮ）、Ｓ３８をスキップする。

ユーザによりＶＲゲームの実行が停止された場合等、所定の終了条件を満たした場合（Ｓ３９のＹ）、本図のフローを終了する。終了条件が満たされなければ（Ｓ３９のＮ）、Ｓ３４に戻り、ＶＲゲームを続行する。ＶＲゲームが起動されなければ（Ｓ３０のＮ）、Ｓ３１以降の処理をスキップする。

実施例の画像表示システム１０によると、ヘッドマウントディスプレイ１００で撮像されたカメラ画像に基づいてプレイエリアを自動検出した後に、ユーザにプレイエリアを手動編集させる。また、プレイエリアの手動編集では、プレイエリアの拡大と縮小の両方が可能なユーザインタフェース（プレイエリア編集画面６０）を提供する。これにより、ユーザが任意形状のプレイエリアを効率的に設定できるよう支援できる。

また、実施例の画像表示システム１０によると、設定されたプレイエリアのサイズに応じて、ユーザが移動可能なモードでＶＲゲームを動作させるか、または、ユーザが移動不可能なモードでＶＲゲームを動作させるかを自動で決定する。このように、設定されたプレイエリアのサイズに応じてアプリケーションの動作モードを自動的に切り替えることにより、ユーザに何回ものプレイエリアの設定を試行させることを抑制し、また、ヘッドマウントディスプレイ１００を装着してアプリケーションをプレイするユーザの安全性を高めることができる。

また、ＶＲ画像を生成するアプリケーションは、プレイエリアの中に様々なオブジェクト（ゲームのアイテム等）を配置することがあり、プレイエリアはある程度のサイズが確保されることが望ましい。実施例の画像表示システム１０は、ユーザ設定プレイエリアのサイズが小さい場合（上記の第２閾値未満の場合）、固定形状のテンポラリプレイエリアを設定する。これにより、プレイエリアのサイズを一定程度確保でき、プレイエリアが小さすぎてヘッドマウントディスプレイ１００での画像表示による世界観の醸成（例えばＶＲゲームの興趣）が損なわれることを防止できる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

プレイエリアの手動編集に関する変形例を説明する。
図１９（ａ）－（ｄ）は、プレイエリアを拡大させる編集の変形例を示す。実施例と同様に、図１９（ａ）～（ｃ）に示すように、ユーザは、プレイエリア編集画面６０においてコントローラカーソル６６を移動させ、コントローラカーソル６６の移動軌跡を示す線として、プレイエリア６２の内からプレイエリア６２の外に出てプレイエリア６２の内に入る線を描く。この場合、図１９（ｄ）に示すように、プレイエリア編集部２７０は、描かれた線により囲まれた領域をプレイエリア６２に追加する。なお、変形例におけるコントローラカーソル６６の移動軌跡を示す線の幅は、実施例におけるコントローラカーソル６６の移動軌跡を示す線の幅より細い。

ここでユーザが、コントローラカーソル６６の移動軌跡を示す線として、プレイエリア６２の内からプレイエリア６２の外に出てプレイエリア６２の外で終了する線を描いた場合を考える。この場合、本変形例では、プレイエリア編集部２７０は、プレイエリア６２のそれまでの形状を維持する。言い換えれば、プレイエリア編集部２７０は、描かれた線をキャンセルし、言い換えれば、プレイエリア６２を拡大させない。

図２０（ａ）－（ｂ）は、プレイエリアを縮小させる編集の変形例を示す。実施例と同様に、図２０（ａ）に示すように、ユーザは、プレイエリア編集画面６０においてコントローラカーソル６６を移動させ、コントローラカーソル６６の移動軌跡を示す線として、プレイエリア６２の外からプレイエリア６２の内に入ってプレイエリア６２の外に出る線を描く。この場合、図２０（ｂ）に示すように、プレイエリア編集部２７０は、描かれた線により分断されたプレイエリア６２の一方を削除する。プレイエリア編集部２７０は、分断されたプレイエリアの一方がユーザが存在するエリアであり、他方がユーザが存在しないエリアである場合、ユーザが存在しないエリアを削除する。

ここでユーザが、コントローラカーソル６６の移動軌跡を示す線として、プレイエリア６２の外からプレイエリア６２の内に入ってプレイエリア６２の内で終了する線を描いた場合を考える。この場合、本変形例では、プレイエリア編集部２７０は、プレイエリア６２のそれまでの形状を維持する。言い換えれば、プレイエリア編集部２７０は、描かれた線をキャンセルし、言い換えれば、プレイエリア６２を縮小させない。

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

実施例および変形例の記載に基づく技術思想は、以下の各項目のように表現することができる。
［項目１－１］
ヘッドマウントディスプレイのカメラにより撮像されたユーザの周囲空間を映したカメラ画像に基づいて、前記ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアを自動検出するプレイエリア検出部と、
前記プレイエリア検出部により自動検出されたプレイエリアを示す画像を前記ヘッドマウントディスプレイに表示させる表示制御部と、
前記プレイエリアを編集するユーザの操作を受け付け、その操作に応じて前記プレイエリアの形状を変更するプレイエリア編集部と、
を備える情報処理装置。
この情報処理装置によると、ユーザが任意形状のプレイエリアを効率的に設定できるよう支援できる。
［項目１－２］
前記プレイエリア検出部が前記プレイエリアを検出することと並行して、前記カメラ画像に基づいて、ユーザの位置を推定するためのマップを生成するマップ生成部と、
前記マップ生成部は、前記ユーザの周囲空間を複数の方向から映した複数枚のカメラ画像であって、予め定められた枚数以上のカメラ画像が入力された場合、前記マップの生成処理を終了する、
項目１－１に記載の情報処理装置。
この情報処理装置によると、ユーザの位置を推定する精度を高めることができる。
［項目１－３］
前記マップ生成部は、前記ユーザの周囲空間を異なる態様で分割した複数の基準に基づいて、前記ユーザの周囲空間のうち入力された複数枚のカメラ画像によりカバーされる割合に関するスコアを導出し、そのスコアが所定の閾値以上になった場合、前記マップの生成処理を終了する、
項目１－２に記載の情報処理装置。
この情報処理装置によると、ユーザの位置を推定するためのマップの網羅性を高めることができる。
［項目１－４］
ヘッドマウントディスプレイのカメラにより撮像されたユーザの周囲空間を映したカメラ画像に基づいて、前記ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアを自動検出するステップと、
自動検出されたプレイエリアを示す画像を前記ヘッドマウントディスプレイに表示させるステップと、
前記プレイエリアを編集するユーザの操作を受け付け、その操作に応じて前記プレイエリアの形状を変更するステップと、
をコンピュータが実行する情報処理方法。
この情報処理方法によると、ユーザが任意形状のプレイエリアを効率的に設定できるようコンピュータに支援させることができる。
［項目１－５］
ヘッドマウントディスプレイのカメラにより撮像されたユーザの周囲空間を映したカメラ画像に基づいて、前記ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアを自動検出する機能と、
自動検出されたプレイエリアを示す画像を前記ヘッドマウントディスプレイに表示させる機能と、
前記プレイエリアを編集するユーザの操作を受け付け、その操作に応じて前記プレイエリアの形状を変更する機能と、
をコンピュータに実現させるためのコンピュータプログラム。
このコンピュータプログラムによると、ユーザが任意形状のプレイエリアを効率的に設定できるようコンピュータに支援させることができる。

［項目２－１］
ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアを記憶する記憶部と、
前記記憶部に記憶されたプレイエリアを示す画像を前記ヘッドマウントディスプレイに表示させる表示制御部と、
前記プレイエリアを編集するユーザの操作を受け付け、前記ユーザの操作に応じて前記プレイエリアを縮小するプレイエリア編集部と、
を備える情報処理装置。
この情報処理装置によると、ユーザが所望の形状のプレイエリアを設定できるよう支援できる。
［項目２－２］
前記ヘッドマウントディスプレイのカメラにより撮像されたユーザの周囲空間を映したカメラ画像に基づいて、前記プレイエリアを自動検出するプレイエリア検出部をさらに備え、
前記プレイエリア編集部は、前記プレイエリア検出部により自動検出されたプレイエリアを前記ユーザの操作に応じて縮小する、
項目２－１に記載の情報処理装置。
この情報処理装置によると、ユーザが所望の形状のプレイエリアを効率的に設定できるよう支援できる。
［項目２－３］
前記プレイエリア編集部は、前記プレイエリアの外から前記プレイエリアの内に入って前記プレイエリアの外に出る線をユーザが描いた場合、前記線により分断されたプレイエリアの一方を削除する、
項目２－１または２－２に記載の情報処理装置。
この情報処理装置によると、直感的な操作で不要なプレイエリアを削除可能なユーザインタフェースを提供できる。
［項目２－４］
前記プレイエリア編集部は、前記線により分断されたプレイエリアの一方がユーザが存在するエリアであり、他方がユーザが存在しないエリアである場合、前記ユーザが存在しないエリアを削除する、
項目２－３に記載の情報処理装置。
この情報処理装置によると、直感的な操作で不要なプレイエリアを削除可能なユーザインタフェースを提供できる。
［項目２－５］
前記プレイエリア編集部は、前記プレイエリアの外から前記プレイエリアの内に入って前記プレイエリアの内で終了する線をユーザが描いた場合、前記線に沿った領域を前記プレイエリアから削除する、
項目２－３または２－４に記載の情報処理装置。
この情報処理装置によると、直感的な操作で不要なプレイエリアを削除可能なユーザインタフェースを提供できる。
［項目２－６］
前記プレイエリア編集部は、前記プレイエリアの外から前記プレイエリアの内に入って前記プレイエリアの内で終了する線をユーザが描いた場合、前記プレイエリアのそれまでの形状を維持する、
項目２－３または２－４に記載の情報処理装置。
この情報処理装置によると、ユーザの意図に反してプレイエリアが削除されることを防止できる。
［項目２－７］
前記プレイエリア編集部は、前記プレイエリアの内から前記プレイエリアの外に出て前記プレイエリアの内に入る線をユーザが描いた場合、前記線により囲まれた領域を前記プレイエリアに追加する、
項目２－３に記載の情報処理装置。
この情報処理装置によると、直感的な操作でプレイエリアを拡大可能なユーザインタフェースを提供できる。
［項目２－８］
前記プレイエリア編集部は、前記プレイエリアの内から前記プレイエリアの外に出て前記プレイエリアの外で終了する線をユーザが描いた場合、前記線に沿った領域を前記プレイエリアに追加する、
項目２－７に記載の情報処理装置。
この情報処理装置によると、直感的な操作でプレイエリアを拡大可能なユーザインタフェースを提供できる。
［項目２－９］
前記プレイエリア編集部は、前記プレイエリアの内から前記プレイエリアの外に出て前記プレイエリアの外で終了する線をユーザが描いた場合、前記プレイエリアのそれまでの形状を維持する、
項目２－７に記載の情報処理装置。
この情報処理装置によると、ユーザの意図に反してプレイエリアが拡大されることを防止できる。
［項目２－１０］
ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアを記憶する記憶部を備えるコンピュータが、
前記記憶部に記憶されたプレイエリアを示す画像を前記ヘッドマウントディスプレイに表示させるステップと、
前記プレイエリアを編集するユーザの操作を受け付け、前記ユーザの操作に応じて前記プレイエリアを縮小するステップと、
を実行する情報処理方法。
この情報処理方法によると、ユーザが所望の形状のプレイエリアを設定できるようコンピュータに支援させることができる。
［項目２－１１］
ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアを記憶する記憶部を備えるコンピュータに、
前記記憶部に記憶されたプレイエリアを示す画像を前記ヘッドマウントディスプレイに表示させる機能と、
前記プレイエリアを編集するユーザの操作を受け付け、前記ユーザの操作に応じて前記プレイエリアを縮小する機能と、
を実現させるためのコンピュータプログラム。
このコンピュータプログラムによると、ユーザが所望の形状のプレイエリアを設定できるようコンピュータに支援させることができる。

［項目３－１］
ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアを設定するプレイエリア設定部と、
前記プレイエリア設定部により設定されたプレイエリアのサイズに応じて、ユーザが移動可能なモードで前記アプリケーションを動作させることを決定し、または、ユーザが移動不可能なモードで前記アプリケーションを動作させることを決定する決定部と、
を備える情報処理装置。
この情報処理装置によると、ヘッドマウントディスプレイを装着してアプリケーションをプレイするユーザの安全性を高めることができる。
［項目３－２］
前記決定部は、前記プレイエリアのサイズが所定の第１閾値以上の場合、ユーザが移動可能なモードで前記アプリケーションを動作させることを決定し、前記プレイエリアのサイズが前記第１閾値未満の場合、ユーザが移動不可能なモードで前記アプリケーションを動作させることを決定する、
項目３－１に記載の情報処理装置。
この情報処理装置によると、ヘッドマウントディスプレイを装着してアプリケーションをプレイするユーザの安全性を高めることができる。
［項目３－３］
前記プレイエリア設定部は、ユーザにより設定されたプレイエリアのサイズが前記第１閾値より小さい第２閾値未満の場合、前記ユーザにより設定されたプレイエリアに代えて、ユーザが移動不可能なプレイエリアであり、かつ、固定形状のプレイエリアであるテンポラリプレイエリアを設定する、
項目３－２に記載の情報処理装置。
この情報処理装置によると、プレイエリアのサイズを一定程度確保でき、プレイエリアが小さすぎてヘッドマウントディスプレイでの画像表示による世界観の醸成が損なわれることを防止できる。
［項目３－４］
前記決定部によりユーザが移動可能なモードで前記アプリケーションを動作させることが決定された場合、ユーザが移動可能であることを前記アプリケーションに通知し、前記決定部によりユーザが移動不可能なモードで前記アプリケーションを動作させることが決定された場合、ユーザが移動不可能であることを前記アプリケーションに通知する通知部をさらに備える、
項目３－１から３－３のいずれかに記載の情報処理装置。
この情報処理装置によると、プレイエリアのサイズに適合するモードでアプリケーションを動作させることができる。
［項目３－５］
前記決定部によりユーザが移動不可能なモードで前記アプリケーションを動作させることが決定された場合、前記アプリケーションのプレイ中にユーザが移動不可能であることを前記ヘッドマウントディスプレイに表示させる表示制御部をさらに備える、
項目３－１から３－４のいずれかに記載の情報処理装置。
この情報処理装置によると、アプリケーションのプレイ中に移動不可能であることをユーザに認知させることができる。
［項目３－６］
ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアを設定するステップと、
設定されたプレイエリアのサイズに応じて、ユーザが移動可能なモードで前記アプリケーションを動作させるか、または、ユーザが移動不可能なモードで前記アプリケーションを動作させるかを決定するステップと、
をコンピュータが実行する情報処理方法。
この情報処理方法によると、ヘッドマウントディスプレイを装着してアプリケーションをプレイするユーザの安全性を高めることができる。
［項目３－７］
ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアを設定する機能と、
設定されたプレイエリアのサイズに応じて、ユーザが移動可能なモードで前記アプリケーションを動作させるか、または、ユーザが移動不可能なモードで前記アプリケーションを動作させるかを決定する機能と、
をコンピュータに実現させるためのコンピュータプログラム。
このコンピュータプログラムによると、ヘッドマウントディスプレイを装着してアプリケーションをプレイするユーザの安全性を高めることができる。

１０ 画像表示システム、 １００ ヘッドマウントディスプレイ、 ２００ 画像生成装置、 ２５６ プレイエリア記憶部、 ２６４ プレイエリア設定部、 ２６６ プレイエリア検出部、 ２７０ プレイエリア編集部、 ２７２ テンポラリ設定部、 ２７４ マップ生成部、 ２７６ モード決定部、 ２９２ 表示制御部。

Claims (5)

1. ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアを設定するプレイエリア設定部と、
   前記プレイエリア設定部により設定されたプレイエリアのサイズに応じて、ユーザが移動可能なモードで前記アプリケーションを動作させることを決定し、または、ユーザが移動不可能なモードで前記アプリケーションを動作させることを決定する決定部と、
   を備え、
   前記決定部は、前記プレイエリアのサイズが所定の第１閾値以上の場合、ユーザが移動可能なモードで前記アプリケーションを動作させることを決定し、前記プレイエリアのサイズが前記第１閾値未満の場合、ユーザが移動不可能なモードで前記アプリケーションを動作させることを決定し、
   前記プレイエリア設定部は、ユーザにより設定されたプレイエリアのサイズが前記第１閾値より小さい第２閾値未満の場合、前記ユーザにより設定されたプレイエリアに代えて、ユーザが移動不可能なプレイエリアであり、かつ、固定形状のプレイエリアであるテンポラリプレイエリアを設定する、
   情報処理装置。
2. 前記決定部によりユーザが移動可能なモードで前記アプリケーションを動作させることが決定された場合、ユーザが移動可能であることを前記アプリケーションに通知し、前記決定部によりユーザが移動不可能なモードで前記アプリケーションを動作させることが決定された場合、ユーザが移動不可能であることを前記アプリケーションに通知する通知部をさらに備える、
   請求項１に記載の情報処理装置。
3. 前記決定部によりユーザが移動不可能なモードで前記アプリケーションを動作させることが決定された場合、前記アプリケーションのプレイ中にユーザが移動不可能であることを前記ヘッドマウントディスプレイに表示させる表示制御部をさらに備える、
   請求項１または２に記載の情報処理装置。
4. ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアを設定するステップと、
   設定されたプレイエリアのサイズに応じて、ユーザが移動可能なモードで前記アプリケーションを動作させるか、または、ユーザが移動不可能なモードで前記アプリケーションを動作させるかを決定するステップと、
   をコンピュータが実行し、
   前記決定するステップは、前記プレイエリアのサイズが所定の第１閾値以上の場合、ユーザが移動可能なモードで前記アプリケーションを動作させることを決定し、前記プレイエリアのサイズが前記第１閾値未満の場合、ユーザが移動不可能なモードで前記アプリケーションを動作させることを決定し、
   ユーザにより設定されたプレイエリアのサイズが前記第１閾値より小さい第２閾値未満の場合、前記ユーザにより設定されたプレイエリアに代えて、ユーザが移動不可能なプレイエリアであり、かつ、固定形状のプレイエリアであるテンポラリプレイエリアを設定するステップを前記コンピュータがさらに実行する情報処理方法。
5. ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアを設定する機能と、
   設定されたプレイエリアのサイズに応じて、ユーザが移動可能なモードで前記アプリケーションを動作させるか、または、ユーザが移動不可能なモードで前記アプリケーションを動作させるかを決定する機能と、
   をコンピュータに実現させ、
   前記決定する機能は、前記プレイエリアのサイズが所定の第１閾値以上の場合、ユーザが移動可能なモードで前記アプリケーションを動作させることを決定し、前記プレイエリアのサイズが前記第１閾値未満の場合、ユーザが移動不可能なモードで前記アプリケーションを動作させることを決定し、
   前記設定する機能は、ユーザにより設定されたプレイエリアのサイズが前記第１閾値より小さい第２閾値未満の場合、前記ユーザにより設定されたプレイエリアに代えて、ユーザが移動不可能なプレイエリアであり、かつ、固定形状のプレイエリアであるテンポラリプレイエリアを設定する、
   コンピュータプログラム。

Images