JP2011197777A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】現実空間を解析して認識される仮想空間に現実空間の重力方向を反映する。
【解決手段】情報処理装置１０は、現実空間の３次元空間構造を解析して仮想空間を認識する仮想空間認識部１５２と、前記仮想空間に配置するオブジェクトを記憶している記憶部１５８と、前記仮想空間に配置された前記オブジェクトを表示装置に表示させる表示部１５４と、現実空間の重力方向を検出する重力方向検出部１５６と、前記検出部により検出された前記重力方向を前記仮想空間に反映させる重力方向反映部１６２と、を備える。
【選択図】図５

Description

本発明は、情報処理装置、情報処理法方法およびプログラムに関し、特に、拡張現実空間におけるオブジェクトの配置に関する。

最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、以下ＡＲ技術とも称する）の一環として、現実世界の映像などの実空間情報に対して仮想的なデジタル情報を重畳して表示することが行われている。実空間情報に対して仮想的なデジタル情報を重畳する際には、重畳する仮想的なオブジェクトに実空間上の位置情報や姿勢情報を反映させる必要があった。

例えば、カメラの位置および姿勢に基づいて、撮像画像に含まれるオブジェクトの位置情報や姿勢情報を３次元空間上に反映させる技術が開示されている（例えば、特許文献１）。

特開２００８−３０４２６８号公報

実空間情報に対して仮想的なデジタル情報（仮想オブジェクト）を重畳させる際に、位置情報や姿勢情報だけでなく、重力情報も反映して仮想オブジェクトに実空間上の物体と同様の動きを与えることが望まれていた。しかし、上記特許文献１では、オブジェクトに位置情報や姿勢情報を反映させることができるが、オブジェクトに重力情報を反映させることができないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、現実空間を解析して認識される仮想空間に現実空間の重力方向を反映することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、現実空間の３次元空間構造を解析して仮想空間を認識する仮想空間認識部と、前記仮想空間に配置するオブジェクトを記憶している記憶部と、前記仮想空間に配置された前記オブジェクトを表示装置に表示させる表示部と、現実空間の重力方向を検出する重力方向検出部（以下、検出部と称する。）と、前記検出部により検出された前記重力方向を前記仮想空間に反映させる重力方向反映部と、を備える、情報処理装置が提供される。

また、前記重力方向反映部により前記重力方向が反映された前記仮想空間において、前記オブジェクトに対して前記重力方向を基準とした所定の処理を実行する実行部を備えてもよい。

また、前記検出部は、前記表示装置に対する重力方向の変化を検出し、前記重力方向反映部は、前記重力方向の変化を前記仮想空間に反映させてもよい。

また、前記検出部は、前記表示装置の前記仮想空間上における位置情報を検出してもよい。

また、前記実行部は、前記表示装置の位置情報に基づいて前記オブジェクトを配置し、前記オブジェクトを前記重力方向に移動させてもよい。

また、前記実行部は、前記表示装置の位置情報に基づいて前記オブジェクトを配置し、前記オブジェクトの姿勢を前記重力方向に変更させてもよい。

また、前記実行部は、前記表示装置の位置情報に基づいて前記オブジェクトを配置し、前記オブジェクトを前記重力方向に垂直に配置させてもよい。

また、前記検出部は、加速度センサを用いて前記重力方向を検出してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、現実空間の３次元空間構造を解析して仮想空間を認識するステップと、前記仮想空間にオブジェクトを配置するステップと、現実空間の重力方向を検出するステップと、前記重力方向を前記仮想空間に反映させるステップと、前記仮想空間に配置された前記オブジェクトを表示装置に表示させるステップと、を含む、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、現実空間の３次元空間構造を解析して仮想空間を認識する仮想空間認識部と、前記仮想空間に配置するオブジェクトを記憶している記憶部と、前記仮想空間に配置された前記オブジェクトを表示装置に表示させる表示部と、現実空間の重力方向を検出する検出部と、前記検出部により検出された前記重力方向を前記仮想空間に反映させる重力方向反映部と、を備える、情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、現実空間を解析して認識される仮想空間に現実空間の重力方向を反映することができる。

ＡＲ技術について説明する説明図である。 現実空間を解析して認識される仮想空間を説明する説明図である。 ＡＲ空間に対する重力方向の反映について説明する説明図である。 本実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。 同実施形態にかかる情報処理装置の機能構成を示すブロック図である。 同実施形態にかかるＡＲオブジェクトに対する処理について説明する説明図である。 同実施形態にかかるＡＲオブジェクトに対する処理について説明する説明図である。 同実施形態にかかる情報処理装置の動作の詳細を示すフローチャートである。 同実施形態にかかる情報処理装置の動作の詳細を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕情報処理装置の概要
〔３〕情報処理装置のハードウェア構成
〔４〕情報処理装置の機能構成
〔５〕情報処理装置の動作の詳細

〔１〕本実施形態の目的
まず、本実施形態の目的について説明する。最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、以下ＡＲ技術とも称する）の一環として、現実世界の映像などの実空間情報に対して仮想的なデジタル情報を重畳して表示することが行われている。実空間情報に対して仮想的なデジタル情報を重畳する際には、重畳する仮想的なオブジェクトに実空間上の位置情報や姿勢情報を反映させる必要があった。

例えば、カメラの位置および姿勢に基づいて、撮像画像に含まれるオブジェクトの位置情報や姿勢情報を３次元空間上に反映させる技術が開示されている。

実空間情報に対して仮想的なデジタル情報（仮想オブジェクト）を重畳させる際に、位置情報や姿勢情報だけでなく、重力情報も反映して仮想オブジェクトに実空間上の物体と同様の動きを与えることが望まれていた。しかし、上記特許文献１では、オブジェクトに位置情報や姿勢情報を反映させることができるが、オブジェクトに重力情報を反映させることができないという問題があった。

そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる情報処理装置１０が創作されるに至った。情報処理装置１０によれば、現実空間を解析して認識される仮想空間に現実空間の重力方向を反映することが可能となる。

〔２〕情報処理装置の概要
以上、本実施形態の目的について説明した。次に、図１〜図３を参照して、本実施形態にかかる情報処理装置１０の概要について説明する。情報処理装置１０は、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯用ゲーム機器や小型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）など、表示装置を備える情報処理端末を例示することができる。情報処理装置１０には、実空間画像に重畳される仮想オブジェクトが登録されている。

図１は、ＡＲ技術について説明する説明図である。図２は、現実空間を解析して認識される仮想空間（ＡＲ空間）を説明する説明図である。図３は、ＡＲ空間に対する重力方向の反映について説明する説明図である。

図１では、現実世界の映像３０１に対して、仮想的なデジタル情報３０２を重畳している。これにより、現実世界の映像３０１に補足的な情報を合成して表示させることが可能となる。現実世界の映像３０１は、撮像装置などで撮像された現実空間上の映像である。また、仮想的なデジタル情報３０２は、現実空間を解析して、現実空間上の任意の位置に配置された仮想オブジェクトである。

例えば、図１では、現実空間上で投げる動作をしている人が表示されている表示画面に、仮想オブジェクトであるボールが重畳される。このように、情報処理装置１０では、現実空間上の人の映像にボールのデジタル画像を合成して、実際にボールを投げているように見せることができる。

次に、図２を参照して、現実空間を解析して認識される仮想空間（ＡＲ空間）について説明する。図２では、情報処理装置１０を用いて認識されたＡＲ空間に仮想オブジェクトが配置されている状態を示している。ＡＲ空間とは、現実空間の空間座標系に、現実空間を解析して認識された仮想空間の空間座標系を重ね合わせた空間である。これは、現実空間座標系での位置が決定すれば、一意に、ＡＲ空間上での座標が決定されることを意味している。すなわち、現実空間上の任意の位置にＡＲオブジェクトを配置する場合には、一意にＡＲ空間上でのＡＲオブジェクトを配置する位置が決定されることとなる。

本実施形態にかかる情報処理装置１０では、現実空間を解析して認識されるＡＲ空間に現実空間の重力方向を反映させる。図３を参照して、ＡＲ空間への重力方向の反映について説明する。図３の説明図３１０は、現実空間上のデバイス（表示装置３０）で認識されるＡＲ空間座標系を示している。空間座標系３１１は、後述する仮想空間認識部により生成される空間座標系である。

説明図３１２の矢印３１３は、現実空間での重力方向を示している。該重力方向は、情報処理装置１０に備えられた加速度センサなどを用いて検出される。説明図３１２の空間座標系３１４は、現実空間での重力方向を生成されたＡＲ空間座標系に反映したものである。重力方向が反映されたＡＲ空間座標系にＡＲオブジェクトが配置されると、配置されたＡＲオブジェクトに対して重力方向の所定の処理を実行することが可能となる。重力方向の所定の処理とは、例えば、重力方向を基準としてＡＲオブジェクトを移動させたり、重力方向を基準としてＡＲオブジェクトの姿勢情報を更新したりすることが挙げられる。

このように、ＡＲ空間に重力方向が反映されると、重力方向を基準とする任意の方向への処理を実行することが可能となる。また、ＡＲ空間上でデバイス位置が変更されたり、デバイスの姿勢情報が変化してデバイスにおける重力方向が変化したりした場合には、ＡＲ空間上の重力方向を動的に更新する。

なお、デバイス位置が変更されても、デバイスにおける重力方向が変化しない場合には、重力方向を更新する必要はない。本実施形態にかかる情報処理装置１０では、ＡＲ空間に重力方向を反映させることにより、ＡＲ空間に配置されるＡＲオブジェクトに種々の動きを与えることを可能としている。

〔３〕情報処理装置のハードウェア構成
以上、情報処理装置１０の概要について説明した。次に、図４を参照して、情報処理装置１０のハードウェア構成について説明する。

図４は、情報処理装置１０のハードウェア構成を示すブロック図である。情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ホストバス１０４と、ブリッジ１０５と、外部バス１０６と、インタフェース１０７と、入力装置１０８と、出力装置１０９と、ストレージ装置（ＨＤＤ）１１０と、ドライブ１１１と、通信装置１１２と、撮像装置２０と、各種センサ４０を備える。

ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４により相互に接続されている。

ホストバス１０４は、ブリッジ１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０６に接続されている。なお、必ずしもホストバス１０４、ブリッジ１０５および外部バス１０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置１０８は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置１０８を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１０９、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。後述する表示装置３０は、出力装置１０９の一例である。

ストレージ装置１１０は、本実施形態にかかる情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。

ストレージ装置１１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置１１０は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。また、このストレージ装置１１０には、後述の、アイテム、識別番号などを記憶する。

ドライブ１１１は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ１１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ１０３に出力する。

通信装置１１２は、例えば、通信網５０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

撮像装置２０は、撮像レンズを介して通過した光をＣＣＤで電気信号に変換し、アナログ信号をデジタル変換することにより被写体を撮像する機能を有する。撮像装置２０により撮像された画像は、表示装置に表示される。各種センサ４０は、仮想空間を認識するためのセンサであって、例えば、地磁気コンパスや加速度センサなどを例示できる。また、各種センサ４０の一例として、重力方向を検出可能な重力方向検出装置４１を例示できる。

〔４〕情報処理装置の機能構成
以上、情報処理装置１０のハードウェア構成例について説明した。次に、図５を参照して、本実施形態にかかる情報処理装置１０の機能構成について説明する。図５は、本実施形態にかかる情報処理装置１０の機能構成を示すブロック図である。

図５に示したように、情報処理装置１０は、仮想空間認識部１５２、表示部１５４、重力方向検出部１５６、記憶部１５８、実行部１６０、重力方向反映部１６２などを備える。

仮想空間認識部１５２は、現実空間の３次元空間構造を解析して仮想空間（ＡＲ空間）を認識する機能を有する。仮想空間認識部１５２は、現実空間の映像や、地磁気コンパスや加速度センサなどの各種センサ、ＧＰＳ等を用いて、ＡＲ空間における位置や姿勢、サイズ、カメラ位置等を認識する機能を有する。すなわち、仮想空間認識部１５２は、現実空間上の空間座標系に仮想空間の空間座標系を重ね合わせる機能を有する。

表示部１５４は、仮想空間認識部１５２により認識された仮想空間を表示装置３０に表示する機能を有する。また、表示部１５４は、仮想空間に配置されたオブジェクトを表示する。本実施形態では、表示装置３０は、情報処理装置１０と一体の装置として構成しているが、かかる例に限定されず、表示装置３０と情報処理装置１０とは別体の装置としてもよい。

重力方向検出部１５６は、現実空間の重力方向を検出する機能を有する。重力方向検出部１５６は、重力方向検出装置４１から提供される重力方向の情報を用いて、現実空間の重力方向を検出する。また、重力方向検出部１５６は、認識された仮想空間に対する重力方向の変化を検出して、後述する重力方向反映部１６２に重力方向の変化を仮想空間に反映させるようにしてもよい。また、撮像装置２０の仮想空間上における位置情報を検出してもよい。重力方向検出部１５６により撮像装置２０の位置情報が検出された場合には、該位置情報に基づいて仮想オブジェクトを配置するようにしてもよい。重力方向検出部１５６は、本発明の検出部の一例である。

記憶部１５８は、仮想空間に配置するオブジェクト（ＡＲオブジェクト）を記憶している。なお、記憶部１５８は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。

また、記憶部１５８には、各ＡＲオブジェクトの位置情報や姿勢情報やサイズなどのＡＲオブジェクトの属性情報が関連付けて記憶されている。

重力方向反映部１６２は、重力方向検出部１５６により検出された重力方向を、仮想空間認識部１５２により認識された仮想空間に反映させる機能を有する。また、上記したように、重力方向検出部１５６により、撮像装置２０に対する重力方向の変化が検出された場合には、重力方向反映部は、重力方向の変化を仮想空間に反映する。

実行部１６０は、重力方向反映部１６２により重力方向が反映された仮想空間において、仮想空間に重畳するオブジェクト（ＡＲオブジェクト）に対して重力方向を基準とした所定の処理を実行する機能を有する。ここで、所定の処理とは、例えば、重力方向を基準としてＡＲオブジェクトを移動させたり、重力方向を基準としてＡＲオブジェクトの姿勢情報を更新したりする処理である。

また、重力方向検出部１５６により撮像装置２０の仮想空間上における位置情報が検出された場合には、実行部１６０は、撮像装置２０の位置情報に基づいてＡＲオブジェクトを仮想空間に配置し、さらに、ＡＲオブジェクトを重力方向に移動させてもよい。また、実行部１６０は、撮像装置２０の位置情報に基づいてＡＲオブジェクトを仮想空間に配置し、ＡＲオブジェクトの姿勢を重力方向に変更させるようにしてもよい。さらに、実行部１６０は、撮像装置２０の位置情報に基づいてＡＲオブジェクトを仮想空間に配置し、ＡＲオブジェクトを重力方向に垂直に配置させてもよい。

ここで、図６および図７を参照して、実行部１６０によるＡＲオブジェクトに対する処理について説明する。図６は、ＡＲ空間にＡＲオブジェクトを配置した様子を示している。オブジェクト３２１は、ＡＲ空間上に配置されたＡＲオブジェクトである。

本実施形態では、上記した重力方向反映部により、ＡＲ空間に現実空間の重力方向が反映されている。図６に示したように、実行部１６０は、ＡＲ空間に配置されたオブジェクト３２１を、ＡＲ空間の空間座標系における重力方向に向かって移動させる。このように、ＡＲ空間の空間座標系における重力方向に向かってオブジェクト３２１を移動させることにより、現実空間において物体が落下していくのと同様の視覚的な効果を与えることができる。

また、ＡＲ空間の重力方向に、平面として認識される面が存在している場合には、実行部１６０は、重力方向に移動させているオブジェクト３２１を平面に配置するようにしてもよい。これにより、重力方向に落下するオブジェクト３２１が、重力方向に存在する平面に衝突して該平面に落下するのと同様の視覚的な効果を与えることが可能となる。ここで、重力方向に存在する平面は、重力方向が垂直となるような平面である。なお、必ずしも重力方向が垂直となる平面だけでなく、移動させたオブジェクトが最初に接触する平面でもよい。また、重力方向に移動させて配置する位置は、他のＡＲオブジェクトと接触した位置、例えば、それぞれの位置が一定範囲内になった位置でもよい。

また、図７に示すように、実行部１６０は、ＡＲ空間上に配置されたオブジェクトを、常に現実方向の重力方向に垂直に配置するようにしてもよい。この場合、実行部１６０は、まず、撮像装置の位置（デバイス位置）を基準としてＡＲ空間上にオブジェクトを配置する。本実施形態では、オブジェクト３２１は、ＡＲ空間上の撮像装置の位置を基準としてＡＲ空間上に配置されるが、かかる例に限定されず、表示装置の位置を基準としてＡＲ空間上に配置されるようにしてもよい。

実行部１６０は、ＡＲ空間に配置されたオブジェクトを、常にＡＲ空間に反映されている重力方向に垂直となるように動的に配置する。すなわち、オブジェクトの姿勢が常に重力方向に垂直となるように配置する。例えば、図７の表示例３２４のオブジェクト３２５や、表示例３２６のオブジェクト３２７のように、表示装置３０の表示画面にぶら下がっているのと同様の視覚的な効果を与えることができる。

上記したように、オブジェクトに加速度センサ等により検出された重力方向を反映させるだけでなく、ＡＲオブジェクトをＡＲ空間に配置した後にＡＲ空間の重力方向を反映させることにより、ＡＲ空間上における他の処理を実行することが可能となる。ここで、ＡＲ空間上における他の処理とは、例えば、ＡＲ空間において認識される他のオブジェクトとの位置関係を比較して、比較結果に応じた処理などである。例えば、他のオブジェクトに接触したことを判定して、接触した場合の動きを表示させることができる。また、ＡＲ空間において認識される壁などの障害物を認識して、障害物との位置関係に応じた処理を実行してもよい。

このように、ＡＲオブジェクトをＡＲ空間に配置した後にＡＲ空間の重力方向を反映させることにより、ＡＲ空間において認識されている他のオブジェクトや障害物などとの位置関係を把握したり、位置関係に応じた処理を実行したりすることが可能となる。これにより、ＡＲ空間に配置されたＡＲオブジェクトを、実空間と同様の動きをするように見せることができる。

以上、実行部１６０によるＡＲオブジェクトに対する処理について説明した。上記したように、情報処理装置１０によれば、現実空間の重力方向を反映させたＡＲ空間にＡＲオブジェクトを配置して、ＡＲオブジェクトに対して重力方向に応じた処理を実行することが可能となる。

〔５〕情報処理装置の動作の詳細
以上、情報処理装置１０の機能構成について説明した。次に、図８および図９を参照して、情報処理装置１０の動作の詳細について説明する。図８は、仮想空間（ＡＲ空間）に重力方向を反映させる処理を示すフローチャートである。また、図９は、撮像装置の位置（デバイス位置）および重力方向をＡＲオブジェクトに反映させる処理を示すフローチャートである。

図８に示したように、まず、仮想空間認識部１５２は、現実空間の３次元空間構造を解析して仮想空間（ＡＲ空間）を認識する（Ｓ１０２）。そして、重力方向検出部１５６は、現実空間の重力方向を検出する（Ｓ１０４）。ステップＳ１０４において、重力方向検出部１５６は、例えば、加速度センサなどを用いて現実空間の重力方向を検出する。

そして、デバイス（撮像装置）における重力方向が変化したか否かを判定する（Ｓ１０６）。ステップＳ１０６において、重力方向検出部１５６は、デバイスに対する重力方向の変化を検出する。または、仮想空間上のデバイスの姿勢情報の変化を検出し、変化があった場合は重力方向の検出を行ってもよい。

ステップＳ１０６において、デバイスにおける重力方向が変化したと判定された場合には、ＡＲ空間における重力方向を更新する（Ｓ１０８）。ステップＳ１０６において、デバイスにおける重力方向が変化していないと判定された場合には、再度ステップＳ１０４以降の処理を繰り返す。

このように、デバイスに対する現実空間の重力方向の変化を検出して、重力方向の変化をＡＲ空間に反映させることにより、ＡＲ空間に配置されるＡＲオブジェクトに重力方向を基準とする処理を実行することが可能となる。以上、仮想空間に重力方向を反映させる処理について説明した。

次に、図９を参照して、デバイス位置および重力方向をＡＲオブジェクトに反映させる処理について説明する。図９に示したように、まず、仮想空間認識部１５２は、現実空間の３次元空間構造を解析して仮想空間（ＡＲ空間）を認識する（Ｓ２０２）。そして、重力方向検出部１５６は、ＡＲ空間上におけるデバイス（表示装置３０）位置を検出する（Ｓ２０４）。さらに、重力方向検出部１５６は、現実空間の重力方向を検出する（Ｓ２０６）。

そして、ステップＳ２０４において検出したデバイス位置またはステップＳ２０６において検出した重力方向が変化したか否かを判定する（Ｓ２０８）。デバイス位置の変化は、ＡＲ空間上におけるデバイス位置の変化であり、重力方向の変化は、デバイスに対する重力方向の変化である。

ステップＳ２０８において、重力方向が変化したと判定された場合には、ＡＲ空間の重力方向を更新する（Ｓ２１０）。また、ステップＳ２０８において、デバイス位置が変化したと判定された場合には、ステップＳ２０４において検出されたデバイス位置にＡＲオブジェクトを再配置する（Ｓ２１２）。ステップＳ２１２において、変化したデバイス位置にＡＲオブジェクトを再配置して、さらに、ステップＳ２０６において検出された重力方向をＡＲオブジェクトに反映する。

図９では、ＡＲ空間上におけるデバイス位置を検出した後に、重力方向を検出しているが、かかる例に限定されず、重力方向を検出した後にデバイス位置を検出するようにしてもよい。また、ステップＳ２１２において、デバイス位置にＡＲオブジェクトを再配置するようにしているが、かかる例に限定されず、デバイス位置を基準とした位置にＡＲオブジェクトを配置してもよい。また、ステップＳ２０４において、撮像装置２０の位置情報を検出した場合には、撮像装置２０の位置を基準としてＡＲオブジェクトを配置するようにしてもよい。

また、上記では、重力方向を基準としてＡＲオブジェクトを配置しているが、かかる例に限定されず、地磁気コンパスなどにより実空間における方位を検出し、その方位が示す方向を基準としてＡＲオブジェクトを配置するようにしてもよい。例えば、地磁気コンパスにより北方向を検出し、ＡＲ空間に配置されたＡＲオブジェクトが常に北方向を向くように配置してもよい。

このように、重力方向や方位などを仮想空間に反映させると、仮想オブジェクトに対して、重力方向や方位などを基準としたオブジェクトの移動処理や、オブジェクトの姿勢更新などの種々の動きを与えることが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の情報処理装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、情報処理装置１０の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。

また、情報処理装置１０などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１０ 情報処理装置
１５２ 仮想空間認識部
１５４ 表示部
１５６ 検出部
１５８ 記憶部
１６０ 実行部
１６２ 重力方向反映部
２０ 撮像装置
３０ 表示装置

Claims (10)

1. 現実空間の３次元空間構造を解析して仮想空間を認識する仮想空間認識部と、
   前記仮想空間に配置するオブジェクトを記憶している記憶部と、
   前記仮想空間に配置された前記オブジェクトを表示装置に表示させる表示部と、
   現実空間の重力方向を検出する検出部と、
   前記検出部により検出された前記重力方向を前記仮想空間に反映させる重力方向反映部と、
   を備える、情報処理装置。
2. 前記重力方向反映部により前記重力方向が反映された前記仮想空間において、前記オブジェクトに対して前記重力方向を基準とした所定の処理を実行する実行部を備える、請求項１に記載の情報処理装置。
3. 前記検出部は、前記表示装置に対する重力方向の変化を検出し、
   前記重力方向反映部は、前記重力方向の変化を前記仮想空間に反映させる、請求項１または２のいずれかに記載の情報処理装置。
4. 前記検出部は、
   前記表示装置の前記仮想空間上における位置情報を検出する、請求項１〜３のいずれかに記載の情報処理装置。
5. 前記実行部は、
   前記表示装置の位置情報に基づいて前記オブジェクトを配置し、前記オブジェクトを前記重力方向に移動させる、請求項４に記載の情報処理装置。
6. 前記実行部は、
   前記表示装置の位置情報に基づいて前記オブジェクトを配置し、前記オブジェクトの姿勢を前記重力方向に変更させる、請求項４に記載の情報処理装置。
7. 前記実行部は、
   前記表示装置の位置情報に基づいて前記オブジェクトを配置し、前記オブジェクトを前記重力方向に垂直に配置させる、請求項４に記載の情報処理装置。
8. 前記検出部は、
   加速度センサを用いて前記重力方向を検出する、請求項１〜７のいずれかに記載の情報処理装置。
9. 現実空間の３次元空間構造を解析して仮想空間を認識するステップと、
   前記仮想空間にオブジェクトを配置するステップと、
   現実空間の重力方向を検出するステップと、
   前記重力方向を前記仮想空間に反映させるステップと、
   前記仮想空間に配置された前記オブジェクトを表示装置に表示させるステップと、
   を含む、情報処理方法。
10. コンピュータを、
    現実空間の３次元空間構造を解析して仮想空間を認識する仮想空間認識部と、
    前記仮想空間に配置するオブジェクトを記憶している記憶部と、
    前記仮想空間に配置された前記オブジェクトを表示装置に表示させる表示部と、
    現実空間の重力方向を検出する検出部と、
    前記検出部により検出された前記重力方向を前記仮想空間に反映させる重力方向反映部と、
    を備える、情報処理装置として機能させるためのプログラム。
    

Images