JP7155135B2 - 仮想オブジェクトをレンダリングするためのポータブルデバイス及び方法 - Google Patents

Description

本発明は、ポータブルデバイスに仮想オブジェクトをレンダリングする方法、及び該方法を実行するためのコンピュータプログラムに関する。本発明はさらに、仮想オブジェクトをレンダリングするためのポータブルデバイスに関する。

仮想現実（ＶＲ：virtual reality）及び拡張現実（ＡＲ：augmented reality）の最近の開発は、ユーザが、仮想オブジェクトとインタラクトする(interact)ことを可能にしている。これらの仮想オブジェクトは、物理的世界(physical world)の上のオーバーレイとして、例えば、スマートフォン又はＡＲゴーグルに表示される場合がある。米国特許出願公開第2013/0342564 A1号は、実世界ソース環境に基づいて仮想環境を作成及び表示するための斯かるディスプレイ装置を開示している。この技術は、ロケーションベースの宝物探しゲーム等、さまざまなタイプのアプリケーションを可能にしている。このようなゲームをプレイする場合、ユーザは、仮想の宝物を「探す(hunt)」（見つける(seek)）ために物理的世界を動き回ることがある。このようなゲームは中毒性があり、その結果、ユーザが日々やるべき事(daily commitment)をなおざりにする可能性がある。

本発明の目的は、特定のロケーション(location)に人々を引き付けることである。

本発明の第１の態様によれば、前記目的は、ポータブルデバイスに仮想オブジェクトをレンダリングする方法であって、
－ スケジュールされた時点(moment in time)に対応するユーザのスケジュールされたロケーションを含むユーザスケジュールへアクセスするステップと、
－ 現在の時点をスケジュールされた時点と比較して、スケジュールされた時点のうちの現在の時点に対応するスケジュールされた時点に対応するスケジュールされたロケーションを選択するステップと、
－ ポータブルデバイスのロケーションを取得するステップと、
－ ポータブルデバイスのロケーションが選択されたスケジュールされたロケーションに対応する場合にのみ、ポータブルデバイスの画像レンダリングデバイスに仮想オブジェクトをレンダリングするステップと
を含む、方法によって達成される。

仮想オブジェクトは、ユーザが、該ユーザのユーザスケジュールのスケジュールされたロケーションに対応するロケーションにいる場合にのみレンダリングされる。斯くして、ユーザが自身のユーザスケジュールとマッチしないロケーションにいる場合、仮想オブジェクトは、レンダリングされない。この結果、ユーザは、仮想オブジェクトを見るためにスケジュールされたロケーションにいることが必要とされ、これにより、ユーザをスケジュールされたロケーションに引き付けることになる。例えば、子供が、ＡＲ宝物探しゲームをプレイしている場合がある。子供のユーザスケジュールは、スケジュールされた時刻（例えば、０８：００ ＰＭ）に関連付けられたスケジュールされたロケーション（例えば、寝室）を含んでもよい。就寝時間（０８：００ ＰＭ）になった場合、仮想オブジェクト（例えば、仮想キャラクタ）は、ポータブルデバイス（及びそれに伴い子供）がリビングルームに位置している場合、もはやレンダリングされなくてもよい。斯くして、仮想オブジェクトを見るために、子供は、ポータブルデバイスをスケジュールされたロケーション（寝室）に移動させる必要がある。これにより、子供は、寝室に引き付けられる。別の例では、従業員が、オフィスの仮想コンテンツにアクセスしたい場合がある。ユーザのユーザスケジュールは、スケジュールされた時刻（例えば、１０：００ ＡＭ）に関連付けられたスケジュールされたロケーション（例えば、会議室）を含んでもよい。仮想オブジェクト（例えば、仮想プレゼンテーション、ビデオ、ドキュメント等）は、ポータブルデバイス（及びそれに伴い従業員）が会議室に位置している場合にのみ、レンダリングされてもよい。斯くして、仮想オブジェクトを見るために、従業員は、ポータブルデバイスをスケジュールされたロケーション（会議室）に移動させる必要がある。これにより、従業員は、会議室に引き付けられる。

ある実施形態では、仮想オブジェクトは、ポータブルデバイスが位置する物理的環境(physical environment)上のオーバーレイとして画像レンダリングデバイスにレンダリングされる。画像レンダリングデバイスは、例えば、ディスプレイであってもよく、ポータブルデバイスは、画像を取得するよう構成される撮像デバイスを含んでもよい。当該方法はさらに、撮像デバイスによって取得された画像をディスプレイにレンダリングするステップと、画像上のオーバーレイとして仮想オブジェクトをディスプレイにレンダリングするステップとを含んでもよい。代替的に、ポータブルデバイスは、一対のスマートグラスであってもよく、画像レンダリングデバイスは、ポータブルデバイスが位置する物理的環境上のオーバーレイとして、一対のスマートグラスの少なくとも一方のグラスに仮想オブジェクトを投影するよう構成されるプロジェクタであってもよい。当該方法はさらに、ポータブルデバイスが位置する物理的環境上のオーバーレイとして、一対のスマートグラスの少なくとも一方のグラスに仮想オブジェクトを投影するステップを含んでもよい。物理的環境上のオーバーレイとして仮想オブジェクトをレンダリングするこれらの技術は単なる例であり、当業者は添付の特許請求の範囲から逸脱することなく代替案を設計できることに留意されたい。

ある実施形態では、当該方法はさらに、未来の時点をスケジュールされた時点と比較して、スケジュールされた時点のうちの未来の時点に対応するスケジュールされた時点に対応する未来のスケジュールされたロケーションを選択するステップを含む。追加的に、当該方法はさらに、未来の時点が近づいていること及び／又は仮想オブジェクトが未来のスケジュールされたロケーションにおいてポータブルデバイスにレンダリングされるであろうことを示す通知をポータブルデバイスによって提供するステップを含んでもよい。通知（例えば、画像レンダリングデバイスにレンダリングされるインジケータ、ポータブルデバイスの振動、インジケータＬＥＤのオン、オーディオ信号等）は、未来の時点が近づいていること及び／又は仮想オブジェクトが未来のスケジュールされたロケーションにおいてポータブルデバイスにレンダリングされるであろうことをユーザに知らせる。これは、仮想オブジェクトがいつ／どこで入手できるようになるかをユーザに通知するため、有益である。追加的に又は代替的に、当該方法はさらに、未来のスケジュールされたロケーションの近傍に位置する照明デバイスの光出力を変更して、仮想オブジェクトが未来のスケジュールされたロケーションにおいてポータブルデバイスにレンダリングされるであろうことを示すステップを含んでもよい。未来のスケジュールされたロケーションの近くに位置する照明デバイスの光出力を変更すること（例えば、点滅、ライトの色を変更する等）は、どこで仮想オブジェクトが入手できるようになるかをユーザに通知するため、有益である。

ある実施形態では、当該方法はさらに、
－ 仮想環境内のロケーションが物理的環境内のロケーションに対応する、物理的環境上の仮想環境のマッピングを受信するステップと、
－ 物理的環境内の第１の物理的ロケーションに対応する仮想環境内の第１の仮想ロケーションにおいて画像レンダリングデバイスに仮想オブジェクトをレンダリングするステップと、
－ 仮想オブジェクトが、第１の仮想ロケーションから、物理的環境内の第２の物理的ロケーションに対応する仮想環境内の第２の仮想ロケーションに移動する移動状態(movement state)に仮想オブジェクトを設定するステップと
を含み、第１の物理的ロケーションは、現在の時点に対応するスケジュールされたロケーションであり、第２の物理的ロケーションは、未来の時点に対応する未来のスケジュールされたロケーションであってもよい。これは、ユーザが、仮想オブジェクトがどの方向／どの未来のロケーションに移動しているかを確認できるという利点を提供する。仮想オブジェクトは、現在の時点と未来の時点との間移動状態に設定されてもよい。代替的に、仮想オブジェクトは、未来の時点において移動状態に設定されてもよい。

ある実施形態では、当該方法はさらに、ポータブルデバイスの所定の近接内に位置する物理オブジェクトの存在を検出するステップを含み、仮想オブジェクトのレンダリングは、物理オブジェクトが存在する場合にのみ行われてもよい。物理オブジェクトは、例えば、玩具であってもよく、仮想オブジェクト（例えば、仮想キャラクタ）は、玩具の存在がポータブルデバイスの所定の近接内で検出される場合にのみレンダリングされてもよい。追加的に、当該方法は、物理オブジェクトのロケーションに基づいて画像レンダリングデバイス上の仮想オブジェクトのロケーションを決定するステップを含んでもよい。仮想オブジェクトは、例えば、物理オブジェクトに近接してレンダリングされてもよい。これは、例えば、仮想オブジェクトが物理オブジェクトに関する情報を提供する場合に有利である。代替的に、仮想オブジェクトは、物理オブジェクトの上のオーバーレイとしてレンダリングされてもよい。これは、ポータブルデバイスの画像レンダリングデバイス上でユーザに見える物理オブジェクトの外観を変更し得るため、有益であり得る。

ある実施形態では、当該方法はさらに、
－ ある期間にわたってポータブルデバイスの複数のロケーションを取得するステップであって、各ユーザロケーションはある時点に対応する、ステップと、
－ 複数のユーザロケーション及びそれぞれ対応する時点に基づいてユーザスケジュールを生成し、ユーザスケジュールをメモリに記憶するステップ、及び
－ 複数のユーザロケーション及びそれぞれ対応する時点を外挿することにより未来の時点に対応する未来のロケーションを決定するステップ
のうちの少なくとも一方のステップと
を含む。これは、ユーザの過去の移動／存在パターンに基づいてユーザスケジュールを作成することを可能にする。追加的に又は代替的に、これは、ユーザが将来いつどこに位置する可能性が高いかを予測することを可能にする。

本発明の第２の態様によれば、前記目的は、コンピューティングデバイスのためのコンピュータプログラムであって、当該コンピュータプログラムがコンピューティングデバイスの処理ユニット上で実行される場合、上述した方法のいずれかを実行するためのコンピュータプログラムコードを含む、コンピュータプログラムによって達成される。

本発明の第３の態様によれば、前記目的は、仮想オブジェクトをレンダリングするためのポータブルデバイスであって、
－ 仮想オブジェクトをレンダリングするよう構成される画像レンダリングデバイスと、
－ スケジュールされた時点に対応するユーザのスケジュールされたロケーションを含むユーザスケジュールを記憶するメモリへアクセスする、現在の時点をスケジュールされた時点と比較して、スケジュールされた時点のうちの現在の時点に対応するスケジュールされた時点に対応するスケジュールされたロケーションを選択する、当該ポータブルデバイスのロケーションを取得する、及び、当該ポータブルデバイスのロケーションが選択されたスケジュールされたロケーションに対応する場合にのみ、画像レンダリングデバイスに仮想オブジェクトをレンダリングするよう構成されるプロセッサと
を含む、ポータブルデバイスによって達成される。

ある実施形態では、画像レンダリングデバイスは、ディスプレイであり、当該ポータブルデバイスはさらに、画像を取得するよう構成される撮像デバイスを含み、プロセッサはさらに、撮像デバイスによって取得された画像をディスプレイにレンダリングする、及び、画像上のオーバーレイとして、仮想オブジェクトをディスプレイにレンダリングするよう構成される。代替的に、当該ポータブルデバイスは、一対のスマートグラスであり、画像レンダリングデバイスは、当該ポータブルデバイスが位置する物理的環境上のオーバーレイとして、一対のスマートグラスの少なくとも一方のグラスに仮想オブジェクトを投影するよう構成されるプロジェクタである。

ある実施形態では、当該ポータブルデバイスはさらに、当該ポータブルデバイスのロケーションを検出するよう構成されるロケーション検出器を含む。追加的に、ロケーション検出器は、測位システムから受信される１つ又は複数のロケーション信号に基づいて当該ポータブルデバイスのロケーションを決定するよう構成されてもよい。ロケーション信号は、例えば、測位システムによって決定される当該ポータブルデバイスの正確なロケーションを含んでもよい。代替的に、ロケーション信号は、無線周波数（ＲＦ）ビーコン等の（屋内）測位ビーコンによって送信されてもよく、ロケーション検出器は、例えばロケーション信号の信号強度に基づいて当該ポータブルデバイスのロケーションを決定するよう構成されてもよい。

特許請求の範囲に記載のポータブルデバイスは、特許請求の範囲に記載の方法と類似の及び／又は同一の実施形態及び利点を有し得ることを理解されたい。

開示されるポータブルデバイス、システム及び方法の上述した及びさらなる目的、特徴及び利点は、添付の図面を参照する、デバイス及び方法の実施形態の以下の例示的及び非限定的な詳細な説明によって、よりよく理解されるであろう。

仮想オブジェクトをレンダリングするためのポータブルデバイスの一実施形態を概略的に示す。 仮想オブジェクトをレンダリングするためのポータブルデバイスの一実施形態を概略的に示す。 仮想オブジェクトをレンダリングするためのポータブルデバイスの一実施形態を概略的に示す。 第１のロケーションから第２のロケーションに移動する仮想オブジェクトをレンダリングするためのポータブルデバイスの一実施形態を概略的に示す。 ポータブルデバイスに仮想オブジェクトをレンダリングする方法のステップを概略的に示す。

すべての図面は、概略的であり、必ずしも縮尺通りではなく、概して、本発明を説明するために必要な部分のみを示しており、他の部分は省略されているか又は単に示唆されている場合がある。

図１は、仮想オブジェクトをレンダリングするためのポータブルデバイス１００の一実施形態を概略的に示している。ポータブルデバイス１００は、仮想オブジェクトをレンダリングするよう構成される画像レンダリングデバイス１０２を含む。ポータブルデバイス１００はさらに、スケジュールされた時点に対応するユーザのスケジュールされたロケーションを含むユーザスケジュールを記憶するメモリへアクセスするよう構成されるプロセッサ１０４を含む。プロセッサ１０４はさらに、現在の時点をスケジュールされた時点と比較して、スケジュールされた時点のうちの現在の時点に対応するスケジュールされた時点に対応するスケジュールされたロケーションを選択するよう構成される。プロセッサ１０４はさらに、ポータブルデバイス１００のロケーションを取得する、及び、ポータブルデバイス１００のロケーションが選択されたスケジュールされたロケーションに対応する場合にのみ、画像レンダリングデバイス１０２に仮想オブジェクトをレンダリングするよう構成される。

ポータブルデバイス１００は、ユーザによって携帯するのに適した、画像レンダリング機器１０２を含む任意のタイプのポータブルデバイスであってよい。ポータブルデバイス１００は、例えば、スマートフォン、タブレットＰＣ、ラップトップＰＣ等であってもよい。ポータブルデバイス１００は、一対のスマートメガネ、ＡＲグラス、ＶＲグラス、スマートウォッチ等のウェアラブルデバイスであってもよい。画像レンダリングデバイス１０２は、画像等の仮想オブジェクトをレンダリングするための任意のタイプの手段であってもよい。画像レンダリングデバイス１０２は、例えば、ディスプレイ又はプロジェクタであってもよい。

ポータブルデバイス１００のプロセッサ１０４は、スケジュールされた時点に対応するユーザのスケジュールされたロケーションを含むユーザスケジュールを記憶するメモリにアクセスするよう構成される。メモリ１０６は、ポータブルデバイス１０４内に配置されてもよい。代替的に、メモリは、リモートサーバ１２０に配置されてもよく、ポータブルデバイス１００はさらに、ユーザスケジュールを取得するためにリモートサーバと通信し、メモリにアクセスするよう構成される通信ユニット１１０を含んでもよい。ユーザスケジュールは、例えば、スケジュールされたロケーションとスケジュールされた時点との間の関連付けを含むルックアップテーブルを含んでもよい。表１は、ユーザのルックアップテーブルの一例を示す。
表１

プロセッサ１０４はさらに、現在の時点をスケジュールされた時点と比較して、スケジュールされた時点のうちの現在の時点に対応するスケジュールされた時点に対応するスケジュールされたロケーションを選択するよう構成される。例えば、表１を参照すると、現在の時点が０８：０５ ＰＭである場合、プロセッサ１０４は、「バスルーム」ロケーションを選択してもよい。なぜなら、このロケーションは、スケジュールされた時点「０８：００ ＰＭ－０８：１０ ＰＭ」に対応するからである。

プロセッサ１０４はさらに、ポータブルデバイス１００のロケーション（例えば、座標のセット、部屋を示すインジケータ等）を取得するよう構成される。ポータブルデバイス１００のロケーション及びスケジュールされたロケーションは、例えば、ＧＰＳロケーション（例えば、座標のセット）、あるエリアに対する（屋内）ロケーション（例えば、室内の座標）、ある空間内のあるエリア（例えば、室内のあるエリアを定義する座標のセット）、部屋の記述子等として示されてもよい。プロセッサ１０４は、例えば、ポータブルデバイス１００のロケーションを検出するよう構成されるロケーション検出器１０８を含んでもよい。ロケーション検出器１０８は、測位システムからロケーション信号を受信してもよい。斯かる測位システムの一例は、ポータブルデバイス１００内のロケーション検出器１０８と通信することができる空間にわたって分散された複数の無線周波数（ＲＦ）ビーコンを使用する（屋内）測位システムである。ロケーション検出器１０８は、例えば、ビーコンにＲＦ信号を送信する及び／又はビーコンからＲＦ信号を受信するよう構成されるＲＦトランシーバ／受信機であってもよい。ビーコンのロケーションに対するポータブルデバイス１００のロケーションは、例えば、ビーコンから受信したＲＦ信号の飛行時間（ＴＯＦ）に基づいて、又はビーコンから受信したＲＦ信号の受信信号強度に基づいて、三角測量(triangulation)又は三辺測量(trilateration)を使用することにより計算されてもよい。追加的に又は代替的に、ロケーション検出器１０８は、照明器具の光源によって発せられる符号化光信号を検出するための光センサを含んでもよい。この少なくとも１つの符号化光信号は、照明器具に関するロケーション情報（へのリンク）を含み、これにより、ロケーション検出器１０８が、そのロケーションを決定し得るようにしてもよい。符号化光のコードは、コードを光に埋め込む任意の既知の原理によって、例えば、光パルスの振幅及び／又はデューティサイクルを変調すること等により、光出力の変動をもたらすように１つ以上の光源に対する時間的変化を伴う、変調される電流を制御することによって作成されてもよい。ロケーションは、受信された符号化光信号の特性に基づいて（例えば、光の光強度、信号の信号対雑音比、光の入射角等に基づいて）さらに詳細に決定されてもよい。ポータブルデバイス１００のロケーションを決定するための上述した技術は単なる例であり、当業者は添付の特許請求の範囲から逸脱することなく多くの代替案を設計できることに留意されたい。

プロセッサ１０４はさらに、ポータブルデバイス１００のロケーションが選択されたスケジュールされたロケーションに対応する場合にのみ、画像レンダリングデバイス１０２に仮想オブジェクトをレンダリングするよう構成される。例えば、表１を再度参照すると、プロセッサ１０４は、ポータブルデバイス１００、及びそれに伴いユーザが、０８：０５ ＰＭにバスルームに位置していると判断し、したがって、ポータブルデバイス１００の画像レンダリングデバイス１０２に仮想オブジェクトをレンダリングすることを決定してもよい。

仮想オブジェクトは、任意のタイプの仮想オブジェクトであってもよい。仮想オブジェクトの例には、仮想家具、建物、植物等の無生物オブジェクト(inanimate object)、（ゲーム）キャラクタ及び動物等の生物オブジェクト(animate object)、プレゼンテーション及びドキュメント等のデータファイル、マーク(signage)等が含まれるが、これらに限定されない。

プロセッサ１０４は、物理的環境の上のオーバーレイとして仮想オブジェクトをレンダリングするよう構成されてもよい。図２ａに示されるように、画像レンダリングデバイス２０２ａは、ディスプレイであってもよい。ポータブルデバイス２００Ａはさらに、画像を取得するよう構成される撮像デバイス（例えば、カメラ）を含んでもよい。撮像デバイスは、物理的環境２１０ａの画像を取得してもよい。（図２ａには示されていない）プロセッサはさらに、撮像デバイスによって取得された画像をディスプレイ２０２ａにレンダリングする、及び、該画像上のオーバーレイとして、仮想オブジェクト２０８ａをディスプレイ２０２ａにレンダリングするよう構成されてもよい。

図２ｂに示されるように、ポータブルデバイス２００ｂは、一対のスマートグラスであってもよい。撮像デバイス２０２ｂは、ディスプレイであってもよい。ポータブルデバイス２００ｂはさらに、画像を取得するよう構成される撮像デバイス（例えば、カメラ）を含んでもよい。撮像デバイスは、物理的環境２１０ｂの画像を取得してもよい。（図２ｂには示されていない）プロセッサはさらに、撮像デバイスによって取得された画像をディスプレイ２０２ｂにレンダリングする、及び、該画像上のオーバーレイとして、仮想オブジェクト２０８ｂをディスプレイ２０２ｂにレンダリングするよう構成されてもよい。代替的に、画像レンダリングデバイス２０２ｂは、物理的環境２１０ｂ上のオーバーレイとして、一対のスマートグラスのグラスの少なくとも一方のグラスに仮想オブジェクト２０８ｂを投影するよう構成されるプロジェクタであってもよい。代替的に、画像レンダリングデバイス２０２ｂは、物理的環境２１０ｂ上のオーバーレイとして、一対のスマートグラスを着用しているユーザの網膜に仮想オブジェクト２０８ｂを直接投影するよう構成されるプロジェクタであってもよい。

プロセッサ１０４はさらに、未来の時点をスケジュールされた時点と比較して、スケジュールされた時点のうちの該未来の時点に対応するスケジュールされた時点に対応する未来のスケジュールされたロケーションを選択するよう構成されてもよい。例えば、表１を再度参照すると、現在の時点が、０８：０５ ＰＭである場合を考える。プロセッサ１０４は、未来の時点、例えば、０８：１０ ＰＭを表１のスケジュールされた時点と比較して、この例では「寝室」のロケーションである未来のスケジュールされたロケーションを選択してもよい。なぜなら、このロケーションは、スケジュールされた時点「０８：１０ ＰＭ－０８：３０ ＰＭ」、それゆえ、未来の時点０８：１０ ＰＭに対応するからである。

プロセッサ１０４はさらに、ポータブルデバイス１００を介して、未来の時点が近づいていること及び／又は仮想オブジェクトが未来のスケジュールされたロケーションにおいてポータブルデバイス１００にレンダリングされるであろうことを示す通知を提供するよう構成されてもよい。通知（例えば、画像レンダリングデバイス１０２にレンダリングされるインジケータ、ポータブルデバイス１００のバイブレータによって作動される振動、ポータブルデバイス１００のインジケータＬＥＤのオン、ポータブルデバイス１００のスピーカによって生成されるオーディオ信号等）は、未来の時点が近づいていること及び／又は仮想オブジェクトが未来のスケジュールされたロケーションにおいてポータブルデバイス１００にレンダリングされるであろうことをユーザに知らせてもよい。

プロセッサ１０４はさらに、１つ以上の照明デバイスロケーションを示すロケーション情報（例えば、照明デバイス１０８のロケーション座標のセット）を受信するよう構成されてもよい。プロセッサ１０４はさらに、未来のスケジュールされたロケーションを１つ以上の照明デバイスのロケーションと比較するよう構成されてもよく、ある照明デバイスが該未来のスケジュールされたロケーションの所定の近接内（例えば、予め定められた範囲内）に位置する場合、プロセッサは、該照明デバイスの光出力を変更してもよい。追加的に又は代替的に、プロセッサ１０４はさらに、現在のスケジュールされたロケーションを１つ以上の照明デバイスのロケーションと比較するよう構成されてもよく、ある照明デバイスが該現在のスケジュールされたロケーションの所定の近接内（例えば、予め定められた範囲内）に位置する場合、プロセッサ１０４は、該照明デバイスの光出力を変更してもよい。プロセッサ１０４は、照明制御コマンドを生成するよう構成されてもよく、ポータブルデバイスはさらに、照明デバイスの光出力を変更するために照明制御コマンドを照明デバイスに通信するよう構成される通信ユニットを含んでもよい。照明制御コマンドは、例えば、照明デバイスのライトを点滅させる、（例えば、白色光から赤色光へ）照明デバイスの色を変更する等のための制御命令を含んでもよい。これは、ユーザが、画像レンダリングデバイス１０２上で仮想オブジェクトを見るためにどこにポータブルデバイス１００を持っていく必要があるか確認することを可能にするため、有益である。

追加的に、プロセッサ１０４は、埋め込みコードを含む光を発するように照明デバイスを制御するよう構成されてもよい。コードは、コードを光に埋め込む任意の既知の原理によって、例えば、光パルスの振幅及び／又はデューティサイクルを変調すること等により、光出力の変動をもたらすように１つ以上の光源に対する時間的変化を伴う、変調される電流を制御することによって作成されてもよい。ポータブルデバイス１００のプロセッサ１０４はさらに、コードが検出された場合（にのみ）仮想オブジェクトをレンダリングするよう構成されてもよい。コードは、例えば、カメラ又はフォトダイオード等の光検出器によって検出されてもよい。その結果、ユーザは、ポータブルデバイスが照明デバイスからコードを受信した場合にのみ、仮想オブジェクトを見ることができる。

プロセッサ１０４はさらに、仮想環境内のロケーションが物理的環境内のロケーションに対応する、物理的環境上の仮想環境のマッピングを受信するよう構成されてもよい。プロセッサ１０４は、リモートサーバ等のさらなるデバイスからこのマッピングを受信してもよい。追加的又は代替的に、プロセッサ１０４はさらに、例えば、撮像デバイス（カメラ、３Ｄカメラ等）から受信した画像に基づいて、及び／又は建物情報（例えば、２Ｄ／３Ｄ建物レイアウト）に基づいてマッピングを生成するよう構成されてもよい。プロセッサ１０４は、物理的環境上の仮想環境のマッピングを生成するために、画像処理アルゴリズムを適用して、オブジェクトのロケーション及び物理的環境のレイアウトを決定してもよい（例えば、３Ｄカメラ／スキャナから受信した深度情報に基づいてもよい）。マッピングは、例えば、３Ｄ空間における物理的座標(physical coordinate)への仮想座標のマッピングであってもよい。

図３は、仮想世界が物理的世界にマッピングされている一実施形態を示している。図３は、画像レンダリングデバイス３０２（ディスプレイ）を含むポータブルデバイス３００を示す。ポータブルデバイス３００はさらに、物理的環境３０４の画像を取得するよう構成される撮像デバイス（例えば、（深度）カメラ）を含んでもよい。ポータブルデバイス３００のプロセッサ（図示せず）は、物理的世界上の仮想世界のマッピングを受信するよう構成されてもよい。追加的又は代替的に、プロセッサはさらに、例えば撮像デバイスから受信した画像に基づいて、マッピングを生成するよう構成されてもよい。プロセッサ１０４は、物理的環境上の仮想環境のマッピングを生成するために、画像処理アルゴリズムを適用して、オブジェクト３３０、３３２のロケーション及び物理的環境３０４のレイアウトを決定してもよい（例えば、３Ｄ深度カメラから受信した深度情報に基づいてもよい）。

仮想オブジェクト３１２（この例では仮想キャラクタ）は、物理的ロケーション３１０に対応する仮想ロケーション３１０を有してもよい。ユーザが自身のポータブルデバイス３００を仮想オブジェクト３１２の物理的ロケーション３１０に向ける場合に、仮想オブジェクトは、ディスプレイ３０２にレンダリングされてもよい。仮想オブジェクト３１２は、さまざまな既知の拡張現実（ＡＲ）（又は仮想現実（ＶＲ））技術を使用して、物理的環境３０４の上のオーバーレイとしてレンダリングされてもよい。仮想オブジェクトの仮想ロケーション３１０（及びそれに伴い物理的ロケーション３１０）は、（リモート）コンピューティングデバイス（例えば、ゲームサーバ、ＡＲコンテンツサーバ等）上で実行されるコンピュータプログラムによって決定されてもよい。仮想物体の物理的ロケーション３１０は、例えば、ＧＰＳロケーション（例えば、座標のセット）、あるエリアに対する（屋内）ロケーション（例えば、室内の座標）等であってもよい。１つ以上の仮想オブジェクトの物理的ロケーション３１０が、プロセッサによってアクセス可能なメモリに記憶されてもよい。

プロセッサは、物理的環境３０４内の第１の物理的ロケーション３１０に対応する仮想環境内の第１の仮想ロケーション３１０において画像レンダリングデバイス３０２に仮想オブジェクト３１２をレンダリングする、及び、仮想オブジェクト３１２、３１２'、３１２"が物理的環境３０４内の第２の物理的ロケーション３２０に対応する仮想環境内の第２の仮想ロケーション３２０に移動する移動状態に仮想オブジェクト３１２、３１２'、３１２"を設定するよう構成されてもよい。第１の物理的ロケーション３１０は、現在の時点に対応するスケジュールされたロケーションであってもよく、第２の物理的ロケーション３２０は、未来の時点に対応する未来のスケジュールされたされたロケーションであってもよい。プロセッサは、仮想オブジェクト３１２、３１２'、３１２"を、現在の時点と未来の時点との間移動状態に設定してもよい。斯くして、現時点（例えば、０９：５８ ＡＭ）において、プロセッサは、仮想オブジェクト３１２を第１の仮想ロケーション３１０（及びそれに伴い第１の物理的ロケーション３１０）で静止させてレンダリングしてもよい。プロセッサは、ユーザスケジュールにアクセスし、未来の時点（例えば、１０：００ ＡＭ）が近づいていることを決定してもよい。この未来の時点は、未来のスケジュールされたロケーション（この例では、第２の物理的ロケーション３２０）に対応する。プロセッサは、第１の仮想ロケーション３１０（及びそれに伴い第１の物理的ロケーション３１０）から第２の仮想ロケーション３２０（及びそれに伴い第２の物理ロケーション３２０）への仮想オブジェクト３１２、３１２'、３１２"についての経路３１４を計算するよう構成されてもよい。その後、プロセッサは、現在の時点（０９：５８ ＡＭ）と未来の時点（１０：００ ＡＭ）との間の時間中、第１の仮想ロケーション３１０から第２の仮想ロケーション３２０への仮想オブジェクト３１２、３１２'、３１２"の動き(movement)をレンダリングしてもよい。これは、ユーザが、どこで仮想オブジェクトにアクセスできるか（すなわち、どこで仮想オブジェクトがレンダリングされるか）を確認することを可能にする。プロセッサはさらに、第２の物理的ロケーション３２０に対応するロケーションを有する照明デバイス３３２の光出力を制御して、仮想オブジェクト３１２、３１２'、３１２"が当該ロケーションに存在する／存在するであろうことを示すよう構成されてもよい。

プロセッサ１０４はさらに、ポータブルデバイス１００の所定の近接内に位置する物理オブジェクトの存在を検出する、及び、該物理オブジェクトが存在する場合にのみ仮想オブジェクトをレンダリングするよう構成されてもよい。物理オブジェクトの例には、玩具、家具、人、動物、植物、及び（建物）インフラストラクチャが含まれるが、これらに限定されない。プロセッサは、例えば、撮像デバイス（例えば、カメラ）によって取得された画像を分析し、画像内の物理オブジェクトを検出することにより物理オブジェクトの存在を検出してもよい。追加的又は代替的に、ポータブルデバイスは、物体を検出する（及び識別する）ための検出手段を含んでもよい。斯かる検出の例には、ＱＲコード（登録商標）の検出、物理オブジェクトによって発せられる無線周波数（ＲＦ）信号の検出、物理オブジェクトの光源によって発せられる符号化光等が含まれるが、これらに限定されない。追加的に、プロセッサ１０４は、仮想オブジェクトが物理的オブジェクトに対してあるロケーションを有するように、画像レンダリングデバイス１０２に仮想オブジェクトをレンダリングするよう構成されてもよい。プロセッサ１０４は、例えば、撮像デバイスによって取得された画像内の物理オブジェクトを識別し、画像内の物理オブジェクトのロケーションに基づいて画像内の仮想オブジェクトのロケーションを決定してもよい。代替的に、プロセッサ１０４は、物理オブジェクトの物理的ロケーションに対応する仮想オブジェクトについての仮想ロケーションを決定してもよい。その後、プロセッサは、ディスプレイに画像をレンダリングし、該画像上のオーバーレイとして物理オブジェクトに対する当該ロケーションにおいて仮想オブジェクトをレンダリングしてもよい。

プロセッサ１０４はさらに、ある期間にわたってポータブルデバイスの複数のロケーションを取得するよう構成されてもよく、各ロケーションはある時点に対応する。複数のロケーションは、ロケーション検出器１０８によって検出されてもよい。プロセッサ１０４は、複数のロケーションをそれぞれ対応する時点と共にメモリに記憶してもよい。プロセッサ１０４は、複数のユーザロケーション及びそれぞれ対応する時点に基づいてユーザスケジュールを生成し、生成されたユーザスケジュールをメモリ１０６、１２０に記憶するよう構成されてもよい。プロセッサ１０４は、反復的なユーザパターン（ある時点のロケーションと別の時点のロケーションとの間のユーザの動きを示すユーザパターン）を検出し、これらのパターン（の平均）に基づいてユーザスケジュールを生成するよう構成されてもよい。追加的又は代替的に、プロセッサ１０４は、複数のユーザロケーション及びそれぞれ対応する時点を外挿することにより未来の時点に対応する未来のロケーションを決定するよう構成されてもよい。プロセッサ１０４は、反復的なユーザパターンを検出し、過去のユーザパターンを使用して未来のユーザパターン、及びそれに伴い未来の時点に対応する未来のロケーションを予測するよう構成されてもよい。プロセッサ１０４はさらに、この予測に基づいてユーザの未来のロケーションを選択し、ポータブルデバイス１００のロケーションが該未来のロケーションに対応する場合にのみ、ポータブルデバイス１００の画像レンダリングデバイス１０２に仮想オブジェクトをレンダリングしてもよい。追加的に、プロセッサ１０４は、ポータブルデバイスのリロケーション(relocation)（及びそれに伴いユーザの動き）を継続的に監視し、ユーザの動きに基づいて及び検出されたユーザパターンに基づいて、ポータブルデバイス１００／ユーザが行く可能性が高い次のロケーションを予測するよう構成されてもよい。これは、プロセッサ１０４が、ユーザが行くであろうロケーションを予測し、予測されたロケーションを選択し、ポータブルデバイス１００のロケーションが該予測されたロケーションに対応する場合にのみ、ポータブルデバイス１００の画像レンダリングデバイス１０２に仮想オブジェクトをレンダリングすることを可能にする。

図４は、ポータブルデバイス１００に仮想オブジェクトをレンダリングするための本発明による方法４００を概略的に示している。方法４００は、スケジュールされた時点に対応するユーザのスケジュールされたロケーションを含むユーザスケジュールへアクセスすること（４０２）を含む。方法４００はさらに、現在の時点をスケジュールされた時点と比較して（４０４）、スケジュールされた時点のうちの現在の時点に対応するスケジュールされた時点に対応するスケジュールされたロケーションを選択すること（４０６）を含む。方法４００はさらに、ポータブルデバイス１００のロケーションを取得すること（４０８）を含む。方法４００はさらに、ポータブルデバイス１００のロケーションが選択されたスケジュールされたロケーションに対応する場合にのみ、ポータブルデバイス１００の画像レンダリングデバイス１０２に仮想オブジェクトをレンダリングすること（４１０）を含む。

方法４００は、コンピュータプログラムがポータブルデバイス１００のプロセッサ１０４等のコンピューティングデバイスの処理ユニット上で実行される場合、該コンピュータプログラムのコンピュータプログラムコードによって実行されてもよい。

上記の実施形態は本発明を限定するものではなく、当業者は添付の特許請求の範囲から逸脱することなく多くの代替実施形態を設計できることに留意されたい。

特許請求の範囲において、括弧内に置かれた参照符号は、特許請求の範囲を限定するものとして解釈されるべきではない。「有する」という動詞及びその活用形の使用は、請求項に記載された要素又はステップ以外の要素又はステップの存在を排除するものではない。要素に先行する冠詞「a」又は「an」は、複数の斯かる要素の存在を排除するものではない。本発明は、いくつかの別個の要素を含むハードウェアにより、及び適切にプログラムされたコンピュータ又は処理デバイスにより実施されてもよい。いくつかの手段を列挙するデバイスの請求項において、これらの手段のいくつかは、同一のハードウェアのアイテムにより具体化されてもよい。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。

本発明の態様は、コンピュータにより実行され得るコンピュータ可読記憶デバイスに記憶されたコンピュータプログラム命令の集合体であってもよいコンピュータプログラムにおいて実施されてもよい。本発明の命令は、スクリプト、解釈可能プログラム、ダイナミックリンクライブラリ（ＤＬＬ）又はＪａｖａ（登録商標）クラスを含むが、これらに限定されない任意の解釈可能又は実行可能コードメカニズムであってもよい。命令は、完全な実行可能プログラム、部分実行可能プログラム、既存のプログラムに対する修正（例えば更新）、又は既存のプログラムに対する拡張（例えば、プラグイン）として提供され得る。さらに、本発明の処理の一部は、複数のコンピュータ又はプロセッサにわたって分散されてもよい。

コンピュータプログラム命令を格納するのに適した記憶媒体には、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリデバイス、内部及び外部ハードディスクドライブ等の磁気ディスク、リムーバブルディスク並びにＣＤ－ＲＯＭディスクを含むが、これらに限定されないすべての形態の不揮発性メモリが含まれる。コンピュータプログラムは、斯様な記憶媒体上で頒布されてもよく、又はＨＴＴＰ、ＦＴＰ、電子メール、又はインターネット等のネットワークに接続されるサーバを介してダウンロード用に提供されてもよい。

Claims (12)

1. ポータブルデバイスに仮想オブジェクトをレンダリングする方法であって、
   スケジュールされた時点に対応するユーザのスケジュールされたロケーションを含むユーザスケジュールへアクセスするステップと、
   現在の時点を前記スケジュールされた時点と比較して、前記スケジュールされた時点のうちの該現在の時点に対応するスケジュールされた時点に対応するスケジュールされたロケーションを選択するステップと、
   前記ポータブルデバイスのロケーションを取得するステップと、
   前記ポータブルデバイスの前記ロケーションが前記選択されたスケジュールされたロケーションに対応する場合にのみ、前記ポータブルデバイスが位置する物理的環境上のオーバーレイとして、前記ポータブルデバイスの画像レンダリングデバイスに仮想オブジェクトをレンダリングするステップと、
   未来の時点を前記スケジュールされた時点と比較して、前記スケジュールされた時点のうちの該未来の時点に対応するスケジュールされた時点に対応する未来のスケジュールされたロケーションを選択するステップと、
   前記未来のスケジュールされたロケーションの近傍に位置する照明デバイスの光出力を変更して、仮想オブジェクトが前記未来のスケジュールされたロケーションにおいて前記ポータブルデバイスにレンダリングされるであろうことを示すステップと
   を含む、方法。
2. 前記未来の時点が近づいていること及び／又は仮想オブジェクトが前記未来のスケジュールされたロケーションにおいて前記ポータブルデバイスにレンダリングされるであろうことを示す通知を前記ポータブルデバイスによって提供するステップを含む、請求項１に記載の方法。
3. 仮想環境内のロケーションが物理的環境内のロケーションに対応する、物理的環境上の仮想環境のマッピングを受信するステップと、
   物理的環境内の第１の物理的ロケーションに対応する仮想環境内の第１の仮想ロケーションにおいて前記画像レンダリングデバイスに仮想オブジェクトをレンダリングするステップと、
   前記仮想オブジェクトが、前記第１の仮想ロケーションから、物理的環境内の第２の物理的ロケーションに対応する仮想環境内の第２の仮想ロケーションに移動する移動状態に前記仮想オブジェクトを設定するステップと
   を含み、
   前記第１の物理的ロケーションは、前記現在の時点に対応する前記スケジュールされたロケーションであり、前記第２の物理的ロケーションは、前記未来の時点に対応する前記未来のスケジュールされたロケーションである、請求項１又は２に記載の方法。
4. 前記仮想オブジェクトは、前記現在の時点と前記未来の時点との間前記移動状態に設定される、請求項３に記載の方法。
5. 前記ポータブルデバイスの所定の近接内に位置する物理オブジェクトの存在を検出するステップを含み、前記仮想オブジェクトのレンダリングは、前記物理オブジェクトが存在する場合にのみ行われる、請求項１乃至４のいずれか一項に記載の方法。
6. 前記仮想オブジェクトは、前記物理オブジェクトに対してあるロケーションを有するように前記画像レンダリングデバイスにレンダリングされる、請求項５に記載の方法。
7. ある期間にわたって前記ポータブルデバイスの複数のロケーションを取得するステップであって、各ロケーションはある時点に対応する、ステップと、
   複数のユーザロケーション及びそれぞれ対応する時点に基づいてユーザスケジュールを生成し、該ユーザスケジュールをメモリに記憶するステップ、及び
   複数のユーザロケーション及びそれぞれ対応する時点を外挿することにより未来の時点に対応する未来のロケーションを決定するステップ
   のうちの少なくとも一方のステップと
   を含む、請求項１乃至６のいずれか一項に記載の方法。
8. コンピューティングデバイスのためのコンピュータプログラムであって、当該コンピュータプログラムが前記コンピューティングデバイスの処理ユニット上で実行される場合、請求項１乃至７のいずれか一項に記載の方法を実行するためのコンピュータプログラムコードを含む、コンピュータプログラム。
9. 仮想オブジェクトをレンダリングするためのポータブルデバイスであって、
   仮想オブジェクトをレンダリングするよう構成される画像レンダリングデバイスと、
   スケジュールされた時点に対応するユーザのスケジュールされたロケーションを含むユーザスケジュールを記憶するメモリへアクセスする、現在の時点を前記スケジュールされた時点と比較して、前記スケジュールされた時点のうちの該現在の時点に対応するスケジュールされた時点に対応するスケジュールされたロケーションを選択する、当該ポータブルデバイスのロケーションを取得する、当該ポータブルデバイスの前記ロケーションが前記選択されたスケジュールされたロケーションに対応する場合にのみ、当該ポータブルデバイスが位置する物理的環境上のオーバーレイとして、前記画像レンダリングデバイスに仮想オブジェクトをレンダリングする、未来の時点を前記スケジュールされた時点と比較して、前記スケジュールされた時点のうちの該未来の時点に対応するスケジュールされた時点に対応する未来のスケジュールされたロケーションを選択する、及び、前記未来のスケジュールされたロケーションの近傍に位置する照明デバイスの光出力を変更して、仮想オブジェクトが前記未来のスケジュールされたロケーションにおいて前記ポータブルデバイスにレンダリングされるであろうことを示すよう構成されるプロセッサと
   を含む、ポータブルデバイス。
10. 前記画像レンダリングデバイスは、ディスプレイであり、当該ポータブルデバイスは、画像を取得するよう構成される撮像デバイスを含み、前記プロセッサは、前記撮像デバイスによって取得された画像を前記ディスプレイにレンダリングする、及び、該画像上のオーバーレイとして、仮想オブジェクトを前記ディスプレイにレンダリングするよう構成される、請求項９に記載のポータブルデバイス。
11. 当該ポータブルデバイスは、一対のスマートグラスであり、前記画像レンダリングデバイスは、当該ポータブルデバイスが位置する物理的環境上のオーバーレイとして、前記一対のスマートグラスの少なくとも一方のグラスに仮想オブジェクトを投影するよう構成されるプロジェクタである、請求項９に記載のポータブルデバイス。
12. 当該ポータブルデバイスは、当該ポータブルデバイスのロケーションを検出するよう構成されるロケーション検出器を含む、請求項９、１０又は１１に記載のポータブルデバイス。

Images