JP6162805B2 - 拡張の継続性の維持 - Google Patents

Description

関連出願の相互参照
本出願は、2013年3月15日に出願した、「Maintaining Continuity of Augmentations」という表題の米国出願第13/844,756号、2012年7月26日に出願した、「Interactions of Tangible and Augmented Reality Objects」という表題の米国仮出願第61/676,246号、2012年7月26日に出願した、「Maintaining Continuity of Augmentations」という表題の米国仮出願第61/676,249号、2012年7月26日に出願した、「Method and Apparatus for Controlling Augmented Reality」という表題の米国仮出願第61/676,278号、2012年7月26日に出願した、「Interactions of Tangible and Augmented Reality Objects」という表題の米国仮出願第61/676,255号、および2012年7月26日に出願した、「Tangible Items' Effect on Particle System Augmentation in Virtual Spaces」という表題の米国仮出願第61/676,274号の利益を主張するものである。前述の米国出願は、その全体が参照により本明細書に組み込まれている。

本開示は、拡張現実の分野に関する。詳細には、本開示は拡張の継続性を維持することに関する。

従来の拡張現実アプリケーションは、その要素が、ビデオ、音声、グラフィックス、またはGPSデータなど、コンピュータ生成の感覚入力(computer-generated sensory input)によって拡張され得る実世界環境のライブビューを提供する。そのようなアプリケーションの場合、現実の視野をコンピューティングデバイスによって修正することが可能であり、そのようなアプリケーションは、ユーザの現実の知覚を拡張して、ユーザの環境に関して、より多くの情報を提供することができる。たとえば、拡張コンテンツは、整合の間のゲーム統計および要約など、環境要素とともに、リアルタイムで、意味的コンテキストで適用され得る。スマートフォンなどのモバイルデバイスの普及にともない、実世界オブジェクト上に仮想オブジェクトをオーバレイした、環境に関する人工情報など、追加の拡張コンテンツとともに、ユーザを取り巻く実世界に関する情報をモバイルデバイス上に表示することが可能である。たとえば、モバイルデバイスは、拡張現実ゲームをプレイするように構成可能であり、そのようなゲームは、プレイセットとゲームピースとを含み得る。

従来の拡張現実アプリケーションの問題のうちの1つは、追跡されているオブジェクトがもはやモバイルデバイスのカメラの視野内にないとき、従来の拡張現実アプリケーションはそのオブジェクトの追跡を中断することである。この手法は、特に、ユーザがその環境と相互作用するとき、または、1つもしくは複数のゲームピースがもはやモバイルデバイスの視野内にない可能性があるとき、モバイルデバイスがあちこちに移動し得る状況で、不十分なユーザ経験をもたらす可能性がある。したがって、従来の拡張現実アプリケーションを改善することができる方法、コンピュータプログラム製品、および拡張現実対応デバイスの必要性が存在する。

本開示は拡張の継続性を維持することに関する。本開示の実施形態によれば、拡張現実対応デバイス(ARD)とともに使用するための方法は、画像から導出された視覚情報に少なくとも一部基づいて、複数のオブジェクトおよび背景を追跡するステップと、視覚情報以外の情報に少なくとも一部基づいて、複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するステップと、複数のオブジェクトの状態に応じて、拡張をレンダリングするためのデータを提供するステップとを含む。

本開示の別の実施形態によれば、拡張現実対応デバイスは、処理論理を含む制御ユニットを備え、処理論理は、画像から導出された視覚情報に少なくとも一部基づいて、複数のオブジェクトおよび背景を追跡するように構成された論理と、視覚情報以外の情報に少なくとも一部基づいて、複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するように構成された論理と、複数のオブジェクトの状態に応じて、拡張をレンダリングするためのデータを提供するように構成された論理とを備える。

本開示のさらに別の実施形態によれば、拡張現実対応デバイスとともに使用するためのコンピュータプログラム製品は、1つまたは複数のコンピュータシステムによる実行のための命令を記憶した非一時的媒体を備え、これらの命令は、画像から導出された視覚情報に少なくとも一部基づいて、複数のオブジェクトおよび背景を追跡するための命令と、視覚情報以外の情報に少なくとも一部基づいて、複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するための命令と、複数のオブジェクトの状態に応じて、拡張をレンダリングするためのデータを提供するための命令とを含む。

本開示のさらに別の実施形態によれば、システムは、画像から導出された視覚情報に少なくとも一部基づいて、複数のオブジェクトおよび背景を追跡するための手段と、視覚情報以外の情報に少なくとも一部基づいて、複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するための手段と、複数のオブジェクトの状態に応じて、拡張をレンダリングするためのデータを提供するための手段とを備える。

本開示の上述の特徴および利点、ならびにその追加の特徴および利点は、以下の図面とともに本開示の実施形態の詳細な説明を読めば、より明確に理解されよう。

本開示のいくつかの態様による拡張現実対応デバイスを例示する図である。 本開示のいくつかの態様による、ある例示的な拡張現実対応デバイスのブロック図である。 本開示のいくつかの態様による、背景内のマーキングを追跡することに少なくとも一部基づいて相互作用を提供する、ある方法を例示する図である。 本開示のいくつかの態様による、背景内の複数のオブジェクトを追跡することに少なくとも一部基づいて相互作用を提供する別の方法を例示する図である。 本開示のいくつかの態様による、実環境内の項目を追跡することに少なくとも一部基づいて相互作用を提供するさらに別の方法を例示する図である。 本開示のいくつかの態様による、仮想環境と実環境の両方の中の項目を追跡することに少なくとも一部基づいて相互作用を提供するさらに別の方法を例示する図である。 本開示のいくつかの態様による、ターゲットが視野外であるとき、拡張の継続性を維持する、ある方法を例示する図である。 本開示のいくつかの態様による、失われた追跡に補正を提供することによって、拡張の継続性を維持する別の方法を例示する図である。 本開示のいくつかの態様による、RFIDを用いて追跡することに少なくとも一部基づいて、相互作用を提供するさらに別の方法を例示する図である。 本開示のいくつかの態様による、複数の拡張現実対応デバイスを通して相互作用を提供する、ある方法を例示する図である。 本開示のいくつかの態様による、拡張の継続性を維持する流れ図である。

図面を通して同様の番号が使用される。

拡張の継続性を維持する実施形態が開示される。以下の説明は、いかなる当業者でも本開示を実施し、使用することができるようにするために提示される。特定の実施形態およびアプリケーションの説明は、例としてのみ提供される。本明細書で説明する例の様々な修正および組合せが当業者には容易に明らかであり、本明細書で定義した一般原理は、本開示の趣旨および範囲から逸脱することなく他の例およびアプリケーションに適用できる。したがって、本開示は、説明され示される例に限定されることが意図されず、本明細書で開示される原理および特徴に一致する最大の範囲を与えられることが意図される。「例示的」または「例」という用語は、本明細書では、「例、事例、または例示の働きをすること」を意味するために使用する。「例示的」もしくは「例」として本明細書に記載される任意の態様または実施形態は、他の態様もしくは実施形態に比べて好ましいか、または有利であると必ずしも解釈されるべきではない。

図1は、本開示のいくつかの態様による拡張現実対応デバイスを例示する図である。図1に示すように、拡張現実対応デバイス(ARD)14は、ハウジング101と、ディスプレイ112と、1つまたは複数のスピーカ118と、マイクロフォン116とを含む。タッチスクリーンディスプレイであってよいディスプレイ112は、カメラ108によって捕捉された画像、または任意の他の所望のユーザインターフェース情報を示すことができる。当然、ARD14は、本開示に関係するとは限らない追加の構成要素を含み得る。

本明細書で使用される場合、ARDデバイスは、セルラーもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、または他の適したモバイルプラットフォームなどの任意のポータブル電子デバイスを指す。モバイルプラットフォームは、航法測位信号など、ワイヤレス通信信号および/またはナビゲーション信号を受信することが可能であり得る。ARDという用語はまた、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、パーソナルナビゲーションデバイス(PND)において行われるかにかかわらず、短距離ワイヤレス接続、赤外線接続、有線接続、または他の接続によってなど、PNDと通信するデバイスを含むことが意図される。また、ARDは、ポーズ追跡の際に使用される画像を捕捉することが可能であると同様に、拡張現実ユーザインターフェース機能を実行することも可能な、ワイヤレス通信デバイス、コンピュータ、ラップトップ、タブレットコンピュータ、スマートフォン、デジタルカメラなどを含めて、すべての電子デバイスを含むことが意図される。

図2は、本開示のいくつかの態様による、ある例示的な拡張現実対応デバイスのブロック図を示す。ARD14のモバイルプラットフォームは、個々の写真またはビデオのフレームのいずれかであってよい、環境の画像を捕捉するためのカメラ108を含む。ARD14のモバイルプラットフォームは、それを用いてARD14のモバイルプラットフォームがその位置および方向、すなわち、ポーズを判断することができるデータを提供するために使用され得るセンサ109を含むことも可能である。ARD14のモバイルプラットフォームとともに使用され得るセンサの例には、線形加速度計として使用される加速度計、水晶センサ、ジャイロ、マイクロ電気機械システム(MEMS)センサ、ならびに磁力計が含まれる。いくつかの実装形態では、電気皮膚反応(GRS)センサまたは他のバイオメトリックセンサをARD14の側面または表面に配置することが可能である。

ARD14のモバイルプラットフォームは、画像を表示することができるディスプレイ112を含むユーザインターフェース110も含み得る。ユーザインターフェース110は、キーパッド114、または、ユーザが情報をARD14のモバイルプラットフォームに入力することができる他の入力デバイスを含むことも可能である。所望される場合、仮想キーパッドをタッチセンサ付きディスプレイ112に組み込むことによってキーパッド114を取り除くことができる。ユーザインターフェース110は、たとえば、モバイルプラットフォームがセルラー電話である場合、マイクロフォン116および1つまたは複数のスピーカ118を含むこともできる。当然、ARD14のモバイルプラットフォームは、本開示に関係しない他の要素を含むことが可能である。

ARD14のモバイルプラットフォームは、任意の他の所望の特徴とともに、カメラ108、およびセンサ109、ならびにユーザインターフェース110に接続可能であり、これらと通信する制御ユニット120をさらに含む。制御ユニット120は、1つまたは複数のプロセッサ122と、関連するメモリ/記憶装置124とによって提供され得る。制御ユニット120は、ソフトウェア126、ならびにハードウェア128、およびファームウェア130を含むことも可能である。制御ユニット120は、ARD14の位置を追跡すると同様に、ARD14によって監視される1つまたは複数のオブジェクトの位置も追跡するように構成された追跡ユニット132を含む。制御ユニット120は、ARD14のディスプレイ112上に拡張現実相互作用を提示するように構成された拡張現実ユーザインターフェースユニット134をさらに含むことが可能である。制御ユニット120は、1つもしくは複数のRFIDセンサまたはシグネチャと通信するように構成されたRFIDコントローラ136をさらに含むことが可能である。わかりやすいように、追跡ユニット132、拡張現実ユーザインターフェースユニット134、およびRFIDコントローラは、プロセッサ122および/またはハードウェア128とは切り離して例示されるが、ソフトウェア126内およびファームウェア130内の命令に基づいて、プロセッサ122内および/もしくはハードウェア128内で組み合わせること、ならびに/または実装することが可能である。

本開示の態様によれば、ARD14は、1つまたは複数の有形インターフェース項目とともに使用され得る。本明細書で説明する例の多くでは、有形インターフェース項目は、「オブジェクト」または「トイ(toys)」と呼ばれる。しかしながら、他のタイプの有形オブジェクトを使用することも可能であり、本明細書で開示する技法はトイに限定されない。たとえば、有形インターフェース項目は、コーラ缶、コーヒーカップ、雑誌、またはARD14のカメラの視野内にあり得る他の有形項目など、ユーザの環境内の1つもしくは複数の項目を含み得る。

ARD14が提供する拡張は、継続的な話の経路(story path)を形成することができる。そのような継続的な話の経路は、本明細書で「シーン」と呼ばれる場合がある。ARD14の拡張論理は、ユーザの注意を監視して、ユーザが特定のシーンに対する関心を失ったと思われる場合、シーンを変更するように構成され得る。ユーザと相互作用するための技法、およびARD14が提供する拡張コンテンツを調整するための技法は、下でより詳細に説明される。

本開示の実施形態によれば、ARD14は、コヒーレントなユーザ経験を提供して、不信の停止を維持して、探索を奨励するように構成される。開示する方法は、ユーザが環境を探索する間、ある種のオブジェクトがARD14のカメラ視野外であり得る場合すら、シーンの継続性を維持する。言い換えれば、ARD14は、追跡されているオブジェクトとは無関係に、環境を追跡するように構成され得る。加えて、ARD14は、図3に示すように、拡張環境16内の床、および/または1つもしくは複数の仮想窓36、仮想扉37、ならびに仮想壁38など、追加の情報を用いて環境をさらに拡張するように構成され得る。

いくつかの実装形態では、(マットなど)参照背景12を追跡する方法は、1)マットの副領域を追跡するステップ、2)図3に示すように、マット上のマーキングまたは副特徴を追跡するステップ、3)図4に示すように、一時的または永続的に結合され得る複数の小型マットを追跡して、大型マット(たとえば、12a〜12eなど、浴室の床上のタイル)を形成するステップ、および4)ARD14のカメラ視野内に1つの副領域/マーキング/小型マットを有することが、ARD14がその大型マット上のどこをユーザが見てい得るかを判断するのを可能にし得るように、これらの副領域/マーキング/小型マットとマット全体との関係を追跡するステップを含み得るが、これらに限定されない。いくつかの他の実装形態では、環境は、図5に示すように、遊戯室を作成するために、マットに接続され得る、1つまたは複数の有形壁18を有し得る。遊戯室は、拡張窓36と拡張扉37とによって拡張され得る。他の実装形態では、実際の遊戯室の環境を使用することができ、すなわち、有形遊戯室は拡張されなくてよい。下で説明するように、壁18、および壁18の小区域を追跡することが可能である。

図6に示すように、この方法は、環境内の詳細を識別および追跡して、(参照なしのARを使用して)環境のマップをオンザフライで作成し、次いで、ユーザが現在どの小区域に焦点を合わせているか、およびその小区域とマップ全体との間の関係を識別するステップを含む。この方法は、(参照なしARを使用した)実世界環境のオンザフライマッピングによる、テーブル19およびテーブル19上のオブジェクトなど、参照背景12を超えて仮想環境16を拡張するための能力をさらに含み得る。

本開示の態様によれば、ARD14によって同時局在化およびマッピング(SLAM)フレームワークを用いて、その環境内のオブジェクトを追跡することができる。たとえば、ARD14は、SLAM環境を構築するように構成され得る。SLAM環境は、たとえば、SLAM環境座標フレーム源に対する3次元(3D)位置を用いて、高密度メッシュまたは高密度/スパースポイントクラウドとして構成され得る。環境内の各特徴点は、特徴点の視覚的外観を記述する1つもしくは複数の記述子、および/またはその特徴に関する3D構造情報を含み得る。たとえば、表面、および3D環境のその対応する面法線を使用して、SLAM環境内の様々な特徴点を記述することができる。特徴点は、一連の画像フレームを通してモバイルデバイスによって捕捉され得ることに留意されたい。

いくつかの実装形態では、ターゲットが視野外であるとき、拡張は継続し得る。プレイを開始するとすぐ、浴室または床など、背景12が視野に入り、そのシーンに関する拡張16が表示され得る。オブジェクトが視野に入るとき、浴槽22が、泡33とゴム製のアヒル39とを有する、アニメーション化された浴槽32の拡張をもたらすなど、その対応する拡張をシーン内に示すことができ、泡の音を再生することができる。拡張浴槽32がフレームから外れたとき、たとえば、ARD14の移動により、物理的なオブジェクトがもはや視野内にないとき、参照背景12、たとえば、床に対する浴槽22の位置をメモリ内に記憶することが可能であり、図7に示すように、環境の追跡が維持される限り、浴槽22はそのシーンに影響を与え続けることが可能である。この例では、ターゲットがARD14の視野から外れるとき、1)泡の音を継続的に再生させ、2)空中に泡33が浮かぶビデオ、3)ユーザに浴室内のBernie(図示せず)にパンさせて、そのユーザに「おや!ゴム製のアヒルくん、そこにいたのか!」と言わせることによって、拡張を継続させることができる。

一手法では、浴槽の拡張は、浴槽の床上のその位置から発するように出現し得る。泡の音は、ユーザがその位置に近接したとき、大きくすることができ、ユーザが離れたとき、小さくすることができる。拡張は、浴槽の床上の同じ場所から発して、視野が浴槽から所定の距離内にある限り、継続することが可能であり、たとえば、環境を追跡する範囲で、浴槽内で聞くことはできるが、居間で聞くことはできない。視野が所定の距離範囲内に戻ったとき、拡張を再開することができる。

別の手法では、それだけには限らないが、1)ARD14の側面上もしくは表面上の電気皮膚反応(GSR)または他のバイオメトリックセンサによって検出されるように、ユーザの両手がARD14上にとどまる限り、2)デバイスの側面上もしくは表面上のGSRまたは他のバイオメトリックセンサによって検出されるように、少なくとも片方の手がカメラ上にとどまる限り、3)デバイスからのバイオメトリックセンサデータを経時的に比較することによって検出されるように、同じユーザがカメラを保持していると検出される限り、たとえば、デバイスの任意の表面上のセンサからの心臓の鼓動シグネチャ、または指紋、4)浴槽が、たとえば、新しい床の位置内を移動していると見えるまで、または前にオブジェクトと関連付けられた浴室の床の領域が空に見えるまで、5)浴槽または浴槽領域に戻らずに、所定の期間が経過するまで、6)カメラが時間tにわたって静止した後、あるいは7)カメラが移動している限り、拡張は継続し得る。いくつかの実装形態では、制御ユニット120は、視野内で認知されない場合、オブジェクトは静的であり得ると仮定することができ、制御ユニット120は、カメラが移動しているとき、オブジェクトは移動しないと仮定することができることに留意されたい。

本開示の実施形態によれば、シーンが開始した後、シーンはプレイし続け、1)所定の時間間隔の間、カメラに接触がない限り、2)カメラが移動している限り、3)所定の時間間隔の間、カメラが移動する限り、4)バイオメトリックセンサによって判断されるように、カメラが手の中にある限り、または5)バイオメトリックセンサデータ内に実質的な変化がないことによって判断されるように、同じユーザがカメラを保持している限り、を含むが、これらに限定されない状況の下で再開しない。

本開示の実施形態によれば、ARD14は、以下の状況を含むが、これらに限定されない、失われた追跡を補正するように構成される。第1に、ARD14がオブジェクト、たとえば、Birdieから極近接範囲内にあり、次いで、そのオブジェクトを失った場合、ARD14の制御ユニット120は、図8に示すように、そのオブジェクトが所定の時間量にわたってそこに依然として存在し得ると仮定するように構成され得る。たとえば、制御ユニット120は、オブジェクトがそのオブジェクトを効果的に識別または追跡するにはあまりにも近接し過ぎている可能性があることを仮定することができ、それにより、シーンを継続的に表示することができる。第2に、ARD14がオブジェクトに向かって移動している(たとえば、Birdieの相対サイズが増大する)場合、オブジェクトは視野から失われる可能性があり、制御ユニット120は、そのオブジェクトは所定の期間にわたって依然として存在すると仮定することができる。制御ユニット120は、ユーザがオブジェクトにズームインすることを意図している可能性があるが、ARD14をそのオブジェクトと位置合わせし損ない、オブジェクトがユーザの手で遮断されたなどとさらに仮定することができる。第3に、オブジェクトがある位置(たとえば、浴室の床)内で視野から外れ、後に別の位置内(たとえば、浴室の別の領域内)で検出された場合、シーンは継続する。オブジェクトは、新しい位置で拡張され得る。この場合、制御ユニット120は、再開しないことになるか、またはその履歴を失わないことになる。最後に重要なことは、ユーザがプレイ内で1つのシーンを有する場合、たとえば、BirdieがTVを見ている場合、ARD14は、Birdieにズームインして、シーンを変更させることができ、ARD14がズームアウトして戻るとき、シーンは、Birdieに再度TVを見させることが可能である。ズーム動作の間、相互作用でシーンを拡張することが可能であるが、制御ユニット120は、再開しないことになるか、またはシーンの履歴を失わないことになる。

本開示の実施形態によれば、ARD14は、オフカメラ有形インターフェース項目を用いて、シーン拡張の継続性を確立する異なる方法を組み合わせるように構成され得る。視覚的オブジェクト認識および追跡とともに、追加の方法を使用して、床またはマットなど、背景に関するオブジェクトの位置マップを維持することができる。図9に示すように、いくつかの実装形態では、項目が依然としてその部屋の中にある場合、背景12に対するオブジェクト10の相対的な位置すら確立され得るように、RFIDを使用した近距離追跡をARD14内で実装することができる。

1つの例示的な手法では、ARD14の視野が移動し、したがって、浴室の床上の浴槽は視野外であり得る。マットなど、参照背景12に関連するRFIDコントローラは、浴槽22の(ウェーブ200によって表された)RFIDシグネチャを検出するように構成され得る。RFIDコントローラは、図9に示すように、(ウェーブ210によって表された)情報をARD14に送信することができる。ARD14は、浴槽が最後に観察された位置にその浴槽が依然としてとどまっていると仮定するように構成され得る。したがって、ARD14は、RFIDコントローラから受信した浴槽の位置情報に少なくとも一部基づいて拡張を提供し続けることができる。RFIDコントローラが浴槽のRFIDシグネチャを検出しない場合、RFIDコントローラは、この情報をARD14に渡すことができる。ARD14は、浴槽が移動したと仮定することができ、したがって、泡の音を、適切にフェードアウトさせる(fades out)ことによって、またはエアポップ(air pop)内に泡を飛び出させることによって拡張を停止する。

別の手法では、マット上の近視野追跡は、たとえば、マット内の一連のRFIDコイルまたはRFIDコイルのグリッドを使用することによって、マット上のオブジェクトの副位置を判断する方法を含む。このようにして、マットに関連するRFIDコントローラは、マット上に何のオブジェクトがあるかの目録とその位置または近似位置の両方を維持する。次いで、RFIDコントローラは位置情報をARD14に送信することができる。加えて、RFIDコントローラは、オブジェクトの追加、または除去など、位置の何らかの変更をARD14に送信することができる。ARD14は、ARD14の観点から視野内のオブジェクトと視野外のオブジェクトの両方を追跡して、そのような位置情報を使用して、拡張を提供するように構成され得る。識別可能なオブジェクトまたは環境がARD14のカメラの視野内にない可能性がある場合ですら、音声拡張を継続することが可能であることに留意されたい。

さらに別の手法では、RFID能力を備えた1つまたは複数のマットは、オブジェクトの目録および配置を維持し、オプションで、マットに関するオブジェクトの相対的な位置を維持するように構成され得る。一手法では、シーンに関して推論を行い、ARD14のカメラの視野にかかわらず、適切な拡張を提供することに関連して、異なるマットからの情報を使用することが可能である。たとえば、あるキャラクター(たとえば、Bernie)がある部屋から別の部屋に移動し、その結果、そのキャラクターが、そのとき、別のキャラクター(たとえば、Brett)と同じ部屋の中におり、ARD14のカメラ視野が第2の部屋内にあり得る場合、これらのキャラクターがARD14のカメラ視野内にいるかどうかにかかわらず、これらのキャラクターは相互作用を開始することができる。ある例示的な拡張は、Brettがその部屋に入ったBernieに話しかけようとBernieの方向を見るが、Bernieはカメラ視野にない可能性があることを示すことができる。

いくつかの他の実装形態では、ARD14は、加速度計、ジャイロ、および磁力計のうちの少なくとも1つから受信したセンサデータを使用して、(たとえば、いくつかの実装形態では、推測航法(dead reckoning)を使用して)仮想追跡を拡張するように構成され得る。一手法では、ARD14は、センサデータを使用して、オブジェクト(たとえば、浴槽)に対する相対的な距離および方向を追跡して、視覚基準が視野外であるとき、視覚追跡を補足するように構成され得る。ARD14は、センサデータを使用して、ターゲットに対する位置を判断する際に推測航法の技法を使用することによって、拡張の継続を提供することができる。

別の手法では、ARD14は、視覚追跡とともにセンサデータを使用して、ARD14に対するオブジェクト(たとえば、浴槽)の移動を判断するように構成され得る。センサデータが、ARD14が比較的静的であり得ることを示す場合、ARD14の制御ユニット120は、浴槽が(たとえば、シーンから外れて)移動していると仮定することができ、それに応じて、拡張を調整する。センサデータが、ARD14が移動していることを示し、その移動がスクリーン上に見られる移動を正当化するのに十分であると判断された場合、制御ユニット120は、浴槽が依然として適切な位置にあり、ARD14が移動していると仮定して、それに応じて、拡張を維持する。あるいは、移動がスクリーン上に見られる移動を正当化するのに不十分であると判断され得る場合、制御ユニット120は、浴槽22とARD14の両方が移動してい得ると仮定することができ、それに応じて、拡張を調整する。

本開示の実施形態によれば、複数のARDは、それらの複数のARDを通して拡張を維持するように構成され得る。図10に示すように、対応する拡張現実対応デバイスを有する複数のユーザが同時にまたはほぼ同時に同じプレイセットでプレイしている場合、ある種の拡張要素は、複数のARDを通して実質的に同じ状態にとどまることができるのに対して、他の拡張要素は異なり得る。

1つの例示的な実装形態では、浴室から居間への扉は、異なる部屋または異なる方向からその扉を指す複数のARDを通して同時に開いているように見える。ユーザが扉を閉じるまで、扉は複数のARDを通して開いた状態にとどまる。別の例示的な実装形態では、ユーザ30が犬25をスーパードッグ35に転身させた場合、別のARD15上の別のユーザ32は、同様に犬25をスーパードッグ35と見ることができる。各ARDからの音声拡張は特定のARDが指すプレイに関係し得ることに留意されたい。

加えて、別の部屋の(たとえば、ユーザが居間でプレイしているとき、浴室の)音声は、仮想窓または仮想扉が開かれていない限り、まったく聴取可能でなく、仮想窓または仮想扉が開かれている場合、音声は静かに聴取可能であるか、もしくはまったく聴取可能でなく、または仮想窓または仮想扉が開かれるとすぐ、音声は聴取可能であり、次いで、音声はフェードアウトすることが可能である。たとえば、浴室の窓が開かれた場合、まず、鳥の音が聴取され、次いで、ある期間の後、フェーズアウトすることが可能である。

本開示の実施形態によれば、ARD14は、環境音声拡張を提供するように構成され得る。いくつかの実装形態では、視野内のオブジェクトに関する音声は、単に聴取される音声であってよく、他の音声より大きくてよく、または最近の事象に従ってバランスがとられてもよい。視野外のオブジェクトに関する音声は、音の大きさの点で異なってよく、これは、オブジェクトが視野外である存続期間によって判断され得る。

本開示の実施形態によれば、ARD14は、シーン内の音声継続性を維持するように構成され得る。いくつかの実装形態では、ARD14が置かれている状況、オブジェクトが手で遮断され得る状況、またはARD14デバイスが一時的に離れたところを指す状況でシーンを保存することが可能である。

一手法では、シーン展開音声がプレイされている(たとえば、キャラクターが話しているか、またはビデオが再生されている)場合、1)ARD14がプレイに面している、たとえば、動作時もしくは動作に近接してオブジェクトの何らかの部分またはフロアの領域(「プレイ領域」が依然として視野内にあり、かつ視野が移動しない可能性があるとき、もしくはセンサが移動を感知しないとき、2)デバイスは置かれていないが、何のキャラクターもその場面にいない(たとえば、手がカメラを遮断している、ユーザの手が降ろされた、デバイスが追跡を失った)とき、3)デバイスが別のキャラクターを一時的に示し、次いで、所定の期間(たとえば、0秒から3秒)内に元のプレイ領域に戻るとき、4)ARD14が同じシーンフロー内でオブジェクトに向かって移動し、次いで、オフスクリーン音声が音量を低下させるか、またはオフスクリーンキャラクターが話し続けて、新しい項目をそのシーン内に組み込むとき、を含むが、これらに限定されないシナリオで、音声は継続することができる(たとえば、ビデオ音声が最後まで再生される)。たとえば、Bernieはゴム製のアヒルに話しており、ユーザが車パンするとき、拡張Bernieは「そうだ、アヒルくん、車に乗ろう!」と言うことができる。

別の手法では、ARD14がプレイ領域に面せずに置かれているとき、音声を終了し、次いで、停止することができる。たとえば、プレイは視野内になく、視野は移動していないか、またはセンサは移動を感知しない。あるいは、ARD14は、類似のシーンフローで新しいオブジェクトに移動することができる。たとえば、ARD14はBernieおよびBrett上にあり、次いで、このプレイセッションで初めてBirdieに移動する。さらに別の手法では、ARD14の視野が所定の期間を超えて異なるオブジェクトセットに移動した場合、音声を停止することが可能であり、たとえば、ビデオ音声が停止するか、またはフェードアウトする。

本開示のいくつかの態様によれば、図2の制御ユニット120によって、図11で説明する機能を実装することができる。いくつかの実装形態では、これらの機能は、追跡ユニット132および拡張現実ユーザインターフェースユニット134によって実行される機能を含めて、上で説明したARDの様々な機能を実行するために、プロセッサ122、ソフトウェア126、ハードウェア128、およびファームウェア130、またはこれらのブロックの組合せによって実行可能である。

図11は、本開示のいくつかの態様による、拡張の継続性を維持する流れ図を示す。ブロック1102で、制御ユニット120は、画像から導出された視覚情報に少なくとも一部基づいて、複数のオブジェクトおよび背景を追跡するように構成され得る。ブロック1104で、制御ユニット120は、視覚情報以外の情報に少なくとも一部基づいて、複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するように構成され得る。ブロック1106で、制御ユニット120は、複数のオブジェクトの状態に応じて、拡張をレンダリングするためのデータを提供するように構成され得る。

本開示の実施形態によれば、ブロック1102において実行される方法は、ブロック1110において実行される方法をさらに含んでよい。たとえば、ブロック1110で、制御ユニット120は、ARDに対する複数のオブジェクトの相対的なポーズを判断することと、それらの相対的なポーズを使用して、複数のオブジェクトの状態を更新することであって、複数のオブジェクトの状態が複数のオブジェクトの関係情報を含む、更新することとを行うように構成され得る。ブロック1110において実行される方法は、ブロック1120〜1122において実行される方法をさらに含んでよい。ブロック1120で、制御ユニット120は、複数のオブジェクトの前に捕捉した画像に関して、複数のオブジェクトのポーズを検出する。ブロック1122で、制御ユニット120は、画像内の新しいオブジェクトを検出して、その新しいオブジェクトを含めるために、複数のオブジェクトを更新する。

ブロック1104において実行される方法は、ブロック1112において実行される方法をさらに含んでよい。ブロック1112で、制御ユニット120は、ARDの視野内の複数のオブジェクトの第1のセットの状態を維持して、ARDの視野外の複数のオブジェクトの第2のセットの状態を維持する。ブロック1112において実行される方法は、ブロック1124〜1128において実行される方法をさらに含んでよい。ブロック1124で、制御ユニット120は、ARD14の視野内の複数のオブジェクトの第1のセットに対する複数のオブジェクトの第2のセットのオフセットを追跡して、それらのオフセットを使用して、複数のオブジェクトの第2のセットの位置を判断する。ブロック1126で、制御ユニット120は、ARD14の視野外の複数のオブジェクトの第2のセットに対するARD14の相対的な移動を追跡して、ARD14の位置と相対的な移動とを使用して、複数のオブジェクトの第2のセットの位置を判断する。ARD14の相対的な移動を追跡する方法は、視覚的走行距離計測法(visual odometry)、加速度計を用いた推測航法、およびジャイロスコープを用いた推測航法のうちの少なくとも1つに少なくとも一部基づく。

ブロック1128で、制御ユニット120は、複数のオブジェクトの相対的な位置を判断するための情報を含むワイヤレス信号を受信して、その情報を使用して、複数のオブジェクトの第2のセットの位置を更新する。いくつかの実装形態では、ワイヤレス信号は、複数のオブジェクトの第2のセット内の少なくとも1つのオブジェクトに取り付けられたRFIDタグからARD14によって受信される。ワイヤレス信号は、近距離通信信号およびBluetooth(登録商標)信号のうちの少なくとも1つを含む。背景は、複数のオブジェクト内の少なくとも1つのオブジェクトの位置を検出することであって、情報が1つまたは複数のセンサによって検出された位置を示す、検出することを行うように構成された、1つまたは複数のセンサを含む。

ブロック1106において実行される方法は、ブロック1114において実行される方法をさらに含んでよい。ブロック1114で、制御ユニット120は、複数のオブジェクトの状態の信頼性の表示が第1の所定の値を満たすとき、位置内に音声およびグラフィックスをレンダリングし、複数のオブジェクトの状態の信頼性の表示が第2の所定の値を満たすとき、その位置内に音声をレンダリングし、複数のオブジェクトの状態の信頼性の表示が第3の所定の値を満たすとき、その位置内に背景音をレンダリングし、複数のオブジェクトの状態の信頼性の表示が第4の所定の値を満たすとき、その位置内にフェードアウト遷移(fading out transition)をレンダリングするように構成される。

いくつかの実装形態では、ブロック1102の複数のオブジェクトはゲームピースであってよく、背景はゲームボードである。複数のオブジェクトの状態は、互いに対する複数のオブジェクトの関係情報と、背景に対する複数のオブジェクトの関係情報と、互いに対する複数のオブジェクトの幾何学的関係と、背景に対する複数のオブジェクトの幾何学的関係とを含み得る。

ブロック1112で、制御ユニット120は、ARD14の視野外の複数のオブジェクトの第2のセット内の少なくとも1つのオブジェクトを追跡して、その少なくとも1つのオブジェクトが依然として存在することを判断して、その少なくとも1つのオブジェクトの位置内に音声およびグラフィックスのうちの少なくとも1つをレンダリングするようにさらに構成され得る。加えて、制御ユニット120は、ARD14の視野外の複数のオブジェクトの第2のセット内の少なくとも1つのオブジェクトを追跡して、その少なくとも1つのオブジェクトがもはや存在しないことを判断して、その少なくとも1つのオブジェクトの位置内にフェードアウト遷移および背景音のうちの少なくとも1つをレンダリングするようにさらに構成され得る。

いくつかの他の実装形態では、制御ユニット120は、複数の拡張現実対応デバイス(ARD)を用いて、複数のオブジェクトおよび背景を追跡して、それらの複数のARDを通して複数のオブジェクトの状態を維持して、複数のオブジェクトの状態に応じて、それらの複数のARD内に拡張をレンダリングするためのデータを提供するようにさらに構成され得る。

本開示の態様によれば、拡張現実対応デバイスとともに使用するためのコンピュータプログラム製品は、1つまたは複数のコンピュータシステムによる実行のための命令を記憶した非一時的媒体を備え、これらの命令は、画像から導出された視覚情報に少なくとも一部基づいて、複数のオブジェクトおよび背景を追跡するための命令と、視覚情報以外の情報に少なくとも一部基づいて、複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するための命令と、複数のオブジェクトの状態に応じて、拡張をレンダリングするためのデータを提供するための命令とを含む。

追跡のための命令は、ARDに対する複数のオブジェクトの相対的なポーズを判断するための命令と、それらの相対的なポーズを使用して、複数のオブジェクト状態を更新するための命令であって、複数のオブジェクトの状態が、複数のオブジェクトの関係情報を含む、更新するための命令とを含む、3次元追跡を実行することを含む。相対的なポーズを判断するための命令は、複数のオブジェクトの前に捕捉された画像に関して、複数のオブジェクトのポーズを検出するための命令を含む。相対的なポーズを判断するための命令は、画像内の新しいオブジェクトを検出するための命令と、その新しいオブジェクトを含めるために、複数のオブジェクトを更新するための命令とを含む。

複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するための命令は、ARDの視野内の複数のオブジェクトの第1のセットの状態を維持するための命令と、ARDの視野外の複数のオブジェクトの第2のセットの状態を維持するための命令とを含む。ARDの視野外の複数のオブジェクトの第2のセットの状態を維持するための命令は、ARDの視野内の複数のオブジェクトの第1のセットに対する複数のオブジェクトの第2のセットのオフセットを追跡するための命令と、それらのオフセットを使用して、複数のオブジェクトの第2のセットの位置を判断するための命令とを含む。ARDの視野外の複数のオブジェクトの第2のセットの状態を維持するための命令は、ARDの視野外の複数のオブジェクトの第2のセットに対するARDの相対的な移動を追跡するための命令と、ARDの位置と相対的な移動とを使用して、複数のオブジェクトの第2のセットの位置を判断するための命令とをさらに含む。ARDの相対的な移動を追跡するための命令は、視覚的走行距離計測法、加速度計を用いた推測航法、およびジャイロスコープを用いた推測航法のうちの少なくとも1つに少なくとも一部基づく。

ARDの視野外の複数のオブジェクトの第2のセットの状態を維持するための命令は、複数のオブジェクトの相対的な位置を判断するためにワイヤレス信号に関する情報を受信するための命令と、受信した情報を使用して、複数のオブジェクトの第2のセットの位置を更新するための命令とをさらに含む。ワイヤレス信号は、複数のオブジェクトの第2のセット内の少なくとも1つのオブジェクトに取り付けられたRFIDタグからARDによって受信される。ワイヤレス信号は、近距離通信信号およびBluetooth(登録商標)信号のうちの少なくとも1つを含む。背景は、複数のオブジェクトの相対的な位置を検出するように構成された、1つまたは複数のセンサを含むマットを含み、情報は、1つまたは複数のセンサによって検出された複数のオブジェクトの相対的な位置を示す。情報は、ARDにおいて受信されているワイヤレス信号に基づいて、ARDに統合されたプロセッサまたはチップにおいて受信される。

本開示の態様によれば、コンピュータプログラム製品は、ARDの視野外の複数のオブジェクトの第2のセット内の少なくとも1つのオブジェクトを追跡するための命令と、複数のオブジェクトの第2のセット内の少なくとも1つのオブジェクトが依然として存在することを判断するための命令と、複数のオブジェクトの第2のセット内の少なくとも1つのオブジェクトの位置内に音声およびグラフィックスのうちの少なくとも1つをレンダリングするための命令とをさらに含む。コンピュータプログラム製品は、ARDの視野外の複数のオブジェクトの第2のセット内の少なくとも1つのオブジェクトを追跡するための命令と、複数のオブジェクトの第2のセット内の少なくとも1つのオブジェクトがもはや存在しないことを判断するための命令と、複数のオブジェクトの第2のセット内の少なくとも1つのオブジェクトの位置内にフェードアウト遷移および背景音のうちの少なくとも1つをレンダリングするための命令とをさらに含む。コンピュータプログラム製品は、ARDが第1のオブジェクトが位置することが予想される位置にパンして、第1のオブジェクトがその位置に存在しないことが判断されるとき、第2のセット内の第1のオブジェクトを追跡するのを終了するための命令と、第1のオブジェクトに関連する音声拡張を終了するための命令とをさらに含む。コンピュータプログラム製品は、新しいシーンが検出されたとき、第2のセット内の第1のオブジェクトを追跡するのを終了するための命令と、第1のオブジェクトに関連する音声拡張を終了するための命令とをさらに含む。

拡張をレンダリングするための命令は、複数のオブジェクトの状態の信頼性の表示が第1の所定の値を満たすとき、位置内に音声およびグラフィックスをレンダリングするための命令、複数のオブジェクトの状態の信頼性の表示が第2の所定の値を満たすとき、その位置内に音声をレンダリングするための命令、複数のオブジェクトの状態の信頼性の表示が第3の所定の値を満たすとき、その位置内に背景音をレンダリングするための命令、ならびに複数のオブジェクトの状態の信頼性の表示が第4の所定の値を満たすとき、その位置内にフェードアウト遷移をレンダリングするための命令のうちの少なくとも1つを含む。複数のオブジェクトは、ゲームピースであり、背景はゲームボードである。複数のオブジェクトの状態は、互いに対する複数のオブジェクトの関係情報、背景に対する複数のオブジェクトの関係情報、互いに対する複数のオブジェクトの幾何学的関係、および背景に対する複数のオブジェクトの幾何学的関係のうちの少なくとも1つを含む。

コンピュータプログラム製品は、複数の拡張現実対応デバイス(ARD)を用いて複数のオブジェクトおよび背景を追跡するための命令と、複数のARDを通して複数のオブジェクトの状態を維持するための命令と、複数のオブジェクトの状態に応じて、複数のARD内に拡張をレンダリングするためのデータを提供するための命令とを含む。背景は、マットおよび壁のうちの少なくとも1つを含む。

本開示の態様によれば、いくつかの技法を使用して、画像フレーム内の特徴を識別および追跡することが実行され得る。一手法では、特徴を識別する方法は、各2×2勾配行列の最小固有値を検査することによって実行され得る。次いで、2つの窓の間の差を最小化するニュートン・ラフソン法を使用して特徴が追跡される。多重解像度追跡の方法は、画像間の比較的大きな変位を可能にする。あるフレームから次のフレームに特徴を追跡するの間、誤差が蓄積し得ることに留意されたい。潜在的に不良な特徴を検出するために、モバイルデバイスは、現在のフレーム内の特徴を囲む窓内の画像信号が、前のフレーム内の特徴を囲む窓内の画像信号に依然として類似するかどうかを監視するように構成され得る。多くのフレームを通して特徴を追跡することができるので、画像コンテンツは変形する場合がある。この課題に対処するために、相似またはアフィンマッピングを用いて、一貫性検査を実行することができる。

本開示の態様によれば、画像内のオブジェクトを識別するために、オブジェクト上の点を抽出して、そのオブジェクトの(キーポイント、特徴点、または略して特徴とも呼ばれる)特徴記述子を提供することができる。次いで、多くの他のオブジェクトを含むテスト画像内のオブジェクトの位置特定を試みるとき、トレーニング画像から抽出されたこの記述子を使用して、そのオブジェクトを識別することができる。信頼性が高い認識を実行するために、トレーニング画像から抽出された特徴は、画像スケール、雑音、および照度の変更下ですら、検出可能であり得る。そのような点は、通常、オブジェクトエッジなど、画像の高コントラスト領域に存在する。

これらの特徴の別の特性は、元のシーン内のこれらの特徴同士の間の相対的な位置は画像ごとに変わらない可能性があるということである。たとえば、扉の四隅だけが特徴として使用される場合、扉の位置にかかわらず、これらの四隅は機能し得るが、フレーム内の点が使用される場合、扉が開かれた場合、または閉じられた場合、認識は失敗する可能性がある。同様に、連結したオブジェクト内またはフレキシブルなオブジェクト内に位置する特徴は、処理されているセット内の2つの画像同士の間でその内部幾何形状に何らかの変更が発生した場合、一般に、機能しない可能性がある。いくつかの実装形態では、SIFTは、画像から多数の特徴を検出および使用し、これは、すべての特徴整合誤差の平均誤差における局所変化によって引き起こされる誤差の寄与を削減し得る。したがって、開示される方法は、クラッタ内ですら、および部分的な遮断を受けてすら、オブジェクトを識別することができるが、これは、SIFT特徴記述子が均一スケーリング、方向に対して不変であり得、アフィン歪み(affine distortion)および照度変化に対して部分的に不変であり得るからである。

たとえば、オブジェクトのキーポイントを、まず参照画像のセットから抽出して、データベース内に記憶することができる。新しい画像からの各特徴をこのデータベースと比較して、それらの特徴ベクトルのユークリッド距離に基づいて、候補整合特徴を見出すことによって、新しい画像内のオブジェクトが認識される。整合の完全セットから、新しい画像内のオブジェクトおよびその位置、スケール、ならびに方向に関して一致したキーポイントのサブセットを識別して、良好な整合をフィルタ除去することができる。一貫性のあるクラスタの判断は、生成されたハフ変換のハッシュ表実装形態を使用することによって実行され得る。オブジェクトおよびそのポーズに関して一致した、3つ以上の特徴の各クラスタは、次いで、さらに詳細なモデル検証を受けることが可能であり、その後、異常値が廃棄され得る。次いで、適合の精度と推定誤整合の数とに基づいて、特徴の特定のセットがオブジェクトの存在を示す確率を計算することが可能である。テストに合格するオブジェクト整合は、高い信頼性で正確として識別され得る。

本開示の態様によれば、画像特徴生成は、画像を、その各々が画像変換、スケーリング、および回転に対して不変であると同様に、照度変更に対しても不変であり得、局所的な幾何学的歪みに対して頑強であり得る特徴ベクトルの大きな収集物に変換する。これらの特徴は、霊長類の視覚内のオブジェクト認識に関して使用される下側頭皮質内の神経細胞と類似の性質を共有する。キー位置は、一連の平滑化および再サンプリングされた画像に対してスケール空間で適用されるガウス関数の差の結果の最大値および最小値として定義され得る。低コントラスト候補点、およびエッジに沿ったエッジ反応点を廃棄することができる。最も頻度の高い方向(dominant orientations)を局在化されたキーポイントに割り当てる。この手法は、整合および認識に関してキーポイントがより安定していることを保証する。次いで、キー位置の半径を囲む画素を考慮して、局所的な画像配向面のぼかしおよび再サンプリングによって、局所的なアフィン歪みに対して頑強なSIFT記述子が取得され得る。

特徴整合および索引付けは、SIFTキーを記憶することと、新しい画像から整合キーを識別することとを含み得る。一手法では、限定された量の計算を使用して、高い確率を有する最近隣を識別するために使用され得るベストビンファースト検索(best-bin-first search)方法とも呼ばれるk-dツリーアルゴリズムの修正。ベストビンファーストアルゴリズムは、特徴空間内のビンをクエリ位置から最近距離の順序で検索することができるように、k-dツリーアルゴリズムに関して、修正された検索順序を使用する。この検索順序は、検索順序を効率的に判断するために、ヒープベースの優先待ち行列(heap-based priority queue)の使用を必要とする。トレーニング画像からキーポイントのデータベース内のその最近隣を識別することによって、各キーポイントに関する最善の候補整合を見出すことができる。最近隣は、所与の記述子ベクトルから最小ユークリッド距離を有するキーポイントとして定義され得る。整合が正確である確率は、最近隣から第2の最近隣までの距離の率をとることによって判断され得る。

1つの例示的な実装形態では、距離比が0.8を超える整合は拒否されてよく、これは誤整合の90%を排除するのに対して、正確な整合の5%未満を廃棄する。ベストビンファーストアルゴリズムの効率をさらに改善するために、所定の数(たとえば、100個)の最近隣候補を検査した後、検索を止めることができる。100,000個のキーポイントのデータベースの場合、これは、正確な最近隣検索に関しておよそ2桁の加速を実現し得、さらに、正確な整合の数において5%未満の損失をもたらす。

この例示的な実装形態の場合、ハフ変換を使用して、信頼性が高いモデル仮説をクラスタ化して、特定のモデルポーズに関して一致するキーに関して検索することができる。その特徴に一致し得るオブジェクトポーズを決定する(vote)ための各特徴を使用することによって、一貫性のある解釈を用いて特徴のクラスタを識別するために、ハフ変換を使用することができる。特徴のクラスタがオブジェクトの同じポーズを決定することが見出されたとき、正確である解釈の確率は任意の単一の特徴に関するよりもより高い可能性がある。整合仮説からモデルの位置、方向、およびスケールを予測するために、ハッシュ表内に記入を生み出すことができる。ビン内の少なくとも3つの記入のクラスタを識別するためにハッシュ表を検索することができ、ビンをサイズの降順にソートすることができる。

本開示の態様によれば、SIFTキーポイントの各々は、2D位置、スケール、および方向を指定することができる。加えて、データベース内の各整合キーポイントは、その整合キーポイントが見出されるトレーニング画像に対するそのパラメータの記録を有し得る。これらの4つのパラメータによって暗示される相似変換は、3Dオブジェクトに関する6自由度のポーズ空間の近似値であり得、また任意の非剛体変形に対応しない。したがって、例示的な実装形態は、方向に関して30度の広いビンサイズ、2倍のスケール、および位置に関して(予測されたスケールを使用して)最大予想トレーニング画像寸法の0.25倍を使用することができる。より大きなスケールで生成されたSIFTキーサンプルには、より小さなスケールのSIFTキーサンプルよりも2倍の重みを与えることができる。この手法を用いると、より大きなスケールは、事実上、より小さなスケールで検査するための可能性が最も高い近隣をフィルタリングすることができる。この手法は、最も雑音の低いスケールにより大きな重みを与えることによって認識性能も改善する。本開示の態様によれば、ビン割当ての境界効果の課題を回避するために、各キーポイント整合は各次元内の2個の近接ビンを決定して、各仮説に関して合計で16個の記入を与えて、ポーズ範囲をさらに広げることができる。

本開示の態様によれば、所与のパラメータ解に関して、各画像特徴とモデルとの間の一致を検査することによって、異常値を除去することができる。たとえば、線形最小二乗解を考慮すると、各整合は、ハフ変換ビン内のパラメータに関して使用される誤差の半分の範囲内で一致することが必要とされ得る。異常値が廃棄されると、残りの点を用いて線形最小二乗解を解くことができ、このプロセスを反復することができる。いくつかの実装形態では、異常値を廃棄した後、所定数未満の点(たとえば、3個の点)が残る場合、整合は拒否され得る。加えて、トップダウン整合段階を使用して、相似変換近似値または他の誤差により、ハフ変換ビンから欠落している可能性がある、予測モデル位置に一致する任意のさらなる整合を追加することができる。

モデル仮説を受け入れるか、または拒否する決定は、詳細な確率モデルに基づくことが可能である。この方法は、まず、モデルの予測されたサイズと、領域内の特徴の数と、整合の精度とを考慮して、モデルポーズに対して予想される誤整合の数を計算する。次いで、ベイズ確率解析は、見出された実際の整合特徴数に基づいて、そのオブジェクトが存在し得る確率を出すことが可能である。正確な解釈に関する最終的な確率が所定の割合(たとえば、95%)を超える場合、モデルを受け入れることができる。

本開示の態様によれば、一手法では、クラッタ状況下または部分的な遮断状況下で対処するために、SIFTの回転不変量汎化(generalization)として、回転不変量特徴変換(RIFT:rotation invariant feature transform)方法を用いることができる。等しい幅の同心リングに分割された円正規化パッチ(circular normalized patches)を使用して、RIFT記述子を構築することが可能であり、各リング内の勾配方向ヒストグラムを計算することが可能である。回転不変を維持するために、中心から外に向かう方向に対して各点における方向を測定することができる。

別の手法では、正規化ロバスト不変特徴(G-RIF:generalized robust invariant feature)方法を使用することができる。G-RIFは、知覚的情報を空間符号化と組み合わせる統一形式でエッジ方向、エッジ密度、および色相情報を符号化する。オブジェクト認識方式は、近接コンテキストベースの決定を使用して、オブジェクトモデルを推定する。

さらに別の手法では、再現性、独自性、および頑強性に関して前に提案された方式をしのぐ可能性があるスケールおよび回転不変関心ポイント検出器(scale and rotation-invariant interest detector)/記述子を使用する高速化ロバスト特徴(SURF:speeded up robust feature)方法を使用することができる。SURFは、計算時間を削減するための画像畳み込み用の積分画像に依存し、(検出器に関する高速ヘシアン行列ベースの測定と、配分ベースの記述子とを使用する)優れた既存の検出器および記述子の強度に基づく。SURF方法は、関心ポイント近隣内のハールウェーブレット応答の配分を記述する。速度に関して積分画像を使用することができ、64次元を使用して、特徴計算および整合に関する時間を削減することができる。索引付けステップは、記述子の整合速度および頑強性を高めるラプラシアンの信号に基づくことが可能である。

さらに別の手法では、主成分分析SIFT(PCA-SIFT:principle component analysis SIFT)方法を使用することができる。いくつかの実装形態では、PCA-SIFT記述子は、サポート領域内で計算されたxおよびy方向の画像勾配のベクトルである。勾配領域は、39×39位置でサンプリングされ得る。したがって、ベクトルは次元3042のものであり得る。PCAを用いて、次元を36に削減することができる。さらに別の手法では、そのロバスト性および独自性を高めるように設計されたSIFT記述子の拡張である勾配位置方向ヒストグラム(GLOH:Gradient location-orientation histogram)方法を用いることができる。いくつかの実装形態では、SIFT記述子は、(半径が6、11、および15に設定される)半径方向に3個のビンと、角度方向に8個のビンとを有し、結果として17個の位置ビンを有するログ極性(log-polar)位置グリッドに関して計算され得る。中央ビンは、角度方向に分割されなくてよい。勾配方向は、16個のビン内で量子化されて、結果として、272ビンヒストグラムをもたらし得る。PCAを用いて、この記述子のサイズを削減することができる。様々な画像から収集された画像パッチに関して、PCAに関する共分散行列を推定することができる。次いで、記述のために128個の最も大きな固有ベクトルを使用することができる。

さらに別の手法では、現在のモバイルデバイス限界範囲内で、2オブジェクト認識アルゴリズム(two-object recognition algorithm)を使用するために用いることができる。典型的なSIFT手法とは対照的に、特徴検出のために、加速セグメントテストからの特徴(FAST:Features from Accelerated Segment Test)コーナー検出器を使用することができる。この手法は、特徴が異なるスケールレベルで作成され得るオフライン準備段階と、特徴が、モバイルデバイスのカメラの画像の現在の固定スケールレベルで作成され得るオンライン段階とを区別する。1つの例示的な実装形態では、特徴は、所定の固定パッチサイズ(たとえば、15×15画素)から作成されることが可能であり、36次元を有するSIFT記述子を形成する。認識パイプライン内にスケーラブルな語彙ツリー(scalable vocabulary tree)を統合することによって、この手法をさらに拡張することが可能である。これは、モバイルデバイス上の多数のオブジェクトの効率的な認識を可能にする。

本開示の態様によれば、局所画像特徴の検出および記述は、オブジェクト認識に役立つ可能性がある。SIFT特徴は、局所的であり得、特定の関心ポイントにおけるオブジェクトの外観に基づくことが可能であり、画像のスケールおよび回転に対して不変であり得る。SIFT特徴は、やはり、照度、雑音の変化、および視野内の微小変化に対して頑強であり得る。これらの特性に加えて、これらの特徴は非常に特徴的であり得、抽出が比較的容易であり得、低い不整合確率で正確なオブジェクト識別を可能にし得る。これらの特徴は、局所特徴の(大型)データベースに対して比較的に容易に整合することができ、ベストビンファースト検索を用いたK次元(k-d)ツリーなど、一般に確率的なアルゴリズムを使用することができる。SIFT特徴のセットによるオブジェクト記述は、部分的な遮断に対しても頑強であり得る。たとえば、オブジェクトからわずか3個のSIFT特徴はその位置およびポーズを計算するのに十分であり得る。いくつかの実装形態では、認識は、小型データベースに関して、現代的なコンピュータハードウェア上で、疑似リアルタイムで実行され得る。

本開示の態様によれば、カメラの視野内のオブジェクトを移動させることによってもたらされる異常値を除去するために、ランダムサンプルコンセンサス(RANSAC)技法を用いることができる。RANSCAは、異常値を含む、観測されたデータのセットから数学モデルのパラメータを推定するために反復方法を使用することに留意されたい。この方法は関連する確率を有する合理的な結果を生み出すため、この方法は非決定論的であり得、より多くの反復が実行されるにつれて、確率を高めることができる。

1つの例示的な実装形態では、観測されたデータ値のセット、対応する信頼性パラメータを有する観測に適合し得るパラメータ化されたモデル。この例示的な実装形態では、この方法は、元のデータのランダムサブセットを反復的に選択する。これらのデータは、仮説的正常値であり得、この仮説は、次いで、次のようにテストされ得る。
1.モデルは仮説的正常値に適合し得、すなわち、モデルのすべての自由パラメータは正常値から再構築される。
2.次いで、適合モデルに対してすべての他のデータをテストすることができ、点が推定モデルに十分適合する場合、その点を仮説的に正常値であると見なすことができる。
3.十分な数の点が仮説的正常値として分類されている場合、推定モデルを許容可能と見なすことができる。
4.モデルは仮説的正常値の初期セットからだけ推定されているので、すべての仮説的正常値からモデルを再度推定することができる。
5.最終的に、モデルに対する正常値の誤差を推定することによって、モデルを評価することができる。

上記の手順を所定回数繰り返し、毎回、あまりにも少ない点が正常値として分類されているので拒否され得るモデル、または対応する誤差測定とともに精緻化されたモデルのいずれかを生み出すことができる。後者の場合、誤差が前に保存されたモデルよりも低い場合、精緻化されたモデルを維持することができる。

別の例示的な実装形態では、モデルベースの動き追跡方法を使用して、カメラの視野内の移動オブジェクトを積極的に識別および除去することができる。一手法では、追跡の対象は、モデル認識の問題として処理され得る。ターゲットの2進表現を追跡することができ、ハウスドルフ距離ベースの検索を使用して、対象物に関する画像の領域を検索することができる。ターゲット(モデル)の2進表現の場合、ガウス平滑化画像の標準キャニーエッジ(canny edge)検出器からの出力は、モデル履歴の概念を用いて拡張され得る。各フレームで、現在の画像および現在のモデルからのキャニーエッジを使用して、各ターゲットに関してハウスドルフ検索を実行することができる。加えて、アフィン推定を実行して、正味背景運動を概算することができる。これらの2つの検索の結果から、ターゲットに関する情報を収集して、ターゲットの動きを概算するため、ならびに、ターゲットの領域内の動きから背景を分離するために、この情報を使用することができる。(オブジェクトが遮断されて影になる、オブジェクトがフレームを離れる、またはカメラ画像の歪みが不良な画像品質をもたらすなど)有害/異常状態に対処することを可能にするために、ターゲットの過去の動きおよびサイズ変更、ターゲットの特徴的視野(ターゲットが追跡されてきた様々な様式の正確な表現を実現する、時間を通じたスナップショット)、および過去の整合品質など、ターゲットに関する履歴データを保持することが可能である。

ターゲットを追跡する履歴は、有害/異常状態を単に補助する以上に有用な可能性があり、固体運動追跡方法の一部は、フレームごとの動き比較方法だけでなく、履歴データを必要とする場合がある。この履歴状態は、何をターゲットの一部と見なすべきであるか(たとえば、同じ速度で移動するオブジェクトに近接して移動する物をオブジェクト内に組み込むべきであること)をどのように決定するかに関する情報を提供することができ、動きおよびサイズに関する情報を用いて、この方法は、失われた対象がどこに行ったか、またはその対象がどこに再現し得るかを予測的に推定することができる(これは、フレームを離れて、後の時点で再現するターゲットを回復する際に有用である)。

動き追跡方法の本質的な課題は、(静的カメラとは対照的に)カメラは任意の動きを有する場合があり、これはカメラの動きの予測不可能な変化に対処し得る追跡システムの開発を困難にすることによってもたらされる場合がある。計算的に効率的なアフィン背景推定方式を使用して、カメラおよびシーンの動きに関する情報を提供することが可能である。

本開示の態様によれば、画像に関するアフィン変換を、時間t+dtの画像に対して、時間tで実行することができ、これは、2つの画像内の動きを相関することを可能にする。この背景情報は、この方法が、時間tの画像から時間t+dtの画像を合成することと、正味シーン動作の近似であり得るアフィン変換とを可能にする。t+dtにおける実際の画像とt+dtにおける生成画像との差を利用して、ターゲットを取り巻く空間から画像特徴を除去することができるので、この合成画像は、新しいモデル情報を生成して、モデル空間から背景クラッタを除去する際に有用であり得る。

検索空間を浄化するためのツールとしてアフィン変換を使用することに加えて、ターゲットの座標移動を正規化するためにこの合成画像を使用することも可能であり、背景がどのように移動し得るかを追跡するためのベクトルと、ターゲットがどのように移動し得るかを追跡するためのベクトルとを有することによって、2つのベクトルの差を利用して、背景に対するターゲットの動きを記述するベクトルを生成することができる。このベクトルは、この方法が、ターゲットがどこにいるべきかを予測的に整合し、有害状態を予期することを可能にする(たとえば、動きの方向を見越すことは、近づきつつある障害に関する手掛かりを提供すると同様に、有害状態の場合、オブジェクトがどこに存在し得るかを追跡することができる)。オブジェクトが有害状態に入ったとき、この方法は、背景運動を推定することが依然として可能であり、モデルの前の動きの知識とともにその推定を使用して、モデルがどこに再現する可能性があるか、またはフレームに再び入る可能性があるかを推測することができる。

背景推定は、オブジェクトの長期的追跡における主な要因であり得る。背景推定なしに、短期的追跡を実行することが可能であるが、ある時間期間後には、背景の良好な推定なしに、オブジェクトの歪みおよび危険に効果的に対処するのは困難な場合があることに留意されたい。

本開示の態様によれば、整合演算子としてハウスドルフ距離を使用することの利点のうちの1つは、ハウスドルフ距離は、整合の間、形状の変化に対して極めて耐性であり得ることであるが、整合演算子としてハウスドルフ距離を使用することは、追跡されているオブジェクトをより正確に定義することを必要とする場合がある。

一手法では、時間t+1画像から新しいモデルを捕える直線膨張(straight dilation)ベースの方法を使用することができる。(発生することが非常に多い)オブジェクトに近接する非オブジェクト特徴が存在し得る、いくつかの状況では、膨張方法はシーン全体をモデル内にゆっくりと組み込むことが可能であるので、この方法は効果的でない場合があることに留意されたい。したがって、モデル形状の変化に対して耐性があり得る、フレームごとにモデルを更新するが、あまり緩やか(relaxed)ではなく、そのため、非モデル画素のモデル内への組込みを採用することができる。1つの例示的な実装形態は、背景除去と、現在のモデル整合窓に前のモデルを追加して、安定した画素と思われるもの、ならびに、安定していない可能性があるので、経時的にモデルから排除される可能性、またはモデル内に組み込まれる可能性のいずれかがある、それらの画素を取り巻く新しい画素の利用との組合せを使用することである。この手法は、画像内のクラッタからモデルを比較的清浄に保つ際に効果的であり得る。たとえば、この手法を用いると、トラックに近接する道路はもはや画素ごとにモデル内に引き込まれない。モデルは膨張しているように見える場合があるが、これはそれらのモデルがどのように構築されているかの履歴的な影響の結果である場合があるが、この方法は、場合によっては、次のフレーム内で整合するより多くのモデル画素を有し得るので、検索結果をより明確にする特徴も有し得ることに留意されたい。

各フレームにおいて、実行されるべきかなりの量の計算が存在し得ることに留意されたい。いくつかの実装形態によれば、モバイルデバイスは、各ターゲットの平滑化/特徴抽出、ハウスドルフ整合(たとえば、モデルごとに1つの整合)、ならびに、アフィン背景推定を実行するように構成され得る。これらの動作の各々は、個々に、非常に計算的に高価であり得る。モバイルデバイス上でリアルタイム性能を達成するために、設計は、可能な限り並行処理を使用するように構成され得る。

少なくとも段落[0088]〜[0090]、図1〜図2、図11、およびそれらの対応する説明は、画像から導出された視覚情報に少なくとも一部基づいて、複数のオブジェクトおよび背景を追跡するための手段と、視覚情報以外の情報に少なくとも一部基づいて、複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するための手段と、複数のオブジェクトの状態に応じて、拡張をレンダリングするためのデータを提供するための手段とを提供することに留意されたい。

本明細書において説明される方法論およびモバイルデバイスは、アプリケーションに応じて種々の手段によって実施することができる。たとえば、これらの方法論は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実施され得る。ハードウェアの実施態様の場合、処理ユニットは、本明細書で説明される機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタルシグナルプロセシングデバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せ内で実現することができる。本明細書では、「制御論理回路」という用語は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せによって実装された論理回路を包含する。

ファームウェアおよび/またはソフトウェアの実施態様の場合、それらの方法論は、本明細書において説明される機能を実行するモジュール(たとえば、手順、関数など)によって実施することができる。命令を有形に具現化するいずれの機械可読媒体も、本明細書で説明される方法論の実施において使用され得る。たとえば、ソフトウェアコードは、メモリに記憶され、処理ユニットによって実行され得る。メモリは、処理ユニット内に実装され、または処理ユニットの外部に実装される可能性がある。本明細書において用いられるときに、「メモリ」という用語は、長期、短期、揮発性、不揮発性、または他の記憶デバイスのいずれかのタイプを指しており、任意の特定のタイプのメモリもしくはメモリの数には限定されず、あるいはメモリが格納される媒体のタイプに関して限定されない。

ファームウェアおよび/またはソフトウェアに実装される場合、機能は、コンピュータ可読媒体に1つまたは複数の命令またはコードとして記憶され得る。例は、データ構造によって符号化されたコンピュータ可読媒体およびコンピュータプログラムによって符号化されたコンピュータ可読媒体を含む。コンピュータ可読媒体は製造物品の形態をとり得る。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の使用可能な媒体である可能性がある。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または所望のプログラムコードを命令もしくはデータ構造の形で記憶するために使用され、コンピュータによってアクセスされ得る任意の他の媒体を含むことができ、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

コンピュータ可読媒体に記憶するのに加えて、命令および/またはデータは、通信装置に含まれる伝送媒体上の信号として与えられ得る。たとえば、通信装置は、命令およびデータを示す信号を有するトランシーバを含み得る。命令およびデータは、少なくとも1つのプロセッサに特許請求の範囲において概説する機能を実施させるように構成される。すなわち、通信装置は、開示する機能を実行するための情報を示す信号を有する伝送媒体を含む。第1の時間において、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第1の部分を含んでよく、一方、第2の時間において、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第2の部分を含んでよい。

本開示は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などの、種々のワイヤレス通信ネットワークとともに実現することができる。「ネットワーク」および「システム」という用語は、しばしば互換的に使用される。「位置」および「場所」という用語は、しばしば互換的に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE:Long Term Evolution)ネットワーク、WiMAX(IEEE802.16)ネットワークなどとすることができる。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95規格、IS-2000規格、およびIS-856規格を含む。TDMAネットワークは、Global System for Mobile Communications(GSM(登録商標))、Digital Advanced Mobile Phone System(D-AMPS)、または何らかの他のRATを実装することができる。GSM(登録商標)およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書に記載されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書に記述される。3GPPおよび3GPP2の文書は、公的に入手可能である。WLANは、IEEE802.11xネットワークであり得、またWPANはBluetooth(登録商標)ネットワーク、IEEE802.15x、または何らかの他のタイプのネットワークであり得る。また、本技法は、WWAN、WLAN、および/またはWPANの任意の組合せとともに実施することができる。

移動局は、セルラー通信デバイスもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、またはワイヤレス通信および/もしくはナビゲーション信号を受信することができる他の適切なモバイルデバイスなどのデバイスを指している。「移動局」という用語はまた、短距離ワイヤレス接続、赤外線接続、ワイヤライン接続、または他の接続などによって、パーソナルナビゲーションデバイス(PND)と通信するデバイスを、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、またはPNDにおいて行われるかにかかわらず含むことが意図される。また、「移動局」は、インターネット、Wi-Fi、または他のネットワークなどを介してサーバとの通信が可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらず含むことが意図される。上記の任意の動作可能な組合せも「移動局」と見なされる。

何かが「最適化される」、「必要とされる」という指摘または他の指摘は、最適化されるシステム、または「必要とされる」要素が存在するシステムのみに本開示が適用されること(または他の指摘に起因する他の制限)を示すものではない。これらの表現は、特定の説明された実装形態のみを指す。当然、多くの実装形態が可能である。本技法は、開発中であるか今後開発されるプロトコルを含む、本明細書で論じるプロトコル以外のプロトコルで使用できる。

同じ基本的な根底をなす機構および方法を依然として使用しながら、開示される実施形態の多くの可能な変更および組合せを使用できることを、当業者は認識されよう。上記の説明は、説明の目的で、特定の実施形態に関して書かれている。しかしながら、上で示した論述は網羅的なものでも、あるいは本開示を開示された厳密な形態に限定しようとするものでもない。多くの修正および変形が、上記の教示に鑑みて可能である。本開示の原理およびその実際の適用について説明するために、また、企図される特定の用途に合わせて様々な修正を加えて本開示および様々な実施形態を他の当業者が最善の形で利用できるように、実施形態が選択され、説明されている。

10 オブジェクト
12 参照背景、背景
14 拡張現実対応デバイス(ARD)
16 拡張環境、拡張
18 有形壁、壁
19 テーブル
22 浴槽
25 犬
30 ユーザ
32 アニメーション化された浴槽
35 スーパードッグ
36 仮想窓
37 仮想扉
38 仮想壁
39 ゴム製のアヒル
101 ハウジング
108 カメラ
109 センサ
110 ユーザインターフェース
112 ディスプレイ
114 キーパッド
116 マイクロフォン
118 スピーカ
120 制御ユニット
122 プロセッサ
124 メモリ/記憶装置
126 ソフトウェア
128 ハードウェア
130 ファームウェア
132 追跡ユニット
134 拡張現実ユーザインターフェースユニット
136 RFIDコントローラ

Claims (40)

1. 拡張現実対応デバイス(ARD)とともに使用するための方法であって、
   画像から導出された視覚情報に少なくとも一部基づいて、複数のオブジェクトおよび背景を追跡するステップと、
   前記視覚情報以外の情報に少なくとも一部基づいて、前記複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するステップであって、前記ARDの視野内の前記複数のオブジェクトの第1のセットの状態を維持するステップと、前記ARDの視野外の前記複数のオブジェクトの第2のセットの状態を維持するステップとを含む、ステップと、
   前記複数のオブジェクトの前記状態に応じて、拡張をレンダリングするためのデータを提供するステップと、
   前記ARDの視野外の前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトを追跡するステップと、
   前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトがもはや存在しないことを判断するステップと、
   前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトの位置内にフェードアウト遷移および背景音のうちの少なくとも1つをレンダリングするステップとを含む方法。
2. 追跡する前記ステップが、
   前記ARDに対する前記複数のオブジェクトの相対的なポーズを判断するステップと、
   前記相対的なポーズを使用して、前記複数のオブジェクトの状態を更新するステップであって、前記複数のオブジェクトの前記状態が、前記複数のオブジェクトの関係情報を含む、更新するステップと
   を含む、3次元追跡を実行するステップを含む、請求項1に記載の方法。
3. 相対的なポーズを判断する前記ステップが、
   前記画像内の新しいオブジェクトを検出するステップと、
   前記新しいオブジェクトを含めるために、前記複数のオブジェクトを更新するステップと
   を含む、請求項2に記載の方法。
4. 追跡する前記ステップが、前記少なくとも1つのオブジェクトが前記ARDの視野内にあるとき、視野情報を使用して、前記複数のオブジェクトのうちの少なくとも1つを追跡するステップを含み、
   維持する前記ステップが、前記少なくとも1つのオブジェクトが視野外にあるとき、前記視覚情報以外の前記情報を使用して、前記少なくとも1つのオブジェクトの前記状態を維持するステップを含む、請求項1に記載の方法。
5. 前記ARDの視野外の前記複数のオブジェクトの第2のセットの状態を維持する前記ステップが、
   前記ARDの視野内の前記複数のオブジェクトの前記第1のセットに対する前記複数のオブジェクトの前記第2のセットのオフセットを追跡するステップと、
   前記オフセットを使用して、前記複数のオブジェクトの前記第2のセットの位置を判断するステップと
   を含む、請求項1に記載の方法。
6. 前記ARDの視野外の前記複数のオブジェクトの第2のセットの状態を維持する前記ステップが、
   前記ARDの視野外の前記複数のオブジェクトの前記第2のセットに対する前記ARDの相対的な移動を追跡するステップと、
   前記ARDの位置と前記相対的な移動とを使用して、前記複数のオブジェクトの前記第2のセットの位置を判断するステップと
   を含む、請求項1に記載の方法。
7. 前記ARDの相対的な移動を追跡する前記ステップが、
   視覚的走行距離計測法、
   加速度計を用いた推測航法、および
   ジャイロスコープを用いた推測航法
   のうちの少なくとも1つに少なくとも一部基づく、請求項6に記載の方法。
8. 前記ARDの視野外の前記複数のオブジェクトの第2のセットの状態を維持する前記ステップが、
   前記複数のオブジェクトの相対的な位置を判断するために、ワイヤレス信号に関する情報を受信するステップと、
   前記受信した情報を使用して、前記複数のオブジェクトの前記第2のセットの位置を更新するステップと
   を含む、請求項1に記載の方法。
9. 前記ワイヤレス信号が、前記複数のオブジェクトの前記第2のセット内の少なくとも1つのオブジェクトに取り付けられたRFIDタグから前記ARDによって受信される、請求項8に記載の方法。
10. 前記ワイヤレス信号が、近距離通信信号およびBluetooth(登録商標)信号のうちの少なくとも1つを含む、請求項8に記載の方法。
11. 前記背景が、前記複数のオブジェクトの前記相対的な位置を検出するように構成された1つまたは複数のセンサを含むマットを含み、前記情報が前記1つまたは複数のセンサによって検出された前記複数のオブジェクトの前記相対的な位置を示す、請求項8に記載の方法。
12. 前記情報が、前記ARDにおいて受信されている前記ワイヤレス信号に基づいて、前記ARDに統合されたプロセッサまたはチップにおいて受信される、請求項8に記載の方法。
13. 前記ARDの視野外の前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトを追跡するステップと、
    前記複数のオブジェクトの前記第2のセット内の少なくとも1つのオブジェクトが依然として存在することを判断するステップと、
    前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトの位置内に音声およびグラフィックスのうちの少なくとも1つをレンダリングするステップと
    を含む、請求項1に記載の方法。
14. 前記ARDが、第1のオブジェクトが位置することが予想される位置にパンして、前記第2のセット内の第1のオブジェクトが前記位置に存在しないことが判断されるとき、前記第1のオブジェクトを追跡するのを終了するステップと、
    前記第1のオブジェクトに関連する音声拡張を終了するステップと
    をさらに含む、請求項1に記載の方法。
15. 新しいシーンが検出されたとき、前記第2のセット内の第1のオブジェクトを追跡することを終了するステップと、
    前記第1のオブジェクトに関連する音声拡張を終了するステップと
    をさらに含む、請求項1に記載の方法。
16. 複数のオブジェクトがゲームピースであり、背景がゲームボードである、請求項1に記載の方法。
17. 前記複数のオブジェクトの前記状態が、
    互いに対する前記複数のオブジェクトの関係情報、
    前記背景に対する前記複数のオブジェクトの関係情報、
    互いに対する前記複数のオブジェクトの幾何学的関係、および
    前記背景に対する前記複数のオブジェクトの幾何学的関係
    のうちの少なくとも1つを含む、請求項1に記載の方法。
18. 複数の拡張現実対応デバイス(ARD)を用いて、前記複数のオブジェクトおよび前記背景を追跡するステップと、
    前記複数のARDを通して前記複数のオブジェクトとの状態を維持するステップと、
    前記複数のオブジェクトの前記状態に応じて、前記複数のARD内に拡張をレンダリングするためのデータを提供するステップと
    を含む、請求項1に記載の方法。
19. 前記背景が、
    マット、および
    壁
    のうちの少なくとも1つを含む、請求項1に記載の方法。
20. 処理論理を含む制御ユニットであって、前記処理論理が、
    画像から導出された視覚情報に少なくとも一部基づいて、複数のオブジェクトおよび背景を追跡するように構成された論理手段と、
    前記視覚情報以外の情報に少なくとも一部基づいて、前記複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するように構成された論理手段であって、拡張現実対応デバイス(ARD)の視野内の前記複数のオブジェクトの第1のセットの状態を維持するように構成された論理手段と、前記ARDの視野外の前記複数のオブジェクトの第2のセットの状態を維持するように構成された論理手段を含む、論理手段と、
    前記複数のオブジェクトの前記状態に応じて、拡張をレンダリングするためのデータを提供するように構成された論理手段と、
    前記ARDの視野外の前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトを追跡するように構成された論理手段と、
    前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトがもはや存在しないことを判断するように構成された論理手段と、
    前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトの位置内にフェードアウト遷移および背景音のうちの少なくとも1つをレンダリングするように構成された論理手段と
    を備える拡張現実対応デバイス。
21. 追跡するように構成された前記論理手段が、
    前記ARDに対する前記複数のオブジェクトの相対的なポーズを判断するように構成された論理手段と、
    前記相対的なポーズを使用して、前記複数のオブジェクトの状態を更新することであって、前記複数のオブジェクトの前記状態が、前記複数のオブジェクトの関係情報を含む、更新することを行うように構成された論理手段と
    を含む、3次元追跡を実行することを含む、請求項20に記載の拡張現実対応デバイス。
22. 相対的なポーズを判断するように構成された前記論理手段が、
    前記複数のオブジェクトの前に捕捉された画像に関して、前記複数のオブジェクトのポーズを検出するように構成された論理手段
    を含む、請求項21に記載の拡張現実対応デバイス。
23. 相対的なポーズを判断するように構成された前記論理手段が、
    前記画像内の新しいオブジェクトを検出するように構成された論理手段と、
    前記新しいオブジェクトを含めるために、前記複数のオブジェクトを更新するように構成された論理手段と
    を含む、請求項21に記載の拡張現実対応デバイス。
24. 前記ARDの視野外の前記複数のオブジェクトの第2のセットの状態を維持するように構成された前記論理手段が、
    前記ARDの視野内の前記複数のオブジェクトの前記第1のセットに対する前記複数のオブジェクトの前記第2のセットのオフセットを追跡するように構成された論理手段と、
    前記オフセットを使用して、前記複数のオブジェクトの前記第2のセットの位置を判断するように構成された論理手段と
    を含む、請求項21に記載の拡張現実対応デバイス。
25. 前記ARDの視野外の前記複数のオブジェクトの第2のセットの状態を維持するように構成された前記論理手段が、
    前記ARDの視野外の前記複数のオブジェクトの前記第2のセットに対する前記ARDの相対的な移動を追跡するように構成された論理手段と、
    前記ARDの位置と前記相対的な移動とを使用して、前記複数のオブジェクトの前記第2のセットの位置を判断するように構成された論理手段と
    を含む、請求項21に記載の拡張現実対応デバイス。
26. 前記ARDの相対的な移動を追跡するように構成された前記論理手段が、
    視覚的走行距離計測法、
    加速度計を用いた推測航法、および
    ジャイロスコープを用いた推測航法のうちの少なくとも1つに少なくとも一部基づく、請求項25に記載の拡張現実対応デバイス。
27. 前記ARDの視野外の前記複数のオブジェクトの第2のセットの状態を維持するように構成された前記論理手段が、
    前記複数のオブジェクトの相対的な位置を判断するために、ワイヤレス信号に関する情報を受信するように構成された論理手段と、
    前記受信した情報を使用して、前記複数のオブジェクトの前記第2のセットの位置を更新するように構成された論理手段と
    を含む、請求項21に記載の拡張現実対応デバイス。
28. 前記ワイヤレス信号が、前記複数のオブジェクトの前記第2のセット内の少なくとも1つのオブジェクトに取り付けられたRFIDタグから前記ARDによって受信される、請求項27に記載の拡張現実対応デバイス。
29. 前記ワイヤレス信号が、近距離通信信号およびブルートゥース信号のうちの少なくとも1つを含む、請求項27に記載の拡張現実対応デバイス。
30. 前記背景が、前記複数のオブジェクトの前記相対的な位置を検出するように構成された1つまたは複数のセンサを含むマットを含み、前記情報が前記1つまたは複数のセンサによって検出された前記複数のオブジェクトの前記相対的な位置を示す、請求項27に記載の拡張現実対応デバイス。
31. 前記情報が、前記ARDにおいて受信されている前記ワイヤレス信号に基づいて、前記ARDに統合されたプロセッサまたはチップにおいて受信される、請求項27に記載の拡張現実対応デバイス。
32. 前記ARDの視野外の前記複数のオブジェクトの前記第2のセット内の少なくとも1つのオブジェクトを追跡するように構成された論理手段と、
    前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトが依然として存在することを判断するように構成された論理手段と、
    前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトの位置内に音声およびグラフィックスのうちの少なくとも1つをレンダリングするように構成された論理手段と
    をさらに備える、請求項21に記載の拡張現実対応デバイス。
33. 前記ARDが、第1のオブジェクトが位置することが予想される位置にパンして、前記第2のセット内の第1のオブジェクトが前記位置に存在しないことが判断されるとき、前記第1のオブジェクトを追跡するのを終了するように構成された論理手段と、
    前記第1のオブジェクトに関連する音声拡張を終了するように構成された論理手段と
    をさらに備える、請求項21に記載の拡張現実対応デバイス。
34. 新しいシーンが検出されたとき、前記第2のセット内の第1のオブジェクトを追跡することを終了するように構成された論理手段と、
    前記第1のオブジェクトに関連する音声拡張を終了するように構成された論理手段と
    をさらに備える、請求項21に記載の拡張現実対応デバイス。
35. 複数のオブジェクトがゲームピースであり、背景がゲームボードである、請求項21に記載の拡張現実対応デバイス。
36. 前記複数のオブジェクトの前記状態が、
    互いに対する前記複数のオブジェクトの関係情報、
    前記背景に対する前記複数のオブジェクトの関係情報、
    互いに対する前記複数のオブジェクトの幾何学的関係、および
    前記背景に対する前記複数のオブジェクトの幾何学的関係
    のうちの少なくとも1つを含む、請求項21に記載の拡張現実対応デバイス。
37. 複数の拡張現実対応デバイス(ARD)を用いて、前記複数のオブジェクトおよび前記背景を追跡するように構成された論理手段と、
    前記複数のARDを通して前記複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するように構成された論理手段と、
    前記複数のオブジェクトの前記状態に応じて、前記複数のARD内に拡張をレンダリングするためのデータを提供するように構成された論理手段と
    をさらに備える、請求項21に記載の拡張現実対応デバイス。
38. 前記背景が、
    マット、および
    壁
    のうちの少なくとも1つを含む、請求項21に記載の拡張現実対応デバイス。
39. 1つまたは複数のコンピュータシステムによって実行される命令を記憶する非一時的記録媒体であって、前記命令が、
    画像から導出された視覚情報に少なくとも一部基づいて、複数のオブジェクトおよび背景を追跡するための命令と、
    前記視覚情報以外の情報に少なくとも一部基づいて、前記複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するための命令であって、拡張現実対応デバイス(ARD)の視野内の前記複数のオブジェクトの第1のセットの状態を維持するための命令と、前記ARDの視野外の前記複数のオブジェクトの第2のセットの状態を維持するための命令とを含む、命令と、
    前記複数のオブジェクトの前記状態に応じて、拡張をレンダリングするためのデータを提供するための命令と、
    前記ARDの視野外の前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトを追跡するための命令と、
    前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトがもはや存在しないことを判断するための命令と、
    前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトの位置内にフェードアウト遷移および背景音のうちの少なくとも1つをレンダリングするための命令とを含む非一時的記録媒体。
40. 画像から導出された視覚情報に少なくとも一部基づいて、複数のオブジェクトおよび背景を追跡するための手段と、
    前記視覚情報以外の情報に少なくとも一部基づいて、前記複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態を維持するための手段であって、拡張現実対応デバイス(ARD)の視野内の前記複数のオブジェクトの第1のセットの状態を維持するための手段と、前記ARDの視野外の前記複数のオブジェクトの第2のセットの状態を維持するための手段とを含む、手段と、
    前記複数のオブジェクトの前記状態に応じて、拡張をレンダリングするためのデータを提供するための手段と、
    前記ARDの視野外の前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトを追跡するための手段と、
    前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトがもはや存在しないことを判断するための手段と、
    前記複数のオブジェクトの前記第2のセット内の前記少なくとも1つのオブジェクトの位置内にフェードアウト遷移および背景音のうちの少なくとも1つをレンダリングするための手段と
    を含むシステム。

Images