JP7682048B2 - ユーザインターフェースメニューのコンテキスト認識 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１６年５月２０日に出願され“ＣＯＮＴＥＸＴＵＡＬ ＡＷＡＲＥＮＥＳＳ ＯＦ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ ＭＥＮＵＳ”と題された米国仮出願第６２／３３９，５７２号、２０１６年８月２９日に出願され“ＡＵＧＭＥＮＴＥＤ ＣＯＧＮＩＴＩＯＮ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ”と題された米国仮出願第６２／３８０，８６９号に対する３５ Ｕ．Ｓ．Ｃ． § １１９（ｅ）のもとでの優先権の利益を主張するものであり、これらの開示は、全体として本明細書中に参照により援用される。

本開示は、仮想現実および拡張現実イメージングならびに可視化システムに関し、より具体的には、コンテキスト情報に基づいて、仮想オブジェクトを提示および選択することに関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界との融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生成は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、ならびにＭＲ技術に関連する種々の課題に対処する。

一実施形態では、ユーザの３次元（３Ｄ）環境内で仮想コンテンツを生成するためのウェアラブルシステムが、開示される。ウェアラブルシステムは、仮想コンテンツを３Ｄビューでユーザに提示するように構成される、拡張現実ディスプレイと、ユーザの位置または配向データを入手し、位置または配向データを分析し、ユーザの姿勢を識別するように構成される、姿勢センサと、姿勢センサおよびディスプレイと通信する、ハードウェアプロセッサとを備えることができる。ハードウェアプロセッサは、少なくとも部分的に、ユーザの姿勢に基づいて、３Ｄ環境内のユーザの環境の中の物理オブジェクトを識別し、物理オブジェクトとの相互作用を開始するためのインジケーションを受信し、物理オブジェクトと関連付けられる、ユーザの環境内の仮想オブジェクトのセットを識別し、物理オブジェクトと関連付けられたコンテキスト情報を決定し、仮想オブジェクトのセットをフィルタリングし、コンテキスト情報に基づいて、仮想オブジェクトのサブセットを仮想オブジェクトのセットから識別し、仮想オブジェクトのサブセットを含む、仮想メニューを生成し、少なくとも部分的に、決定されたコンテキスト情報に基づいて、仮想メニューを提示するための３Ｄ環境内の空間場所を決定し、拡張現実ディスプレイによって、仮想メニューを空間場所に提示するようにプログラムされることができる。

別の実施形態では、ユーザの３次元（３Ｄ）環境内で仮想コンテンツを生成するための方法が、開示される。本方法は、姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別するステップと、少なくとも部分的に、姿勢に基づいて、ユーザの３Ｄ環境内の相互作用可能オブジェクトを識別するステップと、相互作用可能オブジェクトとの相互作用を開始するためのインジケーションを受信するステップと、相互作用可能オブジェクトと関連付けられたコンテキスト情報を決定するステップと、コンテキスト情報に基づいて、相互作用可能オブジェクト上で利用可能なユーザインターフェース動作のセットからユーザインターフェース動作のサブセットを選択するステップと、ユーザインターフェース動作のサブセットを３Ｄビューでユーザに提示するための命令を生成するステップとを含むことができる。

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、ならびに請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
ユーザの３次元（３Ｄ）環境内で仮想コンテンツを生成するための方法であって、前記方法は、
姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別することと、
少なくとも部分的に、前記姿勢に基づいて、前記ユーザの３Ｄ環境内の壁を識別することと、
前記壁との相互作用を開始するためのインジケーションを受信することと、
前記壁と関連付けられたコンテキスト情報を決定することと、
前記コンテキスト情報に基づいて、前記壁上で利用可能なユーザインターフェース動作のセットからユーザインターフェース動作のサブセットを選択することと、
前記ユーザインターフェース動作のサブセットを３Ｄビューで前記ユーザに提示するための命令を生成することと
を含む、方法。
（項目２）
前記姿勢は、眼視線、頭部姿勢、またはジェスチャのうちの少なくとも１つを含む、項目１に記載の方法。
（項目３）
前記壁を識別することは、前記ユーザの頭部姿勢に基づいて、円錐投射を実施することを含む、項目１に記載の方法。
（項目４）
前記コンテキスト情報は、前記壁の表面の配向を含み、前記ユーザインターフェース動作のサブセットを選択することは、前記配向を有する表面上で実施され得るユーザインターフェース動作を識別することを含む、項目１に記載の方法。
（項目５）
前記壁との相互作用を開始するためのインジケーションは、ユーザ入力デバイスの作動または前記ユーザの姿勢の変化を含む、項目１に記載の方法。
（項目６）
前記ユーザの生理学的パラメータを受信することと、前記ユーザの心理学的状態を決定することとをさらに含み、前記心理学的状態は、前記ユーザ相互作用のサブセットを選択するための前記コンテキスト情報の一部である、項目１に記載の方法。
（項目７）
生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも１つに関連する、項目６に記載の方法。
（項目８）
前記ユーザ相互作用のサブセットを３Ｄビューで前記ユーザに提示するための命令を生成することは、前記ユーザインターフェース動作のサブセットを含む仮想メニューを生成することと、前記壁の特性に基づいて、前記仮想メニューの空間場所を決定することと、前記ユーザの３Ｄ環境内の空間場所における前記仮想メニューの提示のための表示命令を生成することとを含む、項目１に記載の方法。

図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。 図２は、ウェアラブルシステムの実施例を図式的に図示する。 図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。 図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。 図５は、導波管によって出力され得る、例示的出射ビームを示す。 図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。 図７は、ウェアラブルシステムの実施例のブロック図である。 図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。 図９は、ウェアラブルシステムの別の実施例のブロック図である。 図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法の実施例のプロセスフロー図である。 図１１は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。 図１２は、オフィス環境内での仮想ユーザインターフェースとのユーザ相互作用の実施例を図示する。 図１３および１４は、リビングルーム環境内での仮想ユーザインターフェースとのユーザ相互作用の実施例を図示する。 図１３および１４は、リビングルーム環境内での仮想ユーザインターフェースとのユーザ相互作用の実施例を図示する。 図１５は、寝室環境内での仮想ユーザインターフェースとのユーザ相互作用の実施例を図示する。 図１６は、コンテキスト情報に基づいて、仮想メニューを生成するための例示的方法のフローチャートである。 図１７は、少なくとも部分的に、ユーザの生理学的および／または心理学的状態に基づいて、仮想コンテンツを選択するための例示的方法のフローチャートである。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。加えて、本開示における図は、例証目的のためのものであって、正確な縮尺ではない。
（概要）

現代のコンピュータインターフェースは、広範囲の機能性をサポートする。しかしながら、ユーザは、オプションの数に圧倒され得、着目オブジェクトを迅速に識別することができない。ＡＲ／ＶＲ／ＭＲ環境では、ウェアラブルデバイスのＡＲ／ＶＲ／ＭＲディスプレイを通して知覚されるようなユーザの視野（ＦＯＶ）は、ユーザの自然ＦＯＶより小さくあり得るため、仮想オブジェクトの関連セットを提供することは、通常のコンピューティング環境より困難となる。

本明細書に説明されるウェアラブルシステムは、ユーザの環境を分析し、より小さくかつより関連する機能のサブセットをユーザインターフェース上に提供することによって、本問題を軽減することができる。ウェアラブルシステムは、例えば、ユーザの環境またはユーザの環境内のオブジェクト等のコンテキスト情報に基づいて、本機能のサブセットを提供し得る。ウェアラブルシステムは、物理オブジェクト（テーブルおよび壁等）および環境とのその関係を認識することができる。例えば、ウェアラブルシステムは、カップがテーブル（壁の代わりに）上に設置されるべきであって、絵画が垂直壁（テーブルの代わりに）上に設置されるべきであることを認識することができる。本関係に基づいて、ウェアラブルシステムは、仮想カップをユーザの部屋内のテーブル上に投影し、仮想絵画を垂直壁上に投影することができる。

オブジェクトとその環境との間の関係に加え、オブジェクトの配向（例えば、水平または垂直）、ユーザの環境の性質、および以前の使用パターン（時間、場所等）等の他の要因もまた、ウェアラブルシステムによって示されるべき仮想オブジェクトを決定するために使用されることができる。ユーザの環境の性質は、それがユーザがウェアラブルデバイスと比較的にセキュアかつプライベートな方式で相互作用し得るプライベート環境（例えば、ユーザの自宅またはオフィス内）または（ユーザがデバイスとのユーザの相互作用を見られたりまたは聞かれたりすることを所望し得ない）近傍の他者が存在し得るパブリック環境であるかどうかを含むことができる。プライベート環境またはパブリック環境の間の区別は、排他的ではない。例えば、公園は、多数の人々がユーザの近傍に存在する場合、パブリック環境であるが、ユーザが独りであるかまたは他者が近傍に存在しない場合、プライベート環境であり得る。区別は、少なくとも部分的に、近傍の人々の数、ユーザとのその近接度、ユーザとのその関係（例えば、彼らが、友人、家族、または見知らぬ人かどうか）等に基づいて行われてもよい。加えて、または代替として、ウェアラブルシステムは、オブジェクトと関連付けられたラベル（基準マーク等）を識別してもよい。ラベルは、基準マーカと関連付けられたオブジェクトのために表示されるべき仮想オブジェクト（仮想メニュー上のアイテム等）に関する情報を含有してもよい。

いくつかの実施形態では、ウェアラブルシステムはまた、種々の生理学的センサを含むことができる。これらのセンサは、心拍数、呼吸数、ガルバニック皮膚反応、血圧、脳波状態等のユーザの生理学的パラメータを測定または推定することができる。これらのセンサは、内向きに面したイメージングシステムと併用され、ユーザの眼移動および散瞳を決定してもよく、これはまた、ユーザの生理学的または心理学的状態の反映となり得る。生理学的センサまたは内向きに面したイメージングシステムによって入手されたデータは、ウェアラブルシステムによって分析され、気分および関心等のユーザの心理学的状態を決定することができる。ウェアラブルシステムは、ユーザの心理学的状態をコンテキスト情報の一部として使用し、少なくとも部分的に、ユーザの心理学的状態に基づいて、仮想オブジェクトのセットを提示することができる。
（ウェアラブルシステムの３Ｄディスプレイの実施例）

ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムは、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイスを含むことができる。ウェアラブルデバイスは、頭部搭載型デバイス（ＨＭＤ）であることができ、これは、ＡＲデバイス（ＡＲＤ）と同義的に使用される。ウェアラブルデバイスは、ヘルメット、眼鏡、ヘッドセット、または任意の他のウェアラブル構成の形態であってもよい。

図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。

３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定なイメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。

ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のどこかで議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。

図２は、ウェアラブルシステム２００の実施例を図示する。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的ならびに電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示するができる。ディスプレイ２２０は、ユーザの頭部に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を含むことができる。いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。

ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに面したイメージングシステム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡することができる、内向きに面したイメージングシステム４６２（図４に示される）を含むことができる。内向きに面したイメージングシステムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面したイメージングシステム４６２は、フレーム２３０に取り付けられてもよく、内向きに面したイメージングシステムによって取得された画像情報を処理し、例えば、ユーザ２１０の眼、眼の移動、または眼姿勢の瞳孔直径または配向を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。

実施例として、ウェアラブルシステム２００は、外向きに面したイメージングシステム４６４または内向きに面したイメージングシステム４６２を使用して、ユーザの姿勢の画像を取得することができる。画像は、静止画像、ビデオのフレーム、もしくはビデオ、その組み合わせ、または同等物であってもよい。

いくつかの実施形態では、ウェアラブルシステム２００は、１つ以上の生理学的センサ２３２を含むことができる。そのようなセンサの実施例は、共焦点顕微鏡センサ、電気眼振記録（ＥＮＧ）センサ、電気眼球図記録（ＥＯＧ）センサ、網膜電図（ＥＲＧ）センサ、レーザドップラー血流計（ＬＤＦ）センサ、光音響イメージングおよび圧力読取センサ、２光子励起顕微鏡センサ、および／または超音波センサ等の眼科試験のために構成される、センサを含む。センサの他の実施例は、心電図（ＥＣＧ）センサ、脳波（ＥＥＧ）センサ、筋電位（ＥＭＧ）センサ、電気生理学試験（ＥＰ）センサ、事象関連電位（ＥＲＰ）センサ、近赤外脳機能計測（ｆＮＩＲ）センサ、低解像度脳電磁波トモグラフィ（ＬＯＲＥＴＡ）センサ、および／または光コヒーレンストモグラフィ（ＯＣＴ）センサ等の他の電気診断技術のために構成されるセンサを含む。センサ２３２のさらに他の実施例は、血糖値センサ、血圧センサ、皮膚電位センサ、光電式容積脈波記録機器、コンピュータ支援聴診のための感知機器、ガルバニック皮膚反応センサ、および／または体温センサ等の生理学的センサを含む。センサ２３２はまた、ＣＯ_２監視センサ、呼吸数センサ、呼気終末ＣＯ_２センサ、および／または呼気検知器を含んでもよい。

センサ２３２の実施例は、フレーム２３０に接続されるように図式的に図示される。本接続は、フレーム２３０への物理的取付の形態をとってもよく、フレーム２３０上の任意の場所であってもよい。実施例として、センサ２３２は、ユーザのこめかみ隣接してまたはフレーム２３０とユーザの鼻との間の接触点において配置されるように、フレーム２３０上に搭載されてもよい。別の実施例として、センサ２３２は、ユーザの耳にわたって延在するフレーム２３０の部分に配置されてもよい。いくつかの他の実施形態では、センサ２３２は、フレーム２３０から延在し、ユーザ２１０に接触してもよい。例えば、センサ２３２は、ユーザの身体の一部（ユーザの腕等）に触れ、有線接続を介して、フレーム２３０に接続してもよい。他の実施形態では、センサ２３２は、フレーム２３０に物理的に取り付けられなくてもよい。むしろ、センサ２３２は、無線接続を介して、ウェアラブルシステム２００と通信してもよい。いくつかの実施形態では、ウェアラブルシステム２００は、ヘルメットの形態を有してもよく、センサ２３２は、ユーザの頭部の頂点または側面に向かって配置されてもよい。

いくつかの実装では、センサ２３２は、ウェアラブルシステムによってコンテキスト情報として使用される、生理学的パラメータの直接測定を行う。例えば、心拍数センサは、直接、ユーザの心拍数を測定してもよい。他の実装では、センサ２３２（またはセンサのグループ）は、別の生理学的パラメータを推定するために使用される、測定を行ってもよい。例えば、ストレスは、心拍数測定およびガルバニック皮膚反応測定の組み合わせとして推定されてもよい。統計的技法が、センサデータに適用され、生理学的（または心理学的）状態を推定することができる。実施例として、センサデータは、機械学習技法（例えば、決定ツリー、ニューラルネットワーク、サポートベクトル機械、ベイズ技法）を使用して組み合わせられ、ユーザの状態を推定することができる。状態の推定は、バイナリ状態（例えば、ストレスまたはベースライン）、複数の状態（例えば、ストレス、ベースライン、またはリラックス）、または確率論的測定（例えば、ユーザがストレス下にある確率）を提供してもよい。生理学的または心理学的状態は、例えば、不安、ストレス、怒り、愛情、退屈、絶望または落胆、幸せ、悲しみ、孤独、衝撃、または驚き等のユーザの任意の感情状態を反映させ得る。

ディスプレイ２２０は、ローカルデータ処理モジュール２６０に動作可能に結合され（２５０）、該ローカルデータ処理モジュール２６０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットもしくは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に（例えば、バックパック式構成において、ベルト結合式構成において）可撤式に取り付けられる等、種々の構成において搭載され得る。

ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサならびに不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方は、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに面したイメージングシステムまたは外向きに面したイメージングシステム内のカメラ）、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、もしくはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または、ｂ）場合によっては処理もしくは読出後にディスプレイ２２０への伝達のために、遠隔処理モジュール２７０もしくは遠隔データリポジトリ２８０を使用して取得もしくは処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク２６２または２６４によって遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。

いくつかの実施形態では、遠隔処理モジュール２７０は、データおよび／または画像情報を分析ならびに処理するように構成される、１つ以上のハードウェアプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての計算が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。

ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）および遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（すなわち、眼の視線を収束させ、オブジェクト上に固定させるための相互に向かう、またはそこから離れるような瞳孔の転動運動）は、眼の水晶体の集束（または「遠近調節」）と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変更する、または眼を遠近調節し、１つのオブジェクトから異なる距離における別のオブジェクトに焦点を変更させることは、自動的に、「遠近調節－輻輳・開散運動反射」として知られる関係下、同一距離まで輻輳・開散運動における整合する変化を生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、遠近調節における整合する変化をトリガするであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。

図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ－軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ－軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有して、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、各眼３０２および３０４に対し、画像の異なる提示を提供することによって、そして、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ－軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の等高線は、深度平面内の全ての特徴が特定の遠近調節された状態において眼と合焦するように、物理的空間内で湾曲されてもよいことを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、深度知覚を提供するために、有限数の深度平面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度平面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。
（導波管スタックアセンブリ）

図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、ウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。

図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。

導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。

いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれが対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に投入するための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して、画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。

コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一の一体型デバイスであってもよいかまたは有線もしくは無線通信チャンネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。

導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって、光を各個別の導波管内で伝搬させるように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および主要底部表面と、それらの主要上部表面と主要底部表面との間に延在する縁とを伴う平面状であるかまたは別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所に出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部または底部主要表面に配置されてもよい、または、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、モノリシック材料片であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料片の表面上および／または内部に形成されてもよい。

図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の上方の導波管４３６ｂから生じる光を次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。

他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、いずれかまたは両方とも、電気活性特徴を使用して動的であってもよい。

図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向することと、本光を適切な量の発散またはコリメーションを伴って出力することとの両方を行うように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、光抽出光学要素の異なる構成を有してもよく、これは、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積特徴または表面特徴であってもよく、これは、具体的角度において光を出力するように構成されてもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。

いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴、すなわち、「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差点で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低い回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果は、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かう非常に均一なパターンの出射放出となることができる。

いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられてもよい（その場合、パターンは、入射光を能動的に回折させる）。

いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。

いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の決定に基づいて、もしくは特定の瞳孔サイズ／または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。

いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。

ウェアラブルシステム４００は、世界４７０の一部をイメージングする、外向きに面したイメージングシステム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、イメージングシステム４６４は、時として、ＦＯＶカメラとも称される。視認者による視認またはイメージングのために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚するため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他の状況では、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに面したイメージングシステム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。

ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面したイメージングシステム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面したイメージングシステム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに面したイメージングシステム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、各眼に対し、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに面したイメージングシステム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。

ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。

ウェアラブルシステム４００はまた、心拍数、ガルバニック皮膚反応、呼吸数等のユーザの生理学的パラメータを測定するように構成される、生理学的センサ４６８（図２におけるセンサ２３２の例示的実施形態であってもよい）を含むことができる。生理学的センサは、入手されたデータをコントローラ４６０に通信してもよい。コントローラ４６０は、単独で、または他のセンサによって取得されるデータと組み合わせて、生理学的センサによって入手されたデータを使用して、ユーザの生理学的および／または心理学的状態を決定することができる。例えば、コントローラ４６０は、生理学的センサ４６８によって入手された心拍数データと、内向きに面したイメージングシステム４６２によって入手された散瞳情報を組み合わせ、ユーザが楽しんでいるかまたは怒っているかを決定することができる。以下にさらに説明されるように、ウェアラブルシステムは、ユーザの生理学的状態および／または心理学的状態に基づいて、選択的に、仮想コンテンツをユーザに提示することができる。

図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されるが、導波管アセンブリ４８０内の他の導波管も同様に機能し得、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点では、光の一部は、導波管から出射ビーム５１０として出射する。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられた深度平面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビーム形成）。略平行出射ビームは、眼４１０からの遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成するように光を外部結合する、光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう。

図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つ以上の一次平面導波管６３２ａ（１つのみのが図６に示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つ以上のＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ－軸）に沿って中継し、第１の軸（例えば、Ｙ－軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂまたはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂまたはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。

中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管６３２ｂの中に光学的に結合され得る。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ－軸）に沿って、光を中継することができる。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ－軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ－軸に沿って中継および拡張させ、光を水平またはＸ－軸に沿って中継および拡張させ得る、一次平面導波管６３２ｂにその光を通過させることができる。

光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つ以上の有色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管６４２を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外側表面もしくは外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置してもよい。

例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管６４２をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。

２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２－Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成することができる。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。

光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートすることができる。コリメートされた光は、鏡付き表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射されることができる。コリメートされた光は、ＴＩＲによって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差することができる。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させることができる。

ＤＯＥ６２２ａとの交差点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ４によって垂直に拡張されることができる。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入することができる。

一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬することができる。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利には、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。

伝搬する光とＤＯＥ６３２ａとの間の交差点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。

故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（ウェアラブルシステムの他のコンポーネント）

多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力および／またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトもしくはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。

ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドもしくはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用もしくはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカもしくは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。

本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（例示的ウェアラブルシステム、環境、およびインターフェース）

ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。

図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１つ以上のユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面したイメージングシステム、外向きに面したイメージングシステム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラおよび／または外向きに面したイメージングシステムのカメラ等）によって取得された画像データは、マッピング点のセットに低減されてもよい。

１つ以上のオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０の支援を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。

本情報およびマップデータベース内の点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ユーザの環境内の他のオブジェクト等を認識することができる。１つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、トーテムを認識するために使用されてもよい。

オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに面したイメージングシステム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトル機械、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。

オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。

マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つ以上のウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで起こっている場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人以上のユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、場所特定目的のために、トポロジマップを使用してもよい。

図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに表され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。

ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、大まかな点を決定してもよい。大まかな点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示ならびに理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置７０８ａ～７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。

図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、世界に関するマップデータを含み得る、マップを備える。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから計算されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等）からのデータ、および表面情報を備えてもよい。

大まかな点表現は、同時場所特定およびマッピング（入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはＶ－ＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が成っているものを見出すように構成されることができる。姿勢は、マップをポピュレートすることおよびマップからのデータを使用することを含め、多くの目標を達成する、構築ブロックであってもよい。

一実施形態では、大まかな点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから計算されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点クラウドと比較して）かつ摘要可能な入力であってもよい。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マッププロセス９２０をポピュレートするための入力となる。サブ表面が、トポグラフィマッピング等において相互に接続し、より大きい表面を形成してもよく、マップは、点および表面の大規模ハイブリッドとなる。

複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹以上のモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいるかまたは種々の条件下で逃げていること（ユーザがモンスタを撃つ場合等）、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。世界マップは、複合現実に対する別の有用な入力となる、そのようなオブジェクトが相互に対して存在する場所に関する情報を含んでもよい。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。

ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力（例えば、図２におけるセンサ２３２によって入手された生理学的データ等）等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、何をしたいかに関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム（例えば、ユーザ入力デバイス）、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、何が起こっているかの決定を補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンもしくは要素をクリックしているかどうかも理解するように構成されてもよい。）

手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通してフリップする、または別の人物もしくは演奏者と「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的であり得る、またはそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右もしくは上下に手をフリップする等、単純な静的ジェスチャであってもよい。

眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。

トーテムはまた、ユーザによって、入力をウェアラブルシステムに提供するために使用されることができる。ウェアラブルシステムは、トーテムの移動、位置、または配向、ならびにトーテムのユーザの作動（トーテムのキー、ボタン、またはタッチ表面の押下等）を追跡し、複合現実プロセス９６０におけるユーザインターフェース相互作用を決定することができる。

ある実装では、ウェアラブルシステムはまた、ユーザの生理学的データを複合現実プロセス９６０において使用することができる。生理学的データは、センサ２３２（生理学的センサ４６８を含んでもよい）によって要求されてもよい。ウェアラブルシステムは、生理学的データの分析に基づいて、提示すべきコンテンツを決定することができる。例えば、ウェアラブルシステムが、ユーザがゲームをプレー中、ユーザが怒っていることを決定する（例えば、心拍数増加、血圧変化等に起因して）と、ウェアラブルシステムは、自動的に、ゲームの難易度レベルを低減させ、ユーザのゲームへの従事を保たせることができる。

カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視イメージングプロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ステレオプロセス９４０に対するＦＯＶカメラおよび対のカメラは、外向きに面したイメージングシステム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（図４に示される内向きに面したイメージングシステム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つ以上のテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。

図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法１０００の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、ソーシャルメディアアプリケーションのための指定される１つのトーテム、ゲームをプレーするための別のトーテム等を有してもよい。ブロック１０１０では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、外向きに面したシステムを通して認識されてもよい、またはセンサ（例えば、触知グローブ、画像センサ、手追跡デバイス、眼追跡カメラ、頭部姿勢センサ等）を通して検出されてもよい。

少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック１０２０において、基準フレームに対するトーテム（またはユーザの眼もしくは頭部もしくはジェスチャ）の位置、配向、および／または移動を検出する。基準フレームは、それに基づいてウェアラブルシステムがトーテム（またはユーザ）の移動をアクションまたはコマンドに変換する、マップ点のセットであってもよい。ブロック１０３０では、トーテムとのユーザの相互作用が、マッピングされる。基準フレーム１０２０に対するユーザ相互作用のマッピングに基づいて、システムは、ブロック１０４０において、ユーザ入力を決定する。

例えば、ユーザは、トーテムまたは物理的オブジェクトを前後に移動させ、仮想ページを捲り、次のページに移動する、または１つのユーザインターフェース（ＵＩ）ディスプレイ画面から別のＵＩ画面に移動することを示してもよい。別の実施例として、ユーザは、ユーザのＦＯＲ内の異なる実または仮想オブジェクトを見るために、その頭部または眼を移動させてもよい。特定の実または仮想オブジェクトにおけるユーザの注視が、閾値時間より長い場合、その実または仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実装では、ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節／輻輳・開散運動モデルが、ユーザが合焦している深度平面に関する情報を提供する、ユーザの眼の遠近調節状態を決定するために使用されることができる。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿っている実または仮想オブジェクトを決定することができる。種々の実装では、レイキャスティング技法は、実質的に殆ど横幅を伴わない細い光線束を投じる、または実質的横幅を伴う光線（例えば、仮想円錐または円錐台）を投じることを含むことができる。

ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム（図２におけるディスプレイ２２０等）によって投影されてもよい。また、それは、１つ以上のプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは球体等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムの外部またはシステムの一部の１つ以上のカメラを使用して（例えば、内向きに面したイメージングシステム４６２または外向きに面したイメージングシステム４６４を使用して）追跡されてもよい。

図１１は、仮想ユーザインターフェースと相互作用するための方法１１００の実施例のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって行われてもよい。

ブロック１１１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって与えられてもよい。ウェアラブルシステムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいてポピュレートされる必要があることを識別してもよい。ブロック１１２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的スタンス、頭部姿勢、または眼姿勢の座標を決定してもよい。ＵＩが、手中心の場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。

ブロック１１３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１１４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが生成されると、ウェアラブルシステムは、ブロック１１５０において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック１１６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１１７０）。実施例として、ウェアラブルシステムは、複数のステムトラックをミックスする前に、ユーザの手のジェスチャを待機してもよい。

ウェアラブルシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（環境内の例示的オブジェクト）

図１２は、オフィス環境内での仮想ユーザインターフェースとのユーザ相互作用の実施例を図示する。図１２では、ウェアラブルデバイス１２７０を装着しているユーザ２１０が、オフィス１２００内で立っている。ウェアラブルデバイスは、本明細書に説明されるように、ウェアラブルシステム２００、４００の一部であってもよい。オフィス１２００は、椅子１２４４、鏡１２４２、壁１２４８、テーブル１２４６、回転式椅子１２４０等の複数の物理オブジェクトと、ウェアラブルデバイス１２７０によってユーザに提示される仮想画面１２５０とを備えることができる。
動眼視野内の例示的オブジェクト

ウェアラブルデバイス１２７０を装着しているユーザ２１０は、視野（ＦＯＶ）および動眼視野（ＦＯＲ）を有することができる。図４を参照して議論されるように、ＦＯＲは、ウェアラブルデバイス１２７０を介してユーザによって知覚可能なユーザの周囲の環境の一部を含む。ＨＭＤに関して、ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、装着者を囲繞する４πステラジアン立体角の実質的に全てを含み得る。他の状況では、ユーザの移動は、より狭められ得、故に、ユーザのＦＯＲは、より小さい立体角に対し得る。

ＦＯＲは、ＡＲＤを介してユーザによって知覚され得る、オブジェクトのグループを含有することができる。オブジェクトは、仮想および／または物理的オブジェクトであってもよい。仮想オブジェクトは、例えば、削除されたファイルのためのゴミ箱、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等のオペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ウィジェット（例えば、掛け時計の仮想表現）、ゲーム内の仮想オブジェクト、グラフィックまたは画像等、アプリケーション内のオブジェクトを含んでもよい。いくつかの仮想オブジェクトは、アプリケーション内の動作システムオブジェクトおよびオブジェクトの両方であることができる。

いくつかの実施形態では、仮想オブジェクトは、物理オブジェクトと関連付けられてもよい。例えば、図１２に示されるように、仮想画面１２５０は、テーブル１２４６上に設置されてもよい。仮想画面は、オフィス生産性ツール１２１２、テレプレゼンス１２１４を行うためのアプリケーション、および電子メールツール１２１６等の選択可能オプションを有する、仮想メニュー１２１０を含んでもよい。

仮想オブジェクトは、３次元（３Ｄ）、２次元（２Ｄ）、または１次元（１Ｄ）オブジェクトであってもよい。仮想オブジェクトは、３Ｄコーヒーマグ（物理的コーヒーメーカーのための仮想制御を表してもよい）であってもよい。仮想オブジェクトはまた、２Ｄメニュー１２１０（図１２に示される）であってもよい。いくつかの実装では、１つ以上の仮想オブジェクトは、別の仮想オブジェクト内に表示されてもよい（またはそれと関連付けられる）。例えば、図１２を参照すると、仮想メニュー５１１０は、仮想画面１２５０の内側に示される。別の実施例では、テレプレゼンス１２１４のための仮想アプリケーションは、連絡先情報を伴う別のメニュー１２２０を含んでもよい。

いくつかの実装では、ユーザの環境内のいくつかのオブジェクトは、相互作用可能であってもよい。例えば、図１を参照すると、ユーザは、例えば、アバタ１４０が着地するように指を差し出す、または像１３０についての情報を提供するメニューを引き出すこと等によって、仮想オブジェクトのうちのいくつかと相互作用することができる。ユーザは、例えば、相互作用可能オブジェクトを選択または移動させる、相互作用可能オブジェクトと関連付けられたメニューを作動させる、相互作用可能オブジェクトを使用して実施されるための動作を選択する等、ユーザインターフェース動作を実施することによって、相互作用可能オブジェクトと相互作用することができる。ユーザは、単独で、または組み合わせて、頭部姿勢、眼姿勢、身体姿勢、音声、ユーザ入力デバイス上の手ジェスチャを使用して、これらのユーザインターフェース動作を実施してもよい。例えば、ユーザは、身体姿勢の変化（例えば、その手を仮想オブジェクトに向かって振る等の手ジェスチャの変化）を用いて、仮想オブジェクトを１つの場所から別の場所に移動させてもよい。別の実施例では、図１２に示されるように、ユーザは、ユーザがテーブル１２４６の近傍に立っているとき、手ジェスチャを使用して、ユーザ入力デバイスを作動させ、仮想画面１２５０を開くことができる。ユーザは、マウスをクリックする、タッチパッドをタップする、タッチスクリーンをスワイプする、容量ボタンに手をかざす、もしくはそれをタッチする、キーボードもしくはゲームコントローラ（例えば、５方向ｄ－パッド）上のキーを押下する、ジョイスティック、ワンド、もしくはトーテムをオブジェクトに向かって向ける、遠隔制御上のボタンを押下する、またはユーザ入力デバイスとの他の相互作用等によって、ユーザ入力デバイス４６６を作動させてもよい。ある実装では、ウェアラブルデバイス１２７０は、テーブル１２４６の検出に応じて（例えば、１つ以上のオブジェクト認識装置７０８を使用して）、自動的に、仮想メニュー１２１０を提示することができる。メニューが開かれた後、ユーザは、ユーザ入力デバイス上の軌道に沿って、その指を移動させることによって、メニュー１２１０をブラウジングすることができる。ユーザが、仮想画面１２５０を閉じることを決定すると、ユーザは、単語（例えば、「終了」）を発する、および／またはユーザ入力デバイスを作動させ、仮想画面１２５０を閉じる意図を示してもよい。インジケーションを受信後、ＡＲＤは、テーブル１２４６上への画面１２５０の投影を停止することができる。
（視野内の例示的オブジェクト）

ＦＯＲ内において、ユーザが所与の時間に知覚する世界の部分は、ＦＯＶと称される（例えば、ＦＯＶは、ユーザが現在見ているＦＯＲの部分を包含し得る）。ＦＯＶは、ＡＲＤ内のディスプレイのサイズまたは光学特性に依存し得る。例えば、ＡＲディスプレイは、ユーザがディスプレイの特定の部分を通して見ているとき、ＡＲ機能性のみを提供する、光学装置を含んでもよい。ＦＯＶは、例えば、スタックされた導波管アセンブリ４８０（図４）または平面導波管６３２ｂ（図６）等のＡＲディスプレイを通して見ているときにユーザによって知覚可能な立体角に対応し得る。

ユーザの姿勢が変化するにつれて、ＦＯＶは、対応して、変化し、ＦＯＶ内のオブジェクトもまた、変化し得る。図１２を参照すると、ユーザ２１０は、テーブル１２４６の正面に立っているとき、仮想画面１２５０を知覚することができる。しかしながら、ユーザ２１０が鏡１２４２の方に歩くと、仮想画面１２５０は、そのＦＯＶ外に移動し得る。故に、ユーザ２１０は、鏡１２４２の正面に立っているとき、仮想画面１２５０を知覚不可能となるであろう。いくつかの実施形態では、仮想画面１２５０は、オフィス１２００内を動き回るにつれて、ユーザ２１０に追従してもよい。例えば、仮想画面１２５０は、ユーザ２１０が移動し、鏡１２４２の正面に立つと、テーブル１２４６から壁１２４８に移動してもよい。仮想メニュー１２１０上のオプション等の仮想画面のコンテンツは、仮想画面１２５０がその場所を変化させると、変化してもよい。実施例として、図１２では、仮想画面１２５０が、テーブル１２５０上にあるとき、ユーザ２１０は、種々のオフィス生産性アイテムを含む、仮想メニュー１２１０を知覚することができる。しかしながら、ユーザが鏡１２４２の方に歩くと、ユーザは、ユーザがウェアラブルデバイス１２７０を使用して異なる衣装の見た目をシミュレートすることを可能にする、仮想ワードローブアプリケーションと相互作用可能になってもよい。ある実装では、いったんウェアラブルデバイス１２７０が鏡１２４２を検出すると、ウェアラブルシステムは、自動的に、通信（例えば、テレプレゼンスセッション）を別のユーザ（例えば、ユーザの２１０パーソナルアシスタント）と開始することができる。
（コンテキスト要因に基づいて、仮想オブジェクトをＦＯＶ内にレンダリングする実施例）

本明細書に説明されるように、多くの場合、複数の仮想オブジェクトまたはオブジェクト（例えば、物理または仮想）またはユーザの環境と関連付けられたユーザ相互作用オプションが、存在する。例えば、図１２を参照すると、仮想メニュー１２１０は、オフィス生産性ツール１２１２（ワードプロセッサ、ファイルフォルダ、カレンダ等）、他のユーザがユーザの２１０環境内に存在するかのように（例えば、ウェアラブルシステムは、他のユーザの画像をウェアラブルシステムのユーザに投影することができる）ユーザが別のユーザと通信することを可能にする（ウェアラブルシステムを介して）テレプレゼンスアプリケーション１２１４、およびユーザ２１０が電子メール（ｅメール）またはテキストメッセージを送受信することを可能にする、メールツール等の複数の相互作用オプションを含む。別の実施例では、図１３および１４に示されるリビングルーム１３００は、デジタルフレーム１３１２ａ、テレプレゼンスツール１３１４ａ、レースカーのドライビングゲーム１３１６ａ、テレビ（ＴＶ）アプリケーション１３１２ｂ、ホーム管理ツール１３１４ｂ（部屋１３００のための温度を管理する、壁紙を投影する等ができる）、および音楽アプリケーション１３１６ｂ等の仮想オブジェクトを含んでもよい。

しかしながら、本明細書に説明されるように、仮想ユーザインターフェースは、全ての利用可能な仮想オブジェクトまたはユーザ相互作用オプションをユーザに表示し、同時に、満足の行くユーザ体験を提供することは不可能であり得る。例えば、図１３および１４に示されるように、仮想メニューであり得る、ユーザインターフェース１３１０と関連付けられた６つの仮想オブジェクト（１３１２ａ、１３１４ａ、１３１６ａ、１３１２ｂ、１３１４ｂ、および１３１６ｂ）が、存在する。しかし、壁１３５０上の仮想メニューは、３つのオプションのみが読取可能に適合し得る（例えば、図１３および１４における仮想メニュー参照）。その結果、ウェアラブルシステムは、利用可能なオプションの数をフィルタリングし、利用可能なオプションのサブセットのみを表示する必要があり得る。

有利には、いくつかの実施形態では、ウェアラブルシステムは、コンテキスト情報に基づいて、ユーザインターフェース１３１０上に提示されるべきユーザ相互作用オプションまたは仮想オブジェクトをフィルタリングまたは選択することができる。フィルタリングまたは選択されたユーザインターフェース相互作用オプションまたは仮想オブジェクトは、種々のレイアウトで提示されてもよい。例えば、ウェアラブルデバイスは、オプションおよび仮想オブジェクトをリスト形態で提示することができる（図１２－１４に示される仮想メニュー等）。ある実施形態では、仮想オブジェクトの垂直リストとして仮想ユーザインターフェース上に表示するのではなく、仮想メニューは、仮想オブジェクトの円形表現を採用することができる（例えば、図１５に示される仮想メニュー１５３０参照）。仮想オブジェクトは、円形表現の中心を中心として回転され、所望の仮想オブジェクトを識別および選択することを補助することができる。コンテキスト情報は、ユーザの環境、ユーザ、ユーザの環境内のオブジェクト等と関連付けられた情報を含むことができる。例示的コンテキスト情報は、オプションが関連付けられた物理オブジェクトのアフォーダンス、ユーザの環境（環境が自宅であるかまたはオフィス環境であるか等）、ユーザの特性、環境内のオブジェクトとのユーザの現在の相互作用、ユーザの生理学的状態、ユーザの心理学的状態、それらの組み合わせ、または同等物を含むことができる。種々のタイプのコンテキスト情報のより詳細な説明は、以下に提供される。
（ユーザの環境）

ウェアラブルシステムは、ユーザの環境に基づいて、環境内の仮想オブジェクトをフィルタリングまたは選択し、ユーザ相互作用のための仮想オブジェクトのサブセットのみを提示してもよい。これは、異なる環境が異なる機能性を有し得るためである。例えば、ユーザの連絡先リストは、家族、友人、および専門家の連絡先に関する連絡先情報を含んでもよい。図１２に示されるオフィス１２００等のオフィス環境内では、通常、エンターテインメントアクティビティの代わりに、仕事関連アクティビティにより好適である。その結果、ユーザ２１０が、テレプレゼンスツール１２１４を使用するとき、ウェアラブルデバイス１２７０は、テレプレゼンスセッションのために、仕事関連連絡先のリストをメニュー１２２０内に提示してもよいが、ユーザの連絡先リストはまた、家族および友人の連絡を含む。対照的に、図１３は、ユーザが通常リラックスし、仕事以外の人々と相互作用する、リビングルーム１３００を描写する。その結果、ユーザが、テレプレゼンスツール１３１４ａを選択すると、ウェアラブルデバイスは、友人および家族に関する連絡先情報をメニュー１３２０内に示してもよい。

別の実施例として、ユーザの音楽コレクションは、カントリー音楽、ジャズ、ポップス、およびクラシック音楽等の種々の音楽を含んでもよい。ユーザがリビングルーム１３００に居るとき、ウェアラブルデバイスは、ジャズおよびポップス音楽をユーザに提示することができる（仮想メニュー１４３０に示されるように）。しかしながら、ユーザが寝室１５００に居るとき、異なる音楽オプションのセットが、提示されてもよい。例えば、図１５における仮想メニュー１５３０に示されるように、ウェアラブルデバイスは、カントリー音楽およびクラシック音楽を示してもよく、これは、これらのタイプの音楽が、リラックス効果を有し得、ユーザが睡眠に就くことに役立ち得るためである。

環境内で利用可能な仮想オブジェクトをフィルタ処理することに加えて、またはその代替として、ウェアラブルデバイスは、環境の機能に関連するメニューオプションのみを示してもよい。例えば、オフィス１２００内の仮想メニュー１２１０（図１２における）は、仕事環境に関連するオプションを含むことができる。他方では、リビングルーム１３００内の仮想ユーザインターフェース１３１０（図１４における）は、仮想ＴＶ１３１２ｂ、音楽１３１６ｂ、ならびにホーム管理ツール１３１４ｂ等のエンターテインメントアイテムを含むことができる。

図１２－１５を参照して説明される例示的環境は、例証であって、ウェアラブルデバイスがそのような環境内の物理および仮想コンテンツとコンテキスト的に相互作用するために使用され得る、環境のタイプを限定することを意図するものではない。他の環境は、自宅またはオフィスの他の部分、車両（例えば、車、地下鉄、船、電車、または航空機）、エンターテインメント施設（例えば、映画館、ナイトクラブ、ゲーム施設）、小売設備（例えば、店舗またはモール）、または屋外（例えば、公園または庭）等を含むことができる。
（オブジェクトのアフォーダンス）

ウェアラブルシステムは、ユーザが相互作用することに関心があり得る、または現在相互作用している、環境内のオブジェクトを識別することができる。ウェアラブルシステムは、例えば、眼視線、身体姿勢、または頭部姿勢等のユーザの姿勢に基づいて、オブジェクトを識別することができる。例えば、ウェアラブルデバイスは、内向きに面したイメージングシステム４６２（図４に示される）を使用して、ユーザの眼姿勢を追跡してもよい。ウェアラブルシステムが、ユーザが長時間にわたってある方向を見ていることを決定すると、ウェアラブルシステムは、レイキャスティングまたは円錐投射技法を使用して、ユーザの視線方向と交差するオブジェクトを識別してもよい。例えば、ウェアラブルシステムは、仮想円錐／光線を投射し、仮想円錐／光線の一部と交差する、オブジェクトを識別することができる。ウェアラブルデバイスはまた、ＩＭＵ（例えば、図２、４、および９を参照して説明される）を使用して、ユーザの頭部姿勢を追跡してもよい。ウェアラブルデバイスが、ユーザの頭部姿勢の変化を検出すると、ウェアラブルデバイスは、ユーザの頭部の近傍のオブジェクトをユーザが相互作用することに関心があるオブジェクトとして識別してもよい。実施例として、ウェアラブルデバイスのユーザが、長時間にわたって自宅の冷蔵庫を見ているとき、ウェアラブルデバイスは、冷蔵庫がユーザが関心があるオブジェクトであり得ることを認識することができる。別の実施例では、ユーザは、冷蔵庫の正面に立ち得る。ウェアラブルは、ユーザによる点頭を検出し、ユーザの正面の冷蔵庫をユーザが関心があるオブジェクトとして識別してもよい。さらに別の実施例では、オブジェクト認識装置７０８が、ユーザの手の移動を追跡することができる（例えば、外向きに面したイメージングシステム４６４からのデータに基づいて）。オブジェクト認識装置は、ユーザ相互作用のためのオブジェクトのインジケーションを提供する、手のジェスチャ（例えば、冷蔵庫を指し示す指）を認識することができる。

ウェアラブルシステムは、識別されたオブジェクトのアフォーダンスを認識することができる。オブジェクトのアフォーダンスは、オブジェクトと関連付けられたアクションまたは使用のための機会を与える、オブジェクトとオブジェクトの環境との間の関係を含む。アフォーダンスは、例えば、オブジェクトの機能、配向、タイプ、場所、形状、および／またはサイズに基づいて決定されてもよい。アフォーダンスはまた、物理オブジェクトが位置する環境に基づいてもよい。ウェアラブルデバイスは、環境内の利用可能な仮想オブジェクトを絞り込み、オブジェクトのアフォーダンスに従って、仮想オブジェクトを提示することができる。実施例として、水平テーブルのアフォーダンスは、オブジェクトがテーブル上に設定され得ることであって、垂直壁のアフォーダンスは、オブジェクトが壁から吊架またはその上に投影され得ることである。

例えば、ウェアラブルデバイスは、オブジェクトの機能を識別し、オブジェクトの機能に関連するオブジェクトのみを有するメニューを示してもよい。実施例として、ウェアラブルデバイスのユーザが、自宅の冷蔵庫と相互作用するとき、ウェアラブルデバイスは、冷蔵庫の機能性のうちの１つが食品を貯蔵することであることを識別することができる。食品を貯蔵する能力は、冷蔵庫のアフォーダンスである。ユーザが、例えば、ユーザ入力デバイスを作動させることによって、冷蔵庫と関連付けられたオプションを視認することを決定すると、ウェアラブルデバイスは、ユーザに、冷蔵庫内で現在利用可能な食品のリスト、種々のレシピを含む料理アプリケーション、食品アイテムの食料品店リスト、冷蔵庫内の水フィルタの交換のリマインダを示す等、食品に具体的オプションを提示することができる。冷蔵庫のアフォーダンスの付加的実施例は、それが重く、したがって、移動が困難であり、それが物が貼付けられ得る垂直正面表面を有すること、正面表面が、多くの場合、磁気オブジェクトが正面表面に粘着し得るように、金属的および磁気的であること等を含む。

いくつかの状況では、同一オブジェクトの機能は、環境に基づいて変動し得る。ウェアラブルシステムは、環境に照らして、オブジェクトの機能性を検討することによって、仮想メニューを生成することができる。例えば、テーブルのアフォーダンスは、書き物をしたり、食事をとるために使用され得ることを含む。テーブルが、オフィス１２００（図１２に示される）内にあるとき、テーブルのアフォーダンスは、オフィス環境が通常は文書処理と関連付けられるため、テーブルが書き物のために使用されるべきであることを示唆し得る。故に、ウェアラブルデバイスのディスプレイ２２０は、仮想メニュー１２１０に、ワードプロセッシングアプリケーションをオフィスツール１２１２または電子メールアプリケーション１２１６の下に提示してもよい。しかしながら、同一テーブルが、台所に位置するとき、テーブルのアフォーダンスは、人々が通常はその台所内で文書の執筆を行わないため、テーブルが食事のために使用され得ることを示唆し得る。その結果、ウェアラブルデバイスは、ユーザに、オフィスツールの代わりに、食品に関連する仮想オブジェクトを表示してもよい。

ウェアラブルシステムは、オブジェクトの配向を使用して、いくつかのアクティビティ（絵を描くおよび文書を書く等）が水平表面（床またはテーブル等）上でより適切であり得る一方、他のアクティビティ（ＴＶの鑑賞またはドライビングゲームのプレー等）が垂直表面（壁等）上でより良好なユーザ体験を有し得るため、提示されるべきオプションを決定することができる。ウェアラブルシステムは、オブジェクトの表面の配向（例えば、水平対垂直）を検出し、その配向のために適切なオプションのグループを表示することができる。

図１２を参照すると、オフィス１２００は、文書処理のためのオフィスツール１２１２および仮想ＴＶアプリケーション（図１２には図示せず）等の仮想オブジェクトを含んでもよい。仮想画面１２５０は、水平表面を有する、テーブル１２４６上にあるため、ウェアラブルデバイス１２７０は、文書処理が水平表面上でより適切に行われるため、メニュー１２１０をオフィスツール１２１２とともに提示してもよい。一方、ウェアラブルデバイス１２７００は、仮想ＴＶが、垂直表面により適切であり得、ユーザが水平表面を有するオブジェクトと現在相互作用しているため、仮想ＴＶアプリケーションを提示しないように構成されてもよい。しかしながら、ユーザが、壁１２４８の正面に立っている場合、ウェアラブルデバイス１２７０は、オフィスツール１２１２を除外しながら、仮想ＴＶをメニュー１２１０内に含んでもよい。

別の実施例として、図１３および１４では、仮想ユーザインターフェース１３１０は、垂直表面を有する、壁１３５０上にある。その結果、ユーザインターフェース１３１０は、図１３に示されるように、ドライビングゲーム１３１６ａを含み、図１４に示されるように、仮想ＴＶアプリケーション１３１６ｂを含むことができる。これは、ユーザが、これらのアクティビティを垂直表面上で実施するとき、より良好な体験を有し得るためである。

加えて、またはその代替として、オブジェクトの機能、配向、場所、およびアフォーダンスはまた、オブジェクトのタイプに基づいて決定されてもよい。例えば、ソファは、ＴＶの鑑賞等のエンターテインメントアクティビティと関連付けられ得る一方、デスク用の椅子は、財務文書の作成等の仕事関連アクティビティと関連付けられ得る。ウェアラブルシステムはまた、オブジェクトのサイズに基づいて、アフォーダンスを決定することができる。例えば、小テーブルは、花瓶等の装飾品を保持するために使用され得る一方、大テーブルは、家族の食事のために使用され得る。別の実施例として、アフォーダンスはまた、オブジェクトの形状に基づいてもよい。円形上部を伴うテーブルは、ポーカー等のあるグループゲームと関連付けられ得る一方、長方形上部を伴うテーブルは、テトリス等の単一プレーヤゲームと関連付けられ得る。
（ユーザの特性）

ウェアラブルシステムはまた、年齢、性別、教育レベル、職業、選好等のユーザの特性に基づいて、オプションを提示してもよい。ウェアラブルシステムは、ユーザによって提供されるプロファイル情報に基づいて、これらの特性を識別してもよい。いくつかの実施形態では、ウェアラブルシステムは、ウェアラブルシステムとのユーザの相互作用（例えば、頻繁に視認されるコンテンツ等）に基づいて、これらの特性を推測してもよい。ユーザの特性に基づいて、ウェアラブルシステムは、ユーザの特性に合致する、コンテンツを提示することができる。例えば、図１５に示されるように、ウェアラブルデバイスのユーザが、幼少の子供である場合、ウェアラブルデバイスは、子供用の音楽および子守唄のためのオプションを寝室１５００内のメニュー１５３０に提供してもよい。

いくつかの実装では、環境は、複数の人々によって共有されてもよい。ウェアラブルシステムは、空間を共有する人々の特性を分析し、空間を共有する人々のために好適なコンテンツのみを提示してもよい。例えば、リビングルーム１３００は、全ての家族によって共有され得る。家族が、幼少の子供を有する場合、ウェアラブルデバイスは、映画が成人の同伴を伴わない子供のために好適であるような指定を有する映画（例えば、「Ｇ」指定映画）のみを提示してもよい。いくつかの実施形態では、ウェアラブルシステムは、ウェアラブルシステムが環境をイメージングするにつれて、同一環境内の人々を識別し、環境内に存在する人物に基づいて、オプションを提示してもよい。例えば、ウェアラブルシステムは、外向きに面したイメージングシステムを使用して、環境の画像を入手してもよく、ウェアラブルシステムは、顔認識技法を使用して、それらの画像を分析し、画像内に存在する１人以上の人々を識別することができる。ウェアラブルシステムが、子供が、ＨＭＤを装着しており、同一リビングルーム内にその両親と着座していることを決定する場合、ウェアラブルシステムは、Ｇ指定映画に加えて、またはその代替として、成人の同伴下で子供に好適であると指定される映画（例えば、「ＰＧ」指定映画）を提示してもよい。

ウェアラブルシステムは、ユーザの選好に基づいて、仮想メニューを提示してもよい。ウェアラブルシステムは、以前の使用パターンに基づいて、ユーザの選好を推測してもよい。以前の使用パターンは、仮想オブジェクトが使用された場所に関する情報および／または時間に関する情報を含んでもよい。例えば、毎朝、ユーザ２１０が、仮想画面１２５０をそのオフィス１２００（図１２に示される）内で立ち上げると、ユーザ２１０は、典型的には、最初に、その電子メールをチェックする。本使用パターンに基づいて、ウェアラブルシステムは、電子メールアプリケーション１２１６をメニュー１２１０内に表示してもよい。別の実施例では、毎朝、ユーザ２１０が、リビングルーム１３００に入って行くと、ユーザは、典型的には、ニュースを仮想ＴＶ画面１３１２ｂ（図１４に示される）上で鑑賞する。ウェアラブルシステムは、故に、ユーザの頻繁な使用に基づいて、ＴＶアプリケーション１３１２ｂを仮想ユーザインターフェース１３１０上に示してもよい。しかしながら、ウェアラブルシステムは、ユーザ２１０が通常その電子メールをそのリビングルーム１３００内でチェックしないため、電子メールアプリケーション１２１０を仮想ユーザインターフェース１３１０内に示さないであろう。他方では、ユーザ２１０が、その場所にかかわらず、その電子メールを頻繁にチェックする場合、ウェアラブルシステムは、電子メールアプリケーション１２１６を仮想ユーザインターフェース１３１０内に同様に示してもよい。

メニュー内のオプションは、時刻に従って変動してもよい。例えば、ユーザ２１０が、通常、ジャズ音楽またはポップス音楽を朝に視聴し、ドライビングゲームを夜にプレーする場合、ウェアラブルシステムは、朝には、ジャズ音楽およびポップス音楽に対するオプションをメニュー１４３０内に提示する一方、夜には、ドライビングゲーム１３１６ａを提示してもよい。

ＡＲシステムはまた、ユーザが、その選好を入力することを可能にしてもよい。例えば、ユーザ２１０は、そのボスと頻繁に話さない場合がある場合でも、そのボスの連絡先情報をその連絡先リスト１２２０（図１２に示される）に追加してもよい。
（ユーザと環境内のオブジェクトの相互作用）

ウェアラブルデバイスは、現在のユーザ相互作用に基づいて、仮想オブジェクトのサブセットをユーザの環境内に提示してもよい。ウェアラブルデバイスは、ユーザが相互作用している人物に基づいて、仮想オブジェクトを提示してもよい。例えば、ユーザが、そのリビングルーム１３００において、テレプレゼンスセッションをその家族のうちの１人と行うとき、ウェアラブルデバイスは、ユーザがフォトアルバムによって捕捉された共有体験について話すことを所望し得るため、自動的に、フォトアルバムを壁上に立て上げてもよい。他方では、ユーザが、そのオフィス１２００において、テレプレゼンスセッションをその同僚のうちの１人と行うとき、ウェアラブルデバイスは、自動的に、その同僚と協働している文書を提示してもよい。

ウェアラブルデバイスはまた、ユーザが相互作用している仮想オブジェクトに基づいて、仮想オブジェクトを提示してもよい。例えば、ユーザが、現在財務文書を準備している場合、ウェアラブルデバイスは、計算機等のデータ分析ツールを提示してもよい。しかし、ユーザが、現在小説を執筆中である場合、ウェアラブルデバイスは、ユーザにワードプロセッシングツールを提示してもよい。
（ユーザの生理学的または心理学的状態）

コンテキスト情報は、ユーザの生理学的状態、心理学的状態、または自律神経系活動、それらの組み合わせ、または同等物を含むことができる。図２を参照して説明されるように、ウェアラブルシステムは、種々のセンサ２３２を使用して、仮想コンテンツまたは環境に対するユーザの反応を測定することができる。例えば、１つ以上のセンサ２３２は、ユーザの眼領域のデータを取得し、そのようなデータを使用して、ユーザの気分を決定してもよい。ウェアラブルシステムは、内向きに面したイメージングシステム４６２（図４に示される）を使用して、眼の画像を取得することができる。ＡＲＤは、画像を使用して、眼移動、散瞳、および心拍数変動性を決定することができる。いくつかの実装では、内向きに面したイメージングシステム４６２が、十分に大視野を有するとき、ウェアラブルシステムは、内向きに面したイメージングシステム４６２によって取得される画像を使用して、ユーザの顔の表情を決定することができる。ウェアラブルシステムはまた、外向きに面したイメージングシステム４６４（図２に示される）を使用して、ユーザの顔の表情を決定することができる。例えば、外向きに面したイメージングシステム４６４は、ユーザが反射表面（鏡等）の近傍に立っているとき、ユーザの顔の反射された画像を入手することができる。ウェアラブルシステムは、反射された画像を分析し、ユーザの顔の表情を決定することができる。加えて、または代替として、ウェアラブルシステムは、皮膚電位（ガルバニック皮膚反応等）を測定する、センサを含むことができる。センサは、ユーザのウェアラブルグローブおよび／またはユーザ入力デバイス４６６（図４を参照して説明される）の一部であってもよい。ウェアラブルシステムは、皮膚電位データを使用して、ユーザの感情を決定することができる。

ウェアラブルシステムはまた、筋電位（ＥＭＧ）、脳波（ＥＥＧ）、近赤外脳機能計測（ｆＮＩＲ）等のためのセンサを含むことができる。ウェアラブルシステムは、これらのセンサから取得されるデータを使用して、ユーザの心理学的および生理学的状態を決定することができる。これらのデータは、単独で、または内向きに面したイメージングシステム、外向きに面したイメージングシステム、および皮膚電位を測定するためのセンサ等の他のセンサから取得されるデータと組み合わせて、使用されてもよい。ＡＲＤは、ユーザの心理学的および生理学的状態の情報を使用して、仮想コンテンツ（仮想メニュー等）をユーザに提示することができる。

実施例として、ウェアラブルシステムは、ユーザの気分に基づいて、一連のエンターテインメントコンテンツ（例えば、ゲーム、映画、音楽、表示されるための場面）を提案することができる。エンターテインメントコンテンツは、ユーザの気分を改善するために提案されてもよい。例えば、ウェアラブルシステムは、ユーザの生理学的データ（発汗等）に基づいて、ユーザが現在ストレス下にあることを決定してもよい。ウェアラブルシステムはさらに、場所センサ（ＧＰＳ等）から入手された情報または外向きに面したイメージングシステム４６４から入手された画像に基づいて、ユーザが仕事中であることを決定することができる。ウェアラブルシステムは、これらの２つの一連の情報を組み合わせ、ユーザが仕事中にストレスを被っていることを決定することができる。故に、ウェアラブルシステムは、ユーザが、昼休憩中に落ち着くために、スローペースの探検的かつ非制限的なゲームをプレーすること、リラックスするような場面を仮想ディスプレイ上に表示すること、穏やかな音楽をユーザの環境内で再生すること等を提案することができる。

別の実施例として、複数のユーザが、物理または仮想空間内でともに存在するかまたは相互に相互作用してもよい。ウェアラブルシステムは、ユーザ間の１つ以上の共有気分（グループが、楽しいまたは怒っているかどうか等）を決定することができる。共有気分は、複数のユーザの気分の組み合わせまたは融合であってもよく、ユーザ間の共通気分またはテーマを標的としてもよい。ウェアラブルシステムは、ユーザ間の共有気分に基づいて、仮想アクティビティ（ゲーム等）を提示することができる。
（基準マーカ）

いくつかの実装では、コンテキスト情報は、基準マーカ（本明細書では、ラベルとも称される）内にエンコードされてもよい。基準マーカは、物理オブジェクトと関連付けられてもよい。基準マーカは、クイックレスポンス（ＱＲ）コード、バーコード、ＡｒＵｃｏマーカ（閉塞下で確実に検出されることができる）等の光学マーカであってもよい。基準マーカはまた、ウェアラブルデバイスによって検出可能な電磁信号を放出または受信し得る、電磁マーカ（例えば、無線周波数識別タグ）を備えてもよい。そのような基準マーカは、物理オブジェクト上またはその近傍に物理的に添着されてもよい。ウェアラブルデバイスは、外向きに面したイメージングシステム４６４（図４に示される）または信号を基準マーカから受信するかまたはそこに伝送する１つ以上のセンサ（例えば、信号をマーカに伝送し、これは、次いで、中継信号を返し得る）を使用して、基準マーカを検出することができる。

ウェアラブルデバイスが、基準マーカを検出すると、ウェアラブルデバイスは、基準マーカをデコードし、デコードされた基準マーカに基づいて、仮想オブジェクトのグループを提示することができる。いくつかの実施形態では、基準マーカは、表示されるべき仮想オブジェクトと関連コンテキスト要因との間の関連付けを含む、データベースへの参照を含有してもよい。例えば、基準マーカは、物理オブジェクト（例えば、テーブル等）の識別子を含むことができる。ウェアラブルデバイスは、識別子を使用して、物理オブジェクトのコンテキスト特性にアクセスすることができる。本実施例では、テーブルのコンテキスト特性は、テーブルおよび水平表面のサイズを含むことができる。アクセスされる特性は、物理オブジェクトによってサポートされるユーザインターフェース動作または仮想オブジェクトを決定するために使用されることができる。テーブルは、水平表面を有するため、ウェアラブルデバイスは、絵画が、典型的には、水平表面ではなく、垂直表面と関連付けられるため、テーブルの表面上に、絵画ではなく、オフィス処理ツールを提示することができる。

例えば、図１５では、ＡｒＵｃｏマーカ１５１２は、寝室１５００内の窓１５１０に取り付けられる。ウェアラブルシステムは、ＡｒＵｃｏマーカ１５１２（例えば、外向きに面したイメージングシステム４６４によって入手された画像に基づいて）を識別し、ＡｒＵｃｏマーカ１５１２内にエンコードされた情報を抽出することができる。いくつかの実施形態では、抽出された情報は、ウェアラブルシステムが、窓またはユーザの環境の他のコンテキスト情報を分析せずに、基準マーカと関連付けられた仮想メニューをレンダリングするために十分であり得る。例えば、抽出された情報は、窓１５１０の配向を含んでもよい（例えば、窓１５１０は、垂直表面を有する）。配向に基づいて、ウェアラブルシステムは、垂直表面と関連付けられた仮想オブジェクトを提示することができる。ある実装では、ウェアラブルシステムは、別のデータソース（例えば、遠隔データリポジトリ２８０）と通信し、ウェアラブルシステムが関連仮想オブジェクトをレンダリングして識別するために、オブジェクトのタイプ（例えば、鏡）、オブジェクトと関連付けられた環境、ユーザの選好等、コンテキスト情報を取得する必要があり得る。
（コンテキスト要因に基づいて、仮想オブジェクトをレンダリングするための例示的方法）

図１６は、コンテキスト情報に基づいて、仮想メニューを生成するための例示的方法のフローチャートである。プロセス１６００は、本明細書に説明されるウェアラブルシステムによって実施されることができる。ウェアラブルシステムは、種々のユーザ相互作用のインジケーションを受信するように構成される、ユーザ入力デバイス（例えば、図４におけるユーザ入力デバイス４６６参照）と、仮想オブジェクトを物理オブジェクトの近傍に表示し得る、ディスプレイと、姿勢センサとを含むことができる。姿勢センサは、ユーザの環境に対する身体の配向またはユーザの手またはユーザの視線方向によって行われるジェスチャ等のユーザの身体の一部の位置または移動を含むことができる、ユーザの姿勢を検出および追跡することができる。姿勢センサは、図２、４、および９を参照して説明される、慣性測定ユニット（ＩＭＵ）、外向きに面したイメージングシステム、および／または眼追跡カメラ（例えば、図４に示されるカメラ４６４）を含むことができる。ＩＭＵは、加速度計、ジャイロスコープ、および他のセンサを含むことができる。

ブロック１６１０では、ウェアラブルシステムは、１つ以上の姿勢センサを使用して、ユーザの姿勢を決定することができる。本明細書に説明されるように、姿勢は、眼姿勢、頭部姿勢、身体姿勢、それらの組み合わせ、または同等物を含んでもよい。ユーザの姿勢に基づいて、ブロック１６２０では、ウェアラブルシステムは、ユーザの環境内の相互作用可能オブジェクトを識別することができる。例えば、ウェアラブルシステムは、円錐投射技法を使用して、ユーザの視線方向と交差する、オブジェクトを識別してもよい。

ブロック１６３０では、ユーザは、ユーザ入力デバイスを作動させ、相互作用可能オブジェクトと関連付けられた仮想メニューを開くためのインジケーションを提供することができる。仮想メニューは、複数の仮想オブジェクトをメニューオプションとして含んでもよい。複数の仮想オブジェクトは、ユーザの環境内の仮想オブジェクトのサブセットまたは相互作用可能オブジェクトと関連付けられた仮想オブジェクトのサブセットであってもよい。仮想メニューは、多くのグラフィック表現を有してもよい。仮想メニューのいくつかの実施例は、図１２におけるオブジェクト１２２０およびオブジェクト１２１０、図１３および１４における仮想ユーザインターフェース１３１０、図１３におけるオブジェクト１３２０、図１４におけるオブジェクト１４３０、ならびに図１５におけるオブジェクト１５３０として示される。ある実装では、仮想メニューを開くためのインジケーションは、ユーザ入力デバイスから受信される必要がない。インジケーションは、例えば、ユーザの頭部姿勢、眼視線、身体姿勢、ジェスチャ、音声コマンド等、直接ユーザ入力と関連付けられてもよい。

ブロック１６４０では、ウェアラブルシステムは、相互作用可能オブジェクトと関連付けられたコンテキスト情報を決定することができる。コンテキスト情報は、相互作用可能オブジェクトのアフォーダンス、環境（例えば、仕事環境または生活環境）の機能、ユーザの特性（ユーザの年齢または選好等）、または環境内のオブジェクトとの現在のユーザ相互作用等、それらの組み合わせ、または同等物を含むことができる。例えば、ウェアラブルシステムは、その機能、配向（水平対垂直）、場所、形状、サイズ等の相互作用可能オブジェクトの特性を分析することによって、相互作用可能オブジェクトのアフォーダンスを決定することができる。ウェアラブルシステムはまた、環境とのその関係を分析することによって、相互作用可能オブジェクトのアフォーダンスを決定することができる。例えば、リビングルーム環境内のエンドテーブルは、エンターテインメント目的のために使用されてもよい一方、寝室環境内におけるエンドテーブルは、人物が就寝する前に、アイテムを保持するために使用されてもよい。

相互作用可能オブジェクトと関連付けられたコンテキスト情報はまた、ユーザの特性または環境内のオブジェクトとのユーザの相互作用から決定されてもよい。例えば、ウェアラブルシステムは、ユーザの年齢を識別し、ユーザの年齢に相当する情報のみを提示してもよい。別の実施例として、ウェアラブルシステムは、仮想メニューとのユーザの以前の使用パターン（ユーザが頻繁に使用する仮想オブジェクトのタイプ等）を分析し、以前の使用パターンに従って、仮想メニューのコンテンツを調整することができる。

ブロック１６５０では、ウェアラブルシステムは、コンテキスト情報に基づいて、仮想メニュー内に含まれるべき仮想オブジェクトのリストを識別することができる。例えば、ウェアラブルシステムは、相互作用可能オブジェクトに関連する機能および／またはユーザの環境に関連する機能を伴う、アプリケーションのリストを識別することができる。別の実施例として、ウェアラブルシステムは、年齢、性別、および以前の使用パターン等のユーザの特性に基づいて、仮想メニュー内に含まれるべき仮想オブジェクトを識別してもよい。

ブロック１６６０では、ウェアラブルシステムは、仮想オブジェクトの識別されたリストに基づいて、仮想メニューを生成することができる。仮想メニューは、識別されたリスト上の全ての仮想オブジェクトを含んでもよい。いくつかの実施形態では、メニューは、空間内で限定されてもよい。ウェアラブルシステムは、リストのサブセットのみがユーザに示されるように、異なるタイプのコンテキスト情報を優先順位付けしてもよい。例えば、ウェアラブルシステムは、以前の使用パターンが最も重要なコンテキスト情報であることを決定し、したがって、以前の使用パターンに基づいて、上位５つの仮想オブジェクトのみを表示してもよい。

ユーザは、例えば、メニューを通してブラウジングする、コンテキスト情報のうちのいくつかの分析に基づいて以前に選択されていない利用可能な仮想オブジェクトを示す、メニューを終了する、または相互作用するための１つ以上のオブジェクトをメニュー上で選択する等、メニューを用いて種々のアクションを実施することができる。
（ユーザの生理学的データに基づいて、仮想オブジェクトをレンダリングするための例示的方法）

図１７は、少なくとも部分的に、ユーザの生理学的データに基づいて、仮想コンテンツを選択するための例示的方法のフローチャートである。プロセス１７００は、本明細書に説明されるウェアラブルシステムによって実施されることができる。ウェアラブルシステムは、例えば、ユーザの生理学的パラメータを測定するように構成される、生理学的センサ、ユーザの眼領域を追跡するように構成される、内向きに面したイメージングシステム等、種々のセンサ２３２を含んでもよい。

ブロック１７１０では、ウェアラブルシステムは、ユーザの生理学的データを取得することができる。図２および４を参照して説明されるように、ウェアラブルシステムは、単独で、または内向きに面したイメージングシステムと組み合わせて、生理学的センサを使用し、ユーザの生理学的データを測定することができる。例えば、ウェアラブルシステムは、１つ以上の生理学的センサを使用して、ユーザのガルバニック皮膚反応を決定することができる。ウェアラブルシステムはさらに、内向きに面したイメージングシステムを使用して、ユーザの眼移動を決定することができる。

ブロック１７２０に示されるように、ウェアラブルシステムは、生理学的データを使用して、ユーザの生理学的または心理学的状態を決定することができる。例えば、ウェアラブルシステムは、ユーザのガルバニック皮膚反応および／またはユーザの眼移動を使用して、ユーザがあるコンテンツに興奮しているかどうかを決定することができる。

ブロック１７３０では、ウェアラブルシステムは、ユーザに提示されるべき仮想コンテンツを決定することができる。ウェアラブルシステムは、生理学的データに基づいて、そのような決定を行うことができる。例えば、生理学的データを使用して、ウェアラブルシステムは、ユーザがストレス下にあることを決定してもよい。ウェアラブルシステムは、故に、ユーザのストレスを和らげることと関連付けられた仮想オブジェクト（音楽またはビデオゲーム等）を提示することができる。

ウェアラブルシステムはまた、他のコンテキスト情報と組み合わせて、生理学的データの分析に基づいて、仮想コンテンツを提示することができる。例えば、ユーザの場所に基づいて、ウェアラブルシステムは、ユーザが仕事中にストレスを被っていることを決定してもよい。ユーザは、典型的には、仕事時間の間、ゲームをプレーしない、または音楽を視聴しないため、ウェアラブルシステムは、ユーザの休憩の間のみ、ビデオゲームおよび音楽を提案し、ユーザがそのストレスレベルを和らげることに役立ててもよい。

ブロック１７４０では、ウェアラブルシステムは、仮想コンテンツを含む、３Ｄユーザインターフェースを生成することができる。例えば、ウェアラブルシステムは、ユーザがストレスを被っていることを検出すると、音楽およびビデオゲームのためのアイコンを示してもよい。ウェアラブルシステムは、ユーザが物理オブジェクトと相互作用する間、仮想メニューを提示することができる。例えば、ウェアラブルシステムは、その仕事休憩の間、ユーザがユーザ入力デバイスをデスクの正面で作動させると、音楽およびビデオゲームのためのアイコンを示すことができる。

本明細書に説明される種々の実施例における技法は、利用可能な仮想オブジェクトまたはユーザインターフェース相互作用オプションのサブセットをユーザに提供することができる。本仮想オブジェクトまたはユーザインターフェース相互作用オプションのサブセットは、種々の形態で提供されることができる。実施例は、主に、メニューを提示することを参照して説明されるが、他のタイプのユーザインターフェース提示もまた、利用可能である。例えば、ウェアラブルシステムは、仮想オブジェクトのアイコンを仮想オブジェクトのサブセット内にレンダリングすることができる。ある実装では、ウェアラブルシステムは、自動的に、コンテキスト情報に基づいて、動作を実施することができる。例えば、ウェアラブルシステムは、ユーザが鏡の近傍に居る場合、自動的に、ユーザの最も頻繁な連絡先とテレプレゼンスセッションを開始してもよい。別の実施例として、ウェアラブルシステムは、ウェアラブルシステムが、ユーザがある仮想オブジェクトに最も関心がある可能性が高いことを決定する場合、自動的に、その仮想オブジェクトを呼び出すことができる。
（他の実施形態）

第１の側面では、３次元（３Ｄ）空間内のユーザの環境の中で仮想メニューを生成するための方法であって、方法は、コンピュータハードウェアを備える、拡張現実（ＡＲ）システムであって、ＡＲシステムは、ユーザの環境内のオブジェクトとのユーザ相互作用を可能にするように構成され、ＡＲシステムは、ユーザ入力デバイスと、ＡＲディスプレイと、ユーザの姿勢を検出するように構成される慣性測定ユニット（ＩＭＵ）とを備える、ＡＲシステムの制御下で、ＩＭＵを使用して、ユーザの姿勢を決定するステップと、少なくとも部分的に、ユーザの姿勢に基づいて、３Ｄ空間内のユーザの環境の中の物理オブジェクトを識別するステップと、ユーザ入力デバイスを介して、物理オブジェクトと関連付けられた仮想メニューを開くためのインジケーションを受信するステップと、物理オブジェクトと関連付けられたコンテキスト情報を決定するステップと、少なくとも部分的に、決定されたコンテキスト情報に基づいて、仮想メニュー内に含まれるべき仮想オブジェクトを決定するステップと、少なくとも部分的に、決定されたコンテキスト情報に基づいて、仮想メニューを表示するための空間場所を決定するステップと、少なくとも決定された仮想オブジェクトを含む、仮想メニューを生成するステップと、ユーザに、ＡＲディスプレイを介して、生成されたメニューを空間場所に表示するステップとを含む、方法。

第２の側面では、姿勢は、頭部姿勢または身体姿勢のうちの１つ以上のものを含む、側面１に記載の方法。

第３の側面では、ＡＲＤはさらに、ユーザの眼姿勢を追跡するように構成される、眼追跡カメラを備える、側面１または側面２に記載の方法。

第４の側面では、姿勢は、眼姿勢を含む、側面３に記載の方法。

第５の側面では、コンテキスト情報は、物理オブジェクトのアフォーダンス、環境の機能、ユーザの特性、またはＡＲシステムとのユーザの現在または過去の相互作用のうちの１つ以上のものを含む、側面１－４のいずれか１項に記載の方法。

第６の側面では、物理オブジェクトのアフォーダンスは、物理オブジェクトと関連付けられたアクションまたは使用のための機会を与える、物理オブジェクトと物理オブジェクトの環境との間の関係を含む、側面５に記載の方法。

第７の側面では、物理オブジェクトのアフォーダンスは、少なくとも部分的に、物理オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または物理オブジェクトが位置する環境のうちの１つ以上のものに基づく、側面５または側面６に記載の方法。

第８の側面では、物理オブジェクトの配向は、水平または垂直を含む、側面７に記載の方法。

第９の側面では、環境は、生活環境または作業環境である、側面５－８のいずれか１項に記載の方法。

第１０の側面では、環境は、プライベート環境またはパブリック環境である、側面５－９のいずれか１項に記載の方法。

第１１の側面では、ユーザの特性は、年齢、性別、教育レベル、職業、または選好のうちの１つ以上のものを含む、側面５に記載の方法。

第１２の側面では、選好は、少なくとも部分的に、ユーザの以前の使用パターンに基づき、以前の使用パターンは、仮想オブジェクトが使用された場所または時間の情報を含む、側面１１に記載の方法。

第１３の側面では、現在の相互作用は、ＡＲシステムのユーザと別のユーザとの間のテレプレゼンスセッションを含む、側面５に記載の方法。

第１４の側面では、コンテキスト情報は、基準マーカ内にエンコードされ、基準マーカは、物理オブジェクトと関連付けられる、側面１－１３のいずれか１項に記載の方法。

第１５の側面では、基準マーカは、光学マーカまたは電磁マーカを含む、側面１４に記載の方法。

第１６の側面では、オブジェクトは、物理オブジェクトまたは仮想オブジェクトのうちの少なくとも１つを含む、側面１－１５のいずれか１項に記載の方法。

第１７の側面では、複数の仮想オブジェクトを３次元（３Ｄ）空間内のユーザの環境の中にレンダリングするための方法であって、方法は、コンピュータハードウェアを備える、拡張現実（ＡＲ）システムであって、ＡＲシステムは、ユーザの環境内のオブジェクトとのユーザ相互作用を可能にするように構成され、ＡＲシステムは、ユーザ入力デバイスと、ＡＲディスプレイと、ユーザの姿勢を検出するように構成される、姿勢センサとを備える、ＡＲシステムの制御下で、姿勢センサを使用して、ユーザの姿勢を決定するステップと、少なくとも部分的に、ユーザの姿勢に基づいて、３Ｄ空間内のユーザの環境の中の相互作用可能オブジェクトを識別するステップと、ユーザ入力デバイスを介して、相互作用可能オブジェクトと関連付けられた複数の仮想オブジェクトを提示するためのインジケーションを受信するステップと、相互作用可能オブジェクトと関連付けられたコンテキスト情報を決定するステップと、少なくとも部分的に、決定されたコンテキスト情報に基づいて、ユーザに表示されるべき複数の仮想オブジェクトを決定するステップと、ユーザに、ＡＲディスプレイを介して、決定された複数の仮想オブジェクトを表示するステップとを含む、方法。

第１８の側面では、姿勢センサは、慣性測定ユニット、眼追跡カメラ、または外向きに面したイメージングシステムのうちの１つ以上のものを含む、側面１７に記載の方法。

第１９の側面では、姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの１つ以上のものを含む、側面１７または側面１８に記載の方法。

第２０の側面では、コンテキスト情報は、相互作用可能オブジェクトのアフォーダンス、環境の機能、ユーザの特性、またはＡＲシステムとのユーザの現在または過去の相互作用のうちの１つ以上のものを含む、側面１７－１９のいずれか１項に記載の方法。

第２１の側面では、相互作用可能オブジェクトのアフォーダンスは、相互作用可能オブジェクトと関連付けられたアクションまたは使用のための機会を与える、相互作用可能オブジェクトと相互作用可能オブジェクトの環境との間の関係を含む、側面２０に記載の方法。

第２２の側面では、相互作用可能オブジェクトのアフォーダンスは、少なくとも部分的に、相互作用可能オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または物理オブジェクトが位置する環境のうちの１つ以上のものに基づく、側面２０または側面２１に記載の方法。

第２３の側面では、相互作用可能オブジェクトの配向は、水平または垂直を含む、側面２２に記載の方法。

第２４の側面では、環境は、生活環境または作業環境である、側面２０－２３のいずれか１項に記載の方法。

第２５の側面では、環境は、プライベート環境またはパブリック環境である、側面２０－２４のいずれか１項に記載の方法。

第２６の側面では、ユーザの特性は、年齢、性別、教育レベル、職業、または選好のうちの１つ以上のものを含む、側面２０に記載の方法。

第２７の側面では、選好は、少なくとも部分的に、仮想オブジェクトが使用された場所または時間の情報を含む、ユーザの以前の使用パターンに基づく、側面２６に記載の方法。

第２８の側面では、現在の相互作用は、テレプレゼンスセッションを含む、側面２０に記載の方法。

第２９の側面では、コンテキスト情報は、基準マーカ内にエンコードされ、基準マーカは、相互作用可能オブジェクトと関連付けられる、側面１７－２８のいずれか１項に記載の方法。

第３０の側面では、基準マーカは、光学マーカまたは電磁マーカを含む、側面２９に記載の方法。

第３１の側面では、オブジェクトは、物理オブジェクトまたは仮想オブジェクトのうちの少なくとも１つを含む、側面１７－３０のいずれか１項に記載の方法。

第３２の側面では、相互作用可能オブジェクトは、物理オブジェクトまたは仮想オブジェクトのうちの少なくとも１つを含む、側面１７－３１のいずれか１項に記載の方法。

第３３の側面では、コンピュータハードウェアと、ユーザ入力デバイスと、ＡＲディスプレイと、姿勢センサとを備え、側面１－３２に記載の方法のうちの任意の１つを実施するように構成される、拡張現実（ＡＲ）システム。

第３４の側面では、仮想コンテンツをユーザに３次元空間（３Ｄ）内で選択的に提示するための方法であって、方法は、コンピュータプロセッサと、ディスプレイと、ユーザの生理学的パラメータを測定するように構成される、生理学的センサとを備える、ウェアラブルデバイスの制御下で、生理学的センサを使用して、ユーザの生理学的パラメータと関連付けられたデータを取得するステップと、少なくとも部分的に、データに基づいて、ユーザの生理学的状態を決定するステップと、少なくとも部分的に、生理学的状態に基づいて、ユーザに提示されるべき仮想コンテンツを決定するステップと、３Ｄ空間内で仮想コンテンツを表示するための空間場所を決定するステップと、少なくとも決定された仮想コンテンツを含む、仮想ユーザインターフェースを生成するステップと、ユーザに、ウェアラブルデバイスのディスプレイを介して、仮想コンテンツを決定された空間場所に表示するステップとを含む、方法。

第３５の側面では、生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも１つを含む、側面３４に記載の方法。

第３６の側面では、ユーザの片眼または両眼をイメージングするように構成される、内向きに面したイメージングシステムを使用して、ユーザの生理学的パラメータと関連付けられたデータを取得するステップをさらに含む、側面３４－３５のいずれか１項に記載の方法。

第３７の側面では、データに基づいて、心理学的状態を決定するステップをさらに含む、側面３４－３６のいずれか１項に記載の方法。

第３８の側面では、仮想コンテンツは、仮想メニューを含む、側面３４－３７のいずれか１項に記載の方法。

第３９の側面では、仮想コンテンツはさらに、仮想コンテンツと関連付けられた物理オブジェクトのアフォーダンス、ユーザの環境の機能、ユーザの特性、環境内に存在する個人、物理オブジェクトと関連付けられた基準マーカ内でエンコードされた情報、またはウェアラブルシステムとのユーザの現在または過去の相互作用のうちの少なくとも１つに基づいて決定される、側面３４－３８のいずれか１項に記載の方法。

第４０の側面では、物理オブジェクトのアフォーダンスは、物理オブジェクトと関連付けられたアクションまたは使用のための機会を与える、物理オブジェクトと物理オブジェクトの環境との間の関係を含む、側面３９に記載の方法。

第４１の側面では、物理オブジェクトのアフォーダンスは、少なくとも部分的に、物理オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または物理オブジェクトが位置する環境のうちの１つ以上のものに基づく、側面３９または側面４０に記載の方法。

第４２の側面では、物理オブジェクトの配向は、水平または垂直を含む、側面４１に記載の方法。

第４３の側面では、環境は、生活環境または作業環境である、側面３９－４２のいずれか１項に記載の方法。

第４４の側面では、環境は、プライベート環境またはパブリック環境である、側面３９－４３のいずれか１項に記載の方法。

第４５の側面では、ユーザの特性は、年齢、性別、教育レベル、職業、または選好のうちの１つ以上のものを含む、側面３９に記載の方法。

第４６の側面では、選好は、少なくとも部分的に、ユーザの以前の使用パターンに基づき、以前の使用パターンは、仮想オブジェクトが使用された場所または時間の情報を含む、側面４５に記載の方法。

第４７の側面では、現在の相互作用は、ＡＲシステムのユーザと別のユーザとの間のテレプレゼンスセッションを含む、側面３９に記載の方法。

第４８の側面では、ウェアラブルデバイスは、拡張現実システムを含む、側面３４－４７のいずれか１項に記載の方法。

第４９の側面では、コンピュータプロセッサと、ディスプレイと、ユーザの生理学的パラメータを測定するように構成される、生理学的センサとを備える、ウェアラブルデバイスであって、側面３４－４８に記載の方法のうちの任意の１つを実施するように構成される、ウェアラブルデバイス。

第５０の側面では、ユーザの３次元（３Ｄ）環境内で仮想コンテンツを生成するためのウェアラブルシステムであって、ウェアラブルシステムは、仮想コンテンツを３Ｄビューでユーザに提示するように構成される、拡張現実ディスプレイと、ユーザの位置または配向データを入手し、位置または配向データを分析し、ユーザの姿勢を識別するように構成される、姿勢センサと、姿勢センサおよびディスプレイと通信する、ハードウェアプロセッサであって、ハードウェアプロセッサは、少なくとも部分的に、ユーザの姿勢に基づいて、３Ｄ環境内のユーザの環境の中の物理オブジェクトを識別することと、物理オブジェクトとの相互作用を開始するためのインジケーションを受信することと、物理オブジェクトと関連付けられる、ユーザの環境内の仮想オブジェクトのセットを識別することと、物理オブジェクトと関連付けられたコンテキスト情報を決定することと、仮想オブジェクトのセットをフィルタリングし、コンテキスト情報に基づいて、仮想オブジェクトのサブセットを仮想オブジェクトのセットから識別することと、仮想オブジェクトのサブセットを含む、仮想メニューを生成することと、少なくとも部分的に、決定されたコンテキスト情報に基づいて、仮想メニューを提示するための３Ｄ環境内の空間場所を決定することと、拡張現実ディスプレイによって、仮想メニューを空間場所に提示するすることとを行うようにプログラムされる、ハードウェアプロセッサと、を備える、ウェアラブルシステム。

第５１の側面では、コンテキスト情報は、物理オブジェクトと関連付けられたアクションまたは使用のための機会を与える、物理オブジェクトと物理オブジェクトの環境との間の関係を含む、物理オブジェクトのアフォーダンスを含み、物理オブジェクトのアフォーダンスは、少なくとも部分的に、物理オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または物理オブジェクトが位置する環境のうちの１つ以上のものに基づく、側面５０に記載のウェアラブルシステム。

第５２の側面では、コンテキスト情報は、物理オブジェクトの表面の配向を含み、仮想オブジェクトのセットをフィルタリングするために、ハードウェアプロセッサは、配向を有する表面上のユーザインターフェース相互作用をサポートする、仮想オブジェクトのサブセットを識別するようにプログラムされる、側面５１に記載のウェアラブルシステム。

第５３の側面では、姿勢センサは、ユーザの頭部姿勢を測定し、物理オブジェクトを識別するように構成される、慣性測定ユニットを備え、ハードウェアプロセッサは、少なくとも部分的に、ユーザの頭部姿勢に基づいて、仮想円錐を投射し、物理オブジェクトが仮想円錐の一部と交差する物理オブジェクトを選択するようにプログラムされる、側面５０－５２のうちのいずれか１項に記載のウェアラブルシステム。

第５４の側面では、ユーザの生理学的パラメータを測定するように構成される、生理学的センサをさらに備え、ハードウェアプロセッサは、ユーザの心理学的状態を決定し、心理学的状態をコンテキスト情報の一部として使用し、仮想メニュー内への含有のために、仮想オブジェクトのサブセットを識別するようにプログラムされる、側面５０－５３のうちのいずれか１項に記載のウェアラブルシステム。

第５５の側面では、生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも１つに関連する、側面５４に記載のウェアラブルシステム。

第５６の側面では、３Ｄ環境は、複数のユーザを含み、ハードウェアプロセッサは、複数のユーザの共通特性を決定し、複数のユーザの共通特性に基づいて、仮想オブジェクトのセットをフィルタリングするようにプログラムされる、側面５０－５５のうちのいずれか１項に記載のウェアラブルシステム。

第５７の側面では、コンテキスト情報は、仮想オブジェクトのセットとのユーザの過去の相互作用を含み、ハードウェアプロセッサは、ユーザが頻繁に相互作用している１つ以上の仮想オブジェクトを識別し、仮想メニューのために、１つ以上の仮想オブジェクトを仮想オブジェクトのサブセット内に含めるようにプログラムされる、側面５０－５６のうちのいずれか１項に記載のウェアラブルシステム。

第５８の側面では、物理オブジェクトと関連付けられたコンテキスト情報を決定し、仮想オブジェクトのセットをフィルタリングするために、ハードウェアプロセッサは、物理オブジェクトと関連付けられた基準マーカを識別することであって、基準マーカは、物理オブジェクトの識別子をエンコードする、ことと、基準マーカをデコードし、識別子を抽出することと、物理オブジェクトと関連付けられたコンテキスト情報を記憶するデータベースに識別子を用いてアクセスすることと、データベース内に記憶されるコンテキスト情報を分析し、仮想オブジェクトのセットをフィルタリングすることとを行うようにプログラムされる、側面５０－５７のうちのいずれか１項に記載のウェアラブルシステム。

第５９の側面では、基準マーカは、ＡｒＵｃｏマーカを含む、側面５８に記載のウェアラブルシステム。

第６０の側面では、仮想メニューをレンダリングするための空間場所は、物理オブジェクトに対する仮想メニューの位置または配向を含む、側面５０－５９のうちのいずれか１項に記載のウェアラブルシステム。

第６１の側面では、仮想メニューをレンダリングするための空間場所を決定するために、ハードウェアプロセッサは、物理オブジェクトと関連付けられたオブジェクト認識装置を使用して、物理オブジェクトの表面上の空間を識別するようにプログラムされる、側面６０に記載のウェアラブルシステム。

第６２の側面では、ユーザの３次元（３Ｄ）環境内で仮想コンテンツを生成するための方法であって、方法は、姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別するステップと、少なくとも部分的に、姿勢に基づいて、ユーザの３Ｄ環境内の相互作用可能オブジェクトを識別するステップと、相互作用可能オブジェクトとの相互作用を開始するためのインジケーションを受信するステップと、相互作用可能オブジェクトと関連付けられたコンテキスト情報を決定するステップと、コンテキスト情報に基づいて、相互作用可能オブジェクト上で利用可能なユーザインターフェース動作のセットからユーザインターフェース動作のサブセットを選択するステップと、ユーザインターフェース動作のサブセットを３Ｄビューでユーザに提示するための命令を生成するステップとを含む、方法。

第６３の側面では、姿勢は、眼視線、頭部姿勢、またはジェスチャのうちの少なくとも１つを含む、側面６２に記載の方法。

第６４の側面では、相互作用可能オブジェクトを識別するステップは、ユーザの頭部姿勢に基づいて、円錐投射を実施するステップと、ユーザの環境内のオブジェクトをオブジェクトが円錐投射において使用される仮想円錐の少なくとも一部と交差する相互作用可能オブジェクトとして選択するステップとを含む、側面６２－６３のいずれか１項に記載の方法。

第６５の側面では、コンテキスト情報は、相互作用可能オブジェクトの表面の配向を含み、ユーザインターフェース動作のサブセットを選択するステップは、配向を有する表面上で実施され得るユーザインターフェース動作を識別するステップを含む、側面６２－６４のいずれか１項に記載の方法。

第６６の側面では、相互作用可能オブジェクトとの相互作用を開始するためのインジケーションは、ユーザ入力デバイスの作動またはユーザの姿勢の変化を含む、側面６２－６５のいずれか１項に記載の方法。

第６７の側面では、ユーザの生理学的パラメータを受信するステップと、ユーザの心理学的状態を決定するステップとをさらに含み、心理学的状態は、ユーザ相互作用のサブセットを選択するためのコンテキスト情報の一部である、側面６２－６６のいずれか１項に記載の方法。

第６８の側面では、生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも１つに関連する、側面６７に記載の方法。

第６９の側面では、ユーザ相互作用のサブセットを３Ｄビューでユーザに提示するための命令を生成するステップは、ユーザインターフェース動作のサブセットを含む仮想メニューを生成するステップと、相互作用可能オブジェクトの特性に基づいて、仮想メニューの空間場所を決定するステップと、ユーザの３Ｄ環境内の空間場所における仮想メニューの提示のための表示命令を生成するステップとを含む、側面６２－６８のいずれか１項に記載の方法。
（他の考慮点）

本明細書に説明される、ならびに／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能（例えば、論理もしくは算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要もしくは必須ではない。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．，）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／もしくはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える」、「～を含む」、「～を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ならびにＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
（項目１）
ユーザの３次元（３Ｄ）環境内で仮想コンテンツを生成するためのウェアラブルシステムであって、上記ウェアラブルシステムは、
仮想コンテンツを３Ｄビューでユーザに提示するように構成される拡張現実ディスプレイと、
ユーザの位置または配向データを入手し、上記位置または配向データを分析し、上記ユーザの姿勢を識別するように構成される姿勢センサと、
上記姿勢センサおよび上記ディスプレイと通信するハードウェアプロセッサであって、上記ハードウェアプロセッサは、
少なくとも部分的に、上記ユーザの姿勢に基づいて、上記３Ｄ環境内の上記ユーザの環境の中の物理オブジェクトを識別することと、
上記物理オブジェクトとの相互作用を開始するためのインジケーションを受信することと、
上記物理オブジェクトと関連付けられる上記ユーザの環境内の仮想オブジェクトのセットを識別することと、
上記物理オブジェクトと関連付けられたコンテキスト情報を決定することと、
上記仮想オブジェクトのセットをフィルタリングし、上記コンテキスト情報に基づいて、仮想オブジェクトのサブセットを上記仮想オブジェクトのセットから識別することと、
上記仮想オブジェクトのサブセットを含む仮想メニューを生成することと、
少なくとも部分的に、上記決定されたコンテキスト情報に基づいて、上記仮想メニューを提示するための上記３Ｄ環境内の空間場所を決定することと、
上記拡張現実ディスプレイによって、上記仮想メニューを上記空間場所に提示することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
（項目２）
上記コンテキスト情報は、上記物理オブジェクトと関連付けられたアクションまたは使用のための機会を与える、上記物理オブジェクトと上記物理オブジェクトの環境との間の関係を含む、上記物理オブジェクトのアフォーダンスを含み、上記物理オブジェクトのアフォーダンスは、少なくとも部分的に、上記物理オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または上記物理オブジェクトが位置する環境のうちの１つ以上のものに基づく、項目１に記載のウェアラブルシステム。
（項目３）
上記コンテキスト情報は、上記物理オブジェクトの表面の配向を含み、上記仮想オブジェクトのセットをフィルタリングするために、上記ハードウェアプロセッサは、上記配向を有する上記表面上のユーザインターフェース相互作用をサポートする上記仮想オブジェクトのサブセットを識別するようにプログラムされる、項目２に記載のウェアラブルシステム。
（項目４）
上記姿勢センサは、上記ユーザの頭部姿勢を測定し、上記物理オブジェクトを識別するように構成される慣性測定ユニットを備え、上記ハードウェアプロセッサは、少なくとも部分的に、上記ユーザの頭部姿勢に基づいて、仮想円錐を投射し、上記物理オブジェクトが上記仮想円錐の一部と交差する上記物理オブジェクトを選択するようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目５）
上記ユーザの生理学的パラメータを測定するように構成される生理学的センサをさらに備え、ハードウェアプロセッサは、上記ユーザの心理学的状態を決定し、上記心理学的状態を上記コンテキスト情報の一部として使用し、上記仮想メニュー内への含有のために、上記仮想オブジェクトのサブセットを識別するようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目６）
生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも１つに関連する、項目５に記載のウェアラブルシステム。
（項目７）
上記３Ｄ環境は、複数のユーザを含み、上記ハードウェアプロセッサは、上記複数のユーザの共通特性を決定し、上記複数のユーザの共通特性に基づいて、上記仮想オブジェクトのセットをフィルタリングするようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目８）
上記コンテキスト情報は、上記仮想オブジェクトのセットとのユーザの過去の相互作用を含み、上記ハードウェアプロセッサは、上記ユーザが頻繁に相互作用している１つ以上の仮想オブジェクトを識別し、上記仮想メニューのために、上記１つ以上の仮想オブジェクトを上記仮想オブジェクトのサブセット内に含めるようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目９）
上記物理オブジェクトと関連付けられたコンテキスト情報を決定し、上記仮想オブジェクトのセットをフィルタリングするために、上記ハードウェアプロセッサは、
上記物理オブジェクトと関連付けられた基準マーカを識別することであって、上記基準マーカは、上記物理オブジェクトの識別子をエンコードする、ことと、
上記基準マーカをデコードし、上記識別子を抽出することと、
上記物理オブジェクトと関連付けられたコンテキスト情報を記憶するデータベースに上記識別子を用いてアクセスすることと、
上記データベース内に記憶されるコンテキスト情報を分析し、上記仮想オブジェクトのセットをフィルタリングすることと
を行うようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目１０）
上記基準マーカは、ＡｒＵｃｏマーカを含む、項目９に記載のウェアラブルシステム。
（項目１１）
上記仮想メニューをレンダリングするための上記空間場所は、上記物理オブジェクトに対する上記仮想メニューの位置または配向を含む、項目１に記載のウェアラブルシステム。
（項目１２）
上記仮想メニューをレンダリングするための上記空間場所を決定するために、上記ハードウェアプロセッサは、上記物理オブジェクトと関連付けられたオブジェクト認識装置を使用して、上記物理オブジェクトの表面上の空間を識別するようにプログラムされる、項目１１に記載のウェアラブルシステム。
（項目１３）
ユーザの３次元（３Ｄ）環境内で仮想コンテンツを生成するための方法であって、上記方法は、
姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別することと、
少なくとも部分的に、上記姿勢に基づいて、上記ユーザの３Ｄ環境内の相互作用可能オブジェクトを識別することと、
上記相互作用可能オブジェクトとの相互作用を開始するためのインジケーションを受信することと、
上記相互作用可能オブジェクトと関連付けられたコンテキスト情報を決定することと、
上記コンテキスト情報に基づいて、上記相互作用可能オブジェクト上で利用可能なユーザインターフェース動作のセットからユーザインターフェース動作のサブセットを選択することと、
上記ユーザインターフェース動作のサブセットを３Ｄビューで上記ユーザに提示するための命令を生成することと
を含む、方法。
（項目１４）
上記姿勢は、眼視線、頭部姿勢、またはジェスチャのうちの少なくとも１つを含む、項目１３に記載の方法。
（項目１５）
上記相互作用可能オブジェクトを識別することは、上記ユーザの頭部姿勢に基づいて、円錐投射を実施することと、上記ユーザの環境内のオブジェクトを上記オブジェクトが上記円錐投射において使用される仮想円錐の少なくとも一部と交差する上記相互作用可能オブジェクトとして選択することとを含む、項目１３に記載の方法。
（項目１６）
上記コンテキスト情報は、上記相互作用可能オブジェクトの表面の配向を含み、上記ユーザインターフェース動作のサブセットを選択することは、上記配向を有する表面上で実施され得るユーザインターフェース動作を識別することを含む、項目１３に記載の方法。
（項目１７）
上記相互作用可能オブジェクトとの相互作用を開始するためのインジケーションは、ユーザ入力デバイスの作動または上記ユーザの姿勢の変化を含む、項目１３に記載の方法。
（項目１８）
上記ユーザの生理学的パラメータを受信することと、上記ユーザの心理学的状態を決定することとをさらに含み、上記心理学的状態は、上記ユーザ相互作用のサブセットを選択するための上記コンテキスト情報の一部である、項目１３に記載の方法。
（項目１９）
生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも１つに関連する、項目１８に記載の方法。
（項目２０）
上記ユーザ相互作用のサブセットを３Ｄビューで上記ユーザに提示するための命令を生成することは、上記ユーザインターフェース動作のサブセットを含む仮想メニューを生成することと、上記相互作用可能オブジェクトの特性に基づいて、上記仮想メニューの空間場所を決定することと、上記ユーザの３Ｄ環境内の空間場所における上記仮想メニューの提示のための表示命令を生成することとを含む、項目１３に記載の方法。

Claims (18)

1. ３次元（３Ｄ）空間内のユーザの環境の中で仮想メニューを生成するための方法であって、前記方法は、コンピュータハードウェアを備える拡張現実（ＡＲ）システムであって、前記ＡＲシステムは、前記ユーザの前記環境内のオブジェクトとのユーザ相互作用を可能にするように構成され、前記ＡＲシステムは、ユーザ入力デバイスと、ＡＲディスプレイと、ユーザの姿勢を検出するように構成される慣性測定ユニット（ＩＭＵ）とを備える、ＡＲシステムの制御下で、
   前記ＩＭＵを使用して、前記ユーザの前記姿勢を決定することと、
   少なくとも部分的に前記ユーザの前記姿勢に基づいて、前記３Ｄ空間内の前記ユーザの前記環境の中の物理オブジェクトを識別することと、
   前記ユーザ入力デバイスを介して、前記物理オブジェクトと関連付けられた仮想メニューを開くためのインジケーションを受信することと、
   前記物理オブジェクトと関連付けられかつ前記ユーザの心理学的状態または生理学的状態と関連付けられたコンテキスト情報を決定することであって、前記生理学的状態は、前記ユーザの心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、または呼吸数のうちの少なくとも１つを含む、ことと、
   前記ユーザの心理学的状態または生理学的状態と関連付けられた前記決定されたコンテキスト情報の優先順位を決定することと、
   少なくとも部分的に、最高優先順位を有する前記決定されたコンテキスト情報に基づいて、前記仮想メニュー内に含まれるべき仮想オブジェクトを決定することと、
   少なくとも部分的に前記決定されたコンテキスト情報に基づいて、前記仮想メニューを表示するための空間場所を決定することと、
   少なくとも前記決定された仮想オブジェクトを含む前記仮想メニューを生成することと、
   前記ユーザに、前記ＡＲディスプレイを介して、前記生成されたメニューを前記空間場所に表示することと
   を行うことを含む、方法。
2. 前記姿勢は、頭部姿勢または身体姿勢のうちの１つ以上を含む、請求項１に記載の方法。
3. 前記ＡＲシステムはさらに、前記ユーザの眼姿勢を追跡するように構成される眼追跡カメラを備える、請求項１に記載の方法。
4. 前記姿勢は、眼姿勢を含む、請求項３に記載の方法。
5. 前記コンテキスト情報はさらに、
   前記物理オブジェクトのアフォーダンス、
   前記環境の機能、または
   前記ＡＲシステムとの前記ユーザの現在または過去の相互作用
   のうちの１つ以上を含む、請求項１に記載の方法。
6. 前記物理オブジェクトの前記アフォーダンスは、前記物理オブジェクトと関連付けられたアクションまたは使用のための機会を与える、前記物理オブジェクトと前記物理オブジェクトの前記環境との間の関係を含む、請求項５に記載の方法。
7. 前記物理オブジェクトの前記アフォーダンスは、少なくとも部分的に、前記物理オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または前記物理オブジェクトが位置する環境のうちの１つ以上に基づく、請求項５に記載の方法。
8. 前記物理オブジェクトの前記配向は、水平または垂直を含む、請求項７に記載の方法。
9. 前記環境は、生活環境または作業環境である、請求項５に記載の方法。
10. 前記環境は、プライベート環境またはパブリック環境である、請求項５に記載の方法。
11. 前記現在の相互作用は、前記ＡＲシステムの前記ユーザと別のユーザとの間のテレプレゼンスセッションを含む、請求項５に記載の方法。
12. 前記コンテキスト情報は、基準マーカ内にエンコードされ、前記基準マーカは、前記物理オブジェクトと関連付けられる、請求項１に記載の方法。
13. 前記基準マーカは、光学マーカまたは電磁マーカを含む、請求項１２に記載の方法。
14. 前記オブジェクトは、物理オブジェクトまたは仮想オブジェクトのうちの少なくとも１つを含む、請求項１に記載の方法。
15. 複数の仮想オブジェクトを３次元（３Ｄ）空間内のユーザの環境の中にレンダリングするための方法であって、前記方法は、
    コンピュータハードウェアを備える拡張現実（ＡＲ）システムであって、前記ＡＲシステムは、前記ユーザの前記環境内のオブジェクトとのユーザ相互作用を可能にするように構成され、前記ＡＲシステムは、ユーザ入力デバイスと、ＡＲディスプレイと、前記ユーザの姿勢を検出するように構成される姿勢センサとを備える、ＡＲシステムの制御下で、
    前記姿勢センサを使用して、前記ユーザの前記姿勢を決定することと、
    少なくとも部分的に前記ユーザの前記姿勢に基づいて、前記３Ｄ空間内の前記ユーザの前記環境の中の相互作用可能オブジェクトを識別することと、
    前記ユーザ入力デバイスを介して、前記相互作用可能オブジェクトと関連付けられた複数の仮想オブジェクトを提示するためのインジケーションを受信することと、
    前記相互作用可能オブジェクトと関連付けられかつ前記ユーザの心理学的状態または生理学的状態と関連付けられたコンテキスト情報を決定することであって、前記生理学的状態は、前記ユーザの心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、または呼吸数のうちの少なくとも１つを含む、ことと、
    前記ユーザの心理学的状態または生理学的状態と関連付けられた前記決定されたコンテキスト情報の優先順位を決定することと、
    少なくとも部分的に、最高優先順位を有する前記決定されたコンテキスト情報に基づいて、前記ユーザに表示されるべき複数の仮想オブジェクトを決定することと、
    前記ユーザに、前記ＡＲディスプレイを介して、前記決定された複数の仮想オブジェクトを表示することと
    を行うことを含む、方法。
16. 前記姿勢センサは、慣性測定ユニット、眼追跡カメラ、または外向きに面したイメージングシステムのうちの１つ以上を含む、請求項１５に記載の方法。
17. 前記姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの１つ以上を含む、請求項１５に記載の方法。
18. 前記コンテキスト情報はさらに、
    前記相互作用可能オブジェクトのアフォーダンス、
    前記環境の機能、または
    前記ＡＲシステムとの前記ユーザの現在または過去の相互作用
    のうちの１つ以上を含む、請求項１５に記載の方法。