JP2021096477A - 多焦点表示システムおよび方法 - Google Patents

Abstract

【課題】多焦点表示システムおよび方法の提供。
【解決手段】仮想現実および拡張現実経験をユーザに提示するための構成が、開示される。拡張現実を表示する方法は、ユーザに提示されるべき画像データの１つまたはそれを上回るフレームを提供するステップと、画像データの１つまたはそれを上回るフレームと関連付けられた光を伝送するステップと、画像データの第１のフレームを第１の焦点面に合焦させるステップと、画像データの第２のフレームを第２の焦点面に合焦させるステップと、ある範囲の距離を横断して、第１の焦点面および第２の焦点面を可変シフトさせるステップとを含む。
【選択図】図１

Description

現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式においてユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。

３Ｄ仮想コンテンツをＡＲシステムのユーザに提示するには、多数の課題が存在する。３Ｄコンテンツをユーザに提示することの中心となる前提条件は、複数の深度の知覚を生成することを伴う。一部の仮想コンテンツは、ユーザのより近くに現れる一方、他の仮想コンテンツは、より離れて生じるように現れ得る。したがって、３Ｄ知覚を達成するために、ＡＲシステムは、仮想コンテンツをユーザに対して異なる焦点面において送達するように構成される。

前述の米国仮特許出願は、ＡＲシステムの状況において、種々の焦点面を生成するためのシステムおよび技法を提示している。これらの仮想現実および／または拡張現実システムの設計は、仮想コンテンツを送達する際のシステムの速度、仮想コンテンツの品質、ユーザの射出瞳距離、システムのサイズおよび可搬性、ならびに他のシステムおよび光学課題を含む、多数の課題を提示する。

本明細書に説明されるシステムおよび技法は、典型的ヒトの視覚的構成と連動し、これらの課題に対処するように構成される。

本発明の実施形態は、１人またはそれを上回るユーザのための仮想現実および／または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。一側面では、仮想コンテンツを表示するためのシステムが、開示される。

１つまたはそれを上回る実施形態では、拡張現実システムは、画像データの１つまたはそれを上回るフレームを生成するための画像源に動作可能に結合される光投影ディスプレイと、第２のＶＦＥと直列に設置された第１のＶＦＥを有する複合可変焦点要素（ＶＦＥ）システムと、画像データの１つまたはそれを上回るフレームに対応する少なくとも２つの深度平面を生成するための第１のＶＦＥと、ユーザの眼からの変動距離において少なくとも２つの深度平面を可変シフトさせるための第２のＶＦＥとを備える。

１つまたはそれを上回る実施形態では、拡張現実ディスプレイはまた、遠近調節追跡モジュールを備え、ユーザの眼の遠近調節を追跡し、第２のＶＦＥは、少なくとも部分的に、ユーザの眼の追跡された遠近調節に基づいて、画像データの１つまたはそれを上回るフレームを合焦させる。１つまたはそれを上回る実施形態では、光投影ディスプレイは、高リフレッシュ率ディスプレイである。１つまたはそれを上回る実施形態では、光投影ディスプレイは、ＤＬＰディスプレイである。

１つまたはそれを上回る実施形態では、第１のＶＦＥは、２つの深度平面間を切り替える。１つまたはそれを上回る実施形態では、第１のＶＦＥは、フレーム毎ベースで焦点を切り替える。１つまたはそれを上回る実施形態では、画像データの１つまたはそれを上回るフレームは、時系列様式で提供される。１つまたはそれを上回る実施形態では、光投影ディスプレイは、ユーザが少なくとも２つの深度平面を同時に知覚するように高リフレッシュ率を有する。１つまたはそれを上回る実施形態では、画像データの１つまたはそれを上回るフレームは、３次元場面のスライスを備える。

別の側面では、拡張現実を表示する方法は、ユーザに提示されるべき画像データの１つまたはそれを上回るフレームを提供するステップと、画像データの１つまたはそれを上回るフレームと関連付けられた光を伝送するステップと、画像データの第１のフレームを第１の焦点面に合焦させるステップと、画像データの第２のフレームを第２の焦点面に合焦させるステップと、ある範囲の距離を横断して、第１の焦点面および第２の焦点面を可変シフトさせるステップとを含む。

１つまたはそれを上回る実施形態では、画像データの１つまたはそれを上回るフレームは、時系列様式で提供される。１つまたはそれを上回る実施形態では、画像データの１つまたはそれを上回るフレームは、３次元場面のスライスを備える。

１つまたはそれを上回る実施形態では、本方法はさらに、ユーザの眼の遠近調節を追跡するステップを含み、第１の焦点面および第２の焦点面は、少なくとも部分的に、ユーザの眼の追跡された遠近調節に基づいて、可変シフトされる。第１のＶＦＥは、第１の焦点面と第２の焦点面との間の焦点を切り替えてもよい。

１つまたはそれを上回る実施形態では、第１のＶＦＥは、フレーム毎ベースで焦点を切り替える。１つまたはそれを上回る実施形態では、第２のＶＦＥは、第１および第２の焦点面を可変シフトさせる。１つまたはそれを上回る実施形態では、第１のＶＦＥは、第１の速度を有し、第２のＶＦＥは、第２の速度を有し、第１の速度は、第２の速度を上回る。１つまたはそれを上回る実施形態では、第１の焦点面における画像データの第１のフレームおよび第２の焦点面における画像データの第２のフレームは、ユーザが２つの焦点面を同時に視認するように、立て続けに提示される。

本発明の付加的および他の目的、特徴、ならびに利点は、発明を実施するための形態、図、および請求項に説明される。
例えば、本願は以下の項目を提供する。
（項目１）
拡張現実を表示する方法であって、
ユーザに提示されるべき画像データの１つまたはそれを上回るフレームを提供するステップと、
前記画像データの１つまたはそれを上回るフレームと関連付けられた光を伝送するステップと、
画像データの第１のフレームを第１の焦点面に合焦させるステップと、
画像データの第２のフレームを第２の焦点面に合焦させるステップと、
ある範囲の距離を横断して、前記第１の焦点面および前記第２の焦点面を可変シフトさせるステップと、
を含む、方法。
（項目２）
前記画像データの１つまたはそれを上回るフレームは、時系列様式で提供される、項目１に記載の方法。
（項目３）
前記画像データの１つまたはそれを上回るフレームは、３次元場面のスライスを備える、項目１に記載の方法。
（項目４）
前記ユーザの眼の遠近調節を追跡するステップをさらに含み、前記第１の焦点面および前記第２の焦点面は、少なくとも部分的に、前記ユーザの眼の追跡された遠近調節に基づいて、可変シフトされる、項目１に記載の方法。
（項目５）
第１のＶＦＥは、前記第１の焦点面と前記第２の焦点面との間の焦点を切り替える、項目１に記載の方法。
（項目６）
前記第１のＶＦＥは、フレーム毎ベースで焦点を切り替える、項目５に記載の方法。
（項目７）
第２のＶＦＥは、前記第１および第２の焦点面を可変シフトさせる、項目５に記載の方法。
（項目８）
前記第１のＶＦＥは、第１の速度を有し、前記第２のＶＦＥは、第２の速度を有し、前記第１の速度は、前記第２の速度を上回る、項目７に記載の方法。
（項目９）
前記第１の焦点面における前記画像データの第１のフレームおよび前記第２の焦点面における前記画像データの第２のフレームは、前記ユーザが前記２つの焦点面を同時に視認するように、立て続けに提示される、項目１に記載の方法。
（項目１０）
前記方法ステップを実装するための手段を有するシステムとして実装される、項目１−９に記載の方法。
（項目１１）
前記方法ステップを実行するための実行可能コードを有するコンピュータ使用可能記憶媒体を備える、コンピュータプログラム製品として実装される、項目１−９に記載の方法。

図面は、本発明の種々の実施形態の設計および可用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、簡単に前述された発明のより詳細な記載が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して付加的具体性および詳細とともに記載および説明されるであろう。

図１は、一例示的実施形態による、他の光学要素とともに、長距離可変焦点要素（ＶＦＥ）および２つの状態ＶＦＥの平面図を図示する。

図２は、一例示的実施形態による、可変状態焦点システムおよびハイブリッド焦点システムを図示する。

図３は、一例示的実施形態による、ハイブリッド焦点システムを使用して焦点面を変動させる例示的実施形態を図示する。

本発明の種々の実施形態は、単一実施形態またはいくつかの実施形態において電子回路設計の多重シナリオ物理認知設計を実装するための方法、システム、および製造品を対象とする。本発明の他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。

ここで、種々の実施形態が、図面を参照して詳細に説明され、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される。留意すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、公知の構成要素（または方法もしくはプロセス）を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのような公知の構成要素（または方法もしくはプロセス）の部分のみ、説明され、そのような公知の構成要素（または方法もしくはプロセス）の他の部分の詳細な説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照される構成要素の現在および将来的公知の均等物を包含する。

米国仮出願第６１／９０９，７７４号（現在は、米国特許出願第１４／５５５，５８５号）、米国特許第６，０４６，７２０号、第７，５５５，３３３号、第７，７８４，６９７号、ならびに米国特許出願第１１／５７３，１１８号および第１２／４６８，８３２号（それぞれ参照することによってその全体として本明細書に組み込まれる）に論じられるように、可変焦点要素（以下、「ＶＦＥ」）が、動的方式において画像の波面（例えば、焦点）を調節するために使用されてもよく、多焦点３Ｄ像を生成するために使用されてもよい。ＶＦＥは、アナログ焦点変調を可能にしてもよく、または離散焦点状態間を切り替えてもよい。

本開示の主題は、画像の焦点を変調させることと連動した複数のＶＦＥの使用である。複数のＶＦＥの使用は、単一の現在最先端のＶＦＥのみを用いて達成することが困難であろう、波面変調特性を可能にすることができる。例えば、大有効開口、大焦点範囲、低電力消費、および高速焦点変調を同時に達成する単一ＶＦＥを生成することは、困難であり得る。複数のＶＦＥの使用は、各ＶＦＥの利点が、組み合わせられ、それらの基準を達成する複合ＶＦＥシステムを生成することを可能にすることができる。

ＶＦＥを光学システム内の射出瞳（接眼ディスプレイ内の視認光学等）に実質的に共役させて、および／または実質的にテレセントリックレンズ構成内に設置することによって、ＶＦＥは、安定した画像倍率を維持しながら、画像の焦点を変調させることができる。

図１は、そのような実施形態の１つの一部の実施例を図示し、ＶＦＥは、ＶＦＥの変調が入射光の焦点の変化を生成するが、画像倍率には殆どまたは全く変化を生成しないように、実質的にテレセントリックレンズ構成内に設置される。本実施形態では、２つのＶＦＥが、示される。ＶＦＥ１０２は、例えば、０−３ジオプトリ等、比較的大焦点範囲を可能にしてもよい。例証目的のためのそのようなＶＦＥ Ａ１０２は、その時間的応答時間が制限され得る。単独で使用される場合、そのようなＶＦＥ Ａ１０２は、動作可能に結合された画像源からの複数の表示されるフレームの過程にわたって、焦点を調節し得るが、動作可能に結合されたディスプレイのリフレッシュ率において、フレーム毎ベースで所望の焦点状態間で変調させるほど十分に高速ではない場合がある。例えば、ヒトの遠近調節または両眼離反運動の変化に応答して、または表示される３次元場面内の要素の動きに応答して、ディスプレイ焦点を調節してもよい。Ｂ（１０４）と標識されたＶＦＥは、ＶＦＥ Ａより高速に焦点状態間で切り替えることができるが、その総焦点範囲（例えば、０〜０．３ジオプトリ）、および／または生成され得る焦点状態の数（例えば、２つの焦点状態）が制限され得る、ＶＦＥを備え得る。ＶＦＥ Ａ１０２およびＶＦＥ Ｂ１０４を直列に設置することによって、その総屈折力は、各ＶＦＥの焦点状態が、動作可能に結合されたディスプレイの焦点に影響を及ぼすように組み合わせられる。その関係は、以下の例示的方程式によって特徴付けられ得る。

図２の上部分２０２は、単一ＶＦＥを備える多焦点ディスプレイシステムを図示する、例示的「多焦点」システムである。視認者が仮想画像を知覚する光学視認距離（すなわち、焦点距離）または焦点面は、図２に示されるように変動され得る。単一ＶＦＥが、例えば、大焦点範囲を可能にするが応答時間が制限されている場合、視認者の遠近調節または範囲２３０内の固定距離の変化に応答して画像の焦点を変調させることが可能であり得るが、フレーム毎ベースで切り替えることは不可能であり得る。図２の下部分２０４は、「ハイブリッド焦点システム」と標識され、例えば、図１に図示され、前述されたＶＦＥ ＡおよびＶＦＥ Ｂの動作によって生成され得る、視認条件を図示する。ＶＦＥ Ｂを２つの焦点状態（２つの焦点面２１０）間で高速に切り替え、焦点を範囲２３０内で変調させることによって、ヒト視覚の持続性が、２つの画像平面が同時に見えているという印象を視認者にもたらす。

ＶＦＥ Ｂと同期して動作可能に結合されたディスプレイを駆動させ、像の１つの層を偶数フレーム内に、像の第２の層を奇数フレーム内に表示することによって、視認者は、層間に比較的にわずかな分離を伴って、多焦点ディスプレイを知覚する。ＶＦＥ Ａは、より長い時間尺度にわたって、例えば、視認者の遠近調節または固定距離の変化に応答して、より大きい焦点範囲内の近接して離間される層をシフトさせるために使用されてもよい。例えば、シミュレートされた屈折ぼけを再レンダリングすることにより、視認者の遠近調節または固定距離の変化に応答して、表示される画像コンテンツを更新することによって、視認者は、ＶＦＥ ＡおよびＢの組み合わせられた屈折力によってサポートされる全焦点範囲全体を通して延在する、多焦点３次元画像を視認しているという知覚を有することができる。ＶＦＥ Ｂの高速変調によって生成される２つの多重化された焦点状態は、視認者の遠近調節が、ＶＦＥ Ａを調節する必要がある前に、わずかな範囲内で変動することを可能にし、視認者の眼の遠近調節または固定距離を測定するために使用される動作可能に結合された遠近調節追跡または眼追跡システムにおける、正確度誤差および待ち時間により多くの公差を提供する。

図３は、より具体的実施形態の詳細を図示し、ＶＦＥ ＡおよびＢは、２４０Ｈｚリフレッシュ率を伴うデジタル光投影（ＤＬＰ）ディスプレイ等の高リフレッシュ率ディスプレイと動作可能に結合される。ＶＦＥ Ｂは、偶数ＤＬＰフレームの全てが１つの光学視認距離で表示される一方、奇数フレームが全て異なる光学視認距離で表示されるように、２４０Ｈｚにおいて、かつＤＬＰリフレッシュと同相で、２つの焦点状態（０および０．３ジオプトリ）間を切り替える。奇数フレームの間に表示されるコンテンツと異なる画像コンテンツを伴う偶数フレームを駆動させることによって、コンテンツの１つの層は、１つの視認距離に位置付けられ、コンテンツの他の層は、第２の視認距離に位置付けられ、視認者は、２つの層が、１２０Ｈｚの全体的有効リフレッシュ率（２つのＶＦＥ焦点状態によって除算された２４０Ｈｚ ＤＬＰリフレッシュ率）を有する、同一多焦点場面の一部であるように知覚する。例えば、偶数ＤＬＰフレームは、鮮明にレンダリングされたコーヒーカップの画像を表示してもよく、奇数ＤＬＰフレームは、鮮明にレンダリングされたワイングラスの画像を表示してもよい。

視認者２２０は、その背後からわずかな距離にワイングラスを伴うコーヒーカップを含有する、コヒーレント場面を知覚するであろう。視認者が、コーヒーカップを見ると、ワイングラスは、若干ぼけて現れ、眼固定および遠近調節をワイングラスにシフトさせると、鮮明に合焦するであろう一方、コーヒーは、若干ぼける。図３の上側３０２は、−３および−２．７ジオプトリ視認距離に位置付けられた２つのディスプレイ層２１０を示す。我々の実施例では、コーヒーカップは、−３ジオプトリ（すなわち、０．３３３メートル距離）に光学的に位置付けられ、ワイングラスは、−２．７ジオプトリ（すなわち、０．３７０メートル距離）に位置付けられるであろう。偶数および奇数ＤＬＰフレームはそれぞれ、加えて、視認者がコーヒーカップまたはワイングラスのいずれかを注視するとき、それが瞬間的に合焦されない実物体である場合に予期されるであろうぼけの量を伴って３Ｄ場面の背景に花瓶を知覚するであろうように（例えば、０．５００メートル見掛け距離に）、花瓶の幾分ぼけたレンダリングを含んでもよい。

視認者２２０が、視線を花瓶にシフトさせる場合、動作可能に結合された遠近調節および／または眼追跡システムは、焦点の変化を検出し、花瓶が鮮明な焦点内にレンダリングされる一方、コーヒーカップおよびワイングラスがある程度のぼけを伴ってレンダリングされるように、ＤＬＰフレーム内に表示される像の再レンダリングをトリガする。追跡システムはまた、ＶＦＥ Ａをトリガし、ＶＦＥ Ｂによって生成される２つの近接して離間された焦点層２１０を花瓶が常駐するはずである面積にシフトさせる。図３の下側３０４は、ＶＦＥ Ａが、焦点状態をシフトさせ、ＶＦＥ Ｂによって生成される２つの焦点面が、今度は、−２および−１．７ジオプトリ（０．５００メートルおよび０．５８８メートル）にあるようになったことを図示する。ここでは、視認者は、鮮明な焦点内にある、花瓶を見ているとき、コーヒーカップおよびワイングラスがそれぞれ、幾分ぼけているように知覚を有するであろう。

図示される実施例は、主に、２つのＶＦＥシステムに対処するが、任意の数のＶＦＥが、使用されてもよい。例えば、３つのＶＦＥシステムが、より長い総焦点範囲またはより大きい数の離散焦点状態を達成するために使用されてもよい。また、図１は、近接近したＶＦＥを示すが、代替として、光学システムを横断して分散されてもよい。例えば、ＶＦＥは、各ＶＦＥの焦点状態が動作可能に結合されたディスプレイの画像倍率を変化させずに変調され得るように、光学的共役場所に設置されてもよい。

種々の本発明の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広く適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、もしくは範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散構成要素および特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを目的としている。

本発明は、対象デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、対象方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、ならびに事象の記載された順番で実行されてもよい。

本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関しては、これらは、上記で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって公知または理解され得る。一般的または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して、同じことが当てはまり得る。

加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明または指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物（本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと）が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。

また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つまたはそれを上回るものと組み合わせて、記載および請求されてもよいことが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「１つの（「ａ」、「ａｎ」）」、「該（ｓａｉｄ）」、および「前記（ｔｈｅ）」という単数形は、特に規定がない限り、複数形の指示対象を含む。換言すれば、冠詞の使用は、上記の説明ならびに本開示と関連付けられる請求項において、対象アイテムの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および同等物等の排他的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすことを目的としている。

そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の付加的な要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。

本発明の範疇は、提供される実施例および／または対象の明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の言葉の範囲のみによって限定されるものである。

Claims (1)

1. 明細書に記載された発明。
   
   

Images