KR20190126895A - 동적 시야 가변 초점 디스플레이 시스템 - Google Patents

동적 시야 가변 초점 디스플레이 시스템 Download PDF

Info

Publication number
KR20190126895A
KR20190126895A KR1020197030559A KR20197030559A KR20190126895A KR 20190126895 A KR20190126895 A KR 20190126895A KR 1020197030559 A KR1020197030559 A KR 1020197030559A KR 20197030559 A KR20197030559 A KR 20197030559A KR 20190126895 A KR20190126895 A KR 20190126895A
Authority
KR
South Korea
Prior art keywords
user
lens
tunable lens
light
virtual content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020197030559A
Other languages
English (en)
Other versions
KR102291658B1 (ko
Inventor
이반 리 추엔 여
리오넬 어니스트 에드윈
브라이언 티. 쇼웬게르트
마이클 앤서니 클럭
자자 아이. 트리스나디
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=63582446&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20190126895(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Priority to KR1020217025699A priority Critical patent/KR102438618B1/ko
Publication of KR20190126895A publication Critical patent/KR20190126895A/ko
Application granted granted Critical
Publication of KR102291658B1 publication Critical patent/KR102291658B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/004—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/004—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
    • G02B26/005—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid based on electrowetting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G02B6/005—Means for improving the coupling-out of light from the light guide provided by one optical element, or plurality thereof, placed on the light output side of the light guide
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G02B6/0035—Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
    • G02B6/0038—Linear indentations or grooves, e.g. arc-shaped grooves or meandering grooves, extending over the full length or width of the light guide
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0066—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form characterised by the light source being coupled to the light guide
    • G02B6/0068—Arrangements of plural sources, e.g. multi-colour light sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실(AR) 디바이스의 사용자와 AR 디바이스에 의해 제시되는 가상 콘텐츠 사이의 겉보기 거리를 조정하도록 구성된 디스플레이 시스템을 갖는 AR 디바이스가 설명된다. AR 디바이스는 가상 콘텐츠의 포지션에 영향을 주기 위해 형상을 변경하는 제1 튜닝 가능한 렌즈를 포함한다. 제1 튜닝 가능한 렌즈에 대해 이루어진 변화들로 인한 실세계 콘텐츠의 왜곡은, 제1 튜닝 가능한 렌즈의 광학 구성과 실질적으로 상보적인 상태를 유지하도록 형상을 변경하는 제2 튜닝 가능한 렌즈에 의해 방지된다. 이러한 식으로, 가상 콘텐츠는, 외부 세계의 뷰를 저하시키거나 AR 디바이스에 대규모의 부피를 추가하지 않고서, 사용자에 대해 거의 어떠한 거리에서 포지셔닝될 수 있다. 증강 현실 디바이스는 또한 증강 현실 디바이스의 시야를 확장시키기 위한 튜닝 가능한 렌즈들을 포함할 수 있다.

Description

동적 시야 가변 초점 디스플레이 시스템
[0001] 본 출원은 2017년 3월 22일에 출원되고 명칭이 "Dynamic Field Of View Variable Focus Display System"인 미국 가특허 출원 제62/475,081호를 우선권으로 주장한다.
[0002] 증강 현실 디바이스들은 실세계 상에 가상 콘텐츠를 오버레이하도록 설계된다. 가상 콘텐츠와 실세계 콘텐츠를 자연스럽게 통합하는 것의 하나의 난제는, 가상 콘텐츠가 실세계 객체들과 상호작용할 수 있게 하는 겉보기 깊이(apparent depth)에서 가상 콘텐츠를 통합하는 것이다. 그렇지 않다면, 가상 콘텐츠는 3-차원 실세계 환경에 진정으로 통합되지 않은 2-차원 디스플레이로 더 많이 나타난다. 불행하게도, 다양한 깊이들에서 가상 콘텐츠를 디스플레이할 수 있는 증강 현실 시스템들은 편안하게 사용하기에 너무 크거나 부피가 큰 경향이 있거나, 사용자로부터 별개의 거리들에서만 가상 콘텐츠를 디스플레이할 수 있다. 가상 콘텐츠를 사용자에게 디스플레이하는 것에 대한 또 다른 난제는, 특정 타입들의 디스플레이들이 진정으로 몰입되는 가상 콘텐츠를 제공할 수 없는 제한된 시야를 가질 수 있다는 것이다. 이러한 이유들로, 몰입형 시야에 걸쳐 임의의 원하는 거리에 가상 콘텐츠를 정확하게 포지셔닝할 수 있는 작은 폼 팩터 디바이스가 바람직할 것이다.
[0003] 본 개시내용은, 튜닝 가능한 광학기들, 이를테면, 튜닝 가능한 렌즈들 및/또는 프리즘들을 사용하여 사용자 및 사용자의 시야 내의 다른 실세계 객체들에 대해 원하는 포지션에 가상 콘텐츠를 정확히 디스플레이할 수 있는 증강 현실 디바이스들에 관한 다양한 실시예들을 설명한다. 본 개시내용은 또한 증강 현실 디바이스들의 유효 시야를 확장시키기 위한 튜닝 가능한 렌즈들의 사용을 논의한다.
[0004] 이를 달성하기 위해, 증강 현실(AR) 디바이스의 각각의 디스플레이는, 실세계 객체들의 사용자의 뷰를 왜곡시키지 않고서, 사용자에게 제시되는 가상 콘텐츠의 겉보기 포지션을 조정하도록 자신들의 광학적 구성들을 변경하도록 구성된 튜닝 가능한 렌즈들을 포함할 수 있다. 제1 튜닝 가능한 렌즈는 가상 콘텐츠를 나타내는 광을 전달하는 도파관과 사용자 사이에 포지셔닝될 수 있다. 이어서, 이러한 제1 튜닝 가능한 렌즈는 AR 디바이스의 사용자와 가상 콘텐츠 사이의 겉보기 거리를 변경하도록 재형상화될 수 있다. 제2 튜닝 가능한 렌즈는 실세계 객체들로부터 사용자의 눈들로 들어오는 광과 사용자 사이에 포지셔닝된다. 제2 튜닝 가능한 렌즈는 또한 AR 디바이스의 동작 동안에 재형상화되고, 재형상화는, 제2 튜닝 가능한 렌즈가 실세계 객체들의 사용자 뷰를 저하시킬, 제1 튜닝 가능한 렌즈에 의해 이루어진 임의의 변화들을 상쇄할 수 있도록, 제1 튜닝 가능한 렌즈의 재형상화와 동기화된다.
[0005] 하나 이상의 튜닝 가능한 프리즘들의 형태를 취하는 광학 스티어링 컴포넌트는 또한 증강 현실 디바이스의 유효 시야의 확장을 위해 사용될 수 있다. 2-차원 광학 스티어링 디바이스로서 기능하는 튜닝 가능한 프리즘은, 증강 현실 디바이스의 유효 시야를 확장시키기 위해, 튜닝 가능한 프리즘을 통과하는 광을 일련의 상이한 방향들로 순차적으로 시프트하도록 구성될 수 있다. 일부 실시예들에서, 광학 스티어링 디바이스는, 액정 프리즘에 인가된 전기 신호에 따라 자신의 위상 프로파일을 동적으로 변경할 수 있는 액정 프리즘의 형태를 취할 수 있다.
[0006] 증강 현실 디바이스가 개시되고, 증강 현실 디바이스는 다음과 같이 제1 튜닝 가능한 렌즈(tunable lens); 제2 튜닝 가능한 렌즈; 제1 튜닝 가능한 렌즈와 제2 튜닝 가능한 렌즈 사이에 포지셔닝된 도파관 ― 도파관은 가상 콘텐츠를 나타내는 광을 제1 튜닝 가능한 렌즈를 통해 그리고 증강 현실 디바이스의 사용자를 향해 지향시키도록 구성됨 ― ; 및 가상 콘텐츠와 증강 현실 디바이스의 사용자 사이의 겉보기 거리(apparent distance)를 변경하도록 형상을 변경하기 위해 제1 튜닝 가능한 렌즈를 지향시키고, 그리고 실세계 객체들과 증강 현실 디바이스의 사용자 사이의 겉보기 거리들을 유지하도록 형상을 변경하기 위해 제2 튜닝 가능한 렌즈를 지향시키도록 구성된 프로세서를 포함한다.
[0007] 증강 현실 디바이스가 개시되고, 증강 현실 디바이스는 다음과 같이 제1 튜닝 가능한 렌즈; 제2 튜닝 가능한 렌즈; 및 제1 튜닝 가능한 렌즈와 제2 튜닝 가능한 렌즈 사이에 포지셔닝된 도파관을 포함하고, 도파관은 가상 콘텐츠를 나타내는 광을 제1 튜닝 가능한 렌즈를 통해 그리고 증강 현실 디바이스의 사용자를 향해 지향시키도록 구성된 회절 광학기들을 포함한다. 제1 및 제2 튜닝 가능한 렌즈들은 증강 현실 디바이스의 사용자와 가상 콘텐츠 사이의 겉보기 거리를 조정하기 위해 형상을 협력하여 변경하도록 구성된다.
[0008] 웨어러블 디스플레이 디바이스가 개시되고, 웨어러블 디스플레이 디바이스는 다음과 같이 제1 튜닝 가능한 프리즘; 제2 튜닝 가능한 프리즘; 가상 콘텐츠를 나타내는 광을 방출하도록 구성된 광원; 및 제1 튜닝 가능한 프리즘과 제2 튜닝 가능한 프리즘 사이에 포지셔닝된 도파관을 포함하고, 도파관은 광원으로부터 방출된 광을 제1 튜닝 가능한 프리즘을 통해 그리고 웨어러블 디스플레이 디바이스의 사용자를 향해 회절시키도록 구성된 회절 광학기들을 포함한다. 제1 튜닝 가능한 프리즘은, 광원으로부터 수신되고 제1 튜닝 가능한 프리즘의 주변 구역을 통해 사용자의 눈을 향해 도파관에서 나가는 광의 적어도 일부를 시프트하도록 구성된다.
[0009] 웨어러블 디스플레이 디바이스는 투사기; 및 하나 이상의 광학 스티어링 컴포넌트들을 포함하는 접안렌즈를 포함한다. 웨어러블 디스플레이 디바이스는 또한 투사기로부터 광을 수신하고 하나 이상의 광학 스티어링 컴포넌트들을 통해 그리고 사용자를 향해 지향시키도록 구성된 도파관; 사용자의 한쪽 또는 양쪽 눈들의 움직임을 검출하도록 구성된 눈-시선 추적기; 및 하나 이상의 광학 스티어링 컴포넌트들 및 눈-시선 추적기에 통신 가능하게 커플링된 제어 회로를 포함하고, 제어 회로는 사용자의 한쪽 또는 양쪽 눈들의 검출된 움직임에 따라 하나 이상의 광학 스티어링 컴포넌트들의 광학 스티어링 패턴을 조정하도록 구성된다.
[0010] 본 발명의 다른 양상들 및 이점들은, 예로서, 설명된 실시예들의 원리를 예시하는 첨부된 도면들과 관련하여 취해진 다음의 상세한 설명으로부터 명백해질 것이다.
[0011] 본 개시내용은 첨부된 도면들과 관련하여 다음의 상세한 설명에 의해 용이하게 이해될 것이고, 도면들에서 유사한 참조 번호들은 유사한 구조적 엘리먼트들을 지정한다.
[0012] 도 1은 증강 현실(AR; augmented reality) 디바이스를 착용한 예시적인 사용자를 도시한다.
[0013] 도 2a는 디스플레이 시스템의 사용자에 대해 임의의 겉보기 거리에 투사된 가상 콘텐츠를 디스플레이할 수 있는 디스플레이 시스템을 도시한다.
[0014] 도 2b는 설명된 실시예들에 따른, 실세계 콘텐츠의 외관에 영향을 주지 않고서 가상 콘텐츠에 대한 겉보기 거리를 조정할 수 있는 디스플레이 시스템을 도시한다.
[0015] 도 3은 설명된 실시예들에 따른, 도파관의 회절 광학기들이 투사기에 의해 방출된 3개의 상이한 컬러들의 광을 튜닝 가능한 렌즈들 사이에서 그리고 이어서 사용자를 향해 안내하도록 배열된 하나의 특정 구성의 평면도를 도시한다.
[0016] 도 4a-4b는 설명된 실시예들에 따른, 제1 가상 콘텐츠 및 제2 가상 콘텐츠를 디스플레이하는 AR 디바이스의 투명한 디스플레이를 도시한다.
[0017] 도 5a-5b는 설명된 실시예들에 따른, 튜닝 가능한 렌즈의 측면도들 및 튜닝 가능한 렌즈가 상이한 가상 콘텐츠 포지션들을 수용하도록 어떻게 조정될 수 있는지를 도시한다.
[0018] 도 5c-5d는 설명된 실시예들에 따른, 튜닝 가능한 렌즈가 다수의 독립적으로 이동하는 가상 객체들의 모션을 수용하도록 어떻게 조정될 수 있는지를 도시한다.
[0019] 도 6은, 작은 폼 팩터 AR 디바이스를 사용하여 다수의 깊이들에서 가상 콘텐츠를 디스플레이하기 위한 방법을 도시한 흐름도를 도시한다.
[0020] 도 7a-7b는 디스플레이 디바이스로부터의 광을 사용자의 눈으로 지향시키도록 구성된 다양한 실시예들을 도시한다.
[0021] 도 8a-8c는 디스플레이 디바이스의 시야를 확장시키기 위해 디스플레이 디바이스에 의해 방출될 수 있는 예시적인 스캔 패턴들을 도시한다.
[0022] 도 9a-9c는, 도 8a에 도시된 제1 스캔 패턴이 디스플레이 구역 주위에서 어떻게 시프트될 수 있는지를 도시한다.
[0023] 도 10a-10e는 광학 스티어링 디바이스를 위한 다양한 구성들을 도시한다.
[0024] 도 11a-11b는, 광학 스티어링 디바이스가 수직뿐만 아니라 수평으로 인입 광을 시프트하기 위해 겹겹이 스택된 렌즈들을 어떻게 포함할 수 있는지를 도시한다.
[0025] 도 11c-11d는 프레넬 렌즈의 구성을 갖는 액정 렌즈(1140)의 측단면도 및 평면도를 각각 도시한다.
[0026] 도 12a-12b는 광학 스티어링 디바이스들이 증강 현실 디스플레이 디바이스들에 어떻게 통합될 수 있는지를 도시한다.
[0027] 도 12c-12f는 다수의 이미지 스트림들을 수신하도록 구성된 디스플레이 디바이스들을 도시한다.
[0028] 본 출원에 따른 방법들 및 장치의 대표적인 애플리케이션들이 이러한 섹션에 설명된다. 이들 예들은 단지 문맥을 추가하고 설명된 실시예의 이해를 돕기 위해 제공된다. 따라서, 설명된 실시예들이 이들 특정 세부사항들 중 일부 또는 전부 없이 실시될 수 있다는 것이 당업자에게 명백할 것이다. 다른 예시들에서, 설명된 실시예들을 불필요하게 애매하게 하는 것을 피하기 위해 잘 알려진 프로세스 단계들은 상세히 설명되지 않았다. 다음의 예들이 제한적인 것으로 간주되지 않도록, 다른 애플리케이션들이 가능하다.
[0029] 증강 현실(AR) 디바이스들은 실세계에 가상 콘텐츠를 오버레이하도록 구성된다. 가상 콘텐츠는 근처의 실세계 객체들 또는 사람들에 관련된 정보를 포함할 수 있다. 일부 예시들에서, 가상 콘텐츠는 일반 영역에만 적용될 것이며, 임의의 가시적인 실세계 객체들과 연관될 필요는 없을 수 있다. 그러나, 많은 경우들에서, 가상 콘텐츠와 실세계 객체들을 통합하는 것이 바람직하다. 예컨대, 가상 콘텐츠는 실세계의 사용자 및/또는 객체들과 상호작용하는 캐릭터들을 포함할 수 있다. 가상 콘텐츠의 이러한 통합을 더 현실적인 방식으로 수행하기 위해, 가상 콘텐츠는, 그 가상 콘텐츠가 상호작용하는 실세계 객체(들)에 대응하는 사용자로부터 멀리 떨어져 포지셔닝되는 것처럼 보이게 하는 방식으로 디스플레이될 수 있다. 가상 및 실세계 콘텐츠의 이러한 코-로케이션은 사용자 몰입을 개선하는 데 도움이 될 수 있다. 불행하게도, 많은 AR 디바이스들은 사용자로부터 단일 고정 거리에만 콘텐츠를 디스플레이하도록 구성되고, 이는 가상 콘텐츠가 실세계 환경에 어떻게 현실적으로 통합되는지에 영향을 줄 수 있다. 깊이의 겉보기 변화들이 객체가 더 크거나 더 작게 보이는 것에 제한될 수 있기 때문에, 가상 콘텐츠가 사용자를 향해 바로 또는 사용자로부터 멀리 이동할 때, 이러한 제한이 더 현저할 수 있다. 깊이 정보를 정확히 묘사하는 능력은 또한, 가상 콘텐츠가 실세계 객체들의 사용자 뷰를 가리는 VR(Virtual Reality) 환경들의 디스플레이에서 유용할 수 있다.
[0030] AR 디바이스의 사용자로부터 가변 거리들에서 가상 콘텐츠를 설정하기 위한 하나의 해결책은, AR 디바이스의 투명한 디스플레이 시스템에 튜닝 가능한 렌즈들을 통합하는 것이다. 튜닝 가능한 렌즈들은 사용자에 대한 가상 콘텐츠의 겉보기 위치를 변경하도록 협력하도록 구성될 수 있다. 튜닝 가능한 렌즈들 또는 가변 초점(varifocal) 엘리먼트들은, 예컨대, 액정 렌즈들, 튜닝 가능한 회절 렌즈들 또는 변형 가능한 미러 렌즈들을 포함하여 많은 형태들을 취할 수 있다. 일반적으로, AR 디바이스의 가상 콘텐츠의 겉보기 깊이를 변경하는 방식으로 인입 광을 조정하기 위해 형상 또는 구성을 변경하도록 구성될 수 있는 임의의 렌즈가 적용될 수 있다. 렌즈들 또는 가변 초점 엘리먼트들의 튜닝 가능한 특성은 유리하게도 가상 콘텐츠가 AR 디바이스의 사용자로부터 거의 임의의 거리에 포지셔닝되는 것처럼 보이게 할 수 있다.
[0031] 튜닝 가능한 렌즈들은 투명한 또는 반투명한 디스플레이 시스템의 전방면 및 후방면 상에 포지셔닝될 수 있다. 디스플레이의 후방 또는 사용자를 향한 측의 제1 튜닝 가능한 렌즈는 AR 디바이스에 의해 생성된 입사광을 변경하여 인입 광이 AR 디바이스로부터 원하는 거리에서 보이는 가상 콘텐츠를 디스플레이하도록 구성될 수 있다. 디스플레이의 전방측 또는 세계를 향한 측의 제2 튜닝 가능한 렌즈는, 제1 튜닝 가능한 렌즈에 의해 이루어진 조정들 중 적어도 일부를 상쇄하는 상보적인 구성을 취함으로써 제1 튜닝 가능한 렌즈와 협력하도록 구성될 수 있다. 이러한 식으로, 실세계 객체들로부터 반사되고, 사용자의 눈들에 도달하기 전에 제1 및 제2 튜닝 가능한 렌즈들 둘 모두를 통과하는 광은 제1 튜닝 가능한 렌즈에 의해 실질적으로 왜곡되지 않는다.
[0032] 일부 실시예들에서, 제2 튜닝 가능한 렌즈는, 제1 튜닝 가능한 렌즈에 의해 이루어진 일부 변화들이 실세계 객체들로부터 도달하는 광에 적용되게 할 수 있다. 예컨대, 튜닝 가능한 렌즈들은 사용자들에 대한 근시, 원시 및/또는 비점수차 교정들을 적용하도록 구성되어, 비전 교정으로부터 이익을 얻을 수 있다. 이러한 타입의 교정들은 가상 콘텐츠 및 실세계 객체들 둘 모두와 연관된 광에 동일하게 적용될 수 있다. 교정은 제1 및 제2 튜닝 가능한 렌즈들 사이의 오프셋 형태를 취할 수 있다. 이러한 구성에서, 제2 튜닝 가능한 렌즈는 제1 튜닝 가능한 렌즈와 완전히 상보적이지 않을 것인데, 왜냐하면 제1 튜닝 가능한 렌즈 변화들 중 일부가 또한 실세계 객체들의 뷰에 적용될 것이기 때문이다.
[0033] 일부 실시예들에서, 제2 튜닝 가능한 렌즈는, 제1 튜닝 가능한 렌즈에 의해 이루어진 조정들에 의해 생성된 효과들을 단지 상쇄하는 것 대신에, 실세계 뷰를 왜곡시키는 데 주기적으로 사용될 수 있다. 이러한 식으로, 튜닝 가능한 렌즈들의 조합은 증강된 가상성, 중재된 현실, 및 실제 콘텐츠뿐만 아니라 가상 콘텐츠를 조작하는 다른 타입들의 경험들을 제공할 수 있다.
[0034] 일부 타입들의 디스플레이 디바이스들에서, 특정 광학 컴포넌트들의 굴절률은 몰입형 증강 현실 경험을 사용자에게 제공하기에 충분히 큰 시야를 생성하기 위한 디스플레이 디바이스의 능력을 제한할 수 있다. 이 문제에 대한 하나의 해결책은 디스플레이 디바이스에 튜닝 가능한 렌즈를 장착하는 것이다. 튜닝 가능한 렌즈는 디바이스의 주변을 따라 방출되는 광을 사용자의 눈들을 향해 시프트하도록 렌즈들을 형상화함으로써 광학 스티어링 디바이스로서 사용될 수 있다. 이러한 식으로, 유효 뷰잉 각도는 튜닝 가능한 렌즈에 의해 실질적으로 증가될 수 있다. 일부 실시예들에서, 광이 디스플레이 디바이스에서 나가는 포지션은 합성 이미지를 생성하기 위해 반복 스캔 패턴으로 순차적으로 시프트될 수 있다. 광학 스티어링 디바이스는 스캔 패턴의 각각의 포지션에 대해 광학 스티어링 디바이스를 최적화하기 위해 순차적으로 재형상화될 수 있다. 예컨대, 스캔 패턴의 제1 포지션은 디스플레이 디바이스의 가장 우측에 포지셔닝될 수 있는 반면에, 스캔 패턴의 다른 포지션은 디스플레이 디바이스의 바닥 근처에 있을 수 있다. 제1 포지션에서 광을 좌측으로 시프트하는 것으로부터 제2 포지션에서 광을 위로 시프트하는 것으로 광학 스티어링 디바이스를 변경함으로써, 사용자는 더 넓은 시야를 즐길 수 있다. 스캔 패턴의 현재 포지션에 따라 광학 스티어링 디바이스를 계속 업데이트함으로써, 그렇지 않은 경우 사용자의 시야 외부로 떨어질 광의 부분들이 보이게 된다.
[0035] 이들 및 다른 실시예들이 도 1-12f를 참조하여 아래에 논의되지만, 이들 도면들과 관련하여 본원에 제공된 상세한 설명이 단지 설명을 위한 것이며, 제한적인 것으로 해석되지 않아야 한다는 것을 당업자들은 용이하게 인지할 것이다.
[0036] 도 1은 증강 현실(AR) 디바이스(100)를 착용한 예시적인 사용자를 도시한다. AR 디바이스(100)는 룸(102)에 걸쳐 다양한 위치들에 위치된 것처럼 보이는 가상 콘텐츠를 디스플레이하도록 구성될 수 있다. 예컨대, 가상 콘텐츠(104)는 벽-장착 객체(106)에 걸쳐 오버레이될 수 있다. 벽-장착 객체(106)는 룸(102)의 벽에 장착된 픽처 또는 텔레비전의 형태를 취할 수 있다. 이러한 식으로, 벽-장착 객체(106)의 외관은 가상 콘텐츠(104)에 의해 변경될 수 있다. 유사하게, AR 디바이스(100)는, 객체 또는 인물이 소파에 머물고 있다는 인상을 생성하는 방식으로 소파(110) 상에 가상 콘텐츠(108)를 투사하도록 구성될 수 있다. 그러나, 룸(102)의 다른 객체들과 관련하여 가상 콘텐츠를 현실적으로 묘사하기 위해, 가상 콘텐츠를 사용자로부터 비슷한(comparable) 거리에 설정하는 것이 또한 중요하다. 깊이 검출 센서는 사용자로부터 다양한 객체들의 거리를 특징화하는 데 사용될 수 있다. 이어서, 깊이 센서에 의해 리트리브된 정보는 가상 콘텐츠에 인접한 객체들과 연관된 가상 콘텐츠에 대한 거리를 설정하는 데 사용될 수 있다. 이것은, 가상 객체들이 AR 디바이스(100)로부터의 거리들을 변경할 때 더 복잡해진다. 예컨대, 가상 콘텐츠(112)는, 걷는 사람이 테이블(114)을 우회하게 하는 모션 경로를 그 사람이 취하는 형태를 취할 수 있다. AR 디바이스(100)의 깊이 센서에 의해 리트리브된 데이터는, 가상 콘텐츠(112)가 포지션(112-1)으로부터 포지션(112-2)으로 이동할 때, 테이블(114)을 피하는 모션 경로를 정의하는 데 사용될 수 있다. 자신의 전체 모션 경로에 걸쳐 가상 콘텐츠(112)의 포지션을 정확하게 묘사하기 위해, AR 디바이스(100)와 가상 콘텐츠(112) 사이의 지각된 거리는 지속적으로 감소되어야 한다.
[0037] 도 2a는 임의의 거리에서 투사된 콘텐츠를 디스플레이할 수 있는 디스플레이 시스템(200)을 도시한다. 투사기(202)는 튜닝 가능한 렌즈(204) 상에 가상 콘텐츠를 디스플레이할 수 있다. 이어서, 튜닝 가능한 렌즈(204)는, 투사된 콘텐츠가 디스플레이되는 깊이를 조정하기 위해 자신의 광학 구성을 변경할 수 있다. 튜닝 가능한 렌즈(204)는, 예컨대, 액정 렌즈를 포함하여 다수의 기술들 중 임의의 기술을 레버리지(leverage)할 수 있다. 튜닝 가능한 렌즈(204)가 액정 렌즈일 때, 렌즈는 액정 렌즈에 인가되는 전압의 양에 따라 자신의 위상 프로파일을 변경하도록 구성될 수 있다. 이 구성은 가상 콘텐츠의 깊이를 조정하는 데 잘 작동하지만, 실세계 객체들(206 및 208)로부터 도달하는 광은 바람직하지 않게 왜곡될 것이다. 예컨대, 실세계 객체들(206 및 208)의 겉보기 포지션은, 양방향 화살표들로 표시된 바와 같이, 사용자로부터 더 가깝거나 더 멀리 시프트될 수 있다. 이러한 이유로, 증강 현실의 하나의 목적이 사용자가 실세계의 다수의 시야를 유지할 수 있게 하는 것이기 때문에, AR 디바이스를 갖는 디스플레이 시스템(200)을 사용하는 것은 실세계 객체들로부터의 원하지 않는 광의 왜곡으로 인해 문제가 될 수 있다.
[0038] 도 2b는, 실세계 콘텐츠의 외관에 영향을 주지 않고서, 가상 콘텐츠에 대한 겉보기 거리를 조정할 수 있는 디스플레이 시스템(250)을 도시한다. 이것은, 투사기(252)로부터의 광을 튜닝 가능한 렌즈들(254 및 256) 사이에서 그리고 이어서 튜닝 가능 렌즈(254)를 통해 사용자의 눈을 향해 재지향시키는 도파관(258)으로 튜닝 가능한 렌즈들(254 및 256) 사이에 가상 데이터를 투사함으로써 달성된다. 이러한 식으로, 투사기(252)에 의해 방출된 광은 튜닝 가능한 렌즈(254)에 의해 조정될 수 있다. 튜닝 가능한 렌즈(256)는 튜닝 가능한 렌즈(254)와 반대되는 방식으로 조정하도록 구성될 수 있다. 이것의 효과는, 실세계 객체들(206 또는 208)로부터 발생하는 임의의 광이 실질적으로 영향을 받지 않고서 깊이 디스플레이 시스템(250)을 통과할 수 있다는 것이다. 이러한 식으로, 투사기(252)로부터의 가상 콘텐츠는 초점 시프트를 겪는 유일한 콘텐츠일 수 있어서, 그 결과 겉보기 포지션의 시프트가 투사기에 의해 방출된 가상 콘텐츠에 제한된다.
[0039] 튜닝 가능한 렌즈(254)에 의해 이루어진 임의의 변화들이 실세계 객체들의 지각에 적용되는 것을 튜닝 가능한 렌즈(256)가 방지하도록 구성될 수 있지만, 일부 실시예들에서, 튜닝 가능한 렌즈(256)는, 예컨대, 사용자의 비전을 교정하기 위해, 튜닝 가능한 렌즈(254)와 협력하도록 구성될 수 있다. 비전 교정은, 튜닝 가능한 렌즈(256)가 튜닝 가능한 렌즈(254)의 효과들을 완전히 상쇄하지 않기 때문에 실세계 객체들(206 및 208)에 동일하게 적용될 수 있는 멀티-디옵터 변화들이 튜닝 가능한 렌즈(256)에 의해 적용되게 할 수 있다. 예컨대, 튜닝 가능한 렌즈(254)는 +2 디옵터 조정을 적용하도록 재구성될 수 있다. 이어서, 튜닝 가능한 렌즈(256)는, 가상 콘텐츠(210) 및 실세계 객체들 둘 모두가 +2 디옵터 변화를 겪도록 어떠한 디옵터 조정도 전혀 적용할 수 없고, 이로써 일반적으로 +2 디옵터 비전 교정이 필요한 사용자가, 어떠한 추가적인 비전 교정도 필요하지 않고서, 디스플레이 시스템(250)을 착용할 수 있게 한다. 이러한 비전 교정 방식이 마련되면, 가상 콘텐츠(210)의 움직임은, 비전 교정을 위한 +2 디옵터 오프셋을 유지하기 위해, 튜닝 가능한 렌즈(254)의 디옵터 조정을 +3으로 변경하고, 튜닝 가능한 렌즈(256)의 디옵터 조정을 -1로 변경하는 것을 수반할 수 있다. 유사하게, 튜닝 가능한 렌즈(254)는 튜닝 가능한 렌즈(256)에 의해 상쇄되지 않는 비점수차(astigmatism) 조정을 적용하도록 구성될 수 있다.
[0040] 도 2b에 도시된 구성은 튜닝 가능한 렌즈들이 상이한 효과들을 적용할 수 있게 하는 다른 방식들로 동작될 수 있다. 일부 실시예들에서, 튜닝 가능한 렌즈들은, 사용자가 가상 콘텐츠(210-1)에 초점을 맞출 수 있도록 실세계 객체들을 의도적으로 초점에서 벗어나도록 구성될 수 있다. 예컨대, 소프트웨어 개발자가, 제어된 게이밍 또는 엔터테인먼트 환경에서, 사용자의 주의를 메시지에 집중시키거나 심지어 더 몰입형 가상 환경에 들어가는 것이 바람직할 수 있다. 실세계 객체들이 초점에서 벗어나게 함으로써, 시스템은, 전체 디스플레이에 걸쳐 시야를 차단하기 위한 광을 생성할 필요 없이, 시스템이 임의의 주의 산만한 실세계 자극을 감출 수 있게 할 것이다 . 이러한 식으로, 튜닝 가능한 광학기는 증강 현실 경험을 형상화하는 데 사용될 수 있다.
[0041] 도 3은, 도파관의 회절 광학기들이 투사기에 의해 방출된 3개의 상이한 컬러들의 광을 튜닝 가능한 렌즈들 사이에서 그리고 이어서 사용자를 향해 안내하도록 배열된 하나의 특정 구성의 평면도를 도시한다. 일부 실시예들에서, 도파관(302)은, 예컨대, 적색 녹색 및 청색과 같은 상이한 컬러들의 광에 대해 3개의 별개의 광 경로들(304-1, 304-2 및 304-3)을 포함할 수 있다. 광 경로들(304) 각각은 투사기(306)로부터의 광을 튜닝 가능한 렌즈들(308 및 310) 사이에서 그리고 이어서 튜닝 가능한 렌즈(310)를 통해 사용자의 눈을 향해 지향시키기 위한 회절 광학기들을 활용할 수 있다. 도파관(302)은, 튜닝 가능한 렌즈(310)가 도파관(302)으로부터 나가는 광에 어떠한 변화들도 적용하지 않을 때, 결과적인 가상 콘텐츠가 무한대에 포지셔닝되는 것처럼 보이게 하는 방식으로 배열될 수 있다. 이러한 구성에서, 튜닝 가능한 렌즈(310)는, 사용자 및 다른 실세계 객체들에 대한 가상 콘텐츠의 원하는 포지션에 기반하여, 회절 광학기들을 통해 투사되는 가상 콘텐츠와 사용자 사이의 겉보기 거리를 가변 양들만큼 감소시키도록 구성될 수 있다. 도시된 바와 같이, 실세계 객체들로부터의 광은 튜닝 가능한 렌즈들(308 및 310)에 의해 실질적으로 영향을 받지 않는 반면에, 도파관(302)을 통과하는 광은 튜닝 가능한 렌즈(310)에 의해 영향을 받는다.
[0042] 도 4a-4b는 제1 가상 콘텐츠(404) 및 제2 가상 콘텐츠(406)를 디스플레이하는 AR 디바이스(400)의 투명한 디스플레이(402)를 도시한다. 도 4a는, 가상 콘텐츠(404 및 406)가 특정 시간 기간에 걸쳐 투명한 디스플레이(402)에 걸쳐 어떻게 이동하는지를 도시하는 화살표들을 도시한다. 이러한 움직임 동안, 가상 콘텐츠(404)는 AR 디바이스(400)로부터 더 멀리 이동하고, 가상 콘텐츠(406)는 AR 디바이스(400)에 더 가깝게 이동한다. 투명한 디스플레이(402)가 가상 콘텐츠의 겉보기 깊이를 조정하기 위한 튜닝 가능한 렌즈들을 포함하기 때문에, 투명한 디스플레이(402)의 상부 구역(408)은 AR 디바이스(400)로부터 더 멀리 이동하는 가상 콘텐츠(404)를 디스플레이하도록 광학적으로 구성될 수 있고, 하부 구역(410)은 AR 디바이스(400)에 더 근접하여 이동하는 가상 콘텐츠(406)를 디스플레이하도록 구성될 수 있다. 전이 구역(412)은, 튜닝 가능한 렌즈들의 형상이 상이한 광학 구성들을 수용하고 상부 구역(408)과 하부 구역(410) 사이의 시각적 경계선(visual seam)의 출현을 방지하도록 점진적으로 조정되는 구역 형태를 취할 수 있다. 전이 구역(412)은 구역들(408 및 410) 사이의 차이의 양에 의존하여 더 크거나 작을 수 있다. 실세계 객체(414)가 전이 구역(412) 내에 포지셔닝되지만, 투명한 디스플레이(402)가 실세계 객체들의 왜곡을 방지하도록 협력하는 2개의 튜닝 가능한 렌즈들을 포함할 때, 그 전이 구역(412)조차도 실세계 객체(414)의 외관에 거의 영향을 주지 않거나 전혀 영향을 주지 않을 것이라는 것이 인지되어야 한다. 이러한 이유로, 상부 구역(408) 및 하부 구역(410)에 대한 디스플레이(402)의 적합한 영역들을 결정하려고 시도하는 AR 디바이스(400)의 프로세서는, 가상 콘텐츠를 독립적으로 이동시키기 위한 광학 구성을 어떻게 변경하는지를 결정할 때, 가상 콘텐츠에 대한 모션의 경로만을 고려할 필요가 있을 것이다.
[0043] 도 4b는, 가상 콘텐츠(454)가 움직이고 가상 콘텐츠(456)가 고정 상태에 있는 예시적인 실시예를 도시한다. 이러한 구성에서, 모션 구역(458)은 투명한 디스플레이(402)의 가시 영역의 대부분을 차지할 수 있는 반면, 고정 구역(460)은 주로 가상 콘텐츠(456)에 제한되는 훨씬 더 작은 영역을 차지할 수 있다. 또한, 모션 구역(458)은 AR 디바이스(400)와 가상 콘텐츠(454) 사이의 겉보기 거리를 변경할 수 있는 반면에, 고정 구역(460)은 가상 콘텐츠(456)까지의 겉보기 거리를 유지할 수 있다. 이 좁은 고정 구역(460)은, 사용자의 머리 움직임이 없을 것으로 간주되는 경우 또는 투명한 디스플레이(402) 내의 가상 콘텐츠의 위치가 사용자의 머리 움직임에 의해 지배되지 않는 경우에, 훨씬 더 편리할 수 있다. 예컨대, 가상 콘텐츠(456)는 하루 중 시간, 배터리 충전 또는 내비게이션 정보와 같은 상태 정보의 형태를 취할 수 있다. 이러한 타입의 정보는, 또한 사용자가 어떤 다른 가상 콘텐츠와 상호작용하던 간에 그 다른 가상 콘텐츠와 함께 이동해야 하는 경우 주의 산만할 수 있다. 또한, 실세계 콘텐츠(464)가 투명한 디스플레이(402)의 튜닝 가능한 렌즈들에 의해 영향을 받는 겉보기 깊이 변화들에 의해 영향을 받지 않는다는 것이 또한 유의되어야 한다.
[0044] 도 5a-5b는 튜닝 가능한 렌즈(502)의 측면도들 및 튜닝 가능한 렌즈(502)가 상이한 가상 콘텐츠 포지션들을 수용하도록 어떻게 조정될 수 있는지를 도시한다. 도 5a는, 튜닝 가능한 렌즈(502)가 어떻게 실질적으로 직사각형 형상일 수 있고 직사각형 볼륨 내에 렌즈 엘리먼트(504)를 형성하는지를 도시한다. 렌즈 엘리먼트(504)는, AR 디바이스의 사용자로부터 원하는 거리에서 가상 콘텐츠를 설정하기 위해, 도파관으로부터 방출된 광을 재형상화하도록 구성될 수 있다. 튜닝 가능한 렌즈(502)가 액정 렌즈의 형태를 취할 때, 렌즈 엘리먼트(504)는 전압이 튜닝 가능한 렌즈(502)에 인가되는 것에 대한 응답으로 형상을 렌즈 엘리먼트(506)로 변경할 수 있다. 렌즈 엘리먼트(506)의 증가된 깊이 및 곡률은 가상 콘텐츠가 렌즈 엘리먼트(504)보다 AR 디바이스에 더 가깝게 보이게 할 수 있다. 이러한 식으로, 튜닝 가능한 렌즈는 AR 디바이스로부터 보이는 가상 콘텐츠에 대한 겉보기 거리를 변경하도록 구성될 수 있다.
[0045] 도 5c-5d는, 튜닝 가능한 렌즈(502)가 가상 콘텐츠에 의해 표현된 다수의 독립적으로 움직이는 객체들의 모션을 수용하도록 어떻게 조정될 수 있는지를 도시한다. 특히, 도 5c 및 5d는 도 4a-4b에 도시된 가상 콘텐츠 모션을 수용하기 위해 튜닝 가능한 렌즈(502)가 어떻게 이동해야 할 것인지를 도시할 수 있다. 도 5c는, 가상 콘텐츠(404 및 406)가 AR 디바이스로부터 동일한 거리에서 시작하는 상황에 대응할 수 있다. 도 5d는 튜닝 가능한 렌즈(502)가 렌즈 엘리먼트(508)로부터 렌즈 엘리먼트(510)로 어떻게 전이하는지를 도시한다. 상부 구역(512)에 대응하는 렌즈 엘리먼트(510)의 부분은 AR 디바이스로부터 더 멀리 이동하는 가상 콘텐츠(404)의 외관을 제공하기 위해 더 얇은 유효 형상 및 더 작은 유효 곡률을 가질 수 있는 반면에, 하부 구역(514)에 대응하는 렌즈 엘리먼트(510)의 부분은 AR 디바이스에 더 근접하게 이동하는 가상 콘텐츠(406)의 외관을 제공하기 위해 더 두꺼운 유효 형상 및 더 큰 유효 곡률을 가질 수 있다. 전이 구역(516)은, 튜닝 가능한 렌즈(502)를 통한 실세계 뷰에 영향을 주는 가시선을 생성하지 않고서, 렌즈 엘리먼트(510)의 유효 두께를 부드럽게 변경하는 그래디언트를 포함한다.
[0046] 도 6은, 작은 폼 팩터 AR 디바이스를 사용하여 다수의 깊이들에서 가상 콘텐츠를 디스플레이하기 위한 방법을 도시하는 흐름도를 도시한다. 602에서, AR 디바이스의 깊이 센서는, 사용자와 실세계 객체들 사이의 거리를 결정함으로써 AR 디바이스의 사용자의 시야 내의 실세계 객체들을 특징화한다. 604에서, AR 디바이스의 프로세서는 특징화된 실세계 객체들에 대해 제1 가상 콘텐츠에 대한 위치 또는 모션 경로를 결정하도록 구성된다. 606에서, AR 디바이스의 제1 튜닝 가능한 렌즈의 광학 구성은 제1 가상 콘텐츠의 초기 디스플레이를 위해 구성된다. 608에서, AR 디바이스의 제2 튜닝 가능한 렌즈의 광학 구성은 제1 튜닝 가능한 렌즈가 실세계 객체들의 시야에 불리하게 영향을 주는 것을 방지하도록 구성된다. 이것은, 실세계 객체들에 대한 제1 튜닝 가능한 렌즈에 의해 적용된 광학 효과들의 적어도 일부를 상쇄하는 제2 튜닝 가능한 렌즈의 광학 구성에 의해 달성된다. 일부 경우들에서, 제2 튜닝 가능한 렌즈가 실세계 객체들의 외관에 대한 제1 튜닝 가능한 렌즈의 효과들을 상쇄하기 위해 제1 튜닝 가능한 렌즈에 상보적일 수 있음이 유의되어야 한다. 일부 실시예들에서, 제1 튜닝 가능한 렌즈에 의해 이루어진 조정들 중 일부를 변경되지 않게 함으로써, 특정 비전 향상들이 적용될 수 있다. 일부 실시예들에서, 제2 가상 콘텐츠의 디스플레이가 요구되는 경우, AR 디바이스는 제1 및 제2 가상 콘텐츠가 사용자로부터 동일한 거리에 있어야 하는지 여부를 확인하도록 구성될 수 있다. 612에서, AR 디바이스는 제1 및 제2 가상 콘텐츠의 포지션을 추적하기 위해 튜닝 가능한 렌즈들을 계속 조정함으로써 광학 구성을 유지할 수 있다.
[0047] 614에서, 제1 및 제2 가상 콘텐츠가 사용자로부터 상이한 거리들에 있을 때, 프로세서는 튜닝 가능한 렌즈들을 사용하여 AR 디바이스 디스플레이의 상이한 구역들에 상이한 광학 구성들을 적용하도록 구성될 수 있다. 이러한 식으로, 사용자와 상이한 거리들에서 가상 콘텐츠가 사용자에게 제시될 수 있다. 일부 실시예들에서, 사용자의 주의가 제1 가상 콘텐츠에 집중되도록 의도될 때, 제2 가상 콘텐츠는 의도적으로 초점에서 벗어나게 될 수 있다. 예컨대, 일단 제2 가상 콘텐츠와의 상호작용이 사용자에 의해 요구되거나 AR 디바이스에 의해 실행되는 소프트웨어에 의해 큐잉되면, 초점은 제2 가상 콘텐츠로 전이될 수 있다. 일부 실시예들에서, 사용자로부터 상이한 거리에서의 가상 콘텐츠 사이의 초점 전이들은, 사용자가 특정 가상 객체에 초점을 맞추고 있는지를 결정하도록 구성된 눈 추적 센서들에 의해 큐잉될 수 있다. 다른 실시예들에서, 사용자는 상호작용을 위한 가상 콘텐츠를 수동으로 선택할 수 있고, 이러한 상호작용에서 선택된 가상 객체와 사용자 사이의 거리를 적절히 묘사하기 위해 포인트 초점이 조정될 수 있다. 이미징 소프트웨어는, 모든 가상 콘텐츠가 사용자로부터 동일한 거리에 있다는 어떠한 인상도 피하기 위해, 현재 깊이 평면 외부에 있는 AR 디바이스에 의해 투사된 임의의 가상 콘텐츠에 블러링(blurring) 효과를 적용하는 데 사용될 수 있다.
[0048] 도 7a-7b는 디스플레이 디바이스로부터의 광을 사용자의 눈으로 지향시키도록 구성 다양한 실시예들을 도시한다. 도 7a는 광 투사기(702), 및 투사기(702)에 의해 방출된 광(706)을 사용자의 눈(708)을 향해 재지향시키도록 구성된 도파관(704)을 포함하는 디스플레이 디바이스(700)의 평면도를 도시한다. 도파관(706)이 수천 또는 심지어 수백만 개의 위치들로부터 이미저리를 방출하도록 구성될 수 있지만, 도 7a는 5개의 출력 콘들(cones)(710-1 내지 710-5)이 도시된 5개의 예시적인 위치들로부터 방출되는 광을 도시한다. 출력 콘들(710) 각각은 각도(712)에 걸쳐 분산된 각각의 위치로부터 방출된 광을 나타내며, 각도(712)는 서비스 각도로 지칭될 수 있다. 도시된 바와 같이, 각각의 출력 콘의 제한된 크기는 출력 콘들(710-1 및 710-5)을 따라 도파관(704)에서 나오는 광이 사용자의 눈(708)에 도달하는 것을 방지한다. 일부 실시예들에서, 각도(712)는, 예컨대, 도파관(706)의 재료 굴절률과 같은 디스플레이 기술의 특정 특징들에 의해 원하는 임계치 미만으로 제한된다. 광 필드들 및 도파관-기반 디스플레이 디바이스들에 관한 추가적인 세부사항들은 명칭이 "HIGH RESOLUTION HIGH FIELD OF VIEW DISPLAY"인 미국 가특허 출원 제62/539,934호에 제공된다.
[0049] 도 7b는, 도시된 바와 같이, 유효 뷰잉 각도(712)를 각도(716)로 확장시키기 위해 상이한 방향들로 도파관(704)에서 나가는 광(706)을 순차적으로 시프티하도록 구성된 광학 스티어링 디바이스(714)와 같은 하나 이상의 광학 스티어링 컴포넌트들을 디스플레이 디바이스(700)가 어떻게 통합할 수 있는지를 도시한다. 이러한 식으로, 사용자의 눈(708)은 상이한 방향들로 출력 콘들(710-1 내지 710-5)을 시프트함으로써 생성된 더 큰 유효 각도(716)로 인해 더 넓은 시야를 볼 수 있다. 도시된 바와 같이, 확장된 유효 각도(716)는 출력 콘들(710-1 및 710-5)로부터의 광의 적어도 일부가 사용자의 눈(708)에 도달할 수 있게 한다. 일부 실시예들에서, 광학 스티어링 컴포넌트(714)는 다수의 상이한 광학 구성들을 취할 수 있는 하나 이상의 튜닝 가능한 프리즘들(예컨대, 재구성 가능한 위상 프로파일을 갖는 액정 렌즈)의 형태를 취할 수 있다. 각각의 광학 구성은 출력 콘들(710)의 방향을 상이한 방향으로 시프트하도록 구성될 수 있다. 도 7b가 단지 광(706)이 2개의 상이한 방향들로 스티어링되는 것을 도시하지만, 광(706)이 많은 다른 상이한 방향들로 스티어링될 수 있음이 인지되어야 한다. 또한, 튜닝 가능한 프리즘 이외에, 다른 광학 엘리먼트들이 사용자의 눈을 향해 광을 재지향시키도록 구성될 수 있고, 예시적인 프리즘 실시예가 본 개시내용의 범위를 제한하는 것으로 해석되지 않아야 한다는 것이 인지되어야 한다.
[0050] 다른 이러한 광학 엘리먼트들(예컨대, 시변 격자들)의 예들은 미국 특허 출원 제14/555,585호에 더 상세히 설명된다. 일부 예들에서, 중합체 분산 액정 격자 또는 다른 튜닝 가능한 격자는 광학 스티어링 컴포넌트들로서 구현되고, TIR 도파관 광의 각도, 광이 도파관(704)의 아웃커플링 광학 엘리먼트에 의해 아웃커플링되는 각도, 또는 이들의 조합을 수정함으로써 출력 콘들(710-1 내지 710-5)을 스티어링하는 데 사용될 수 있다. 일부 실시예들에서, 하나 이상의 메타표면들(예컨대, 메타물질들로 제조됨)은 광학 스티어링 컴포넌트들로서 구현될 수 있다. 본 개시내용의 다양한 실시예들에서 광학 스티어링 컴포넌트들로서 사용될 수 있는 메타표면들 및 메타물질들에 대한 추가의 정보는 미국 특허 공보 제15/588,350호, 미국 특허 공보 제15/182,528호 및 미국 특허 공보 제15/182,511호에서 알 수 있다. 이와 같이, 광학 스티어링 컴포넌트들이 별개의 다수의 상이한 스티어링 상태들에서 동작하도록 스위칭 가능하거나 달리 제어 가능할 수 있으며, 예시적인 튜닝 가능한 광학 스티어링 디바이스들이 본 개시내용의 범위를 제한하는 것으로 해석되지 않아야 한다는 것이 인지되어야 한다.
[0051] 도 8a-8c는, 적절한 디스플레이 디바이스에 의해 생성되고 디스플레이 디바이스의 시야를 확장시키는 것을 도울 수 있는 예시적인 스캔 패턴들을 도시한다. 도 8a는 4개의 상이한 이미지 위치들(802, 804, 806 및 808)을 포함하는 제1 스캔 패턴을 도시한다. 도시된 이미지 위치들 각각은 특정 시점에서 디스플레이 디바이스로부터 방출된 광의 어그리게이트(aggregate)를 나타낼 수 있다. 일부 실시예들에서, 광은 위치들(802-808)로 숫자 순서로 전달될 수 있다. 이어서, 광학 스티어링 디바이스는 활성 이미지 위치에 따라 광을 사용자의 눈을 향해 다시 시프트하는 데 사용될 수 있다. 예컨대, 이미지 위치(808)가 활성일 때, 광학 스티어링 디바이스는 광을 사용자의 눈을 향해 아래쪽으로 시프트하도록 구성될 수 있다. 비디오 소스가 디스플레이 디바이스에 의해 제시될 때, 각각의 이미지 위치에 대응하는 비디오 프레임의 부분들은 비디오의 각각의 프레임에 대한 4개의 위치 각각에서 순차적으로 디스플레이될 수 있다. 예컨대, 비디오 소스가 1/30 초의 프레임 레이트를 갖는 경우, 비디오 프레임의 대응하는 부분은 1/120 초 동안 각각의 위치에 디스플레이될 수 있다. 이러한 식으로, 프레임 레이트 감소 없이 확장된 시야가 달성될 수 있다. 이러한 식으로, 스캔 패턴에 의해 생성된 결과적인 이미지는 유체(fluid) 프레임 레이트를 유지하고, 또한 단일 정지 이미지 위치를 사용하여 가능한 것보다 실질적으로 더 높은 공간 해상도로 합성 이미지를 생성한다. 예컨대, 480 라인들의 수직 해상도만을 디스플레이할 수 있는 이미지 투사기는 전술된 스캔 기술들을 사용하여 480 라인들 초과의 해상도를 갖는 이미지 또는 비디오 소스를 재생할 수 있다. 스캔 패턴들, 타일링 기능 및 타일형 디스플레이 구성들에 관한 추가적인 세부사항들은 미국 특허 출원 제14/555,585호에 제공된다.
[0052] 도 8a는 또한, 도 8a에 도시된 해시 구역들(hashed regions)로 표시된 바와 같이, 일부 실시예들에서, 인접한 이미지 위치의 부분들이 어떻게 오버랩할 수 있는지를 도시한다. 이는 이미지 위치들 내의 콘텐츠가 오버랩하게 한다. 오버랩은 디스플레이 디바이스에 의해 생성된 합성 이미지의 특정 양상들을 추가로 향상시키는 데 사용될 수 있다. 예컨대, 중앙 구역(810) 내에서 해상도의 증가는 하나 이상의 초해상도 기술들을 적용함으로써 달성될 수 있다. 특히, 오버랩하는 각각의 이미지 프레임의 부분들은 서브-샘플링되고, 약간 오프셋되어, 픽셀들이 겹겹이 스택되지 않고 픽셀 밀도의 증가를 허용할 수 있다. 이는, 오버랩핑 구역들을 갖는 디스플레이 부분들에서 초고해상도 효과를 생성한다. 예컨대, 디스플레이 프로세서가 4K 해상도 이미저리(즉, 2160개의 라인들의 수직 해상도)를 생성할 수 있는 실시예들에서, 4K 해상도 이미저리는, 스캔 패턴의 오버랩된 구역 내에서 픽셀들을 분포시킴으로써 일반적으로 실질적으로 더 낮은 해상도들만을 생성할 수 있는 이미지 소스를 사용하여 초해상도 효과를 달성하는 데 사용될 수 있다. 또한, 높은 프레임 레이트 비디오 파일이 디스플레이될 때, 각각 순차적으로 디스플레이된 프레임은 비디오의 상이한 프레임과 연관될 수 있다. 예컨대, 초당 120개의 프레임들로 비디오 소스를 재생할 때, 중앙 구역(810) 내의 디스플레이 부분들은 초당 총 120개의 프레임들의 프레임 레이트를 즐길 수 있는 반면, 비-오버랩된 구역들은 초당 30개의 프레임들의 레이트로만 업데이트될 것이다. 중앙 구역(810) 근처의 오버랩된 구역들은 특정 구역에서 오버랩된 위치들의 수에 의존하여 초당 60 또는 90개의 프레임들의 레이트로 리프레시될 수 있다.
[0053] 도 8b는 큰 중앙 구역(810)을 갖는 제2 스캔 패턴을 도시한다. 이러한 제2 스캔 패턴은, 총 이미지 중 1/9이 이미지 위치들(802-808) 각각에 의해 오버랩되게 한다. 이러한 식으로, 중앙 구역(810) 내의 해상도 또는 프레임 레이트는 비-오버랩된 구역들에서보다 실질적으로 더 클 수 있다. 도시된 스캔 패턴은 최대 4배의 해상도 또는 프레임 레이트 증가를 달성할 수 있으며, 이는 일반적으로 오버랩핑 프레임들의 수에 대응한다. 이러한 타입의 스캔 패턴은, 관심있는 콘텐츠가 디스플레이의 중앙 구역에 위치될 때 특히 유리할 수 있다. 일부 실시예들에서, 스캔 패턴은, 디스플레이의 주변 구역들에서 더 적은 가상 콘텐츠가 제시되는 상황들에서 증가하는 양들의 오버랩을 생성하도록 변경될 수 있다.
[0054] 도 8c는, 이미지 위치들(802-808) 각각에 포지셔닝된 이미저리가, 도시된 바와 같이, 책상 램프 형태를 취하는 합성 이미지(812)를 어떻게 협력하여 생성하는지를 도시한다. 이미지 위치들(802-808) 중 임의의 하나의 위치에서보다 더 큰 합성 이미지(812)를 생성하는 것 외에도, 각각의 이미지 위치들(802-808)에서의 이미저리의 순차적 디스플레이는, 이미지 위치들(802-808) 중 어떤 것이 정해진 스캔 동안 현재 활성인지에 따라 디스플레이의 광학 특성들이 변경될 수 있게 한다. 예컨대, 이미저리가 이미지 위치(804)에 디스플레이될 때, 광학 특성들은 램프(812)의 베이스를 나타내는 광을 사용자의 눈을 향해 위로 시프트하도록 조정될 수 있다. 일부 실시예들에서, 스캔 패턴의 위치는 스캔 패턴의 중앙 구역 내에 램프(812)와 같은 가상 이미지를 배치하는 디스플레이의 위치에 포지셔닝될 수 있다. 이는, 이미지의 중앙 및/또는 중요한 특징들이 더 많은 수의 이미지 위치들에서 디스플레이될 수 있게 한다.
[0055] 도 9a-9c는, 도 8a에 도시된 제1 스캔 패턴이 디스플레이 구역(900) 내의 주변에서 어떻게 시프트될 수 있는지를 도시한다. 도 9a는 시간(t0)에 디스플레이 구역(900)의 상부 좌측 코너에 제1 스캔 패턴을 도시한다. 도 9b는 시간(t1)에서 디스플레이 구역(900)의 상부 우측 코너를 향해 시프트된 제1 스캔 패턴을 도시한다. 일부 실시예들에서, 디스플레이 디바이스는 눈 시선 추적기를 포함할 수 있다. 눈 시선 추적기에 의해 제공된 센서 데이터는 스캔 패턴을 사용자의 현재 초점 포인트에 대응하는 디스플레이 영역(900) 내의 위치로 시프트하는 데 활용될 수 있다. 일부 실시예들에서, 이 센서 데이터는 중앙 구역(810)을 사용자의 중심와 비전(foveal vision)을 커버하는 위치(즉, 가장 높은 시력을 갖는 사용자의 비전의 해당 부분)에 유지하는 것을 도울 수 있다. 이러한 방식으로 스캔 패턴을 계속 조정함으로써, 사용자의 몰입 인상이 향상될 수 있다. 이 방법은, 두드러진 콘텐츠가 디스플레이 구역(900)의 중앙 부분으로부터 멀리 빈번하게 시프트될 때 특히 효과적일 수 있다. 중심와 추적을 수행하고, 중심와 가상 콘텐츠를 렌더링하고, 중심와 가상 콘텐츠를 사용자에게 디스플레이하기 위한 예시적인 시스템들 및 기술들은 명칭이 "HIGH RESOLUTION HIGH FIELD OF VIEW DISPLAY"인 미국 가특허 출원 제62/539,934호에 더 상세히 설명된다.
[0056] 도 9c는 디스플레이 구역(900)의 하부 부분을 향해 다시 시프트된 제1 스캔 패턴을 도시한다. 도 9a-9c는, 이미지 위치들(802-808)이 제1 스캔 패턴의 포지션에 따라 그리고/또는 사용자에게 제공되는 콘텐츠를 더 양호하게 표현하기 위해 어떻게 변할 수 있는지를 또한 도시한다. 예컨대, 표준 스캔 패턴 크기보다 훨씬 더 작은 가상 이미지를 더 양호하게 표현하기 위해, 제1 스캔 패턴이 확장되는 영역이 감소될 수 있다. 일부 실시예들에서, 스캔 패턴을 변경하는 것은 가상 콘텐츠의 특정 표현에 대해 스캔 패턴의 오버랩핑 구역들을 최적화하는 것을 도울 수 있다.
[0057] 도 10a-10e는 광학 스티어링 디바이스(714)와 유사한 광학 스티어링 디바이스에 대한 다양한 위상 프로파일들을 도시한다. 특히, 도 10a는 광을 수직으로 시프트하기 위한 제1 광학 구성(1004)의 예시적인 광학 스티어링 디바이스(1002)의 정면도를 도시한다. 도 10b는 섹션 라인(A-A)에 따른 광학 스티어링 디바이스(1002)의 측단면도를 도시한다. 광학 스티어링 디바이스(1002)는 액정 렌즈에 인가된 전압의 양에 따라 자신의 위상 프로파일을 변경할 수 있는 액정 렌즈의 형태를 취할 수 있다. 더 구체적으로, 광학 스티어링 디바이스(1002)는 그에 대한 전압의 인가에 대한 응답으로 전계를 생성할 수 있는 구조들을 갖는 2개의 전도층들을 포함할 수 있다. 이러한 식으로, 광학 스티어링 디바이스(1002)는 다수의 상이한 광학 구성들 사이에서 시프트할 수 있다. 제1 광학 구성(1004)은 광학 스티어링 디바이스(1002) 내에서 다수의 굴절률들을 갖는 위상 프로파일을 가질 수 있다. 일부 예들에서, 광학 스티어링 디바이스(1002)의 로컬 굴절률은 프리즘 함수 또는 다른 원하는 광학 함수를 만족시키도록 맞춰질 수 있다. 이들 예들 중 적어도 일부에서, 광학 스티어링 디바이스(1002)는 비교적 큰 위상 그래디언트(예컨대, ~ π rad/㎛)를 나타낼 수 있다. 특히, 굴절률은, 도시된 바와 같이, 톱니 프로파일(saw-tooth profile)에 따라 변할 수 있으며, 톱니들 각각은 광(1006)의 일부를 수신하고 광(1008)을 상이한 방향으로 방출하도록 구성될 수 있다. 톱니들의 크기 및/또는 간격은 광학 스티어링 디바이스(1002)를 통과하는 광의 각도 변화를 감소시키거나 증가시키도록 조정될 수 있다. 예컨대, 각각의 웨지의 각도는, 웨지들의 패턴이 디스플레이의 중앙 구역에 접근함에 따라 점차 감소될 수 있다. 이러한 제1 광학 구성(1004)은 디스플레이의 하부 중앙 구역에 위치된 스캔 패턴의 프레임들을 시프트하는 데 사용될 수 있다.
[0058] 도 10c는 제2 광학 구성(1010)의 광학 스티어링 디바이스(1002)의 정면도를 도시한다. 도 10d는 섹션 라인(B-B)에 따른 제2 광학 구성의 광학 스티어링 디바이스(1002)의 평면 단면도를 도시한다. 제2 광학 구성에서, 광학 스티어링 디바이스(1002)는 광(1012)을 측방향으로 시프트하도록 구성된다. 도시된 바와 같이, 광학 스티어링 디바이스(1002)는 광(1012)을 수신하고 측방향으로 시프트된 광(1014)을 출력한다. 제1 및 제2 도시된 광학 구성들 둘 모두가 광의 방향을 시프트하지만, 그들은 수직 또는 수평으로만 광의 방향을 시프트한다. 일부 실시예들에서, 수신된 광을 수직뿐만 아니라 수평으로 시프트하기 위해, 2개의 광학 스티어링 디바이스들이 겹겹이 적층될 수 있음이 인지되어야 한다.
[0059] 도 10e는, 일련의 톱니-형상의 리지들(ridges)을 광학 스티어링 디바이스(1002)에 걸쳐 대각으로 배향시킴으로써, 광이 단일 광학 스티어링 디바이스(1002)에 의해 수직뿐만 아니라 수평으로 어떻게 시프트될 수 있는지를 도시한다. 도 10e는 또한, 도시된 대각 구성이 1-차원 광학 스티어링 디바이스들(1016 및 1018)을 달리 활용할 광의 시프트를 어떻게 달성할 수 있는지를 도시한다. 도시된 구성은, 광이 디스플레이 구역의 하부 우측 구역을 통해 도파관에서 나가는 스캔 패턴의 프레임들 동안 광학 스티어링 디바이스(1002)에 의해 취해질 수 있다. 다수의 광학 구성들이 도시되었지만, 광학 스티어링 디바이스(1002)가 도시되지 않은 많은 다른 구성들로 재배열될 수 있음이 유의되어야 한다.
[0060] 도 11a-11b는, 광학 스티어링 디바이스가 수직뿐만 아니라 수평으로 인입 광을 시프트하도록 겹겹이 스택된 렌즈들을 어떻게 포함할 수 있는지를 도시한다. 도 11a는, 수평 시프트 렌즈(1102) 및 수직 시프트 렌즈(1104)를 포함하는 광학 스티어링 디바이스(1100)의 위상 시프트의 사시도를 도시한다. 2개의 렌즈들은 렌즈들로 입사되는 광을 재지향시키기 위해 겹겹이 스택될 수 있다. 이 광학 구성은 인입 광이 수직뿐만 아니라 수평으로 시프트될 수 있게 한다. 도 11b는 다수의 렌즈들의 어레이를 사용함으로써 달성된 감소된 두께를 갖는 광학 스티어링 디바이스(1120)를 도시한다. 일부 실시예들에서, 액정 렌즈는, 도 11b에 도시된 바와 같이, 다수의 수평 시프트 렌즈들(1102) 및 수직 시프트 렌즈들(1104)과 동등한 광학 구성을 형성하는 데 사용될 수 있다.
[0061] 도의 11c-11d는 프레넬 렌즈의 구성을 갖는 액정 렌즈(1140)의 측단면도 및 평면도를 각각 도시한다. 프레넬 렌즈 구성은 선택된 가상 콘텐츠를 확대 또는 축소하기 위해 광학 스티어링 디바이스의 형태를 취할 수 있다. 특히, 도 11c는 액정 렌즈(1140)를 통과하는 광의 배율을 변경할 뿐만 아니라 광을 측방향으로 시프트하도록 구성된 프레넬 렌즈 구성을 도시한다. 이러한 타입의 구성은 본원에 설명된 광학 스티어링 디바이스들 중 임의의 광 스티어링 디바이스에 통합될 수 있다. 일부 실시예들에서, 사용자는 스크린의 특정 구역의 확대를 요청할 수 있다. 이에 대한 응답으로, 광학 스티어링 디바이스는, 사용자가 보고 있는 특정 이미지 스트림을 생성하는 광을 변경하거나 업데이트할 필요없이, 콘텐츠를 확대하기 위해 특정 구역에 걸쳐 프레넬 렌즈 구성을 형성하도록 구성될 수 있다.
[0062] 도 12a-12b는 광학 스티어링 디바이스들이 증강 현실 디스플레이 디바이스들에 통합될 수 있는 상이한 방식들을 도시한다. 일부 실시예들에서, 광학 스티어링 디바이스들은, 그에 입사되는 광의 방향, 관점 및/또는 배율을 변경하기 위해, 굴절률을 선택적으로 변경할 수 있는 액정 렌즈들의 형태를 취할 수 있다. 도 12a는 디스플레이 디바이스(1200)의 평면 단면도를 도시한다. 광학 스티어링 디바이스들(1202 및 1204)은 디스플레이 디바이스(1200)의 도파관(1206)의 대향 측들 상에 포지셔닝된다. 도파관(1206)은 상이한 컬러들의 광을 디스플레이 디바이스(1200)의 사용자의 눈(1208)에 전달하기 위한 하나 이상의 별개의 경로들을 포함할 수 있다. 광학 스티어링 디바이스들(1202 및 1204)은, 실질적으로 왜곡되지 않는 방식으로 눈(1208)에 도달하도록 실세계 객체들에서 반사된 광(1210)이 광학 스티어링 디바이스들 둘 모두를 통과할 수 있게 하는 실질적으로 상보적인 구성을 가질 수 있다. 이어서, 도파관(1206)에 의해 전달된 광(1212)은, 광(1210)을 불리하게 왜곡시키지 않고서, 하나 이상의 스캔 패턴들에 따라 빔 스티어링을 겪음으로써 가상 콘텐츠를 가시화하도록 구성될 수 있다. 이전에 설명된 스캔 패턴들 및 순차적 빔 스티어링은 디스플레이 디바이스(1200)의 유효 시야를 증가시킨다. 도 12b는 디스플레이 디바이스(1220), 및 광학 스티어링 디바이스들(1202 및 1204)이 가변 초점 렌즈들(1209)과 어떻게 통합되어 동적 초점 시프트 및 시야 확장 둘 모두가 광(1212)에 적용될 수 있는지를 도시한다.
[0063] 도 12c-12f는 다수의 이미지 스트림들을 수신하도록 구성된 디스플레이 디바이스들을 도시한다. 도 12c는 도파관(1206) 및 도파관(1244) 둘 모두를 포함하는 디스플레이 디바이스(1240)의 평면 단면도를 도시한다. 도파관(1244)은, 넓은 시야, 저해상도 이미지들의 스트림을 형성하는 광(1246)을 전달하도록 구성될 수 있다. 도시된 바와 같이, 광(1246)은 눈(1208)에 도달하기 전에 어떠한 스캐닝 패턴도 겪지 않는다. 도파관(1206)은 좁은 시야, 고해상도 이미지들의 스트림을 형성하는 광(1212)을 전달하도록 구성될 수 있다. 도파관(1244)에 들어가는 광(1212)은, 사용자의 눈들의 초점이 맞춰지는 것을 센서들이 표시하는 구역에서 디스플레이 디바이스(1240)에서 나가도록 구성될 수 있다. 이러한 식으로, 좁은 시야, 고해상도 이미지들의 스트림의 동적인 포비에이션(foveation)이 달성될 수 있으며, 결과적으로 모든 디스플레이 디바이스(1240)가 고해상도 이미저리를 방출하고 있다는 인상이 사용자에게 제공된다. 광(1212)은 디스플레이 디바이스의 표면에 걸쳐 투사될 수 있고, 광학 스티어링 디바이스(1202)는 사용자에 대한 유효 시야를 증가시키는 스캔 패턴으로 광(1212)을 동적으로 스티어링할 수 있다. 스캔 패턴으로 인해 광(1212)에 의해 생성된 이미지들의 스트림의 결과적인 확대는, 사용자가 디스플레이 디바이스의 디스플레이 구역의 에지 근처 콘텐츠에 초점을 맞출 때조차, 고해상도를 식별할 수 있는 사용자의 시야의 구역이 광(1212)에 의해 완전히 커버되는 것을 도울 수 있다. 이러한 식으로, 디스플레이(1240)가 사용자의 전체 시야에 걸쳐 고해상도 이미저리를 디스플레이할 필요가 없기 때문에, 하드웨어 비용들 및 프로세싱 능력의 상당한 절감이 달성될 수 있다.
[0064] 도 12d는, 광(1212 및 1246)이 사용자의 눈(1208)의 망막 상에 투사될 때, 사용자에 의해 지각되는 이미저리의 표현들뿐만 아니라 디스플레이 디바이스(1240)의 정면도를 도시한다. 도 12d는 광을 방출할 수 있는 도파관(1244)의 부분 및 광(1212)을 방출하는 도파관(1244)의 구역을 도시한다. 광(1212)은 스캔 패턴으로 시프트하는 좁은 시야 이미지 스트림을 생성하는 것으로 도시된다. 광(1246)은 정지 상태에 있는 넓은 시야를 제공한다. 일부 실시예들에서, 광(1246)이 확장되는 영역은 최대 가시 영역을 나타내고, 그 영역에 걸쳐 광은 광학 스티어링 디바이스 없이 가시적이다. 도시된 바와 같이, 광(1212)의 부분은, 광(1212)이 광학 스티어링 디바이스(1202)로부터 이익을 얻을 수 있기 때문에, 광(1246)에 의해 커버된 구역 외부로 확장될 수 있으며, 광학 스티어링 디바이스(1202)는 광(1212)을 눈(1208)을 향해 시프트한다.
[0065] 도 12e는, 광학 스티어링 디바이스들(1262 및 1264)을 도 12c에 도시된 구성에 추가한 디스플레이 디바이스(1260)를 도시한다. 이러한 실시예에서, 좁은 시야, 고해상도 이미저리를 생성하는 광(1212)은 도파관(1244)을 통해 지향될 수 있고, 넓은 시야, 저해상도 이미저리를 생성하는 광(1246)은 도파관(1206)을 통해 지향될 수 있다. 광학 스티어링 디바이스(1262)는 광(1212)을 독립적으로 스티어링하도록 구성된다. 광학 스티어링 디바이스(1264)는 광(1210) 및 광(1246)이 광학 스티어링 디바이스(1262)의 스티어링에 의해 왜곡되는 것을 방지하도록 구성된다. 광학 스티어링 디바이스(1264)는 광학 스티어링 디바이스(1262)의 위상 프로파일에 실질적으로 상보적인 위상 프로파일을 유지할 수 있다. 이러한 식으로, 광(1246 및 1212)에 의해 생성된 가상 콘텐츠는 확장된 시야들에 걸쳐 확장될 수 있고, 이로써 디스플레이 디바이스(1260)의 사용자에 대한 몰입 경험을 추가로 향상시킬 수 있다. 일부 실시예들에서, 광학 스티어링 디바이스들(1202 및 1264)의 기능이, 광(1246)을 원하는 스캔 패턴으로 시프트할 뿐만 아니라 광학 스티어링 디바이스(1262)에 의해 생성되는 임의의 간섭을 선제적으로 보상하는 위상 프로파일을 취할 수 있는 단일 광학 스티어링 디바이스에 결합될 수 있다는 것이 유의되어야 한다.
[0066] 일부 실시예들에서, 디스플레이 디바이스(1260)의 하나 이상의 투사기들에 의해 생성된 광(1246 및 1212)은 실질적으로 동일한 공간 해상도로 이미저리의 스트림들을 디스플레이하도록 구성될 수 있다. 이어서, 광학 스티어링 디바이스들(1202 및 1262)은 디스플레이 디바이스(1260)의 유효 시야를 최대화하기 위해 스캔 패턴들을 광(1212 및 1246)에 적용하도록 독립적으로 작용하도록 구성될 수 있다. 도파관들(1206 및 1244) 사이의 분리는 광(1212 및 1246)에 의해 생성된 가상 콘텐츠와 사용자 사이의 상이한 겉보기 거리들을 생성하도록 구성될 수 있다. 이러한 식으로, 깊이 지각 거리들은, 도 12b에 도시된 바와 같이, 가변 초점 렌즈들의 세트 없이 조정될 수 있다. 일부 실시예들에서, 상이한 거리들에서의 도파관들 및 가변 초점 렌즈들이 눈(1208)으로부터 다수의 상이한 겉보기 거리들에서 가상 콘텐츠를 동시에 보여주기 위해 결합하여 사용될 수 있음이 유의되어야 한다. 이어서, 가변 초점 렌즈들은, 이전에 설명된 바와 같이, 눈(1208)과 가상 콘텐츠 사이의 겉보기 거리를 변경하는 데 사용될 수 있다.
[0067] 도 12f는, 광(1212 및 1246)이 사용자의 눈(1208)의 망막에 투사될 때 사용자에 의해 지각되는 이미저리의 표현들뿐만 아니라 디스플레이 디바이스(1260)의 정면도를 도시한다. 특히, 도 12f는, 광(1212)이 제1 스캔 패턴으로 시프트하는 좁은 시야를 어떻게 가질 수 있는지 및 광(1246)이 제1 스캔 패턴과 상이한 제2 스캔 패턴으로 시프트하는 넓은 시야를 어떻게 제공할 수 있는지를 도시한다. 일부 실시예들에서, 스캔 패턴들은 동일한 크기 및/또는 해상도를 가질 수 있다. 이러한 구성은 사용자와 가상 콘텐츠 사이의 겉보기 거리를 변경하는 것의 이점을 가질 수 있다.
[0068] 설명된 실시예들의 다양한 양상들, 실시예들, 구현들 또는 특징들은 개별적으로 또는 임의의 조합으로 사용할 수 있다. 설명된 실시예들의 다양한 양상들은 소프트웨어, 하드웨어 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 설명된 실시예들은 또한 제조 동작들을 제어하기 위한 컴퓨터 판독 가능 매체 상의 컴퓨터 판독 가능 코드로서 또는 제조 라인을 제어하기 위한 컴퓨터 판독 가능 매체 상의 컴퓨터 판독 가능 코드로서 구현될 수 있다. 컴퓨터 판독 가능 매체는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이며, 데이터는 이후에 컴퓨터 시스템에 의해 판독될 수 있다. 컴퓨터 판독 가능 매체의 예들은 판독-전용 메모리, 랜덤-액세스 메모리, CD-ROM들, HDD들, DVD들, 자기 테이프 및 광학 데이터 저장 디바이스들을 포함한다. 컴퓨터 판독 가능 매체는 또한, 컴퓨터 판독 가능 코드가 분산 방식으로 저장되고 실행되도록 네트워크-커플링 컴퓨터 시스템들을 통해 분산될 수 있다.
[0069] 전술된 설명은, 설명의 목적들로, 설명된 실시예들의 완전한 이해를 제공하기 위해 특정 명명법을 사용하였다. 그러나, 설명된 실시예들을 실시하기 위해 특정 세부사항들이 요구되지는 않는 것이 당업자에게 명백할 것이다. 따라서, 특정 실시예들의 전술된 설명들은 예시 및 설명의 목적들로 제공된다. 이들은 설명된 실시예들을 개시된 바로 그 형태들로 제한하거나 포괄하는 것으로 의도되지 않는다. 위의 교시들의 관점에서 많은 수정들 및 변형들이 가능하다는 것이 당업자에게 명백할 것이다.

Claims (24)

  1. 증강 현실 디바이스로서,
    제1 튜닝 가능한 렌즈(tunable lens);
    제2 튜닝 가능한 렌즈;
    상기 제1 튜닝 가능한 렌즈와 상기 제2 튜닝 가능한 렌즈 사이에 포지셔닝된 도파관 ― 상기 도파관은 가상 콘텐츠를 나타내는 광을 상기 제1 튜닝 가능한 렌즈를 통해 그리고 상기 증강 현실 디바이스의 사용자를 향해 지향시키도록 구성됨 ― ; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 가상 콘텐츠와 상기 증강 현실 디바이스의 사용자 사이의 겉보기 거리(apparent distance)를 변경하도록 형상을 변경하기 위해 상기 제1 튜닝 가능한 렌즈를 지향시키고, 그리고
    실세계 객체들과 상기 증강 현실 디바이스의 사용자 사이의 겉보기 거리들을 유지하도록 형상을 변경하기 위해 상기 제2 튜닝 가능한 렌즈를 지향시키도록 구성되는,
    증강 현실 디바이스.
  2. 제1 항에 있어서,
    상기 제1 튜닝 가능한 렌즈 및 상기 제2 튜닝 가능한 렌즈는 액정 렌즈들인,
    증강 현실 디바이스.
  3. 제2 항에 있어서,
    상기 제1 튜닝 가능한 렌즈는, 상기 가상 콘텐츠의 제1 부분이 상기 사용자로부터 제1 겉보기 거리에서 디스플레이될 수 있고 상기 가상 콘텐츠의 제2 부분이 상기 사용자로부터 제2 겉보기 거리에서 디스플레이될 수 있도록, 다수의 구역들을 상이하게 조정하도록 구성되는,
    증강 현실 디바이스.
  4. 제1 항에 있어서,
    상기 도파관은 투사기로부터 수신된 광을 사용자의 눈을 향해 재배향시키는 회절 광학기들(diffractive optics)을 포함하는,
    증강 현실 디바이스.
  5. 제1 항에 있어서,
    상기 제1 튜닝 가능한 렌즈 및 상기 제2 튜닝 가능 렌즈는 회절 렌즈들, 유체 렌즈들(fluidic lenses), 기계 렌즈들 및 전기습윤(electro-wetting) 렌즈들로 구성된 그룹으로부터 선택되는,
    증강 현실 디바이스.
  6. 증강 현실 디바이스로서,
    제1 튜닝 가능한 렌즈;
    제2 튜닝 가능한 렌즈; 및
    상기 제1 튜닝 가능한 렌즈와 상기 제2 튜닝 가능한 렌즈 사이에 포지셔닝된 도파관을 포함하고,
    상기 도파관은 가상 콘텐츠를 나타내는 광을 상기 제1 튜닝 가능한 렌즈를 통해 그리고 상기 증강 현실 디바이스의 사용자를 향해 지향시키도록 구성된 회절 광학기들을 포함하고,
    상기 제1 튜닝 가능한 렌즈는 상기 증강 현실 디바이스의 사용자와 상기 가상 콘텐츠 사이의 겉보기 거리를 조정하기 위해 형상을 변경하도록 구성되는,
    증강 현실 디바이스.
  7. 제6 항에 있어서,
    실세계 객체들로부터의 광은, 상기 제1 튜닝 가능한 렌즈 및 상기 제2 튜닝 가능한 렌즈가 형상을 협력하여 변경할 때, 상기 제1 튜닝 가능한 렌즈 및 상기 제2 튜닝 가능한 렌즈 둘 모두를 통과하는,
    증강 현실 디바이스.
  8. 제6 항에 있어서,
    상기 제2 튜닝 가능 렌즈는, 상기 제1 튜닝 가능 렌즈가 상기 도파관을 통해 보이는 실세계 객체들의 외관을 왜곡시키는 것을 방지하도록 구성되는,
    증강 현실 디바이스.
  9. 제6 항에 있어서,
    상기 1 튜닝 가능한 렌즈 및 상기 제2 튜닝 가능한 렌즈는 상기 증강 현실 디바이스의 사용자의 비전(vision)을 교정하도록 구성되는,
    증강 현실 디바이스.
  10. 제6 항에 있어서,
    상기 제2 튜닝 가능 렌즈는 또한, 사용자의 주의를 상기 가상 콘텐츠에 집중시키려고 노력할 때, 실세계 객체들의 뷰를 흐리게(obscure) 하도록 구성되는,
    증강 현실 디바이스.
  11. 제6 항에 있어서,
    상기 제1 튜닝 가능 렌즈는 제1 거리에서의 정지 가상 콘텐츠에 대한 제1 구역 및 상기 제1 거리와 상이한 제2 거리에서의 움직이는 가상 콘텐츠에 대한 제2 구역을 규정하는,
    증강 현실 디바이스.
  12. 웨어러블 디스플레이 디바이스로서,
    제1 광학 스티어링 컴포넌트;
    제2 광학 스티어링 컴포넌트;
    가상 콘텐츠를 나타내는 광을 방출하도록 구성된 광원; 및
    상기 제1 광학 스티어링 컴포넌트와 상기 제2 광학 스티어링 컴포넌트 사이에 포지셔닝된 도파관을 포함하고,
    상기 도파관은 상기 광원으로부터 방출된 광을 상기 제1 광학 스티어링 컴포넌트를 통해 그리고 상기 웨어러블 디스플레이 디바이스의 사용자를 향해 회절시키도록 구성된 회절 광학기들을 포함하고,
    상기 제1 광학 스티어링 컴포넌트는, 상기 광원으로부터 수신되고 상기 제1 광학 스티어링 컴포넌트의 주변 구역을 통해 사용자의 눈을 향해 상기 도파관에서 나가는 광의 적어도 일부를 시프트하도록 구성되는,
    웨어러블 디스플레이 디바이스.
  13. 제12 항에 있어서,
    상기 광원은, 상기 광이 상기 제1 광학 스티어링 컴포넌트의 상이한 구역들을 통해 방출되게 하는 스캔 패턴에 따라 상기 광을 방출하도록 구성되는,
    웨어러블 디스플레이 디바이스.
  14. 제13 항에 있어서,
    눈 추적 센서를 더 포함하고,
    상기 스캔 패턴의 위치는, 상기 사용자의 눈이 초점을 맞춘, 상기 눈 추적 센서가 나타내는 상기 웨어러블 디스플레이 디바이스의 부분에 중심을 두는,
    웨어러블 디스플레이 디바이스.
  15. 제12 항에 있어서,
    상기 제1 광학 스티어링 컴포넌트는, 상기 도파관의 중앙 부분에 위치된 상기 도파관의 제2 부분보다 상기 도파관의 주변 부분에 위치된 상기 도파관의 제1 부분에서 실질적으로 더 많이 나가는 광의 방향을 변경하도록 구성된 튜닝 가능한 프리즘들(prisms)의 어레이를 포함하는,
    웨어러블 디스플레이 디바이스.
  16. 제12 항에 있어서,
    상기 제2 광학 스티어링 컴포넌트는, 상기 제1 광학 스티어링 컴포넌트가 상기 도파관을 통해 보이는 실세계 객체들의 외관을 왜곡시키는 것을 방지하도록 구성되는,
    웨어러블 디스플레이 디바이스.
  17. 제12 항에 있어서,
    제1 렌즈, 및
    제2 렌즈를 더 포함하고,
    상기 제1 렌즈 및 상기 제2 렌즈는 상기 도파관의 대향 측들 상에 배열되는,
    웨어러블 디스플레이 디바이스.
  18. 제17 항에 있어서,
    상기 제1 렌즈는 상기 웨어러블 디스플레이 디바이스의 사용자와 상기 웨어러블 디스플레이 디바이스에 의해 디스플레이된 상기 가상 콘텐츠 사이의 겉보기 거리를 조정하기 위해 자신의 위상 프로파일(phase profile)을 변경하도록 구성되는,
    웨어러블 디스플레이 디바이스.
  19. 제12 항에 있어서,
    상기 웨어러블 디스플레이 디바이스는 증강 현실 디바이스이고, 주변 환경으로부터의 광은 상기 제1 광학 스티어링 컴포넌트 및 상기 제2 광학 스티어링 컴포넌트 둘 모두를 통과하는,
    웨어러블 디스플레이 디바이스.
  20. 제19 항에 있어서,
    상기 제2 광학 스티어링 컴포넌트는 상기 제1 광학 스티어링 컴포넌트의 제2 광학 구성에 상보적인 제1 광학 구성을 유지하여, 상기 제1 광학 스티어링 컴포넌트 및 상기 제2 광학 스티어링 컴포넌트를 통과한 외부 세계로부터의 광이 상기 웨어러블 디스플레이 디바이스의 사용자에게 왜곡되지 않고 나타나는,
    웨어러블 디스플레이 디바이스.
  21. 웨어러블 디스플레이 디바이스로서,
    투사기;
    접안렌즈 ― 상기 접안렌즈는 하나 이상의 광학 스티어링 컴포넌트들, 및 상기 투사기로부터 광을 수신하고 상기 하나 이상의 광학 스티어링 컴포넌트들을 통해 그리고 사용자를 향해 지향시키도록 구성된 도파관을 포함함 ― ;
    상기 사용자의 한쪽 또는 양쪽 눈들의 움직임을 검출하도록 구성된 눈-시선 추적기; 및
    상기 하나 이상의 광학 스티어링 컴포넌트들 및 상기 눈-시선 추적기에 통신 가능하게 커플링된 제어 회로를 포함하고,
    상기 제어 회로는 상기 사용자의 한쪽 또는 양쪽 눈들의 검출된 움직임에 따라 상기 하나 이상의 광학 스티어링 컴포넌트들의 광학 스티어링 패턴을 조정하도록 구성되는,
    웨어러블 디스플레이 디바이스.
  22. 제21 항에 있어서,
    상기 하나 이상의 광학 스티어링 컴포넌트들은 튜닝 가능한 프리즘들의 어레이를 포함하는,
    웨어러블 디스플레이 디바이스.
  23. 제21 항에 있어서,
    제1 렌즈, 및
    제2 렌즈를 더 포함하고,
    상기 제1 렌즈 및 상기 제2 렌즈는 상기 도파관의 대향 측들 상에 배열되는,
    웨어러블 디스플레이 디바이스.
  24. 제23 항에 있어서,
    상기 제1 렌즈는 상기 웨어러블 디스플레이 디바이스의 사용자와 상기 웨어러블 디스플레이 디바이스에 의해 디스플레이된 상기 가상 콘텐츠 사이의 겉보기 거리를 조정하기 위해 자신의 위상 프로파일을 변경하도록 구성되는,
    웨어러블 디스플레이 디바이스.
KR1020197030559A 2017-03-22 2018-03-22 동적 시야 가변 초점 디스플레이 시스템 Active KR102291658B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217025699A KR102438618B1 (ko) 2017-03-22 2018-03-22 동적 시야 가변 초점 디스플레이 시스템

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762475081P 2017-03-22 2017-03-22
US62/475,081 2017-03-22
PCT/US2018/023847 WO2018175780A1 (en) 2017-03-22 2018-03-22 Dynamic field of view variable focus display system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217025699A Division KR102438618B1 (ko) 2017-03-22 2018-03-22 동적 시야 가변 초점 디스플레이 시스템

Publications (2)

Publication Number Publication Date
KR20190126895A true KR20190126895A (ko) 2019-11-12
KR102291658B1 KR102291658B1 (ko) 2021-08-19

Family

ID=63582446

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217025699A Active KR102438618B1 (ko) 2017-03-22 2018-03-22 동적 시야 가변 초점 디스플레이 시스템
KR1020197030559A Active KR102291658B1 (ko) 2017-03-22 2018-03-22 동적 시야 가변 초점 디스플레이 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217025699A Active KR102438618B1 (ko) 2017-03-22 2018-03-22 동적 시야 가변 초점 디스플레이 시스템

Country Status (9)

Country Link
US (3) US10859812B2 (ko)
EP (2) EP4475151A3 (ko)
JP (2) JP6957635B2 (ko)
KR (2) KR102438618B1 (ko)
CN (2) CN110447082B (ko)
AU (2) AU2018240367B2 (ko)
CA (1) CA3056924A1 (ko)
IL (2) IL310618A (ko)
WO (1) WO2018175780A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12007573B2 (en) 2017-03-22 2024-06-11 Magic Leap, Inc. Dynamic field of view variable focus display system
US12073016B2 (en) 2021-02-23 2024-08-27 Samsung Electronics Co., Ltd. Electronic device and method of operating the same
WO2024205017A1 (ko) * 2023-03-27 2024-10-03 삼성전자주식회사 가상 공간 이미지를 제공하기 위한 전자 장치 및 방법

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11835841B2 (en) 2017-10-27 2023-12-05 Exciting Technology LLC System, method and apparatus for non-mechanical optical and photonic beam steering
WO2021119165A1 (en) * 2019-12-09 2021-06-17 Exciting Technology LLC System, method, and apparatus to steer an electromagnetic beam utilizing staged steering
WO2020086692A1 (en) * 2018-10-23 2020-04-30 Exciting Technology LLC System, method and apparatus for non-mechanical optical and photonic beam steering
US10989982B2 (en) 2018-10-23 2021-04-27 Exciting Technology, Llc System, method and apparatus for non-mechanical optical and photonic beam steering
US10845671B2 (en) 2017-10-27 2020-11-24 Exciting Technology, Llc System, method and apparatus for non-mechanical optical and photonic beam steering
US12461422B2 (en) 2017-10-27 2025-11-04 Exciting Technology LLC System, method, and apparatus to steer an electromagnetic beam utilizing staged steering
US12601950B2 (en) 2017-10-27 2026-04-14 Exciting Technology LLC System, method and apparatus for non-mechanical optical and photonic beam steering
CN107861247B (zh) * 2017-12-22 2020-08-25 联想(北京)有限公司 光学部件及增强现实设备
US10422989B2 (en) * 2018-02-06 2019-09-24 Microsoft Technology Licensing, Llc Optical systems including a single actuator and multiple fluid-filled optical lenses for near-eye-display devices
US10962791B1 (en) 2018-03-22 2021-03-30 Facebook Technologies, Llc Apparatuses, systems, and methods for fabricating ultra-thin adjustable lenses
US11245065B1 (en) 2018-03-22 2022-02-08 Facebook Technologies, Llc Electroactive polymer devices, systems, and methods
US10690921B1 (en) * 2018-03-26 2020-06-23 Facebook Technologies, Llc Apparatuses, systems, and methods for coordinated lens adjustments
US11048075B1 (en) 2018-03-29 2021-06-29 Facebook Technologies, Llc Optical lens assemblies and related methods
US10359845B1 (en) * 2018-05-01 2019-07-23 Facebook Technologies, Llc Display assembly using dynamic liquid crystal array
US10747309B2 (en) * 2018-05-10 2020-08-18 Microsoft Technology Licensing, Llc Reconfigurable optics for switching between near-to-eye display modes
US10607353B2 (en) * 2018-08-30 2020-03-31 Facebook Technologies, Llc Structured light depth sensing
US10893043B1 (en) * 2018-09-12 2021-01-12 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
US11227060B1 (en) 2018-09-12 2022-01-18 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
US11042649B1 (en) 2018-09-12 2021-06-22 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
US11015830B2 (en) * 2018-11-19 2021-05-25 Johnson Controls Technology Company Device using projector for display
US11022835B2 (en) 2018-12-15 2021-06-01 Facebook Technologies, Llc Optical system using segmented phase profile liquid crystal lenses
KR102748631B1 (ko) * 2018-12-18 2024-12-31 삼성전자주식회사 영상을 표시하는 장치, 방법 및 컴퓨터 프로그램
US11914150B2 (en) * 2018-12-28 2024-02-27 Magic Leap, Inc. Augmented and virtual reality display systems with shared display for left and right eyes
US11256331B1 (en) 2019-01-10 2022-02-22 Facebook Technologies, Llc Apparatuses, systems, and methods including haptic and touch sensing electroactive device arrays
JP7585206B2 (ja) 2019-01-11 2024-11-18 マジック リープ， インコーポレイテッド 種々の深度における仮想コンテンツの時間多重化された表示
US11467370B2 (en) 2019-05-27 2022-10-11 Samsung Electronics Co., Ltd. Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
CN110109255B (zh) * 2019-06-17 2024-11-22 杭州光粒科技有限公司 基于光波导的扩大ar视场角及减小光机尺度的结构
WO2021011410A1 (en) * 2019-07-12 2021-01-21 Magic Leap, Inc. Methods and systems for augmented reality display with dynamic field of view
WO2021049831A1 (ko) * 2019-09-09 2021-03-18 삼성전자 주식회사 디스플레이 장치 및 이를 포함한 시스템
KR102788912B1 (ko) 2019-09-24 2025-03-31 삼성전자주식회사 증강 현실 장치 및 이를 포함하는 웨어러블 장치
CA3156195A1 (en) * 2019-11-08 2021-05-14 Joseph Ivar Etigson System and method for implementing a viewer-specific image perception adjustment within a defined view zone, and vision correction system and method using same
US11726328B2 (en) * 2020-01-17 2023-08-15 Meta Platforms Technologies, Llc Accommodation adjustable and magnification corrective optical system
US11294187B2 (en) 2020-03-31 2022-04-05 Facebook Technologies, Llc Thin waveguide beam redirector and display based thereon
US12379640B2 (en) 2020-04-17 2025-08-05 Exciting Technology LLC System, method, and apparatus for high precision light beam steering using a triplet lens
WO2021211163A1 (en) 2020-04-17 2021-10-21 Exciting Technology LLC High capability, multi-beam, decentered lens light beam steering
US12211154B2 (en) * 2020-05-11 2025-01-28 Intuitive Surgical Operations, Inc. Systems and methods for region-based presentation of augmented content
WO2021246777A1 (en) * 2020-06-03 2021-12-09 Samsung Electronics Co., Ltd. Device and method for displaying augmented reality
KR102223621B1 (ko) * 2020-07-01 2021-03-05 부경대학교 산학협력단 비가시광선 가시화 자동정합형 증강현실 글래스
CN112147786B (zh) * 2020-10-28 2024-04-12 南京爱奇艺智能科技有限公司 一种增强现实显示系统
EP4242726A4 (en) * 2020-11-09 2024-05-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image display device and wearable apparatus
US11809622B2 (en) 2020-12-21 2023-11-07 Samsung Electronics Co., Ltd. Electronic device and method for eye-tracking of user and providing augmented reality service thereof
KR20220089023A (ko) * 2020-12-21 2022-06-28 삼성전자주식회사 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
US11928257B2 (en) * 2021-02-17 2024-03-12 Samsung Electronics Co., Ltd. Method and electronic device for tracking eye
WO2023028284A1 (en) * 2021-08-26 2023-03-02 Google Llc Variable world blur for occlusion and contrast enhancement via tunable lens elements
WO2023030505A1 (en) * 2021-09-03 2023-03-09 University Of Central Florida Research Foundation, Inc. An optical display system and an electronic device
CN113960800B (zh) * 2021-11-08 2023-09-29 歌尔光学科技有限公司 增强现实设备及其屈光度调节方法、存储介质
CN114089835B (zh) * 2022-01-18 2022-04-26 湖北工业大学 基于自适应视觉差异的混合现实交互式导识系统及方法
KR20230135439A (ko) 2022-03-16 2023-09-25 삼성전자주식회사 증강 현실 디바이스 및 그 동작 방법
WO2023200920A1 (en) * 2022-04-13 2023-10-19 Meta Platforms Technologies, Llc Optical assembly for a head-mount display (hmd) device
CN115291417B (zh) * 2022-07-01 2026-04-28 Oppo广东移动通信有限公司 镜片模组、眼镜和可穿戴设备
CN115016139B (zh) * 2022-07-18 2025-02-18 未来科技（襄阳）有限公司 元宇宙3d显示系统、方法和相关设备
US20240103280A1 (en) * 2022-09-22 2024-03-28 Apple Inc. Display with Lens Integrated Into Cover Layer
US20250130426A1 (en) * 2023-10-24 2025-04-24 Google Llc Active control of virtual image depth positioning
US12436725B2 (en) 2023-10-25 2025-10-07 Samsung Electronics Co., Ltd. Display device and electronic device including same
US12210679B1 (en) 2024-01-08 2025-01-28 Rockwell Collins, Inc. Attention redirection within AR/XR immersive environments
US12326971B1 (en) 2024-10-03 2025-06-10 Bansen Labs, Llc System and method for facilitating adaptive recentering in virtual reality environments

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150205126A1 (en) * 2013-11-27 2015-07-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20150235088A1 (en) * 2013-07-12 2015-08-20 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
KR20170020351A (ko) * 2014-06-17 2017-02-22 톰슨 라이센싱 픽셀 재분할 최적화를 갖는 방법 및 디스플레이 디바이스

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309272A (en) 1992-12-11 1994-05-03 Xerox Corporation Dual pass binary diffractive optical element scanner
US5694230A (en) 1995-06-07 1997-12-02 Digital Optics Corp. Diffractive optical elements as combiners
CN1049288C (zh) * 1995-11-03 2000-02-09 邮电部武汉邮电学院研究院 自聚焦透镜型可调谐光滤波器单模尾纤准直器的制作方法
WO1998021612A1 (en) * 1996-11-12 1998-05-22 Planop - Planar Optics Ltd Optical system for alternative or simultaneous direction of light originating from two scenes to the eye of a viewer
JP2000298293A (ja) 1999-04-15 2000-10-24 Mr System Kenkyusho:Kk 光変調装置およびそれを用いた３次元像再生装置
US7023594B2 (en) 2000-06-23 2006-04-04 E-Vision, Llc Electro-optic lens with integrated components
JP2002214545A (ja) * 2001-01-18 2002-07-31 Olympus Optical Co Ltd 光学装置
US7110180B2 (en) 2002-10-09 2006-09-19 Ricoh Company, Ltd. Diffraction grating, method of fabricating diffraction optical element, optical pickup device, and optical disk drive
US7145722B2 (en) 2003-04-24 2006-12-05 Banpil Photonics, Inc. Optical filter and method of manufacturing thereof
JP3912603B2 (ja) * 2003-09-05 2007-05-09 ソニー株式会社 光導波装置
US7206107B2 (en) 2004-12-13 2007-04-17 Nokia Corporation Method and system for beam expansion in a display device
US8885139B2 (en) 2005-01-21 2014-11-11 Johnson & Johnson Vision Care Adaptive electro-active lens with variable focal length
WO2007031991A2 (en) 2005-09-14 2007-03-22 Mirage Innovations Ltd. Diffractive optical device and system
US7817176B2 (en) 2005-12-26 2010-10-19 Ricoh Company, Ltd. Light source device, optical scanning device, and image forming apparatus
EP1932492B1 (en) 2006-12-13 2011-09-14 Akkolens International B.V. Accommodating intraocular lens with variable correction
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US8233204B1 (en) * 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
US8248178B2 (en) 2009-12-03 2012-08-21 The Aerospace Corporation High power waveguide polarizer with broad bandwidth and low loss, and methods of making and using same
US8467643B2 (en) 2010-08-13 2013-06-18 Toyota Motor Engineering & Mfg. North America, Inc. Optical device using double-groove grating
US20120057235A1 (en) 2010-09-03 2012-03-08 Massachusetts Institute Of Technology Method for Antireflection in Binary and Multi-Level Diffractive Elements
US9406166B2 (en) 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
US8988463B2 (en) 2010-12-08 2015-03-24 Microsoft Technology Licensing, Llc Sympathetic optic adaptation for see-through display
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130300634A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
AU2013274359B2 (en) * 2012-06-11 2017-05-25 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
CN104603673B (zh) * 2012-09-03 2017-03-15 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
JP2015534108A (ja) 2012-09-11 2015-11-26 マジック リープ， インコーポレイテッド 人間工学的な頭部搭載型ディスプレイデバイスおよび光学システム
EP2995976A4 (en) * 2013-05-09 2017-03-29 The University of Tokyo Varifocal lens
WO2015006784A2 (en) * 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9335548B1 (en) * 2013-08-21 2016-05-10 Google Inc. Head-wearable display with collimated light source and beam steering mechanism
EP3100096A1 (en) * 2014-01-31 2016-12-07 Mack, Corey Augmented reality eyewear and methods for using same
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN111856755B (zh) * 2014-05-30 2022-07-19 奇跃公司 用于显示虚拟和增强现实的立体视觉的方法和系统
FR3030790B1 (fr) * 2014-12-19 2017-02-10 Commissariat Energie Atomique Dispositif optique de projection pour des moyens d'affichage tels que des lunettes a realite augmentee.
US9513480B2 (en) 2015-02-09 2016-12-06 Microsoft Technology Licensing, Llc Waveguide
US20160231567A1 (en) 2015-02-09 2016-08-11 Pasi Saarikko Display System
WO2016130666A1 (en) 2015-02-10 2016-08-18 LAFORGE Optical, Inc. Lens for displaying a virtual image
WO2016138428A1 (en) 2015-02-27 2016-09-01 LAFORGE Optical, Inc. Augmented reality eyewear
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
NZ773822A (en) * 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US9995857B2 (en) * 2015-04-03 2018-06-12 Avegant Corp. System, apparatus, and method for displaying an image using focal modulation
AU2016245280A1 (en) * 2015-04-08 2017-10-19 Dispelix Oy Optical see-through display element and device utilizing such element
JP2018523147A (ja) 2015-05-08 2018-08-16 ビ−エイイ− システムズ パブリック リミテッド カンパニ−ＢＡＥ ＳＹＳＴＥＭＳ ｐｌｃ ディスプレイにおける、および、ディスプレイに関連する改良
IL256276B (en) 2015-06-15 2022-09-01 Magic Leap Inc Display system with optical components for coupling multiple light streams
US9939644B2 (en) * 2015-06-25 2018-04-10 Intel Corporation Technologies for controlling vision correction of a wearable computing device
JP7074478B2 (ja) * 2015-07-03 2022-05-24 エシロール アンテルナショナル 拡張現実のための方法とシステム
US10146054B2 (en) 2015-07-06 2018-12-04 Google Llc Adding prescriptive correction to eyepieces for see-through head wearable displays
CN105068250A (zh) * 2015-08-12 2015-11-18 深圳纳德光学有限公司 大视场角目镜光学系统
US10297180B2 (en) * 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
JP6961619B2 (ja) 2016-05-06 2021-11-05 マジック リープ, インコーポレイテッドMagic Leap, Inc. 光を再指向させるための非対称格子を有するメタ表面および製造方法
WO2018039273A1 (en) 2016-08-22 2018-03-01 Magic Leap, Inc. Dithering methods and apparatus for wearable display device
AU2017348084B2 (en) 2016-10-26 2021-08-19 Magic Leap, Inc. Outcoupling grating for augmented reality system
CA3042554C (en) 2016-11-16 2023-07-18 Magic Leap, Inc. Multi-resolution display assembly for head-mounted display systems
US10859812B2 (en) 2017-03-22 2020-12-08 Magic Leap, Inc. Dynamic field of view variable focus display system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150235088A1 (en) * 2013-07-12 2015-08-20 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US20150205126A1 (en) * 2013-11-27 2015-07-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR20170020351A (ko) * 2014-06-17 2017-02-22 톰슨 라이센싱 픽셀 재분할 최적화를 갖는 방법 및 디스플레이 디바이스

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12007573B2 (en) 2017-03-22 2024-06-11 Magic Leap, Inc. Dynamic field of view variable focus display system
US12073016B2 (en) 2021-02-23 2024-08-27 Samsung Electronics Co., Ltd. Electronic device and method of operating the same
WO2024205017A1 (ko) * 2023-03-27 2024-10-03 삼성전자주식회사 가상 공간 이미지를 제공하기 위한 전자 장치 및 방법

Also Published As

Publication number Publication date
AU2018240367B2 (en) 2022-06-02
EP3602583A1 (en) 2020-02-05
JP2020514826A (ja) 2020-05-21
IL269103B1 (en) 2024-03-01
KR20210104171A (ko) 2021-08-24
JP6957635B2 (ja) 2021-11-02
AU2018240367A1 (en) 2019-10-10
IL269103A (en) 2019-11-28
IL310618A (en) 2024-04-01
IL269103B2 (en) 2024-07-01
US20240280827A1 (en) 2024-08-22
AU2022224768A1 (en) 2022-09-22
CN110447082A (zh) 2019-11-12
EP3602583B1 (en) 2024-10-30
JP2022008883A (ja) 2022-01-14
EP4475151A2 (en) 2024-12-11
EP3602583A4 (en) 2020-07-29
US20180275394A1 (en) 2018-09-27
EP4475151A3 (en) 2025-03-19
CN114114691B (zh) 2024-12-13
CA3056924A1 (en) 2018-09-27
CN114114691A (zh) 2022-03-01
US20210124177A1 (en) 2021-04-29
US12007573B2 (en) 2024-06-11
KR102438618B1 (ko) 2022-08-30
CN110447082B (zh) 2021-12-14
KR102291658B1 (ko) 2021-08-19
WO2018175780A1 (en) 2018-09-27
US10859812B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
US12007573B2 (en) Dynamic field of view variable focus display system
US11656468B2 (en) Steerable high-resolution display having a foveal display and a field display with intermediate optics
KR102516095B1 (ko) 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리
JP6423945B2 (ja) 表示装置、およびプロジェクタを用いた表示方法
US10187634B2 (en) Near-eye display system including a modulation stack
HK1245897B (zh) 显示装置及使用该显示装置进行显示的方法
HK1245897A1 (en) Display apparatus and method of displaying using the display apparatus
JP2021516517A (ja) オフアングル分離が強化されたスーパーステレオスコピックディスプレイ
US10775617B2 (en) Eye tracked lens for increased screen resolution
JP2020515090A (ja) 画像レンダラと光コンバイナとを用いる表示装置および表示方法
JP2018151459A (ja) ステレオ立体視装置
JP3756481B2 (ja) 三次元表示装置
HK40005686A (en) Display apparatus and method of displaying using image renderers and optical combiners

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
A302 Request for accelerated examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

A107 Divisional application of patent
GRNT Written decision to grant
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 5

R17 Change to representative recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R17-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R17-X000 Change to representative recorded

St.27 status event code: A-5-5-R10-R17-oth-X000