KR101977903B1 - 디스플레이 장치 및 프로젝터를 이용하여 디스플레이하는 방법 - Google Patents

디스플레이 장치 및 프로젝터를 이용하여 디스플레이하는 방법 Download PDF

Info

Publication number
KR101977903B1
KR101977903B1 KR1020170159285A KR20170159285A KR101977903B1 KR 101977903 B1 KR101977903 B1 KR 101977903B1 KR 1020170159285 A KR1020170159285 A KR 1020170159285A KR 20170159285 A KR20170159285 A KR 20170159285A KR 101977903 B1 KR101977903 B1 KR 101977903B1
Authority
KR
South Korea
Prior art keywords
image
context
focus
projection
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170159285A
Other languages
English (en)
Other versions
KR20180062947A (ko
Inventor
콘토리 우르호
멜라카리 클라우스
아르보 오스카리 사르스텐 오이바
Original Assignee
바르요 테크놀로지 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바르요 테크놀로지 오와이 filed Critical 바르요 테크놀로지 오와이
Publication of KR20180062947A publication Critical patent/KR20180062947A/ko
Application granted granted Critical
Publication of KR101977903B1 publication Critical patent/KR101977903B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/06—Ray-tracing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)

Abstract

디스플레이 장치 및 상기 디스플레이 장치를 통해 디스플레이하는 방법이 개시된다. 상기 디스플레이 장치는, 렌더링된 컨텍스트 이미지의 투영의 각도 폭이 40도 내지 220도 범위인, 컨텍스트 이미지를 렌더링하기 위한 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이와; 렌더링된 초점 이미지의 투영의 각도 폭이 5도 내지 60도 범위인, 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터와; 적어도 하나의 투영 표면과; 이미지 조종 유닛과; 시선 방향을 검출하기 위한 수단과; 상기 시선 방향을 검출하기 위한 수단 및 상기 이미지 조종 유닛과 통신 결합된 프로세서를 포함한다. 상기 렌더링된 초점 이미지의 투영을 상기 렌더링된 컨텍스트 이미지의 투영과 결합하여 시각적 장면을 생성하도록 배치가 이루어진다.

Description

디스플레이 장치 및 프로젝터를 이용하여 디스플레이하는 방법{DISPLAY APPARATUS AND METHOD OF DISPLAYING USING PROJECTORS}
본 발명은 일반적으로 시각 정보의 표현에 관한 것이고, 보다 상세하게는, 컨텍스트 이미지 프로젝터 또는 컨텍스트 디스플레이, 및 초점 이미지 프로젝터를 포함하는 디스플레이 장치에 관한 것이다. 또한, 본 발명은 전술한 디스플레이 장치를 통해 디스플레이하는 방법에 관한 것이다.
최근에, 게임, 교육, 군사 훈련, 의료 수술 훈련 등과 같은 응용들을 위한 가상환경을 모의하는(simulating) 기술이 급속도로 발전해 왔다. 구체적으로, 가상현실, 증강현실 등과 같은 기술은 가상환경(종종 '가상 세계'라고도 함)을 장치의 사용자에게 제공한다. 모의의 환경은 장치의 디스플레이 상에 상기 모의된 것을 구성하는 이미지를 렌더링함에 의해 제공된다. 이러한 장치의 예로는 헤드 장착형 가상현실 장치, 가상현실 안경, 증강현실 헤드세트 등이 있다. 이러한 장치는 입체 영상과 같은 현대 기술을 사용하여 모의의 환경에서의 몰입감을 사용자에게 제시하도록 적응된다. 흔히, 그러한 장치의 시야는 일반적으로 약 100°이며, 이는 일반적으로 약 180°인 인간의 시야와 비교할 때 훨씬 작다.
또한, 이러한 기존의 장치에는 특정 제한이 있다. 일 예에서, 그러한 장치에 사용되는 종래의 디스플레이는 작은 크기이다. 구체적으로, 인간 눈의 중심와는 각도당 픽셀수가 약 60인 픽셀 밀도를 갖는 반면, 이러한 디스플레이에 의해 제공되는 픽셀 밀도는 각도당 픽셀수(pixels per degree)가 약 15이다. 결과적으로, 낮은 픽셀 밀도 때문에, 이러한 디스플레이는 인간의 눈의 시력을 모방할 수 없다. 또한, 높은 픽셀 밀도를 제공하는 디스플레이는 그러한 장치에 수용하기에는 너무 큰 치수이다. 다른 예에서, 그러한 장치들에 사용되는 포커스 플러스 컨텍스트 스크린(focus plus context screens)과 같은 종래의 디스플레이들은 저해상도 디스플레이에 내장된 고해상도 디스플레이를 포함한다. 그러나, 그러한 포커스 플러스 컨텍스트 스크린 내의 고해상도 디스플레이의 위치는 종종 특정 위치에 고정된다. 그러한 포커스 플러스 컨텍스트 화면에서 렌더링된 추가 이미지는 고해상도 디스플레이 및 저해상도 디스플레이의 가장자리들에서 불연속으로 나타난다.
결과적으로, 그러한 기존 장치는 충분히 잘 개발되지 않았으며, 인간 시각계를 모방하는 능력이 제한적이다.
따라서, 전술한 설명에 비추어 볼 때, 모의의 환경을 구현하기 위한 장치에 사용되는 종래의 디스플레이와 관련된 전술한 결점을 극복할 필요가 있다.
본 발명은 디스플레이 장치를 제공하고자 한다. 본 발명은 또한, 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이, 및 적어도 하나의 초점 이미지 프로젝터를 포함하는 디스플레이 장치를 통해 디스플레이하는 방법을 제공한다. 본 발명은 모의의 환경을 구현하기 위한 장치에 사용되는 종래의 디스플레이 내에서의 픽셀 밀도 및 물리적 크기 상충의 현존하는 문제와, 이미지 불연속에 대한 해결책을 제공하고자 한다. 본 발명의 목적은 선행 기술에서 직면하는 문제점을 적어도 부분적으로 극복하고 인간의 시각계에 근접하게 모방하는 디스플레이 장치를 제공하는 해결책을 제공하는 것이다.
일 측면에서, 본 발명의 일 실시형태는,
- 컨텍스트 이미지(context image)를 렌더링(rendering)하기 위한 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이와;
- 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위인, 상기 적어도 하나의 초점 이미지 프로젝터와;
- 적어도 하나의 투영 표면과;
- 이미지 조종 유닛(image steering unit)과;
- 시선 방향을 검출하기 위한 수단과;
- 상기 이미지 조종 유닛 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함하고, 상기 프로세서는,
(a) 입력 이미지를 수신하고, 상기 검출된 시선 방향을 사용하여 상기 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(b) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 가지며,
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 상기 컨텍스트 이미지의 영역이 마스킹되고,
- 상기 초점 이미지는 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하고,
- 상기 제 2 해상도가 상기 제 1 해상도보다 높은, 상기 처리 단계와;
(c) 상기 적어도 하나의 컨텍스트 이미지 프로젝터를 통해 상기 적어도 하나의 컨텍스트 디스플레이 또는 상기 적어도 하나의 투영 표면에서 상기 컨텍스트 이미지를 렌더링하는 단계와;
(d) 상기 적어도 하나의 초점 이미지 프로젝터를 통해 상기 적어도 하나의 투영 표면에서 상기 초점 이미지를 렌더링하는 단계와;
(e) 상기 적어도 하나의 투영 표면 상에서 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 이미지 조정 유닛을 제어하여 상기 적어도 하나의 투영 표면 상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하는 단계를 포함하며,
상기 프로세서는 단계들 (c), (d) 및 (e)를 실질적으로 동시에 수행하도록 구성되고, 상기 렌더링된 초점 이미지의 투영을 상기 렌더링된 컨텍스트 이미지의 투영과 결합하여 시각적 장면을 생성하도록 배치가 이루어지는, 디스플레이 장치를 제공한다.
다른 측면에서, 본 발명의 일 실시형태는 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이, 적어도 하나의 초점 이미지 프로젝터, 적어도 하나의 투영 표면, 이미지 조정(image steering) 유닛, 및 시선 방향을 검출하기 위한 수단을 포함하는 디스플레이 장치를 통해 디스플레이하는 방법을 제공하며, 상기 방법은,
(i) 상기 적어도 하나의 컨텍스트 이미지 프로젝터 또는 상기 적어도 하나의 컨텍스트 디스플레이를 통해 컨텍스트 이미지를 렌더링하는 단계로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 컨텍스트 이미지를 렌더링하는 단계와;
(ii) 상기 적어도 하나의 초점 이미지 프로젝터를 통해 초점 이미지를 렌더링하는 단계로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위인, 상기 초점 이미지를 렌더링하는 단계와;
(ⅲ) 시각적 장면을 생성하기 위해 상기 렌더링된 컨텍스트 이미지의 투영과 결합될 상기 렌더링된 초점 이미지의 투영을 준비하는 단계와;
(iv) 시선 방향을 검출하고, 상기 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(v) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고, 상기 초점 이미지는 제 1 해상도보다 높은 제 2 해상도를 가지며, 상기 처리 단계는,
상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역을 마스킹하는 단계와;
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하도록 상기 초점 이미지를 생성하는 단계를 포함하는, 상기 처리 단계와;
(vi) 상기 적어도 하나의 투영 표면 상에서 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 이미지 조정 유닛을 제어하여 상기 적어도 하나의 투영 표면 상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하는 단계를 포함하고,
상기 단계들 (i),(ii) 및 (vi)는 실질적으로 동시에 수행된다.
본 발명의 실시형태들은 선행 기술의 전술한 문제점들을 실질적으로 제거하거나 적어도 부분적으로 해결하고, 인간 시각계를 모방하도록 모의된 환경을 구현하기 위한 장치에 사용되는 디스플레이 장치 내에서 능동 포비에이션(active foveation)의 구현을 가능하게 한다.
본 발명의 추가 측면, 이점, 특징 및 목적은 첨부된 청구 범위와 관련하여 해석되는 예시적인 실시형태의 도면 및 상세한 설명으로부터 명백해질 것이다.
본 발명의 특징은 첨부된 청구 범위에 의해 한정된 바와 같이 본 발명의 범위를 벗어나지 않고 다양한 조합으로 결합될 수 있음을 이해할 것이다.
상기의 요약 및 예시적인 실시형태의 하기 상세한 설명은 첨부된 도면과 함께 읽을 때에 더 잘 이해된다. 본 발명을 예시하기 위한 목적으로, 본 발명의 예시적인 구조가 도면에 도시된다. 그러나, 본 발명은 여기에 개시된 특정 방법 및 수단에 제한되지 않는다. 또한, 당업자는 도면에서 크기가 조정된 것이 아니라는 것을 이해할 것이다. 가능한 유사 구성요소는 동일한 부호로 나타내어진다.
다음의 도면을 참조하여, 단지 예시의 목적으로, 본 발명의 실시형태들이 지금 설명될 것이다:
도 1 내지 도 2는 본 발명의 일 실시형태에 따른 디스플레이 장치의 예시적인 구조의 블록도이고,
도 3 내지 도 7은 본 발명의 다양한 실시형태에 따른 상기 디스플레이 장치의 예시적인 구현 예들이고,
도 8은 본 발명의 일 실시형태에 따른 디스플레이 장치를 통해 디스플레이하는 방법의 단계들을 도시한다.
첨부 도면에서, 밑줄 친 숫자는 상기 밑줄 친 숫자가 위치한 항목 또는 상기 밑줄 친 숫자가 인접한 항목을 나타내기 위해 사용된다. 밑줄이 그어지지 않은 번호는 상기 밑줄이 그어지지 않은 번호와 항목을 연결하는 선으로 식별되는 항목과 관련된다. 숫자에 밑줄이 그어져 있지 않고 관련 화살표가 붙어 있으면 상기 밑줄이 그어지지 않은 숫자는 상기 화살표가 가리키는 일반 항목을 식별하는데 사용된다.
다음의 상세한 설명은 본 발명의 실시형태들 및 이들을 구현할 수 있는 방법을 설명한다. 본 발명 내용을 실행하는 일부 모드가 개시되었지만, 당업자라면 본 발명 내용을 수행하거나 실행하기 위한 다른 실시형태도 가능하다는 것을 인식할 것이다.
일 측면에서, 본 발명의 일 실시형태는,
- 컨텍스트 이미지(context image)를 렌더링(rendering)하기 위한 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이와;
- 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위인, 상기 적어도 하나의 초점 이미지 프로젝터와;
- 적어도 하나의 투영 표면과;
- 이미지 조종 유닛(image steering unit)과;
- 시선 방향을 검출하기 위한 수단과;
- 상기 이미지 조종 유닛 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함하고, 상기 프로세서는,
(a) 입력 이미지를 수신하고, 상기 검출된 시선 방향을 사용하여 상기 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(b) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 가지며,
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 상기 컨텍스트 이미지의 영역이 마스킹되고,
- 상기 초점 이미지는 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하고,
- 상기 제 2 해상도가 상기 제 1 해상도보다 높은, 상기 처리 단계와;
(c) 상기 적어도 하나의 컨텍스트 이미지 프로젝터를 통해 상기 적어도 하나의 컨텍스트 디스플레이 또는 상기 적어도 하나의 투영 표면에서 상기 컨텍스트 이미지를 렌더링하는 단계와;
(d) 상기 적어도 하나의 초점 이미지 프로젝터를 통해 상기 적어도 하나의 투영 표면에서 상기 초점 이미지를 렌더링하는 단계와;
(e) 상기 적어도 하나의 투영 표면 상에서 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 이미지 조정 유닛을 제어하여 상기 적어도 하나의 투영 표면 상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하는 단계를 포함하며,
상기 프로세서는 단계들 (c), (d) 및 (e)를 실질적으로 동시에 수행하도록 구성되고, 상기 렌더링된 초점 이미지의 투영을 상기 렌더링된 컨텍스트 이미지의 투영과 결합하여 시각적 장면을 생성하도록 배치가 이루어지는, 디스플레이 장치를 제공한다.
다른 측면에서, 본 발명의 일 실시형태는 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이, 적어도 하나의 초점 이미지 프로젝터, 적어도 하나의 투영 표면, 이미지 조정(image steering) 유닛, 및 시선 방향을 검출하기 위한 수단을 포함하는 디스플레이 장치를 통해 디스플레이하는 방법을 제공하며, 상기 방법은,
(i) 상기 적어도 하나의 컨텍스트 이미지 프로젝터 또는 상기 적어도 하나의 컨텍스트 디스플레이를 통해 컨텍스트 이미지를 렌더링하는 단계로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 컨텍스트 이미지를 렌더링하는 단계와;
(ii) 상기 적어도 하나의 초점 이미지 프로젝터를 통해 초점 이미지를 렌더링하는 단계로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위인, 상기 초점 이미지를 렌더링하는 단계와;
(ⅲ) 시각적 장면을 생성하기 위해 상기 렌더링된 컨텍스트 이미지의 투영과 결합될 상기 렌더링된 초점 이미지의 투영을 준비하는 단계와;
(iv) 시선 방향을 검출하고, 상기 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(v) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고, 상기 초점 이미지는 제 1 해상도보다 높은 제 2 해상도를 가지며, 상기 처리 단계는,
상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역을 마스킹하는 단계와;
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하도록 상기 초점 이미지를 생성하는 단계를 포함하는, 상기 처리 단계와;
(vi) 상기 적어도 하나의 투영 표면 상에서 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 이미지 조정 유닛을 제어하여 상기 적어도 하나의 투영 표면 상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하는 단계를 포함하고,
상기 단계들 (i),(ii) 및 (vi)는 실질적으로 동시에 수행된다.
본 발명은 디스플레이 장치, 및 프로젝터를 이용하여 상기 디스플레이 장치를 통해 디스플레이하는 방법을 제공한다. 본 명세서에서 설명된 디스플레이 장치는 그 위에 컨텍스트 이미지 및/또는 초점 이미지의 렌더링을 용이하게 하도록 적응된 디스플레이(또는 스크린)의 크기에 의해 동작이 제한되지 않는다. 따라서, 가상현실 장치와 같은 소형의 장치에 용이하게 구현될 수 있다. 또한, 디스플레이 장치는 장치의 사용자 눈의 시선 방향을 검출함으로써 사람의 시각계의 능동 포비에이션(active foveation)을 시뮬레이팅한다. 또한, 상술한 디스플레이 장치를 사용하여 디스플레이된 이미지는 초점 이미지 및 컨텍스트 이미지의 투영들의 광 경로의 적절한 최적화로 인해 연속적이다. 구체적으로, 초점 이미지 및 컨텍스트 이미지의 투영들의 광 경로는 2개 이상의 프로젝터를 이용하여 개별적으로 최적화될 수 있다. 따라서, 전술한 디스플레이 장치는 사람의 시각계와 유사하게 시선 우연(gaze contingency)에 근접하게 모방할 수 있다. 기술된 디스플레이 장치를 사용하여 디스플레이하는 방법은 구현하기 쉽고, 견고한 능동 포비에이션(foveation) 능력을 갖는다. 또한, 디스플레이 장치는 저렴하고, 제조가 용이하다.
디스플레이 장치는 컨텍스트 이미지를 렌더링하기 위한 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이와, 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터를 포함한다. 또한, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위이고, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도 범위이다. 렌더링된 컨텍스트 이미지의 투영과 렌더링된 컨텍스트 이미지의 투영을 결합하여 시각적 장면을 생성하기 위한 배치가 이루어진다. 구체적으로, 시각적 장면은 헤드 장착 가상현실 장치, 가상현실 안경, 증강현실 헤드세트 등과 같은 장치의 사용자에게 제공될 시뮬레이팅된 환경 내의 장면에 해당할 수 있다. 더 구체적으로, 시각적 장면은 사용자의 눈에 투영될 수 있다. 그러한 예에서, 상기 장치는 상기 디스플레이 장치를 포함할 수 있다.
선택적으로, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 220도를 초과할 수 있다. 그러한 예에서, 컨텍스트 이미지를 렌더링하기 위한 컨텍스트 디스플레이의 각도 치수는 220도보다 클 수 있다. 일 실시형태에 따르면, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 예를 들어, 40, 50, 60, 70, 80, 90, 100, 110, 120, 130, 140, 150, 160 또는 170도로부터 70, 80, 90, 100, 110, 120, 130, 140, 150, 160, 170, 180, 190, 200, 210 또는 220도일 수 있다. 다른 실시형태에 따르면, 렌더링된 초점 이미지의 투영의 각도 폭은, 예를 들어, 5, 10, 15, 20, 25, 30, 35, 40, 45 또는 50도에서 15, 20, 25, 30, 35, 40, 45, 50, 55 또는 60도일 수 있다.
적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이 및 적어도 하나의 초점 이미지 프로젝터의 배치는 상기 렌더링된 컨텍스트 이미지의 투영과 상기 렌더링된 초점 이미지의 투영의 적절한 조합을 용이하게 한다. 앞에서 언급한 조합이 최적보다 작으면, 생성되는 시각적 장면이 왜곡되어 보일 수 있다.
일 실시형태에서, 컨텍스트 이미지는 사용자의 눈의 움직임과 관련된 급속 안구운동(saccades)을 대처하기 위해, 전술한 각도 폭 내에서 상기 디스플레이 장치를 통해 렌더링되고 투영되는 넓은 이미지에 관한 것이다. 또 다른 실시형태에서, 초점 이미지는 사용자의 눈의 움직임과 관련된 미세환속운동(microsaccade)에 대처하기 위해 전술한 각도 폭 내에서 상기 디스플레이 장치를 통해 렌더링되고 투영되는 이미지에 관한 것이다. 구체적으로, 초점 이미지는 컨텍스트 이미지보다 치수가 작다. 또한, 컨텍스트 이미지 및 초점 이미지는 그의 투영들의 조합시에 집합적으로 시각적 장면을 구성한다.
일 실시형태에서, 본 명세서에서 사용 된 '컨텍스트 디스플레이'라는 용어는 컨텍스트 이미지의 렌더링을 용이하게 하도록 적응된 디스플레이(또는 스크린)에 관한 것이다. 구체적으로, 적어도 하나의 컨텍스트 디스플레이는 컨텍스트 이미지의 투영을 수신하도록 적응될 수 있다. 일 실시형태에 따르면, 컨텍스트 디스플레이는 액정 디스플레이(LCD), 발광 다이오드(LED)계 디스플레이, 유기 LED(OLED)계 디스플레이, 마이크로 OLED계 디스플레이, 및 LCoS(Liquid Crystal on Silicon)계 디스플레이로 이루어진 군으로부터 선택될 수 있다.
다른 실시형태에서, 본 명세서에서 사용되는 '컨텍스트 이미지 프로젝터'라는 용어는 컨텍스트 이미지를 그와 관련된 디스플레이(또는 스크린)에서 렌더링하기 위한 광학 장치에 관한 것이다. 일 실시형태에 따르면, 컨텍스트 이미지 프로젝터는 LCD(Liquid Crystal Display)계 프로젝터, LED(Light Emitting Diode)계 프로젝터, OLED(Organic LED)계 프로젝터, LCoS(Liquid Crystal on Silicon)계 프로젝터, DLP(Digital Light Processing)계 프로젝터, 및 레이저 프로젝터로 이루어진 군으로부터 선택될 수 있다.
일 실시형태에서, 적어도 하나의 컨텍스트 이미지 프로젝터는 사용자의 좌안 및 우안에 대한 개별적인 컨텍스트 이미지를 투영하는데 사용될 수 있다. 개별적인 컨텍스트 이미지들은 집합적으로 컨텍스트 이미지를 구성하는 것으로 이해될 수 있다. 일 실시형태에 따르면, 적어도 하나의 컨텍스트 이미지 프로젝터는 적어도 2개의 컨텍스트 이미지 프로젝터를 포함할 수 있으며, 상기 적어도 2개의 컨텍스트 이미지 프로젝터 중 적어도 하나는 사용자의 좌안(left eye)에 사용되도록 배치되고, 상기 적어도 2개의 컨텍스트 이미지 프로젝터 중 적어도 하나는 사용자의 우안(right eye)에 사용되도록 배치된다. 구체적으로, 적어도 2개의 컨텍스트 이미지 프로젝터는 적어도 하나의 컨텍스트 이미지 프로젝터가 사용자의 한쪽 눈을 위해 컨텍스트 이미지를 렌더링하도록 전용으로(또는 전적으로) 사용될 수 있다. 적어도 2개의 컨텍스트 이미지 프로젝터는 컨텍스트 이미지를 구성하는 개별 컨텍스트 이미지(예를 들어, 사용자의 좌안을 위한 컨텍스트 이미지 및 사용자의 우안을 위한 컨텍스트 이미지)의 광 경로들의 개별적인 최적화를 허용한다.
다른 실시형태에서, 적어도 하나의 컨텍스트 이미지 프로젝터는 공유-기반으로 사용자의 좌안 및 우안에 사용되도록 구성될 수 있다. 예를 들어, 하나의 컨텍스트 이미지 프로젝터는 공유 기반으로, 그와 연관된 디스플레이(또는 스크린)상에 컨텍스트 이미지를 렌더링하는데 사용될 수 있다. 이러한 예에서, 상기 하나의 컨텍스트 이미지 프로젝터는 그와 연관된 컨텍스트 이미지를 디스플레이(또는 스크린) 상에 집합적으로 구성하는(사용자의 좌안 및 우안을 위한) 별도의 컨텍스트 이미지를 투영할 수 있다.
소정의 시간에서, 상기 적어도 하나의 컨텍스트 디스플레이 및 상기 적어도 하나의 컨텍스트 이미지 프로젝터 중 오직 하나만이 컨텍스트 이미지를 렌더링하는데 사용된다는 것을 이해해야 한다. 구체적으로, 소정의 시간에서, 컨텍스트 이미지는 컨텍스트 디스플레이 상에 또는 상기 적어도 하나의 컨텍스트 이미지 프로젝터와 연관된 디스플레이(또는 스크린) 상에 렌더링될 수 있다.
일 실시형태에 따르면, 여기서 사용되는 '초점 이미지 프로젝터'라는 용어는 그와 관련 디스플레이(또는 스크린)에 초점 이미지를 투영하기 위한 광학 장치에 관한 것이다. 일 실시형태에 따르면, 상기 초점 이미지 프로젝터는 LCD(Liquid Crystal Display)계 프로젝터, LED(Light Emitting Diode)계 프로젝터, OLED(Organic LED)계 프로젝터, LCoS(Liquid Crystal on Silicon)계 프로젝터, DLP(Digital Light Processing)계 프로젝터, 및 레이저 프로젝터로 이루어진 군으로부터 선택될 수 있다.
일 실시형태에서, 적어도 하나의 컨텍스트 이미지 프로젝터와 연관된 디스플레이(또는 스크린) 및 적어도 하나의 초점 이미지 프로젝터와 연관된 디스플레이(또는 스크린)는 동일할 수 있다(또는 이들 사이에서 공유된다). 구체적으로, 이러한 실시형태에서, 적어도 하나의 컨텍스트 이미지 프로젝터 및 적어도 하나의 초점 이미지 프로젝터 양쪽은 공통/공유 디스플레이(또는 스크린)에서, 컨텍스트 이미지 및 초점 이미지를 각각 렌더링할 수 있다.
본 발명의 일 실시형태에서, 적어도 하나의 초점 이미지 프로젝터는 적어도 2개의 초점 이미지 프로젝터를 포함할 수 있으며, 상기 적어도 2개의 초점 이미지 프로젝터 중 적어도 하나는 사용자의 좌안을 위해 사용되도록 배치되고, 상기 적어도 2개의 초점 이미지 프로젝터 중 적어도 하나는 사용자의 우안을 위해 사용되도록 배치된다. 구체적으로, 상기 적어도 2개의 초점 이미지 프로젝터는 적어도 하나의 초점 이미지 프로젝터가 사용자의 한쪽 눈을 위해 초점 이미지를 전용으로(또는 전적으로) 렌더링하도록 사용될 수 있다. 적어도 2개의 초점 이미지 프로젝터는 초점 이미지를 구성하는 개별 초점 이미지(예를 들어, 사용자의 좌안을 위한 초점 이미지 및 우안을 위한 초점 이미지)의 광 경로들의 개별적인 최적화를 허용한다.
선택적으로, 적어도 하나의 초점 이미지 프로젝터가 레이저 프로젝터인 경우, 적어도 하나의 초점 이미지 프로젝터는 사용자의 양 눈을 위해 사용되도록 배치될 수 있다. 구체적으로, 레이저 프로젝터는 사용자의 양쪽 눈을 위한 개별적인 초점 이미지들이 실질적으로 동시에 투영될 수 있도록 작동될 수 있다. 예를 들어, 하나의 레이저 프로젝터가 실질적으로 동시에(사용자의 좌안과 사용자의 우안 각각에 대해) 별개의 초점 이미지들을 투영하기 위해 적어도 하나의 초점 이미지 프로젝터로서 사용될 수 있다.
상기 디스플레이 장치는 적어도 하나의 투영 표면, 이미지 조종 유닛, 시선 방향을 검출하기 위한 수단, 및 상기 이미지 조종 유닛 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 더 포함한다.
일 실시형태에서, 상기 프로세서는 디스플레이 장치의 동작을 제어하도록 이루어진 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합일 수 있다. 구체적으로, 프로세서는 디스플레이 장치의 동작을 제어하여 시각적 장면을 처리하고 사용자의 시야에 디스플레이(또는 투영)할 수 있다. 디스플레이 장치가 사용자와 관련된 장치 내에서 사용되는 경우에, 프로세서는 장치 외부에 있을 수도 그렇지 않을 수도 있다.
선택적으로, 프로세서는 또한 메모리 유닛과 통신 결합될 수 있다. 일 실시형태에서, 메모리 유닛은 프로세서에 의해 처리 및 디스플레이될 시각적 장면의 이미지 및/또는 컨텍스트 이미지 및 초점 이미지를 저장하기에 적합한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합일 수 있다. 이러한 실시형태에서, 메모리 유닛은 장치 내에서 사용될 수 있거나 또는 원격으로 위치될 수 있다.
일 실시형태에서, 시선 방향을 검출하기 위한 수단은 눈 추적기와 같은 눈의 움직임 및 사용자의 눈의 시선의 방향을 측정하기 위한 특수 장비에 관한 것이다. 구체적으로, 시선 방향의 정확한 검출은 디스플레이 장치가 그 위에 시선 우연(gaze contingency)을 근접하게 구현할 수 있게 한다. 또한, 시선 방향을 검출하기 위한 수단은 눈에 접촉되어 배치되거나 배치되지 않을 수 있다. 시선 방향을 검출하기 위한 수단의 예는 운동 센서를 구비한 콘택트 렌즈, 눈동자의 위치를 감시하는 카메라 등을 포함한다.
상기 프로세서는 입력 이미지를 수신하고 상기 검출된 시선 방향을 사용하여 상기 입력 이미지의 시각 정확도의 영역을 결정하도록 이루어진다. 일 실시형태에서, 본 명세서에 사용된 '입력 이미지'라는 용어는 디스플레이 장치를 통해 디스플레이될 시각적 장면의 이미지에 관한 것이다. 예를 들어, 입력 이미지는 사용자의 눈에 디스플레이될 수 있다. 일 실시형태에서, 입력 이미지는 사용자와 관련된 장치에 결합된 이미지 센서로부터 수신될 수 있다. 구체적으로, 이미지 센서(패스-스루 디지털 카메라와 같은)는 실제 환경의 이미지를 눈에 투영될 입력 이미지로서 포착할 수 있다. 다른 실시형태에서, 입력 이미지는 프로세서에 통신 가능하게 결합된 메모리 유닛으로부터 수신될 수 있다. 구체적으로, 메모리 유닛은 동영상 전문가 그룹(MPEG), 공동 영상 전문가 그룹(JPEG), TIFF(Tagged Image File Format), 이동성 네트워크 그래픽(PNG), 도형 교환 포맷(GIF), 및 비트맵 파일 포맷(BMP)을 포함하지만 그에 제한되지 않는 적절한 형식으로 상기 입력 이미지를 저장하도록 구성될 수 있다.
상기 입력 이미지를 수신한 후에, 상기 프로세서는 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정할 수 있다. 일 실시형태에서, 시각 정확도의 영역은 눈의 검출된 시선 방향이 초점화될 수 있는 입력 이미지의 영역에 관련된다. 구체적으로, 시각 정확도의 영역은 입력 이미지 내의 관심 영역(또는 고정점)일 수 있고, 눈의 중심와(fovea) 상에 투영될 수 있다. 또한, 시각 정확도의 영역은 입력 이미지 내의 초점의 영역일 수 있다. 따라서, 시각 정확도의 영역은 입력 이미지가 인간의 시각계에 의해 보여질 때, 입력 이미지의 다른 영역들에 비해 훨씬 더 상세하게 분석된 영역에 관련된다는 것이 명백할 수 있다.
또한, 입력 이미지의 시각 정확도의 영역을 결정한 후, 프로세서는 컨텍스트 이미지 및 초점 이미지를 생성하도록 입력 이미지를 처리하도록 구성되며, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 갖는다. 제 2 해상도는 제 1 해상도보다 높다. 초점 이미지는 입력 이미지의 시각 정확도의 영역에 실질적으로 대응한다. 또한, 컨텍스트 이미지는 입력 이미지의 저해상도 표현에 해당한다. 따라서, 컨텍스트 이미지에는 입력 이미지의 시각 정확도의 영역과 입력 이미지의 나머지 영역이 포함된다. 보다 구체적으로, 눈의 검출된 시선 방향이 초점화될 수 있는 컨텍스트 이미지의 일부에만 상기 초점 이미지가 대응하기 때문에, 상기 컨텍스트 이미지의 크기는 상기 초점 이미지의 크기보다 크다.
일 실시형태에서, 제 1 해상도 및 제 2 해상도는 각도 해상도로 이해될 수 있다. 구체적으로, 제 2 해상도를 나타내는 각도당 픽셀수(Pixels Per Degree)는 제 1 해상도를 나타내는 각도당 픽셀수보다 높다. 예를 들어, 사용자의 눈의 중심와(fovea)는 2도의 시야에 대응하고, 각도당 57 픽셀수를 나타내는 114 픽셀과 동일한 각도 단면적의 초점 이미지의 투영을 수신한다. 따라서, 초점 이미지에 대응하는 각도 픽셀 크기(angular pixel size)는 2/114 또는 0.017일 것이다. 또한, 이러한 예에서, 눈의 망막은 180도의 시야에 대응하고, 각도당 15 픽셀수를 나타내는 2700 픽셀과 동일한 각도 단면적의 컨텍스트 이미지의 투영을 수신한다. 따라서, 컨텍스트 이미지에 대응하는 각도 픽셀 크기는 180/2700 또는 0.067일 것이다. 계산된 바와 같이, 컨텍스트 이미지에 대응하는 각도 픽셀 크기는 초점 이미지에 대응하는 각도 픽셀 크기보다 분명히 훨씬 크다. 그러나, 입력 이미지의 시각 정확도의 영역에 대응하는, 컨텍스트 이미지의 일부에만 상기 초점 이미지가 대응하기 때문에, 상기 초점 이미지에 비해 상기 컨텍스트 이미지는 픽셀들의 총수로 나타내어지는 인지 각도 해상도가 더 클수 있다.
컨텍스트 이미지 및 초점 이미지의 생성과 함께, 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역이 마스킹된다. 구체적으로, 마스킹은 프로세서에 의해 수행되어 입력 이미지의 시각 정확도의 영역에 대응하는 컨텍스트 이미지의 영역을 숨기거나(또는 불투명하게) 할 수 있다. 예를 들어, 입력 이미지의 시각 정확도의 영역에 대응하는 컨텍스트 이미지의 픽셀들은 마스킹을 위해 디밍(또는 검게)될 수 있다. 또한, 초점 이미지는 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하고, 제 2 해상도는 제 1 해상도보다 높다.
입력 이미지를 처리한 후, 프로세서는 적어도 하나의 컨텍스트 이미지 프로젝터를 통해 컨텍스트 이미지를 적어도 하나의 컨텍스트 디스플레이 또는 적어도 하나의 투영 표면에 렌더링하도록 이루어진다. 또한, 프로세서는 적어도 하나의 초점 이미지 프로젝터를 통해 적어도 하나의 투영 표면에서 초점 이미지를 렌더링하도록 이루어진다. 적어도 하나의 컨텍스트 디스플레이, 또는 적어도 하나의 투영 표면 및 적어도 하나의 컨텍스트 이미지 프로젝터 중 어느 하나가 소정의 시간에 컨텍스트 이미지를 렌더링하는데 사용될 수 있다는 것을 이해해야 한다.
일 실시형태에 따르면, 여기서 사용되는 '투영 표면'이라는 용어는 그 위에 컨텍스트 이미지 및 초점 이미지의 렌더링을 용이하게 하도록 적응된 디스플레이(또는 스크린)에 관한 것이다. 구체적으로, 적어도 하나의 투영 표면은 그 위에서 컨텍스트 및 초점 이미지들을 광학적으로 렌더링하기에 적합한 투과율 및 반사율 스펙을 가질 수 있다. 일례에서, 적어도 하나의 투영 표면은 불투명(또는 불투명) 표면일 수 있다. 다른 예에서, 적어도 하나의 투영 표면은 반투명 표면일 수 있다. 선택적으로, 적어도 하나의 투영 표면은 편광기, 지연기(retarder), 광학 필름 중 하나 이상에 의해 구현될 수 있다.
일 실시형태에서, 적어도 하나의 투영 표면은 렌더링된 컨텍스트 이미지의 투영이 실질적으로 통과하고 렌더링된 초점 이미지의 투영을 실질적으로 반사시킬 수 있게 배치될 수 있다. 이러한 실시형태에서, 컨텍스트 이미지는 그의 후면으로부터 상기 적어도 하나의 투영 표면 상에 투영될 수 있으며, 초점 이미지는 그의 정면으로부터 적어도 하나의 투영 표면 상에 투영될 수 있다. 다른 실시형태에서, 적어도 하나의 투영 표면은 렌더링된 초점 이미지의 투영이 실질적으로 통과하고 렌더링된 컨텍스트 이미지의 투영을 실질적으로 반사시키도록 배치될 수 있다. 이러한 실시형태에서, 초점 이미지는 그의 후면으로부터 상기 적어도 하나의 투영 표면 상에 투영될 수 있으며, 컨텍스트 이미지는 그의 정면으로부터 상기 적어도 하나의 투영 표면 상에 투영될 수 있다.
일 실시형태에 따르면, 상기 적어도 하나의 투영 표면은 렌더링된 컨텍스트 이미지 및 초점 이미지 양쪽의 투영들이 실질적으로 통과할 수 있게 배치될 수 있다. 이러한 실시형태에서, 컨텍스트 이미지 및 초점 이미지 모두는 상기 적어도 하나의 투영 표면 상에 그의 후면으로부터 투영될 수 있다. 다른 실시형태에 따르면, 적어도 하나의 투영 표면은 렌더링된 컨텍스트 이미지 및 초점 이미지 모두의 투영을 실질적으로 반사시키도록 배치될 수 있다. 이러한 실시형태에서, 컨텍스트 이미지 및 초점 이미지 모두는 그의 정면으로부터 적어도 하나의 투영 표면 상으로 투영될 수 있다.
본 발명의 일 실시형태에 따르면, 적어도 하나의 투영 표면은 적어도 2개의 투영 표면을 포함할 수 있으며, 적어도 2개의 투영 표면 중 적어도 하나는 사용자의 좌안에 사용되도록 배치되고, 상기 적어도 2개의 투영 표면 중 적어도 하나는 사용자의 우안을 위해 배치된다. 구체적으로, 적어도 2개의 투영 표면 중 적어도 하나는 사용자의 좌안을 위한 컨텍스트 및 초점 이미지들을 렌더링하는데 사용될 수 있다. 유사하게, 적어도 2개의 투영 표면 중 적어도 하나는 사용자의 우안을 위한 컨텍스트 및 초점 이미지들을 렌더링하는데 사용될 수 있다. 선택적으로, 적어도 2개의 투영 표면 중 적어도 하나는 컨텍스트 이미지 및/또는 초점 이미지의 투영을 투과시키기 위해 반투명일 수 있다.
일 실시형태에서, 적어도 하나의 투영 표면은 적어도 하나의 컨텍스트 디스플레이의 일부로서 구현된다. 이러한 실시형태에서, 컨텍스트 이미지는 적어도 하나의 컨텍스트 이미지 프로젝터의 사용 없이 적어도 하나의 컨텍스트 디스플레이에서 프로세서에 의해 렌더링될 수 있다. 또한, 이러한 실시형태에서, 적어도 하나의 컨텍스트 디스플레이는 그 위에서 초점 이미지의 렌더링을 용이하게 하도록 적응될 수 있다.
컨텍스트 이미지 및 초점 이미지를 렌더링한 후에, 프로세서는, 적어도 하나의 투영 표면 상에 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 이미지 조종 유닛을 제어하여 상기 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하도록 이루어진다. 또한, 상기 프로세서는 컨텍스트 이미지를 렌더링하고, 초점 이미지를 렌더링하고, 이미지 조정 유닛을 실질적으로 동시에 제어하는 것을 수행하도록 이루어진다. 구체적으로, 렌더링된 컨텍스트 및 초점 이미지들의 결합된 투영들은 입력 이미지의 투영을 구성할 수 있다. 컨텍스트 및 초점 이미지들은 그의 투영들의 조합 동안에 시간 지연을 회피하기 위해 실질적으로 동시에 렌더링된다.
렌더링된 컨텍스트 이미지의 투영의 각도 폭은 렌더링된 초점 이미지의 투영의 각도 폭보다 크다. 이는 렌더링된 초점 이미지가 일반적으로 눈의 중심와(fovea) 상에 및 주변에 투영되는 반면, 렌더링된 컨텍스트 이미지는 상기 중심와가 단지 작은 부분인 눈의 망막에 투영된다는 사실 때문이다. 구체적으로, 렌더링된 컨텍스트 및 초점 이미지들의 결합은 입력 이미지를 구성하고, 눈에 투사되어 그 위에 입력 이미지를 투영할 수 있다.
일 실시형태에서, 본 명세서에서 사용되는 '이미지 조종 유닛(image steering unit)'이라는 용어는 적어도 하나의 투영 표면상에서 렌더링된 초점 이미지의 투영을 제어하기 위한 장비(광학 소자, 전기기계 요소 등)에 관한 것이다. 구체적으로, 이미지 조종 유닛은 적어도 하나의 요소/ 구성 요소를 포함할 수 있다. 선택적으로, 이미지 조종 유닛은 또한, 적어도 하나의 투영 표면 상에서 렌더링된 컨텍스트 이미지의 투영을 제어하도록 동작할 수 있다.
전술한 실시형태에서, 이미지 조종 유닛은 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 렌더링된 초점 이미지의 투영을 실질적으로 중첩하여 입력 이미지의 시각 정확도의 영역의 왜곡을 회피한다. 구체적으로, 입력 이미지의 시각 정확도의 영역은 저해상도의 렌더링된 컨텍스트 이미지와 고해상도의 렌더링된 초점 이미지 모두 내에서 표현된다. 동일한 영역의 저해상도 이미지 및 고해상도 이미지의 투영들의 중첩(또는 포개짐)은 동일한 영역의 외관의 왜곡(distortion)을 초래한다. 또한, 고해상도의 렌더링된 초점 이미지는 저해상도의 렌더링된 컨텍스트 이미지와 비교하여 입력 이미지의 시각 정확도의 영역에 속하는 더 많은 정보를 포함할 수 있다. 따라서, 왜곡 없이 상기 렌더링된 고해상도의 초점 이미지를 투영하도록, 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역이 마스킹된다.
이전의 실시형태에서 기술된 바와 같이, 프로세서는 디스플레이되는 입력 이미지의 시각 정확도의 영역과 디스플레이되는 입력 이미지의 나머지 영역 사이에 전이 영역층(또는 에지)이 최소화되도록 상기 입력 이미지의 시각 정확도의 영역에 대응하는 컨텍스트 이미지의 영역을 마스킹하게 구성될 수 있다. 디스플레이된 입력 이미지의 시각 정확도의 영역이 초점 이미지의 투영(및 컨텍스트 이미지의 마스킹된 영역)에 대응하는 한편, 디스플레이된 입력 이미지의 나머지 영역은 컨텍스트 이미지의 투영에 대응한다는 것을 이해해야 한다. 구체적으로, 상기 마스킹은, 디스플레이된 입력 이미지가 연속적이게 나타나도록 컨텍스트 이미지와 초점 이미지의 포갬시에 상기 전이 영역층을 최소화하게 점진적인 계조(gradual gradation)로서 수행되어야만 한다. 예를 들어, 프로세서는 입력 이미지의 시각 정확도의 영역에 대응하는 컨텍스트 이미지의 픽셀을 상당히 디밍할 수 있고, 입력 이미지의 시각 정확도의 영역으로부터 거리가 멀어짐에 따라 픽셀의 디밍(dimming) 양을 점차 감소시킬 수 있다. 렌더링된 컨텍스트 및 초점 이미지들의 포개진(또는 겹쳐진) 투영들의 배치 및 모양이 부적절하거나 불연속성이 있는 경우, 표시되는 입력 이미지도 부적절할 것이다.
선택적으로, 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역을 마스킹하는 것은 상기 전이 영역에서의 컨텍스트 이미지와 초점 이미지 사이에 역치의 선형 투명도 마스크 블렌드(linear transparency mask blend of inverse values), 사용자의 눈에 의한 자연적 검출이 어려운 형상을 포함하는 스텔스(또는 위장) 패턴 등을 이용하여 수행될 수 있다.
일 실시형태에서, 이미지 조종 유닛은 상기 적어도 하나의 투영 표면에 대해 초점 이미지 프로젝터를 이동시키는 적어도 하나의 제 1 액추에이터를 포함할 수 있으며, 여기서, 프로세서는 상기 적어도 하나의 투영 표면상에서 렌더링된 초점 이미지의 투영의 위치를 조정하도록 상기 적어도 하나의 제1 액추에이터를 제어하도록 이루어진다. 구체적으로, 적어도 하나의 제 1 액추에이터는 눈의 시선 방향이 한 방향에서 다른 방향으로 이동할 때에 초점 이미지 프로젝터를 움직일 수 있다. 그러한 예에서, 초점 이미지 프로젝터 및 적어도 하나의 투영 표면의 배치는 렌더링된 초점 이미지를 눈의 중심와 상에 및 주위로 투사할 수 없다. 따라서, 시선 방향의 이동이 발생하여도 렌더링된 초점 이미지가 눈의 중심와(fovea) 상에 및 주위에서 투영될 수 있게 적어도 하나의 투영 표면상에서 렌더링된 초점 이미지의 투영의 위치를 조정하도록, 프로세서는 적어도 하나의 제 1 액추에이터를 제어하여 적어도 하나의 투영 표면에 대해 초점 이미지 프로젝터를 이동시킬 수 있다. 보다 구체적으로, 프로세서는 작동 신호(전류, 유압 등)를 생성함으로써 적어도 하나의 제 1 액추에이터를 제어할 수 있다.
일 예에서, 적어도 하나의 제 1 액추에이터는 초점 이미지 프로젝터를 적어도 하나의 투영 표면에 가깝게 또는 멀리 이동시킬 수 있다. 다른 예에서, 적어도 하나의 제 1 액추에이터는 적어도 하나의 투영면에 대해 초점 이미지 프로젝터를 측 방향으로 이동시킬 수 있다. 또 다른 예에서, 적어도 하나의 제 1 액추에이터는 적어도 하나의 투영 표면에 대해 초점 이미지 프로젝터를 기울이고 및/또는 회전시킬 수 있다.
일 실시형태에 따르면, 이미지 조종 유닛은 적어도 하나의 투영 표면과 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되는 적어도 하나의 광학 소자 및 상기 적어도 하나의 초점 이미지 프로젝터에 대하여 상기 적어도 하나의 광학 소자를 이동시키기 위한 적어도 하나의 제 2 액추에이터를 포함할 수 있다. 상기 적어도 하나의 광학 소자는 렌즈, 프리즘, 미러, 빔 스플리터 및 광 도파관으로 이루어진 군으로부터 선택된다. 이러한 실시형태에서, 프로세서는 적어도 하나의 투영 표면상의 렌더링된 초점 이미지의 투영의 위치를 조정하도록 적어도 하나의 제 2 액추에이터를 제어하도록 구성된다. 구체적으로, 적어도 하나의 광학 소자는 시선 방향의 이동이 발생하여도 렌더링된 초점 이미지의 투영을 눈의 중심와 상에 및 주위에서 용이하게 하도록 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 광 경로를 변화시킬 수 있다. 보다 구체적으로, 프로세서는 작동 신호(전류, 유압 등과 같은)를 생성함으로써 적어도 하나의 제 2 액추에이터를 제어할 수 있다.
예를 들어, 프리즘은 투영 표면과 초점 이미지 프로젝터 사이의 광 경로 상에 위치할 수 있다. 구체적으로, 렌더링된 초점 이미지의 투영의 광 경로는 프리즘을 통과할 때 변경되어 상기 투영 표면상의 렌더링된 초점 이미지의 투영의 위치를 조정할 수 있다. 또한, 시선 방향의 이동이 발생하여도 렌더링된 초점 이미지의 투영을 눈의 중심와 상에 및 주위에서 용이하게 하도록, 프리즘은 제 2 액추에이터에 의해 횡 방향 및/또는 측 방향으로 이동되고, 회전되고, 기울어지는, 등 될 수 있다.
예를 들어, 적어도 하나의 투영 표면과 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되는 적어도 하나의 광학 소자는 광 도파관일 수 있다. 구체적으로는, 광 도파관은 초점 이미지의 투영을 통과시키고, 적어도 하나의 투영 표면상에 렌더링된 초점 이미지의 투영의 위치를 조정하도록 배치될 수 있다. 따라서, 광 도파관은 반투명 일 수 있다. 일 실시형태에서, 광 도파관은 마이크로 프리즘, 미러, 회절 광학 등과 같은 광학 소자를 더 포함할 수 있다.
일 실시형태에서, 이미지 조종 유닛은 적어도 하나의 투영 표면을 이동시키기 위한 적어도 하나의 제 3 액추에이터를 포함하고, 상기 프로세서는 상기 적어도 하나의 투영 표면 상에 렌더링된 초점 이미지의 투영의 위치를 조정하도록 적어도 하나의 제 3 액추에이터를 제어하도록 구성된다. 구체적으로, 적어도 하나의 제 3 액추에이터는 시선 방향의 이동이 발생하더라도 눈의 중심와 상에 및 주위에서 상기 렌더링된 초점 이미지의 투영을 용이하게 하도록 상기 적어도 하나의 투영 표면을 움직일 수 있다. 보다 구체적으로, 프로세서는 작동 신호(전류, 유압 등과 같은)를 생성함으로써 적어도 하나의 제 3 액추에이터를 제어할 수 있다.
일 예에서, 적어도 하나의 제 3 액추에이터는 적어도 하나의 투영 표면을 적어도 하나의 초점 이미지 프로젝터에 가깝게 또는 멀리 움직일 수 있다. 다른 예에서, 적어도 하나의 제 3 액추에이터는 적어도 하나의 초점 이미지 프로젝터에 대하여 적어도 하나의 투영 표면을 측 방향으로 이동시킬 수 있다. 또 다른 예에서, 적어도 하나의 제 3 액추에이터는 적어도 하나의 투영 표면을 경사 및/또는 회전시킬 수 있다.
일 실시형태에 따르면, 상기 디스플레이 소자는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되는 적어도 하나의 초점 렌즈, 및 상기 적어도 하나의 초점 이미지 프로젝터에 대하여 상기 적어도 하나의 초점 렌즈를 이동시키기 위한 적어도 하나의 제 4 액추에이터를 포함할 수 있다. 또한, 이러한 실시형태에서, 프로세서는 렌더링된 초점 이미지의 투영의 초점을 조정하도록 적어도 하나의 제 4 액추에이터를 제어하도록 구성된다. 구체적으로, 적어도 하나의 초점 렌즈는 그의 광 경로를 변화시킴으로써 렌더링된 초점 이미지의 투영의 초점을 조정하도록 그의 특수한 특성을 이용할 수 있다. 더 구체적으로, 렌더링된 초점 이미지의 투영의 초점은 디옵터 튜닝(diopter tuning), 비점수차 보정(astigmatism correction) 등을 수용하도록 조정될 수 있다. 보다 구체적으로, 프로세서는 작동 신호(전류, 유압 등과 같은)를 생성함으로써 적어도 하나의 제 4 액추에이터를 제어할 수 있다.
다른 실시형태에 따르면, 상기 디스플레이 장치는 상기 적어도 하나의 제 1 광학 소자와 상기 적어도 하나의 초점 디스플레이 사이의 광 경로 상에 위치되는 적어도 하나의 초점 렌즈를 포함할 수 있으며, 상기 프로세서는 상기 적어도 하나의 초점 렌즈에 제어 신호를 인가함에 의해 상기 적어도 하나의 초점 렌즈의 적어도 하나의 능동 광학 특성을 제어하도록 구성된다. 구체적으로, 적어도 하나의 초점 렌즈의 능동 광학 특성은 초점 길이 및 광 출력을 포함할 수 있지만, 이에 한정되는 것은 아니다. 또한, 이러한 실시형태에서, 제어 신호는 전기 신호, 유압 등일 수 있다.
일 실시형태에서, 적어도 하나의 초점 렌즈는 액정 렌즈(LC 렌즈) 등일 수 있다. 선택적으로, 적어도 하나의 초점 렌즈는 적어도 하나의 제 1 광학 소자와 적어도 하나의 컨텍스트 디스플레이 사이의 광 경로 상에 위치될 수 있다.
일 실시형태에서, 프로세서는 적어도 하나의 투영 표면에 대한 이미지 처리 기능을 구현할 수 있다. 구체적으로, 이미지 처리 기능은 컨텍스트 이미지 및 초점 이미지를 적어도 하나의 투영 표면에서 렌더링하기 전에 구현될 수 있다. 구체적으로, 이러한 이미지 처리 기능의 구현은 렌더링된 컨텍스트 및 초점 이미지들의 품질을 최적화할 수 있다. 따라서, 적어도 하나의 투영 표면의 특성 및 입력 이미지의 특성을 고려하여 상기 이미지 처리 기능을 선택할 수 있다.
일 실시형태에 따르면, 적어도 하나의 투영 표면에 대한 이미지 처리 기능은 인지된 컨텍스트 이미지 및/또는 초점 이미지 품질을 최적화하기 위한 적어도 하나의 기능을 포함할 수 있으며, 상기 적어도 하나의 기능은 저역 통과 여과, 색 처리 및 감마 보정을 포함하는 군으로부터 선택된다. 일 실시형태에서, 적어도 하나의 투영 표면에 대한 이미지 처리 기능은 렌더링된 컨텍스트 및 초점 이미지들의 결합된 투영들의 경계상에서 인지된 왜곡을 최소화하기 위한 에지 처리(edge processing)를 더 포함할 수 있다.
본 설명은 또한 전술한 바와 같은 방법에 관한 것이다. 상기에서 개시된 다양한 실시형태 및 변형 예가 상기 방법에 준용된다. 보다 구체적으로, 렌더링된 초점 이미지의 투영의 위치는 이미지 조종 유닛의 적어도 하나의 제 1 액추에이터를 제어하여 적어도 하나의 투영 표면에 대해 초점 이미지 프로젝터를 이동시킴으로써 조정될 수 있다.
다른 실시형태에 따르면, 렌더링된 초점 이미지의 투영의 위치는 적어도 하나의 초점 이미지에 대해 이미지 조종 유닛의 적어도 하나의 광학 소자를 이동시키도록 상기 이미지 조종 유닛의 적어도 하나의 제 2 액추에이터를 제어함에 의해 조정되며, 상기 적어도 하나의 광학 소자는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되고, 그리고/또는 상기 렌더링된 초점 이미지의 투영의 위치는 상기 적어도 하나의 투영 표면을 이동시키도록 상기 이미지 조종 유닛의 적어도 하나의 제 3 액추에이터를 제어함에 의해 조정된다.
상기 방법은 또한, 상기 적어도 하나의 초점 이미지 프로젝터에 대해 상기 디스플레이 장치의 적어도 하나의 초점 렌즈를 이동시키도록 상기 디스플레이 장치의 적어도 하나의 제 4 액추에이터를 제어함으로써 렌더링된 초점 이미지의 투영의 초점을 조정하는 단계를 포함할 수 있으며, 상기 적어도 하나의 초점 렌즈는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치된다.
도면의 상세한 설명
도 1을 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(100)의 예시적인 구조의 블록도가 도시된다. 디스플레이 장치(100)는 컨텍스트 이미지를 렌더링하기 위한 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이(102), 및 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터(104)를 포함한다. 렌더링된 컨텍스트 이미지의 투영과 렌더링된 컨텍스트 이미지의 투영을 결합하여 시각적 장면을 생성하도록 배치가 이루어진다.
도 2를 참조하면, 본 발명의 다른 실시형태에 따른 디스플레이 장치(200)의 예시적인 구조의 블록도가 도시된다. 디스플레이 장치(200)는 적어도 하나의 투영 표면(202), 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이(204), 적어도 하나의 초점 이미지 프로젝터(206), 이미지 조종 유닛(208), 시선 방향을 검출하기 위한 수단(210), 및 프로세서(212)를 포함한다. 상기 프로세서(212)는 이미지 조종 유닛(208) 및 시선 방향을 검출하기 위한 수단(210)과 통신 결합된다. 또한, 프로세서(212)는 적어도 하나의 투영 표면(202), 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이(204), 및 적어도 하나의 초점 이미지 프로젝터(206)에도 결합된다.
도 3을 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(300)의 예시적인 구현 예가 도시된다. 도시된 바와 같이, 디스플레이 장치(300)는 적어도 하나의 투영 표면(투영 표면(302)으로 도시된)과, 적어도 하나의 컨텍스트 이미지 프로젝터(컨텍스트 이미지 프로젝터(304)로 도시된)와, 적어도 하나의 초점 이미지 프로젝터(초점 이미지(306)으로 도시된)와, 시선 방향을 검출하기 위한 수단(미도시)과, 프로세서(미도시)와, 적어도 하나의 제 1 액추에이터(미도시), 적어도 하나의 광학 소자(광학 소자(308)로 도시된) 및 적어도 하나의 제 2 액추에이터(미도시)를 포함하는 이미지 조정 장치를 포함한다. 예를 들어, 광학 소자(308)는 렌즈, 프리즘, 미러, 빔 스플리터 및 광 도파관으로 이루어진 군으로부터 선택된다. 디스플레이 장치(300)의 프로세서는 컨텍스트 이미지 프로젝터(304)를 통해 투영 표면(302)에서 컨텍스트 이미지(310)를 렌더링하고, 초점 이미지 프로젝터(306)를 통해 투영 표면(302)에서 초점 이미지(312)를 렌더링하도록 이루어진다. 또한, 디스플레이 장치(300)의 프로세서는 투영 표면(302)에서 렌더링된 초점 이미지(312)의 투영의 위치를 조정하도록 제 2 액추에이터(미도시)를 제어하도록 구성된다. 도시된 바와 같이, 컨텍스트 이미지(310) 및 초점 이미지(312) 모두는 투영면(302)의 동일 측으로부터 투사된다.
도 4를 참조하면, 본 발명의 다른 실시형태에 따른 디스플레이 장치(400)의 예시적인 구현 예가 도시된다. 도시된 바와 같이, 디스플레이 장치(400)는 적어도 하나의 투영 표면(투영 표면(402)으로 도시된)과, 적어도 하나의 컨텍스트 이미지 프로젝터(컨텍스트 이미지 프로젝터(404)로 도시된)와, 적어도 하나의 초점 이미지 프로젝터(초점 이미지 프로젝터(406))와, 시선 방향을 검출하기 위한 수단(미도시)과, 프로세서(미도시)와, 이미지 조종 유닛(미도시)을 포함한다. 디스플레이 장치(400)의 프로세서는 컨텍스트 이미지 프로젝터(404)를 통해 투영 표면(402)에서 컨텍스트 이미지(408)를 렌더링하고, 초점 이미지 프로젝터(406)를 통해 투영 표면(402)에서 초점 이미지(410)를 렌더링하도록 이루어진다. 도시된 바와 같이, 컨텍스트 이미지(408)는 투영 표면(420)의 정면으로부터 투사되고 초점 이미지(410)는 투영 표면(402)의 후면으로부터 투사된다.
도 5를 참조하면, 본 발명의 다른 실시형태에 따른 디스플레이 장치(500)의 예시적인 구현 예가 도시된다. 도시된 바와 같이, 디스플레이 장치(500)는 적어도 2개의 투영 표면(투영 표면(502A, 502B)으로 도시된)을 포함하는 적어도 하나의 투영 표면과, 적어도 하나의 컨텍스트 이미지 프로젝터(컨텍스트 이미지 프로젝터(504)로 도시된)와, 적어도 2개의 초점 이미지 프로젝터(2개의 초점 이미지 프로젝터(506A, 506B)로 도시된)를 포함하는 적어도 하나의 초점 이미지 프로젝터와, 시선 방향을 검출하기 위한 수단(미도시)과, 프로세서(미도시)와, 이미지 조종 유닛(미도시)을 포함한다. 또한, 적어도 2개의 투영 표면의 상기 투영 표면(502A)은 사용자의 좌안에 사용되도록 배치되고, 적어도 2개의 투영 표면의 상기 투영 표면(502B)은 사용자의 우안을 위해 사용되도록 배치된다. 또한, 적어도 2개의 초점 이미지 프로젝터의 초점 이미지 프로젝터(506A)는 사용자의 좌안에 사용되도록 배치되고, 적어도 2개의 초점 이미지 프로젝터의 초점 이미지 프로젝터(506B)는 사용자의 우안을 위해 사용되도록 배치된다. 디스플레이 장치(500)의 프로세서는 컨텍스트 이미지 프로젝터(504)를 통해 2개의 투영 표면(502A, 502B) 각각에 컨텍스트 이미지(2개의 컨텍스트 이미지(508A, 508B)로 도시된)를 렌더링하도록 이루어진다. 이 경우, 컨텍스트 이미지(508A)는 사용자의 좌안에 사용되고, 컨텍스트 이미지(508B)는 사용자의 우안에 사용된다. 또한, 디스플레이 장치(500)의 프로세서는 2개의 초점 이미지 프로젝터들(506A, 506B)을 통해 2개의 투영 표면(502A, 502B)에서 각각, 초점 이미지(2개의 초점 이미지(510A, 510B)로서 도시된)를 렌더링하도록 구성된다. 이 경우, 사용자의 좌안에는 초점 이미지(510A)가 사용되고, 사용자의 우안에는 초점 이미지(510B)가 사용된다. 도시된 바와 같이, 컨텍스트 이미지들(508A, 508B) 및 초점 이미지들(510A, 510B) 모두는 적어도 하나의 투영 표면의 동일 측으로부터 투영된다.
도 6을 참조하면, 본 발명의 다른 실시형태에 따른 디스플레이 장치(600)의 예시적인 구현 예가 도시된다. 도시된 바와 같이, 디스플레이 장치(600)는 적어도 하나의 컨텍스트 디스플레이(컨텍스트 디스플레이(602)로 도시된)의 일부로서 구현되는 적어도 하나의 투영 표면, 적어도 2개의 초점 이미지 프로젝터를 포함하는 적어도 하나의 초점 이미지 프로젝터(604A, 604B)), 시선 방향을 검출하기 위한 수단(미도시), 프로세서(미도시) 및 이미지 조종 유닛(미도시)을 포함한다. 디스플레이 장치(600)의 프로세서는 컨텍스트 디스플레이(602)에서 컨텍스트 이미지(606)를 렌더링하도록 이루어진다. 또한, 디스플레이 장치(600)의 프로세서는 2개의 초점 이미지 프로젝터(604A, 604B) 각각을 통해 컨텍스트 디스플레이(602)의 일부로서 구현되는 적어도 하나의 투영 표면에서 초점 이미지(2개의 초점 이미지(608A, 608B)로 도시된)렌더링하도록 구성된다. 이 경우, 초점 이미지(608A)은 사용자의 좌안에 사용되고, 초점 이미지(608B)은 사용자의 우안을 위해 사용된다. 도시된 바와 같이, 초점 이미지들(608A, 608B) 모두는 컨텍스트 디스플레이(602)의 일부로서 구현되는 적어도 하나의 투영 표면의 동일 측으로부터 투영된다.
도 7을 참조하면, 본 발명의 다른 실시형태에 따른 디스플레이 장치(700)의 예시적인 구현 예가 도시된다. 도시된 바와 같이, 디스플레이 장치(700)는 적어도 하나의 컨텍스트 디스플레이의 일부로서 구현되는 적어도 하나의 투영 표면(702) 및 적어도 하나의 초점 이미지 프로젝터(704)를 포함한다. 또한, 디스플레이 장치(700)는 적어도 하나의 투영 표면(702)과 적어도 하나의 초점 이미지 프로젝터(704) 사이의 광 경로 상에 위치하는 적어도 하나의 광학 소자(706)를 포함하는 이미지 조정 유닛을 포함한다. 도시된 바와 같이, 적어도 하나의 광학 소자(706)는 광 도파관이다. 또한, 디스플레이 장치(700)의 프로세서는 적어도 하나의 투영 표면(702) 상에 렌더링된 초점 이미지의 투영의 위치를 조정하도록 적어도 하나의 제 2 액추에이터(미도시)를 제어하도록 이루어진다. 적어도 하나의 광학 소자(706)(또는 도시된 광 도파관)은 마이크로프리즘, 미러, 회절 광학 등과 같은 광학 소자(708)를 더 포함한다.
도 8을 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(예를 들어, 도 1의 디스플레이 장치(100))를 통해 디스플레이하는 방법(800)의 단계가 도시된다. 단계(802)에서, 컨텍스트 이미지는 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이를 통해 렌더링되고, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위이다. 단계(804)에서, 초점 이미지는 적어도 하나의 초점 이미지 프로젝터를 통해 렌더링되고, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도 범위이다. 단계(806)에서, 렌더링된 컨텍스트 이미지의 투영과 렌더링된 초점 이미지의 투영이 결합하여 시각적 장면을 생성하도록 배치가 이루어진다.
단계들(802 내지 806)은 단지 예시적인 것이며, 본 명세서의 청구항들의 범위를 벗어나지 않으면서 하나 이상의 단계들이 추가되거나, 하나 이상의 단계들이 제거되거나, 하나 이상의 단계들이 상이한 순서로 제공되는 다른 대안들이 또한 제공될 수 있다. 일 실시형태에서, 방법(800)에서, 렌더링된 초점 이미지의 투영의 위치는 초점 이미지 프로젝터를 적어도 하나의 투영 표면에 대해 이동시키도록 이미지 조종 유닛의 적어도 하나의 제 1 액추에이터를 제어함에 의해 조정될 수 있다. 다른 예에서, 방법(800)에서, 렌더링된 초점 이미지의 투영의 위치는 상기 적어도 하나의 초점 이미지 프로젝터에 대하여 상기 이미지 조종 유닛의 적어도 하나의 광학 소자를 이동시키도록 상기 이미지 조정 유닛의 적어도 하나의 제 2 액추에이터를 제어함에 의해 조정될 수 있으며, 상기 적어도 하나의 광학 소자는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 배치된다. 또 다른 예에서, 방법(800)에서, 렌더링된 초점 이미지의 투영의 위치는 적어도 하나의 투영 표면을 이동시키도록 이미지 조종 유닛의 적어도 하나의 제 3 액추에이터를 제어함에 의해 조정될 수 있다. 선택적으로, 방법(800)은 적어도 하나의 초점 이미지 프로젝터에 대해 디스플레이 장치의 적어도 하나의 초점 렌즈를 이동시키도록 디스플레이 장치의 적어도 하나의 제 4 액추에이터를 제어함에 의해 상기 렌더링된 초점 이미지의 투영의 초점을 조정하는 단계를 포함할 수 있으며, 상기 적어도 하나의 초점 렌즈는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치된다.
전술한 본 발명의 실시형태들에 대한 변형은 첨부된 청구 범위에 의해 한정된 본 발명의 범위를 벗어나지 않고 가능하다. 본 발명을 기술하고 청구하는데 사용되는 "포함하는", "병합한", "갖는"의 표현은 비 배타적인 방식으로 간주되는 것으로, 즉, 명백히 기술되지 않은 항목, 구성성분 또는 요소가 존재하는 것으로 허용하도록 의도된다. 단수로의 언급은 또한 복수형과 관련되는 것으로 해석되어야 한다.

Claims (18)

  1. 디스플레이 장치에 있어서,
    - 컨텍스트 이미지(context image)를 렌더링(rendering)하기 위한 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이와;
    - 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위인, 상기 적어도 하나의 초점 이미지 프로젝터와;
    - 적어도 하나의 투영 표면과;
    - 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되는 적어도 하나의 초점 렌즈와;
    - 이미지 조종 유닛(image steering unit)과;
    - 시선 방향을 검출하기 위한 수단과;
    - 상기 이미지 조종 유닛 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된(coupled in communication) 프로세서를 포함하고, 상기 프로세서는,
    (a) 입력 이미지를 수신하고, 상기 검출된 시선 방향을 사용하여 상기 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
    (b) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 가지며,
    - 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 상기 컨텍스트 이미지의 영역이 마스킹되고,
    - 상기 초점 이미지는 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하고,
    - 상기 제 2 해상도가 상기 제 1 해상도보다 높은, 상기 처리 단계와;
    (c) 상기 적어도 하나의 컨텍스트 이미지 프로젝터를 통해 상기 적어도 하나의 컨텍스트 디스플레이 또는 상기 적어도 하나의 투영 표면에서 상기 컨텍스트 이미지를 렌더링하는 단계와;
    (d) 상기 적어도 하나의 초점 이미지 프로젝터를 통해 상기 적어도 하나의 투영 표면에서 상기 초점 이미지를 렌더링하는 단계와;
    (e) 상기 적어도 하나의 투영 표면 상에서 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 이미지 조종 유닛을 제어하여 상기 적어도 하나의 투영 표면 상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하는 단계를 포함하며,
    상기 프로세서는 단계들 (c), (d) 및 (e)를 실질적으로 동시에 수행하도록 구성되고, 상기 렌더링된 초점 이미지의 투영을 상기 렌더링된 컨텍스트 이미지의 투영과 결합하여 시각적 장면을 생성하도록 배치가 이루어지며,
    상기 프로세서는 상기 적어도 하나의 초점 렌즈에 제어 신호를 인가함으로써 상기 적어도 하나의 초점 렌즈의 적어도 하나의 능동 광학 특성을 제어하도록 구성되는, 디스플레이 장치.
  2. 제 1 항에 있어서, 상기 적어도 하나의 초점 이미지 프로젝터는 적어도 2개의 초점 이미지 프로젝터를 포함하고, 상기 적어도 2개의 초점 이미지 프로젝터 중 적어도 하나는 사용자의 좌안(left eye)을 위해 사용되도록 배치되고, 상기 적어도 2개의 초점 이미지 프로젝터들 중 적어도 하나는 사용자의 우안(right eye)을 위해 사용되도록 배치되는, 디스플레이 장치.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 적어도 하나의 컨텍스트 이미지 프로젝터는 적어도 2개의 컨텍스트 이미지 프로젝터를 포함하고, 상기 적어도 2개의 컨텍스트 이미지 프로젝터 중 적어도 하나는 사용자의 좌안을 위해 사용되도록 배치되고, 상기 적어도 2개의 컨텍스트 이미지 프로젝터 중 적어도 하나는 사용자의 우안을 위해 사용되도록 배치되는, 디스플레이 장치.
  4. 제 1 항 또는 제 2 항에 있어서, 상기 적어도 하나의 컨텍스트 이미지 프로젝터는 사용자의 좌안 및 우안에 대해 공유 기반(shared-basis)으로 사용되도록 배치되는, 디스플레이 장치.
  5. 제 1 항 또는 제 2 항에 있어서, 상기 적어도 하나의 투영 표면은 적어도 2개의 투영 표면을 포함하고, 상기 적어도 2개의 투영 표면 중 적어도 하나는 사용자의 좌안에 사용되도록 배치되고, 상기 적어도 2개의 투영 표면 중 적어도 하나는 사용자의 우안을 위해 사용되도록 배치되는, 디스플레이 장치.
  6. 제 1 항 또는 제 2 항에 있어서, 상기 적어도 하나의 투영 표면은 상기 적어도 하나의 컨텍스트 디스플레이의 일부로서 구현되는, 디스플레이 장치.
  7. 제 1 항 또는 제 2 항에 있어서, 상기 적어도 하나의 투영 표면은 편광기, 지연기(retarder), 광학 필름 중 하나 이상을 통해 구현되는, 디스플레이 장치.
  8. 제 1 항 또는 제 2 항에 있어서, 상기 이미지 조종 유닛은 상기 적어도 하나의 투영 표면에 대해 상기 초점 이미지 프로젝터를 이동시키는 적어도 하나의 제 1 액추에이터를 포함하고, 상기 프로세서는, 상기 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하도록 제 1 액추에이터를 제어하도록 구성되는, 디스플레이 장치.
  9. 제 1 항 또는 제 2 항에 있어서, 상기 이미지 조종 유닛은,
    - 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되고, 렌즈, 프리즘, 미러, 빔 스플리터(beam splitter) 및 광 도파관으로 이루어진 군으로부터 선택되는 적어도 하나의 광학 소자와;
    상기 적어도 하나의 초점 이미지 프로젝터에 대해 상기 적어도 하나의 광학 소자를 이동시키는 적어도 하나의 제 2 액추에이터를 포함하고,
    상기 프로세서는 상기 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하도록 상기 적어도 하나의 제 2 액추에이터를 제어하도록 구성되는, 디스플레이 장치.
  10. 제 1 항 또는 제 2 항에 있어서, 상기 이미지 조종 유닛은 상기 적어도 하나의 투영 표면을 이동시키기 위한 적어도 하나의 제 3 액추에이터를 포함하고, 상기 프로세서는 상기 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하도록 상기 적어도 하나의 제 3 액추에이터를 제어하도록 구성되는, 디스플레이 장치.
  11. 제 1 항 또는 제 2 항에 있어서, 상기 디스플레이 장치는,
    상기 적어도 하나의 초점 이미지 프로젝터에 대해 상기 적어도 하나의 초점 렌즈를 이동시키는 적어도 하나의 제 4 액추에이터를 포함하고,
    상기 프로세서는 상기 렌더링된 초점 이미지의 상기 투영의 초점을 조정하도록 상기 적어도 하나의 제 4 액추에이터를 제어하도록 구성되는, 디스플레이 장치.
  12. 삭제
  13. 제 1 항 또는 제 2 항에 있어서, 상기 컨텍스트 디스플레이는 액정 디스플레이(LCD), 발광 다이오드(LED)계 디스플레이, 유기 LED(OLED)계 디스플레이, 마이크로 OLED계 디스플레이, 및 LCoS(Liquid Crystal on Silicon)계 디스플레이로 이루어진 군으로부터 선택되는, 디스플레이 장치.
  14. 제 1 항 또는 제 2 항에 있어서, 상기 컨텍스트 이미지 프로젝터 및/또는 상기 초점 이미지 프로젝터는 LCD(Liquid Crystal Display)계 프로젝터, LED(Light Emitting Diode)계 프로젝터, OLED(Organic LED)계 프로젝터, LCoS(Liquid Crystal on Silicon)계 프로젝터, DLP(Digital Light Processing)계 프로젝터, 및 레이저 프로젝터로 이루어진 군으로부터 선택되는, 디스플레이 장치.
  15. 적어도 하나의 컨텍스트 이미지 프로젝터 또는 적어도 하나의 컨텍스트 디스플레이; 적어도 하나의 초점 이미지 프로젝터; 적어도 하나의 투영 표면; 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되는 적어도 하나의 초점 렌즈; 이미지 조종(image steering) 유닛; 시선 방향을 검출하기 위한 수단; 및 상기 적어도 하나의 초점 렌즈에 제어 신호를 인가함으로써 상기 적어도 하나의 초점 렌즈의 적어도 하나의 능동 광학 특성을 제어하도록 구성된 프로세서를 포함하는 디스플레이 장치를 통해 디스플레이하는 방법으로서, 상기 방법은
    (i) 상기 적어도 하나의 컨텍스트 이미지 프로젝터 또는 상기 적어도 하나의 컨텍스트 디스플레이를 통해 컨텍스트 이미지를 렌더링하는 단계로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 컨텍스트 이미지를 렌더링하는 단계와;
    (ii) 상기 적어도 하나의 초점 이미지 프로젝터를 통해 초점 이미지를 렌더링하는 단계로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위인, 상기 초점 이미지를 렌더링하는 단계와;
    (ⅲ) 시각적 장면을 생성하기 위해 상기 렌더링된 컨텍스트 이미지의 투영과 결합될 상기 렌더링된 초점 이미지의 투영을 준비하는 단계와;
    (iv) 시선 방향을 검출하고, 상기 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
    (v) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고, 상기 초점 이미지는 제 1 해상도보다 높은 제 2 해상도를 가지며, 상기 처리 단계는,
    상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역을 마스킹하는 단계와;
    - 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하도록 상기 초점 이미지를 생성하는 단계를 포함하는, 상기 처리 단계와;
    (vi) 상기 적어도 하나의 투영 표면 상에서 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 이미지 조종 유닛을 제어하여 상기 적어도 하나의 투영 표면 상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하는 단계를 포함하고,
    상기 단계들 (i),(ii) 및 (vi)는 실질적으로 동시에 수행되는, 방법.
  16. 제 15 항에 있어서, 상기 렌더링된 초점 이미지의 상기 투영의 위치는 상기 적어도 하나의 투영 표면에 대해 상기 초점 이미지 프로젝터를 이동시키도록 상기 이미지 조종 유닛의 적어도 하나의 제 1 액추에이터를 제어함에 의해 조정되는, 방법.
  17. 제 15 항 또는 제 16 항에 있어서, 상기 렌더링된 초점 이미지의 상기 투영의 위치는 상기 적어도 하나의 초점 이미지 프로젝터에 대하여 상기 이미지 조종 유닛의 적어도 하나의 광학 소자를 이동시키도록 상기 이미지 조종 유닛의 적어도 하나의 제 2 액추에이터를 제어함에 의해 조정되고, 상기 적어도 하나의 광학 소자는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되고, 그리고/또는 상기 렌더링된 초점 이미지의 상기 투영의 위치는 상기 적어도 하나의 투영 표면을 이동시키도록 상기 이미지 조종 유닛의 적어도 하나의 제 3 액추에이터를 제어함으로써 조정되는, 방법.
  18. 제 15 항 또는 제 16 항에 있어서, 상기 적어도 하나의 초점 이미지 프로젝터에 대하여 상기 디스플레이 장치의 적어도 하나의 초점 렌즈를 이동시키도록 상기 디스플레이 장치의 적어도 하나의 제 4 액추에이터를 제어함에 의해 상기 렌더링된 초점 이미지의 상기 투영의 초점을 조정하는 단계를 더 포함하고, 상기 적어도 하나의 초점 렌즈는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되는, 방법.
KR1020170159285A 2016-12-01 2017-11-27 디스플레이 장치 및 프로젝터를 이용하여 디스플레이하는 방법 Active KR101977903B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/366,497 2016-12-01
US15/366,497 US9711114B1 (en) 2016-12-01 2016-12-01 Display apparatus and method of displaying using projectors

Publications (2)

Publication Number Publication Date
KR20180062947A KR20180062947A (ko) 2018-06-11
KR101977903B1 true KR101977903B1 (ko) 2019-05-13

Family

ID=59297841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170159285A Active KR101977903B1 (ko) 2016-12-01 2017-11-27 디스플레이 장치 및 프로젝터를 이용하여 디스플레이하는 방법

Country Status (7)

Country Link
US (1) US9711114B1 (ko)
EP (1) EP3330772B1 (ko)
JP (1) JP6423945B2 (ko)
KR (1) KR101977903B1 (ko)
CN (1) CN107959837B (ko)
HK (1) HK1247014B (ko)
SG (1) SG10201709781TA (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3602181B1 (en) 2017-03-27 2025-01-15 Avegant Corp. Steerable foveal display
US10602033B2 (en) * 2017-05-02 2020-03-24 Varjo Technologies Oy Display apparatus and method using image renderers and optical combiners
US10495895B2 (en) * 2017-06-14 2019-12-03 Varjo Technologies Oy Display apparatus and method of displaying using polarizers
US10371998B2 (en) 2017-06-29 2019-08-06 Varjo Technologies Oy Display apparatus and method of displaying using polarizers and optical combiners
US10578869B2 (en) * 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
KR102461253B1 (ko) * 2017-07-24 2022-10-31 삼성전자주식회사 시선 추적기를 구비하는 투사형 디스플레이 장치
US10155166B1 (en) * 2017-09-08 2018-12-18 Sony Interactive Entertainment Inc. Spatially and user aware second screen projection from a companion robot or device
US10614734B2 (en) * 2018-03-06 2020-04-07 Varjo Technologies Oy Display apparatus and method of displaying using controllable scanning mirror
CA3122089A1 (en) 2018-12-07 2020-06-11 Avegant Corp. Steerable positioning element
JP7460637B2 (ja) 2019-01-07 2024-04-02 エイヴギャント コーポレイション 制御システムおよびレンダリングパイプライン
US20200225734A1 (en) * 2019-01-11 2020-07-16 Varjo Technologies Oy Display apparatus and method of indicating level of immersion using visual indicator
US10764567B2 (en) * 2019-01-22 2020-09-01 Varjo Technologies Oy Display apparatus and method of displaying
US10725304B1 (en) * 2019-03-28 2020-07-28 Facebook Technologies, Llc Compensatory image during swift-eye movement
US10554940B1 (en) 2019-03-29 2020-02-04 Razmik Ghazaryan Method and apparatus for a variable-resolution screen
US11284053B2 (en) 2019-03-29 2022-03-22 Razmik Ghazaryan Head-mounted display and projection screen
CA3134149A1 (en) 2019-03-29 2020-10-08 Avegant Corp. Steerable hybrid display using a waveguide
US10466489B1 (en) 2019-03-29 2019-11-05 Razmik Ghazaryan Methods and apparatus for a variable-resolution screen
WO2021049473A1 (ja) 2019-09-09 2021-03-18 パナソニックＩｐマネジメント株式会社 映像表示システム、及び映像表示方法
CN110764342A (zh) * 2019-11-19 2020-02-07 四川长虹电器股份有限公司 智能投影显示装置及其投影画面的调整方法
US11624921B2 (en) 2020-01-06 2023-04-11 Avegant Corp. Head mounted system with color specific modulation
CN111294579B (zh) * 2020-02-19 2021-12-28 母国标 投影画面与幕布中心对准方法和系统
FR3107611B1 (fr) 2020-02-26 2022-03-04 Aledia Ecran d’affichage à résolution multiple et procédé de réalisation
KR20220081162A (ko) 2020-12-08 2022-06-15 삼성전자주식회사 포비티드 디스플레이 장치
CN116546174A (zh) * 2023-05-29 2023-08-04 北京京东方显示技术有限公司 一种投影设备及方法、投影仪、显示系统、画面调整设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US931683A (en) 1908-06-06 1909-08-17 George S Cox And Brother Haircloth-loom.
US4479784A (en) * 1981-03-03 1984-10-30 The Singer Company Eye line-of-sight responsive wide angle visual system
JP2741063B2 (ja) * 1989-05-02 1998-04-15 株式会社エイ・ティ・アール通信システム研究所 広視野表示装置
JPH04156584A (ja) * 1990-10-19 1992-05-29 Nec Kagoshima Ltd 表示装置
JPH0777665A (ja) * 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
US5394203A (en) * 1994-06-06 1995-02-28 Delco Electronics Corporation Retracting head up display with image position adjustment
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
US5956180A (en) * 1996-12-31 1999-09-21 Bass; Robert Optical viewing system for asynchronous overlaid images
JPH11109278A (ja) * 1997-10-03 1999-04-23 Minolta Co Ltd 映像表示装置
US7872635B2 (en) 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US7488072B2 (en) * 2003-12-04 2009-02-10 New York University Eye tracked foveal display by controlled illumination
JP2005202221A (ja) * 2004-01-16 2005-07-28 Toshiba Corp 表示装置
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
JP2010153983A (ja) * 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法
HU0900478D0 (en) * 2009-07-31 2009-09-28 Holografika Hologrameloeallito Method and apparatus for displaying 3d images
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US8638498B2 (en) * 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
JP2014059432A (ja) * 2012-09-18 2014-04-03 Seiko Epson Corp 画像表示システム
WO2016130941A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display
US9619712B2 (en) * 2015-05-18 2017-04-11 Daqri, Llc Threat identification system

Also Published As

Publication number Publication date
JP6423945B2 (ja) 2018-11-14
KR20180062947A (ko) 2018-06-11
EP3330772A1 (en) 2018-06-06
CN107959837B (zh) 2018-11-16
SG10201709781TA (en) 2018-07-30
CN107959837A (zh) 2018-04-24
HK1247014B (zh) 2019-09-13
EP3330772B1 (en) 2020-06-03
US9711114B1 (en) 2017-07-18
JP2018109746A (ja) 2018-07-12

Similar Documents

Publication Publication Date Title
KR101977903B1 (ko) 디스플레이 장치 및 프로젝터를 이용하여 디스플레이하는 방법
US9711072B1 (en) Display apparatus and method of displaying using focus and context displays
HK1247014A1 (en) Display apparatus and method of displaying via the display apparatus
HK1245897A1 (en) Display apparatus and method of displaying using the display apparatus
CN109997070B (zh) 包括调制叠层的近眼显示系统
EP3548955B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
WO2018100240A1 (en) Display apparatus image renderers and optical combiners
WO2018100242A1 (en) Display apparatus and method of displaying using optical combiners and context and focus image renderers
US20180324332A1 (en) Display apparatus and method using image renderers and optical combiners
CN109997067B (zh) 使用便携式电子设备的显示装置和方法
CN110088662B (zh) 成像系统和产生背景图像和聚焦图像的方法
JP6741643B2 (ja) 表示装置、およびコンテキストディスプレイとプロジェクタを用いた表示方法
HK1247485A1 (en) Display apparatus and method of displaying via the display apparatus
HK40005589A (en) Imaging system and method of producing context and focus images
HK40005686A (en) Display apparatus and method of displaying using image renderers and optical combiners
HK40005588B (zh) 使用便携式电子设备的显示装置和方法
HK40005588A (en) Display apparatus and method using portable electronic device

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171127

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181116

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190401

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190507

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190508

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220428

Start annual number: 4

End annual number: 4