KR20170020351A - 픽셀 재분할 최적화를 갖는 방법 및 디스플레이 디바이스 - Google Patents

픽셀 재분할 최적화를 갖는 방법 및 디스플레이 디바이스 Download PDF

Info

Publication number
KR20170020351A
KR20170020351A KR1020167035037A KR20167035037A KR20170020351A KR 20170020351 A KR20170020351 A KR 20170020351A KR 1020167035037 A KR1020167035037 A KR 1020167035037A KR 20167035037 A KR20167035037 A KR 20167035037A KR 20170020351 A KR20170020351 A KR 20170020351A
Authority
KR
South Korea
Prior art keywords
display device
image
eye
viewer
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020167035037A
Other languages
English (en)
Other versions
KR102503029B1 (ko
Inventor
씰방 띠보
로렁 블롱데
띠에리 따삐
발떼르 드라직
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20170020351A publication Critical patent/KR20170020351A/ko
Application granted granted Critical
Publication of KR102503029B1 publication Critical patent/KR102503029B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/16—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by deflecting electron beam in cathode-ray tube, e.g. scanning corrections
    • H04N3/22—Circuits for controlling dimensions, shape or centering of picture on screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Image Processing (AREA)

Abstract

디스플레이 디바이스(100) 상에 이미지를 제공하는 방법은 디스플레이 디바이스 상의 이미지의 영역이 이미지의 나머지에서보다 높은 픽셀들의 밀도로 뷰어에게 제공되도록 기하학적 변환을 이미지에 적용함으로써 이미지를 변형하는 단계(S18)를 포함한다.

Description

픽셀 재분할 최적화를 갖는 방법 및 디스플레이 디바이스{A METHOD AND A DISPLAY DEVICE WITH PIXEL REPARTITION OPTIMIZATION}
본 개시내용은 일반적으로 픽셀 재분할 최적화를 갖는 디스플레이 디바이스에 관한 것이다. 디스플레이 디바이스는 헤드 마운트 디스플레이(HMD) 디바이스와 같은 사용자 웨어러블 디스플레이 디바이스일 수 있지만, 이러한 종류의 디스플레이 디바이스에 한정되지 않는다.
이들 HMD 디바이스들은 주로, 디스플레이 모듈(예를 들어, LCD 또는 OLED), 및 광학계로 이루어진다. 이러한 광학계는, 광이 (상당히 근접하게 배치된 스크린에 대한 수용을 허용하기 위해) 뷰어로부터 무한대에서 또는 유한이지만 큰 거리(예를 들어, 사람의 눈의 과초점 거리)에서 생성된 것처럼 광을 변형하고, 시야를 증가시켜 몰입의 감정을 향상시키기 위해 일반적으로 설계된다.
이들 HMD 디바이스들은 사용자의 헤드의 위치를 측정하기 위해 관성 측정 유닛(IMU)과 같은 센서와 결합될 수 있다. 센서에 의해, 디스플레이를 통해 사용자에게 제공된 비디오 콘텐츠가 사용자의 헤드 배향에 의존할 수 있어서, 사용자는 가상 세계에서 이동할 수 있으며 몰입의 감정을 느낄 수 있다.
US 2012/0154277 A1는 사용자에 대한 초점 영역을 결정하고 최적화된 이미지의 일부를 사용자의 초점 영역에 결합하기 위해 사용자의 헤드 및 눈 위치를 추적하는 것을 개시한다. 그러나, 디스플레이 상에 제공될 이미지의 픽셀 재분할을 최적화하는 어떠한 개념들도 US 2012/0154277 A1에서 고려되지 않는다.
본 개시내용의 일 양태에 따르면, 디스플레이 디바이스 상에 이미지를 제공하는 방법이 제공된다. 방법은 디스플레이 디바이스 상의 이미지의 영역이 이미지의 나머지에서보다 높은 픽셀들의 밀도로 뷰어에게 제공되도록 기하학적 변환을 이미지에 적용함으로써 이미지를 변형하는 단계를 포함한다.
본 개시내용의 다른 양태에 따르면, 프로세서를 포함하는 이미지를 제공하는 디스플레이 디바이스가 제공된다. 프로세서는 디스플레이 디바이스 상의 이미지의 영역이 이미지의 나머지에서보다 높은 픽셀들의 밀도로 뷰어에게 제공되도록 기하학적 변환을 이미지에 적용함으로써 이미지를 변형하도록 구성된다.
본 개시내용의 목적 및 이점들은 청구항들에 특히 언급된 엘리먼트들 및 조합들에 의해 실현되고 획득될 것이다.
상술한 일반 설명 및 아래의 상세한 설명 모두가 예시적이며 설명을 위한 것이고, 주장된 바와 같이 본 개시내용을 제한하지 않는다는 것을 이해해야 한다.
본 개시내용의 이들 및 다른 양태들, 특징들 및 이점들은 첨부한 도면들과 함께 아래의 설명으로부터 명백해질 것이다.
도 1은 와(fovea) 주위의 각도 위치에 따른 시력을 나타낸다.
도 2는 본 개시내용의 실시예에 따른 일반 오버뷰를 제공한다.
도 3은 광학 엘리먼트에 의해 적용된 왜곡을 나타낸다.
도 4는 본 개시내용의 실시예에 따른 이미지에 적용된 기하학적 변환 프로세스를 예시한다.
도 5는 원래 시스템과 동일한 기능을 갖는 렌즈의 설계를 예시한다.
도 6은 본 실시예의 HMD 디바이스의 전체 광학 시스템을 도시한다.
도 7은 디스플레이 상의 필드 위치의 함수로서 플롯된 인지된 시야를 도시한다.
도 8은 본 개시내용의 실시예에 따른 디스플레이 디바이스를 개략적으로 예시하고, 여기서, 도 8(a)는 디바이스의 평면도이고, 도 8(b)는 디바이스의 정면도이다.
도 9는 도 8에 도시된 제어 모듈의 컴포넌트들을 예시하는 블록도이다.
도 10은 본 개시내용의 실시예에 따른 디스플레이 디바이스에 의해 수행된 프로세스의 예를 예시하는 플로우차트이다.
아래의 설명에서, 본 개시내용의 예시적인 실시예의 다양한 양태들이 설명될 것이다. 설명을 위해, 특정한 구성들 및 상세들이 완전한 이해를 제공하기 위해 설명된다. 그러나, 본 개시내용이 본원에 제공된 특정한 상세들 없이 구현될 수 있다는 것이 본 기술분야의 통상의 기술자에게 또한 명백할 것이다.
본 개시내용의 실시예의 개념의 이해를 용이하게 하기 위해, 인간 시각 시스템의 일부 특징들이 먼저 도입된다.
도 1은 Wikipedia의 "중심와(fovea centralis)"에 관한 페이지로부터 인용되는 와(fovea) 주위의 각도 위치에 따른 시력을 나타낸다. 와는 원추체들의 밀도가 가장 높은 눈의 중심 영역이다. 이러한 영역은 단지 2도(a couple of degrees)를 나타내고, 여기서, 시력이 최대이다. 이러한 시력은 시야가 증가할 때 급격하게 감소한다(도 1 참조). 이것은, 뷰어에게 몰입감을 주기 위해 큰 시야가 요구되더라도, 세부사항들이 주변 시각에 의해 인지될 수 없다는 것을 의미한다.
분리된 개별 픽셀들에 의해 이미지들을 생성하는 디스플레이 디바이스들의 해상도는 이러한 시력 특징에 기초하고: 관측 거리에 따라, 픽셀들의 공간 빈도가 눈의 분리 능력보다 높으면 픽셀들은 인지될 수 없다.
와 영역에서, 인간의 눈은 1분(one minute)의 원호 각도(arc angle)에 의해 분리된 2개의 포인트들을 대략 구별할 수 있다. 이것은 예를 들어, 93cm의 폭을 갖는 42" 고화질(HD) 스크린 1920×1080 픽셀들이 시력에 거의 대응하는, 중심부에서 도 당(per degree) 60 픽셀들의 픽셀 밀도를 갖도록 166cm의 거리에서 관찰될 수 있다는 것을 의미한다.
여기서, 예가 1280×800 픽셀들의 해상도를 갖는 예시적인 HMD 디바이스에 관하여 논의될 것이다. 이러한 예에서, 수평 시야는 대략 90°(또는 소스들에 따라 110°)이며, 눈 당 픽셀들의 이론적인 수는 640개(그러나 실질적으로 500개에 더 근접함)이고: 90°를 넘어 분포된 500 픽셀들은 도 당(per degree) 5 픽셀들보다 낮은 픽셀 밀도를 의미한다. 이것은 1 원호 분(one arc minute)의 시력에 대한 나이키스트-샤논(Nyquist-Shannon) 샘플링 이론을 고려하기 위해 요구되는 것보다 10배 낮다. 이러한 HMD의 차세대가 1920×1080 픽셀들을 갖는 디스플레이에 기초해야 하더라도, 해상도는 와 영역에서의 시력의 훨씬 아래에 있어야 한다.
반대로, 주변 시각 영역에서의 픽셀 밀도는, 시력이 시각 주변에서 강하게 감소함에 따라 인간의 눈에 의해 인지되기에는 너무 높다.
본 개시내용은 디스플레이의 영역에서 픽셀 밀도를 증가시키고, 증가된 픽셀 밀도를 갖는 영역의 주변 영역들에서 이러한 밀도를 감소키는 HMD 디바이스와 같은 디스플레이 디바이스를 예시적으로 설명한다. 눈들이 디스플레이에 의해 제공된 콘텐츠에서 이동할 수 있기 때문에, 이러한 밀도의 증가는 와에 대응하는 매우 좁은 영역에 제한되는 것이 아니라, 헤드를 이동하기 이전에 평균 눈 이동에 대응하는 영역에 적용된다. 이것은, 사용자가 높은 밀도 정보를 갖는 영역 주위에서 자신의 시선을 이동할 수 있고, 희박한 정보를 제공하는 넓은 시야에 의해 몰입감을 즐길 수 있다.
관성 측정 유닛(IMU)과 결합된 HMD 디바이스에서, 사용자는 객체의 중심 또는 주변에서 낮은 해상도로 인지된 영역으로 자신의 헤드를 이동할 수 있어서 이러한 객체 또는 영역에 대한 해상도를 매우 효과적으로 증가시킬 수 있다.
Oculus Rift HMD와 같은 현재 이용가능한 HMD 디바이스에서, 디스플레이 디바이스에 의해 생성된 픽셀들은 전체 시야에 걸쳐 거의 일정한 밀도로 광학계에 의해 분포된다. 이러한 광학계는 단순하기 때문에, 이는 디스플레이될 비디오 콘텐츠에 역 변형을 적용함으로써 신호 처리에 의해 보상되어야 하는 강한 핀쿠션 왜곡(pincushion distortion)을 도입한다. 뷰어는 HMD의 중심 영역에서도, 넓은 시야이지만 불량한 해상도로 비디오 또는 그래픽 몰입형 콘텐츠를 인지할 수 있다.
"포비에이션(foveation)"이라는 것이 이미지 획득의 기술 분야에 공지되어 있다. 이미지들은 포비에이티드 센서들(foveated sensors)에 의해 획득될 수 있고, 여기서, 포토사이트들(photosites)의 밀도는 센서의 중심 영역 또는 포비에이티드 렌즈와 연관된 표준 센서에서 더 높다.
포비에이티드 이미징이 이미지 압축, 이미지 송신, 또는 시선 불확정 디스플레이들을 커버하는 신호 처리의 기술 분야에 또한 공지되어 있다. 이러한 최종 애플리케이션에 대해, 눈 추적기가 사용자가 보고 있는 위치를 검출하며, 더 많은 정보(고주파수들을 포함하는 이미지 부분들)가 주변(오직 저주파수들, 불선명)에서 보다 이러한 영역에서 동적으로 디스플레이된다.
본 개시내용에서, 디스플레이 상의 영역에서 픽셀 밀도를 증가시키고, 디스플레이 상의 영역의 주변 영역들에서 픽셀 밀도를 감소시키도록 구성되는(적응되는) 시스템이 제안된다. 그러나, 세부사항들(고주파수들)이 관심 영역에 디스플레이되고, 불선명 정보(또는 저주파수들만)가 일정한 픽셀 밀도를 갖는 주변에 디스플레이되는 포비에이티드 이미지들과 다르게, 제안된 시스템은 픽셀 밀도 자체를 변형한다는 것에 유의해야 한다.
픽셀들의 재분할은 광학계에 의해 적용된 변환(T)에 의해 변형될 수 있다. 이러한 경우에, 디스플레이될 콘텐츠는 역 기하학적 변환(T-1)에 의해 변형될 필요가 있다. 그 후, 픽셀 밀도의 증가가 인지된 휘도(luminance)를 증가시키고, 그 반대의 경우도 가능하다. 휘도의 이러한 변형은 디스플레이될 이미지들에 적용된 디스플레이 또는 신호 처리에 의해 전체적으로 또는 부분적으로 보상될 필요가 있다.
도 2는 본 개시내용의 실시예에 따른 일반 오버뷰를 제공한다.
종래의 광학 엘리먼트는, 뷰어의 눈에 의한 수용을 허용하기 위해 광이 뷰어로부터 무한대(또는 유한이지만 큰 거리)에서 생성된 것처럼 광을 변형한다. 이것은 뷰어에 의한 몰입감을 향상시키기 위해 디스플레이의 시야를 또한 증가시킬 수 있다.
종래 기술에 부가하여, 본 개시내용의 제한하지 않는 실시예는, 광학 엘리먼트가 중심에 대한 거리에 의존하여, 인지된 픽셀 밀도를 변형하기 위해 (도 3에 도시된 바와 같이) 왜곡을 적용한다는 것을 제안한다. 이러한 거리는 수평 축들에 따라 방사 방향 또는 축방향일 수 있다. 도 4에서 알 수 있는 바와 같이, 본 개시내용의 실시예의 광학 엘리먼트에 의해 초래된 왜곡은 픽셀 재분할을 제공하고, 즉, 디스플레이 상에 디스플레이된 픽셀들의 일정한 밀도가, 증가된 픽셀 밀도가 시야의 중심 영역에서 인지되는 변형된 픽셀 밀도로 변환된다.
도 4는 본 개시내용의 실시예에 따른 이미지에 적용된 기하학적 변환 프로세스를 예시한다. 디스플레이에 제공되기 이전에, 입력 이미지(I)는 함수(T-1(I))에 의해 변환되고, 중심 영역에서 세부사항들을 보존한다. 이러한 변환은 본 개시내용의 실시예의 광학 엘리먼트에 의해 적용된 역변환 함수에 대응해야 한다. 이것은 예를 들어, 다항식 함수에 의해 근사될 수 있다. 광학 엘리먼트는 시야의 중심인 중심 영역(β 주위)에서 정보의 높은 밀도로, 이미지(I)를 뷰어에게 제공하기 위해 왜곡(T(I1))을 적용한다(도 4 참조).
뷰어에 의해 인지된 픽셀 밀도는 도 4에서 곡선에 의해 표현된다. "α"는 β 주위의 위치를 나타내고, 이는 픽셀 밀도가 픽셀들의 일정한 밀도에 비해, 증가되거나 감소되는 제한 위치를 정의한다. 이러한 곡선은 광학 변환에 의존하며 예로서 여기에 제공된다. 픽셀들의 인지된 밀도는 예를 들어, 최대 시야까지, 지속적으로 감소할 수 있다.
여기서, 인지된 밀도가 최대값에 있는 위치(β)는 1/2 시야(FOV)에 배치된다. 이러한 위치는, 눈이 이동하고 HMD 디바이스 상의 눈 추적 시스템에 의해 추적되는 경우에 변할 수 있다. 광학 엘리먼트는 소정의 눈의 광축과 최대 밀도 영역을 정렬하기 위해 눈 추적 시스템 출력 신호로부터의 출력에 의존하여 좌우로, 위아래로 시프트될 수 있다. 이미지 신호는 변형된 광학 구성과 연관된 새로운 T/T-1 변환에 따라 변형된다. 눈이 추적되고 그에 따라 광학 엘리먼트가 시프트될 때, 값(α)은 와 확장(fovea extension)에 제약되지만 정적 구성에서 고려된 눈 모션 마진들을 배제하는 광학 설계에서 감소될 수 있다.
제안된 해결방안은 각도 섹터 당 상대적인 인지된 픽셀 밀도를 비교하기 위해 표준 구현과 비교되어야 한다.
도 5는 원래 시스템과 동일한 기능을 갖는 렌즈의 설계를 예시한다.
광학 시스템은 약 95°의 총 시야를 갖기 위해 치수화되고(dimensioned), 객체 필드 폭은 2×37.5mm이고, 이는 스크린의 폭이다. 도 5는 축 필드 포인트, 중간의 것 및 마진 필드에 대한 광선 추적(ray tracing)을 도시한다. 시스템은 이미지 공간에서 무한초점(afocal)이도록 설계되고, 동공은 최종 광학 표면의 새그(sag)로부터 10mm 거리에서 4mm이다. 마진 필드 포인트에서의 변조 전달 함수(MTF)는, 동공에 도달하는 비시준된 레드 서브-빔으로부터 추론될 수 있기 때문에 당연히 매우 불량하다. 이미지 공간에서의 인지된 시야는 ±29°이다.
인지된 각도 픽셀 밀도들을 변형하기 위해, 렌즈는 객체 평면 근처에서 셋업될 필요가 있다. 이러한 필드 렌즈는 광축 주위의 디스플레이의 중앙부에서의 픽셀들을 외곽 픽셀들보다 많은 이미지 공간에서의 각도 밀도와 매핑해야 한다. 이러한 특성을 갖는 광학 표면은 반드시 짝수 비구면이다. 이것은 구면 표면으로부터의 편차의 다항식 확장에 의해 설명된 회전 대칭 다항식 비구면 표면이다. 짝수 비구면 표면 모델은 비구면계수를 설명하기 위해 방사 좌표의 짝수 거듭제곱만을 사용한다. 표면 새그는
Figure pct00001
에 의해 제공된다.
여기서, c는 곡률이고, r은 렌즈 유닛들에서 방사 좌표이고, k는 원뿔 상수이다. 필드 렌즈는 필드 포인트들의 상이한 위치들을 개별적으로 변조하기 위해 전면 비구면을 가질 필요가 있으며, 본 실시예의 HMD 디바이스의 광학 시스템의 입사 동공을 향해 각각의 주광선을 포인팅하는 배면 비구면 표면을 가질 필요가 있다.
도 6은 축 근처의 각도 해상도 밀도를 향상시키는 본 실시예의 HMD 디바이스의 전체 광학 시스템을 도시한다. 제1 렌즈는 이미지 공간에서 상이한 각도 밀도들에 대한 필드 포인트들을 왜곡하는 렌즈이다. 그것의 형상은 복잡해 보이지만, SCHOTT AG의 B 270(상표) 유리로 이루어지고 높은 볼륨들 및 저비용으로 몰딩될 수 있을 뿐만 아니라 메인 렌즈가 동일한 재료로 또한 이루어지며, 2개의 비구면 표면들을 갖기 때문에 또한 몰딩될 필요가 있다.
렌즈 규정은 다음과 같다:
표면 데이터 요약:
Figure pct00002
표면 데이터 세부사항:
Figure pct00003
광학 시스템의 구성에 의해 제공된 부수적인 이익으로서, MTF가 또한 향상되었다.
최종으로, 도 6에 도시된 광학 시스템이 본 개시내용에 설명한 기능을 갖는다는 것을 설명하기 위해, 인지된 시야가 도 7에 도시된 바와 같이 디스플레이 상의 필드 위치의 함수로서 플롯될 수 있다. 도 7로부터 알 수 있는 바와 같이, 향상된 시스템은 광축 방향 근처에서 더 높은 인지된 픽셀 밀도를 발생시키는 도 4에 도시된 이론적인 것과 같은 곡선 형상을 실제로 갖는다.
도 8은 본 개시내용의 실시예에 따른 디스플레이 디바이스를 개략적으로 예시하고, 여기서, 도 8(a)는 디바이스의 평면도이고, 도 8(b)는 디바이스의 정면도이다.
도 8에 도시되어 있는 바와 같이, 디스플레이 디바이스(100)는 예를 들어, 광원을 갖는 액정 디스플레이(LCD) 또는 유기 발광 디스플레이(OLED)일 수 있는 디스플레이 모듈(105)을 포함할 수 있다. 디스플레이(100)를 제자리에 홀딩하는 것을 돕기 위해 뷰어의 귀에 걸쳐 각각 확장하는 템플 암들과 같은 고정 엘리먼트들(110)이 디스플레이 디바이스(100)의 양측에 탑재된다. 대안으로는, 고정 엘리먼트(110)는 디바이스(100)를 뷰어의 헤드에 홀딩하기 위한 확장 밴드일 수 있다.
디스플레이 디바이스(100)는 광학 컴포넌트(120) 및 광학 컴포넌트(120)를 이동시키기 위한 액추에이터(115)를 또한 포함한다. 광학 컴포넌트(120)는 도 6과 관련하여 상술한 바와 같이 설계된 2개의 광학 엘리먼트들을 포함할 수 있다. 광학 컴포넌트(120)는 연결 부재(125)를 통해 액추에이터(115)에 연결된다. 액추에이터(115)는 고정 엘리먼트들(110)상에 탑재되고, 광학 컴포넌트(120)는 디스플레이 모듈(105)의 전면의 연결 부재(125)에 의해 지지된다. 이들 액추에이터(115), 광학 컴포넌트(120), 및 연결 부재(125)는 고정 엘리먼트들(110)의 양측에 각각 탑재된다. 액추에이터들(115)에 의해, 광학 컴포넌트들(120)은 도 8(b)에 도시된 화살표들에 의해 표시된 바와 같이, 위아래로 그리고 좌우로 각각 이동될 수 있다. 광학 컴포넌트(120)의 각각의 광학 엘리먼트가, 광학 엘리먼트들이 더 얇은 형상 및 더 가벼운 무게를 가질 수 있도록 프레넬 렌즈의 형태를 대안으로 가질 수 있다는 것에 유의해야 한다.
디스플레이 디바이스(100)에는 뷰어의 눈의 눈 시선 포인트를 검출하기 위한 눈 추적 센서(130)가 제공된다. 눈 추적 센서(130)는 예를 들어, 센서(130)에 의해 초래될 수 있는 디스플레이 스크린의 임의의 음영을 방지하도록 디스플레이 모듈(105)의 상부 또는 하부에 탑재될 수 있다. 또한, 디스플레이 디바이스(100)에는 디스플레이 디바이스(100)가 탑재되는 뷰어의 헤드의 위치를 측정하기 위해 관성 측정 유닛(IMU)과 같은 위치 센서(145)가 제공된다.
디스플레이 디바이스(100)는 디스플레이 모듈(105), 액추에이터들(115), 눈 추적 센서(130), 및 위치 센서(145)를 제어하기 위한 제어 모듈(140)을 더 포함한다. 제어 모듈(140)은 유선 또는 무선 연결을 통해 이들 엘리먼트들에 연결된다. 제어 모듈(140)은 유선 또는 무선 연결을 통해 외부 디바이스(미도시)에 또한 연결된다. 외부 디바이스는 디스플레이 디바이스(100)에 제공될 이미지들 또는 비디오들을 저장한다. 이미지들 또는 비디오들은 외부 디바이스로부터 제어 모듈(140)로 제공되고, 그 후, 제어 모듈(140)은 수신된 이미지 또는 비디오를 디스플레이 모듈(105)상에 제공한다.
디스플레이 디바이스(100)는 뷰어에게 더 양호한 몰입감을 제공할 수 있는 뷰어의 시야에서 다크 공간을 제공하기 위해 디스플레이 모듈(105)의 주변을 둘러싸는 후드(미도시)를 가질 수 있다.
도 9는 도 8에 도시된 제어 모듈의 컴포넌트들을 예시하는 블록도이다.
도 9에 도시되어 있는 바와 같이, 제어 모듈(200)은 I/O 인터페이스(210) 및 메모리 디바이스(220)를 포함한다. 인터페이스(210) 및 메모리 디바이스(220)는 디스플레이 모듈(105)(도 8)상에 제공될 이미지들 또는 비디오들을 수신하여 저장하도록 구성된다.
모듈(200)은 프로세서(230)를 더 포함한다. 프로세서(230)는 눈 추적 센서(130)로부터의 입력들에 기초하여 뷰어의 눈 시선 포인트를 검출하는 것, 검출된 눈 시선 포인트에 응답하여 액추에이터들(115)을 활성화하는 것, 외부 디바이스로부터 수신된 이미지들 또는 비디오들을 디스플레이 모듈(105)상에 제공하는 것, 그리고 위치 센서(145)에 의해 검출되어 입력된 뷰어의 헤드 위치에 응답하여 디스플레이 모듈(105)상에 디스플레이된 이미지들 또는 비디오들을 스크롤하는 것을 수행한다.
프로세서(230)는, 디스플레이(105)(도 8)상의 검출된 눈 시선 포인트 주위의 영역에서 이미지들 또는 비디오들의 정보 밀도가 증가될 수 있도록 도 4를 참조하여 설명한 바와 같이 기하학적 변환(T-1(I))을 적용함으로써 이미지들 또는 비디오들을 변형하는 것을 더 수행한다. 프로세서(230)는 기하학적 변환(T-1(I))에 의해 초래될 수 있는 이미지들 또는 비디오들에서의 휘도의 변동을 보상하기 위해 휘도 보상을 더 적용할 수 있다. 메모리 디바이스(220)는 상기 언급한 프로세스들을 수행하는 프로세서(230)에 의해 실행될 적어도 하나의 프로그램을 저장하도록 또한 구성된다.
도 10은 본 개시내용의 실시예에 따른 디스플레이 디바이스에 의해 수행된 프로세스의 예를 예시하는 플로우차트이다.
단계(S10)에서, 디스플레이 디바이스(100)의 제어 모듈(140; 200)은 그것의 I/O 인터페이스(210)를 통해 외부 디바이스(미도시)로부터 몰입형 이미지 또는 비디오 콘텐츠를 수신한다. 수신된 콘텐츠는 메모리 모듈(230)에 저장된다. 몰입형 콘텐츠는 360° 콘텐츠(또는 360°보다 작지만 HMD의 디스플레이 스크린에 의해 디스플레이될 수 있는 것보다 큰) 콘텐츠를 디스플레이하기 위해 HMD 디바이스에 대해 이용가능한 전체 콘텐츠일 수 있고, 다시 말해, 몰입형 콘텐츠는 HMD의 디스플레이 스크린의 영역보다 넓은 영역을 가질 수 있다. 이러한 몰입형 콘텐츠에 의해, 뷰어는 HMD 디바이스 상에 디스플레이된 가상 세계에 몰입될 수 있으며, 자신이 보기를 원하는 전체 360° 콘텐츠의 일부를 선택하기 위해 자신의 헤드를 이동할 수 있다.
단계(S12)에서, 뷰어의 헤드 위치는 위치 센서(145)에 의해 검출되고, 그 후, 단계(S14)에서, HMD 디바이스 상에 디스플레이될 360° 콘텐츠의 일부가 프로세서(220)에 의해 선택된다. 뷰어가 보기를 원하는 360° 콘텐츠의 일부는 검출된 헤드 위치에 대응한다.
단계(S16)에서, 디스플레이 디바이스(100)가 탑재되는 뷰어의 눈들의 눈 시선 위치는 눈 추적 센서(130)에 의해 결정된다. 검출된 정보는 센서(130)로부터 제어 모듈(200)의 프로세서(220)로 출력된다. 검출된 정보에 기초하여, 프로세서(220)는 디스플레이 모듈(105)상의 뷰어의 눈들의 눈 시선 위치를 특정하는, 즉, 뷰어가 디스플레이 모듈(105)상의 어느 영역을 보고 있는지를 특정하는 분석을 수행한다. 단계(S16)가 단계들(S10 내지 S14) 동안 수행될 수 있다는 것에 유의해야 한다.
대안으로, 단계(S16)에서, 콘텐츠에서 관심 영역(ROI)의 정보가 눈 추적 센서(130)에 의한 눈 시선 위치의 검출 대신에 뷰어의 눈들의 눈 시선 위치를 결정하기 위해 이용될 수 있다. 이러한 경우에, 콘텐츠(각각의 이미지 또는 비디오의 각각의 프레임)에서의 ROI의 영역들은 테스트 사용자들 또는 임의의 공지된 전용 ROI 분석 소프트웨어에 의해 사전에 결정될 수 있고 콘텐츠에 통합된 메타데이터를 통해 콘텐츠와 연관될 수 있다. 콘텐츠에서의 ROI의 영역들은, 뷰어가 콘텐츠에서의 ROI의 영역에 주의를 기울일 가능성이 높기 때문에 눈 시선 위치들로 추정될 수 있어서, 눈 시선은 이들 ROI들에 더욱 관심을 갖는다.
단계(S18)에서, 프로세서(220)는 메모리 모듈(230)에 저장된 이미지 또는 비디오를 판독하고, 이미지 또는 비디오의 더 높은 밀도 정보를 갖는 영역이 디스플레이(105)상의 특정한 눈 시선 위치에서 형성될 수 있도록 이미지 또는 비디오를 변형한다. 이미지 또는 비디오의 변형은 광학 컴포넌트들(120)(도 4)에 의해 적용된 역변환 함수에 대응하는 기하학적 변환을 적용함으로써 수행될 수 있다. 그 후, 프로세서(220)는 변형된 이미지 또는 비디오 콘텐츠를 디스플레이 디바이스(105)상에 제공한다.
단계(S20)에서, 프로세서(220)는 뷰어가 광학 컴포넌트들(120)을 통해 디스플레이(105)를 볼 수 있도록 디스플레이(105)상의 특정한 눈 시선 위치에 응답하여 각각의 광학 컴포넌트들(120)을 이동시키도록 액추에이터들(115)을 제어한다. 예를 들어, 디스플레이(105)상의 눈 시선 위치들과 광학 컴포넌트들(120)의 각각의 대응하는 위치들 사이의 연관이 사전에 확립되어 메모리 모듈(230)에 저장될 수 있다. 이러한 경우에, 프로세서(220)는 액추에이터들(115)로 하여금 광학 컴포넌트들(120)을 연관에 따른 검출된 눈 시선 위치에 대응하는 위치로 이동시키게 한다.
광학 컴포넌트들(120)은 디스플레이(105)상에 제공된 이미지 또는 비디오에 대해 이루어진 변환을 보상하는 왜곡(T(I1))을 적용하기 때문에, 광학 컴포넌트들(120)을 통해 뷰어에 의해 인지된 이미지 또는 비디오 콘텐츠는 눈 시선 위치의 주변에서보다 눈 시선 위치에서 더 높은 정보의 밀도를 갖는다.
단계들(S12 내지 S20)은 이미지 또는 비디오 콘텐츠가 디스플레이(105)상에 제공되는 동안 반복될 수 있고, 이는 이미지 또는 비디오에 대한 밀집 정보 영역(나머지 콘텐츠에서보다 더 높은 정보 밀도를 갖는 이미지 또는 비디오 콘텐츠의 영역) 및 검출된 눈 시선 위치에 실시간으로 응답하여 광학 컴포넌트들(120)의 일부들을 변화시키게 한다.
실시예에 따르면, 디스플레이(105)상의 눈 시선 영역에서 이용가능한 정보의 밀도는 극적으로 증가될 수 있어서, 더 많은 세부사항들이 이러한 영역에서 제공될 수 있다. 반면에, 시력이 주변 시각에서 훨씬 낮기 때문에, 큰 시야에 의해 야기된 몰입감이 보존될 수 있다.
대안으로, 이미지 또는 비디오에 대한 밀집 정보 영역 및 광학 컴포넌트들(120)의 일부는 고정될 수 있고, 예를 들어, 이미지 또는 비디오에 대한 밀접 정보 영역은 디스플레이(105)상의 이미지 또는 비디오의 중심 영역에서 고정될 수 있고, 광학 컴포넌트들(120)의 위치들은 대응하는 위치들일 수 있다. 이러한 경우에, 상술한 단계들(S12 및 S16)이 생략될 수 있다.
대안으로, 단계(S14)에서, 프로세서(220)는 외부 디바이스로부터 직접 수신된 이미지 또는 비디오를 변형할 수 있고 변형된 이미지 또는 비디오를 디스플레이 디바이스(105)상에 제공할 수 있다. 이러한 경우에, 수신된 이미지 또는 비디오 콘텐츠는 메모리 모듈(230)에 저장되지 않을 수 있다.
본원에 인용되는 모든 예들 및 조건부 언어는 발명자가 본 기술을 발전시키기 위해 기여한 개념들 및 본 개시내용을 독자가 이해하는데 있어서 돕기 위한 교육적인 목적들을 위해 의도되며, 이러한 구체적으로 인용된 예들 및 조건들에 제한되지 않는 것으로 해석되어야 하며, 본 명세서에서 이러한 예들의 구성은 본 개시내용의 우열을 나타내는 것과 관련이 없다.

Claims (14)

  1. 디스플레이 디바이스(100) 상에 이미지를 제공(presenting)하는 방법으로서,
    상기 디스플레이 디바이스 상의 상기 이미지의 영역이 상기 이미지의 나머지에서보다 높은 픽셀들의 밀도로 뷰어(viewer)에게 제공되도록 기하학적 변환(geometric transformation)을 상기 이미지에 적용함으로써 상기 이미지를 변형하는 단계(S18)
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 방법은, 상기 이미지에 적용된 상기 기하학적 변환에 대응하는 역변환을 적용하는 광학 컴포넌트(120)를 통해 상기 디스플레이 디바이스 상의 이미지를 상기 뷰어에게 제공하는 단계(S18)를 더 포함하는, 방법.
  3. 제2항에 있어서, 상기 방법은,
    상기 뷰어의 눈 시선 위치(eye gaze position)를 결정하는 단계(S16); 및
    상기 결정된 눈 시선 위치에 응답하여 상기 더 높은 픽셀들의 밀도를 갖는 상기 디스플레이 디바이스 상의 상기 이미지의 영역 및 상기 광학 컴포넌트의 위치를 변경하는 단계(S18, S20)를 더 포함하는, 방법.
  4. 제1항 또는 제2항에 있어서, 상기 더 높은 픽셀들의 밀도를 갖는 상기 디스플레이 디바이스 상의 상기 이미지의 영역의 위치가 상기 디스플레이 디바이스 상의 미리 결정된 위치에 고정되는(S18), 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 디스플레이 디바이스는 헤드 마운트 디스플레이(head mounted display)(HMD) 디바이스인, 방법.
  6. 제5항에 있어서, 상기 콘텐츠는 상기 디스플레이 디바이스 상에 디스플레이될 수 있는 것보다 넓은 영역을 갖고, 상기 방법은:
    상기 뷰어의 헤드 위치를 검출하는 단계(S12); 및
    상기 검출된 헤드 위치에 응답하여 상기 디스플레이 디바이스 상에 디스플레이될 상기 이미지의 일부를 선택하는 단계(S14)를 더 포함하는, 방법.
  7. 적어도 프로세서(230)를 포함하는 이미지를 제공하는 디스플레이 디바이스(100)로서,
    상기 프로세서(230)는,
    상기 디스플레이 디바이스 상의 상기 이미지의 영역이 이미지의 나머지에서보다 높은 픽셀들의 밀도로 뷰어에게 제공되도록 기하학적 변환을 상기 이미지에 적용함으로써 상기 이미지를 변형하도록 구성되는, 디스플레이 디바이스.
  8. 제7항에 있어서, 상기 디스플레이 디바이스는 광학 컴포넌트(120) - 상기 광학 컴포넌트를 통해 상기 디스플레이 디바이스 상의 상기 이미지가 상기 뷰어에게 제공됨 - 를 더 포함하고, 상기 광학 컴포넌트는 상기 이미지에 적용된 상기 기하학적 변환에 대응하는 역변환을 적용하도록 구성되는, 디스플레이 디바이스.
  9. 제8항에 있어서, 상기 디스플레이 디바이스는 눈 추적 센서(eye tracking sensor)(130)를 더 포함하고, 상기 프로세서는,
    상기 눈 추적 센서와 협력하여 상기 뷰어의 눈 시선 위치를 결정하며;
    상기 결정된 눈 시선 위치에 응답하여 상기 더 높은 픽셀들의 밀도를 갖는 상기 디스플레이 디바이스 상의 상기 이미지의 영역 및 상기 광학 컴포넌트의 위치를 변경하도록 더 구성되는, 디스플레이 디바이스.
  10. 제8항에 있어서, 상기 프로세서는,
    상기 콘텐츠에 통합된 관심 영역의 정보에 기초하여 상기 뷰어의 눈 시선 위치를 결정하며;
    상기 결정된 눈 시선 위치에 응답하여 상기 더 높은 픽셀들의 밀도를 갖는 상기 디스플레이 디바이스 상의 상기 이미지의 영역 및 상기 광학 컴포넌트의 위치를 변경하도록 더 구성되는, 디스플레이 디바이스.
  11. 제9항 또는 제10항에 있어서, 상기 디스플레이 디바이스는 상기 광학 컴포넌트를 이동시키기 위한 액추에이터를 더 포함하고, 상기 광학 컴포넌트의 위치는 상기 결정된 눈 시선 위치에 응답하여 상기 액추에이터를 동작시킴으로써 변경되는, 디스플레이 디바이스.
  12. 제7항 또는 제8항에 있어서, 상기 더 높은 픽셀들의 밀도를 갖는 상기 디스플레이 디바이스 상의 상기 이미지의 영역의 위치가 상기 디스플레이 디바이스 상의 미리 결정된 위치에 고정되는, 디스플레이 디바이스.
  13. 제7항 내지 제11항 중 어느 한 항에 있어서, 상기 디스플레이 디바이스는 헤드 마운트 디스플레이(HMD) 디바이스인, 디스플레이 디바이스.
  14. 제13항에 있어서, 상기 디스플레이 디바이스는 상기 뷰어의 헤드 위치를 검출하는 위치 센서(145)를 더 포함하고, 상기 이미지는 상기 디스플레이 디바이스 상에 디스플레이될 수 있는 것보다 넓은 영역을 갖고, 상기 프로세서는,
    상기 위치 센서와 협력하여 상기 뷰어의 헤드 위치를 검출하며;
    상기 검출된 헤드 위치에 응답하여 상기 디스플레이 디바이스 상에 디스플레이될 상기 이미지의 일부를 선택하도록 더 구성되는, 디스플레이 디바이스.
KR1020167035037A 2014-06-17 2015-06-16 픽셀 재분할 최적화를 갖는 방법 및 디스플레이 디바이스 Active KR102503029B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305923.6 2014-06-17
EP14305923.6A EP2958074A1 (en) 2014-06-17 2014-06-17 A method and a display device with pixel repartition optimization
PCT/EP2015/063435 WO2015193287A1 (en) 2014-06-17 2015-06-16 A method and a display device with pixel repartition optimization

Publications (2)

Publication Number Publication Date
KR20170020351A true KR20170020351A (ko) 2017-02-22
KR102503029B1 KR102503029B1 (ko) 2023-02-23

Family

ID=51162628

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167035037A Active KR102503029B1 (ko) 2014-06-17 2015-06-16 픽셀 재분할 최적화를 갖는 방법 및 디스플레이 디바이스

Country Status (10)

Country Link
US (1) US11593914B2 (ko)
EP (2) EP2958074A1 (ko)
JP (1) JP6684728B2 (ko)
KR (1) KR102503029B1 (ko)
CN (1) CN106461951B (ko)
CA (1) CA2952710C (ko)
MX (1) MX371370B (ko)
RU (1) RU2693329C2 (ko)
TW (1) TWI660201B (ko)
WO (1) WO2015193287A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190126895A (ko) * 2017-03-22 2019-11-12 매직 립, 인코포레이티드 동적 시야 가변 초점 디스플레이 시스템

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016130941A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display
CN106293047B (zh) * 2015-06-26 2020-01-10 微软技术许可有限责任公司 通过动态分辨率缩放来减少移动设备的功耗
US10958834B2 (en) 2016-07-22 2021-03-23 Immervision, Inc. Method to capture, store, distribute, share, stream and display panoramic image or video
JP6844210B2 (ja) * 2016-11-16 2021-03-17 凸版印刷株式会社 視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラム
US10764552B2 (en) * 2017-05-26 2020-09-01 Google Llc Near-eye display with sparse sampling super-resolution
CN110832442A (zh) * 2017-06-09 2020-02-21 索尼互动娱乐股份有限公司 注视点渲染系统中的优化的阴影和自适应网状蒙皮
US20190079284A1 (en) * 2017-09-08 2019-03-14 Mediatek Inc. Variable DPI Across A Display And Control Thereof
US10521881B1 (en) * 2017-09-28 2019-12-31 Apple Inc. Error concealment for a head-mountable device
US10511842B2 (en) * 2017-10-06 2019-12-17 Qualcomm Incorporated System and method for foveated compression of image frames in a system on a chip
CN111133362B (zh) 2017-10-22 2021-12-28 鲁姆斯有限公司 采用光具座的头戴式增强现实设备
EP4439172A3 (en) 2017-12-10 2024-10-23 Lumus Ltd. Image projector
CN112106132A (zh) * 2018-05-15 2020-12-18 索尼半导体解决方案公司 显示单元
IL259518B2 (en) * 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
EP3894937A4 (en) * 2018-12-10 2022-02-16 Facebook Technologies, LLC. ADAPTIVE FENCES FOR HYPERFOCAL FENCE DISPLAY (HVP) DEVICES
IL289411B2 (en) 2019-06-27 2025-07-01 Lumus Ltd Device and methods for eye tracking based on eye imaging using a light-conducting optical component
JP7392105B2 (ja) * 2019-07-28 2023-12-05 グーグル エルエルシー 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
CA3155597C (en) 2019-12-08 2023-02-14 Lumus Ltd. Optical systems with compact image projector
KR20260045918A (ko) 2019-12-25 2026-04-03 루머스 리미티드 도광 광학 엘리먼트와 연관된 광학 배열체를 사용하여 눈으로부터 광을 방향 전환시키는 것에 기초한 시선 추적을 위한 광학계 및 방법
WO2021241073A1 (ja) * 2020-05-27 2021-12-02 ソニーグループ株式会社 表示装置及び表示方法
WO2022031572A1 (en) * 2020-08-03 2022-02-10 Arizona Board Of Regents On Behalf Of The University Of Arizona Perceptual-driven foveated displays
US12529891B2 (en) 2020-12-17 2026-01-20 Lumus Ltd. Optical systems and methods for eye tracking based on eye imaging via collimating element and light-guide optical element
IL303770B2 (en) 2020-12-20 2024-03-01 Lumus Ltd Image projector with laser scanning over spatial light modulator
US11899215B1 (en) * 2022-07-29 2024-02-13 Htc Corporation Head mounted display, display device and image display method thereof
EP4542343A4 (en) 2022-12-29 2025-11-19 Samsung Electronics Co Ltd VISIO-HELMET DEVICE INCLUDING AN EYE-TRACKING SENSOR AND OPERATING METHOD FOR VISIO-HELMET DEVICE

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0638219A (ja) * 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
JP2000310747A (ja) * 1999-02-26 2000-11-07 Mr System Kenkyusho:Kk 画像観察装置
JP2001281594A (ja) * 2000-03-30 2001-10-10 Denso Corp 網膜走査ディスプレイ装置及び光走査装置
KR20020089475A (ko) * 2001-02-21 2002-11-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 신호를 처리하기 위한 디스플레이 시스템
KR20030007708A (ko) * 2001-03-28 2003-01-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 눈 응시 스마트 디스플레이를 위한 방법 및 장치
KR20090067123A (ko) * 2007-12-20 2009-06-24 레이던 컴퍼니 촬상 시스템
US20120320463A1 (en) * 2011-06-17 2012-12-20 Gal Shabtay Auto-focus actuator for field curvature correction of zoom lenses

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01252993A (ja) * 1988-04-01 1989-10-09 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法
JP2896291B2 (ja) 1993-06-14 1999-05-31 株式会社エイ・ティ・アール通信システム研究所 画像表示装置
JP2638444B2 (ja) * 1993-10-04 1997-08-06 日本電気株式会社 頭部搭載型画像表示装置
JP3283367B2 (ja) * 1993-11-11 2002-05-20 三菱プレシジョン株式会社 潜望鏡映像表示装置
JP3604443B2 (ja) * 1995-02-28 2004-12-22 株式会社島津製作所 テレビジョンシステム
US6734838B1 (en) 1998-05-18 2004-05-11 Dimension Technologies Inc. Enhanced resolution for image generation
US20020063807A1 (en) * 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
US20060145945A1 (en) 2002-01-07 2006-07-06 Lewis John R Scanned beam system with distortion compensation
US7495638B2 (en) 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
RU2322771C2 (ru) * 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
US20090309811A1 (en) 2006-10-31 2009-12-17 Bae Systems Plc Image display systems
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9529191B2 (en) * 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
CN103380625A (zh) 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
US8817379B2 (en) * 2011-07-12 2014-08-26 Google Inc. Whole image scanning mirror display system
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US20130215147A1 (en) 2012-02-17 2013-08-22 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US9720231B2 (en) * 2012-09-26 2017-08-01 Dolby Laboratories Licensing Corporation Display, imaging system and controller for eyewear display device
JP5935640B2 (ja) 2012-10-01 2016-06-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
CN103593051B (zh) 2013-11-11 2017-02-15 百度在线网络技术（北京）有限公司 头戴式显示设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0638219A (ja) * 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
JP2000310747A (ja) * 1999-02-26 2000-11-07 Mr System Kenkyusho:Kk 画像観察装置
JP2001281594A (ja) * 2000-03-30 2001-10-10 Denso Corp 網膜走査ディスプレイ装置及び光走査装置
KR20020089475A (ko) * 2001-02-21 2002-11-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 신호를 처리하기 위한 디스플레이 시스템
KR20030007708A (ko) * 2001-03-28 2003-01-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 눈 응시 스마트 디스플레이를 위한 방법 및 장치
KR20090067123A (ko) * 2007-12-20 2009-06-24 레이던 컴퍼니 촬상 시스템
US20120320463A1 (en) * 2011-06-17 2012-12-20 Gal Shabtay Auto-focus actuator for field curvature correction of zoom lenses

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190126895A (ko) * 2017-03-22 2019-11-12 매직 립, 인코포레이티드 동적 시야 가변 초점 디스플레이 시스템
US12007573B2 (en) 2017-03-22 2024-06-11 Magic Leap, Inc. Dynamic field of view variable focus display system

Also Published As

Publication number Publication date
RU2693329C2 (ru) 2019-07-02
MX371370B (es) 2020-01-28
RU2017101239A (ru) 2018-07-17
MX2016016718A (es) 2017-04-13
EP2958074A1 (en) 2015-12-23
CN106461951B (zh) 2020-07-17
TW201600887A (zh) 2016-01-01
TWI660201B (zh) 2019-05-21
WO2015193287A1 (en) 2015-12-23
US11593914B2 (en) 2023-02-28
CA2952710A1 (en) 2015-12-23
EP3158531A1 (en) 2017-04-26
EP3158531B1 (en) 2024-04-24
CN106461951A (zh) 2017-02-22
US20170132757A1 (en) 2017-05-11
KR102503029B1 (ko) 2023-02-23
RU2017101239A3 (ko) 2018-12-13
JP6684728B2 (ja) 2020-04-22
CA2952710C (en) 2024-01-02
JP2017522591A (ja) 2017-08-10

Similar Documents

Publication Publication Date Title
KR102503029B1 (ko) 픽셀 재분할 최적화를 갖는 방법 및 디스플레이 디바이스
US9191658B2 (en) Head-mounted display and position gap adjustment method
US10591731B2 (en) Ocular video stabilization
CN111602082B (zh) 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
US9372348B2 (en) Apparatus and method for a bioptic real time video system
US9911214B2 (en) Display control method and display control apparatus
CA3043204C (en) Apparatus and method for a dynamic &#34;region of interest&#34; in a display system
US10819898B1 (en) Imaging device with field-of-view shift control
US11301969B1 (en) Context aware dynamic distortion correction
CN110214300A (zh) 相位对准的凹形渲染
US10771774B1 (en) Display apparatus and method of producing images having spatially-variable angular resolutions
US10083675B2 (en) Display control method and display control apparatus
CN115202475A (zh) 显示方法、装置、电子设备及计算机可读存储介质
HK1236670B (en) A method and a display device with pixel repartition optimization
HK1236670A1 (en) A method and a display device with pixel repartition optimization
US20260030793A1 (en) Dynamic attentional region generation and rendering

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

A201 Request for examination
AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4