KR20170136582A - 눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법 - Google Patents

눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법 Download PDF

Info

Publication number
KR20170136582A
KR20170136582A KR1020177032325A KR20177032325A KR20170136582A KR 20170136582 A KR20170136582 A KR 20170136582A KR 1020177032325 A KR1020177032325 A KR 1020177032325A KR 20177032325 A KR20177032325 A KR 20177032325A KR 20170136582 A KR20170136582 A KR 20170136582A
Authority
KR
South Korea
Prior art keywords
eye
image
tracking device
optical system
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020177032325A
Other languages
English (en)
Other versions
KR102000865B1 (ko
Inventor
톰 센게로브
마틴 할러
얀 호프만
Original Assignee
센소모토릭 인스트루멘츠 게젤샤프트 퓌어 이노바티브 센소릭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 센소모토릭 인스트루멘츠 게젤샤프트 퓌어 이노바티브 센소릭 filed Critical 센소모토릭 인스트루멘츠 게젤샤프트 퓌어 이노바티브 센소릭
Publication of KR20170136582A publication Critical patent/KR20170136582A/ko
Application granted granted Critical
Publication of KR102000865B1 publication Critical patent/KR102000865B1/ko
Assigned to 애플 인크. reassignment 애플 인크. 권리의 전부이전등록 Assignors: 센소모토릭 인스트루멘츠 게젤샤프트 퓌어 이노바티브 센소릭 엠베하
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 캡처 유닛을 포함하는 광학 시스템(14) 및 프로세싱 유닛(18)을 포함하는 눈 추적 디바이스(10a, 10b, 10c)에 관한 것이다. 광학 시스템(14)은 제1 이미징 특성을 갖는 제1 광학 경로(P; P1) 및 제2 이미징 특성을 갖는 제2 광학 경로(P; P2)를 제공하고, 캡처 유닛(C; C1, C2)은 제1 광학 경로(P; P1)를 따라 지나간 광을 캡처하여 제1 이미지(24a)를 캡처하고 제2 광학 경로(P; P2)를 따라 지나간 광을 캡처하여 제2 이미지(24b)를 캡처하여, 제1및 제2 이미징 특성의 차이로 인해, 제1 이미지(24a) 및 제2 이미지(24b)는 제1 이미지 및 제2 이미지(24b)의 적어도 일부의 특징에 관련된 차이를 포함하며, 눈 추적 디바이스(10a; 10b; 10c)는 제1 이미지(24a) 및 제2 이미지(24b) 중 적어도 하나에 기초하여 눈(12)의 특성을 결정하도록 구성된다.

Description

눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법
본 발명은 사용자의 적어도 하나의 눈의 적어도 하나의 부분의 이미지들을 캡처하기 위한 캡처 유닛을 포함하는 광학 시스템을 포함하는, 눈 추적 디바이스에 관한 것이다. 눈 추적 디바이스는 캡처된 이미지들에 기초하여 적어도 하나의 눈의 적어도 하나의 특성(예를 들어, 응시 방향)을 결정하기 위한 프로세싱 유닛을 추가로 포함한다. 또한, 캡처 유닛은 사용자의 적어도 하나의 눈의 적어도 하나의 부분의 제1 이미지 및 제2 이미지를 캡처하도록 구성된다. 본 발명은 또한 눈 추적 디바이스를 동작시키기 위한 대응하는 방법에 관한 것이다.
외형-기반 눈 추적 또는 모델-기반 눈 추적과 같은 다양한 눈 추적 방법들뿐만 아니라, 원격 눈 추적기 또는 헤드-마운트형 눈 추적기와 같은 다양한 눈 추적 디바이스들이 종래 기술에서 알려져 있다. 그러한 눈 추적 디바이스들은 보통 사용자의 눈의 이미지들을 캡처하고 캡처된 이미지들에 기초하여 눈의 특정 피처들을 결정한다. 보통, 이들 이미지들로부터, 동공 위치 또는 홍채 위치가 결정된다. 예를 들어, 동공 위치는, 먼저 이미지 내에서 동공을 검색하고, 이어서 예를 들어, 동공 윤곽 점들의 중심을 찾음으로써, 동공 중심을 계산하여 찾아낼 수 있다. 일부 눈 추적기들은 또한 눈 상에 각막 반사를 생성하기 위해 활성 조명(active illumination)을 사용한다. 각막 표면이 구형임을 가정하고 두 개 이상의 그러한 각막 반사의 위치를 결정함으로써, 각막 중심이 결정될 수 있다. 또한, 응시 방향은, 예를 들어, 각막 중심 및 동공 중심을 통과하는 직선으로서 결정될 수 있다. 이 직선은 눈의 광학 축을 정의하며, 각각의 개별 사용자의 광학 축으로부터의 시선(line of sight)의 개별 편차들을 고려하기 위해 교정 절차에서 교정될 수 있다.
일반적으로 눈 추적기 및 눈 추적 방법에 관하여, 정확성 및 정밀성을 향상시킬 필요성이 항상 존재할 것이다. 응시 방향 또는 다른 결정된 눈 피처들의 정확성 및 정밀성은 주로 동공 또는 각막 반사와 같은 눈 피처들 및 그것들의 위치들이 캡처된 이미지들 내에서 얼마나 정확히 결정될 수 있는지에 의존한다. 또한, 눈 추적기가 컴퓨터, 자동차, 가상 현실 안경, 등과 같은 점점 더 많은 디바이스들에 통합됨에 따라, 매우 컴팩트한 눈 추적 디바이스들을 제공하고 큰 유연성을 제공할 필요성이 또한 존재한다.
따라서, 본 발명의 목적은, 높은 정밀성 및 정확성이 달성될 수 있게 하고 눈 추적 능력이 향상될 수 있게 하는, 눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법을 제공하는 것이다.
이 목적은 각각의 독립 청구항들의 피처들을 갖춘 눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법에 의해 해결된다. 본 발명의 유익한 실시예들은 종속 청구항들에 제시된다.
본 발명에 따른 눈 추적 디바이스는 사용자의 적어도 하나의 눈의 적어도 하나의 부분의 이미지들을 캡처하기 위한 캡처 유닛을 포함하는 광학 시스템을 포함하고, 눈 추적 디바이스는 캡처된 이미지들에 기초하여 적어도 하나의 눈의 적어도 하나의 특성을 결정하기 위한 프로세싱 유닛을 추가로 포함하며, 캡처 유닛은 사용자의 적어도 하나의 눈의 적어도 하나의 부분의 제1 이미지 및 제2 이미지를 캡처하도록 구성된다. 또한, 광학 시스템은 적어도 하나의 제1 이미징 특성 및 제1 이미징 특성과는 상이한 제2 이미징 특성을 포함하는 이미징 특성을 포함한다. 또한, 광학 시스템은 제1 이미징 특성을 갖는 제1 광학 경로 및 제2 이미징 특성을 갖는 제2 광학 경로를 제공한다. 또한, 눈 추적 디바이스는 캡처 유닛이 제1 광학 경로를 따라 지나간 광을 캡처하여 제1 이미지를 캡처하고 제2 광학 경로를 따라 지나간 광을 캡처하여 제2 이미지를 캡처하도록 구성되어, 제1 및 제2 이미징 특성들의 차이로 인해 제1 이미지 및 제2 이미지는 제1 및 제2 이미지의 적어도 일부의 특징에 관련된 차이를 포함하고, 눈 추적 디바이스는 제1 이미지 및 제2 이미지 중 적어도 하나에 기초하여 눈의 적어도 하나의 특성을 결정하도록 구성된다.
하나의 동일한 눈 추적 디바이스에 의해, 예를 들어, 상이한 초점 길이들에 의해, 상이한 이미징 특성들을 제공함으로써, 상이한 상황들에 적응하기 위한 훨씬 더 큰 유연성이 제공된다. 더욱이, 이로써, 특히 정확성 및 정밀성과 관련하여 큰 이점이 제공될 수 있다. 특히, 본 발명은 몇 가지 발견들에 기초한다: 예를 들어, 상이한 이미징 특성들은 상이한 초점 길이들 또는 상이한 이미지 평면들에 의해 제공될 수 있다. 일반적인 눈 추적기는 고정된 피사계 심도(depth of field)의 고정 초점 렌즈들을 사용한다. 고정된 피사계 심도는 특히, 원격 눈 추적기와 관련하여 불리하며, 카메라에 대한 사용자의 위치가 많이 변할 수 있다. 따라서, 카메라에 대한 눈의 위치가 변하더라도, 선명한 눈 이미지들을 캡처할 수 있도록 피사계 심도가 커야 한다. 큰 피사계 심도를 제공하기 위해, 카메라의 조리개가 매우 작아야 하며, 이는 다시 이미지 캡처에 대한 큰 광 손실 및 낮은 광 강도로 이어져, 나쁜 이미지 품질을 초래하고 이미지 내에서 동공과 같은 눈 피처들을 정밀하게 결정하기 어렵게 만든다. 그러나, 본 발명에 따르면, 상이한 이미징 특성들을 가지는 것이 가능하며, 이는 예를 들어 큰 피사계 심도를 필요로 하지 않고 사용자의 눈에 초점을 맞출 수 있게 한다. 이는 다시 이미지 캡처를 위한 더 큰 조리개, 더 높은 광 강도, 더 높은 이미지 품질을 허용하므로, 눈의 적어도 하나의 특성을 결정할 때 정밀성 및 정확성을 향상시킨다. 또한, 본 발명의 또 다른 중요한 발견은, 선명하지 않거나 흐릿한 이미지들이 사용되면 각막 반사의 위치가 더 정확하게 결정될 수 있다는 것이다. 예를 들어, 초점이 맞는(in-focus) 눈 이미지가 캡처되면, 각막 반사는 이미지 내에서 매우 작고 밝은 점으로서 나타난다. 그러나, 상황에 따라 또는 또한 이미지 센서의 해상도에 따라, 그러한 작은 점의 위치를 정확하게 결정하는 것은 어렵다. 각막 반사의 실제 위치로부터의 결정된 점 위치의 단지 작은 편차는 최종적으로 결정된 응시 방향에서는 큰 오차로 이어질 것이다. 대신에 초점이 맞지 않는 눈 이미지가 캡처된 경우, 그러한 각막 반사는 점으로서 나타나지 않고 확대된 원으로서 나타나며, 원 윤곽 점들에 기초하여 이 원 중심을 결정하는 것이 정확성 및 정밀성과 관련하여 훨씬 더 나은 결과를 가져옴이 발견되었는데, 특히, 윤곽 점들의 위치 결정의 오류가, 이 윤곽의 중심을 결정하기 위해, 예를 들어, 발견된 윤곽 점들에 타원을 맞춤으로써 이들 점들을 평균화할 때 훨씬 더 잘 보상될 수 있기 때문이다. 그러나, 동공 위치를 결정하는 것이라면 상황이 다르다. 동공 위치는 대신에 이미지가 선명할수록 더 정확하게 결정될 수 있다. 따라서, 본 발명은 또한 유익하게도 결정될 피처들에 따라 상이한 이미징 특성들을 사용할 수 있게 한다. 예를 들어, 선명한 이미지들 및 선명하지 않은 이미지들이 동시에 또는 연속적으로 캡처될 수 있고, 그후 선명한 이미지들은 동공 위치를 결정하는데 사용될 수 있고, 선명하지 않은 이미지들은 각막 반사의 위치를 결정하는데 사용될 수 있다. 본 발명은 또한 눈 추적 디바이스를 다른 장치, 특히 헤드-마운트형 디스플레이에 통합하는 것에 관한 큰 장점을 갖는데, 그러한 설정에서, 광학 시스템에 의해 제공되는 상이한 이미징 특성들이 눈 추적을 향상시키는데 사용될 수 있을 뿐만 아니라, 매우 유익한 방식으로 디스플레이의 이미지들을 투사하는데 사용될 수 있기 때문이며, 이는 추후 보다 상세히 설명된다. 따라서, 눈 추적 디바이스의 광학 장치는 디스플레이 디바이스와 같은 다른 디바이스들과 공유될 수 있으며, 이는 다른 디바이스들에 눈 추적 디바이스의 컴팩트한 통합을 용이하게 한다.
본 발명의 추가의 큰 이점은, 예를 들어, 눈 피처들의 심도를 추정하기 위해 초점 스위프(sweep)를 이용하거나, 사용자의 안경의 바람직하지 않은 반사와 같은 원치 않는 피처들을 흐릿하게 지우기(blur out) 위해 의도적으로 선명하지 않은 이미지들을 사용하거나, 또는 각막 반사와 같은 특정 피처들을 더욱 쉽게 식별할 수 있도록 이미지들 내의 특징의 차이를 능동적으로 이용할 수 있다는 것이다. 예를 들어, 광원들이 사용자의 눈 상에 각막 반사를 생성하기 위해 제공되고 광원들이 상이한 이미징 특성들로 광학 시스템을 통해 눈을 조명한다면, 캡처된 이미지들 내의 각막 반사의 외형은 그에 따라 변할 것이며, 따라서 환경 광으로부터 더 쉽게 구별될 수 있다.
따라서, 상이한 이미징 특성들을 제공함으로써, 정확성과 정밀성, 광 손실의 감소, 및 다양한 눈 추적 상황들에의 적응과 관련된 많은 이점들이 달성될 수 있다.
눈 추적 디바이스는 눈 추적 안경 디바이스와 같이 헤드-마운트형 눈 추적 디바이스, 또는 헬멧에 통합되거나 또한 헤드-마운트형 디스플레이 디바이스, 가상 현실 안경, 증강 현실 안경 또는 다른 머리 착용 디바이스에 통합된 눈 추적기일 수 있다. 눈 추적 디바이스는 또한 컴퓨터, 디스플레이, 모니터 등과 같은 다른 디바이스들과 선택적으로 통합되거나 연결되는 원격 눈 추적기일 수 있다. 캡처 유닛은 하나 이상의 카메라, 이미지 센서와 같은 광 센서, 예를 들어, CCD 센서 또는 CMOS 센서를 포함할 수 있다. 일반적으로, 프로세싱 유닛은 프로세서, 제어기, 마이크로제어기 또는 임의의 종류의 집적 회로일 수 있다. 광학 시스템은 하나 이상의 렌즈, 프리즘, 빔 스플리터, 미러, 반사기, 광 가이드, 콜리메이터 등과 같은 임의의 광학 요소들을 포함할 수 있다.
본 발명의 바람직한 실시예에 따르면, 제1 및 제2 이미징 특성 각각은, 초점 길이, 기준 위치에 대한, 눈 추적 디바이스, 특히, 광학 시스템의 적어도 하나의 요소의 위치, 특히, 이미지 거리, 특히, 이미지 센서와 같은 캡처 유닛의 적어도 일부와 광학 시스템의 적어도 하나의 광학 요소 사이의 거리, 눈 추적 디바이스의 적어도 하나의 광원과 광학 시스템의 적어도 하나의 광학 요소 사이의 거리, 기준 위치에 대한 광학 시스템의 적어도 하나의 요소, 특히 광학 시스템의 광학 요소 및/또는 캡처 유닛의 이미지 센서 평면의 경사 및/또는 회전 각도, 및 조리개 값 중 적어도 하나와 관련된다.
눈 추적 디바이스의 이미징 특성들은 또한 공간적으로 또는 시간적으로 변할 수 있다. 예를 들어, 제1 및 제2 광학 경로는 공간적으로 분리될 수 있으며, 각각의 경로는, 예를 들어, 이들 경로들 각각 내에 상이한 초점 길이를 갖는 렌즈들을 사용함으로써, 특정 이미징 특성을 포함한다. 눈 추적 디바이스의 이들 광학 경로들은, 예를 들어, 제어 가능한 가변 초점 길이를 갖는 액체 렌즈와 같은 렌즈를 사용하거나, 이미지 센서 평면을 렌즈에 대해, 예컨대, 렌즈 평면에 평행하게, 움직이거나, 또는 이미지 센서 평면을 소정 각도로 경사지게 함으로써, 또한 공간적으로 동일할 수 있고 시간에 있어서 그들의 이미징 특성들에 관해서만 변할 수 있다. 이러한 목적을 위해, 캡처 유닛은 통상의 카메라 또는 샤임플러그(Scheimpflug)-카메라도 포함할 수 있다. 캡처 유닛의 적어도 일부를 이동시킴으로써, 캡처된 이미지의 선명도가 영향을 받을 수 있는데, 이는 센서 평면이 포커스 평면에 대해 이동될 수 있고, 또한 시점 또는 관점이 변할 수 있기 때문이다. 또한, 이미징 특성이 시간적으로 변하는 경우, 프로세싱 유닛은 바람직하게는, 예를 들어 가변 초점 렌즈의 초점 길이를 제어함으로써, 광학 시스템의 요소들의 상대적 위치를 제어함으로써, 광학 시스템의 구경 조리개의 개폐를 제어함으로써 등에 의해, 이미징 특성을 제어하도록 구성된다. 또한, 눈 추적 디바이스의 광원들이 눈 상에 각막 반사를 생성하기 위해 광학 시스템을 통해 눈을 조명하는 경우, 광원들이 광학 시스템에 대해 이동 가능할 수 있고, 프로세싱 유닛에 의해 그들의 위치가 제어될 수 있으며, 이는 눈 상에 생성된 각막 반사의 크기 및 형상과 같은 외형에 영향을 준다. 부가적으로 또는 대안적으로, 광원들, 특히 광원들에 의해 제공되는 발광 특성 및/또는 조도 분포는 적어도 하나의 액체 렌즈에 의해 영향을 받을 수 있는데, 예를 들어, 액체 렌즈가 더 많이 초점 맞춰질수록 광원들이 더 밝게 빛나고 특히 광원들에 의해 생성되는 각막 반사가 더 밝아진다. 추가의 실시예들에서, 광원들, 특히 광원들에 의해 제공되는 발광 특성 및/또는 조도 분포는 적어도 하나의 파라미터 또는 다수의 파라미터들에 의해 프로세싱 유닛을 통해 제어된다. 파라미터 및 파라미터들의 조합에 대한 예는 하나 이상의 액체 렌즈의 초점 길이 및/또는 하나 이상의 액체 렌즈를 제어하는데 사용되는 전압이다. 마지막으로, 액체 렌즈들의 역수(reciprocal)는, 광원의 파라미터, 즉, 전압 또는 밝기에 의해 프로세싱 유닛에 의해 제어될 수 있다.
이미징 특성과 관련하여 이러한 상이한 설정들을 제공함으로써, 이는 각각의 캡처된 이미지들의 상이한 이미지 특징들을 가져온다. 이들 이미지 특징들은 바람직하게는, 선명도 및/또는 선명도의 범위 및/또는 줌 팩터 및/또는 콘트라스트 및/또는 밝기 및/또는 스펙트럼 및/또는 포화도 및/또는 이미지 피처들의 크기 및/또는 형상 - 이것들은 캡처된 이미지 내의 눈 피처들의 이미지들임 -, 및/또는 제1 및 제2 이미지 각각 중 적어도 하나의 부분의 관점 및/또는 시점에 관한 것이다. 이들 특징들과 관련된 이미지들의 차이는 한편으로는, 예를 들어, 이미지에서 특정한 선명도를 달성하기 위해 또는 이미지 피처들의 콘트라스트를 최적화하기 위해 의도적으로 생성될 수 있고, 다른 한편으로 이들 특징들과 관련된 이미지들 사이의 차이는 또한, 눈 및 눈 피처들에 대한 추가의 정보를 도출하기 위해, 예를 들어, 상이한 초점 길이들로 인한 상이한 이미지들의 이미지 피처들의 크기 차이를 사용하여, 이 크기 차이에 기초하여 캡처 유닛으로부터 이들 눈 피처들 또는 눈 그 자체의 거리, 눈의 위치 또는 눈의 크기(즉, 직경)을 계산하기 위해 사용될 수 있다. 광학 시스템의 설정들 및 설정들의 변경은 또한, 예를 들어, 눈 추적 디바이스의 프로세싱 유닛과는 별개인 제어 유닛에 의해, 예를 들어, 눈 추적 디바이스가 통합된 헤드-마운트형 디스플레이의 제어 유닛에 의해 외부적으로 제어 또는 트리거될 수 있다. 프로세싱 유닛이 그후 광학 시스템의 설정들을 제어하기 위해 별개의 제어 유닛에 의한 설정 변경 또는 현재 설정에 대해 반드시 통지받을 필요는 없지만, 또한 캡처된 이미지들의 이미지 특징들의 차이 및/또는 이미지 특징들로부터 현재 설정 또는 설정 변화에 대한 정보를 도출할 수 있다. 설정을 외부적으로 트리거할 수 있는 시스템 및 응용의 예로는 의료 디바이스, 웹 인터페이스, 휴먼 인터페이스 또는 기타에 의해 송신 또는 전달되는 명령, 정보 또는 데이터가 있다.
또한, 눈의 적어도 하나의 특성은 눈의 위치 및/또는 눈의 방향 및/또는 눈의 응시 방향 및/또는 동공, 윤부, 홍채 또는 각막 반사의 특징과 같은 다른 눈 특징들 또는 그러한 피처들의 치수, 크기, 형상, 위치, 구조 및/또는 배향 중 임의의 것인 것이 바람직하다.
본 발명의 다른 유익한 실시예에 따르면, 광학 시스템은, 제1 경로를 따라 전파하는 광의 전파 방향이, 제1의 미리 정의된 방식으로, 특히, 광을 제1의 미리 정의된 범위만큼 굴절시킴으로써 변경되고, 제2 경로를 따라 전파하는 광의 전파 방향이, 제2의 미리 정의된 방식으로, 특히, 광을 제2의 미리 정의된 범위만큼 굴절시킴으로써 변경되도록 구성되고, 제1 범위와 제2 범위는 상이하다. 따라서, 광의 상이한 굴절은, 예를 들어 가변 초점 렌즈에 의해 또는 상이한 초점 길이를 갖는 렌즈들을 사용하여 각각 상이한 경로들을 제공함으로써 달성될 수 있다. 이러한 설정은 위치 가변 요소들이 필요 없기 때문에 매우 유익하다. 이로써, 시스템의 기계적 노출이 감소될 수 있다.
본 발명의 다른 유익한 실시예에 따르면, 프로세싱 유닛은,
- 제1 및 제2 이미지의 적어도 일부의 특징, 특히, 선명도 및/또는 선명도 범위 및/또는 줌 팩터 및/또는 콘트라스트 및/또는 밝기 및/또는 스펙트럼 및/또는 이미지 피처들의 크기 및/또는 이미지 피처들의 형상 및/또는 관점에 관련된 차이를 도출하고, 이 차이에 기초하여 적어도 하나의 눈의 적어도 하나의 부분에 대한 제1 정보를 도출하고 적어도 하나의 눈의 적어도 하나의 부분에 대한 도출된 제1 정보에 기초하여 적어도 하나의 눈의 특성을 결정; 및/또는
- 제1 이미지를 분석하고 제1 이미지의 이 분석에 기초하여, 제2 이미지가 제1 이미지와 관련된 차이를 포함하여 캡처되도록, 눈 추적 디바이스의 설정을 미리 결정하도록 구성된다.
예를 들어, 이미지 피처들 - 캡처된 이미지 내의 동공 또는 홍채와 같은 피처들 - 의 선명도, 줌 팩터 또는 크기에 대하여 특징에 관련된 차이 - 이들 특징들에 관한 차이는 상이한 초점 길이들에 의해 생성되었음 - 가 도출된다면, 예를 들어, 현실에서 이들 피처들의 크기는 물론 광학 시스템으로부터 이들의 거리가 계산될 수 있다. 따라서, 캡처된 이미지들의 특징들의 차이 또는 변화를 분석함으로써, 눈 피처들 또는 눈 그 자체의 심도 정보가 도출될 수 있다. 또한, 제1 및 제2 이미지를 서로로부터 빼서 특징에 관련된 차이를 도출하는 것이 매우 유익하다. 선명도, 배율 또는 콘트라스트의 작은 변화가 이미지 내에서 피처들의 윤곽들에 특히 영향을 미치기 때문에, 이러한 방식으로 특히 눈 피처들의 윤곽들이 매우 정확하게 결정될 수 있다. 따라서, 2개의 선명하지 않은 이미지들이 동공 위치를 결정하는데 사용되더라도, 이들 2개의 이미지들이 약간 상이한 초점 길이들로 캡처된다면, 이들 선명하지 않은 이미지들을 빼는 것은 결과적인 동공 윤곽을 매우 정확하게 보여줄 것이다. 또한, 예를 들어, 선명도 조건, 콘트라스트 조건, 밝기 조건 등에 관한 것 같은 특정 조건과 관련하여 제1 이미지가 분석될 수 있고, 이들 이미지 특징들이 상기 조건들을 충족시키지 못하면, 상기 조건들이 충족되도록 광학 시스템의 이미징 특성과 관련하여 새로운 설정이 선택될 수 있다. 이러한 방식으로, 이미지들은 예를 들어 선명도, 콘트라스트 및 다른 이미지 특징들에 관하여, 특히 또한 이들 이미지들로부터 결정될 피처들에 관하여 최적화될 수 있다. 이미 언급한 바와 같이, 각막 반사의 위치 결정을 위해 선명하지 않은 이미지들을 사용하는 것이 유익할 수 있지만, 동공 위치를 결정하기 위해서는 선명도가 가능한한 좋아야 한다.
본 발명의 다른 유익한 실시예에 따르면, 프로세싱 유닛은 제1 이미징 특성이 제2 이미징 특성으로 변경되도록 광학 시스템을 제어 및/또는 광학 시스템에 통지하도록 구성되며, 프로세싱 유닛은 눈의 적어도 하나의 특성을 결정할 때 이미징 특성의 이 변화를 고려하도록 추가로 구성된다. 이러한 방식으로, 유익하게도 눈 추적 동안 이미징 특성들의 변화에 대한 보상이 제공 및 고려될 수 있다. 예를 들어, 캡처 유닛이 가변 초점 길이를 갖는 렌즈를 포함하는 눈 추적 디바이스의 광학 시스템을 통해 눈의 이미지들을 캡처하면, 이 초점 길이의 변화는 또한 각각의 이미지들 내의 이미지 피처들의 외형에 영향을 미칠 것이다. 따라서, 예를 들어, 광학 시스템에 대한 눈의 위치가 변하지 않더라도 이미지 내에서 눈 또는 동공의 크기가 변한다. 따라서, 광학 시스템의 이미징 특성들의 변화는 이미지 피처들의 크기, 및 또한 그들의 기하학적 형상, 그들의 선명도, 그들의 콘트라스트, 밝기 등에 영향을 미친다. 따라서, 이미징 특성들에 대한 지식 또는 적어도 이미징 특성들의 변화는 검출된 이미지 피처들을 크기에 있어서 또는 심지어 형태에 있어서 재조정(rescaling)하는데 사용될 수 있다. 또한, 특정 이미지 피처들을 검출하기 위한 제약 조건들은 광학 시스템의 이미징 특성들에 의존하여 수정될 수 있다. 예를 들어, 이미지 내의 동공을 검출하기 위해 이미지들이 분석되면, 프로세싱 유닛은 이미지 내에서, 특정한 최소 및/또는 최대 크기를 갖는 타원형의 어두운 영역들을 검색한다. 그러나, 이러한 이미지 피처들의 색상, 형태 및 크기 특성들이 광학 시스템의 이미징 특성들의 변화로 인해 변할 수 있으므로, 그에 상응하여 검출 기준을 조정함으로써 이를 고려하는 것이 유익하다. 따라서, 광학 시스템의 이미징 특성들 또는 이미징 특성들의 변화에 대한 지식으로, 그러한 변화가 캡처된 이미지들에 미치는 영향을 보상할 수 있다. 결과적으로, 검출된 이미지 피처들의 크기 변화가 광학 시스템에 대한 눈 또는 눈 피처들의 위치 변화로서 잘못 해석되거나, 이미지 피처들의 형태, 크기, 또는 색상 스펙트럼의 변화로 인해 이미지 피처들이 실수로 이미지에 있는 그대로 인식되지 않는 것이 유익하게 회피될 수 있다.
따라서, 프로세싱 유닛이 이미징 특성의 알려진 값에 의존하여 적어도 하나의 눈의 적어도 하나의 부분에 대한 제1 정보를 결정하도록 구성될 때가 또한 본 발명의 매우 유익한 실시예이다. 제1 정보는 다시, 예를 들어, 눈 피처 또는 각막 반사의 크기 또는 위치일 수 있으며, 이에 기초하여, 최종적으로 응시 방향이 계산될 수 있다. 따라서, 그러한 눈 피처들의 위치, 형상, 크기 및 거리를 결정할 때, 특히, 광학 시스템의 이미징 특성의 알려진 값을 구성하는 광학 시스템의 현재 설정을 고려하는 것이 유익하다. 그러나, 이는 현재 초점 길이와 같은 이미징 특성의 현재 값이 있는 그대로 알려지지 않은 경우에도 가능한데, 이미징 특성의 변화만이 알려진 경우 캡처된 이미지들의 특징들의 차이로부터 이 값이 도출 및 계산될 수 있기 때문이다. 예를 들어 초점 길이의 변화만이 알려져 있고 초점 길이들은 있는 그대로 알려져 있지 않으면, 대응하는 초점 길이들의 값들은 초점 길이의 변화에 의해 야기되는 이미지 피처들의 크기의 차이로부터 계산될 수 있다.
본 발명의 다른 유익한 실시예에 따르면, 프로세싱 유닛은, 미리 설정된 변화 패턴에 따라, 미리 정의된, 특히, 교번 또는 변화하는 방식으로, 이미징 특성이 변하도록 광학 시스템을 제어하고, 특히, 제1 눈 피처를 결정하기 위해 하나 이상의 제1 이미지를 사용하고 제2 눈 피처를 결정하기 위해 하나 이상의 제2 이미지를 사용 - 예를 들어, 적어도 하나의 눈의 동공의 위치를 결정하기 위해 제1 선명도 값을 갖는 이미지들을 사용하고 적어도 하나의 눈의 각막 상의 각막 반사의 위치를 결정하기 위해, 특히 제1 선명도 값보다 낮은 선명도를 제공하는 제2 선명도 값을 갖는 이미지들을 사용 - 하도록 구성되며, 바람직하게는, 눈의 적어도 하나의 특성은 제1 및 제2 눈 피처에 기초하여 결정된다. 이러한 방식으로, 각막 반사의 위치를 결정하기 위해, 선명하지 않은 눈 이미지들이 사용될 수 있는 반면, 동공의 위치를 결정하기 위해 선명한 눈 이미지들이 사용될 수 있음이 달성될 수 있다. 최종적으로, 각막 반사의 결정된 위치에 기초하여, 각막 중심이 계산될 수 있고, 동공의 위치와 조합하여 광학 축이 결정될 수 있다. 각막 반사 위치를 결정하기 위해 선명하지 않은 이미지들을 사용함으로써, 이 위치와 관련하여 더 높은 정확성이 달성될 수 있고 응시 방향의 정밀성 및 정확성의 전반적인 향상이 제공될 수 있다. 이들 장점들은 광학 시스템의 이미징 특성들의 시간적 변화에서뿐만 아니라 광학 시스템의 이미징 특성들을 국부적으로 또는 공간적으로 변화시킴으로써 달성될 수 있다.
따라서, 일반적으로, 제1 눈 피처, 예를 들어, 적어도 하나의 눈의 각막 반사의 위치가 제1 이미지에 기초하여 결정되고, 제2 눈 피처, 예를 들어, 적어도 하나의 눈의 동공의 위치가 제2 이미지에 기초하여 결정되도록 프로세싱 유닛이 구성될 때 - 특히, 눈의 적어도 하나의 특성은 제1 및 제2 눈 피처에 의존하여 결정됨 - 가 본 발명의 매우 유익한 실시예이다. 따라서, 상이한 이미지 특징들을 포함하는 상이한 이미지들은, 이들이 동시에 또는 연속적으로 캡처 되었더라도, 상이한 눈 피처들의 위치 또는 형상을 정확하게 결정하는데 사용될 수 있다.
본 발명의 다른 유익한 실시예에 따르면, 눈 추적 디바이스는, 차이에 기초하여, 제1 이미지 및/또는 제2 이미지가 적어도 하나의 눈의 적어도 하나의 특성을 결정하는데 사용되는지를 결정하고, 바람직하게는 또한 제1 이미지의 어느 부분 및/또는 제2 이미지의 어느 부분이 사용되는지를 결정하도록 구성된다. 따라서, 상이한 이미징 특성들을 갖는 제1 및 제2 이미지를 캡처함으로써, 제어 유닛은 눈의 적어도 하나의 특성을 결정하기 위해, 보다 나은 것, 예를 들어, 보다 선명한 것을 선택할 수 있다. 이미 설명된 바와 같이, 이들 이미지들 중 어느 것이 사용되는지는 또한 이 이미지에 기초하여 결정될 피처에 의존하는데, 예를 들어, 이들 이미지들 중 하나를 각막 위치 결정을 위해 택하고 다른 하나를 동공 위치 결정을 위해 택한다. 따라서, 제1 이미지 및/또는 제2 이미지가 사용되는지는 선명도, 강도, 콘트라스트, 등과 같은 상이한 이미지 특징들 그 자체 또는 결정될 피처에 의존할 수 있다. 따라서, 항상 최상의 이미지를 선택함으로써, 그리고 특히, 또한 이미징 특성들을 변경하여 다른 더 적합한 특징들을 가진 이미지들을 능동적으로 생성할 수 있음으로써, 정확성 및 위치가 향상될 수 있다.
본 발명의 다른 유익한 실시예에 따르면, 프로세싱 유닛은 제1 이미지 및/또는 제2 이미지의 적어도 일부의 특징에 의존하여 신호를 제공하고, 신호에 의존하여,
- 광학 시스템의 이미징 특성의 값을 정의하는 파라미터를 설정, 바람직하게는 초점 길이 및/또는 이미지 거리 및/또는 조리개 값을 설정; 및/또는
- 눈의 적어도 하나의 특성을 결정하기 위해 제1 이미지 또는 제2 이미지가 사용되는지를 정의하는 파라미터를 설정; 및/또는
- 눈의 적어도 하나의 특성을 결정하도록 구성되며, 바람직하게는, 신호는 눈의 심도 값 또는 거리 중 적어도 하나에 대한 정보, 예를 들어, 눈 및/또는 눈의 피처의 3D 위치의 z-좌표, 특히 광학 시스템의 적어도 일부와 눈 및/또는 눈의 피처 사이의 거리, 눈 및/또는 눈의 피처의 3D 위치, 눈 및/또는 눈의 피처의 배향, 제1 및/또는 제2 이미징 특성, 및 눈의 피처의 검출을 위한 확실성 값을 포함한다.
따라서, 각각의 이미지들 또는 이미지들의 부분들의 특징에 기초하여, 특히 또한 이미지마다 또는 상이한 이미지들 사이에서 이들 특징들의 변화에 의존하여, 특히 눈 및 눈 피처 그 자체에 관한 많은 정보뿐만 아니라 광학 시스템 그 자체의 현재 설정 또는 상태에 대한 정보도 제공될 수 있다. 상기에 명명된 확실성 값은 여기서 이미지 내의 검출된 피처에 대해, 예를 들어, 검출된 동공에 대해, 이 검출된 이미지 피처가 실제 눈 피처, 즉 검출될 실제 동공에 실제로 대응할 확률을 정의한다. 이미지 특징들의 차이는 또한 피처 검출의 확실성을 향상시키는데 사용될 수 있다. 예를 들어, 광원들이 광학 시스템을 통해 눈을 조명하는데 사용되는 경우 이미징 특성의 수정은 또한 눈의 각막 반사의 외형을 수정할 것이다. 이러한 각막 반사의 외형 수정은 또한 캡처된 이미지들 내에서 최종적으로 검출될 수 있어서, 각막 반사가 환경 광으로부터 더 쉽게 구분될 수 있다. 환언하면, 캡처된 이미지들 내에서 반사가 검출되고 광학 시스템의 이미징 특성의 변화에 따라 이들 반사의 외형이 변한다면, 이들 반사는 눈 추적 디바이스의 광원들에 의해 생성되고 수정 이미징 특성을 갖는 광학 시스템을 통과하지 않는 환경 광에 기인하지 않음이 매우 확실하다.
본 발명의 유익한 실시예에 따르면, 광학 시스템은 적어도 하나의 광학 요소를 포함하며, 이 광학 요소는 다초점 및/또는 가변 초점 요소, 예컨대 하나 이상의 렌즈들 또는 프리즘들, 및/또는 그것의 위치 설정에 있어서 가변적이도록 구성된 위치 가변 광학 요소로서 구성되거나 이를 포함하고, 특히 눈 추적 디바이스, 특히 프로세싱 유닛은 위치 가변 광학 요소의 위치를 변화시키도록 구성된다. 예를 들어, 위치 가변 광학 요소는 이미지 센서에 대해 그 위치가 이동 가능한 렌즈일 수 있거나, 위치 가변 광학 요소는 렌즈와 관련하여 그 위치가 이동 가능한 이미지 센서일 수 있다. 따라서, 바람직하게는, 다초점, 가변 초점 또는 위치 가변 광학 요소들에 의해 상이한 이미징 특성들이 제공될 수 있다.
본 발명의 다른 유익한 실시예에 따르면, 광학 요소는, 범위만큼 광을 굴절시켜 제1 이미징 특성을 제공하기 위한 제1 광학 특성 - 특히 제1 초점 길이 또는 제1 표면 구조 - 및/또는 제2 범위만큼 광을 굴절시켜 제2 이미징 특성을 제공하기 위한 제2 광학 특성 - 특히 제2 초점 길이 또는 제2 표면 구조 - 를 포함하는 적어도 하나의 제1 및/또는 제2 광학 요소를 포함한다. 제1 및 제2 광학 요소는, 예를 들어, 상이한 굴절력을 갖는 제1 및 제2 렌즈일 수 있고, 그에 의해 상이한 이미징 특성들을 제공할 수 있다.
다른 예에 따르면, 적어도 하나의 제1 및 제2 광학 요소는 제1 및 제2 광학 경로 각각에 위치될 수 있다. 이 경우, 제1 및 제2 광학 경로는, 예를 들어 빔 스플리터에 의해 공간적으로 분리되며, 각 경로는 사용된 렌즈의 상이한 초점 길이들로 인해 상이한 이미징 특성을 제공한다. 따라서, 상이한 이미지 특징들을 갖는 눈의 이미지들을 캡처할 수 있도록 상이한 이미징 특성들을 제공할 많은 가능성들이 존재한다.
그러나, 본 발명의 가장 유익한 실시예는 광학 요소, 바람직하게는 가변 광학 특성, 특히, 가변 초점 길이를 갖는 렌즈를 가지며, 바람직하게는 광학 요소의 가변 초점 길이가 제1 초점 길이로 설정될 때 제1 이미징 특성을 제공하고 광학 요소의 가변 초점 길이가 제2 초점 길이로 설정될 때 제2 이미징 특성을 제공하도록 구성된, 광학 요소, 바람직하게는 렌즈를 갖는다. 액체 렌즈와 같은 그러한 가변 초점 렌즈의 사용은, 예를 들어, 광학 경로들을 분할할 필요없이, 상이한 이미징 특성들이 매우 컴팩트한 방식으로 제공될 수 있기 때문에 매우 유익하다. 따라서, 상이한 이미징 특성들을 제공하기 위해 필요한 광학 요소들의 수가 최소한으로 감소될 수 있다. 그러한 가변 초점 렌즈는 또한, 예를 들어, 그러한 가변 초점 렌즈의 초점 길이가 고해상도로 연속적으로 또는 적어도 매우 작은 단계들로 조정될 수 있으므로, 이미징 특성들을 조정하는 것과 관련하여 훨씬 더 큰 유연성을 제공한다.
본 발명의 또 다른 유익한 실시예에 따르면, 광학 시스템은, 예를 들어, 상기에 명명된 가변 초점 렌즈에 의해, 제1 및 제2 이미징 특성을 시간적으로 연속적으로 제공하도록 구성 - 바람직하게는, 제1 및 제2 광학 경로는 공간적으로 일치함 - 되거나, 또는 광학 시스템은, 제1 및 제2 이미징 특성을 동시에 제공하도록 구성 - 제1 및 제2 광학 경로는, 특히, 적어도 하나의 빔 스플리터에 의해, 적어도 부분적으로 공간적으로 분리됨 - 된다. 이 후자의 경우, 각각의 경로는, 예를 들어, 상이한 렌즈들을 사용하여 상이한 이미징 특성들로 제공될 수 있다. 또한, 제1 경로의 이미징 특성들은 고정될 수 있고 다른 경로의 이미지 특성들은 가변적일 수 있도록, 이들 공간적 및 시간적 변화들이 예를 들어, 광학 경로를 두 개의 별개의 광학 경로들 - 그 중 하나는 가변 초점 렌즈를 또 포함함 - 로 분할함으로써 조합될 수 있다.
본 발명의 다른 유익한 실시예에 따르면, 눈 추적 디바이스는, 캡처 경로가 사용자의 적어도 하나의 눈으로부터 캡처 유닛까지 연장되도록 구성되며, 캡처 경로는 제1 및/또는 제2 광학 경로를 포함하고, 특히, 적어도 하나의 광학 요소가 캡처 경로 내에 위치된다. 이러한 방식으로, 눈의 이미지들이 상이한 이미징 특성들로 캡처 유닛에 의해 캡처될 수 있다. 이미징 특성들의 변화는 자동적으로, 이미지 내의 캡처된 모든 눈 피처들의 변화를 가져온다.
본 발명의 다른 바람직한 실시예에 따르면, 눈 추적 디바이스는, 예를 들어 하나 이상의 광원을 포함하며 적어도 하나의 눈 상의 반사, 특히 눈의 각막 상의 각막 반사를 감소시키도록 적어도 하나의 눈을 조명하도록 구성된 조명 유닛을 포함하고, 눈 추적 디바이스는 조명 경로가 조명 유닛으로부터 눈까지 연장되도록 구성되며, 조명 경로는 제1 및/또는 제2 광학 경로를 포함하고, 특히, 적어도 하나의 광학 요소가 조명 경로 내에 위치된다. 이러한 방식으로, 눈의 조명은 제1 및 제2 광 경로에 의해 제공되는 제1 및 제2 이미징 특성에 따라 변화될 수 있다. 예를 들어, 캡처 유닛이 눈의 이미지들을 직접, 즉, 중간에 상이한 이미징 특성들을 제공하는 광학 요소들을 갖지 않고, 캡처하는 경우, 광학 시스템의 이미징 특성들의 변화는 이미지 내의 다른 눈 피처들은 불변으로 남겨둔 채 이미지 내의 각막 반사만의 외형 변화를 가져올 것이다. 이 설정은 각막 반사의 위치 결정의 정확도를 향상시키기 위해 각막 반사를 더 쉽게 식별하거나 각막 반사의 외형을 수정하는데 사용될 수 있다.
이들 실시예들은 또한, 예를 들어, 상이한 이미징 특성들을 제공하기 위한 하나 이상의 광학 요소들이 캡처 경로뿐만 아니라 조명 경로 내에 위치된다면, 조합될 수 있다.
일반적으로, 조명 유닛은 바람직하게는 가시 또는 적외선 스펙트럼 범위의 광을 방출하기 위해 LED 또는 다른 광원들과 같은 하나 이상의 광원을 포함할 수 있다.
본 발명의 다른 유익한 실시예에 따르면, 눈 추적 디바이스는 디스플레이 이미지를 디스플레이하도록 구성된 디스플레이를 포함한다. 또한, 눈 추적 디바이스는 광학 시스템의 적어도 일부를 통해 사용자의 적어도 하나의 눈에 의해 디스플레이 이미지가 디스플레이 이미지의 가상 이미지로서 보일 수 있도록 구성되어, 디스플레이 이미지가 제1 및/또는 제2 이미징 특성에 따라 이미징되어, 가상 이미지를 구성한다. 바람직하게는, 눈 추적 디바이스는 가상 이미지가, 예를 들어, 눈 추적 디바이스에 의해 결정될 수 있는, 적어도 하나의 눈의 결정된 관심 심도(depth of interest) - 바람직하게는 버전스(vergence) 심도 및/또는 조절 신호 - 에 대응하는 가상 디스플레이 영역 내에 디스플레이되도록 파라미터를 설정하도록 추가로 구성된다. 특히, 디스플레이는 3D 이미지들을 디스플레이하도록 구성된 3D 디스플레이 디바이스로서 구성될 수 있다. 예를 들어, 디스플레이는 좌안용 이미지를 제공하는 스테레오 디스플레이들 중 하나 및 우안용 디스플레이 이미지를 제공하는 스테레오 디스플레이들 중 하나인 스테레오 디스플레이들의 쌍으로서 구성될 수 있다. 그러나, 또한 종래 기술로부터 알려진 많은 다양한 기술들이 3D 디스플레이 이미지, 셔터 또는 필터를 사용하는 광, 등을 제공하는데 사용될 수 있다. 이 유익한 실시예에 따르면, 예를 들어, 가변 초점 렌즈는 헤드-마운트형 디스플레이의 이미지들을 상이한 심도들에서 가상 이미지들로서 디스플레이하기 위해 사용될 수 있다. 동시에, 이 가변 초점 렌즈는 전술한 바와 같이 정확성 및 정밀성뿐만 아니라 눈 추적 능력을 향상시키는데 사용될 수 있다. 특히, 가변 초점 렌즈 및/또는 그것의 상이한 설정들은 눈 및/또는 눈 피처들의 3D 재구성을 위해, 예를 들어, 각막 반사의 3D 위치, 각막 중심의 3D 위치, 동공 중심의 3D 위치, 3D 응시 방향, 등을 결정하기 위해, 프로세싱 유닛에 의해 사용된다.
이 시나리오에서, 가변 초점 렌즈의 초점 길이는 사용자의 눈의 버전스 또는 조절에 대응하는 가상 디스플레이 영역을 조정하도록 제어될 수 있다. 초점 길이의 특정한 설정에 대해, 초점 길이의 변화가 사용자에 의해, 예를 들어, 0.2dpt 내에서 발견되지 않을 공차 영역이 존재한다. 이어서 이 공차 영역은 눈 추적 디바이스에 의해 검출될 눈 피처들과 관련하여 렌즈의 설정, 특히 이 공차 영역 내에서 초점 길이를 최적화하는데 사용될 수 있다. 또한, 예를 들면, 상기 명명된 공차 영역 내에서의 초점 길이의 변화들로 인한 초점의 차이는, 초점의 차이를 포함하는 이미지들을 뺌으로써, 또는 동공 위치를 결정하기 위해 더 선명한 이미지들을 사용하고 각막 반사의 위치를 결정하기 위해 덜 선명한 이미지들을 사용함으로써, 또는 눈 또는 눈 피처들에 대한 심도 정보, 예컨대, 눈 추적 디바이스 또는 그 컴포넌트들로부터 눈의 거리를 도출하기 위해 초점의 차이를 사용함으로써, 눈 피처들, 예컨대, 동공 윤곽 또는 각막 반사 윤곽을 검출 및/또는 결정하는데 사용될 수 있다.
본 발명의 추가의 바람직한 실시예들에 따르면, 이미징 특성들을 조정하기 위한 눈 추적 디바이스의 설정들은 또한 현재 사용되는 눈 추적 알고리즘에 의존하여 선택될 수 있다. 예를 들어, 일부 눈 추적 알고리즘들은 상이한 선명도 값들을 갖는 특정 프레임 시퀀스들을 다른 것보다 더 잘 또는 더 빠르게 프로세싱할 수 있다. 눈 추적 디바이스는 또한 고정밀 눈 추적을 위한 옵션을 선택하기 위한 버튼, 스위치 또는 다른 사용자 인터페이스를 포함할 수 있으며, 사용자가 이 인터페이스에 의해 눈 추적 디바이스에 알릴 경우, 눈 추적 디바이스는 이러한 더 높은 눈 추적 정밀성를 달성하기 위해 초점 길이와 같은 이미징 특성들이 변경되는 모드로 전환할 수 있다.
본 발명에 따른 눈 추적 디바이스를 동작시키기 위한 방법에 따르면, 눈 추적 디바이스는 광학 시스템을 포함하고, 광학 시스템의 캡처 유닛은 사용자의 적어도 하나의 눈의 적어도 하나의 부분의 이미지들을 캡처하고 눈 추적 디바이스의 프로세싱 유닛은 캡처된 이미지들에 기초하여 적어도 하나의 눈의 적어도 하나의 특성을 결정하며, 캡처 유닛은 사용자의 눈의 적어도 하나의 부분의 제1 이미지 및 제2 이미지를 캡처하고, 눈 추적 디바이스는 광학 시스템을 포함한다. 이 광학 시스템은 적어도 하나의 제1 이미징 특성 및 제1 이미징 특성과는 상이한 제2 이미징 특성을 포함하는 이미징 특성을 포함하며, 광학 시스템은 제1 이미징 특성을 갖는 제1 광학 경로 및 제2 이미징 특성을 갖는 제2 광학 경로를 제공하고, 캡처 유닛은 제1 광학 경로를 따라 지나간 광을 캡처하여 제1 이미지를 캡처하고 제2 광학 경로를 따라 지나간 광을 캡처하여 제2 이미지를 캡처하여, 제1 및 제2 이미징 특성의 차이로 인해, 제1 이미지 및 제2 이미지는 제1 및 제2 이미지의 적어도 하나의 부분의 특징에 관련된 차이를 포함하고, 프로세싱 유닛은 제1 이미지 및 제2 이미지 중 적어도 하나에 기초하여 눈의 적어도 하나의 특성을 결정한다.
본 발명에 따른 눈 추적 디바이스에 관해 기술된 바람직한 실시예들 및 이점들은 본 발명에 따른 방법에 대응하여 적용된다. 특히, 본 발명에 따른 눈 추적 디바이스는 본 발명에 따른 방법을 수행하기 위해 사용될 수 있다. 또한, 본 발명에 따른 눈 추적 디바이스의 기술된 실시예들은 본 발명에 따른 방법의 추가의 단계들을 구성한다.
하기에서, 본 발명의 유익한 실시예들이 첨부의 도면들을 참조로 보다 자세히 기술된다.
이들은 하기에서 보여진다.
도 1은 본 발명의 제1 실시예에 따른 눈 추적 디바이스의 개략도.
도 2a는 눈 추적 디바이스의 광학 시스템의 제1 설정에 따라 눈 추적 디바이스의 캡처 유닛에 의해 캡처된 제1 이미지의 개략도.
도 2b는 눈 추적 디바이스의 광학 시스템의 제2 설정에 따라 눈 추적 디바이스의 캡처 유닛에 의해 캡처된 제2 이미지의 개략도.
도 3은 본 발명의 제2 실시예에 따른 눈 추적 디바이스의 개략도.
도 4는 본 발명의 제3 실시예에 따른 눈 추적 디바이스의 개략도.
도 5는 본 발명의 일 실시예에 따른 눈 추적 디바이스를 동작시키기 위한 방법을 도시한 플로우차트.
도 6은 본 발명의 다른 실시예에 따른 눈 추적 디바이스를 동작시키기 위한 방법을 도시한 플로우차트.
도 1은 본 발명의 실시예에 따른 눈 추적 디바이스(10a)의 개략도를 도시하며, 이 경우에 이것은 헤드-마운트형 눈 추적 디바이스로서 구성된다. 눈 추적 디바이스(10a)는, 예를 들어, 헤드-마운트형 눈 추적 디바이스를 착용한 사용자의 눈(12)의 이미지들을 캡처하기 위한 하나 이상의 카메라 또는 이미지 센서를 포함할 수 있는 캡처 유닛(C)을 포함한다. 또한, 캡처 유닛(C)은 눈 추적 디바이스의 광학 시스템(14)의 일부이며, 광학 시스템(14)은 렌즈, 프리즘, 미러, 빔 스플리터, 등과 같은 하나 이상의 광학 요소를 포함할 수 있다. 이 예에서, 광학 시스템(14)은 가변 초점 길이를 갖는 가변 초점 렌즈(LV)를 포함한다. 또한, 눈 추적 디바이스(10a)는 선택적으로 하나 이상의 광원(L)을 포함할 수 있으며, 이들 중 두 개가 도 1에 예시적으로 도시된다. 눈 추적 디바이스(10a)는 추가의 선택적 컴포넌트들로서 핫 미러(hot mirror)(M) 및 디스플레이 디바이스(16)를 포함할 수 있다. 또한, 눈 추적 디바이스(10a)는 캡처된 이미지들을 프로세싱하고 눈(12)의 적어도 하나의 피처, 예를 들어, 응시 방향을 결정하기 위한 프로세싱 유닛(18)을 포함한다. 추가적으로, 프로세싱 유닛(18)은 눈 추적 디바이스(10a)의 광원들(L), 디스플레이 디바이스(16), 가변 초점 렌즈(LV), 및 구경 조리개(aperture diaphragm)(20)의 개구(opening)를 제어할 수 있다.
눈(12)으로부터 캡처 유닛(C)까지의 광학 경로(P)와 관련하여 캡처 유닛(C)과 사용자의 눈(12) 사이에 가변 초점 렌즈(LV)가 배치되어, 캡처 유닛(C)에 의해 캡처된 이미지 내의 적어도 일부 눈 피처들은 캡처된 이미지들 내에서 그것들의 외형이, 예를 들어, 그것들의 형태, 크기, 및/또는 위치가 변경될 수 있다. 예를 들어, 캡처 유닛(C)과 눈(12) 사이의 가변 초점 렌즈(LV)가 캡처된 이미지 내에서 동공(12a)을 확대할 수 있다.
광원들(L)은, 특별히 환형, 점형 방식(point-like way), 및/또는 원형 방식(circle-like way)과 같은 구조화된 방식으로, 각막 상에 반사 - 소위 각막 반사(CR)라고 일컬어짐 - 를 생성할 수 있다. 이 설정에서 광원들(L)로부터 눈(12)까지의 광 경로는 또한 광학 시스템(14)에 의해, 특히, 가변 초점 렌즈(LV)에 의해, 변경된다. 구체적으로, 이 구성에서, 광원들(L)에 의해 방출되는 광은 또한 미러(M)에 의해 반사되고, 가변 초점 렌즈(LV)를 통과하고, 눈(12)에 부딪친다. 캡처 유닛(C)에 의해 캡처된 이미지들이 프로세싱 유닛(18)에 의해 프로세싱되어 눈(12)의 피처들이 검출되고, 이 피처들에 기초하여, 예를 들어, 응시 방향이 계산될 수 있다.
핫 미러(M)는 캡처 유닛(C)과 광원들(L)의 위치 설정과 관련하여 더 큰 유연성을 제공하며, 여전히 눈(12) 상에 캡처 유닛(C)의 중앙 뷰를 가능하게 한다. 이는 가상 카메라(CV)에 의해 도시된다. 캡처 유닛(C)의 뷰는 미러(M)가 없는 경우의 가상 카메라(CV)의 위치에서의 카메라의 뷰에 대응한다. 또한, 이 경우에 광원들(L)은 적어도 부분적으로 IR 스펙트럼 범위에서 광을 방출하고 핫 미러(M)는 IR 스펙트럼 범위에서 광을 반사하고 가시 스펙트럼 범위에서 광을 전달하도록 구성되어, 사용자는 디스플레이(16) 상에 방해물이 없는 뷰를 갖는다.
본 발명의 다른 실시예들에서, 예를 들어, 눈 추적 디바이스(10a)의 다른 용도를 위해, 예를 들어, 의학적 또는 진단적 목적으로, 캡처 유닛(10)이 또한 도시된 가상 카메라(CV)의 위치에 배치될 수 있고, 미러(M) 및 디스플레이 디바이스(16)가 생략될 수 있다. 캡처 유닛(C)은 또한 하나 초과의 카메라 또는 이미지 센서들을 다른 곳들에 포함할 수 있다. 캡처 유닛(C)은 또한, 눈(12)과의 사이에 어떠한 광학 시스템(14) 요소도 갖지 않고 눈(12) 상에 직접적인 뷰를 갖도록 배치될 수 있고, 광원들(L)만이 광원들(L)로부터 눈(12)까지의 광 경로가 가변 초점 렌즈(LV)를 통과하도록 배치된다. 반면, 또한 광원들(L)은, 이들이 눈(12)과의 사이에 광학 시스템(14)을 갖지 않고 눈(12)에 직접 조명하도록 배치될 수 있고, 캡처 유닛(C)이 도시된 바와 같이 위치된다.
눈 추적 디바이스(10a)의 광학 시스템(14)은 상이한 이미징 특성들을 제공하도록 구성된다. 이들 상이한 이미징 특성들은 다시 광학 시스템(14)의 하나 이상의 요소들의 변화에 의해 제공될 수 있다. 예를 들어, 가변 초점 렌즈(LV)의 초점 길이가 변할 수 있으며, 이는 캡처된 이미지의 상이한 배율들을 가져온다. 초점 길이의 변화는 또한 초점면의 변화를 가져오며, 초점면은 그 안에서 대상 - 이 경우에 눈(12) - 이 초점이 맞게 이미징되는 평면이다. 이미지 특성들은 또한 구경 조리개(20)의 개구에 의해 영향을 받을 수 있으며, 큰 개구는 작은 피사계 심도를 가져오고 작은 개구는 큰 피사계 심도를 가져온다. 선택적으로, 광학 시스템(14)은 또한 그들의 위치가 가변적인 요소들을 포함할 수 있다. 예를 들어, 캡처 유닛(C), 또는 이것의 적어도 하나의 부분, 예컨대 이미지 센서는 그 위치가 가변적이게 마운트될 수 있으며, 이는 화살표(22)로 도 1에 도시될 것이다. 이러한 방식으로, 이미지 센서는 초점면과 관련하여 그의 위치가 이동 및 가변될 수 있으며, 이는 캡처된 이미지들의 상이한 선명도를 가져온다. 광학 시스템(14)의 상이한 컴포넌트들의 이들 상이한 설정들, 예컨대, 상이한 조리개(20) 값들, 가변 초점 렌즈(LV)의 상이한 초점 길이들, 또는 캡처 유닛(C)의 이미지 센서의 상이한 위치들은 하기에서 광학 시스템(14)의 상이한 설정들로서 표시된다.
광학 시스템(14)의 이들 상이한 설정들은 이제 눈 추적 품질을 향상시키기 위해 유익하게 사용될 수 있다. 예를 들어, 가변 초점 렌즈(LV) 및 캡처 유닛(C)의 가변적인 위치에 의해, 구경 조리개(20)의 큰 개구를 갖는 동시에, 확대된 선명한 눈(12) 이미지들이 제공될 수 있다. 이 큰 조리개 개구로 인해, 더 많은 광이 캡처될 수 있으며, 이는 이미지 품질을 향상시키고 따라서 눈 추적 결과에 긍정적으로 영향을 준다. 또한, 선명하지 않은 이미지들은 각막 반사(CR)의 위치를 더 정확히 결정하기 위해 사용될 수 있으므로, 선명하지 않은 이미지들을 캡처하는 것에 의해, 눈 추적 품질이 향상될 수 있다. 이는 보통 각막 반사(CR)가 이미지에서 단지 아주 작은 밝은 점들로서 나타난다는 사실로 인한 것이다. 그러나, 선명하지 않은 눈(12)의 이미지들이 캡처되면, 이들 각막 반사(CR)는 흐릿하게 나타나며 따라서 밝은 원들과 같이 확대된다. 따라서, 최종적으로 각막 반사(CR)의 위치를 정의하는 이미지들의 윤곽들 및 특히 이미지들의 중심들이 보다 정확하게 결정될 수 있다. 그러나, 상이한 이미징 특성들을 제공할 가능성은, 매우 유익한 방식으로 도 1에 도시된 것과 같이, 상이한 시나리오에서 사용될 수 있다.
도 1에 도시된 바와 같이, 가변 초점 렌즈(LV)의 주요 기능은 눈 추적을 위해 상이한 이미징 특성들을 제공하는 것뿐만 아니라, 또한 사용자의 눈(12)까지의 특정 거리에서 디스플레이 디바이스(16) 상에 디스플레이 이미지를 가상 이미지로서 디스플레이 또는 투사하기 위해 상이한 이미징 특성들을 제공하는 것이다. 이 시나리오에서, 디스플레이 디바이스(16)는 사용자의 두 눈 모두(12)에 3차원 이미지들을 디스플레이 하기 위한 스테레오 이미지 디스플레이 디바이스로서 구성될 수 있다. 가변 초점 렌즈(LV)는, 사용자의 눈(12)이 조절(accomodation)되는 거리에 대응하는 사용자의 눈(12)의 거리에서, 디스플레이 디바이스(16) 상에 가상 이미지로서 보여지는 이미지를 디스플레이하기 위해 사용될 수 있으며, 이는 따라서 매우 자연적인 시야가 되게 한다. 따라서 가변 초점 렌즈(LV)에 의해, 사용자의 눈의 조절에 대응하는 조절 신호(cue)가 생성될 수 있다. 따라서, 가변 초점 렌즈(LV)는 디스플레이 디바이스(16)의 가상 이미지의 위치를 사용자의 3D 응시 점에 의존하여 변화시키기 위해 주로 사용되며, 이는 다시 눈 추적 디바이스(10a)에 의해 결정될 수 있다. 추가적으로 그리고 동시에, 가변 초점 렌즈(LV)는 위에서 설명된 것과 같이, 눈 추적 품질을 최적화하기 위해 사용될 수 있다. 또한, 렌즈(Lv)가 사용자의 눈까지의 특정 거리에서 이미지들을 투사하기 위해 결정된 응시 점 또는 조절 신호에 의존하여 제어된다면, 이는 캡처 유닛(C)에 의해 캡처되는 선명하지 않은 이미지들을 야기할 수 있음에 유의하여야 한다. 그러한 선명하지 않은 이미지들은 이후 각막 반사의 위치를 결정하기 위해 사용될 수 있다. 더욱이, 캡처 유닛(C)의 이미지 센서의 위치 또한 선명한 이미지들을 얻기 위해 그리고 가변 초점 렌즈(LV)의 제어에 부가하여 이미지 특징들을 제어하기 위해 대응하여 이동될 수 있다. 따라서 정확한 조절 신호를 생성하기 위해 가변 초점 렌즈가 사용될 수 있을뿐만 아니라, 동시에, 눈의 3D 재구성을 향상시키기 위해 초점 길이의 변화가 이용될 수 있다.
도 2a는 광학 시스템(14)의 제1 설정으로 캡처 유닛(C)에 의해 캡처된 제1 이미지(24a)의 개략도를 도시하고, 도 2b는 광학 시스템(14)의 제2 설정으로 캡처 유닛(C)에 의해 캡처된 제2 이미지(24b)의 개략도를 도시한다. 예시적인 목적으로, 이들 이미지들(24a, 24b)은, 특히 가변 렌즈(LV)의 상이한 설정에 대해, 실제 눈이 아닌 인공 눈 및 체커보드를 보여주며, 제1 이미지(24a)는 제2 이미지(24b)보다 큰 초점 길이로 캡처되었다. 이것은 이제, 특히, 눈 이미지(26a, 26b), 동공 이미지(28a, 28b), 및 각막 반사 이미지(30a, 30b)와 같은 눈(12)에 관한 이미지 피처들과 관련하여, 다양한 상이한 이미지 특징들을 가져온다. 우선, 이미징된 대상들은 그 크기에 관해 상이하고, 제2 설정에 대해서는 제1 설정에서보다 더 큰 배율이 제공된다. 두번째로, 이들은 초점면이 이미지 센서 평면에 대해 이동함에 따라, 이들의 선명도가 상이하다. 이는 다시 이미지 피처들 사이에서 및 이미지 피처들 내에서 콘트라스트에 영향을 준다. 이들 이미지들(24a, 24b)은, 배율로 인해 제2 이미지(24b) 내의 이미지 센서의 동일한 픽셀 영역에 더 적은 양의 광이 분포되므로, 그 밝기가 또한 상이하다.
이미지 특징들의 이들 차이들은 이제 다양한 상이한 목적들을 위해 이용될 수 있다. 예를 들어, 이미지 특징들이 눈 추적의 목적을 위해 최적화되도록 광학 시스템(14)의 설정들이 제어될 수 있다. 상이한 특징들을 갖는 이미지들은 이미징된 대상들의 윤곽 점들의 위치에 대한 정보를 도출하기 위해 뺄 수 있고, 피처들의 크기의 변경 및/또는 초점 스위프가 대상 거리를 결정하기 위해 사용될 수 있으며 또한 이미징된 대상의 3D 위치를 결정하기 위해 사용될 수 있다. 이미지 특징들의 차이는 또한, 초점 길이에 관한 현재 설정과 같은 광학 시스템(14) 자체에 대한 정보를 도출하기 위해 사용될 수 있다. 설정들은 선명하지 않은 이미지들을 의도적으로 생성하기 위해, 예를 들어, 원치 않는 피처들을 흐릿하게 지우기 위해 또는 각막 반사(CR) 또는 위치를 더 정확히 결정하기 위해 선택될 수 있다. 광학 시스템(14)의 설정들은 또한 사용된 눈 추적 알고리즘에 의존하여 선택될 수 있다. 따라서, 전체적으로, 상이한 이미징 특성들을 구성하는 것을 가능하게 하는 광학 시스템(14)을 제공함으로써, 특히 눈 추적에 관해, 다양한 이점들이 달성될 수 있다.
도 1은 상이한 이미징 특성들이 시간적으로 연속적으로 구성되는 본 발명의 실시예를 도시하지만, 도 3 및 도 4는 상이한 이미징 특성들이 적어도 부분적으로 공간적으로 분리된 광학 경로들(P1, P2)에 의해 동시에 구성되는 본 발명의 두 개의 추가의 실시예들을 도시한다.
도 3은 간단한 방식으로 눈 추적 디바이스(10b)의 제2 실시예의 개략도를 도시한다. 눈 추적 디바이스는 또한 프로세싱 유닛(18), 및 선택적으로 광원들(L) 또는 구경 조리개(20)를 포함하지만, 도 3에서, 그리고 또한 도 4에서 이들의 도시는 생략되었다. 이 경우에, 광학 시스템(14)은 광학 경로(P1, P2)를 두 개의 분리된 광학 경로들(P1, P2)로 분할하기 위한 두 개의 빔 스플리터들(M1, M2)을 포함한다. 이 경우에 캡처 유닛(C)은 두 개의 카메라들(C1, C2)을 포함하고, 제1 광학 경로(P1)는 눈(12)으로부터 제1 카메라(C1)까지 연장되고, 제2 광학 경로(P2)는 눈(12)으로부터 제2 카메라(C2)까지 연장된다. 빔 스플리터들(M1, M2)은 이들이 가시 광에 대해 투과성이고 적외선 광에 대해 적어도 부분적으로 반사성이도록 구성될 수 있다. 특히 제1 및 제2 빔 스플리터(M1, M2)는 가시 광에 대해 투과성일 수 있다. 또한, 제1 빔 스플리터(M1)가 적외선 광을 부분적으로 반사하고 적외선 광을 부분적으로 투과시킬 수 있으며, 투과된 적외선 광은 이후 제2 빔 스플리터(M2)에 의해, 특히, 완전히, 반사된다. 각각의 광학 경로(P1, P2)에서, 렌즈(L1, L2)는 각각의 광학 경로들(P1, P2) 내에 상이한 이미징 특성들을 제공하도록 위치된다. 이 목적을 위해, 제1 렌즈(L1)는 제2 렌즈(L2)와는 상이한 초점 길이를 포함할 수 있다. 또한, 제2 렌즈(L2)가 가변 초점 길이를 갖는 가변 초점 렌즈로서 구성되는 반면, 제1 렌즈(L1)는 고정된 미리 정의된 초점 길이를 갖는 것이 가능할 수 있다. 또한 이 경우에, 각각의 카메라들(C1, C2)의 위치 또는 적어도 각각의 이미지 센서들의 위치가 가변적일 수 있고, 이는 다시 화살표들(22)로 도시될 것이다. 따라서 또한 이 설정에 의해, 적어도 부분적으로 공간적으로 분리된 광학 경로들(P1, P2)에서 상이한 이미징 특성들을 제공함으로써 각각의 카메라들(C1, C2)에 의해 캡처된 이미지들의 상이한 이미지 특징들이 생성될 수 있다.
도 4는 본 발명의 다른 실시예를 도시하며, 여기서 눈 추적 디바이스(10c)는 광학 시스템(14)을 포함하고, 또한 두 개의 빔 스플리터들(M1, M2)을 갖되 상이한 위치에 갖는다. 다시 이 설정에서, 캡처 유닛(C)은 두 개의 카메라들(C1, C2)을 포함하고, 제1 광학 경로(P1)는 눈(12)으로부터 제1 카메라(C1)까지 연장되고, 제2 광학 경로(P2)는 눈(12)으로부터 제2 카메라(C2)까지 연장된다. 각각의 광학 경로(P1, P2)에서, 렌즈(L1, L2)가 위치되고, 이들 렌즈들(L1, L2)은 상이한 초점 길이를 가질 수 있으며/있거나 가변 초점 렌즈들로서 구성될 수 있다. 여기서 다시, 제2 빔 스플리터(M2)는 가시 광에 대해 투과성이고 적외선 광에 대해 완전히 반사성인 반면, 제1 빔 스플리터(M1)는 두 개의 분리된 경로들(P1, P2)을 제공하도록 적외선 광이 부분적으로 투과되고 부분적으로 반사되도록 구성된다.
더욱이, 본 발명의 이들 도시된 실시예들은 또한 어떠한 임의의 방식으로도 조합될 수 있다. 심지어 두 개보다 더 많은, 예를 들어, 3개, 4개, 등의 분리된 경로들이 제공될 수 있고, 빔 스플리터들 및 가변 초점 렌즈들의 임의의 조합이 사용될 수 있다. 또한, 예를 들어, 단순히 눈 추적 카메라 앞에 가변 초점 렌즈를 위치시킴으로써, 원격 눈 추적 디바이스로서 눈 추적 디바이스를 구성하는 것이 가능하다. 따라서, 눈 추적 디바이스의 상황 및 구현예에 따라, 본 발명의 이들 실시예들은 눈 추적 디바이스의 개별 요소들의 위치 설정에 관해 아주 큰 유연성을 제공한다. 또한, 이들 실시예들은 카메라들을 분리하고 위치 설정하는데 큰 유연성을 제공하여, 다양한 눈 추적기 설계들이 실현될 수 있다.
도 5는 본 발명의 일 실시예에 따른 눈 추적 디바이스를 동작시키기 위한 방법을 도시한 플로우차트를 보여준다. 이 방법은 도 1에 도시된 눈 추적 디바이스(10a)에 의해 수행될 수 있다. 따라서, 먼저, 단계(S10)에서 광학 시스템(14)의 제1 설정으로 이미지가 캡처된다. 이 제1 설정은 광학 시스템의 표준 설정 또는 기준 설정 등에 대응할 수 있다. 단계(S12)에서, 동공(12a), 동공 윤곽 점들, 동공 중심, 홍채, 홍채 중심, 글린트(glint) 또는 각막 반사(CR), 등과 같은 눈 피처들이 캡처된 이미지에서 검출된다. 이미지 내의 이들 검출된 눈 피처들에 기초하여, 단계(S14)에서 응시 방향이 결정될 수 있다.
이제, 광학 시스템(14)의 설정은 단계(S16)에서 변경될 수 있고 광학 시스템(14)의 새로운 상이한 설정을 갖는 다른 이미지가 단계(S18)에서 캡처된다. 그러나, 광학 시스템(14)의 상이한 설정들이 이미지 내에서 대상들의 외형에 영향을 미치므로, 눈 추적을 행할 때 이 외형 변화가 고려되어야 하는데, 그렇지 않으면 이 외형 변화가 눈 피처들의 위치 및 최종적으로 계산된 응시 방향의 잘못된 또는 부정확한 결정을 초래할 것이기 때문이다. 따라서, 단계(S20)에서, 눈 추적 디바이스는 제2 설정에 따른 피처 검출을 위해 제약 조건들을 조정한다. 보통, 프로세싱 유닛(18)은 캡처된 이미지들 내에서, 예를 들어, 특정 크기의 타원형의 어두운 영역들을 검색하여 캡처된 이미지 내에서 동공을 식별한다. 그러나, 광학 시스템(14)의 설정 변경으로 인해 눈 피처들의 크기가 변할 수 있기 때문에, 이 크기 제약 조건은 현재의 설정에 맞게 조정될 필요가 있다. 광학 시스템(14)의 설정 변경에 의존하여, 또한 다른 제약 조건들, 예를 들어, 눈 피처들의 형태, 즉, 이들의 기하학적 형태, 밝기, 채도, 스펙트럼 등에 관한 제약 조건들이 또한 조정될 수 있다. 이 제약 조건들의 조정에 의해, 이미지 내의 캡처된 눈 피처들의 외형에 대한 이미징 특성들의 변화의 영향을 보상하는 제1 보상이 제공된다. 프로세싱 유닛(18)은 이제 단계(S22)에서 조정된 제약 조건들에 따라 이미지 내의 눈 피처들을 검출할 수 있다. 그 후, 단계(S24)에서, 응시 방향이 결정될 수 있다. 또한, 여기서, 광학 시스템의 설정 변경이 고려되어야 하며, 이는 유익하게는 제2 설정에 따라 계산 파라미터들을 조정함으로써 수행될 수 있다. 이에 의해, 예를 들어, 눈이 광학 시스템(14)에 더 가까이 이동됨에 따라 눈의 확대된 이미지가 잘못 해석되는 것을 피할 수 있다. 따라서, 줌 팩터, 초점 길이, 등과 같은 광학 시스템(14)의 현재 설정이, 검출된 눈 피처들의 위치들을 계산하고 이로부터 응시 방향을 계산할 때, 고려될 수 있다. 따라서 현재 설정에 의존하여 계산 파라미터들을 조정함으로써, 제2 보상이 제공될 수 있다. 그 후, 이 절차는 예를 들어 단계(S16)로 돌아가서 새 설정을 다시 선택하여 반복될 수 있다.
도 6은 도 5에 도시된 방법과 조합될 수도 있는 본 발명의 다른 실시예에 따른 눈 추적 디바이스(10a, 10b, 10c)를 동작시키기 위한 방법을 도시하는 다른 플로우차트를 보여준다. 이 절차에 따르면, 눈 추적 디바이스(10a, 10b, 10c)는 단계(S30a)에서 광학 시스템(14)의 제1 설정으로 제1 이미지를, 특히, 이 이미지가 높은 선명도를 갖도록, 캡처한다. 또한, 눈 추적 디바이스의 캡처 유닛은 단계(S30b)에서 광학 시스템(14)의 제2 설정으로 제2 이미지를, 특히 이 이미지가 제1 이미지보다 낮은 선명도를 포함하도록, 캡처한다. 제1 및 제2 이미지는, 예를 들어, 도 1에 도시된 눈 추적 디바이스(10a)에 의해 또는 또한 동시에 도 4 또는 도 3에 도시된 눈 추적 디바이스(10b, 10c)에 의해 시간적으로 연속적으로 캡처될 수 있다. 그 후, 제1 이미지는 동공 위치를 결정하는데 사용될 수 있으며, 선명하지 않은 이미지는 글린트 위치, 즉 눈 추적 디바이스(10a, 10b, 10c)의 광원들(L)에 의해 생성된 각막 반사(CR)의 위치를 결정하는데 사용된다. 단계(S32a)에서 결정된 동공 위치 및 단계(S32b)에서 결정된 글린트 위치에 기초하여, 단계(S34)에서 응시 방향이 결정될 수 있고 절차는 단계(S30a) 및 단계(S30b)에서 다시 시작할 수 있다. 예컨대, 눈에 관한 선명한 이미지 및 선명하지 않은 이미지의 캡처와 관련한 교번(alternation)으로 인해, 훨씬 더 신뢰성있고 정확한 눈 추적 결과들이 달성될 수 있다. 특히, 각막 상의 반사(CR)와 같은 가상 광원들의 보케(bokeh) - 이미지에서 초점이 맞지 않는 대상들의 선명하지 않은 거의 원형인 외형을 나타냄 - 를 생성하기 위한 초점 흐림(defocus)은 보다 정확한 위치 파악을 가능하게 한다. 또한, 초점 심도들 사이의 신속한 교번은, 특히, 결정된 응시 방향의 높은 정밀성 및 정확성을 달성하기 위해 초점이 매우 잘 맞춰진 동공의 이미지들 및 각막 반사(CR)의 초점이 흐린 이미지들을 생성하는데 사용될 수 있다. 또한, 예를 들어, 윤곽 검출을 최적화하기 위해, 제1 이미지 및 제2 이미지를 서로로부터 뺌으로써, 두 이미지들에서의 각막 반사(CR)의 차이(상이한 초점 길이들에서 캡처된 이미지들의 차이, 가우시안 차이)가 사용될 수 있다.
전체적으로, 특히, 유효 초점 길이가 조정/변경될 수 있는 광학 시스템에 의해, 동적 가변 초점 및/또는 다초점 이미지 캡처를 가능하게 하는 눈 추적 디바이스 또는 시스템 및 눈 추적 방법이 제공될 수 있고, 따라서, 예컨대, 피처들의 심도를 추정하기 위해 초점 스위프를 사용함으로써, 응시 정밀성 및 정확성, 눈의 생리적 모델 구축을 향상시킬 수 있고, 더 큰 조리개(= 더 빠른 렌즈)를 가능하게 함으로써 이용 가능한 광을 더 잘 활용할 수 있게 한다. 본 발명에 의해, 예를 들어, 상이한 추적 시나리오들에 대한 눈의 선명도 및 가능한 반사/피처들이, 예를 들어, 알고리즘 특정 최적화 또는 더 높은 응시 정확성 및/또는 정밀성 및 얼굴 생김에 대한 최적화에 의해, 최적화될 수 있다.
눈 추적 디바이스 및/또는 방법은 캡처된 이미지(들)에서 다음과 같은 눈 피처들의 검출/결정을 크게 개선할 수 있다:
- 적어도 하나의 눈의 표면 또는 그 일부 상의 반사(들)(예를 들어, 푸르키네(Purkinje) 이미지)(예를 들어, 각막 반사(CR)는 적어도 하나의 눈의 각막 상의 반사이다)
- 캡처된 이미지 내의 영역으로서, 눈의 동공에 속하는 영역으로서 검출 가능한 적어도 하나의 눈의 동공
- 윤곽선(limbus)
- 각막
- 안구
- 공막
- 홍채
- 혈관들
- 첫번째에서 네번째까지의 푸루키네 반사들 중 하나.
상술된 눈 피처들 각각은, 예를 들어, 2D 위치 및 / 또는 3D 포즈, 형상, 텍스처, 콘트라스트, 선명도, 색상, 에지, 스펙트럼, 편광, 상관 관계, 그라디언트 및/또는 상술된 눈 피처들의 전술한 특성들의 분포에 의해, 더 기술될 수 있다.
눈 추적 디바이스는 추가로, 광학 시스템의 설정을 최적화하거나 적어도 하나의 피처에 대한 기준을 최적화하는 이미지의 부분을 선택함(예를 들어, 빔 스플리터의 경우)으로써, 응시 정밀성, 응시 정확성, 피처 정밀성, 피처 정확성, 피처 (불)확실성(알고리즘이 눈 피처의 특성에 대한 값(들)에 대해 얼마나 (불)확실한지를 정량화하는 척도, 예를 들어, 이미지들에서 식별된 피처에 대한 위치 및 형상의 형태로 공간적 차이로부터 도출됨), 이미지/에지들의 선명도(눈 추적을 위한 현재 상황의 '품질'을 평가하기 위한 이미지 프로세싱 기준), 콘트라스트, 인트라(intra) 및 인터(inter) 피처 콘트라스트 비율과 같은 측정 기준을 최적화할 수 있게 한다. 예를 들어, 동공 검출에 대해 에지들이 너무 흐릿하면, 초점 길이는 검출된 동공/동공 신뢰도가 양호하다고 여겨질 때까지 조정된다. 본 발명은 또한, 원치 않는 피처들을 흐릿하게 지우기 위해 얕은 피사계 심도를 이용하는 것, 심도, 배향, 선명도, 신뢰도, 초점 길이 등과 같은 정보를 도출하기 위해 동시에 획득된 이미지들의 특성들 또는 더 이전에 보고된 광학 시스템 상태 또는 특성들 중 하나의 이력을 사용하는 것과 같은 많은 다양한 목적들을 위해 사용될 수 있다.
참조 부호 목록
Figure pct00001

Claims (19)

  1. 사용자의 적어도 하나의 눈(12)의 적어도 하나의 부분의 이미지들(24a, 24b)을 캡처하기 위한 캡처 유닛(C; C1, C2)을 포함하는 광학 시스템(14)을 포함하는 눈 추적 디바이스(10a; 10b; 10c)로서, 상기 눈 추적 디바이스(10a; 10b; 10c)는 캡처된 이미지들(24a, 24b)에 기초하여 상기 적어도 하나의 눈(12)의 적어도 하나의 특성을 결정하기 위한 프로세싱 유닛(18)을 포함하고, 상기 캡처 유닛(C; C1, C2)은 상기 사용자의 상기 적어도 하나의 눈(12)의 상기 적어도 하나의 부분의 제1 이미지(24a) 및 제2 이미지(24b)를 캡처하도록 구성되고,
    상기 광학 시스템(14)은 적어도 하나의 제1 이미징 특성 및 상기 제1 이미징 특성과는 상이한 제2 이미징 특성을 포함하는 이미징 특성을 포함하고, 상기 광학 시스템(14)은 상기 제1 이미징 특성을 갖는 제1 광학 경로(P; P1) 및 상기 제2 이미징 특성을 갖는 제2 광학 경로(P; P2)를 제공하고, 상기 눈 추적 디바이스(10a; 10b; 10c)는 캡처 유닛(C; C1, C2)이 상기 제1 광학 경로(P; P1)를 따라 지나간 광을 캡처하여 상기 제1 이미지(24a)를 캡처하고 상기 제2 광학 경로(P; P2)를 따라 지나간 광을 캡처하여 상기 제2 이미지(24b)를 캡처하도록 구성되어, 상기 제1 및 제2 이미징 특성의 차이로 인해, 상기 제1 이미지(24a) 및 상기 제2 이미지(24b)는 상기 제1 이미지 및 상기 제2 이미지(24b)의 적어도 일부의 특징에 관련된 차이를 포함하고, 상기 눈 추적 디바이스(10a; 10b; 10c)는 상기 제1 이미지(24a) 및 상기 제2 이미지(24b) 중 적어도 하나에 기초하여 상기 눈(12)의 상기 적어도 하나의 특성을 결정하도록 구성되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  2. 제1항에 있어서,
    상기 제1 및 제2 이미징 특성 각각은,
    - 초점 길이;
    - 기준 위치에 대한, 상기 눈 추적 디바이스(10a; 10b; 10c), 특히, 광학 시스템(14)의 적어도 하나의 요소의 위치, 특히,
    - 이미지 거리 - 특히, 상기 이미지 거리는 상기 캡처 유닛(C; C1, C2)의 적어도 일부와 상기 광학 시스템(14)의 적어도 하나의 광학 요소(LV, L1, L2, M, M1, M2) 사이의 거리임 -;
    - 상기 눈 추적 디바이스(10a; 10b; 10c)의 적어도 하나의 광원(L)과 상기 광학 시스템(14)의 적어도 하나의 광학 요소(LV, L1, L2, M, M1, M2) 사이의 거리;
    - 기준 위치에 대한, 상기 광학 시스템(14)의 적어도 하나의 요소, 특히, 상기 광학 시스템(14)의 광학 요소(LV, L1, L2, M, M1, M2) 및/또는 캡처 유닛(C; C1, C2)의 이미지 센서 평면의 경사 및/또는 회전 각도; 및
    - 상기 광학 시스템(14)의 구경 조리개(20)의 조리개 값 중 적어도 하나와 관련된 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  3. 제1항 또는 제2항에 있어서,
    상기 광학 시스템(14)은, 상기 제1 광학 경로(P; P1)를 따라 전파하는 광의 전파 방향이, 제1의 미리 정의된 방식으로, 특히, 상기 광을 제1의 미리 정의된 범위만큼 굴절시킴으로써 변경되고, 상기 제2 광학 경로(P; P2)를 따라 전파하는 광의 전파 방향이, 제2의 미리 정의된 방식으로, 특히, 상기 광을 제2의 미리 정의된 범위만큼 굴절시킴으로써 변경되도록 구성되고, 제1의 범위와 제2의 범위는 상이한 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 프로세싱 유닛(18)은:
    - 상기 제1 이미지(24a) 및 상기 제2 이미지(24b)의 적어도 일부의 특징 - 특히, 선명도 및/또는 선명도 범위 및/또는 줌 팩터 및/또는 콘트라스트 및/또는 밝기 및/또는 스펙트럼 및/또는 이미지 피처들(26a, 26b, 28a, 28b, 30a, 30b)의 크기 및/또는 이미지 피처들(26a, 26b, 28a, 28b, 30a, 30b)의 형상 및/또는 관점 - 에 관련된 차이를 도출하고, 상기 차이에 기초하여 상기 적어도 하나의 눈(12)의 상기 적어도 하나의 부분에 대한 제1 정보를 도출하고, 상기 적어도 하나의 눈(12)의 상기 적어도 하나의 부분에 대한 상기 도출된 제1 정보에 기초하여 상기 적어도 하나의 눈(12)의 상기 특성을 결정; 및/또는
    - 상기 제1 이미지(24a)를 분석하고 상기 제1 이미지(24a)의 이 분석에 기초하여, 상기 제2 이미지(24b)가 상기 제1 이미지(24a)와 관련된 상기 차이를 포함하여 캡처되도록, 상기 눈 추적 디바이스(10a; 10b; 10c)의 설정을 미리 결정하도록 구성되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 프로세싱 유닛(18)은 상기 제1 이미징 특성이 상기 제2 이미징 특성으로 변경되도록 상기 광학 시스템(14)에 통지하도록 구성되며, 상기 프로세싱 유닛(18)은 상기 눈(12)의 상기 적어도 하나의 특성을 결정할 때 상기 이미징 특성의 이 변화를 고려하도록 추가로 구성되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 프로세싱 유닛(18)은, 미리 설정된 변화 패턴에 따라, 미리 정의된, 특히 교번 또는 변화하는 방식으로 상기 이미징 특성이 변하도록 상기 광학 시스템(14)을 제어하고, 특히, 제1 눈 피처(12a)를 결정하기 위해 하나 이상의 제1 이미지(24a)를 사용하고 제2 눈 피처(CR)를 결정하기 위해 하나 이상의 제2 이미지(24b)를 사용 - 예를 들어, 상기 적어도 하나의 눈(12)의 동공(12a)의 위치를 결정하기 위해 제1 선명도 값을 갖는 이미지들(24a)을 사용하고 상기 적어도 하나의 눈(12) 상의 각막 반사(CR)의 위치를 결정하기 위해, 특히 상기 제1 선명도 값보다 낮은 선명도를 제공하는 제2 선명도 값을 갖는 이미지들(24b)을 사용 - 하도록 구성되며, 바람직하게는 상기 눈(12)의 상기 적어도 하나의 특성은 상기 제1 눈 피처(12a) 및 상기 제2 눈 피처(CR)에 기초하여 결정되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 프로세싱 유닛(18)은, 제1 눈 피처, 예를 들어, 상기 적어도 하나의 눈(12)의 상기 동공(12a)의 위치가 상기 제1 이미지(24a)에 기초하여 결정되고, 제2 눈 피처, 예를 들어, 상기 적어도 하나의 눈(12) 상의 각막 반사(CR)의 위치가 상기 제2 이미지(24b)에 기초하여 결정되도록 구성되고, 특히, 상기 눈(12)의 상기 적어도 하나의 특성은 상기 제1 눈 피처 및 상기 제2 눈 피처에 의존하여 결정되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 눈 추적 디바이스(10a; 10b; 10c)는 상기 차이에 기초하여, 상기 제1 이미지(24a) 및/또는 상기 제2 이미지(24b)가 상기 적어도 하나의 눈(12)의 상기 적어도 하나의 특성을 결정하는데 사용되는지를 결정하고, 바람직하게는 또한 상기 제1 이미지(24a)의 어느 부분 및/또는 상기 제2 이미지(24b)의 어느 부분이 사용되는지를 결정하도록 구성되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  9. 제4항 내지 제8항 중 어느 한 항에 있어서,
    프로세싱 유닛(18)은 상기 이미징 특성의 알려진 값에 의존하여 상기 제1 정보를 결정하도록 구성되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 프로세싱 유닛(18)은 상기 제1 이미지(24a) 및/또는 상기 제2 이미지(24b)의 적어도 일부의 특징에 의존하여 신호를 제공하고, 상기 신호에 의존하여,
    - 상기 광학 시스템(14)의 상기 이미징 특성의 값을 정의하는 파라미터를 설정, 바람직하게는 상기 초점 길이 및/또는 이미지 거리 및/또는 조리개 값을 설정; 및/또는
    - 상기 눈(12)의 상기 적어도 하나의 특성을 결정하기 위해 상기 제1 이미지(24a) 또는 상기 제2 이미지(24b) 또는 둘 모두가 사용되는지를 정의하는 파라미터를 설정; 및/또는
    - 상기 눈(12)의 상기 적어도 하나의 특성을 결정하도록 구성되며, 바람직하게는 상기 신호는,
    - 상기 눈(12) 및/또는 상기 눈(12)의 상기 피처의 심도 값 또는 거리, 특히 상기 광학 시스템(14)의 적어도 일부와 상기 눈(12) 및/또는 상기 눈(12)의 상기 피처 사이의 거리;
    - 상기 눈(12) 및/또는 상기 눈(12)의 상기 피처(12a; CR)의 3D 위치;
    - 상기 눈(12) 및/또는 상기 눈(12)의 상기 피처(12a; CR)의 배향;
    - 상기 제1 및/또는 제2 이미징 특성; 및
    - 상기 눈(12)의 상기 피처(12a; CR)의 검출을 위한 확실성 값 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 광학 시스템(14)은 다초점 및/또는 가변 초점 광학 요소(LV, L1, L2) 및/또는 그것의 위치 설정에 있어서 가변적이도록 구성된 위치 가변 광학 요소로서 구성되거나 이를 포함하는 적어도 하나의 광학 요소(LV, L1, L2)를 포함하고, 특히, 눈 추적 디바이스(10a; 10b; 10c)는 상기 위치 가변 광학 요소의 상기 위치를 변화시키도록 구성되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  12. 제11항에 있어서,
    상기 광학 요소(LV, L1, L2)는, 상기 제1 범위만큼 광을 굴절시켜 상기 제1 이미징 특성을 제공하기 위한 제1 광학 특성 - 특히, 제1 초점 길이 또는 제1 표면 구조 - 및/또는 상기 제2 범위만큼 광을 굴절시켜 상기 제2 이미징 특성을 제공하기 위한 제2 광학 특성 - 특히, 제2 초점 길이 또는 제2 표면 구조 - 를 포함하는 적어도 하나의 제1 및/또는 제2 광학 요소(LV, L1, L2)를 포함하는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  13. 제11항 또는 제12항에 있어서,
    상기 광학 요소(LV, L1, L2) - 바람직하게는, 렌즈 - 는 가변 광학 특성, 특히, 가변 초점 길이를 가지며, 바람직하게는, 상기 광학 요소(LV, L1, L2)의 상기 가변 초점 길이가 제1 초점 길이로 설정될 때 상기 제1 이미징 특성을 제공하고 상기 광학 요소(LV, L1, L2)의 상기 가변 초점 길이가 제2 초점 길이로 설정될 때 상기 제2 이미징 특성을 제공하도록 구성되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  14. 제1항 내지 제13항 중 한 항에 있어서,
    상기 광학 시스템(14)은, 상기 제1 및 제2 이미징 특성을 시간적으로 연속적으로 제공하도록 구성 - 바람직하게는, 상기 제1 광학 경로(P) 및 제2 광학 경로(P)는 공간적으로 일치함 - 되거나, 상기 광학 시스템(14)은, 상기 제1 및 제2 이미징 특성을 동시에 제공하도록 구성 - 상기 제1 광학 경로(P1) 및 상기 제2 광학 경로(P2)는, 특히, 적어도 하나의 빔 스플리터(M1, M2)에 의해, 적어도 부분적으로 공간적으로 분리됨 - 되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  15. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 적어도 하나의 제1 및 제2 광학 요소(L1, L2)는 상기 제1 및 제2 광학 경로(P1, P2) 각각에 위치되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 눈 추적 디바이스(10a; 10b; 10c)는 캡처 경로가 상기 사용자의 상기 적어도 하나의 눈(12)으로부터 상기 캡처 유닛(C; C1, C2)까지 연장되도록 구성되고, 상기 캡처 경로는 상기 제1 광학 경로(P; P1) 및/또는 제2 광학 경로(P; P2)를 포함하며, 특히 상기 적어도 하나의 광학 요소(LV, L1, L2)는 상기 캡처 경로 내에 위치되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 눈 추적 디바이스(10a; 10b; 10c)는 상기 적어도 하나의 눈(12) 상의 반사(CR)를 생성하기 위해 상기 적어도 하나의 눈(12)을 조명하도록 구성된 조명 유닛을 포함하고, 상기 눈 추적 디바이스(10a; 10b; 10c)는 조명 경로가 상기 조명 유닛으로부터 상기 눈(12)까지 연장되도록 구성되고, 상기 조명 경로는 상기 제1 광학 경로(P; P1) 및/또는 상기 제2 광학 경로(P; P2)를 포함하고, 특히, 상기 적어도 하나의 광학 요소(LV, L1, L2)는 상기 조명 경로 내에 위치되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 눈 추적 디바이스(10a; 10b; 10c)는 디스플레이 이미지를 디스플레이하도록 구성된 디스플레이(16)를 포함하고, 상기 눈 추적 디바이스(10a; 10b; 10c)는, 상기 광학 시스템(14)의 적어도 일부를 통해 상기 사용자의 상기 적어도 하나의 눈(12)에 의해 상기 디스플레이 이미지가 상기 디스플레이 이미지의 가상 이미지로서 보일 수 있도록 구성되어, 상기 디스플레이 이미지가 상기 제1 및/또는 제2 이미징 특성에 따라 이미징되어 상기 가상 이미지를 구성하며, 바람직하게는, 상기 눈 추적 디바이스(10a; 10b; 10c)는 상기 가상 이미지가 상기 적어도 하나의 눈(12)의 결정된 관심 심도(depth of interest) - 바람직하게는 버전스(vergence) - 에 대응하는 가상 디스플레이 영역 내에 디스플레이되도록 파라미터를 설정하도록 구성되는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c).
  19. 광학 시스템(14)을 포함하는 눈 추적 디바이스(10a; 10b; 10c)를 동작시키기 위한 방법으로서, 상기 광학 시스템(14)의 캡처 유닛(C; C1, C2)은 사용자의 적어도 하나의 눈(12)의 적어도 하나의 부분의 이미지들을 캡처하고 상기 눈 추적 디바이스(10a; 10b; 10c)의 프로세싱 유닛(18)은 상기 캡처된 이미지들에 기초하여 상기 적어도 하나의 눈(12)의 적어도 하나의 특성을 결정하고, 상기 캡처 유닛(C; C1, C2)은 상기 사용자의 상기 눈(12)의 상기 적어도 하나의 부분의 제1 이미지(24a) 및 제2 이미지(24b)를 캡처하고, 상기 눈 추적 디바이스(10a; 10b; 10c)는 광학 시스템(14)을 포함하며,
    상기 광학 시스템(14)은 적어도 하나의 제1 이미징 특성 및 상기 제1 이미징 특성과는 상이한 제2 이미징 특성을 포함하는 이미징 특성을 포함하고, 상기 광학 시스템(14)은 상기 제1 이미징 특성을 갖는 제1 광학 경로(P; P1) 및 상기 제2 이미징 특성을 갖는 제2 광학 경로(P; P2)를 제공하고, 상기 캡처 유닛(C; C1, C2)은 상기 제1 광학 경로(P; P1)를 따라 지나간 광을 캡처하여 상기 제1 이미지(24a)를 캡처하고 상기 제2 광학 경로(P; P2)를 따라 지나간 광을 캡처하여 상기 제2 이미지(24b)를 캡처하여, 상기 제1 이미징 특성과 상기 제2 이미징 특성의 차이로 인해, 상기 제1 이미지(24a) 및 상기 제2 이미지(24b)는 상기 제1 이미지 및 상기 제2 이미지(24b)의 적어도 일부의 특징에 관련된 차이를 포함하고, 상기 프로세싱 유닛(18)은 상기 제1 이미지(24a) 및 상기 제2 이미지(24b) 중 적어도 하나에 기초하여 상기 눈(12)의 상기 적어도 하나의 특성을 결정하는 것을 특징으로 하는, 눈 추적 디바이스(10a; 10b; 10c)를 동작시키기 위한 방법.
KR1020177032325A 2015-05-08 2016-05-04 눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법 Active KR102000865B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15167021 2015-05-08
EP15167021.3 2015-05-08
PCT/EP2016/059996 WO2016180702A1 (en) 2015-05-08 2016-05-04 Eye tracking device and method for operating an eye tracking device

Publications (2)

Publication Number Publication Date
KR20170136582A true KR20170136582A (ko) 2017-12-11
KR102000865B1 KR102000865B1 (ko) 2019-07-16

Family

ID=53189644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177032325A Active KR102000865B1 (ko) 2015-05-08 2016-05-04 눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법

Country Status (5)

Country Link
US (1) US10437327B2 (ko)
EP (1) EP3294113B1 (ko)
KR (1) KR102000865B1 (ko)
CN (1) CN107533362B (ko)
WO (1) WO2016180702A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063480A (ko) * 2018-11-28 2020-06-05 연세대학교 원주산학협력단 휴대용 안진기 및 이의 캘리브레이션 방법
KR20200067398A (ko) * 2018-12-04 2020-06-12 연세대학교 원주산학협력단 가상현실 기반의 휴대용 안진 검사장치 및 이를 이용한 검진 방법
KR20210003180A (ko) * 2018-04-23 2021-01-11 아티움 테크놀로지스, 인코포레이티드 수렴 다중-빔 조명을 위해 vcsel 레이저들을 사용한 입자 필드 이미징 및 특성화
KR102400513B1 (ko) * 2020-12-07 2022-05-24 한국전자통신연구원 에어 스크린 디텍터 장치
KR20230147488A (ko) * 2022-04-14 2023-10-23 주식회사 피앤씨솔루션 아이트래킹을 이용한 ipd 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7120929B2 (ja) * 2016-06-07 2022-08-17 エアリー３ディー インコーポレイティド 深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法
EP3580604A4 (en) * 2017-02-12 2021-03-10 Lemnis Technologies Pte. Ltd. METHODS, DEVICES AND SYSTEMS FOR FOCUS ADJUSTMENT OF DISPLAYS
CN106932904A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US11048148B2 (en) 2017-03-30 2021-06-29 Telefonaktiebolaget Lm Ericsson (Publ) Imaging device and contact lens
WO2019117350A1 (ko) * 2017-12-14 2019-06-20 삼성전자 주식회사 응시 거리를 결정하는 방법 및 디바이스
WO2019126046A1 (en) * 2017-12-21 2019-06-27 Verily Life Sciences Llc Retinal cameras having variably sized optical stops that enable self-alignment
CN108065904A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 内窥镜系统及其控制方法
US20190243376A1 (en) * 2018-02-05 2019-08-08 Qualcomm Incorporated Actively Complementing Exposure Settings for Autonomous Navigation
US10867174B2 (en) 2018-02-05 2020-12-15 Samsung Electronics Co., Ltd. System and method for tracking a focal point for a head mounted device
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
WO2019164498A1 (en) * 2018-02-23 2019-08-29 Sony Mobile Communications Inc. Methods, devices and computer program products for global bundle adjustment of 3d images
JP2019154815A (ja) * 2018-03-13 2019-09-19 株式会社リコー 眼球の傾き位置検知装置、表示装置、及び検眼装置
WO2019173997A1 (en) * 2018-03-15 2019-09-19 Nokia Technologies Oy Near eye display and associated method
CN108398788B (zh) 2018-03-23 2024-04-16 京东方科技集团股份有限公司 眼睛跟踪装置及虚拟现实成像设备
ES3038740T3 (en) * 2018-06-29 2025-10-14 Tobii Ab Holographic eye imaging device
US10552986B1 (en) * 2018-07-20 2020-02-04 Banuba Limited Computer systems and computer-implemented methods configured to track multiple eye-gaze and heartrate related parameters during users' interaction with electronic computing devices
CN109460706B (zh) * 2018-09-30 2021-03-23 北京七鑫易维信息技术有限公司 应用于终端的眼球追踪信息处理方法和装置
KR102608471B1 (ko) 2018-11-06 2023-12-01 삼성전자주식회사 눈 추적 방법 및 장치
KR102166158B1 (ko) * 2018-12-19 2020-10-15 (주)이머시브캐스트 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템
SE543240C2 (en) * 2018-12-21 2020-10-27 Tobii Ab Classification of glints using an eye tracking system
CN109753260B (zh) * 2018-12-29 2021-07-16 联想(北京)有限公司 一种电子设备及其控制方法
EP3693061A1 (en) * 2019-02-05 2020-08-12 Gensight Biologics Method for controlling an optogenetic device using filtering and associated devices
SE543273C2 (en) 2019-03-29 2020-11-10 Tobii Ab Training an eye tracking model
US10827162B1 (en) * 2019-04-15 2020-11-03 Synaptive Medical (Barbados) Inc. Augmented optical imaging system for use in medical procedures
DE102019133433B4 (de) * 2019-12-06 2021-12-30 Schwind Eye-Tech-Solutions Gmbh Bestimmen einer aktuellen Position eines Auges eines Patienten auf Basis eines Purkinje-Bilds
CN111783660B (zh) * 2020-07-01 2023-11-10 业成科技（成都）有限公司 眼动追踪装置及应用其的电子装置
WO2022042859A1 (en) * 2020-08-28 2022-03-03 Telefonaktiebolaget Lm Ericsson (Publ) Projection of an image in an extended reality device
WO2022066478A1 (en) * 2020-09-22 2022-03-31 Sterling Labs Llc Glint analysis using multi-zone lens
EP4217919A1 (en) * 2020-09-25 2023-08-02 Apple Inc. Multi-camera biometric imaging system
KR20240093875A (ko) * 2020-12-17 2024-06-24 진 랩스 인코포레이티드 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템
US12437869B2 (en) * 2021-01-22 2025-10-07 Sesame Ai, Inc. Headset integrated into healthcare platform
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
US12254644B2 (en) 2021-03-31 2025-03-18 Leica Camera Ag Imaging system and method
US12323710B2 (en) * 2022-03-29 2025-06-03 Htc Corporation Head mounted display device and control method for eye-tracking operation
US12535678B2 (en) * 2022-03-30 2026-01-27 Jerusalem College Of Technology Eye tracking device
SE545952C2 (en) * 2022-03-31 2024-03-26 Tobii Ab Dynamic Camera Rotation Calibration
CN115393947A (zh) * 2022-08-30 2022-11-25 上海闻泰电子科技有限公司 基于头戴式显示器的虹膜图像采集方法及相关产品
US20240104958A1 (en) * 2022-09-23 2024-03-28 Apple Inc. User Eye Model Match Detection
US12242672B1 (en) 2022-10-21 2025-03-04 Meta Platforms Technologies, Llc Triggering actions based on detected motions on an artificial reality device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140139667A1 (en) * 2012-11-22 2014-05-22 Samsung Electronics Co., Ltd. Image capturing control apparatus and method
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
US20160309081A1 (en) * 2013-10-31 2016-10-20 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2372376C (en) * 1998-04-29 2007-11-20 Carnegie Mellon University Apparatus and method of monitoring a subject's eyes using two different wavelengths of light
GB9823977D0 (en) * 1998-11-02 1998-12-30 Scient Generics Ltd Eye tracking method and apparatus
US7483054B2 (en) * 2006-03-16 2009-01-27 Altek Corporation Image unsharpness test method for a camera device
CN101945612B (zh) * 2008-02-14 2013-09-25 诺基亚公司 用于确定注视方向的设备和方法
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
JP6204644B2 (ja) * 2012-08-15 2017-09-27 キヤノン株式会社 撮像装置およびその制御方法
TW201415879A (zh) * 2012-10-12 2014-04-16 Wintek Corp 影像擷取裝置
US9317114B2 (en) * 2013-05-07 2016-04-19 Korea Advanced Institute Of Science And Technology Display property determination

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140139667A1 (en) * 2012-11-22 2014-05-22 Samsung Electronics Co., Ltd. Image capturing control apparatus and method
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
US20160309081A1 (en) * 2013-10-31 2016-10-20 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210003180A (ko) * 2018-04-23 2021-01-11 아티움 테크놀로지스, 인코포레이티드 수렴 다중-빔 조명을 위해 vcsel 레이저들을 사용한 입자 필드 이미징 및 특성화
KR20200063480A (ko) * 2018-11-28 2020-06-05 연세대학교 원주산학협력단 휴대용 안진기 및 이의 캘리브레이션 방법
KR20200067398A (ko) * 2018-12-04 2020-06-12 연세대학교 원주산학협력단 가상현실 기반의 휴대용 안진 검사장치 및 이를 이용한 검진 방법
US12076088B2 (en) 2018-12-04 2024-09-03 M.I.One Co., Ltd. Virtual reality-based portable nystagmography device and diagnostic test method using same
KR102400513B1 (ko) * 2020-12-07 2022-05-24 한국전자통신연구원 에어 스크린 디텍터 장치
US11961270B2 (en) 2020-12-07 2024-04-16 Electronics And Telecommunications Research Institute Air screen detector device
KR20230147488A (ko) * 2022-04-14 2023-10-23 주식회사 피앤씨솔루션 아이트래킹을 이용한 ipd 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치

Also Published As

Publication number Publication date
US10437327B2 (en) 2019-10-08
KR102000865B1 (ko) 2019-07-16
CN107533362B (zh) 2020-10-16
US20180120932A1 (en) 2018-05-03
EP3294113B1 (en) 2019-09-25
CN107533362A (zh) 2018-01-02
WO2016180702A1 (en) 2016-11-17
EP3294113A1 (en) 2018-03-21

Similar Documents

Publication Publication Date Title
KR102000865B1 (ko) 눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법
US10048750B2 (en) Content projection system and content projection method
US9867532B2 (en) System for detecting optical parameter of eye, and method for detecting optical parameter of eye
CN105828700B (zh) 操作眼睛跟踪装置的方法和提供主动照明控制用于改进的眼睛跟踪稳定性的眼睛跟踪装置
CN103499886B (zh) 成像装置和方法
US6394602B1 (en) Eye tracking system
US9961335B2 (en) Pickup of objects in three-dimensional display
CN103499885B (zh) 成像装置和方法
JP7165994B2 (ja) 眼の計測を収集するための方法及びデバイス
JP2003521950A6 (ja) 視標追跡システム
WO2015035823A1 (en) Image collection with increased accuracy
US12118145B2 (en) Electronic apparatus
US20160147083A1 (en) Focal Length Adjustment
JP2020513609A5 (ja) 眼の計測を収集するための方法及びデバイス
JP6687195B2 (ja) 眼部画像処理装置
WO2022024104A1 (en) Eye tracking systems and methods
JP7822741B2 (ja) 電子機器及び電子機器の制御方法
JP7766432B2 (ja) 個人認証装置及び個人認証方法、プログラム
US20240231482A1 (en) Display control apparatus and control method for display apparatus
WO2025183786A1 (en) Auto-focus for retinal imaging system
KR20070098256A (ko) 자동 검안기 및 검안 방법
JPH02264634A (ja) 視線検出装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20171108

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181207

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190624

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190710

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190710

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220615

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240617

Start annual number: 6

End annual number: 6