KR20160090867A

KR20160090867A - 아이 트래킹 및 사용자 반응 검출

Info

Publication number: KR20160090867A
Application number: KR1020167016972A
Authority: KR
Inventors: 보 피; 이 헤
Original assignee: 선전 후이딩 테크놀로지 컴퍼니 리미티드
Priority date: 2013-11-27
Filing date: 2014-11-28
Publication date: 2016-08-01
Anticipated expiration: 2034-11-28
Also published as: EP3074923A4; WO2015081325A1; CN106663183A; US9552064B2; US20150145777A1; US10416763B2; KR101855196B1; US20170131766A1; CN106663183B; EP3074923A1

Abstract

시선 움직임의 시각적인 센싱 및 트래킹을 위해 방법, 시스템, 및 장치가 개시된다. 일 측면에서, 사용자의 눈 역학 데이터를 구하기 위한 장치는 적어도 하나 이상의 컨텐츠를 표현하기 위해 디스플레이 스크린을 포함한다. 상기 장치는 상기 디스플레이 스크린에 상기 적어도 하나의 컨텐츠를 표현하면서 사용자의 시선 움직임을 포함하는 상기 사용자의 눈 역학 데이터를 구하기 위한 아이 센싱 모듈을 포함한다. 상기 장치는 상기 아이 센싱 모듈과 통신하는 프로세서를 포함한다. 상기 프로세서는 적어도 부분적으로 구해진 상기 사용자의 눈 역학 데이터를 기초로 상기 디스플레이 스크린에 표시된 상기 적어도 하나의 컨텐츠에 대한 사용자의 반응을 결정할 수 있다.

Description

아이 트래킹 및 사용자 반응 검출{EYE TRACKING AND USER REACTION DETECTION}

본 출원은 2013년 11월 27일자 미국특허출원 US61/909,998과, 2013년 12월 3일자 미국특허출원 US61/911,430의 우선권을 주장하며, 이것은 전체가 참조로서 본 명세서에 포함된다.

본 발명은 아이 트래킹(eye tracking) 및 눈 반응 센싱 기술에 관한 것이다.

주변 환경으로부터 빛을 수집하는 시각 시스템의 복합 해부학적 구성요소인 눈(eye)은 조리개를 통해 빛의 세기를 조절하고, 조절 가능한 렌즈 어셈블리를 통해 초점을 맞추어 이미지를 만들고, 상기 이미지를 전기 신호 세트로 변환하고, 이 신호들을 복잡한 신경 연결 경로를 통해 뇌로 전달한다. 이 신경 연결 경로는 시신경을 경유하여 눈과 시각 피질(visual cortex) 및 뇌의 다른 영역을 연결한다.

눈은 밝기(빛의 휘도에 기초한) 와 색상(빛의 파장에 기초한)의 두 가지 측면에서 차이를 인식하는 능력을 제공한다. 추상체(cones)는 밝은 빛에 있을 때, 정확한 시각(visual acuity)과 색각(color vision)을 제공하는 눈의 뒤쪽에 있는 광수용체(즉, 망막)의 한 부류이다. 로드(Rod)는 망막의 외부 영역에 있는 상당히 예민한 광수용체로, 야간 시력을 위해 감소된 빛에서 시각 정보를 제공할 뿐 아니라 더 밝은 빛 조건에서 주변 시야를 보조한다.

눈은 다양한 부분 또는 구송 요소를 갖는 복합 구조로 형성되어 광학적 반사를 야기시킨다. 눈의 반사의 주요 위치는, 예를 들어, 각막으로 빛이 반사되는 각막 반사, 홍채로 빛이 반사되는 홍채 반사, 그리고 각막으로 빛이 반사되는 역반사를 포함한다. 이러한 반사들은 사진에서 적목 현상과 같이 일부 응용(some application)에서 악영향을 가져올 수 있으며, 예를 들어, 아이 트래킹(eye tracking) 장치와 같은 다양한 광학 시스템에도 사용될 수 있다.

실시간 터치 센싱 스크린과 같이, 장치의 디스플레이 스크린에 사용자의 시선이 응시하거나 지향하는 곳을 검출하고 트래킹하기 위한 기술을 포함하는, 시선 움직임의 시각적 센싱 및 트래킹을 위한 방법, 시스템, 및 장치가 개시된다.

상기 개시된 기술의 실시예들은 상기 사용자의 시선이나 눈이 응시하거나 바라보는 곳을 검출한 것을 기초로 상기 디스플레이 스크린 상에 커서나 지시자(indiator)를 생성하는 단계, 그리고 상기 생성된 커서나 지시자를 사용해서 다양한 기능을 수행하는 단계를 포함한다.

상기 수행 가능한 기능은 예를 들어, 선택, 활성화, 또는 다른 다양한 애플리케이션, 문서, 그리고 사용자 인터페이스와의 상호 작용을 포함한다. 상기 선택, 활성화, 또는 상호작용은 장치에 있는 바람직한 액션, 동작, 또는 영향을 초래한다. 일부 실시예에서, 상기 시선 응시 트래킹은 상기 장치에 있는 하나 이상의 작동 버튼, 스위치, 또는 토글(toggle)과 같이 추가적인 사용자 입력과 함께 사용될 수 있다. 마우스나 포인처를 물리적으로 움직여서 상기 디스플레이 스크린 상에 커서의 움직임 또는 위치를 조절하지 않고 "아이 마우스" 동작을 사용해서 다양한 기능을 수행하기 위해 상기 아이 트래킹 및 디스플레이 스크린 상의 시선 응시나 시선 겨냥(aiming)의 검출을 사용해서 상기 커서의 위치를 지시할 수 있다. 모바일 또는 손에 쥘 수 있는 장치에서, 이러한 "아이 마우스" 기능은 한 손으로 작동을 가능하게 하거나 상기 디스플레이 스크린을 경유하여 다양한 동작과 기능을 조절 가능하게 하는데 사용될 수 있다.

또한, 장치의 디스플레이 스크린 상에 있는 컨텐츠에 대한 사용자의 반응을 분석하고 보고하기 위해 사용자 눈 역학(eye dynamics)을 사용하기 위한 방법, 시스템, 및 장치를 개시한다. 상기 개시된 기술의 실시예는 상기 장치의 디스플레이 스크린 상에 있는 적어도 하나 이상의 컨텐츠를 나타내는 사용자의 눈 역학 데이터를 구하기 위해 장치에 통합된 아이 센싱 모듈을 사용하는 것을 포함할 수 있다. 상기 사용자의 눈 역학 데이터는 적어도 사용자의 시선 움직임 변화와 사용자의 동공 크기 변화를 포함한다. 상기 획득한 사용자 눈 역학 데이터는 상기 디스플레이 스크린 상에 디스플레이된 상기 컨텐츠에 대한 사용자의 반응을 결정하기 위해 분석된다.

일 측면으로, 사용자의 눈 역학 데이터를 구하기 위한 장치는 적어도 하나 이상의 컨텐츠를 표현하기 위해 디스플레이 스크린을 포함한다. 상기 장치는 상기 디스플레이 스크린에 상기 적어도 하나의 컨텐츠를 표현하면서 사용자의 시선 움직임을 포함하는 상기 사용자의 눈 역학 데이터를 구하기 위한 아이 센싱 모듈을 포함한다. 상기 장치는 상기 아이 센싱 모듈과 통신하는 프로세서를 포함한다. 상기 프로세서는 적어도 부분적으로 구해진 상기 사용자의 눈 역학 데이터를 기초로 상기 디스플레이 스크린에 표시된 상기 적어도 하나의 컨텐츠에 대한 사용자의 반응을 결정할 수 있다.

상기 장치는 하나 이상의 다음과 같은 특징을 갖기 위해 다양한 방식으로 구현될 수 있다. 상기 사용자 눈 역학 데이터는 사용자의 동공 크기의 변화를 포함한다. 상기 장치는 주변광 조건을 구하기 위해 상기 프로세서와 통신하는 주변광 센싱 모듈을 포함한다. 상기 프로세서는 적어도 부분적으로 구해진 상기 사용자의 눈 역학 데이터를 기초로 상기 디스플레이 스크린에 표시된 상기 적어도 하나의 컨텐츠에 대한 사용자의 반응을 결정할 수 있다. 프로세서는 디스플레이 밝기 변화 데이터 혹은 디스플레이 배경광 특성 중 적어도 하나를 포함하는 디스플레이 스크린 특성을 구하기 위해 상기 디스플레이 스크린과 통신하고, 구해진 상기 디스플레이 스크린 특성과 상기 사용자 눈 역학 데이터 중 적어도 일부를 기초로 디스플레이 스크린에 디스플레이 된 상기 적어도 하나의 컨텐츠에 대한 상기 사용자 반응을 결정한다. 상기 프로세서와 통신하고 상기 장치의 모션 변수를 구하기 위해 구성된 적어도 하나의 모션 센서를 포함할 수 있다. 상기 프로세서는 구해진 상기 사용자 눈 역학 데이터 와 상기 모션 변수를 적어도 일부 기초로 상기 디스플레이 스크린에 디스플레이된 상기 적어도 하나의 컨텐츠에 대한 상기 사용자의 반응을 결정할 수 있다. 상기 장치는 모바일 장치를 포함한다.

다른 측면으로, 장치의 디스플레이 스크린에 표시된 적어도 하나의 컨텐츠에 대한 사용자 반응을 결정하기 위한 방법이 설명된다. 상기 방법은 상기 장치의 디스플레이 스크린에 적어도 하나의 컨텐츠를 표시하는 단계를 포함한다. 상기 방법은 상기 장치의 디스플레이 스크린에 상기 적어도 하나의 컨텐츠를 표시하는 동안 상기 장치에 통합된 아이 센싱 모듈이 사용자의 시선 움직임 또는 사용자의 동공 크기 변화를 나타내는 데이터를 구하기 위해 상기 사용자의 눈 역학을 검출하는 단계를 포함한다. 상기 방법은 사용자 반응 데이터를 생성하기 위해 구해진 상기 사용자 눈 역학 데이터를 상기 디스플레이 스크린에 표시된 상기 적어도 하나의 컨텐츠를 결부시키는 단계를 포함한다.

상기 방법은 하나 이상의 다음과 같은 특징을 갖기 위해 다양한 방식으로 구현될 수 있다. 상기 방법은 상기 생성된 사용자 반응 데이터를 서버로 전송하는 단계를 포함한다. 서버는 상기 적어도 하나의 컨텐츠를 제공하는 컨텐츠 제공자와 연관된 수 있다. 상기 방법은 서버로 전송된 상기 사용자 반응 데이터의 적어도 일부를 기초로 선택된 다른 컨텐츠를 서버로부터 수신하는 단계를 포함할 수 있다. 구해진 상기 사용자 눈 역학 데이터를 상기 적어도 하나의 컨텐츠에 결부시키는 단계는 사용자 동공 크기의 증가를 상기 디스플레이 스크린에 표시된 상기 적어도 하나의 컨텐츠에 대한 상기 사용자의 관심 증가에 대한 표시로 결부시킬 수 있다.

다른 측면으로, 사용자 반응 피드백 정보를 제공하는 서버가 설명된다. 상기 서버는 복수의 사용자 장치에 표시되는 공통 컨텐츠에 연관된 사용자 반응 데이터를 상기 복수의 사용자 장치로부터 수신하고; 상기 복수의 사용자 장치에 표시된 상기 공통 컨텐츠에 연관된 상기 사용자 반응 데이터를 분석하고; 상기 공통으로 표시된 컨텐츠에 대한 상기 사용자 반응의 분석을 기초로 출력을 생성하고; 그리고, 상기 공통으로 표시된 컨텐츠를 제공하는 컨텐츠 제공자에게 상기 생성된 출력을 보고하기 위해 구성된 프로세서를 포함한다.

상기 서버는 다음과 같은 특징 하나 이상을 포함하기 위해 다양한 방식으로 구현될 수 있다. 상기 생성된 출력은 통계적 결과를 포함할 수 있다.

다른 측면으로, 아이 트래킹을 위한 장치가 설명된다. 상기 장치는 광검출 모듈을 포함한다. 상기 장치는 상기 광검출 모듈의 위치에 상대적으로 각각 위치에서 상기 장치에 배치되는 두 개의 광원을 포함하는데, 각 광원 그룹은 변조광을 발광한다. 상기 두 개의 광원 그룹에서 발광된 상기 변조광 각각은 실질적으로 동일한 변조 주파수와 서로 다른 위상으로 변조된다. 상기 두 개의 광원 그룹에 각각 변조된 광을 방출하면, 상기 광검출 모듈은 상기 사용자의 눈에서 역반사되는 빛의 적어도 일부를 포함하는 반환광을 수신한다. 상기 장치는 상기 광검출 모듈과 상기 두 개의 광원 그룹과 통신하는 프로세서를 포함한다. 상기 프로세스는 적어도 상기 수신된 일부 역반사광을 기초로 상기 사용자의 시선의 위치 및 차원 변수를 결정하기 위해 상기 광검출 모듈로부터의 출력 신호를 처리하기 위해 구성된다. 일부 실시예에서, 상기 장치는 두 개 이상의 광원 그룹을 포함한다.

상기 장치는 다음과 같은 특징을 하나 이상 포함하기 위해 다양한 방식으로 구현될 수 있다. 상기 광원 그룹 중 하나의 위치는 상기 둘 이상의 광원 그룹 중 어느 하나보다 상기 광검출 모듈에 가장 가까워서 상기 광검출 모듈이 수신한 상기 일부의 역반사광은 상기 두 개 이상의 광원 그룹 중 어느 하나보다 더 가까운 위치를 갖는 광원 그룹에 의해 방출되는 상기 변조광에 더 근거한다.

상기 장치는 수신된 일부의 역반사광을 수집하고 상기 수집된 일부의 역반사광을 상기 광검출 모듈로 향하게 하기 위해 상기 광검출 모듈 앞에 위치한 수신 렌즈를 포함할 수 있다. 상기 하나의 광원 그룹은 상기 수신 렌즈의 광축에 근접해서 배치되고 다른 광원 그룹은 상기 수신 렌즈의 광축에서 멀리 떨어져서 배치될 수 있다. 상기 수신 렌즈와 상기 두 개의 광원 그룹은 상기 광원 그룹 중 하나로부터 발광된 상기 변조광을 기초로 상기 눈에서 역반사된 광이 실질적으로 상기 수신 렌즈에 투사되도록 구성되고, 다른 광원 그룹에서 발광된 상기 변조광을 기초로 상기 눈에서 역반사되는 광은 실질적으로 상기 수신 렌즈에서 떨어진 곳에 투사된다. 상기 장치는 상기 각각의 변조광을 기초로 배경광와 산란광을 배제하기 위해 상기 광검출 모듈 출력 신호를 필터링하기 위해 상기 광검출 모듈에 통신 가능하게 연결되는 필터링 회로를 포함할 수 있다. 상기 산란광은 상기 각각의 변조광이 사용자의 얼굴과 얼굴 근처의 다른 표면에 흩어질 때 생성될 수 있다. 상기 상기 광원 그룹 중 하나에서 발광되는 상기 변조광에 기초한 산란광은 실질적으로 다른 광원 그룹에서 발광된 상기 변조광에 기초한 상기 산란광에 대해 180°의 위상 차이를 갖는다. 상기 필터링 회로는 상기 배경광을 배제하기 위해 밴드패스 필터를 포함할 수 있다. 상기 둘 이상의 광원 그룹은 실질적으로 동일한 파장으로 변조광을 각각 발광할 수 있다. 상기 장치는 디스플레이 인터페이스를 포함할 수 있다. 상기 프로세서는 상기 결정된 위치 변수를 기초로 상기 사용자의 시선의 응시 위치를 결정할 수 있고, 상기 디스플레이 인터페이스는 상기 결정된 응시 위치에서 상기 디스플레이 인터페이스 상에 커서를 표시할 수 있다. 상기 디스플레이 장치와 상기 프로세서의 조합은 업데이트된 위치 변수를 기초로 상기 커서의 위치를 적극적으로 조절할 수 있다. 상기 광검출 모듈로부터 출력되는 신호의 세기는 상기 눈의 역반사의 세기에 비례하고, 상기 눈의 동공에 더 비례할 수 있다.

다른 측면으로, 사용자의 응시를 기준으로 커서를 조절하기 위한 모바일 장치가 설명된다. 상기 모바일 장치는 디스플레이 인터페이스와 상기 디스플레이 인터페이스에 인접한 표면 영역을 포함한다. 상기 장치는 상기 표면 영역에 있는 제1 위치에 놓이고 제1 변조광을 방출하기 위해 작동가능한 제1 광원 그룹을 포함한다. 상기 장치는 상기 표면 영역에 있는 제2 위치에 놓이고 제2 변조광을 방출하기 위해 작동 가능한 제2 광원 그룹을 포함한다. 상기 제1 변조광와 제2 변조광은 실질적으로 동일한 주파수를 갖고, 상기 제1 변조광과 제2 변조광의 변조 위상은 실질적으로 서로 반대된다. 상기 제1 광원 그룹과 상기 제2 광원 그룹은 상기 제1 변조광 및 제2 변조광을 사용자가 작동하는 장치의 사용자의 눈을 향해 방출한다. 상기 모바일 장치는 상기 제1 광원 그룹 및 제2 광원 그룹으로부터 방출된 상기 제1 변조광 및 제2 변조광을 기초로 상기 사용자의 눈으로부터 역반사된 광의 적어도 일부를 포함하는 반환광을 수신하기 위해 구성된 광검출 모듈을 포함한다. 상기 장치는 상기 광검출 모듈과 상기 제1 광원 그룹 및 제2 광원 그룹에 통신 가능하게 결합되는 프로세서를 포함한다. 상기 프로세서는 상기 광검출 모듈로부터의 출력 신호를 처리하여 상기 제1 변조광 및 제2 변조광에 대응하여 상기 적어도 일부의 역반사광을 기초로 상기 사용자의 시선 응시 위치를 결정한다. 상기 디스플레이 인터페이스는 상기 결정된 응시 위치에 커서를 디스플레이할 수 있다.

상기 방법은 다음과 같은 특징을 하나 이상 포함하기 위해 다양한 방식으로 구현될 수 있다. 상기 프로세서와 연동하는 디스플레이 인터페이스는 업데이트된 상기 눈의 응시 위치를 기초로 상기 커서의 위치를 계속 조절할 수 있다. 상기 광검출 모듈은 상기 모바일 장치와 상기 사용자의 눈 사이에서 상대적인 선형 움직임과 회전 움직임을 트래킹하고, 상기 응시 위치에서 상기 상대적인 선형 움직임과 회전 움직임의 영향을 반영하는 상기 출력 신호를 생성할 수 있다. 상기 광검출 모듈로부터의 상기 출력 신호의 세기는 상기 눈의 역반사 세기에 비례하고, 상기 눈의 동공 크기에 더 비례할 수 있다. 프로세서는 상기 눈의 동공의 크기를 결정하기 위한 상기 출력 신호를 처리할 수 있다. 상기 프로세서는 상기 모바일 장치와 상기 사용자의 눈 사이 거리를 결정하기 위해 상기 출력 신호를 처리할 수 있다. 상기 모바일 장치는 장치 외부 및 상기 디스플레이된 커서의 위치에서 마우스 기능을 수행하기 위해 모바일 장치에 위치한 하나 이상의 버튼을 포함할 수 있다. 상기 하나 이상의 버튼은 상기 장치 외부의 왼쪽, 오른쪽, 또는 뒤쪽에 위치한다. 상기 하나 이상의 버튼은 상기 디스플레이 인터페이스에 디스플레이된다. 상기 하나 이상의 버튼은 상기 모바일 장치에 존재하는 버튼과의 조합으로 작동 가능하다. 상기 하나 이상의 버튼은 일반적인 마우스의 왼쪽 클릭, 오른쪽 클릭, 중간 클릭 기능을 수행할 수 있다.

다른 측면으로, 장치에서 시선 움직임을 트래킹하기 위한 방법이 설명된다. 상기 방법은 사용자의 눈을 향해 제1 변조광을 방출하기 위해 상기 장치의 제1 광원 그룹과 2 변조광을 방출하기 위해 제2 광원 그룹을 사용하는 단계를 포함한다. 상기 제1 변조광과 제2 변조광은 실질적으로 동일한 변조 주파수를 갖고 상기 제1 변조광과 제2 변조광의 변조 위상은 실질적으로 서로 반대된다. 상기 방법은 상기 장치의 광검출 모듈에서, 상기 제1 광원 및 제2 광원으로부터의 상기 제1 변조광 및 제2 변조광을 기초로 상기 사용자의 눈에서 역반사되는 광을 적어도 일부를 포함하는 반환광을 수신하는 단계를 포함한다. 상기 방법은 배경광과 산란광을 배제하기 위해 상기 수신된 반환광을 필터링하는 단계를 포함한다. 상기 방법은 상기 제1 변조광 및 제2 변조광에 대응하는 상기 적어도 일부의 역반사 광을 기초로 상기 사용자의 시선의 위치 및 차원 변수를 결정하기 위해 상기 광검출 모듈로부터의 출력 신호를 처리하는 단계를 포함한다.

상기 방법은 다음과 같은 특징을 하나 이상 포함하기 위해 다양한 방식으로 구현될 수 있다. 상기 제1 변조광에 기초한 상긴 산란광은 상기 제2 변조광에 기초한 상기 산란광에 대해 실질적으로 180°의 위상 차이를 가질 수 있다. 상기 제1 광원 그룹 및 제2 광원 그룹에 대응하는 상기 역반사광 일부의 차이 값을 기초로 상기 시선의 위치 및 차원 변수를 결정하는 것을 포함하는 출력 신호를 처리한다. 상기 방법은 가시광을 방출하기 위해 상기 제1 광원 및 제2 광원을 사용하는 것을 포함한다. 상기 방법은 상기 제1 광원 그룹 및 제2 광원 그룹을 사용하는 것은 적외선과 자외선 파장대에서 변조광을 방출하기 위해 제1 광원 그룹 및 제2 광원 그룹을 사용하는 것을 포함한다. 상기 방법은 상기 제1 광원 그룹 및 제2 광원 그룹을 사용하는 것은 서로 다른 파장대의 변조광을 방출하기 위해 상기 제1 광원 그룹 및 제2 광원 그룹을 사용하는 단계와 상기 제1 광원과 제2 광원을 서로 일치시키기 위해 보정하는 단계를 포함한다. 상기 방법은 자기 상쇄 검출을 수행하기 위해 동일한 변조 주파수의 빛을 방출하는 상기 제1 광원 그룹 및 제2 광원 그룹을 사용하는 단계를 포함한다. 상기 방법은 상기 제1 변조광 및 제2 변조광에 대응한 상기 일부 역반사광에 기초하여 상기 장치의 디스플레이 스크린 상에 상기 사용자의 시선 응시 위치를 결정하기 위해 상기 광검출 모듈로부터의 상기 출력 신호를 프로세싱하는 단계를 포함한다. 상기 방법은 업데이트된 상기 시선의 응시 위치를 기초로 상기 디스플레이 인터페이스 상에 상기 커서의 위치를 계속 조절하는 단계를 포함한다. 상기 방법은 시선 응시의 방향 검출을 위해 다른 변조 주파수를 갖는 변조광을 방출하기 위해 제1 광원 그룹 및 제2 광원 그룹을 사용하는 단계를 포함한다. 제1 광원 및 제2 광원과 상기 광검출 모듈은 상기 장치의 가장자리에 위치할 수 있다. 상기 방출된 제1 변조광 및 제2 변조광은 상기 아이 신호 검출을 향상시키고 상기 배경광을 더 배제하기 위해 상기 광검출 모듈의 프레임 속도와 연관된 주파수의 섬광을 포함할 수 있다. 상기 방법은 상기 시선 응시 방향의 변화에 대해 상기 커서의 위치를 변경하는 단계와 상기 디스플레이 스크린 상에 커서의 선택, 작동, 또는 상호 작용을 활성화하기 위해 상기 장치 있는 하나 이상의 커서 활성화 버튼을 제공하는 단계를 포함한다. 상기 방법은 상기 장치의 추가적인 조절 기능을 제공하기 위해 상기 하나 이상의 커서 활성화 버튼을 구성하는 단계를 포함한다. 상기 방법은 상기 시선의 움직임의 트래킹과 연결된 상기 눈동자의 동공 크기 변화를 검출하기위한 기능을 활성화하기 위해 상기 하나 이상의 커서 활성화 버튼을 통해 수신된 입력을 사용하는 단계를 포함한다. 상기 방법은 상기 하나 이상의 커서 활성화 버튼을 통해 수신된 입력을 기초로 상기 시선 움직임 트래킹과 연결된 상기 시선 응시 방향을 측정하는 단계를 포함한다. 상기 방법은 상기 하나 이상의 커서 활성화 버튼을 통해 수신된 입력을 기초로 상기 발출된 변조광과 검출된 반환광에 포함된 데이터를 전송하고 수신하는 단계를 포함한다. 상기 방법은 상기 제1 변조광 및 제2 변조광에 대응하는 적어도 상기 일부 역반사광에 기초하여 상기 장치의 디스플레이 스크린에 상기 사용자의 시선의 응시 위치를 결정하기 위해 상기 광검출 모듈로부터의 상기 출력 신호를 처리하는 단계와 응시할 때 마다 비용을 지불하는 광고에 사용자의 응시를 검출하기 위해 상기 디스플레이 스크린 상에 상기 결정된 사용자의 시선 응시의 위치를 사용하는 단계를 포함한다. 상기 방법은 상기 제1 변조광 및 제2 변조광에 대응하는 적어도 상기 일부 역반사광에 기초하여 상기 장치의 디스플레이 스크린에 상기 사용자의 시선의 응시 위치를 결정하기 위해 상기 광검출 모듈로부터의 상기 출력 신호를 처리하는 단계와 게임 애플리케이션에 있는 게임 플레이를 조절하기 위해 상기 디스플레이 스크린 상에 상기 결정된 사용자의 시선 응시 위치를 사용하는 단계를 포함한다. 상기 방법은 상기 장치의 디스플레이 스크린 상에 마케팅 연구와 연관된 적어도 하나의 컨텐츠를 표시하는 단계; 상기 디스플레이 스크린 상에 디스플레이된 상기 적어도 하나의 컨텐츠에 대한 상기 사용자 반응을 결정하기 위해 상기 사용자의 시선에 대한 상기 결정된 위치 및 차원 변수를 분석하는 단계; 및 상기 표시된 마케팅 연구와 연관된 적어도 하나의 컨텐츠에 대한 상기 결정된 사용자의 반응을 수집하는 단계를 포함한다. 상기 방법은 상기 제1 변조광 및 제2 변조광에 대응하는 적어도 상기 일부의 역반사광을 기초로 상기 장치의 디스플레이 스크린 상에 상기 사용자의 시선 응시 위치를 결정하기 위해 상기 광검출 모듈로부터의 상기 출력 신호를 처리하는 단계; 및 보안 접속 또는 보안 데이터 입력을 가능하게 하기 위해 상기 결정된 디스플레이 상에 상기 사용자의 시선 응시 위치를 사용하는 단계를 포함한다.

도 1은 인간의 눈 해부도이다.
도 2는 시각 영역도 이다.
도 3a 및 도 3b는 눈이 빛의 광원으로부터 빛을 받았을 때의 세 가지 반사를 나타내는 눈의 이미지와 다이어그램이다.
도 4a는 눈의 움직임을 추적하는 공지된 기술의 방법의 예를 도시하는 공정 구성도이다.
도 4b는 상기 눈 추적 방법의 예를 구현하기 위한 사용자 장치의 인터페이스의 예를 나타내는 도면이다.
도 5a는 사용자 장치에 구현된 상기 개시된 기술의 아이 트래킹 유닛의 구성도이다.
도 5b는 눈의 역반사, 다중 광원, 그리고 모바일 장치의 카메라를 사용하는 도 4a에 설명된 방법 예의 작동에 대한 도면이다.
도 6a는 모바일 스마트폰 장치에 구현된 상기 개시된 기술의 아이 트래킹 장치의 예를 도시한다.
도 6b는 컴퓨터 모니터 또는 텔레비전 장치에 구현된 상기 개시된 기술의 아이 트래킹 장치의 예를 도시한다.
도 7a는 보정을 위해 사용되는 상기 개시된 기술의 아이 트래킹 장치의 예를 도시한다.
도 7b는 상기 장치의 기능 조절을 위한 시선 움직임 및/또는 눈 깜박임을 검출하여 사용자 장치를 작동시키기 위해 사용되는 개시된 기술의 아이 트래킹 장치의 예를 도시한다.
도 8은 상기 아이 트래킹 유닛(500)의 사용해서 순차적인 발광 및 수집(capture)를 사용하는 시선의 움직임을 트래킹하기 위한 방법의 예를 도시한다.
도 9는 프리즘을 포함하고 시선 움직임 및/또는 눈 깜박임을 검출해서 장치의 기능을 조절하기 위해 사용되는 상기 개시 기술의 아이 트래킹 장치의 예를 도시한다.
도 10은 광 차단벽(light blocking barrier)을 포함하고 장치의 기능을 조절하기 위해 시선 움직임 및/또는 눈 깜박임 검출에 사용되는 단일 센서 세트를 포함하는 상기 기술의 아이 트래킹 장치의 예를 도시한다.
도 11a는 상기 장치 예의 사용자의 눈에서 역반사된 빛으로부터 검출된 아이 마우스 장치의 센서 표면 상에 있는 역반사 이미지의 예를 도시한다.
도 11b는 상기 사용자의 눈이 움직일 때의 상기 센서 표면 상에 있는 역반사 움직임을 도시한다.
도 12는 시선의 움직임을 트래킹하고 트래킹 된 시선 움직임을 사용해서 디스플레이 스크린 상에서 마우스 마커를 조절하는 방법의 공정도이다.
도 13은 변조된 조명광 에미터와 검출 모듈을 갖는 상기 개시된 기술의 아이 트래킹 센서의 예를 도시한다.
도 14는 변조된 아이 트래킹 센서 신호를 검출하기 위한 방법의 예의 공정도이다.
도 15는 복수의 변조 조명광 에미터와 검출 모듈을 갖는 상기 개시된 기술의 아이 트래킹 센서의 다른 예를 도시한다.
도 16은 복수의 변조된 아이 트래킹 센서 신호를 검출하기 위한 방법의 예의 공정도이다.
도 17은 복수의 변조된 아이 트래킹 센서 신호를 동시에 검출하기 위한 방법의 예의 공정도이다.
도 18a는 아이 센서 메커니즘과 자기 상쇄 구조를 포함하는 아이 마우스의 예를 도시한다.
도 18b 는 스마트폰에 통합된 아이 마우스의 예를 도시한다.
도 19a는 두 개의 광원 그룹이 완벽하게 일치할 때 상기 자기 상쇄 구조를 사용하는 아이 마우스 모듈의 예의 시뮬레이션 결과를 도시한다.
도 19b는 작은 차이를 갖고 상기 두 개의 광원 그룹이 일치할 때 상기 자기 상쇄 구조를 사용하는 아이 마우스 모듈의 예의 시뮬레이션 결과를 도시한다.
도 20a는 도 18a에서 동축 광원과 기준 광원 모두 켜졌을 때의 눈 이미지를 도시한다.
도 20b는 도 18a에서 상기 기준광원만이 검출될 때의 눈 이미지를 도시한다.
도 20c는 상기 시선 응시점을 트래킹하는 공정의 예의 순서도이다.
도 21은 상기 제안된 마우스 모듈의 범위 찾기 기능을 도시한다.
도 22는 상기 제안된 자기 상쇄 아이 마우스 모듈의 신호 획득의 구성도이다.
도 23은 사용자 모바일 장치에 마련된 아이 마우스 기능 버튼의 예를 도시한다.
도 24는 상기 제안된 아이 마우스 기술의 타겟(target) 애플리케이션을 도시한다.
도 25는 사용자 반응 데이터를 수집하기 위해 통합된 아이 센싱 모듈을 갖는 모바일 장치(스마트폰 같은)의 예를 도시한다.
도 26은 사용자 반응 데이터를 생성하기 위해 아이 센싱 모듈, 주변광 센싱 모듈, 및 모션 센싱 모듈이 통합된 모바일 장치(스마트폰 같은)의 예를 도시한다.
도 27은 복수의 모바일 장치 사용자부터 수집되고 분석된 사용자 반응 데이터를 도시한다.

상기 개시된 기술의 구현 예는, 실시간으로 디스플레이 스크린에 상에 겨냥하고 있는 시선의 움직임 또는 스크린을 바라보는 눈을 모니터링하고 트래킹하며; 상기 디스플레이 스크린 상에 시선 겨냥이나 응시를 사용해서 디스플레이 스크린에 커서를 위치시키거나 움직이고; 그리고, 상기 디스플레이 스크린에 있는 물체나 문서, 소프트웨어, 혹은 아이콘의 선택, 실행, 또는 접속을 위한 커서 사용을 위해 상기 장치에 있는 물리적인 트리거를 사용하는 장치, 시스템, 그리고 기술을 포함한다.

다른 측면으로, 상기 개시된 기술은 사용자의 눈 역학(eye dynamics)을 사용해서 장치의 디스플레이 스크린에 표시된 컨텐츠에 대한 사용자의 반응을 분석하고 알리기 위해 제공된다. 상기 장치에 일체화된 아이 센싱 모듈은 상기 장치의 디스플레이 스크린에 하나 이상의 컨텐츠를 표현하면서(예를 들어, 상기 사용자가 장치의 디스플레이 스크린을 바라보는 동안) 사용자의 눈 역학 데이터를 측정하기 위해 사용된다. 상기 사용자의 눈 역학 데이터는 상기 디스플레이 스크린에 표시된 내용에 대한 사용자의 반응을 확인하기 위해 분석된다.

도 1은 사람의 눈 해부도이다. 눈의 외부 벽은 세 개의 동축 층을 포함한다. 외부 층은 각막과 공막을 포함하는데, 각막은 눈의 초점 시스템 기능을 하는 홍채와 렌즈를 덮는 투명한 구조를 갖고, 공막은 콜라겐과 탄성 섬유를 포함하는 섬유로 된 보호를 위한 눈의 외부 층을 형성하는 불투명한 구조를 갖는다. 공막은 "백안(white of the eye)"으로도 불린다. 홍채는 예를 들어, 사람의 눈의 색을 결정짓는 색소를 포함하는 얇고 원형의 구조를 갖는다. 그리고, 동공의 직경과 크기를 조절한다. 동공은 렌즈를 통해 가변적인 양의 빛이 눈으로 들어오도록 하는 홍채의 중심에 있는 조절 가능한 개구부(opening)이다. 렌즈는 빛을 굴절하여 각막에 집중시킬 수 있는 투명하고 양면이 볼록한 구조를 갖는다. 망막은 집중된 빛을 하나의 이미지도 수신하고 수신한 이미지를 전기 화학 신경 신호로 변환하기 위해 시냅스(synapses)로 상호 연결된 여러 층의 신경 세포(광수용 세포)를 갖는, 눈의 뒤편에서 층을 이룬 구조를 갖는다. 망막의 광수용 세포는 (광수용 세포의 6%를 이루는 달하는) 콘(corns)과 (광수용 세포의 94%를 이루는) 로드(rods)를 포함하며, 주로 망막의 주변을 따라 위치한다. 콘은 망막의 중심 영역에 모여있으며, 중심와(fovea)로 알려져 있다. 황반(macula)은 망막 중심 근처에 있는 타원형의 고도로 색소 침착된 노란 점으로, 안와(fovea), 부중심와(parafovea), 그리고 중심와주위(perifovea)를 포함한다. 안와는 눈에서 가장 높은 농도의 콘 세포를 포함하는 작은 구멍으로, 중앙의 고해상도의 시력을 맡고 있다. 맥락막(choroid)은 망막의 외부층을 공급하는 혈관에 풍부한 눈의 영역이다. 눈은 각막과 홍채 사이에 있는 전(front)영역에 있는 수양액 과 렌즈의 뒤의 후(rear) 영역에 있는 유리체와 같은 유체를 포함한다. 시각 영역은 일반적으로 안와(fovea), 부중심와(parafovea), 그리고 주위(peripheral) 시각 영역의 세 영역으로 나누어진다. 안와 영역은 가장 예리한 시각을 제공하고, 부중심와 영역은 안와의 정보를 제공하며, 주위 시각 영역은 번쩍이는 물체와 갑작스런 움직임에 반응한다. 예를 들어, 주위 시각 영역은 안와 시력의 대략 15~50%를 포함하며 색상에 덜 민감하다.

도 2는 안와, 부중심와, 그리고 주위 시각 영역과 이 영역들이 볼 수 있는 시계(visual field) 정도의 예를 도시한다. 인간의 눈에서, 위 세 가지 시계 영역은 비대칭적이다. 예를 들어, 독서를 할 때, 소위 지각 폭(perceptual span)(예를 들어, 유효 시력, effective vision)은 시선 고정(fixation)의 왼쪽으로 3~4 글자의 공간과 오른쪽으로 14~15 글자 공간에 해당한다. 또한, 예를 들어, 시각 1°는 대략 3~4 글자 공간과 같다.

인간의 눈은 항상 움직이며, 심지어 잠을 자는 동안에도 움직인다. 이러한 눈의 움직임은 좇음(pursuit), 떨림(tremor), 회전(rotation), 표류(drift), 그리고 단속적(saccades) 운동과 같은 여러 개의 다른 유형을 갖는다. 눈은 장면을 볼 때 고정적으로 불변하기 보다는 마음속으로 그 장면에 대응하는 삼차원 지도를 창조하면서 관심 있는 부분들로 시선을 움직인다. 예를 들어, 한 장면을 보거나 한 페이지의 단어를 읽으면서, 눈은 율동성 단속적 움직임을 만들고 멈추기를 여러 차례 한다. 그리고, 각각의 멈춤 사이에 아주 빠르게 움직인다. 단속성 운동은 시선 고정을 연결하는 빠른 움직임 혹은 눈의 "점프" 동작이다.

단속성 운동은 동일한 방향으로 두 눈을 빠르게 동시에 움직이게 한다. 단속성 운동은 40~120ms 동안 빠르게 발생하며, 600o/s의 속도로 빠르게 움직이며, 움직이는 동안 마지막 시점이 변할 수 없는 탄도와 같다. 이러한 시선의 급격한 이동은 시야에서 감지되는 움직이는 물체의 역할에 기인할 수 있다. 예를 들어, 눈을 움직임으로써, 신경 시스템의 시각적 처리 기능을 사용해서 한 장면에서 작은 부분들도 더 높은 해상도로 더 효과적으로 감지될 수 있다. 반면, 시선 고정은, 눈이 한 곳을 응시하고 있을 때를 말한다. 시선이 고정되면, 눈은 예를 들어, 하나의 단어를 읽을 때와 같이 상대적으로 움직이지 않고 특정한 곳에 "고정"되어 있다. 시각에 있어서, 고정의 시간 동안 주로 장면에 대한 정보를 얻게 된다. 예를 들어, 고정되는 시간은 120~1000ms의 범위 내에서 다양하게 지속될 수 있으며, 예를 들어, 주로 200~600ms 동안 지속되며, 3Hz 이하의 고정 주파수를 갖는다.

도 3a와 도 3b는 광원(light source)에 의해 빛에 눈에 비춰질 때 발생하는 세 가지의 반사를 도시하는 이미지와 다이어그램이다. 세 종류의 반사는 각막으로 빛이 반사되는 각막 반사, 홍채로 빛이 반사되는 홍채 반사, 그리고 각막으로 빛이 반사되는 역반사를 포함한다. 예를 들어, 도 3a에서와 같이, 각막 반사는 작은 점을 형성하고, 홍채 반사는 어둡지만 색채가 풍부하게 보일 수 있으며, 역반사는 강한 방향 의존성을 가지며 밝게 빛날 수 있다. 도 3b의 다이어그램은 눈의 각막에 입사된 입사 광 빔(310)에 근거한 각막 반사에 의해 반사된 반사 광 빔(311); 눈의 각막을 통과해서 홍채에 입사된 상기 입사 광 빔(310)에 근거한 홍채 반사에 의해 반사된 반사 광 빔(312); 그리고, 눈의 각막과 렌즈를 통과해 망막에 입사된 상기 입사 광 빔(310)에 근거한 홍채 반사에 의해 반사된 반사 광 빔(312)을 도시한다.

아이 트래킹은 시선 응시(바라보고 있는 곳) 또는 머리에 대한 눈의 상대적인 움직임을 측정하는 프로세스이다. 아이 트래커와 시스템은 시선의 위치와 시선의 움직임을 측정하며, 임상학적으로 그리고 의학, 인지 연구뿐만 아니라 심리학, 인지 언어학, 및 제품 디자인에 대한 리서치에 사용되어 왔다.

기존의 아이 트래킹 양식의 한 예로, 단일포인트 방법(single point method)라고도 불리는 비디오 기반 아이 트래킹 기술이 있다. 단일 포인트 방법에서 이러한 종래 기술은 림보(limbus)(공막과 홍채의 경계) 및/또는 동공과 같이 안구의 하나의 가시적인 특징을 트래킹 하는 것을 포함한다. 예를 들어, 비디오 카메라는 사용자의 눈을 관찰할 수 있다. 이미지 프로세싱 소프트웨어는 비디오 이미지를 분석하고 트래킹된 특징을 추적한다. 캘리브레이션(보정)(calibration)을 바탕으로, 상기 시스템은 사용자가 현재 바라보고 있는 곳을 확인한다. 이러한 시스템에서, 머리의 움직임은 허용되지 않고, 일반적으로 턱받침(bite bar)이나 이마 고정(head rest)이 요구된다. 비디오 기반 아이 트래킹 기술과 관련된 대안의 예로, 눈의 두 개의 특징, 예를 들어, 각막 반사와 동공이 트래킹 되는 것을 제외하고, 앞서 설명한 단일 포인트 방법에서와 같은 동일한 아이디어가 실질적으로 구현된다. 이러한 방법들은(사람의 눈에는 보이지 않는) IR광을 사용해서 각막 반사를 생성하고 밝음와 어둠에 따른 동공 변화를 초래하는데, 이는 시스템이 비디오 이미지로부터 동공을 인식하는데 도움을 준다.

이 세 가지 종래 방법의 예들 각각은 명백한 한계와 결함을 갖는다. 예를 들어, 바닥이나 이마에 장착할 추가적인 장치가 필요하다. 그리고, 이러한 방법들은 스마트 폰이나 태블릿과 같은 모바일 장치에 병합될 수 있는 아이 트래킹 시스템이나 장치를 요구한다. 추가적으로, 이러한 기존의 방법들은, 예를 들어, 밝을 때 동공 측정이나 어두울 때 동공 측정과 무관하게, 회수될 수 있는 매우 제한적인 정보를 제공하며, 관련 소프트웨어는 상당히 복잡하고 불확실할 수 있다.

상기 개시된 기술은 장치와 상호 작용할 수 있는 사용자 인터페이스를 사용해서 시선 움직임을 시각적으로 감지(센싱)(optical sensing)하고 트래킹 하기 위해 제공된다. 상기 시각적 감지와 트래킹 기능은 일부 실시예에서 상기 장치에 통합될 수 있다. 예를 들어, 상기 개시된 아이 트래킹 기술은 모바일 장치(예를 들어, 스마트 폰과 태블릿) 및 컴퓨터 장치(예를 들어, 컴퓨터 모니터)에 통합되어 운영자의 시선 위치, 움직임, 및 깜박임 상태를 트래킹할 수 있다. 상기 개시된 기술은 시각적 센싱과 아이 트래킹을 위해 시선 고정(fixation)과 단속적(saccade) 시선 움직임을 바탕으로 눈으로부터 역반사되는 빛을 사용할 수 있다.

일 실시예로, 시선의 움직임을 트래킹하는 방법은 장치의 광검출 모듈(photodetector module)(예를 들어, 카메라) 로부터 각각 동일하게 거리를 두고 위치한 복수의 광원(예를 들어, 세 개의 광원)을 사용해서 사용자의 눈을 향해 빛을 방출하는 단계, 눈에서 역반사된 복수의 광원 각각에서 방출된 빛의 적어도 일부 역반사를 광검출 모듈이 수신하는 단계, 그리고 상기 복수의 광원에 대응하는 상기 적어도 일부 역반사의 상이한 값들을 기반으로 시선의 위치 변수를 결정하는 단계를 포함한다. 예를 들어, 상기 장치는 스마트 폰, 태블릿, 사진 혹은 비디오 카메라, 컴퓨터 모니터, 또는 랩탑 모니터을 포함하나, 이에 제한되지는 않는다. 일부 실시예에서, 예를 들어, 상기 방법은 사용자의 머리가 예를 들어 장치에 상대적으로 움직이는 동안 구현될 수 있다. 일부 실시예에서, 상기 방법은, 예를 들어, 상기 복수의(예를 들어, 세 개의) 광원은 각각 빨강, 초록, 파랑, 그리고 노랑, 혹은 이들의 조합을 포함하는 서로 다른 유색, 서로 다른 파장, 및/혹은 서로 다른 주파수 변조를 갖는 빛을 방출할 수 있다. 일부 실시예에서, 방출된 빛은 적외선을 포함할 수 있다. 또한, 예를 들어, 상기 방출된 빛은 상기 광검출 모듈(예를 들어, 카메라)의 프레임 속도와 상관 관계의 주파수의 섬광(flashing light)을 포함할 수 있다. 일부 실시예에서, 예를 들어, 상기 방법은 상기 카메라에서 수신된 상기 적어도 일부의 역반사를 사용하는 단계와 눈의 깜박임(blinking movement)을 검출하는 단계를 더 포함할 수 있다. 추가적으로, 상기 방법은 상기 검출된 깜박임을 데이터로 처리하는 단계를 일부 실시예에서 더 포함할 수 있으며, 상기 방법은 상기 데이터를 장치의 적어도 하나의 기능을 위한 입력 데이터로 사용할 수도 있다.

도 4a는 시선의 움직임을 트래킹하기 위한 상기 기술의 방법(400)의 일례를 도시하는 공정 구성도이다. 상기 방법(400)은 사용자의 눈을 향해 사용자 장치(402)의 광검출 모듈(예를 들어, 카메라)에 상대적으로 동일하게 거리를 두고 위치한 복수의 광원, 예를 들어, 세 개의 광원으로부터 복수 타입의(예를 들어, 세 가지 타입의) 빛을 방출하는 공정을 포함한다. 예를 들어, 상기 공정은 하나의 카메라를 사용해서 구현될 수 있으며, 이 세 개의 광원은 각각 카메라로부터 동일한 거리에 따로 떨어져 위치하고 있다

상기 방법은 상기 카메라(404)를 사용해서 눈에서 역반사된 상기 세 개의 광원 각각에서 방출된 세 가지 타입의 빛 중 적어도 일부 역반사를 수신하는 공정을 포함한다. 예를 들어, 상기 거리는 모든 광원으로부터 역반사를 적어도 일부 수신할 수 있도록 구성된다. 또한, 상기 세 개의 광원은 동일하거나 상이한 색의 유색 빛을 방출할 수 있으며, 다른 예로, 사용자를 자극하는 것을 피하기 위해 적외선을 방출할 수도 있다. 일부 실시예에서, 상기 광원은 상기 아이 트래킹 방법 예를 구현할 수 있는 사용자 장치의 인터페이스의 예를 도시하는 다이어그램인 도 4b에서 예시된 바와 같이 유색 발광(LED)일 수 있다. 상기 LED는 예를 들어, 카메라 센서에 있는 컬러 필터에 매치될 수 있는 특정 RGB 색을 방출하기 위해 선택될 수 있다. 상기 LED는 적외선 LED일 수 있다. 상기 유색 혹은 적외선 LED는 카메라나 비디오 프레임에 동기화되는 시퀀스에 켜질 수 있다. 또한, 예를 들어, 상기 세 개의 광원은 시간 도메인에서 섬광을 방출할 수 있으나, 섬광은 통신 속도(data rate)를 저하시킬 수도 있다.

도 4a를 참조하면, 상기 방법은, 예를 들어, 공간(406)에서 눈이 바라보는 방향 또는 시선의 위치와 같은 시선의 위치 변수를 결정하는 공정을 포함한다. 예를 들어, 상기 세 개의 역반사(예를 들어, 세 개의 광원에 대응하는 적어도 일부 역반사)의 상이한 값을 계산하여 시선의 움직임 방향과 다른 변수들을 결정할 수 있다.

일부 실시예에서, 시선의 방향, 위치, 및/또는 다른 위치 변수와 시선의 움직임을 결정하는 상기 공정은 다음에서 설명되는 단계를 포함할 수 있다.

상기 방법은, 예를 들어, 신뢰할 만한 아이 크래킹 솔루션을 제공하는 시선 거리(eye distance)와 머리 움직임(head movement)에 민감하지 않다. 이와 같은 아이 트래커는 운영자의 눈 깜박임을 쉽게 감지할 수 있으며, 깜박임 정보는 상기 장치의 입력으로 사용되는 데이터로 처리될 수 있다. 예를 들어, 스마트폰 작동은 1~2피트의 거리를 두고 실행되는 경향이 있다. 상기 방법은 다양한 거리와 각도(예를 들어, 0.1°~0.25° 포함)에서 머리 고정 없이도 정확도를 갖고 기능하며, 머리고정 없이 0.02°rms의 해상도(head-free resolution)를 제공할 수 있다.

상기 방법은 순차적으로 혹은 동시에 사용자의 두 눈의 움직임을 트래킹할 수 있도록 구현된다.

도 5a는 사용자 장치(599)에 구현된 아이 트래킹 유닛 또는 장치(500)의 구성도로, 상기 장치(500)는 스마트 폰, 태블릿, 사진 또는 비디오 카메라, 컴퓨터 모니터, 혹은 랩탑 모니터일 수 있으나, 이에 제한되지 않는다. 상기 아이 트래킹 유닛(500)은 상기 장치(599)의 카메라(504)에 대해 각각 동일하게 거리를 두고 있는 세 개의 광원(501, 502, 503)을 포함한다. 상기 아이 트래킹 유닛(500)은 메모리(506)에 결합된 프로세싱 유닛(505)을 포함한다. 상기 메모리 유닛(506)은 예를 들어 프로세서가 실행할 수 있는 코드를 포함하는데, 이 코드가 프로세싱 유닛(505)에 의해 실행되면, 상기 아이 트래킹 유닛(500)은 상기 카메라(504)로부터 정보, 명령, 및/혹은 데이터 수신, 정보와 데이터 처리, 상기 광원(501, 502, 503) 및/또는 카메라(504) 또는 사용자 장치(599)와 같은 다른 개체로 정보/데이터 혹은 명령 전송과 같은 다양한 동작을 수행한다. 일부 실시예에서, 예를 들어, 상기 메모리 유닛(506)은 디스크(disk) 또는 고체 상태의 장치(SSD) 저장 유닛으로 구성될 수 있다.

일부 실시예에서, 상기 아이 트래킹 유닛 또는 장치(500)는 상기 사용자 장치(599)의 프로세싱 유닛 및/또는 메모리 유닛을 활용할 수 있다.

도 5b는 눈의 역반사, 다중 광원, 그리고 스마트폰과 같은 사용자 장치(599)의 카메라를 사용하는 도 4a에 설명된 방법예의 작동에 대한 모식도이다. 도 5b는 상기 광원 501, 502, 및 503에서 각각 생성된 입사 광빔 501a 및 510b에 기초한 역반사에 의해 반사된 반사 광빔(513a 및 513b)을 보여준다. 상기 입사 광빔(510a, 510b)의 광로(light path)는 눈의 각막과 렌즈를 통과하여 망막에 입사되는 것을 포함한다. 상기 망막에 입사되는 빛은 망막에 의해 역반사되어 상기 역반사 빛의 광로는 렌즈와 각막을 다시 통과하여 상기 역반사 광빔(513a, 513b)으로 도시된 시작점으로 향한다. 상기 역반사 광빔(513a, 513b)은 상기 카메라(504)에 의해 포착될 수 있다. 예를 들어, 상기 역반사 빛의 일부는, 도 5b의 역반사광(560)으로, 도시된 바와 같이, 상기 사용자 장치(599)로부터 멀어질 수 있다. 또한, 예를 들어, 방출된 빛의 일부는 홍채 반사(570)로, 도시된 바와 같이 홍채에 의해 반사될 수도 있다.

도 6a는 모바일 스마트폰 장치(698)에 구현된 상기 아이 트래킹 장치(500)의 구성도이다.

도 6b는 컴퓨터 모니터 또는 텔레비전 장치(699)에 구현된 상기 트래킹 장치(500)를 도시한다.

일부 다른 실시예에서, 상기 아이 트래킹 기술은 예를 들어 구글 안경(Google glass)과 같은 헤드 마운트 디스플레이(head mount display, HUD)에 구현될 수 있다.

일부 실시예에서, 예를 들어, 상기 아이 트래킹 유닛(500)은 상기 광원(501, 502, 503)과 카메라(504)가 위치한 사용자 장치(599)의 동일한 면에 구성된 디스플레이 스크린(515)을 포함한다. 상기 디스플레이 스크린(515)은 상기 프로세싱 유닛(505) 및/또는 메모리 유닛(506)과 통신 가능하게 결합될 수 있다. 예를 들어, 상기 디스플레이 스크린(515)은 상기 사용자 장치(599)에 내재된 디스플레이 스크린일 수 있다.

도 7a는 상기 아이 트래킹 유닛(500)의 보정을 위해 사용될 수 있는 상기 아이 트래킹 유닛(500)의 디스플레이 스크린의 구성 예를 도시한다. 예를 들어, 고정된 위치 마커(marker)(516)가 디스플레이되고, 보정 동작은 한번에 하나의 하이라이트된 마커를 보고 상기 사용자 장치(599)의 선택 버튼을 누르는 것을 포함한다. 상기 고정 위치 마커(516)는 상기 디스플레이 스크린(515) 상에서 여러 위치로 움직일 수 있으며, 예를 들어 네 개의 모서리와 스크린 중앙으로 움직일 수 있으며, 활성화된 마커는 붉은 색으로 표시된다. 예를 들어, 상기 고정 위치 마커(516)는 캘리브레이션 동작을 수행하기 위해 여러 번 그리고 여러 곳에서 보여질 수 있다.

도 7b는 상기 디스플레이 스크린(515)을 포함하고 상기 아이 트래킹 유닛(500)이 구현된 사용자 장치(599)의 입력 데이터로 사용되는 다양한 애플리케이션 가운데 어느 하나에서 동작되는 아이 트래킹 유닛(500)을 도시한다. 예를 들어, 상기 아이 트래킹 유닛(500)은 무엇보다, 스마트 폰이나 태블릿과 같은 사용자 장치(599)의 프로그램을 구현하기 위해 디스플레이 스크린(515) 상에 있는 버튼, 아이콘, 또는 텍스트(517)를 눈으로 선택하는 것을 포함하는, 그러나 이에 한정되지 않는, 사용자 수행 동작에서 사용자 시선 위치 변수를 검출할 수 있다. 추가적으로, 예를 들어, 상기 개시된 아이 트래킹 기술은 상기 아이 트래킹 유닛(500)에 의해 검출된 눈 깜박임을 사용하고, 시선 움직임 데이터와 같은 상기 깜박임 데이터를 활용하여 상기 사용자 장치(599)의 애플리케이션 기능들을 활성화시킬 수 있다.

도 8은 상기 아이 트래킹 유닛(500)의 사용해서 순차적인 발광 및 수집(capture)를 사용하는 시선의 움직임을 트래킹하기 위한 방법(800)의 예를 도시하고 있다. 상기 방법은 상기 광원(501)에서, 예를 들어 제1 LED(802) 에서, 제1 빛을 방출하는 단계와 상기 카메라(504)를 사용해서 제1 비디오 프레임(804)에서 눈에서 역반사된 상기 제1 빛의 역반사 이미지를 수집하는 단계를 포함한다. 상기 방법은, 예를 들어, 제2 LED(806)와 같은 상기 광원(502)에서 제2 빛을 방출하는 단계와 상기 카메라(504)를 사용해서 제2 비디오 프레임(808)에서 눈에서 역반사된 상기 제2 빛의 역반사 이미지를 수집하는 단계를 포함한다. 상기 방법은 예를 들어, 제3 LED(810)와 같은 상기 광원(503)에서 제3 빛을 방출하는 단계와 상기 카메라(504)를 사용해서 제3 비디오 프레임(812)에서 눈에서 역반사된 상기 제3 빛의 역반사 이미지를 수집하는 단계를 포함한다. 제1, 제2, 그리고 제3 비디오 프레임은 하나의 프레임 세트(예를 들어, 제1 프레임 세트 데이터 or {S1})(800)(814)에 포함될 수 있다. 상기 방법은 상기 세 개의 빛을 방출하고 세 개의 비디오 프레임(816)을 수집하기 위한 시간에 대응하여 눈의 위치를 계산하기 위한 {S1}의 제1, 제2, 및 제3 비디오 프레임 데이터 사용을 포함한다. 상기 방법은 이와 같은 프로세스를(예를 들어, n번) 반복하여 복수의 순차적인 프레임 세트({S}n(818)을 생성하는 것을 포함한다.

상기 방법은 또한 눈의 깜박임을 검출하고 검출된 깜박임을 상기 아이 트래킹 유닛(500)을 호스팅(hosting)하는 장치를 위한 데이터로 사용하는 것을 포함한다. 예를 들어, 사용자의 눈이 깜박일 때, 복수의 프레임 데이터 세트에 거쳐 검출되었을, 상기 역반사 빛은 사라지는데, 이는 눈 깜박임을 검출하기 위해 사용되는 특성이다. 예를 들어, 복수의 프레임 세트 데이터 {S}n는 눈 깜박임 이벤트 발생, 눈 깜박임 이벤트 횟수, 눈 깜박임 속도, 눈 깜박임 지속 시간(예를 들어, 얼마나 오랫동안 눈을 감고 있는지), 그리고 어느 쪽 눈(예를 들어, 왼쪽 혹은 오른쪽 눈이 깜박이는지 혹은 두 눈 모두 깜박이는지)이 깜박이는지를 검출하기 위해 처리된다. 이들은 모두 상기 장치의 기능(예를 들어, 스마트 폰이나 컴퓨터의 장치 상태)에 영향을 미치는 입력 데이터로 사용될 수 있다.

도 9는 시선 움직임 및/또는 눈 깜박임을 검출해서 장치의 기능을 조절하기 위해 사용되는 프리즘을 갖는 단일 센서 세트를 포함하는 상기 개시 기술의 아이 트래킹 장치의 예를 도시한다. 일부 실시예에서, 상기 아이 트래킹 장치의 예는 고해상도의 "아이 마우스"로서 작동될 수 있다. 본 실시예에 따른 아이 트래킹 장치는 마이크로 렌즈(3)에 광학적으로 결합된 편광 빔 스플리터(polarized beam splitter)(1)를 포함할 수 있으며, 상기 마이크로 렌즈(3)는 광검출 모듈(33)로 들어가는 빛을 광학적으로 필터링하기 위해 상기 편광 빔 스플리터(1)와 밴드 패스 필터(band pass filter)(35) 사이에 위치할 수 있다. 상기 아이 트래킹 장치는 하나의 특정 주파수나 여러 주파수로 변조될 수 있는 광원(예를 들어, 적외선 LED 11에 가까운)을 포함할 수 있으며, 상기 광원(11)은 상기 사용자의 눈에서 역반사될 수 있는, 상기 장치로부터의 프로브 광(probe light)(예를 들어, LED 조사 광 빔(15))을 전송하기 위해 상기 편광 빔 스플리터(1)에 광학적으로 결합되는 선형 편광자(13)에 광학적으로 결합된다. 상기 광검출 모듈(33)은 모듈(33)로 입력되는 광을 검출하기 위한 광검출 감지판(25)을 포함할 수 있는데, 이 광검출 감지판(25)은 예를 들어, 상기 밴드 패스 필터(35)에서 필터링된 사용자 눈의 역반사 빛을 포함할 수 있다. 예를 들어, 도9에서와 같이, 상기 광검출 감지판(25)은 상기 사용자의 오른쪽 눈(18)의 역반사 광 빔(21)에 대응하는 이미지 스팟(29)과 사용자의 왼쪽 눈(19)의 역반사 광 빔(23)에 대응하는 이미지 스팟(27)에 있는 빛을 검출한다. 상기 아이 트래킹 장치는 상기 광검출 감지판(25)에서 광감지 신호를 데이터로 처리하는 프로세싱 유닛을 포함할 수 있다. 상기 프로세싱 유닛은 상기 광검출 모듈에 통신 가능하게 결합된다. 상기 프로세싱 유닛은 미처리 데이터 및 처리 데이터를 저장하는 메모리 유닛에 결합되는 일반 용도의 프로세서를 포함할 수 있다. 상기 프로세싱 유닛은 상기 검출된 역반사 광 신호 데이터에 기반을 둔 시선 움직임을 트래킹하고 사용자 장치의 기능을 조절하기 위한 방법의 실행을 위해 구성될 수 있다. 상기 장치의 기능은 예를 들어 사용자 장치의 디스플레이 변경을 포함한다. 상기 아이 트래킹 장치의 일부 구현 예에서, 프로세서를 포함하는 사용자 장치의 프로세싱 유닛과 메모리 유닛은 상기 개시된 기술의 데이터 프로세싱 방법을 구현하는데 사용된다.

도 10은 광 차단벽(light blocking barrier)을 포함하고 장치의 기능을 조절하기 위해 시선 움직임 및/또는 눈 깜박임 검출에 사용되는 단일 센서 세트를 포함하는 상기 기술의 아이 트래킹(아이 마우스) 장치의 예를 도시한다. 본 예에서, 아이 트래킹 장치는 하나의 특정 주파수나 여러 주파수로 변조될 수 있는 광원(적외선 LED(11)와 유사한)을 포함하는데, 이 광원(11)은 상기 사용자의 눈에서 역반사될 수 있는, 상기 장치로부터의 프로브 광(probe light)(예를 들어, LED 조사 광 빔(15))을 전송하기 위해 상기 편광 빔 스플리터(1)에 광학적으로 결합되는 선형 편광자(13)에 광학적으로 결합된다. 상기 아이 트래킹 장치는 광 차단 벽이나 배리어(45)에 의해 상기 광원(11)과 선형(송신) 편광자(13)에 가까이 그러나 거리를 두고 마이크로 렌즈(3)에 광학적으로 결합되는 선형(수신) 편광자(41)를 포함할 수 있다. 상기 아이 트래킹 장치는 상기 마이크로 렌즈(3) 뒤에 구성되어 광검출 모듈(33)로 들어가는 빛을 광학적으로 필터링하기 위한 밴드 패스 필터(35)를 포함한다. 상기 광검출 모듈(33)은 상기 밴드 패스 필어(35)에 의해 필터링된, 사용자의 눈에 의해 역반사된 빛을 포함할 수 있는, 상기 모듈(33)에 입력된 빛을 검출하기 위해 광검출 감지판(25)를 포함하는 구조를 가질 수 있다. 예를 들어, 도9에서와 같이, 상기 광검출 감지판(25)은 사용자의 오른쪽 눈(18)의 역반사 광 빔(21)에 대응하는 이미지 스팟(29)과 사용자의 왼쪽 눈(19)의 역반사 광 빔(23)에 대응하는 이미지 스팟(27)의 빛을 검출한다. 상기 아이 트래킹 장치는 상기 광검출 감지판(25)에서 광검출 신호를 데이터로 처리하기 위해 광검출 모듈(33)에 통신 가능하게 결합된 프로세싱 유닛을 포함할 수 있다. 상기 프로세싱 유닛은 미처리 데이터 및 처리 데이터를 저장하는 메모리 유닛에 결합되는 일반 용도의 프로세서를 포함할 수 있다. 상기 프로세싱 유닛은 상기 검출된 역반사 광 신호 데이터에 기반을 둔 시선 움직임을 트래킹하고 사용자 장치의 기능을 조절하기 위한 방법의 실행을 위해 구성될 수 있다. 상기 장치의 기능은 예를 들어 사용자 장치의 디스플레이 변경을 포함한다. 상기 아이 트래킹 장치의 일부 구현 예에서, 프로세서를 포함하는 사용자 장치의 프로세싱 유닛과 메모리 유닛은 상기 개시된 기술의 데이터 프로세싱 방법 구현에 사용된다.

도 11a는 도 9와 도 10에서와 같이 상기 장치 예의 사용자의 눈에 의한 역반사 빛에서 검출된 이미지와 같이 아이 마우스 장치의 센서표면(1104)(예를 들어, 광검출 감지판(25)과 실질적으로 유사한) 상의 역반사 이미지(1100, 1102)의 예를 도시한다. 도11B 는 사용자의 시선이 움직일 때 상기 센서 표면에 있는 역반사 이미지(1106, 1108)를 도시하며, 이러한 이미지 차이는 본 실시예에 따른 장치의 프로세싱 유닛을 사용해서 트래킹 신호를 생성할 수 있다. .

도 12는 시선의 움직임을 트래킹하고 트래킹된 시선 움직임을 사용해서 디스플레이 스크린 상에 있는 마우스 마커를 조절하기 위한 방법(1200)의 예를 도시한다. 상기 방법은 상기 개시된 기술의 아이 트래킹 장치를 포함하는 사용자 장치에 구성된 하나 이상의 광원으로부터 사용자의 눈을 향해 빛을 방출하는 단계(1202)를 포함할 수 있다. 상기 사용자 장치는, 스마트폰, 태블릿, 사진 혹은 비디오 카메라, 컴퓨터 모니터, 또는 랩탑 모니터를 포함할 수 있으나, 이에 한정되지 않는다. 상기 방법은 상기 사용자 장치에서 상기 개시된 기술을 사용하는 아이 트래킹 장치의 광검출 모듈에서 상기 하나 이상의 광원에서 방출된 빛의 역반사를 수신하는 단계(1204)를 포함할 수 있다. 상기 역반사 빛은 사용자의 눈(예를 들어, 좌안, 우안, 및/또는 양안)에서 역반사 되었다. 상기 방법은 상기 개시된 기술을 사용하는 아이 트래킹 장치의 프로세싱 유닛 또는 상기 사용자 장치에 있는 프로세싱 유닛을 사용해서 상기 수신/검출된 역반사 빛을 기준으로 시선의 위치 및/또는 움직임의 방향을 결정하는 단계(1206)를 포함할 수 있다. 일부 구현 예에서, 상기 시선의 위치 및/또는 움직임의 방향을 결정하는 단계는 상기 사용자 장치의 기능을 조절하는 단계(1208)를 포함할 수 있다. 여기서, 상기 장치의 기능은 예를 들어, 상기 사용자 장치의 디스플레이 스크린에 있는 마커를 드래깅(dragging) 하거나 상기 시선의 위치 및/또는 움직임 방향에 따라 상기 디스플레이 스크린을 변경하는 것을 포함한다. 시점이 마우스 마커와 겹치지 않을 때, 상기 방법은 로직 연산을 수행하여 상기 마우스 마커로 시점을 재배열하는 단계를 포함할 수 있다(1210).

도 13은 변조된 조명 빛과 검출 유닛을 포함하는, 상기 개시된 기술을 사용하는 아이 트래킹 센서(1300)의 예를 도시한다. 상기 아이 트래킹 센서(1300)는 사용자에게 변조된 빛(1304)을 방출하는 광원 유닛(예를 들어, LED 광원)(1302)을 포함할 수 있다. 상기 아이 트래킹 센서(1300)는 상기 광원(1302)으로부터의 빛이 상기 아이 트래킹 센서의 이미지 센서에서 빛나거나 비춰지는(shining/illuminating) 것을 방지하지 위해 상기 광원(1302)에 근접 위치하도록 구성된 벽이나 배리어와 같은 광 차단 장치(1306)를 하나 이상 포함할 수 있다. 상기 아이 트래킹 센서(1300)는 빛을 수신하거나 센서(1300)로 입력하기 위한 이미징 광학계(optics)(1308)(예를 들어, 하나 이상의 마이크로 렌즈(들))를 포함할 수 있다. 이러한 이미징 광학계(1308)는 상기 광 차단 벽(1306)에 근접하여(예를 들어, 상기 광원 유닛(1302)에서 방출된 빛이 직접 상기 이미징 광학계(1308)에 들어가는 것을 방지하기 위해) 위치한다. 상기 아이 트래킹 센서(1300)는 상기 이미징 광학계(1308)을 통해 전송되는 빛을 검출하기 위해 광 검출판(1312)을 포함할 수 있다. 상기 아이 트래킹 센서(1300)의 구현 예에서, 상기 광원(1302)은 사용자의 눈에서 역반사(1310)될 수 있고 상기 아이 트래킹 센서(1300)의 이미징 광학계(1308)을 경유하여 수신될 수 있는 변조광(1304)(예를 들어, 하나 이상의 주파수로)을 방출하도록 구성된다. 예를 들어, 상기 광검출판(1312)은 화소와 변조 없이 다른 광(예를 들어, 주변 환경에서의 주변광(1314))으로부터 상기 광원에서 발광된 변조 주파수 또는 주파수들 사이를 구별하기 위한 복조 회로(demodulation circuitry)를 포함한다. 일부 실시예에서, 상기 아이 트래킹 센서는 사용자 장치의 프로세싱 유닛에 통신 가능하게 결합될 수 있다.

도 14는 변조된 아이 트래킹 센서 신호를 검출하기 위한 방법(1400)의 예의 단계를 도시한다. 상기 방법(1400)은, 예를 들어, 도 13의 (1402)에서와 같은 아이 트래킹 장치(1300)와 같이, 개시된 방법을 사용하는 아이 트래킹 센서 장치(예를 들어, 아이 트래킹 센서 장치(1300))의 발광 유닛(예를 들어, 발광 유닛(1302))으로부터 고정된 변조를 갖는 빛을 방출하는 단계를 포함할 수 있다. 상기 방법(1400)은 화소가 포함된 광검출판을 포함하는 복조회로(1404)에서 변조광을 검출하는 단계를 포함할 수 있다. 상기 방법(1400)은 상기 검출된 변조광을 복조하고 복조된 신호 만을 기록하고(예를 들어, 상기 변조 회로에 형성된 메모리에) 저장하는 단계를 포함한다. 그리고, 변조된 주파수(또는, 주파수들)가 아닌 빛은 거부된다(1406). 상기 방법(1400)은 각 화소 별로 저장된 신호를, 예를 들어, 상기 복조 회로에 결합되거나 복조 회로에 포함된 스캐닝 판독 회로를 사용해서 읽어오는 단계를 포함할 수 있다.

도 15는 변조 조명광과 검출 유닛을 갖는 상기 개시된 기술의 아이 트래킹 센서(1500)의 다른 예를 도시한다. 도 15의 아이 트래킹 센서(1500)는 사용자에게 복수의 변조 광(1506, 1508)(예를 들어, 제1 변조광 및 제2 변조광)을 방출하기 위해 복수의 광원 유닛(1502, 1504)(예를 들어, 제1 LED 광원 및 제2 LED)을 포함할 수 있다. 상기 아이 트래킹 센서(1500)는 상기 광원(1502, 1504)으로부터 빛이 상기 아이 트래킹 센서의 이미지 센서에서 빛나거나 비춰지는(shining/illuminating) 것을 방지하기 위해 상기 광원(1502, 1504)에 근접 위치하도록 구성된 벽이나 배리어와 같은 광차단 장치(1510)를 하나 이상 포함할 수 있다. 상기 아이 트래킹 센서(1500)는 빛을 수신하거나 센서(1500)로 입력하기 위한 이미징 광학계(1512)(예를 들어, 하나 이상의 마이크로 렌즈(들))를 포함할 수 있다. 이러한 이미지 광학계(1512)는 상기 광 차단 벽(1510)에 근접 위치하여 상기 복수의 광원 유닛으로부터 방출된 빛(1506, 1508)이 직접 상기 이미징 광학계(1512)에 들어가는 것을 방지한다. 상기 아이 트래킹 센서(1500)는 상기 이미징 광학계(1512)를 통해 전송되는 입력광을 검출하기 위한 광검출판(1518)을 포함할 수 있다. 상기 아이 트래킹 센서(1500)의 실시예에서, 상기 복수의 광원(1502, 1504)은 눈에서 역반사(1514, 1516)될 수 있고 상기 아이 트래킹 센서(1500)의 이미징 광학계(1512)를 경유하여 상기 광검출판(1518)이 수신할 수 있는 복수의 변조 광빔(1506, 1508)(예를 들어, 서로 다른 변조 주파수의)을 방출하기 위해 구성된다. 예를 들어, 상기 광검출판(1518)은 변조 없이(예를 들어, 주변 환경에서의 주변광과 같이) 다른 광(1520)으로부터 상기 복수의 광원 유닛(1502, 1504)에서 방출된 상기 변조 주파수를 갖는 복수의 광원 광선(light ray) 또는 광빔(1506, 1508)을 구별하기 위해 화소와 복조 회로를 포함하도록 구성될 수 있다. 일부 실시예에서, 상기 아이 트래킹 센서(1500)는 사용자 장치의 프로세싱 유닛에 통신 가능하게 결합될 수 있다.

도 16은 복수의 변조된 아이 트래킹 센서 신호를 검출하기 위한 방법(1600) 예를 도시한다. 상기 방법(1600)은, 예를 들어 도 15에서와 같이, 상기 개시된 방법의 아이 트래킹 센서의 제1 발광원(예를 들어, LED광원)에서 고정된 변조를 갖는 제1광빔(예를 들어, LED광)을 방출하기 위한 단계를 포함할 수 있다. 상기 방법(1600)은 화소가 포함된 복조 회로(1605)를 포함하는 광검출판에서 상기 제1 변조 광빔을 검출하기 위한 단계를 포함할 수 있다. 상기 방법은 상기 검출된 제1 변조광을 복조하고 복조된 신호 만을 기록하고(예를 들어, 상기 변조 회로에 형성된 메모리에) 저장하는 단계를 포함할 수 있다. 그리고, 제1 변조 주파수(또는, 주파수들)가 아닌 빛은 거부된다(1606). 상기 방법(1600)은 각 화소 별로 제1 변조광에 대응하여 저장된 신호(S1)를, 예를 들어, 상기 복조 회로(1608)에 결합되거나 포함된 스캐닝 판독 회로를 사용해서 판독하는 단계를 포함할 수 있다.

상기 방법(1600)은 예를 들어, 도 15에서와 같이, 상기 개시된 기술의 아이 트래킹 센서의 제2 발광원(예를 들어, LED 광원)으로부터 고정 변조를 갖는 제2 광빔(예를 들어, LED광)을 방출하기 위한 단계(1610)를 포함할 수 있다. 상기 방법(1600)은 화소가 포함된 복조 회로(1612)를 포함하는 광검출판에서 상기 제2 변조광빔을 검출하는 단계를 포함할 수 있다. 상기 방법(1600)은 상기 검출된 제2 변조광을 복조하고, 복조된 신호만을 기록하고(예를 들어, 상기 변조 회로에 형성된 메모리에) 저장하는 단계를 포함한다. 그리고, 상기 제2 변조 주파수(또는, 주파수들)가 아닌 빛은 거부된다(1614). 상기 방법(1600)은 각 화소 별로 제2 변조광에 대응하여 저장된 신호를, 예를 들어, 상기 복조 회로(1616)에 결합되거나 포함된 스캐닝 판독 회로를 사용해서 판독하는 단계를 포함할 수 있다. 각 화소별 상기 제1 변조광 및 제2 변조광에 대응하는 신호들(S1 및 S2)은 모두 시선의 위치 및/또는 움직임을 계산하기 위해 사용될 수 있다(1618). 상기 방법(1600), 도 16에서와 같이, 또는 동시에 도 17에서와 같이, 상기 제1 변조광 및 2 변조광의 상기 방출, 검출, 그리고 복조 및 판독 단계를 순차적으로 구현하는 단계를 포함할 수 있다.

도 17은 복수의 변조된 아이 트래킹 센서 신호들을 동시에 검출하기 위한 방법(1700)의 예를 도시한다. 예를 들어, 서로 다른 파장의 빛을 방출하는 두 개의 상이한 광원은 각각 상이한 파장을 갖는 두 개의 빛을 방출하기 위해 사용되는데(1702), 예를 들어, 그 중 제1 광원은 850nm 이상의 파장의 빛을 방출하고, 일부 실시예에서는 940nm 파장의 빛을 방출하며, 제2 광원은 805nm 미만의 파장의 빛을, 예를 들어, 780nm 파장의 빛을 방출한다. 예를 들어, 아이 크리스탈(eye crystal)은 상기 두 개의 상이한 파장에 대해 서로 다른 것을 흡수하기 때문에 이와 같은 파장이 사용될 수 있는 반면, 사람의 피부 및 다른 배경들은 이러한 두 개의 파장에 대한 흡수 차이가 거의 없다. 상기 방법(1700)은 광 검출 판 검출기(예를 들어, 화소가 포함된 복조 회로를 갖는)를 사용해서 상기 두 개의 광원에서 방출된 빛을 검출하는 것을 포함한다(1704). 화소가 포함된 복조 회로를 갖는 광검출판 검출기는 두 개의 광원으로부터 변조된 빛을 복조하고, 상기 두 개의 다른 변조 신호(예를 들어, 신호 S1 및 신호 S2)를 기록하고, 변조가 없는 주변광은 거부한다(1706). 신호 S1과 신호 S2를 비교하면, 배경 신호가 더욱 거부될 수 있다. 상기 방법(1700)은, 예를 들어, 상기 복조 회로에 결합되거나 포함된 스캐닝 판독 회로를 사용해서 각 화소 별 상기 제1 변조광 및 제2 변조광에 대응하여 저정된 신호들을 판독하는 단계를 포함한다. 각 화소 별 상기 제1 변조 광 및 제2 변조 광에 대응하는 신호들(S1 및 S2)은 모두 시선의 위치 및/또는 움직임을 계산하기 위해 사용될 수 있다(1710). 다른 실시예들에서, 상기 두 개의 광원은 동일한 파장 및/또는 동일한 변조 주파수를 가질 수 있으나, 위상 차이 p와 같은 뚜렷한 위상 차이를 갖기 때문에, 상기 프로세서는 신호들을 처리하여 시선의 위치 또는 움직임에 대한 정보를 추출한다.

표준 마우스처럼 기능하는, 제안된 아이 마우스 모듈은 사용자의 시선 응시를 트래킹하여 디스플레이 상에 있는 컴퓨터 커서를 조절한다. 일부 실시예에서, 사용자가 모바일 장치를 살짝 회전하거나 움직이면, 혹은 사용자의 머리를 회전하거나 움직이면, 혹은 머리를 회전하거나 움직이면서 모바일 장치를 회전하거나 움직이면, 상기 커서는 사용자가 원하는 위치로 계속해서 혹은 활발히 움직인다. 따라서, 그러한 경우에, 사용자는 상기 모바일 장치를 하나의 표준 마우스로 간주할 수도 있다.

모바일 장치에 통합된 아이 마우스 모듈을 작동할 때, 상기 모바일 장치의 광원(상기 아이 마우스 모듈의 일부인)은 사용자를 향해 빛을 투사할 수 있다. 사용자의 눈에서 역반사된 광은 적은 양만 확산되고 다시 광원으로 돌아온다. 그러나, 사용자의 얼굴 및 다른 표면은 광원으로부터의 빛을 산란시킬 수 있으며, 산란된 빛은 광원으로 다시 돌아올 수 있다. 눈 동공 개구는 직경 3mm이고, 사용자의 얼굴과 다른 표면은 동공 영역의 5000배 정도라고 가정하다. 이러한 예는, 상기 광원으로 회수된 5000분의 1의 광이 유용함을 의미하며, 이는 유효 신호 검출의 심각한 문제를 나타낸다. 일부 실시예에서, 사용자의 얼굴이나 다른 물체 표면으로부터 산란으로 인해 아이 마우스 모듈은 배경 신호를 거부하기 위한 자기 상쇄(self-cancelation) 구조를 갖도록 구성된다. 따라서, 사람의 눈 또는 이와 유사한 광학계만이 아이 마우스를 작동하면서 트래킹될 수 있다.

도 18a는 아이 센서 메커니즘과 자기 상쇄 구조(self-cancelation structure)를 포함하는 아이 마우스 모듈(1800)의 예를 도시한다. 아이 마우스 모듈(1800)은 일반적으로 디스플레이 스크린을 포함하는 장치에 위치한다. 본 실시예에서, 아이 마우스 모듈(1800)에 있는 두 개의 광원 그룹이 눈동자를 검출을 가능하게 하는데 사용된다. 더욱 구체적으로, 제1 광원 그룹(1804)은 수신 센서(1810)와 렌즈 축(1808)에 가까운 곳에 위치한다. 제1 광원 그룹에 속하는 광원(1804)은 "동축(co-axis) 광원"으로도 불릴 수 있다. 제2 광원 그룹에 속하는 광원(1806)은 상기 렌즈 축(1808)에서 더 멀리 떨어져 있다. 광원(1806)은 "기준(reference) 광원"으로도 불릴 수 있다. 일반적으로, 기준 광원(1806)과 렌즈(1808) 사이의 거리는 대략 5mm로 설정된다. 상기 광원들(1084, 1806)에서 방출된 광빔은 사용자를 향해 투사된다. 상기 제1 광원 그룹 및 제2 광원 그룹(1804, 1806) 각각은 LED와 같은 단일 광원 또는 복수의LED와 같은 복수의 광원을 포함할 수 있다.

사용자가 상기 아이 마우스 모듈을 포함하는 장치를 손에 쥐고 있을 때, 사용자의 눈동자(1802)에 투사된 광 에너지는 사용자의 얼굴(1812)과 다른 표면, 예를 들어, 사용자의 어깨에 투사된 광 에너지 보다 확연히 적다(예를 들어, 1/5000 정도). 사용자의 눈에서 역반사된 빛은 개구의 중심에서 상기 광원이 포함된 제한된 영역(예를 들어, 600mm 거리에 있고 10mm 정도의 직경을 갖는)에 분포될 수 있다. 사용자의 얼굴과 다른 표면에서 산란된 빛은 주로 보다 큰 영역에 분산되는데, 이 영역은 Lambert 산란 모델(Lambert scattering model)이 사용될 경우 반구(half globe)(예를 들어, ~2πR2 또는 251000~2262000 mm2)로 설명될 수 있다. 상기 수신 렌즈(1808)가 상기 역반사 광빔의 크기보다 작은 개구를 갖는 경우, 상기 역반사광과 상기 산란된 광 사이의 콘트라스트는 일반적으로 겨우 0.64~5.8 정도이다. 이와 같은 낮은 비율은 상기 센서(1810)가 다중 요소를 갖게 됨을 의미한다. 예를 들어, 상기 센서가 N개의 검출 요소를 포함하는 경우, 상기 콘트라스트는 눈 영상 위치에서 N배 정도 향상될 수 있다.

도 18a에 도시된 디자인은 센서 요소의 수를 늘이지 않고 상기 아이 검출 콘트라스트를 향상시킬 수 있는 방법을 제공한다. 특히, 상기 두 개의 광원 그룹(1804, 1806)은 서로 유사한 파장을 갖고 실질적으로 동일한 공간 에너지를 분배한다.

이는 두 광원 그룹(1804, 1806)의 동력 전류를 조절함으로써 실현될 수 있다. 상기 두 개의 광원 그룹(1804, 1806)은 실질적으로 동일한 주파수와 동일한 변조 깊이로 변조될 수 있다. 그러나, 상기 두 개의 광원 그룹에 수행된 변조는 최대 180° 정도의 위상 차이를 갖는다. 상기 사용자의 얼굴이나 다른 산란 표면으로부터 수신된 산란광은 두 개의 광원 그룹(1804, 1806) 모두의 산란광을 포함한다. 변조 위상 차이가 최대 ~180°정도이기 때문에, 상기 두 개의 광원 그룹으로부터의 산란광은 실질적으로 서로 상쇄되고, 산란광의 나머지 부분은 DC 신호를 생성하는 안정적인 전원을 형성한다. 일부 실시예에서, DC-거부 필터 회로는 이와 같이 높은 DC비 신호를 필터 하는데 사용된다. 더욱이, 상기 광원(1804, 1806)으로부터의 역반사광은 주로 매우 작은 확산각(divergence angle)을 포함하며, 도 18a에 도시된 구성은 센서(1810)가 동축 광원(1804)로부터 더 많은 역반사광을 수신할 수 있게 한다. 그 결과, 수신된 AC 신호는 상기 동축 광원(1804)의 역반사광으로부터 일차적으로 수신되는 신호이다. 이로 인해, "자기 상쇄(self-cancelation)"로 불리게 된다.

도 18a를 더 참조하면, 센서(1810)의 출력 신호들은 상기 아이 마우스 모듈의 프로세싱 유닛(1814)에 결합되는데, 상기 프로세싱 유닛(1814)은 센서(1810)에서 생성된 AC신호를 처리하기 위한 프로그램을 실행하여 디스플레이(1816) 상에 사용자의 응시점을 결정한다. 예를 들어, 상기 프로세싱 유닛(1814)은 상기 동축 광원(1804)와 기준 광원(1806)에 대응하는 역반사광을 근거로 상기 응시점을 결정할 수 있다. 일부 실시예에서, 상기 프로세싱 유닛(1814)은 상기 동축 광원(1804)에 대응하는 역반사광에 일차적으로 기초하여 상기 응시점을 결정할 수 있다. 상기 프로세싱 유닛(1810)은 상기 결정된 응시점을 기초로 디스플레이(1816)상의 커서의 디스플레이를 표시하거나 업데이트한다. 상기 아이 마우스 모듈이 계속해서 또는 적극적으로디스플레이(1816)와 사용자의 시선(1802) 사이에서 상대적인 움직임을 트래킹함으로써, 상기 프로세싱 유닛은 시선의 응시점의 변화에 기초하여 디스플레이(1816) 상에 상기 커서의 위치를 계속해서 또는 적극적으로 업데이트한다.

도 18b는 상기 결정된 사용자의 응시점(1828)에 기초하여 상기 디스플레이 스크린(1826) 상에 있는 커서(1824)를 디스플레이하는 스마트폰(1822)과 통합된 아이 마우스 모듈(1820)의 예를 도시한다.

도 19a는 상기 두 개의 광원 그룹이 완벽하게 일치할 때 상기 자기 상쇄 구조를 사용하는 아이 마우스 모듈 예의 시뮬레이션 결과를 도시한다. 이 실시예에서, 상기 두 개의 완벽하게 일치하는 광원은 동일한 세기, 동일한 변조 프로파일, 및 상반된 위상을 갖는다. 더욱이, 상기 사용자의 얼굴이나 다른 표면으로부터의 산란광은 대부분 상기 필터회로에 의해 거부되는 DN 출력을 갖는다. 그 결과, 상기 검출된 AC 신호 성분은 실질적으로 시선에 대응한다. 이는 얼굴 및 다른 산란 표면 41%의 프로브 광 소음(probe light noise) 증가의 원인이 되는 것을 관찰할 수 있다. 이는 주변 배경광으로부터의 소음에 비해 일반적으로 무시될 수 있다.

도 19b는 두 개의 광원 그룹이 작은 차이로 일치될 때 상기 자기 상쇄 구조를 사용하는 아이 마우스 모듈 예의 시뮬레이션 결과를 도시한다. 이 실시예에서, 상기 두 개의 광원 그룹의 세기의 차이는 2% 이고 변조 위상 차이는 180°가 아니라 178°이다. 이 시뮬레이션 결과는 이와 같은 디자인은 배경 콘트라스트 향상에 비해 최대 25배의 신호, 또는 SRN 향상의 최대 18배를 성취했음을 보여준다.

도 19a와 도 19b의 디자인의 사용으로, 상기 광원의 출력과 주변광 세기에 대해 수신된 AC 신호 성분을 보정하여 동공 크기 변화를 손쉽게 그리고 신뢰도 있게 검출할 수 있다. 더 상세하게, 상기 역반사광 세기 변화는 상기 수신된 역반사광 세기 변화를 측정하거나 센서 요소에 있는 동공 이미지의 수를 직접 카운트해서 상기 동공 크기 변화를 결정하는데 사용할 수 될 수 있다. 더욱이, 상기 수신된 역반사 신호는 사용자가 스크린을 바라보고 있는지 여부와 스크린의 어느 영역을 바라보고 있는지를 결정하는데도 사용될 수 있다.

상기 시스템은 배경을 삭제해서 상기 아이 트래킹 신호를 생성하기 위해 두 개의 프레임을 비교할 필요가 없다. 대신, 상기 아이 트래킹 신호는 센서(1810)에 의해 실시간으로 생성된다. 이는 슬로우 프레임 속도 센싱(slow frame rate sensing)동안 매우 유용하다. 뿐만 아니라, 상기 제안된 아이 마우스 구조는 최대 18배 혹은 그 이상만큼 검출 요소의 수에 대한 필요 조건을 줄일 수 있다. 예를 들어, 자기 상쇄 아이 마우스 모듈을 갖는 10x20 센서는 상기 자기 상쇄 디자인을 사용하지 않고 바로 검출하는 40x80 센서 보다 나은 결과를 성취할 수 있다.

도 20a는 도 18a의 동축 광원과 기준 광원 둘 다 켜져 있을 때 눈 이미지(2000)의 예를 간략하게 도시한다. 동공(2002)은 밝을 때의 크기이다. 동공(2002) 내의 오른 쪽에 있는 밝은 부분(2004)은 도 18a의 동축 광원(1804)의 각막 반사 이미지를 나타내고, 왼쪽 밝은 부분(2006)은 도 18a의 기준 광원(1806)의 각막 반사 이미지를 나타낸다. 각막 표면(2008)으로부터의 반사광은 넓은 확산각을 갖고 상기 동축 광원(1804)과 상기 기준 광원(1806)이 서로 근접해있기 때문에, 도 18a의 상기 센서(1810)는 상기 동축 광원(1804) 조명 아래 각막 표면(2008)에 의해 반사된 광 에너지와 상기 기준 광원(1806) 조명 아래 각막 표면(2008) 에 의해 반사된 광 에너지를 동일한 비율로 수신한다. 다시 말해, 상기 아이 마우스 센서는 센서 해상도가 극도로 높지 않는 한 상기 두 개의 광원의 각막 반사를 구분하지 않는다. 상기 두 개의 각막 반사가 서로 상반된 위상을 갖는 자기 상쇄 구조로 인해, 상기 각막 반사는 제거될 수 있다. 상기 각막 반사 상쇄(corneal reflection cancellation)와 유사하게, 다른 부드러운 표면(예를 들어, 유리 프레임 표면)으로부터의 상기 반사의 영향도 제거될 수 있다. 그 결과, 도 18a에 도시된 아이 마우스의 자기 상쇄 디자인은 눈동자 검출을 뚜렷하게 향상시킬 수 있다. 제대로 보정된 아이 마우스 모듈에서, AC 신호 세기는 직접적으로 눈동자 크기에 비례하는 눈의 역반사 세기를 반사한다.

도 20b는 도 18a의 기준 광원(2806) 만이 검출 될 때 눈 이미지(2010)의 예를 간략하게 도시한다. 이 경우, 동공 영역(200)은 어두울 때의 크기이다. 도 18a의 기준 광원(1806)의 상기 각막 반사 이미지(2006)는 검출 가능하게 된다. 이러한 상황은 상기 동축 광원(1804)을 끄거나 두 개의 광원 그룹을 서로 다른 주파수로 변조하여 서로 다른 주파수 대역에서 검출이 실행되도록 함으로써 구현될 수 있다.

도 20c는 상기 시선 응시점을 트래킹 하는 과정(2020)의 예를 도시하는 순서도이다. 상기 과정(2020)은 도 18a, 도 20a 및 도 20b에서 설명되었다. 이 과정(2020)은 상기 동축 광원과 기준 광원 모두를 동일 프로파일(예를 들어, 동일한 주파수와 깊이)로 변조하되 실질적으로 서로 상이한 위상을 갖게 하여 작동시켜서 시작할 수 있다. 상기 동공 위치와 사이즈를 측정한다(2024). 상기 동공 위치가 측정되면, 상기 아이 마우스 센서는 상기 기준 광원(1806)의 각막 반사 이미지(2006)를 검출하기 위한 검출기 요소 근처에 초점을 맞출 수 있다. 더 상세하게, 상기 과정은 상기 동축 광원을 끄거나 두 개의 광원 그룹을 서로 다른 주파수로 변조할 수 있다(2026). 상기 과정은 상기 기준 광원의 각만 반사 이미지 부분 위치 측정을 포함할 수 있다(2028). 상기 과정은 상기 기준 광원의 각막 반사 이미지 부분 위치와 동공 중심의 위치를 비교하는 것을 포함할 수 있다(2030). 동공 중심과 각막 반사 이미지 부분 사이의 오프셋은 상기 시선 응시점에 대한 정보를 제공한다. 도 18a의 센서(1810) 상의 양안의 두 이미지 사이의 거리는 시선 응시 방향을 보정하기 위한 측정 스케일을 제공한다.

도 21은 상기 제안된 아이 마우스 모듈의 범위 검색 기능을 도시한다. 눈의 역반사광으로, 상기 제안된 아이 마우스 모듈은 3D 검출 기능을 구현할 수 있다. 더 자세하게, 광 센서와 사용자의 눈 사이의 범위 또는 거리는 위상 변이(phase shift)를 비교해서 측정할 수 있다. 수신된 역반사광(2100)은 사용자의 눈을 향해 전송된 프로브광(2010)에 대해 시간 지연을 갖는다. 아이 마우스 모듈에서 상기 과정은 전송된 광 신호와 수신된 광 신호 사이의 위상 지연을 측정해서 사용자의 눈에 대한 센서의 거리를 측정할 수 있다. 상기 결정된 범위나 거리 정보는 상기 디스플레이의 2D 평면에 있는 상기 결정된 응시점과 결합되어 3D 아이 트래킹 데이터가 생성될 수 있다.

도 22는 상기 제안된 자기 상쇄 아이 마우스 모듈의 신호 획득 과정(2200)의 예를 도시하는 구성도이다. 도 22에서와 같이, 상기 동축 광원과 기준 광원은 변조 광을 생성한다(2202). 상기 동축 광원과 기준 광원의 광빔은 사용자의 얼굴을 향해 투사된다(2204). 상기 자기 상쇄 아이 마우스 모듈에 있는 센서(예를 들어, 복수의 요소를 포함하는 검출기)는 회수되는 광을 수신한다(2206). 센서에 있는 회로는 DC 성분을 가려내고, 상기 AC 성분을 복조하여 증폭한다. 주변 배경광과 얼굴에 산란된 광 모 두 압축된다(2208). 그 후 상기 아이 트랙 신호가 생성된다. 상기 신호가 분석된 후, 동공 위치, 동공 크기, 그리고 응시 방향을 구한다. 마우스 커서는 상기 모바일 장치의 스크린에 디스플레이 된다(2010). 상기 모바일 장치가 회전하거나 움직이면, 혹은 상기 사용자의 머리가 회전하거나 움직이면, 상기 커서는 사용자가 원하는 새로운 위치로 계속해서 적극적으로 조절된다. 반면, 상기 동공 크기 변화 및/또는 스크린 프레임 내용 변화 대비 눈 깜박임 횟수는 사용자 반응 정보를 생성하기 위해 검출된다(2012). 이 정보는 게임 개발자, 광고 업자, 심리학 연구원, 및 다른 관심 있는 사람들에 의해 사용될 수 있다.

도 23은 사용자 모바일 장치에 있는 아이 마우스 기능 버튼의 예를 도시하는 그림이다. 예시 도면에서, 상기 아이 마우스 기능 버튼(2302, 2304, 2306)은 사용자 모바일 장치(2308)의 오른쪽에 고안된다. 이 버튼들은 일반적인 마우스의 왼쪽 클릭, 오른쪽 클릭, 그리고 중간 클릭 기능을 갖도록 디자인될 수 있다. 다른 예로, 상기 아이 마우스 기능 버튼(2310, 2312, 2314)는 모바일 장치(2308)의 오른쪽에 디자인되어 일반적인 마우스의 왼쪽 클릭, 오른쪽 클릭, 그리고 중간 클릭 기능을 갖도록 고안될 수 있다. 또 다른 예로, 상기 아이 마우스 기능 버튼(2316, 2318)은 모바일 장치(2308)의 앞쪽 스크린(2320)에 디자인될 수 있다. 또한, 모바일 장치(2308)의 앞쪽에는 광원(1804, 1806)과 광학 렌즈(1808)가 마련되어 변조된 빛을 사용자에게 방출하고 사용자의 눈으로부터 역반사를 검출한다. 또 다른 예로, 상기 아이 마우스 기능 버튼(2322, 2324, 2326)은 모바일 장치(2308)의 뒤쪽에 디자인되어 일반적인 마우스의 왼쪽 클릭, 오른쪽 클릭, 그리고 중간 클릭 기능을 갖도록 고안될 수 있다.

그러나, 일부 실시예에서, 상기 아이 마우스 버튼은 상기 모바일 장치에 이미 존재하는 버튼과 공유될 수 도 있다.

도 24는 상기 제안된 아이 마우스 기술이 목표하는 애플리케이션의 예를 도시하는 그림이다. 상기 제안된 아이 마우스 디자인은 매우 작은 크기, 높은 해상도, 낮은 비용, 그리고 적은 전력사용의 특징을 갖는다. 예를 들어, 아이 마우스 디자인의 한 예는 넓이가 2mm, 두께가 4mm, 그리고 길이가 6mm인 작은 크기로 디자인될 수 있다. 그래서, 상기 제안된 아이 마우스 모듈은 특히 스마트폰, 태블릿, 랩탑과 같이 작은 크기의 모바일 단말에 쉽게 통합될 수 있다. 더욱이, 상기 제안된 아이 마우스는 다음과 같은 이유에서 사용이 간편하다.(1) 사용자가 머리에 다른 추가적인 기구를 착용하지 않아도 된다;(2) 아이 마우스는 한 손으로 작동 가능하다;(3) 눈 깜박임 동작(확인/선택의 의미로)이 가능하다. 상기 제안된 아이 마우스는 보정이 자유롭기 때문이 일반적인 광학 마우스처럼 느껴질 수 있다. 상기 제안된 아이 마우스는 발전에 우호적이다. 예를 들어, 상기 아이 마우스는 말하는 기능과 함께 개발될 수 있으며, 그로 인해 복수의 모바일 단말끼리 상관없는 사용자에게 신호 누설 없이 데이터를 주고 받을 수 있게 된다. 이와 같은 특징으로 인해, 상기 제안된 아이 마우스 기술은 광범위 애플리케이션에 적합하다.

예를 들어, 상기 아이 마우스는 일반 마우스(2400)로 사용될 수 있으며, 컴퓨터 게임(2402)을 하기 위해 사용될 수 있다. 상기 아이 마우스의 시선 응시 검출 기능은 응시할 때마다 비용을 지불하는 광고(2410)에 사용될 수도 있다. 다른 예로, 상기 아이 마우스의 동공 크기 검출은 광고 관리자나 게임 개발자들에서 유용한 고객 반응 데이터를 수집하는데 사용될 수 있다.

일례로, 상기 아이 마우스는 보안접속(2408)에 사용될 수 있다. 더 자세히, 사용자가 아이 마우스를 사용자의 시선을 가로질러 움직일 경우, 광원과 센서 검출기는 패스코드 생성에 사용될 수 있는 사용자의 망막 반사 특징을 취한다.

다른 예로, 상기 아이 마우스는 보안 타이핑에 사용될 수 있다. 더 자세히, 사용자가 눈으로 글자를 타이핑할 때, 옆에 있는 사람들은 상기 사용자가 어느 글자를 선택하는지 알 수가 없다. 상기 아이 마우스는 또한 심리학 연구(2406)에도 사용될 수 있다. 더 자세히, 고안된 일련의 질문, 사진, 또는 비디오를 사용자에게 보여주고, 상기 아이 마우스 센서는 그에 대한 사용자의 시선 반응을 측정한다. 수집된 정보는 심리학자가 사용자의 솔직한 생각을 조사하는 것을 도울 수 있다.

다른 예로, 상기 아이 마우스는 몰래 카메라 찾기와 같은 엔터테인먼트(2404)에 사용될 수 있다. 또한, 광원과 센서 검출기가 포함될 경우, 상기 제안된 아이 마우스는 동일한 종류의 아이 마우스를 갖춘 다른 모바일 장치들 사이에서 데이터를 주고받는데 사용될 수 있다. 더욱이, 상기 제안된 아이 마우스 기술은 컴퓨터 커서를 조절할 수 있는 대안으로 일반 마우스와 키보드를 다룰 수 없는 장애인들에게 제공되는 애플리케이션을 찾을 수도 있다.

스마트폰과 같은 모바일 장치는 대부분의 사용자에게 내용을 전달하는 도구로써 인기가 늘고 있으며, 그 내용은 문자 메시지, 신문 기사, 사진, 비디오, 또는 이들의 복합을 포함할 수 있다. 이는 사용자들이 스크린에 디스플레이된 내용을 보는 동안에 그 내용에 대한 사용자의 반응에 대한 피드백을 수집할 수 있는 이점이 있다. 상기 개시된 기술의 실시예들은 모바일 장치에 있는 상기 센서 모듈과 상기 모바일 장치에 있는 처리 능력을 활용할 수 있고, 클라우드 기반 서버와 통신하여 실시간으로 그리고 통계에 근거하여 상기 내용들에 대한 사용자의 반응을 모니터링 하고, 분석하며, 기록할 수 있는 통합된 시스템을 제공할 수 있다.

앞서 언급한 바와 같이, 상기 제안된 사용자 반응 시스템은 아이 트래킹 및 센싱 모듈(또는, 아이 센싱 모듈)을 사용할 수 있다. 이 아이 센싱 모듈의 모바일 장치의 스크린 앞쪽에 일체로 형성되어 사용자의 시선 움직임과 동공 크기 변화의 측정치를 제공할 수 있다. 도 25는 사용자 반응 데이터를 수집하기 위해 아이 센싱 모듈(2502)이 일체로 형성된 모바일 장치(2500)(스마트폰과 같은)의 예를 도시한다. 일부 실시예에서, 상기 장치(2500)에 일체로 형성된 아이 센싱 모듈(2502)은 사용자가 디스플레이 스크린(2504)을 바라보는 동안 사용자의 시선 역학 데이터를 수집할 수 있다. 예를 들어, 사용자가 보고 있는 스크린에 디스플레이된 내용이 재미있는 경우, 사용자의 동공 크기가 커지고, 재미가 없는 경우, 동공 크기는 작아진다. 또한, 사용자의 시선을 끄는 새로운 내용이 스크린에 표시될 때 사용자의 동공이 갑자기 커지기도 한다. 아이 센싱 모듈(2502)은 이러한 시선 역학 정보를 주기적으로, 예를 들어, 적어도 초당 300프레임 속도로, 수집할 수 있는데. 일반적으로, 상기 데이터 수집은 스마트폰 스크린 업데이트 속도와 같게 혹은 이보다 빠르게 수행될 수 있다. 센서 데이터의 각 프레임으로부터, 상기 제안된 사용자 반응 시스템은 다음과 같은 정보를 구할 수 있다: 이전 프레임으로부터 사용자의 동공 크기 변화, 그리고 수직 및 수평 방향으로 이전 프레임으로부터 사용자의 동공 위치 변화.

사용자의 동공 크기 변화는 디스플레이된 내용에 대한 사용자의 반응을 분석하는데 사용되기 때문에, 사용자의 동공 크기에 영향을 미치는 주변광 변화와 디스플레이 배경광 변화는 구분될 필요가 있다. 주변광이 증가하면, 동공 크기는 일반적으로 작아지고, 내용이 표시되는 스크린 밝기가 증가하면, 사용자의 동공 크기가 작아질 것이다. 이러한 요인은 상기 아이 센서가 동공 크기 변화를 수정하는데 고려될 필요가 있다. 도 25에서, 모바일 장치(2500)는 또한 주변광 센서 모듈(2506)을 포함한다. 일부 실시예에서, 센서 모듈(2502)은 사용자 시선 움직임을 기초로 디스플레이에 표시된 내용에 대한 정보를 포함하는 사용자 반응 데이터를 수집하고 장치(2500)의 애플리케이션 프로세서에 수집한 데이터를 전송한다. 반면, 상기 장치(2500)의 프로세서는 주변광 센서 모듈(2506)로부터 데이터를 수신하기도 한다. 상기 프로세서 전용 프로그램은 상기 주변광 센서 모듈(2506)에 의해 수집된 주변광 가변 데이터로 상기 아이 센서 모듈(2502)이 측정한 동공 크기 변화 데이터를 정정할 수 있다. 더욱이, 상기 프로세서는 디스플레이 스크린으로부터 스크린에 표시된 내용의 밝기 가변 데이터를 사용해서 상기 아이 센싱 모듈(2502)의 데이터를 조절할 수도 있고 상기 장치에 일체로 형성된 배경광 모듈로부터 배경광 데이터를 디스플레이 해서 상기 표시된 내용에 대한 사용자의 반응으로 인한 동공 크기의 변화 정도를 더욱 정확하게 측정할 수 있다.

일부 실시예에서, 상기 모바일 장치(2500)가 가속 센서 및 자이로 센서와 같은 모션 센서에 일체로 형성되면, 상기 장치(2500)의 프로세서는 동시에 수집된 모션 센서 데이터를 수신할 수도 있다. 이러한 데이터는 디스플레이된 내용에 대한 사용자 반응의 추가적인 정보를 제공한다. 상기 아이 센싱 모듈이 모바일 장치에 내장되면, 사용자 센싱 모듈에서 관찰된 사용자 시선의 움직임은 모바일 장치 자체의 움직임에 영향을 받을 수 있다. 그래서, 상기 제안된 시스템은 장치 움직임의 속도와 같은 장치 움직임 데이터로 아이 센싱 모듈(2502)이 측정한 사용자의 시선 움직임을 정정하기 위해 내장된 모션 센서로부터 데이터를 수신하는 프로그램일 포함할 수도 있다. 상기 모션 센서는 3D 가속 센서 및 3D 자이로 센서를 포함할 수 있다. 상기 정정은 이미징 센싱 애플리케이션에 의해 사용되는 모션 정정 및 안정화 기술 사용을 수반할 수 있다.

도 26은 사용자 반응 데이터를 생성하기 위해 아이 센싱 모듈(2602), 주변광 센싱 모듈(2604), 모션 센싱 모듈(2606), 그리고 디스플레이 스크린 및 배경광 모듈(2608)이 통합된 모바일 장치(2600)(스마트폰과 같은)의 예의 구성도이다. 도 26에서와 같이, 모바일 장치(2600)는 상기 아이 센싱 모듈(2602), 주변광 센싱 모듈(2604), 그리고 모션 센싱 모듈(2606)로부터 측정된 데이처를 수집하기 위해 애플리케이션 프로세서(2610)를 사용한다. 상기 애플리케이션 프로세서(2610)는 디스플레이 배경광 설정 변화와 디스플레이 내용 밝기 변화를 모니터하는 그래픽 프로세서(2612)를 통해 디스플레이 스크린과 배경광 모듈(2608)로부터도 데이터를 수집할 수 있다. 상기 애플리케이션 프로세서(2610)는 이러한 복수의 구성 요소들로부터 수신한 데이터를 통합하여 사용자의 동공 크기 변화와 스크린 상에 디스플레이 되는 내용에 대한 사용자의 반응을 실제로 반영하는 사용자의 시선 움직임 변화 변수를 산출한다. 상기 애플리케이션 프로세서(2610)가 산출된 사용자 반응 데이터를 통신 모듈(2614)로 전송하면, 통신 모듈(2614)이 인터넷과 같은 네트워크(2616)를 통해 서버로 사용자 반응 데이터를 전송할 수 있다. 상기 서버(2618)는 상기 사용자 장치와 컨텐츠 제공자(content provider)와 같은 다른 서버와의 데이터 통신 및 교환을 위해 네트워크 어댑터(유선 및/또는 무선)를 포함하는 다양한 하드웨어 구성 요소들을 포함한다. 상기 서버(2618)는 사용자 장치로부터 수신한 데이터(예를 들어, 사용자 반응 데이터)를 처리하거나 분석하는 프로세서도 포함한다. 서버(2618)는 다양한 데이터(예를 들어, 사용자 반응 데이터와 이에 대한 분석 데이터)를 저장하기 위한 저장 장치도 포함한다. 그리고, 서버(2618)는 상기 사용자 장치와 다른 서버들 간의 데이터 통신과 교환에 필요한 다양한 기능을 수행하기에 적절한 소프트웨어를 포함한다.

도 27은 복수의 모바일 장치로부터의 사용자 반응 데이터 수집 및 분석을 도시하는 데이터 흐름도이다. 복수의 모바일 장치(2702, 2704)는 예를 들어, 자신들의 무선 연결을 사용해서, 복수의 사용자에 대한 처리된 아이 센싱 모듈 데이터(즉, 사용자 반응 데이터)를 전송할 수 있다. 여기서, 처리된 아이 센싱 모듈 데이터는 디스플레이 내용 정보가 합쳐진 것일 수 있으며, 클라우드 네트워크 서비스(2706)를 통해 전송된다. 데이터 베이스 서버(2708)는 수집된 정보를 분석한다. 상기 데이터 베이스 서버(2708)는 상기 디스플레이된 내용의 컨텐츠 제공자의 서버이거나, 독립적인 서비스 제공자일 수 있다. 상기 독립적인 서비스 제공자는 대규모 집단으로부터 사용자 반응 정보를 수집하고 서로 다른 내용에 대한 사용자 반응의 통계적인 분석 데이터를 다양한 컨텐츠를 배포하는 애플리케이션 서버(즉, 컨텐츠 제공자)(2710)에 제공한다. 이러한 데이터 흐름 경로는 도면에서 실선(2712, 2714, 2716, 2718)으로 보여지는 바와 같이 사용자로부터 애플리케이션 서버(2710)로 향한다.

일부 실시예에서, 상기 사용자 반응 데이터는 상기 데이터 베이스 서버(2708)를 경유하지 않고 바로 애플리케이션 서버(2710)로 전송되어 애플리케이션 서버에 의해 바로 분석될 수 있다. 이와 같이 데이터 흐름 경로는 도면에서 점선(2720)으로 나타난 바와 같이 네트워크 서버(2706)에서 바로 애플리케이션 서버(2710)로 향한다. 일부 실시예에서, 상기 애플리케이션 서버(2710)는 분석된 데이터를 사용하여 각 개인에서 적합한 컨텐츠를 제공함으로써, 타겟 사용자에 의해 더 바람직한 반응을 유도한다. 이와 같은 데이터 흐름 경로는 도면에서 실선(2722, 2724, 2726)으로 보여주는 바와 같이 애플리케이션 서버(2710)에서 복수의 모바일 장치(2702, 2704)로 향한다. 그래서, 앞서 설명한 사용자 반응 피드백 시스템을 사용해서, 컨텐츠 제공자는 이전에 봤던 컨텐츠의 사용자 반응을 기초로 각 사용자에게 맞춰진 컨텐츠를 제공할 수 있게 된다.

본 발명 문서에서 설명된 주제와 기능적인 동작의 구현은 본 명세서에 개시되는 구조와 이와 동일한 구조들, 혹은 그 중 하나 이상의 조합을 포함하는 다양한 시스템, 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌 웨어, 또는 하드웨어에서 구현될 수 있다. 본 명세서에서 설명되는 주제의 구현은 하나 이상의 컴퓨터 제품으로써, 즉, 데이터 처리 장치에 의해 또는 장치의 동작을 조절하기 위한 실행을 위해 유형의 컴퓨터 판독 가능한 매체에 인코딩된 컴퓨터 프로그램 지시어의 하나 이상의 모듈로써 구현될 수 있다. 상기 컴퓨터 판독 가능한 매체는 컴퓨터 판독 가능한 저장 장치, 컴퓨터 판독 가능한 저장판, 메모리 장치, 컴퓨터 판독 가능한 전파 신호에 영향을 주는 것들의 조합, 또는 이들 중 하나 이상의 조합일 수 있다. "데이터 처리 장치"라는 용어는 프로그램이 가능한 프로세서, 컴퓨터, 또는 다중 프로세서와 컴퓨터의 한 예로 포함되는 모든 장치, 기기, 및 기계를 망라한다. 상기 장치는 하드 웨어에 더하여, 예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 시스템, 또는 그 중 하나 이상의 조합을 구성하는 코드와 같이 컴퓨터 프로그램을 위한 실행 환경을 만들어 내는 코드를 포함할 수 있다.

컴퓨터 프로그램(또한 프로그램, 소프트 웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드로 알려진)은 컴파일된 또는 컴퓨터 해석된 언어를 포함하는 프로그램 언어 가운데 어떤 형태로도 쓰여질 수 있으며, 자립형 프로그램 또는 하나의 모듈, 컴포넌트, 서브루틴(subroutine), 컴퓨팅 환경에서 사용되기에 적합한 다른 유닛을 포함하는 어떤 형식으로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일이 꼭 대응될 필요는 없다. 하나의 프로그램은 다른 프로그램이나 데이터를 저장하는 파일의 일부(마크업(markup) 언어 문서에 저장된 하나 이상의 스크립트), 해당 프로그램 전용 단일 파일, 또는 복수의 공동파일(coordinated file)(예를 들어, 하나 이상의 모듈, 부 프로그램, 또는 코드 일부를 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트 또는 통신 네트워크에 의해 상호 연결된 복수의 사이트에 걸쳐 분배된 하나 혹은 복수의 컴퓨터에서 실행되기 위해 전개될 수 있다.

본 명세서에 설명된 상기 프로세스와 로직 흐름은 입력 데이터의 운영과 출력을 생성함으로써 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍 가능한 프로세서에 의해 수행될 수 있다. 상기 프로세스와 로직 흐름은 예를 들어, 필드 프로그래밍 게이트 어레이(field programming gate array, FPGA) 또는 아스키(application specific integrated circuitry, ASCI)와 같은 특정 목적의 로직 회로로써, 장치에 의해 구현될 수 있고 수행될 수 있다.

컴퓨터 프로그램 실행에 적합한 프로세서는 예를 들어, 일반적이고 특수한 목적의 마이크로 프로세서와 어떤 종류의 디지털 컴퓨터의 하나 이상의 어떠한 프로세서든 모두 포함한다. 일반적으로, 하나의 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리, 혹은 둘 다로부터 명령과 데이터를 받는다. 컴퓨터의 필수 요소는 명령을 수행하기 위한 프로세서와 명령과 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 일반적으로, 하나의 컴퓨터는 또한 데이터를 수신하거나 전송하는, 혹은 그 둘 모두를 위한 자기, 광학 디스크, 또는 광학 디스크 같이 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치를 포함하거나 컴퓨터에 결합될 수도 있다. 컴퓨터 프로그램 명령 및 데이터를 저장하기에 적합한 컴퓨터 판독 가능한 매체는 비휘발성 메모리, 매체, 그리고, 예를 들어, EPROM, EEPROM, 및 플래시 메모리 장치와 같은 반도체 메모리 장치를 포함하는 메모리 장치의 어떠한 형태도 포함한다. 상기 프로세서와 메모리는 특정 목적 로직 회로에 의해 추가되거나 편입될 수 있다.

본 발명 문서가 많은 세부 사항을 포함하고 있지만, 이 세부 사항들은 어떤 발명의 범위나 주장되는 내용에 제한을 두어서는 안되며, 특정 발명의 특정 실시예에 대한 구체적인 특징의 설명이 될 것이다. 각각의 실시예의 환경에 있는 본 발명 문서에 설명된 어떤 특징들은 하나의 실시예에서 조합하여 구현될 수 있다. 역으로, 하나의 실시예의 환경에 설명된 다양한 특징들은 또한 복수의 실시예 각각에서 또는 적절한 부조합(subcombination)에서 구현될 수 있다. 더욱이, 비록 특징들이 어떤 조합에서 작용함으로써 앞서 설명될 수 있고, 심지어 처음으로 주장되는 것일 수도 있으며, 주장된 조합으로부터의 하나 이상의 특징은 일부 경우에서 그 조합에서 배제될 수도 있으며, 주장된 조합은 하나의 부조합 또는 다양한 부조합으로 유도될 수 있다.

이와 유사하게, 동작은 도면에서 특정 순서로 묘사되고 있지만, 이는 그러한 동작은 도면에 있는 특정 순서 또는 순차적인 순서로 수행되고 또는 모든 도시된 동작은 원하는 결과를 성취하기 위해 수행되는 것을 요구하지 않음이 이해되어야 한다. 더욱이, 본 발명 문서에 설명된 실시예에서 다양한 시스템 구성 요소의 분리는 모든 실시예에서도 분리를 요구하지 않음이 이해되어야 한다.

다만, 일부의 실시예들만 설명되고 다른 구현, 개선, 및 변경은 본 발명 문서에 설명되고 묘사된 것에 기초하여 만들어질 수 있다.

Claims

사용자의 눈 역학 데이터를 구하기 위한 장치로서,
적어도 하나 이상의 컨텐츠를 표현하기 위해 구성된 디스플레이 스크린;
상기 디스플레이 스크린에 상기 적어도 하나의 컨텐츠를 표현하면서 사용자의 시선 움직임을 포함하는 상기 사용자의 눈 역학 데이터를 구하기 위한 아이 센싱 모듈; 및
적어도 부분적으로 구해진 상기 사용자의 눈 역학 데이터를 기초로 상기 디스플레이 스크린에 표시된 상기 적어도 하나의 컨텐츠에 대한 사용자의 반응을 결정하기 위해 구성된 상기 아이 센싱 모듈과 통신하는 프로세서
를 포함하는 장치.
제1항에 있어서,
상기 사용자 눈 역학 데이터는 사용자의 동공 크기의 변화를 포함하는, 장치.
제1항에 있어서,
상기 프로세서와 통신하고 주변광 조건을 구하기 위해 구성된 주변광 센싱 모듈을 더 포함하고,
상기 프로세서는 적어도 부분적으로 구해진 상기 사용자의 눈 역학 데이터와 상기 주변광 조건을 기초로 상기 디스플레이 스크린에 표시된 상기 적어도 하나의 컨텐츠에 대한 사용자의 반응을 결정하기 위해 구성된, 장치.
제1항에 있어서,
상기 프로세서는 디스플레이 밝기 변화 데이터 또는 디스플레이 배경광 특성 중 적어도 하나를 포함하는 디스플레이 스크린 특성을 구하기 위해 상기 디스플레이 스크린과 통신하고, 구해진 상기 디스플레이 스크린 특성과 상기 사용자 눈 역학 데이터 중 적어도 일부를 기초로 디스플레이 스크린에 디스플레이 된 상기 적어도 하나의 컨텐츠에 대한 상기 사용자 반응을 결정하는, 장치.
제1항에 있어서,
상기 프로세서와 통신하고 상기 장치의 모션 변수(parameter)를 구하기 위해 구성된 적어도 하나의 모션 센서를 더 포함하고,
상기 프로세서는 구해진 상기 사용자 눈 역학 데이터와 상기 모션 변수를 적어도 일부 기초로 상기 디스플레이 스크린에 디스플레이된 상기 적어도 하나의 컨텐츠에 대한 상기 사용자의 반응을 결정하기 위해 구성된, 장치.
제1항에 있어서,
상기 장치는 모바일 장치를 포함하는 장치
장치의 디스플레이 스크린에 표시된 적어도 하나의 컨텐츠에 대한 사용자 반응을 결정하기 위한 방법으로,
상기 장치의 디스플레이 스크린에 적어도 하나의 컨텐츠를 표시하는 단계;
상기 장치의 디스플레이 스크린에 상기 적어도 하나의 컨텐츠를 표시하는 동안 상기 장치에 통합된 아이 센싱 모듈이 사용자의 시선 움직임 또는 사용자의 동공 크기 변화를 나타내는 데이터를 구하기 위해 상기 사용자의 눈 역학을 검출하는 단계; 및
사용자 반응 데이터를 생성하기 위해 구해진 상기 사용자 눈 역학 데이터를 상기 디스플레이 스크린에 표시된 상기 적어도 하나의 컨텐츠에 결부시키는 단계
를 포함하는 방법.
제7항에 있어서,
상기 생성된 사용자 반응 데이터를 서버로 전송하는 단계를 더 포함하는 방법.
제8항에 있어서,
상기 서버는 상기 적어도 하나의 컨텐츠를 제공하는 컨텐츠 제공자와 연관된, 방법.
제8항에 있어서,
상기 서버로 전송된 상기 사용자 반응 데이터의 적어도 일부를 기초로 선택된 다른 컨텐츠를 서버로부터 수신하는 단계를 더 포함하는 방법.
제7항에 있어서,
구해진 상기 사용자 눈 역학 데이터를 상기 적어도 하나의 컨텐츠에 결부시키는 단계는, 사용자 동공 크기의 증가를 상기 디스플레이 스크린에 표시된 상기 적어도 하나의 컨텐츠에 대한 상기 사용자의 관심 증가에 대한 표시로 결부시키는 단계를 포함하는, 방법.
제7항에 있어서,
구해진 상기 사용자 눈 역학 데이터를 상기 적어도 하나의 컨텐츠에 결부시키는 단계는, 상기 디스플레이 스크린에 표시된 상기 적어도 하나의 컨텐츠에 대한 상기 사용자의 주목의 집중을 나타내는 상기 사용자의 시선 움직임의 고정에 결부시키는 단계를 포함하는, 방법.
사용자 반응 피드백 정보를 제공하는 서버로서,
상기 서버는 프로세서를 포함하고,
상기 프로세서는,
복수의 사용자 장치에 표시되는 공통 컨텐츠에 연관된 사용자 반응 데이터를 상기 복수의 사용자 장치로부터 수신하고;
상기 복수의 사용자 장치에 표시된 상기 공통 컨텐츠에 연관된 상기 사용자 반응 데이터를 분석하고;
상기 공통으로 표시된 컨텐츠에 대한 상기 사용자 반응의 분석을 기초로 출력을 생성하고; 그리고,
상기 공통으로 표시된 컨텐츠를 제공하는 컨텐츠 제공자에게 상기 생성된 출력을 보고하는,
서버.
제13항에 있어서,
상기 생성된 출력은 통계적 결과를 포함하는, 서버.
아이 트래킹을 위한 장치로서,
상기 장치는,
광검출 모듈;
상기 광검출 모듈의 위치에 상대적으로 각각 위치에서 상기 장치에 배치되는 두 개의 광원 그룹-각 광원 그룹은 변조광을 발광하기 위해 구성됨; 및
상기 광검출 모듈 및 상기 두 개의 광원 그룹과 통신하는 프로세서
를 포함하고,
상기 두 개의 광원 그룹에서 발광된 각각의 상기 변조광은 실질적으로 동일한 변조 주파수와 서로 다른 위상으로 변조되고,
상기 두 개의 광원 그룹에 각각 변조광을 방출하면, 상기 광검출 모듈은 사용자의 눈에서 역반사되는 빛의 적어도 일부를 포함하는 반환광을 수신하고,
상기 프로세서는 적어도 상기 수신된 일부 역반사광(retroreflected light)을 기초로 상기 사용자의 시선의 위치 및 차원 변수를 결정하기 위해 상기 광검출 모듈로부터의 출력 신호를 처리하기 위해 구성되는,
장치.
제15항에 있어서,
상기 광원 그룹 중 하나의 위치는 상기 두 개의 광원 그룹 중 어느 하나보다 상기 광검출 모듈에 가장 가까워서 상기 광검출 모듈이 수신한 상기 일부의 역반사광은 상기 두 개 이상의 광원 그룹 중 어느 하나보다 더 가까운 위치를 갖는 광원 그룹에 의해 방출되는 상기 변조광에 더 근거하는, 장치.
제15항에 있어서,
상기 수신된 일부의 역반사광을 수집하고 상기 수집된 일부의 역반사광을 상기 광검출 모듈로 향하게 하기 위해 상기 광검출 모듈 앞에 위치한 수신 렌즈를 더 포함하는, 장치.
제17항에 있어서,
상기 하나의 광원 그룹은 상기 수신 렌즈의 광축에 근접해서 배치되고 다른 광원 그룹은 상기 수신 렌즈의 광축에서 멀리 떨어져서 배치되는, 장치.
제17항에 있어서,
상기 수신 렌즈와 상기 두 개의 광원 그룹은 상기 광원 그룹 중 하나로부터 발광된 상기 변조광을 기초로 상기 눈에서 역반사된 광이 실질적으로 상기 수신 렌즈에 투사되도록 구성되고, 다른 광원 그룹에서 발광된 상기 변조광을 기초로 상기 눈에서 역반사되는 광은 실질적으로 상기 수신 렌즈에서 떨어진 곳에 투사되는, 장치.
제15항에 있어서,
상기 각각의 변조광을 기초로 배경광와 산란광을 배제하기 위해 상기 광검출 모듈 출력 신호를 필터링하기 위해 상기 광검출 모듈에 통신 가능하게 연결되는 필터링 회로를 더 포함하는 장치.
제20항에 있어서,
상기 산란광은 각각의 상기 변조광이 사용자의 얼굴과 얼굴 근처의 다른 표면에 흩어질 때 생성되는, 장치.
제20항에 있어서,
상기 광원 그룹 중 하나에서 발광되는 상기 변조광에 기초한 산란광은 실질적으로 다른 광원 그룹에서 발광된 상기 변조광에 기초한 상기 산란광에 대해 180°의 위상 차이를 갖는, 장치.
제20항에 있어서,
상기 필터링 회로는 상기 배경광을 배제하기 위해 밴드패스 필터를 포함하는, 장치.
제15항에 있어서,
상기 두 개의 광원 그룹은 실질적으로 동일한 파장(wavelength)으로 변조광을 각각 발광하기 위해 구성되는, 장치
제15항에 있어서,
디스플레이 인터페이스를 더 포함하고, 상기 프로세서는 상기 결정된 위치 변수를 기초로 상기 사용자의 시선의 응시 위치를 결정하기 위해 구성되고, 상기 디스플레이 인터페이스는 상기 결정된 응시 위치에서 상기 디스플레이 인터페이스 상에 커서를 표시하기 위해 구성되는, 장치.
제25항에 있어서,
상기 디스플레이 인터페이스와 상기 프로세서의 조합은 업데이트된 위치 변수를 기초로 상기 커서의 위치를 적극적으로 조절하기 위해 구성되는, 장치.
제15항에 있어서,
상기 광검출 모듈로부터 출력되는 신호의 세기(strength)는 상기 눈의 역반사의 세기에 비례하고, 상기 눈의 동공의 크기에 더 비례하는, 장치.
사용자의 응시를 기준으로 커서를 조절하기 위한 모바일 장치로서,
디스플레이 인터페이스;
상기 디스플레이 인터페이스에 인접한 표면 영역;
상기 표면 영역에 있는 제1 위치에 놓이고 제1 변조광을 방출하기 위해 작동가능한 제1 광원 그룹;
상기 표면 영역에 있는 제2 위치에 놓이고 제2 변조광을 방출하기 위해 작동가능한 제2 광원 그룹;
상기 제1 광원 그룹 및 제2 광원 그룹으로부터 방출된 상기 제1 변조광 및 제2 변조광을 기초로 상기 사용자의 눈으로부터 역반사된 광의 적어도 일부를 포함하는 반환광을 수신하기 위해 구성된 광검출 모듈; 및
상기 광검출 모듈과 상기 제1 광원 그룹 및 제2 광원 그룹에 통신 가능하게 결합되는 프로세서
를 포함하고,
상기 제1 변조광과 제2 변조광은 실질적으로 동일한 변조 주파수를 갖고, 상기 제1 변조광과 제2 변조광의 변조 위상은 실질적으로 서로 반대되고,
상기 제1 광원 그룹과 상기 제2 광원 그룹은 상기 제1 변조광 및 제2 변조광을 사용자가 작동하는 장치의 사용자의 눈을 향해 방출하기 위해 구성되며,
상기 프로세서는 상기 광검출 모듈로부터의 출력 신호를 처리하여 상기 제1 변조광 및 제2 변조광에 대응하여 상기 적어도 일부의 역반사광을 기초로 상기 사용자의 시선 응시 위치를 결정하고,
상기 디스플레이 인터페이스는 상기 결정된 응시 위치에 커서를 디스플레이 하기 위해 구성되는,
모바일 장치.
제28항에 있어서,
상기 프로세서와 연동하는 디스플레이 인터페이스는 업데이트된 상기 눈의 응시 위치를 기초로 상기 커서의 위치를 계속 조절하기 위해 더 구성된, 모바일 장치.
제28항에 있어서,
상기 광검출 모듈은 상기 모바일 장치와 상기 사용자의 눈 사이에서 상대적인 선형 움직임과 회전 움직임을 트래킹하고, 상기 응시 위치에서 상기 상대적인 선형 움직임과 회전 움직임의 영향을 반영하는 상기 출력 신호를 생성하기 위해 구성된, 모바일 장치.
제28항에 있어서,
상기 광검출 모듈로부터의 상기 출력 신호의 세기는 상기 눈의 역반사 세기에 비례하고, 상기 눈의 동공 크기에 더 비례하는, 모바일 장치.
제28항에 있어서,
상기 프로세서는 상기 눈의 동공의 크기를 결정하기 위한 상기 출력 신호를 처리하기 위해 더 구성된, 모바일 장치.
제28항에 있어서,
상기 프로세서는 상기 모바일 장치와 상기 사용자의 눈 사이 거리를 결정하기 위해 상기 출력 신호를 처리하기 위해 더 구성된, 모바일 장치.
제28항에 있어서,
장치 외부; 및
상기 디스플레이된 커서의 위치에서 마우스 기능을 수행하기 위해 상기 모바일 장치에 위치한 하나 이상의 버튼을 더 포함하는 모바일 장치.
제34항에 있어서,
상기 하나 이상의 버튼은 상기 장치 외부의 왼쪽, 오른쪽, 또는 뒤쪽에 위치하는, 모바일 장치.
제34항에 있어서,
상기 하나 이상의 버튼은 상기 디스플레이 인터페이스에 디스플레이되는, 모바일 장치.
제34항에 있어서,
상기 하나 이상의 버튼은 상기 모바일 장치에 존재하는 버튼과의 조합으로 작동가능한, 모바일 장치.
제34항에 있어서,
상기 하나 이상의 버튼은 일반적인 마우스의 왼쪽 클릭, 오른쪽 클릭, 중간 클릭 기능을 수행하기 위해 구성된, 모바일 장치.
장치에서 시선 움직임을 트래킹하기 위한 방법으로,
사용자의 눈을 향해 제1 변조광을 방출하기 위해 상기 장치의 제1 광원 그룹과 2 변조광을 방출하기 위해 제2 광원 그룹을 사용하는 단계-상기 제1 변조광과 제2 변조광은 실질적으로 동일한 변조 주파수를 갖고 상기 제1 변조광과 제2 변조광의 변조 위상은 실질적으로 서로 반대됨;
상기 장치의 광검출 모듈에서, 상기 제1 광원 그룹 및 제2 광원 그룹으로부터의 상기 제1 변조광 및 제2 변조광을 기초로 상기 사용자의 눈에서 역반사되는 광을 적어도 일부를 포함하는 반환광을 수신하는 단계;
배경광과 산란광을 배제하기 위해 상기 수신된 반환광을 필터링하는 단계; 및
상기 제1 변조광 및 제2 변조광에 대응하는 상기 적어도 일부의 역반사 광을 기초로 상기 사용자의 시선의 위치 및 차원 변수를 결정하기 위해 상기 광검출 모듈로부터의 출력 신호를 처리하는 단계
를 포함하는 방법.
제39항에 있어서,
상기 제1 변조광에 기초한 상기 산란광은 상기 제2 변조광에 기초한 상기 산란광에 대해 실질적으로 180°의 위상 차이를 갖는, 방법.
제39항에 있어서,
상기 제1 광원 그룹 및 제2 광원 그룹에 대응하는 역반사광 일부의 차이 값을 기초로 상기 시선의 위치 및 차원 변수를 결정하는 것을 포함하는 출력 신호를 처리하는, 방법.
제39항에 있어서,
상기 제1 광원 그룹 및 제2 광원 그룹을 사용하는 것은 가시 파장대에서 변조광을 방출하기 위해 상기 제1 광원 그룹 및 제2 광원 그룹을 사용하는 것을 포함하는, 방법.
제39항에 있어서,
상기 제1 광원 그룹 및 제2 광원 그룹을 사용하는 것은 적외선과 자외선 파장대에서 변조광을 방출하기 위해 상기 제1 광원 그룹 및 제2 광원 그룹을 사용하는 것을 포함하는, 방법.
제39항에 있어서,
상기 제1 광원 그룹 및 제2 광원 그룹을 사용하는 것은 서로 다른 파장대(wavelengths)의 변조광을 방출하기 위해 상기 제1 광원 그룹 및 제2 광원 그룹을 사용하는 것을 포함하고,
상기 방법은 상기 제1 광원 그룹과 제2 광원 그룹을 서로 일치시키기 위해 보정하는 단계를 더 포함하는, 방법.
제39항에 있어서,
자기 상쇄 검출(self-cancellation detection)을 수행하기 위해 동일한 변조 주파수의 빛을 방출하는 상기 제1 광원 그룹 및 제2 광원 그룹을 사용하는 단계를 더 포함하는 방법.
제39항에 있어서,
상기 제1 변조광 및 제2 변조광에 대응한 상기 일부 역반사광에 기초하여 상기 장치의 디스플레이 스크린 상에 상기 사용자의 시선 응시 위치를 결정하기 위해 상기 광검출 모듈로부터의 상기 출력 신호를 처리하는(processing) 단계를 더 포함하는 방법.
제46항에 있어서,
업데이트된 상기 시선의 응시 위치를 기초로 상기 디스플레이 인터페이스 상에 커서의 위치를 계속 조절하는 단계를 더 포함하는 방법.
제46항에 있어서,
시선 응시의 방향 검출을 위해 다른 변조 주파수를 갖는 변조광을 방출하기 위해 상기 제1 광원 그룹 및 제2 광원 그룹을 사용하는 단계를 더 포함하는 방법.
제39항에 있어서,
상기 제1 광원 및 제2 광원과 상기 광검출 모듈은 상기 장치의 가장자리에 위치하는, 방법.
제39항에 있어서,
상기 방출된 제1 변조광 및 제2 변조광은, 아이 신호 검출을 향상시키고 상기 배경광을 더 배제하기 위해 상기 광검출 모듈의 프레임 속도(frame rate)와 연관된 주파수의 섬광(flashing light)을 포함하는 방법.
제46항에 있어서,
상기 시선 응시 방향의 변화에 대해 커서의 위치를 변경하는 단계와,
상기 디스플레이 스크린 상에 상기 커서의 선택, 작동, 또는 상호 작용을 활성화하기 위해 상기 장치에 하나 이상의 커서 활성화 버튼을 제공하는 단계를 더 포함하는 방법.
제51항에 있어서,
상기 장치에 추가적인 조절 기능을 제공하기 위해 상기 하나 이상의 커서 활성화 버튼을 통해 수신되는 입력을 사용하는 단계를 더 포함하는 방법.
제51항에 있어서,
상기 하나 이상의 커서 활성화 버튼을 통해 수신된 입력을 기초로 시선의 움직임의 트래킹과 연결된 상기 눈의 동공 크기(eye's pupil size) 변화를 검출하는 단계를 더 포함하는 방법.
제51항에 있어서,
상기 하나 이상의 커서 활성화 버튼을 통해 수신된 입력을 기초로 상기 시선 움직임 트래킹과 연결된 상기 시선 응시 방향을 측정하는 단계를 더 포함하는 방법.
제51항에 있어서,
상기 하나 이상의 커서 활성화 버튼을 통해 수신된 입력을 기초로 상기 방출된 변조광과 검출된 반환광에 포함된 데이터를 전송하고 수신하는 단계를 더 포함하는 방법.
제39항에 있어서,
상기 제1 변조광 및 제2 변조광에 대응하는 적어도 상기 일부 역반사광에 기초하여 상기 장치의 디스플레이 스크린에 상기 사용자의 시선의 응시 위치를 결정하기 위해 상기 광검출 모듈로부터의 상기 출력 신호를 처리하는 단계; 및
응시할 때마다 비용을 지불하는 광고(a pay-per-gaze advertisement)에 사용자의 응시를 검출하기 위해 상기 디스플레이 스크린 상에 상기 결정된 사용자의 시선 응시의 위치를 사용하는 단계를 더 포함하는 방법.
제39항에 있어서,
상기 제1 변조광 및 제2 변조광에 대응하는 적어도 상기 일부 역반사광에 기초하여 상기 장치의 디스플레이 스크린에 상기 사용자의 시선의 응시 위치를 결정하기 위해 상기 광검출 모듈로부터의 상기 출력 신호를 처리하는 단계; 및
게임 애플리케이션에 있는 게임 플레이를 조절하기 위해 상기 디스플레이 스크린 상에 상기 결정된 사용자의 시선 응시 위치를 사용하는 단계를 더 포함하는 방법.
제39항에 있어서,
상기 장치의 디스플레이 스크린 상에 마케팅 연구와 연관된 적어도 하나의 컨텐츠를 표시하는 단계;
상기 디스플레이 스크린 상에 디스플레이된 상기 적어도 하나의 컨텐츠에 대한 상기 사용자 반응을 결정하기 위해 상기 사용자의 시선에 대한 상기 결정된 위치 및 차원 변수를 분석하는 단계; 및
상기 마케팅 연구와 연관된 표시된 적어도 하나의 컨텐츠에 대한 상기 결정된 사용자의 반응을 수집하는 단계를 더 포함하는 방법.
제39항에 있어서,
상기 제1 변조광 및 제2 변조광에 대응하는 적어도 상기 일부의 역반사광을 기초로 상기 장치의 디스플레이 스크린 상에 상기 사용자의 시선 응시 위치를 결정하기 위해 상기 광검출 모듈로부터의 상기 출력 신호를 처리하는 단계; 및
보안 접속 또는 보안 데이터 입력을 가능하게 하기 위해 상기 디스플레이 스크린 상에 결정된 상기 사용자의 시선 응시 위치를 사용하는 단계를 더 포함하는 방법.