KR20170091216A

KR20170091216A - 배경 조명과 기준점 조명을 이용한 비착용형 원거리 시선추적 시스템

Info

Publication number: KR20170091216A
Application number: KR1020160011610A
Authority: KR
Inventors: 황인욱; 김현철; 이희경; 서정일; 이인재
Original assignee: 한국전자통신연구원
Priority date: 2016-01-29
Filing date: 2016-01-29
Publication date: 2017-08-09

Abstract

본 발명은 적외선 영상을 이용하여 사용자의 시선을 추적하는 시스템에서의 적외선 조명 구성에 관련된 것이다. 본 발명의 일 실시예에 따르면, 원거리 시선추적 시스템이 제공된다. 원거리 시선추적 시스템은, 시선추적기 본체, 사용자의 얼굴을 추적하기 위한 영상을 생성하는 광각 카메라, 상기 시선추적기 본체로부터 이격되어 상기 사용자에 인접하게 위치하며, 상기 사용자의 얼굴을 향해 적외선을 조사하는 적외선 배경 조명, 상기 적외선 배경 조명에 비해 상대적으로 작은 세기의 적외선을 상기 사용자의 얼굴을 향해 조사하는 기준점 조명, 상기 사용자의 얼굴을 적외선 촬영하여 각막 반사광을 포함하는 적외선 영상을 생성하는 적외선 카메라, 및 추적된 사용자의 얼굴을 향하도록 상기 적외선 카메라의 방향을 조절하는 적외선 카메라 구동부를 포함할 수 있다.

Description

배경 조명과 기준점 조명을 이용한 비착용형 원거리 시선추적 시스템{Non-wearable gaze tracking system at distance by background lighting and reference point lighting}

본 발명은 적외선 영상을 이용하여 사용자의 시선을 추적하는 시스템에서의 적외선 조명 구성에 관련된 것이다.

사용자가 바라보고 있는 방향이나 위치를 알아내기 위한 시선추적 기술은 착용형과 비착용형으로 나눌 수 있으며 비착용형 기술의 경우 사용자와 시선추적 시스템의 거리에 따라 근거리, 원거리 시선추적 시스템으로 나뉠 수 있다. 대부분의 비착용형 시선추적 기술에서는 그 위치를 미리 알고 있는 하나 이상의 적외선 조명과, 적외선 카메라를 이용한다. 사용자 눈의 적외선 영상에서 동공은 낮은 밝기로 검게 표시되고 동공을 둘러싸고 있는 홍채는 이보다 높은 밝기를 가지므로 경계값 검출과 원형 피팅을 통해 동공을 찾아낼 수 있다. 사용자의 동공을 덮고 있는 각막에는 적외선 조명의 반사광이 생성되는데 이 반사광의 위치는 적외선 카메라와 조명, 사용자 눈의 위치에 따라 결정된다. 따라서 사용자의 시선 위치에 따라 움직이는 동공의 중심과, 시선에 따라 변하지 않는 반사광의 위치관계를 이용하여 사용자의 시선위치를 추정해낼 수 있다.

햇빛이나 백열등 등의 외부 적외선 광원이 존재하지 않는 환경에서, 근거리 시선추적 시스템은 작은 크기의 적외선 조명으로도 적외선 영상 촬영을 위해 충분한 밝기를 만들어낼 수 있다. 그러나, 원거리 시선추적 시스템은 먼 거리까지 충분한 광량의 적외선이 도달할 수 있도록 조명의 조사각을 매우 좁혀 집중시키거나 강한 적외선 조명을 사용해야 한다. 그러나 조명의 조사각을 좁히는 경우 먼 거리의 사용자가 상하좌우로 이동할 때 적외선이 조사되는 범위를 벗어날 수 있으므로 시선추적이 가능한 범위가 매우 좁아지며, 강한 적외선 조명을 사용하는 경우 전력소모와 발열이 증가하고 이에 따르는 전원부와 방열부의 확대로 전체 시선추적 시스템의 크기와 제작비용이 커지는 결과를 가져온다.

본 발명에서는 적외선 조명을 사용하는 원거리 시선추적 시스템에서 충분한 밝기의 적외선 영상을 얻기 위해 사용자와 원거리 시선추적 시스템의 거리가 멀어질수록 더 강한 적외선 조명을 기준점 조명으로 사용해야 하며 이에 따라 조명의 발열과 전력소모가 심해지고 시스템이 대형화되는 문제를 해결하고자 한다.

본 발명의 일 실시예에 따르면, 원거리 시선추적 시스템이 제공된다. 원거리 시선추적 시스템은, 시선추적기 본체, 사용자의 얼굴을 추적하기 위한 영상을 생성하는 광각 카메라, 상기 시선추적기 본체로부터 이격되어 상기 사용자에 인접하게 위치하며, 상기 사용자의 얼굴을 향해 적외선을 조사하는 적외선 배경 조명, 상기 적외선 배경 조명에 비해 상대적으로 작은 세기의 적외선을 상기 사용자의 얼굴을 향해 조사하는 기준점 조명, 상기 사용자의 얼굴을 적외선 촬영하여 각막 반사광을 포함하는 적외선 영상을 생성하는 적외선 카메라, 및 추적된 사용자의 얼굴을 향하도록 상기 적외선 카메라의 방향을 조절하는 적외선 카메라 구동부를 포함할 수 있다.

본 발명의 일 실시예는 원거리 시선추적에 사용되는 적외선 조명을 전체 영상의 광량 확보를 위한 배경 조명과 각막에 반사광을 생성하여 기준 위치를 찾기 위한 기준점 조명으로 나누어 각각의 역할에 맞는 하드웨어로 구성된다.

본 발명의 구성에 따르면 배경조명은 그 위치가 고정되는 기준점 조명과 달리 사용자와 비교적 가깝게 고정되지 않은 위치에 설치될 수 있으므로 카메라와 함께 고정된 위치에 설치되는 경우에 비해서 적외선 조명과 전원, 방열부에 필요한 제작비용, 크기, 전력, 발열을 줄일 수 있다.

이하에서, 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 원거리 시선추적 시스템의 구성을 예시적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 원거리 시선추적 시스템의 적용예를 설명하기 위한 도면이다.
도 3은 시선 추적 방식을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써 본 발명을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 원거리 시선추적 시스템의 구성을 예시적으로 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 원거리 시선추적 시스템의 적용예를 설명하기 위한 도면이며, 도 3은 시선 추적 방식을 설명하기 위한 도면이다.

도 1 내지 도 3을 참조하면, 원거리 시선추적 시스템은 시선추적기 본체(100), 광각 카메라(111), 적외선 카메라 구동부(121), 적외선 카메라(122), 기준점 조명(131), 및 적외선 배경 조명(132)을 포함한다. 한편, 시선추적기 본체(100)는 얼굴 추적부(110), 시선 추적부(120), 및 조명 제어부(130)를 포함한다.

광각 카메라(111)는 원거리에서 넓은 환경을 촬영할 수 있는 위치에 설치되며, 도 2에서는 시선추적기 본체(100)의 전면에 부착된 것으로 도시되어 있으나, 이에 한정되지 않는다. 얼굴 추적부(110)는 광각 카메라(111)가 촬영한 영상으로부터, 예를 들어, Adaboost 등의 방법을 사용하여 사용자의 얼굴 위치를 찾아낸다. 복수의 사용자를 검출한 경우, 얼굴 추적부(110)는 사용자 데이터베이스에 사전에 등록된 얼굴 영상과의 특징점 비교를 통해 특정 사용자의 얼굴 위치를 찾아낼 수 있다. 검출된 사용자의 얼굴 위치에 대한 정보는 시선 추적을 위해 시선 추적부(120)에 제공된다.

정밀한 시선추적을 위해서는 사용자의 눈 주위의 고해상도 영상(이하 적외선 영상(300)이라 함)이 필요하므로, 적외선 카메라(122)는 적외선 카메라 구동부(121)에 의해 선형 또는 회전 이동하여 특정 사용자의 눈을 조준한다. 적외선 카메라(122) 및 적외선 카메라 구동부(121)는 적외선 영상(300)을 촬영할 수 있는 위치에 설치되며, 도 2에서는 시선추적기 본체(100)의 상면에 부착된 것으로 도시되어 있으나, 이에 한정되지 않는다.

일 실시예로, 초기 구동 후 사용자의 얼굴 위치 정보가 제공되거나 이후 사용자가 이동하여 새로운 얼굴 위치 정보가 제공되면, 시선 추적부(120)는 얼굴 추적부(110)가 제공한 얼굴 위치 정보에 따라 적외선 카메라 구동부(121)를 조정하여 적외선 카메라(122)가 특정 사용자의 얼굴을 향하게 한다. 이를 통해 사용자의 시선을 연속적으로 추적할 수 있다.

다른 실시예로, 적외선 카메라 구동부(121)는 얼굴 추적부(110)에 의해 직접 제어될 수도 있다. 즉, 얼굴 추적부(110)는 얼굴 위치 정보를 연속적으로 추적하며, 얼굴 위치 정보가 변경될 때마다 적외선 카메라 구동부(121)를 제어하여 적외선 카메라(122)가 특정 사용자의 얼굴을 향하게 할 수도 있다.

조명 제어부(130)는 기준점 조명(131)의 턴 온/오프를 제어한다. 추가적으로, 조명 제어부(130)는 적외선 배경 조명(132)의 턴 온/오프를 제어할 수 있다. 기준점 조명(131) 및/또는 적외선 배경 조명(132)의 개수가 둘 이상인 경우, 조명 제어부(130)는 복수의 기준점 조명(131) 각각 및/또는 복수의 적외선 배경 조명(132) 각각의 턴 온/오프를 제어할 수 있다. 한편, 조명 제어부(130)는 기준점 조명(131) 및/또는 적외선 배경 조명(132)에 공급되는 전력을 제어하여 조사되는 적외선의 세기를 조절할 수도 있다.

기준점 조명(131)은 적외선 카메라(122)가 검출할 수 있는 각막반사광(310)을 생성한다. 이를 위해서, 기준점 조명(131)과 적외선 카메라(122)와의 위치 관계는 고정되어야 한다. 예를 들어, 기준점 조명(131)은 시선추적기 본체(100)에 고정되거나 디스플레이(200)의 모서리 등에 부착될 수 있다. 한편, 도 3에 도시된 적외선 영상(300)에서 식별 가능한 각막반사광(310)을 생성하는데 필요한 대부분의 광량은 적외선 배경 조명(132)에 의해 확보되므로, 기준점 조명(131)은 전력과 발열을 고려하여 적외선 배경 조명(132)에 비해 상대적으로 낮은 광량을 가질 수 있다. 기준점 조명(131)은 시선추적을 하는 동안 적외선 영상(300)에서 식별 가능한 크기의 점 형태의 각막반사광(310)을 만들 수 있도록 사용자의 눈에 적외선을 직접 조사한다. 동공은 사용자에게 조사되는 적외선 배경 조명(132)의 광량과 거의 관계없이 매우 낮은 밝기를 가지므로 기준점 조명(131)은 낮은 출력으로도 사용자의 동공 위 각막에 식별가능한 각막반사광을 생성할 수 있다.

하나 이상의 적외선 배경 조명(132)은 사용자에 인접하게 위치하여 사용자의 얼굴 부근에 적외선을 조사한다. 적외선 배경 조명(132)은 적외선 카메라(122)에서 잡음의 영향 없이 동공과 홍채, 홍채와 공막 사이의 경계가 선명한 영상을 얻기 위한 충분한 광량을 조사할 수 있다. 여기서, 적외선 배경 조명(132)의 반사광이 사용자의 동공에 발생하는 경우 검은 원 형태로 표시되는 동공의 일부분을 밝게 만들어 동공 윤곽선 검출과 중심 위치 판별을 어렵게 할 수 있으며, 기준 반사광과 겹쳐지는 경우에는 시선위치의 기준점을 찾기 어려워지지는 문제가 발생할 수 있다. 동공 부분은 피부나 눈의 다른 부분과 달리 표면에서의 정반사 이외에 빛을 거의 반사하지 않는다. 따라서, 적외선 배경 조명(132)은 적외선이 조사되는 적외선 배경 조명(132)의 전면에 빛의 방향을 다양하게 퍼뜨리는 디퓨저(133)를 더 포함할 수 있다. 디퓨저(133)는 사용자의 눈으로 직사되는 적외선의 양을 줄임으로써 적외선 배경 조명(132)에 의한 반사광의 발생을 억제할 수 있다. 또한 조사 범위를 넓히고 반사광의 형태를 점으로 표시하는 기준 반사광과 구분할 수 있는 형태로 만들기 위해서, 적외선 배경 조명(132)은 적외선이 가로로 길게 조사되도록 배치된 발광소자와 반사판을 포함할 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

시선추적기 본체;
사용자의 얼굴을 추적하기 위한 영상을 생성하는 광각 카메라;
상기 시선추적기 본체로부터 이격되어 상기 사용자에 인접하게 위치하며, 상기 사용자의 얼굴을 향해 적외선을 조사하는 적외선 배경 조명;
상기 적외선 배경 조명에 비해 상대적으로 작은 세기의 적외선을 상기 사용자의 얼굴을 향해 조사하는 기준점 조명;
상기 사용자의 얼굴을 적외선 촬영하여 각막 반사광을 포함하는 적외선 영상을 생성하는 적외선 카메라; 및
추적된 사용자의 얼굴을 향하도록 상기 적외선 카메라의 방향을 조절하는 적외선 카메라 구동부를 포함하는 원거리 시선추적 시스템.