KR20200089204A - 인지 장애인을 위한 시선 추적 장치 및 방법 - Google Patents

Abstract

본 발명은 본체; 본체에 배치된 카메라; 카메라 렌즈의 중심에서 제1 반경 내에 위치하고, 둘레방향을 따라 소정 간격으로 이격 배열된 복수 개의 제1 LED를 포함하는 제1 조명부; 제1 조명부 바깥에 위치하고, 둘레방향을 따라 소정 간격으로 이격 배열된 복수 개의 제2 LED를 포함하는 제2 조명부; 및 제1 조명부에 의해 촬영된 제1 영상 및 제2 조명부에 의해 촬영된 제2 영상의 차영상에 기초하여, 환자의 시선 방향을 검출하도록 마련된 제어부; 를 포함하는 시선 추적 장치를 제공하고자 한다.

Description

인지 장애인을 위한 시선 추적 장치 및 방법{Eye tracking system for mild cognitive impairment}

본 발명은 손을 이용한 조작이 원활하지 않은 인지 장애인을 위한 시선 추적 장치 및 방법에 관한 것이다.

종래의 인지 재활 치료 방식으로 전통적인 치료법과 전산화 인지 재활 등 방법이 사용되어 왔다. 특히 전산화 인지 재활 치료의 경우, 컴퓨터 게임과 같은 형태로 사용자가 쉽고 흥미롭게 주어진 과제를 수행할 수 있으며 환자의 일상 생활에서 인지 기능 장애로 인한 불편을 해소하는데 도움을 줄 수 있다는 점에서 근래에 빈번하게 이용되고 있다.

그러나, 종래의 전산화 인지 재활의 경우 옆에서 환자를 보조하기 위해서 의사 또는 간호사들이 제대로 훈련을 받고 있는 지 유무를 구두로 물어보기 때문에 환자가 재활 치료를 잘 수행하고 있는지 판단하기 어렵다는 문제가 있으며, 손을 이용한 조작이 원활하지 않은 인지 장애인에 있어서 시선 위치를 파악하여 훈련을 제대로 받는지 판단하기 어렵다는 문제가 있다.

본 발명은 상술한 문제점을 해결하고자 안출된 것으로, 인지 장애인들이 인지 재활 치료를 위한 인지 기능 검사 및 훈련을 실시할 때, 손으로 조작이 어려운 경우 본 발명의 시선 추적 장치를 통해 시선을 이동하는 것 만으로 인지 기능 검사와 훈련을 수행할 수 있도록 함으로써, 장애인들의 불편함을 해결할 수 있는 시선 추적 장치 및 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 본체; 본체에 배치된 카메라; 카메라 렌즈의 중심에서 제1 반경 내에 위치하고, 둘레방향을 따라 소정 간격으로 이격 배열된 복수 개의 제1 LED를 포함하는 제1 조명부; 제1 조명부 바깥에 위치하고, 둘레방향을 따라 소정 간격으로 이격 배열된 복수 개의 제2 LED를 포함하는 제2 조명부; 및 제1 조명부에 의해 촬영된 제1 영상 및 제2 조명부에 의해 촬영된 제2 영상의 차영상에 기초하여, 환자의 시선 방향을 검출하도록 마련된 제어부; 를 포함하는 시선 추적 장치를 제공한다.

또한, 제어부는, 제1 영상 및 제2 영상을 각각 획득하도록 마련된 영상 획득부; 제1 영상 및 제2 영상에 대한 차영상을 획득하여 환자의 동공 영역을 검출하도록 영상을 처리하는 영상 처리부; 및 검출된 동공 영역에서 동공의 중심을 기준으로 장축 및 단축을 검출하여 동공의 움직임에 따라 장축 및 단축의 길이 변화와 변화된 기울기 값을 연산하여 시선 방향을 추적하는 시선 방향 검출부; 를 포함한다.

또한, 제1 조명부에 의해 촬영된 제1 영상은 환자의 동공 및 얼굴 영역을 포함하고, 제2 조명부에 의해 촬영된 제2 영상은 환자의 얼굴 및 환경 영역을 포함하며, 제어부는, 제1 영상과 제2 영상의 차영상 획득 시, 제1 영상의 얼굴 영역 및 제2 영상의 얼굴 및 환경 영역의 밝기 값의 차가 소정 값 이하가 되도록 제1 및 제2 LED 출력량을 각각 조절하는 것을 포함한다.

또한, 영상 처리부는, 제1 영상 또는 제2 영상 중 적어도 하나의 영상에서 환자의 얼굴을 인식하기 위해 동공을 포함하는 얼굴 영역에 대한 소정의 좌표영역을 특정하는 얼굴영역 획득부; 얼굴 영역 획득부에 의해 얼굴 영역이 획득된 상태에서, 제1 영상 및 제2 영상의 차영상을 획득하는 차영상 획득부; 획득한 차영상에서 얼굴 영역에 대한 소정의 좌표영역을 기준으로, 좌표영역의 바깥 영역을 제외 하기 위한 얼굴 영역 처리부; 및 처리된 얼굴 영역에서 동공 영역을 검출하기 위해 동공 반사광 이외의 영상을 노이즈 설정하여 노이즈를 제거하는 노이즈 처리부; 를 포함한다.

또한, 얼굴 영역 처리부는, 차영상에서 얼굴 영역의 바깥 영역을 삭제하거나, 또는 차영상에서 얼굴 영역의 내부 영역만 바깥 영역으로부터 분리하도록 마련되는 것을 포함한다.

또한, 영상 획득부는, 제1 영상 및 제2 영상을 교번하여 각각 복수 개 획득할 때, 영상 처리부는, 이전 위치에서 획득한 제1 차영상과 이동된 현재 위치에서 획득한 제2 차영상을 각각 획득하며, 시선 방향 검출부는, 제1 차영상의 동공 모양의 장축 및 단축의 길이를 기준으로, 제2 차영상의 동공 모양의 장축 및 단축의 변화된 길이 값을 각각 연산하여 시선 위치를 추적하는 것을 포함한다.

또한, 시선 방향 검출부는, 제1 차영상의 동공 모양의 장축 및 단축을 기준으로, 제2 차영상의 동공 모양의 장축 및 단축의 변화된 기울기 값을 각각 연산하여 시선 위치를 추적하는 것을 포함한다.

이에 더하여, 본 발명의 다른 측면에 따르면, 환자의 인지 기능 검사 및 훈련을 위한 어플리케이션 또는 프로그램이 설치되고, 어플리케이션 또는 프로그램을 표시하는 디스플레이를 갖는 단말기; 및 전술한 시선 추적 장치가 장착되고, 단말기를 거치하도록 마련된 거치대; 를 포함하며, 단말기와 시선 추적 장치는, 무선통신장치를 통해 통신 가능하게 연결되고, 디스플레이에서 어플리케이션 또는 프로그램이 실행될 때, 시선 추적 장치에 의해 환자의 시선 방향을 추적하여 인지 기능 검사 및 훈련을 수행하는, 인지 장애인을 위한 인지 기능 검사 및 훈련 장치를 제공한다.

또한, 상기 시선 추적 장치는, 환자가 디스플레이를 응시하여 시선 방향 추적을 통해 디스플레이의 어플리케이션 또는 프로그램을 실행하거나, 실행된 어플리케이션 또는 프로그램의 동작을 제어하도록 마련될 수 있다.

이에 더하여, 본 발명의 또 다른 측면에 따르면, 전술한 시선 추적 장치의 시선 추적 방법에 있어서, 카메라가 제1 조명부에 의해 제1 영상을 촬영하는 단계; 제2 조명부에 의해 제2 영상을 촬영하는 단계; 및 제어부가 제1 조명부에 의해 촬영된 제1 영상 및 제2 조명부에 의해 촬영된 제2 영상의 차영상에 기초하여, 환자의 시선 방향을 검출하는 단계; 를 포함하는, 시선 추적 방법을 제공한다.

본 발명에 따르면, 손 조작이 불편한 환자의 인지 기능 검사 및 훈련을 실시 할 때, 환자의 시선 이동 만으로도 검사 및 훈련이 제대로 이루어지고 있는지 실시간으로 확인할 수 있으며, 이에 따라 검사 및 훈련을 보다 효과적으로 할 수 있다.

또한, 인지기능 훈련 및 평가와 참여도, 흥미도 평가가 가능하여 효과적인 관리를 할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 장치를 나타낸 개략도이다.
도 2는 도 1의 제1 LED의 각도 조정을 설명하기 위해 나타낸 도면이다.
도 3은 카메라에 의해 환자의 얼굴 영역을 인식하는 과정을 설명하기 위해 나타낸 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 차영상을 설명하기 위해 나타낸 사진이다.
도 6은 본 발명의 일 실시예의 시선 방향 추적에 따른 동공 모양의 변화 및 그에 따른 장축 및 단축의 변화를 예시로 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 시선 추적 장치가 장착된 거치대의 사시도 이다.
도 8은 도 7에 단말기가 장착된 상태를 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세히 설명하도록 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

또한, 도면 부호에 관계없이 동일하거나 대응되는 구성요소는 동일 또는 유사한 참조번호를 부여하고 이에 대한 중복 설명은 생략하기로 하며, 설명의 편의를 위하여 도시된 각 구성 부재의 크기 및 형상은 과장되거나 축소될 수 있다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이에 더하여, 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "…부"등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있으며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 시선 추적 장치(10) 및 방법과 인지 장애인을 위한 인지 기능 검사 및 훈련 장치(20)를 설명한다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 장치를 나타낸 개략도, 도 2는 도 1의 제1 LED의 각도 조정을 설명하기 위해 나타낸 도면, 도 3은 카메라에 의해 환자의 얼굴 영역을 인식하는 과정을 설명하기 위해 나타낸 도면, 도 4 및 도 5는 본 발명의 일 실시예에 따른 차영상을 설명하기 위해 나타낸 사진, 도 6은 본 발명의 일 실시예의 시선 방향 추적에 따른 동공 모양의 변화 및 그에 따른 장축 및 단축의 변화를 예시로 나타낸 도면이다.

먼저, 본 발명은, 환자가 앉아서 정면의 화면 또는 모니터를 보면서 재활 치료 프로그램을 통한 훈련을 받기 위해서, 조명기기 등을 통해 양 눈이 포함된 환자의 안면(얼굴) 영상을 획득하여 시선을 추적할 때, 동공 반사광을 보다 뚜렷이 획득하기 위하여 동공 반사광 이외의 부분을 노이즈 처리 함으로써 시선 추적이 보다 효과적인 시선 추적 장치(10)를 제공한다.

도 1 내지 도 6을 참조하면, 상기 시선 추적 장치(10)는, 본체(100), 본체에 배치된 카메라(110), 제1 조명부(200), 제2 조명부(300) 및 제어부(400)를 포함한다.

상기 본체(100)는, 카메라(110)와 제1 및 제2 조명부(200,300)가 각각 장착되도록 마련될 수 있으며, 일 예로, 카메라 보드 일 수 있다.

상기 제어부(400)는 획득된 영상을 처리하는 컴퓨터일 수 있다.

상기 카메라(110)는 렌즈(111)를 포함하며, 카메라 렌즈(111)를 통해 복수의 영상을 촬영하도록 마련될 수 있다.

구체적으로, 상기 카메라(110)는, 환자의 양 눈을 포함하는 얼굴 영상을 촬영하기 위해 마련될 수 있다.

또한, 상기 카메라는 일 예로, CCD 카메라 또는 CMOS 카메라일 수 있으나 이에 한정되는 것은 아니다.

이에 더하여, 상기 제1 조명부는, 카메라 렌즈(111)의 중심에서 제1 반경(D1)내에 위치하고, 카메라 렌즈(111)의 둘레방향을 따라 소정 간격으로 이격 배열된 복수 개의 제1 LED(200)를 포함한다.

상기 제1 LED(200)는 렌즈(111)의 중심에서 둘레(원주)방향으로 서로 등각을 이루도록 배치될 수 있다.

일 예로, 제1 LED(200)는, 4개가 배치될 수 있으며, 렌즈(111)를 중심으로 서로 90도의 각도를 이루도록 배치될 수 있으나, 이에 한정되는 것은 아니다.

특히, 상기 제1 LED(200)는 적어도 2개 이상이 배치될 수 있으며, 보다 바람직하게 적어도 4개 이상이 배치될 수 있다.

상기와 같이, 제1 LED(200)를 렌즈(111)의 중심에서 둘레 방향으로 서로 등각을 이루도록 적어도 4개 이상을 배치함으로써, 제1 LED가 카메라의 중심을 향해 발광할 때 환자의 얼굴이 카메라의 중심에서 상하 좌우 어떤 위치에 있더라도 환자의 동공 영역의 반사광을 획득할 수 있게 되어, 차영상을 통해 환자의 동공 영역 검출을 보다 효과적으로 할 수 있다.

또한, 상기 제1 LED(200)는 환자의 얼굴 및 동공 내부에서 빛이 반사되도록 LED 광을 조사할 수 있다. 즉, 환자의 동공 및 얼굴 영역의 영상을 획득하도록 마련될 수 있다.

특히, 상기 제1 LED(200)는 환자의 동공 내부에서 빛이 반사되도록 즉, 환자의 동공 반사를 위해 마련될 수 있다.

여기서, 상기 제1 LED(200) 광의 주요 목적은 환자의 동공반사를 획득하는 것으로서 상기 제1 LED(200)가 렌즈의 중심축과 평행하게 조사되도록 카메라 렌즈의 외각부에 최대한 밀착되게 마련될 수 있고, 렌즈의 중심에서 대략 1mm 내지 10mm 이내에 위치하도록 배치될 수 있다.

즉, 상기 제1 반경(D1)은 1mm 내지 10mm 일 수 있으며, 제1 반경(D1)이 10mm 이상이 되는 경우, 제1 LED 광이 환자의 얼굴에 조사될 때, 동공 내부에서 빛이 반사되는 것이 약해져, 후술할 차영상에서 동공 영역을 추출할 때 선명하게 추출되지 않을 수 있다.

특히, 상기 카메라 렌즈의 직경이 15mm 이상이 되는 경우, 제1 LED의 각도조절이 필요하게 된다. 예를 들어, 상기 제1 LED는 렌즈의 중심을 향하여 소정각도 기울어져 배치될 수 있다.

구체적으로, 도 2를 참조하면, 상기 제1 LED는, 카메라 렌즈(111)에 인접하게 배치되어 카메라 렌즈(111)의 중심에서 환자를 향하는 초점 방향(f)과 대략 동일한 중앙점(p)으로 광이 조사될 수 있다.

즉, 카메라 렌즈(111)가 렌즈의 중심에서 환자(800)의 양 눈을 포함하는 얼굴 영역을 중앙점(p)으로 맞추면, 제1 LED(200)는 중앙점(p)을 향하여 광을 조사하도록 카메라 렌즈(111)에 인접하게 배치될 수 있다.

이 때, 상기 카메라 렌즈(111)의 직경이 15mm 이상이 되는 경우, 각각의 제1 LED(200)는 렌즈(111)의 중심으로부터 거리가 멀어지게 되므로 중앙점(p)에 광을 조사하기 위해서는 제1 LED(200)의 각도 조절이 필요하게 되며, 렌즈의 중심을 향하여 소정 각도 기울어져 배치될 수 있다. 즉, 상기 제1 LED(200)는 중앙점(p)을 향하여 광을 조사하도록 배치될 수 있다.

상기와 같이, 제1 LED(200)를 환자의 얼굴 영상이 촬영되는 렌즈의 중심에 가깝게 즉, 밀접하게 배치함으로써, 제1 LED 광이 환자의 얼굴에 조사될 때, 보다 효과적으로 동공 내부에서 빛이 반사될 수 있게 된다.

상기 제1 LED(200)는, 환자의 동공 반사가 보다 효과적으로 발생될 수 있도록, 광의 직진성이 강한 즉, 광이 넓게 퍼지지 않고 작은 각도로만 광이 분출되는 LED 를 선택하여 이용할 수 있다.

이에 더하여, 상기 제2 조명부는, 제1 조명부 바깥에 위치하고, 둘레 방향을 따라 소정 간격으로 이격 배열된 복수 개의 제2 LED를 포함한다.

즉, 제2 조명부는, 카메라 렌즈(111)의 중심에서 제1 반경 바깥(D2)에 위치하고, 둘레방향을 따라 소정 간격으로 이격 배열된 복수 개의 제2 LED를 포함한다.

상기 제2 LED(300)는, 환자의 얼굴에서 동공 반사를 제외한 모든 영역에 빛을 조사하여 빛이 반사되도록 LED 광을 조사할 수 있다. 즉, 환자의 얼굴 및 얼굴 바깥의 환경 영역을 획득하도록 마련될 수 있다.

특히, 상기 제2 LED(300)는, 실질적으로 동공 반사가 발생하지 않는 거리를 기준으로 배치될 수 있다.

이러한 제2 LED(300)의 배치는, 렌즈의 직경 또는 초점 거리 등의 특징에 따라 위치가 변경될 수 있으며, 사용하는 LED의 특성(종류)에 따라 광이 퍼지는 각이 다르고, 광이 퍼지는 각에 따라 광도(Intensity)도 달라지기 때문에 그에 적절하게 위치(거리)를 조절하여 배치할 수 있다.

여기서, 상기 제2 LED(300)는 제1 LED(200)와 소정 간격 떨어져 배열될 수 있다.

예를 들어, 제2 LED(300)는 제1 LED(200)의 사이 간격은 30mm 내지 40mm 이상 일 수 있으며, 즉, 제2 LED(300)는 렌즈(111)의 중심에서 대략 30mm 내지 50mm 또는 40mm 떨어진 위치에 소정 간격으로 이격되어 배치될 수 있다.

전술한 바와 같이, 제2 LED(300)는 제1 LED(200)와 소정 간격 떨어져 배치 시킴으로써, 제2 LED(300)가 환자의 얼굴에 조사될 때, 환자의 동공 영역을 제외한 나머지 영역에서만 빛 반사가 발생하도록 함으로써, 후술할 차영상에서 동공 영역을 추출할 때, 보다 뚜렷한 동공 영역을 추출할 수 있게 된다.

다시 말하면, 제2 LED(300)를 카메라 렌즈의 중심에서 제1 LED(200) 보다 멀리 떨어지게 배치함으로써, 제2 LED 광이 동공 내부에서 빛 반사가 발생하지 않도록 할 수 있게 된다.

예를 들어, 상기 제2 LED(300)가 제1 LED(200)와 인접하게 배치되는 경우, 환자의 얼굴 영역에서 동공 반사가 발생하게 되어 차영상 획득 시 동공 반사가 지워져 환자의 동공 영역을 추출하기 어려울 수 있다. 여기서, 상기 제2 LED(300)는 렌즈와 환자 사이의 거리, 즉 목표 촬영 거리에 따라 제2 LED 위치를 카메라 렌즈로부터 멀리 배치시킬 수 있다.

즉, 카메라 렌즈(100)와 환자 사이의 거리가 멀어 질수록 카메라 렌즈의 중심에서 제2 LED(300)의 거리도 멀어 지도록 배치시킬 수 있다.

상기 렌즈와 환자와의 사이가 멀어질수록 더 넓은 범위의 환경을 획득해야 하므로, 제2 LED는 렌즈로부터 더 멀어지게 배치시킬 수 있으며, 이에 따라 제2 LED의 개수를 증가시키거나 또는 광의 세기가 강한 LED를 사용할 수 있다.

이에 더하여, 본 발명의 시선 추적 장치(10)는, 환자의 동공의 움직임을 따라 시선을 추적할 때, 제1 LED(200)와 제2 LED(300)가 교번하여 환자의 얼굴을 향해 광을 조사하고 이 때, 카메라는 실시간으로 환자의 얼굴 영상을 촬영하여 각각 복수 개의 제1 영상 및 제2 영상을 획득한다.

즉, 제1 LED(200) 광이 조사될 때 촬영된 영상인 제1 영상과 제2 LED(300) 광이 조사될 때 촬영된 영상인 제2 영상을 각각 복수 개 획득할 수 있다.

상기와 같이 획득한 제1 및 제2 영상의 차영상은 환자의 동공 영역을 검출하는데 사용된다.

이에 더하여, 본 발명의 제어부(400)는, 제1 조명부에 의해 촬영된 제1 영상 및 제2 조명부에 의해 촬영된 제2 영상의 차영상에 기초하여, 환자의 시선 방향을 검출하도록 마련될 수 있다.

상기 제어부는, 제1 영상 및 제2 영상을 각각 획득하도록 마련된 영상 획득부, 제1 영상 및 제2 영상에 대한 차영상을 획득하여 환자의 동공 영역을 검출하도록 영상을 처리하는 영상처리부 및 검출된 동공 영역에서 동공의 중심을 기준으로 장축 및 단축을 검출하여 동공의 움직임에 따라 장축 및 단축의 길이 변화와 변화된 기울기 값을 연산하여 시선 방향을 추적하는 시선 방향 검출부를 포함한다.

구체적으로, 상기 제어부(400)는 제1 조명부에 의해 촬영된 제1 영상의 밝기 값과 제2 조명부에 의해 촬영된 제2 영상의 밝기 값이 서로 같은 밝기 값을 갖도록 제1 및 제2 LED의 출력량을 각각 조절 할 수 있다.

여기서, 상기 조절된 출력량은 미리 설정된 값을 이용할 수 있으며, 적외선 영상은 주변환경에 큰 영향을 받지 않기 때문에 미리 테스트를 통해 설정될 수 있다.

상기 제1 조명부에 의해 촬영된 제1 영상은 환자의 동공 및 얼굴 영역을 포함하고, 제2 조명부에 의해 촬영된 제2 영상은 환자의 얼굴 및 환경 영역을 포함한다.

여기서, 상기 제어부(400)는 제1 영상과 제2 영상의 차영상 획득 시, 제1 영상의 얼굴 영역 및 제2 영상의 얼굴 및 환경 영역의 밝기 값의 차가 소정 값 이하가 되도록 제1 및 제2 LED의 출력량을 각각 조절하도록 마련될 수 있다.

또한, 상기 소정 값 이하는, 제1 영상의 얼굴 영역 및 제2 영상의 얼굴 및 환경 영역의 밝기 값이 서로 동일한 값을 의미할 수 있으며, 각각의 밝기 값이 서로 동일하여 상쇄되는 값을 의미할 수 있다.

따라서, 각각의 영상에서 얼굴 영역과 얼굴 및 환경 영역의 밝기 값이 동일하도록 출력을 제어함으로써, 차영상에서 밝기 값이 동일한 부분은 서로 상쇄됨에 따라 차영상 획득 시 동공 반사 이외의 영상 발생을 최소화 할 수 있다.

예를 들어, 상기 제1 및 제2 LED(200,300)가 서로 다른 광량으로 빛을 조사하도록 제1 및 제2 LED의 출력을 각각 조절할 수도 있고, 제1 및 제2 LED(200,300)가 동일한 광량으로 빛을 조사하도록 출력을 각각 조절할 수 있다.

상기 각각의 제1 영상 및 제2 영상의 밝기 값 조절은, 제어부에서 제1 및 제2 LED의 전압 출력 제어를 통해 행해질 수 있으며, 수동 또는 자동으로 전압 출력을 제어하여, 제1 영상과 제2 영상의 밝기 값이 서로 같도록 출력을 상이하게 조절할 수 있다.

즉, 상기 제1 및 제2 LED는 서로 같거나 또는 서로 다른 전압 출력을 갖도록 제어함으로써, 차영상 획득 시 동공 반사 이외의 영상 발생을 최소화 할 수 있다.

상기와 같이, 제1 영상의 얼굴 영역과 제2 영상의 얼굴 영역 및 환경 영역이 서로 같은 밝기 값을 갖도록 함으로써, 차영상을 획득할 때, 동공 영역을 뺀 나머지 영역이 나타나지 않도록 할 수 있다. 즉, 동공 영역만 뚜렷이 나타나도록 할 수 있게 된다.

이에 더하여, 상기 제어부(400)는, 제1 영상 및 제2 영상을 각각 획득하도록 마련된 영상 획득부를 포함한다.

구체적으로, 상기 영상 획득부는, 환자의 움직임에 의해 환자의 얼굴 위치 및/또는 동공 위치가 이동될 때, 실시간으로 영상을 촬영하여 환자의 이전 위치에서 촬영된 적어도 하나의 제1 및 제2 영상과 이동된 현재 위치에서 촬영된 적어도 하나의 제1 영상 또는 제2 영상 또는 제1 및 제2 영상을 각각 포함한다.

여기서, 상기 이전 위치는, 이전 얼굴 위치 또는 이전 동공 위치 또는 이전 얼굴 및 동공 위치를 포함할 수 있고, 상기 현재 위치는, 이전에서 이동된 현재 얼굴 위치 또는 현재 동공위치 또는 현재 얼굴 및 동공 위치를 포함할 수 있다.

즉, 상기 영상 획득부는, 카메라에 의해 실시간으로 환자의 얼굴 위치 또는 동공 위치 또는 얼굴 및 동공 위치가 촬영됨에 따라 일 예로, 현재 위치 직전인 이전 위치에서 촬영된 제1 및 제2 영상(이하 각각 1 영상, 2 영상이라 지칭함)을 포함한다.

상기 제1 영상(1 영상)은, 환자의 얼굴에 제1 LED가 조사된 상태에서 촬영된 영상이고, 제2 영상(2 영상)은, 환자의 얼굴에 제2 LED가 조사된 상태에서 촬영된 영상이다.

여기서, 제1 영상 및 제2 영상의 획득은 순서에 무관하며, 제1 영상을 획득 후에 제2 영상을 획득할 수도 있고, 제2 영상을 획득 후에 제1 영상을 획득할 수 있다. 즉, 순서에 관계없이 제1 및 제2 영상을 각각 회득하여, 이에 대한 차영상을 획득할 수 있다.

또한, 상기 영상 획득부는, 이전 위치에서 이동하여 현재 위치에서 촬영된 제1 영상 또는 제2 영상 또는 제1 영상 및 제2 영상(이하 각각 3영상, 4영상이라 지칭함)을 포함한다.

상기 제1영상(3영상)은, 환자의 얼굴에 제1 LED가 조사된 상태에서 촬영된 영상이고, 제2 영상(4영상)은, 환자의 얼굴에 제2 LED가 조사된 상태에서 촬영된 영상이다.

상기 영상 획득부는, 전술한 바와 같이 복수 개의 제1 및 제2 영상을 각각 획득할 수 있다.

이에 더하여, 상기 제어부는, 실시간으로 획득된 각각의 제1 영상 및 제2 영상(1 내지 4영상)에 대한 차영상을 각각 획득하여 환자의 동공 영역을 검출하도록 영상을 처리하는 영상 처리부를 포함한다.

구체적으로, 상기 영상 처리부는, 획득한 제1 영상 또는 제2 영상 중 적어도 하나의 영상에서 환자의 얼굴을 인식하기 위해 동공을 포함하는 얼굴 영역에 대한 소정의 좌표 영역을 특정하는 얼굴 영역 획득부를 포함한다.

구체적으로, 도 3을 참조하면, 환자(800)를 포함하여 환자의 사용을 돕기 위한 보조자(801) 예를 들어, 의사 또는 간호사 등 여러 명이 카메라 렌즈(111) 앞에 있다고 가정하면, 환자(800)는 카메라 중앙에 위치한다.

이러한 상태에서, 보조자(801)는 환자(800)의 위 또는 오른쪽 또는 왼쪽에 위치한다.

상기와 같이, 환자(800) 혼자 카메라 앞에 있는 경우, 환자(800)만 영상에 나타날 수 있지만, 일부 도움이 필요한 상황에서는 환자(800) 외에 보조자(801)가 환자와 함께 각각의 영상에 나타날 수 있다.

이러한 경우, 환자(800)와 보조자(801)를 구분하기 위해, 얼굴 영역 획득 시, 얼굴 영역이 가장 큰 영역으로 인식되는 사람을 환자(800)로 선정하여 얼굴 영역을 획득할 수 있다.

상기 카메라 렌즈(111)는, 완만한 곡면으로 이루어져 있으며 카메라 렌즈의 초점 거리(fp) 또한 이에 따라 완만한 곡면의 형태로 이루어진다.

상기 렌즈로부터 중앙점(p)까지의 거리를 제1 초점거리(f1)라고 할 때, 환자(800)는 제1 초점 거리(f1)의 끝에 위치하게 된다. 반면, 상기 환자(800)의 주변에 위치하는 보조자(801)는 제1 초점 거리(f1) 보다 먼 제2 초점 거리(f2)만큼 멀게 위치함으로써, 카메라 렌즈(111) 및 초점 거리로 인한 왜곡이 발생하여 상대적으로 작은 영역으로 인식하게 된다. 여기서, 상기와 같은 과정은 환자와 보조자의 얼굴 크기가 동일하다는 가정하에 이루어질 수 있다.전술한 바와 같이, 카메라 렌즈 앞에 다수의 사람이 위치하여 영상에 나타났을 때, 제2 초점 거리보다 가까운 제1 초점 거리에 있는 사람의 얼굴 영역을 인식하여 이를 환자의 얼굴 영역으로 인식할 수 있다.

특히, 차영상을 획득 하기 전, 제1 영상과 제2 영상은 얼굴 및 환경 영역을 모두 포함하여 획득하게 되는데, 이는 환자의 얼굴이 중앙에 오도록 위치하는 게 가장 좋으나, 장애를 갖고 있는 환자들은 이를 유지하기 어려울 수가 있으므로 즉, 환자의 위치가 항상 중앙에 위치하는 것이 아닐 수 있기 때문에 환자의 얼굴 및 환경 영역을 포함하도록 촬영하여 각각의 영상을 획득할 수 있다.

이에 더하여, 상기 영상 처리부는, 전술한 바와 같이 얼굴 영역 획득부에 의해 얼굴 영역이 획득된 상태에서, 제1 영상 및 제2 영상의 차영상을 획득하는 차영상 획득부를 포함한다.

구체적으로, 상기 차영상은, 제1 영상 및 제2 영상을 차례로 교번하여 획득하는 경우, 이전 위치에서 촬영된 제1 및 제2 영상(1 및 2영상)의 차영상인 제1 차영상과, 이동된 현재 위치에서 촬영된 제1 및 제2 영상(3 및 4영상)의 차영상인 제2 차영상 또는 이전 얼굴 위치에서 촬영된 제2 영상(2영상)과 이동된 현재 위치에서 촬영된 제1 영상(3영상)의 차영상인 제3 차영상을 각각 획득할 수 있다.

즉, 제1 차영상의 동공 모양의 장축 및 단축을 기준으로, 제2 차영상의 동공 모양의 장축 및 단축의 변화된 기울기 값을 각각 연산하여 시선 위치를 추적하거나, 제1 차영상의 동공 모양의 장축 및 단축을 기준으로, 제3 차영상의 동공 모양의 장축 및 단축의 변화된 기울기 값을 각각 연산하여 시선 위치를 추적할 수 있다.

이와 반대로, 상기 차영상은, 제2 영상 및 제1 영상이 차례로 교번하여 획득하는 경우, 이전 위치에서 촬영된 제2 및 제1 영상(2 및 1영상)의 차영상인 제1 차영상과, 이동된 현재 위치에서 촬영된 제2 및 제1 영상(4 및 3영상)의 차영상인 제2 차영상 또는 이전 위치에서 촬영된 제1 영상(1영상)과 이동된 현재 위치에서 촬영된 제2 영상(4영상)의 차영상인 제3 차영상을 각각 획득할 수 있다.

즉, 제1 차영상과의 동공 모양의 장축 및 단축을 기준으로, 제2 차영상의 동공 모양의 장축 및 단축의 변화된 기울기 값을 각각 연산하여 시선 위치를 추적하거나, 제1 차영상의 동공 모양의 장축 및 단축을 기준으로, 제3 차영상의 동공 모양의 장축 및 단축의 변화된 기울기 값을 각각 연산하여 시선 위치를 추적할 수 있다.

상기 각각의 차영상의 획득은, 그레이스케일(Grayscale) 영상처리 방법을 이용하여, 제1 영상 또는 제2 영상 중 어느 하나의 영상을 기준으로 하여, 차 연산을 통해 차영상을 획득할 수 있다.

다시 말해, 기준이 되는 제1 영상 또는 제2 영상 중 어느 하나의 영상을 배경 영상으로 사용하고, 제1 영상 또는 제2 영상 중 나머지 하나의 영상을 입력 영상으로 사용하여 예를 들어, 제2 영상에서 제1 영상을 뺀 결과 값을 의미할 수 있다. 여기서, 차영상 획득은 |제1영상-제2영상| 또는 |제2영상-제1영상|(abs: 절대값)으로 이루어질 수 있다.

이에 더하여, 상기 영상 처리부는, 획득한 차영상에서 얼굴 영역에 대한 소정의 좌표영역을 기준으로, 좌표영역의 바깥 영역을 제외하기 위한 얼굴 영역 처리부를 포함한다.

즉, 상기 영상 처리부는, 제1 영상 또는 제2 영상 중 적어도 하나의 영상에서 사용자의 동공을 포함하는 얼굴 영역의 위치를 획득하는 얼굴 인식 과정을 수행할 수 있다.

상기 얼굴 영역 처리부는, 차영상에서 얼굴 영역의 바깥 영역을 삭제하거나, 또는 차영상에서 얼굴 영역의 내부 영역만 바깥 영역으로부터 분리하도록 마련될 수 있다.

구체적으로, 상기 얼굴 영역 처리부는, 차영상에서 얼굴 영역에 대한 소정의 좌표영역을 기준으로, 좌표영역의 바깥 영역을 삭제하거나, 또는 차영상에서 얼굴 영역에 대한 소정의 좌표영역을 기준으로, 좌표영역의 내부 영역만을 바깥 영역으로부터 분리하도록 마련될 수 있다.

보다 구체적으로, 상기 얼굴 영역 처리부의 얼굴 인식 과정(단계)은, 제1 영상 또는 제2 영상 중 적어도 하나의 영상에서 환자의 동공을 포함하는 얼굴 영역에 대한 소정의 좌표영역을 특정할 수 있다.

상기 소정의 좌표 영역은, 4개의 꼭지점으로 이루어지는 사각형 영역으로서, 가상의 선분으로 4개의 꼭지점이 연결된 사각형 내부 영역을 의미할 수 있다.

예를 들어, 상기 얼굴 영역 처리부는, 획득한 영상에서 목표로 하는 동공 반사광이 나타나는 위치 부근의 영역을 4개의 꼭지점으로 이루어진 사각형으로 특정한다.

상기와 같이, 환자의 동공을 포함하는 소정의 얼굴 영역을 특정하여 즉, 상기 동공 반사광이 나타나는 동공 영역의 위치 부분이 포함된 영역을 잘라내어, 그 부분 안에서만 영상 처리를 수행하도록 함으로써, 처리 속도를 향상시킬 수 있다.

예를 들어, 상기와 같이 좌표 영역으로 특정하지 않고 영상 처리를 진행하는 경우, 영상의 크기가 500 X 500 이라면 제어부(컴퓨터)는 250000번 가량 픽셀에 접근을 시도하게 되는 반면, 본 발명과 같이 목표로 하는 동공 반사광이 나타나는 위치 부근의 영역을 4개의 꼭지점으로 이루어진 사각형으로 특정하여 특정된 영역만을 추출하면(잘라내면) 제어부(컴퓨터)의 접근 횟수를 현저히 줄일 수 있게 된다.

즉, 전체 영상의 크기가 500 X 500에서, 상기와 같이 특정된 영상의 크기가 200 X 100인 경우, 제어부(컴퓨터)는 20000 번만 픽셀에 접근을 시도하면 되므로, 처리 속도가 향상되고 이에 따라 처리 시간도 단축할 수 있다.

전술한 바와 같이, 처리 시간을 단축하기 위해, 제어부는 좌표영역의 바깥 영역을 삭제하거나, 좌표영역의 내부 영역만을 분리하여 영상을 처리할 수 있다.

즉, 상기 영상 처리부는, 각각의 차영상에서 얼굴 영역을 제외한 나머지 영역의 영상을 제거하도록 좌표 영역을 기준으로 좌표 영역의 바깥 영역을 삭제하는 외부 영상 제거 과정(단계) 또는 좌표 영역의 내부 영역만을 분리하는 얼굴 영역 분리 과정(단계)를 수행할 수 있다.

예를 들어, 좌표 영역을 제외한 바깥 영역의 영상을 0으로 처리하여 특정된 영역을 제외한 나머지 영역의 영상을 제거하는 삭제 과정을 수행할 수 있다.

상기와 같이, 영상 처리부는, 얼굴 영역 이외의 부분을 제외(삭제 또는 분리)함으로써 영상 처리량이 감소되는 효과가 있다.

한편, 상기 영상 처리부는 각각의 차영상을 획득한 후 환자의 동공 영역의 밝기 값을 부각시키기 위해 각각의 차영상의 대조도 값을 조절함으로써, 얼굴 영역을 제외한 동공 영역만 보다 뚜렷하게 나타나도록 영상을 처리할 수 있다. 상기와 같이 대조도를 조절함으로써, 촬영한 그대로의 영상 즉, 영상의 원본을 이용하여 특징점을 획득할 수 있게 된다.

이에 더하여, 상기 영상 처리부는, 처리된 얼굴 영역에서 동공 영역을 검출하기 위해 동공 반사광 이외의 영상을 노이즈 설정하여 노이즈를 제거하는 노이즈 처리부를 포함한다.

또한, 상기 노이즈 처리부는, 각각의 차영상에서 동공 영역을 검출하기 위해 동공 반사광 이외의 영상을 노이즈 설정하여 노이즈 제거 과정(단계)을 수행할 수 있다.

여기서, 상기 노이즈는 획득한 차영상에서 동공 반사 이외에 얼굴의 일부가 나타난 부분을 의미할 수 있고, 이러한 경우 이 부분을 노이즈로 설정하여 동공 반사광 이외의 영상들을 모두 노이즈 처리 할 수 있다.

이러한 영상 처리는, 일 예로, 문턱값(Threshold) 처리, Median smoothing, Canny edgy, Contours 등의 처리 방법을 통해 수행할 수 있다.

상기와 같이 노이즈 처리 과정을 수행함으로써, 동공 영역이 보다 뚜렷하게 표시된 영상을 획득할 수 있게 된다.

도 4는 본 발명의 일 실시예에 따른 차영상을 설명하기 위해 나타낸 영상(사진)이다.

도 4의 (a)는 제1 LED 광이 환자의 얼굴에 조사되어 촬영된 제1 영상이고, (b)는 제2 LED 광이 환자의 얼굴에 조사되어 촬영된 제2 영상이다.

(c)는 전술한 바와 같이, 제2 영상에서 제1 영상을 차 연산한 차영상이다. 이에 더하여, 도 5는 획득한 차영상에서 노이즈 처리 수행 전 후를 비교한 영상(사진)이다.

도 5 (a)는 노이즈 처리 수행 전 영상이고, 도 5 (b)는 영상 처리 및 노이즈 처리 수행 후 영상이다.

도 5에 나타난 바와 같이, 영상 처리 및 노이즈 처리 후 차영상에서 동공 영역이 뚜렷하게 구분되어 동공 영역만 검출되는 것을 확인할 수 있다.

이에 더하여, 상기 제어부는, 검출된 동공 영역에서 동공의 중심을 기준으로 원의 장축 및 단축을 검출하여 동공의 움직임에 따라 장축 및 단축의 길이 변화와 변화된 기울기 값을 연산하여 시선 방향을 추적하는 시선 방향 검출부를 포함한다.

또한, 상기 시선 방향 검출부는, 제1 차영상의 동공 모양의 장축 및 단축을 기준으로, 제2 차영상의 동공 모양의 장축 및 단축의 변화된 기울기 값을 각각 연산하여 시선 위치를 추적할 수 있다.

구체적으로, 상기 시선 방향 검출부는, 영상 처리부에서 획득된 각각의 차영상으로부터 추출된 동공 영역의 동공 모양과 동공 모양에서 동공을 중심으로 장축 및 단축의 길이 변화와 장축 및 단축의 기울기 값 변화를 연산하여 시선 방향을 추적할 수 있다.

즉, 전술한 바와 같이 동공 영역을 검출 한 후, 동공의 무게중심(동공 중심)을 검출하고, 동공중심을 기준으로 동공의 장, 단축을 검출 후 장, 단축의 지름의 각도를 계산하고 양 누의 각도 비교 후 최종 응시각을 연산할 수 있다.

도 6은 본 발명의 일 실시예의 시선 방향 추적에 따른 동공 모양의 변화 및 그에 따른 장축 및 단축의 변화를 예시로 나타낸 도면이다.

이하에서는 본 발명의 시선 방향 검출부의 시선의 추적에 대해 설명한다.

먼저, 제1 및 제2 조명부의 카메라에 의해 촬영된 제1 및 제2 영상 중 어느 하나의 영상에서 환자의 얼굴 위치를 인식하여 얼굴 영역을 획득한다.

상기의 얼굴 위치 인식(얼굴 영역 획득)은, 카메라 대비 얼굴의 위치 각도를 구하는 것으로, 카메라를 기준으로 환자의 시선의 상대적 각도를 절대 각도로 변환하는 과정일 수 있다.

환자의 시선의 움직임 발생 시, 카메라 가까운 쪽의 눈의 변화폭(동공 영역의 각도 및 길이)이 상대적으로 크게 되므로, 이를 맞추기 위한 가중치로 사용할 수 있도록 수행될 수 있다.

상기와 같이 얼굴 위치 인식 후, 시선 추적은, 전술한 바와 같이 추출된 동공 모양을 기반으로 장축, 단축의 길이와 기울기 각을 구한다. 여기서, 환자가 정면을 응시하는 경우, 동공의 모양은 정원에 가까워 구분이 불가능하게 되어 프로그램상으로 축A와 축B로 구분한 상태에서, 시선이 이동하여 장축과 단축의 구분이 가능하게 되면, 긴 축을 장축으로 사용할 수 있다.

그 다음으로, 상기와 같이 이전에 획득한 각각의 얼굴의 이동, 각 눈의 장단축 길이 변화 및 기울기각 변화 값에 대한 정보(시선 추적 정보)를 기반으로 비교를 통해 시선의 움직임 방향과 이동크기를 최종 획득 한다.

상기와 같이 최종 획득한 각 눈의 시선 추적 정보의 평균치를 획득하고 이전 위치로부터 x축 및 y축으로 이동하는 최종 시선 움직임을 추정 한다.

상기 시선 추적 정보의 평균치를 획득할 때, 가까운 눈에 가중치를 적용하는 것이 수행될 수 있다.

전술한 바와 같이, 본 발명의 시선 추적 장치(10)는, 인지 장애인들이 인지 재활 치료를 위해 인지 기능 검사 및 훈련을 실시할 때, 손으로 조작이 어려운 경우, 시선 추적 기술을 이용하여 장애인들의 불편함을 해결할 수 있으며, 휴대용 단말기 또는 태블릿 PC 등과 연동할 수 있어 사용이 보다 용이할 수 있다.

특히, 본 발명의 응시방향 추적의 시선 추적 알고리즘은, 환자(사용자) 쪽으로 조명되는 모듈에 제어되는 LED 광(제1 및 제2 LED)을 기반으로 카메라에서 영상을 획득하는 단계와 촬영된 영상을 처리하는 단계, 동공 중심을 찾아 응시각을 연산하는 단계로 나뉘어져 정상인 외에도 원하는 곳을 다른 시선으로 바라 보게 되는 장애인들도 원하는 곳을 정확히 볼 수 있어 장애인들이 보다 쉽게 사용할 수 있는 효과가 있다.

한편, 본 발명은 시선 추적 장치(10)를 이용한 인지 장애인을 위한 인지 기능 검사 및 훈련 장치(20)제공한다.

상기 인지 기능 검사 및 훈련 장치(20)는, 환자의 인지 기능 검사 및 훈련을 위한 어플리케이션 또는 프로그램이 설치되고, 어플리케이션 또는 프로그램을 표시하는 디스플레이(601)를 갖는 단말기(600) 및 전술한 시선 추적 장치(10)가 장착되고, 단말기를 거치하도록 마련된 거치대(700) 를 포함한다.

상기 단말기(600)와 시선 추적 장치(10)는, 무선통신장치를 통해 통신 가능하게 연결될 수 있다.

상기 무선통신장치는 예를 들어 블루투스, 와이파이(Wifi), 지그비(ZigBee), RF 통신 일 수 있으나, 이에 한정되는 것은 아니다.

특히, 상기 인지 기능 검사 및 훈련 장치(20)는, 상기 디스플레이(601)에서 어플리케이션 또는 프로그램이 실행될 때, 시선 추적 장치(10)에 의해 환자의 시선 방향을 추적하여 인지 기능 검사 및 훈련을 수행하는 것을 포함한다.

이에 더하여, 상기 인지 기능 검사 및 훈련 장치(20)는, 환자가 디스플레이(601)를 응시하여 시선 방향 추적을 통해 디스플레이의 어플리케이션 또는 프로그램을 실행하거나, 실행된 어플리케이션 또는 프로그램의 동작을 제어할 수 있다.

한편, 본 발명은, 전술한 시선 추적 장치(10)의 시선 추적 방법을 제공한다.

구체적으로, 카메라가 제1 조명부에 의해 제1 영상을 촬영하는 단계와 제2 조명부에 의해 제2 영상을 촬영하는 단계 및 제어부가 제1 조명부에 의해 촬영된 제1 영상 및 제2 조명부에 의해 촬영된 제2 영상의 차영상에 기초하여, 환자의 시선 방향을 검출하는 단계를 포함 포함한다.

여기서 제2 영상을 촬영하는 단계는 제1 영상을 촬영하는 단계 보다 먼저 수행될 수도 있다.

즉, 제1 영상을 촬영하는 단계와 제2 영상을 촬영하는 단계의 순서는 무관하다.

특히, 인지 장애인을 위한 인지 기능 검사 및 훈련 장치(20)에서는 블루투스 연동을 시작하는 단계가 먼저 수행될 수 있다.

즉, 제1 영상 및 제2 영상을 촬영하기 전에 블루투스 연동을 시작하는 단계가 먼저 수행될 수 있다.

구체적으로, 무선통신장치 예를 들어, 블루투스, 와이파이, 지그비, RF 통신 중 선택된 어느 하나의 무선통신장치의 연동이 시작된 후 카메라에 의해 제1 LED 또는 제2 LED 가 조사된 제1 영상 또는 제2 영상 중 어느 하나의 영상이 촬영되고, 나머지 하나의 영상이 촬영된다. 여기서, 카메라는 실시간으로 촬영하고 있으므로, 제1 및 제2 영상을 각각 복수 개 생성할 수 있다.

이 때, 제어부에서는 상기와 같이 촬영된 복수 개의 제1 및 제2 영상의 차영상을 획득하여 환자의 동공 영역을 검출하도록 영상을 처리할 수 있다.

여기서, 환자의 동공 영역을 검출 할 때, 양 눈의 동공 위치를 검출할 수 있다.

따라서, 시선 방향의 검출 단계에서는, 검출된 양 눈의 동공 영역에서 동공의 중심을 기준으로 원의 장축 및 단축을 검출하여 동공의 움직임에 따라 장축 및 단축의 길이 변화와 변화된 기울기 값을 연산하여 시선 방향을 추적할 수 있게 된다.

전술한 디스플레이에 표시되는 영상과 카메라 및 제1 및 제2 LED의 제어는, 예를 들어, 마이크로소프트 비주얼 스튜디오(Microsoft Visual studio 2017) 등의 프로그램을 이용할 수 있다.

이에 더하여, 제어부에서 차영상의 연산에서 노이즈를 제거하기 위해, 스무싱, 엣지 검출, 윤곽선 검출 및 얼굴 검출은 공개소스 컴퓨터 비전(Open Source Computer Vision, OpenCV) 프로그램을 이용할 수 있다.

또한, 인지 기능 검사 및 훈련을 위한 프로그램의 UI는 마이크로소프트 파운데이션 클래스(Microsoft Foundation Class, MFC) 등의 프로그램을 이용하여 구성할 수 있다.

10: 시선 추적 장치
100: 본체
110: 카메라
200: 제1 LED(제1 조명부)
300: 제2 LED(제2 조명부)
400: 제어부
20: 인지 기능 검사 및 훈련 장치

Claims (10)

1. 본체;
   본체에 배치된 카메라;
   카메라 렌즈의 중심에서 제1 반경 내에 위치하고, 둘레방향을 따라 소정 간격으로 이격 배열된 복수 개의 제1 LED를 포함하는 제1 조명부;
   제1 조명부 바깥에 위치하고, 둘레방향을 따라 소정 간격으로 이격 배열된 복수 개의 제2 LED를 포함하는 제2 조명부; 및
   제1 조명부에 의해 촬영된 제1 영상 및 제2 조명부에 의해 촬영된 제2 영상의 차영상에 기초하여, 환자의 시선 방향을 검출하도록 마련된 제어부; 를 포함하는 시선 추적 장치.
2. 제 1항에 있어서,
   제어부는, 제1 영상 및 제2 영상을 각각 획득하도록 마련된 영상 획득부;
   제1 영상 및 제2 영상에 대한 차영상을 획득하여 환자의 동공 영역을 검출하도록 영상을 처리하는 영상 처리부; 및
   검출된 동공 영역에서 동공의 중심을 기준으로 장축 및 단축을 검출하여 동공의 움직임에 따라 장축 및 단축의 길이 변화와 변화된 기울기 값을 연산하여 시선 방향을 추적하는 시선 방향 검출부; 를 포함하는 시선 추적 장치.
3. 제 1항에 있어서,
   제1 조명부에 의해 촬영된 제1 영상은 환자의 동공 및 얼굴 영역을 포함하고, 제2 조명부에 의해 촬영된 제2 영상은 환자의 얼굴 및 환경 영역을 포함하며,
   제어부는, 제1 영상과 제2 영상의 차영상 획득 시, 제1 영상의 얼굴 영역 및 제2 영상의 얼굴 및 환경 영역의 밝기 값의 차가 소정 값 이하가 되도록 제1 및 제2 LED 출력량을 각각 조절하는, 시선 추적 장치.
4. 제 2항에 있어서,
   영상 처리부는, 제1 영상 또는 제2 영상 중 적어도 하나의 영상에서 환자의 얼굴을 인식하기 위해 동공을 포함하는 얼굴 영역에 대한 소정의 좌표영역을 특정하는 얼굴영역 획득부;
   얼굴 영역 획득부에 의해 얼굴 영역이 획득된 상태에서, 제1 영상 및 제2 영상의 차영상을 획득하는 차영상 획득부;
   획득한 차영상에서 얼굴 영역에 대한 소정의 좌표영역을 기준으로, 좌표영역의 바깥 영역을 제외 하기 위한 얼굴 영역 처리부; 및
   처리된 얼굴 영역에서 동공 영역을 검출하기 위해 동공 반사광 이외의 영상을 노이즈 설정하여 노이즈를 제거하는 노이즈 처리부; 를 포함하는, 시선 추적 장치.
5. 제 4항에 있어서,
   얼굴 영역 처리부는, 차영상에서 얼굴 영역의 바깥 영역을 삭제하거나, 또는 차영상에서 얼굴 영역의 내부 영역만 바깥 영역으로부터 분리하도록 마련된, 시선 추적 장치.
6. 제 2항에 있어서,
   영상 획득부는, 제1 영상 및 제2 영상을 교번하여 각각 복수 개 획득할 때,
   영상 처리부는, 이전 위치에서 획득한 제1 차영상과 이동된 현재 위치에서 획득한 제2 차영상을 각각 획득하며,
   시선 방향 검출부는, 제1 차영상의 동공 모양의 장축 및 단축의 길이를 기준으로, 제2 차영상의 동공 모양의 장축 및 단축의 변화된 길이 값을 각각 연산하여 시선 위치를 추적하는 시선 추적 장치.
7. 제 6항에 있어서,
   시선 방향 검출부는, 제1 차영상의 동공 모양의 장축 및 단축을 기준으로, 제2 차영상의 동공 모양의 장축 및 단축의 변화된 기울기 값을 각각 연산하여 시선 위치를 추적하는 시선 추적 장치.
8. 환자의 인지 기능 검사 및 훈련을 위한 어플리케이션 또는 프로그램이 설치되고, 어플리케이션 또는 프로그램을 표시하는 디스플레이를 갖는 단말기; 및
   제1 항에 따른 시선 추적 장치가 장착되고, 단말기를 거치하도록 마련된 거치대; 를 포함하며,
   단말기와 시선 추적 장치는, 무선통신장치를 통해 통신 가능하게 연결되고,
   디스플레이에서 어플리케이션 또는 프로그램이 실행될 때, 시선 추적 장치에 의해 환자의 시선 방향을 추적하여 인지 기능 검사 및 훈련을 수행하는, 인지 장애인을 위한 인지 기능 검사 및 훈련 장치.
9. 제 8항에 있어서,
   시선 추적 장치는, 환자가 디스플레이를 응시하여 시선 방향 추적을 통해 디스플레이의 어플리케이션 또는 프로그램을 실행하거나, 실행된 어플리케이션 또는 프로그램의 동작을 제어하도록 마련된 인지 장애인을 위한 인지 기능 검사 및 훈련 장치.
10. 제 1항 내지 제 7항 중 어느 한 항에 따른 시선 추적 장치의 시선 추적 방법에 있어서,
    카메라가 제1 조명부에 의해 제1 영상을 촬영하는 단계;
    제2 조명부에 의해 제2 영상을 촬영하는 단계; 및
    제어부가 제1 조명부에 의해 촬영된 제1 영상 및 제2 조명부에 의해 촬영된 제2 영상의 차영상에 기초하여, 환자의 시선 방향을 검출하는 단계; 를 포함하는, 시선 추적 방법.
    

Images