KR20090093902A

KR20090093902A - 정보처리장치, 눈의 개폐도 판정 방법, 기록매체 및 촬상장치

Info

Publication number: KR20090093902A
Application number: KR1020090017424A
Authority: KR
Inventors: 유지 카네다; 마사카주 마쓰구
Original assignee: 캐논 가부시끼가이샤
Priority date: 2008-02-29
Filing date: 2009-03-02
Publication date: 2009-09-02
Anticipated expiration: 2029-03-02
Also published as: CN101520842B; US20120148159A1; JP5055166B2; EP2096577A2; KR101051001B1; CN101520842A; EP2096577A3; US8624994B2; US8130281B2; JP2009211180A; US20090219405A1

Abstract

정보처리장치는, 화상을 입력하고, 그 입력된 화상으로부터 인물의 얼굴을 검출하고, 그 검출된 얼굴의 눈의 개폐 상태와 연관된 특징량을 산출한다. 또한, 정보처리장치는, 그 산출된 특징량과 소정 특징량과의 차이를 특징변화량으로서 산출하고, 상기 특징량과 상기 특징변화량에 의거하여 검출된 얼굴의 눈의 개폐도를 산출한다.

Description

정보처리장치, 눈의 개폐도 판정 방법, 기록매체 및 촬상장치{Information processing apparatus, eye open/closed degree determination method, storage medium, and image sensing apparatus}

본 발명은, 정보처리장치, 눈의 개폐도 판정 방법, 기록매체 및 촬상장치에 관한 것이다.

종래, 정지 화상 및 동영상을 포함하는 화상으로부터 얼굴을 검출하는 기술이 알려져 있다(Mitarai, Y.,Mori,K.,Matsugu,M. "선택적 모듈 기동을 사용한 콘벌루션 신경망에 의한 강건한 얼굴 검출 시스템", FIT(정보과학기술 포럼), L1-013, 2003). 또한, 그 검출된 얼굴에 있어서의 눈의 개폐도를 판정하는 기술이 알려져 있다.

이 기술에 관련되어서, 일본국 공개특허공보 특개평09-044685호에서는, 눈썹과 동공간의 거리, 혹은 눈썹과 동공의 면적비를 소정의 기준과 비교하여 그 거리의 변화량을 산출하여서, 눈의 개폐도를 판정하는 기술이 제안되어 있다.

또한, 일본국 공개특허공보 특개평11-242744호에서는, 눈영역을 백색영역과 흑색(동공)영역으로 그루핑하고, 그 흑색영역이 변화되었을 경우에 피사체가 깜박이는 것을 판정하는 기술이 제안되어 있다.

또한, 일본국 공개특허공보 특개2004-192551호에서는, 눈을 닫기 직전의 눈의 상태와 미소 등의 표정의 변화시의 눈의 상태를 구별하기 위해 눈의 개폐도를 판정하는 처리를 복수 준비하고, 각각의 판정 결과의 논리곱을 사용한 결과에 근거해 눈의 개폐도를 판정하는 기술이 제안되어 있다.

무표정상태에서 눈이 완전하게 열어져 있을 때의 눈의 크기(상하 눈꺼풀간의 거리나 동공의 모습 등)에는 개인차가 존재한다. 예를 들면, 도 19에 나타낸 인물A의 동공은, 눈을 완전하게 열고 있는 무표정상태(상태1)에서 완전하게 보인다. 이에 대해, 도 19에 나타낸 인물B의 동공은, 눈을 완전하게 열고 있는 무표정상태(상태4)에서 일부가 감추어져 있는 인물도 존재한다.

이렇게 하여 무표정상태에서의 눈의 크기에 개인차가 존재한다. 1장의 화상만으로 눈의 개폐도를 판정해버리면, 도 19에 나타낸 인물A의 상태2와 도 19에 나타낸 인물B의 상태4를 같은 눈의 개폐도 상태로서 판정해버린다. 예를 들면, 촬상장치에 의한 촬영시에, 도 19에 나타낸 인물A의 상태2를 실패 촬영이라고 했을 경우, 도 19에 나타낸 인물B의 상태4도 실패 촬영이 되어버린다.

또한, 복수의 화상간의 변화량을 사용해서 눈의 개폐도를 판정할 경우, 도 19에 나타낸 인물A의 상태1로부터 상태2로의 변화량과, 도 19에 나타낸 인물B의 상태4로부터 상태5로의 변화량이 같은 변화량이 된다. 인물A의 상태2와 인물B의 상태5를 같은 상태로서 판정해버린다. 예를 들면, 촬상장치에 의한 촬영시에, 도 19에 나타낸 인물A의 상태2를 촬영 성공이라고 했을 경우, 도 19에 나타낸 인물B의 상태5도 촬영 성공이 되어버린다.

촬상장치로 촬영된 화상이 실패 또는 성공인지의 판정은, 촬상장치를 사용하는 유저에 따라 변한다. 눈의 크기의 개인차에 의존하지 않고, 눈의 개폐도를 고정밀도로 검출할 필요성이 있다. 예를 들면, 전술한 일본국 공개특허공보 특개2004-192551호에 기재된 기술에서는, 복수의 눈의 개폐도 판정 결과의 조합을 이용해서 눈의 개폐도를 판정하고 있지만, 각각의 눈의 개폐도 판정 결과는 눈을 벌리고 있거나 혹은 눈을 닫고 있는 것을 나타내는 2값 출력이다. 이 때문에, 이 기술에 의해서도, 눈의 크기의 개인차에 의존하지 않고, 눈의 개폐도 상태를 고정밀도로 검출할 수는 없다.

여기에서, 1장의 화상을 사용하는 방법으로 눈의 개폐도를 판정하는 경우와, 복수매의 화상간의 변화량을 사용하는 방법으로 눈의 개폐도를 판정하는 경우를 생각해본다. 여기에서는, 예를 들면 도 20에 나타내는 상태1로부터 상태2로 눈의 개폐도가 변화되었을 경우와, 도 20에 나타내는 상태4로부터 상태5로 눈의 개폐도가 변화되었을 경우를 판정할 경우를 예로 든다.

도 20에 나타낸 상태1(검은눈 면적10)로부터 상태2(검은눈 면적5)로 눈이 변화되었을 경우, 그 검은눈 면적의 변화량은 5가 되고, 또한 상태2에 있어서의 검은눈 면적의 절대량은 5가 된다. 그리고, 눈이 닫히는 것을 판정하는 절대량의 임계치를 6(절대량이 6보다 작을 경우에 눈 닫힘이라고 판정), 눈이 닫히는 것을 판정하는 변화량의 임계치를 4(변화량이 4보다 클 경우에 눈 닫힘이라고 판정)이라고 했을 경우, 그 절대량 및 변화량에 의거한 판정 결과는 모두 눈 닫힘을 나타낸다. 또한, 도 20에 나타낸 상태4(검은눈 면적5)로부터 상태5(검은눈 면적0)로 눈이 변화되고 이것들과 같은 판정을 행했을 경우에도, 같은 결과를 얻고, 절대량과 변화량에 의거한 판정 결과 모두는 눈 닫힘을 나타낸다. 이렇게, 종래 제안된 눈의 개폐도 판정 방법에서는, 도 20에 나타낸 상태2와 상태5를 같은 눈의 개폐도라고 판정한다.

본 발명은, 눈의 크기의 개인차에 의하지 않고, 눈의 개폐도를 고정밀도로 검출할 수 있는, 정보처리장치, 눈의 개폐도 판정 방법, 기록매체 및 촬상장치를 제공하는 것이 가능하다.

본 발명의 제 1 국면에서는,

화상을 입력하는 입력 수단과,

상기 입력 수단으로부터 입력된 화상으로부터 인물의 얼굴을 검출하는 얼굴 검출수단과,

상기 얼굴 검출수단에 의해 검출된 얼굴로부터 눈의 개폐 상태에 관계되는 특징량을 산출하는 제1의 산출 수단과,

상기 제1의 산출 수단에 의해 산출된 특징량과 소정시간 전에 입력된 화상으로부터 검출된 얼굴로부터 산출된 특징량간의 차이를 특징변화량으로서 산출하는 제2의 산출 수단과,

상기 특징량과 상기 특징변화량에 의거하여 상기 얼굴 검출수단에 의해 검출된 얼굴의 눈의 개폐도를 산출하는 제3의 산출 수단을 구비한 정보처리장치를 제공한다.

본 발명의 제 2 국면에서는,

화상을 입력하는 것과,

상기 화상을 입력하는 것에서 입력된 화상으로부터 인물의 얼굴을 검출하는 것과,

상기 얼굴을 검출하는 것에서 검출된 얼굴로부터 눈의 개폐 상태에 관계된 특징량을 산출하는 것과,

상기 특징량을 산출하는 것에서 산출된 특징량과 소정시간 전에 입력된 화상으로부터 검출된 얼굴로부터 산출된 특징량간의 차이를, 특징변화량으로서 산출하는 것과,

상기 특징량과 상기 특징변화량에 의거하여 상기 얼굴을 검출하는 것에서 검출된 얼굴의 눈의 개폐도를 산출하는 것을 포함하는 눈의 개폐도 판정 방법을 제공한다.

본 발명의 제 3 국면에서는,

화상을 입력하는 입력 수단과,

상기 특징량과 상기 특징변화량에 의거하여 상기 얼굴 검출수단에 의해 검출된 얼굴의 눈의 개폐도를 산출하는 제3의 산출 수단으로서 컴퓨터가 기능하게 하는 컴퓨터 프로그램을 기억한 컴퓨터 판독 가능한 기억 매체를 제공한다.

본 발명의 제 4 국면에서는,

화상을 입력하는 입력 수단과,

상기 특징량과 상기 특징변화량에 의거하여 상기 얼굴 검출수단에 의해 검출된 얼굴의 눈의 개폐도를 산출하는 제3의 산출 수단과,

상기 제3의 산출 수단에 의해 산출된 눈의 개폐도를 임계치 처리 함으로써 눈의 개폐 판정을 행하는 판정수단과,

상기 판정수단에 의한 눈의 개폐도 판정의 결과에 의거하여 촬영하는 촬상수단을 구비한 촬상장치를 제공한다.

본 발명의 또 다른 특징은, 첨부된 도면을 참조하여 아래의 예시적 실시예들의 설명으로부터 명백해질 것이다.

도 1은, 본 발명의 일 실시예에 따른 촬상장치(100)의 구성의 일례를 도시한 블록도,

도 2a 및 2b는, 도 1에 나타내는 촬상장치(100)에 있어서의 처리 순서의 일례를 나타낸 흐름도,

도 3은, 도 2b에 나타내는 스텝Sl13에 있어서의 눈의 개폐도 판정의 순서의 일례를 나타낸 흐름도,

도 4는, 화상 정규화의 개요의 일례를 도시한 도면,

도 5는, 동공특징의 검출 대상이 되는 영역을 설정할 때의 처리의 개요의 일례를 도시한 도면,

도 6은, 동공특징 검출 결과의 일례를 도시한 도면,

도 7은, 소정의 함수func₁에 의해 산출된 눈의 개폐도의 분포의 일례를 도시한 그래프,

도 8은, 소정의 함수func₂에 의해 산출된 눈의 개폐도의 분포의 일례를 도시한 그래프,

도 9는, 제 1 실시예의 효과의 일례를 설명하기 위한 제1의 도면,

도 10은, 제 1 실시예의 효과의 일례를 설명하기 위한 제2의 도면,

도 11은, 제 2 실시예에 따른 눈의 개폐도 판정의 순서의 일례를 나타낸 흐름도,

도 12는, 소정시간내에 있어서의 동공특징량의 변화의 일례를 도시한 그래프,

도 13은, 제 2 실시예의 효과의 일례를 설명하기 위한 제1의 도면,

도 14a 및 14b는, 제 3 실시예에 따른 촬상장치(100)에 있어서의 처리 순서의 일례를 나타낸 흐름도,

도 15는, 도 14b에 나타내는 스텝S416에 있어서의 눈의 개폐도 판정의 순서의 일례를 나타낸 흐름도,

도 16은, 도 15에 나타내는 스텝S502에 있어서의 가중치 결정의 순서의 일례를 나타낸 흐름도,

도 17은, 제 3 실시예의 효과의 일례를 설명하기 위한 제1의 도면,

도 18은, 제 3 실시예의 효과의 일례를 설명하기 위한 제2의 도면,

도 19는, 종래의 과제를 설명하기 위한 제1의 도면,

도 20은, 종래의 과제를 설명하기 위한 제2의 도면이다.

이하, 본 발명의 바람직한 실시예들을, 도면을 참조하여, 자세하게 설명한다. 이때, 이들 실시예에 기재된 상기 구성요소의 상대적 배치, 수식 및 수치는, 그것이 구체적으로 언급하지 않는다면 본 발명의 범위를 한정하지 않는다.

(제 1 실시예)

도 1은, 본 발명의 일 실시예에 따른 촬상장치(100)의 구성의 일례를 도시한 블록도이다. 또한, 제 1 실시예에서는, 촬상장치(100)가 전자 스틸 카메라일 경우를 예로 들어서 설명한다.

촬상장치(100)은, 촬영 렌즈부(101)와, 조리개 및 셔터 장치를 갖는 광량조절장치(102)를 구비한다. 촬상소자(103)는, 예를 들면, 촬영 렌즈부를 통과한 피사체상의 광속을 전기신호로 변환하는 CCD(Charge-Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor)이다. 아날로그 신호 처리 회로(104)는, 촬상소자(103)의 아날로그 신호 출력에 대해 클램프, 게인 등을 행한다. A/D변환기(105)는, 아날로그 신호 처리 회로(104)의 출력을 디지탈 신호로 변환한다.

디지탈 신호 처리 회로(107)는, A/D변환기(105)로부터의 데이터 또는 메모리 제어회로(106)로부터의 데이터에 대하여 소정의 화소 보간, 색 변환등을 행한다. 또한, 디지탈 신호 처리 회로(107)는, 촬영한 화상 데이터를 사용해서 소정의 연산을 행하고, 그 얻어진 연산 결과에 의거하여 TTL방식의 AWB(오토 화이트 밸런스)처리를 행한다. 또한, 디지탈 신호 처리 회로(107)는, 그 촬영한 화상 데이터에 대하여 특정 피사체의 얼굴 검출, 및 눈의 개폐도 판정을 실행한다. 특정 피사체의 얼굴 검출 및 눈의 개폐도 판정은, 메모리(후술하는 메모리(108))에 격납된 데이터를 사용한다.

시스템 제어회로(112)는, 전술한 연산 결과에 근거해 노출 제어회로(113) 및 초점제어회로(114)를 제어하기 위해 TTL(쓰루 더 렌즈)방식의 AF(오토 포커스), AE(자동노출), EF(사전 전자 발광)를 행한다.

메모리 제어회로(106)는, 아날로그 신호 처리 회로(104), A/D변환기(105), 디지탈 신호 처리 회로(107), 메모리(108), 디지탈/아날로그(이하, D/A라고 한다) 변환기(109)를 제어한다. A/D변환기(105)에서 A/D변환된 데이터는 디지탈 신호 처리 회로(107) 및 메모리 제어회로(106)를 거쳐서 메모리(108)에 기록된다. A/D변환기(105)에서 A/D변환된 데이터는, 직접 메모리 제어회로(106)를 거쳐서, 메모리(108)에 기록되는 경우도 있다.

메모리(108)는, 예를 들면 표시장치(110)에 표시하는 데이터를 기억하고 있다. 메모리(108)에 기억되어 있는 데이터는, D/A변환기(109)를 거쳐서 TFT 또는 LCD등의 표시장치(110)에 출력되어서 표시된다. 또한, 메모리(108)는, 촬영한 정지 화상과 동영상을 포함하는 화상이 격납된다. 메모리(108)는, 소정매수의 정지 화상과 소정 시간분의 동영상을 격납하기에 충분한 용량을 구비하고 있다. 복수매의 정지 화상을 연속해서 촬영하는 연사 촬영이나 파노라마 촬영의 경우에도, 고속으로 대량의 화상을 메모리(108)에 기록할 수 있다. 또한, 메모리(108)는, 시스템 제어회로(112)의 작업 영역으로서도 사용하는 것이 가능하다. 또한, 촬영한 정지 화상과 동영상은 인터페이스(I/F)(111)를 사용해서 CD-ROM, 플로피디스크(등록상표), 하드 디스크, 자기테이프, 광자기디스크, 또는 불휘발성 메모리 카드 등의 기록 매체에 기록해도 좋다.

표시장치(110)는, 촬영한 화상 데이터를 순서적으로 표시할 수 있고, 이 경우, 전자 뷰파인더로서 기능한다. 표시장치(110)는, 시스템 제어회로(112)의 지시에 따라 임의로 상기 표시를 온/오프하는 것이 가능하다. 그 표시를 끈 경우에는, 그 표시를 온으로 했을 경우보다 이 촬상장치(100)의 전력소비를 대폭 저감할 수 있다. 시스템 제어회로(112)에서의 프로그램의 실행에 따라, 텍스트, 화상 등을 사용해서 동작 상태, 메시지 등을 표시한다.

I/F(111)는, 메모리 카드나 하드디스크 등의 기록 매체와 촬상장치(100)를 인터페이싱한다. 촬상장치(100)는, 이 I/F(111)를 사용하여, 다른 컴퓨터나 프린터 등의 주변기기와의 사이에서 화상 데이터와 그 화상 데이터에 부속된 관리 정보를 교환할 수 있다. 이 I/F(111)가 PCMCIA카드, CF(컴팩트 플래시(등록상표))카드 등의 규격을 따르는 경우, 각종 통신 카드를 접속할 때 I/F(111)는 통신 인터페이스로서 기능한다. 이들 통신 카드는, LAN카드, 모뎀 카드, USB카드, IEEE1394카드, P1284카드, SCSI카드 및 PHS 통신 카드로 이루어진다.

시스템 제어회로(112)는, 촬상장치(100) 전체의 동작을 제어한다. 시스템 제어회로(112)내의 메모리에, 그 시스템 제어회로(112)의 동작용, 또는 특정 피사체의 얼굴과 눈의 개폐도를 인식하는 상수, 변수, 프로그램 등을 기억하고 있다. 또한, CD-ROM, 플로피디스크(등록상표), 하드디스크, 자기테이프, 광자기디스크, 불휘발성 메모리 카드 등을 사용하여, 시스템 제어회로(112)의 내부 메모리에 기억되어 있는 이것들의 상수, 변수, 프로그램 등을 변경할 수 있다.

노출 제어회로(113)는, 광량조절장치(102)의 조리개 및 셔터를 제어한다. 초점제어회로(114)는 촬영 렌즈부(101)의 포커싱 및 주밍을 제어한다. 노출 제어회로(113) 및 초점제어회로(114)는 TTL방식으로 제어된다. 촬영한 화상 데이터를 디지탈 신호 처리 회로(107)에 의하여 연산한 연산 결과에 근거하여, 시스템 제어회로(112)는 노출 제어회로(113) 및 초점제어회로(114)를 제어한다.

도 2a 및 2b를 참조하여, 도 1에 나타낸 촬상장치(100)에 있어서의 처리 순서의 일례에 관하여 설명한다. 또한, 이 처리를 실행하는 프로그램은, 예를 들면 시스템 제어회로(112)의 내부 메모리에 기억되어 있고, 시스템 제어회로(112)의 제어하에 실행된다.

이 처리는, 전원투입 등에 의해 개시된다. 이 처리가 개시되면, 시스템 제어회로(112)는, 내부의 메모리의 각종 플래그, 제어 변수 등을 초기화한다(스텝SlOO). 이어서, 시스템 제어회로(112)는, 촬상장치(100)의 모드 설정 상태를 검지한다. 모드의 예는, 눈 감기 방지 촬영 모드가 있다.

시스템 제어회로(112)가 촬영 모드 이외의 모드가 검지되었을 경우(스텝SlOl에서 기타 모드), 촬상장치(100)는, 선택된 모드에 대응한 처리를 실시한 후(스텝SlO2), 스텝SlOl의 처리로 돌아간다. 또한, 시스템 제어회로(112)가 눈 감기 방지 촬영 모드 등의 촬영 모드가 검지되었을 경우에는 (스텝SlOl에서 촬영 모드), 시스템 제어회로는, 전지의 잔용량이나 동작 상태에 문제가 있는 것인가 아닌가를 판단한다. 문제가 있으면(스텝SlO3에서 NO), 시스템 제어회로(112)는, 표시장치(110)를 사용해서 화상이나 음성에 의해 소정의 경고 표시를 행한 후(스텝SlO4), 스텝SlOl의 처리로 돌아간다. 문제가 없으면(스텝SlO3에서 YES), 시스템 제어회로(112)는, 기록 매체의 동작 상태가 촬상장치(100)의 동작, 특히 기록 매체에 대한 화상 데이터의 기록/재생 동작에 문제가 있는 것인가 아닌가를 판단한다.

그 기록매체 동작상태가 문제 있으면(스텝SlO5에서 NO), 시스템 제어회로(112)는, 상기한 경고와 마찬가지로, 표시장치(110)를 사용해서 화상이나 음성에 의해 소정의 경고 표시를 행한 후(스텝SlO4), 스텝SlOl의 처리로 돌아간다. 기록 매체에 문제가 없으면(스텝SlO5에서 YES), 시스템 제어회로(112)는, 표시장치(110)를 사용해서 화상이나 음성에 의해 촬상장치(100)의 각종 설정 상태의 유저 인터페이스(이하, UI라고 한다)를 표시한다(스텝SlO6). 표시장치(110)의 화상표시가 온이면, 표시장치(110)를 사용해서 화상이나 음성에 의해 촬상장치(100)의 각종 설정 상태의 UI표시를 행해도 된다. 이렇게하여 유저에 의해 각종 설정을 한다.

시스템 제어회로(112)는, 표시장치(110)의 화상표시를 온 상태로 설정한다(스텝SlO7). 시스템 제어회로(112)는, 촬영한 화상 데이터를 순차로 표시하는 쓰루(through) 표시 상태를 설정한다(스텝SlO8). 쓰루 표시 상태에서는, 메모리(108)에 기록된 데이터를 표시장치(110)에 순차로 표시 함에 의해, 전자 뷰파인더 기능이 실현된다.

그 후에 촬상장치(100)에서는, 촬영자 등의 유저에 의해 셔터 스위치가 눌려진 것인가 아닌가가 판정된다. 유저가 셔터 스위치를 누르지 않았으면(스텝SlO9에서 NO), 스텝SlOl의 처리로 돌아간다. 유저가 셔터 스위치를 눌렀으면(스텝SlO9에서 YES), 시스템 제어회로(112)는, 얼굴 검출을 실시한다(스텝SllO). 얼굴 검출에서는, 촬상소자(103)로부터 입력된 화상 데이터를 저해상도로 압축하고, 그 압축한 화상 데이터로부터 인물의 얼굴 검출을 행한다. 구체적으로는, 세선화 등을 행하여서 화상 데이터를 저해상도로 압축하고, 화상 데이터를, 예를 들면 640×480 화소로 한 후, 얼굴 검출을 행한다. 얼굴 검출의 방법으로서는, 예를 들면 엣지와 같은 저차 특징으로부터 눈이나 입과 같은 고차 특징을 계층적으로 검출하고, 최종적으로 얼굴의 중심위치를 검출하는 콘볼루션 신경망(CNN)이 알려져 있다(Mitarai, Y.,Mori,K.,Matsugu,M. "선택적 모듈 기동을 사용한 콘벌루션 신경망에 의한 강건한 얼굴 검출 시스템", FIT(정보과학기술 포럼), L1-013, 2003). CNN을 사용함으로써, 눈이나 입의 중심위치를 얻을 수 있다.

이렇게 하여 인물의 얼굴이 검출되면, 시스템 제어회로(112)는, 그 검출된 인물의 얼굴에 대하여 소정의 AE/AF제어를 실시하고(스텝Slll), 촬영한 화상을 쓰루 표시한다(스텝Sl12). 이때, 시스템 제어회로(112)는, 스텝SllO에서 검출된 눈/얼굴의 검출 위치를 사용해서 각 인물의 눈의 개폐도를 판정한다(스텝Sl13). 눈의 개폐도 판정의 상세에 관해서는 후술한다.

시스템 제어회로(112)는, 눈의 개폐도 판정의 결과에 의거하여 촬상장치(100)에 의한 촬영의 실행 유무를 결정한다. 구체적으로는, 시스템 제어회로(112)는, 눈이 감겨 있다고 판정되었을 경우에는, 촬상장치(100)에 의한 촬영을 행하지 않고(스텝Sl14에서 NO), 강제로 촬영을 종료할 것인가 아닌가의 판단을 행한다. 시스템 제어회로(112)가 강제로 촬영을 종료하면(스텝Sl19에서 YES), 이 처리를 종료한다. 시스템 제어회로(112)가 강제로 촬영을 종료하지 않으면(스텝Sl19에서 NO), 재차, 얼굴 검출을 행한 후(스텝Sl18), 스텝Sl12의 처리로 되돌아간다.

시스템 제어회로(112)가 눈이 열려져 있다고 판정되었을 경우에는, 촬상장치(100)에 의한 촬영 처리가 실시된다(스텝Sl14에서 YES의 후, 스텝Sl15). 촬영 처리가 실시된 후, 시스템 제어회로(112)는, 그 촬영 화상을 퀵 리뷰 표시한 후(스텝Sl16), 그 촬영한 고해상도 화상을 부호화해서, 플래시 메모리등의 기록 매체에 그 부호화된 화상을 기록시킨다(스텝Sl17). 즉, 얼굴 검출에는, 세선화 등에 의해 압축된 저해상도 화상을 사용하지만, 기록에는, 고해상도 화상을 사용한다.

도 3을 참조하여, 도 2b에 나타내는 스텝Sl13에 있어서의 눈의 개폐도 판정의 상세에 관하여 설명하겠다.

이 처리가 개시되면, 시스템 제어회로(112)는, 우선, 스텝SllO에서 검출된 눈 또는 얼굴의 위치를 사용해서 화상 정규화를 행한다(스텝S200). 이 정규화에서는, 도 4에 나타나 있는 바와 같이, 저해상도로 압축된 입력 화상(300)의 각 얼굴의 방향을 정립으로 한다. 또한, 양 눈폭이 소정 화소(예를 들면, 50화소)가 되고, 또한 추출된 화상의 폭과 높이가 소정 화소(예를 들면, 120×120화소)가 되도록 아핀(affine)변환과 추출을 행한다. 도 4에 나타내는 일례에서는, 입력 화상(300)을 정규화한 결과로서, 얼굴 화상(301 및 302)을 얻는다.

이후, 시스템 제어회로(112)는, 정규화된 화상에 대하여 도 5에 나타나 있는 바와 같은 눈 영역을 설정한다(스텝S201). 도 5에 나타낸 일례에서는, 눈 영역(303)은, 좌측 위의 좌표를 (1, 10)이라고 하고, 우측 아래의 좌표를 (120, 60)로서 설정되어 있다.

눈 영역의 설정이 끝나면, 시스템 제어회로(112)는, 눈 영역에 대하여 화상 보정(예를 들면, 휘도 보정)을 행한다(스텝S202). 휘도 보정에서는, 눈 영역의 휘도 히스토그램을 작성한 후, 그 휘도 히스토그램을 신장시켜, 각 화소의 휘도값을 변경한다.

그 휘도 보정 후, 시스템 제어회로(112)는, 그 휘도 보정된 화상의 눈 영역으로부터 동공특징을 검출한다(스텝S203). 동공특징의 검출에는, 얼굴 검출과 마찬가지로, 미리 동공을 검출하도록 학습한 동공검출용의 CNN을 사용한다. 또한, 동공검출용의 CNN은, 정답으로서 동공영역, 잘못된 정답으로서 동공 이외의 영역을 주고, 동공이 존재하는 영역에만 상기 CNN의 각 뉴런(neuron)으로부터 큰 값을 출력하도록 학습시켜 둔다. 스텝S202에서 휘도 보정된 화상을 동공검출용의 CNN에 입력했을 경우, 예를 들면 도 6에 나타나 있는 바와 같은, 뉴런 출력값을 얻는다.

이어서, 시스템 제어회로(112)는, 동공특징의 검출량을 사용해서 동공 특징량을 산출한다(스텝S204). 제 1 실시예에 있어서의 동공특징량은, 시간 t[s]에 소정 임계치I_th이상이 되는 출력값counter(t)로 나타내어진다:

I(x,y)≥I_th⇒Counter(t)+=1 ...(1)

그 동공특징량 대신에, 상하 눈꺼풀에 해당하는 엣지간의 거리를 사용해도 좋다. 눈의 개폐도의 판정 대상이 되는 1장의 화상으로부터 추출한 동공특징량을 Featurel(t)라고 한다:

Featurel(t)=Counter(t) ...(2)

특징량 산출 후, 시스템 제어회로(112)는, 그 산출한 동공특징량Featurel(t)의 특징변화량Feature2(t)을 산출한다(스텝S205). 특징변화량Feature2(t)은, 동공특징량Featurel(t)과, 소정 특징량(이 경우에는, 이전에 산출한 동공특징량Featurel(t_n))과의 차이를 구하여 산출된다:

Feature2(t)=｜Counter(t_n)-Counter(t)｜ ...(3)

이전에 산출한 동공특징량Featurel(t_n))이란, 동공특징량Featurel(t)을 산출하기 전에 소정시간(예를 들면, 500ms)에 산출한 동공특징량이다. 식(3)의 n은, 인간이 무의식적으로 깜박였을 때의 평균적인 시간이다. 예를 들면, 인간이 열고 있는 눈을 닫는 상태까지의 평균적인 시간이 500ms이면, n=500ms로 설정한다.

특징 변화량 산출이 끝나면, 시스템 제어회로(112)는, 상기 산출된 동공특징량Featurel(t) 및 특징변화량Feature2(t) 각각에 관한 눈의 개폐도를 산출한다(스텝S206, 스텝S207). 또한, 본 제 1 실시예에 있어서는, 눈을 닫고 있는 정도 BlinkDegree(t)에 의해 눈의 개폐도를 설명하겠다. 그렇지만, 눈의 개폐도는, 눈을 열고 있는 정도로 나타내어도 된다.

동공특징량Featurel(t)에 근거하는 눈의 개폐도BlinkDegreel(t)은, 동공특징량Featurel(t)을 소정의 함수func₁에 대입하여 산출된다:

BlinkDegreel(t)=func₁(Featurel(t)) ...(4)

동공특징량Feature2(t)에 근거한 눈의 개폐도BlinkDegree2(t)은, 특징변화량Feature2(t)을 소정의 함수func₂에 대입하여서 산출된다:

BlinkDegree2(t)=func₂(Feature2(t)) ...(5)

시스템 제어회로(112)는, 식(6)에 나타나 있는 바와 같이, 눈의 개폐도BlinkDegreel(t) 및 BlinkDegree2(t))에 가중치 w₁, w₂를 더한 후, 그 가중치가 부여된 눈의 개폐도BlinkDegreel(t) 및 BlinkDegree2(t))를 더하여서(스텝S208), 최종적인 눈의 개폐도BlinkDegree(t)을 산출한다(스텝S209):

BlinkDegree(t)

=w₁×BlinkDegreel(t) + w₂×BlinkDegree2(t) ...(6)

여기서, 본 실시예에 있어서의 가중치 w₁, w₂는, 1 : 1이다.

도 7은, 소정의 함수func₁에 의해 산출된 눈의 개폐도의 값의 분포를 보이고 있다. 도 7에 나타나 있는 바와 같이, 눈의 개폐도의 판정 대상이 되는 1장의 화상으로부터 산출한 동공특징량Featurel(t)이 커질수록, 눈의 개폐도BlinkDegreel(t)는 작아진다. 즉, 동공특징량Featurel(t)이 클수록, 눈을 열고 있다고 판정될 가능성이 높아진다.

도 8은, 소정의 함수func₂에 의해 산출된 눈의 개폐도의 값의 분포를 보이고 있다. 도 8에 나타나 있는 바와 같이, 특징변화량Feature2(t)이 클수록, 눈의 개폐도BlinkDegree2(t)도 커진다. 즉, 특징변화량Feature2(t)이 클수록, 눈을 닫고 있거나 또는, 눈의 개폐 도중이라고 판정될 가능성이 높아진다.

도 3으로 되돌아가면, 최종적인 눈의 개폐도 산출을 실시 후, 시스템 제어회로(112)는, 눈을 닫고 있는지, 눈을 열고 있는지의 2값 판정을 행한다. 이 판정은, 눈의 개폐도BlinkDegree(t)을 임계치 처리 함에 의해 행해진다(스텝S210). 그리고, 시스템 제어회로(112)는, BlinkDegree(t)과 임계치와의 관계(임계치 이상 또는 이하)에 근거해 판정 결과 "눈 열기" 또는 "눈 닫기"로 되돌아간다(스텝S211). 그 후, 이 처리를 종료한다.

도 9 및 도 10은, 눈의 개폐 상태를 판정할 때, 눈의 개폐도의 판정 대상이 되는 화상으로부터 산출한 동공특징량Featurel(t)과, 대응한 특징변화량Feature2(t)을 사용하여 얻어진 효과를 설명하는 도면이다.

도 9는, 눈의 개폐 폭이 큰 인물A 및 눈의 개폐 폭이 작은 인물B의 각 상태에 있어서의 눈의 개폐도를 산출하는 결과를 도시한 도면이다. 전술한 바와 같이, 눈의 개폐도BlinkDegreel(t)은, 눈의 개폐도의 판정 대상이 되는 화상의 동공특징량Featurel(t)에 근거해 산출된다. 눈의 개폐도BlinkDegree2(t)은, 동공특징량Featurel(t)과 이전에 산출한 동공특징량Featurel(t_n)과의 차이를 나타내는 특징변화량Feature2(t)에 근거해 산출된다. 눈의 개폐도BlinkDegree(t)은, 최종적인 눈의 개폐도를 나타내고, 가중치가 부여된 BlinkDegreel(t) 및 BlinkDegree2(t)을 가산하여 산출된 것이다.

인물A의 눈이 상태1(눈 열기 상태)로부터 상태1’(눈 열기 상태)로 변화되었을 경우에 대해서 생각해 본다. 이 경우, 상태1’(눈 열기 상태)로 동공이 분명히 나타나고 있기 때문에, 동공특징량Featurel(t)은 큰 값이 된다. 따라서, 눈의 개폐도BlinkDegreel(t)은 작은 값이 된다. 상태1(눈 열기 상태)로부터 상태1’(눈 열기 상태)로 인물A의 눈이 변화되었을 경우에, 동공특징량Featurel(t)이 거의 변화하지 않는다. 그 때문에, 동공특징량Featurel(t)과 이전에 산출한 동공특징량Featurel(t_n)간의 특징변화량Feature2(t)에 근거해 산출한 눈의 개폐도BlinkDegree2(t)도 작은 값이 된다. 따라서, 가중치=1:1를 더한 후, 최종적으로 산출된 눈의 개폐도BlinkDegree(t)은, "0.0"이 된다.

인물A의 눈이 상태1(눈 열기 상태)로부터 상태2(눈을 반쯤 뜬 상태)로 변화되었을 경우에 대해서 생각해본다. 이 경우, 상태2(눈을 반쯤 뜬상태)에서 동공영역의 일부만이 나타나 있기 때문에, 동공특징량Featurel(t)은 중간값(예를 들면, 0과 1 사이의 값)이 된다. 따라서, 눈의 개폐도BlinkDegreel(t)도 중간값이 된다. 인물A의 눈이 상태1(눈 열기 상태)로부터 상태2(눈을 반쯤 뜬 상태)로 변화되는 경우에, 동공특징량Featurel(t)이 약간 변화된다. 그 때문에, 동공특징량Featurel(t)과 이전에 산출한 동공특징량Featurel(t_n) 사이의 특징변화량Feature2(t)에 근거해 산출한 눈의 개폐도BlinkDegree2(t)도 중간값이 된다. 따라서, 가중치=1:1을 더한 후 최종적으로 산출된 눈의 개폐도BlinkDegree(t)는, "1.0"이 된다.

마찬가지로, 인물A의 눈이 상태1(눈 열기 상태)로부터 상태3(눈 닫기 상태)로 변화되었을 경우에 대해서 생각해본다. 이 경우, 동공특징량Fea turel(t)에 근거해 산출한 눈의 개폐도BlinkDegreel(t)은 큰 값이 된다. 또한, 특징변화량Feature2(t)에 근거해 산출한 눈의 개폐도BlinkDegree2(t)도 큰 값이 된다.따라서, 가중치=1:1을 더한 후, 최종적으로 산출되는 눈의 개폐도BlinkDegree(t)은, "2.0"이 된다.

이에 대하여, 인물B의 눈이 상태4(눈 열기 상태)로부터 상태4’(눈 열기 상태)로 변화되었을 경우에 대해서 생각해본다. 이 경우, 동공특징량Featurel(t)로부터 산출한 눈의 개폐도BlinkDegreel(t)은 중간값이 된다. 또한, 특징변화량Feature2(t)에 근거해 산출한 눈의 개폐도BlinkDegree2(t)은 작은 값이 된다. 따라서, 가중치=1:1을 더한 후, 최종적으로 산출되는 눈의 개폐도BlinkDegree(t)은, "0.5"가 된다.

인물B의 눈의 상태가 상태4(눈 열기 상태)로부터 상태5(눈 닫기 상태)로 변화되었을 경우에 대해서 생각해본다. 이 경우, 동공특징량Featurel(t)에 근거해 산출한 눈의 개폐도BlinkDegreel(t)은 큰 값이 된다. 또한, 특징변화량Feature2(t)에 근거해 산출한 눈의 개폐도BlinkDegree2(t)은 중간값이 된다. 따라서, 가중치=1:1을 더한 후, 최종적으로 산출되는 눈의 개폐도BlinkDegree(t)은, "1.5"가 된다.

이렇게하여 산출된 눈의 개폐도BlinkDegree(t)의 분포를 도 10에 나타낸다. 도 10에 나타나 있는 바와 같이, 인물A 및 인물B의 각 상태에 있어서의 눈의 개폐도는, 각각 다른 값이 산출되어 있다. 즉, 눈의 크기의 개인차에 의하지 않고, 눈의 개폐도를 고정밀도로 검출할 수 있다.

이상과 같이 제 1 실시예에 의하면, 판정 대상이 되는 화상으로부터 얻어진 동공특징량과, 그 동공특징량과 이전에 산출한 동공특징량과의 차이를 나타내는 특징변화량에 근거해 산출한 눈의 개폐도를 가중하고 더하여 최종적인 눈의 개폐도를 산출한다. 이에 따라, 눈의 크기의 개인차에 의하지 않고, 눈의 개폐 상태를 고정밀도로 검출할 수 있다.

또한, 전술한 제 1 실시예에 있어서는, 가중을 행한 후, 최종적인 눈의 개폐도를 산출하였다. 그렇지만, 반드시 가중을 행할 필요는 없고, 가중하지 않고 최종적인 눈의 개폐도를 산출하여도 된다.

(제 2 실시예)

다음에, 제 2 실시예에 관하여 설명한다. 또한, 제 2 실시예에 있어서의 장치의 구성과 전반적인 동작의 순서는, 제 1 실시예에서 설명한 도 1 및 도 2와 마찬가지이기 때문에, 그 설명에 관해서는 생략하고, 제 1 실시예와의 차이점에 대해서만 설명하겠다. 제 2 실시예는, 제 1 실시예의 도 3을 참조하여 설명한 눈의 개폐도 판정이 서로 다르다.

도 11을 사용하여, 제 2 실시예에 따른 눈의 개폐도 판정의 순서에 관하여 설명한다. 또한, 설명의 중복을 막기 위해서, 제 2 실시예에서는, 제 1 실시예에서 설명한 상세한 처리(예를 들면, 동공특징량의 검출 방법이나 산출 방법)에 관한 설명은 생략하고, 차이점을 나타내는 대략의 흐름에 대해서만 설명한다.

이 처리가 개시되면, 시스템 제어회로(112)는, (도 2의)스텝SllO에서 검출된 얼굴의 눈이 열린 상태를 추정한다. 더 상세하게는, 시스템 제어회로(112)는, 눈이 열린 상태를 추정하고, 그 눈의 상태가 소정의 눈의 상태(제 2 실시예에서는, 좁은 눈)에 해당하는지를 조사한다. 좁은 눈을 가진 인물이 눈을 열은 경우에도, 동공영역의 많은 부분이 감추어져 있다.

개안 상태시의 눈의 상태를 추정하기 위해서, 시스템 제어회로(112)는, 제 1 실시예과 같은 방법에 의해, 동공특징량Featurel(t)을 산출한다(스텝S300). 동공특징량Featurel(t)의 산출은, 소정 시간 경과할 때까지 반복해 행하여진다(스텝S301에서 NO). 즉, 시스템 제어회로(112)는, 소정 시간내에 순차로 입력된 프레임 화상 각각으로부터 동공특징량Featurel(t)을 산출한다. 소정시간이란, 깜박이는데 걸리는 평균적인 시간이다. 즉, 그것은 소정시간(예를 들면, 5초)내에 항상 깜박이기에 충분하다.

소정시간이 경과하면(스텝S301에서 YES), 시스템 제어회로(112)는, 스텝S300에서 복수의 프레임 화상으로부터 산출한 동공특징량Featurel(t)에 의거하여 눈의 상태를 추정한다(스텝S302). 즉, 소정시간(시간t=t₁[s]로부터 시간t=t_n1[s])내에 산출한 동공특징량Featurel(t₁),...,Featurel(t_n1))을 참조하여서 열린 상태의 눈을 추정한다.

도 12는, t=t₁[s]로부터 시간t=t_n1[s]까지 산출된 동공특징량Featurel(t₁),...,Featurel(t_n1))을 보이고 있다.

눈이 소정의 눈의 상태(좁은 눈)에 해당하는 것인가 아닌가는, t=t₁[s]로부터 시간 t=t_n1[s]까지 산출한 동공특징량Featurel(t)의 폭(L=FeaturelMax-FeaturelMin)에 근거해 판정된다. 구체적으로는, 동공특징량Featurel(t)의 폭 L이 소정 임계치L_th보다도 크면, 개안시에 동공영역의 많은 부분이 감추어지지 않고 있다고 판정한다. 한편, 동공특징량Featurel(t)의 폭 L이 소정 임계치L_th이하가 되면, 개안시에 동공영역의 많은 부분이 숨겨져 있다고 판정한다.

눈이 소정의 눈의 상태가 아니면(스텝S303에서 NO), 시스템 제어회로(112)는, 시간 t=t_n1[s]에서 1장의 화상으로부터 산출한 동공특징량Featurel(t_n1)만을 사용해서 BlinkDegree(t_n1)을 산출한다(스텝S304). 또한, 동공특징량Featurel(t_n1)만을 사용해서 눈의 개폐도BlinkDegree(t_n1)을 산출하는 것은, 가중치 w₂을 0으로 설정하는 것과 동등하다.

소정의 눈의 상태, 즉, 눈이 좁다고 판정했을 경우(스텝S303에서 YES), 시스템 제어회로(112)는, 제 1 실시예와 마찬가지의 방법에 의해 동공특징량과 특징변화량과의 양쪽을 사용해서 눈의 개폐도를 산출한다(스텝S305). 구체적으로는, 시스템 제어회로(112)는, 시간 t=t_nl[s]에서 1장의 화상으로부터 산출한 동공특징량Featurel(t_n1)과, 특징변화량Feature2(t_nl)과를 사용해서 눈의 개폐도BlinkDegree(t_nl)을 산출한다. 또한, 특징변화량Feature2(t_nl)은, 동공특징량Featurel(t_nl)과, 이전에 입력된 화상으로부터 산출한 동공특징량Featurel(t_nl-n1')(1≤n_1'＜n₁)과의 차이를 나타낸다. 이 경우에, 가중치 w₁및 w₂는 1:1로 설정된다.

그 후에 시스템 제어회로(112)는, 그 산출된 눈의 개폐도BlinkDegree(t_nl)을 임계치 처리 함으로써 눈의 개폐 상태를 판정하고, 그 결과(닫혀진 눈 또는 열린 눈)를 돌려준다(스텝S306). 그 후, 이 처리는 종료한다.

이상과 같이 제 2 실시예에 의하면, 도 13에 나타낸 인물A와 같이 인물의 눈이 소정의 눈의 상태가 아니다, 즉 눈이 좁지 않으면, 1장의 화상으로부터 얻어진 특징량만을 사용해서 눈의 개폐도BlinkDegree(t_nl)을 산출한다. 도 13에 나타낸 인물B과 같이, 소정의 눈의 상태, 즉 눈이 좁은 인물이면, 1장의 화상으로부터 얻어진 특징량과 그 특징변화량을 사용해서 눈의 개폐도BlinkDegree(t_nl)을 산출한다. 눈의 상태에 의거하여 눈의 개폐도의 산출 방법을 바꿈으로써, 눈의 크기의 개인차에 의하지 않고 고정밀도의 눈의 개폐도 상태를 판정할 수 있다. 이에 따라, 고정밀도의 눈의 개폐도의 검출을 최소의 처리 비용으로 실현시킬 수 있다.

(제 3 실시예)

다음에, 제 3 실시예에 관하여 설명한다. 또한, 제 3 실시예에 있어서의 장치의 구성은, 제 1 실시예에서 설명한 도 1과 마찬가지가 되기 때문에, 그 설명에 관해서는 생략하고, 여기에서는, 제 1 실시예와의 차이점에 대해서만 설명한다.

도 14a 및 14b는, 제 3 실시예에 따른 촬상장치(100)에 처리 순서의 일례에 관하여 설명한다. 또한, 스텝S400로부터 스텝S408까지의 처리는, 제 1 실시예의 도 2a에 있어서의 스텝SlOO로부터 스텝SlO8까지의 처리와 마찬가지가 되기 때문에, 그 설명에 관해서는 생략한다.

스텝S409에 있어서, 유저에 의해 제1의 스위치(핀트 맞춤 스위치)가 눌리면(스텝S409에서 YES), 제 1 실시예와 마찬가지로, 얼굴 검출, AE/AF제어, 쓰루 표시가 실시된다(스텝S410∼S412). 쓰루 표시 후, 소정시간동안, 동공특징량의 산출이 행하여진다(스텝S413). 즉, 제 2 실시예와 마찬가지 의 방법에 의해, 소정시간내(시간 t=t₂[s]로부터 시간 t=t_n2[s])에 순차로 입력된 프레임 화상들로부터 동공특징량을 산출한다.

유저에 의해 제2의 스위치(촬영 스위치)가 눌리면(스텝S414에서 YES), 촬영이 행하여진다(스텝S415). 이 경우, 눈의 개폐 상태에 상관없이, 촬영이 행하여진다. 이때, 촬영된 촬영 화상은, 도 1에 나타내는 메모리(108)에 일시적으로 기억된다. 또한, 메모리(108)에는, 촬영된 고해상도화상과 아울러, 눈의 개폐 판정용에 사용하는 압축된 저해상도도 기억된다.

스텝S414에 있어서, 유저에 의해 제 2 스위치가 눌리지 않았을 경우에는(스텝S414에서 NO), 재차, 얼굴 검출(스텝S420) 및 쓰루 표시(스텝S421)가 행하여진 후, 스텝S413의 처리로 돌아간다.

스텝S415에 있어서 촬영이 행하여지면, 시스템 제어회로(112)는, 저해상도로 압축된 화상을 사용해서 눈의 개폐 판정을 행한다(스텝S416). 이 눈의 개폐도 판정의 상세에 관해서는 후술한다.

시스템 제어회로(112)는, 촬상장치(100)에 퀵 리뷰를 표시시킨다(스텝S417). 이 때, 눈의 개폐도 판정 처리에 의해 눈이 닫혀 있다고 판정되었을 경우에는, 예를 들면 "다시 촬영합니까?"등의 재촬영을 촉진시키는 메시지를 유저에게 표시시킨다. 또한, 유저에게 재촬영을 촉진시키는 어떠한 표시도 행하지 않고 강제적으로 유저가 재촬영을 행하게 하는 것도 가능하다.

유저가 재촬영을 행하는 것을 소망하지 않았을 경우에는(스텝S418에서 NO), 시스템 제어회로(112)는, 메모리(108)에 기억되어 있는 고해상도의 촬영 화상을 플래시 메모리 등에 기록시킨다(스텝S419). 그리고, 이 처리는 종료한다. 유저가 재촬영을 행하는 것을 소망했을 경우에는(스텝S418에서 YES), 시스템 제어회로(112)는, 다음 프레임 화상에 대하여 얼굴 검출을 행하고(스텝S420), 쓰루 표시를 행한다(스텝S421). 그 후에, 스텝S413의 처리로 돌아간다.

도 15를 사용하여, 도 14b에 나타내는 스텝S416에 있어서의 눈의 개폐도 판정의 상세에 관하여 설명한다. 또한, 설명의 중복을 막기 위해서, 제 3 실시예에서는, 제 1 실시예 및 제 2 실시예에서 설명한 상세한 처리(예를 들면, 동공특징량의 검출 방법이나 산출 방법)에 관한 설명은 생략하고, 차이점을 나타내는 대략의 순서에 대해서만 설명한다.

이 처리가 개시되면, 시스템 제어회로(112)는, (도 14b의) 스텝S413에서 산출된 시간 t=t₂[s]로부터 시간 t=t_n2[s]까지의 동공특징량Fea turel(t₂),...,Featurel(t_n2))을 참조한다. 그리고, 시스템 제어회로(112)는, (도 14a의) 스텝S410 또는 (도 14b의) 스텝S420에서 검출된 얼굴에 있어서의 눈이 열린 상태를 추정한다(스텝S500). 또한, 그 눈이 소정의 눈의 상태인가 아닌가의 판정은, 제 2 실시예와 마찬가지로, 소정시간내의 동공특징량Featurel(t)의 최대값과 최소값간의 폭 L을 소정 임계치L_th와 비교 함으로써 행하여진다. 이때, 시간 t=t₂[s]로부터 시간 t=t_n2[s]까지의 동공특징량(Featurel(t₂),...,Featurel(t_n2))은 전술한 바와 같이 도 1의 메모리(108)에 기억되어 있다.

시스템 제어회로(112)는, 그 눈이 소정의 눈의 상태, 즉, 눈이 좁다고 판정되었을 경우(스텝S501에서 YES), 가중치 결정이 실시된다(스텝S502). 가중치 결정의 상세에 관해서는 후술한다. 이 가중치 결정 후, 시스템 제어회로(112)는, 제 1 실시예와 마찬가지로, 가중 등의 처리를 행한 후, 최종적인 눈의 개폐도BlinkDegree(t_n2)을 산출한다(스텝S503). 즉, 동공특징량과 특징변화량과의 양쪽을 사용해서 눈의 개폐도를 산출한다.

그 눈이 소정의 눈의 상태가 아니다, 즉 눈이 좁지 않으면(스텝S501에서 NO), 시스템 제어회로(112)는, 제 1 실시예와 마찬가지로, 가중 등의 처리를 행한 후, 최종적인 눈의 개폐도BlinkDegree(t_n2)을 산출한다(스텝S503). 이 경우도, 시스템 제어회로(112)는, 동공특징량과 특징변화량의 양쪽을 사용해서 눈의 개폐도를 산출한다.

그 후, 시스템 제어회로(112)는, 그 산출된 눈의 개폐도BlinkDegree(t_n2)을 임계치 처리를 함으로써 눈의 개폐 상태를 판정하고, 그 판정 결과(눈 닫힘 또는 눈 열림)를 돌려준다(스텝S504). 그리고, 이 처리는 종료한다.

여기에서, 도 16을 사용하여, 도 15에 나타내는 스텝S502에 있어서의 가중치 결정의 상세에 관하여 설명한다. 이하에서는, 가중치를 결정하는데, "L_th1>L_th2"의 관계를 만족시키는 임계치를 사용한다. 이때, 가중치는, 예를 들면 미리 준비된 테이블을 사용하여 결정한다.

이 처리가 개시되면, 시스템 제어회로(112)는, (도 14b의) 스텝S413에서 산출된 소정시간내에서 산출된 동공특징량Featurel(t)의 폭 L이 L>L_th1의 관계를 만족시키는 것인가 아닌가의 판정을 행한다. L>L_th1이 되면(스텝S600에서 YES), 가중치 w₁, w₂는, 1: 1로 결정되어(스텝S601), 이 처리는 종료한다.

L≤L_th1이면(스텝S600에서 NO), 시스템 제어회로(112)는, L_th1≥L>L_th2의 관계를 가질 것인가 아닌가의 판정이 행하여진다. L_th1≥ L > L_th2가 되면(스텝S602에서 YES), 가중치 w₁및 w₂는 1:2로 결정되고(스텝S603), 이 처리는 종료한다. 한편, L≤L_th2이 되면(스텝S602에서 NO), 가중치w₁및 w₂는 1: 5로 결정되어(스텝S604), 이 처리는 종료한다. 즉, 소정시간내에 있어서의 동공특징량Featurel(t)의 최대값과 최소값의 폭 L이 작아질수록, 눈의 개폐도BlinkDegree2(t_n2)의 가중치w₂을 크게 한다.

또한, 도 15 및 도 16을 참조하여 설명한 처리에서는, 눈이 소정의 눈의 상태(눈이 좁음)에 해당할 경우에만, 설정된 가중치를 변경하였지만, 본 발명은 이것에 한정되지 않는다. 예를 들면, 인물의 눈이 소정의 눈의 상태가 아닐 경우, 예를 들면 눈이 큰 인물일 경우에, 가중치w₁을 가중치w₂보다도 크게 해도 좋다.

도 17 및 도 18은, 소정의 눈의 상태를 검출했을 때, 특징변화량Feature2(t_n2)에 근거해 산출된 눈의 개폐도BlinkDegree2(t_n2)의 가중치w₂을 설정하여 얻어진 효과를 설명하는 도면이다.

눈이 소정의 눈의 상태가 아닌, 즉 눈이 좁지 않은 도 17에 나타낸 것과 같은 인물A에 대하여는, BlinkDegreel(t_n2)의 가중치w₁과 눈의 개폐도BlinkDegree2(t_n2)의 가중치w₂을 1:1로 한다.

이에 대하여, 소정의 눈의 상태인, 즉, 도 17에 나타낸 인물B와 같은 눈이 좁은 인물에 대하여, BlinkDegreel(t_n2)의 가중치w₁과 눈의 개폐도BlinkDegree2(t_n2)의 가중치w₂을 1:2로 한다. 즉, 가중치w₂을 크게 설정한다. 이러한 설정에 따라, 인물A의 상태2와, 인물B의 상태4'를 구별할 수 있다. 또한, 눈이 좁지 않은 인물A의 상태3과, 눈이 좁은 인물B의 상태5를 같은 눈의 개폐도로서 판정할 수도 있다.

도 18에 나타낸 인물B과 같이, 눈이 대단히 좁은 인물에 대하여는, 특징변화량Feature2(t_n2)에 근거해 산출한 눈의 개폐도BlinkDegree2(t_n2)의 가중치w₂을 더욱 크게 설정한다. 이러한 설정에 따라, 눈의 크기의 개인차에 상관없이 눈의 개폐도 판정을 행할 수 있다.

이상과 같이 제 3 실시예에 의하면, 소정시간내에 있어서의 동공특징량의 변화로부터 눈의 개폐 상태의 판정 대상이 되는 인물의 눈의 크기가 소정의 눈의 상태(눈이 좁음)인지의 여부를 판정하고, 그 판정결과에 의거하여 가중치를 변경한 후, 눈의 개폐도를 판정한다. 이에 따라, 눈의 크기 에 의하지 않고, 보다 고정밀도로 눈의 상태를 검출할 수 있다.

이상이 본 발명의 대표적인 실시예의 일례이지만, 본 발명은, 상기 및 첨부도면에 나타내는 실시예에 한정하지 않고, 첨부된 청구항의 범위를 벗어나지 않고 적당하게 변형할 수 있다.

예를 들면, 전술한 제 2 실시예 및 제 3 실시예에 있어서는, 소정의 눈의 상태로서, 눈이 좁은 상태를 판정할 경우에 관하여 설명했지만, 본 발명은 이것에 한정되지 않고, 소정의 눈의 상태로서 눈이 큰 상태를 판정하여도 좋다. 이 경우에도, 상기와 같은 처리를 채용할 수 있다.

또한, 전술한 제 2 실시예 및 제 3 실시예에 있어서는, 소정의 눈의 상태를 추정할 때에, 소정시간내에 있어서의 동공특징량Featurel(t)의 최대값과 최소값간의 폭 L을 소정 임계치L_th와 비교하는 것에 의해 행하였다. 그렇지만, 본 발명은, 이것에 한정되지 않는다. 예를 들면, 소정 시간 내의 동공특징량Featurel(t)의 평균치와 소정 임계치를 비교 함에 의해, 소정의 눈의 상태를 추정해도 된다.

또한, 전술한 제 1 실시예∼3에서 설명한 일부 또는 모든 처리를 조합하여도 된다. 예를 들면, 제 2 실시예에서 설명한 눈의 개폐도의 판정을 방법을 바꾸는 처리와, 제 3 실시예에서 설명한 가중치 결정을 조합해서 실시해도 좋다.

또한, 본 발명은, 소프트웨어의 프로그램을 시스템 또는 장치에 직접 또는 원격으로부터 공급하고, 그 시스템 또는 장치에 내장된 컴퓨터가 상기공급된 프로그램 코드를 판독해서 실행 함에 의해 상술한 실시예들의 기능이 달성되는 경우도 포함한다. 이 경우, 상기 공급된 프로그램은, 상기 실시예들에서 도면에 나타낸 흐름도에 대응한 컴퓨터 프로그램이다.

따라서, 본 발명의 기능 처리를 컴퓨터로 실현하기 위해서, 상기 컴퓨터에 인스톨된 프로그램 코드도 본 발명을 실현하는 것이다. 즉, 본 발명은, 본 발명의 기능 처리를 실현하기 위한 컴퓨터 프로그램도 포함한다. 이 경우, 상기 프로그램은, 프로그램의 기능을 가지고 있으면, 오브젝트 코드, 인터프리터에 의해 실행되는 프로그램, 또는 OS(오퍼레이팅 시스템)에 공급된 스크립트 데이터의 형태를 취하여도 된다.

각종의 컴퓨터 판독 가능한 기억매체는, 컴퓨터 프로그램을 공급하는데 사용되기도 한다.

또한, 상기 프로그램은, 인터넷의 홈 페이지로부터 본 발명의 컴퓨터 프로그램을 하드디스크 등의 기억매체에 다운로드하여 공급될 수 있다. 상기 프로그램은, 본 발명의 프로그램을 구성하는 프로그램 코드를 복수의 파일로 분할하고, 그 파일들을 다른 홈 페이지로부터 다운로드하여서 공급될 수도 있다.

또한, 전술한 실시예의 기능은, 그 프로그램의 지시에 근거하여, 컴퓨터상에서 가동하고 있는 OS등과 협력하여 실현된다.

본 발명을 예시적 실시예들을 참조하여 설명하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알아야 할 것이다. 이하의 청구범위는, 이러한 모든 변형 및 동등한 구조 및 기능을 포함하도록 아주 넓게 해석되어야 한다.

Claims

화상을 입력하는 입력 수단(S109,S110)과,

상기 입력 수단으로부터 입력된 화상으로부터 인물의 얼굴을 검출하는 얼굴 검출수단(S110)과,

상기 얼굴 검출수단에 의해 검출된 얼굴로부터 눈의 개폐 상태에 관계되는 특징량을 산출하는 제1의 산출 수단(S204)과,

상기 제1의 산출 수단에 의해 산출된 특징량과 소정시간 전에 입력된 화상으로부터 검출된 얼굴로부터 산출된 특징량간의 차이를 특징변화량으로서 산출하는 제2의 산출 수단(S205)과,

상기 특징량과 상기 특징변화량에 의거하여 상기 얼굴 검출수단에 의해 검출된 얼굴의 눈의 개폐도를 산출하는 제3의 산출 수단(S206,S207,S209,S210)을 구비한 것을 특징으로 하는 정보처리장치.
제 1 항에 있어서,

상기 제1의 산출 수단에 의해 산출된 특징량과 상기 제2의 산출 수단에 의해 산출된 특징변화량에 대한 가중치를 설정하는 가중 수단(S208)을 더 구비하고,

상기 제3의 산출 수단은, 상기 가중 수단에 의해 가중치가 설정된 상기 특징량과 상기 특징변화량에 의거하여 상기 얼굴 검출수단에 의해 검출된 얼굴의 눈의 개폐도를 산출하는 것을 특징으로 하는 정보처리장치.
제 2 항에 있어서,

상기 제1의 산출 수단은, 상기 입력 수단으로부터 소정시간내에 입력된 복수의 화상으로부터 검출된 인물의 얼굴로부터 인물의 눈의 개폐 상태에 관계되는 특징량을 산출하고,

상기 제3의 산출 수단은, 상기 제1의 산출 수단에 의해 상기 복수의 화상으로부터 산출된 복수의 특징량에 있어서의 최대값과 최소값간의 차이가, 미리 설정된 임계치와 소정의 관계일 경우에는, 상기 가중된 특징량에만 의거하여 상기 얼굴 검출수단에 의해 검출된 얼굴의 눈의 개폐도를 산출하는 것을 특징으로 하는 정보처리장치.
제 2 항에 있어서,

상기 제1의 산출 수단은, 상기 입력 수단으로부터 소정시간내에 입력된 복수의 화상으로부터 검출된 인물의 얼굴로부터 인물의 눈의 개폐 상태에 관계되는 특징량을 산출하고,

상기 가중 수단은, 상기 제1의 산출 수단에 의해 상기 복수의 화상으로부터 산출된 복수의 특징량에 의거하여 상기 특징량과 상기 특징변화량에 대하여 설정한 가중치를 변경하는 것을 특징으로 하는 정보처리장치.
제 4 항에 있어서,

상기 제1의 산출 수단은, 눈의 개폐 상태에 관계된 상기 특징량으로서 동공의 특징량을 산출하고,

상기 가중 수단은, 상기 제1의 산출 수단에 의해 상기 복수의 화상으로부터 산출된 복수의 특징량에 있어서의 최대값과 최소값간의 차이가 소정임계치보다 작을 경우에는, 상기 특징량에 대해 설정한 가중치보다도 상기 특징변화량에 대한 가중치를 크게 설정하는 것을 특징으로 하는 정보처리장치.
제 4 항에 있어서,

상기 제1의 산출 수단은, 눈의 개폐 상태에 관계된 특징량으로서 동공의 특징량을 산출하고,

상기 가중 수단은, 상기 제1의 산출 수단에 의해 상기 복수의 화상으로부터 산출된 복수의 특징량에 있어서의 최대값과 최소값간의 차이가 소정임계치보다 클 경우에는, 상기 특징변화량에 대해 설정한 가중치보다도 상기 특징량에 대한 가중치를 크게 설정하는 것을 특징으로 하는 정보처리장치.
제 1 항에 있어서,

상기 제3의 산출 수단에 의해 산출된 눈의 개폐도를 임계치 처리 함에 의해 눈의 개폐 판정을 행하는 판정 수단(S210,S211)을 더 구비하는 것을 특징으로 하는 정보처리장치.
화상을 입력하는 것(S109,S110)과,

상기 화상을 입력하는 것에서 입력된 화상으로부터 인물의 얼굴을 검출하는 것(S110)과,

상기 얼굴을 검출하는 것에서 검출된 얼굴로부터 눈의 개폐 상태에 관계된 특징량을 산출하는 것(S204)과,

상기 특징량을 산출하는 것에서 산출된 특징량과 소정시간 전에 입력된 화상으로부터 검출된 얼굴로부터 산출된 특징량간의 차이를, 특징변화량으로서 산출하는 것(S205)과,

상기 특징량과 상기 특징변화량에 의거하여 상기 얼굴을 검출하는 것에서 검출된 얼굴의 눈의 개폐도를 산출하는 것(S206,S207,S209,S210)을 포함하는 것을 특징으로 하는 눈의 개폐도 판정 방법.
화상을 입력하는 입력 수단(S109,S110)과,

상기 입력 수단으로부터 입력된 화상으로부터 인물의 얼굴을 검출하는 얼굴 검출수단(S110)과,

상기 얼굴 검출수단에 의해 검출된 얼굴로부터 눈의 개폐 상태에 관계되는 특징량을 산출하는 제1의 산출 수단(S204)과,

상기 제1의 산출 수단에 의해 산출된 특징량과 소정시간 전에 입력된 화상으로부터 검출된 얼굴로부터 산출된 특징량간의 차이를 특징변화량으로서 산출하는 제2의 산출 수단(S205)과,

상기 특징량과 상기 특징변화량에 의거하여 상기 얼굴 검출수단에 의해 검출된 얼굴의 눈의 개폐도를 산출하는 제3의 산출 수단(S206,S207,S209,S210)으로서 컴퓨터가 기능하게 하는 컴퓨터 프로그램을 기억한 컴퓨터 판독 가능한 기억 매체.
화상을 입력하는 입력 수단(S109,S110)과,

상기 입력 수단으로부터 입력된 화상으로부터 인물의 얼굴을 검출하는 얼굴 검출수단(S110)과,

상기 얼굴 검출수단에 의해 검출된 얼굴로부터 눈의 개폐 상태에 관계되는 특징량을 산출하는 제1의 산출 수단(S204)과,

상기 제1의 산출 수단에 의해 산출된 특징량과 소정시간 전에 입력된 화상으로부터 검출된 얼굴로부터 산출된 특징량간의 차이를 특징변화량으로서 산출하는 제2의 산출 수단(S205)과,

상기 특징량과 상기 특징변화량에 의거하여 상기 얼굴 검출수단에 의해 검출된 얼굴의 눈의 개폐도를 산출하는 제3의 산출 수단(S206,S207,S209,S210)과,

상기 제3의 산출 수단에 의해 산출된 눈의 개폐도를 임계치 처리 함으로써 눈의 개폐 판정을 행하는 판정수단(S210,S211)과,

상기 판정수단에 의한 눈의 개폐도 판정의 결과에 의거하여 촬영하는 촬상수단(101,102,103,112,S114,S115)을 구비한 것을 특징으로 하는 촬상장치(100).