KR20170135573A - 운전자 시선 방향 검출 장치 - Google Patents

운전자 시선 방향 검출 장치 Download PDF

Info

Publication number
KR20170135573A
KR20170135573A KR1020160067709A KR20160067709A KR20170135573A KR 20170135573 A KR20170135573 A KR 20170135573A KR 1020160067709 A KR1020160067709 A KR 1020160067709A KR 20160067709 A KR20160067709 A KR 20160067709A KR 20170135573 A KR20170135573 A KR 20170135573A
Authority
KR
South Korea
Prior art keywords
driver
unit
face
pattern
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020160067709A
Other languages
English (en)
Other versions
KR102141638B1 (ko
Inventor
박광범
전혜영
최훈
Original Assignee
전자부품연구원
주식회사코어벨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원, 주식회사코어벨 filed Critical 전자부품연구원
Priority to KR1020160067709A priority Critical patent/KR102141638B1/ko
Publication of KR20170135573A publication Critical patent/KR20170135573A/ko
Application granted granted Critical
Publication of KR102141638B1 publication Critical patent/KR102141638B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 실시예에 따르면 차량 내에 설치되어 운전자의 안면에 제1파장 대역의 패턴광을 조사하는 패턴 발생부; 상기 패턴광이 투영된 운전자의 안면을 촬영하여 제1영상 데이터를 생성하는 제1카메라부; 상기 운전자의 눈동자 영역을 촬영하여 제2영상 데이터를 생성하는 제2카메라부; 및 상기 제1영상 데이터를 이용하여 운전자의 안면 방향을 검출하고, 상기 제2영상 데이터를 이용하여 운전자의 눈동자 방향을 검출하며, 상기 운전자의 안면 방향 및 눈동자 방향을 조합하여 운전자의 시선 방향을 산출하는 제어부를 포함하는 운전자 시선 방향 검출 장치를 제공한다.

Description

운전자 시선 방향 검출 장치{APPARATUS FOR DETECTING OF DRIVER GAZE DIRECTION}
본 발명의 일실시예는 운전자 시선 방향 검출 장치에 관한 것으로 더욱 상세하게는 차량에 장착되는 운전자 시선 방향 검출 장치에 관한 것이다.
최근 급격한 IT 기술의 발전은 자동차 산업에도 많은 영향을 미치고 있으며, 다양한 IT 기술이 차량에 접목되고 있는 실정이다.
또한, 차량 운행에 있어서의 안전을 보장하기 위한 다양한 안전 운행 보조 기능이 차량에 탑재되고 있다.
이러한 추세에 따라 운전자가 바라보는 방향을 판단하기 위하여 카메라를 이용하여 운전자의 눈동자를 검출하고 눈동자의 방향을 파악함으로써 운전자가 바라보는 시선을 검출하는 방식이 연구 개발 되고 있다. 이와 같이 눈동자를 검출하여 운전자의 시선을 판단하는 방식은 안경, 선글라스, 마스크 등을 착용한 경우 눈동자 검출의 확률이 낮아지거나 오류가 발생할 수 있다. 또한, 운전자의 얼굴이 정면을 바라보고 있지 않은 경우에는 눈동자의 일부가 가려지게 되어 잘못된 결과를 출력한다는 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는 운전자 안면에 착용된 물체에 상관없이 정확한 운전자의 시선 방향을 검출할 수 있는 운전자 시선 방향 검출 장치를 제공하는데 있다.
또한, 운전자의 얼굴 방향, 회전, 움직임에 따른 오류없이 정확한 운전자의 시선 방향을 검출할 수 있는 운전자 시선 방향 검출 장치를 제공하는데 있다.
또한, 운전자의 시선 방향에 따른 위험 정도를 감지하여 경고 신호를 출력하거나 차량을 자동으로 제동시킬 수 있는 운전자 시선 방향 검출 장치를 제공하는데 있다.
본 발명의 실시예에 따르면 차량 내에 설치되어 운전자의 안면에 제1파장 대역의 패턴광을 조사하는 패턴 발생부; 상기 패턴광이 투영된 운전자의 안면을 촬영하여 제1영상 데이터를 생성하는 제1카메라부; 상기 운전자의 눈동자 영역을 촬영하여 제2영상 데이터를 생성하는 제2카메라부; 및 상기 제1영상 데이터를 이용하여 운전자의 안면 방향을 검출하고, 상기 제2영상 데이터를 이용하여 운전자의 눈동자 방향을 검출하며, 상기 운전자의 안면 방향 및 눈동자 방향을 조합하여 운전자의 시선 방향을 산출하는 제어부를 포함하는 운전자 시선 방향 검출 장치를 제공한다.
상기 제1카메라부는 상기 제1파장 대역을 통과시키는 밴드 패스 필터를 더 포함하여 구성될 수 있다.
상기 운전자의 눈동자 영역에 상기 제1파장 대역과 상이한 제2파장 대역의 빛을 조사하는 조명부를 더 포함하여 구성될 수 있다.
상기 제2카메라부는 상기 제2파장 대역을 통과시키는 밴드 패스 필터를 더 포함하여 구성될 수 있다.
상기 제1파장 대역은 적외선 영역일 수 있다.
상기 패턴 발생부는 가로줄, 세로줄 또는 격자 모양의 패턴광을 조사할 수 있다.
상기 제어부는 상기 제1영상 데이터에서 제1파장 대역의 패턴을 감지하고, 상기 패턴의 변형 정도를 분석하여 상기 운전자의 안면 방향을 검출할 수 있다.
상기 제어부는 상기 제2영상 데이터에서 동공의 위치를 분석하여 상기 운전자의 눈동자 방향을 검출할 수 있다.
상기 패턴 발생부 및 상기 제1카메라부 중 적어도 하나는 상기 운전자 안면을 트래킹 할 수 있다.
상기 조명부 및 상기 제2카메라부 중 적어도 하나는 상기 운전자 눈동자 영역을 트래킹 할 수 있다.
상기 제어부의 제어에 따라 상기 시선 방향이 기 설정된 전방 주시 범위를 벗어난 경우 경고 신호를 출력하는 경고부를 더 포함하여 구성될 수 있다.
상기 제어부의 제어에 따라 상기 상기 시선 방향이 임계 시간을 초과하여 기 설정된 전방 주시 범위를 벗어난 경우 경고 신호를 출력하는 경고부를 더 포함하여 구성될 수 있다.
상기 제어부는 상기 상기 시선 방향이 임계 시간을 초과하여 기 설정된 전방 주시 범위를 벗어난 경우 차량 제동신호를 출력할 수 있다.
상기 제어부는 상기 차량 전방으로부터 기 설정된 거리 이내에 물체가 감지된 경우에 있어서, 상기 시선 방향이 기 설정된 전방 주시 범위를 벗어난 경우 차량 제동신호를 출력할 수 있다.
본 발명인 운전자 시선 방향 검출 장치는 운전자 안면에 착용된 물체에 상관없이 정확한 운전자의 시선 방향을 검출할 수 있다.
또한, 운전자의 얼굴 방향, 회전, 움직임에 따른 오류없이 정확한 운전자의 시선 방향을 검출할 수 있다.
또한, 운전자의 시선 방향에 따른 위험 정도를 감지하여 경고 신호를 출력하거나 차량을 자동으로 제동시킬 수 있다.
도1은 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 구성도이고,
도2 내지 도5는 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 동작을 설명하기 위한 개념도이고,
도6내지 도7은 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 동작 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도1은 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 구성도이고, 도2는 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 동작을 설명하기 위한 개념도이다.
도1 및 도2를 참조하면, 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치(100)는 패턴 발생부(10), 제1카메라부(20), 조명부(30), 제2카메라부(40), 제어부(50) 및 경고부(60)를 포함하여 구성될 수 있다. 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치(100)는 차량 내부에 장착되어 차량 제어 시스템과 연동될 수 있다. 예를 들어 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치(100)는 차량 제어 시스템으로부터 차량 센서 데이터, 주행 정보, 운전석 설정 정보 등을 읽어 들여 사용할 수 있으며, 차량을 제어하기 위한 명령을 출력하여 차량을 제어할 수 있다.
패턴 발생부(10)는 차량 내에 설치되어 운전자(1)의 안면에 제1파장 대역의 패턴광을 조사할 수 있다. 패턴 발생부(10)는 레이저 다이오드, LED 등이 모듈 형태의 광원으로 소형화 되어 차량 계기판 또는 센터페시아에 장착될 수 있다.
패턴 발생부(10)는 가로줄, 세로줄 또는 격자 모양의 패턴광을 조사할 수 있다. 그러나 이에 한정되지 않고, 패턴광은 실선, 점선 및 마크 중 적어도 하나를 포함하여 구성될 수 있으며, 다양한 모양의 패턴을 포함하는 개념일 수 있다. 패턴광은 2차원 패턴으로 구성될 수 있으며 사람의 얼굴 크기와 유사한 영역 내에서 패턴의 왜곡 또는 변형을 검출할 수 있는 간격으로 마크, 실선, 점선 등이 배열되어 있다.
패턴 발생부(10)는 비가시광선 파장 대역의 빛을 운전자(1)의 안면으로 조사할 수 있으며, 예를 들면 적외선 파장 대역의 광을 운전자(1)의 안면으로 조사할 수 있다. 패턴 발생부(10)는 차량 제어 시스템으로부터 수신한 운전석 설정 정보에 따라 운전석의 높이를 판단하여 운전자(1)의 안면 위치로 예측되는 방향으로 패턴광을 조사할 수 있다.
패턴 발생부(10)는 제어부(50)의 제어에 따라 동작할 수 있으며, 제어부(50)는 운전자(1)의 착석 여부, 차량의 주행 여부, 운전석 설정 정보 등을 이용하여 패턴 발생부(10)의 동작 여부를 결정할 수 있다. 패턴 발생부(10)는 틸팅 장치를 더 포함하여 구성될 수 있으며, 제어부(50)의 제어에 따라 운전자(1)의 안면을 트래킹 하며 패턴광을 조사할 수 있다.
다음으로, 제1카메라부(20)는 패턴광이 투영된 운전자(1)의 안면을 촬영하여 제1영상 데이터를 생성할 수 있다. 제1카메라부(20)는 제1파장 대역을 통과시키는 밴드 패스 필터를 포함하여 구성될 수 있다. 제1카메라부의 렌즈(21)는 패턴 발생부의 광원(11)이 지향하는 방향과 동일한 방향을 지향하면서 운전자(1)의 안면을 촬영하여 제1영상 데이터를 생성한다. 이 때 제1카메라부(20)는 제1파장 대역 이외의 빛은 차단함으로써 운전자(1) 얼굴에 투영된 패턴광에 대한 영상 데이터를 생성할 수 있다. 즉, 제1카메라부(20)가 생성하는 제1영상 데이터는 운전자의 안면에 투영된 패턴광 이미지 또는 영상을 의미할 수 있다. 패턴 발생부(10)에서 조사된 2차원 패턴광은 운전자 안면 윤곽에 따라 변형됨으로써 3차원 형상을 가지게 된다.
제1카메라부(20)는 제어부(50)의 제어에 따라 동작할 수 있으며, 제어부(50)는 운전자(1)의 착석 여부, 차량의 주행 여부, 운전석 설정 정보 등을 이용하여 제1카메라부(20)의 동작 여부를 결정할 수 있다. 제1카메라부(20)는 틸팅 장치를 더 포함하여 구성될 수 있으며, 제어부(50)의 제어에 따라 운전자의 안면을 트래킹하며 촬영할 수 있다.
다음으로, 조명부(30)는 운전자(1)의 눈동자 영역에 제1파장 대역과 상이한 제2파장 대역의 빛을 조사할 수 있다. 조명부(30)는 차량 내에 설치되어 운전자(1)의 안면에 제2파장 대역의 빛을 조사할 수 있다. 조명부(30)는 레이저 다이오드, LED 등이 모듈 형태의 광원으로 소형화 되어 차량 계기판 또는 센터페시아에 장착될 수 있다.
제2파장 대역의 빛은 가시광선을 포함할 수 있으며, 조명부(30)는 눈의 피로를 최소화하는 파장 대역의 빛을 운전자(1)의 눈동자 영역으로 조사할 수 있다. 또한, 조명부(30)는 주변 조도에 따라 상이한 밝기의 빛을 조사할 수 있으며 자연광에 의하여 제2영상 데이터에서 눈동자 영역이 용이하게 검출 가능한 경우에는 동작하지 않을 수도 있다.
조명부(30)는 차량 제어 시스템으로부터 수신한 운전석 설정 정보에 따라 운전석의 높이를 판단하여 운전자(1)의 눈동자 영역으로 예측되는 방향으로 빛을 조사할 수 있다. 조명부(30)는 틸팅 장치를 더 포함하여 구성될 수 있으며, 제어부(50)의 제어에 따라 운전자(1)의 눈동자 영역을 트래킹하며 빛을 조사할 수 있다.
조명부(30)는 제어부(50)의 제어에 따라 동작할 수 있으며, 제어부(50)는 운전자(1)의 착석 여부, 차량의 주행 여부, 운전석 설정 정보 등을 이용하여 조명부(30)의 동작 여부를 결정할 수 있다.
다음으로, 제2카메라부(40)는 운전자(1)의 눈동자 영역을 촬영하여 제2영상 데이터를 생성할 수 있다. 제2카메라부(40)는 제2파장 대역의 빛을 통과시키는 밴드 패스 필터를 포함하여 구성될 수 있다. 제2카메라부의 렌즈(41)는 조명부의 광원(31)이 지향하는 방향과 동일한 방향을 지향하면서 운전자의 눈동자 영역을 촬영하여 제2영상 데이터를 생성한다. 이 때 제2카메라부(40)는 제2파장 대역 이외의 빛은 차단함으로써 패턴 발생부(10)에서 조사한 패턴광의 영향을 받지 않고 운전자(1)의 눈동자 영역을 선명하게 촬영할 수 있다.
제2카메라부(40)는 제어부(50)의 제어에 따라 동작할 수 있으며, 제어부(50)는 운전자(1)의 착석 여부, 차량의 주행 여부, 운전석 설정 정보 등을 이용하여 제2카메라부(40)의 동작 여부를 결정할 수 있다. 제2카메라부(40)는 틸팅 장치를 더 포함하여 구성될 수 있으며, 제어부(50)의 제어에 따라 운전자(1)의 눈동자 영역을 트래킹하며 촬영할 수 있다.
제어부(50)는 제1영상 데이터를 이용하여 운전자(1)의 안면 방향을 검출하고, 제2영상 데이터를 이용하여 운전자(1)의 눈동자 방향을 검출하며, 운전자(1)의 안면 방향 및 눈동자 방향을 조합하여 운전자(1)의 시선 방향을 산출할 수 있다.
도3 내지 도4는 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 동작을 설명하기 위한 개념도이다.
도3을 참고하면, 제어부는 제1영상 데이터(12)에서 제1파장 대역의 패턴을 감지하고, 패턴의 변형 정도를 분석하여 운전자(1)의 안면 방향을 검출할 수 있다. 2차원 평면 형태의 격자 구조를 가지는 패턴광은 운전자(1)의 안면에 투영되면 운전자의 안면 구조, 눈, 코, 입 등에 의하여 변형 또는 왜곡된 3차원 형태를 가지게 된다. 제어부는 패턴광을 구성하는 격자선의 변형 또는 왜곡 정도를 분석함으로써 운전자의 눈, 코, 입의 위치를 파악하게 되고 이를 통하여 운전자(1)의 안면 방향을 검출하게 된다. 패턴광의 변형 또는 왜곡 정도는 운전자(1)의 안면 방향에 따라 상이하게 되므로 제어부는 제1영상 데이터(12)의 변형 또는 왜곡 정도를 분석함으로써 운전자(1)의 안면이 향하고 있는 방향을 검출할 수 있다.
도4를 참고하면, 제어부는 제2영상 데이터(22)에서 동공(3)의 위치를 분석하여 운전자(1)의 눈동자 방향을 검출할 수 있다. 제어부는 원의 기하학적 특성을 이용하여 동공(3)의 중심과 반경을 검출할 수 있으며, 예를 들면 제2영상 데이터에서 수리 형태학 연산을 통해 동공의 원형 윤곽 후보점들을 추출한 후, 원형 윤곽 상의 네 점을 이용하여 두 개의 선분을 구하고 이 두 선분의 수직이등분선들 간의 교차점을 원의 중심으로 삼음으로써 동공(3)의 중심과 반경을 검출할 수 있다. 제어부는 동공(3)의 반경과 중심을 검출함으로써 눈동자 영역의 일부가 가려져 있어도 동공(3)의 위치를 검출할 수 있다.
또는 제어부는 제2영상 데이터(22)에서 명암 대비를 통하여 동공(3)의 위치를 분석할 수 있다. 즉, 제어부는 홍채 영역과 동공 영역을 구분하여 대비 명암이 높게 나타나는 영역을 동공(3)의 위치로 분석하여 운전자의 눈동자 방향을 검출할 수 있다.
도5를 참고하면, 제어부는 안면방향과 눈동자 방향을 조합하여 운전자의 시선 방향을 산출한다. 운전자의 코를 기준으로 양분하는 기준선을 중심으로 하여 오른쪽 방향을 양의 방향으로, 왼쪽 방향을 음의 방향으로 정의했을 때 운전자의 시선 방향은 안면방향의 각도와 눈동자 방향의 각도의 합산값이 된다.
제어부는 하기 수학식 1에 따라 운전자의 시선 방향을 검출할 수 있다.
[수학식 1]
Figure pat00001
즉, 운전자의 시선 방향은 운전자의 안면이 지향하고 있는 방향에서 눈동자의 움직임을 고려한 것으로 운전자가 보고 있는 방향을 정확하게 검출하기 위한 것이다. 예를 들어 운전자의 안면은 정면을 향하고 있지만 눈동자는 오른쪽을 바라보고 있거나, 운전자의 안면은 오른쪽을 향하고 눈동자는 왼쪽을 향하는 경우 등에 있어서, 운전자의 안면 방향 또는 눈동자 방향의 검출만으로는 정확한 운전자의 시선을 검출할 수 없다. 따라서, 본 발명의 실시예에서는 운전자의 안면 방향과 눈동자의 방향을 조합함으로써 정확한 운전자의 시선 방향을 검출할 수 있다.
다시 도1을 참조하면, 경고부(60)는 시선 방향이 기 설정된 전방 주시 범위를 벗어난 경우 경고 신호를 출력할 수 있다. 전방 주시 범위는 주행 시 전방 시야 확보가 가능한 임계 범위를 의미할 수 있으며 경고부(60)는 제어부(50)의 제어에 따라 운전자의 시선 방향이 전방 주시 범위를 벗어난 경우에는 시각적 또는 청각적 경고 신호를 외부로 출력할 수 있다.
또는 경고부(60)는 시선 방향이 임계 시간을 초과하여 기 설정된 전방 주시 범위를 벗어난 경우 경고 신호를 출력할 수 있다. 제어부(50)는 경고부(50)를 제어하여 운전자의 시선 방향이 전방 주시 범위를 벗어나 있는 시간이 길어지는 경우에 시각적 또는 청각적 경고 신호를 외부로 출력할 수 있다. 이 때 임계 시간은 주행 상태에 따라 달라질 수 있으며 예를 들면 주행속도에 따라 상이하게 설정될 수 있다.
또는 제어부는 시선 방향이 임계 시간을 초과하여 기 설정된 전방 주시 범위를 벗어난 경우 차량 제동신호를 출력할 수 있다. 차량 제동신호는 차량 제어 시스템을 통하여 차량 제동 장치를 동작시키게 된다. 이 때 제어부는 경고 신호를 출력하기 위한 임계 시간과 차량 제동신호를 출력하기 위한 임계시간을 상이하게 설정할 수 있다.
또는 제어부는 차량 전방으로부터 기 설정된 거리 이내에 물체가 감지된 경우에 있어서, 시선 방향이 기 설정된 전방 주시 범위를 벗어난 경우 차량 제동신호를 출력할 수 있다. 제어부는 차량 제어 시스템으로부터 물체 감지 정보를 수신할 수 있다.
도6내지 도7은 본 발명의 실시예에 따른 운전자 시선 방향 검출 장치의 동작 순서도이다.
도6을 참고하면, 제어부는 시선 방향이 전방 주시 범위 내에 있는지를 지속적으로 판단한다(S601).
제어부는 시선 방향이 전방 주시 범위를 벗어나 있는 경우 1차 경고신호를 출력한다. 1차 경고 신호는 예를 들면 청각적 신호일 수 있다(S602).
다음으로, 제어부는 시선 방향이 제1임계 시간 동안 전방 주시 범위를 벗어나 있는 경우 2차 경고신호를 출력한다. 2차 경고 신호는 1차 경고 신호보다 크기가 강한 청각적 신호 일 수 있으며, 시각적 신호가 함께 출력될 수 있다(S603~604).
다음으로, 제어부는 시선 방향이 제2임계 시간 동안 전방 주시 범위를 벗어나 있는 경우 차량 제동 신호를 출력한다. 제2임계 시간은 제1임계 시간보다 길게 설정되어 있으며, 차량 주행 정보에 따라 자동으로 변경 설정될 수 있다(S605~606).
즉, 차량 주행 중에 운전자의 시선 방향이 전방 주시 범위를 벗어난 시간대에 따라 1차 경고 신호, 2차 경고 신호를 순차적으로 출력하며 사고 위험이 있다고 판단되는 시간에 이르는 경우에는 자동으로 차량 제동 신호를 출력하여 차량을 멈추도록 할 수 있다.
도7을 참고하면, 제어부는 시선 방향이 전방 주시 범위를 벗어나 있는 경우 경고신호를 출력한다. 경고 신호는 예를 들면 청각적 신호일 수 있다(S701~702).
다음으로, 제어부는 차량 전방으로부터 기 설정된 거리 이내에 물체가 감지된 상태에서, 시선 방향이 지속적으로 기 설정된 전방 주시 범위를 벗어나 있다면 차량 제동신호를 출력할 수 있다(S703~704).
즉, 차량 주행 중에 운전자의 시선 방향이 전방 주시 범위를 벗어난 경우 1차적으로 경고 신호를 출력하며, 이 상태에서 전방에 물체가 감지된 경우에는 자동으로 차량 제동 신호를 출력하여 차량을 멈추도록 할 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
10: 패턴 발생부
20: 제1카메라부
30: 조명부
40: 제2카메라부
50: 제어부
60: 경고부

Claims (14)

  1. 차량 내에 설치되어 운전자의 안면에 제1파장 대역의 패턴광을 조사하는 패턴 발생부;
    상기 패턴광이 투영된 운전자의 안면을 촬영하여 제1영상 데이터를 생성하는 제1카메라부;
    상기 운전자의 눈동자 영역을 촬영하여 제2영상 데이터를 생성하는 제2카메라부; 및
    상기 제1영상 데이터를 이용하여 운전자의 안면 방향을 검출하고, 상기 제2영상 데이터를 이용하여 운전자의 눈동자 방향을 검출하며, 상기 운전자의 안면 방향 및 눈동자 방향을 조합하여 운전자의 시선 방향을 산출하는 제어부를 포함하는 운전자 시선 방향 검출 장치.
  2. 제1항에 있어서,
    상기 제1카메라부는 상기 제1파장 대역을 통과시키는 밴드 패스 필터를 더 포함하는 운전자 시선 방향 검출 장치.
  3. 제1항에 있어서,
    상기 운전자의 눈동자 영역에 상기 제1파장 대역과 상이한 제2파장 대역의 빛을 조사하는 조명부를 더 포함하는 운전자 시선 방향 검출 장치.
  4. 제3항에 있어서,
    상기 제2카메라부는 상기 제2파장 대역을 통과시키는 밴드 패스 필터를 더 포함하는 운전자 시선 방향 검출 장치.
  5. 제1항에 있어서,
    상기 제1파장 대역은 적외선 영역인 운전자 시선 방향 검출 장치.
  6. 제1항에 있어서,
    상기 패턴 발생부는 가로줄, 세로줄 또는 격자 모양의 패턴광을 조사하는 운전자 시선 방향 검출 장치.
  7. 제1항에 있어서,
    상기 제어부는 상기 제1영상 데이터에서 제1파장 대역의 패턴을 감지하고, 상기 패턴의 변형 정도를 분석하여 상기 운전자의 안면 방향을 검출하는 운전자 시선 방향 검출 장치.
  8. 제1항에 있어서,
    상기 제어부는 상기 제2영상 데이터에서 동공의 위치를 분석하여 상기 운전자의 눈동자 방향을 검출하는 운전자 시선 방향 검출 장치.
  9. 제1항에 있어서,
    상기 패턴 발생부 및 상기 제1카메라부 중 적어도 하나는 상기 운전자 안면을 트래킹하는 운전자 시선 방향 검출 장치.
  10. 제3항에 있어서,
    상기 조명부 및 상기 제2카메라부 중 적어도 하나는 상기 운전자 눈동자 영역을 트래킹하는 운전자 시선 방향 검출 장치.
  11. 제1항에 있어서,
    상기 제어부의 제어에 따라 상기 시선 방향이 기 설정된 전방 주시 범위를 벗어난 경우 경고 신호를 출력하는 경고부를 더 포함하는 운전자 시선 방향 검출 장치.
  12. 제1항에 있어서,
    상기 제어부의 제어에 따라 상기 상기 시선 방향이 임계 시간을 초과하여 기 설정된 전방 주시 범위를 벗어난 경우 경고 신호를 출력하는 경고부를 더 포함하는 운전자 시선 방향 검출 장치.
  13. 제1항에 있어서,
    상기 제어부는 상기 상기 시선 방향이 임계 시간을 초과하여 기 설정된 전방 주시 범위를 벗어난 경우 차량 제동신호를 출력하는 운전자 시선 방향 검출 장치.
  14. 제1항에 있어서,
    상기 제어부는 상기 차량 전방으로부터 기 설정된 거리 이내에 물체가 감지된 경우에 있어서, 상기 시선 방향이 기 설정된 전방 주시 범위를 벗어난 경우 차량 제동신호를 출력하는 운전자 시선 방향 검출 장치.
KR1020160067709A 2016-05-31 2016-05-31 운전자 시선 방향 검출 장치 Active KR102141638B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160067709A KR102141638B1 (ko) 2016-05-31 2016-05-31 운전자 시선 방향 검출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160067709A KR102141638B1 (ko) 2016-05-31 2016-05-31 운전자 시선 방향 검출 장치

Publications (2)

Publication Number Publication Date
KR20170135573A true KR20170135573A (ko) 2017-12-08
KR102141638B1 KR102141638B1 (ko) 2020-08-06

Family

ID=60920282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160067709A Active KR102141638B1 (ko) 2016-05-31 2016-05-31 운전자 시선 방향 검출 장치

Country Status (1)

Country Link
KR (1) KR102141638B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858403A (zh) * 2019-01-16 2019-06-07 深圳壹账通智能科技有限公司 一种监测司机开车使用手机的方法及摄像装置
CN109969195A (zh) * 2019-03-25 2019-07-05 陕西科技大学 一种驾驶员面部行为异常报警系统及方法和基于其的车辆
JP2020043544A (ja) * 2018-09-13 2020-03-19 キヤノン株式会社 撮像装置およびその制御方法、プログラムならびに記憶媒体
WO2021048765A1 (en) * 2019-09-11 2021-03-18 3M Innovative Properties Company Scene content and attention system
KR20210065279A (ko) * 2019-11-26 2021-06-04 한국전자통신연구원 운전자 활성도 검출 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置
JP2006219000A (ja) * 2005-02-10 2006-08-24 Honda Motor Co Ltd 車両用操作装置
JP2007072630A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車載警報装置
JP2007293818A (ja) * 2006-03-28 2007-11-08 Fujifilm Corp 画像記録装置、画像記録方法、および画像記録プログラム
JP2009266086A (ja) * 2008-04-28 2009-11-12 Omron Corp 視線検出装置および方法、並びに、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置
JP2006219000A (ja) * 2005-02-10 2006-08-24 Honda Motor Co Ltd 車両用操作装置
JP2007072630A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車載警報装置
JP2007293818A (ja) * 2006-03-28 2007-11-08 Fujifilm Corp 画像記録装置、画像記録方法、および画像記録プログラム
JP2009266086A (ja) * 2008-04-28 2009-11-12 Omron Corp 視線検出装置および方法、並びに、プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020043544A (ja) * 2018-09-13 2020-03-19 キヤノン株式会社 撮像装置およびその制御方法、プログラムならびに記憶媒体
CN109858403A (zh) * 2019-01-16 2019-06-07 深圳壹账通智能科技有限公司 一种监测司机开车使用手机的方法及摄像装置
CN109969195A (zh) * 2019-03-25 2019-07-05 陕西科技大学 一种驾驶员面部行为异常报警系统及方法和基于其的车辆
CN109969195B (zh) * 2019-03-25 2024-02-27 陕西科技大学 一种驾驶员面部行为异常报警系统及方法和基于其的车辆
WO2021048765A1 (en) * 2019-09-11 2021-03-18 3M Innovative Properties Company Scene content and attention system
KR20210065279A (ko) * 2019-11-26 2021-06-04 한국전자통신연구원 운전자 활성도 검출 시스템 및 방법
US11423675B2 (en) 2019-11-26 2022-08-23 Electronics And Telecommunications Research Institute System and method for detecting activeness of driver

Also Published As

Publication number Publication date
KR102141638B1 (ko) 2020-08-06

Similar Documents

Publication Publication Date Title
CN101356078B (zh) 安全行驶辅助装置
JP4497305B2 (ja) 運転者状態判定装置
JP5592441B2 (ja) 配光制御装置
CN104780834B (zh) 生物体信息计测装置及使用该装置的输入装置
KR20170135573A (ko) 운전자 시선 방향 검출 장치
TWI522257B (zh) 車用安全系統及其運作方法
JPH0761257A (ja) 車両用表示装置
KR101739519B1 (ko) Hud 정보가 최적의 위치에 표시되도록 하는 장치
JPH06230132A (ja) 車両用障害物検出装置
US20070291231A1 (en) Eyeglass detection method
JP6433383B2 (ja) 投光装置
JPH0796768A (ja) 前方注視度検知装置
KR20140107880A (ko) 졸음 운전 방지 시스템 및 그 방법
KR20130013711A (ko) 자동 미러 제어 장치 및 그 방법
KR101680833B1 (ko) 보행자 검출 경보 장치 및 방법
JP2988235B2 (ja) 車両用視線方向検出装置
US12511780B2 (en) Device, method, and computer program for estimating seat position
KR101360412B1 (ko) 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
CN115214665B (zh) 分心判定装置
JP6714425B2 (ja) 運転支援装置
JPH08297019A (ja) 車両用視線方向計測装置
JP7014680B2 (ja) 注視対象物検知装置、注視対象物検知方法、およびプログラム
JP5024161B2 (ja) 顔位置推定装置
KR102072910B1 (ko) 졸음 인식 장치를 이용한 졸음 인식 방법
JP2005284473A (ja) 運転支援システム、自動車、および運転支援方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160531

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20160714

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190426

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160531

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200306

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200713

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200730

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200731

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230621

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240624

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20250624

Start annual number: 6

End annual number: 6