JP6888542B2 - 眠気推定装置及び眠気推定方法 - Google Patents

眠気推定装置及び眠気推定方法 Download PDF

Info

Publication number
JP6888542B2
JP6888542B2 JP2017246603A JP2017246603A JP6888542B2 JP 6888542 B2 JP6888542 B2 JP 6888542B2 JP 2017246603 A JP2017246603 A JP 2017246603A JP 2017246603 A JP2017246603 A JP 2017246603A JP 6888542 B2 JP6888542 B2 JP 6888542B2
Authority
JP
Japan
Prior art keywords
movement
mouth
drowsiness
type
duration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017246603A
Other languages
English (en)
Other versions
JP2019111090A (ja
Inventor
勲 青柳
勲 青柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017246603A priority Critical patent/JP6888542B2/ja
Priority to US16/177,683 priority patent/US10552694B2/en
Priority to CN201811564693.1A priority patent/CN110020583A/zh
Publication of JP2019111090A publication Critical patent/JP2019111090A/ja
Application granted granted Critical
Publication of JP6888542B2 publication Critical patent/JP6888542B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60HARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00Heating, cooling or ventilating devices
    • B60H1/00642Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00742Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60HARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00Heating, cooling or ventilating devices
    • B60H1/00642Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00964Control systems or circuits characterised by including features for automatic and non-automatic control, e.g. for changing from automatic to manual control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Thermal Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Emergency Alarm Devices (AREA)

Description

本発明は、車両の搭乗者の眠気を推定する眠気推定装置の技術分野に関する。
この種の装置として、車両の搭乗者の動きから眠気(言い換えれば、覚醒度)を推定する装置が知られている。例えば特許文献1では、運転者の顔画像を撮像し、目の動き(半眼状態の時間、閉眼時間、開眼時間など)と口の動き(口が半開、口をすぼめるなど)との少なくとも1つに基づいて、運転者の眠気を判定する技術が開示されている。特許文献2では、取得した2つ以上の表情情報(例えば、左右の口角の距離、眉頭の中点と目頭の中間点との距離、上まぶたと下まぶた間の距離などを含む)に基づいて、眠気の度合いを判定するという技術が開示されている。特許文献3では、開眼時間のばらつきと、顔向きのばらつきとから、眠気を感じる前のぼんやり状態を検出するという技術が開示されている。
その他、眠気を検出した場合の対策として、車両の搭乗者に覚醒刺激を与える装置が知られている。例えば特許文献4では、検出された眠気の強度に応じて、提供する覚醒刺激の強度を調整するという技術が開示されている。
特開2008−212298号公報 特開2009−045418号公報 特許第05447657号 特許第05228970号
上述した特許文献1では、口の動きを利用して眠気を判定しているが、口の動きには様々な種類(例えば、会話による動き、食事による動き、眠気による動き等)があり、単なる動きからだけでは正確に眠気を判定できないおそれがある。即ち、口の動きが具体的にどのような要因によるものかを判定できなければ、眠気を精度よく推定することはできないという技術的問題点がある。
本発明は、例えば上記問題点に鑑みてなされたものであり、口の動きを利用して眠気を精度良く推定することが可能な眠気推定装置を提供することを課題とする。
本発明に係る眠気推定装置の一態様では、車両の運転者の顔画像を撮像する撮像手段と、前記顔画像に基づいて、前記運転者の口の動きの継続時間及び周期性の有無を検出する検出手段と、前記継続時間及び前記周期性の有無に基づいて、前記口の動きの種類を判定する判定手段と、前記口の動きの種類に基づいて、前記運転者の眠気を推定する推定手段とを備える。
第1実施形態に係る眠気推定装置の構成を示すブロック図である。 眠気による口の動きの座標変化の一例を示すグラフである。 食事による口の動きの座標変化の一例を示すグラフである。 会話による口の動きの座標変化の一例を示すグラフである。 第1実施形態に係る眠気推定装置による口の動き種判定動作の流れを示すフローチャートである。 口の動きの種類に基づく眠気推定のルックアップテーブル(その1)である。 口の動きの種類に基づく眠気推定のルックアップテーブル(その2)である。 口の動きの種類に応じた覚醒刺激の選択動作の流れを示すフローチャートである。 第2実施形態に係る眠気推定装置の構成を示すブロック図である。 第2実施形態に係る眠気推定装置による眠気推定動作の流れを示すフローチャートである。 目の動き及び口の動きの種類に基づく眠気推定のルックアップテーブル(その1)である。 目の動き及び口の動きの種類に基づく眠気推定のルックアップテーブル(その2)である。
以下、図面を参照して眠気推定装置の実施形態について説明する。
<第1実施形態>
第1実施形態に係る眠気推定装置について、図1から図8を参照して説明する。
<装置構成>
まず、第1実施形態に係る眠気推定装置の構成について、図1を参照して説明する。図1は、第1実施形態に係る眠気推定装置の構成を示すブロック図である。
図1に示すように、第1実施形態に係る眠気推定装置は、カメラ100、処理部200、及び覚醒刺激部300を備えて構成されている。
カメラ100は、例えば車載カメラであり、車両の運転者の顔(特に、目や口の周辺)を撮像可能な位置に配置されている。カメラ100で撮像した画像データは、処理部200に出力される構成となっている。カメラ100は、後述する付記における「撮像手段」の一具体例である。
処理部200は、例えばECU(Electric Control Unit)等のコントローラユニットとして構成されている。処理部200は、口動き検出部210、口動き判定部220及び眠気推定部230を備えている。口動き検出部210は、後述する付記における「検出手段」の一具体例である。口動き判定部220は、後述する付記における「判定手段」の一具体例である。眠気推定部230は、後述する付記における「推定手段」の一具体例である。処理部200が備える各部の動作については、後に詳述する。処理部200は、車両の運転者の眠気を推定し、その推定結果を覚醒刺激部300に出力可能に構成されている。
覚醒刺激部300は、車両の運転者に対して覚醒刺激(即ち、眠気を覚ますことを目的とした刺激)を提供可能に構成されている。覚醒刺激部300は、処理部200から出力された推定結果(即ち、運転者の眠気)に応じて相異なる複数の覚醒刺激を提供する。覚醒刺激の一例として、音声や音楽の再生、エアコンを利用した送風等が挙げられる。覚醒刺激部300は、後述する付記における「提供手段」の一具体例である。
<口の動き種>
次に、第1実施形態に係る眠気推定装置が運転者の眠気を推定する際に用いる「口の動き種」について、図2から図4を参照して説明する。図2は、眠気による口の動きの座標変化の一例を示すグラフである。図3は、食事による口の動きの座標変化の一例を示すグラフである。図4は、会話による口の動きの座標変化の一例を示すグラフである。なお、図2から図4の各データは、口の1点をランドマークとして、その上下方向の座標(Y座標)をプロットしたものである
図2から図4に示すように、口の動きには、何を意図したものかによって相異なる特徴が存在している。例えば、図2に示す眠気による口の動きは、一時的なものであり、動きに周期性がない。具体的には、瞬間的に大きく座標が変化するものの、動いていない時間が比較的多い。図3に示す食事による口の動きは、継続時間も比較的長く、動きに周期性がある。物を噛む動きは周期的となるためである。図4に示す会話による口の動きは、継続時間は比較的長いものの、動きに周期性がない(図中の1周期目と2周期目とでは長さが異なる)。会話する時の口の動きは、同じ動きを繰り返さないためである。
第1実施形態に係る眠気推定装置は、運転者の口の動きを、上述した眠気による動き(図2参照)、食事による動き(図3参照)、会話による動き(図4参照)のいずれかに分類して、運転者の眠気を推定する。
<口の動き種判定動作>
次に、第1実施形態に係る眠気推定装置による口の動き種判定動作(即ち、運転者の口の動き種を判定する動作)について、図5を参照して説明する。図5は、第1実施形態に係る眠気推定装置による口の動き種判定動作の流れを示すフローチャートである。
図5に示すように、口の動き種判定動作時には、まず口動き検出部210が、カメラ100の撮像画像から運転者の口の座標を取得する(ステップS11)。口の座標は任意の1点をランドマークとして取得してもよいし、複数の点をランドマークとして取得してもよい。なお、座標検出の具体的な方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。
続いて、口動き検出部210は、口の座標の時間変化を記憶する(ステップS12)。具体的には、口動き検出部210は、t=1の座標、t=2の座標、t=3の座標、・・・、t=Nの座標を順次記憶していく。そして、口動き検出部210は、座標の時間変化が所定値以上であるか否かを判定する(ステップS13)。なお、ここでの所定値は、口が動いているか否かを判定するための閾値として予め設定されている値である。口動き検出部210は、例えばt=Nの座標と、t=N+1の座標との差が所定値以上となっているか否かを判定する。
座標の時間変化が所定値以上でない場合(ステップS13:NO)、口動き検出部210は、口の動きはなしと判断し、以降の処理を省略する。この場合、所定期間後に再びステップS11から処理が開始されてもよい。一方、座標の変化が所定値以上である場合(ステップS13:YES)、口動き検出部210は、口の動きがあると判断し、口の動きの継続時間をカウントする(ステップS14)。なお、ここでの継続時間は、所定値以上の座標変化が連続して検出された回数である。口動き検出部210は、例えば座標の変化が所定値以上となる度にカウント値をインクリメントすればよい。
続いて、口動き判定部220が、口の動きの継続時間が所定時間以上であるか否かを判定する(ステップS15)。ここでの所定時間は、口の動きが眠気による口の動きであるか否かを判定するための閾値であり、例えば事前のシミュレーション等によって適切な値が設定されている。口の動きの継続時間が所定時間以上でない場合(ステップS15:NO)、口動き判定部220は、口の動きが眠気による口の動きであると判定する(ステップS16)。
一方、口の動きの継続時間が所定時間以上である場合(ステップS15:YES)、口動き判定部220は、口の動きに周期性があるか否かを判定する(ステップS17)。周期性の有無を判断する際には、例えば、t=0の座標とt=Nの座標とが一致した場合に、t=0からt=Nまでの期間を一周期の候補とする。そして、t=1の座標とt=N+1の座標とが一致するか、t=2の座標とt=N+2の座標とが一致するか、t=3の座標とt=N+3の座標とが一致するか、・・・を順次判定し、夫々の一致率が所定閾値以上である場合に周期性ありと判定すればよい。
口の動きに周期性がない場合(ステップS17:NO)、口動き判定部220は、口の動きが会話による動きであると判定する(ステップS18)。一方、口の動きに周期性がある場合(ステップS17:YES)、口動き判定部220は、口の動きが食事による動きであると判定する(ステップS19)。
<眠気推定動作>
次に、第1実施形態に係る眠気推定装置による眠気推定動作(即ち、運転者の眠気を推定する動作)について、図6及び図7を参照して説明する。図6は、口の動きの種類に基づく眠気推定のルックアップテーブル(その1)である。図7は、口の動きの種類に基づく眠気推定のルックアップテーブル(その2)である。
図6に示すように、眠気推定部230は、口動き判定部220で判定された口の動き種に基づいて、運転者の眠気を推定する。具体的には、眠気推定部230は、口の動きがない場合には、運転者は眠くないと判断する。口の動きが眠気による動きの場合には、運転者は眠いと判断する。口の動きが食事による動きの場合には、運転者は眠くないと判断する。口の動きが会話による動きの場合には、運転者は眠くないと判断する。
上記のように、第1実施形態に係る眠気推定装置では、口の動きが検出された場合であっても、その動きが眠気による口の動きである場合に眠気があると判断され、食事や会話による口の動きである場合には眠気があると判断されない。よって、単に口の動きから眠気を推定する場合と比較すると、精度良く運転者の眠気を推定することが可能である。
図7に示すように、食事による口の動きに関して、継続時間の長さに応じた眠気の推定を行うようにしてもよい。具体的には、食事による口の動きが長時間である場合には、運転者が眠気を覚ますために意図的に食事をしている(例えば、ガムを噛んでいる)と判断し、眠気があると推定してよい。一方、食事による口の動きが短時間である場合には、運転者が通常の食事をしていると判断し、眠気がないと推定すればよい。
食事による口の動きの継続時間を考慮する場合には、例えば口の動きの継続時間が長い場合に、「ガムか何かを食べているのですか?」や「眠くないですか?」等の質問をし、運転者による食事が覚醒を意図するものであるか否かを確認するような構成にしてもよい。
なお、上述した実施形態では、運転者に眠気があるか否かの二者択一で推定を実行しているが、眠気の度合いがより具体的に推定されてもよい。例えば、運転者の眠気が、眠くない、やや眠い、眠い、かなり眠い等の複数段階で推定されてもよい。或いは、運転者の眠気が数値化されてもよい。
<覚醒刺激選択動作>
次に、第1実施形態に係る眠気推定装置による覚醒刺激選択動作(即ち、運転者に提供する覚醒刺激を選択する動作)について、図8を参照して説明する。図8は、口の動きの種類に応じた覚醒刺激の選択動作の流れを示すフローチャートである。
図8に示すように、眠気を推定した結果(ステップS21)、「眠気なし」或いは「やや眠い」と推定された場合、覚醒刺激部300は覚醒刺激を提供しない(ステップS22)。また、「かなり眠い」と推定された場合、覚醒刺激部300は、覚醒刺激だけでは眠気を覚ますことが困難であると判断し、休憩(即ち、運転の停止)を提案する(ステップS23)。
一方、「眠い」と推定された場合、覚醒刺激部300は、口の動き種の判定結果を利用して(ステップS24)、相異なる覚醒刺激を提供する。具体的には、覚醒刺激部300は、口の動きが眠気によるものであった場合、会話システムを利用した運転者との会話を実行する(ステップS25)。口の動きが食事によるものであった場合、オーディオシステムを利用して音楽を再生する(ステップS26)。口の動きが会話によるものであった場合、エアコンを制御して冷風を提供する(ステップS27)。
上記のように、運転者の眠気(言い換えれば、口の動き種)に応じて相異なる覚醒刺激を提供するようにすれば、運転者の眠気を好適に覚ますことが可能である。例えば、口の動きが食事によるものである場合、覚醒刺激として会話を提供すると、回答が難しく運転者に鬱陶しい思いをさせてしまうおそれがある。また、口の動きが会話によるものである場合、覚醒刺激として会話や音楽再生を提供すると、会話が邪魔され運転者に鬱陶しい思いをさせてしまうおそれがある。しかるに本実施形態に係る眠気推定装置は、眠気の推定に先立って口の動き種を判定しているため、運転者の現在の状況を正確に判断し、適切な覚醒刺激を提供することができる。なお、上述した覚醒刺激は一例であり、運転者の眠気に応じて、他の覚醒刺激が提供されても構わない。また、運転者の眠気に応じて複数の覚醒刺激が提供されるようにしてもよい。
<第2実施形態>
次に、第2実施形態に係る眠気推定装置について、図9から図12を参照して説明する。なお、第2実施形態は、すでに説明した第1実施形態と一部の構成及び動作が異なるのみで、その他の部分については概ね同様である。このため、以下では第1実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
<装置構成>
まず、第2実施形態に係る眠気推定装置の構成について、図9を参照して説明する。図9は、第2実施形態に係る眠気推定装置の構成を示すブロック図である。
図9に示すように、第2実施形態に係る眠気推定装置の処理部200bは、第1実施形態の構成に加えて、目動き検出部240及び目動き判定部250を備えている。つまり、第2実施形態に係る眠気推定装置は、口の動きに加えて、目の動きも利用して眠気を推定することが可能とされている。
<眠気推定動作>
次に、第2実施形態に係る眠気推定装置による眠気推定動作について、図10から図12を参照して説明する。図10は、第2実施形態に係る眠気推定装置による眠気推定動作の流れを示すフローチャートである。図11は、目の動き及び口の動きの種類に基づく眠気推定のルックアップテーブル(その1)である。図12は、目の動き及び口の動きの種類に基づく眠気推定のルックアップテーブル(その2)である。
図10に示すように、第2実施形態に係る眠気推定装置の動作時には、カメラ100の撮像画像から、目動き検出部240が運転者の目の動き(例えば、瞬きや視線の移動等)を検出する(ステップS31)。なお、目の動きの具体的な検出方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。
続いて、目動き判定部250が、検出した目の動きから運転者の眠気を暫定的に判定する(ステップS32)。具体的には、目動き判定部250は、瞬きの速度、瞬きの頻度、視線の移動速度、視線の移動頻度等から、運転者の眠気を判定する。目の動きに基づく眠気の判定方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。
一方、上述したステップS31及びステップS32の処理と並行して又は相前後して、口動き検出部210及び口動き判定部220が、口の動き判定処理を実行する(ステップS33)。即ち、図5のフローチャートで示したように、口の動きの有無及び口の動き種を判定する。そして、目の動きの判定結果及び口の動きの判定結果に基づいて、眠気推定部230が運転者の眠気を推定する(ステップS34)。
図11に示すように、眠気推定部230は、目の動きに基づく眠気の判定結果(以下、適宜「目による眠気判定」と称する)と、口の動き種とに基づいて、最終的な眠気を推定する。具体的には、目による眠気判定が「眠くない」であり、口の動き種が「なし」である場合には、「眠くない」と推定する。目による眠気判定が「やや眠い」であり、口の動き種が「なし」である場合には、「やや眠い」と推定する。目による眠気判定が「眠い」であり、口の動き種が「なし」である場合には、「眠い」と推定する。目による眠気判定が「かなり眠い」であり、口の動き種が「なし」である場合には、「かなり眠い」と推定する。目による眠気判定が「眠くない」であり、口の動き種が「眠気による動き」である場合には、「やや眠い」と推定する。目による眠気判定が「やや眠い」であり、口の動き種が「眠気による動き」である場合には、「眠い」と推定する。目による眠気判定が「眠い」であり、口の動き種が「眠気による動き」である場合には、「かなり眠い」と推定する。目による眠気判定が「かなり眠い」であり、口の動き種が「眠気による動き」である場合には、「かなり眠い」と推定する。目による眠気判定が「眠くない」であり、口の動き種が「食事による動き」である場合には、「眠くない」と推定する。目による眠気判定が「やや眠い」であり、口の動き種が「食事による動き」である場合には、「やや眠い」と推定する。目による眠気判定が「眠い」であり、口の動き種が「食事による動き」である場合には、「眠い」と推定する。目による眠気判定が「かなり眠い」であり、口の動き種が「食事による動き」である場合には、「かなり眠い」と推定する。目による眠気判定が「眠くない」であり、口の動き種が「会話による動き」である場合には、「眠くない」と推定する。目による眠気判定が「やや眠い」であり、口の動き種が「会話による動き」である場合には、「やや眠い」と推定する。目による眠気判定が「眠い」であり、口の動き種が「会話による動き」である場合には、「眠い」と推定する。目による眠気判定が「かなり眠い」であり、口の動き種が「会話による動き」である場合には、「かなり眠い」と推定する。
上記のように、口の動き種が「なし」、「食事による動き」又は「会話による動き」である場合には、目による眠気判定の結果がそのまま最終的な眠気として推定される。一方で、口の動き種「眠気による動き」である場合には、目による眠気判定の結果よりも眠気が一段階強いものとして推定される。このように、目の動き及び口の動きの両方を利用して眠気を推定すれば、目の動きだけ或いは口の動きだけを利用して眠気を推定する場合と比較して、精度良く眠気を推定することが可能である。
図12に示すように、食事による口の動きに関して、継続時間の長さに応じた眠気の推定を行うようにしてもよい。具体的には、食事による口の動きが長時間である場合には、運転者が眠気を覚ますために意図的に食事をしていると判断し、目による眠気判定の結果よりも一段階強い眠気があると推定してよい。一方、食事による口の動きが短時間である場合には、運転者が通常の食事をしていると判断し、目による眠気判定の結果がそのまま最終的な眠気として推定されればよい。
<付記>
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。
(付記1)
付記1に記載の眠気推定装置は、車両の運転者の顔画像を撮像する撮像手段と、前記顔画像に基づいて、前記運転者の口の動きの継続時間及び周期性の有無を検出する検出手段と、前記継続時間及び前記周期性の有無に基づいて、前記口の動きの種類を判定する判定手段と、前記口の動きの種類に基づいて、前記運転者の眠気を推定する推定手段とを備える。
付記1に記載の眠気推定装置によれば、口の動きの種類(言い換えれば、どのような要因で口の動きが生じているか)を判定して、運転者の眠気が推定される。このため、単に口の動きだけから眠気を推定する場合と比べると、精度良く眠気を推定することが可能である。
(付記2)
付記2に記載の眠気推定装置は、前記判定手段は、前記口の動きの種類として、眠気による口の動き、食事による口の動き、又は会話による口の動きのいずれであるかを判定する。
この態様によれば、口の動きが眠気によるものなのか、食事によるものなのか、又は会話によるものなのかを判定して、精度良く眠気を推定することができる。
(付記3)
付記3に記載の眠気推定装置は、前記判定手段は、(i)前記継続時間が第1所定時間よりも短い場合に、前記口の動きの種類は前記眠気による口の動きであると判定し、(ii)前記継続時間が第1所定時間よりも長く且つ前記周期性が有る場合に、前記口の動きの種類は前記食事による口の動きと判定し、(iii)前記継続時間が第1所定時間よりも長く且つ前記周期性が無い場合に、前記口の動きの種類は前記会話による口の動きと判定する。
この態様によれば、口の動きの継続時間と周期性の有無に基づいて、口の動きの種類を正確に判定できるため、精度良く眠気を推定することができる。
(付記4)
付記4に記載の眠気推定装置は、前記推定手段は、前記口の動きの種類が前記食事による口の動きであると判定された場合において、前記継続時間が第2所定時間よりも長い場合には、前記継続時間が前記第2所定時間よりも短い場合と比べて、前記運転者の眠気が強い状態であると推定する。
この態様によれば、食事による口の動きが、眠気を覚まそうとする意思によるものか否かを正確に判定できるため、精度良く眠気を推定することができる。
(付記5)
付記5に記載の眠気推定装置は、前記運転者に対して複数種類の覚醒刺激を提供することが可能な提供手段と、前記口の動きの種類に応じて相異なる種類の覚醒刺激を提供するように前記提供手段を制御する制御手段とを更に備える。
この態様によれば、眠気に応じた適切な覚醒刺激を提供することができるため、運転者の眠気を好適に覚ますことができる。
本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う眠気推定装置もまた本発明の技術的範囲に含まれるものである。
100 カメラ
200 処理部
210 口動き検出部
220 口動き判定部
230 眠気推定部
240 目動き検出部
250 目動き判定部
300 覚醒刺激部

Claims (5)

  1. 車両の運転者の顔画像を撮像する撮像手段と、
    前記顔画像に基づいて、前記運転者の口の動きの継続時間及び周期性の有無を検出する検出手段と、
    前記継続時間及び前記周期性の有無に基づいて、前記口の動きの種類を判定する判定手段と、
    前記口の動きの種類に基づいて、前記運転者の眠気を推定する推定手段と
    を備え、
    前記判定手段は、(i)前記継続時間が第1所定時間よりも短い場合に、前記口の動きの種類は前記眠気による口の動きであると判定し、(ii)前記継続時間が第1所定時間よりも長く且つ前記周期性が無い場合に、前記口の動きの種類は会話による口の動きと判定する
    ことを特徴とする眠気推定装置。
  2. 前記判定手段は、(i)前記継続時間が第1所定時間よりも短い場合に、前記口の動きの種類は前記眠気による口の動きであると判定し、(ii)前記継続時間が第1所定時間よりも長く且つ前記周期性が有る場合に、前記口の動きの種類は食事による口の動きと判定し、(iii)前記継続時間が第1所定時間よりも長く且つ前記周期性が無い場合に、前記口の動きの種類は前記会話による口の動きと判定することを特徴とする請求項1に記載の眠気推定装置。
  3. 前記推定手段は、前記口の動きの種類が前記食事による口の動きであると判定された場合において、前記継続時間が第2所定時間よりも長い場合には、前記継続時間が前記第2所定時間よりも短い場合と比べて、前記運転者の眠気が強い状態であると推定することを特徴とする請求項2に記載の眠気推定装置。
  4. 前記運転者に対して複数種類の覚醒刺激を提供することが可能な提供手段と、
    前記口の動きの種類に応じて相異なる種類の覚醒刺激を提供するように前記提供手段を制御する制御手段と
    を更に備えることを特徴とする請求項1から3のいずれか一項に記載の眠気推定装置。
  5. 車両の運転者の顔画像を撮像する撮像工程と、
    前記顔画像に基づいて、前記運転者の口の動きの継続時間及び周期性の有無を検出する検出工程と、
    前記継続時間及び前記周期性の有無に基づいて、前記口の動きの種類を判定する判定工程と、
    前記口の動きの種類に基づいて、前記運転者の眠気を推定する推定工程と
    を含み、
    前記判定工程では、(i)前記継続時間が第1所定時間よりも短い場合に、前記口の動きの種類は前記眠気による口の動きであると判定し、(ii)前記継続時間が第1所定時間よりも長く且つ前記周期性が無い場合に、前記口の動きの種類は会話による口の動きと判定する
    ことを特徴とする眠気推定方法。
JP2017246603A 2017-12-22 2017-12-22 眠気推定装置及び眠気推定方法 Active JP6888542B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017246603A JP6888542B2 (ja) 2017-12-22 2017-12-22 眠気推定装置及び眠気推定方法
US16/177,683 US10552694B2 (en) 2017-12-22 2018-11-01 Drowsiness estimating apparatus
CN201811564693.1A CN110020583A (zh) 2017-12-22 2018-12-20 睡意推断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017246603A JP6888542B2 (ja) 2017-12-22 2017-12-22 眠気推定装置及び眠気推定方法

Publications (2)

Publication Number Publication Date
JP2019111090A JP2019111090A (ja) 2019-07-11
JP6888542B2 true JP6888542B2 (ja) 2021-06-16

Family

ID=66950462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017246603A Active JP6888542B2 (ja) 2017-12-22 2017-12-22 眠気推定装置及び眠気推定方法

Country Status (3)

Country Link
US (1) US10552694B2 (ja)
JP (1) JP6888542B2 (ja)
CN (1) CN110020583A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技(深圳)有限公司 一种人脸图像处理方法和装置
WO2020121425A1 (ja) * 2018-12-12 2020-06-18 三菱電機株式会社 状態判定装置、状態判定方法、及び状態判定プログラム
JP7589614B2 (ja) 2021-03-25 2024-11-26 トヨタ自動車株式会社 ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム
WO2022215145A1 (ja) 2021-04-06 2022-10-13 三菱電機株式会社 覚醒努力動作推定装置および覚醒努力動作推定方法
CN113223270B (zh) * 2021-04-26 2023-02-28 西安建筑科技大学 基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统
CN114582090A (zh) * 2022-02-27 2022-06-03 武汉铁路职业技术学院 一种轨道车辆驾驶监测预警系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
JP3836488B2 (ja) * 2005-02-07 2006-10-25 株式会社東芝 状態監視装置
JP2009533786A (ja) * 2006-04-10 2009-09-17 アヴァワークス インコーポレーテッド 自分でできるフォトリアリスティックなトーキングヘッド作成システム及び方法
JP4400624B2 (ja) * 2007-01-24 2010-01-20 トヨタ自動車株式会社 居眠り防止装置及び方法
JP4458146B2 (ja) 2007-02-16 2010-04-28 株式会社デンソー 眠気判定装置およびプログラム
JP4743137B2 (ja) 2007-03-01 2011-08-10 株式会社豊田中央研究所 眠気判定装置及びプログラム
JP5311793B2 (ja) * 2007-10-16 2013-10-09 トヨタ自動車株式会社 脇見状態判定装置
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
JP5163440B2 (ja) * 2008-11-19 2013-03-13 株式会社デンソー 眠気判定装置、プログラム
JP5387367B2 (ja) * 2008-12-01 2014-01-15 富士通株式会社 覚醒度判定装置および覚醒度判定方法
JP5208711B2 (ja) * 2008-12-17 2013-06-12 アイシン精機株式会社 眼開閉判別装置及びプログラム
JP5228970B2 (ja) 2009-02-11 2013-07-03 株式会社デンソー 居眠り防止装置
JP5343631B2 (ja) * 2009-03-04 2013-11-13 日産自動車株式会社 運転支援装置
JP2010241371A (ja) * 2009-04-09 2010-10-28 Toyota Motor Corp 運転状態検出装置
JP5447657B2 (ja) 2010-04-05 2014-03-19 トヨタ自動車株式会社 生体状態判定装置
US11067405B2 (en) * 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
JP2013152679A (ja) * 2012-01-26 2013-08-08 Denso Corp 運転支援装置
JP2013156707A (ja) * 2012-01-26 2013-08-15 Nissan Motor Co Ltd 運転支援装置
JP6043933B2 (ja) * 2012-03-29 2016-12-14 富士重工業株式会社 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム
CN202939770U (zh) * 2012-10-09 2013-05-15 浙江吉利汽车研究院有限公司杭州分公司 一种驾驶员不良驾驶行为更正装置
JP5974915B2 (ja) * 2013-01-29 2016-08-23 株式会社デンソー 覚醒度検出装置、および覚醒度検出方法
US20140313333A1 (en) * 2013-04-18 2014-10-23 Ford Global Technologies, Llc System and method for imaging a driver of a vehicle
KR101386823B1 (ko) * 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
JP6314435B2 (ja) * 2013-11-13 2018-04-25 株式会社デンソー ドライバ監視装置
CN103839046B (zh) * 2013-12-26 2017-02-01 苏州清研微视电子科技有限公司 驾驶人注意力自动识别系统及其识别方法
US9714037B2 (en) * 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
DE102015220237A1 (de) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Fahrzeugsystem und Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren
WO2017139325A1 (en) * 2016-02-09 2017-08-17 Aware, Inc. Face liveness detection using background/foreground motion analysis
JP6230764B1 (ja) * 2016-03-16 2017-11-15 三菱電機株式会社 車載装置、居眠り運転防止方法及び居眠り運転防止プログラム
CN108369766A (zh) * 2016-05-10 2018-08-03 深圳市赛亿科技开发有限公司 一种基于人脸识别的车载疲劳预警系统及预警方法
US20180012090A1 (en) * 2016-07-07 2018-01-11 Jungo Connectivity Ltd. Visual learning system and method for determining a driver's state
KR20180124381A (ko) * 2017-05-11 2018-11-21 현대자동차주식회사 운전자의 상태 판단 시스템 및 그 방법
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备

Also Published As

Publication number Publication date
JP2019111090A (ja) 2019-07-11
CN110020583A (zh) 2019-07-16
US20190197329A1 (en) 2019-06-27
US10552694B2 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
JP6888542B2 (ja) 眠気推定装置及び眠気推定方法
US20250083709A1 (en) Driving assistance apparatus and driving assistance method
TWI603213B (zh) 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置
CN110211335B (zh) 用于对车辆的驾驶员的微睡进行识别的方法和装置
CN105488957B (zh) 疲劳驾驶检测方法及装置
US11430231B2 (en) Emotion estimation device and emotion estimation method
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
JP6969493B2 (ja) 映像出力装置、映像出力方法、及びコンピュータプログラム
JP6707969B2 (ja) 覚醒度判定装置
CN109426797B (zh) 瞌睡检测装置及其瞌睡检测方法
JPWO2019198179A1 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
JP5163440B2 (ja) 眠気判定装置、プログラム
US12171559B2 (en) Adjustment device, adjustment system, and adjustment method
JP2020101869A (ja) 制御装置及びプログラム
JP6662352B2 (ja) 居眠り運転警報装置
JP2020013554A (ja) 覚醒度判定装置
JP6662329B2 (ja) 情報制御装置
JP2008099884A (ja) 状態推定装置
US20200008732A1 (en) Arousal level determination device
CN112199987A (zh) 单一区域内多算法组合配置策略方法、图像处理装置及电子设备
JP4412253B2 (ja) 覚醒度推定装置及び方法
EP4299399A1 (en) Method for determining a notification procedure, method for transitioning control of a vehicle, data processing apparatus and autonomous driving system
JP7251466B2 (ja) 状態改善装置
JP6947131B2 (ja) 乗員状態認識装置
JP2020201657A (ja) 情報処理装置、状態推定方法、及び車両

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210503

R151 Written notification of patent or utility model registration

Ref document number: 6888542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151