JP2025062425A - 乗員監視装置 - Google Patents

Abstract

【課題】車両の乗員における瞬きの有無を精度よく検出することができる乗員監視装置を提供する。
【解決手段】乗員監視装置１は、車両に乗車している乗員の開眼距離を取得する取得部１１と、瞬き判定用の閾値と開眼距離の単位時間あたりの変化量との比較結果に基づいて乗員の瞬きを検出する検出部１２と、開眼距離に基づいて瞬き判定用の閾値を設定する設定部１３と、を備える。設定部１３は、検出期間ごとに対応する閾値を設定するものであり、設定対象となる検出期間の１つ前の検出期間における瞬き時の開眼速度に基づいて設定対象の検出期間の閾値を決定してもよい。
【選択図】図２

Description

本発明は、乗員監視装置に関する。

特許文献１には、車両の運転者の顔を撮像した画像データに基づいて運転者の目の開閉状態を検知し、目の開閉状態として瞼の開度の経時的変化を用いて運転者が居眠り状態にあるか否かを判定する乗員監視装置が開示されている。

特開２０１０－０６７１３７号公報

車両において、運転中の運転者が居眠り状態であることを精度よく検知するためには、運転者の目の開閉状態を正確に判別することが望ましい。例えば目の開閉状態として瞼の開閉動作を検出して、瞬きの有無を精度よく判定することが望まれる。

しかしながら、瞼の開閉動作には個人差がある。そのため、目の開眼度と閾値とを比較して開眼度が閾値以下の場合に瞬きであると判定する検出方法において、個人に合わせた閾値を正確に設定することが困難である。

本発明の目的は、車両の乗員における瞬きの有無を精度よく検出することができる乗員監視装置を提供することである。

本発明に係る乗員監視装置は、車両に乗車している乗員の開眼距離を取得する取得部と、前記開眼距離に基づいて瞬き判定用の閾値を設定する設定部と、前記閾値と前記開眼距離の単位時間あたりの変化量との比較結果に基づいて前記乗員の瞬きを検出する検出部と、を備えることを特徴とする。

本発明に係る乗員監視装置は、車両の乗員から取得された開眼距離に基づいて瞬き判定用の閾値を設定するため、乗員の瞼の動作に適した閾値を設定可能である。この閾値を用いて瞬きの有無を判定するので、瞬きの検出精度が向上する。この結果、乗員監視装置は、車両の乗員における瞬きの有無を精度よく検出することができる。

図１は、実施形態の乗員監視装置を搭載した車両を模式的に示す図である。 図２は、乗員監視装置の機能構成を示すブロック図である。 図３は、単位時間ごとの開眼距離の変化量を説明するための図である。 図４は、検出期間内の開眼距離における最大値と最小値との差を説明するための図である。 図５は、検出期間ごとの開眼距離の変化量を説明するための図である。 図６は、瞬き時の開く時間を説明するための図である。 図７は、ラベル付けを実施した場合を説明するための図である。 図８は、検出対象の１つ前の検出期間における瞬き情報を用いて瞬き判定用の閾値を設定することを説明するための図である。 図９は、閾値と開眼距離の単位時間あたりの変化量との比較結果に応じて付与されるラベルを説明するための図である。 図１０は、瞬き継続時間と閉じる時間と閉眼時間と開く時間とを説明するための図である。 図１１は、瞬き検出フローを示すフローチャート図である。 図１２は、閾値設定フローを示すフローチャート図である。 図１３は、ラベル付けフローを示すフローチャート図である。 図１４は、開く時間算出フローを示すフローチャート図である。 図１５（ａ）は取得された開眼距離の経時データを示すグラフ図であり、図１５（ｂ）は比較例による瞬き検出結果を示す図であり、図１５（ｃ）は実施例による瞬き検出結果を示す図である。 図１６は、第１変形例における閾値設定フローを示すフローチャート図である。 図１７は、マイクロスリープを説明するための図である。 図１８は、判別処理フローを示すフローチャート図である。 図１９は、第２変形例における検出結果を示す表図である。

以下に、本発明の実施形態に係る乗員監視装置につき図面を参照しつつ詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のものが含まれる。

［実施形態］
図１から図１５を参照して、実施形態に係る乗員監視装置について説明する。図１は、実施形態の乗員監視装置を搭載した車両を模式的に示す図である。図２は、乗員監視装置の機能構成を示すブロック図である。図３は、単位時間ごとの開眼距離の変化量を説明するための図である。図４は、検出期間内の開眼距離における最大値と最小値との差を説明するための図である。図５は、検出期間ごとの開眼距離の変化量を説明するための図である。図６は、瞬き時の開く時間を説明するための図である。図７は、ラベル付けを実施した場合を説明するための図である。図８は、検出対象の１つ前の検出期間における瞬き情報を用いて瞬き判定用の閾値を設定することを説明するための図である。図９は、閾値と開眼距離の単位時間あたりの変化量との比較結果に応じて付与されるラベルを説明するための図である。図１０は、瞬き継続時間と閉じる時間と閉眼時間と開く時間とを説明するための図である。図１１は、瞬き検出フローを示すフローチャート図である。図１２は、閾値設定フローを示すフローチャート図である。図１３は、ラベル付けフローを示すフローチャート図である。図１４は、開く時間算出フローを示すフローチャート図である。図１５（ａ）は取得された開眼距離の経時データを示すグラフ図であり、図１５（ｂ）は比較例による瞬き検出結果を示す図であり、図１５（ｃ）は実施例による瞬き検出結果を示す図である。

図１に示すように、乗員監視装置１は、カメラ２を搭載した車両３に設けられている。乗員監視装置１は、車両３に乗車している乗員の瞬きを検出する装置である。カメラ２は、車両３の運転者１００の顔を撮像する。車両３は、自動車であり、運転者１００によって運転される。カメラ２は車両３の車室内において運転者１００に対して前方に配置されており、運転者１００の目１１０を撮像する。カメラ２は所定のフレームレートで運転者１００の顔を連続的に撮像することができる。例えばカメラ２は３０ｆｂｓで動画を撮影することができる。

図２に示すように、乗員監視装置１は、取得部１１と、検出部１２と、設定部１３とを備える。乗員監視装置１は、演算回路と、メモリと、入出力インタフェースとを有するコンピュータである。乗員監視装置１は、例えば電子制御装置（ＥＣＵ）として構成される。

取得部１１は、カメラ２から取得する画像に基づいて運転者１００の開眼距離を取得する。開眼距離は、目１１０の開閉状態を示す指標であり、上瞼と下瞼との間の距離である。例えば上瞼と下瞼とが最も離れている箇所の距離が開眼距離となる。取得部１１は、例えば画像認識により各画像における運転者１００の開眼距離を算出する。つまり、取得部１１はカメラ２から連続的に取得する画像のそれぞれに対して開眼距離を算出する。運転者１００の目１１０が完全に閉じている場合に開眼距離は０である。

なお、取得部１１は、運転者１００の左目および右目のそれぞれについて開眼距離を算出してもよい。開眼距離は、運転者１００の左目の開眼距離および右目の開眼距離の平均値であってもよい。取得部１１は、運転者１００のいずれか一方の目１１０の開眼距離のみを算出してもよい。

検出部１２は、運転者１００から取得した開眼距離に基づいて運転者１００の瞬きを検出する。検出部１２は、予め定められた検出期間内において、開眼距離の単位時間あたりの変化量を算出する。検出期間は、例えば３秒、すなわち画像データの９０フレーム分の長さに設定されている。単位時間は、例えば３３ミリ秒、すなわち画像データのフレーム間の長さに設定されている。検出部１２は現フレームの開眼距離から現フレームの１つ前のフレームの開眼距離を減じることにより開眼距離の単位時間あたりの変化量を求める。

検出部１２は、図３に示すように、現フレームであるフレームｆ２の開眼距離と現フレームの１つ前のフレームであるフレームｆ１の開眼距離との差を算出する。この差は単位時間ごとの距離差であり、開眼距離の単位時間あたりの変化量ｄである。そして、検出部１２は開眼距離の単位時間あたりの変化量ｄと瞬き判定用の閾値Ｂとを比較し、その比較結果に基づいて瞬きの有無を判定する。つまり、検出部１２は、開眼度の閾値を使わず、開眼距離の変化に基づいて、上瞼が下がる段階、目が閉じている段階、上瞼が上がる段階を連続的に判断することによって一回の瞬きを検出する。なお、この説明において、開眼距離の単位時間あたりの変化量ｄを単に開眼距離の変化量ｄと記載する場合がある。

設定部１３は、運転者１００から取得した開眼距離に基づいて瞬き判定用の閾値Ｂを設定する。乗員監視装置１では、運転者１００の開眼距離を用いて閾値Ｂを設定することにより、運転者１００の目の開閉動作の特徴と反映させた閾値Ｂとすることが可能である。設定部１３は運転者１００に合わせた閾値Ｂを設定することができる。また、乗員監視装置１では、設定部１３が検出期間ごとに対応する閾値Ｂを設定し、取得部１１により取得された開眼距離と設定部１３により設定された閾値Ｂとを用いて検出部１２が瞬きの検出を行う。

具体的には、設定部１３は、瞬き時の開眼速度を閾値Ｂに設定する。

瞬き時の開眼速度は、瞬き時に瞼が開く速度を表す。瞬き時の開眼速度は、瞬き時に目を閉じた状態から目を開いた状態に戻る際の瞼の速度である。この開眼速度の算出は検出部１２により行われる。検出部１２は、検出期間ごとに瞬き時の開眼速度ｖを算出する。瞬き時の開眼速度ｖは、検出期間内での開眼距離の変化量Ｄと、瞬き時の開く時間ｔｄとを用いて、下式（１）により算出される。
ｖ＝Ｄ／ｔｄ （１）

検出期間内での開眼距離の変化量Ｄは、検出期間内での開眼距離における最大値と最小値との差である。図４に示すように、検出期間内での開眼距離の変化量Ｄは、検出期間内での開眼距離の最大値ＥＯ_ｍａｘから開眼距離の最小値ＥＯ_ｍｉｎを減じることにより求まる。図５に示すように、検出部１２は検出期間ごとにその期間内での開眼距離の変化量Ｄを算出する。

図５に示す例では、検出部１２は、第１検出期間内（時刻ｔ０から時刻ｔ１までの間）での開眼距離の変化量Ｄ１を算出する。検出部１２は、第２検出期間内（時刻ｔ１から時刻ｔ２までの間）での開眼距離の変化量Ｄ２、第３検出期間内（時刻ｔ２から時刻ｔ３までの間）での開眼距離の変化量Ｄ３、第４検出期間内（時刻ｔ３から時刻ｔ４までの間）での開眼距離の変化量Ｄ４、第５検出期間内（時刻ｔ４から時刻ｔ５までの間）での開眼距離の変化量Ｄ５をそれぞれに算出する。第１～第５検出期間はいずれも３秒間に設定されている。

瞬き時の開く時間ｔｄは、一回の瞬きの間に閉眼状態から開眼状態に変化するまでの時間である。瞬き時、瞼は開眼状態から一旦閉眼状態となり、その後、閉眼状態から開眼状態に戻るように動作する。図６に示すように、瞬き時の開く時間ｔｄは、一回の瞬きにおいて瞼が閉じた状態から開いた状態へ変化するまでの時間である。瞬き時の開く時間ｔｄの算出は検出部１２により行われる。瞬き時の開く時間ｔｄは、瞬き継続時間ｔａと、閉眼時間ｔｃと、瞬き回数とをを用いて、下式（２）により算出される。
ｔｄ＝（ｔａ－ｔｃ）／（瞬き回数×２） （２）

瞬き継続時間ｔａは、瞬き時に開眼状態から閉眼状態を経て再び開眼状態に変化するまでの時間である。閉眼時間ｔｃは、瞬き時に閉眼状態となっている時間である。図１０に示すように、一回の瞬きにおいて、瞬き継続時間ｔａは閉じる時間ｔｂと閉眼時間ｔｃと開く時間ｔｄとの合計により表される。瞬き時の閉じる時間ｔｂは、一回の瞬きの間に開眼状態から閉眼状態に変化するまでの時間である。瞬き継続時間ｔａと瞬き時の閉じる時間ｔｂと閉眼時間ｔｃとの算出は検出部１２により行われる。例えば検出部１２はフレーム単位でこれらの時間を算出する。図１０に示す例では、第ｎ－２フレームｆ_ｎ－２から第ｎ＋４フレームｆ_ｎ＋４までの間が瞬き継続時間ｔａとなり、第ｎ－２フレームｆ_ｎ－２から第ｎフレームｆ_ｎまでの間が閉じる時間ｔｂとなり、第ｎフレームｆ_ｎから第ｎ＋１フレームｆ_ｎ＋１までの間が閉眼時間ｔｃとなり、第ｎ＋１フレームｆ_ｎ＋１から第ｎ＋４フレームｆ_ｎ＋４までの間が開く時間ｔｄとなる。開く時間ｔｄと閉じる時間ｔｂとが等しいと仮定すると、上式（２）に表すようになる。

閾値Ｂの設定は検出期間ごとに行われる。また、検出期間内での開眼距離の変化量Ｄの算出と瞬き時の開く時間ｔｄの算出と瞬き時の開眼速度ｖの算出とも検出期間ごとに行われる。

図８に示すように、検出部１２は第１検出期間内での開眼距離の変化量Ｄ１と瞬き時の開く時間ｔｄ１と瞬き時の開眼速度ｖ１とを算出し、設定部１３は第１検出期間での瞬き時の開眼速度ｖ１を第２検出期間での瞬き判定用の閾値Ｂ２に設定する。第２検出期間以降、設定部１３は１つ前の検出期間で算出された開眼速度ｖを閾値Ｂに設定する。また、第１検出期間は最初の検出期間であるため、設定部１３は第１検出期間での瞬き判定用の閾値Ｂ１に初期値を設定する。閾値Ｂの初期値は、例えば７５ミリ秒に設定されている。一回の瞬きの速さの平均値は１５０ミリ秒程度である。この平均値の半分の値が７５ミリ秒である。そのため、瞬き時の開眼速度である閾値Ｂの初期値は７５ミリ秒に設定される。

また、検出部１２は、閾値Ｂと開眼距離の単位時間あたりの変化量ｄとの比較結果に応じてラベル付けを行う。検出部１２は、図９および図１０に示すように、閾値Ｂと開眼距離の単位時間あたりの変化量ｄとの比較結果に応じたラベルを単位時間ごとに付与し、そのラベルの付与結果に基づいて瞬きの有無を判定する。検出部１２はフレームにラベルを付与することが可能である。

検出部１２は、第ｎフレームにラベル付けを実施する際、図７に示すように、第ｎフレームｆ_ｎの開眼距離ＥＯ_ｎから第ｎ－１フレームｆ_ｎ－１の開眼距離ＥＯ_ｎ－１を減じて開眼距離の単位時間当たりの変化量ｄを算出する。その変化量ｄ（＝ＥＯ_ｎ－ＥＯ_ｎ－１）と閾値Ｂとの比較を行う。

図９に示すように、「ＥＯ_ｎ－ＥＯ_ｎ－１＞Ｂ」である場合、第ｎフレームのラベルＬ_ｎは「１」となる。この場合、第ｎフレームに「１」のラベルが付与される。「ＥＯ_ｎ－ＥＯ_ｎ－１＜－Ｂ」である場合、第ｎフレームのラベルＬ_ｎは「－１」となる。この場合、第ｎフレームには「－１」のラベルが付与される。また、「ＥＯ_ｎ－ＥＯ_ｎ－１＜｜Ｂ｜」である場合、ラベル付けの条件を追加してラベル付けを実施する。「ＥＯ_ｎ－ＥＯ_ｎ－１＜｜Ｂ｜」である場合、かつ１つ前のラベルＬ_ｎ－１が「－１」である場合、第ｎフレームのラベルＬ_ｎは「－１」となる。この場合、第ｎフレームには「－１」のラベルが付与される。「ＥＯ_ｎ－ＥＯ_ｎ－１＜｜Ｂ｜」である場合、かつ１つ前のラベルＬ_ｎ－１が「－１以外」である場合、第ｎフレームのラベルＬ_ｎは「０」となる。この場合、第ｎフレームには「０」のラベルが付与される。

ラベル付けの条件は、「ＥＯ_ｎ－ＥＯ_ｎ－１＞Ｂ」，「ＥＯ_ｎ－ＥＯ_ｎ－１＜－Ｂ」，「ＥＯ_ｎ－ＥＯ_ｎ－１＜｜Ｂ｜、かつ１つ前のラベルＬ_ｎ－１が－１」，「ＥＯ_ｎ－ＥＯ_ｎ－１＜｜Ｂ｜、かつ１つ前のラベルＬ_ｎ－１が－１以外」の四種類により表される。ラベルＬは、「１」，「－１」，「０」の三種類により表される。検出部１２は、開眼距離の単位時間あたりの変化量ｄが閾値Ｂよりも大きい場合、そのフレームに第１値である「１」のラベルＬを付与する。検出部１２は、開眼距離の単位時間あたりの変化量ｄが閾値Ｂの負の値よりも小さい場合、そのフレームに第２値である「－１」のラベルＬを付与する。検出部１２は、開眼距離の単位時間あたりの変化量ｄが閾値Ｂの絶対値よりも小さい場合、かつ１つ前のラベルが第２値（－１）である場合、そのフレームに第２値である「－１」のラベルＬを付与する。検出部１２は、開眼距離の単位時間あたりの変化量ｄが閾値Ｂの絶対値よりも小さい場合、かつ１つ前のラベルが第２値以外（－１以外）である場合、そのフレームに第３値である「０」のラベルＬを付与する。このようにしてフレームごとにラベル付けが実施された一例が図１０に示されている。

図１０を参照して、ラベルに基づいた瞬きの検出方法を説明する。図１０に示す例では、第ｎ－２フレームｆ_ｎ－２に第３値である「０」のラベルＬが付与され、第ｎ－１フレームｆ_ｎ－１に第２値である「－１」のラベルＬが付与され、第ｎフレームｆ_ｎに第２値である「－１」のラベルＬが付与され、第ｎ＋１フレームｆ_ｎ＋１に第２値である「－１」のラベルＬが付与され、第ｎ＋２フレームｆ_ｎ＋２に第１値である「１」のラベルＬが付与され、第ｎ＋３フレームｆ_ｎ＋３に第１値である「１」のラベルＬが付与され、第ｎ＋４フレームｆ_ｎ＋４に第１値である「１」のラベルＬが付与され、第ｎ＋５フレームｆ_ｎ＋５に第３値である「０」のラベルＬが付与されている。検出部１２は、ラベルが「０」から「－１」に切り替わるところを始点とし、ラベルが「１」から「０」に切り替われるところを終点として、その始点から終点までの間を瞬きであると判定する。図１０に示す例では、ラベルが「０」から「－１」に切り替わるタイミングは第ｎ－２フレームｆ_ｎ－２から第ｎ－１フレームｆ_ｎ－１に切り替われるタイミングである。このタイミングが瞬きの始点と判断される。そして、ラベルが「１」から「０」に切り替わるタイミングは第ｎ＋４フレームｆ_ｎ＋４から第ｎ＋５フレームｆ_ｎ＋５に切り替われるタイミングである。このタイミングが瞬きの終点と判断される。検出部１２は第ｎ－２フレームｆ_ｎ－２から第ｎ＋４フレームｆ_ｎ＋４までを含む範囲を一回の瞬きと判定する。

図１１を参照して、乗員監視装置１による瞬き検出処理を説明する。図１１のフローチャートは、車両３が走行しているか否かにかかわらず、車両３の電源がＯＮ状態で乗員監視装置１により実行される。

ステップＳ１では、運転者１００の顔と目１０１とが検出される。取得部１１は、カメラ２から取得する画像に基づいて運転者１００の顔と目１０１とを検出する。ステップＳ１が実行されると、ステップＳ２に進む。

ステップＳ２では、運転者１００における目１０１の開眼距離を取得する。取得部１１は、カメラ２から取得した目１０１の画像に基づいて目１０１の開眼距離を算出する。ステップＳ２が実行されると、ステップＳ３に進む。

ステップＳ３では、瞬き判定用の閾値Ｂが設定される。設定部１３は、検出期間に対応する瞬き判定用の閾値Ｂを設定する。ステップＳ３では、瞬き判定用閾値の設定処理として、図１２に示すサブルーチンが実行される。このサブルーチンの説明は図１２を参照して後述する。ステップＳ３が実行されると、ステップＳ４に進む。

ステップＳ４では、ラベル付けが実施される。検出部１２は、ステップＳ２で取得した開眼距離とステップＳ３で設定した閾値Ｂとに基づいてラベル付けを実施する。検出部１２は開眼距離と閾値Ｂとの比較結果に応じてフレームごとにラベルを付与する。ステップＳ４では、図１３に示すサブルーチンが実行される。このサブルーチンの説明は図１３を参照して後述する。ステップＳ４が実行されると、ステップＳ５に進む。

ステップＳ５では、瞬きの有無が判定される。検出部１２は、瞬き判定処理を実施する。検出部１２は、フレームごとに付与されたラベルに基づいて瞬きを検出する。ステップＳ５が実行されると、ステップＳ６に進む。

ステップＳ６では、検出期間内の検出処理が完了したか否かが判定される。検出部１２は、検出対象となる検出期間について瞬きの検出処理が完了したか否かを判定する。例えば検出部１２は検出対象となる検出期間内の全フレームにラベル付けが完了し、かつその付与されたラベルに基づいた瞬きの有無の判定処理が完了しているか否かを判定する。ステップ６で肯定的に判定された場合、ステップＳ７に進む。ステップＳ６で否定的に判定された場合、ステップＳ４にリターンする。

ステップＳ７では、検出期間内での開眼距離の変化量Ｄが算出される。検出部１２は、検出期間内での開眼距離における最大値と最小値との差を算出する。例えば第１検出期間を対象とした瞬きの検出処理が完了したことによりステップＳ６で肯定的に判定され場合、ステップＳ７では、第１検出期間での開眼距離の変化量Ｄ１が算出される。第２検出期間を対象とした瞬きの検出処理が完了したことによりステップＳ６で肯定的に判定された場合、ステップＳ７では、第２検出期間での開眼距離の変化量Ｄ２が算出される。ステップＳ７が実行されると、ステップＳ８に進む。

ステップＳ８では、検出期間内での瞬き時の開く時間ｔｄが算出される。検出部１２は、検出期間内での瞬き時の開く時間ｔｄの合計値を算出する。検出期間内での瞬きの検出回数が一回である場合、一回の瞬きにおける開く時間ｔｄが算出される。検出期間内での瞬きの検出回数が複数である場合、複数回の瞬きについて各瞬き時の開く時間ｔｄを合算した値が算出される。ステップＳ８が実行されると、ステップＳ９に進む。

ステップＳ９では、検出期間内での瞬き時の開眼速度ｖが算出される。検出部１２は、ステップＳ７で算出された開眼距離の変化量Ｄと、ステップＳ８で算出された瞬き時の開く時間ｔｄと、検出期間内に検出された瞬きの回数とに基づいて、検出期間内での瞬き時の開眼速度ｖを算出する。検出部１２は上式（１），（２）を用いて瞬き時の開眼速度ｖを算出する。ステップＳ９が実行されると、ステップＳ３にリターンする。

このようにステップＳ６で肯定的に判定された後にステップＳ７，Ｓ８，Ｓ９の処理を経てステップＳ３にリターンすることにより、次の検出期間を検出対象とする瞬きの検出処理が行われることになる。検出期間内での開眼距離の最大値と、検出期間内での開眼距離の最小値と、検出期間内での瞬き時の開く時間ｔｄの合計値と、検出期間内での瞬き時の開眼速度ｖとは、検出期間内の全フレームにラベル付けが実施された後に算出可能となる。要するに、検出期間ごとの瞬き情報が生成される。瞬き情報は、検出期間内での開眼距離の変化量Ｄと、検出期間内での開眼距離の最大値ＥＯ_ｍａｘと、検出期間内での開眼距離の最小値ＥＯ_ｍｉｎと、瞬き時の開く時間ｔｄと、瞬き時の開眼速度ｖとを含む。

図１２を参照して、瞬き判定用閾値の設定処理について説明する。図１２に示すように、瞬き判定用閾値を設定する処理において、ステップＳ１１では、最初の検出期間であるか否かが判定される。設定部１３は、設定対象となる検出期間が最初の検出期間であるか否かを判定する。第１検出期間である場合にはステップＳ１１で肯定的に判定される。第２検出期間以降の検出期間である場合にはステップＳ１１で否定的に判定される。ステップＳ１１で肯定的に判定された場合、ステップＳ１２に進む。ステップＳ１１で否定的に判定された場合、ステップＳ１３に進む。

ステップＳ１２では、瞬き判定用の閾値Ｂが初期値に設定される。設定部１３は、予め定められた初期値、例えば７５ミリ秒に閾値Ｂを設定する。ステップＳ１２が実行されると、このサブルーチンは終了し、図１１に示すステップＳ４に進む。

ステップＳ１３では、瞬き判定用の閾値Ｂが１つ前の検出期間内での瞬き時の開眼速度ｖに設定される。設定部１３は、設定対象となる検出期間の１つ前の検出期間における開眼速度に基づいて、設定対象となる検出期間における閾値Ｂを決定する。例えば設定対象の検出期間が第２検出期間である場合、設定部１３は第１検出期間内での瞬き時の開眼速度ｖ１を第２検出期間の閾値Ｂ２に設定する。ステップＳ１３が実行されると、このサブルーチンは終了し、図１１に示すステップＳ４に進む。

図１３を参照して、ラベル付け処理について説明する。図１３に示すように、ラベル付け処理において、ステップＳ２１では、検出期間内での開眼距離が取得される。取得部１１は、検出部１２による検出対象となる検出期間での開眼距離を取得する。ステップＳ２１が実行されると、ステップＳ２２に進む。

ステップＳ２２では、フレーム間での開眼距離の変化量が算出される。検出部１２は、ステップＳ１１で取得された開眼距離に基づいて、検出期間内において１つ前のフレームから現フレームまでの開眼距離の変化量を算出する。検出部１２は開眼距離の単位時間あたりの変化量ｄを算出する。ステップＳ２２が実行されると、ステップＳ２３に進む。

ステップＳ２３では、フレーム間での開眼距離の変化量ｄが瞬き判定用の閾値Ｂよりも大きいか否かが判定される。検出部１２は現フレームを付与対象にして、開眼距離の単位時間あたりの変化量ｄが閾値Ｂよりも大きいか否かを判定する。ステップＳ２３で肯定的に判定された場合、ステップＳ２４に進む。ステップＳ２３で否定的に判定された場合、ステップＳ２５に進む。

ステップＳ２４では、現フレームのラベルが１に設定される。検出部１２は現フレームに「１」のラベルを付与する。ステップＳ２４が実行されると、このサブルーチンは終了し、図１１に示すステップＳ５に進む。

ステップＳ２５では、フレーム間での開眼距離の変化量ｄが瞬き判定用の閾値Ｂの負の値よりも小さいか否かが判定される。検出部１２は現フレームを付与対象にして、開眼距離の単位時間あたりの変化量ｄが閾値の負の値よりも小さいか否かを判定する。ステップＳ２５で肯定的に判定された場合、ステップＳ２６に進む。ステップＳ２５で否定的に判定された場合、ステップＳ２７に進む。

ステップＳ２６では、現フレームのラベルが－１に設定される。検出部１２は現フレームに「－１」のラベルを付与する。ステップＳ２６が実行されると、このサブルーチンは終了し、図１１に示すステップＳ５に進む。

ステップＳ２７では、１つ前のフレームに付与されたラベルが－１であるか否かが判定される。検出部１２は、現フレームに対して１つ前のフレームにおけるラベルが－１であるか否かを判定する。ステップＳ２７で肯定的に判定された場合、ステップＳ２８に進む。ステップＳ２７で否定的に判定された場合、ステップＳ２９に進む。

ステップＳ２８では、現フレームのラベルが－１に設定される。検出部１２は現フレームに「－１」のラベルを付与する。ステップＳ２８が実行されると、このサブルーチンは終了し、図１１に示すステップＳ５に進む。

ステップＳ２９では、現フレームのラベルが０に設定される。検出部１２は現フレームに「０」のラベルを付与する。ステップＳ２９が実行されると、このサブルーチンは終了し、図１１に示すステップＳ５に進む。

図１４を参照して、開く時間ｔｄの算出処理について説明する。図１４に示すように、開く時間ｔｄの算出処理において、ステップＳ３１では、検出期間内での瞬きの回数が取得される。検出部１２は、検出期間内に検出された瞬きの回数を特定する。ステップＳ３１が実行されると、ステップＳ３２に進む。

ステップＳ３２では、瞬きの回数が０であるか否かが判定される。検出部１２は、検出期間内での瞬きの検出回数がゼロであるか否かを判定する。ステップＳ３２で肯定的に判定された場合、ステップＳ３３に進む。ステップＳ３２で否定的に判定された場合、ステップＳ３４に進む。

ステップＳ３３では、瞬き時の開く時間ｔｄが７５ミリ秒に設定される。検出部１２は、検出期間内に瞬きを検出していないと判定した場合、開く時間ｔｄを７５ミリ秒に設定する。一回の瞬きの速さの平均値は１５０ミリ秒程度であるため、その半分の値である７５ミリ秒が瞬き時の開く時間ｔｄに設定される。ステップＳ３３が実行されると、このサブルーチンは終了し、図１１に示すステップＳ９に進む。

ステップＳ３４では、検出期間内での瞬き継続時間ｔａと閉眼時間ｔｃとの差が算出される。検出部１２は、瞬き継続時間ｔａから閉眼時間ｔｃを減じた値を算出する。ステップＳ３４が実行されると、ステップＳ３５に進む。

ステップＳ３５では、瞬き継続時間ｔａから閉眼時間ｔｃを減じた値を瞬き回数の２倍値で割った値が求められ、その値が開く時間ｔｄに設定される。検出部１２は、ステップＳ３４で算出した値をステップＳ３１で取得した瞬き回数で割り、その割った値の半分の値を検出期間での開く時間ｔｄに設定する。ステップＳ３５が実行されると、このサブルーチンは終了し、図１１に示すステップＳ９に進む。

このように構成された乗員監視装置１では、図１５に示すように、瞬きの検出精度が向上する。図１５（ａ）には、瞬きの検出に用いた開眼距離のデータが示されている。図１５（ｂ）には、図１５（ａ）のデータ用いて、従来の瞬き検出方法により瞬きを検出した検出結果が示されている。図１５（ｃ）には、図１５（ａ）のデータ用いて、上記実施形態における瞬き検出方法により瞬きを検出した検出結果が示されている。実施形態の検出方法によれば、従来の方法では検出できなかった瞬きを検出できることが分かる。なお、図１５（ａ）の縦軸は開眼距離、図１５（ｂ），図１５（ｃ）の縦軸は瞬き継続時間（フレーム数）を表す。図１５（ａ），図１５（ｂ），図１５（ｃ）の横軸はいずれもフレームを表す。

以上説明したように、実施形態の乗員監視装置１によれば、運転者１００の開眼距離に基づいて瞬き判定用の閾値Ｂを設定し、その閾値Ｂを用いて瞬きの有無を判定する。これにより、運転者１００に合わせた閾値Ｂが設定可能になり、瞬きの検出精度が向上する。この結果、乗員監視装置１は、車両３の乗員における瞬きの有無を精度よく検出することができる。

また、実施形態の乗員監視装置１では、設定対象となる検出期間の１つ前の検出期間における開眼時の開眼速度ｖに基づいて、設定対象の検出期間の閾値Ｂを決定する。乗員監視装置１によれば、運転者１００の目の開閉動作の特徴と反映させた閾値Ｂとすることが可能である。これにより、瞬きの検出精度が向上し、車両３の乗員における瞬きの有無を精度よく検出することができる。

また、実施形態の乗員監視装置１では、閾値Ｂと開眼距離の単位時間あたりの変化量ｄとの比較結果に応じてラベル付けを実施し、ラベルＬに基づいて運転者１００の瞬きの有無を判定する。乗員監視装置１によれば、運転者１００に合わせて設定された閾値Ｂに応じたラベルＬを付与できる。これにより、瞬きの検出精度が向上し、車両３の乗員における瞬きの有無を精度よく検出することができる。

また、実施形態の乗員監視装置１では、ラベルＬの数値が切り替わるところを特定することにより、瞬きの開始と終了とを判定することができる。これにより、瞬きの検出精度が向上し、車両３の乗員における瞬きの有無を精度よく検出することができる。

なお、ラベルＬは「－１」と「１」と「０」との組み合わせに限定されない。ラベルＬに用いられる三種類の数値は特に限定されない。また、ラベルＬは三種類の数値に限らず、三種類の記号や英文字などにより表されてもよい。

また、単位時間は３３ミリ秒に限定されず、適宜の値に設定されてもよい。検出期間は３秒に限定されず、適宜の値に設定されてもよい。実施形態では説明の便宜上、検出期間と記載したが、この検出期間は単位時間と表現することが可能である。

また、運転者１００の瞬きを検出する構成について説明したが、運転者１００に限らず、車両３に乗車している乗員を対象とすることが可能である。例えばカメラ２が運転席と助手席とに二台設置されている場合には、上記の検出処理により、助手席に乗車した乗員の顔を撮像し、助手席の乗員を対象とした瞬きの検出を行うことが可能である。乗員監視装置１は、運転者１００に限定されず、車両３の乗員に適用することが可能である。

［第１変形例］
実施形態の第１変形例について説明する。実施形態の第１変形例に係る乗員監視装置１では、閾値Ｂの設定方法が上記実施形態とは異なる。図１６は、第１変形例における閾値設定フローを示すフローチャート図である。図１６に示すフローチャートは、図１２に示すフローチャートの変形例である。図１６に示すステップＳ１１，Ｓ１２，Ｓ１３は、図１２に示すステップＳ１１，Ｓ１２，Ｓ１３と同様の処理であるため、ここでの説明を省略する。

図１６に示すように、第１変形例における瞬き判定用閾値を設定する処理において、ステップＳ１１で肯定的に判定された場合にはステップＳ１２に進み、ステップＳ１１で否定的に判定された場合にはステップＳ１１ａに進む。

ステップＳ１１ａでは、検出期間内での開眼距離の変化量Ｄが開眼距離の最大値の０．３倍値よりも大きいか否かが判定される。設定部１３は、設定対象となる検出期間の１つ前の検出期間での開眼距離の変化量Ｄと開眼距離の最大値ＥＯ_ｍａｘとに基づいて、その変化量Ｄが最大値ＥＯ_ｍａｘの０．３倍値よりも大きいか否かを判定する。ステップＳ１１ａでは、図１１に示すステップＳ７で算出された開眼距離の変化量Ｄを用いて判定が行われる。検出期間内において開眼距離の変化量Ｄが開眼距離の最大値ＥＯ_ｍａｘの０．３倍値よりも大きい場合、その検出期間において瞬きが検出されているものと判断できる。一方、検出期間内において開眼距離の変化量Ｄが開眼距離の最大値ＥＯ_ｍａｘの０．３倍値以下である場合には、その検出期間において瞬きが検出されていないものと判断できる。ステップＳ１１ａで肯定的に判定された場合、ステップＳ１３に進む。ステップＳ１１で否定的に判定された場合、ステップＳ１４に進む。

ステップＳ１３では、瞬き判定用の閾値Ｂが１つ前の検出期間内での瞬き時の開眼速度ｖに設定される。設定部１３は、設定対象となる検出期間の１つ前の検出期間における開眼速度に基づいて、設定対象となる検出期間における閾値Ｂを決定する。例えば設定対象の検出期間が第２検出期間である場合、設定部１３は第１検出期間内での瞬き時の開眼速度ｖ１を第２検出期間の閾値Ｂ２に設定する。ステップＳ１３が実行されると、このサブルーチンは終了し、図１１に示すステップＳ４に進む。

ステップＳ１４では、設定対象の検出期間の１つ前の検出期間における開眼距離の最大値ＥＯ_ｍａｘを開く時間ｔｄで割った値が算出され、その値が瞬き判定用の閾値Ｂに設定される。設定部１３は、設定対象となる検出期間の１つ前の検出期間における開眼距離の最大値ＥＯ_ｍａｘと瞬き時の開く時間ｔｄとに基づいて、設定対象となる検出期間における閾値Ｂを決定する。例えば設定対象の検出期間が第２検出期間である場合、設定部１３は第１検出期間内での開眼距離の最大値ＥＯ_ｍａｘを開く時間ｔｄ１で割った値を求め、その値を第２検出期間の閾値Ｂ２に設定する。ステップＳ１４が実行されると、このサブルーチンは終了し、図１１に示すステップＳ４に進む。

第１変形例の乗員監視装置１によれば、運転者１００の開眼距離に基づいて開眼状態に応じた閾値Ｂを細かく設定することができる。これにより、瞬きの検出精度が向上する。

［第２変形例］
実施形態の第２変形例について説明する。実施形態の第２変形例に係る乗員監視装置１では、上記実施形態とは異なり、開眼度を用いて運転者１００のマイクロスリープを検出する。第２変形例に係る乗員監視装置１は、運転者１００が居眠り状態やマイクロスリープ状態にあることを判別する判別処理を実行する。図１７は、マイクロスリープを説明するための図である。図１８は、判別処理フローを示すフローチャート図である。図１９は、第２変形例における検出結果を示す表図である。

図１７に示すように、マイクロスリープは、０．５秒以上かつ３秒未満の閉眼となる場合のことをいう。目の開眼度が１００％のときを覚醒状態とした場合、開眼度が２０％以下の状態を閉眼とする。開眼度が１００％の場合、目１１０が開いた状態である。開眼度が０％の場合、目１１０が完全に閉じた状態である。

図１８に示すように、第２変形例における判別処理において、ステップＳ５１では、上記実施形態の検出処理が実施された瞬き情報が取得される。この瞬き情報には、検出期間内で検出された瞬きの回数に関する情報と、ラベル付けが実施されたフレームの情報などが含まれる。検出部１２は、判別対象の検出期間の１つ前の検出期間で生成された瞬き情報を取得する。ステップＳ５１が実施されると、ステップＳ５２に進む。

ステップＳ５２では、１００％開眼度の開眼距離が取得される。検出部１２は、１００％の開眼度に設定された開眼距離に関する情報を取得する。１００％開眼度の距離は適宜の方法により設定されてよい。ステップＳ５２が実施されると、ステップＳ５３に進む。

ステップＳ５３では、一回の瞬きの開始が検出される。検出部１２は、フレームに付与されたラベルに基づいて瞬きの開始を判別することができる。検出部１２はラベルが「０」から「－１」に切り替わるところを検出することにより、瞬きが開始したと判別することができる。ステップＳ５３が実施されると、ステップＳ５４に進む。

ステップＳ５４では、開眼度が２０％以下であるか否かが判定出される。検出部１２は、瞬きであると判別されたフレームを対象にして、そのフレームの開眼度が２０％以下であるか否かを判定する。この検出部１２は１つのフレームに対して判定処理を行う。瞬きと判別された箇所が複数のフレームを含む場合、検出部１２は、一回の瞬きのなかで最初に「－１」のラベルとなるフレームについて、開眼度が２０％以下であるか否かを判定する。ステップＳ５４で肯定的に判定された場合、ステップＳ５５に進む。ステップＳ５４で否定的に判定された場合、ステップＳ５６に進む。

ステップＳ５５では、カウンタが＋１される。検出部１２は、開眼度が２０％以下となる場合にカウンタの値に１を加算する。ステップＳ５５が実施されると、ステップＳ５７に進む。

ステップＳ５６では、カウンタが＋０される。検出部１２は、開眼度が２０％よりも大きい場合にはカウンタを加算しない。ステップＳ５６が実施されると、ステップＳ５７に進む。

ステップＳ５７では、一回の瞬きが終了したか否かが判定される。検出部１２は、ステップＳ５４で判定対象となったフレームの次のフレームについて、ラベルが「０」であるか否かを判定する。次のフレームのラベルが「０」である場合、ラベルが「１」から「０」に切り替わるタイミングであるため、一回の瞬きが終了したタイミングと判別することができる。一方、次のフレームのラベルが「１」または「－１」である場合、瞬きが継続していると判別される。ステップＳ５７で肯定的に判定された場合、ステップＳ５８に進む。ステップＳ５７で否定的に判定された場合、ステップＳ５４にリターンする。

一回の瞬きに含まれるフレームの数だけ、ステップＳ５７で否定的に判定されることになる。そのため、一回の瞬きの間で開眼度が２０％以下となるフレームの数だけ、カウンタの値が１ずつ加算される。検出部１２は、運転者１００の開眼度が２０％以下であるか否かを単位時間ごとに判定する。さらに、検出部１２は、開眼度が２０％以下であると連続して判定された回数をカウントする。そして、一回の瞬きに含まれる全フレームについて、開眼度が２０％以下であるかが判定され、カウンタが加算された後、ステップＳ５７で肯定的に判定されることになる。

ステップＳ５８では、カウンタの値が１５以上であるか否かが判定される。検出部１２は、一回の瞬きを対象にして、その検出された瞬きにおけるカウンタの値が１５以上であるか否かを判定する。この場合、検出部１２は、一回の瞬きにおける閉眼が０．５秒以上であるか否かを判定することになる。ステップＳ５８で否定的に判定された場合、ステップＳ５９に進む。ステップＳ５８で肯定的に判定された場合、ステップＳ６０に進む。

ステップＳ５９では、カウンタの値が０にリセットされる。検出部１２は、ステップＳ５８で否定的に判定された場合には一回の瞬きにおける閉眼が０．５秒未満となる正常な瞬きであると判断し、カウンタの値を０にリセットする。ステップＳ５９が実施されると、ステップＳ５３にリターンする。

ステップＳ６０では、カウンタの値が９０以上であるか否かが判定される。検出部１２は、一回の瞬きを対象にして、その検出された瞬きにおけるカウンタの値が９０以上であるか否かを判定する。この場合、検出部１２は、一回の瞬きにおける閉眼が３秒以上であるか否かを判定することになる。ステップＳ６０で肯定的に判定された場合、ステップＳ６１に進む。ステップＳ６０で否定的に判定された場合、ステップＳ６２に進む。

ステップＳ６１では、運転者１００が居眠り状態であると判定される。検出部１２は、ステップＳ６０で肯定的に判定された場合には一回の瞬きにおける閉眼が３秒以上となる居眠り状態であると判断する。ステップＳ６１が実施されると、この制御ルーチンは終了する。

ステップＳ６２では、運転者１００がマイクロスリープ状態であると判定される。検出部１２は、ステップＳ６０で否定的に判定された場合には一回の瞬きにおける閉眼が０．５秒以上かつ３秒未満となるマイクロスリープ状態であると判断する。検出部１２は、カウントが第１回数の１５以上かつ第２回数の９０未満である場合、運転者１００がマイクロスリープ状態であると判定する。ステップＳ６２が実施されると、この制御ルーチンは終了する。なお、この第２変形例は、運転者１００に限らず、車両３の乗員を対象にすることが可能である。例えばカメラ２が運転席と助手席とに二台設置されている場合には、助手席の乗員を対象にしてマイクロスリープの検出を行うことが可能である。

図１９には、第２変形例の検出方法を用いた実施例の検出結果と、移動平均の検出手法を用いた比較例の検出結果とが示されている。図１９に示すように、実施例の検出結果は比較例の検出結果に比べて真値に近い結果が得られている。この結果から、第２変形例によれば、移動平均では検出できない瞬きを検出することが可能であることが分かる。

第２変形例の乗員監視装置１によれば、乗員の開眼度が所定値以下となる連続回数をカウントし、そのカウントが第１回数以上かつ第２回数未満である場合に乗員がマイクロスリープ状態であると判定することができる。これにより、車両３の乗員におけるマイクロスリープを精度よく検出することができる。

なお、上記の実施形態および変形例に開示された内容は、適宜組み合わせて実行することができる。

１：乗員監視装置、 ２：カメラ、 ３：車両
１１：取得部、 １２：検出部、 １３：設定部
１００：運転者、 １１０：目

Claims (5)

1. 車両に乗車している乗員の開眼距離を取得する取得部と、
   前記開眼距離に基づいて瞬き判定用の閾値を設定する設定部と、
   前記閾値と前記開眼距離の単位時間あたりの変化量との比較結果に基づいて前記乗員の瞬きを検出する検出部と、
   を備える乗員監視装置。
2. 前記検出部は、予め定められた検出期間ごとに前記開眼距離に基づいて前記乗員の瞬き時の開眼速度を算出し、
   前記設定部は、前記検出期間ごとに対応する前記閾値を設定するものであり、設定対象となる検出期間の１つ前の検出期間における前記開眼速度に基づいて前記設定対象となる検出期間における前記閾値を決定する
   請求項１に記載の乗員監視装置。
3. 前記検出部は、
   前記開眼距離の単位時間あたりの変化量を前記単位時間ごとに算出し、
   前記閾値と前記開眼距離の単位時間あたりの変化量との比較結果に応じたラベルを前記単位時間ごとに付与し、
   前記ラベルの付与結果に基づいて前記乗員の瞬きの有無を判定する
   請求項２に記載の乗員監視装置。
4. 前記検出部は、
   前記開眼距離の単位時間あたりの変化量が前記閾値よりも大きい場合、前記ラベルとして第１値を付与し、
   前記開眼距離の単位時間あたりの変化量が前記閾値の負の値よりも小さい場合、前記ラベルとして第２値を付与し、
   前記開眼距離の単位時間あたりの変化量が前記閾値の絶対値よりも小さい場合、かつ１つ前のラベルが前記第２値である場合には、前記ラベルとして前記第２値を付与し、
   前記開眼距離の単位時間あたりの変化量が前記閾値の絶対値よりも小さい場合、かつ１つ前のラベルが前記第２値以外の値である場合には、前記ラベルとして第３値を付与し、
   前記ラベルが前記第３値から前記第２値に切り替わるところを始点とし、前記ラベルが前記第１値から前記第３値に切り替われるところを終点として、前記始点から前記終点までの間を瞬きであると判定する
   請求項３に記載の乗員監視装置。
5. 前記検出部は、
   前記乗員の開眼度が所定値以下であるか否かを前記単位時間ごとに判定し、
   前記開眼度が所定値以下であると連続して判定された回数をカウントし、
   前記カウントが第１回数以上かつ第２回数未満である場合、前記乗員がマイクロスリープ状態であると判定する
   請求項１から４のうちのいずれか一項に記載の乗員監視装置。

Images