JP4974360B2 - 居眠り運転防止装置 - Google Patents

Description

本発明は、居眠り運転防止装置の改良に関するものである。

従来、車両運転者が眼を閉じている時間である閉眼時間を計測し、閉眼時間に応じて運転者に警報を出力することで居眠り運転を防止する居眠り運転防止装置がある。
特開平８−１４７５８４号公報

しかしながら、従来の居眠り運転防止装置においては、眼が閉じた時間に基づいて運転者の居眠りを判定するため、眼は完全に閉眼していないが、覚醒水準が低下している状態の場合、居眠り運転を防止する警報の出力が遅くなり、居眠り運転による事故等を招く確率が高くなってしまうという問題がある。

本発明においては、上記の問題点に鑑みてなされたものであり、上記問題点を解決する居眠り運転防止装置を提供することを目的とする。

第１の発明は、運転者の眼を撮影する眼撮影手段と、撮影した眼の画像データを用いて眼の開き具合である開眼度を計測する開眼度計測手段と、計測した開眼度と運転者が覚醒した状態で計測した開眼度とから開眼率を演算する開眼率演算手段と、演算した開眼率に応じて運転者の覚醒の低下を判定する覚醒状態判定手段と、前記開眼率に応じて設定される反応時間の分布関数に基づいて反応時間以下で運転者が反応する確率を演算する反応時間演算手段と、前記開眼率に応じて判定される覚醒状態および前記反応時間以下で運転者が反応する確率に基づいて運転者への警告および車両の走行状態を制御する車両制御手段と、を備えたことを特徴とする居眠り運転防止装置である。

第２の発明は、第１の発明において、前記開眼度は、移動平均値を用いて演算されることを特徴とする居眠り運転防止装置である。

第３の発明は、第１の発明または第２の発明において、前記移動平均開眼度の演算の前に、前記開眼度の計測データから眼が瞬きしている瞬目の時間の影響を除外するデータの補間を行うデータ補間手段を備えることを特徴とする居眠り運転防止装置である。

第４の発明は、第１の発明〜第３の発明の何れか１つにおいて、覚醒状態判定手段は、前記開眼率が所定値以下の場合に運転者の覚醒が低下していると判定することを特徴とする居眠り運転防止装置である。

第５の発明は、第１の発明〜第３の発明の何れか１つにおいて、前記車両制御手段は、前記開眼率が前記所定値以下となる状態が所定時間以上継続する場合に、前記確率を使って居眠り運転による危険を回避する危険回避制御を実施する危険回避手段を備えることを特徴とする居眠り運転防止装置である。

第６の発明は、第５の発明において、前記危険回避手段は、車両の制動装置を制御して走行中の車両に制動力を作用させることを特徴とする居眠り運転防止装置である。

第７の発明は、第１の発明〜第３の発明の何れか１つにおいて、前記開眼度計測手段は、運転者の少なくとも一方の眼の開眼度を計測することを特徴とする居眠り運転防止装置である。

第８の発明は、第１の発明〜第７の発明の何れか１つにおいて、前記開眼度計測手段は、前記開眼度として、眼の目頭と目尻とを結ぶ直線の中点から直線に直交する上瞼と下瞼までの距離を計測することを特徴とする居眠り運転防止装置である。

第９の発明は、第１の発明〜第７の発明の何れか１つにおいて、前記開眼度計測手段は、前記開眼度として、眼の上瞼と下瞼とで区画される面積である開眼面積を計測することを特徴とする居眠り運転防止装置である。

第１の発明では、計測した開眼度と運転者が覚醒した状態で計測した開眼度とから設定される開眼率を用いて運転者の覚醒低下の状態を判定し、判定に応じて運転者を覚醒するので、運転者の覚醒の状態を精度よく判定する。そして、この判定結果および反応時間以下で運転者が反応する確率に基づいて、運転者への警告および車両の走行状態を制御するので、居眠り運転を確実に防止すると共に、居眠り運転による事故の可能性を低減することができる。

第２の発明では、開眼度を移動平均値とすることで、開眼度に基づき算出される開眼率の算出精度を向上することができる。

第３の発明では、瞬目中の開眼度を、瞬目前後の開眼度を用いて補間することによって、反応時間の推定や定量判定算出の精度を向上することができる。

第４の発明では、運転者の開眼率が所定値以下の場合に運転者の覚醒が低下していると判定するので、運転者の覚醒低下を運転者の開眼度にかかわらず精度よく判定することができる。

第５、６の発明では、車両の制動制御を行う危険回避手段を備えたので、運転者の覚醒が復帰しない場合にも居眠り運転に起因する事故を防止することが可能となる。

第７の発明では、運転者の一方の眼の開眼度を測定するればよいので、コスト低減を図ることができる。

第８、９の発明では、開眼度を容易に計測することができる。

図１は、本発明の居眠り運転防止装置のシステム構成図を示す。

本発明のシステムは、運転者の少なくとも一方の眼を撮影するデジタルカメラ等からなる開眼度計測用データ取得部１０と、取得した眼の画像データを用いて開眼度及び開眼率を演算し、開眼率から運転者の覚醒低下の状態を判定し、車両を制御するコントローラ１００とからなる。

コントローラ１００は、撮影した眼の画像データから開眼度を計測する開眼度計測部２０と、計測する開眼度の精度向上のための瞬目時のデータを補間するデータ補間保管部３０と、計測した開眼度から開眼率を演算する開眼率演算部４０と、演算した開眼率に基づいて運転者の覚醒状態を判定する覚醒状態判定部５０と、演算した開眼率に基づいて運転者の反応時間と反応時間以下で反応する確率とを演算する反応時間演算部６０と、運転者の覚醒状態に応じて運転者への警告及び車両の走行状態を制御する車両制御部７０とから構成される。

開眼度計測部２０は、開眼度計測用データ取得部１０が撮影した画像データをデジタル処理して開眼度D(pixel)を求める。ここで、開眼度Dの算出規定について図２を用いて説明する。開眼度Dは、眼の開き具合の指標であり、例えば、眼の目頭と目尻とを結ぶ直線の中点から直線に直交する方向での直線から上瞼及び下瞼までの距離の合計の長さ（開眼度の計測位置は、定位置とする必要があるが、目頭と目尻とを結ぶ直線の中点にこだわらなくてもよい）とする。開眼度Dの基準値としては、明らかに覚醒がはっきりしている状態、覚醒状態にある場合、例えば車両運転開始時の開眼度を基準値とする。ここで、開眼度Dは、左右の開眼度が同じと考えることができるため、少なくとも左右一方の眼の開眼度を測定すればよい。なお、開眼度として図３に示すように上瞼と下瞼とで区画される領域の面積である開眼面積を開眼度として用いてもよい。以下の説明においては、上瞼と下瞼との間の距離を用いて説明するが、開眼面積に適用することが可能であることはいうまでもない。

瞬目時データ補間部３０は、眼の瞬き（以下、瞬目）による閉眼が覚醒状態の判定に影響するため、瞬目による開眼度のデータの補間を行う。開眼度のデータ取得中に瞬目が生じると図４に示すように一時的に開眼度が低下するようなデータとなる。この低下傾向を示す時間に応じて瞬目か否かを判断し、瞬目であれば、図５に示すような補間処理を行う。補間処理の方法としては、瞬目が生じる前後の開眼度のデータを用いて瞬目が生じなかった場合の開眼度を推定、補間する。

具体的には、以下の方法によりデータの補間を実施する。

瞬目時i（i=1,…,d）番目の開眼度のデータは、下式により瞬目期間の取得データを補間する。

なお、上式において、x_init：閉眼する直前の開眼度、x_current：閉眼が終了した直後の開眼度、d：閉眼状態において取得されたデータのフレーム数、を示す。

開眼率演算部４０では、開眼度計測部２０で計測した開眼度Dを基準値と比較して開眼率（％）を演算する。開眼率とは、前述したように運転者の覚醒がはっきりとした覚醒状態での眼の開眼度を基準として、測定時の眼の開眼度を百分率で示す指標であり、個々人の開眼度のバラツキを排除する効果もある。以下、開眼率EORの演算方法について説明する。

任意の時刻Tにおける開眼率EORは、下式で算出される。

ここで、EOR(T)：時刻Tにおける開眼率、D(T)：時刻Tにおける開眼度、Dawake：覚醒時の開眼度である。

但し、ここでの開眼度Dは瞬目時データ補間部３０にて補間済みのものを用いる。また、測定誤差の影響を少なくするために下式に示すように開眼度は移動平均値として開眼率EORを算出しても良い。

ここで、T：測定時刻、Ta：解析開始時刻、Tb：解析終了時刻を表す。

このようにして演算された開眼率EORを用いて覚醒状態判定部５０にて、運転者の覚醒状態を判定する。覚醒状態判定部５０で行われる覚醒状態の判定は、図６、図７のフローチャートを用いて説明する。

本発明の居眠り運転防止装置は、眼の開眼率が運転者の覚醒の低下度合いを示す反応時間と一定の関係があることを発明者らが見出し、開眼率によって覚醒の低下状態を判定して運転者に警告や注意喚起を行い、覚醒状態に復帰させることを目的としている。ここで、開眼率EORを用いることにより、各運転者により開眼度Dが異なっても的確に運転者の覚醒低下の状態を判定することができるのである。

図８は、反応時間RTと開眼率EORとの関係を示すグラフであり、開眼率１００％程度、すなわち覚醒状態にある場合に比して、開眼率EORが低下するほどに反応時間が遅くなる相関関係にあることが分かる。また発明者は、運転者の開眼率EORと反応時間RTの分布関数（CDF：Cumulative Distribution Function）との関係を実験的に見出した。この関係性を利用して、反応時間演算部６０では、運転者の現在の開眼率を算出し，車の制御などで必要な反応時間に対して、運転者の反応時間を図８に示すようなグラフを用いて推定することが可能である。また、運転者が反応できる確率を推定することが図９に示すような図を用いて可能である。例えば、障害物への衝突時間が現車速と障害物までの距離から予測される場合には、その時の運転者の開眼率によって反応時間が遅れて衝突する確率値を推定することができる。したがって、本発明では、この開眼率に応じて運転者の覚醒の状態を推定し、その覚醒の低下状態に応じて、この状況を運転者に知らしめたり、車両制御を用いて覚醒状態に復帰させる手段を実施する。

次に、コントローラ１００が実施する居眠り運転防止制御を図６、図７に示すフローチャートを用いて説明する。

まずステップＳ０では、瞬目時データ補間部３０にて必要なパラメータ（ここで、x_last：１フレーム前に測定した開眼度、Flag：計測データの補間要否を表すフラグであり、「１」で補間不要、「０」で補間必要を示し、Frm：瞬目判断の閾値、E1：閉眼状態を判定する閾値、E2：閉眼後の開眼を判定する閾値を示す）の初期化を行う。

ステップＳ１では、開眼度計測用データ取得部１０としてのデジタルカメラから画像データを取り込む。画像データの取得間隔は、演算する平均開眼率の精度に関連するため、必要な精度に応じて任意に設定すればよい。ステップＳ２では、取り込んだ画像データを画像処理して開眼度Dを計測する。

続くステップＳ３からステップＳ１２において、瞬目による平均開眼度の演算精度悪化を除外するために、瞬目データの補間処理を行う。

以下に、瞬目データの補間処理について説明する。

計測時に瞬目が発生した場合、その瞬目によって閉眼している間の開眼度については、眠気によるものとは区別する必要がある。そのため、瞬目が発生した場合には、その間の開眼度については瞬目の直前の開眼度および瞬目が終了した直後の開眼度を用いて欠損したデータを補間する。

まずステップＳ３では、データ補間の必要性を表す状態指標フラグの状態を調べる。状態指標フラグが「１」の場合、補間は不要と判断してステップＳ９へ移行する。

ステップＳ９で現在より１フレーム前に測定した開眼度x_lastと現在測定した開眼度x_currentの差が閾値Ｅ１以下の場合には、ステップＳ１２で現在より１フレーム前に測定した開眼度データx_lastを現在測定した開眼度データx_currentで置き換えてステップＳ１３へ移行する。ステップＳ９で現在より１フレーム前に測定した開眼度x_lastと現在測定した開眼度x_currentの差が、閉眼状態となったか否かを判定する閾値Ｅ１（例えば1.4mm）より大きければ、ステップＳ１０で状態指標フラグに「０」を格納する。ステップＳ１１で、フレーム数dに初期値１を格納し、閉眼状態になる直前の開眼度のデータx_initを現在より１フレーム前に測定した開眼度データx_lastで置き換えてステップＳ１へ戻り処理を継続する。

ステップＳ３で状態指標フラグが「０」であれば、ステップＳ４に進み、閉眼後サンプリングされたフレーム数dと、瞬目判定つまり閉眼後何フレームまで開眼されれば瞬目と判定するかのフレーム数閾値Frm（例えば２０フレーム）とを比較する。閉眼後のフレーム数dが閾値Frmよりも少なければ瞬目と判定してステップＳ５へ移行する。

ステップＳ５で閉眼状態になる直前の開眼度x_initと現在測定した開眼度x_currentの差が、閉眼した後、再び開眼したか否かを判定する閾値E2よりも大きければ、ステップＳ６で処理フレーム数dを１つカウントアップしてステップＳ１に戻り、処理を継続する。ステップＳ５で閉眼状態になる直前の開眼度x_initと現在測定した開眼度x_currentの差が閾値E2（例えば2.8mm）以下であれば、ステップＳ７で瞬目期間のデータを数式１で補間し、Ｓ８で状態指標フラグに「１」を格納してステップＳ１３へ移行する。

もし、ステップＳ４で閉眼後サンプリングされたフレーム数dが閾値Frm以上であれば、ステップＳ８で状態指標フラグに「１」を格納してステップＳ１３へ移行する。

続いてステップＳ１３で、計測した開眼度Dの移動平均値を算出する。なお、移動平均を用いない場合は、ステップ４の処理を省き、代わりにその時刻の開眼度DをステップＳ１４以降で用いても良い。ステップＳ１４では、算出した移動平均開眼度と基準となる覚醒時の移動平均開眼度とから開眼率EORを演算する。開眼率EORは、ステップＳ１３で演算した移動平均開眼度と覚醒状態での開眼度との比で算出される。

続くステップＳ１５以下のステップでは、演算した開眼率EORを用いて、運転者の覚醒状態を判定し、覚醒の低下状態に応じた警報等を運転者に発する。

まずステップＳ１５では、開眼率EORと第１所定値、例えば９０％とを比較して、９０％以下ではステップＳ１６へ進み、９０％を超えていればステップＳ１７へと進む。ステップＳ１７では、運転者ははっきりした覚醒状態にあると判定し、続くステップＳ２６で警報の有無を確認し、警報が発せられていればステップＳ２７で警報を解除してステップＳ１の画像データの取り込みに戻る。

ステップＳ１６では、開眼率EORと第１所定値より小さい第２所定値、例えば８０％とを比較し、８０％以下ではステップＳ１８へ進み、８０％を超えていればステップＳ１９へと進む。ステップＳ１９では、運転者が軽度の覚醒低下状態にあるとして、１次警報を発する。１次警報としては、例えば、音声、音楽や警報音を鳴らすことにより運転者の覚醒を正常状態に復帰させる。

ステップＳ１８では、開眼率EORを第２所定値より小さい第３所定値、例えば６５％と比較して、６５％以下ではステップＳ２０に進み、６５％を超えていればステップＳ２１へ進む。

ステップＳ２１では、運転者が中度の覚醒低下状態にあると判定して２次警報、例えば１次警報に加えて不快で耳障りな警告音を頻繁に発する。一方、ステップＳ２０では、運転者が重度の覚醒低下状態にあるとして３次警報を発する。３次警報としては、例えば、２次警報に加えて、窓開け、シートベルトの巻き込みや、制動制御により車両を減速して運転者の覚醒を覚醒させる。

ステップＳ２０に続くステップＳ２２では、開眼率EORが第３所定値以下である、つまり睡眠している入眠状態と判断しうる状態の継続時間を所定時間と比較する。ここで所定時間は、例えば３秒である。３秒以下であれば、３次警報により３秒以内に覚醒状態に復帰したと判定でき、この場合にはステップＳ１に戻る。対して３次警報を発したにもかかわらず３秒を超えて覚醒状態に復帰しない場合には、居眠り運転による危険を回避する危険回避制御を、例えば以下のように実施する。

まずステップＳ２３で運転者が重度の覚醒低下状態にあることを車両の運行管理者に連絡するとともに、続くステップＳ２４で車両の制動装置を制御して車両を減速状態に移行する。同時に後続車への注意喚起のため、ハザードランプを点灯してもよい。そしてステップＳ２５で車両が高速道路を走行している場合には、車速を法定最低速度まで減速して、その速度を維持する。法定最低速度の規定のない一般道路を走行している場合には停車状態まで車速を減速するようにしてもよい。また、車両が障害物へ接近し衝突までの時間が現車速と障害物までの距離から予測される場合には、反応時間演算部６０で運転者の現開眼率EORから反応時間RTが遅れて衝突する確率値を下式にて推定することができる。

ここに、hRT[RT,EOR]：開眼率EORに対する反応時間の分布関数、fRT[t,EOR]：反応時間EORに対する反応時間の確率密度、RT：反応時間、t：時間を示す。

この値を使って事前に危険回避制御を実施することで、居眠り運転による事故の可能性を低減することができる。

ここで、式４で表される反応時間RTの分布関数について、図９で説明する。図中のグラフ（分布関数）は、ある反応時間RT以下で反応することが出来る確率を表している。例えば、このグラフは開眼率EORが65％のときの分布関数が、図中のグラフであるとする。このとき、1.2秒以下で反応できる確率は、57％であることが推定される。また、逆に100％から57％を引いた残余である43％は、反応時間RTが1.2秒より遅れる確率を表すことになる。

ステップＳ２５に続くステップＳ２８では、車両のメインスイッチのオンオフ状態を読み込み、オンであればステップＳ１に進み、居眠り運転防止制御を継続し、オフであれば制御を終了する。

したがって、本発明は、運転者の眼を撮影し、撮影した眼の画像データから開眼度を計測し、計測した開眼度と運転者が覚醒した状態で計測した開眼度とから開眼率を演算する。演算した開眼率を所定値と比較し、所定値以下の場合に運転者の覚醒が低下しているとして運転者を覚醒する居眠り運転防止装置であり、計測時の開眼度と基準となる覚醒時の開眼度とから演算する開眼率を用いて運転者の覚醒状態を判定することにより、運転者の覚醒低下をより精度よく判定し、この判定結果により運転者を覚醒させることで、確実に居眠り運転を防止することができる。

本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。

本実施形態の居眠り運転防止装置のシステム構成図である。 開眼度の説明図である。 開眼面積を説明する図である。 瞬目を説明する図である。 計測データの補間を説明する図である。 居眠り運転防止制御を説明するフローチャートである。 居眠り運転防止制御を説明するフローチャートである。 反応時間RTと開眼率EORとの関係を示す図である。 反応時間RTの分布関数を説明する図である。

符号の説明

Ｄ：開眼度
ＥＯＲ：開眼率
１０：開眼度計測用データ取得部
２０：開眼度計測部
３０：瞬目時データ補間部
４０：開眼率演算部
５０：覚醒状態判定部
６０：反応時間演算部
７０：車両制御部
１００：コントローラ

Claims (9)

1. 運転者の眼を撮影する眼撮影手段と、
   撮影した眼の画像データを用いて眼の開き具合である開眼度を計測する開眼度計測手段と、
   計測した開眼度と運転者が覚醒した状態で計測した開眼度とから開眼率を演算する開眼率演算手段と、
   演算した開眼率に応じて運転者の覚醒の低下を判定する覚醒状態判定手段と、
   前記開眼率に応じて設定される反応時間の分布関数に基づいて反応時間以下で運転者が反応する確率を演算する反応時間演算手段と、
   前記開眼率に応じて判定される覚醒状態および前記反応時間以下で運転者が反応する確率に基づいて運転者への警告および車両の走行状態を制御する車両制御手段と、
   を備えたことを特徴とする居眠り運転防止装置。
2. 前記開眼度は、移動平均値を用いて演算されることを特徴とする請求項１に記載の居眠り運転防止装置。
3. 前記移動平均開眼度の演算の前に、前記開眼度の計測データから眼が瞬きしている瞬目の時間の影響を除外するデータの補間を行うデータ補間手段を備えることを特徴とする請求項１または請求項２に記載の居眠り運転防止装置。
4. 覚醒状態判定手段は、前記開眼率が所定値以下の場合に運転者の覚醒が低下していると判定することを特徴とする請求項１〜請求項３の何れか１つに記載の居眠り運転防止装置。
5. 前記車両制御手段は、前記開眼率が前記所定値以下となる状態が所定時間以上継続する場合に、前記確率を使って居眠り運転による危険を回避する危険回避制御を実施する危険回避手段を備えることを特徴とする請求項１〜請求項４の何れか１つに記載の居眠り運転防止装置。
6. 前記危険回避手段は、車両の制動装置を制御して走行中の車両に制動力を作用させることを特徴とする請求項５に記載の居眠り運転防止装置。
7. 前記開眼度計測手段は、運転者の少なくとも一方の眼の開眼度を計測することを特徴とする請求項１〜請求項６の何れか１つに記載の居眠り運転防止装置。
8. 前記開眼度計測手段は、前記開眼度として、眼の目頭と目尻とを結ぶ直線の中点から直線に直交する上瞼と下瞼までの距離を計測することを特徴とする請求項１〜請求項７の何れか１つに記載の居眠り運転防止装置。
9. 前記開眼度計測手段は、前記開眼度として、眼の上瞼と下瞼とで区画される面積である開眼面積を計測することを特徴とする請求項１〜請求項７の何れか1つに記載の居眠り運転防止装置。