JPH10272959A - 覚醒度推定装置 - Google Patents

Abstract

(57)【要約】 【課題】 運転者の瞬きと行動的特徴を用いて運転者の
覚醒度を簡易にして効率良く、しかも高精度に推定する
ことのできる覚醒度推定装置を提供する。 【解決手段】 運転者の顔面画像から瞬きを検出し、瞬
きの時間に基づいて所定時間以上の長い瞬きを検出し
て、所定の評価期間内における瞬きの総数と長い瞬きの
回数とから長い瞬きの生起比率［Ｌrate］を求める。ま
た運転者の行動的特徴を示す挙動、例えば眼球の水平移
動の標準偏差［ＥＭＨ-ＳＤ］を検出する。そして眠気
予測モデルを用いた回帰分析により求められる予測式 Ｙ ＝ Ａ ＋ Ｂ［Ｌrate］＋ Ｃ［ＥＭＨ-ＳＤ］ （Ａ,
Ｂ,Ｃは予測係数） に基づいて眠気予測値［Ｙ］を算出し、この眠気予測値
を所定の閾値で弁別して覚醒度を評価する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は運転者の瞬きに着目
して該運転者の覚醒度、ひいては覚醒度低下を簡易にし
て確実に検出して警告を発し、運転注意力を喚起するに
好適な覚醒度推定装置に関する。

【０００２】

【関連する背景技術】近時、種々の情報に基づいて運転
者の覚醒度を推定し、覚醒度の低下が検出されたときに
警報を発する等して運転注意力を喚起するシステムが種
々開発されている。この種の覚醒度を推定する手法の１
つに、運転者の瞬きを評価の指標としたものがあり、例
えば特開昭６１−１７５１２９号公報には単位時間当た
りの瞬き回数を計数して覚醒度の低下を判定する手法が
開示されている。しかし単位時間当たりの瞬き回数を覚
醒度評価の指標とした場合、瞬きの個人差に起因する誤
差が生じ易く、その推定精度を高めることができないと
言う問題があった。

【０００３】そこで本出願人は、先に特願平８−９１３
２４号にて出願し、また社団法人自動車技術会発行の学
術講演会前刷集９６１（1996-5）において論文［５２．
自動車運転時の覚醒度評価手法（9632415）］として発
表したように、運転者の瞬き時間に着目して、覚醒度の
低下を推定する手法を提唱した。この瞬き時間に着目し
た覚醒度の推定手法は、瞬き時間の頻度分布に基づい
て、標準的な瞬きの分布時間幅とその分布幅の中心時間
とから長い瞬きを判定する為の閾値（瞬き時間）を設定
し、所定の期間内における瞬きの総数と上記閾値を越え
る長い瞬きの発生回数との比率を求め、この比率を評価
することで覚醒度の低下を判定するものである。

【０００４】このような手法によれば、瞬き時間や瞬き
の頻度等の個人差を吸収して、その覚醒度を精度良く評
価することができると言う利点がある。

【０００５】

【発明が解決しようとする課題】ところで覚醒度を推定
する上での指標としては、上述した瞬きのみならず、例
えば脳波の変化等を用いることができる。しかし自動車
に搭載して運転者の覚醒度を推定することを考慮する
と、運転者の頭部への電極の貼付等を必要とする脳波の
測定は実用性が乏しい。これ故、眠気の度合（覚醒度）
によって変化し易い運転者の頭部の前傾または後傾の頻
度や、視線の移動頻度、更にはハンドル操作やウィンカ
ー操作等の種々の運転操作の頻度等の運転者の挙動に関
する情報（行動的特徴）を、運転者とは非接触に検出す
ることが望ましいと考えられる。

【０００６】しかしながら、瞬き時間以外の上述した運
転者の挙動に関する情報を用いて、或いはこれらの運転
者の挙動に関する情報を瞬きの情報と併用して、如何に
して運転者の覚醒度をより簡単に、しかも高精度に推定
するかと言う点で幾つかの課題が残されている。特に個
人差の影響を受けることなく、上記運転者の挙動に関す
る情報（行動的特徴）を用いて覚醒度を推定するかと言
う点で問題が残されている。

【０００７】本発明はこのような事情を考慮してなされ
たもので、その目的は、運転者の瞬きの情報のみならず
該運転者のその他の行動的特徴を用いて、該運転者の覚
醒度を簡易にして効率良く、しかも高精度に推定するこ
とのできる覚醒度推定装置を提供することにある。

【０００８】

【課題を解決するための手段】上述した目的を達成する
べく本発明に係る覚醒度推定装置は、例えばカメラによ
って撮像される運転者の顔面画像から該運転者の瞬きを
検出し、検出された瞬きの時間に基づいて所定時間以上
の長い瞬きを検出すると共に、所定の評価期間内におけ
る瞬きの総数と長い瞬きの回数とから長い瞬きの生起比
率を求める長い瞬きの生起比率算出手段を備えると共
に、前記運転者の行動的特徴を示す挙動を検出する挙動
検出手段を備え、覚醒度判定手段においては、前記長い
瞬きの生起比率と前記運転者の挙動情報とに基づき、眠
気予測モデルを用いた回帰分析により求められる予測式
に従って該運転者の覚醒度を評価するようにしたことを
特徴としている。

【０００９】特に前記長い瞬きを検出するに際しては、
例えば覚醒時における運転者の瞬き時間から該運転者に
固有な瞬きの基準時間［Ｔo］を求め、この基準時間を
所定の割合［ｒ％］だけ増大させた時間［Ｔs］を超え
る瞬きを長い瞬きとして検出して、所定時間内における
瞬きの総数に対する長い瞬きの生起比率［Ｌrate］を求
めるようにしている。一方、運転者の行動的特徴を示す
挙動の情報としては、例えば運転者の視線移動を示す眼
球運動の標準偏差［ＥＭＨ-ＳＤ］を求めるようにして
いる。

【００１０】そして覚醒度判定手段においては、例えば
眠気予測モデルを用いた回帰分析により求められる、覚
醒度と長い瞬きの生起比率［Ｌrate］および前記眼球運
動の標準偏差［ＥＭＨ-ＳＤ］との関係を示す予測式 Ｙ ＝ Ａ ＋ Ｂ［Ｌrate］＋ Ｃ［ＥＭＨ-ＳＤ］ （Ａ,
Ｂ,Ｃは予測係数） に基づいて眠気予測値［Ｙ］を算出し、この眠気予測値
を所定の閾値で弁別して覚醒度を評価することを特徴と
している。

【００１１】つまり瞬きに関する情報と、眼球運動の標
準偏差等の、その他の行動的特徴を示す情報とを統合し
て求められる重回帰モデル（眠気予測モデル）に示され
る予測式に従って覚醒度を推定することで、簡易にして
高精度に運転者の覚醒度、ひいては覚醒度の低下を検出
するようにしたことを特徴としている。

【００１２】

【発明の実施の形態】以下、図面を参照して本発明に係
る覚醒度推定装置の一実施形態について説明する。図１
は車両１に搭載される実施例装置の構成を概念的に示す
もので、図中２は運転者Ｄの顔面、特に目の領域を撮像
するＴＶカメラである。また図中３は種々の情報を画像
として表示して運転者Ｄに提示するディスプレイ（多重
情報表示装置）、４は音声メッセージや警報音等を出力
するスピーカである。これらのＴＶカメラ２，ディスプ
レイ３，スピーカ４は、例えば運転席前方のインストル
メントパネルに組み込まれる。

【００１３】この実施形態に係る覚醒度推定装置は、Ｔ
Ｖカメラ２により撮像される運転者の顔面画像から該運
転者の瞬きを検出して運転者の覚醒度を推定し、覚醒度
の低下時に前記ディスプレイ３を介してメッセージを表
示し、またスピーカ４から警報を発して運転注意力の喚
起を促す役割を担う。この装置は、例えばマイクロプロ
セッサを主体とする電子制御ユニット（ＥＣＵ）により
実現され、概略的には図２に示すように構成される。

【００１４】即ち、この覚醒度推定装置は、例えば図２
にその機能的なブロック構成を示すように、ＴＶカメラ
２にて撮像入力される運転者の顔面画像を画像処理部１
０にて認識処理し、例えば所定の周期で目の領域の部分
画像を抽出している。瞬き検出部１１は上記画像の経時
的変化から、特に瞼の開閉を検出することで瞬きを検出
している。瞬き時間計算部１２は、上記瞬き検出部１１
にて瞬きが検出される都度、その閉眼開始から終了まで
の閉眼時間で示される瞬きの時間（瞬目時間）［ｔ］を
計測している。このような瞬き時間の検出処理は、例え
ばタイマの管理の下で、所定の期間に亘って繰り返し実
行される。

【００１５】瞬き基準時間計算部１４は、例えば運転開
始初期時のように「運転を開始する（開始した）」と言
う意識が強く働いており、運転者Ｄが十分に覚醒状態に
あると看做し得るときに、前記瞬き時間計算部１２によ
り所定の期間に亘って求められる瞬き時間［ｔ］に基づ
いて、その運転者Ｄに固有な覚醒時における瞬きの基準
時間［Ｔo］を求めている。この基準時間［Ｔo］は、前
記所定の期間、例えば運転開始時の５分間における瞬き
時間［ｔ］の平均値等として算出される。

【００１６】長い瞬きの時間設定部１５は、運転者Ｄの
瞬きの中から、特に覚醒度の低下に伴う長い瞬きを検出
する為の瞬き評価時間［Ｔs］を設定するもので、前記
瞬き基準時間計算部１４にて求められた基準時間［Ｔ
o］を所定の割合［ｒ(％)］だけ増大させることで、 Ｔs ＝ Ｔo ＋ Ｔo・ｒ／１００ として上記評価時間［Ｔs］を定めている。上記割合
は、例えば５％,１０％,１５％,２０％として与えられ
るもので、実際には後述するシミュレーション結果等に
基づいて、例えば１０％に選択設定される。即ち、この
長い瞬きの時間設定部１５では、覚醒度が低下すると、
一般的には時間の長い瞬きが発生し易くなることに鑑
み、この長い瞬きを覚醒度低下の判定指標として用いる
べく、長い瞬きを検出するための瞬き評価時間［Ｔs］
を、その運転者Ｄに固有な瞬きの基準時間［Ｔo］に基
づいて設定している。

【００１７】尚、ここでは瞬きの基準時間［Ｔo］に基
づいて瞬き評価時間［Ｔs］を設定しているが、本出願
人が先に特願平８−９１３２４号にて提唱したように、
瞬き時間［ｔ］の頻度分布に基づいてその標準的な瞬き
の分布時間幅とその分布幅の中心時間とを求め、これら
の瞬きの頻度分布情報（時間幅と中心時間）に従って前
記瞬き評価時間［Ｔs］を設定することも勿論可能であ
る。

【００１８】さて長い瞬き検出部１６は、上述した如く
設定された瞬き評価時間［Ｔs］に従って、前記瞬き時
間計算部１２によって順次検出される運転者Ｄの瞬きの
時間［ｔ］から、上記瞬き評価時間［Ｔs］を越える瞬
きを長い瞬きとして検出している。長い瞬き生起比率計
算部１７は、例えば前記長い瞬き検出部１６にて評価さ
れた瞬きの全回数［Ｎtotal］と、該長い瞬き検出部１
６による検出結果として求められる長い瞬きの数［Ｎlo
ng］とをそれぞれ計数している。そしてこの生起比率計
算部１７では、予め設定された所定の評価期間における
上記瞬きの総数［Ｎtotal］と、その瞬きの中の長い瞬
きの回数［Ｎlong］とから、長い瞬きの生起比率［Ｌra
te(％)］を Ｌrate ＝ １００・Ｎlong ／ Ｎtotal として求めている。

【００１９】尚、長い瞬き生起比率計算部１７において
は、長い瞬きの数［Ｎlong］と、それ以外の標準的な瞬
きの回数［Ｎnormal］とをそれぞれ計数し、 Ｌrate ＝ １００・Ｎlong ／（Ｎlong ＋ Ｎnormal） として長い瞬きの生起比率［Ｌrate］を求めるようにし
ても良いことは言うまでもない。

【００２０】一方、眼球運動検出部２１は、前記画像処
理部１０で求められた運転者Ｄの目の領域を示す部分画
像から、特にその眼球の水平方向の移動を検出してい
る。この眼球の水平方向の移動は、例えば走行レーンの
注目状態から隣接レーンの情報確認、或いはバックミラ
ーやサイドミラーを介する情報確認（ミラーの注視）等
の運転者Ｄの行動的特徴（挙動）を示すものである。し
かして標準偏差計算部２２は、上記眼球の水平方向の移
動の情報（目における瞳の位置）からその移動の標準偏
差［ＥＭＨ-ＳＤ］を求めている。この眼球の水平移動
の標準偏差は、例えば６０秒ステップで求められる単位
時間当たりの標準偏差の、５分間における平均値として
算出される。

【００２１】しかして覚醒度予測計算部２３は、後述す
るように眠気予測モデルを用いた重回帰分析により求め
られる、覚醒度と上記長い瞬きの生起比率［Ｌrate
(％)］および眼球運動の標準偏差［ＥＭＨ-ＳＤ］との
関係を示す予測式 Ｙ ＝ Ａ ＋ Ｂ・Ｌrate ＋ Ｃ・ＥＭＨ-ＳＤ （Ａ,
Ｂ,Ｃは予測係数） に基づいて眠気予測値［Ｙ］を算出するものである。上
記予測係数Ａ,Ｂ,Ｃは、例えば覚醒度のレベルを次のよ
うに５段階に定義し、種々のシミュレーション結果に基
づいて前述した瞬き評価時間［Ｔs］を設定する上での
増大割合［ｒ％］を、後述するように１０％とした場
合、例えば Ａ ＝ ２.８１２ , Ｂ ＝ ０.０３２ , Ｃ ＝ −０.６９５ として与えられる。つまり前記予測式は、 Ｙ ＝ ２.８１２ ＋ ０.０３２・Ｌrate − ０.６９５・
ＥＭＨ-ＳＤ として与えられ、運転者Ｄの瞬き中における長い瞬きの
生起比率［Ｌrate(％)］を前述した如く算出し、またそ
のときの眼球運動の標準偏差［ＥＭＨ-ＳＤ］を求めて
上記予測式を演算することで眠気予測値［Ｙ］が求めら
れる。

【００２２】ちなみに眠気予測モデルを用いた重回帰分
析により求められる覚醒度と上記長い瞬きの生起比率
［Ｌrate(％)］との関係を示す予測式 ｙ ＝ ａ ＋ ｂ・Ｌrate （ａ,ｂは予測係数） に基づいて眠気予測値［ｙ］を算出する場合には、同じ
評価条件において上記予測係数ａ,ｂは、例えば ａ ＝ １.２３８ , ｂ ＝ ０.０４６ として与えられる。つまりこの場合の予測式は ｙ ＝ １.２３８ ＋ ０.０４６・Ｌrate として与えられる。

【００２３】尚、上記覚醒度の５段階レベルは、例えば レベル１…全く眠くなさそう（視線の動きが早く頻繁で
ある。瞬きが安定し、動きが活発。） レベル２…やや眠そう（視線の動きが遅い。唇が開
く。） レベル３…眠そう（瞬きがゆっくりで頻繁。口の動きが
ある。） レベル４…かなり眠そう（意識的な瞬きがあり、瞬きも
視線の動きも遅い。） レベル５…非常に眠そう（瞼を閉じる。頭が前後に傾
く。） として設定される。従って眠気予測値［Ｙ］,［ｙ］が
［３］を越えるような場合、以下に示すように覚醒度が
低く、眠そうであると推定（判定）される。

【００２４】しかして覚醒度予測計算部２３にて、前記
長い瞬きの生起比率［Ｌrate］と、眼球の水平移動に関
する標準偏差［ＥＭＨ-ＳＤ］に基づいて求められた眠
気予測値［Ｙ］は、覚醒度低下判定部２４に与えられて
覚醒度低下の判定に供される。そしてこの覚醒度低下判
定部２４にて覚醒度の低下が検出された場合には、前述
したディスプレイ３やスピーカ４を用いて警告が発せら
れ、運転者Ｄに対して運転注意力の喚起が行われること
になる。

【００２５】尚、上述した機能ブロックに示される覚醒
度低下の判定処理は、実際的にはマイクロプロセッサの
下で、図３に示す制御ルーチンに従って実行される。即
ち、運転開始初期時に、例えば５分間に亘って運転者Ｄ
の瞬きの時間［ｔ］を計測し（ステップＳ１,Ｓ２,Ｓ
３）、その瞬き時間の平均を上記運転者Ｄに固有な瞬き
の基準時間［Ｔo］として算出する（ステップＳ４）。
しかる後、１単位の計測対象期間を５分間として、その
後の瞬きの時間［ｔ］を計測する（ステップＳ５,Ｓ６,
Ｓ７）。

【００２６】その後、上述した如く５分間ずつ検出され
る瞬き時間［ｔ］に従って、前記基準時間［Ｔo］を１
０％長くして設定した瞬き評価時間［Ｔs］の下で検出
される長い瞬きの生起比率［Ｌrate（＝Long10）］を計
算する（ステップＳ８）。また同時に視線の移動を示す
眼球の水平移動を検出し、その移動情報に基づいて水平
移動の標準偏差［ＥＭＨ-ＳＤ］を求める（ステップＳ
９）。

【００２７】そして長い瞬きの生起比率［Ｌrate（＝Lo
ng10）］と眼球運動の標準偏差［ＥＭＨ-ＳＤ］とがそ
れぞれ求められたならば、次に前述した予測式に従って
眠気予測値［Ｙ］を計算し（ステップＳ１０）、例えば
この演算よって求められる眠気予測値（覚醒度）をディ
スプレイ３に表示する（ステップＳ１１）。この眠気予
測値（覚醒度）のディスプレイ表示は、例えば前述した
如く５段階に設定したレベルに従って、その覚醒度を棒
グラフ表示したり、更にはその情報の表示色を変更する
等して行われる。

【００２８】その上で、上述した如く求められた眠気予
測値［Ｙ］を評価し（ステップＳ１２）、例えばそのレ
ベル（予測値）が［３］を越える場合には、運転者Ｄを
覚醒させて運転注意力を促すべく警報を発する（ステッ
プＳ１３）。また覚醒度のレベルが［３］以下の場合に
は、前述したステップＳ５からの処理を繰り返し実行す
ることで、次の５分間における瞬きの情報に基づく覚醒
度の推定処理を再度実行する。

【００２９】ここで前述した長い瞬きの生起比率［Ｌra
te（＝Long10）］と眼球の水平移動の標準偏差［ＥＭＨ
-ＳＤ］とに基づく眠気予測値［Ｙ］の算出と、その評
価について今少し詳しく説明する。覚醒度の評価指標と
しては、前述した瞬きのみならず、例えば脳波や心電，
呼吸等の生理的指標の経時的変化や、ハンドル角によっ
て示されるステアリング操作特性等のパフォーマンス指
標の経時的変化を用いることが考えられる。図４はこれ
らの各指標と、そのときに第三者によって客観的に評価
された運転者Ｄの眠気との関係を示すシミュレーション
実験結果である。

【００３０】図４においてＣz(α/β)およびＰz(α/β)
は、運転者Ｄの頭頂Ｃz 部位およびＰz 部位において求
められる脳波のα波とβ波のスペクトルパワー値の比率
である。またBlink-Noは運転者Ｄの眼球運動から求めら
れる、例えば５秒間における瞬き数であり、Blink-Dur
は平均瞬き時間、またＨＲは運転者Ｄの１分間当たりの
心拍数、Resp は呼吸数である。更にSpeed は車両の走
行速度、Steer はハンドル角の平均値、Steer-SD はハ
ンドル角の偏差である。またSleepiness は第三者によ
って評価される運転者Ｄの眠気、ＭＷＳは運転者Ｄ自身
による眠気の主観評価である。

【００３１】この図４に例示されるシミュレーション実
験結果に現れているように、運転者Ｄの眠気（Sleepine
ss）は運転時間の経過に伴って増大する。しかも運転者
Ｄの眠気は、瞬きの回数（Blink-No）や瞬き時間（Blin
k-Dur）との間に強い関係を持っている。つまり時間の
経過に伴う運転操作の単調さや慣れ、更には疲労に起因
して眠気が増大し、眠気が増すに従って瞬き回数が少な
くなり、また瞬き時間が増大化する傾向にある。更には
運転時間の経過（眠気の増大）に伴って前述した脳波の
Ｃz(α/β)，Ｐz(α/β)も増加の傾向を示し、逆にＨＲ
やRespは減少の傾向を示す。

【００３２】一方、複数の運転者Ｄ（被検者：Subj.1,
〜12）による運転シミュレーションにおいて、運転者Ｄ
の眠気表情、例えば第三者によって評価される運転者Ｄ
の眠気や、運転者Ｄ自身による眠気の主観評価ＭＷＳか
ら、眠気の表情が高いときに生じる運転者Ｄの行動的特
徴（挙動）について調べてみると、例えば図５に示すよ
うに眠気に応じて顕著な変化が生じる行動的特徴があ
る。即ち、眠気が強くなると複数の運転者Ｄに共通に、
その瞬きに顕著な変化が生じることのみならず、運転者
Ｄの動き自体が緩慢となる傾向がある。またスピード調
整やミラー確認、ウィンカ操作等の運転操作の頻度につ
いても、眠気が増すに伴って、その頻度が減少すること
が見出されれた。

【００３３】特に前述したシミュレーション実験結果に
おいて車線変更時におけるミラー確認やウィンカ操作か
らなる行動的特徴に着目すると、図６に示すように運転
時間の経過による眠気の増大に伴って、例えばミラー確
認に示される視線の移動頻度が減少し、またウィンカ操
作等の運転操作頻度が減少すると言う一般的傾向がある
こが見出された。

【００３４】そこで本発明では、運転者Ｄと非接触に覚
醒度（眠気変動）を評価することを目的として、特に運
転者の瞬きと視線移動を示す眼球の水平移動とに着目
し、その予測精度を向上させ、且つ個人差を低減するべ
く検討を進めた。具体的には先ず覚醒度の低下に伴って
増加する長い瞬きに着目し、所定期間における長い瞬き
の生起比率と覚醒度との関係について調べた。特にその
前処理として、長い瞬きを判定する上での瞬き評価時間
［Ｔs］を、覚醒時における運転者Ｄに固有な平均的な
瞬き時間を基準時間［Ｔo］とし、この基準時間［Ｔo］
に対する瞬き時間の増大割合を５％,１０％,１５％,２
０％にそれぞれ設定したときの各瞬き評価時間［Ｔs］
の下で、所定時間（例えば５分間）における複数の運転
者Ｄの長い瞬きの生起比率［Ｌrate］を［Long5］,［Lo
ng10］,［Long15］,［Long20］としてそれぞれ求め、覚
醒度との関係について調べた。

【００３５】即ち、上記長い瞬きの生起比率［Long5］,
［Long10］,［Long15］,［Long20］について、そのサン
プル中心時間を、例えば６０秒周期として与えられる遅
れ時間を１単位（Ｌag）として、移動平均的にそのＬag
値を１単位ずつずらしながら眠気（覚醒度）との関係分
析を行い、その関係係数が最も大きくなる条件での関係
係数Ｒを評価した。この評価結果として上記生起比率
［Long5］,［Long10］,［Long15］に比較して、生起比
率［Long20］における関係係数Ｒが小さくなり、長い瞬
きの評価時間［Ｔs］を、２０％以上に長く設定しない
方が良いことを見出した。また上記Ｌag値に関する分散
分析では、指標としての長い瞬きの生起比率［Long5］,
［Long10］,［Long15］間で格別有意な差が生じないこ
とが確認できた。但し、これらの各指標は、生理学的に
は意味の異なるデータである。

【００３６】尚、この評価は前述した眠気予測モデルを
用いた重回帰分析により、覚醒度と上記長い瞬きの生起
比率［Ｌrate(％)］との関係を示す予測式 ｙ ＝ ａ ＋ ｂ・Ｌrate に基づいて眠気予測値［ｙ］を算出し、この予測値
［ｙ］を ＡＩＣ ＝ ２ｎ logｅσ ＋ ２ｐ （但し、ｎはデータ数，ｐは回帰係数の数である） で示される赤池の情報量基準ＡＩＣに従って、該情報量
基準ＡＩＣが最も小さくなる予測モデルを求めることに
よって行った。

【００３７】また上記分散分析は、各指標（長い瞬きの
生起比率）を３００秒間の平均として求め、また眠気の
表情を６０秒間の平均として求めた。従ってこの分散分
析結果は、眠気予測の時間特性に関して、例えば０秒か
ら３００秒における指標の平均にて１２０秒から１８０
秒時点での眠気の平均を予測していることを意味し、そ
の予想遅れが１２０秒であることを示している。従って
周期６０秒で示されるＬag値が［−１］で与えられる場
合、実際には３００秒後に指標が得られた時点では、２
４０秒の時点における眠気を予測していることになり、
その予測遅れは６０秒であることが示される。しかし実
際の眠気の平均周期１５０秒の半分以下の遅れなので、
実用的には眠気の変動を、平均的には９０秒分先駆けて
予測し得ることになる。

【００３８】一方、瞬きとは別の指標である行動的特徴
として、ミラーの注視等の視線の移動、つまり眼球の水
平移動の情報に着目し、特に眼球の水平移動と前述した
長い瞬きの生起比率とを併用した覚醒度の推定について
検討した。具体的には長い瞬きの生起比率［Ｌrate］、
特に［Long10］および眼球の水平移動の標準偏差［ＥＭ
Ｈ-ＳＤ］からなる２種類の指標について覚醒度（眠
気）との関係を予測モデル化し、シミュレーションによ
って得られた複数の運転者Ｄからのサンプルデータか
ら、その関係を示す予測式を Ｙ ＝ Ａ ＋ Ｂ・Ｌrate ＋ Ｃ・ＥＭＨ-ＳＤ なる１次式で近似し、その関係が最も高くなるときの予
測係数Ａ,Ｂ,Ｃと、そのときの関係係数Ｒの平均を求め
た。そして前述した赤池の情報量基準ＡＩＣに従い、情
報量基準ＡＩＣが最も小さくなる予測モデルを評価し
た。この結果、前記予測係数Ａ,Ｂ,Ｃを Ａ ＝ ２.８１２ , Ｂ ＝ ０.０３２ , Ｃ ＝ −０.６９５ として与えたとき、つまり前記予測式を Ｙ ＝ ２.８１２ ＋ ０.０３２・Ｌrate − ０.６９５・
ＥＭＨ-ＳＤ として与えたとき、前述した長い瞬きの生起比率［Long
10］だけを用いる場合よりも、覚醒度との間に高い関係
が得られることが確認できた。

【００３９】具体的には長い瞬きの生起比率［Long10］
だけを用いた予測式に基づく覚醒度の予測においては、
その重関係係数の平均が［０.７１］であった。これに
対して上述したように長い瞬きの生起比率［Long10］
に、眼球の水平移動の標準偏差［ＥＭＨ-ＳＤ］を加え
た予測式の下で覚醒度を予測した場合、その重関係係数
の平均が［０.７５］となり、予測モデルの精度が向上
することが確認できた。また前記赤池の情報量基準ＡＩ
Ｃの値も［−１３４.３］から［−１３８.７］と向上す
ることが確認できた。

【００４０】図７および図８は複数の運転者Ｄ（被検
者：Subj.1,〜12）の眠気表情からからそれぞれ求めら
れる眠気の実測値と、前述した長い瞬きの生起比率［Lo
ng10］に基づく予測式に従って計算される眠気予測値
［ｙ］、および上記長い瞬きの生起比率［Long10］と眼
球の水平移動の標準偏差［ＥＭＨ-ＳＤ］とに基づく予
測式に従って計算される眠気予測値［Ｙ］と示してい
る。尚、図７および図８において太線で示す特性は眠気
予測値［ｙ］,［Ｙ］を示しており、細線で示される特
性は実際の眠気の変動を示している。

【００４１】これらの図７および図８にそれぞれ示され
るように、前述した如く求められる眠気予測値［ｙ］,
［Ｙ］は、実際の眠気を先取りしてその眠気（覚醒度）
の変化を良好に予測しており、しかも運転者Ｄの個人性
をほぼ良好に吸収して眠気を予測していると言える。ま
た図８に示されるように、運転者Ｄの眼球の水平移動の
標準偏差［ＥＭＨ-ＳＤ］を併用した予測モデルに従っ
て眠気予測値を計算する方が、その推定精度を高め得る
ことが示される。

【００４２】従って運転者Ｄの長い瞬きの生起比率［Ｌ
rate］のみならず、その他の行動的特徴、具体的には眼
球の水平移動の標準偏差［ＥＭＨ-ＳＤ］を併用してそ
の覚醒度の低下（眠気）を予測する本装置によれば、非
常に高い予測精度で、しかも種々の個人性を効果的に吸
収して運転者Ｄの覚醒度低下を判定することが可能とな
る。

【００４３】特に前述した如く簡単な処理によって、生
理的・物理的な意味を異にする長い瞬きの生起比率［Ｌ
rate］と、行動的特徴を示す眼球の水平移動の標準偏差
［ＥＭＨ-ＳＤ］とに従い、しかも１次式で示される予
測式に従って簡単に眠気予測値［Ｙ］を高精度に算出す
ることができる。しかもその処理負担が軽く、システム
構成の簡素化を図ることも可能となる。更には１次式で
示される予測式に従う演算を行うだけで良いので、処理
速度の高速化を図ることも可能となり、検出の時間遅れ
も少なく押さえることができる。

【００４４】更には個人差を吸収しながら予測精度を高
め、その上で処理の単純化と処理速度の高速化を図り、
更にシステム構成の簡素化とコストの低減を図ることが
できる。従って個々の車両に搭載される覚醒度推定装置
として実用上多大なる利点がある。尚、本発明は上述し
た実施形態に限定されるものではない。例えば長い瞬き
の評価時間［Ｔs］を決定する為の基準時間［Ｔo］に対
する増大割合［ｒ％］は、更に多くのシミュレーション
結果等に基づいて設定すれば良い。即ち、より高い関係
が得られるように上記瞬き評価時間［Ｔs］を設定すれ
ば良い。また眼球の水平移動のみならず、前述した運転
者Ｄの頭部の前傾や後傾等の、他の行動的特徴を示す情
報を導入して予測モデルを構築することも勿論可能であ
る。また覚醒度低下の推定結果を用いて、車両のブレー
キ機構を作動させて減速させたり、道路上の白線認識や
他車との車間距離制御等に基づく自動走行モードを起動
することも可能である。その他、本発明はその要旨を逸
脱しない範囲で種々変形して実施することができる。

【００４５】

【発明の効果】以上説明したように本発明によれば、運
転者の瞬きを検出し、検出された瞬きの時間に基づいて
所定時間以上の長い瞬きを検出すると共に、所定の評価
期間内における瞬きの総数と長い瞬きの回数とから長い
瞬きの生起比率を求める長い瞬きの生起比率算出手段を
備えると共に、前記運転者の行動的特徴を示す挙動を検
出する挙動検出手段を備えており、特に覚醒度判定手段
においては、前記長い瞬きの生起比率と前記運転者の挙
動情報とに基づき、眠気予測モデルを用いた回帰分析に
より求められる予測式に従って該運転者の覚醒度を評価
している。

【００４６】特に運転者の瞬き時間から該運転者に固有
な瞬きの基準時間［Ｔo］に従って長い瞬きを検出し、
所定時間内における瞬きの総数に対する長い瞬きの生起
比率［Ｌrate］を求めと共に、運転者の行動的特徴を示
す挙動の情報としては、例えば運転者の視線移動を示す
眼球運動の標準偏差［ＥＭＨ-ＳＤ］を求め、例えば眠
気予測モデルを用いた回帰分析により求められる予測式 Ｙ ＝ Ａ ＋ Ｂ［Ｌrate］＋ Ｃ［ＥＭＨ-ＳＤ］
（Ａ,Ｂ,Ｃは予測係数） に基づいて眠気予測値［Ｙ］を算出して覚醒度を評価し
ている。

【００４７】従って簡易にして高精度に運転者の覚醒
度、ひいては覚醒度の低下を検出することができ、しか
も個人差を効果的に吸収して、その覚醒度を高精度の推
定することができる。特に眠気予測モデルを用いた回帰
分析により求められる覚醒度と長い瞬きの生起比率との
関係を示す予測式に基づいて眠気予測値を算出し、この
眠気予測値を所定の閾値で弁別して覚醒度を評価するの
で、その推定精度を十分に高めながらシステム構成の簡
略化と、その処理速度の高速化を図り得る等、実用上多
大なる効果が奏せられる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る覚醒度推定装置を搭
載した車両の構成を概念的に示す図。

【図２】図１に示す覚醒度推定装置の機能的なブロック
構成を示す図。

【図３】図２に示す覚醒度推定装置における覚醒度推定
処理の流れを示す図。

【図４】物理的意味の異なる複数の覚醒度の指標と、客
観的に評価された眠気との関係とのシミュレーション結
果を示す図。

【図５】複数の運転者（被検者：Subj.1,〜12）におけ
るシミュレーション結果に基づく、物理的意味の異なる
複数の覚醒度の指標（行動的特徴）と、客観的に評価さ
れた眠気との間で強い関係が認められるケースを示す
図。

【図６】シミュレーションによる運転時間の経過に伴う
車線変更やミラー確認、ウィンカ操作からなる行動的特
徴の変化を示す図。

【図７】複数の運転者Ｄ（被検者：Subj.1,〜12）の眠
気の実測値と、長い瞬きの生起比率から求められる眠気
予測値との関係を対比して示す図。

【図８】複数の運転者Ｄ（被検者：Subj.1,〜12）の眠
気の実測値と、長い瞬きおよび眼球の水平移動とから求
められる眠気予測値との関係を対比して示す図。

【符号の説明】

１ 車両 ２ ＴＶカメラ ３ ディスプレイ ４ スピーカ １０ 画像処理部 １１ 瞬き検出部 １２ 瞬き時間計算部 １４ 瞬き基準時間計算部 １５ 長い瞬きの時間設定部 １６ 長い瞬き検出部 １７ 長い瞬き生起比率計算部 ２１ 眼球運動検出部 ２２ 標準偏差計算部 ２３ 覚醒度予測計算部 ２４ 覚醒度判定部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 運転者の瞬きを検出する瞬き検出手段
   と、検出された瞬きの時間に基づいて所定時間以上の長
   い瞬きを検出する手段と、所定の評価期間内における瞬
   きの総数と長い瞬きの回数とから長い瞬きの生起比率を
   求める生起比率算出手段と、前記運転者の挙動を検出す
   る挙動検出手段と、前記長い瞬きの生起比率と前記運転
   者の挙動情報とに基づき、眠気予測モデルを用いた回帰
   分析により求められる予測式に従って該運転者の覚醒度
   を評価する覚醒度判定手段とを具備したことを特徴とす
   る覚醒度推定装置。
2. 【請求項２】 前記挙動検出手段は、運転者の視線移動
   を示す眼球運動の標準偏差［ＥＭＨ-ＳＤ］を求めるも
   のであって、 前記覚醒度判定手段は、覚醒度［Ｙ］と長い瞬きの生起
   比率［Ｌrate］および前記眼球運動の標準偏差［ＥＭＨ
   -ＳＤ］との関係を示す眠気予測モデルの回帰分析から
   求められる予測式 Ｙ ＝ Ａ ＋ Ｂ［Ｌrate］＋ Ｃ［ＥＭＨ-ＳＤ］ （Ａ,
   Ｂ,Ｃは予測係数） に基づいて眠気予測値［Ｙ］を算出し、この眠気予測値
   を所定の閾値で弁別して覚醒度を評価することを特徴と
   する請求項１に記載の覚醒度推定装置。
3. 【請求項３】 前記長い瞬きの検出手段は、覚醒時にお
   ける運転者の瞬き時間から該運転者に固有な瞬きの基準
   時間［Ｔo］を求め、この基準時間を所定の割合［ｒ
   ％］だけ増大させた時間［Ｔs］を超える瞬きを長い瞬
   きとして検出することを特徴とする請求項１に記載の覚
   醒度推定装置。