JP2000301962A - 眼の状態検出装置、居眠り運転警報装置 - Google Patents

Abstract

(57)【要約】 【課題】 適正に眼の誤認を判定し、又、追跡ミスによ
る誤警報を防止する。 【解決手段】 顔画像を入力する画像入力手段ＣＬ１
と、該画像入力手段ＣＬ１により入力された顔の画像デ
ータから眼の開度を検出する眼の開度検出手段ＣＬ７
と、該眼の開度検出手段ＣＬ７で検出された眼の開度値
が所定時間Ｔ１変化しないときに眼の位置を誤認識して
いると判断することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両の運転手、船
舶の操船者、プラント等のオペレータ等の居眠り状態を
検出し警報することなどに供する眼の状態検出装置およ
び居眠り運転警報装置に関する。

【０００２】

【従来の技術】従来の画像処理によるこの種の装置に
は、例えば特開平１０−１４３６６９号公報に開示され
たものがある。これは濃淡画像を対象として眼の位置を
検出し、眼の開度値による開閉眼判定を行いながら眼を
追跡する構成としている。

【０００３】

【発明が解決しようとする課題】しかしながら、前記従
来の装置では、眼の位置検出が誤っているか否かは、眼
の開度値データとしての最大値と最小値を検出して保持
し、この範囲外の値が出力されるか否かで判断してい
た。従って、眼以外で開度値がほぼ一定のものを眼と認
識した場合には、眼の位置検出が誤認であることを判断
できない。又、影等の影響で開度値データ以外の値が出
力されると眼の誤認であると判断してしまう。

【０００４】また、単に追跡領域内における画像の濃度
変化のみによって検出対象である眼を特定していたた
め、顔を大きく速く動かした場合や、眼鏡を掛けていて
眼の回りにノイズになるものが多くある場合等に、検出
対象が眼から眉毛や眼鏡のフレームに入れ替わった時
に、眉毛が薄かったり、眼鏡のフレームが細かったりす
ると開度値が小さくなり誤警報するという問題があっ
た。

【０００５】そこで、本発明は、適正に眼の誤認を判断
できる眼の状態検出装置および居眠り運転警報装置の提
供を課題とする。又、本発明は、眼の位置の移動状態を
判定して警報出力に制限を加えることで追跡ミス等によ
る誤警報を低減する居眠り運転警報装置の提供を課題と
する。

【０００６】

【課題を解決するための手段】請求項１の発明は、顔画
像を入力する画像入力手段と、該画像入力手段により入
力された顔の画像データから眼の開度を検出する眼の開
度検出手段と、該眼の開度検出手段で検出された眼の開
度値が所定時間Ｔ１変化しないときに眼の位置を誤認識
していると判断する判断手段とを有することを特徴とす
る。

【０００７】請求項２の発明は、請求項１記載の眼の状
態検出装置であって、前記眼の開度検出手段より出力さ
れる眼の開度値の変化より眼の開閉状態を判定し、この
開閉状態の変化から覚醒度を判定する覚醒度判定手段を
備えたことを特徴とする。

【０００８】請求項３の発明は、請求項１又は請求項２
記載の眼の状態検出装置であって、前記画像入力手段に
より入力された顔の画像データから眼の位置座標を検出
する眼の位置検出手段と、該眼の位置座標が所定値以上
移動した場合には、前記所定時間Ｔ１を短くすることを
特徴とする。

【０００９】請求項４の発明は、請求項２記載の眼の状
態検出装置であって、前記画像入力手段により入力され
た顔の画像データから眼の位置座標を検出する眼の位置
検出手段と、前記覚醒度判定手段により覚醒度が低下し
ていると判定されたときに警報を発する警報手段と、前
記眼の位置座標が所定値以上移動した場合には、所定時
間Ｔ２の間、居眠り警報出力を禁止する警報出力禁止手
段とを備えたことを特徴とする。

【００１０】請求項５の発明は、請求項３記載の眼の状
態検出装置であって、前記覚醒度判定手段により覚醒度
が低下していると判定されたときに警報を発する警報手
段と、前記眼の位置座標が所定値以上移動した場合に
は、所定時間Ｔ２の間、居眠り警報出力を禁止する警報
出力禁止手段とを備えたことを特徴とする。

【００１１】請求項６の発明は、請求項４又は請求項５
記載の居眠り運転警報装置であって、居眠り警報出力を
禁止する所定時間Ｔ２は、眼の誤認識を判別する前記所
定時間Ｔ１より長いことを特徴とする。

【００１２】請求項７の発明は、請求項４〜請求項６記
載の居眠り運転警報装置であって、前記警報出力禁止手
段は、前記眼の位置座標が所定値以上移動した後、所定
時間Ｔ２以内に該移動する前の位置を基準にした許容領
域内に眼が検出された場合には、居眠り警報出力の禁止
を解除することを特徴とする。

【００１３】請求項８の発明は、請求項３〜請求項７の
いずれかに記載の居眠り運転警報装置であって、前記眼
の位置検出手段により眼の位置座標が検出された場合に
は、前記警報出力禁止手段による居眠り警報出力を所定
時間Ｔ３の間だけ禁止することを特徴とする。

【００１４】

【発明の効果】請求項１の発明では、検出対象となって
いるデータが眼であれば所定時間Ｔ１内に眼の開度値の
変化があるが、眼でなければ所定時間Ｔ１内に眼の開度
値の変化がないため、適正に眼の誤認を判断でき、眼の
位置の誤検出を防止できる。

【００１５】請求項２の発明では、請求項１の発明の効
果に加え、検出対象である眼で覚醒度を判定できる。

【００１６】請求項３の発明では、請求項１又は請求項
２の発明の効果に加え、眼の位置座標が所定値以上移動
した場合には検出対象が眼から眼以外のものに入れ替わ
っている可能性があり、眼の開度変化がない状態を確認
する時間Ｔ１を、短く設定することにより誤った対象を
追跡し続ける時間を短縮できる。

【００１７】請求項４の発明では、請求項２の発明の効
果に加え、眼の位置座標が所定値以上移動し、検出対象
が眼から眼以外のものに入れ替わり、この入れ替わった
眼以外のものが閉眼相当の縦幅しかない場合には、所定
時間Ｔ２の間に亘って居眠り警報出力が禁止されるた
め、この時間が適正な判断をする猶予時間となり、眼を
閉じたと認識して生じる誤警報を防止できる。

【００１８】請求項５の発明では、請求項３の発明の効
果に加え、眼の位置座標が所定値以上移動し、検出対象
が眼から眼以外のものに入れ替わり、この入れ替わった
眼以外のものが閉眼相当の縦幅しかない場合には、所定
時間Ｔ２の間に亘って居眠り警報出力が禁止されるた
め、この時間が適正な判断をする猶予時間となり、眼を
閉じたと認識して生じる誤警報を低減できる。

【００１９】請求項６の発明では、請求項４又は請求項
５の発明の効果に加え、眼の位置座標が所定値以上移動
し、検出対象が眼から眼以外のものに入れ替わり、この
入れ替わった眼以外のものが閉眼相当の縦幅しかない場
合には、眼の誤認識を判別する所定時間Ｔ１より長い所
定時間Ｔ２の間に亘って居眠り警報出力が禁止されるた
め、眼を閉じたと誤認識して生じる誤警報を確実に防止
できる。

【００２０】請求項７の発明では、請求項４〜請求項６
の発明の効果に加え、トラックのように顔が激しく上下
動するような状況が発生する車両では、眼を正確に追跡
していても眼の位置座標が所定値を越えて移動すること
があるが、このような場合に検出対象が許容領域に戻っ
たことを所定時間Ｔ２以内に検出することで確実な警報
を行なうことができる。

【００２１】請求項８の発明では、請求項３〜請求項７
の発明の効果に加え、眼の位置検出手段が眼を誤検出
し、且つ、この誤検出の対象が閉眼相当の縦幅しかない
場合に出る誤警報を低減できる。

【００２２】

【発明の実施の形態】本装置は、自動車の他に鉄道車
両、船舶、プラントのオペレータ等の居眠り運転警報と
して用いることができるが、本実施形態では自動車に適
用した場合で説明する。

【００２３】図１は本発明の一実施形態を適用した眼の
状態検出装置及び居眠り運転警報装置の機能ブロック図
にかかり、該装置は、画像入力手段ＣＬ１と、濃度検出
手段ＣＬ２と、画像内ポイント抽出手段ＣＬ３と、連続
データ抽出手段ＣＬ４と、眼の位置検出手段ＣＬ５と、
領域内ポイント抽出手段ＣＬ６と、眼の開度検出手段Ｃ
Ｌ７と、バックアップ手段ＣＬ８と、覚醒度判定手段Ｃ
Ｌ９と、警報出力禁止手段ＣＬ１０と、警報手段ＣＬ１
１とを備えている。

【００２４】前記画像入力手段ＣＬ１は、顔画像を入力
する。前記濃度検出手段ＣＬ２は、前記画像入力手段Ｃ
Ｌ１により入力された顔の画像データの縦方向の画素列
における濃度の局所的な高まりを検出する。前記画像内
ポイント抽出手段ＣＬ３は、本実施形態においてポイン
ト抽出手段を構成し、前記濃度検出手段ＣＬ２で検出さ
れた濃度の高まりとその変化状態より画素を定めて抽出
点とする。前記連続データ抽出手段ＣＬ４は、前記画像
内ポイント抽出手段ＣＬ３で抽出された抽出点が、隣接
する画素列で近接することにより顔の横方向に伸びる連
続データを抽出する。

【００２５】前記眼の位置検出手段ＣＬ５は、前記連続
データ抽出手段で抽出された連続データの中から眼を選
択（検出）する。前記領域内ポイント抽出手段ＣＬ６
は、前記眼の位置検出手段ＣＬ５により検出された眼の
位置に基づき眼を含む所定領域を特定し、この領域を追
跡領域として設定し、この追跡領域内で縦方向への濃度
の高まりとその変化状態より画素を定めて抽出点とす
る。前記眼の開度検出手段ＣＬ７は、前記領域内ポイン
ト抽出手段ＣＬ６で抽出された抽出点が、隣接する画素
列で近接することにより顔の横方向に伸びる連続データ
を抽出することにより眼の詳細な位置を検出して濃度値
を読み出す範囲を特定し、その範囲内での濃度変化状態
から眼の開度を検出する。又、前記眼の開度検出手段Ｃ
Ｌ７は、所定領域内に出現する連続データの詳細位置を
基に次に取り込む画像での処理領域を設定することによ
って追跡領域外を含めて眼の位置変化に対応でき、これ
により眼の位置座標を検出できるよう構成されている。
従って、前記領域内ポイント抽出手段ＣＬ６、及び、前
記眼の開度検出手段ＣＬ７は、本実施形態において眼の
開度検出手段を構成している。

【００２６】尚、領域内ポイント抽出手段ＣＬ６で検出
する連続データは、前記画像内ポイント抽出手段ＣＬ３
で検出する連続データよりも微細であり、正確な検出を
行うようになっているが、後者を前者と同等の粗さで検
出することにより、処理を早める構成にすることができ
る。

【００２７】前記バックアップ手段ＣＬ８は、前記眼の
開度検出手段ＣＬ７から出力される眼の開度値の変化を
チェックし、この眼の開度値の時系列の変化が所定時間
Ｔ１を越えた場合においてもなかったとき、再び前記眼
の位置検出手段ＣＬ５による眼の位置検出処理に戻す。
つまり、眼の位置検出をやり直しさせる。

【００２８】前記覚醒度判定手段ＣＬ９は、前記眼の開
度検出手段ＣＬ７による眼の開閉状態の変化から覚醒度
を判定する。前記警報出力禁止手段ＣＬ１０は、眼の移
動状態を判定することにより警報出力を所定時間Ｔ２だ
け制限する。前記警報手段ＣＬ１１は前記前記覚醒度判
定手段ＣＬ９により覚醒度が低下していると判定された
時に、ブザーなどの警報を発する。

【００２９】図２は本発明の一実施形態にかかる構成ブ
ロック図である。図２において、前記画像入力手段ＣＬ
１としてのＴＶカメラ２１は、自動車のインストルメン
トに設置され、運転者の顔部分を正面から撮影する。こ
のＴＶカメラ２１の入力画像は、本実施形態では、後述
する図６のように横方向（Ｘ）５１２画素、縦方向
（Ｙ）４８０画素からなる。

【００３０】前記ＴＶカメラ２１で撮影された入力画像
は、Ａ−Ｄ変換器２２を介してデジタル量の画像データ
として画像メモリ２３に格納される。画像メモリ２３の
出力は画像データ演算回路２４に入力される。

【００３１】この画像データ演算回路２４は、入力画像
データに基づいて顔の縦方向の画素列の濃度を検出し、
この検出された画素列の濃度の高まりとその変化状態よ
り画素を定めて抽出点とし、この抽出された抽出点につ
いて、隣接する画素列の画素列方向に近接した抽出点を
連続させることにより顔の横方向に伸びる連続データを
抽出する。即ち、この画像データ演算回路２４は、前記
濃度検出手段ＣＬ２、前記画像内ポイント抽出手段ＣＬ
３、及び、連続データ抽出手段ＣＬ４を構成している。
画像データ演算回路２４の出力は、眼の位置検出回路２
５に入力される。

【００３２】該眼の位置検出回路２５は、前記連続デー
タから眼の選択を行うことで眼の位置を検出し、本実施
形態において前記眼の位置検出手段ＣＬ５を構成してい
る。眼の位置検出回路２５の出力は、開閉眼検出回路２
６に入力される。

【００３３】該開閉眼検出回路２６は、前記眼の位置検
出回路２５により検出された眼の位置に基づき眼を含む
所定領域を特定し、この領域を追跡領域として設定し、
この追跡領域内で縦方向への濃度の高まりとその変化状
態より画素を定めて抽出点とし、この抽出された抽出点
について、隣接する画素列の画素列方向に近接した抽出
点を連続させることにより顔の横方向に伸びる連続デー
タを抽出することで眼の詳細な位置を検出して濃度値を
読み出す範囲を特定し、その範囲内での濃度変化状態か
ら眼の開度を検出する。又、前記開閉眼検出回路２６
は、所定領域内に出現する連続データの詳細位置を基に
次に取り込む画像での処理領域を設定することによって
追跡領域外を含めて眼の位置変化に対応でき、これによ
り眼の位置座標を検出できるよう構成されている。即
ち、開閉眼検出回路２６は、本実施形態において前記領
域内ポイント抽出手段ＣＬ６、及び、前記眼の開度検出
手段ＣＬ７を構成している。開閉眼検出回路２６の出力
はバックアップ回路２７に入力される。

【００３４】該バックアップ回路２７は、前記開閉眼検
出回路２６から出力される眼の開度値の変化をチェック
し、この眼の開度値の時系列の変化が所定時間Ｔ１を越
えた場合においてもなかったとき、再び前記眼の位置検
出回路２５による眼の位置検出処理に戻し、本実施形態
において前記バックアップ手段ＣＬ８を構成している。

【００３５】覚醒度判定回路２８は、前記開閉眼検出回
路２６から出力される眼の開閉状態の変化から覚醒度を
判定し、本実施形態において前記覚醒度判定手段ＣＬ９
を構成している。

【００３６】警報出力制限回路２９は、眼の移動状態を
判定することにより警報出力を所定時間Ｔ２だけ制限
し、本実施形態において前記警報出力禁止手段ＣＬ１０
を構成している。

【００３７】警報装置３０は、前記覚醒度判定回路２８
により覚醒度が低下していると判定された時に、運転者
に注意を促す警報を発し、本実施形態では前記警報手段
ＣＬ１１を構成している。

【００３８】次に、上記構成における動作の流れを、図
３と図４のフローチャートに基づいて説明する。まず、
ステップ３０１において、ＴＶカメラ２１（図２に示
す）によって顔部分が撮影され、ステップ３０２で１フ
レーム分の入力画像がＡ−Ｄ変換器２２（図２に示す）
でデジタル信号に変換され、画像メモリ２３（図２に示
す）に格納される。

【００３９】次に、ステップ３０３において、眼の追跡
領域が設定されているかどうかをチェックする。眼の追
跡領域とは、眼を含む所定領域を示し、この領域内に出
現する連続データの位置を検出することによって眼の詳
細な位置を認定し、この特定された位置の濃度データを
読み出すことにより眼の開度検出を行っている。又、所
定領域内に出現する連続データの詳細位置を基に次に取
り込む画像での処理領域を設定することによって追跡領
域外を含めて眼の位置変化に対応できるようにしてい
る。

【００４０】眼の追跡領域が設定されていない場合は、
ステップ３０４およびステップ３０５において、眼の位
置検出を行い、且つ、これに基づいて眼の追跡領域とな
る横方向（Ｘ方向）の幅と縦方向（Ｙ方向）の幅を設定
する。眼の位置検出の詳細は図５のフローチャートと、
図６〜図１１に示す説明図により後述する。ステップ３
０３で眼の追跡領域が設定されていると判断された場
合、ステップ３０６で眼の開度と詳細な位置検出が行わ
れる。この処理の詳細は、図１２のフローチャートと、
図１３〜図１５に示す説明図により後述する。

【００４１】この後、ステップ３０７において、前ステ
ップで検出された眼の開度値の変化を前フレームにおけ
る値と比較することによって、眼の開度変化に相当する
状態が発生しているか否かを判定する。プログラムのス
タート直後で初めてステップ３０７に入ってきている場
合については、前画像フレームでの値がメモリされてい
ないため、変化はないとみなされステップ３０８に移行
する。ステップ３０８では、開度値変化のない状態が所
定時間Ｔ１以上続いたかどうかを判定しており、所定時
間Ｔ１を越えていない場合は、図４のステップ４０１に
移行する。この所定時間Ｔ１は、瞬きが１回は発生する
と考えられるタイミングにより設定される。

【００４２】ステップ３０８で所定時間Ｔ１以上と判定
された場合は、瞬きによる開度変化がないことから、検
出対象となっているデータが眼ではないと判定し、ステ
ップ３０９で、眼の追跡領域をクリアし、ステップ３０
１に戻し、再度眼の位置検出処理を行う。ここで、検出
対象となっているデータが眼であれば所定時間Ｔ１内に
眼の開度値の時系列の変化があるが、検出対象となって
いるデータが眼でなければ所定時間Ｔ１内に眼の開度値
の時系列の変化がないため、適正に眼の誤認識を判断で
き、このように眼の位置を誤認識していると判断した場
合には、眼の位置検出手段による眼の位置の検出処理を
やり直すため、眼の位置の誤検出を防止できる。

【００４３】ステップ３０７で眼の開度変化があると判
定された場合や、開度値変化がなくてもステップ３０８
で所定時間Ｔ１を越えていないと判定された場合は、図
４のステップ４０１に移行する。ステップ４０１では、
開度値の変化範囲を学習することで設定できる基準値を
用いることにより開閉眼を判定する。ステップ４０２で
は、図３のステップ３０６で眼の開度値と共に算出され
る眼の位置座標を用いて追跡（検出）対象の移動量を判
定する。尚、この時、警報を制限するタイマーをコント
ロールするために警報制限フラグがＯＦＦであることも
確認する。ステップ４０２で追跡対象である眼の位置座
標が所定値以上移動していると判定されない場合は、ス
テップ４０４に移行する。

【００４４】また、ステップ４０２で追跡対象である眼
の位置座標が所定値以上移動していると判定された場合
は、ステップ４０３に移行し、警報制限タイマーをスタ
ートさせ、警報制限タイマーをＯＮにした後、ステップ
４０４に移行する。ステップ４０４では警報制限時間を
コントロールする警報制限タイマーが所定時間Ｔ２を越
えたか否かを判定しており、警報制限タイマーが起動状
態で、且つ、所定時間Ｔ２を越えた場合に限ってステッ
プ４０５に移行し、警報制限フラグをＯＦＦにする。こ
の処理の詳細は、図１７〜図１９に示す説明図により後
述する。

【００４５】ステップ４０６では、眼の追跡領域の更新
を行い、更にステップ４０７で閉眼出力の出現パターン
による覚醒度の判定を行う。ステップ４０８では、警報
制限フラグのＯＮ・ＯＦＦを確認し、警報制限フラグが
ＯＦＦで、且つ、ステップ４０１で閉眼と判定される結
果が連続して出力され長い閉眼が発生していると判断さ
れる場合は、運転者に注意を促す警報をステップ４０９
で発する。この後、図３のステップ３０１に戻り次の画
像入力を行い同様の処理を続ける。

【００４６】次に、眼の位置検出の詳細を説明する。

【００４７】眼の位置検出処理の流れを図５のフローチ
ャートに基づいて説明する。まず、ステップ５０１で
は、図６に示すようにＹ軸方向にライン上のデータに対
してポイント抽出の処理を行い１ライン終了後に、一つ
隣りのラインの処理に移行し、所定方向の全ラインでの
ポイント抽出が終了したか否かを判断する。ステップ５
０１で全ラインにおいてポイント抽出が行われていない
と判断された場合は、ステップ５０２に移行する。この
ステップ５０２では、所定方向の１ラインの濃度値の相
加平均演算を行う。この処理は、画像データ撮影時の濃
度値の変化の小さなばらつきを無くすことを目的として
おり、濃度値の大局的な変化を捉えるためである。図７
（ａ）に、図６のＸａのラインデータの相加平均演算の
処理結果を示す。

【００４８】図５のステップ５０３では、ステップ５０
２の演算結果である相加平均値における微分演算を行
う。この処理結果である微分値によるポイント抽出を行
う。そのポイントの抽出方法は、微分値が負から正に変
化するポイント（ｐ１〜ｐ５）、図７（ａ）でいうと、
グラフが下向きに凸になるポイントを抽出する。次に、
そのポイントに達するまでの濃度値の変化（ｑ１〜ｑ
５）が所定値以下であるか否か、図７（ｂ）のグレーの
部分に入るか否かを判定し、所定値以下の濃度値の変化
を持つポイントを対象としてＹ座標値（Ａ１〜Ａ３）を
抽出する。

【００４９】この処理が１ライン終了後、ステップ５０
５で、次のラインの処理に切り換えて行く。この処理を
繰り返す中で、例えば図６に示すＸｂのようなラインの
場合、図８（ａ）、（ｂ）からも分かるように抽出ポイ
ントがない場合もある。

【００５０】ステップ５０１で全ラインのポイント抽出
が終了したと判断されると、図９に示すようなポイント
が抽出される。つまり、図９のＸｃライン上では、Ａ
１、Ａ２の二つのポイントが抽出されており、Ｘｄライ
ン上では、Ａ１、Ａ２、Ａ３、Ａ４の四つのポイントが
抽出されていることになる。

【００５１】この後、ステップ５０６へ移行し、隣り合
う各ラインの抽出ポイント（Ａ１、Ａ２、Ａ３…）のＹ
座標値を比較し、Ｙ座標値が所定値以内の場合、連続デ
ータとして、連続データのグループ番号、連続開始
ライン番号、連続データ数をメモリする。この具体的
な処理内容を図１０を用いて説明する。ライン１には、
Ｙ座標値が１９２と２２９の二つの抽出ポイントがあ
る。ライン１のＹ座標値が１９２のポイントは左隣りの
ラインが存在しないので、この段階での連続データはな
いため、連続データのグループ番号は“１”となる。
また、Ｙ座標値が２２９のポイントも同様の理由でこの
段階での連続データは存在しないため、連続データの
グループ番号は“２”とする。

【００５２】次に、右隣りのライン２のＹ座標値１９１
のポイントは、左隣りのライン１のＹ座標値１９２と１
０以内のポイントであるため、連続データのグループ番
号を“１”とする。この時、連続データ数は２とな
る。ライン２のＹ座標値２２４のポイントにおいても同
様の判定を行うと、連続データのグループ番号は
“２”となり、連続データ数は２となる。

【００５３】次のライン３のＹ座標値３６０のポイント
では、左隣りのライン２に３６０と１０以内になるポイ
ントが存在しないので、連続データのグループ番号は
“３”となり、連続データ数は１となる。

【００５４】また、ステップ５０６での連続開始ライ
ン番号は、連続データ数が１と判断されるポイントを
有するライン番号のことをいう。

【００５５】ステップ５０６では、このようにして各ラ
インのポイントの連続性の判断を全ラインにおいて終了
するまで行い、ステップ５０７へ移行する。

【００５６】ステップ５０７では、同じ連続データのグ
ループ番号を持つポイントのＹ座標値の平均値を連続
ポイントの平均値にメモリする。この値は、そのグルー
プの代表Ｙ座標値として用いることができる。また、連
続開始ラインとその連続データ数から連続終了ラインを
求め、連続開始ラインと連続終了ラインの平均値をメモ
リする。この値は、そのグループの代表Ｘ座標値として
用いることができる。

【００５７】このようにして得られた各連続グループデ
ータを、ステップ５０８で、各連続グループの長さ、
（Ｘ、Ｙ）座標値により判定することにより、眼の位置
が特定（検出）できる。

【００５８】ここで、図１１を用いて具体的な眼の位置
検出方法について説明する。

【００５９】まず始めに眼の特徴量を考えると、横に長
く、上に凸型の弓形形状であると定義付けることがで
き、この定義付けに基づいて連続データの絞り込みを行
うと、眼は横に長いという条件から、ポイント連続数が
５ポイント以上続き、また、弓形形状であるという条件
から、連続開始ポイントと連続終了ポイントのＹ座標値
の差は、小さい連続データに絞り込むことができる。こ
の判定に基づき連続データの絞り込みを行うと、図１１
（ａ）に示すようなグループＧ１〜Ｇ６が抽出される。

【００６０】次に、前述した各グループのＸ、Ｙの代表
座標値の位置を考えると、図１１（ｂ）に示すように、
Ｘ座標方向での近接度合いより、ＺＯＮＥ：Ｌ、ＺＯＮ
Ｅ：Ｃ、ＺＯＮＥ：Ｒに分類できる。これは、左眼と左
眉でＸ座標方向に大きく離れることはなく、又、右眼と
右眉でＸ座標方向に大きく離れることはないからであ
る。また、鼻下の影により連続データとなったものや、
口の連続データは中央部付近に位置する。

【００６１】このようにＸ座標方向の接近度合いで、更
にデータを分類し、データを絞り込んで行くことで眼の
位置検出を容易に行うことができる。ＺＯＮＥ：Ｌに含
まれる連続データは、左眼と左眉であり、ＺＯＮＥ：Ｒ
に含まれる連続データは、右眼と右眉であると判別する
と、眼の位置はＧ３、Ｇ４であり、その座標値も特定で
きる。このように眼の位置検出は両眼を対象として行う
ことができるが、居眠り検出を目的とした場合、片方の
眼だけを閉じて眠る運転者はいないと思われることか
ら、これ以降説明する開閉眼検出については、片方（左
眼）に限定している。この運転者の片方の眼（左眼）に
限定した理由には、単に演算処理時間を節約するためだ
けでなく、右ハンドル車の場合、直射光が当ることがあ
る右眼は、光の強さにより眼の形状が捉えにくくなるこ
とがあるからである。

【００６２】次に、図３のステップ３０６の眼の開度検
出の詳細を説明する。

【００６３】眼の開度値を検出する方法としては、図１
４に示すように肌の白い部分から眼の黒い部分への濃度
変化が最大となる所のＱ点と、眼の黒い部分から肌の白
い部分への濃度変化が最大となる所のＲ点との間隔を求
めるものと、これから図１２のフローチャートを用いて
説明する二値化閾値を設定して眼の黒い部分の縦幅を求
めるものがある。

【００６４】それでは、これより二値化閾値を設定して
眼の開度検出処理の詳細について説明する。

【００６５】まず始めに開度検出を行う二値化画像へ変
換するための二値化閾値設定方法の流れを、図１２のフ
ローチャートに基づいて説明する。まず、ステップ１２
０１では図１３（ａ）に示すようにＹ軸方向にライン上
のデータに対してポイント抽出の処理を行い１ライン終
了後に、一つ隣りのラインの処理に移行し、所定方向の
全ラインでのポイント抽出が終了したか否かを判断す
る。ステップ１２０１で全ラインにおいてポイント抽出
が行われていないと判断された場合は、ステップ１２０
２に移行する。

【００６６】このステップ１２０２では、所定方向の１
ラインの濃度値の相加平均演算を行う。この処理は、画
像データ撮影時の濃度値の変化の小さなばらつきを無く
すことを目的としており、濃度値の大局的な変化を捉え
るためである。図１３（ｂ）に、図１３（ａ）のＸａの
ラインデータの相加平均演算の処理結果を示す。図１２
のステップ１２０３では、ステップ１２０２の演算結果
である相加平均値における微分演算を行う。この処理結
果を図１３（ｃ）に示す。図１２のステップ１２０４で
は、ステップ１２０３の演算結果である微分値によるポ
イント抽出を行う。このポイントの抽出方法は、微分値
が負から正に変化するポイントＰ、図１３（ｂ）でいう
とグラフが左向きに凸になるポイントを抽出する。次
に、そのポイントの前後の濃度値の変化が所定値以下、
以上であるか否か、図１３（ｃ）のグレーの部分に入る
か否かを判定し、上記条件を満足する濃度値の変化を持
つポイントＰを抽出する。

【００６７】ステップ１２０５で図１３（ａ）に示すよ
うにＸａ列に抽出ポイントＰが存在すると判定された場
合は、ステップ１２０６へ移行し、Ｐ点の前後の微分値
の最大、最小値であるＱ点とＲ点のＹ座標の濃度値をＮ
ａｌ（微分値が最小となるＹ座標の濃度値）とＮａｈ
（微分値が最大となるＹ座標の濃度値）をメモリしてス
テップ１２０７に移行する。

【００６８】ステップ１２０７では、次のラインへの処
理に切り換えステップ１２０１で全ラインの処理の終了
が確認されるまで同一の処理を繰り返す。つまり、図１
４（ａ）に示すようにＸａ列後のＸｂ列では、Ｘｂ列の
抽出ポイントＰ点の前後の微分値の最大、最小値である
Ｑ点とＲ点のＹ座標の濃度値をＮｂｌとＮｂｈとしてメ
モリして行く。

【００６９】各ラインでメモリされる抽出ポイントの前
の濃度変化の最小微分値、Ｎ＿ｌは濃度値が明るい部分
から暗い部分へ最も大きく変化する箇所であり、この濃
度値より暗くなる部分、つまり、抽出ポイントＰ点に向
かっては眼に当る部分の濃度値であるといえる。また、
各ラインでメモリされる抽出ポイントの後の濃度変化の
最大微分値、Ｎ＿ｈは濃度値が暗い部分から明るい部分
へ最も大きく変化する箇所であり、抽出ポイントＰ点か
らこの濃度値まで明るくなる部分が眼に当る濃度値であ
るといえる。よって、Ｎ＿ｌ、Ｎ＿ｈの値は、二値化処
理で眼の部分を黒画素（０）に、眼の回りの肌の部分を
白画素（１）に確実に変換する閾値の設定情報として用
いることができる。

【００７０】ステップ１２０１で全ラインの処理の終了
が確認された場合、ステップ１２０８へ移行し、各ライ
ンの抽出ポイントの濃度値（Ｎ＿ｌ、Ｎ＿ｈ）の情報か
ら二値化閾値を設定する。二値化閾値の設定は、下記に
示すような方法が考えられる。

【００７１】第一に、各ラインの最小微分値の濃度Ｎ＿
ｌの最小値を更新してその値を基準に設定する。

【００７２】第二に、各ラインの最大微分値の濃度Ｎ＿
ｈの最大値を更新してその値を基準に設定する。

【００７３】第三に、各ラインの最小微分値の濃度Ｎ＿
ｌの平均値を基準に設定する。

【００７４】第四に、各ラインの最大微分値の濃度Ｎ＿
ｈの平均値を基準に設定する。

【００７５】第五に、各ラインの全Ｎ＿ｌ、Ｎ＿ｈの平
均値を基準に設定する。

【００７６】第六に、眼の連続データと抽出される各ラ
インのＰ点の最も明るい濃度値を基準にして微分値のレ
ベルを用いて階調アップ量を補正して設定する。（微分
値のレベルが大きい場合はＰ点の最も明るい濃度値にプ
ラスする階調を大きく設定し、微分値のレベルが小さい
場合はＰ点の最も明るい濃度値にプラスする階調を小さ
く設定する。）次に、図１５を用いて眼の開度の検出方
法を説明する。

【００７７】前述した方法で求めた二値化閾値を用いて
連続データが出現した範囲で更に領域を限定させて二値
化処理を行う。その二値化画像は、検出対象者が正常時
と居眠り状態時で、それぞれ図１５に示すようになる。
この時、黒画素に変換される眼の部分の縦方向への最大
連続数をカウントすると、正常時（開眼）ではその値が
大きくなり、居眠り時（閉眼）ではその値が小さくな
る。このようにして眼の開度検出を行う。

【００７８】次に、図４のフローチャートのステップ４
０６における眼の追跡方法の詳細を図１６を用いて説明
する。この処理の初期状態、つまり第１フレームでは、
当然、眼の追跡領域Ｅは設定されていないため、図３の
ステップ３０４、３０５で眼の追跡領域Ｅが設定され
る。この時、眼の中心座標と眼の追跡領域Ｅの中心座標
は図１６（ａ）に示すように一致している。一連の処理
の終了後、第２フレームの処理に移り、ステップ３０３
へ進むと、ここでは既に眼の追跡領域Ｅが設定されてい
るため、ステップ３０６に移り、眼の開度と位置検出を
行う。この時、検出される眼の位置は、図１６（ｂ）に
示すようになる。図１６（ｂ）の眼の追跡領域Ｅは第１
フレームで設定された位置にあるのに対し、現在の眼の
位置は第２フレーム目に取り込まれた画像データである
ため、顔の動き等により眼の中心点は眼の追跡領域Ｅの
中心に対しズレてくる。しかし、眼が眼の追跡領域Ｅ内
にある限り眼の開度と眼の詳細な位置検出は行うことが
できる。

【００７９】ステップ４０６では、図１６（ｂ）の連続
データから算出した眼の中心座標を基準に眼の追跡領域
Ｅを更新することにより次フレームでの画像の取り込み
領域とする。よって、極端に速い眼の移動でない限り、
その動きに応じて眼の追跡領域Ｅを追従させることがで
きる。図１６（ｃ）、（ｄ）は第３フレーム、第４フレ
ームで取り込まれる顔画像データでの眼の位置と眼の追
跡領域Ｅの位置関係を示したものである。

【００８０】次に、眼の位置の移動状態を判定すること
により、警報出力に制限を加え、誤警報を低減する働き
を図４のステップ４０２〜４０５を用いて説明する。

【００８１】眼の追跡座標（位置座標）が所定値以上移
動し、検出対象が眼から眼鏡のフレームに入れ替わって
しまう例を図１７を用いて説明する。図１７（ａ）のよ
うに撮影対象者が眼鏡を掛けている場合、図１７（ｂ）
に示すように、眼の回りにノイズとなる眼鏡のフレーム
等のデータが多く存在するので、顔が上方に速く動いた
時、の眼の追跡領域Ｅ内には、眼である連続データ１
は該追跡領域Ｅ外に出てしまい、それに代わって眼鏡の
フレームの連続データ２が入ってくる。この時、眼の追
跡領域Ｅは、と眼鏡のフレームの連続データ２に引
っ張られてしまい対象とするデータが入れ替わってしま
うことがある。このような状態になると眼鏡のフレーム
は閉眼相当の縦幅しかないため、眼を閉じたと認識し誤
警報を発することになる。

【００８２】これを解決するために、ステップ４０２で
は眼の追跡座標（位置座標）が所定値以上移動したか否
かを検出し、所定値以上移動した場合にはステップ４０
３で警報制限タイマーをスタートさせ、警報制限フラグ
をＯＮにする。そして、ステップ４０４で警報制限タイ
マーが所定時間Ｔ２を越えたか否か判定し、所定時間Ｔ
２を越えない間はステップ４０８で警報を制限する。所
定時間Ｔ２を越えた時にはステップ４０５で警報制限フ
ラグをＯＦＦにして警報可能のモードに戻す。

【００８３】つまり、眼の位置座標が所定値以上移動
し、検出対象が眼から眼以外のものに入れ替わり、この
入れ替わった眼以外のものが閉眼相当の縦幅しかない場
合には、所定時間Ｔ２の間に亘って居眠り警報出力が制
限されるため、この時間が適正な追跡をする猶予時間と
なり、眼の追跡ミスによって眼を閉じたと誤認して生じ
る誤警報を低減できる。また、眼の誤認識を判別する所
定時間Ｔ１より警報を制限する所定時間Ｔ２を長く設定
すれば、図１８に示すように、眼の誤認識を判別する所
定時間Ｔ１より長い所定時間Ｔ２の間に亘って居眠り警
報出力が制限されるため、眼の追跡ミスによって眼を閉
じたと誤認して生じる誤警報を確実に防止できる。

【００８４】また、開閉眼検出回路２６より出力される
眼の位置座標が所定値以上移動した場合には、眼の位置
座標が所定値以上移動しなかった場合に較べて眼の誤認
識を判別する所定時間Ｔ１を短かい時間Ｔ１´とするよ
う設定すれば、図１９に示すように、誤った対象を追跡
し続ける時間を短縮できる。

【００８５】次に、トラックのように顔が激しく上下動
するような状況が頻繁に発生する車両のように、正しく
眼を追跡していても眼の位置座標の移動量が所定値以上
となる場合が発生する。この場合に上記と同様に警報制
限がなされると正しく眼を追跡しているにもかかわらず
居眠り防止の警報が発っせられない事態が生じる。

【００８６】これを解決するために、警報出力制限回路
２９は、開閉眼検出回路２６より出力される眼の位置座
標が所定値以上移動した場合であって、所定値以上の移
動前の位置を基準にした許容領域を設定する。そして、
眼の位置座標が所定値以上移動した場合には、警報制限
フラグをＯＮとし警報制限タイマーをスタートさせる
が、所定時間Ｔ２の間に検出対象が許容領域内に戻った
場合には、居眠り警報出力の制限を解除するよう構成す
る。

【００８７】つまり、図２０（ａ）に示すように、眼の
位置座標が所定値を越えた最初の移動点Ａが発生した時
に、移動前のポイントＯを基準に眼の移動を認識しない
許容領域Ｅ１を設定する。その後、警報制限の所定時間
Ｔ２までのカウントアップを行っている時に、この許容
領域Ｅ１に追跡対象がＣのように入ってきた場合は、直
ちに警報制限フラッグをＯＦＦにする。このようにする
ことで追跡対象が本当に入れ替わってしまった図２０
（ｂ）の場合と区別することができる。

【００８８】最後に、眼の位置検出を行う際に、眼を誤
検出し、誤検出した画像データの開度値が小さい時に出
る誤警報の防止方法を図２１、図２２のフローチャート
を用いて説明する。図２１、図２２のフローチャートに
おいて、図３、図４のフローチャートと同一構成ステッ
プの説明は省略し、異なる構成ステップのみを説明す
る。

【００８９】即ち、図２１のステップ２１０４で眼の位
置検出後に、ステップ２１０５で警報制限フラグ２をＯ
Ｎし警報制限タイマー２をスタートさせる。ステップ２
１０７で、警報制限タイマー２が所定時間Ｔ３を越えた
か否かを判定し、所定時間Ｔ３の間は図２２のステップ
２２０８で警報を発しないようにする。所定時間Ｔ３を
越えた場合にステップ２１０８で警報制限フラグ２をＯ
ＦＦとして警報可能状態に戻す。つまり、眼の位置検出
後に直ちに警報制限が加えられるため、眼を誤検出し、
誤検出した画像データの開度値が小さい時に出る誤警報
を防止できる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る機能ブロック図であ
る。

【図２】本発明の実施形態に係る構成ブロック図であ
る。

【図３】全体動作を示すフローチャートである。

【図４】全体動作を示すフローチャートである。

【図５】眼の位置検出の動作を示すフローチャートであ
る。

【図６】眼の位置検出に関する説明図である。

【図７】（ａ）、（ｂ）はそれぞれ眼の位置検出に関す
る説明図である。

【図８】（ａ）、（ｂ）はそれぞれ眼の位置検出に関す
る説明図である。

【図９】眼の位置検出に関する説明図である。

【図１０】眼の位置検出に関する説明図である。

【図１１】（ａ）、（ｂ）はそれぞれ眼の位置検出に関
する説明図である。

【図１２】眼の開度値を求める眼の二値化閾値の算出方
法を示すフローチャートである。

【図１３】（ａ）、（ｂ）、（ｃ）はそれぞれ二値化閾
値を求める方法に関する説明図である。

【図１４】（ａ）、（ｂ）、（ｃ）はそれぞれ二値化閾
値を求める方法に関する説明図である。

【図１５】眼の開度値の出力方法に関する説明図であ
る。

【図１６】（ａ）、（ｂ）、（ｃ）、（ｄ）はそれぞれ
眼の追跡方法に関する説明図である。

【図１７】（ａ）、（ｂ）はそれぞれ眼の追跡ミスによ
り誤警報が発生する例の説明図である。

【図１８】警報制限方法に関する説明図である。

【図１９】警報制限方法に関する説明図である。

【図２０】（ａ）、（ｂ）はそれぞれ警報制限方法に関
する説明図である。

【図２１】眼の位置の誤検出による誤警報の防止方法を
示すフローチャートである。

【符号の説明】

ＣＬ１ 画像入力手段 ＣＬ２ 濃度検出手段 ＣＬ３ 画像内ポイント抽出手段（ポイント抽出手段） ＣＬ４ 連続データ抽出手段 ＣＬ５ 眼の位置検出手段 ＣＬ６ 領域内ポイント抽出手段（眼の開度検出手段） ＣＬ７ 眼の開度検出手段 ＣＬ８ バックアップ手段 ＣＬ９ 覚醒度判定手段 ＣＬ１０ 警報出力禁止手段 ＣＬ１１ 警報手段 ２１ ＴＶカメラ（画像入力手段） ２４ 画像データ演算回路（濃度検出手段、ポイント抽
出手段、連続データ抽出手段） ２５ 眼の位置検出回路（眼の位置検出手段） ２６ 開閉眼検出回路（眼の開度検出手段） ２７ バックアップ回路（バックアップ手段） ２８ 覚醒度判定回路（覚醒度判定手段） ２９ 警報出力制限回路（警報出力禁止手段） ３０ 警報回路（警報手段）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/20 Ｇ０６Ｆ 15/62 ３８０ ９Ａ００１ Ｇ０８Ｂ 21/06 15/70 ４０５ (72)発明者 福田 岳 茨城県北相馬郡利根町大平31 ナイルス部 品株式会社内 (72)発明者 金田 雅之 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 (72)発明者 大和田 正次 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 Ｆターム(参考） 2F065 AA03 AA14 AA56 BB18 CC16 DD04 FF01 JJ03 JJ26 KK02 QQ03 QQ07 QQ13 QQ25 QQ29 QQ36 RR07 SS09 UU05 3D037 FA05 FB09 4C038 PP05 PQ04 PS07 5B057 AA16 BA02 CA08 CA12 CA16 CC03 DA08 DA15 DB02 DB09 DC05 DC14 DC36 5L096 DA03 FA19 FA32 FA69 GA02 GA17 GA34 GA36 HA02 HA05 JA11 9A001 BB02 BB03 BB04 EE02 EE05 GG05 HH24 HH25 JJ46 JJ77 KK37 KK42 KK56 LL03

Claims (8)

【特許請求の範囲】
1. 【請求項１】 顔画像を入力する画像入力手段と、 該画像入力手段により入力された顔の画像データから眼
   の開度を検出する眼の開度検出手段と、 該眼の開度検出手段で検出された眼の開度値が所定時間
   Ｔ１変化しないときに眼の位置を誤認識していると判断
   する判断手段とを有することを特徴とする眼の状態検出
   装置。
2. 【請求項２】 請求項１記載の眼の状態検出装置であっ
   て、 前記眼の開度検出手段より出力される眼の開度値の変化
   より眼の開閉状態を判定し、この開閉状態の変化から覚
   醒度を判定する覚醒度判定手段を備えたことを特徴とす
   る眼の状態検出装置。
3. 【請求項３】 請求項１又は請求項２記載の眼の状態検
   出装置であって、 前記画像入力手段により入力された顔の画像データから
   眼の位置座標を検出する眼の位置検出手段と、 該眼の位置座標が所定値以上移動した場合には、前記所
   定時間Ｔ１を短くすることを特徴とする眼の状態検出装
   置。
4. 【請求項４】 請求項２記載の眼の状態検出装置であっ
   て、 前記画像入力手段により入力された顔の画像データから
   眼の位置座標を検出する眼の位置検出手段と、 前記覚醒度判定手段により覚醒度が低下していると判定
   されたときに警報を発する警報手段と前記眼の位置座標
   が所定値以上移動した場合には、所定時間Ｔ２の間、居
   眠り警報出力を禁止する警報出力禁止手段とを備えたこ
   とを特徴とする居眠り運転警報装置。
5. 【請求項５】 請求項３記載の眼の状態検出装置であっ
   て、 前記覚醒度判定手段により覚醒度が低下していると判定
   されたときに警報を発する警報手段と、 前記眼の位置座標が所定値以上移動した場合には、所定
   時間Ｔ２の間、居眠り警報出力を禁止する警報出力禁止
   手段とを備えたことを特徴とする居眠り運転警報装置。
6. 【請求項６】 請求項４又は請求項５記載の居眠り運転
   警報装置であって、 居眠り警報出力を禁止する所定時間Ｔ２は、眼の誤認識
   を判別する前記所定時間Ｔ１より長いことを特徴とする
   居眠り運転警報装置。
7. 【請求項７】 請求項４〜請求項６記載の居眠り運転警
   報装置であって、 前記警報出力禁止手段は、前記眼の位置座標が所定値以
   上移動した後、所定時間Ｔ２以内に該移動する前の位置
   を基準にした許容領域内に眼が検出された場合には、居
   眠り警報出力の禁止を解除することを特徴とする居眠り
   運転警報装置。
8. 【請求項８】 請求項４〜請求項７のいずれかに記載の
   居眠り運転警報装置であって、 前記眼の位置検出手段により眼の位置座標が検出された
   場合には、前記警報出力禁止手段による居眠り警報出力
   を所定時間Ｔ３の間だけ禁止することを特徴とする居眠
   り運転警報装置。