JPH0425706A

JPH0425706A - 眼位置検出装置及び被検者状態検出装置

Info

Publication number: JPH0425706A
Application number: JP2129275A
Authority: JP
Inventors: Yasushi Ueno; 裕史上野; Kazuhiko Yoshida; 和彦吉田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1990-05-21
Filing date: 1990-05-21
Publication date: 1992-01-29
Anticipated expiration: 2011-10-09
Also published as: JP2541689B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）この発明は、運転者等の眼の位置及び状態を検出する眼
位置検出装置及び被検者状態検出装置に関する。

（従来の技術）従来の車両運転者等の被検者の眼位置検出装置としては
、例えば特開昭６２−２４７４１０号公報に記載された
ようなものがある。これは車両運転者の眼の状態変化や
口の発声形状を認識することにより電気装置の付勢制御
を行う装置として提案されている。

また、他の従来例として、例・えば特開昭６０−１５８
３０３号公報、特開昭６０−１５８３０４号公報、特開
昭６１−７７７０５号公報および特開昭６１−７７７０
６号公報に記載されたようなものがある。これらは車両
運転者の眼の位置を認識する装置であり、運転者の顔部
分を撮影して２枚の画像として入力し、この画像の明領
域の中にある独立した明領域を特異的として抽出し、そ
の特異点を眼として認識する構成となっており、運転者
の居眠りや、わき見の検出に利用可能であるとしている
。

（発明が解決しようとする課題）しかしながら、このような従来の車両運転者の眼位置検
出装置では、撮影画像に影ができ、眼の部分が独立した
暗領域にならない場合がある。

特に、眼鏡をかけている場合、髪の毛が額を覆っている
場合などは眼の部分が独立した暗領域とはならない。こ
のため、眼の位置が検出できなかったり、眉毛や眼鏡の
フレームなどを眼として誤認識してしまうという問題が
あった。

また、前者の装置は、照明手段として白熱電球を利用し
ていることにより背景が白いこと、眼球が真円に撮れる
ことを前提としており、実際的には車両運転者に適用す
ることができず、後者の装置では、眼が開いているか、
閉じているかまでは検出できないという問題があった。

そこでこの発明は、運転者の眼の位置の検出性能をより
向上することかでき、さらには、運転者の居眠りやわき
見等の状態の検出性能をより向上することができる眼位
置検出装置及び被検者状態検出装置の提供を目的とする
。

［発明の構成］（課題を解決するための手段）上記課題を解決するためにこの発明は、第１図のように
、運転者の眼を含む顔画像を入力する画像入力手段ＣＬ
１と、前記画像入力手段ＣＬ１から送出される人力画像
を２値化する２値化手段ＣＬ２と、前記２値化手段ＣＬ
２による２値化画像において顔の左端と右端とをそれぞ
れ検出する顔両端検出手段ＣＬ３と、この両端から眼の
存在領域の横方向の位置を決定する眼球の左右領域決定
手段ＣＬ４と、前記横方向の位置が決定された眼の存在
領域内を縦方向に走査し黒領域の配置状況により眼の存
在領域の縦方向の位置を決定する眼球の縦領域決定手段
ＣＬ５とを備える眼位置検出装置とした。

また、さらに、眼の存在領域内で虹採部分を検出する虹
採検出手段ＣＬ６と、虹採検出手段ＣＬ６による検出結
果から被検者の状態を判定する判定手段ＣＬ７とを備え
る被検者状態検出装置とした。

（作用）上記構成によれば、顔両端検出手段ＣＬ３によって検出
される顔の輪郭線の左端と右端とから眼球を含む領域の
横方向の範囲を左右領域決定手段ＣＬ４が決定し、縦方
向の範囲は縦方向の走査により検出される黒色領域の配
置状況から縦領域決定手段ＣＬ５が決定する。

また、虹彩検出手段ＣＬ６により眼の存在領域内で虹彩
部分を検出し、虹彩検出手段ＣＬ６による検出結果から
判定手段ＣＬ７により被検者の状態を判定することがで
きる。

（実施例）以下、この発明の実施例を図面に基づいて説明する。

第２図はこの発明の一実施例に係る眼の位置検出装置及
び被検者状態検出装置の構成図、第３図は第２図の構成
に基づくフローチャートを示すものである。

第２図に示すように、この装置は、自動車に適用したも
のでインストルメントパネル（図示せず）内の運転者に
対する正面方向に、運転者の顔部分を照射する赤外スト
ロボ１と、この赤外ストロボ１の赤外光で照射される顔
部分を撮影する画像入力手段ＣＬ１としてのＴＶ左カメ
ラと、前記赤外ストロボ１の発光とＴＶ左カメラの画像
入力とのタイミングを合せるタイミング指令回路５とを
備えている。そして、赤外ストロボ１にタイミング指令
回路５からストロボ発光指令が出力されると、赤外スト
ロボ１が発光して運転者の顔部分を照射し、これと同時
にＴＶ左カメラに対し画像入力指令が出力され、赤外光
で照射された顔部分を撮像するようになっている。

ＴＶ左カメラの入力画像はこの実施例では第６図に示す
ように、横（Ｘ）方向５２０画素、縦（Ｙ）方向５００
画素からなり、縦方向に顔部分がほぼいっばいになるよ
うに画角が調整されている。

ＴＶ左カメラには、撮影した入力画像をデジタル量に変
換するＡ／Ｄ変換器７を介して画像メモリ９が接続され
ている。この画像メモリ９はＴＶ左カメラの入力画像デ
ータを入力するものである。

画像メモリ９には、該画像メモリ９に格納された人力画
像データに基づいて眼球の存在位置領域を規定する眼球
存在位置規定回路１１が接続され、さらに、眼球存在位
置規定回路１１で規定された領域内にある画像メモリ９
の画像データを処理して眼の虹彩部分を検出する虹彩検
出回路１３が接続されている。

また、虹彩検出回路１３には、該虹彩検出回路１３での
虹彩検出結果から被検者の状態、例えば運転者の居眠り
やわき見等の有無を判定する居眠りわき見判定回路１５
が接続されている。

前記眼球存在位置規定回路１１は、人力画像をあるしき
い値で２値化する２値化手段ＣＬ２と、２値化画像にお
いて顔の最左端と最右端とをそれぞれ検出する顔最両端
検出手段ＣＬ３と、この最両端の横方向の座標値から左
右の眼の存在領域の横方向の位置を決定する眼球の左右
領域決定手段ＣＬ４と、前記横方向の位置が決定された
眼球の存在領域内を縦方向に走査し、黒領域の配置状況
により眼の存在領域の縦方向の位置を決定する眼球の縦
領域決定手段ＣＬ５とを構成するものである。

つぎに、第３図のフローチャートに基づいて全体の作用
を説明する。

まず、ステップＳ］で赤外ストロボ１の発光と同期して
ＴＶ左カメラによって運転者の顔部分を撮影し、この画
像をＡ／Ｄ変換回路７でデジタル信号に変換して画像メ
モリ９に格納する（ステップＳ２）。

つぎに、ステップＳ３で画像メモリ９に格納された入力
画像データを眼球存在位置規定回路１１に取り込み、あ
るしきい値で２値化する。これは顔部分の明暗をはっき
りさせるためであり、２値化しきい値は眼球を抽出てき
るレベルに設定されている。

すなわち、ビデオ信号を２５６階調（０〜２５５）のデ
ジタルデータに変換し、白い部分を“２５５”、黒い部
分を“０”とし、あるスレッシュホールドレベルで２値
化して２値化画像Ｊ　（ｘ。

ｙ）を得たものである。

つぎに、ステップＳ４およびステップＳ６において左右
それぞれの眼球の存在領域（ウィンドウ、第６図の点線
で示す四角部分）の横方向（Ｘ方向）の幅を決定し、さ
らにステップＳ５およびステップＳ７において、左右そ
れぞれの眼球のウィンドウの縦方向（Ｘ方向）の幅を決
定する。この処理の詳細は第４図および第５図に示すフ
ローチャートにより後述する。

つぎに、左右それぞれの眼球のウィンドウが決定される
と、ステップＳ８で虹彩中心検出が行われる。そして、
虹彩中心が検出されると、ステップＳ９で虹彩中心から
乗員の居眠りわき見判定が行われる。

第４図は、第３図のステップｓ４およびステップＳ６の
詳細フローチャートを示すもので、これは第９図に示す
ように顔の輪郭線等より顔の最左端と最右端を認識し、
この両端がら眼球の存在領域のＸ方向（横方向）の幅を
決定するものである。

まず、初めにステップ５２０１で白色画素連続カウンタ
ＷＸＣ１黒色画素検出フラグＢＦＬＳＸ座標カウンタＸ
Ｃ，Ｙ座標カウンタＹＣ，最左端点のＸ座標ＸＬ、最左
端点のＹ座標ＹＬ、最右端点のＸ座標ＸＲ１最右端点の
Ｙ座標ＹＲをクリアする。

つぎに、ステップ５２０２で最左端のＸ座標ＸＬにダミ
ー値６００　（５２１以上なら良い）を、白色画素の最
小連続数ＨＡＢＡに所定値２００をそれぞれ代入する。

つぎに、ステップ８２０３で入力画像をＸ方向にクラス
ター走査しく第６図において左から右へ走査するが、実
際の顔に対しては右から左へ走査していることになる。

但し、説明上第６図の左側を顔の左側と称する。）、画
素Ｊ　（ＸＣ，ＹＣ）が黒色か否かを検索する。画素が
白の場合にはステップ５２１１へ移行して白色画素連続
カウンタＷＸＣをカウントアツプし、ステップ５２１２
において黒色画素検出フラグＢＦＬが１で、かつ、白色
画素連続カウンタＷＸＣの値が１であるか否かが判別さ
れる。この条件は、Ｙ座標ＹＣが額に到達し、クラスタ
ー走査により、額の左側の毛髪が検出され、その後額が
検出された状態等で成立する。そして、ＢＦＬ−１、か
つ、ＷＸＣ−１の場合はステップ８２１３へ移行し、現
在のＸ座標値ＸＣが今までの最左端のＸ座標値ＸＬを越
えるか否かが判別される。

現在のＸ座標値ＸＣが最左端のＸ座標値ＸＬより小さい
場合はステップ５２１４へ移行し、このＸ座標ＸＣを新
たに最左端のＸ座標ＸＬとし、このときのＹ座標ＹＣを
最左端のＹ座標ＹＬとする。

但し、今までに最左端のＸ座標値ＸＬの検出がなければ
、現在のＸ座標値ＸＣがＸＬとなる。また、ステップ５
２１２．８２１３でＮｏのときは、何もせずにステップ
５２１５へ移る。

このような処理をＸ座標ＸＣが５２０に達するまで繰返
し行う（ステップ５２１５．５２１６）。

上記ステップ８２１１〜５２１６においてウィンドウの
最左端点の検出処理を行っている。

ステップ８２０３において、画素が黒であると判断され
た場合はステップ５２０４へ移行して白画素連続カウン
タＷＸＣの値が白色画素最小連続ＨＡＢＡより大きいか
否かが判別される。この判別は最左端点のＸ座標ＸＬと
最右端点のＸ座標ＸＲとは少なくとも２００画素以上は
離れているだろうという基準を前提に、ＸＬＳＸＲを確
実に検出するためのものである。従って、最左端と目さ
れる黒色画素が検出された後、最右端と目される黒色画
素が検出されても、両者の間隔が２００画素を上回らな
ければ、エラーとしてクリアし、再度検出をし直す。こ
のため白色画素連続カウンタＷＸＣの値が白色画素最小
連続数ＨＡＢＡより小さい場合は、ステップ５２０５へ
移行して黒色画素検出フラグＢＦＬを１とする。このス
テップ５２０５でのＢＦＬ−１は入力画像の左端からラ
スター走査し、最初の黒色画素を検出したとき、これを
最左端点と目し、ステップ５２１２の判断で使用するた
めに立てられる。続いてステップ５２０６て白色画素連
続カウンタＷＸＣ１最左端点と目されるＸ座標ＸＬＳＹ
座標ＹＬをクリアしステップ５２１５へ移行する。

また、ステップ５２０４で白色画素連続カウンタＷＸＣ
の値が白色画素最小連続数ＨＡＢＡより大きい場合はス
テップ５２０７へ移行し黒色画素検出フラグＢＦＬが１
か否かが判別される。そして、黒色画素検出フラグＢＦ
Ｌが１でない場合はステップ５２０５へ移行する。これ
は、ＷＸＣ≧ＨＡＢＡであっても、顔が正しい状態にな
いとき、例えば横を向いていたり、第６図で画面の右に
寄っていれば、画面の左端からクラスター走査し、最初
の黒色画素を検出するまでに２００以上の白が続くこと
があり、これをエラーと判断するためである。従って、
ステップ５２０４がＮ０ＳＳ２０７がＮｏのときは、警
報を発し、乗員に正しい姿勢をとるように促すこともで
きる。また黒色画素検出フラグＢＦＬが１の場合は既に
検出した最左端点ＸＬＳＹＬは正しいものとしてステッ
プ５２０８へ移行し、黒色画素検出フラグＢＦＬを２と
する。つぎにステップ５２０９で現在のＸ座標値ＸＣが
今まての最右端Ｘ座標値ＸＲを越えるか否かが判別され
る。そして、現在のＸ座標値ＸＣが最右端Ｘ座標値ＸＲ
より大きい場合はステップ５２１０へ移行し、この座標
ＸＣを新たな最右端のＸ座標ＸＲとし、このときのＹ座
標ＹＣを最右端のＹ座標ＹＲとする。そして、ステップ
５２１９で白色画素連続カウンタｗｘｃＳｘ座標カウン
タＸ０１黒色画素検出フラグＢＦＬをクリアする。

上記ステップ８２０４〜５２１０において、ウィンドウ
の最右端点の検出処理を行っている。

このようにしてステップ５２１５でＸ座標ＸＣが５２０
に達すると、ステップ５２１７へ移行シ、このＸ座標Ｙ
ＣでのＸ方向への走査で右端点を検出したか否か、すな
わち、黒色画素検出フラグＢＦＬが２か否かが判別され
る。そして、右端点を検出している場合はステップ５２
１９へ移行して白色画素連続カウンタｗｘｃ、ｙ座標カ
ウンタＹＣ１黒色画素検出フラグＢＦＬをクリアする。

また、右端点を検出していない場合はステップ５２１８
へ移行して最左端点のＸ座標ＸＬ、Ｙ座標ＹＬをクリア
し、続いてステップ５２１９で白色画素連続カウンタＷ
ＸＣ，Ｙ座標カウンタＹＣ，黒色画素検出フラグＢＦＬ
をクリアする。

このような処理をＹ座標ＹＣが３２０に達するまで繰返
し行い（ステップ５２２０．５２２１）、顔の最左端点
のＸ座標ＸＬ、Ｙ座標ＹＬと最右端点のＸ座標ＸＲ，Ｙ
座標ＹＲを第７図のように求める。

以上のようにし最左端点と最右端点とを検出し、眼の存
在領域であるウィンドウを例えば次式によって求める。

−Ｘ軸センターＸｃ −ＸＬ＋　ｆ　（ＸＲ−ＸＬ）／２＋・左眼ウィンドウの左側Ｘ座標−Ｘ、−ＸＬ・左眼ウィ
ンドウの右側Ｘ座標−Ｘ２Ｘｃ−２５・右眼ウィンドウの左側Ｘ座標−ＸＸＩ−Ｘｃ＋２５・右眼ウィンドウの右側Ｘ座標−ＸＸ２−ＸＲ上記のよ
うに左右ウィンドウのＸ座標ＸｌＸ２　、ＸＸＩ　　　
ＸＸ２が検出されると、第３図のフローチャートのステ
ップＳ５およびステップＳ７でウィンドウの縦方向（Ｘ
方向）の幅を決定する。

第５図はステップＳ５およびステップＳ７の詳細フロー
チャートを示すものである。この処理はウィンドウのＸ
方向の座標を検出するもので、左右それぞの眼において
行われる。

また、この処理は、大きく分けて黒領域２点の検索部分
と、眼鏡の有無検索部分との二つに分かれる。

黒領域２点の検索部分では、左眼に関して第８図に示す
ように、左眼ウィンドウの右側Ｘ座標Ｘ２から１０ドツ
ト左側、すなわちＸ２−１０を始点としくこれは鼻の穴
の黒い部分の検出を避けるためである。）、この位置か
ら横方向（Ｘ方向）にＸ２−９０までを範囲とし、Ｙ座
標ＹＬ、ＹＲの内、いずれか上方（Ｙ座標値の小さい方
）にある座標からＹ座標０の範囲で横方向へ４ドツト毎
に縦方向上方（Ｘ方向）へ検索する。

また、右眼に関しては右眼ウィンドウ左側Ｘ座標ＸＸ１
から１０ドツト右側、すなわちＸＸ、＋１０を始点とし
、この位置から横方向（Ｘ方向）にｘｘｔ　＋９０まで
を範囲とし、Ｙ座標ＹＬから０の範囲で横方向へ４ドツ
ト毎に縦方向上方（Ｘ方向）へ検索する。

眼鏡の有無検出部では、左眼に関して第９図に示すよう
に、左眼ウィンドウの右側Ｘ座標Ｘ２から左眼ウィンド
ウの左側Ｘ座標Ｘ１への横方向（Ｘ方向）の範囲で、ま
た、右眼に関しては右眼ウィンドウの左側Ｘ座標ＸＸＩ
がら左眼ウィンドウの右側Ｘ座標ＸＸ２への横方向（Ｘ
方向）の範囲で後述のように検索する。

以下、左目ウィンドウのＸ方向の幅を決定する処理につ
いて説明する。

まず、ステップ５３０１において、一番目と二番目の黒
領域のＹ座標の最大値（最下点）のメモリ変数ＢＹＩＭ
ＡＸおよびＢＹ２ＭＡＸがクリアされ、Ｘ方向の検出範
囲規定カウンタＸＣＨＥＣＫがＸ２−１０に、また、Ｘ
方向の検索範囲規定カウンタＹＣＨＥＣＫがＹＬに初期
化される。

つぎに、ステップ５３０２てＸ方向の検索範囲規定カウ
ンタＸＣＨＥＣＫがＸ２−９０以下が否かが判別される
。この判別はＸ方向へすべて検索したか否かを判別する
ものである。このときは、未だ、Ｘ方向全ての検索を終
了していないからステップ８３０３へ移行し、一番目の
黒領域を検出したフラグＦＬＩ、黒色画素連続カウンタ
ＢＬＡＣＫ、白色画素連続カウンタＷＲＩＴＥ、一番目
の黒領域と二番目の黒領域との間隔が１０ドツト以上あ
るフラグＷＨＩＴＥＦＬおよび一番目の黒領域と二番目
の黒領域のそれぞれの最大値記憶バッファＢＹｌおよび
ＢＹ２がクリアされる。

つぎに、ステップ５３０４で検索画素が黒か否かが判別
され、黒の場合は白色画素連続カウンタＷＲＩＴＥをク
リアしくステップ５３０５）、黒色画素連続カウンタＢ
ＬＡＣＫをカウントアツプする（ステップ５３０６）。

そして、ステップ５３０７で黒色画素連続カウンタＢＬ
ＡＣＫの黒画素が１か否かが判別される。これは黒画素
の検出が初めてか否かを判断するものである。黒画素が
１の場合は黒領域の最下点Ｙ座標候補としてＹ方向の検
索範囲規定カウンタＹＣＨＥＣＫでカウントされた現Ｙ
座標を５ＥＴＹに記憶する。例えば第８図で“ｌ”と示
しであるＹ座標を記憶する。

つぎに、ステップ８３０９て黒画素連続カウンタＢＬＡ
ＣＫの黒画素が２以上か否かが判別され、黒画素が２以
上の場合は一番目の黒領域を検出したフラグＦＬｌがセ
ットされているか否がか判別される（ステップＳ　３１
０）。フラグＦＬＩがセットされていない場合は、ステ
ップ５３１１へ移行し、一番目の黒領域の最大値記憶バ
ッファＢＹ１に５ＥＴＹの値を代入して保管し、フラグ
ＦＬ１をセットする。そして、ステップ５３２８でＹ座
標ＹＣをカウントダウンし、一つ上の画素の検索に移る
。

ステップ５３１０てフラグＦＬ１がセットされている場
合はステップｓ３１・２へ移行し、一番目の黒領域と二
番目の黒領域の間隔が１０ドツト以上あるフラグＷＨＩ
ＴＥＦＬがセットされているか否かが判別される。そし
て、フラグＷＨＩＴＥＦＬがセットされている場合は二
番目の黒領域を検出したことになるのでステップ８３１
３で二番目の黒領域の最大値記憶バッファＢＹ２に５Ｅ
ＴＹの値を代入して保管する。例えば、第８図で“２”
と示しであるＹ座標を保管する。また、ステップ５３１
２でフラグＷＨＩＴＥＦＬがセットされていない場合は
、一番目の黒領域と二番目の黒領域の間隔が狭く両者の
差が明確でないのでステップ５３１４へ移行し、黒画素
の連続数が５０ドツトを越えるか否かが判別される。黒
画素の連続数か５０ドツトを越えている場合は頭髪を検
出したことになるためステップ５３１５へ移行してバッ
ファＢＹ２をクリアし、また、５０ドツトを越えていな
い場合はステップ５３２８へ移行しＹ座標ＹＣを一つ上
の画素の検索に移る。

前記ステップ５３０４で検索画素が白の場合にはステッ
プ５３１６へ移行して黒色画素連続カウンタＢＬＡＣＫ
をクリアし、ステップ５３１７で一番目の黒領域を検出
したフラグＦＬｉがセットされているか否かが判別され
る。そして、フラグＦＬ１がセットされていない場合は
、未だ黒領域が一つも検出されていないためステップ５
３２８へ移行しＹ座標ＹＣをカウントダウンし、一つ上
の画素の検索に移る。フラグＦＬＩがセットされている
場合にはステップ５３１８へ移行し、白色画素連続カウ
ンタＷＲＩＴＥをカウントアツプする。そして、ステッ
プ５３１９で白画素が１０ドツト以上連続したが否かが
判別され、１０ドツト以上連続した場合は眼と眉の間が
、眼鏡フレームと眼の間を検出したものとしてステップ
５３１９へ移行し、一番目の黒領域と二番目の黒領域の
間隔が１０ドツト以上あるフラグＷＨｒＴＥＦＬをセッ
トする。また、白画素が１０ドツト以上連続していない
場合はステップ５３２８へ移行しＹ座標ＹＣをカウント
ダウンし、一つ上の画素の検索に移る。

つぎに、ステップ５３２１で白画素が８０ドツト以上連
続したが否がが判別され、８０ドツト以上連続した場合
は眉毛を検出せず顔を検出したことになるからステップ
５３２２へ移行し、二番目の黒領域の最大値記憶バッフ
ァＢＹ２をクリアする。また、白画素８０ドツト以上連
続していない場合はステップ５３２８へ移行し、Ｙ座標
Ｙｃをカウントダウンし一つ上の画素の検索に移る。

つぎに、一番目と二番目の黒領域の候補点としてのそれ
ぞれのバッファＢＹＩおよびＢＹ２が決定されると、ス
テップ５３２３において、候補点としてのバッファＢＹ
Ｉの値を今までに記憶された一番目の黒領域値の最大値
（最下点）ＢＹＩＭＡＸと比較し、より大きい方をＢＹ
ＩＭＡＸとして記憶する（ステップ５３２４）。例えば
、第８図において中央部の１のＹ座標がＢＹＩＭＡＸと
して記憶される。続いて、ステ・ンブ５３２５において
、候補点としてのバッファＢＹ２の値を今までに記憶さ
れた二番目の黒領域の最大値（最下点）ＢＹ２ＭＡＸと
比較しより大きい方をＢＹ２ＭＡＸとして記憶する。例
えば、第７図において、右側の２のＹ座標がＢＹ２ＭＡ
Ｘとして記憶される。

このようにして、一番目の黒領域の最下点ＢＹＩＭＡＸ
と二番目の黒領域の最下点ＢＹ２ＡＸが決定される。

つぎに、眼鏡の有無の検索を行う。まず、第５図（ｂ）
のステップ５３２９において、二番目の黒領域の最大値
記憶バッファＢＹ２が検出されているか否かを判別し、
このＢＹ２の値からステップ８３３０．８３３１で眼鏡
検出のＹ座標ＢＹＨを求める。すなわち、二番目の黒領
域の最大値記憶バッファＢＹ２がなく、一番目の黒領域
の最大値記憶バッファＢＹＩのみの場合は、ＢＹＨ−Ｂ
Ｙ１千１０としくステップ５３３０）、二番目の黒領域
の最大値記憶バッファＢＹ２がある場合は、ＢＹＨ−（
ＢＹ１＋ＢＹ２）／２とする（ステップ８３３１）。

なお、ステップ５３３１でＢＹＨをＢＹＩとＢＹ２との
中間点としているか、これはＢＹＩとＢＹ２の間の点で
あればよいものである。

つぎに、ステップ８３３２で、黒画素の数をカウントす
る黒色画素カウンタＢＬＡＣＫＸをクリアし、画素座標
ＸＣ５ＹＣｉ：初期値ｘｃ−ｘ２（ＸＣ−ＸＸ＋　）　
　ＹＣ−ＢＹＨを設定する（ステップ８３３３．３３３
４）。ステップ８３３５で画素Ｊが黒か否かが検索され
、黒の場合はＸ方向へ黒色画素カウンタＢＬＡＣＫＸを
左眼のときはｘｃ−ｘ２からカウントアツプし、右眼の
ときはＸＣ＝ＸＸ＋からカウントダウンする（ステップ
８３３６．８３３７）。ステップ３３３８テＸ方向へ、
左眼ではＸＸ、を越えるまで、右眼てはＸ２を下回るま
で検索したか否かが判別され、ＸＸ１を越え又はＸ２を
下回るまで検索が終了するとステップ８３３９へ移行し
、黒色画素カウンタＢＬＡＣＫＸの値が３以上か否かが
判別される。

黒色画素カウンタＢＬＡＣＫＸの値が３未満の場合は眼
鏡中央部のフレームを検出したと判別してステップ５３
４０へ移行し、眼鏡無しカウンタＭＥＧＯＦＦをカウン
トアツプする。

以上の処理を左眼の検索範囲内で行い、ステップ５３４
１で眼鏡無しカウンタＭＥＧＯＦＦの値が５を越えるか
否かが判別される。

眼鏡無しカウンタＭＥＧＯＦＦの値が５より大きい場合
は眼鏡をかけていないものと判断してステップ５３４２
へ移行し、一番目に検出した黒領域のＹ座標の最下点Ｂ
ＹＩＭＡＸを基準にしてウィンドウの縦方向（Ｙ方向）
の幅を規定するＹ座標ＹＴ、ＹＢを、ＹＴ−ＢＹＩＭＡ
Ｘ−４０、ＹＢ−ＢＹＩＭＡＸ＋　１０に設定する。ま
た、眼鏡無しカウンタＭＥＧＯＦＦの値が５より小さい
場合は眼鏡をかけているものと判断してステップ５３４
３へ移行し、二番目に検出した黒領域のＹ座標の最下点
ＢＹ２ＭＡＸを基準にしてウィンドウの縦方向（Ｙ方向
）の幅を規定するＹ座標ＹＴ、ＹＢを、ＹＴ−ＢＹ２Ｍ
ＡＸ−４０ＳＹＢ−ＢＹ２ＭＡＸ＋　１０に設定する。

以上の処理を左右両眼において行うことによりそれぞれ
の眼のウィンドウが設定される。

このように、運転者の顔画像の頬部付近に検出される、
顔の輪郭線の最左端点と最右端点より運転者の眼球を含
む領域の横方向の範囲を決定し、縦方向の範囲を縦方向
の走査により検出される黒色領域の配置状況から決定し
、その領域内に於いて虹採部分を検出することて、眼球
が開いているか閉じているか、正面を向いているがなど
を判断する事が可能となった。

ウィンドウ設定に関しては、顔の輪郭線の最右端点と最
端点を検出することてウィンドウの横の範囲を決定する
こととしたため、顔の向きにより赤外線ストロボの照射
画像に影（特に顔面側面部）が発生する場合でもその影
響が排除される。

また、左右の最端部を各々独立に検出する構成（第７図
参照）としたため、顔面左右の照度の不均一さや僅かな
画像の変化でも正確な眼球存在領域が特定でき居眠り、
わき見の検出が可能となった。

そして、第３図のフローチャートのステップＳ８で、２
値化した画像Ｊ　（Ｘ、Ｙ）から上記で設定されたウィ
ンドウ内に対する虹彩部分を検出する処理が行われる。

虹彩は、一般に暗い円形領域として観測されるから、こ
の円形領域を検出してその領域面積を認識すれば、運転
者の居眠りの有無等、その状態が判定できる。

第１０図は、虹彩の検出原理を示す説明図である。

今、ウィンドウ内の任意の点（ｘ、ｙ）を中心とする半
径Ｒの円を設定するとともに、点（ｘ。

ｙ）を中心として放射状に４つの矩形を設定する。

この矩形は、円の内外方にそれぞれ２画素だけ延在する
ように設定される。そして、円より外方の矩形白抜き部
の明度値の総和と、円より内方の矩形ハツチング部の明
度値の総和との差δを求める。

これを上記任意の点（ｘ、ｙ）においてＲｍｉｎ−Ｒｍ
ａｘまで行い、差δの最大値を△としてこれを求める。

つぎに、点（ｘ、ｙ）を中心として同様な演算を行い、
差δの最大値が上記最大値△より大きければ、今回演算
されたδの最大値を最大値として記憶する。このような
演算をウィンドウ内の全画素点を中心として行い最大値
△を出力する。

これは、ウィンドウ内に虹彩が存在するとき、虹彩は他
の領域に比べて輝度が低い円形図形として検出され、虹
彩を中心に求められる上記差δか最大となるという原理
に基づいている。

第１１図は以上の処理のフローチャートを示すものであ
る。

まず、ステップ５９０１で、ウィンドウ内を走査するカ
ウンターＸ＋ＹをＬにリセットする。なお、ここで設定
されたウィンドウの大きさは、Ｘ方向Ｍドツト、ｙ方向
Ｎドツトとする。つぎに、ステップ５９０２で、虹彩検
出の中心座標の点Ｊ（ｘ、ｙ）が黒いか否かが判別され
、黒い場合はステップ８９０３へ移行し、検出半径Ｒを
Ｒｍｉｎとする。つづいて、ステップ５９０４および５
９０５において、△およびｐをリセットする。

つぎに、ステップ５９０６乃至５９０８で、具体的に白
い部分に囲まれた黒い円形領域として検出する。すなわ
ち、ステップ５９０６において式の前半の４項Ｊ　（ｘ
＋Ｒ＋ｐ、ｙ）、Ｊ　（ｘ、ｙ−Ｒ−ｐ）　、　　Ｊ　
（ｘ−Ｒ−ｐ、　　ｙ）　、　　Ｊ　（ｘ、　　ｙ＋Ｒ
＋ｐ）はそれぞれ座標中心（ｘ、ｙ）から半径Ｒ＋ｐ離
れた右、下、左、上の位置の明度を表わし、式の後半の
４項Ｊ　（ｘ＋Ｒ−ｐ−１，ｙ）　。

Ｊ　（Ｘ、Ｙ　　Ｒ＋ｐ＋１）、Ｊ　（ｘ−Ｒ＋ｐ＋ｌ
。

ｙ）、Ｊ　（ｘ、ｙ＋Ｒ−ｐ−１）はそれぞれ中心座標
（ｘ、ｙ）から半径Ｒ−（ｐ＋１）離れた右、下、左、
上の位置の明度を表わしている。そして、ステップ５９
０７でｐを１ずつ増加させｐ−１まで変化させてステッ
プ５９０６乃至ステップ５９０８を繰返し実行し、半径
Ｒｍｉｎにおける第１０図の矩形白抜き部の明度値総和
（ステップ５９０６の式の前半４項の和）と矩形ハツチ
ング部の明度値総和（ステップＳ６の式の後半４項の和
）の差δが最大値Δとして求められる（ステップ５９１
０）。つぎに、ステップ５９１１で半径Ｒｍｉｎ＋１と
して再度ステップ５９０５へ移行し、ステップ５９０６
乃至ステップ５９０８を繰返し実行することにより半径
Ｒｍｉｎ＋ｌとしたときの矩形領域の明度差δを求める
。この明度差δが第１回目の半径Ｒｍｉｎについて演算
された△よりも大きければ、その明度差δを最大値△と
する。

このような操作を半径Ｒｍａｘまで繰返して行い、任意
の点（ｘ、ｙ）について最大明度差△が求まる（ステッ
プ５９１２）。これは、検出する虹彩の半径は、個人あ
るいはカメラと乗員の距離によって異なるため、検出半
径にあるゾーン（Ｒｍｉｎ〜Ｒｍａｘ）を設けるためで
ある。

以下、この処理をｘ−１〜Ｍまで、ｙ−１〜Ｎまでウィ
ンドウ全体に亘って行う。このような処理によって求ま
る△ｍａｘは、虹彩の中心について演算された明度差で
ある。そして、開眼時と閉限時とではこの明度差△は大
きく異なるため、この最大明度差△を用いて開眼か閉眼
かの判別が容易になる。

このようにして虹彩を検出することにしたため、運転者
の開眼、開眼状態を確実且つ迅速にモニタリングするこ
とも可能となった。これにより、運転者の居眠り、わき
見の検出を行うことができるという効果が得られる。

つぎに、前記第３図のフローチャートのステップＳ９に
おける、居眠りわき見の判定において、開眼または閉眼
の判別は、ステップＳ８で算出されたウィンドウ内での
最大明度差△をしきい値処理し、明度差△≧Ｔｈ　ｌき
い値）のときは開眼、明度差△≦Ｔｈのときは閉眼であ
ると判断する。

まばたきした場合にも上記の虹彩検出処理で閉眼と判断
されることがあるから、１回の虹彩検出処理で運転者が
居眠りをしていると判断すると誤判断することがあるた
め、同一の虹彩検出処理を複数回繰返し実行し、ある所
定回数以上連続して閉眼が認識されたときに居眠りして
いると判定することができる。

例えば、第１２図に示すように、黒点で示す時間間隔ご
とに画像が入力され、そして虹彩検出処理の結果、閉眼
と判断される回数が３回連続したときは運転者が居眠り
していると判定することができる。

また、片目のみが閉眼と判断した場合は、実際には閉眼
でなく、わき見をしているために原画面から片目が外れ
ているものと考えられる。従って居眠り判断と同様に３
回連続して片目が閉眼していると判断されたときには、
わき見と判定することができる。

第１３図は第３図のステップＳ４およびＳ６における処
理に係る詳細フローチャートの他の実施例を示すもので
ある。

まず、前述の実施例と同様にステップ５２０１で、白色
画素連続カウンタＷＸＣ１黒色画素検出フラグＢＦＬ％
Ｘ座標カウンタＸＣ，、Ｙ座標カウンタＹＣ，最左端点
のＸ座標ＸＬ、およびＹ座標ＹＬ、最右端点のＸ座標Ｘ
ＲおよびＹ座標ＹＲをクリアする。

つぎに、ステップ５２２２で最左端のＸ座標ＸＬにダミ
ー値６００、白色画素の最小連続数ＨＡＢＡに所定値１
００（前述の実施例より小さい値）を代入する。

つぎに、ステップ５２２３で入力画像をＸ方向にクラス
ター走査し、画素Ｊ　（ＸＣ，ｙｃ）が黒色か否かを検
索する。画素が白い場合はステ・ツブ５２２９へ移行し
て白色画素連続カウンタＷＸＣをカウントアツプし、ス
テップ８２３０で白色画素連続カウンタＷＸＣの値が１
か否かが判別され、さらに、ステップ８２３１で黒色画
素検出フラグＢＦＬが１か否かが判別される。そして、
白色画素連続カウンタＷＸＣの値が１で、かつ、黒色画
素検出フラグＢＦＬが１の場合はステップ５２３２へ移
行し、現在のＸ座標値ＸＣをＳＸ１、Ｙ座標値ＹＣをＳ
ＹＩとする。

また、ステップ８２３０において白色画素連続カウンタ
ＷＸＣの値が１でない場合はステップ５２３３へ移行し
、白色画素連続カウンタＷＸＣの値が白色画素最小連続
数ＨＡＢＡより大きいか否かが判別され、続いてステッ
プ５２３４でＸ座標値ＳＸ１が今まで最左端点座標ＸＬ
より小さいか否かが判別される。白色画素連続カウンタ
ＷＸＣの値が白色画素最小連続数ＨＡＢＡより大きく、
今までの最左端点座標ＸＬよりＸ座標値ＳＸＩの方が小
さい場合にステップ８２３５へ移行し、このＸ座標ＳＸ
Ｉを新たな最左端のＸ座標ＸＬとし、このときのＹ座標
ＳＹＩを最左端のＹ座標ＹＬとする。また、ステップ５
２３３．５２３４てＮ。

のときは、何もせずステップ８２３６へ移る。

このような処理をＸ座標ＸＣか５２０に達するまで繰返
し行う（ステップ８２３６．５２３７）。

上記ステップ８２２９〜８２３５において、ウィンドウ
の最左端点の検出処理を行っている。

つぎに、ステップ８２２３において、画素が黒の場合は
ステップ５２２４へ移行し、黒色画素検出カウンタＢＦ
Ｌを１とした後、ステップ５２２５で白色画素連続カウ
ンタＷＸＣの値が白色画素最小連続数ＨＡＢＡより大き
いか否かが判別され、続いてステップ５２２６で現在の
Ｘ座標値ＸＣが今までの最右端点Ｘ座標ＸＲよりも大き
いか否かが判別される。白色画素連続カウンタＷＸＣの
値が白色画素最小連続数ＨＡＢＡより大きく今までの最
右端点Ｘ座標ＸＲよりも現在のＸ座標ＸＣか大きい場合
にステップ５２２７へ移行し、このＸ座標ＸＣを新たな
最右端のＸ座標ＸＲとしこのときのＹ座標ＹＣを最右端
のＹ座標ＹＲとする。その後、ステップ５２２８で白色
画素連続カウンタＷＸＣをクリアし、ステップ８２３６
へ移る。また、ステップ５２２５．５２２６でＮｏのと
きはステップ５２２８へ移行し、白色画素連続カウンタ
ＷＸＣをクリアする。

上記ステップ８２２４〜５２２８においてウィンドウの
最右端点の検出処理を行っている。

このようにしてＸ座標ＸＣが５２０に達するとステップ
８２３６からステップ８２３８へ移行し、白色画素連続
カウンタ前ＸＣ５黒色画素検出フラグＢＦＬをクリアし
、続いてステップ５２３９でＸ座標カウンタＸＣ，５Ｔ
ＸＩをクリアする。

このような処理をＹ座標ＹＣが３２０になるまで繰返し
行う（ステップ５２４０、Ｓ　２４１）。

第１４図は、この発明のさらに他の実施例を示すもので
ある。

この実施例は、画像処理手段法として公知の微分処理を
行い、顔の最左端と最右端を求めるようにしたものであ
る。すなわち、画像を微分処理すると、顔の輪郭線はそ
の濃度変化の特徴から第１４図（ａ）、（ｂ）に示すよ
うになる。このため、第１４図（Ｃ）に示すような正負
のピークの位置が近接した部分のゼロクロッシング点の
最左端点と最右端点が、顔の最左端と最右端になる。

［発明の効果］以上の説明により明らかなように、この発明によれば、
ウィンドウの横方向の範囲を顔の輪郭線の左端と右端を
検出することで決定するようにしたため、顔の向きによ
り赤外ストロボの照射画素に影（特に顔面側面部）が発
生する場合でもその影響が排除される。

また左右両端を各々独立に検出する構成とじたため、画
面左右の照度の不均一さや僅かな画像の変化でも正確な
眼球の存在領域が特定できる。このような存在領域の特
定により、居眠りやわき見等、被検者の状態検出の精度
を向上させずことができる。

【図面の簡単な説明】

第１図はこの発明の構成図、第２図はこの発明の一実施
例に係る構成図、第３図は第２図の構成図に基づくフロ
ーチャート、第４図はウィンドウの左右領域を決定する
ためのフローチャート、第５図はウィンドウの縦方向領
域を決定するためのフローチャート、第６図乃至第９図
はこの実施例の処理に関する説明図、第１０図は虹彩検
出処理の原理説明図、第１１図は虹彩検出処理のフロー
チャート、第１２図は居眠り判断のための説明図、第１
３図はこの発明の他の実施例に係るフローチャート、第
１４図はこの発明のさらに他の実施例に係る説明図であ
る。ＣＬＩ・・・画像入力手段ＣＬ２・・・２値化手段Ｌ３・・・顕画端点検出手段Ｌ４・・・眼球の左右領域決定手段Ｌ５・・・眼球の縦領域決定手段Ｌ６・・・虹彩検出手段Ｌ７・・・判定手段

Claims

【特許請求の範囲】

（１）眼を含む顔画像を入力する画像入力手段と、前記
画像入力手段から送出される入力画像を２値化する２値
化手段と、前記２値化手段による２値化画像において顔
の左端と右端とをそれぞれ検出する顔両端検出手段と、
この両端から眼の存在領域の横方向の位置を決定する眼
球の左右領域決定手段と、前記横方向の位置が決定され
た眼の存在領域内を縦方向に走査し黒領域の配置状況に
より眼の存在領域の縦方向の位置を決定する眼球の縦領
域決定手段とを備えたことを特徴とする眼位置検出装置
。
（２）眼を含む顔画像を入力する画像入力手段と、前記
画像入力手段から送出される入力画像を２値化する２値
化手段と、前記２値化手段による２値化画像において顔
の左端と右端とをそれぞれ検出する顔両端検出手段と、
この両端の２点から眼の存在領域の横方向の位置を決定
する眼球の左右領域決定手段と、前記横方向の位置が決
定された眼の存在領域内を縦方向に走査し黒領域の配置
状況により眼の存在領域の縦方向の位置を決定する眼球
の縦領域決定手段と、前記眼の存在領域内で虹彩部分を
検出する虹彩検出手段と、前記虹彩検出手段による検出
結果から被検者の状態を判定する判定手段とを備えたこ
とを特徴とする被検者状態検出装置。