JPH03202045A - 虹彩位置検出装置及び運転者の状態検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） この発明は運転者の目の虹彩状態を検出して居眠り等を
検出する運転者の状態検出装置に関す（従来の技術） 従来の運転者の状態検出装置、例えば居眠り検出装置と
しては特開昭６０−１５８３０３号公報等に記載された
ものがある。この種の居眠り検出装置は赤外ストロボを
用いて運転者の顔面に赤外光を照射し、その反射光を二
次元撮像素子で画像として検出した後、該画像を２値化
し、これによる明暗領域の画像パターンから目の位置の
動きを検出して運転者が居眠りしているか否かを判定す
るものである。

（発明が解決しようとする課題） しかしながら、このような居眠り検出装置では、２値化
された顔面画像の明暗領域の形状から目の位置を認識す
るものであるため目のおおよその位置が認識できるにす
ぎず、目か開いているのか閉じているかまでは判別でき
ない。従って顔の姿勢を崩さないまま居眠りをしていた
場合には運転者の居眠り検出がてきないという問題があ
った。

そこでこの発明は、虹彩部を検出する領域の暗領域部分
の面積を統計的手法て処理し、運転者の虹彩中心位置を
検出してより正確な判定を行うことができるようにした
運転者の状態検出装置の提供を目的とする。

［発Ｉｌｌの構成］ （課題を解決するための手段） 上記課題を解決するためにこの発明は、運転者の目を含
む顔画像を入力する画像入力手段ＣＬ１と、この画像入
力手段ＣＬＩから送出される入力画像を２値化する２値
化手段ＣＬ２と、この２値化手段による２＠化画像にお
いて運転者の虹彩部を検出する領域を設定する領域設定
手段ＣＬ３と、この領域設定手段ＣＬ３によって設定し
た領域内において暗鎮域部分の面積を統計的手法で処理
し運転者の虹彩中心位置を検出する虹彩中心検出手段Ｃ
Ｌ４と、この虹彩中心検出手段ＣＬ４による検出結果か
ら運転者の状態を判定する判定手段ＣＬ５とを備える構
成とした。

（作用） 上記横取によれば２値化画像から虹彩部を検出する領域
を設定し、その領域内において虹彩中心検出手段ＣＬ４
により暗領域部分の面積を統計的手法で処理し、運転者
の虹彩中心位置を検出することができる。従って判定手
段ＣＬ５により運転者の状態を判定する場合に虹彩中心
位置の特定により、より正確な判定を行なうことができ
る。

（実施例） 以下、この発明の実施例を図面に基づいて説明する。

第２図はこの発明の一実施例に係る車両運転者の状態検
出装置の構成図、第３図は第２図の構成図に基づくフロ
ーチャートを示すものである。

第２図に示すように、この状態検出装置は、インストル
メントパネル（図示せず）内の運転者に対する正面方向
に、運転者の顔部分を照射する赤外ストロボ１と、この
赤外ストロボ１の赤外光て照射される顔部分を撮影する
画像入力手段ＣＬＩとしてのＴＶカメラ３と、前記赤外
ストロボ１の発光とＴＶカメラ３の画像入力とのタイミ
ングを合せるタイミング指令回路５とを備えている。そ
して、赤外ストロボ１にタイミング指令回路５からスト
ロボ発光指令が出力されると赤外ストロボ１が発光して
運転者の顔部分を照射し、これと同時にＴＶカメラ３に
対し画像入力指令が出力され、これにより赤外光で照射
された顔部分を撮像するようになっている。

ＴＶカメラ３の入力画像は、第６図に示すように、横方
向５２０画素、縦方向５００画素からなり、縦方向に顔
部分がほぼいっばいになるように画角が調整されている
。

ＴＶカメラ３には、撮影した入力画像−ぐデジタル量に
変換するＡ／Ｄ変換器７を介して画像メモリ９が接続さ
れている。この画像メモリ９はＴＶカメラ３の入力画像
データを格納するものである。

画像メモリ９には、該画像メモリ９に格納された入力画
像データに基づいて眼球の存在位置領域を規定する眼球
存在位置規定回路１１が接続され、さらに、眼球存在位
置規定回路１１て規定された領域内にある画像メモリ９
の画像データを処理して眼の虹彩部分を検出する虹彩検
出回路１３が接続されている。

また、虹彩検出回路１３には、該虹彩検出回路１３での
虹彩の検出結果から運転者の居眠りやわき見等の有無を
判定する居眠りわき見判定回路１５が接続され、さらに
、居眠りわき見判定回路１５で運転者の居眠りわき見が
判定されたときの指令により警報を発する警報出力回路
１７が接続されている。

前記眼球存在位置規定回路１１は、入力画像をあるしき
い値で２値化する２値化手段ＣＬ２と、２値化画像にお
いて虹彩部分を検出する領域を設定する領域設定手段Ｃ
Ｌ３とを構成するものである。

また、虹彩検出回路１３は虹彩中心検出手段ＣＬ４を構
成し、居眠りわきみ判定回路１５は判定手段ＣＬ５を構
成するものである。

つぎに、第３図、第４図のフローチャートに基づいて作
用を説明する。なお、第４図のフローチャートがこの発
明実施例の主体を成すものであるが、前提として、第３
図のフローチャートの初めから説明する。

まず、ステップＳ１て赤外ストロボ１の発光と同期して
ＴＶカメラ３によって撮影された運転者の顔部分の画像
をＡ／Ｄ変換回路７でデジタル信号に変換して画像メモ
リ９に格納する。つぎに、ステップＳ２で画像メモリ９
に格納されたん力画像データを眼球存在位置規定回路１
１に取り込み、あるしきい値で２値化する。これは、顔
部分の明暗をはっきりさせるためてあり、２値化しきい
値は眼球部を抽出できるレベルに設定されている。

すなわち、ビデオ信号を２５６階調（０〜２５５）のデ
ジタルデータに変換し、白い部分を３２５５″、黒い部
分を“０′とし、あるスレッシュホールドレベルで２値
化して２値化画像Ｊ　（ｘ。

ｙ）を得たものである。

つぎに、ステップＳ３において、左右それぞれの眼球の
存在領域（ウィンドウ、第６図の点線で示す四角部分）
の横方向（Ｘ方向）の幅を決定する。ウィンドウが検出
されると、ウィンドウのＸ方向の幅内で眼の候補点を険
出しくステップＳ４）、次いて額を検出したか否かを判
別して（ステップＳ５）、第１０図（ａ）、（ｂ）に示
すバタンのどれかを決定する（ステップＳ６．Ｓ７）。

ステップＳ８では両眼とウィンドウが設定されたか否か
が判別され、次いで虹彩中心検出が行なわれる（ステッ
プＳ９）。そして虹彩中心が検出されると虹彩中心から
乗員の居眠りわき見判定が行なわれる（ステップ５１０
）。

次に、前記ステップＳ３の処理の詳細フローチャー１−
　（ＳＥＴＷＩＮ処理）を第５図に示す。

この処理は、顔の左右の髪の毛や顔の輪郭線等より顔の
幅を認識し、この顔の幅から眼球の存在領域のＸ方向の
幅を決定するものである。

まず、初めに、白いドツトのカウンタＡ１黒いドツトの
カウンタＢ１顔濃淡の黒い部分である眉や眼を検出する
カウンタＣ１眼鏡のフレーム判断手段ＣＬ７て利用する
カウンタＤをクリアする。

つぎに、ステップ５３０１で入力画像をＸ方向にラスタ
ー走査しく第１０図において左から右へ走査するが、実
際の顔に対しては右から左へ走査していることになる。

但し、説明上第１０図の左側を顔の左側と称する。）、
黒ドツトか否かを判別する。そして、走査が頭の端に至
る等して最初の黒ドツトを険出したらステップ５３０３
へ移行し、白ドツトのカウンタＡの値が０を越えている
か否かが判別される。乗員の背影が２値化によって白で
あることを前提にすると、初めての黒ドツトが検出され
る前には白ドツトがＡラントされているから、ステップ
５３０４で黒ドツトのカウンタＢをクリアする。

ステップ５３０５で黒ドツトの個数をカウントし、黒ド
ツトが５回連続してカウントされたか否かが判別される
（ステップ５３０６）。黒ドツトのカウントが１個目で
あればステップ５３０８へ移行し、この時点では左側の
Ｘ座標は検出されていないため５３０９と移行し、そし
てステップ５３１０へ移行し、Ｘ方向はすべて走査され
たか否かかｔｌＪ断されるが（Ｘ≧５１１）、まだすべ
ては走査していないのでステップ５３０１へ移行し、Ｘ
方向の走査値が加算される。そして黒色ドツトを検出（
２続けていればステップ５３０２，５３０３．５３０５
と移行し、再びステップ５３０６の判断か行なわれる。

ここで、黒ドツトＢの個数が５回連続しているときは、
顔の右側部分の髪の毛のＸ方向におけるほぼ中央部であ
ると判定し、そのときのＹ座標ＭＥＹを記憶する（ステ
ップ５３０７）。

つぎに、ステップ３３０ｇで眼球の存在領域の左側Ｘ座
標を検出したか否かが判別される。このときは、まだ左
側Ｘ座標は検出されていないから、ステップ５３０って
白ドツトのカウンタＡをクリアしてステップ５３１０へ
移行する。

ステップ５３１０では再びＸ方向をすべて走査したか否
かが判別される。このときはＸ方向のすべては走査され
ていないのでステップ５３０１へ戻り、走査が例えば顔
の白い部分に至っていればステップ５３０２を経てステ
ップ５３１１へ移行し、白ドツトの個数をカウントする
。そして、ステップ５３１２で、最初の白ドツトは黒ド
ツトが１０回以上連続してカウントされた後であるか否
かか判別される。

この判別はＹ方向が額の位置で左側部分の髪の毛を全部
カウントしたか否かを判別するものである。

ここで黒ドツトが１０回以上カウントされた後で、額の
幅に相当する白「ットが１９０以上検出されたときは、
ステップ５３１３からステップ５３１４へ移行し、最初
の白ドツトか否かが判別される。ここで、最初の白ドツ
トであれば、ウィンドウの左側Ｘ座標の候補点Ｘ１とし
てＸ−Ｘｌをメモリに３己憶する（ステップＳ　３１５
）、（第７図）。

このとき、ステップ５３２１て、眉や眼の黒ドツトのカ
ウンタＣか０を越えているか否かが判別される。ここで
、Ｙ方向が額の位置であれば白色ドツトが続くはずであ
るから黒ドツトはカウントされずステップ５３１０へ移
行し、Ｘ方向はすべて走査されたか否かが判別される。

このときは未たＸ方向はすべて走査されていないのでス
テップ５３０１へ戻り、前記と同様な処理が繰返し実行
される。

また、ステップ５３２１で黒ドツトＣがカウントされて
いるときには、前記候補点Ｘ１を検出したＹ座標が額で
はなく、例えばそれよりも下の眉等の位置におけるもの
であるからステップ３３２２で黒ドツトをクリアし、ウ
ィンドウのＸ方向左側の候補点Ｘ１をキャンセルする（
ステップ５３２３）。

候補点Ｘ１が検出できなかったＹ座標てＸ方向が全てス
キャンされればカウンタＡ、Ｂ、Ｃがクリアされ、Ｙ座
標が下方へ１つずらされる（ステップ５３１０，５３２
８，５３２９）。そして、上記のＸｌの検索が同様にし
て行なわれ、Ｙ方向が全てスキャンされれば（ステップ
５３３０）、Ｘｌが検出できないものとしくステップ５
３３６）、処理Ｃ，！終了する。Ｘｌが検出てきないと
きは乗員がわき見をしたり、下を向いているような状態
を意味する。

ところで、乗員が眼鏡を装着している場合には、眼鏡フ
レームの下部においてもＸ方向に黒ドツトが１０回以上
連続することがある。そして、眼鏡フレームの下部にお
ける黒ドツトの連続であれば黒ドツトが１０回以上連続
した後、白ドツトが１９０以上連続することはない。そ
こて、眼鏡フレムの左側の右端（Ｘ２）をウィンドウの
候補点として検出した後、白ドツトか１９０回以上連続
しない場合には、ステップ５３１３からステップ５３１
６へ移行して（Ｘ２−５、Ｙ軸ＭＥＹ）の点（眼鏡の片
側下フレームＸ方向略中央）からＹ方向上方のドツトを
検索し、黒色ドツトの個数をカウントする（ステップ５
３１７）。そして、ステップ５３１８てドツトを２０回
以上カウントしたか否かが判別され、２０回以上カウン
トしておれば、黒ドツトが１０回以上カウントされたか
否かが判別される（ステップＳ　３１９）。これは、第
９図（ｂ）のように眼鏡をかけていればフレームのＰ１
位置から２０ドツト以上のところに眼があり、そこで眼
を検出して黒ドツトが１０回以上続き、眼鏡なしの場合
は眼と眉とをフレームと見たてて同図（ａ）のようにＰ
２位置から上方へ２０ドツト以上カウントすると、そこ
から黒ドツトが１０回以上続くことはなく区別できるか
らである。ここで黒ドツトが１０回以上あるときは、前
記Ｘ座標の候補点Ｘ２を基にフレームの大きさを考慮し
てＸｌをウィンドウの左側のＸ座標として確定する（ス
テップ５３２０）。黒ドツトが１０回以上ないときには
、Ｘ座標を確定せずにステップ５３１０からステップ５
３０１へ戻り、前記と同様の処理を繰返す。

ウィンドウの左側のＸ座標Ｘ１が第８図、第９図（ｂ）
のように確定され、Ｘ方向への走査によって再び右の頭
髪の黒ドツト、あるいは眼鏡フレムの右側の黒ドツトを
検出すると、ステップ５３２４でその個数をカウントし
、黒ドツトが５回連続してカウントされたか否かが判別
される（ステップ５３２５）。ここで、黒ドツトが５回
連続してカウントされると、第８図のようにウィンドウ
の右側Ｘ座標ＸＸ２としてＸ−ＸＸ２をメモリに記憶す
る。なる、ステップ８３１６〜５３２０によってＸｌが
記憶されているときは眼鏡の右側フレームの左端がＸＸ
Ｉとして記憶され、このＸＸ１に基づきＸＸ２を記憶す
る。

ステップ５３２５で、黒ドツトが５回連続してカウント
されないときは、乗員が横を向いていたり、顔か斜めに
なっているようなときであり、ステップ５３２７て白ド
ツトをクリアし、ステップ５３１０へ移行する。このと
き、音声等で乗員に姿勢を正すように警告することもて
きる。

このようにして、ウィンドウの左側Ｘ座標Ｘ１と同右側
Ｘ座標ＸＸ２　（又はＸＸ１）が検出されると、ステッ
プ３３３１へ移行して、前記ウィンドウの左右のＸ座標
ＸＩ、ＸＸ２　（又はｘｘｌ）を検出した縦方向のＹ座
標をＨＡＢＡＹとして記憶し、ステップ５３３２で、ウ
ィンドウを左右の眼に分割するためのＸ座標を求める（
第８図参照）この分割は、例えば眼鏡をかけていない場
合を例とすれば次式によって行われる。すなわち、ＸＩ
由センターＸＣ −Ｘ１＋　＋　（ＸＸ２−ＸＩ）／２１左眼ウィンドウ
の左側Ｘ座標−Ｘ１ 左眼ウインドウの右側Ｘ座標＝Ｘ２ ＸＣ−２５ 右眼ウィンドウの左側Ｘ座標−ＸＸＩ −ＸＣ＋２５ 右眼ウィンドウの右側Ｘ座標−ＸＸ２ つぎに、ステップ５３３３およびステップ５３３５にお
いて、左、右ウィンドウのそれぞれのＹ座標を求めるＷ
ＩＮＳＵＢへ移行する（ステップ３３３４）。

上記のように、左右ウィンドウのＸ座標ＸＩ。

Ｘ２　　ＸＸＩ、ＸＸ２が検出されると、第３図のフロ
ーチャートのステップＳ４へ移行して、ウィンドウのＸ
方向の幅内で眼の候補点を検出し、額を検出したか否か
を判別して（ステップＳ５）、第１０図（ａ）、（ｂ）
に示すパターン１乃至１０のどれかを決定する（ステッ
プＳ６およびＳ７）第６図は上記ステップＳ４乃至ステ
ップＳ７の詳細フローチャート（ＷＩＮＳＵＢ処理）を
示すものである。

この処理は、ウィンドウのＹ方向の座標を決定するもの
で、左右それぞれの眼において行われる。

まず、ステップ５４０１乃至ステップ５４０３で、例え
ば左側ウィンドウの１列分、すなわち、左側Ｘ座標Ｘ１
から右側Ｘ座標Ｘ２までを走査し黒ドツトの個数Ｅをカ
ウントする。つぎに、カウントされた黒ドツトの個数Ｅ
が最大個数Ｅｍａｘ（前回までの処理で最大個数をいう
。）以上か否かが判別され（ステップ５４０４）、今回
の処理のカウント値が最大個数Ｅｍａｘ以上の場合は、
その個数Ｅを最大個数Ｅｍａ　ｘとして記憶する（ステ
ップＳ　４０５）。その後カウンタＥはクリアされ（ス
テップＳ４２］、）、Ｙ方向へ３００ドツトまで走査し
たか、すなわち、頬に至るまで走査したか否かが判別さ
れ（ステップ５４２２）、Ｙ方向・＼３００ドツトまで
走査されていなければ、Ｅｍａｘ保管の上記ステップが
繰返され、第１０図（ｂ）のパターン７のような場合は
眉と眼との双方のＥｍａｘか保管される。

なお、ステップ５４２２ての３００ドツトは固定値であ
るが、これ以下のドツト数でもよく、又、頭部先端位置
の検出により適数を自動的に決めることもできる。

ステップ５４０４で、黒ドツトの個数Ｅが最大個数Ｅｍ
ａｘ未満の場合には、ステップ５４０６へ移行し、黒ド
ツトの個数Ｅが最大個数Ｅｍａｘに対して８０％以上減
ったか、すなわち、８０％以上が白ドツトかを判定し、
８０％以上が白ドツトの場合は、額、眉と眼の間、頬の
いづれかを検出したと判定してステップ５４０６から５
４０７へ移行し、そのときのＹ座標ＺＲを記憶する。

そして、ステップ５４０８て、候補点が１個か否かが判
別され、ここで候補点が１個であれば額を５回検出した
か否かが判別される（ステップ５４０９）。この判断が
ＹＥＳであれば、Ｙ方向の走査がシｒ１部から額に至っ
たことを示すものであるため、候補点フラグを０ＦＦＩ
、（ステップ５４１０）、ステップ５４２１へ移行して
黒ドツトのカウント数Ｅをクリアする。従って、頭部を
候補点として検出することがなくなる。

Ｙ方向の走査が眉と眼との間であり候補点が眉の１個で
あるときはステップ５４０８から５４０９へ至りステッ
プ５４０９の判断がＮｏとなってステップ５４２１へ移
行する。Ｙ方向の走査が頬であり、既に候補点が複数と
なっていれば、候補点フラグはＯＮのままとなる（ステ
ップ５４０８）このように、ステップ８４０６〜５４１
０により候補点を検出したか否か、検出したのは額、眉
と眼との間、頬のいずれの走査におけるものなのかを区
別することができる。

ステップ５４０６て、白ドツトが８０％以下であるとき
は、Ｙ座標ＺＲを保管したか否かが判別され（ステップ
５４１１）、Ｙ座標ＺＲを保管していれば、黒ドツトの
個数Ｅが１０個以上増えたかが判別される（ステップ５
４１２）。ステップ５４１１でＺＲが保管されていなけ
ればＹ座標は例えば頭部にあるため、ステップ５４２１
．５４２２から５４０１ヘリターンする。

ＺＲを保管しステップ５４１２て黒ドツトの個数Ｅが１
０個以上増えている場合は、眉、眼、眼鏡フレームなど
眼球領域の可能性のある黒ドツトの多い部分であると判
定する。そして、ステップ５４１３で、候補点フラグは
ＯＮか否かが判別され、ＯＮの場合は候補点の数は１個
か否かが判別される（ステップ５４１４）。ここで、候
補点が１個であれば、ステップ５４１６で候補点に代表
される黒色領域の大きさのパラメータＦを増加する。こ
のパラメータＦが非常に大きい場合は、眼と眉とが影な
どで１つの部分と認識されており、候補点が実質的には
２個あると判断される（第１０図（ａ）のパターン４参
照）。

ステップ５４１３において、候補点フラグがＯＦＦのと
きには、候補点フラグをＯＮにしくステップ５４１７）
、ステップ５４１８で候補点の検出回数をカウントアツ
プし、候補点検出カウント回数が２回以上か否かが判別
される（ステップ８４１９）。ここで、候補点検出カウ
ント数が２回以上でない場合は、ステップ５４２０で、
その時のＹ軸の座標をウィンドウを設定する基準座標Ｙ
ＹＳとして記憶する。

このようにしてステップ５４１６およびステップ５４２
０の処理がなされると、つぎに、ステップ５４２１へ移
行して黒ドツトのカウンタＥをクリアし、ステップ５４
２２へ移行する。

ステップ５４２２において、Ｙ軸を０〜３００ドツトま
で走査したか否かが判別され、Ｙ座標を３００ドツトま
で走査が終ると、ステップ５４２３へ移行し、先に５Ｅ
ＴＷＩＮ処理で記憶したＨＡＢＡＹの位置が２２０以下
であるか否かが判別される。ＨＡＢＡＹの位置が２２０
以下であれば、額を検出していると判定しくステップ５
４２４）、ステップ５４２５で候補点検出カウント回数
が２回以上か、又は、パラメータＦが７０以上か否かが
判別される。

候補点検出カウント回数が２回以上、又はパラメータＦ
が７０以上の場合は、第１０図で示すパターン４，７，
８．１０のいずれかであるから第１０図の表で示す設定
手段Ａによってウィンドウ上のＹ座標をＹＹＳ＋３０、
ウィンドウ下のＹ座標をＹＹＳ＋８０に設定する（ステ
ップ５４２６）ステップ５４２５で、候補点検出カウン
ト回数が２回以下又はパラメータＦが７０以下の場合に
は、ステップ５４２７で候補点検出カウント回数が１回
か否かが判別され、候補点検出カウント回数が１回の場
合はパターン３であり、設定手段Ｂによってウィンドウ
上のＹ座標をＹＹＳ−２０、ウィンドウ下のＹ座標をＹ
ＹＳ＋３０に設定する（ステップ３４２８）。

ステップ５４２７で候補点検出カウント回数が無い場合
には、検出不能であり（ステップ５４２９）、ＥＸＩＴ
する（ステップ３４３０）。この場合は、運転者が下を
向いている場合等と判断される。従って、所定の警告等
をしてもよい。

つぎに、ステップ５４２３において、ＨＡＢＡＹの位置
が２２０以下でない場合には、額を検出していないと判
定して（ステップ５４２３）、ステップ５４３２て候補
点検出カウント回数が２回以上か否かが判別される。

候補点検出カウント回数が２回以上の場合はバターン９
であり、設定手段Ｃによってウィンドウ上のＹ座標をＹ
ＹＳ−２０、ウィンドウ下のＹ座標をＹＹＳ＋３０に設
定する（ステップ５４２８）ステップ５４３２て、候補
点検出カウント回数が２回以下の場合には、ステップ５
４３３て候補点検出カウント回数が１回か否かが判別さ
れ、候補点検出カウント回数が１回の場合は、その候補
点が眼鏡のフレームか否かが判別される（ステップ３４
３４）。ここで、パターン６のように候補点が眼鏡フレ
ームの場合は、ステップ５４３５へ移行する。ステップ
５４３５ては、標準座標ＹＹＳから上方へドツトを検索
し、黒ド／トを検出した位置ＹＹＳ２を記憶する。そし
て、設定手段りによってウィンドウ上のＹ座標をＹＹＳ
２−３５、ウィンドウ下のＹ座標をＹＹＳ　２＋　１５
に設定する（ステップ３４３６）。

ステップ５４３４て、眼鏡フレームではないと１１１別
された場合にはパターン５てあり、設定手段Ｅによって
ウィンドウ上のＹ座標をＹＹＳ−２０、ウィンドウ下の
Ｙ座標をＹＹＳ＋３Ｑに設定する（ステップ５４２８）
。

ステップ５４３３で、候補点検出カウント回数がない場
合にはパターン１てあり、ステップ５４３７へ移行し、
候補点が眼か、眼鏡フレームかを判別し、いづれでもな
い場合はステップ５４３８で標準座標ＹＹＳをステップ
５４０７で記憶したＺＲ座標とし、設定手段Ｆによって
ウィンドウ上のＹ座標をＹＹＳ−２０、ウィンドウ下の
Ｙ座標をＹＹＳ＋３０に設定する（ステップ５４２８）
。

ステップ５４３７で、候補点が眼鏡フレームの場合には
パターン２であり、ステップ５４３９へ移行する。ステ
ップ５４３９ては、ＺＲ座標から上方へドツトを検索し
、黒ドツトを検出した位置ＹＹＳ２を記憶する。そして
、設定手段Ｇによってウィンドウ上のＹ座標をＹＹＳ２
−３５、ウィンドウドのＹ座標をＹＹＳ＋１５に設定す
る（ステップ５４３６）。

つぎに、上記設定手段り、Ｅ、ＦおよびＧを判別するた
めに行われるステップ５４３４およびステップ５４３７
の候補点か眼か眼鏡フレームであるかの判別の処理フロ
ーチャートを第１２図に示す。

この処理は、額を検出できず、候補点が１個以下の場合
に実行される。

まず、ステップ５１００乃至ステップ５３００において
、候補点の黒ドツトから白ドツトへ変った点ａから１５
ドツト上の点から上方へ黒ドツトとなる点を検索し、ス
テップ５４００で黒ドツトになるまでのカウントｂが２
０回以上か否かが判別される。ここで、カウントｂが２
０回以下の場合は第１３図に示すようになっているため
、候補点は眼であると判定しくステップ５５００）、ま
た、カウントｂが２０回以上の場合には、第１４図に示
すようになっていると判別し、この候補点は眼鏡フレー
ムであると判定する（ステップ５６００）。

そして、候補点か眼鏡フレームである場合における基準
座標ＹＹＳ２は、候補点が１個か無いかによって次式で
算出される。すなわち、候補点か１個の場合には ＹＹＳ２−ＹＹＳ−１５−ｂ また、候補点がない場合には ＹＹＳ２−ＺＲ−１５−ｂ となる。

以上の処理を左右両眼において行うことによりそれぞれ
の眼のウィンドウが設定される。

第１０図、第１１図に戻って整理すると、パターン１で
は、額および眉と眼の間が無いので、黒ドツトの切れ目
であるａ点（−ＺＲ）から設定手段Ｆによってウィンド
ウを設定する。

パターン２は、パターン１と同様であるが、眼鏡を着用
しているためａ点（−Ｚ　Ｒ）から１５＋ｂドツト上方
を基準座標ＹＹＳ２とし、設定手段Ｇによってウィンド
ウを設定する。

パターン３は、眉が薄いため候補点はａ点（−ＹＹＳ）
だけとなり、設定手段Ｂによってウィンドウが設定され
る。

パターン４は、陰で眼と眉と眼鏡フレームの黒い部分か
一つに検出される場合で、眼鏡内が黒くなっているため
候補点はａ点（−ＹＹＳ）だけであるが、パラメータＦ
の値すから設定手段Ａによってウィンドウが設定される
。

パターン５は、額の露出が無く眉と眼の間だｌす検出す
るので、候補点はａ点（−ｙｙｓ）の１点となり設定手
段Ｅによりウィンドウが設定される。

パターン６は、額が隠れている上、陰で眼と眉の黒い部
分が一つに検出される場合で、眉と眼の間を検出できず
、眼の下の白い部分を検出するため、候補点はａ点とな
るが、眼鏡を着用しているのでＹＹＳ２を基準座標とし
て設定手段りによりウィンドウが設定される。

パターン７は、普通の形で候補点はａ点（−ＹＹＳ）と
ｂ点の２点となり、ａ点を基準にして設定手段Ａによっ
てウィンドウが設定される。

パターン８は、陰で眼と眉の黒い部分が一つに検出され
る場合で、額は検出されるが眉と眼の間が眼鏡フレーム
により検出できないため、候補点はａ点とｂ点の２点と
なり、設定手段Ａによってウィンドウが設定される。

パターン９は、額が隠れており眉と眼の間と眼と眼鏡フ
レームの下部の間を検出して候補点はａ点とｂ点となり
設定手段Ｃによってウィンドウが設定される。

パターン１０は、額、眉と眼の間および眼と眼鏡フレー
ムの下部の間を検出し、候補点がａ点、ｂ点およびＣ点
の３点となり、設定手段Ａによってウィンドウが設定さ
れる。

そして、第３図のステップＳ８で、両眼ともウィンドウ
が設定されたか否かが判別され、両眼ともウィンドウが
設定されると、ステップＳ９へ移行する。なお、片眼の
みの処理にすることも可能である。

ステップＳ９では、２値化した画像Ｊ　（ｘ、ｙ）から
上記で設定されたウィンドウ内に対する虹彩中心を検出
する処理が行われる。このときの眼の虹彩は、一般に暗
い円形領域として観測されるから、この円形領域を検出
してその領域面積を認識すれば、運転者の居眠りの有無
が判断てきる。

なお、この実施例では顔幅を検出して領域の設定を行な
うから、例えば顔画像において背影が黒（夜間、あるい
はヘッドレストの色）であっても確実に検出することが
できる。

ステップＳ９の処理の詳細はこの発明実施例の中心をな
す第４図のフローチャートに基づいて説明する。

まず、ステップ５８００でウィンドウ内において虹彩候
補点の検出を行う。

この検出を先に説明する。

第１５図は、虹彩候補点の検出原理を示す説明図である
。

今、ウィンドウ内の任意の点（ｘ、ｙ）を中心とする半
径Ｒの円を設定するとともに、点（ｘ。

ｙ）を中心として放射状に４つの矩形を設定する。

この矩形は、円の内外方にそれぞれ２画素だけ延在する
ように設定される。そして、円より外方の矩形白抜き部
の明度値の総和と、円より内方の矩形ハツチング部の明
度値の総和との差δを求める。

これを上記１モ意の点（ｘ、ｙ）においてＲｍｉｎ−Ｒ
ｍａｘまで行い、差δの所定値を△として求める。つぎ
に、点（Ｘや＋、ｙ）を中心として同様な演算を行い、
所定値△を記憶する。このような演算をウィンドウ内の
全画素点を中心として行い虹彩候補点としての所定値△
を出力する。

これは、ウィンドウ内に虹彩が存在するとき、虹彩は他
の領域に比べて輝度が低い円形図形として検出され、虹
彩の中心に求められる上記差δが最大値をとるという原
理に基づいている。

第１６図は以上の処理のフローチャートを示すものであ
る。

まず、ステップ５９０１で、ウィンドウ内を走査するカ
ウンターＸ、ｙをＬにリセットする。なお、ここで設定
されたウィンドウの大きさは、Ｘ方向Ｍドツト、ｙ方向
Ｎドツトとする。つぎに、ステップ５９０２で、虹彩検
出の中心座標の点Ｊ（ｘ、ｙ）が黒いか否かが判別され
、黒い場合はステップ５９０３へ移行し、検出半径Ｒを
Ｒｍｉｎとする。つづいて、ステップ５９０４および５
９０５において、Δおよびｐをリセットする。

つぎに、ステップ５９０６乃至５９０８で、具体的に白
い部分に囲まれた黒い円形領域として検出する。すなわ
ち、ステップ５９０６において、式の前半の４項Ｊ　（
ｘ＋Ｒ＋ｐ、ｙ）、Ｊ　（ｘ。

ｙ−Ｒ−ｐ）　、　　Ｊ　（ｘ−Ｒ−ｐ、　　ｙ）　、
　　Ｊ　（ｘ。

ｙ＋Ｒ＋ｐ）はそれぞれ中心座標（ｘ、ｙ）から半径Ｒ
＋ｐ離れた右、下、左、上の位置の明度を表わし、式の
後半の４項Ｊ　（ｘ＋Ｒ−ｐ−１，ｙ）Ｊ　（ｘ、ｙ−
Ｒ＋ｐ＋１）、Ｊ　（ｘ−Ｒ＋ｐ＋１、ｙ）、Ｊ　（ｘ
、ｙ＋Ｒ−ｐ−１）はそれぞれ中心座標（ｘ、ｙ）から
半径Ｒ−（ｐ＋１）離れた右、下、左、上の位置の明度
を表わしている。

そしてステップ５９０７でｐを１ずつ増加させｐ−１ま
で変化させてステップ５９０６乃至ステップ５９０８を
繰返し実行し、半径Ｒｍｆｎにおける第１５図の矩形白
抜き部の明度値総和（ステップ５９０６の式の前半４項
の和）と矩形ハツチング部の明度値総和（ステップ５９
０６の式の後半４項の和）の差δが所定値△として求め
られる（ステップＳ　９１０）。つぎに、ステップ５９
１１で、半？Ｌ　Ｒｍ　ｉ　ｎ　＋　１として再度ステ
ップ５９Ｏ４へ移行し、ステップ５９０６乃至ステップ
５９０８を繰返し実行することにより半径Ｒｍｉｎ＋１
としたときの矩形領域の明度差δを求める。

この明度差δが第１回目の半径Ｒｍｉｎについて演算さ
れた△よりも大きければ、その明度差δを所定値△とす
る。このような操作を半径Ｒｍａｘまで繰返して行い、
任意の点（ｘ、ｙ）についての所定明度差Δが求まる（
ステップＳ　９１２）。

これは、検出する虹彩の半径は、個人あるいはカメラと
乗員の距離によって異るため、検出半径にあるゾーン（
Ｒｍ　ｉ　ｎ−Ｒｍａ　ｘ）を設けるためである。

以下、この処理を、Ｘを１〜Ｍまで、ｙを１〜Ｎまでウ
ィンドウ全体に亘って行う。このような処理によって求
まる△は、虹彩候補点について演算された明度差である
。

以上の処理により第４図のステップ５８００の処理が終
わり、候補点群の領域が幾つか得られるので次にラベリ
ング処理を行う（ステップ５８０１）。この結果例えば
第１８図のように暗領域である虹彩候補点に■〜■まで
の番号付けがなされ、それぞれの中心点（Ｘｉ、Ｙｉ）
が各領域の代表座標点として記憶される。次にステップ
５８０２により検出領域の上下左右５％ゾーン（第１８
図の０．０５×吏Ｗと０．０５ＸｆＬｈ）に代表点座標
がある候補点を除外する。そして残りの候補点の面積Ｓ
ｔが所定値ＳＳより大きいものだけを候補点として残す
。これは面積の所定値ＳＳより小さい候補点であれば明
らかに虹彩ではないと判断できるからである（ステップ
５８０３乃至ステップ５８０７）。そして最後にステッ
プ５８０８で下式により候補点の加重平均により虹彩中
心位置を決定する。

なお、ステップ５８０８では加重平均を用いて虹彩中心
位置を決定したが、他に算術平均等を利用してもよい。

また一般的に虹彩は候補点の中で最大面積の暗領域とな
る場合が多いのでステップ５８０３乃至ステップ５８０
８の代りに候補点中で最大面積の候補点の代表点を虹彩
中心位置とすることも可能であり処理の高速化が必要な
る場合等は有効である。

このようにして虹彩中心位置が求められた後最後に第２
図の居眠り、わき見判定回路１５において乗員の居眠り
、わき見等の状態を判定する。即ち第３図のステップＳ
１０に移行して判定が行われる。即ち最終出力としての
虹彩候補点の所定値Δは開眼時と閉眼時とで比較すると
大きく異なるため、これを所定のしきい値処理すること
によって開眼か閉眼かを判別することができる。すなわ
ち、ステップＳ９で算出されたウィンドウ内での明度差
△をしきい値処理し、明度差Δ≧Ｔｈ　１きい値）の時
は開眼、明度差△ＳＴｈの時は閉眼であると判断する。

まばたきをした場合にも上記の虹彩検出処理で閉眼と判
断されることがあるから、１回の虹彩検出処理で運転者
が居眠りをしていると判断すると誤警報の可能性が高い
ため、同一の虹彩検出処理を複数回繰返し実行し、ある
所定回数以上連続して閉眼が認識されたときに居眠りし
ていると判定する。

例えば、第１８図に示すように、黒点で示す時間間隔ご
とに画像か入力され、そして虹彩検出処理の結果、閉眼
と判断される回数が３回連続したときは運転者が居眠り
していると判定し、第２図に示すように居眠り判定信号
を出力する。警報出力回路１７か居眠り判定信号を受け
ると、警報を発して運転者に注意を促す。

また、片目のみが開眼と判断した場合は、実際には閉眼
でなく、わき見をしているために原画面から片［１が外
れているものと考えられる。従って居眠りｔ１１断の場
合と同様に３回連続して片目が閉眼していると判断され
たときには、わき見と判定する。

なお、第５図のＷＩＮＳＵＢのサブルーチンにおいて、
検出不能エラーとしてＥＸＩＴする場合があるが、この
場合も例えば３回連続してＥＸＩＴになるときは、運転
者が下を向いたために頭のみが画像入力した結果と考え
られるので、このような場合は居眠りしていると判定し
て警報を発することもできる。

〔発明の効果〕

以上より明らかなようにこの発明の構成によれば、虹彩
部を検出する領域に得られる虹彩候補点を統計的手法を
利用した処理を行うことにより運転者の虹彩中心位置を
特定するから眼が開いているか閉じているか、運転者が
正面を向いているか等正確に判断することが可能となっ
た。

【図面の簡単な説明】

第１図はこの発明の構成図、第２図はこの発明の一実胤
例に係る構成図、第３図、第４図は第２図の構成図に基
づくフローチャート、第５図は５ＥＴＷＩＮ処理のフロ
ーチャート、第６図はＷＩＮＳＵＢ処理のフローチャー
ト、第７図乃至第１１図はこの実施例の処理に関する説
明図、第１２図は眼鏡フレームの判断処理のフローチャ
ート、第１３図、第１４図はその処理に関する説明図、
第１５図は虹彩検出処理の原理説明図、第１６図は虹彩
検出処理のフローチャート、第１７図は居眠り判断のた
めの説明図、第１８図はこの発明実施例の特徴的な処理
の説明図である。 ＣＬＩ・・・画像入力手段 ＣＬ２・・・２値化手段 ＣＬ３・・・領域設定手段 ＣＬ４・・・虹彩中心検出手段 ＣＬ５・・・判定手段

Claims (1)

【特許請求の範囲】
1. 運転者の両目を含む顔画像を入力する画像入力手段と、
   この画像入力手段から送出される入力画像を２値化する
   ２値化手段と、この２値化手段による２値化画像におい
   て運転者の虹彩部を検出する領域を設定する領域設定手
   段と、この領域設定手段で設定した領域内において明暗
   域部分の面積を統計的手法で処理し運転者の虹彩中心位
   置を検出する虹彩中心検出手段と、この虹彩中心検出手
   段による検出結果から運転者の状態を判定する判定手段
   とを備えたことを特徴とする運転者の状態検出装置。