JP2000235648A - 目の抽出装置および瞬き検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 目の抽出装置に関し、顔画像から、眼鏡，眉
などの影響を除去して正確に目の位置を抽出することを
目的とする。 【解決手段】 画像から目の候補位置を抽出し、該候補
位置を含む該画像の所定領域中から目と類似するパター
ン像を抽出し、該パターン像を所定の評価項目に基づき
比較して目の位置を確定する目の抽出装置であって、抽
出した目の候補位置を含む所定領域の画像を二値化して
パターン像を抽出する画像処理部と、所定の評価項目に
ついて前記抽出した複数のパターン像との間で比較処理
を行い、最も評価点の高いパターン像を目と認識する認
識部とを有するように構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔画像から目を抽
出する目の抽出装置および動画像中、目を追跡して瞬き
を検出する瞬き検出装置の改良に関する。

【０００２】近年、車両運転者の目を監視し、瞬きの有
無検出等により、居眠りなど、運転者の状態を検出して
アラームを発生する居眠り警報装置が開発されつつある
が、眼鏡の有無，眉の形，目の大きさ等の個人差の影響
を排除して、正確に、目を抽出，追跡し、且つ瞬きを検
出することが必要とされる。

【０００３】

【従来の技術および発明が解決しようとする課題】目を
リアルタイムに追跡する方法として、顔画像と標準の目
の型（テンプレート）との間でパターンマッチングを行
い目を発見する方法が一般に行われているが、目と似て
いる部分（眉，眼鏡の枠等）を目と誤認識したり、判定
基準を厳しく設定したため目を追跡できないといった課
題がある。また、瞬き検出は、目と眉の間隔の変化を追
跡する方法等が提案されているが、目の大きさや睫毛の
長さ等に個人差があるため、固定したしきい値で正確に
認識することは困難であった。

【０００４】本発明は上記課題に鑑み、個人差を排除
し、簡易に、且つ迅速に目を抽出する目の抽出装置、お
よび精度の高い瞬き検出装置を提供することを目的とす
る。

【０００５】

【課題を解決するための手段】前記課題を解決するた
め、本発明の目の抽出装置および瞬き検出装置は以下の
ように構成される。 （第１の発明）第１の発明は、図１本発明の原理図に示
すように、画像から目の候補位置を抽出し、該候補位置
を含む該画像の所定領域中から目と類似するパターン像
を抽出し、該パターン像を所定の評価項目に基づき比較
して目の位置を確定する目の抽出装置であって、抽出し
た目の候補位置を含む所定領域の画像を二値化してパタ
ーン像を抽出する画像処理部８と、所定の評価項目につ
いて前記抽出した複数のパターン像との間で比較処理を
行い、最も評価点の高いパターン像を目と認識する認識
部９と、を有する。

【０００６】以上のごとく、パターンマッチング等によ
り目の候補位置を抽出しても、これをただちに目の位置
とせず、その候補位置の周辺のパターン像と比較して評
価することにより目を認識するので、目を眉等の他の部
分と誤認識することが防止される。 （第２の発明）第２の発明は、画像から目の候補位置を
抽出し、該候補位置を含む該画像の所定領域中から目と
類似するパターン像を抽出し、該パターン像を所定の評
価項目に基づき比較して目の位置を確定する目の抽出装
置であって、抽出した目の候補位置を含む所定領域の画
像を二値化してパターン像を抽出する画像処理部と、複
数の評価項目について前記抽出したパターン像に対しそ
れぞれファジー的な評価処理を行い、最も評価点の高い
パターン像を目と認識する認識部と、を有する。

【０００７】評価項目はその基準が比較的あいまいなの
で、以上のごとく複数の評価項目によりファジー的に評
価することにより、より一層正確に目を認識することが
できる。 （第３の発明）第３の発明は、抽出した動画像中の目を
監視追跡して瞬きを検出する瞬き検出装置であって、目
の輪郭の変化、目の開き量の変化、目と他の部分との間
の間隔の変化等、瞬きを表す複数の評価項目について追
跡し、それぞれファジー的な評価処理を行って、総合評
価点が所定値に達した時点で目の瞬きと判定する判定部
を有する。

【０００８】以上のごとく、複数の評価項目によるファ
ジー的な推量により、より一層正確に瞬きを検出するこ
とが可能となる。

【０００９】

【発明の実施の形態】以下図を用いて本発明の実施の形
態例を詳細に説明する。図２は一実施例の構成図、図３
は濃淡画像処理例を表す図、図４は目抽出フローチャー
ト図、図５は黒ブロックの長さ説明図、図６はフレーム
毎のギャップを表す図、図７は目の輪郭を表す図、図８
は瞬き検出フローチャート図である。なお、全図を通じ
て同一符号は同一対象物を表す。

【００１０】図２は、人の顔を撮像し、得られた顔画像
から目を抽出する機能と、抽出した目を追跡しつつ瞬き
を検出する機能の両方を備えた装置の構成例を示したも
ので、以下に示す第１〜第３の実施例に適用される。

【００１１】図２において、１は撮像部で、イメージセ
ンサ等で構成され、例えば、運転中の人の顔に向けられ
る。そして得られた画像をフレーム単位にメモリ２に格
納する。３はメモリに格納された標準テンプレートで、
例えば複数の人の目を平均した目の画像から構成され
る。４は目追跡用メモリで、追跡処理のワーク用として
使用され、また追跡結果の目の位置情報が格納される。
５は瞬き追跡用メモリで、例えば計測した目の太さ情
報，目と他の部分との間隔等がフレーム単位に格納され
る。

【００１２】６は目抽出部で、パターンマッチング部
７，画像処理部８，認識部９等より構成され、後述する
ように、標準テンプレート３を使用してパターンマッチ
ングにより目の候補位置を抽出し、この目の候補位置を
含む近傍の所定領域の画像を切り出して評価項目につい
て評価処理を行い、目の位置を確定する。10は目追跡部
で、確定した目の位置の近傍を常時パターンマッチング
により探索して目の位置を追跡する。11は瞬き検出部
で、追跡部12，判定部13等で構成され、後述するよう
に、上瞼と下瞼との距離の変化、目の太ささの変化等、
瞬きを特徴的に表す複数の評価項目について時間的に追
跡し、各評価項目についてファジー的に評価して瞬きを
検出する。

【００１３】（第１の実施例）第１の実施例は、前述し
た第１の発明の実施例であって、先ず画像と標準テン
プレートとの間のパターンマッチングにより目の候補位
置を求め、その候補位置を含む所定領域から複数本の
縦方向の画像を切り出して二値化し、目に類似した複
数のパターン像のうちの下から２組のパターン像を抽出
して、１つの評価項目、ここでは太さの一様性を比較
して２組のパターン像のうちのいずれかを目と判定す
る、例を示したものである。

【００１４】先ず、パターンマッチング部７は、メモリ
２に格納された画像中、標準テンプレート３を移動しつ
つパターンマッチング処理を行い、最大パターンマッチ
ング率が得られた位置を目の候補位置とする。図３の探
索結果は、顔画像中標準テンプレート３が目と一致した
模様を表したものである。次に、画像処理部８は、パタ
ーンマッチングにより発見した目の候補位置を中心とし
て、所定長さの複数の縦方向ライン状に濃淡データを取
得する。この際、縦ラインは多いほど詳細なデータが得
られるが、余り多いと処理時間が１フレーム内に納まら
なくなるため、本実施例では９本としている。この濃淡
データを二値化し皮膚（白）とその他（黒）の部分に分
離する。黒部分には目の他に眉，眼鏡フレーム，前髪、
黒子等などが含まれる。そこで目と他の部分を分離す
る。

【００１５】次に、二値化データの正射影を求める。そ
して各正射影の黒部分（以下黒ブロック）の中心位置で
横方向に続く黒部の長さを求める。この黒部の長さがし
きい値以下のものについては、前髪や黒子等と判断し除
外する。残った黒部は、目、眉または眼鏡フレームとな
る。

【００１６】次に、認識部９は、一番下の２つの黒部に
ついて判定を行う。この結果、眼鏡をかけている人は下
側の眼鏡フレームと目、眼鏡をかけていない人は目と眉
との比較になる。実施例では、眉や眼鏡は目に比べて太
さが一様であることを利用し、各ラインの濃淡データで
縦方向の長さを求め、その差の大きい方のパターン像を
目と判定する。 （第２の実施例）第１の実施例では、１つの評価項目、
例えば太さの一様性で目を判定したが、目の細い人では
判定がやや不正確となる。第２の実施例では、高精度
で、このような個人差によるばらつきにも影響を受けな
いように複数の評価項目を設定し、各項目別に黒部の評
価点（スコア）を加点し、得点の高い方を目とするよう
に、ファジー的な総合判断を行う。

【００１７】目の判定を行うのに先立つ処理、即ち目の
候補として得られたパターン像のうちの下側２つの黒部
に絞り込むまでの処理は、図４の処理フローのステップ
(1)〜(8) に示すように、第１の実施例と同様である。
この後、認識部９は、２つの黒部について、ステップ
(9) で一番下の黒部の評価を行い、ステップ(10)で下か
ら二番目の黒部の評価を行い、ステップ(11)で加点した
両スコアを比較して、評価点が高い方を目と判定する処
理を行う。

【００１８】以下、評価項目と加点基準の１例を以下に
説明する。 (1) 黒部の太さの一様性 一般的に眉や眼鏡フレームは太さが一様なため、一様性
が高いほど点数を低くした。 (2) 黒部の太さの最大値 目の幅は個人差により多少のばらつきはあるが、ある範
囲にあるので、その範囲内では加点し、それ以外では減
点とした。 (3) 黒部の横方向の長さ 眉や眼鏡フレームは、目より横に長い場合が多いので横
方向の長さが短い方に加点した。 (4) ２つの黒部間の距離 一般的に「眼鏡の下フレームと目の距離」は「目と眉の
距離」より長いため、黒部間の距離がしきい値以上の場
合は下から二番目の黒部に加点し、しきい値以下の場合
は一番下の黒部に加点した。

【００１９】以上のように、評価項目を複数用意し、ス
コアを加点して比較することにより、あいまいな評価項
目による目の判定を、正確、且つ個人差の影響がないよ
うに行うことが可能となる。

【００２０】なお、以上は、最初に目の位置を抽出する
場合を示したが、目を追跡する場合にも適用できること
は勿論である。 （第３の実施例）第３の実施例は、前述した第３の発明
の瞬きを検出する実施例である。瞬きを検出する方法
は、目追跡部10で追跡して得られた目の状態を、例えば
フレーム単位に追跡し、瞬きに対応する状態変化が検出
された時点で瞬きと判定する。

【００２１】この状態変化は、目の太さ等の個人差、ま
たはノイズ、姿勢の変化等の影響を受けるので、複数の
評価項目によるスコアの加点を行い、しきい値を超えた
とき瞬きと判定する。

【００２２】図５は目の太さの変化による瞬き検出の不
正確さを説明したものである。図５の(1)-(a),(b) に示
すように、一般的に開眼時では、目の部分の黒ブロック
（正射影の長さ）は長く、開眼時には短い。しかし、睫
毛が長く、且つ目が細い人の場合、図５の(2)-(a),(b)
に示すように、開眼時と閉眼時で黒ブロックの長さがあ
まり変化しない。つまり、黒ブロックの長さだけでは、
瞬きを検出することができない場合が生じる。そこで、
複数の評価項目を設け、各項目別にスコアを加点するフ
ァジー的手法を用いる。

【００２３】複数の評価項目として本例では、上瞼と下
瞼間距離の最大値（ギャップ）の変化（ギャップ減少の
急峻性および元に戻るまでの時間）と、目の輪郭の変化
を採用し、スコアの合計がしきい値以上となった場合、
瞬きをしたと判定する。処理フローを図８に示す。な
お、評価項目としてはこれらに限るものではない。 (1) 目を含む所定領域の画像を抽出し二値化する。な
お、一般に目の追跡処理と同時に瞬き検出処理が行われ
るので、ここでの二値化処理は省略され、目追跡部10で
二値化したデータが抽出され使用される。 (2) 上瞼と下瞼間の最大距離（ギャップ) を取得し、 (3) 時系列に配列してメモリに格納する。取得したギャ
ップより、ギャップ減少（目を閉じる）時の急峻度を計
測し、急峻性に応じたスコアを加点する。瞬き時には、
急激にギャップが減少するため、急峻度が高い程高い点
数とする。 (4) ギャップが元に戻るまでの時間（フレーム数）を計
測し、フレーム数に応じたスコアを加点する。

【００２４】瞬きは、数フレームから十数フレームで終
了するため、その範囲内で加点し、それ以外では減点と
した。 (5) 目の輪郭データを取得する。

【００２５】図７に示すように目の両端を結ぶ線と瞼の
輪郭との距離は開眼時には大きく閉眼時には小さくなる
ため、輪郭データ（縦方向の画素数）の平均値が小さい
ほど高い点数とした。これにより、瞬きをしたときのス
コアが大きくなる。 (6) 以上加算したスコアが設定したしきい値を超えた時
点で瞬きと判定する。

【００２６】以上のごとく、複数の評価項目によるファ
ジー的な評価で正確、且つ個人差を排除した瞬き検出を
行うことができる。

【００２７】

【発明の効果】以上説明したように、本発明は、複数の
評価項目によるファジー的な推論で目の抽出を行うもの
で、画像上の目の追跡がパターンマッチングのみで行う
場合より高精度に実現することが可能となる。更に、フ
ァジー的な推論で瞬き検出を行うことにより、高精度な
瞬き検出が可能となり、ドライバの首振りの検出、居眠
りの検出等が可能となる。

【図面の簡単な説明】

【図１】 本発明の原理図

【図２】 一実施例の構成図

【図３】 濃淡画像処理例を表す図

【図４】 目抽出フローチャート図

【図５】 黒ブロックの長さ説明図

【図６】 フレーム毎のギャップを表す図

【図７】 目の輪郭を表す図

【図８】 瞬き検出フローチャート図

【符号の説明】

１は撮像部 ２はメモリ ３は標準テンプレート ４は目追跡用メ
モリ ５は瞬き追跡用メモリ ６は目抽出部 ７はパターンマッチング部 ８は画像処理部 ９は認識部 10は目追跡部 11は瞬き検出部 12は追跡部 13は判定部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像から目の候補位置を抽出し、該候
   補位置を含む該画像の所定領域中から目と類似するパタ
   ーン像を抽出し、該パターン像を所定の評価項目に基づ
   き比較して目の位置を確定する目の抽出装置であって、 抽出した目の候補位置を含む所定領域の画像を二値化し
   てパターン像を抽出する画像処理部と、 目の特徴を示す所定の評価項目について前記抽出した複
   数のパターン像間で比較処理を行い、最も評価点の高い
   パターン像を目と認識する認識部と、を有することを特
   徴とする目の抽出装置。
2. 【請求項２】 画像から目の候補位置を抽出し、該候
   補位置を含む該画像の所定領域中から目と類似するパタ
   ーン像を抽出し、該パターン像を所定の評価項目に基づ
   き比較して目の位置を確定する目の抽出装置であって、 抽出した目の候補位置を含む所定領域の画像を二値化し
   て複数のパターン像を抽出する画像処理部と、 目の特徴を示す複数の評価項目について前記抽出した複
   数のパターン像に対しそれぞれファジー的に評価点を与
   え、最も評価点の高いパターン像を目と認識する認識部
   と、を有することを特徴とする目の抽出装置。
3. 【請求項３】 動画像中の目を監視して瞬きを検出す
   る瞬き検出装置であって、 瞬きを特徴的に表す複数の評価項目についてそれぞれフ
   ァジー的に評価点を与え、総合評価点が所定値に達した
   時点で目の瞬きと判定する判定部を有することを特徴と
   する瞬き検出装置。