JP2000310510A - 眼位置検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 連続データを構成する各抽出点の位置関係
を判定することにより、眼の位置の検出精度を向上させ
ることである。 【解決手段】 顔の横方向に伸びる連続データを抽出
する連続データ抽出手段と、眼に対応する連続データを
特定する特定手段と、特定された連続データが顔の中央
側端部から側端部に向かって下方向に所定値以上変化
し、その後上方向に所定値以上変化したときに、その間
の最下点の抽出点を目頭の位置であるとし、前記変化の
条件を満たさないときは、前記中央側端部を目頭である
として、眼の位置を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動車のミラー、
シートを自動制御するために必要な眼の位置の特定に用
いることができる眼位置検出装置に関する。

【０００２】

【従来の技術】従来の画像処理による眼位置検出装置や
居眠り状態検出装置には、例えば特願平９−２６５２２
０号に記載されたようなものがある。従来技術では横長
で黒くなるという目の特徴を画像の縦方向の濃度変化で
ポイントとして抽出し、その抽出点の横方向への連続性
を判断することよにって連続データ（曲線群）として認
識する。その後、連続データを構成する各抽出点の濃度
値による横方向への区間限定により、眼に繋がる影など
のノイズを除去することにより眼の中心位置精度が向上
できるとしていた。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
居眠り状態検出装置では、図１６に示すように眼鏡を掛
けている場合、眼と目頭のしわ部分と眼鏡のフレームの
抽出点が一つの連続データとして構成され、眼鏡フレー
ムまでも眼を構成する連続データであると判断してしま
い、眼の中心座標の検出精度が悪化するという問題点が
あった。また、眼鏡を掛けている場合、眼鏡レンズの表
面反射や、その眼鏡レンズによって眼のコントラストが
弱くなるため、連続データを構成する各抽出点の濃度値
による横方向への区間限定を行っても、眼に繋がる影な
どのノイズを的確に除去できず、眼の中心座標の検出精
度を向上させることはできなかった。

【０００４】また、上記の眼位置検出装置では、図１７
に示すように眼の部分のコントラストが弱い場合に連続
データの区間限定により、眼自体が区間Ａ、区間Ｂに分
割されることがあり、眼の中心位置座標の精度を悪化す
るという問題点があった。

【０００５】本発明の第１の目的は上記の問題に鑑み、
連続データを構成する各抽出点の位置関係を判定するこ
とにより、眼の位置の検出精度を向上させた眼位置検出
装置を提供することにある。

【０００６】本発明の第２の目的は、上記の問題に鑑
み、連続データの区間の出現状態を判定することによ
り、眼の連続データが分離されているどうかを検証する
ことで眼の位置検出精度を向上させた眼位置検出装置を
提供することにある。

【０００７】

【課題を解決するための手段】上記第１の目的を達成す
るため、第１の発明の眼位置検出装置は、顔の画像デー
タを格納する画像メモリ手段と、前記顔の画像データに
基づいて顔の縦方向の画素列に沿って画素の濃度値を検
出し、前記画素列における濃度の高まりごとに画素を定
めて抽出点とし、隣接する画素列の画素列方向に所定範
囲内にある前記抽出点を顔の横方向に伸びる連続データ
として抽出する連続データ抽出手段と、該連続データ抽
出手段により抽出された各連続データの位置関係に基づ
いて、眼に対応する連続データを特定する特定手段と、
眼に対応する連続データの顔の中央側端部の抽出点を基
準に顔の側端部に向かって抽出点の位置が下方向に所定
値以上変化し、その後上方向に所定値以上変化した時
に、その間の最下点の抽出点を目頭の位置であるとし、
また、前記の条件を満たさない時は、前記中央側端部を
目頭であると認識して眼の位置を検出する眼の位置検出
手段とからなることを特徴とする。

【０００８】第１の発明において、前記眼の位置検出手
段は、前記連続データの顔の中央側端部の抽出点を基準
に顔の側端部に向かって抽出点の位置が下方向に所定値
以上変化し、その後上方向に所定値以上変化した時に、
中央側端部の抽出点と最下点の抽出点との横方向の間隔
が所定値以下のときに、前記最下点の抽出点を目頭の位
置であるとし、また、前記の条件を満たさない時は、前
記中央側端部を目頭であると認識して眼の位置を検出す
るように構成してもよい。

【０００９】また前記第２の目的を達成するため、第２
の発明の眼位置検出装置は、顔の画像データを格納する
画像メモリ手段と、前記顔の画像データに基づいて顔の
縦方向の画素列に沿って画素の濃度値を検出し、前記画
素列における濃度の高まりごとに画素を定めて抽出点と
し、隣接する画素列の画素列方向に所定範囲内にある前
記抽出点を顔の横方向に伸びる連続データとして抽出す
る連続データ抽出手段と、該連続データ抽出手段により
抽出された各連続データの位置関係に基づいて、眼に対
応する連続データを特定する特定手段と、眼に対応する
連続データを構成する各抽出点の濃度情報を基に該連続
データを横方向に分割し、連続データの区間を限定する
連続データの区間限定手段と、該区間限定手段において
限定された各連続データの区間の位置又は長さに基づい
て、前記連続データの区間限定が妥当かどうか判定する
連続データの区間判定手段と、前記区間判定手段により
妥当であると判定された各連続データの代表座標値を算
出する代表座標値算出手段と、前記各連続テータの代表
座標値により眼の位置を検出する眼の位置検出手段とか
らなることを特徴とする。

【００１０】第２の発明において、前記連続データ抽出
手段は、各連続データの抽出後に、所定数以上の抽出点
を有する各連続データを対象として、該各連続データの
始点と終点との位置関係に基づいて、連続データを結合
する連続データの結合手段を有するように構成してもよ
い。

【００１１】

【発明の実施の形態】図１は第１の発明の実施形態を示
す。第１の発明は、例えば、図１に示すように、顔画像
を入力する画像入力手段ＣＬ１と、該画像入力手段から
入力された顔画像の縦方向の画素列の濃度を読み出す画
素列の濃度検出手段ＣＬ２と、前記画素列における濃度
の高まりとその変化状態によりポイントを抽出するポイ
ント抽出手段ＣＬ３と、隣接する画素列の画素列方向に
近接したポイントを連続して顔の横方向への連続データ
を抽出する連続データの抽出手段ＣＬ４と、前記連続デ
ータの中から眼のデータを特定する特定手段ＣＬ５と、
眼を含む所定領域（眼の追跡領域）内で、縦方向への画
素列の濃度を読み出し、濃度の高まりとその変化状態よ
りポイントを抽出するポイント抽出手段ＣＬ６と、眼を
含む所定領域（眼の追跡領域）内で隣接する画素列の画
素列方向に近接したポイントを連結して顔の横方向連続
データを抽出する眼を含む所定領域内での連続データ抽
出手段ＣＬ７と、前記連続データを構成する各抽出点の
位置関係より眼の詳細な位置を検出する眼の詳細位置検
出手段ＣＬ８と、前記眼の詳細位置検出手段により眼の
開度検出を行う濃度値を読み出す範囲を特定し、該範囲
内での濃度変化状態から眼の開度を検出する目の開度検
出手段ＣＬ９と、前記眼の開度検出手段より出力される
開度より眼の開閉状態を判定する開閉眼判定手段ＣＬ１
０と、前記開閉眼判定手段から出力される開閉状態の変
化から覚醒度を判定する覚醒度判定手段ＣＬ１１とを備
えるものとした。

【００１２】図１の構成によれば、連続データを構成す
る各抽出点の位置関係を判定することにより目頭の位置
を特定することで眼の位置の検出精度を向上することが
できる。よって、眼の追跡性能が向上し居眠り状態の検
出精度も向上させることができる。

【００１３】〔第１の実施例〕図１の実施形態による装
置は、自動車の他に鉄道車両、船舶等の居眠り運転警報
として用いることができるが、第１の実施例では自動車
に適用した場合で説明する。

【００１４】図２は本発明の一実施例を示す図である。
インストルメントパネルに設置され、運転者の顔部分を
正面から撮影する画像入力手段ＣＬ１としてのＴＶカメ
ラ２１があり、ＴＶカメラで撮影された運転者の顔部分
の入力画像は、Ａ−Ｄ変換器２２を介して、デジタル量
の入力画像データとして画像メモリ２３に格納される
（これらＴＶカメラ２１とＡ−Ｄ変換器２２と画像メモ
リ２３とで画像メモリ手段が構成される）。画像メモリ
２３に格納された入力画像データに基づいて顔の縦方向
の画素列の濃度を検出する画素列の濃度検出手段ＣＬ２
と、前記画素列における濃度の高まりと、その変化状態
によりポイントを抽出するポイント抽出手段ＣＬ３と、
隣接する画素列の画素列方向に近接したポイントを連続
して顔の横方向への連続データを抽出する連続データの
抽出手段ＣＬ４とからなる画像データ演算回路２４（連
続データ抽出手段に相当する）と、前記連続データの中
から眼のデータを特定する特定手段ＣＬ５の眼の特定回
路２５（特定手段に相当）と、眼を含む所定領域（眼の
追跡領域）内で縦方向への濃度の高まりとその変化状態
からポイントを抽出するポイント抽出手段ＣＬ６と、前
記所定領域内で隣接する縦方向への画素列の画素列方向
に近接したポイントを連結して顔の横方向への連続デー
タを抽出する前記所定領域内での連続データ抽出手段Ｃ
Ｌ７と、前記連続データを構成する各抽出点の位置関係
より眼の詳細な位置を検出する眼の詳細位置検出手段Ｃ
Ｌ８（眼の位相検出手段に相当）と、前記眼の詳細位置
検出手段により眼の開度検出を行う濃度値を読み出す範
囲を特定し、該範囲内での濃度変化状態から眼の開度を
検出する目の開度と検出手段ＣＬ９からなる眼の開度検
出回路２６と、前記眼の開度検出回路から出力される開
度値より眼の開閉状態を判定する開閉眼判定手段ＣＬ１
０の開閉眼検出回路２７、眼の開閉状態の変化から覚醒
度を判定する覚醒度判定手段ＣＬ１１の覚醒度判定回路
２８がある。

【００１５】次に、上記構成における動作の流れを、図
３のフローチャートに基づいて説明する。まず、ステッ
プ３０１において、ＴＶカメラによって顔部分が撮影さ
れ、ステップ３０２で１フレーム分の入力画像がＡ−Ｄ
変換器でデジタル信号に変換されたうえ画像メモリに格
納される。

【００１６】次に、ステップ３０３において、眼の追跡
領域が設定されているかどうかをチェックする。眼の追
跡領域とは、眼を含む所定領域を示しこの領域内に出現
する連続データの位置を検出することによって眼の詳細
位置を認識し、その特定された位置の濃度データを読み
出すことにより眼の開度検出を行っている。また、この
所定領域内に出現する連続データの詳細位置を基に次の
取り込み画像での処理領域を設定することによって眼の
位置変化に対応できるようにしている。

【００１７】眼の追跡領域が設定されていない場合は、
ステップ３０４および３０５において、眼の追跡領域と
なる横方向（Ｘ方向）の幅と縦方向（Ｙ方向）の幅を設
定する。ステップ３０３で眼の追跡領域が設定されてい
ると判断された場合、ステップ３０６で眼の開度と詳細
な位置検出が行われる。

【００１８】この後、ステップ３０７において、眼が正
しく追跡されているか否かを判断する。眼の追跡状態の
判断は、ステップ３０６で出力される眼の開度値を用い
て行う。眼の開度値は撮影対象とする人を限定すると開
眼から閉眼で変化する範囲は限られるため、その範囲外
の値が出力されると眼の追跡異常であると判断する。ま
た、眼の開度値の出力値が前記範囲内であっても、眼は
瞬きなどで所定時間内には変化すると考えられるため、
所定時間以上開度値が変化しない場合も眼の追跡異常で
あると判断する。ステップ３０７で眼の追跡異常と判断
された場合は、ステップ３１１に移行し眼の追跡領域を
クリアしてステップ３０１に戻る。この時は、眼の追跡
領域がクリアされているため、ステップ３０３より、ス
テップ３０４に移行し、再度眼の位置検出を行う。ステ
ップ３０７で眼の追跡異常がないと判断された場合は、
ステップ３０８に移行し開閉眼の判定を行う。その後ス
テップ３０９で、開閉眼の出力結果の変化状態から覚醒
度を判定する。

【００１９】ステップ３１０では、眼の追跡領域内で検
出した目の詳細位置座標を基準に該領域の位置を更新し
てステップ３０１に戻り同様の処理を続ける。

【００２０】眼の位置検出、眼の開度検出、眼の追跡方
法、開閉眼の判定方法、覚醒度の判定方法は、「特開平
１０−４０３６１号」、「特開平１０−１４３６６９
号」公報等により周知であるため詳細な説明は省略す
る。

【００２１】次に本発明の基本部分である図３のステッ
プ３０６の処理内容である眼を含む所定領域内に出現す
る連続データを構成する各抽出点の位置関係より眼の詳
細な位置の検出方法を図４のフローチャートと、図５〜
図８の説明図を用いて説明する。

【００２２】図４のフローチャートは、顔に向かって右
側に出現する連続データを対象としたものである。顔に
向かって右側に出現している連続データか、左側に出現
している連続データかの判断は、図３のステップ３０４
の顔全体からの眼の位置検出によって行われる。図５の
（ａ）に示すように画像全体に出現する連続データの位
置関係より、眼の位置を特定する際に該当する連続デー
タが図５の（ｂ）のように右側の連続データであるか、
左側の連続データであるかが判断される。

【００２３】図４のステップ４０１では、図６の顔の中
央部に当たる左端の抽出点１の座標値を基準点Ａとして
メモリする。ステップ４０２では、該抽出点が目頭であ
ると仮定し同座標値をメモリする。ステップ４０３で
は、対象とする連続データの全抽出ポイントに対し読み
出しが終了したか否かを判定し、全抽出ポイントの判定
が終了するまではステップ４０４に移行する。ステップ
４０４では、一つ右隣の抽出ポイントの座標値を読み出
す（図６では抽出ポイント２）。その後、ステップ４０
５に移行し、該当する座標値が基準点Ａより所定値（Ｌ
１）以上、下に位置するか否かを判断する。図６に示す
ように抽出ポイント２が、基準点Ａより所定値以上下に
位置しない場合は、ステップ４０８へと移行する。

【００２４】ステップ４０８では、抽出ポイント２の座
標値が基準点Ｂより所定値以上、上に位置するかを判断
するが、基準点Ｂがメモリされていない初期状態では、
ステップ４０８での判定条件は満たされないとしてステ
ップ４０３に戻り、ステップ４０４でもう一つ右隣りの
抽出ポイントの座標値を読み出す（図６では抽出ポイン
ト３）。図６の抽出ポイント３は、基準点Ａに対し所定
値（Ｌ１）以上、下に位置するためステップ４０５か
ら、ステップ４０６へと移行する。ステップ４０６で
は、基準点Ｂが初期状態であるため、ステップ４０７へ
移行し、抽出ポイント３の座標値を基準点Ｂとしてメモ
リする。ステップ４０８では、抽出ポイント３と基準点
Ｂは同一のポイントであるためステップ４０３に戻り、
ステップ４０４でもう一つ右隣りの抽出ポイントの座標
値を読み出す（図６では抽出ポイント４）。図６の抽出
ポイント４は、基準点Ａに対し所定値（Ｌ１）以上、下
に位置し、また基準点Ｂより下に位置するためステップ
４０５からステップ４０６、ステップ４０７へと移行
し、抽出ポイント４の座標値を基準点Ｂとして更新しメ
モリする。ステップ４０８では、前ループと同様、基準
点Ｂと同一ポイントであるためステップ４０３から、ス
テップ４０４に移行しもう一つ右隣りの抽出ポイントの
座標値を読み出す。図６の抽出ポイント５〜抽出ポイン
ト８までは、ステップ４０５，４０６，４０８，４０
３，４０４のループで処理が繰り返される。図６の抽出
ポイント９がステップ４０４で読み込まれた時は、ステ
ップ４０５から、ステップ４０６，４０８へと移行し、
ステップ４０８では、抽出ポイント９が基準点Ｂより所
定値（Ｌ２）以上、上に位置するのでステップ４０９へ
移行する。ステップ４０９では、基準点Ａと基準点Ｂの
横方向の間隔が所定値以下であるか否かを判断してい
る。この判断は、顔の傾きと目尻に影による抽出ポイン
トが繋がっている場合の目頭位置の誤検出を防止するた
めにある。図８に示すように目頭の基準点Ａに対し所定
値（Ｌ１）以上、下に位置する抽出ポイントを目尻の位
置で認識し、その後ろに繋がる影の抽出ポイントで、所
定値（Ｌ２）以上、上に位置する抽出ポイントが認識さ
れてしまった場合、目頭の位置が基準点Ｂの目尻の位置
になってしまうため、基準点Ａと基準点Ｂの横方向の間
隔Ｌ３が所定値以上である場合は、ステップ４０３に戻
し基準点Ｂの位置を目頭位置としてメモリすることを制
限している。図６の抽出ポイント９の場合は、目頭に繋
がるノイズであるため、基準点Ａと基準点Ｂの間隔が所
定値以下となり、ステップ４１０に移行し、基準点Ｂで
目頭位置を更新してメモリして、ステップ４０３に戻
る。その後、ステップ４０３で全抽出ポイントの読み出
しを確認し、本サプルーチンを終了する。ここまでのフ
ローチャートの説明は、従来技術で対応できなかった目
頭にノイズデータが繋がっている場合で説明したが、図
７に示すようにノイズがない場合であっても、ステップ
４０２で顔の中央部に当たる左端の抽出ポイント１の座
標値を基準点Ａとしてメモリし、ステップ４０２で該抽
出点が目頭であるとメモリする。その後、各ステップで
の処理が続いても、基準点Ａに対する所定値（Ｌ１）以
上、下に位置する抽出ポイントが出現しないため、目頭
位置は更新されることなく、本サブルーチンを終了す
る。

【００２５】以上、図４のフローチャートでは、右側の
眼を対象とした判定内容で説明したが、左側の眼の場
合、顔の中央部が右端になるため、ステップ４０１で最
初にメモリする基準点Ａが右端の抽出ポイントになり、
ステップ４０４での抽出ポイントの読み出しが、左方向
に変わる。

【００２６】次に、図１０は第２及び第３の発明の一実
施形態を示す。第２の発明の実施形態は、図９に示すよ
うに、顔画像を入力する画像入力手段ＣＬ１’と、該画
像入力手段から入力された顔画像の縦方向の画素列の濃
度を読み出す画素列の濃度検出手段ＣＬ２’と、前記画
素列における濃度の高まりとその変化状態によりポイン
トを抽出するポイント抽出手段ＣＬ３’と、隣接する画
素列の画素列方向に近接したポイントを連続して顔の横
方向への連続データを抽出する連続データの抽出手段Ｃ
Ｌ４’と、前記連続データを構成する抽出点の濃度情報
を基に該連続データを横方向に分割し、区間を限定する
連続データの区間限定手段ＣＬ５’と、前記連続データ
の区間限定手段において限定された区間を対象として、
各区間の位置関係や長さにより、前記区間限定が妥当か
どうかを判定する連続データの区間判定手段ＣＬ６’
と、前記区間限定手段と区間判定手段の処理後に各連続
データの代表座標値を算出する代表座標値算出手段ＣＬ
７’と、前記各連続データの代表座標値により眼の連続
データを検出する眼位置検出手段ＣＬ８’からなる。ま
た第３の発明の実施形態は、ＣＬ１〜ＣＬ８の手段に加
え、眼を含む所定領域（眼の追跡領域）内で、縦方向へ
の画素列の濃度検出手段と、前記画素列における濃度の
高まりとその変化状態によりポイントを抽出するポイン
ト抽出手段と、隣接する画素列の画素列方向に近接した
ポイントを連続して顔の横方向への連続データを抽出す
る連続データの抽出手段と、所定濃度範囲により連続デ
ータの横方向への区間を限定する連続データの区間限定
手段と、前記区間限定が妥当かどうかを判定する連続デ
ータの区間判定手段と、前記区間限定手段と区間判定手
段の処理後に各連続データの代表座標値を算出する代表
座標値算出手段からなる眼の詳細な位置検出手段ＣＬ
９’と、前記眼の詳細な位置検出手段により眼の開度検
出を行う濃度値を読み出す範囲を特定し、該範囲内での
濃度変化状態から眼の開度を検出する眼の開度検出手段
ＣＬ１０’と、前記眼の開度検出手段より出力される開
度より眼の開閉状態を判定する開閉眼判定手段ＣＬ１
１’と、前記開閉眼判定手段から出力される開閉状態の
変化から覚醒度を判定する覚醒度判定手段ＣＬ１２’と
を備えるものとした。

【００２７】上記構成によれば、連続データの区間の出
現状態を判定することにより、眼の連続データが分離さ
れているかどうかを検証することで眼の位置の検出精度
を向上することができる。また、眼の位置精度が向上す
ることにより、眼の追跡性能が良くなるため居眠り状態
の検出精度も向上することができる。

【００２８】〔第２及び第３の実施例の説明〕第２及び
第３の実施例の構成は図２と同様であって、第２の実施
例は、第２の実施形態に対応するもので、インストルメ
ントパネルに設置され、運転者の顔部分を正面から撮影
する画像入力手段ＣＬ１としてのＴＶカメラ２１があ
り、ＴＶカメラで撮影された入力画像は、Ａ−Ｄ変換器
２２を介して、デジタル量の入力画像データとして画像
メモリ２３に格納される。画像メモリ２３には、これに
格納された入力画像データに基づいて顔の縦方向の画素
列の濃度を検出する画素列の濃度検出手段ＣＬ２’と、
前記画素列における濃度の高まりとその変化状態により
ポイントを抽出するポイント抽出手段ＣＬ３’と、隣接
する画素列の画素列方向に近接したポイントを連続して
顔の横方向への連続データを抽出する連続データの抽出
手段ＣＬ４’からなる画像データ演算回路２４と、連続
データを構成する各抽出ポイントの濃度値から区間限定
を行う区間限定手段ＣＬ５’と、前記連続データの区間
限定手段において限定された区間を対象として、各区間
の位置関係や長さにより、前記区間限定が妥当かどうか
を判定する連続データの区間判定手段ＣＬ６’と、前記
区間限定手段と区間判定手段の処理後に各連続データの
代表座標値を算出する代表座標値算出手段ＣＬ７’と、
前記各連続データの代表座標値により眼の連続データを
検出する眼位置検出手段ＣＬ８’からなる眼の位置検出
回路２５とで構成される。第３の実施例は第３の実施形
態に対応するもので、上記各回路に加え、眼を含む所定
領域（眼の追跡領域）内で、眼の詳細な位置を検出する
詳細位置検出手段ＣＬ９’と、前記眼の詳細な位置検出
手段により眼の開度検出を行う濃度値を読み出す範囲を
特定し、該範囲内での濃度変化状態から眼の開度を検出
する眼の開度検出手段ＣＬ１０’からなる眼の開度検出
回路２６と、前記眼の開度検出回路から出力される開度
値より眼の開閉状態を判定する開閉眼判定手段ＣＬ１
１’の開閉眼検出回路２７と、眼の開閉状態の変化から
覚醒度を判定する覚醒度判定手段ＣＬ１２’の覚醒度判
定回路２８がある。なお、上記構成における動作の流れ
は図３のフローチャートと同様なので、その説明は省略
する。

【００２９】次に第２及び第３の発明の基本部分である
連続データ区間限定方法と区間判定方法を図１０のフロ
ーチャートと、図１１〜図１３の説明図を用いて説明す
る。

【００３０】連続データの区間限定手段と、区間判定手
段は、図３のステップ３０４での画像全体からの眼の位
置検出と、図３のステップ３０６での眼の追跡領域内の
眼の詳細位置検出の２ヶ所で用いられ、その処理内容は
同じである。

【００３１】図１０のステップ４０１’では、全体画像
または、眼の追跡領域内に出現する全連続データに対し
て、区間限定と区間判定を行い代表座標値が算出された
か否かを判定する。ステップ４０１’で全ての連続デー
タの代表座標値の算出が終了していない場合は、ステッ
プ４０２’へ移行し、ステップ４０１’で全連続データ
に対して代表座標値の算出処理が終了していると判断さ
れた場合は、本サブルーチンでの処理を終了する。

【００３２】ステップ４０２’では、図１１に示すよう
に連続データを構成する抽出ポイントの最も暗い階調
（Ｐ点）を基準に所定階調の範囲を設定する。ステップ
４０３’に移行し、所定階調の範囲内に入る抽出ポイン
トを選択することで図５に示すように眼に続く顔のしわ
などによる抽出ポイントを除去し本来の眼の区間だけの
抽出ポイントに限定している。前記処理は、ステップ４
０４’では、ステップ４０３の条件を満たす抽出ポイン
トの横方向への連続性を判定に行われる。

【００３３】ステップ４０５’では、前記連続データの
限定された区間が所定長さを越えたか否かを判定する。
この所定長さは、本発明が解決しようとする問題点のと
ころでも述べたように眼の連続データが分離することが
あったり、眼の連続データの分離はなくても撮影した顔
画像そのものが小さく眼の長さが長く捉えられない場合
を想定すると、通常、撮影される顔画像の眼の横幅の半
分ぐらいが適当である。

【００３４】ステップ４０５’で所定長さを越えていな
いと判断された場合は、ステップ４１０’へ移行し、該
当する連続データを眼のデータとしての選択対象から除
外し、ステップ４１１’で次の連続データに判定対象を
切り替えてステップ４０１’に戻る。ステップ４０５’
で限定された区間が所定長さを越えた場合は、ステップ
４０６’へ移行する。図１２は、眼に顔のしわによるノ
イズの抽出ポイントが繋がっている例で説明したが、顔
のしわなどのノイズの抽出ポイントがない場合でも、眼
の部分と眼の回りの皮膚の部分の濃度差がある程度あれ
ば、当然眼の部分だけが区間限定される。

【００３５】ステップ４０６’では、連続区間が１ヶ所
であるか否かを判定しており、図１１のように眼の区間
全体が所定階調範囲で限定された区間と同じ１ヶ所の場
合は、ステップ４０９’に移行する。

【００３６】ステップ４０９’では、図１３に示すよう
に該当する連続データの区間限定された抽出ポイントだ
けを対象として代表座標値の算出を行う。代表Ｘ座標値
は、区間限定された左端の抽出ポイントと右端の抽出ポ
イントの中央値を求めることで算出し、代表Ｙ座標値
は、限定された区間の全抽出ポイントのＹ座標値の平均
値を求めることで算出する。このようにして代表座標値
を求めることで、眼に影などのノイズとなる抽出ポイン
トが繋がっていても精度良く眼の位置座標を検出するこ
とができる。この後、ステップ４１１’へと移行し次の
連続データの判定に切り替えステップ４０１’に戻る。

【００３７】次に眼のコントラストが弱く、眼の連続デ
ータが区間限定により分割されてしまい、２つ以上の区
間が出現した場合の処理内容について説明する。この場
合、図１２の（ａ）に示すように限定された区間がＡ，
Ｂとして検出されステップ４０７’に移行する。

【００３８】ステップ４０７’では、各区間の長さ、位
置関係が眼が分離している条件にあるか否かの判定を行
う。図１２の（ａ）を用いて具体的に説明すると、眼の
区間Ａと眼の区間Ｂの長さのトータルが眼の横幅相当で
あるかどうかや、区間Ａの右端の点ａと、それに繋がる
区間Ｂの左端の点ｂに連続性があるかどうかで判断す
る。ステップ４０７’で眼が分離している条件にあうと
判定された場合は、ステップ４０８’に移行し、図１２
の（ｂ）に示すように所定階調範囲の拡大を行いステッ
プ４０３’に戻し、再度拡大した所定階調範囲で抽出ポ
イントの選択を行う。この時、眼に繋がる影などのノイ
ズの抽出ポイントの濃度レベルに比べ、分離箇所の眼の
部分の濃度レベルは、眼の黒い部分の濃度値に近いため
拡大した所定階調範囲に含まれ眼の区間Ａ，Ｂを一体化
できる。また、影などのノイズとなる抽出ポイントは、
更に明るい階調であるため、一体化されることはない。
このように分離された区間が一体化されるとステップ４
０６’からステップ４０９’へと移行し、一体化された
区間で連続データの代表座標値の算出が行われる。よっ
て、眼のコントラストが弱い場合であっても精度良く眼
の位置座標を検出することができる。また、ステップ４
０７’で２つ以上の区間が存在し、眼が分離していると
いう条件に合わない場合は、一番長い区間が眼である確
からしさが高いことから眼の区間であるとし、該区間を
対象としてステップ４０９’で代表座標値を算出する。

【００３９】次に他の実施例として、更に眼の部分のコ
ントラストが弱く抽出ポイントそのものがなく眼の連続
データが分離する場合への対応について図１４のフロー
チャートと図１４の説明図を用いて説明する。図１４で
の説明は画像全体からの眼の位置検出を行う場合で説明
するが、眼を含む所定領域（眼の追跡領域）を対象とし
た眼の詳細位置検出においても適用できる。

【００４０】図１５のフローチャートの流れは、抽出さ
れた所定以上の長さを有する全連続データに対し、総当
たりで連続データの右端と左端の位置関係を判定し、そ
の位置関係が眼の分離データである条件に合う時に、該
当する２つの連続データを一体化する構成となってい
る。

【００４１】まず、始めにステップ８０１で所定以上の
長さの各連続データにナンバリングを行い、連続データ
の全個数を変数Ｑにメモリする。また、総当たりで連続
データの両端の座標値を比較するため、連続データＮ
Ｏ．をメモリするための変数をｎとｍにする。ステップ
８０２では、変数ｎに連続データＮＯ．１を代入する。
次にステップ８０３ではｎが最後の比較対象である連続
データＮＯ．まで全部比較し終えたか否かを判断するた
めにｎが全個数のＱと等しいかをみる。初期状態ではｎ
は１であるため、ステップ８０４に移行する。次にもう
一方の比較対象の連続データＮＯ．をメモリするｍにｎ
＋１、つまり２番目の連続データＮＯ．を代入する。ス
テップ８０５では、ｎ（１番目の連続データ）とｍ（２
番目の連続データ）の両端部の座標位置の読み込みを行
いステップ８０６に移行する。ステップ８０６では、ｎ
（１番目の連続データ）の右端の座標値（ＸＲｎ，ＹＲ
ｎ）と、ｍ（２番目の連続データ）に左端の座標値（Ｘ
Ｌｎ，ＹＬｎ）が所定範囲内に存在するか否かを判定す
る。ステップ８０６で、該両座標が所定範囲内にあると
判定された場合は、ステップ８１２に移行し、一体化候
補データとしてｎ，ｍの連続データＮＯ．をメモリして
ステップ８０８に移行する。この処理を図１５を用いて
説明する。連続データＮＯ．４の右端の座標位置（ＸＲ
４，ＹＲ４）と、連続データＮＯ．５の左端の座標位置
（ＸＬ５，ＹＬ５）が所定範囲内に位置する場合は、連
続データＮＯ．４と連続データＮＯ．５を一体化候補デ
ータとしてメモリする。またステップ８０６で所定範囲
内にないと判定された場合は、ステップ８０７に移行
し、もう一方の両端であるｎ（１番目の連続データ）の
左端の座標値（ＸＬｎ，ＹＬｎ）と、ｍ（２番目の連続
データ）に右端の座標値（ＸＲｎ，ＹＲｎ）が所定範囲
内に存在するか否かを判定する。このステップでも同様
に該両座標が所定範囲内に存在する場合は、ステップ８
１２に移行し、一体化候補データとしてｎ，ｍの連続デ
ータＮＯ．をメモリしてステップ８０８に移行する。ス
テップ８０８では、ｍが最後の比較対象である連続デー
タＮＯ．まで全部比較し終えたか否かを判断するために
ｍが全個数のＱと等しいかをみる。初期状態ではｍは２
であるため、ステップ８１０に移行する。ステップ８１
０では、ｍを次の比較対象とする連続データＮＯ．を３
番目にするため、カウントアップを行う。その後、ステ
ップ８０３に戻り、同様の処理を繰り返す。

【００４２】この処理を図１５の例で具体的に説明す
る。図１５では所定以上の長さの連続データは、全部で
７個あり、変数Ｑには７が代入される。初期状態での変
数ｎは連続データＮＯ．１と、変数ｍは連続データＮ
Ｏ．２が代入される。１ループ処理毎に、変数ｎは連続
データＮＯ．１と、変数ｍは連続データＮＯ．３、変数
ｎは連続データＮＯ．１と、変数ｍは連続データＮＯ．
４……変数ｎは連続データＮＯ．１と、変数ｍは連続デ
ータＮＯ．７が代入される。ｍに７番目の連続データＮ
Ｏ．が代入されるとステップ８０８で、ｍとＱが等しく
なるため、ステップ８０９に移行し、変数ｎをカウント
アップし連続データＮＯ．を２にする。よって次のルー
プでは、変数ｎは連続データＮＯ．２と、変数ｍは連続
データＮＯ．３が代入される。このようにしてｎに７番
目の連続データが代入されるまで同様処理が繰り返さ
れ、ｎが７になりＱと等しくなった場合は、ステップ８
１１に移行し、一体化候補データとしてメモリした連続
データを結合し本サブルーチンを終了する。

【００４３】

【発明の効果】以上説明で明らかなように、第１の発明
によれば、連続データを構成する各抽出点の位置関係を
判定することにより目頭の位置を特定することで、眼の
位置の検出精度が向上し、かつ眼の追跡性能が向上し、
居眠り状態の検出精度も向上する。また第２の発明によ
れば、連続データの出現状態や、連続データを構成する
抽出点の濃度情報により限定される区間の状態を判定す
ることにより、眼の連続データが分離されているかどう
かを検証することで眼の位置検出精度を向上させた眼位
置検出装置を提供することができる。

【図面の簡単な説明】

【図１】第１の発明の実施形態の構成を示す図である。

【図２】本発明の構成を示すブロック図である。

【図３】全体動作を示すフローチャートである。

【図４】眼の詳細位置検出の動作を示すフローチャート
である。

【図５】眼の詳細位置検出方法に関する説明図である。

【図６】眼の詳細位置検出方法に関する説明図である。

【図７】眼の詳細位置検出方法に関する説明図である。

【図８】眼の詳細位置検出方法に関する説明図である。

【図９】第２及び第３の発明の実施形態を示す図であ
る。

【図１０】第２及び第３の発明の実施形態を示すフロー
チャートである。

【図１１】連続データの区間限定と区間判定の動作を示
す説明図である。

【図１２】連続データの区間限定方法と区間判定方法に
関する説明図である。

【図１３】連続データの区間限定方法と区間判定方法に
関する説明図である。

【図１４】第２、第３の発明の他の実施例の動作を示す
フローチャートである。

【図１５】上記の他の実施例の動作に関する説明図であ
る。

【図１６】従来例の問題点に関する説明図である。

【図１７】従来例の問題点に関する説明図である。

【符号の説明】

ＣＬ１’ 画像入力手段 ＣＬ２’ 顔の縦方向の画素列の濃度検出手段 ＣＬ３’ ポイント抽出手段 ＣＬ４’ 連続データの抽出手段 ＣＬ５’ 連続データの区間限定手段 ＣＬ６’ 連続データの区間判定手段 ＣＬ７’ 連続データの代表座標値算出手段 ＣＬ８’ 眼位置検出手段 ＣＬ９’ 眼を含む所定領域内での眼の詳細位置検出手
段 ＣＬ１０’ 眼の開度検出手段 ＣＬ１１’ 開閉眼判定手段 ＣＬ１２’ 覚醒度判定手段 ２１ ＴＶカメラ ２２ Ａ−Ｄ変換器 ２３ 画像メモリ ２４ 画像データ演算回路 ２５ 眼の位置検出回路 ２６ 眼の開度検出回路 ２７ 開閉 眼検出回路 ２８ 覚醒度判定回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 金田 雅之 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 (72)発明者 大和田 正次 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 Ｆターム(参考） 2F065 AA03 BB05 CC16 DD03 FF04 JJ03 JJ16 JJ26 QQ03 QQ24 QQ31 5B057 AA16 CH11 DA07 DB02 DC07 DC09 DC14 DC22 5L096 BA04 BA18 FA03 FA12 FA13 FA14 FA69 FA76 LA05 9A001 BB06 EE05 HH23 KK16

Claims (4)

【特許請求の範囲】
1. 【請求項１】 顔の画像データを格納する画像メモリ手
   段と、 前記顔の画像データに基づいて顔の縦方向の画素列に沿
   って画素の濃度値を検出し、前記画素列における濃度の
   高まりごとに画素を定めて抽出点とし、隣接する画素列
   の画素列方向に所定範囲内にある前記抽出点を顔の横方
   向に伸びる連続データとして抽出する連続データ抽出手
   段と、 該連続データ抽出手段により抽出された各連続データの
   位置関係に基づいて、眼に対応する連続データを特定す
   る特定手段と、 眼に対応する連続データの顔の中央側端部の抽出点を基
   準に顔の側端部に向かって抽出点の位置が下方向に所定
   値以上変化し、その後上方向に所定値以上変化した時
   に、その間の最下点の抽出点を目頭の位置であるとし、
   また、前記の条件を満たさない時は、前記中央側端部を
   目頭であると認識して眼の位置を検出する眼の位置検出
   手段とからなることを特徴とする眼位置検出装置。
2. 【請求項２】 前記眼の位置検出手段は、前記連続デー
   タの顔の中央側端部の抽出点を基準に顔の側端部に向か
   って抽出点の位置が下方向に所定値以上変化し、その後
   上方向に所定値以上変化した時に、中央側端部の抽出点
   と最下点の抽出点との横方向の間隔が所定値以下のとき
   に、前記最下点の抽出点を目頭の位置であるとし、ま
   た、前記の条件を満たさない時は、前記中央側端部を目
   頭であると認識として眼の位置を検出することを特徴と
   する請求項１記載の眼位置検出装置。
3. 【請求項３】 顔の画像データを格納する画像メモリ手
   段と、 前記顔の画像データに基づいて顔の縦方向の画素列に沿
   って画素の濃度値を検出し、前記画素列における濃度の
   高まりごとに画素を定めて抽出点とし、隣接する画素列
   の画素列方向に所定範囲内にある前記抽出点を顔の横方
   向に伸びる連続データとして抽出する連続データ抽出手
   段と、 該連続データ抽出手段により抽出された各連続データの
   位置関係に基づいて、眼に対応する連続データを特定す
   る特定手段と、 眼に対応する連続データを構成する各抽出点の濃度情報
   を基に該連続データを横方向に分割し、連続データの区
   間を限定する連続データの区間限定手段と、 該区間限定手段において限定された各連続データの区間
   の位置又は長さに基づいて、前記連続データの区間限定
   が妥当かどうか判定する連続データの区間判定手段と、 前記区間判定手段により妥当であると判定された各連続
   データの代表座標値を算出する代表座標値算出手段と、 前記各連続テータの代表座標値により眼の位置を検出す
   る眼の位置検出手段とからなることを特徴とする眼位置
   検出装置。
4. 【請求項４】 前記連続データ抽出手段は、各連続デー
   タの抽出後に、所定数以上の抽出点を有する各連続デー
   タを対象として、該各連続データの始点と終点との位置
   関係に基づいて、連続データを結合する連続データの結
   合手段を有することを特徴とする請求項３記載の眼位置
   検出装置。