JPH10275212A - 居眠り状態検出装置 - Google Patents
居眠り状態検出装置Info
- Publication number
- JPH10275212A JPH10275212A JP9078721A JP7872197A JPH10275212A JP H10275212 A JPH10275212 A JP H10275212A JP 9078721 A JP9078721 A JP 9078721A JP 7872197 A JP7872197 A JP 7872197A JP H10275212 A JPH10275212 A JP H10275212A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- point
- density
- value
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 あらゆる光環境状態に対応することができ、
居眠り状態検出が常に安定して行えるようにした居眠り
状態検出装置を提供すること。 【解決手段】 眼の位置検出、開閉眼検出の両手段にお
いて、顔の縦方向の画素列に沿って画素の濃度を検出
し、前記画素列上の濃度値により、ポイント抽出手段の
抽出条件を変更し、各画素列ごとにポイント抽出条件を
設定する構成とすることによって、眼を抽出ポイントの
連続データとして常に安定して捕らえることができるた
め、あらゆる光環境状態に対応することができ、居眠り
状態の検出精度を向上させることができる。
居眠り状態検出が常に安定して行えるようにした居眠り
状態検出装置を提供すること。 【解決手段】 眼の位置検出、開閉眼検出の両手段にお
いて、顔の縦方向の画素列に沿って画素の濃度を検出
し、前記画素列上の濃度値により、ポイント抽出手段の
抽出条件を変更し、各画素列ごとにポイント抽出条件を
設定する構成とすることによって、眼を抽出ポイントの
連続データとして常に安定して捕らえることができるた
め、あらゆる光環境状態に対応することができ、居眠り
状態の検出精度を向上させることができる。
Description
【０００１】
【発明の属する技術分野】本発明は居眠り状態検出装
置、より具体的には、車両の運転者、船舶の操船者、プ
ラント等のオペレータ等の居眠り状態を検出する居眠り
状態検出装置に関する。
置、より具体的には、車両の運転者、船舶の操船者、プ
ラント等のオペレータ等の居眠り状態を検出する居眠り
状態検出装置に関する。
【０００２】
【従来の技術】従来の運転者等の居眠り状態検出装置と
しては、特願平５−３４６０９４号公報に記載されてい
るようなものがある。この居眠り状態検出装置は、運転
者の前方に設置したカメラで撮影した濃淡画像データの
二値化処理を行い、二値化画像において濃度投影、ラベ
リング処理等を行うことで眼の位置を検出し、開閉眼の
状態変化より居眠り状態が検出できる構成となっている
ものである。
しては、特願平５−３４６０９４号公報に記載されてい
るようなものがある。この居眠り状態検出装置は、運転
者の前方に設置したカメラで撮影した濃淡画像データの
二値化処理を行い、二値化画像において濃度投影、ラベ
リング処理等を行うことで眼の位置を検出し、開閉眼の
状態変化より居眠り状態が検出できる構成となっている
ものである。
【０００３】また、濃淡画像を対象とした居眠り状態検
出装置としては、特願平８−２０７７８２号公報に記載
されたようなものが、本願出願人より提案されている。
この居眠り状態検出装置は、顔の縦方向の画素列に沿っ
て画素の濃度を検出し、前記画素列における濃度の局所
的な高まりごとに１個づつの画素を定めて抽出点とし、
隣接する画素列の画素列方向に近接した抽出点を連結し
て顔の横方向に伸びる曲線群から眼の位置を検出し、そ
の後、眼を含む所定領域内で眼の位置検出と同様の処理
を行うことにより、眼の開閉状態を判定し、その開閉状
態の変化より居眠り状態が検出できる構成となっている
ものである。
出装置としては、特願平８−２０７７８２号公報に記載
されたようなものが、本願出願人より提案されている。
この居眠り状態検出装置は、顔の縦方向の画素列に沿っ
て画素の濃度を検出し、前記画素列における濃度の局所
的な高まりごとに１個づつの画素を定めて抽出点とし、
隣接する画素列の画素列方向に近接した抽出点を連結し
て顔の横方向に伸びる曲線群から眼の位置を検出し、そ
の後、眼を含む所定領域内で眼の位置検出と同様の処理
を行うことにより、眼の開閉状態を判定し、その開閉状
態の変化より居眠り状態が検出できる構成となっている
ものである。
【０００４】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の居眠り状態検出装置にあっては、図２０に示
すように、光の当り方がアンバランスな場合、濃淡画像
上でのコントラストが弱くなるため、正確に二値化閾値
を設定することが困難になり、眼の位置、開閉眼検出精
度が低下するという問題点があった。
うな従来の居眠り状態検出装置にあっては、図２０に示
すように、光の当り方がアンバランスな場合、濃淡画像
上でのコントラストが弱くなるため、正確に二値化閾値
を設定することが困難になり、眼の位置、開閉眼検出精
度が低下するという問題点があった。
【０００５】また、濃淡画像を対象とした居眠り状態検
出装置でも、極端にコントラストが弱くなった画像で
は、固定したポイント抽出条件により、眼を確実に抽出
ポイントの連続データとして認識することができないた
め、やはり眼の位置、開閉眼検出精度が低下するという
問題点があった。
出装置でも、極端にコントラストが弱くなった画像で
は、固定したポイント抽出条件により、眼を確実に抽出
ポイントの連続データとして認識することができないた
め、やはり眼の位置、開閉眼検出精度が低下するという
問題点があった。
【０００６】本発明は、このような従来の問題点に着目
してなされたもので、あらゆる光環境状態に対応するこ
とができ、居眠り状態検出が常に安定して行えるように
した居眠り状態検出装置を提供することを目的とする。
してなされたもので、あらゆる光環境状態に対応するこ
とができ、居眠り状態検出が常に安定して行えるように
した居眠り状態検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】本発明は上述の課題を解
決するために、図１に示すように、顔画像を入力する画
像入力手段ＣＬ１と、該画像入力手段ＣＬ１から入力さ
れた顔画像の縦方向の画素列の濃度を検出する画素列の
濃度検出手段ＣＬ２と、前記画素列における濃度値によ
る以下のポイント抽出手段ＣＬ４の抽出条件を変更する
ポイント抽出条件変更手段ＣＬ３と、前記画素列におけ
る濃度の高まりとその変化状態によりポイントを抽出す
るポイント抽出手段ＣＬ４と、隣接する画素列の画素列
方向に近接したポイントを連続して顔の横方向への曲線
群を抽出する曲線群の抽出手段ＣＬ５と、曲線群の中か
ら眼を選択する眼の位置検出手段ＣＬ６と、眼を含む所
定領域内で縦方向への濃度値による以下のポイント抽出
手段ＣＬ８の抽出条件を変更するポイント抽出条件変更
手段ＣＬ７と、眼を含む所定領域内で縦方向への濃度の
高まりとその変化状態よりポイントを抽出するポイント
抽出手段ＣＬ８と、前記ポイントの顔の横方向へのポイ
ントの連続性を判定するポイントの連続性判定手段ＣＬ
９と、前記連続データ内から眼の開度値を求める眼の開
度検出手段ＣＬ１０と、眼の開閉状態の変化から覚醒度
を判定する覚醒度判定手段ＣＬ１１と、覚醒度が低下し
ていると判定された場合に警報を与える警報手段ＣＬ１
２とを備えるものとする。
決するために、図１に示すように、顔画像を入力する画
像入力手段ＣＬ１と、該画像入力手段ＣＬ１から入力さ
れた顔画像の縦方向の画素列の濃度を検出する画素列の
濃度検出手段ＣＬ２と、前記画素列における濃度値によ
る以下のポイント抽出手段ＣＬ４の抽出条件を変更する
ポイント抽出条件変更手段ＣＬ３と、前記画素列におけ
る濃度の高まりとその変化状態によりポイントを抽出す
るポイント抽出手段ＣＬ４と、隣接する画素列の画素列
方向に近接したポイントを連続して顔の横方向への曲線
群を抽出する曲線群の抽出手段ＣＬ５と、曲線群の中か
ら眼を選択する眼の位置検出手段ＣＬ６と、眼を含む所
定領域内で縦方向への濃度値による以下のポイント抽出
手段ＣＬ８の抽出条件を変更するポイント抽出条件変更
手段ＣＬ７と、眼を含む所定領域内で縦方向への濃度の
高まりとその変化状態よりポイントを抽出するポイント
抽出手段ＣＬ８と、前記ポイントの顔の横方向へのポイ
ントの連続性を判定するポイントの連続性判定手段ＣＬ
９と、前記連続データ内から眼の開度値を求める眼の開
度検出手段ＣＬ１０と、眼の開閉状態の変化から覚醒度
を判定する覚醒度判定手段ＣＬ１１と、覚醒度が低下し
ていると判定された場合に警報を与える警報手段ＣＬ１
２とを備えるものとする。
【０００８】本発明によれば、眼の位置検出、開閉眼検
出の両手段において、顔の縦方向の画素列に沿って画素
の濃度を検出し、前記画素列上の濃度値により、ポイン
ト抽出手段の抽出条件を変更し、各画素列ごとにポイン
ト抽出条件を設定する構成とすることによって、眼を抽
出ポイントの連続データとして常に安定して捕らえるこ
とができるため、あらゆる光環境状態に対応することが
でき、居眠り状態の検出精度を向上させることができ
る。
出の両手段において、顔の縦方向の画素列に沿って画素
の濃度を検出し、前記画素列上の濃度値により、ポイン
ト抽出手段の抽出条件を変更し、各画素列ごとにポイン
ト抽出条件を設定する構成とすることによって、眼を抽
出ポイントの連続データとして常に安定して捕らえるこ
とができるため、あらゆる光環境状態に対応することが
でき、居眠り状態の検出精度を向上させることができ
る。
【０００９】
【発明の実施の形態】以下、本発明による居眠り状態検
出装置の実施の形態を添付図面を参照して詳細に説明す
る。なお、ここでは、車両運転者の場合が、太陽の高さ
や車両の向きにより、その光環境状態の変化が大きいと
考えられることから、本実施の形態では車両に適用した
場合で説明する。
出装置の実施の形態を添付図面を参照して詳細に説明す
る。なお、ここでは、車両運転者の場合が、太陽の高さ
や車両の向きにより、その光環境状態の変化が大きいと
考えられることから、本実施の形態では車両に適用した
場合で説明する。
【００１０】図１は、本発明による居眠り状態検出装置
の構成を示すブロック図であり、図２は、一実施の形態
を示すブロック図である。まず、図１および図２を用い
て、構成を説明する。インストに設置され、運転者の顔
部分を正面から撮影する画像入力手段ＣＬ１としてのＴ
Ｖカメラ２１があり、ＴＶカメラ２１の入力画像は、本
実施の形態では、横（Ｘ）方向５１２画素、縦（Ｙ）方
向４８０画素からなる。ＴＶカメラ２１で撮影された入
力画像は、Ａ−Ｄ変換器２２を介して、デジタル量の入
力画像データとして画像メモリ２３に格納される。画像
メモリ２３には、これに格納された入力画像データに基
づいて顔の縦方向の画素列の濃度を検出する画素列の濃
度検出手段ＣＬ２と、前記画素列の濃度値によるポイン
ト抽出条件変更手段ＣＬ３と、前記画素列における濃度
の高まりとその変化状態によりポイントを抽出するポイ
ント抽出手段ＣＬ４と、隣接する画素列方向に近接した
ポイントを連結して顔の横方向への曲線群を抽出する曲
線群の抽出手段ＣＬ５からなる画像データ演算回路２４
と、曲線群から眼の選択を行うことで眼の位置を検出す
る眼の位置検出手段ＣＬ６の眼の位置検出回路２５と、
眼を含む所定領域内で縦方向への濃度値によるポイント
抽出条件変更手段ＣＬ７と、眼を含む所定領域内で縦方
向への濃度の高まりとその変化状態からポイントを抽出
するポイント抽出手段ＣＬ８と、顔の横方向へのポイン
トの連続性を判定する連続性判定手段ＣＬ９と、連続デ
ータ内から眼の開度値を検出する眼の開度検出手段ＣＬ
１０からなる開閉眼検出回路２６が接続されている。こ
の開閉眼検出回路より送出される開閉眼の検出結果から
覚醒度を判定する覚醒度判定手段ＣＬ１１の覚醒度判定
回路２７があり、覚醒度が低下したと判定された場合に
居眠り状態を解消させる警報を警報手段ＣＬ１２の警報
装置２８より発生する。
の構成を示すブロック図であり、図２は、一実施の形態
を示すブロック図である。まず、図１および図２を用い
て、構成を説明する。インストに設置され、運転者の顔
部分を正面から撮影する画像入力手段ＣＬ１としてのＴ
Ｖカメラ２１があり、ＴＶカメラ２１の入力画像は、本
実施の形態では、横（Ｘ）方向５１２画素、縦（Ｙ）方
向４８０画素からなる。ＴＶカメラ２１で撮影された入
力画像は、Ａ−Ｄ変換器２２を介して、デジタル量の入
力画像データとして画像メモリ２３に格納される。画像
メモリ２３には、これに格納された入力画像データに基
づいて顔の縦方向の画素列の濃度を検出する画素列の濃
度検出手段ＣＬ２と、前記画素列の濃度値によるポイン
ト抽出条件変更手段ＣＬ３と、前記画素列における濃度
の高まりとその変化状態によりポイントを抽出するポイ
ント抽出手段ＣＬ４と、隣接する画素列方向に近接した
ポイントを連結して顔の横方向への曲線群を抽出する曲
線群の抽出手段ＣＬ５からなる画像データ演算回路２４
と、曲線群から眼の選択を行うことで眼の位置を検出す
る眼の位置検出手段ＣＬ６の眼の位置検出回路２５と、
眼を含む所定領域内で縦方向への濃度値によるポイント
抽出条件変更手段ＣＬ７と、眼を含む所定領域内で縦方
向への濃度の高まりとその変化状態からポイントを抽出
するポイント抽出手段ＣＬ８と、顔の横方向へのポイン
トの連続性を判定する連続性判定手段ＣＬ９と、連続デ
ータ内から眼の開度値を検出する眼の開度検出手段ＣＬ
１０からなる開閉眼検出回路２６が接続されている。こ
の開閉眼検出回路より送出される開閉眼の検出結果から
覚醒度を判定する覚醒度判定手段ＣＬ１１の覚醒度判定
回路２７があり、覚醒度が低下したと判定された場合に
居眠り状態を解消させる警報を警報手段ＣＬ１２の警報
装置２８より発生する。
【００１１】次に、上記構成における動作の流れを、図
３のフローチャートに基づいて説明する。まず、ステッ
プＳ３０１において、ＴＶカメラ２１によって顔部分が
撮影され、ステップＳ３０２で、１フレーム分の入力画
像がＡ−Ｄ変換器２２でデジタル信号に変換されたう
え、画像メモリ２３に格納される。
３のフローチャートに基づいて説明する。まず、ステッ
プＳ３０１において、ＴＶカメラ２１によって顔部分が
撮影され、ステップＳ３０２で、１フレーム分の入力画
像がＡ−Ｄ変換器２２でデジタル信号に変換されたう
え、画像メモリ２３に格納される。
【００１２】次に、ステップＳ３０３において、眼の存
在領域が設定されているかどうかがチェックされる。眼
の存在領域とは、眼を含む所定領域を示し、眼の開度検
出の処理を行う領域である。また、この所定領域は、眼
の追跡領域としても用いられる。眼の存在領域が設定さ
れていない場合は、ステップＳ３０４およびＳ３０５に
おいて、眼が存在する領域の横方向（Ｘ方向）の幅と縦
方向（Ｙ方向）の幅を設定する。眼の位置検出の詳細
は、図４のフローチャートと、図５〜図１３に示す説明
図により後述する。ステップＳ３０３で、眼の存在領域
が設定されていると判断された場合、ステップＳ３０６
で眼の開度の検出が行われる。この処理の詳細は、図１
４のフローチャートと、図１５〜図１７に示す説明図に
より後述する。
在領域が設定されているかどうかがチェックされる。眼
の存在領域とは、眼を含む所定領域を示し、眼の開度検
出の処理を行う領域である。また、この所定領域は、眼
の追跡領域としても用いられる。眼の存在領域が設定さ
れていない場合は、ステップＳ３０４およびＳ３０５に
おいて、眼が存在する領域の横方向（Ｘ方向）の幅と縦
方向（Ｙ方向）の幅を設定する。眼の位置検出の詳細
は、図４のフローチャートと、図５〜図１３に示す説明
図により後述する。ステップＳ３０３で、眼の存在領域
が設定されていると判断された場合、ステップＳ３０６
で眼の開度の検出が行われる。この処理の詳細は、図１
４のフローチャートと、図１５〜図１７に示す説明図に
より後述する。
【００１３】この後、ステップＳ３０７において、前ス
テップＳ３０６で検出された眼の開度値より眼が正しく
追跡されているか否かを確認する。眼が正しく追跡され
ていると判定された場合は、ステップＳ３０８に移り、
眼の開度値により開眼か閉眼かの判定を行う。その後、
ステップＳ３０９に移行し、眼の追跡、つまり眼の存在
領域の変更を行う。
テップＳ３０６で検出された眼の開度値より眼が正しく
追跡されているか否かを確認する。眼が正しく追跡され
ていると判定された場合は、ステップＳ３０８に移り、
眼の開度値により開眼か閉眼かの判定を行う。その後、
ステップＳ３０９に移行し、眼の追跡、つまり眼の存在
領域の変更を行う。
【００１４】この後、ステップＳ３１０において、前ス
テップＳ３０９で検出された開閉眼パターンから運転者
の覚醒度の判定が行われる。覚醒度の判定の詳細は、図
１９に示す説明図により後述する。
テップＳ３０９で検出された開閉眼パターンから運転者
の覚醒度の判定が行われる。覚醒度の判定の詳細は、図
１９に示す説明図により後述する。
【００１５】また、ステップＳ３０７で眼が正しく追跡
されていないと判定された場合は、ステップＳ３１１に
移り、眼の開度値と眼の存在領域をクリアし、ステップ
Ｓ３０１に戻り、次のフレームの処理に移る。この眼の
追跡の詳細は、図１８に示す説明図により後述する。
されていないと判定された場合は、ステップＳ３１１に
移り、眼の開度値と眼の存在領域をクリアし、ステップ
Ｓ３０１に戻り、次のフレームの処理に移る。この眼の
追跡の詳細は、図１８に示す説明図により後述する。
【００１６】次に、眼の位置検出の詳細を説明する。眼
の位置検出処理の流れを、図４のフローチャートに基づ
いて説明する。まず、ステップＳ４０１では、図５に示
すように、Ｙ軸方向に４８０のライン上のデータに対し
てポイント抽出の処理を行い、１ライン終了後に、一つ
隣のラインの処理に移して行き、所定方向の全ラインで
のポイント抽出が終了したか否かを判断する。
の位置検出処理の流れを、図４のフローチャートに基づ
いて説明する。まず、ステップＳ４０１では、図５に示
すように、Ｙ軸方向に４８０のライン上のデータに対し
てポイント抽出の処理を行い、１ライン終了後に、一つ
隣のラインの処理に移して行き、所定方向の全ラインで
のポイント抽出が終了したか否かを判断する。
【００１７】ステップＳ４０１で全ラインにおいてポイ
ント抽出が行われていないと判断された場合は、ステッ
プＳ４０２に移行する。このステップＳ４０２では、所
定方向の１ラインの濃度値の相加平均演算を行う。この
処理は、画像データ撮影時の濃度値の変化の小さなばら
つきを無くすことを目的としており、濃度値の大局的な
変化を捉えるためである。図６（ａ）に、図５のＸａの
ラインデータの相加平均演算の処理結果を示す。
ント抽出が行われていないと判断された場合は、ステッ
プＳ４０２に移行する。このステップＳ４０２では、所
定方向の１ラインの濃度値の相加平均演算を行う。この
処理は、画像データ撮影時の濃度値の変化の小さなばら
つきを無くすことを目的としており、濃度値の大局的な
変化を捉えるためである。図６（ａ）に、図５のＸａの
ラインデータの相加平均演算の処理結果を示す。
【００１８】図４のステップＳ４０３では、ステップＳ
４０２の演算結果である相加平均値における微分演算を
行う。この処理結果を図６（ｂ）に示す。
４０２の演算結果である相加平均値における微分演算を
行う。この処理結果を図６（ｂ）に示す。
【００１９】図４のステップＳ４０４では、図６（ａ）
のＮｍａｘで示す所定方向の１ラインの最も明るい濃度
値をメモリし、その値により各ラインのポイント抽出条
件である微分値の判定基準値を変更し、設定する。
のＮｍａｘで示す所定方向の１ラインの最も明るい濃度
値をメモリし、その値により各ラインのポイント抽出条
件である微分値の判定基準値を変更し、設定する。
【００２０】図４のステップＳ４０５では、ステップＳ
４０３の演算結果である微分値によりポイント抽出を行
う。そのポイントの抽出方法は、図６（ｂ）に示す微分
値が負から正に変化するポイント（ｐ１〜ｐ１０）、図
６（ａ）でいうと、グラフが下向きに凸になるポイント
を抽出する。次に、そのポイントに達するまでの濃度値
の変化の最大箇所である最小微分値が、図６（ｂ）に示
す判定基準値以下であるか否かを判定し、判定基準値以
下の濃度変化を持つポイント（ｑ３，ｑ４）を対象とし
て、Ｙ座標値（ａ３，ａ４）を抽出する。
４０３の演算結果である微分値によりポイント抽出を行
う。そのポイントの抽出方法は、図６（ｂ）に示す微分
値が負から正に変化するポイント（ｐ１〜ｐ１０）、図
６（ａ）でいうと、グラフが下向きに凸になるポイント
を抽出する。次に、そのポイントに達するまでの濃度値
の変化の最大箇所である最小微分値が、図６（ｂ）に示
す判定基準値以下であるか否かを判定し、判定基準値以
下の濃度変化を持つポイント（ｑ３，ｑ４）を対象とし
て、Ｙ座標値（ａ３，ａ４）を抽出する。
【００２１】次に、図７、図８を用いて、車両右側から
の直射光により光の当り方がアンバランスになる場合に
ついて説明する。図７に示すように、車両右側からの直
射光により顔の左半分が影になり、コントラストが弱く
なった場合、顔の影の部分にある図７のＸｂのラインで
は、図８（ｂ）のｐ３で示す眼にあたる部分のポイント
は、図６（ｂ）と同じ微分値の判定基準値にすると抽出
できず、眼を抽出ポイントの連続データとして認識する
こともできない。このような場合、図４のステップＳ４
０４の処理における図８（ａ）のＮｍａｘで示す該当す
るラインの最も明るい濃度値により、そのライン上のコ
ントラストが強いか、弱いかを判定することができるた
め、Ｎｍａｘが小さい場合、コントラストが弱いと判定
し、図８（ｂ）に示すように微分判定基準値を変更する
ことができる。よって、影にある眼や眉のポイントを、
図８（ａ）のａ２，ａ３として抽出できる。
の直射光により光の当り方がアンバランスになる場合に
ついて説明する。図７に示すように、車両右側からの直
射光により顔の左半分が影になり、コントラストが弱く
なった場合、顔の影の部分にある図７のＸｂのラインで
は、図８（ｂ）のｐ３で示す眼にあたる部分のポイント
は、図６（ｂ）と同じ微分値の判定基準値にすると抽出
できず、眼を抽出ポイントの連続データとして認識する
こともできない。このような場合、図４のステップＳ４
０４の処理における図８（ａ）のＮｍａｘで示す該当す
るラインの最も明るい濃度値により、そのライン上のコ
ントラストが強いか、弱いかを判定することができるた
め、Ｎｍａｘが小さい場合、コントラストが弱いと判定
し、図８（ｂ）に示すように微分判定基準値を変更する
ことができる。よって、影にある眼や眉のポイントを、
図８（ａ）のａ２，ａ３として抽出できる。
【００２２】次に、図９、図１０を用いて、車両前側か
らの直接光により光の当たり方がアンバランスになる場
合について説明する。図９に示すように、車両前側から
の直射光により顔の上半分が影になり、コントラストが
弱くなった場合、図９のＸｃのラインでは、図１０
（ｂ）のｐ３で示す眼にあたる部分のポイントは、図６
（ｂ）と同じ微分値の判定基準値にすると抽出できず、
眼を抽出ポイントの連続データとして認識することもで
きない。また、このように上下方向に濃度値のアンバラ
ンスがある場合は、図４のステップＳ４０４の処理にお
ける図１０（ａ）のＮｍａｘで示す該当するラインの最
も明るい濃度値により、そのライン上の眼のある部分の
コントラストが強いか、弱いかを判定することができな
い。このように前側からの直接光により光の当り方のア
ンバランスがある場合は、眼に相当する抽出ポイントの
連続データが検出されないことをフィードバック情報と
して用いて、図１０（ｂ）に示すように、微分値の判定
基準値を変更することができる。よって、影にある眼や
眉のポイントを、図１０（ａ）のａ２，ａ３として抽出
できる。
らの直接光により光の当たり方がアンバランスになる場
合について説明する。図９に示すように、車両前側から
の直射光により顔の上半分が影になり、コントラストが
弱くなった場合、図９のＸｃのラインでは、図１０
（ｂ）のｐ３で示す眼にあたる部分のポイントは、図６
（ｂ）と同じ微分値の判定基準値にすると抽出できず、
眼を抽出ポイントの連続データとして認識することもで
きない。また、このように上下方向に濃度値のアンバラ
ンスがある場合は、図４のステップＳ４０４の処理にお
ける図１０（ａ）のＮｍａｘで示す該当するラインの最
も明るい濃度値により、そのライン上の眼のある部分の
コントラストが強いか、弱いかを判定することができな
い。このように前側からの直接光により光の当り方のア
ンバランスがある場合は、眼に相当する抽出ポイントの
連続データが検出されないことをフィードバック情報と
して用いて、図１０（ｂ）に示すように、微分値の判定
基準値を変更することができる。よって、影にある眼や
眉のポイントを、図１０（ａ）のａ２，ａ３として抽出
できる。
【００２３】また、図９のように、顔の上半分が影にな
り、その壁の部分に眼がある場合は、運転者がサンバイ
ザを用いていることが多く、よってサンバイザの使用信
号により、微分値の判定基準値を変更することもでき
る。
り、その壁の部分に眼がある場合は、運転者がサンバイ
ザを用いていることが多く、よってサンバイザの使用信
号により、微分値の判定基準値を変更することもでき
る。
【００２４】その他、眼のコントラストが弱くなる場合
として、運転者が眼鏡を着用している場合がある。よっ
て、眼鏡の着用の有無の入力信号により、微分値の判定
基準値を変更することもできる。
として、運転者が眼鏡を着用している場合がある。よっ
て、眼鏡の着用の有無の入力信号により、微分値の判定
基準値を変更することもできる。
【００２５】１ライン終了後、図４のステップＳ４０６
で、次のラインの処理に切り換えていく。
で、次のラインの処理に切り換えていく。
【００２６】図４のステップＳ４０１で、全ラインのポ
イント抽出が終了したと判断されると、図１１に示すよ
うなポイントが抽出される。つまり、図１１のＸ１ライ
ン上では、Ａ１，Ａ２の二つのポイントが抽出されてお
り、Ｘ２ライン上では、Ａ１，Ａ２，Ａ３，Ａ４の四つ
のポイントが抽出されていることになる。
イント抽出が終了したと判断されると、図１１に示すよ
うなポイントが抽出される。つまり、図１１のＸ１ライ
ン上では、Ａ１，Ａ２の二つのポイントが抽出されてお
り、Ｘ２ライン上では、Ａ１，Ａ２，Ａ３，Ａ４の四つ
のポイントが抽出されていることになる。
【００２７】その後、ステップＳ４０７へ移行し、隣合
う各ラインの抽出ポイント（Ａ１，Ａ２，Ａ３，…）の
Ｙ座標値を比較し、Ｙ座標値が所定値以内の場合、連続
データとして、連続データのグループ番号、連続開
始ライン番号、連続データ数をメモリする。この具体
的な処理内容を、図１２を用いて説明する。
う各ラインの抽出ポイント（Ａ１，Ａ２，Ａ３，…）の
Ｙ座標値を比較し、Ｙ座標値が所定値以内の場合、連続
データとして、連続データのグループ番号、連続開
始ライン番号、連続データ数をメモリする。この具体
的な処理内容を、図１２を用いて説明する。
【００２８】ライン１には、Ｙ座標値が１９２と２２９
の二つの抽出ポイントがある。ライン１のＹ座標値が１
９２のポイントは、左隣りのラインが存在しないので、
この段階での連続データはないため、連続データのグ
ループ番号は“１”となる。また、Ｙ座標値が２２９の
ポイントも、同様の理由で、この段階での連続データは
存在しないため、連続データのグループ番号は、その
次の“２”とする。
の二つの抽出ポイントがある。ライン１のＹ座標値が１
９２のポイントは、左隣りのラインが存在しないので、
この段階での連続データはないため、連続データのグ
ループ番号は“１”となる。また、Ｙ座標値が２２９の
ポイントも、同様の理由で、この段階での連続データは
存在しないため、連続データのグループ番号は、その
次の“２”とする。
【００２９】次に、右隣りのライン２には、Ｙ座標値が
１９１と２２４の二つの抽出ポイントがある。ライン２
のＹ座標値１９１のポイントは、左隣のライン１のＹ座
標値１９２と１０以内のポイントであるため、連続デ
ータのグループ番号を“１”とする。この時、連続デ
ータ数は２となる。ライン２のＹ座標値２２４のポイン
トにおいても、同様の判定を行うと、連続データのグ
ループ番号は“２”、連続データ数は２となる。
１９１と２２４の二つの抽出ポイントがある。ライン２
のＹ座標値１９１のポイントは、左隣のライン１のＹ座
標値１９２と１０以内のポイントであるため、連続デ
ータのグループ番号を“１”とする。この時、連続デ
ータ数は２となる。ライン２のＹ座標値２２４のポイン
トにおいても、同様の判定を行うと、連続データのグ
ループ番号は“２”、連続データ数は２となる。
【００３０】次のライン３のＹ座標値３６０のポイント
では、左隣のライン２に３６０と１０以内になるポイン
トが存在しないので、連続データのグループ番号は
“３”となり、連続データ数は１となる。
では、左隣のライン２に３６０と１０以内になるポイン
トが存在しないので、連続データのグループ番号は
“３”となり、連続データ数は１となる。
【００３１】また、ステップＳ４０７での連続開始ラ
イン番号は、連続データ数が１と判断されるポイント
を有するライン番号のことをいう。
イン番号は、連続データ数が１と判断されるポイント
を有するライン番号のことをいう。
【００３２】ステップＳ４０７では、このようにして各
ラインのポイントの連続性の判断を全ラインにおいて終
了するまで行い、ステップＳ４０８へ移行する。
ラインのポイントの連続性の判断を全ラインにおいて終
了するまで行い、ステップＳ４０８へ移行する。
【００３３】ステップＳ４０８では、同じ連続データの
グループ番号を持つポイントのＹ座標値の平均値を、
連続ポイントの平均値にメモリする。この値は、そのグ
ループの代表Ｙ座標値として用いることができる。ま
た、連続開始ラインとその連続データ数から連続終了ラ
インを求め、連続開始ラインと連続終了ラインの平均値
をメモリする。この値は、そのグループの代表Ｘ座標値
として用いることができる。
グループ番号を持つポイントのＹ座標値の平均値を、
連続ポイントの平均値にメモリする。この値は、そのグ
ループの代表Ｙ座標値として用いることができる。ま
た、連続開始ラインとその連続データ数から連続終了ラ
インを求め、連続開始ラインと連続終了ラインの平均値
をメモリする。この値は、そのグループの代表Ｘ座標値
として用いることができる。
【００３４】このようにして得られた各連続グループデ
ータを、ステップＳ４０９で、各連続グループの長さ、
（Ｘ，Ｙ）座標値により判定することにより、眼の位置
が特定できる。
ータを、ステップＳ４０９で、各連続グループの長さ、
（Ｘ，Ｙ）座標値により判定することにより、眼の位置
が特定できる。
【００３５】ここで、図１３を用いて、具体的な眼の位
置検出方法について説明する。まず初めに眼の特徴量を
考えると、横に長く、上に凸型の弓形形状であると定義
付けることができ、この定義付けに基づいて連続データ
の絞り込みを行うと、眼は横に長いという条件から、ポ
イント連続数が５ポイント以上続き、また、弓形形状で
あるという条件から、連続開始ポイントと連続終了ポイ
ントのＹ座標値の差は、小さい連続データに絞り込むこ
とができる。この判定に基づき、連続データの絞り込み
を行うと、図１３（ａ）に示すようなグループＧ１〜Ｇ
６が抽出される。
置検出方法について説明する。まず初めに眼の特徴量を
考えると、横に長く、上に凸型の弓形形状であると定義
付けることができ、この定義付けに基づいて連続データ
の絞り込みを行うと、眼は横に長いという条件から、ポ
イント連続数が５ポイント以上続き、また、弓形形状で
あるという条件から、連続開始ポイントと連続終了ポイ
ントのＹ座標値の差は、小さい連続データに絞り込むこ
とができる。この判定に基づき、連続データの絞り込み
を行うと、図１３（ａ）に示すようなグループＧ１〜Ｇ
６が抽出される。
【００３６】次に、前述した各グループのＸ，Ｙの代表
座標値の位置を考えると、図１３（ｂ）に示すように、
Ｘ座標方向での接近度合いより、ＺＯＮＥ：Ｌ，ＺＯＮ
Ｅ：Ｃ，ＺＯＮＥ：Ｒに分類できる。これは、左眼と左
眉でＸ座標方向に大きく離れることはなく、また右眼と
右眉でＸ座標方向に大きく離れることはないからであ
る。また、鼻下の影により連続データとなったものや、
口の連続データは中央部付近に位置する。
座標値の位置を考えると、図１３（ｂ）に示すように、
Ｘ座標方向での接近度合いより、ＺＯＮＥ：Ｌ，ＺＯＮ
Ｅ：Ｃ，ＺＯＮＥ：Ｒに分類できる。これは、左眼と左
眉でＸ座標方向に大きく離れることはなく、また右眼と
右眉でＸ座標方向に大きく離れることはないからであ
る。また、鼻下の影により連続データとなったものや、
口の連続データは中央部付近に位置する。
【００３７】このように、Ｘ座標方向の接近度合いで更
にデータを分類し、データを絞り込んでいくことで、眼
の位置検出を容易に行うことができる。ＺＯＮＥ：Ｌに
含まれるデータとしては、左眼と左眉であり、ＺＯＮ
Ｅ：Ｒに含まれる連続データは右眼と右眉であると判定
すると、眼の位置はＧ３，Ｇ４であり、その座標値も特
定できる。
にデータを分類し、データを絞り込んでいくことで、眼
の位置検出を容易に行うことができる。ＺＯＮＥ：Ｌに
含まれるデータとしては、左眼と左眉であり、ＺＯＮ
Ｅ：Ｒに含まれる連続データは右眼と右眉であると判定
すると、眼の位置はＧ３，Ｇ４であり、その座標値も特
定できる。
【００３８】次に、眼の開度検出の詳細を説明する。眼
の開度検出処理の流れを、図１４のフローチャートに基
づいて説明する。まず、ステップＳ５０１では、図１５
（ａ）に示すように、Ｙ軸方向にライン上のデータに対
してポイント抽出の処理を行い、１ライン終了後に、一
つ隣のラインの処理に移していき、所定方向の全ライン
でのポイント抽出が終了したか否かを判断する。
の開度検出処理の流れを、図１４のフローチャートに基
づいて説明する。まず、ステップＳ５０１では、図１５
（ａ）に示すように、Ｙ軸方向にライン上のデータに対
してポイント抽出の処理を行い、１ライン終了後に、一
つ隣のラインの処理に移していき、所定方向の全ライン
でのポイント抽出が終了したか否かを判断する。
【００３９】ステップＳ５０１で、全ラインにおいてポ
イント抽出が行われていないと判断された場合は、ステ
ップＳ５０２に移行する。このステップＳ５０２では、
所定方向の１ラインの濃度値の相加平均演算を行う。こ
の処理は、画像データ撮影時の濃度値の変化の小さなば
らつきを無くすことを目的としており、濃度値の大局的
な変化を捉えるためである。図１５（ｂ）に、図１５
（ａ）のＸのラインデータの相加平均演算の処理結果を
示す。
イント抽出が行われていないと判断された場合は、ステ
ップＳ５０２に移行する。このステップＳ５０２では、
所定方向の１ラインの濃度値の相加平均演算を行う。こ
の処理は、画像データ撮影時の濃度値の変化の小さなば
らつきを無くすことを目的としており、濃度値の大局的
な変化を捉えるためである。図１５（ｂ）に、図１５
（ａ）のＸのラインデータの相加平均演算の処理結果を
示す。
【００４０】図１４のステップＳ５０３では、ステップ
Ｓ５０２の演算結果である相加平均値における微分演算
を行う。この処理結果を、図１５（ｃ）に示す。
Ｓ５０２の演算結果である相加平均値における微分演算
を行う。この処理結果を、図１５（ｃ）に示す。
【００４１】図１４のステップＳ５０４では、眼の位置
検出の場合と同様に、縦方向１ラインの最も明るい濃度
値により、ステップＳ５０５のポイント抽出条件を変更
する。
検出の場合と同様に、縦方向１ラインの最も明るい濃度
値により、ステップＳ５０５のポイント抽出条件を変更
する。
【００４２】図１４のステップＳ５０５では、ステップ
Ｓ５０３の演算結果である微分値によるポイント抽出を
行う。そのポイントの抽出方法は、微分値が負から正に
変化するポイントｐ、図１５（ｂ）でいうと、グラフが
左向きに凸になるポイントを抽出する。次に、図１４
（ｃ）に示すように、そのポイントの前後の濃度値の変
化が判定基準値以下、以上であるか否かを判定し、上記
条件を満足する濃度値の変化を持つポイントｐを抽出す
る。
Ｓ５０３の演算結果である微分値によるポイント抽出を
行う。そのポイントの抽出方法は、微分値が負から正に
変化するポイントｐ、図１５（ｂ）でいうと、グラフが
左向きに凸になるポイントを抽出する。次に、図１４
（ｃ）に示すように、そのポイントの前後の濃度値の変
化が判定基準値以下、以上であるか否かを判定し、上記
条件を満足する濃度値の変化を持つポイントｐを抽出す
る。
【００４３】次に、図１６を用いて、眼が影にあり、コ
ントラストが弱い場合について説明する。開閉眼の検出
においても、眼の位置検出と同様に、眼が影にある場合
は、図１４のステップＳ５０４で、縦方向１ラインの最
も明るい濃度値、図１６（ｂ）のＮｍａｘを求めること
により、眼のコントラストが弱い状態にあることが判定
でき、微分値の判定基準値を、図１６（ｃ）に示すよう
に変更することができる。よって、コントラストが弱い
悪い光環境下にあっても、確実に眼を連続データとて認
識することができる。また、開閉眼検出の場合、対象と
する領域が小さいため、眼の存在領域全体の平均濃度な
どによっても、眼のおかれている光環境状態を判定する
ことができる。
ントラストが弱い場合について説明する。開閉眼の検出
においても、眼の位置検出と同様に、眼が影にある場合
は、図１４のステップＳ５０４で、縦方向１ラインの最
も明るい濃度値、図１６（ｂ）のＮｍａｘを求めること
により、眼のコントラストが弱い状態にあることが判定
でき、微分値の判定基準値を、図１６（ｃ）に示すよう
に変更することができる。よって、コントラストが弱い
悪い光環境下にあっても、確実に眼を連続データとて認
識することができる。また、開閉眼検出の場合、対象と
する領域が小さいため、眼の存在領域全体の平均濃度な
どによっても、眼のおかれている光環境状態を判定する
ことができる。
【００４４】開閉眼検出においても、眼の位置検出と同
様に、サンバイザの使用の有無、眼鏡の着用の有無によ
り、微分値の判定基準値を切り換えることは、当然、有
効である。
様に、サンバイザの使用の有無、眼鏡の着用の有無によ
り、微分値の判定基準値を切り換えることは、当然、有
効である。
【００４５】図１４のステップＳ５０６で、抽出ポイン
トｐが存在すると判定された場合は、ステップＳ５０７
へ移行し、ｐ点の前後の微分値の正負の最大値であるｑ
点とｒ点のＹ座標方向の間隔Ｈを求める。ステップＳ５
０７では、また縦方向のラインにおいて、抽出ポイント
が連続して存在する場合に、その間隔を比較し、最大値
Ｈを更新する。
トｐが存在すると判定された場合は、ステップＳ５０７
へ移行し、ｐ点の前後の微分値の正負の最大値であるｑ
点とｒ点のＹ座標方向の間隔Ｈを求める。ステップＳ５
０７では、また縦方向のラインにおいて、抽出ポイント
が連続して存在する場合に、その間隔を比較し、最大値
Ｈを更新する。
【００４６】ステップＳ５０８では、抽出ポイントの連
続数のカウントアップを行う。ステップＳ５０９では、
抽出ポイントの連続数が所定値を越えたか否かを判定
し、所定値を越えるまで次のラインの処理を続ける。こ
のとき、抽出ポイントの連続性が途切れて、ステップＳ
５０６で、抽出ポイントが無いと判定された場合は、ス
テップＳ５１２へ移行し、ステップＳ５１２で、更新中
のｑ，ｒ間隔の最大値とカウンターをクリアし、次のラ
インの処理を行う。
続数のカウントアップを行う。ステップＳ５０９では、
抽出ポイントの連続数が所定値を越えたか否かを判定
し、所定値を越えるまで次のラインの処理を続ける。こ
のとき、抽出ポイントの連続性が途切れて、ステップＳ
５０６で、抽出ポイントが無いと判定された場合は、ス
テップＳ５１２へ移行し、ステップＳ５１２で、更新中
のｑ，ｒ間隔の最大値とカウンターをクリアし、次のラ
インの処理を行う。
【００４７】ステップＳ５０９で、抽出ポイントの連続
数が所定値を越えた場合は、ステップＳ５１０へ移行
し、ｑ，ｒの間隔の最大値をメモリする。ステップＳ５
１０では、連続データ内での最大値のメモリの更新と、
所定値を越える他の連続データ間での更新も行う。
数が所定値を越えた場合は、ステップＳ５１０へ移行
し、ｑ，ｒの間隔の最大値をメモリする。ステップＳ５
１０では、連続データ内での最大値のメモリの更新と、
所定値を越える他の連続データ間での更新も行う。
【００４８】図１７のＤ区間は、ステップＳ５０５の条
件を満たす抽出ポイントがなく、Ｌ区間は、抽出ポイン
トがある箇所を示す。
件を満たす抽出ポイントがなく、Ｌ区間は、抽出ポイン
トがある箇所を示す。
【００４９】このようにして、全てのラインの処理が終
了したとき、ステップＳ５１３へ移行し、ｑ，ｒ間隔の
最大値を眼の開度値として出力する。
了したとき、ステップＳ５１３へ移行し、ｑ，ｒ間隔の
最大値を眼の開度値として出力する。
【００５０】次に、図３のフローチャートのステップＳ
３０７，Ｓ３０９，Ｓ３１１における眼の追跡、追跡ミ
スしたときの復帰方法の詳細を示す。ステップＳ３０６
で得られた眼の開度値は、図１７に示すように、Ｈｍａ
ｘが開眼と判断される大きな値の場合は、そのポイント
のＸ座標、Ｈｍａｘの中央値をＹ座標とし、またＨｍａ
ｘが閉眼と判断される小さな値の場合は、データ連続数
の中央値をＸ座標、Ｈｍａｘの中央値をＹ座標として基
準とし、眼の存在領域を設定する。このフローチャート
に基づくシステムをスタートさせた直後、つまり第１フ
レームでは、当然、眼の存在領域は設定されていないた
め、ステップＳ３０４，Ｓ３０５で、眼の存在領域が設
定される。このとき、眼の中心座標と眼の存在領域の中
心座標は、図１８（ａ）に示すように一致している。
３０７，Ｓ３０９，Ｓ３１１における眼の追跡、追跡ミ
スしたときの復帰方法の詳細を示す。ステップＳ３０６
で得られた眼の開度値は、図１７に示すように、Ｈｍａ
ｘが開眼と判断される大きな値の場合は、そのポイント
のＸ座標、Ｈｍａｘの中央値をＹ座標とし、またＨｍａ
ｘが閉眼と判断される小さな値の場合は、データ連続数
の中央値をＸ座標、Ｈｍａｘの中央値をＹ座標として基
準とし、眼の存在領域を設定する。このフローチャート
に基づくシステムをスタートさせた直後、つまり第１フ
レームでは、当然、眼の存在領域は設定されていないた
め、ステップＳ３０４，Ｓ３０５で、眼の存在領域が設
定される。このとき、眼の中心座標と眼の存在領域の中
心座標は、図１８（ａ）に示すように一致している。
【００５１】一連の処理の終了後、第２フレームの処理
に移り、ステップＳ３０３へ進むと、ここでは既に眼の
存在領域が設定されているため、ステップＳ３０６に移
り、眼の開度検出を行い、ステップＳ３０７に移る。こ
のとき、眼が正しく捉えられている場合は、図１８
（ｂ）に示すようになる。図１８（ｂ）の眼の存在領域
は、第１フレームで設定された位置にあるのに対し、眼
の位置は、２フレーム目に取り込まれた画像データの眼
の位置であるため、顔の動き等により、眼の中心点は眼
の存在領域に対しズレてくる。しかし、眼の存在領域に
眼が接しない限り、これまで説明してきた眼の開度検出
を行うことができる。
に移り、ステップＳ３０３へ進むと、ここでは既に眼の
存在領域が設定されているため、ステップＳ３０６に移
り、眼の開度検出を行い、ステップＳ３０７に移る。こ
のとき、眼が正しく捉えられている場合は、図１８
（ｂ）に示すようになる。図１８（ｂ）の眼の存在領域
は、第１フレームで設定された位置にあるのに対し、眼
の位置は、２フレーム目に取り込まれた画像データの眼
の位置であるため、顔の動き等により、眼の中心点は眼
の存在領域に対しズレてくる。しかし、眼の存在領域に
眼が接しない限り、これまで説明してきた眼の開度検出
を行うことができる。
【００５２】このようにして捉えられた図１８（ｂ）の
眼の中心座標に、ステップＳ３０９で眼の存在領域の基
準点を変更することにより、運転者の顔の動きにも対応
させることができる。
眼の中心座標に、ステップＳ３０９で眼の存在領域の基
準点を変更することにより、運転者の顔の動きにも対応
させることができる。
【００５３】図１８（ｃ），（ｄ）は、第３フレーム、
第４フレームで取り込まれる顔画像データでの眼の位置
と眼のウィンドウの位置関係を示したものである。
第４フレームで取り込まれる顔画像データでの眼の位置
と眼のウィンドウの位置関係を示したものである。
【００５４】ステップＳ３０７，Ｓ３０９，Ｓ３１１に
よる眼の追跡ロジックを有することで、ステップＳ３０
４，Ｓ３０５での顔全体からの眼の位置検出を省略でき
るため、眼の開度検出の高速化が図ることができる。
よる眼の追跡ロジックを有することで、ステップＳ３０
４，Ｓ３０５での顔全体からの眼の位置検出を省略でき
るため、眼の開度検出の高速化が図ることができる。
【００５５】また、ステップＳ３０７で眼の追跡が正し
くできているか否かの判定は、眼の開度値によって行
う。要するに、撮影者が特定されてしまえば、眼の開度
値は開眼時〜閉眼時の範囲で変化するだけであることか
ら、この範囲外の値が出力されたときは、眼の追跡ミス
があったと判定し、ステップＳ３１１で眼の開度の出力
値と眼の存在領域をクリアすることにより、ステップＳ
３０３で、再び顔全体からの処理に入るようにする。
くできているか否かの判定は、眼の開度値によって行
う。要するに、撮影者が特定されてしまえば、眼の開度
値は開眼時〜閉眼時の範囲で変化するだけであることか
ら、この範囲外の値が出力されたときは、眼の追跡ミス
があったと判定し、ステップＳ３１１で眼の開度の出力
値と眼の存在領域をクリアすることにより、ステップＳ
３０３で、再び顔全体からの処理に入るようにする。
【００５６】次に、ステップＳ３０８における開閉眼を
判定する方法の詳細を示す。前にも説明したが、撮影者
が特定された場合、眼の開度の出力値は開眼状態から閉
眼状態の間で変化する。よって、開眼・閉眼の判定を行
う基準値、つまり開閉眼を判定するスレッシュホールド
は、その範囲内にあることになる。ここで、そのスレッ
シュホールドをどう設定するのが妥当なのかを検討した
結果、居眠り状態の人は、熟睡状態ではないため、完全
に眼の閉じない運転者も見られることより、開眼・閉眼
の中央値をスレッシュホールドとすることが望ましいと
思われる。
判定する方法の詳細を示す。前にも説明したが、撮影者
が特定された場合、眼の開度の出力値は開眼状態から閉
眼状態の間で変化する。よって、開眼・閉眼の判定を行
う基準値、つまり開閉眼を判定するスレッシュホールド
は、その範囲内にあることになる。ここで、そのスレッ
シュホールドをどう設定するのが妥当なのかを検討した
結果、居眠り状態の人は、熟睡状態ではないため、完全
に眼の閉じない運転者も見られることより、開眼・閉眼
の中央値をスレッシュホールドとすることが望ましいと
思われる。
【００５７】最後に、図１９を用いて、ステップＳ３１
０における覚醒度の判定方法の詳細を示す。図３のステ
ップＳ３０８で出力される開閉眼パターンにおいて、図
１９に示すように、覚醒度判定区間（例えば１分程度）
に出力される閉眼積算値により、覚醒度を判定すること
ができる。
０における覚醒度の判定方法の詳細を示す。図３のステ
ップＳ３０８で出力される開閉眼パターンにおいて、図
１９に示すように、覚醒度判定区間（例えば１分程度）
に出力される閉眼積算値により、覚醒度を判定すること
ができる。
【００５８】このようにして得られた覚醒度により、居
眠り状態を検出することが可能となり、的確に警報装置
を作動させ、居眠り状態を解消させ、未然に居眠り事故
等を防ぐことができる。
眠り状態を検出することが可能となり、的確に警報装置
を作動させ、居眠り状態を解消させ、未然に居眠り事故
等を防ぐことができる。
【００５９】
【発明の効果】以上、詳細に説明したように、本発明に
よれば、眼の位置検出、開閉眼検出の両手段において、
顔の縦方向の画素列に沿って画素の濃度を検出し、前記
画素列上の濃度値により、ポイント抽出手段の抽出条件
を変更し、各画素列ごとにポイント抽出条件を設定する
構成とすることによって、眼を抽出ポイントの連続デー
タとして常に安定して捕えることができるため、前記連
続した抽出点のデータより、眼の位置、眼の開度検出を
正確に行え、あらゆる光環境状態に対応することがで
き、居眠り状態の検出精度を向上させることができる。
よれば、眼の位置検出、開閉眼検出の両手段において、
顔の縦方向の画素列に沿って画素の濃度を検出し、前記
画素列上の濃度値により、ポイント抽出手段の抽出条件
を変更し、各画素列ごとにポイント抽出条件を設定する
構成とすることによって、眼を抽出ポイントの連続デー
タとして常に安定して捕えることができるため、前記連
続した抽出点のデータより、眼の位置、眼の開度検出を
正確に行え、あらゆる光環境状態に対応することがで
き、居眠り状態の検出精度を向上させることができる。
【図１】本発明による居眠り状態検出装置の構成を示す
ブロック図である。
ブロック図である。
【図２】実施の形態の構成を示すブロック図である。
【図３】実施の形態の全体動作を示すフローチャートで
ある。
ある。
【図４】眼の位置検出の動作を示すフローチャートであ
る。
る。
【図５】眼の位置検出に関する説明図である。
【図６】眼の位置検出に関する説明図である。
【図７】眼の位置検出に関する説明図である。
【図８】眼の位置検出に関する説明図である。
【図９】眼の位置検出に関する説明図である。
【図１０】眼の位置検出に関する説明図である。
【図１１】眼の位置検出に関する説明図である。
【図１２】眼の位置検出に関する説明図である。
【図１３】眼の位置検出に関する説明図である。
【図１４】眼の開度検出の動作を示すフローチャートで
ある。
ある。
【図１５】眼の開度値の出力方法に関する説明図であ
る。
る。
【図１６】眼の開度値の出力方法に関する説明図であ
る。
る。
【図１７】眼の開度値の出力方法に関する説明図であ
る。
る。
【図１８】眼の追跡方法に関する説明図である。
【図１９】覚醒度の判定方法に関する説明図である。
【図２０】従来技術に関する説明図である。
【符号の説明】 ２１ ＴＶカメラ ２２ Ａ−Ｄ変換器 ２３ 画像メモリ ２４ 画像データ演算開路 ２５ 眼の位置検出回路 ２６ 開閉眼検出回路 ２７ 覚醒度判定回路 ２８ 警報装置
Claims (6)
- 【請求項１】 顔の画像データを処理して居眠り状態を
検出する居眠り状態検出装置において、 顔の縦方向の画素列に沿って画素の濃度を検出し、前記
画素列上の濃度値の片方向のピークの前の濃度変化の最
小微分値が所定値を越えることを条件に、濃度値の片方
向のピークの画素を特定して抽出点とするポイント抽出
手段と、 前記画素列上の濃度情報より、前記ポイント抽出手段の
ポイント抽出条件である所定値のレベルを変えるポイン
ト抽出条件変更手段と、 隣接する画素列の画素列方向に近接した前記抽出点を連
続して顔の横方向に伸びる曲線群を抽出することによ
り、眼の位置を検出する眼の位置検出手段と、 眼を含む所定領域内で縦方向の画素列に沿って画素の濃
度を検出し、前記画素列上の濃度値の片方向のピークの
前後の濃度変化の最小及び最大微分値が所定値を越える
ことを条件に、濃度値の片方向のピークの画素を特定し
て抽出点とするポイント抽出手段と、 前記画素列上の濃度情報より、前記ポイント抽出手段の
ポイント抽出条件である所定値のレベルを変えるポイン
ト抽出条件変更手段と、 各列ごとの前記抽出点の有無による顔の横方向への連続
性を判定し、前記連続した抽出点のデータより眼の開度
を検出する眼の開度検出手段と、 前記眼の開度値より眼の開閉状態を判定し、その開閉状
態の変化から覚醒度を判定することを特徴とする居眠り
状態検出装置。 - 【請求項２】 請求項１に記載の居眠り状態検出装置に
おいて、 前記ポイント抽出条件変更手段が、前記画素列上の最も
明るい濃度値により、前記ポイント抽出手段のポイント
抽出条件である所定値のレベルを変えることを特徴とす
る居眠り状態検出装置。 - 【請求項３】 請求項１に記載の居眠り状態検出装置に
おいて、 前記ポイント抽出条件変更手段が、所定領域の平均濃度
値により、前記ポイント抽出手段のポイント抽出条件で
ある所定値のレベルを変えることを特徴とする居眠り状
態検出装置。 - 【請求項４】 顔の画像データを処理して居眠り状態を
検出する居眠り状態検出装置において、 顔の縦方向の画素列に沿って画素の濃度を検出し、前記
画素列上の濃度値の片方向のピークの前の濃度変化の最
小微分値が所定値を越えることを条件に、濃度値の片方
向のピークの画素を特定して抽出点とするポイント抽出
手段と、 隣接する画素列の画素列方向に近接した前記抽出点を連
続して顔の横方向に伸びる曲線群を抽出することによ
り、眼の位置を検出する眼の位置検出手段と、 眼を含む所定領域内で縦方向の画素列に沿って画素の濃
度を検出し、前記画素列上の濃度値の片方向のピークの
前後の濃度変化の最小及び最大微分値が所定値を越える
ことを条件に、濃度値の片方向のピークの画素を特定し
て抽出点とするポイント抽出手段と、 サンバイザの使用の有無により、前記両ポイント抽出手
段のポイント抽出条件である所定値のレベルを変えるポ
イント抽出条件変更手段と、 各列ごとの前記抽出点の有無による顔の横方向への連続
性を判定し、前記連続した抽出点のデータより眼の開度
を検出する眼の開度検出手段と、 前記眼の開度値より眼の開閉状態を判定し、その開閉状
態の変化から覚醒度を判定することを特徴とする居眠り
状態検出装置。 - 【請求項５】 顔の画像データを処理して居眠り状態を
検出する居眠り状態検出装置において、 顔の縦方向の画素列に沿って画素の濃度を検出し、前記
画素列上の濃度値の片方向のピークの前の濃度変化の最
小微分値が所定値を越えることを条件に、濃度値の片方
向のピークの画素を特定して抽出点とするポイント抽出
手段と、 運転者の眼鏡の着用の有無により、前記ポイント抽出手
段のポイント抽出条件である所定値のレベルを変えるポ
イント抽出条件変更手段と、 隣接する画素列の画素列方向に近接した前記抽出点を連
続して顔の横方向に伸びる曲線群を抽出することによ
り、眼の位置を検出する眼の位置検出手段と、 眼を含む所定領域内で縦方向の画素列に沿って画素の濃
度を検出し、前記画素列上の濃度値の片方向のピークの
前後の濃度変化の最小及び最大微分値が所定値を越える
ことを条件に、濃度値の片方向のピークの画素を特定し
て抽出点とするポイント抽出手段と、 運転者の眼鏡の着用の有無により、前記ポイント抽出手
段のポイント抽出条件である所定値のレベルを変えるポ
イント抽出条件変更手段と、 各列ごとの前記抽出点の有無による顔の横方向への連続
性を判定し、前記連続した抽出点のデータより眼の開度
を検出する眼の開度検出手段と、 前記眼の開度値より眼の開閉状態を判定し、その開閉状
態の変化から覚醒度を判定することを特徴とする居眠り
状態検出装置。 - 【請求項６】 顔の画像データを処理して居眠り状態を
検出する居眠り状態検出装置において、 顔の縦方向の画素列に沿って画素の濃度を検出し、前記
画素列上の濃度値の片方向のピークの前の濃度変化の最
小微分値が所定値を越えることを条件に、濃度値の片方
向のピークの画素を特定して抽出点とするポイント抽出
手段と、 隣接する画素列の画素列方向に近接した前記抽出点を連
続して顔の横方向に伸びる曲線群を抽出することによ
り、眼の位置を検出する眼の位置検出手段と、 前記眼の位置検出手段により、眼に相当する曲線群デー
タがないと判定された場合に、前記ポイント抽出手段の
ポイント抽出条件である所定値のレベルを変えるポイン
ト抽出条件変更手段と、 眼を含む所定領域内で縦方向の画素列に沿って画素の濃
度を検出し、前記画素列上の濃度値の片方向のピークの
前後の濃度変化の最小及び最大微分値が所定値を越える
ことを条件に、濃度値の片方向のピークの画素を特定し
て抽出点とするポイント抽出手段と、 各列ごとの前記抽出点の有無による顔の横方向への連続
性を判定し、前記連続した抽出点のデータより眼の開度
を検出する眼の開度検出手段と、 前記眼の開度検出手段により、眼に相当する連続データ
がないと判定された場合に、前記ポイント抽出手段のポ
イント抽出条件である所定値のレベルを変えるポイント
抽出条件変更手段と、 前記眼の開度値より眼の開閉状態を判定し、その開閉状
態の変化から覚醒度を判定することを特徴とする居眠り
状態検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07872197A JP3577882B2 (ja) | 1997-03-31 | 1997-03-31 | 居眠り状態検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07872197A JP3577882B2 (ja) | 1997-03-31 | 1997-03-31 | 居眠り状態検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10275212A true JPH10275212A (ja) | 1998-10-13 |
| JP3577882B2 JP3577882B2 (ja) | 2004-10-20 |
Family
ID=13669755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07872197A Expired - Fee Related JP3577882B2 (ja) | 1997-03-31 | 1997-03-31 | 居眠り状態検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3577882B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7894637B2 (en) | 2004-05-21 | 2011-02-22 | Asahi Kasei Corporation | Device, program, and method for classifying behavior content of an object person |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07208927A (ja) * | 1994-01-18 | 1995-08-11 | Nissan Motor Co Ltd | 車両運転者の眼球位置検出装置 |
| JPH07296299A (ja) * | 1994-04-20 | 1995-11-10 | Nissan Motor Co Ltd | 画像処理装置およびそれを用いた居眠り警報装置 |
| JPH0883344A (ja) * | 1994-09-14 | 1996-03-26 | Mitsubishi Electric Corp | 画像処理装置及び人物状態判定装置 |
| JPH08300978A (ja) * | 1995-05-10 | 1996-11-19 | Mitsubishi Electric Corp | 顔画像の処理装置 |
| JPH0921611A (ja) * | 1995-07-06 | 1997-01-21 | Mitsubishi Electric Corp | 顔画像撮像装置 |
| JPH1040361A (ja) * | 1996-07-18 | 1998-02-13 | Nissan Motor Co Ltd | 居眠り状態検出装置 |
-
1997
- 1997-03-31 JP JP07872197A patent/JP3577882B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07208927A (ja) * | 1994-01-18 | 1995-08-11 | Nissan Motor Co Ltd | 車両運転者の眼球位置検出装置 |
| JPH07296299A (ja) * | 1994-04-20 | 1995-11-10 | Nissan Motor Co Ltd | 画像処理装置およびそれを用いた居眠り警報装置 |
| JPH0883344A (ja) * | 1994-09-14 | 1996-03-26 | Mitsubishi Electric Corp | 画像処理装置及び人物状態判定装置 |
| JPH08300978A (ja) * | 1995-05-10 | 1996-11-19 | Mitsubishi Electric Corp | 顔画像の処理装置 |
| JPH0921611A (ja) * | 1995-07-06 | 1997-01-21 | Mitsubishi Electric Corp | 顔画像撮像装置 |
| JPH1040361A (ja) * | 1996-07-18 | 1998-02-13 | Nissan Motor Co Ltd | 居眠り状態検出装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7894637B2 (en) | 2004-05-21 | 2011-02-22 | Asahi Kasei Corporation | Device, program, and method for classifying behavior content of an object person |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3577882B2 (ja) | 2004-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003134508A (ja) | 車両用情報提供装置 | |
| JP2007334751A (ja) | 車両周辺監視装置 | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
| JP2000198369A (ja) | 眼の状態検出装置、居眠り運転警報装置 | |
| JP2000123188A (ja) | 眼開閉判定装置 | |
| JP3312562B2 (ja) | 居眠り状態検出装置 | |
| JP4198542B2 (ja) | 顔有無判定装置及び顔有無判定プログラム | |
| JP3444115B2 (ja) | 居眠り状態検出装置 | |
| JP2004086417A (ja) | 横断歩道等における歩行者検出方法及び同装置 | |
| JP3858570B2 (ja) | 脇見状態検出装置 | |
| JP3531503B2 (ja) | 眼の状態検出装置及び居眠り運転警報装置 | |
| JPH1044824A (ja) | 車両運転者の開閉眼判定装置 | |
| JP2000067225A (ja) | 眼位置検出装置 | |
| JP3577882B2 (ja) | 居眠り状態検出装置 | |
| JP4070450B2 (ja) | 前方車両認識装置及び認識方法 | |
| JP2000301962A (ja) | 眼の状態検出装置、居眠り運転警報装置 | |
| JP4696571B2 (ja) | 眼位置検出装置 | |
| JP2000199703A (ja) | 眼の状態検出装置、居眠り運転警報装置 | |
| JP3465566B2 (ja) | 眼位置検出装置 | |
| JPH09128548A (ja) | 車両検出方法 | |
| JP3582324B2 (ja) | 眼位置検出装置 | |
| JP2000311238A (ja) | 眼の開度検出装置 | |
| JP2004334784A (ja) | 確認動作検出装置及び警報システム | |
| JP2003162710A (ja) | 移動物体の認識装置及び認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040316 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040511 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040705 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |