JP2000331159A - 顔画像処理装置 - Google Patents
顔画像処理装置Info
- Publication number
- JP2000331159A JP2000331159A JP11142721A JP14272199A JP2000331159A JP 2000331159 A JP2000331159 A JP 2000331159A JP 11142721 A JP11142721 A JP 11142721A JP 14272199 A JP14272199 A JP 14272199A JP 2000331159 A JP2000331159 A JP 2000331159A
- Authority
- JP
- Japan
- Prior art keywords
- image
- valued
- eye
- face image
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Emergency Alarm Devices (AREA)
- Eye Examination Apparatus (AREA)
Abstract
(57)【要約】
【課題】 網膜反射像を用いた従来の目状態検出装置で
は、２値化画像特徴抽出手段において多値画像を２値化
して画像処理を行っていたため、２値化閾値を制御しな
ければならなかった。 【解決手段】 ＣＣＤカメラ２によって入力された多値
顔画像を多値画像メモリ３で保存し、保存された多値顔
画像から多値画像特徴抽出手段２３によって、注目画素
の輝度とこの注目画素周辺の画素の輝度との相対的輝度
分布に基づき注目画素を抽出して、２値化画像メモリ５
に保存し、この保存された注目画素を用いて目領域を抽
出して、この抽出された目領域から開閉判定手段７によ
って開閉眼の判定を行うようにしたものである。
は、２値化画像特徴抽出手段において多値画像を２値化
して画像処理を行っていたため、２値化閾値を制御しな
ければならなかった。 【解決手段】 ＣＣＤカメラ２によって入力された多値
顔画像を多値画像メモリ３で保存し、保存された多値顔
画像から多値画像特徴抽出手段２３によって、注目画素
の輝度とこの注目画素周辺の画素の輝度との相対的輝度
分布に基づき注目画素を抽出して、２値化画像メモリ５
に保存し、この保存された注目画素を用いて目領域を抽
出して、この抽出された目領域から開閉判定手段７によ
って開閉眼の判定を行うようにしたものである。
Description
【０００１】
【発明の属する技術分野】この発明は、検出対象者の顔
多値画像から開閉眼を判定する顔画像処理装置に関する
ものである。
多値画像から開閉眼を判定する顔画像処理装置に関する
ものである。
【０００２】
【従来の技術】検出対象者の顔面を照射する照明手段を
もつ従来の顔画像処理装置としては、特開平９−１９８
５０８号公報に記載されたものがある。図７は、特開平
９−１９８５０８号公報に開示された従来の目状態検出
装置を簡略化して示す構成図である。図において、１は
検出対象者、２は検出対象者１を撮影するＣＣＤカメ
ラ、３はカメラ２によって撮影された画像を記憶する多
値画像メモリ、４は多値画像を２値化する２値化手段、
５は２値化画像を記憶する２値化画像メモリ、６は２値
化画像から特徴を抽出する２値化画像特徴抽出手段、７
は２値化画像の特徴によって目の開閉を判定する開閉判
定手段である。８はＬＥＤ光源、９はＬＥＤ光源８に電
流を送るＬＥＤ駆動回路である。図８は、特開平９−１
９８５０８号公報における検出対象者の顔多値画像及び
網膜反射像２値化画像であり、図８（ａ）は多値画像、
図８（ｂ）は２値化画像を示している。図において、１
０は多値画像、１１は２値化画像であり、１４は網膜反
射像、１５は網膜反射像２値化領域である。
もつ従来の顔画像処理装置としては、特開平９−１９８
５０８号公報に記載されたものがある。図７は、特開平
９−１９８５０８号公報に開示された従来の目状態検出
装置を簡略化して示す構成図である。図において、１は
検出対象者、２は検出対象者１を撮影するＣＣＤカメ
ラ、３はカメラ２によって撮影された画像を記憶する多
値画像メモリ、４は多値画像を２値化する２値化手段、
５は２値化画像を記憶する２値化画像メモリ、６は２値
化画像から特徴を抽出する２値化画像特徴抽出手段、７
は２値化画像の特徴によって目の開閉を判定する開閉判
定手段である。８はＬＥＤ光源、９はＬＥＤ光源８に電
流を送るＬＥＤ駆動回路である。図８は、特開平９−１
９８５０８号公報における検出対象者の顔多値画像及び
網膜反射像２値化画像であり、図８（ａ）は多値画像、
図８（ｂ）は２値化画像を示している。図において、１
０は多値画像、１１は２値化画像であり、１４は網膜反
射像、１５は網膜反射像２値化領域である。
【０００３】このような従来の顔画像処理装置で検出対
象者１の顔面を撮影すると、図８（ａ）のように、検出
対象者１の瞳孔は眼球部の網膜からの反射光により、あ
たかも瞳孔が光っているかのように撮影される。これ
は、網膜が入射光と同一方向に反射光を返す性質をもっ
ているためである。この網膜反射像１４は、顔の他の部
分より著しく明るく撮影されるため、撮影された多値画
像全体に対する２値化処理で、図８（ｂ）のように輝度
の高い領域を瞳孔領域として抽出することができる。こ
の瞳孔領域すなわち網膜反射像２値化領域１５の有無に
より、目の開閉状態を判定するものである。
象者１の顔面を撮影すると、図８（ａ）のように、検出
対象者１の瞳孔は眼球部の網膜からの反射光により、あ
たかも瞳孔が光っているかのように撮影される。これ
は、網膜が入射光と同一方向に反射光を返す性質をもっ
ているためである。この網膜反射像１４は、顔の他の部
分より著しく明るく撮影されるため、撮影された多値画
像全体に対する２値化処理で、図８（ｂ）のように輝度
の高い領域を瞳孔領域として抽出することができる。こ
の瞳孔領域すなわち網膜反射像２値化領域１５の有無に
より、目の開閉状態を判定するものである。
【０００４】図９は、特開平９−１９８５０８号公報に
記載された顔画像処理装置の目抽出アルゴリズムを示す
フローチャートである。ステップＳ１にて撮影された顔
画像は、ステップＳ２で多値画像メモリに１フレームの
間保存する。ステップＳ３の２値化処理で、ステップＳ
２で取込まれた２値化画像メモリより出力される多値画
像を２値化閾値を用いて２値化する。ステップＳ３の２
値化処理結果をステップＳ４で２値化画像メモリに１フ
レームの間保存する。ステップＳ５で目候補２値化領域
設定において、２値化画像メモリより出力される２値化
領域の中から、目候補となる領域を設定し、ステップＳ
６において、ステップＳ５にて設定された目候補領域の
中から目２値化領域を選択する。ステップＳ６において
目２値化領域が選択されていれば、ステップＳ７開閉判
定にて網膜反射像あり、すなわち開状態と判定される。
逆に、ステップＳ６において目２値化領域が選択されな
ければ、ステップＳ７の開閉判定にて網膜反射像なし、
すなわち閉状態と判定される。
記載された顔画像処理装置の目抽出アルゴリズムを示す
フローチャートである。ステップＳ１にて撮影された顔
画像は、ステップＳ２で多値画像メモリに１フレームの
間保存する。ステップＳ３の２値化処理で、ステップＳ
２で取込まれた２値化画像メモリより出力される多値画
像を２値化閾値を用いて２値化する。ステップＳ３の２
値化処理結果をステップＳ４で２値化画像メモリに１フ
レームの間保存する。ステップＳ５で目候補２値化領域
設定において、２値化画像メモリより出力される２値化
領域の中から、目候補となる領域を設定し、ステップＳ
６において、ステップＳ５にて設定された目候補領域の
中から目２値化領域を選択する。ステップＳ６において
目２値化領域が選択されていれば、ステップＳ７開閉判
定にて網膜反射像あり、すなわち開状態と判定される。
逆に、ステップＳ６において目２値化領域が選択されな
ければ、ステップＳ７の開閉判定にて網膜反射像なし、
すなわち閉状態と判定される。
【０００５】テンプレートを用いた従来の顔画像処理装
置としては、例えば、特開平８−１７５２１８号公報に
記載されたものがある。これは、撮像された画像に対し
て、予め設定されている標準顔テンプレートを上下左右
に順次移動させて相関演算を行い、その検出対象者用の
対象テンプレートを作成するテンプレート作成手段と、
その対象テンプレートを用いて相関演算を行い、検出対
象者の目領域を検出する目領域検出手段を有することを
特徴とした運転状態検出装置である。図１０は、特開平
８−１７５２１８号公報に開示された運転状態検出装置
を簡略化した構成図である。検出対象者１を撮影するカ
メラ２に画像処理装置１７が接続されており、検出対象
者１の顔画像を画像処理装置１７に供給する。画像処理
装置１７は、Ａ／Ｄ変換器、正規化回路及び相関演算回
路を備えており、入力された画像信号をディジタル信号
に変換し、さらに濃淡正規化処理を行う。画像処理装置
１７には、メモリ１８が接続されている。メモリ１８に
は標準テンプレート及び目・眉などの顔要素の配置デー
タが予め格納されている。画像処理装置１７は、さらに
電子制御装置ＥＣＵ１９に接続されており、処理結果を
ＥＣＵ１９に供給する。ＥＣＵ１９は、処理結果から検
出対象者１の運転状態を判別し、警報装置２０に制御信
号を出力して警報を発する構成である。
置としては、例えば、特開平８−１７５２１８号公報に
記載されたものがある。これは、撮像された画像に対し
て、予め設定されている標準顔テンプレートを上下左右
に順次移動させて相関演算を行い、その検出対象者用の
対象テンプレートを作成するテンプレート作成手段と、
その対象テンプレートを用いて相関演算を行い、検出対
象者の目領域を検出する目領域検出手段を有することを
特徴とした運転状態検出装置である。図１０は、特開平
８−１７５２１８号公報に開示された運転状態検出装置
を簡略化した構成図である。検出対象者１を撮影するカ
メラ２に画像処理装置１７が接続されており、検出対象
者１の顔画像を画像処理装置１７に供給する。画像処理
装置１７は、Ａ／Ｄ変換器、正規化回路及び相関演算回
路を備えており、入力された画像信号をディジタル信号
に変換し、さらに濃淡正規化処理を行う。画像処理装置
１７には、メモリ１８が接続されている。メモリ１８に
は標準テンプレート及び目・眉などの顔要素の配置デー
タが予め格納されている。画像処理装置１７は、さらに
電子制御装置ＥＣＵ１９に接続されており、処理結果を
ＥＣＵ１９に供給する。ＥＣＵ１９は、処理結果から検
出対象者１の運転状態を判別し、警報装置２０に制御信
号を出力して警報を発する構成である。
【０００６】また、輝度分布を用いた従来の顔画像処理
装置としては、例えば、特開平６−３４８９８０号公報
に記載されたものがある。これは、黒目部分が画面上の
最暗点にあたることに着目して目位置を特定し、最暗点
近傍の最大最小輝度値の平均値を輝度閾値として、目領
域を抽出することを特徴とした車両上ドライバの眼を監
視する装置である。具体的には、画面上に目位置と仮定
される位置にサンプリング点を複数設定し、各サンプリ
ング点を暗い方向にシフトさせ、黒目部分に収束するサ
ンプリング点から目位置を特定し、周辺輝度分布から目
領域を抽出するものである。図１１は、特開平６−３４
８９８０号公報に開示された輝度分布を用いて車両上ド
ライバの眼を監視する装置の目領域抽出を説明する図で
ある。図１１は、目位置周辺の最大輝度Ｔ（ｍａｘ）、
最小輝度Ｔ（ｍｉｎ）の平均輝度Ｔ＿ａｖを閾値とし
て、黒目部分を抽出し、目幅Ｗを求めるものである。
装置としては、例えば、特開平６−３４８９８０号公報
に記載されたものがある。これは、黒目部分が画面上の
最暗点にあたることに着目して目位置を特定し、最暗点
近傍の最大最小輝度値の平均値を輝度閾値として、目領
域を抽出することを特徴とした車両上ドライバの眼を監
視する装置である。具体的には、画面上に目位置と仮定
される位置にサンプリング点を複数設定し、各サンプリ
ング点を暗い方向にシフトさせ、黒目部分に収束するサ
ンプリング点から目位置を特定し、周辺輝度分布から目
領域を抽出するものである。図１１は、特開平６−３４
８９８０号公報に開示された輝度分布を用いて車両上ド
ライバの眼を監視する装置の目領域抽出を説明する図で
ある。図１１は、目位置周辺の最大輝度Ｔ（ｍａｘ）、
最小輝度Ｔ（ｍｉｎ）の平均輝度Ｔ＿ａｖを閾値とし
て、黒目部分を抽出し、目幅Ｗを求めるものである。
【０００７】
【発明が解決しようとする課題】網膜反射像を用いた従
来の目状態検出装置では、２値化画像特徴抽出手段６に
おいて多値画像を２値化して画像処理を行っていたた
め、多値画像の濃淡情報を破棄していた。そのため、網
膜反射像を抽出するには、撮影された検出対象者顔画像
の明るさに応じて２値化閾値を制御しなければならず、
この２値化閾値により特徴抽出結果が大きく左右される
ものとなっていた。図１２は、従来の検出対象者の網膜
反射像を含む２値化画像であり、図１２（ａ）は、網膜
反射膜のみを２値化したもの、図１２（ｂ）は、ノイズ
を含む２値化画像である。図において、１１、１５は図
８におけるものと同一のものである。２１はノイズであ
る。図１３は、従来の検出対象者の顔多値画像で、両目
間距離及び水平度の説明図である。図において、１、１
０は図８におけるものと同一のものである。
来の目状態検出装置では、２値化画像特徴抽出手段６に
おいて多値画像を２値化して画像処理を行っていたた
め、多値画像の濃淡情報を破棄していた。そのため、網
膜反射像を抽出するには、撮影された検出対象者顔画像
の明るさに応じて２値化閾値を制御しなければならず、
この２値化閾値により特徴抽出結果が大きく左右される
ものとなっていた。図１２は、従来の検出対象者の網膜
反射像を含む２値化画像であり、図１２（ａ）は、網膜
反射膜のみを２値化したもの、図１２（ｂ）は、ノイズ
を含む２値化画像である。図において、１１、１５は図
８におけるものと同一のものである。２１はノイズであ
る。図１３は、従来の検出対象者の顔多値画像で、両目
間距離及び水平度の説明図である。図において、１、１
０は図８におけるものと同一のものである。
【０００８】例えば、顔多値画像全体を一意的な２値化
閾値により２値化してしまうため、網膜反射像が暗い場
合や顔全体が明るい場合など、画像そのものが低コント
ラストになると、網膜反射像が２値化領域として抽出さ
れないことがあった。また、本来２値化画像では図１２
（ａ）のように網膜反射像のみが２値化領域として抽出
されるのが望ましい。しかしながら、輝度帯域が網膜反
射像と同じ領域が存在する場合、図１２（ｂ）に示すよ
うに網膜反射像と同様に２値化されてノイズ２１として
残存するため、多数の２値化領域の中から、両目として
成立する間隔や水平度などの相対的な位置関係により、
網膜反射像抽出を行う必要があった。ただし、そういっ
た位置関係も顔が斜めになると、図１３のように水平度
条件が成立しなくなり、誤抽出を誘発する原因となって
いた。
閾値により２値化してしまうため、網膜反射像が暗い場
合や顔全体が明るい場合など、画像そのものが低コント
ラストになると、網膜反射像が２値化領域として抽出さ
れないことがあった。また、本来２値化画像では図１２
（ａ）のように網膜反射像のみが２値化領域として抽出
されるのが望ましい。しかしながら、輝度帯域が網膜反
射像と同じ領域が存在する場合、図１２（ｂ）に示すよ
うに網膜反射像と同様に２値化されてノイズ２１として
残存するため、多数の２値化領域の中から、両目として
成立する間隔や水平度などの相対的な位置関係により、
網膜反射像抽出を行う必要があった。ただし、そういっ
た位置関係も顔が斜めになると、図１３のように水平度
条件が成立しなくなり、誤抽出を誘発する原因となって
いた。
【０００９】テンプレートを用いた従来の運転状態検出
装置では、顔が上下方向に動いても目と眉の上下方向の
位置関係は不変であるので、対象目近傍領域を用いて目
近傍領域が検出されると、その内の上方の黒色部分は
眉、下方の黒色部分は目であるというように、目領域を
確実に特定できた。しかしながら、顔の動きを考慮する
と画像に対して広い範囲を走査してテンプレートマッチ
ングを行わなければならず、相関演算の処理時間の増大
を招くこととなっていた。
装置では、顔が上下方向に動いても目と眉の上下方向の
位置関係は不変であるので、対象目近傍領域を用いて目
近傍領域が検出されると、その内の上方の黒色部分は
眉、下方の黒色部分は目であるというように、目領域を
確実に特定できた。しかしながら、顔の動きを考慮する
と画像に対して広い範囲を走査してテンプレートマッチ
ングを行わなければならず、相関演算の処理時間の増大
を招くこととなっていた。
【００１０】輝度分布を用いた従来の車両上ドライバの
眼を監視する装置における目領域抽出では、最暗点のサ
ンプリング点に目領域を確実に含めるため、サンプリン
グ点を多数設定する必要があり、その結果、眉・髪の毛
などの黒い領域が含まれ、これら多数の注目点を対象に
処理が行われるため、処理時間増大を招くこととなって
いた。処理時間低減のために、検出対象者の顔像域を限
定する手段として温度測定装置ＴＭＤを使用している
が、システム構造が複雑かつコストアップにつながって
いた。
眼を監視する装置における目領域抽出では、最暗点のサ
ンプリング点に目領域を確実に含めるため、サンプリン
グ点を多数設定する必要があり、その結果、眉・髪の毛
などの黒い領域が含まれ、これら多数の注目点を対象に
処理が行われるため、処理時間増大を招くこととなって
いた。処理時間低減のために、検出対象者の顔像域を限
定する手段として温度測定装置ＴＭＤを使用している
が、システム構造が複雑かつコストアップにつながって
いた。
【００１１】この発明は、上述のような課題を解決する
ためになされたものであり、開閉眼の判定が確実にでき
る顔画像処理装置を得ることを目的としている。
ためになされたものであり、開閉眼の判定が確実にでき
る顔画像処理装置を得ることを目的としている。
【００１２】
【課題を解決するための手段】この発明に係わる顔画像
処理装置においては、マトリクス状に配置された多数の
画素によって表示される多値顔画像を入力する画像入力
手段と、この画像入力手段によって入力された多値顔画
像から２値化された目領域を抽出する多値画像特徴抽出
手段と、この多値画像特徴抽出手段によって抽出された
目領域から開閉眼の判定を行う開閉判定手段を備えたも
のである。また、マトリクス状に配置された多数の画素
によって表示される多値顔画像を入力する画像入力手段
と、この画像入力手段によって入力された多値顔画像か
ら目領域を抽出する多値画像特徴抽出手段と、この多値
画像特徴抽出手段によって抽出された目領域から開閉眼
の判定を行う開閉判定手段を備えたものである。
処理装置においては、マトリクス状に配置された多数の
画素によって表示される多値顔画像を入力する画像入力
手段と、この画像入力手段によって入力された多値顔画
像から２値化された目領域を抽出する多値画像特徴抽出
手段と、この多値画像特徴抽出手段によって抽出された
目領域から開閉眼の判定を行う開閉判定手段を備えたも
のである。また、マトリクス状に配置された多数の画素
によって表示される多値顔画像を入力する画像入力手段
と、この画像入力手段によって入力された多値顔画像か
ら目領域を抽出する多値画像特徴抽出手段と、この多値
画像特徴抽出手段によって抽出された目領域から開閉眼
の判定を行う開閉判定手段を備えたものである。
【００１３】また、多値画像特徴抽出手段は、多値顔画
像中の注目画素の輝度とこの注目画素周辺の画素の輝度
との相対的輝度分布に基づき注目画素を抽出し、抽出さ
れた注目画素を用いて目領域を抽出するものである。さ
らに、抽出された注目画素を保存する抽出画像保存手段
を備え、多値画像特徴抽出手段による目領域の抽出は、
抽出画像保存手段に保存された注目画素を用いて行われ
るものである。
像中の注目画素の輝度とこの注目画素周辺の画素の輝度
との相対的輝度分布に基づき注目画素を抽出し、抽出さ
れた注目画素を用いて目領域を抽出するものである。さ
らに、抽出された注目画素を保存する抽出画像保存手段
を備え、多値画像特徴抽出手段による目領域の抽出は、
抽出画像保存手段に保存された注目画素を用いて行われ
るものである。
【００１４】また、多値画像特徴抽出手段による注目画
素の抽出は、一方向の相対的輝度分布に基づき行われる
ものである。また、相対的輝度分布に基づく注目画素の
抽出は、専用ハードウエアによって行われるものであ
る。
素の抽出は、一方向の相対的輝度分布に基づき行われる
ものである。また、相対的輝度分布に基づく注目画素の
抽出は、専用ハードウエアによって行われるものであ
る。
【００１５】また、一方向の相対的輝度分布は、顔水平
方向であるものである。また、相対的輝度分布に基づく
注目画素の抽出は、専用ハードウエアによって行われる
ものである。さらに、目領域は、網膜反射像を含むもの
である。
方向であるものである。また、相対的輝度分布に基づく
注目画素の抽出は、専用ハードウエアによって行われる
ものである。さらに、目領域は、網膜反射像を含むもの
である。
【００１６】
【発明の実施の形態】以下、この発明の実施の形態を図
に基づいて説明する。 実施の形態１．図１は、この発明の実施の形態１による
顔画像処理装置を簡略化して示す構成図である。図１に
おいて、１は検出対象者、２は検出対象者１の顔画像を
撮影して、マトリクス状に配置された多数の画素によっ
て表示されるように構成された顔画像を入力するための
撮影手段あるいは画像入力手段としてのＣＣＤカメラ、
３はＣＣＤカメラ２から出力される多値画像を一時的に
記憶する多値画像メモリ、５は抽出された２値化画像を
一時的に記憶する抽出画像保存手段を構成する２値化画
像メモリ、７は２値化画像メモリ５の２値化画像を用い
て目２値化領域の有無により目の開閉判定を行う開閉判
定手段である。８はＬＥＤ光源、９はＬＥＤ光源８に電
流を送るＬＥＤ駆動回路であり、これらは照明手段を構
成する。２３は多値画像より相対的輝度分布を用いて目
領域を抽出する多値画像特徴抽出手段で、多値画像特徴
抽出結果は２値化画像メモリ５に保存される。ここで、
多値画像特徴抽出手段２３及び開閉判定手段７はマイク
ロコンピュータなどによりソフトウェア的に実行される
ものである。
に基づいて説明する。 実施の形態１．図１は、この発明の実施の形態１による
顔画像処理装置を簡略化して示す構成図である。図１に
おいて、１は検出対象者、２は検出対象者１の顔画像を
撮影して、マトリクス状に配置された多数の画素によっ
て表示されるように構成された顔画像を入力するための
撮影手段あるいは画像入力手段としてのＣＣＤカメラ、
３はＣＣＤカメラ２から出力される多値画像を一時的に
記憶する多値画像メモリ、５は抽出された２値化画像を
一時的に記憶する抽出画像保存手段を構成する２値化画
像メモリ、７は２値化画像メモリ５の２値化画像を用い
て目２値化領域の有無により目の開閉判定を行う開閉判
定手段である。８はＬＥＤ光源、９はＬＥＤ光源８に電
流を送るＬＥＤ駆動回路であり、これらは照明手段を構
成する。２３は多値画像より相対的輝度分布を用いて目
領域を抽出する多値画像特徴抽出手段で、多値画像特徴
抽出結果は２値化画像メモリ５に保存される。ここで、
多値画像特徴抽出手段２３及び開閉判定手段７はマイク
ロコンピュータなどによりソフトウェア的に実行される
ものである。
【００１７】図２は、この発明の実施の形態１による顔
画像処理装置の目領域抽出アルゴリズムを示すフローチ
ャートである。図２では、従来例と異なり、多値画像に
対して１次元抽出フィルタを用いて注目画素の輝度値及
び注目画素前後との相対的輝度分布から目領域を選択
し、目２値化領域として抽出する。図３は、この発明の
実施の形態１による顔画像処理装置の１次元フィルタ処
理を示す説明図であり、図３（ａ）は原画像、図３
（ｂ）は原画像の輝度分布を表す図である。図におい
て、１０、１４、１５は、図８におけるものと同一のも
のである。図４は、この発明の実施の形態１による顔画
像処理装置のフィルタパス画素のラベリングの説明図で
ある。
画像処理装置の目領域抽出アルゴリズムを示すフローチ
ャートである。図２では、従来例と異なり、多値画像に
対して１次元抽出フィルタを用いて注目画素の輝度値及
び注目画素前後との相対的輝度分布から目領域を選択
し、目２値化領域として抽出する。図３は、この発明の
実施の形態１による顔画像処理装置の１次元フィルタ処
理を示す説明図であり、図３（ａ）は原画像、図３
（ｂ）は原画像の輝度分布を表す図である。図におい
て、１０、１４、１５は、図８におけるものと同一のも
のである。図４は、この発明の実施の形態１による顔画
像処理装置のフィルタパス画素のラベリングの説明図で
ある。
【００１８】以下、顔多値画像からの、多値画像特徴抽
出手段２３を用いた目領域抽出方法について、図２を用
いて説明する。ステップＳ１の顔画像撮影、ステップＳ
２の多値画像メモリ取り込みは従来例と同じである。ス
テップＳ２にて取り込んだ多値画像メモリより出力され
る多値画像を対象に、ステップＳ８で１次元抽出フィル
タをかけることにより、目領域ここでは網膜反射像２値
化領域を抽出する。図３は、ステップＳ８の１次元抽出
フィルタにより抽出される画素を表している。網膜反射
像周辺の原画像は、図３（ａ）のように、網膜反射像部
分が白く明るく、それを環状に囲む瞳孔部分が最暗部と
なり、白目部分は通常とは逆に暗くなる。そのため、輝
度分布は図３（ｂ）に示すように、網膜反射像中心部が
最大輝度、瞳孔部分が最小輝度となる。図３（ｂ）にお
いて、注目点を○印とすると、顔水平方向前後１０画素
が対象範囲となる。対象範囲よりそれぞれの最小輝度ｔ
ｅｍｐ２を求める。ただし、図３（ｂ）では、図の簡略
化のため前後ｔｅｍｐ２は同じ値としている。
出手段２３を用いた目領域抽出方法について、図２を用
いて説明する。ステップＳ１の顔画像撮影、ステップＳ
２の多値画像メモリ取り込みは従来例と同じである。ス
テップＳ２にて取り込んだ多値画像メモリより出力され
る多値画像を対象に、ステップＳ８で１次元抽出フィル
タをかけることにより、目領域ここでは網膜反射像２値
化領域を抽出する。図３は、ステップＳ８の１次元抽出
フィルタにより抽出される画素を表している。網膜反射
像周辺の原画像は、図３（ａ）のように、網膜反射像部
分が白く明るく、それを環状に囲む瞳孔部分が最暗部と
なり、白目部分は通常とは逆に暗くなる。そのため、輝
度分布は図３（ｂ）に示すように、網膜反射像中心部が
最大輝度、瞳孔部分が最小輝度となる。図３（ｂ）にお
いて、注目点を○印とすると、顔水平方向前後１０画素
が対象範囲となる。対象範囲よりそれぞれの最小輝度ｔ
ｅｍｐ２を求める。ただし、図３（ｂ）では、図の簡略
化のため前後ｔｅｍｐ２は同じ値としている。
【００１９】注目点がフィルタパスする条件は、注目点
前後対象範囲において、注目点輝度値ｔｅｍｐが ｔｅｍｐ２＋ｃｌｉｐ＜ｔｅｍｐ＜ｔｅｍｐ２＋ｔｈ＿
ｍａｘ かつ ｔｅｍｐ２＜ｖａｌｕｅｌ を満たすことである。ここで、ｃｌｉｐは注目点輝度の
下限を設定するオフセット値、ｔｈ＿ｍａｘは注目点輝
度の上限を設定するオフセット値である。ｖａｌｕｅｌ
は、対象範囲の最小輝度値の上限を設定する閾値であ
る。このフィルタパス条件の目的は、「網膜反射像は明
るく、網膜反射像の水平方向前後の範囲は瞳孔及び白目
輝度反転のため暗い」ことに着目して網膜反射像のみを
抽出することである。
前後対象範囲において、注目点輝度値ｔｅｍｐが ｔｅｍｐ２＋ｃｌｉｐ＜ｔｅｍｐ＜ｔｅｍｐ２＋ｔｈ＿
ｍａｘ かつ ｔｅｍｐ２＜ｖａｌｕｅｌ を満たすことである。ここで、ｃｌｉｐは注目点輝度の
下限を設定するオフセット値、ｔｈ＿ｍａｘは注目点輝
度の上限を設定するオフセット値である。ｖａｌｕｅｌ
は、対象範囲の最小輝度値の上限を設定する閾値であ
る。このフィルタパス条件の目的は、「網膜反射像は明
るく、網膜反射像の水平方向前後の範囲は瞳孔及び白目
輝度反転のため暗い」ことに着目して網膜反射像のみを
抽出することである。
【００２０】このように注目画素を１画素ずつ走査し、
１次元フィルタ処理を行う。ただし、対象範囲に含まれ
る画素はフィルタパスとは無関係で参照するだけであ
る。図２のステップＳ８において、注目点がフィルタパ
スした場合は、ステップＳ４において、注目点画素の２
値化画像メモリ５における座標の輝度値を書き換えるこ
とにより、フィルタ処理結果を２値化画像メモリ５に格
納する。例えば、２値化画像メモリ５の全画素を輝度値
０で初期化しておき、フィルタパスした画素を輝度値２
５５としておけば、輝度値を参照することでフィルタ処
理結果を得られる。ただし、カメラから原画像の輝度値
データが書き込まれた多値画像メモリ３は、参照のみで
書き換えは行わない。ここでは、フィルタ処理結果を輝
度２値で２値化画像メモリ５に格納したが、格納先が画
像メモリであれば、２値に限定することなく、フィルタ
パスの信憑性に応じて、輝度を３、４値で格納すること
も考えられる。ステップＳ９において、２値化画像メモ
リ５を走査し、ステップＳ８で抽出された隣接するフィ
ルタパス画素をまとめて一個の領域としてラベリングす
る。このとき、１〜２画素からなる孤立した画素は領域
として設定しないことにより、ノイズ除去を同時に行
う。
１次元フィルタ処理を行う。ただし、対象範囲に含まれ
る画素はフィルタパスとは無関係で参照するだけであ
る。図２のステップＳ８において、注目点がフィルタパ
スした場合は、ステップＳ４において、注目点画素の２
値化画像メモリ５における座標の輝度値を書き換えるこ
とにより、フィルタ処理結果を２値化画像メモリ５に格
納する。例えば、２値化画像メモリ５の全画素を輝度値
０で初期化しておき、フィルタパスした画素を輝度値２
５５としておけば、輝度値を参照することでフィルタ処
理結果を得られる。ただし、カメラから原画像の輝度値
データが書き込まれた多値画像メモリ３は、参照のみで
書き換えは行わない。ここでは、フィルタ処理結果を輝
度２値で２値化画像メモリ５に格納したが、格納先が画
像メモリであれば、２値に限定することなく、フィルタ
パスの信憑性に応じて、輝度を３、４値で格納すること
も考えられる。ステップＳ９において、２値化画像メモ
リ５を走査し、ステップＳ８で抽出された隣接するフィ
ルタパス画素をまとめて一個の領域としてラベリングす
る。このとき、１〜２画素からなる孤立した画素は領域
として設定しないことにより、ノイズ除去を同時に行
う。
【００２１】以下、ラベリングについて説明する。図４
は、ラベリングの様子を示したものである。Ｘ方向が顔
上下方向、Ｙ方向が顔水平方向を表す。２値化画像メモ
リ５の輝度値データを走査し、フィルタパス画素に当た
ると、Ａに示すように、テーブルｅｐ＿ｔｂｌｂ［１
２］で指定される参照領域内の既走査画素に既にラベリ
ングされた画素があるかを調べる。ラベリングされた領
域がなければ、Ｂに示すように、現在の注目画素に新規
に領域Ｎｏ．を設定する。図のようにラベリングされた
領域があれば、Ｃにて同じ領域Ｎｏ．を設定する。今回
は、輝度値の下位ビットを領域Ｎｏ．として書き換える
ことで、領域Ｎｏ．を格納した。また、今回のテーブル
ｅｐ＿ｔｂｌｂ［１２］は注目画素近傍１２画素を参照
するものだったが、既走査の範囲であれば、もっと大き
く設定してもかまわない。ただし、参照範囲が広がるほ
ど、近接領域との結合がなされ、領域数は減少する。図
２のステップＳ６の目２値化領域選択において、２値化
画像メモリ５の輝度値下位ビットで指定される領域Ｎ
ｏ．を参照し、目２値化領域を選択する。ステップＳ６
における目２値化領域の有無すなわち網膜反射像の有無
により、ステップＳ７の開閉判定処理において目の開閉
状態を判定する。
は、ラベリングの様子を示したものである。Ｘ方向が顔
上下方向、Ｙ方向が顔水平方向を表す。２値化画像メモ
リ５の輝度値データを走査し、フィルタパス画素に当た
ると、Ａに示すように、テーブルｅｐ＿ｔｂｌｂ［１
２］で指定される参照領域内の既走査画素に既にラベリ
ングされた画素があるかを調べる。ラベリングされた領
域がなければ、Ｂに示すように、現在の注目画素に新規
に領域Ｎｏ．を設定する。図のようにラベリングされた
領域があれば、Ｃにて同じ領域Ｎｏ．を設定する。今回
は、輝度値の下位ビットを領域Ｎｏ．として書き換える
ことで、領域Ｎｏ．を格納した。また、今回のテーブル
ｅｐ＿ｔｂｌｂ［１２］は注目画素近傍１２画素を参照
するものだったが、既走査の範囲であれば、もっと大き
く設定してもかまわない。ただし、参照範囲が広がるほ
ど、近接領域との結合がなされ、領域数は減少する。図
２のステップＳ６の目２値化領域選択において、２値化
画像メモリ５の輝度値下位ビットで指定される領域Ｎ
ｏ．を参照し、目２値化領域を選択する。ステップＳ６
における目２値化領域の有無すなわち網膜反射像の有無
により、ステップＳ７の開閉判定処理において目の開閉
状態を判定する。
【００２２】実施の形態１では、網膜反射像を抽出対象
とした夜間画像であったが、多値画像特徴抽出手段２３
の１次元抽出フィルタにおいて、輝度閾値条件を昼間の
画像に合わせて反転させれば、昼間の顔画像において夜
間の顔画像と同様の処理を行うことができる。
とした夜間画像であったが、多値画像特徴抽出手段２３
の１次元抽出フィルタにおいて、輝度閾値条件を昼間の
画像に合わせて反転させれば、昼間の顔画像において夜
間の顔画像と同様の処理を行うことができる。
【００２３】実施の形態２．実施の形態２は、実施の形
態１の多値画像特徴抽出手段２３の１次元フィルタ処理
において、専用ハードウェアを用いて注目点の水平方向
前後１０画素の対象範囲における最小輝度を求めること
でアルゴリズムを高速化することを目的とする。図５
は、この発明の実施の形態２による顔画像処理装置のフ
ィルタ処理を示す説明図であり、図５（ａ）は原画像、
図５（ｂ）は原画像の輝度分布、図５（ｃ）は専用ハー
ドウェアＰＬＤを示す図である。図において、１０、１
４、１５は図３におけるものと同一のものである。２５
はＰＬＤである。図６は、この発明の実施の形態２によ
る顔画像処理装置のフィルタ処理のアルゴリズムを示す
フローチャートである。
態１の多値画像特徴抽出手段２３の１次元フィルタ処理
において、専用ハードウェアを用いて注目点の水平方向
前後１０画素の対象範囲における最小輝度を求めること
でアルゴリズムを高速化することを目的とする。図５
は、この発明の実施の形態２による顔画像処理装置のフ
ィルタ処理を示す説明図であり、図５（ａ）は原画像、
図５（ｂ）は原画像の輝度分布、図５（ｃ）は専用ハー
ドウェアＰＬＤを示す図である。図において、１０、１
４、１５は図３におけるものと同一のものである。２５
はＰＬＤである。図６は、この発明の実施の形態２によ
る顔画像処理装置のフィルタ処理のアルゴリズムを示す
フローチャートである。
【００２４】次に動作について説明する。図５は、専用
ハードウェアＰＬＤ２５を備えた１次元抽出フィルタの
処理過程を示すもので、図５（ｃ）に示すようにＰＬＤ
２５への入力は１画素ずつ行う。０〜１０画素がＲＥＦ
ＤＡＴＡより順に入力された輝度値を表す。ＰＬＤ２５
内の処理は、２、４画素を比較して輝度値の小さいほう
を残し、同様に６、８画素を比較して輝度値の小さいほ
うを残すトーナメント方式により、８データ内の最小輝
度値を求め、ＭＭＤＡＴＡ８へ出力する。これは、１画
素おきの８画素中の最小輝度値であるが、１０画素中の
最小輝度値とみなす。また、０画素の輝度値をＲＥＦＤ
ＡＴＡＰへ出力する。次に、図５（ｂ）について説明す
る。注目点が図５（ｃ）における１０位置にあると考え
ると、ＰＬＤ出力ＭＭＤＡＴＡ８は、注目点の前対象範
囲における最小輝度値を表している。注目点は１０位置
にあるため、注目点輝度値は多値画像メモリより直接読
み出せる。このとき、注目点輝度値及び最小輝度値がフ
ィルタパス条件を満たすならば、フラグをセットしてお
き、注目点が０位置にきたときに参照する。注目点が図
５（ｃ）における０位置にあると考えると、ＰＬＤ出力
ＭＭＤＡＴＡ８は、注目点の後対象範囲における最小輝
度値を表している。このとき、注目点輝度値及び最小輝
度値がフィルタパス条件を満たし、かつフラグセットさ
れていれば、注目点はフィルタパス画素となる。したが
って、ＰＬＤ２５の最小輝度出力１個を２個の注目点に
対するそれぞれ前と後の対象範囲の最小輝度として参照
するため、アルゴリズムの高速化を計るものである。
ハードウェアＰＬＤ２５を備えた１次元抽出フィルタの
処理過程を示すもので、図５（ｃ）に示すようにＰＬＤ
２５への入力は１画素ずつ行う。０〜１０画素がＲＥＦ
ＤＡＴＡより順に入力された輝度値を表す。ＰＬＤ２５
内の処理は、２、４画素を比較して輝度値の小さいほう
を残し、同様に６、８画素を比較して輝度値の小さいほ
うを残すトーナメント方式により、８データ内の最小輝
度値を求め、ＭＭＤＡＴＡ８へ出力する。これは、１画
素おきの８画素中の最小輝度値であるが、１０画素中の
最小輝度値とみなす。また、０画素の輝度値をＲＥＦＤ
ＡＴＡＰへ出力する。次に、図５（ｂ）について説明す
る。注目点が図５（ｃ）における１０位置にあると考え
ると、ＰＬＤ出力ＭＭＤＡＴＡ８は、注目点の前対象範
囲における最小輝度値を表している。注目点は１０位置
にあるため、注目点輝度値は多値画像メモリより直接読
み出せる。このとき、注目点輝度値及び最小輝度値がフ
ィルタパス条件を満たすならば、フラグをセットしてお
き、注目点が０位置にきたときに参照する。注目点が図
５（ｃ）における０位置にあると考えると、ＰＬＤ出力
ＭＭＤＡＴＡ８は、注目点の後対象範囲における最小輝
度値を表している。このとき、注目点輝度値及び最小輝
度値がフィルタパス条件を満たし、かつフラグセットさ
れていれば、注目点はフィルタパス画素となる。したが
って、ＰＬＤ２５の最小輝度出力１個を２個の注目点に
対するそれぞれ前と後の対象範囲の最小輝度として参照
するため、アルゴリズムの高速化を計るものである。
【００２５】次に図６の１次元抽出フィルタのフローチ
ャートについて説明する。ステップＳ１０において、Ｐ
ＬＤ２５への入力としてＲＥＦＤＡＴＡ入力を１０画素
先行して行う。このため、多値画像メモリは処理結果を
格納する２値化画像メモリに対して、１０画素先行する
ことになる。注目点０位置と注目点１０位置のそれぞれ
の処理は、ステップＳ１１とステップＳ１６に相当す
る。ステップＳ１２において、ステップＳ１８で設定し
たフラグを参照し、フラグセットされていれば、ステッ
プＳ１３において、注目点０位置輝度値ＲＥＦＤＡＴＡ
Ｐ及び後対象範囲最小輝度値ＭＭＤＡＴＡ８がフィルタ
パス条件を満たせば、ステップＳ１４において２値化画
像メモリの輝度値を書き換えることで、処理結果を格納
する。ステップＳ１５において、多値画像メモリ及び２
値化画像メモリのアドレスをインクリメントする。ステ
ップＳ１７において、注目点１０位置輝度値ＲＥＦＤＡ
ＴＡ及び前対象範囲最小輝度値ＭＭＤＡＴＡ８がフィル
タパス条件を満たせば、ステップＳ１８においてフラグ
セットを行う。フィルタパス条件を満たさない場合は、
ステップＳ１９においてフラグをクリアする。ステップ
Ｓ２０において、多値画像メモリよりＰＬＤ２５へ入力
する輝度値をＲＥＦＤＡＴＡに入力し、ステップＳ１２
へ戻る。
ャートについて説明する。ステップＳ１０において、Ｐ
ＬＤ２５への入力としてＲＥＦＤＡＴＡ入力を１０画素
先行して行う。このため、多値画像メモリは処理結果を
格納する２値化画像メモリに対して、１０画素先行する
ことになる。注目点０位置と注目点１０位置のそれぞれ
の処理は、ステップＳ１１とステップＳ１６に相当す
る。ステップＳ１２において、ステップＳ１８で設定し
たフラグを参照し、フラグセットされていれば、ステッ
プＳ１３において、注目点０位置輝度値ＲＥＦＤＡＴＡ
Ｐ及び後対象範囲最小輝度値ＭＭＤＡＴＡ８がフィルタ
パス条件を満たせば、ステップＳ１４において２値化画
像メモリの輝度値を書き換えることで、処理結果を格納
する。ステップＳ１５において、多値画像メモリ及び２
値化画像メモリのアドレスをインクリメントする。ステ
ップＳ１７において、注目点１０位置輝度値ＲＥＦＤＡ
ＴＡ及び前対象範囲最小輝度値ＭＭＤＡＴＡ８がフィル
タパス条件を満たせば、ステップＳ１８においてフラグ
セットを行う。フィルタパス条件を満たさない場合は、
ステップＳ１９においてフラグをクリアする。ステップ
Ｓ２０において、多値画像メモリよりＰＬＤ２５へ入力
する輝度値をＲＥＦＤＡＴＡに入力し、ステップＳ１２
へ戻る。
【００２６】
【発明の効果】この発明は、以上説明したように構成さ
れているので、以下に示すような効果を奏する。マトリ
クス状に配置された多数の画素によって表示される多値
顔画像を入力する画像入力手段と、この画像入力手段に
よって入力された多値顔画像から２値化された目領域を
抽出する多値画像特徴抽出手段と、この多値画像特徴抽
出手段によって抽出された目領域から開閉眼の判定を行
う開閉判定手段を備えたので、目の開閉状態を正しく判
定できる。
れているので、以下に示すような効果を奏する。マトリ
クス状に配置された多数の画素によって表示される多値
顔画像を入力する画像入力手段と、この画像入力手段に
よって入力された多値顔画像から２値化された目領域を
抽出する多値画像特徴抽出手段と、この多値画像特徴抽
出手段によって抽出された目領域から開閉眼の判定を行
う開閉判定手段を備えたので、目の開閉状態を正しく判
定できる。
【００２７】また、マトリクス状に配置された多数の画
素によって表示される多値顔画像を入力する画像入力手
段と、この画像入力手段によって入力された多値顔画像
から目領域を抽出する多値画像特徴抽出手段と、この多
値画像特徴抽出手段によって抽出された目領域から開閉
眼の判定を行う開閉判定手段を備えたので、目の開閉状
態を正しく判定できる。また、多値画像特徴抽出手段
は、多値顔画像中の注目画素の輝度とこの注目画素周辺
の画素の輝度との相対的輝度分布に基づき注目画素を抽
出し、抽出された注目画素を用いて目領域を抽出するの
で、目領域を正確に抽出できる。
素によって表示される多値顔画像を入力する画像入力手
段と、この画像入力手段によって入力された多値顔画像
から目領域を抽出する多値画像特徴抽出手段と、この多
値画像特徴抽出手段によって抽出された目領域から開閉
眼の判定を行う開閉判定手段を備えたので、目の開閉状
態を正しく判定できる。また、多値画像特徴抽出手段
は、多値顔画像中の注目画素の輝度とこの注目画素周辺
の画素の輝度との相対的輝度分布に基づき注目画素を抽
出し、抽出された注目画素を用いて目領域を抽出するの
で、目領域を正確に抽出できる。
【００２８】さらに、抽出された注目画素を保存する抽
出画像保存手段を備え、多値画像特徴抽出手段による目
領域の抽出は、抽出画像保存手段に保存された注目画素
を用いて行われるので、効率的に目領域の抽出を行うこ
とができる。また、多値画像特徴抽出手段による注目画
素の抽出は、一方向の相対的輝度分布に基づき行われる
ので、処理速度を低減することができる。
出画像保存手段を備え、多値画像特徴抽出手段による目
領域の抽出は、抽出画像保存手段に保存された注目画素
を用いて行われるので、効率的に目領域の抽出を行うこ
とができる。また、多値画像特徴抽出手段による注目画
素の抽出は、一方向の相対的輝度分布に基づき行われる
ので、処理速度を低減することができる。
【００２９】また、一方向の相対的輝度分布は、顔水平
方向であるので、眉及びまぶたの影響を受けにくく誤抽
出が低減でき、一方向のみの１次元抽出フィルタを用い
るので、処理時間を低減できる。さらにまた、相対的輝
度分布に基づく注目画素の抽出は、専用ハードウエアに
よって行われるので、アルゴリズムの高速化を図ること
ができる。また、目領域は、網膜反射像を含むので、確
実に開閉を判定できる。
方向であるので、眉及びまぶたの影響を受けにくく誤抽
出が低減でき、一方向のみの１次元抽出フィルタを用い
るので、処理時間を低減できる。さらにまた、相対的輝
度分布に基づく注目画素の抽出は、専用ハードウエアに
よって行われるので、アルゴリズムの高速化を図ること
ができる。また、目領域は、網膜反射像を含むので、確
実に開閉を判定できる。
【図１】 この発明の実施の形態１による顔画像処理装
置を簡略化して示す構成図である。
置を簡略化して示す構成図である。
【図２】 この発明の実施の形態１による顔画像処理装
置の目抽出アルゴリズムを示すフローチャートである。
置の目抽出アルゴリズムを示すフローチャートである。
【図３】 この発明の実施の形態１による顔画像処理装
置の１次元フィルタ処理を示す説明図である。
置の１次元フィルタ処理を示す説明図である。
【図４】 この発明の実施の形態１による顔画像処理装
置のフィルタパス画素のラベリングの説明図である。
置のフィルタパス画素のラベリングの説明図である。
【図５】 この発明の実施の形態２による顔画像処理装
置のフィルタ処理を示す説明図である。
置のフィルタ処理を示す説明図である。
【図６】 この発明の実施の形態２による顔画像処理装
置のフィルタ処理のアルゴリズムを示すフローチャート
である。
置のフィルタ処理のアルゴリズムを示すフローチャート
である。
【図７】 従来の目状態検出装置を簡略化して示す構成
図である。
図である。
【図８】 従来の検出対象者の顔多値画像及び網膜反射
像２値化画像である。
像２値化画像である。
【図９】 従来の顔画像処理装置の目抽出アルゴリズム
を示すフローチャートである。
を示すフローチャートである。
【図１０】 従来のテンプレートマッチングを用いた運
転状態検出装置を簡略化して示す構成図である。
転状態検出装置を簡略化して示す構成図である。
【図１１】 従来の輝度分布を用いた車両上ドライバの
眼を監視する装置の目抽出を示す図である。
眼を監視する装置の目抽出を示す図である。
【図１２】 従来の検出対象者の網膜反射像を含む２値
化画像である。
化画像である。
【図１３】 従来の検出対象者の顔多値画像で、両目間
距離及び水平度の説明図である。
距離及び水平度の説明図である。
１ 検出対象者、 ２ カメラ、 ３ 多値画像メモ
リ、５ ２値化画像メモリ、 ７ 開閉判定手段、 ８
ＬＥＤ光源、９ ＬＥＤ駆動回路、 １０ 多値画
像、 １１ ２値化画像、１４ 網膜反射像、 １５
網膜反射像２値化領域、２３ 多値画像特徴抽出手段、
２５ ＰＬＤ。
リ、５ ２値化画像メモリ、 ７ 開閉判定手段、 ８
ＬＥＤ光源、９ ＬＥＤ駆動回路、 １０ 多値画
像、 １１ ２値化画像、１４ 網膜反射像、 １５
網膜反射像２値化領域、２３ 多値画像特徴抽出手段、
２５ ＰＬＤ。
Claims (8)
- 【請求項１】 マトリクス状に配置された多数の画素に
よって表示される多値顔画像を入力する画像入力手段、
この画像入力手段によって入力された多値顔画像から２
値化された目領域を抽出する多値画像特徴抽出手段、こ
の多値画像特徴抽出手段によって抽出された目領域から
開閉眼の判定を行う開閉判定手段を備えたことを特徴と
する顔画像処理装置。 - 【請求項２】 マトリクス状に配置された多数の画素に
よって表示される多値顔画像を入力する画像入力手段、
この画像入力手段によって入力された多値顔画像から目
領域を抽出する多値画像特徴抽出手段、この多値画像特
徴抽出手段によって抽出された目領域から開閉眼の判定
を行う開閉判定手段を備えたことを特徴とする顔画像処
理装置。 - 【請求項３】 多値画像特徴抽出手段は、多値顔画像中
の注目画素の輝度とこの注目画素周辺の画素の輝度との
相対的輝度分布に基づき注目画素を抽出し、抽出された
注目画素を用いて目領域を抽出することを特徴とする請
求項１または請求項２記載の顔画像処理装置。 - 【請求項４】 抽出された注目画素を保存する抽出画像
保存手段を備え、多値画像特徴抽出手段による目領域の
抽出は、上記抽出画像保存手段に保存された注目画素を
用いて行われることを特徴とする請求項３記載の顔画像
処理装置。 - 【請求項５】 多値画像特徴抽出手段による注目画素の
抽出は、一方向の相対的輝度分布に基づき行われること
を特徴とする請求項３または請求項４記載の顔画像処理
装置。 - 【請求項６】 一方向の相対的輝度分布は、顔水平方向
であることを特徴とする請求項５記載の顔画像処理装
置。 - 【請求項７】 相対的輝度分布に基づく注目画素の抽出
は、専用ハードウエアによって行われることを特徴とす
る請求項５または請求項６記載の顔画像処理装置。 - 【請求項８】 目領域は、網膜反射像を含むことを特徴
とする請求項１〜請求項７のいずれか一項記載の顔画像
処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14272199A JP3969894B2 (ja) | 1999-05-24 | 1999-05-24 | 顔画像処理装置 |
| US09/444,577 US6718050B1 (en) | 1999-05-24 | 1999-11-19 | Face-image processing apparatus |
| KR1020000003229A KR100362327B1 (ko) | 1999-05-24 | 2000-01-24 | 안화상 처리장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14272199A JP3969894B2 (ja) | 1999-05-24 | 1999-05-24 | 顔画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000331159A true JP2000331159A (ja) | 2000-11-30 |
| JP3969894B2 JP3969894B2 (ja) | 2007-09-05 |
Family
ID=15322044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14272199A Expired - Fee Related JP3969894B2 (ja) | 1999-05-24 | 1999-05-24 | 顔画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6718050B1 (ja) |
| JP (1) | JP3969894B2 (ja) |
| KR (1) | KR100362327B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008158922A (ja) * | 2006-12-26 | 2008-07-10 | Aisin Seiki Co Ltd | 瞼検出装置、瞼検出方法及びプログラム |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000259814A (ja) * | 1999-03-11 | 2000-09-22 | Toshiba Corp | 画像処理装置及びその方法 |
| EP1136937B1 (en) * | 2000-03-22 | 2006-05-10 | Kabushiki Kaisha Toshiba | Facial image forming recognition apparatus and a pass control apparatus |
| US6965684B2 (en) * | 2000-09-15 | 2005-11-15 | Canon Kabushiki Kaisha | Image processing methods and apparatus for detecting human eyes, human face, and other objects in an image |
| EP1288859A1 (de) * | 2001-09-03 | 2003-03-05 | Agfa-Gevaert AG | Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten |
| US7324246B2 (en) * | 2001-09-27 | 2008-01-29 | Fujifilm Corporation | Apparatus and method for image processing |
| US7110582B1 (en) * | 2001-11-09 | 2006-09-19 | Hay Sam H | Method for determining binocular balance and disorders of binocularity of an individual or clinical groups of individuals |
| US8064647B2 (en) | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
| US7593550B2 (en) * | 2005-01-26 | 2009-09-22 | Honeywell International Inc. | Distance iris recognition |
| JPWO2006030519A1 (ja) * | 2004-09-17 | 2008-05-08 | 三菱電機株式会社 | 顔認証装置及び顔認証方法 |
| JP4397414B2 (ja) * | 2005-02-17 | 2010-01-13 | 富士通株式会社 | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム |
| JP2006260397A (ja) * | 2005-03-18 | 2006-09-28 | Konica Minolta Holdings Inc | 開眼度推定装置 |
| US7423540B2 (en) * | 2005-12-23 | 2008-09-09 | Delphi Technologies, Inc. | Method of detecting vehicle-operator state |
| US8436907B2 (en) | 2008-05-09 | 2013-05-07 | Honeywell International Inc. | Heterogeneous video capturing system |
| US8630464B2 (en) | 2009-06-15 | 2014-01-14 | Honeywell International Inc. | Adaptive iris matching using database indexing |
| US8472681B2 (en) | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
| US8742887B2 (en) | 2010-09-03 | 2014-06-03 | Honeywell International Inc. | Biometric visitor check system |
| US10007845B2 (en) * | 2015-07-06 | 2018-06-26 | Pixart Imaging Inc. | Eye state detecting method and eye state detecting system |
| CN113422928B (zh) * | 2021-05-28 | 2022-02-18 | 佛山市诚智鑫信息科技有限公司 | 一种安全监控抓拍方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2522859B2 (ja) * | 1990-12-14 | 1996-08-07 | 日産自動車株式会社 | 眼位置検出装置 |
| JPH06348980A (ja) | 1993-06-14 | 1994-12-22 | Aisin Seiki Co Ltd | 車両上ドライバの眼を監視する装置 |
| US5471542A (en) * | 1993-09-27 | 1995-11-28 | Ragland; Richard R. | Point-of-gaze tracker |
| JPH08175218A (ja) | 1994-12-26 | 1996-07-09 | Toyota Motor Corp | 運転状態検出装置 |
| JP3452685B2 (ja) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
| JP3350296B2 (ja) * | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
| JPH09198508A (ja) | 1996-01-17 | 1997-07-31 | Mitsubishi Electric Corp | 目状態検出装置 |
| KR19990016896A (ko) * | 1997-08-20 | 1999-03-15 | 전주범 | 얼굴영상에서 눈영역 검출방법 |
-
1999
- 1999-05-24 JP JP14272199A patent/JP3969894B2/ja not_active Expired - Fee Related
- 1999-11-19 US US09/444,577 patent/US6718050B1/en not_active Expired - Fee Related
-
2000
- 2000-01-24 KR KR1020000003229A patent/KR100362327B1/ko not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008158922A (ja) * | 2006-12-26 | 2008-07-10 | Aisin Seiki Co Ltd | 瞼検出装置、瞼検出方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3969894B2 (ja) | 2007-09-05 |
| US6718050B1 (en) | 2004-04-06 |
| KR20000076514A (ko) | 2000-12-26 |
| KR100362327B1 (ko) | 2002-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3969894B2 (ja) | 顔画像処理装置 | |
| US7746385B2 (en) | Red-eye filter method and apparatus | |
| JP4004634B2 (ja) | 顔映像の目位置検出装置及び方法 | |
| JP4895797B2 (ja) | 瞼検出装置、瞼検出方法及びプログラム | |
| JP4845698B2 (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
| US6606397B1 (en) | Face image processing apparatus for extraction of an eye image based on the position of the naris | |
| JP3143819B2 (ja) | まぶたの開度検出装置 | |
| JPH0944685A (ja) | 顔画像処理装置 | |
| EP1774466A1 (en) | Image processing method and apparatus, image sensing apparatus, and program | |
| JPH11328364A (ja) | 領域推定装置及び表示処理装置 | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| JPH09282452A (ja) | 監視装置 | |
| US11037266B2 (en) | Attached substance detection device and attached substance detection method | |
| JP5018652B2 (ja) | 物体存在判定装置 | |
| JP3294468B2 (ja) | 映像監視装置における物体検出方法 | |
| JP3671460B2 (ja) | ランプ点灯検出方法およびストップランプ点灯検出装置 | |
| JP5128454B2 (ja) | 瞼検出装置、瞼検出方法及びプログラム | |
| JP3057996B2 (ja) | 車両運転者の眼球位置検出装置 | |
| JP2004110543A (ja) | 顔画像処理装置及びプログラム | |
| JPH08167023A (ja) | 道路白線検出装置 | |
| JPH09331519A (ja) | 自動監視装置 | |
| JP3500891B2 (ja) | 居眠り状態検出装置 | |
| JP2004072415A (ja) | 侵入物検出装置 | |
| JPH07101265A (ja) | 運転状態検出装置 | |
| JP2000194831A (ja) | 標識領域画像抽出方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20020225 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20020225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050208 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070605 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120615 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |