JP2000339457A - 顔画像処理装置 - Google Patents
顔画像処理装置Info
- Publication number
- JP2000339457A JP2000339457A JP11145097A JP14509799A JP2000339457A JP 2000339457 A JP2000339457 A JP 2000339457A JP 11145097 A JP11145097 A JP 11145097A JP 14509799 A JP14509799 A JP 14509799A JP 2000339457 A JP2000339457 A JP 2000339457A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- binarized
- region
- image
- nostril
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1103—Detecting muscular movement of the eye, e.g. eyelid movement
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6821—Eye
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 目抽出時の誤抽出を防止し、目領域２次元形
状による開閉判定の信頼性を向上できる顔画像処理装置
を得る。 【解決手段】 検出対象者１の顔画像を入力とするカメ
ラ２と、カメラ２より得られた濃淡画像を一時的に保存
する多値画像メモリ３と、多値画像メモリ３より出力さ
れる濃淡画像を２値化する２値化手段４と、２値化手段
４より得られた２値化画像を一時的に保存する２値化画
像メモリ５と、２値化画像メモリ５より出力される２値
化画像から鼻孔２値化領域を抽出し、２値化画像メモリ
５より出力される２値化画像から鼻孔２値化領域を基準
点として目２値化領域を抽出する特徴抽出手段６Ａと、
目２値化領域の形状特徴より目の開閉状態を判定する開
閉判定手段７Ａとを備える。
状による開閉判定の信頼性を向上できる顔画像処理装置
を得る。 【解決手段】 検出対象者１の顔画像を入力とするカメ
ラ２と、カメラ２より得られた濃淡画像を一時的に保存
する多値画像メモリ３と、多値画像メモリ３より出力さ
れる濃淡画像を２値化する２値化手段４と、２値化手段
４より得られた２値化画像を一時的に保存する２値化画
像メモリ５と、２値化画像メモリ５より出力される２値
化画像から鼻孔２値化領域を抽出し、２値化画像メモリ
５より出力される２値化画像から鼻孔２値化領域を基準
点として目２値化領域を抽出する特徴抽出手段６Ａと、
目２値化領域の形状特徴より目の開閉状態を判定する開
閉判定手段７Ａとを備える。
Description
【０００１】
【発明の属する技術分野】この発明は、画像処理によっ
て、まず比較的抽出の容易な鼻孔領域を抽出してから鼻
孔位置を基準に目位置を推定して目領域を抽出し、この
目領域の形状特徴より目の開閉状態を判定するまばたき
検出のための顔画像処理装置に関するものである。
て、まず比較的抽出の容易な鼻孔領域を抽出してから鼻
孔位置を基準に目位置を推定して目領域を抽出し、この
目領域の形状特徴より目の開閉状態を判定するまばたき
検出のための顔画像処理装置に関するものである。
【０００２】
【従来の技術】従来の顔画像処理装置としては、例え
ば、特開平８−３００９７８号公報に記載されたような
ものがある。これは、２値化画像において目・鼻孔領域
抽出および開閉判定を行うことを特徴とする顔画像処理
装置である。図９は、特開平８−３００９７８号公報に
示された顔画像処理装置を簡略的に示す構成図である。
図において、検出対象者１を撮影する画像入力手段とし
てのカメラ２から取り込まれた多値画像は多値画像保存
手段としての多値画像メモリ３に一時記憶され、２値化
手段４により２値化され２値化画像保存手段としての２
値化画像メモリ５に一時記憶される。特徴抽出手段６に
より、目・鼻孔２値化領域を抽出し、目の形状特徴を基
に開閉判定手段７により目の開閉状態を判定する。
ば、特開平８−３００９７８号公報に記載されたような
ものがある。これは、２値化画像において目・鼻孔領域
抽出および開閉判定を行うことを特徴とする顔画像処理
装置である。図９は、特開平８−３００９７８号公報に
示された顔画像処理装置を簡略的に示す構成図である。
図において、検出対象者１を撮影する画像入力手段とし
てのカメラ２から取り込まれた多値画像は多値画像保存
手段としての多値画像メモリ３に一時記憶され、２値化
手段４により２値化され２値化画像保存手段としての２
値化画像メモリ５に一時記憶される。特徴抽出手段６に
より、目・鼻孔２値化領域を抽出し、目の形状特徴を基
に開閉判定手段７により目の開閉状態を判定する。
【０００３】次に、動作について、図１０〜図１２を参
照して説明する。図１０は、図９の顔画像処理装置の目
追跡アルゴリズムを示すフローチャートである。図にお
いて、カメラ２による顔画像撮影にて検出対象者１の多
値画像を得る（ステップＳ１）。ここでは、カメラ制御
の処理も含まれる。ステップＳ１で得られた多値画像を
ステップＳ２において１フレームごとに多値画像メモリ
３に一時記憶する。ステップＳ２で得られた多値画像を
２値化手段４で２値化し（ステップＳ３）、１フレーム
毎に２値化画像メモリ５に一時記憶する（ステップＳ
４）。
照して説明する。図１０は、図９の顔画像処理装置の目
追跡アルゴリズムを示すフローチャートである。図にお
いて、カメラ２による顔画像撮影にて検出対象者１の多
値画像を得る（ステップＳ１）。ここでは、カメラ制御
の処理も含まれる。ステップＳ１で得られた多値画像を
ステップＳ２において１フレームごとに多値画像メモリ
３に一時記憶する。ステップＳ２で得られた多値画像を
２値化手段４で２値化し（ステップＳ３）、１フレーム
毎に２値化画像メモリ５に一時記憶する（ステップＳ
４）。
【０００４】次いで、２値化画像メモリ５より出力され
る２値化画像に対し、特徴抽出手段６にて鼻孔を抽出し
（ステップＳ５）、鼻孔位置を基準に顔の配置条件から
両目領域を推定して目候補領域を設定する（ステップＳ
６）。次いで、ステップＳ７において、目候補領域より
目領域を選択するが、目候補領域を選択する条件として
形状特徴，前画面位置からの差分を用いる。初回の抽出
以降は鼻孔・目とも前画面位置を基準に位置推定を行
い、通常は鼻孔位置基準に目位置を抽出するが、鼻孔未
抽出の場合は目位置より補完する。そして、ステップＳ
７で、目２値化領域が選択されていれば開閉判定手段７
により開閉判定を行い（ステップＳ８）、ステップＳ１
に戻る。
る２値化画像に対し、特徴抽出手段６にて鼻孔を抽出し
（ステップＳ５）、鼻孔位置を基準に顔の配置条件から
両目領域を推定して目候補領域を設定する（ステップＳ
６）。次いで、ステップＳ７において、目候補領域より
目領域を選択するが、目候補領域を選択する条件として
形状特徴，前画面位置からの差分を用いる。初回の抽出
以降は鼻孔・目とも前画面位置を基準に位置推定を行
い、通常は鼻孔位置基準に目位置を抽出するが、鼻孔未
抽出の場合は目位置より補完する。そして、ステップＳ
７で、目２値化領域が選択されていれば開閉判定手段７
により開閉判定を行い（ステップＳ８）、ステップＳ１
に戻る。
【０００５】図１１は、上記ステップＳ７における目２
値化領域選択におけるまゆ誤抽出の例である。検出対象
者１の照明状態や２値化閾値が適正値を大幅に上回って
いるときにこのような目２値化領域の一部が欠如するこ
とが多く、目・まゆとも目候補２値化領域１６に含まれ
ると、形状の近いまゆを誤抽出することがある。また、
一旦まゆを誤抽出すると、鼻孔２値化領域１２との相対
位置関係が目と近いため追跡が安定してしまい、目追跡
への復帰が困難となる。
値化領域選択におけるまゆ誤抽出の例である。検出対象
者１の照明状態や２値化閾値が適正値を大幅に上回って
いるときにこのような目２値化領域の一部が欠如するこ
とが多く、目・まゆとも目候補２値化領域１６に含まれ
ると、形状の近いまゆを誤抽出することがある。また、
一旦まゆを誤抽出すると、鼻孔２値化領域１２との相対
位置関係が目と近いため追跡が安定してしまい、目追跡
への復帰が困難となる。
【０００６】図１１とは逆に２値化閾値が適正値を下回
っているとき、左目の目尻陰部分が目２値化領域に含ま
れ場合もある（図７（ｂ）参照）。開閉判定手段７にお
ける開閉判定目切り出し領域１５は目重心位置１１を基
準に設定されるため、不要な２値化領域が含まれると本
来の目領域からはずれて設定されてしまい、正しい開閉
判定ができない。
っているとき、左目の目尻陰部分が目２値化領域に含ま
れ場合もある（図７（ｂ）参照）。開閉判定手段７にお
ける開閉判定目切り出し領域１５は目重心位置１１を基
準に設定されるため、不要な２値化領域が含まれると本
来の目領域からはずれて設定されてしまい、正しい開閉
判定ができない。
【０００７】図１２は、図１０のステップＳ８における
開閉判定の具体的な動作を示すフローチャートである。
ステップＳ７で選択された目２値化領域に対し、ステッ
プＳ１０において重心位置を設定する。ステップＳ１１
において、目重心位置を基準として顔水平方向左右均等
に開閉判定のための目領域切り出しを行う。ステップＳ
１２において、開閉判定目切り出し領域内の目２値化領
域に対して目尻形状の特徴抽出を行い、目評価関数値と
する。ステップＳ１３において、目評価関数値と開閉閾
値を比較し、その結果に応じてステップＳ１４において
開判定、ステップＳ１５において閉眼判定に至る。閉眼
判定の場合は、ステップＳ１６において閉眼時間をカウ
ントする。
開閉判定の具体的な動作を示すフローチャートである。
ステップＳ７で選択された目２値化領域に対し、ステッ
プＳ１０において重心位置を設定する。ステップＳ１１
において、目重心位置を基準として顔水平方向左右均等
に開閉判定のための目領域切り出しを行う。ステップＳ
１２において、開閉判定目切り出し領域内の目２値化領
域に対して目尻形状の特徴抽出を行い、目評価関数値と
する。ステップＳ１３において、目評価関数値と開閉閾
値を比較し、その結果に応じてステップＳ１４において
開判定、ステップＳ１５において閉眼判定に至る。閉眼
判定の場合は、ステップＳ１６において閉眼時間をカウ
ントする。
【０００８】また、テンプレートを用いた従来の顔画像
処理装置としては、例えば、特開平８−１７５２１８号
公報に記載されたようなものがある。これは、撮像され
た画像に対して予め設定されている標準顔テンプレート
を上下左右に順次移動させて相関演算を行い、その検出
対象者用の対象テンプレートを作成するテンプレート作
成手段と、上記対象テンプレートを用いて相関演算を行
い、検出対象者の目領域を検出する目領域検出手段を有
することを特徴とする顔画像処理装置である。図１３
は、特開平８−１７５２１８号公報に示された顔画像処
理装置を簡略的に示す構成図である。
処理装置としては、例えば、特開平８−１７５２１８号
公報に記載されたようなものがある。これは、撮像され
た画像に対して予め設定されている標準顔テンプレート
を上下左右に順次移動させて相関演算を行い、その検出
対象者用の対象テンプレートを作成するテンプレート作
成手段と、上記対象テンプレートを用いて相関演算を行
い、検出対象者の目領域を検出する目領域検出手段を有
することを特徴とする顔画像処理装置である。図１３
は、特開平８−１７５２１８号公報に示された顔画像処
理装置を簡略的に示す構成図である。
【０００９】図において、検出対象者１を撮影するカメ
ラ２に画像処理装置３１が接続されており、検出対象者
１の顔画像を画像処理装置３１に供給する。画像処理装
置３１にはＡ／Ｄ変換器、正規化回路および相関演算回
路を備えており、入力された画像信号をディジタル信号
に変換し、さらに濃淡正規化処理を行う。画像処理装置
３１には、メモリ３２が接続されている。メモリ３２に
は標準テンプレートおよび目・まゆなどの顔要素の配置
データが予め格納されている。画像処理装置３１はさら
にＥＣＵ（電子制御装置）３３に接続されており、処理
結果をＥＣＵ３３に供給する。ＥＣＵ３３は、処理結果
から検出対象者の運転状態を判別し、警報装置３４に制
御信号を出力して警報を発する構成である。
ラ２に画像処理装置３１が接続されており、検出対象者
１の顔画像を画像処理装置３１に供給する。画像処理装
置３１にはＡ／Ｄ変換器、正規化回路および相関演算回
路を備えており、入力された画像信号をディジタル信号
に変換し、さらに濃淡正規化処理を行う。画像処理装置
３１には、メモリ３２が接続されている。メモリ３２に
は標準テンプレートおよび目・まゆなどの顔要素の配置
データが予め格納されている。画像処理装置３１はさら
にＥＣＵ（電子制御装置）３３に接続されており、処理
結果をＥＣＵ３３に供給する。ＥＣＵ３３は、処理結果
から検出対象者の運転状態を判別し、警報装置３４に制
御信号を出力して警報を発する構成である。
【００１０】
【発明が解決しようとする課題】ところで、上述の特開
平８−３００９７８号公報に示された従来の顔画像処理
装置では、以下のような問題点があった。即ち、２値化
手段において多値画像を２値化して画像処理を行ってい
たため、多値画像の濃淡情報を破棄していた。そのた
め、目・鼻孔の形状特徴を正しく認識するには撮影され
た検出対象者の顔画像の明るさに応じて一画面毎に２値
化閾値を制御しなければならず、この２値化閾値により
特徴抽出結果が大きく左右されるものとなっていた。
平８−３００９７８号公報に示された従来の顔画像処理
装置では、以下のような問題点があった。即ち、２値化
手段において多値画像を２値化して画像処理を行ってい
たため、多値画像の濃淡情報を破棄していた。そのた
め、目・鼻孔の形状特徴を正しく認識するには撮影され
た検出対象者の顔画像の明るさに応じて一画面毎に２値
化閾値を制御しなければならず、この２値化閾値により
特徴抽出結果が大きく左右されるものとなっていた。
【００１１】また、２値化形状特徴は２値化閾値により
左右されるため不安定である。例えば、鼻孔抽出から目
抽出に移行するまでの間に顔全体の明るさが変化あるい
は顔の向きが変化する場合や、顔の部位により明るさが
異なり、鼻孔抽出には適当な２値化閾値であっても目抽
出には不適当な２値化閾値である場合には、一画面毎に
一意的な２値化閾値で生成される２値化画像から同時に
目・鼻それぞれの形状を２値化領域として正しく抽出す
ることは不可能であった。特に、目２値化領域の形状が
崩れると、まゆを誤抽出したり、また目抽出が正しく行
われても開閉判定が正しく行われないことがあった。
左右されるため不安定である。例えば、鼻孔抽出から目
抽出に移行するまでの間に顔全体の明るさが変化あるい
は顔の向きが変化する場合や、顔の部位により明るさが
異なり、鼻孔抽出には適当な２値化閾値であっても目抽
出には不適当な２値化閾値である場合には、一画面毎に
一意的な２値化閾値で生成される２値化画像から同時に
目・鼻それぞれの形状を２値化領域として正しく抽出す
ることは不可能であった。特に、目２値化領域の形状が
崩れると、まゆを誤抽出したり、また目抽出が正しく行
われても開閉判定が正しく行われないことがあった。
【００１２】つまり、検出対象者の照明状態や２値化閾
値が適正値を大幅に上回っているときにこのような目２
値化領域の一部が欠如することが多く、目・まゆとも目
候補２値化領域に含まれると、形状の近いまゆを誤抽出
することがある。また、一旦まゆを誤抽出すると、鼻孔
２値化領域との相対位置関係が目と近いため追跡が安定
してしまい、目追跡への復帰が困難になるという問題が
あった。
値が適正値を大幅に上回っているときにこのような目２
値化領域の一部が欠如することが多く、目・まゆとも目
候補２値化領域に含まれると、形状の近いまゆを誤抽出
することがある。また、一旦まゆを誤抽出すると、鼻孔
２値化領域との相対位置関係が目と近いため追跡が安定
してしまい、目追跡への復帰が困難になるという問題が
あった。
【００１３】また、開閉判定手段における開閉判定目切
り出し領域は目重心位置を基準に設定されるため、不要
な２値化領域が含まれると本来の目領域からはずれて設
定されてしまい、正しい開閉判定ができないといった問
題があった。
り出し領域は目重心位置を基準に設定されるため、不要
な２値化領域が含まれると本来の目領域からはずれて設
定されてしまい、正しい開閉判定ができないといった問
題があった。
【００１４】一方、上述の特開平８−１７５２１８号公
報に示された従来の顔画像処理装置では、顔が上下方向
に動いても目とまゆの上下方向の位置関係は不変である
ので、対象目近傍領域を用いて目近傍領域が検出される
と、その内の上方の黒色部分はまゆ、下方の黒色部分は
目であるというように、目領域を確実に特定できる。し
かしながら、顔の動きを考慮すると画像に対して広い範
囲を走査してテンプレートマッチングを行わなければな
らず、相関演算の処理時間増大を招くという問題点があ
った。
報に示された従来の顔画像処理装置では、顔が上下方向
に動いても目とまゆの上下方向の位置関係は不変である
ので、対象目近傍領域を用いて目近傍領域が検出される
と、その内の上方の黒色部分はまゆ、下方の黒色部分は
目であるというように、目領域を確実に特定できる。し
かしながら、顔の動きを考慮すると画像に対して広い範
囲を走査してテンプレートマッチングを行わなければな
らず、相関演算の処理時間増大を招くという問題点があ
った。
【００１５】この発明は、このような問題点を解消する
ためになされたものであって、目抽出時の誤抽出を防止
し、目領域２次元形状による開閉判定の信頼性を向上で
き、しかも、迅速に開閉判定を行うことができる顔画像
処理装置を得ることを目的とする。
ためになされたものであって、目抽出時の誤抽出を防止
し、目領域２次元形状による開閉判定の信頼性を向上で
き、しかも、迅速に開閉判定を行うことができる顔画像
処理装置を得ることを目的とする。
【００１６】
【課題を解決するための手段】請求項１の発明に係る顔
画像処理装置は、検出対象者の顔画像を入力とする画像
入力手段と、該画像入力手段より得られた濃淡画像を一
時的に保存する多値画像保存手段と、該多値画像保存手
段より出力される濃淡画像を２値化する２値化手段と、
該２値化手段より得られた２値化画像を一時的に保存す
る２値化画像保存手段と、該２値化画像保存手段より出
力される２値化画像から鼻孔領域を抽出し、該鼻孔領域
に基づいて目領域を抽出する特徴抽出手段と、該特徴抽
出手段により得られた目領域の形状特徴より目の開閉状
態を判定する開閉判定手段とを備えたものである。
画像処理装置は、検出対象者の顔画像を入力とする画像
入力手段と、該画像入力手段より得られた濃淡画像を一
時的に保存する多値画像保存手段と、該多値画像保存手
段より出力される濃淡画像を２値化する２値化手段と、
該２値化手段より得られた２値化画像を一時的に保存す
る２値化画像保存手段と、該２値化画像保存手段より出
力される２値化画像から鼻孔領域を抽出し、該鼻孔領域
に基づいて目領域を抽出する特徴抽出手段と、該特徴抽
出手段により得られた目領域の形状特徴より目の開閉状
態を判定する開閉判定手段とを備えたものである。
【００１７】請求項２の発明に係る顔画像処理装置は、
請求項１の発明において、前記特徴抽出手段は、前記２
値化画像保存手段より出力される２値化画像から鼻孔２
値化領域を抽出する鼻孔領域抽出手段と、前記２値化画
像保存手段より出力される２値化画像から前記鼻孔領域
抽出手段により抽出される鼻孔２値化領域を基準点とし
て目２値化領域を抽出する目領域抽出手段とを含むもの
である。
請求項１の発明において、前記特徴抽出手段は、前記２
値化画像保存手段より出力される２値化画像から鼻孔２
値化領域を抽出する鼻孔領域抽出手段と、前記２値化画
像保存手段より出力される２値化画像から前記鼻孔領域
抽出手段により抽出される鼻孔２値化領域を基準点とし
て目２値化領域を抽出する目領域抽出手段とを含むもの
である。
【００１８】請求項３の発明に係る顔画像処理装置は、
請求項２の発明において、前記目領域抽出手段は、前記
鼻孔領域抽出手段により抽出された鼻孔２値化領域と前
回目抽出時の目２値化領域との偏差を目抽出時における
目候補画素の重みとして用いるものである。
請求項２の発明において、前記目領域抽出手段は、前記
鼻孔領域抽出手段により抽出された鼻孔２値化領域と前
回目抽出時の目２値化領域との偏差を目抽出時における
目候補画素の重みとして用いるものである。
【００１９】請求項４の発明に係る顔画像処理装置は、
請求項１〜３のいずれかの発明において、前記開閉判定
手段は、開閉判定のために目領域を切り出す基準となる
目重心位置設定時に、鼻孔偏差により重み付けされた目
領域画素を用いるものである。
請求項１〜３のいずれかの発明において、前記開閉判定
手段は、開閉判定のために目領域を切り出す基準となる
目重心位置設定時に、鼻孔偏差により重み付けされた目
領域画素を用いるものである。
【００２０】
【発明の実施の形態】以下、この発明の実施の形態を、
図を参照して説明する。 実施の形態１．図１はこの発明の実施の形態１を示す構
成図である。なお、図１において、図９と対応する部分
には同一符号を付し、その重複説明を省略する。図にお
いて、特徴抽出手段６Ａにより、目・鼻孔２値化領域を
抽出し、目の形状特徴を基に開閉判定手段７Ａにより目
の開閉状態を判定する。特徴抽出手段６Ａおよび開閉判
定手段７Ａはマイクロコンピュータなどによりソフトウ
エア的に実行されるものであり、この部分のアルゴリズ
ムが従来例と異なる。また、特徴抽出手段６Ａは、２値
化画像メモリ５より出力される２値化画像から鼻孔２値
化領域を抽出する鼻孔領域抽出手段と、２値化画像メモ
リ５より出力される２値化画像から鼻孔領域抽出手段に
より抽出される鼻孔２値化領域を基準点として目２値化
領域を抽出する目領域抽出手段とを含む。
図を参照して説明する。 実施の形態１．図１はこの発明の実施の形態１を示す構
成図である。なお、図１において、図９と対応する部分
には同一符号を付し、その重複説明を省略する。図にお
いて、特徴抽出手段６Ａにより、目・鼻孔２値化領域を
抽出し、目の形状特徴を基に開閉判定手段７Ａにより目
の開閉状態を判定する。特徴抽出手段６Ａおよび開閉判
定手段７Ａはマイクロコンピュータなどによりソフトウ
エア的に実行されるものであり、この部分のアルゴリズ
ムが従来例と異なる。また、特徴抽出手段６Ａは、２値
化画像メモリ５より出力される２値化画像から鼻孔２値
化領域を抽出する鼻孔領域抽出手段と、２値化画像メモ
リ５より出力される２値化画像から鼻孔領域抽出手段に
より抽出される鼻孔２値化領域を基準点として目２値化
領域を抽出する目領域抽出手段とを含む。
【００２１】次に動作について、図２〜図８を参照して
説明する。図２は、本実施の形態における目追跡アルゴ
リズムを示すフローチャートである。従来例と異なり、
ステップＳ９において目候補領域からの目領域選択にお
いて前回目抽出時の目・鼻孔間偏差を用いて目候補領域
を構成する各画素に重み付けを行うことで、実質的に各
目候補領域の信憑性を加味して目領域を選択するもので
ある。また、ステップＳ８の開閉判定処理における目２
値化領域の目重心位置決定にも重み付け画素を用いる。
説明する。図２は、本実施の形態における目追跡アルゴ
リズムを示すフローチャートである。従来例と異なり、
ステップＳ９において目候補領域からの目領域選択にお
いて前回目抽出時の目・鼻孔間偏差を用いて目候補領域
を構成する各画素に重み付けを行うことで、実質的に各
目候補領域の信憑性を加味して目領域を選択するもので
ある。また、ステップＳ８の開閉判定処理における目２
値化領域の目重心位置決定にも重み付け画素を用いる。
【００２２】以下、図２のフローチャートについて説明
する。顔画像撮影（ステップＳ１）、多値画像メモリ取
り込み（ステップＳ２）、２値化処理（ステップＳ
３）、２値化画像メモリ取り込み（ステップＳ４）、鼻
孔２値化領域選択（ステップＳ５）、目候補２値化領域
設定（ステップＳ６）、目２値化領域選択（ステップＳ
７）は従来例と同じであるので、その説明を省略す
る。。
する。顔画像撮影（ステップＳ１）、多値画像メモリ取
り込み（ステップＳ２）、２値化処理（ステップＳ
３）、２値化画像メモリ取り込み（ステップＳ４）、鼻
孔２値化領域選択（ステップＳ５）、目候補２値化領域
設定（ステップＳ６）、目２値化領域選択（ステップＳ
７）は従来例と同じであるので、その説明を省略す
る。。
【００２３】ステップＳ６にて設定した目候補２値化領
域に対して、ステップＳ９において目候補２値化領域を
構成する画素に鼻孔位置と前回目抽出位置との偏差によ
り重み付けを行う。
域に対して、ステップＳ９において目候補２値化領域を
構成する画素に鼻孔位置と前回目抽出位置との偏差によ
り重み付けを行う。
【００２４】図３は、顔２値化画像における鼻孔重心位
置１０から前回抽出時の目重心位置１１までの偏差を示
す。
置１０から前回抽出時の目重心位置１１までの偏差を示
す。
【００２５】図４は、図３に示した鼻孔からの偏差を用
いた重み付けの様子を示す。同図（ｂ）は（ａ）の目２
値化領域１３に対して画素毎に鼻孔位置からの偏差によ
り重み付けを行ったものである。重みは鼻孔偏差最小の
ものが最も大きく、ＡでＡ＞Ｂ＞Ｃ＞・・・の順で下が
っていくものとする。
いた重み付けの様子を示す。同図（ｂ）は（ａ）の目２
値化領域１３に対して画素毎に鼻孔位置からの偏差によ
り重み付けを行ったものである。重みは鼻孔偏差最小の
ものが最も大きく、ＡでＡ＞Ｂ＞Ｃ＞・・・の順で下が
っていくものとする。
【００２６】図４のように、重み付けされた目候補領域
１４より、形状特徴および重みなどから目２値化領域１
３を選択する。また、選択された目２値化領域１３の重
心位置は、重み付け画素により求めるものとする。
１４より、形状特徴および重みなどから目２値化領域１
３を選択する。また、選択された目２値化領域１３の重
心位置は、重み付け画素により求めるものとする。
【００２７】図５は、上述の図１１における目２値化領
域に鼻孔偏差による重み付けを行ったものである。基準
位置である鼻孔位置との相対位置関係を画素単位で目抽
出アルゴリズムに反映できるため、目領域の形状が崩れ
たり画素数が少ない場合でも、目としての信憑性は高く
なり、図１１のような誤抽出が抑制される。
域に鼻孔偏差による重み付けを行ったものである。基準
位置である鼻孔位置との相対位置関係を画素単位で目抽
出アルゴリズムに反映できるため、目領域の形状が崩れ
たり画素数が少ない場合でも、目としての信憑性は高く
なり、図１１のような誤抽出が抑制される。
【００２８】図６は、目領域として選択された２値化領
域１３における開閉判定目切り出し領域１５を示す。目
２値化領域１３の目重心位置１１を中心に顔水平方向左
右均等の一定範囲を開閉判定に関する開閉判定目切り出
し領域１５として切り出す。同図（ａ）が開状態を表
し、（ｂ）が閉眼状態を表す。この開閉判定目切り出し
領域１５内の目２値化領域形状特徴の変化、例えば目尻
の傾きなどに着目して目の開閉状態を判定する。
域１３における開閉判定目切り出し領域１５を示す。目
２値化領域１３の目重心位置１１を中心に顔水平方向左
右均等の一定範囲を開閉判定に関する開閉判定目切り出
し領域１５として切り出す。同図（ａ）が開状態を表
し、（ｂ）が閉眼状態を表す。この開閉判定目切り出し
領域１５内の目２値化領域形状特徴の変化、例えば目尻
の傾きなどに着目して目の開閉状態を判定する。
【００２９】図７（ａ）は、目２値化領域１３に対する
目重心位置１１および開閉判定目切り出し領域１５を示
す。同図７（ｂ），（ｃ）は、目尻の陰を含んで２値化
された場合の目２値化領域を示し、同図（ｂ）は鼻孔偏
差による重み付けがない場合の目重心位置であり、同図
（ｃ）は鼻孔偏差による重み付けがある場合の目重心位
置である。
目重心位置１１および開閉判定目切り出し領域１５を示
す。同図７（ｂ），（ｃ）は、目尻の陰を含んで２値化
された場合の目２値化領域を示し、同図（ｂ）は鼻孔偏
差による重み付けがない場合の目重心位置であり、同図
（ｃ）は鼻孔偏差による重み付けがある場合の目重心位
置である。
【００３０】同図（ｂ）では、目２値化領域１３に目尻
陰２値化領域１７を含むため、目重心位置１１が本来の
目の重心位置とかけ離れたところに設定されている。そ
のため、開閉判定目切り出し領域１５が目尻寄りに設定
され、形状特徴を用いた開閉判定が正しく行われない恐
れがある。
陰２値化領域１７を含むため、目重心位置１１が本来の
目の重心位置とかけ離れたところに設定されている。そ
のため、開閉判定目切り出し領域１５が目尻寄りに設定
され、形状特徴を用いた開閉判定が正しく行われない恐
れがある。
【００３１】同図（ｃ）では、目尻陰２値化領域１７を
構成する画素は、図８に示すように鼻孔偏差による重み
付けにより重みが低く設定されるため、重み付き画素に
よる目重心位置１１は本来の目の位置に設定される。し
たがって、開閉判定目切り出し領域１５が適正に設定さ
れるため、開閉状態を正しく判定できるものである。
構成する画素は、図８に示すように鼻孔偏差による重み
付けにより重みが低く設定されるため、重み付き画素に
よる目重心位置１１は本来の目の位置に設定される。し
たがって、開閉判定目切り出し領域１５が適正に設定さ
れるため、開閉状態を正しく判定できるものである。
【００３２】なお、本実施の形態では、２値化画像を対
象に重み付け画素を用いたが、多値画像に対しても同様
の効果を期待できるものである。
象に重み付け画素を用いたが、多値画像に対しても同様
の効果を期待できるものである。
【００３３】
【発明の効果】以上のように、請求項１の発明によれ
ば、検出対象者の顔画像を入力とする画像入力手段と、
該画像入力手段より得られた濃淡画像を一時的に保存す
る多値画像保存手段と、該多値画像保存手段より出力さ
れる濃淡画像を２値化する２値化手段と、該２値化手段
より得られた２値化画像を一時的に保存する２値化画像
保存手段と、該２値化画像保存手段より出力される２値
化画像から鼻孔領域を抽出し、該鼻孔領域に基づいて目
領域を抽出する特徴抽出手段と、該特徴抽出手段により
得られた目領域の形状特徴より目の開閉状態を判定する
開閉判定手段とを備えたので、目の開閉状態を正しく判
定でき、以て、開閉判定の信頼性を向上でき、しかも従
来の如くテンプレートマッチングを行う必要もないの
で、短い処理時間で開閉判定を行うことができるという
効果がある。
ば、検出対象者の顔画像を入力とする画像入力手段と、
該画像入力手段より得られた濃淡画像を一時的に保存す
る多値画像保存手段と、該多値画像保存手段より出力さ
れる濃淡画像を２値化する２値化手段と、該２値化手段
より得られた２値化画像を一時的に保存する２値化画像
保存手段と、該２値化画像保存手段より出力される２値
化画像から鼻孔領域を抽出し、該鼻孔領域に基づいて目
領域を抽出する特徴抽出手段と、該特徴抽出手段により
得られた目領域の形状特徴より目の開閉状態を判定する
開閉判定手段とを備えたので、目の開閉状態を正しく判
定でき、以て、開閉判定の信頼性を向上でき、しかも従
来の如くテンプレートマッチングを行う必要もないの
で、短い処理時間で開閉判定を行うことができるという
効果がある。
【００３４】また、請求項２の発明によれば、前記特徴
抽出手段は、前記２値化画像保存手段より出力される２
値化画像から鼻孔２値化領域を抽出する鼻孔領域抽出手
段と、前記２値化画像保存手段より出力される２値化画
像から前記鼻孔領域抽出手段により抽出される鼻孔２値
化領域を基準点として目２値化領域を抽出する目領域抽
出手段とを含むので、目の開閉状態をより正しく判定で
きるという効果がある。
抽出手段は、前記２値化画像保存手段より出力される２
値化画像から鼻孔２値化領域を抽出する鼻孔領域抽出手
段と、前記２値化画像保存手段より出力される２値化画
像から前記鼻孔領域抽出手段により抽出される鼻孔２値
化領域を基準点として目２値化領域を抽出する目領域抽
出手段とを含むので、目の開閉状態をより正しく判定で
きるという効果がある。
【００３５】また、請求項３の発明によれば、前記目領
域抽出手段は、前記鼻孔領域抽出手段により抽出された
鼻孔２値化領域と前回目抽出時の目２値化領域との偏差
を、目抽出時における目候補画素の重みとして用いるの
で、実質的に目候補画素の信憑性を加味して目領域を正
しく抽出でき、誤抽出を抑制できるという効果がある。
域抽出手段は、前記鼻孔領域抽出手段により抽出された
鼻孔２値化領域と前回目抽出時の目２値化領域との偏差
を、目抽出時における目候補画素の重みとして用いるの
で、実質的に目候補画素の信憑性を加味して目領域を正
しく抽出でき、誤抽出を抑制できるという効果がある。
【００３６】また、請求項４の発明によれば、前記開閉
判定手段は、開閉判定のために目領域を切り出す基準と
なる目重心位置設定時に、鼻孔偏差により重み付けされ
た目領域画素を用いるので、目の開閉状態をより正しく
判定できるという効果がある。
判定手段は、開閉判定のために目領域を切り出す基準と
なる目重心位置設定時に、鼻孔偏差により重み付けされ
た目領域画素を用いるので、目の開閉状態をより正しく
判定できるという効果がある。
【図１】 この発明の実施の形態１を示す構成図であ
る。
る。
【図２】 この発明の実施の形態１に係る目・鼻孔追跡
アルゴリズムを示すフローチャートである。
アルゴリズムを示すフローチャートである。
【図３】 検出対象者の２値化画像における鼻孔重心位
置と目重心位置の偏差を示す図である。
置と目重心位置の偏差を示す図である。
【図４】 この発明の実施の形態１に係る目候補２値化
画素の重み付けの例を示す図である。
画素の重み付けの例を示す図である。
【図５】 目２値化領域の一部が欠如した場合の、この
発明の実施の形態１に係る目候補２値化画素の重み付け
の例を示す図である。
発明の実施の形態１に係る目候補２値化画素の重み付け
の例を示す図である。
【図６】 開閉時の目２値化領域形状の変化および開閉
判定目切り出し領域を示す図である。
判定目切り出し領域を示す図である。
【図７】 目２値化領域に目尻陰が含まれる場合の、開
閉判定目切り出し領域および目重心位置を示す図であ
る。
閉判定目切り出し領域および目重心位置を示す図であ
る。
【図８】 目２値化領域に目尻陰が含まれる場合の、こ
の発明の実施の形態１に係る目候補２値化画素の重み付
けの例を示す図である。
の発明の実施の形態１に係る目候補２値化画素の重み付
けの例を示す図である。
【図９】 従来の顔画像処理装置を示す構成図である。
【図１０】 従来の顔画像処理装置の目・鼻孔追跡アル
ゴリズムを示すフローチャートである。
ゴリズムを示すフローチャートである。
【図１１】 目抽出時にまゆを誤抽出した例を示す図で
ある。
ある。
【図１２】 従来の開閉判定アルゴリズムを示すフロー
チャートである。
チャートである。
【図１３】 テンプレートマッチングを用いた従来の顔
画像処理装置を示す構成図である。
画像処理装置を示す構成図である。
１ 検出対象者、 ２ カメラ、 ３ 多値画像メモ
リ、 ４ ２値化手段、５ ２値化画像メモリ、 ４Ａ
特徴抽出手段、 ５Ａ 開閉判定手段、 ６鼻孔重心
位置、 ７ 目重心位置、 ８ 鼻孔２値化領域、 ９
目２値化領域、 １０ 重み付き目候補画素、 １１
開閉判定目切り出し領域、 １２目尻陰２値化領域。
リ、 ４ ２値化手段、５ ２値化画像メモリ、 ４Ａ
特徴抽出手段、 ５Ａ 開閉判定手段、 ６鼻孔重心
位置、 ７ 目重心位置、 ８ 鼻孔２値化領域、 ９
目２値化領域、 １０ 重み付き目候補画素、 １１
開閉判定目切り出し領域、 １２目尻陰２値化領域。
Claims (4)
- 【請求項１】 検出対象者の顔画像を入力とする画像入
力手段と、 該画像入力手段より得られた濃淡画像を一時的に保存す
る多値画像保存手段と、 該多値画像保存手段より出力される濃淡画像を２値化す
る２値化手段と、 該２値化手段より得られた２値化画像を一時的に保存す
る２値化画像保存手段と、 該２値化画像保存手段より出力される２値化画像から鼻
孔領域を抽出し、該鼻孔領域に基づいて目領域を抽出す
る特徴抽出手段と、 該特徴抽出手段により得られた目領域の形状特徴より目
の開閉状態を判定する開閉判定手段とを備えたことを特
徴とする顔画像処理装置。 - 【請求項２】 前記特徴抽出手段は、前記２値化画像保
存手段より出力される２値化画像から鼻孔２値化領域を
抽出する鼻孔領域抽出手段と、前記２値化画像保存手段
より出力される２値化画像から前記鼻孔領域抽出手段に
より抽出される鼻孔２値化領域を基準点として目２値化
領域を抽出する目領域抽出手段とを含むことを特徴とす
る請求項１記載の顔画像処理装置。 - 【請求項３】 前記目領域抽出手段は、前記鼻孔領域抽
出手段により抽出された鼻孔２値化領域と前回目抽出時
の目２値化領域との偏差を、目抽出時における目候補画
素の重みとして用いることを特徴とする請求項２記載の
顔画像処理装置。 - 【請求項４】 前記開閉判定手段は、開閉判定のために
目領域を切り出す基準となる目重心位置設定時に、鼻孔
偏差により重み付けされた目領域画素を用いることを特
徴とする請求項１〜３のいずれかに記載の顔画像処理装
置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14509799A JP3695990B2 (ja) | 1999-05-25 | 1999-05-25 | 顔画像処理装置 |
| US09/432,594 US6606397B1 (en) | 1999-05-25 | 1999-11-12 | Face image processing apparatus for extraction of an eye image based on the position of the naris |
| KR1020000004193A KR100362322B1 (ko) | 1999-05-25 | 2000-01-28 | 안면 화상처리장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14509799A JP3695990B2 (ja) | 1999-05-25 | 1999-05-25 | 顔画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000339457A true JP2000339457A (ja) | 2000-12-08 |
| JP3695990B2 JP3695990B2 (ja) | 2005-09-14 |
Family
ID=15377314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14509799A Expired - Fee Related JP3695990B2 (ja) | 1999-05-25 | 1999-05-25 | 顔画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6606397B1 (ja) |
| JP (1) | JP3695990B2 (ja) |
| KR (1) | KR100362322B1 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008194309A (ja) * | 2007-02-14 | 2008-08-28 | Toyota Motor Corp | 目検知装置、居眠り検知装置及び目検知装置の方法 |
| JP2009279186A (ja) * | 2008-05-22 | 2009-12-03 | Toyota Motor Corp | 顔検出装置及び顔検出方法 |
| US7784943B2 (en) | 2006-12-26 | 2010-08-31 | Aisin Seiki Kabushiki Kaisha | Eyelid detecting apparatus, eyelid detecting method and program thereof |
| US7916904B2 (en) | 2007-03-19 | 2011-03-29 | Aisin Seiki Kabushiki Kaisha | Face region detecting device, method, and computer readable recording medium |
| US7936926B2 (en) | 2007-03-13 | 2011-05-03 | Aisin Seiki Kabushiki Kaisha | Apparatus, method, and program for face feature point detection |
| US8224035B2 (en) | 2006-12-06 | 2012-07-17 | Aisin Seiki Kabushiki Kaisha | Device, method and program for detecting eye |
| US8498449B2 (en) | 2006-12-04 | 2013-07-30 | Aisin Seiki Kabushiki Kaisha | Eye detecting device, eye detecting method, and program |
| WO2020065790A1 (ja) | 2018-09-26 | 2020-04-02 | 日本電気株式会社 | 推定装置、推定方法、および記憶媒体 |
| CN112488032A (zh) * | 2020-12-11 | 2021-03-12 | 重庆邮电大学 | 一种基于鼻眼结构约束的人眼定位方法 |
| CN113197573A (zh) * | 2021-05-19 | 2021-08-03 | 哈尔滨工业大学 | 基于表情识别及脑电融合的观影印象检测方法 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7792335B2 (en) | 2006-02-24 | 2010-09-07 | Fotonation Vision Limited | Method and apparatus for selective disqualification of digital images |
| JP3734826B2 (ja) * | 2003-07-17 | 2006-01-11 | 松下電器産業株式会社 | 虹彩コード生成方法、個人認証方法、虹彩コード登録装置、個人認証装置、および個人認証プログラム |
| US7362885B2 (en) * | 2004-04-20 | 2008-04-22 | Delphi Technologies, Inc. | Object tracking and eye state identification method |
| US20080080744A1 (en) * | 2004-09-17 | 2008-04-03 | Mitsubishi Electric Corporation | Face Identification Apparatus and Face Identification Method |
| US8488023B2 (en) * | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
| JP2006260397A (ja) * | 2005-03-18 | 2006-09-28 | Konica Minolta Holdings Inc | 開眼度推定装置 |
| US20070009139A1 (en) * | 2005-07-11 | 2007-01-11 | Agere Systems Inc. | Facial recognition device for a handheld electronic device and a method of using the same |
| DE602006009191D1 (de) * | 2005-07-26 | 2009-10-29 | Canon Kk | Bildaufnahmegerät und -verfahren |
| US7804983B2 (en) | 2006-02-24 | 2010-09-28 | Fotonation Vision Limited | Digital image acquisition control and correction method and apparatus |
| JP4895847B2 (ja) * | 2007-02-08 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置及びプログラム |
| CN100463000C (zh) * | 2007-09-27 | 2009-02-18 | 上海交通大学 | 基于级联分类和哈夫圆变换的人眼状态检测方法 |
| US8750578B2 (en) | 2008-01-29 | 2014-06-10 | DigitalOptics Corporation Europe Limited | Detecting facial expressions in digital images |
| US8836777B2 (en) | 2011-02-25 | 2014-09-16 | DigitalOptics Corporation Europe Limited | Automatic detection of vertical gaze using an embedded imaging device |
| JP4998637B1 (ja) * | 2011-06-07 | 2012-08-15 | オムロン株式会社 | 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体 |
| CN102663426B (zh) * | 2012-03-29 | 2013-12-04 | 东南大学 | 一种基于小波多尺度分析和局部三值模式的人脸识别方法 |
| CN103680064B (zh) * | 2012-09-24 | 2016-08-03 | 由田新技股份有限公司 | 瞌睡提醒系统 |
| CN103336972A (zh) * | 2013-07-24 | 2013-10-02 | 中国科学院自动化研究所 | 一种基于完备化局部三值模式的地基云图分类方法 |
| TWI659364B (zh) * | 2018-04-03 | 2019-05-11 | 財團法人工業技術研究院 | 電子裝置、虹膜辨識方法以及電腦可讀式媒體 |
| WO2019205007A1 (en) | 2018-04-25 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for blink action recognition based on facial feature points |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08175218A (ja) | 1994-12-26 | 1996-07-09 | Toyota Motor Corp | 運転状態検出装置 |
| JP3452685B2 (ja) | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
| JP3426060B2 (ja) * | 1995-07-28 | 2003-07-14 | 三菱電機株式会社 | 顔画像処理装置 |
| JP3350296B2 (ja) * | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
| JPH1139469A (ja) * | 1997-07-24 | 1999-02-12 | Mitsubishi Electric Corp | 顔画像処理装置 |
| US6292575B1 (en) * | 1998-07-20 | 2001-09-18 | Lau Technologies | Real-time facial recognition and verification system |
| US6130617A (en) * | 1999-06-09 | 2000-10-10 | Hyundai Motor Company | Driver's eye detection method of drowsy driving warning system |
-
1999
- 1999-05-25 JP JP14509799A patent/JP3695990B2/ja not_active Expired - Fee Related
- 1999-11-12 US US09/432,594 patent/US6606397B1/en not_active Expired - Fee Related
-
2000
- 2000-01-28 KR KR1020000004193A patent/KR100362322B1/ko not_active Expired - Fee Related
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8498449B2 (en) | 2006-12-04 | 2013-07-30 | Aisin Seiki Kabushiki Kaisha | Eye detecting device, eye detecting method, and program |
| US8224035B2 (en) | 2006-12-06 | 2012-07-17 | Aisin Seiki Kabushiki Kaisha | Device, method and program for detecting eye |
| US7784943B2 (en) | 2006-12-26 | 2010-08-31 | Aisin Seiki Kabushiki Kaisha | Eyelid detecting apparatus, eyelid detecting method and program thereof |
| JP2008194309A (ja) * | 2007-02-14 | 2008-08-28 | Toyota Motor Corp | 目検知装置、居眠り検知装置及び目検知装置の方法 |
| US7936926B2 (en) | 2007-03-13 | 2011-05-03 | Aisin Seiki Kabushiki Kaisha | Apparatus, method, and program for face feature point detection |
| US7916904B2 (en) | 2007-03-19 | 2011-03-29 | Aisin Seiki Kabushiki Kaisha | Face region detecting device, method, and computer readable recording medium |
| JP2009279186A (ja) * | 2008-05-22 | 2009-12-03 | Toyota Motor Corp | 顔検出装置及び顔検出方法 |
| WO2020065790A1 (ja) | 2018-09-26 | 2020-04-02 | 日本電気株式会社 | 推定装置、推定方法、および記憶媒体 |
| US12112570B2 (en) | 2018-09-26 | 2024-10-08 | Nec Corporation | Direction estimation device, direction estimation method, and storage medium |
| US12125315B2 (en) | 2018-09-26 | 2024-10-22 | Nec Corporation | Direction estimation device, direction estimation method, and storage medium |
| US12217539B2 (en) | 2018-09-26 | 2025-02-04 | Nec Corporation | Estimation device, estimation method, and storage medium |
| CN112488032A (zh) * | 2020-12-11 | 2021-03-12 | 重庆邮电大学 | 一种基于鼻眼结构约束的人眼定位方法 |
| CN112488032B (zh) * | 2020-12-11 | 2022-05-20 | 重庆邮电大学 | 一种基于鼻眼结构约束的人眼定位方法 |
| CN113197573A (zh) * | 2021-05-19 | 2021-08-03 | 哈尔滨工业大学 | 基于表情识别及脑电融合的观影印象检测方法 |
| CN113197573B (zh) * | 2021-05-19 | 2022-06-17 | 哈尔滨工业大学 | 基于表情识别及脑电融合的观影印象检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100362322B1 (ko) | 2002-11-23 |
| US6606397B1 (en) | 2003-08-12 |
| KR20000076547A (ko) | 2000-12-26 |
| JP3695990B2 (ja) | 2005-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3695990B2 (ja) | 顔画像処理装置 | |
| KR101989756B1 (ko) | 반자동 이미지 세그먼트화 | |
| KR100362328B1 (ko) | 안화상 처리장치 | |
| US10417773B2 (en) | Method and apparatus for detecting object in moving image and storage medium storing program thereof | |
| JP4505362B2 (ja) | 赤目検出装置および方法並びにプログラム | |
| CN104185849B (zh) | 用于提供关于面部识别环境的通知的方法、装置和用于执行该方法的计算机可读记录介质 | |
| US9269155B2 (en) | Region growing method for depth map/color image | |
| EP1998286A1 (en) | Face-image registration device, face-image registration method, face-image registration program, and recording medium | |
| US20080193020A1 (en) | Method for Facial Features Detection | |
| JP2006330936A (ja) | 顔認証装置 | |
| US20150324995A1 (en) | Object detecting apparatus, object detecting method, and program | |
| KR19990013317A (ko) | 얼굴 화상 처리 장치 | |
| JP3969894B2 (ja) | 顔画像処理装置 | |
| JPH07181012A (ja) | 画像データの特徴量検出装置 | |
| KR101769741B1 (ko) | 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치 | |
| US8300927B2 (en) | Mouth removal method for red-eye detection and correction | |
| JP2011089784A (ja) | 物体方向推定装置 | |
| CN107958202B (zh) | 人体检测设备、人体检测设备的控制方法和存储介质 | |
| JP2898562B2 (ja) | ナンバープレート決定方法 | |
| JP2000123148A (ja) | 顔の特徴抽出装置 | |
| JP4661319B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR20190055479A (ko) | 마커 인식 시스템 및 방법 | |
| JP4789526B2 (ja) | 画像処理装置、画像処理方法 | |
| CN110059746A (zh) | 一种创建目标检测模型的方法、电子设备及存储介质 | |
| US9460347B2 (en) | Image processing apparatus and method for processing image for detecting an image area including a defective color tone |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050628 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130708 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |