JPH11283036A

JPH11283036A - 対象物検出装置及び対象物検出方法

Info

Publication number: JPH11283036A
Application number: JP8373698A
Authority: JP
Inventors: Takuya Haketa; 卓哉羽毛田
Original assignee: Toshiba Tec Corp
Current assignee: Toshiba Tec Corp
Priority date: 1998-03-30
Filing date: 1998-03-30
Publication date: 1999-10-15

Abstract

(57)【要約】【課題】被識別対象物の特徴領域位置の個体差、サイズ
の変動、撮影環境の変動を考慮して対象物検出を行って
検出率の向上を図り、また、特徴領域の位置関係の検証
を不要にして簡潔な処理を実現する。【解決手段】画像を画像入力部１から顔を含む画像を入
力し濃淡画像として記憶し、この濃淡画像を画像処理部
２により微分処理してエッジ画像を生成して記憶する。
そして、位置検出部３において、濃淡画像とエッジ画像
に対して、顔画像の目、鼻、口等の特徴的な領域に対応
して複数の判定要素取得領域を設定した領域モデルを使
用して、この領域モデルを画像に対して位置を順次指定
しつつ当て嵌め、各判定要素取得領域から特徴量を抽出
し、この抽出した特徴量に基づいて画像内から顔画像を
検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔や物品など、被
識別対象物の検出を行う対象物検出装置及び対象物検出
方法に関する。

【０００２】

【従来の技術】ある被識別対象物や背景を含む画像から
被識別対象物を検出する装置としては、例えば、特開平
７−１２９７７０号公報のものが知られている。これ
は、例えば、工場における組立て工程や検査工程などに
おいて、被識別対象物をテレビカメラで撮影し、この撮
影した入力画像と基準となるテンプレート画像との濃淡
画像について相関を取ることによって被識別対象物の位
置を検出するようにしている。具体的には、探索画像と
して、テンプレート画像と同じ大きさの局所領域を入力
画像中に設定し、これを順にずらしながらテンプレート
画像と探索画像との相関値を計算し、相関値が最も高い
位置をテンプレートが存在する位置として特定するよう
になっている。

【０００３】また、テンプレートマッチング法を利用し
て入力画像から顔画像を検出するものとしては、例え
ば、特開平９−２５１５３４号公報や特開平９−４４６
７６号公報が知られている。特開平９−２５１５３４号
公報のものは、入力画像から顔画像領域を抽出するため
に、予め登録されている標準顔画像（テンプレート）を
全画面にわたって移動させつつ相関値を計算し、最も高
い相関値を有する領域を顔領域として抽出するものであ
る。また、特開平９−４４６７６号公報のものは、目を
濃淡情報で表したテンプレート画像で顔画像を含む画像
を走査し、対象領域の濃淡情報とテンプレート画像の濃
淡情報との相関演算を行い、類似度の高い領域を目の候
補として抽出する。同様に、鼻を濃淡情報で表したテン
プレート画像で顔画像を含む画像を走査して鼻の候補を
抽出し、口を濃淡情報で表したテンプレート画像で顔画
像を含む画像を走査して口の候補を抽出する。そして、
抽出が終了すると、顔領域の抽出を行うが、この時、
目、鼻、口の候補の組み合わせについて、予め用意され
ている目、鼻、口の位置関係と比較検証して画像の中か
ら顔画像を抽出するというものである。

【０００４】さらに、顔画像の色情報を利用したものと
しては、例えば、特開平９−５０５２８号公報が知られ
ている。これは、入力画像のＲＧＢ値から肌色領域を抽
出し、この領域に対して自動的にモザイクサイズを決定
し、その候補領域をモザイク化し、人物顔辞書と比較し
て人物顔の有無を判定し人物顔の切り出しを行うという
ものである。

【０００５】

【発明が解決しようとする課題】ところで、顔は個人毎
に鼻や目の位置、大きさが様々であり、また、人物の顔
の検出の適用場所は工場内のファクトリ・オートメーシ
ョン装置と違い背景が複雑で、かつ外光環境の変動も大
きい場合が多い。また、人物はカメラの前で動きがある
ため、人物の前後位置の多少のずれによっても顔サイズ
は変わり、また、顔の傾きのばらつきも生じる。

【０００６】このようなことから、特開平７−１２９７
７０号公報や特開平９−２５１５３４号公報のようなテ
ンプレートマッチング法を利用するものでは、人物の顔
を顔全体のテンプレート画像としてそのまま用いること
になるため、テンプレート画像に柔軟性がなく、検出率
がそれ程高くならないという問題があった。すなわち、
個人差等を考慮していないので、ある人は検出できるが
別の人は検出できないというような事態が生じる。

【０００７】また、特開平９−４４６７６号公報のよう
な個々の部品を抽出するような方法では、個々の部品毎
に抽出方法を変えたり、候補領域の位置関係を検証した
りなど手順が複雑であり、安定した検出が難しい問題が
あり、特に、背景が複雑な場合においては部品候補の数
が大量になる可能性があり、その位置関係を検証するこ
とが困難になるという問題があった。さらに、特開平９
−５０５２８号公報のような肌色領域を抽出する色情報
を用いて予め候補領域を絞り込むような方法では、照明
条件の影響を受けやすく安定した検出が困難になる問題
があった。

【０００８】そこで、請求項１乃至７記載の発明は、被
識別対象物の特徴領域の位置の個体差、サイズの変動、
撮影環境の変動を考慮して被識別対象物を検出すること
ができて検出率の向上を図ることができ、しかも特徴領
域の位置関係を検証する必要がなく簡潔な処理を実現で
きる対象物検出装置を提供する。また、請求項８乃至１
１記載の発明は、被識別対象物の特徴領域の位置の個体
差、サイズの変動、撮影環境の変動を考慮して被識別対
象物を検出することができて検出率の向上を図ることが
でき、しかも特徴領域の位置関係を検証する必要がなく
簡潔な処理を実現できる対象物検出方法を提供する。

【０００９】

【課題を解決するための手段】請求項１記載の発明は、
画像を入力する画像入力手段と、検出する被識別対象物
画像の特徴的な領域に対応して複数の判定要素取得領域
を設定した領域モデルを記憶した記憶手段と、画像入力
手段により入力した入力画像及びこの入力画像を画像処
理して得られる画像の一方又は両方に対して記憶手段に
記憶した領域モデルを当て嵌める位置を順次指定する位
置指定手段と、この位置指定手段にて指定した位置に領
域モデルを順次当て嵌める毎に、この領域モデルの各判
定要素取得領域から判定要素を取得する判定要素取得手
段と、この判定要素取得手段が取得した判定要素に基づ
いて被識別対象物画像か否かの判定を行う判定手段とか
らなり、判定手段の判定結果により被識別対象物の検出
を行う対象物検出装置にある。

【００１０】請求項２記載の発明は、画像を入力する画
像入力手段と、検出する顔画像の目、口、鼻、頬等の特
徴的な領域に対応して複数の判定要素取得領域を設定し
た領域モデルを記憶した記憶手段と、画像入力手段によ
り入力した入力画像及びこの入力画像を画像処理して得
られる画像の一方又は両方に対して記憶手段に記憶した
領域モデルを当て嵌める位置を順次指定する位置指定手
段と、この位置指定手段にて指定した位置に領域モデル
を順次当て嵌める毎に、この領域モデルの各判定要素取
得領域から判定要素を取得する判定要素取得手段と、こ
の判定要素取得手段が取得した判定要素に基づいて顔画
像か否かの判定を行う判定手段とからなり、判定手段の
判定結果により顔の検出を行う対象物検出装置にある。

【００１１】請求項３記載の発明は、請求項１又は２記
載の対象物検出装置において、判定要素取得手段は、領
域モデルの各判定要素取得領域から判定要素として特徴
量を取得することにある。請求項４記載の発明は、請求
項３記載の対象物検出装置において、判定要素取得手段
は、領域モデルの少なくとも１つの判定要素取得領域に
対してテンプレート画像を利用して特徴量を取得するこ
とにある。請求項５記載の発明は、請求項３又は４記載
の対象物検出装置において、判定要素取得手段は、領域
モデルの判定要素取得領域として目、口、鼻の領域の１
又は複数が設定されたときには、この領域の少なくとも
１つに対して領域内の濃淡値あるいは濃淡値の微分値を
利用して特徴量を取得することにある。

【００１２】請求項６記載の発明は、請求項３又は５記
載の対象物検出装置において、判定要素取得手段は、領
域モデルの判定要素取得領域として頬の領域が設定され
たときには、この領域に対して領域内の濃淡値の分散値
を利用して特徴量を取得することにある。請求項７記載
の発明は、請求項３又は５記載の対象物検出装置におい
て、判定要素取得手段は、領域モデルの判定要素取得領
域として頬の領域が設定されたときには、この領域に対
してテンプレート画像を利用して特徴量を取得すること
にある。

【００１３】請求項８記載の発明は、入力した入力画像
及びこの入力画像を画像処理して得られる画像の一方又
は両方に対して、検出する被識別対象物画像の特徴的な
領域に対応して複数の判定要素取得領域を設定した領域
モデルを順次位置を指定しながら当て嵌め、領域モデル
を当て嵌める毎にこの領域モデルの各判定要素取得領域
から判定要素を取得し、この取得した判定要素に基づい
て被識別対象物画像か否かの判定を行い、この判定結果
により被識別対象物の検出を行う対象物検出方法にあ
る。

【００１４】請求項９記載の発明は、入力した入力画像
及びこの入力画像を画像処理して得られる画像の一方又
は両方に対して、検出する顔画像の目、口、鼻等の特徴
的な領域に対応して複数の判定要素取得領域を設定した
領域モデルを順次位置を指定しながら当て嵌め、領域モ
デルを当て嵌める毎にこの領域モデルの各判定要素取得
領域から判定要素を取得し、この取得した判定要素に基
づいて顔画像か否かの判定を行い、この判定結果により
顔の検出を行う対象物検出方法にある。

【００１５】請求項１０記載の発明は、請求項８又は９
記載の対象物検出方法において、領域モデルの各判定要
素取得領域から判定要素として特徴量を取得することに
ある。請求項１１記載の発明は、請求項１０記載の対象
物検出方法において、領域モデルの少なくとも１つの判
定要素取得領域に対してテンプレート画像を利用して特
徴量を取得することにある。

【００１６】

【発明の実施の形態】本発明の実施の形態を図面を参照
して説明する。（第１の実施の形態）なお、この実施の形態は被識別対
象物検出として顔検出を例にした場合について述べる。

【００１７】図１は対象物検出装置の全体構成を示すブ
ロック図で、人物の顔を含む画像を入力する画像入力手
段としての画像入力部１、この画像入力部１により入力
した画像に対して所定の処理を施す画像処理部２、前記
画像入力部１が入力した画像情報及び前記画像処理部２
が処理した画像情報から顔画像の位置を検出する位置検
出部３とで構成している。

【００１８】前記画像入力部１は、図２に示すように、
人物の顔を撮影し、顔を含むデジタル濃淡画像情報を出
力するＣＣＤカメラ１１と、このＣＣＤカメラ１１から
のデジタル濃淡画像情報を取込む画像入力ボード１２
と、この画像入力ボード１２が取込んだデジタル濃淡画
像情報を記憶する画像メモリ１３とで構成している。な
お、入力する画像はカラー画像でもよい。

【００１９】前記画像処理部２は、前記画像メモリ１３
からデジタル濃淡画像情報を読出し、これを微分処理し
てエッジ画像情報に変換し、前記画像メモリ１３に記憶
するようになっている。すなわち、図３の(a) に示すよ
うな濃淡画像を微分処理して図３の(b) に示すようなエ
ッジ画像を生成し画像メモリ１３に記憶するようになっ
ている。エッジの抽出には、よく知られているラプラシ
アンフィルタやSobelフィルタなどを使用する。

【００２０】なお、目、鼻、口などはかなりのエッジが
存在するので、特徴量として利用するのは有効である。
また、エッジ以外の特徴量を利用する場合は他の画像処
理手段を追加すればよい。また、画像濃淡値のみを特徴
量として用いる場合は画像処理部はなくてもよい。さら
に、画像処理は画像全体で行わずに被照合局所領域毎に
行ってもよい。

【００２１】前記位置検出部３は、図４に示すように、
顔の領域モデルを生成するモデル生成部３１と、このモ
デル生成部３１が生成した領域モデルを記憶するモデル
記憶部３２と、このモデル記憶部３２に記憶した領域モ
デルを前記画像メモリ１３に記憶したデジタル濃淡画像
及びエッジ画像に当て嵌める位置を指定する位置指定部
３３と、この位置指定部３３が指定した位置における領
域モデル内の複数の判定要素取得領域の特徴量を抽出す
る判定要素取得手段としての特徴量抽出部３４と、この
特徴量抽出部３４が抽出した各判定要素取得領域の特徴
量から判定用記憶部３５に記憶している判定用情報を使
用して顔画像か否かの判定を行う判定手段としての判定
部３６とで構成している。

【００２２】前記モデル生成部３１は、図５に示すよう
に顔画像の目、鼻、口、頬などの特徴的な領域に対応し
て複数の判定要素取得領域を設定した領域モデルを生成
するようになっている。図５の(a) の領域モデルは、特
徴的な領域を目、鼻、口、頬の領域とし、目に対する判
定要素取得領域４１，４２、鼻に対する判定要素取得領
域４３、口に対する判定要素取得領域４４、残りの頬に
対する判定要素取得領域４５を設定したものである。図
５の(b) の領域モデルは、特徴的な領域を目、口、頬の
領域とし、目に対する判定要素取得領域４１，４２、口
に対する判定要素取得領域４４、頬に対する判定要素取
得領域４５を設定したものである。

【００２３】図５の(c) の領域モデルは、特徴的な領域
を目、頬の領域とし、目に対する判定要素取得領域４
１，４２、頬に対する判定要素取得領域４５を設定した
ものである。図５の(d) の領域モデルは、特徴的な領域
を目、鼻、頬の領域とし、目に対する判定要素取得領域
４１，４２、鼻に対する判定要素取得領域４３、頬に対
する判定要素取得領域４５を設定したものである。

【００２４】図５の(e) の領域モデルは、特徴的な領域
を目、鼻、口、頬の領域とし、左右の目を１つに設定し
た判定要素取得領域４６、鼻に対する判定要素取得領域
４３、口に対する判定要素取得領域４４、頬に対する判
定要素取得領域４５を設定したものである。図５の(f)
の領域モデルは、特徴的な領域を目、鼻、口、頬、髪の
領域とし、目に対する判定要素取得領域４１，４２、鼻
に対する判定要素取得領域４３、口に対する判定要素取
得領域４４、頬に対する判定要素取得領域４５、髪に対
する判定要素取得領域４７を設定したものである。これ
らの領域モデルはウィンドウモデルと呼ばれるものであ
る。

【００２５】また、図６に示す領域モデルはマスクモデ
ルと呼ばれるもので、各領域をマスクで表現するように
なっている。数値１及び２は目に対する判定要素取得領
域であり、数値３は鼻に対する判定要素取得領域であ
り、数値４は口に対する判定要素取得領域であり、数値
５は頬に対する判定要素取得領域である。なお、数値０
の部分は除外する領域である。このようなマスク表現に
より、より詳細な領域モデルを生成することができる。

【００２６】どの領域モデルを利用した場合でも、１つ
のモデルである程度の顔のサイズの違いや顔部品の位置
の個人差を吸収することはできるが、より多種の顔のサ
イズに対応させるためにはサイズの異なった領域モデル
を利用すればよい。なお、予め必要な領域モデルを作成
してモデル記憶部３２に記憶しておけばモデル生成部３
１は省略できる。

【００２７】前記モデル記憶部３２は、図５に示すよう
な顔の領域モデルを記憶する。ウィンドウモデルの場
合、ウィンドウの左上を原点として、各判定要素取得領
域を表す各ウィンドウの座標や幅、高さ等を記憶する。
マスクモデルの場合、図６に示すマスク値をそのまま記
憶する。なお、モデルの記憶方法としてはその他様々な
方法があり、これらに限定するものではない。

【００２８】前記モデル記憶部３２に記憶した領域モデ
ルを、前記画像入力部１からのデジタル濃淡画像及び前
記画像処理部２で処理したエッジ画像に当て嵌めて顔画
像の検出を行う。このような領域モデルＭを当て嵌める
ことにより、図７に示すような様々な人物、また、多少
顔を傾けた人、眼鏡をかけた人の顔の検出が可能にな
る。なお、計算機プログラム上では顔のモデルをメモリ
に記憶するという形を取らなくてもパラメータとして領
域モデル内の各領域を指定することは可能であり、この
ような場合もプログラムとして記憶していると見なす。

【００２９】前記位置指定部３３及び特徴量抽出部３４
は、前記画像メモリ１３に記憶したデジタル濃淡画像及
びエッジ画像の両画像に対して図８に示すように領域モ
デルＭを当て嵌める位置を指定し、その位置における２
つの画像から領域モデルＭ内の各判定要素取得領域の特
徴量を抽出する。すなわち、前記位置指定部３３は、基
本的には２つの画像全体に順次領域モデルの位置を指定
し、前記特徴量抽出部３４は、指定された各位置におい
て領域モデルＭ内の各判定要素取得領域の特徴量を抽出
する。そして、領域モデルＭがＭ′の位置に指定された
ときに最も顔らしい特徴量が抽出されることになる。

【００３０】なお、その他の特徴量を用いる場合は、画
像処理部２においてその他の特徴量を含む画像を入力画
像から生成して画像メモリ１３に記憶し、この記憶した
画像を利用すればよい。ここで入力画像がカラー画像の
場合は、このカラー入力画像から肌色らしい領域を抽出
し、その領域に対してのみ領域モデルの位置を指定して
もよい。

【００３１】このように前処理により検出領域を絞って
から領域モデルの位置を指定することもできる。また、
カラー画像を利用して肌色という特徴を用いることも可
能である。なお、ここでは領域モデルの当て嵌め方とし
て入力画像に対して領域モデル全体を指定位置を移動さ
せながら順次当て嵌めたが、必ずしもこれに限定するも
のではなく、領域モデルの各判定要素取得領域をばらば
らにして１つずつ指定位置を移動させながら順次当て嵌
めてもよい。

【００３２】前記位置指定部３３で指定した位置におい
て、デジタル濃淡画像及びエッジ画像の両画像から抽出
する特徴量としては、例えば、次式で表現される特徴量
を用いる。なお、利用する顔の領域モデルは図５の(a)
に示すモデルとする。また、領域モデル内の右目の判定
要素取得領域４１をＲＥ、左目の判定要素取得領域４２
をＬＥ、鼻の判定要素取得領域４３をＮ、口の判定要素
取得領域４４をＭ、残りの頬の判定要素取得領域４５を
Ｃとする。また、前記画像メモリ１３中のデジタル濃淡
画像、エッジ画像ともに各画素０〜２５５の値をとる画
像とする。さらに、Ｐ(i) を位置ｉにおけるデジタル濃
淡画像の濃淡値、Ｅ(i) を位置ｉにおけるエッジ画像の
濃淡値とする。

【００３３】右目の判定要素取得領域ＲＥの低輝度特徴
量の合計は、

【数１】

【００３４】右目の判定要素取得領域ＲＥのエッジ特徴
量の合計は、

【数２】

【００３５】左目の判定要素取得領域ＬＥの低輝度特徴
量の合計は、

【数３】

【００３６】左目の判定要素取得領域ＬＥのエッジ特徴
量の合計は、

【数４】

【００３７】鼻の判定要素取得領域Ｎの低輝度特徴量の
合計は、

【数５】

【００３８】鼻の判定要素取得領域Ｎのエッジ特徴量の
合計は、

【数６】

【００３９】口の判定要素取得領域Ｍの低輝度特徴量の
合計は、

【数７】

【００４０】口の判定要素取得領域Ｍのエッジ特徴量の
合計は、

【数８】

【００４１】頬の判定要素取得領域Ｃの輝度値平均は、

【数９】

【００４２】頬の判定要素取得領域Ｃの輝度値分散は、

【数１０】

【００４３】となる。なお、頬の判定要素取得領域Ｃの
輝度値分散については、目、鼻、口を取り除いた残りの
頬領域Ｃは輝度分散が小さいという特徴を持っている。

【００４４】判定のために上記各式で表される各特徴量
を抽出し、メモリに記憶する。こうして抽出された特徴
量の例を示すと図９に示すようになる。各判定要素取得
領域の特徴量は人物により様々である。すなわち、個人
差がある。撮影環境の違いや顔サイズの多少の違い、顔
の傾きの変動等もこのデータ中に含まれる。位置指定部
３３で指定され、特徴量抽出部３４で抽出された領域モ
デルの各領域の特徴量より、判定部３６において指定さ
れた領域モデルの位置が顔であるか否かを判定する。

【００４５】判定には、例えばファジーメンバーシップ
関数を利用する。例えば、右目の低輝度画素量としての
正しさをμ_RE-dとして、ファジーメンバーシップ関数を
図１０のように定義する。この関数はある指定された位
置における領域モデル内の右目の判定要素取得領域ＲＥ
の低輝度画素量RE-dを入力して、その値に応じて０．０
〜１．０の値を出力する。

【００４６】図１０ではRE-dが１，２００〜１０，００
０と計測された場合、μ_RE-dは１．０を出力する。この
範囲については、図９のようなサンプル画像から得られ
た特徴量の個人差、変動を参考に決定する。その他の範
囲の値の場合は、台形の左右の辺をなす一次関数の出力
がμ_RE-dの値となる。μ_RE-dが１．０に近いほど右目の
低輝度画素量として正しいことになる。

【００４７】この台形のメンバーシップ関数の決定は、
図９に示したように予め様々な学習用画像から顔の特徴
量を計測し、この計測した特徴量に基づいて決定する。
同様に、図９に示したような各判定要素取得領域のサン
プル画像の特徴量から、RE-e、LE-d、LE-e、N-d 、N-e
、M-d 、M-e 、C-a 、C-v に対するファジーメンバー
シップ関数を定義し、それぞれの出力μ_RE-e、μ_LE-d、
μ_LE-e、μ_N-d、μ_N-e、μ_M-d、μ_M-e、μ_C-a、μ
_C-vを算出する。

【００４８】それぞれのメンバーシップ関数は、前記判
定用記憶部３５に記憶しておけばよい。そして、最終的
にその位置が顔であるか否かを判定する。顔らしさＦと
しては、例えば、

【数１１】

【００４９】のような関数を利用する。この式の場合、
個々のメンバーシップ関数の出力が１．０に近いほどＦ
は１．０に近くなる。但し、この式の場合、全てが１．
０でないとＦは１．０にならない。

【００５０】Ｆの式については様々な方法が考えられ、
ファジールールを利用したり、代数和で求めることもで
きる。このＦの値が最も大きな部分を顔の位置とし、入
力画像上のその位置に円を描くと、例えば図１１のよう
な画像が得られる。以上の判定に関しては、必ずしもフ
ァジー理論を利用する必要はない。また、より確実な検
出を行う場合には、検出された位置において、さらに本
当の顔であるかの検証を行う。

【００５１】このように、被識別対象物である顔を、
目、鼻、口、頬等の特徴的な判定要素取得領域に分けて
表現した顔の領域モデルを作成し、各判定要素取得領域
の位置関係を維持したこの領域モデルを入力画像及び入
力画像を画像処理した画像の両方に当て嵌める位置を指
定し、その位置における領域モデル内の各判定要素取得
領域の特徴量を計測し、領域モデル全体で顔か否かの判
定を行っているので、個々の顔の目、鼻等の部品の位置
関係を検証する必要がなく、簡潔な処理が実現できる。
また、顔の個人差による部品の位置ずれや大きさの違い
などを吸収し、かつ、被写人物の前後位置における顔の
サイズの変動や多少の顔の傾きも吸収できるため、簡潔
で安定した顔の検出ができる。

【００５２】なお、この実施の形態では、領域モデルを
入力画像及びこの入力画像を画像処理した画像の両方に
当て嵌めて各判定要素取得領域の特徴量を計測して顔の
判定を行ったが必ずしもこれに限定するものではなく、
領域モデルを入力画像及びこの入力画像を画像処理した
画像のいずれか一方に当て嵌めて各判定要素取得領域の
特徴量を計測して顔の判定を行ってもよい。

【００５３】（第２の実施の形態）この実施の形態も顔
検出に関し、基本的には第１の実施の形態と同様であ
り、異なる点は、領域モデルにおける頬の判定要素取得
領域をテンプレート画像に置き換えた点である。

【００５４】すなわち、図１２の(a) に示すように、マ
スク表現した顔の領域モデル５１における頬の判定要素
取得領域をテンプレート画像５２に置き換える。このテ
ンプレート画像は図１２の(b) に示すような構成になっ
ている。なお、数値１の領域は右目の判定要素取得領域
５３であり、数値２の領域は左目の判定要素取得領域５
４であり、数値３の領域は鼻の判定要素取得領域５５で
あり、数値４の領域は口の判定要素取得領域５６であ
る。このテンプレート画像５２は、実際の顔画像から切
り取った濃淡画像でもよい。例えば、頬はほぼ平面なの
で濃淡値1,1,1,1,1,1,…のような濃淡画像を使用する。
これらの画像とテンプレートマッチングしたときの頬の
領域の類似度Ｃ-similarを求める。

【００５５】この頬領域のテンプレート画像をｇとし、
入力濃淡画像から指定された位置の頬領域をｇと同じ大
きさで切り出した画像をｆとすると、その類似度Ｃ-s
は、

【数１２】

【００５６】で表される。類似度Ｃ-sは０〜１の間の値
となる。この類似度を第１の実施の形態と同様に様々な
人物より取得して学習し、判定用データとしてメモリに
記憶し、図１３に示すように、他の領域の特徴量と一緒
に利用する。実際の顔の判定は類似度を特徴量の１つと
考え、第１の実施の形態と同様な処理を行えばよい。

【００５７】このように顔全体のテンプレートマッチン
グではなく、領域モデルのうち、頬の領域のテンプレー
トマッチングと他の領域について特徴量を組み合わせて
も第１の実施の形態の場合と同様の顔検出ができる。な
お、この実施の形態では頬領域についてテンプレートと
の類似度を求めるようにしたが必ずしもこれに限定する
ものではなく、テンプレート画像との距離等を用いても
よい。その他、類似度判定方法としては様々な方法があ
り、いずれも適用できる。

【００５８】なお、前述した各実施の形態では、入力画
像の画像全体に対して、領域モデルを当て嵌める位置を
順次指定して特徴量を抽出し顔検出を行うようにしたが
必ずしもこれに限定するものではなく、図１４に示すよ
うに、予め背景が既知の場合には、画像全体からその既
知の部分５７を取り除いて候補領域５８を生成し、その
候補領域５８に対し、前述した各実施の形態と同様に領
域モデルを当て嵌める位置を順次指定して特徴量を抽出
し顔検出を行ってもよい。このようにすれば特徴量の抽
出処理がより迅速になる。

【００５９】（第３の実施の形態）この実施の形態は、
被識別対象物検出として顔以外の物品検出に適用した例
について述べる。具体的には、シーンの中から一方通行
の道路標識を検出例について述べる。カラー画像を用い
て色特徴を利用してもよいが、ここでは濃淡画像のみを
利用する。対象は正面、水平に配置されたシーン画像中
の一方通行の標識とする。領域モデルとして、図１５に
示すような２つの領域６１，６２からなる領域モデル６
０を使用する。

【００６０】矢印部の領域６１をＡ１、その他の領域６
２をＡ２とする。次に各領域Ａ１、Ａ２において利用す
る特徴量を決定する。一般に、一方通行の標識において
は領域Ａ１の輝度はその他の領域Ａ２に比べて高く、ま
た、領域Ａ１、Ａ２ともに輝度の分散値は非常に小さ
い。そこで、２つの領域Ａ１、Ａ２とも特徴量として平
均輝度と輝度分散値を利用するとして、それぞれA1-a、
A1-v、A2-a、A2-vとする。そして、様々な一方通行の道
路標識のサンプル画像からそれぞれの特徴量を計測し、
図１６に示すような計測値を得る。そして、この学習結
果から各領域Ａ１、Ａ２の正しさとしては、例えば、図
１７に示すファジーメンバーシップ関数を定義する。こ
こでは、領域Ａ１の平均輝度の正しさをμ_A1-aとして定
義している。同様に、領域Ａ１の輝度分散値の正しさを
μ_A1-vとして定義し、領域Ａ２の平均輝度の正しさをμ
_A2-aとして定義し、領域Ａ２の輝度分散値の正しさをμ
_A2-vとして定義している。

【００６１】実際の検出においては、先ず、標識６５を
含む図１８のようなシーンの画像を入力し、シーン画像
上を領域モデル６０を順次移動させ、その都度各領域Ａ
１、Ａ２の平均輝度や輝度分散値を計測し、例えば、Ｆ
＝μ_A1-a×μ_A1-v×μ_A2-a×μ_A2-vのような計算式にお
いてその場所に標識６５がある確からしさＦを計算し、
ある閾値よりもＦが大きい位置に標識６５があると検出
する。このように、被識別対象物である標識６５をその
標識画像の特徴的な判定要素取得領域Ａ１、Ａ２に分け
て表現した顔の領域モデル６０を作成し、各判定要素取
得領域の位置関係を維持したこの領域モデル６０をシー
ン画像上に当て嵌める位置を指定しつつ領域モデル内の
各判定要素取得領域の特徴量を計測し、領域モデル全体
で標識か否かの判定を行っているので、簡潔な処理が実
現でき、簡潔で安定した標識の検出ができる。

【００６２】

【発明の効果】請求項１乃至７記載の発明によれば、被
識別対象物の特徴領域の位置の個体差、サイズの変動、
撮影環境の変動を考慮して被識別対象物を検出すること
ができて検出率の向上を図ることができ、しかも特徴領
域の位置関係を検証する必要がなく簡潔な処理を実現で
きる対象物検出装置を提供できる。

【００６３】また、請求項２乃至７記載の発明によれ
ば、特に顔を含む画像に対して、目、鼻、口、頬等の特
徴的な領域に分けて表現した顔の領域モデルを作成し、
領域の位置関係を維持したこの領域モデルを画像に当て
嵌める位置を順次指定して領域モデルの各判定要素取得
領域から特徴量などの判定要素を取得して顔の判定を行
うので、個々の顔の目、鼻、口等の部品の位置関係を検
証する必要がなく、簡潔な処理ができ、また、顔の個人
差による部品の位置ずれや大きさの違いなどを吸収で
き、かつ被写人物の前後位置における顔のサイズの変動
や多少の顔の傾きも吸収でき、簡潔で安定した顔の検出
ができる対象物検出装置を提供できる。

【００６４】また、請求項８乃至１１記載の発明によれ
ば、被識別対象物の特徴領域の位置の個体差、サイズの
変動、撮影環境の変動を考慮して被識別対象物を検出す
ることができて検出率の向上を図ることができ、しかも
特徴領域の位置関係を検証する必要がなく簡潔な処理を
実現できる対象物検出方法を提供できる。

【００６５】また、請求項９乃至１１記載の発明によれ
ば、特に顔を含む画像に対して、目、鼻、口、頬等の特
徴的な領域に分けて表現した顔の領域モデルを作成し、
領域の位置関係を維持したこの領域モデルを画像に当て
嵌める位置を順次指定して領域モデルの各判定要素取得
領域から特徴量などの判定要素を取得して顔の判定を行
うので、個々の顔の目、鼻、口等の部品の位置関係を検
証する必要がなく、簡潔な処理ができ、また、顔の個人
差による部品の位置ずれや大きさの違いなどを吸収で
き、かつ被写人物の前後位置における顔のサイズの変動
や多少の顔の傾きも吸収でき、簡潔で安定した顔の検出
ができる対象物検出方法を提供できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示す全体構成のブ
ロック図。

【図２】同実施の形態における画像入力部の構成を示す
ブロック図。

【図３】同実施の形態において入力した濃淡画像と画像
処理したエッジ画像を示す図。

【図４】同実施の形態における位置検出部の構成を示す
ブロック図。

【図５】同実施の形態において使用可能なウィンドウモ
デル型の領域モデルの例を示す図。

【図６】同実施の形態において使用可能なマスクモデル
型の領域モデルの例を示す図。

【図７】同実施の形態において領域モデルを顔に当て嵌
める各種例を示す図。

【図８】同実施の形態において領域モデルを当て嵌める
位置指定と特徴量抽出を説明するための図。

【図９】同実施の形態においてサンプル顔画像から抽出
した各領域の特徴量の例を示す図。

【図１０】同実施の形態における右目の判定要素取得領
域の低輝度画素量RE-dのファジーメンバーシップ関数例
を示す図。

【図１１】同実施の形態における顔の位置検出結果例を
示す図。

【図１２】本発明の第２の実施の形態を示すもので、マ
スク表現した顔の領域モデルにおける頬の判定要素取得
領域へのテンプレート画像の利用を示す図。

【図１３】同実施の形態においてサンプル顔画像から抽
出した各領域の特徴量の例を示す図。

【図１４】領域モデルを当て嵌める位置指定と特徴量抽
出の他の例を説明するための図。

【図１５】本発明の第３の実施の形態における領域モデ
ルの例を示す図。

【図１６】同実施の形態においてサンプル画像から抽出
した各領域の特徴量の例を示す図。

【図１７】同実施の形態における領域Ａ１の平均輝度A1
-aのファジーメンバーシップ関数例を示す図。

【図１８】同実施の形態におけるシーン画像例を示す
図。

【符号の説明】

１…画像入力部２…画像処理部３…位置検出部１３…画像メモリ３２…モデル記憶部３３…位置指定部３４…特徴量抽出部３６…判定部

Claims

【特許請求の範囲】

【請求項１】画像を入力する画像入力手段と、検出す
る被識別対象物画像の特徴的な領域に対応して複数の判
定要素取得領域を設定した領域モデルを記憶した記憶手
段と、前記画像入力手段により入力した入力画像及びこ
の入力画像を画像処理して得られる画像の一方又は両方
に対して前記記憶手段に記憶した領域モデルを当て嵌め
る位置を順次指定する位置指定手段と、この位置指定手
段にて指定した位置に領域モデルを順次当て嵌める毎
に、この領域モデルの各判定要素取得領域から判定要素
を取得する判定要素取得手段と、この判定要素取得手段
が取得した判定要素に基づいて被識別対象物画像か否か
の判定を行う判定手段とからなり、前記判定手段の判定
結果により被識別対象物の検出を行うことを特徴とする
対象物検出装置。
【請求項２】画像を入力する画像入力手段と、検出す
る顔画像の目、口、鼻、頬等の特徴的な領域に対応して
複数の判定要素取得領域を設定した領域モデルを記憶し
た記憶手段と、前記画像入力手段により入力した入力画
像及びこの入力画像を画像処理して得られる画像の一方
又は両方に対して前記記憶手段に記憶した領域モデルを
当て嵌める位置を順次指定する位置指定手段と、この位
置指定手段にて指定した位置に領域モデルを順次当て嵌
める毎に、この領域モデルの各判定要素取得領域から判
定要素を取得する判定要素取得手段と、この判定要素取
得手段が取得した判定要素に基づいて顔画像か否かの判
定を行う判定手段とからなり、前記判定手段の判定結果
により顔の検出を行うことを特徴とする対象物検出装
置。
【請求項３】判定要素取得手段は、領域モデルの各判
定要素取得領域から判定要素として特徴量を取得するこ
とを特徴する請求項１又は２記載の対象物検出装置。
【請求項４】判定要素取得手段は、領域モデルの少な
くとも１つの判定要素取得領域に対してテンプレート画
像を利用して特徴量を取得することを特徴する請求項３
記載の対象物検出装置。
【請求項５】判定要素取得手段は、領域モデルの判定
要素取得領域として目、口、鼻の領域の１又は複数が設
定されたときには、この領域の少なくとも１つに対して
領域内の濃淡値あるいは濃淡値の微分値を利用して特徴
量を取得することを特徴する請求項３又は４記載の対象
物検出装置。
【請求項６】判定要素取得手段は、領域モデルの判定
要素取得領域として頬の領域が設定されたときには、こ
の領域に対して領域内の濃淡値の分散値を利用して特徴
量を取得することを特徴する請求項３又は５記載の対象
物検出装置。
【請求項７】判定要素取得手段は、領域モデルの判定
要素取得領域として頬の領域が設定されたときには、こ
の領域に対してテンプレート画像を利用して特徴量を取
得することを特徴する請求項３又は５記載の対象物検出
装置。
【請求項８】入力した入力画像及びこの入力画像を画
像処理して得られる画像の一方又は両方に対して、検出
する被識別対象物画像の特徴的な領域に対応して複数の
判定要素取得領域を設定した領域モデルを順次位置を指
定しながら当て嵌め、領域モデルを当て嵌める毎にこの
領域モデルの各判定要素取得領域から判定要素を取得
し、この取得した判定要素に基づいて被識別対象物画像
か否かの判定を行い、この判定結果により被識別対象物
の検出を行うことを特徴とする対象物検出方法。
【請求項９】入力した入力画像及びこの入力画像を画
像処理して得られる画像の一方又は両方に対して、検出
する顔画像の目、口、鼻等の特徴的な領域に対応して複
数の判定要素取得領域を設定した領域モデルを順次位置
を指定しながら当て嵌め、領域モデルを当て嵌める毎に
この領域モデルの各判定要素取得領域から判定要素を取
得し、この取得した判定要素に基づいて顔画像か否かの
判定を行い、この判定結果により顔の検出を行うことを
特徴とする対象物検出方法。
【請求項１０】領域モデルの各判定要素取得領域から
判定要素として特徴量を取得することを特徴とする請求
項８又は９記載の対象物検出方法。
【請求項１１】領域モデルの少なくとも１つの判定要
素取得領域に対してテンプレート画像を利用して特徴量
を取得することを特徴とする請求項１０記載の対象物検
出方法。