JP2003242486A - 人物属性推定装置 - Google Patents

Abstract

(57)【要約】 【課題】 任意の顔向き方向から撮像した対象人物の顔
画像から、その対象人物の性別や年代等の属性を自動で
推定することを可能とする。 【解決手段】 性別及び年代が異なる複数の参照人物に
ついて異なる複数の顔向き方向から撮像された参照顔画
像毎の参照特徴ベクトルの内から、性別及び年代が不明
な顧客の顔を任意の顔向き方向から撮像した対象顔画像
の対象特徴ベクトルに類似するものを判別する。この参
照特徴ベクトルに対する参照顔画像が撮像された顔向き
方向の範囲を、対象顔画像が撮像された顔向き方向の範
囲であると推定する。さらに、推定された範囲の顔向き
方向で撮像された参照顔画像の特徴ベクトルの内から対
象特徴ベクトルに類似するものを判別することで、その
参照特徴ベクトルに対応する参照顔画像の参照人物の性
別あるいは年代が顧客の性別あるいは年代であると推定
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、性別や年代等の属
性が不明な対象人物の顔画像から、その対象人物の性別
や年代等の属性を推定する人物属性推定装置に関するも
のである。

【０００２】

【従来の技術】従来、例えばコンビニエンス・ストア等
においては、顧客が商品を購入した際に、精算業務を行
う店員がその顧客の性別や年代等の属性を推測し、その
商品の購入情報として蓄積することが知られている。こ
のような購入情報は、商品の発注や陳列等に反映され、
売上の向上に利用される。

【０００３】このような顧客の属性情報を自動で取得す
る試みが提案されている。特開２０００−１４９１０５
号公報には、商品購入者を撮影し、その画像データを解
析して商品購入者の性別や年代等を求める自動販売機が
開示されている。その手法としては、例えば、予め性別
・年代別の平均顔データを用意しておき、購入者の顔画
像データをこの各平均顔データと比較して、最も近いも
の判断することが記載されている。

【０００４】

【発明が解決しようとする課題】ところで、自動販売機
が撮影する購入者の画像データは、顔正面から撮影した
ものになるとは限らない。しかしながら、上記公報に
は、このように任意の顔向きから撮影された画像データ
から、顧客の性別や年代等を推定する方法に関する記載
はない。

【０００５】本発明は、上記課題を解決するためになさ
れたものであって、その目的は、任意の顔向き方向から
撮像した対象人物の顔画像から、その対象人物の性別や
年代等の属性を自動で推定することができる人物属性推
定装置を提供することにある。

【０００６】

【課題を解決するための手段】上記課題を解決するた
め、請求項１に記載の発明は、属性が異なる複数の参照
人物に対し、その顔を所定の異なる複数の顔向き方向で
撮像した参照顔画像毎に取得されるとともに、その参照
人物の属性がそれぞれ関連付けられた参照特徴量と、属
性が不明な対象人物の顔を任意の顔向き方向から撮像し
た対象顔画像から取得された対象特徴量とから前記対象
人物の属性を推定することを特徴とする。ここで、属性
とは、性別、年代、人種等を含む。

【０００７】請求項１に記載の発明によれば、属性が異
なる複数の参照人物から取得された参照顔画像の参照特
徴量の内から、属性が不明な対象人物の対象顔画像の対
象特徴量に類似した参照特徴量を判別する。この参照特
徴量に対する参照顔画像が撮像された顔向き方向の範囲
が、対象顔画像が撮像された顔向き方向の範囲であると
推定できる。さらに、推定された範囲の顔向き方向で撮
像された参照顔画像の参照特徴量の内から、対象特徴量
に類似するものを判別する。この判別された参照特徴量
に対する参照顔画像の参照人物の属性が、対象人物の属
性であると推定できる。

【０００８】請求項２に記載の発明は、請求項１に記載
の発明において、前記参照特徴量と前記対象特徴量とか
ら、前記対象顔画像が撮像された顔向き方向の範囲を推
定する顔向き推定手段と、推定された範囲の顔向き方向
で撮像された前記参照顔画像の参照特徴量と、前記対象
特徴量とから前記対象人物の属性を推定する属性推定手
段とを備えていることを特徴とする。

【０００９】請求項２に記載の発明によれば、請求項１
に記載の発明の作用に加えて、属性が異なる複数の参照
人物から取得された参照顔画像の参照特徴量の内から、
属性が不明な対象人物の対象顔画像の対象特徴量に類似
した参照特徴量を判別する。この参照特徴量に対する参
照顔画像が撮像された顔向き方向の範囲が、対象顔画像
が撮像された顔向き方向の範囲であると推定できる。さ
らに、推定された範囲の顔向き方向で撮像された参照顔
画像の参照特徴量の内から、対象特徴量に類似するもの
を判別する。この判別された参照特徴量に対する参照顔
画像の参照人物の属性が、対象人物の属性であると推定
できる。

【００１０】請求項３に記載の発明は、請求項２に記載
の発明において、前記属性推定手段は、推定された範囲
の顔向き方向で撮像された前記参照顔画像の参照特徴量
と前記対象特徴量とから、該対象特徴量と類似する参照
特徴量を選別する類似特徴量選別手段と、選別された参
照特徴量に対応する参照顔画像が撮像された前記参照人
物の属性に基づいて前記対象人物の属性を推定する第２
属性推定手段とを備えていることを特徴とする。

【００１１】請求項３に記載の発明によれば、請求項２
に記載の発明の作用に加えて、対象顔画像により類似す
る参照顔画像の参照人物が類似人物として選別される。
この類似人物の属性は、対象人物の属性により近い属性
であると推定できる。そして、この各類似人物の属性の
内で最も割合が多い属性や、各属性を平均化した属性な
どから、対象人物の属性が直接推定できる。

【００１２】請求項４に記載の発明は、請求項３に記載
の発明において、前記第２属性推定手段は、前記類似属
性者毎の属性に、その類似属性者の参照特徴量に対する
前記対象特徴量の類似度に応じた重みを付けて前記対象
人物の属性を推定することを特徴とする。

【００１３】請求項４に記載の発明によれば、請求項３
に記載の発明の作用に加えて、対象顔画像に対する類似
度がより高い参照顔画像が取得された参照人物の属性ほ
ど、対象人物の属性である可能性がより高い属性である
として対象人物の属性が推定される。従って、複数選別
した類似属性者の内に、対象顔画像に対する類似度が低
い参照人物が入った場合でも、対象人物の属性をより高
い精度で推定することができる。

【００１４】請求項５に記載の発明は、請求項２に記載
の発明において、前記属性推定手段は、前記参照特徴量
を、推定する１つの属性についてその属性が異なる複数
のクラスに分類し、各クラスに分類された参照特徴量を
代表する代表特徴量を取得する代表量取得手段と、前記
代表特徴量と前記対象特徴量とから前記対象人物の属性
を推定する第３属性推定手段とを備えていることを特徴
とする。

【００１５】請求項５に記載の発明によれば、請求項２
に記載の発明の作用に加えて、１つの属性について、そ
の属性が異なるクラスに属する参照人物群の各参照特徴
量を代表する代表特徴量と、対象特徴量とから、対象特
徴量に類似する代表特徴量が判別される。この代表特徴
量が取得されたクラスに対する属性が、対象人物の属性
であると推定できる。

【００１６】請求項６に記載の発明は、請求項２に記載
の発明において、前記属性推定手段は、前記参照特徴量
を、推定する複数の属性についてその各属性の組み合わ
せが異なる複数のクラスに分類し、各クラスに分類され
た参照特徴量を代表する代表特徴量を取得する第２代表
量取得手段と、前記代表特徴量と前記対象特徴量とから
前記対象人物の複数の属性を推定する第４属性推定手段
とを備えていることを特徴とする。

【００１７】請求項６に記載の発明によれば、請求項２
に記載の発明の作用に加えて、複数の異なる属性につい
て、その各属性の組み合わせが異なるクラスに属する参
照人物群の各参照特徴量を代表する代表特徴量と、対象
特徴量とから、対象特徴量に類似する代表特徴量が判別
される。この代表特徴量が取得されたクラスに対する各
属性の組み合わせが、対象人物の各属性の組み合わせで
あると推定できる。

【００１８】請求項７に記載の発明は、属性が異なる複
数の参照人物に対し、その顔を所定の顔向き方向で撮像
した参照顔画像毎に取得されるとともに、その参照人物
の属性がそれぞれ関連付けられた参照特徴量と、属性が
不明な対象人物の顔を所定の顔向き方向で撮像した対象
顔画像から取得した対象特徴量とから、該対象特徴量と
類似する参照特徴量を選別する類似特徴量選別手段と、
選別された参照特徴量に対応する参照顔画像が撮像され
た前記参照人物の属性に基づいて前記対象人物の属性を
推定する第５属性推定手段とを備えていることを特徴と
する。

【００１９】請求項７に記載の発明によれば、属性が異
なる複数の参照人物から取得された参照顔画像の参照特
徴量の内から、属性が不明な対象人物の対象顔画像の対
象特徴量に類似した参照特徴量を判別する。この判別さ
れた参照特徴量に対する参照顔画像の参照人物の属性
が、対象人物の属性により近い属性であると推定でき
る。ここで、対象顔画像が撮像された顔向き方向が、参
照顔画像が撮像された顔向き方向と異なる場合には、対
象顔画像の顔向き方向に近い顔向き方向で取得された参
照顔画像の参照特徴量が判別される。そして、この各類
似人物の属性の内で最も割合が多い属性や、各属性を平
均化した属性などから、対象人物の属性が顔向き方向に
関係なく直接推定できる。

【００２０】請求項８に記載の発明は、請求項７に記載
の発明において、前記第５属性推定手段は、前記類似属
性者毎の属性に、その類似属性者の参照特徴量に対する
前記対象特徴量の類似度に応じた重みを付けて前記対象
人物の属性を推定することを特徴とする。

【００２１】請求項８に記載の発明によれば、請求項７
に記載の発明の作用に加えて、対象顔画像に対する類似
度がより高い参照顔画像が取得された参照人物の属性ほ
ど、対象人物の属性である可能性がより高い属性である
として対象人物の属性が推定される。従って、複数選別
した類似属性者の内に、対象顔画像に対する類似度が低
い参照人物が入った場合でも、対象人物の属性をより高
い精度で推定することができる。

【００２２】請求項９に記載の発明は、請求項１〜請求
項８のいずれか一項に記載の発明において、前記属性
は、性別及び年代の内の少なくともいずれか一方である
ことを特徴とする。

【００２３】請求項９に記載の発明によれば、請求項１
〜請求項８のいずれか一項に記載の発明の作用に加え
て、性別又は年代の内の少なくともいずれか一方が不明
な対象人物の対象顔画像から、その対象人物の性別又は
年代が推定される。

【００２４】

【発明の実施の形態】（第１実施形態）以下、本発明を
具体化した第１実施形態を図１〜図８に従って説明す
る。

【００２５】本実施形態の人物属性推定装置は、例えば
店舗内において商品を購入した顧客から取得した顔画像
からその顧客の属性である性別及び年代を推定し、この
推定結果を顧客属性情報としてＰＯＳ端末に出力する。
ＰＯＳ端末に入力された顧客属性情報は、その顧客が購
入した商品の購入情報として蓄積され、商品の発注や陳
列に反映される。

【００２６】図２に示すように、人物属性推定装置１０
は、ビデオカメラ１１及び画像処理ユニット１２からな
る。ビデオカメラ１１はカラー画像を撮像するものであ
って、例えば店舗内で支払いを行うときの顧客Ｑ（対象
人物）を撮像できるように設置される。画像処理ユニッ
ト１２は、信号処理装置１３及びコンピュータ１４等か
らなる。本実施形態では、コンピュータ１４が、属性推
定手段、類似特徴量選別手段、第２属性推定手段、代表
量取得手段、第３属性推定手段、第２代表量取得手段、
第４属性推定手段及び第５属性推定手段である。

【００２７】コンピュータ１４は、ビデオカメラ１１を
撮像制御して、性別及び年代が不明な顧客Ｑの人物画像
を撮像し、信号処理装置１３を介してその人物画像デー
タ（以下、単に人物画像という。）を取得する。コンピ
ュータ１４は、例えば、商品を購入しようとする顧客Ｑ
が支払いを行うときにその人物画像を取得する。この人
物画像は、その顧客Ｑの顔画像が含まれた人物全体又は
一部の画像である。さらに、コンピュータ１４は、取得
した人物画像から顧客Ｑの顔画像データ（以下、対象顔
画像という。）を取得する。そして、コンピュータ１４
は、この対象顔画像から、その顧客Ｑの性別及び年代を
推定する。本実施形態では、男性及び女性を推定し、ま
た、２０代、３０代、４０代、５０代及び６０代の年代
を推定する。

【００２８】コンピュータ１４は、顧客Ｑの対象顔画像
から、その顧客Ｑの性別及び年代を推定する属性推定処
理を実行する。コンピュータ１４は、属性推定処理を、
性別及び年代に関連付けられて予め記憶されている複数
の参照人物の顔画像データ（以下、参照顔画像とい
う。）を用いて行う。参照人物は、未知の顧客の性別及
び年代を推定するために無作為に選ばれた人物である。
本実施形態では、男性と女性との各人数が等しくなるよ
うに、かつ、男性及び女性でそれぞれ各年代の人数が等
しくなるように選ばれている。なお、参照人物を構成す
る男性及び女性の各人数は必ずしも等しい必要はなく、
また、男性及び女性でそれぞれ各年代の人数も必ずしも
等しい必要はない。

【００２９】属性推定処理では、性別や年代が異なる参
照人物の参照顔画像の内から、顧客Ｑの対象顔画像に類
似する参照顔画像を選別し、その選別した参照顔画像に
対応する参照人物の性別や年代が顧客Ｑの性別又は年代
であると推定する。即ち、性別や年代が近い人物同士の
顔付きは互いに似ているという仮定に基づいて、顧客Ｑ
の性別や年代を推定する。なお、本実施形態では、参照
人物として、男性及び女性がそれぞれ１５０名ずつ設定
され、また、男性及び女性毎にそれぞれの各年代に対し
３０名ずつ設定されている。なお、各基礎人物の年代
は、５歳間隔（例えば、２１〜２５歳。）で取得された
ものである。

【００３０】（参照顔画像の取得）次に、参照顔画像の
取得方法について説明する。参照顔画像の取得は、顔画
像取得工程、顔領域検出工程及び特徴ベクトル作成工程
の３段階の工程で行う。

【００３１】（顔画像取得工程）先ず、顔画像取得工程
では、参照人物毎に、予め設定された複数の顔向き方向
で撮像した参照顔画像を取得する。本実施形態では、図
３及び図４に示すように、顔正面を中心として左右に±
４５°、かつ、上下に±３０°の角度範囲内に設定され
る顔向き方向で撮像する。

【００３２】各顔向き方向は、次のように設定されてい
る。先ず、図３に示すように、参照人物Ｚの顔正面を中
心として左右に異なる角度をなす複数の左右顔向き方向
面ＰＶ（−４５），ＰＶ（−３０），ＰＶ（−１５），
ＰＶ（０），ＰＶ（＋１５），ＰＶ（＋３０），ＰＶ
（＋４５）を設定する。各左右顔向き方向面ＰＶ（−４
５）〜ＰＶ（＋４５）は、鉛直視で頭部の中心にある鉛
直線Ｐ１にそれぞれ交差する平面である。また、図４に
示すように、同じく上下に異なる角度をなす複数の上下
顔向き方向面ＰＨ（−３０），ＰＨ（−１５），ＰＨ
（０），ＰＨ（＋１５），ＰＨ（＋３０）を設定する。
各上下顔向き方向面ＰＨ（−３０）〜ＰＨ（＋３０）
は、側面視で頭部の中心にある水平線Ｐ２にそれぞれ交
差する平面である。

【００３３】本実施形態では、左右顔向き方向面ＰＶ
（−４５）〜ＰＶ（＋４５）として、顔正面を左右に等
分する左右顔向き方向面ＰＶ（０）に加え、顔正面に対
して右方向にそれぞれ＋１５°、＋３０°、＋４５°だ
け角度をなす３つの左右顔向き方向面ＰＶ（＋１５），
ＰＶ（＋３０），ＰＶ（＋４５）を設定する。また、左
方向にそれぞれ−１５°、−３０°、−４５°だけ角度
をなす３つの左右顔向き方向面ＰＶ（−１５），ＰＶ
（−３０），ＰＶ（−４５）を設定する。即ち、全部で
７つの左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４
５）を設定する。

【００３４】また、上下顔向き方向面ＰＨ（−３０）〜
ＰＨ（＋３０）として、顔正面を上下に分割する水平な
上下顔向き方向面ＰＨ（０）と、顔正面に対して上方向
にそれぞれ＋１５°、＋３０°だけ角度をなす２つの上
下顔向き方向面ＰＨ（＋１５），ＰＨ（＋３０）を設定
する。また、同じく下方向にそれぞれ−１５°、−３０
°だけ角度をなす２つの上下顔向き方向面ＰＨ（−１
５），ＰＨ（−３０）を設定する。即ち、全部で５つの
上下顔向き方向面ＰＨ（−３０）〜ＰＨ（＋３０）を設
定する。

【００３５】そして、図５に示すように、各参照人物Ｚ
の参照顔画像を、７つの左右顔向き方向面ＰＶ（−４
５）〜ＰＶ（＋４５）と５つの上下顔向き方向面ＰＨ
（−３０）〜ＰＨ（＋３０）との各交差線によって設定
される３５の撮像方向、すなわち、顔向き方向で撮像す
る。従って、各左右顔向き方向面ＰＶ（ｅ）（ｅ：−４
５，−３０，−１５，０，＋１５，＋３０，＋４５）に
は、５つの上下顔向き方向面ＰＨ（ｆ）（ｆ：−３０，
−１５，０，＋１５，＋３０）との交差線で設定される
５つの顔向き方向が含まれることになる。

【００３６】なお、本実施形態では、各顔向き方向毎
に、参照顔画像を１０ずつ撮像する。従って、各参照人
物Ｚ毎に３５０（＝３５方向×１０）の参照顔画像を取
得する。

【００３７】（顔領域検出工程）次に、顔領域検出工程
では、各参照人物について３５０ずつ取得した顔画像毎
に、その顔領域を検出する。

【００３８】顔領域検出には、色情報を用いた公知の肌
色基準値による手法であって、均等知覚色空間の１つで
あるＣＩＥ−Ｌ＊ｕ＊ｖ＊表色系を用いる。先ず、参照
顔画像の全領域に亘り、Ｕ，Ｖ座標値による２次元色ヒ
ストグラムを求め、予め定めた肌色有効範囲内のピーク
値（度数が最大の値）を肌色基準値とする。

【００３９】次に、公知の判別分析法を用いて、肌色基
準値からの色差に対する閾値を決定し、この閾値に基づ
いて参照顔画像を肌色領域とその他の領域に２値化す
る。最後に、抽出された複数の肌色領域毎に、その肌色
領域を形成する画素数（面積）を求め、画素数が最大で
あった肌色領域を顔領域とする。

【００４０】（特徴ベクトル作成工程）次に、特徴ベク
トル作成工程では、各参照人物について３５０ずつ取得
した参照顔画像毎に、その特徴を抽出した特徴ベクトル
（特徴量）を作成する。

【００４１】詳述すると、各参照人物から取得した３５
０の参照顔画像毎に、その濃淡値の勾配から４方向のベ
クトル場を求める。本実施形態では、４方向を、水平方
向、垂直方向、左下がり４５°斜め方向、及び、右下が
り４５°斜め方向としている。そして、公知の手法によ
って、各方向別に分割したエッジ画像を得る。得られた
各エッジ画像は、方向性を有する濃淡画像である。

【００４２】具体的には、参照顔画像毎に、Prewitt オ
ペレータを用いた微分フィルタ処理を行い、水平、垂
直、左下がり斜め、及び、右下がり斜めに分割された４
つの方向エッジ画像（以下、方向面という。）を生成す
る。

【００４３】次に、４つの各方向面をその顔領域で正規
化し、８×８に低解像度化する。最後に、それぞれの参
照顔画像毎に、４つの各方向面について、それぞれ８×
８に低解像度化した画像の濃淡値を特徴量として抽出し
た２５６次元の特徴ベクトル（以下、参照特徴ベクトル
という。）を作成する。

【００４４】そして、参照顔画像毎に作成した参照特徴
ベクトルを、その参照顔画像が撮像された参照人物、撮
像された顔向き方向、その参照人物の性別及び年代に対
応させて記憶する。この各特徴ベクトルは、２５６次元
の線形空間上の１点として表されるものであり、顧客Ｑ
の性別及び年代を推定するための学習データとなる。

【００４５】（属性推定処理）次に、コンピュータ１４
が実行する属性推定処理の概要を説明する。属性推定処
理は、図１に示すように、顔領域検出工程、特徴ベクト
ル作成工程、顔向き推定工程、類似者判別工程、性別推
定工程及び年代推定工程の６段階の工程で行う。

【００４６】先ず、顔領域検出工程において、性別及び
年代が不明な顧客Ｑから取得された人物画像からその顔
領域を抽出し、この顔領域が中央に配置された対象顔画
像を得る。

【００４７】次に、特徴ベクトル作成工程において、作
成された対象顔画像から、参照顔画像の取得と同様にし
て特徴ベクトルを作成する。次に、顔向き推定工程にお
いて、その対象顔画像が撮像された可能性がある顔向き
方向の範囲を推定する。

【００４８】次に、類似者推定工程において、全ての参
照人物の内から、顧客Ｑの性別及び年代により類似した
性別及び年代である可能性が高い属性類似者を複数人推
定する。

【００４９】次に、性別推定工程において、推定された
全ての属性類似者の性別に基づいて顧客Ｑの性別を推定
する。最後に、年代推定工程において、推定された性別
に限定して、類似した年代である可能性が高い属性類似
者を改めて複数人推定し、この推定した複数の属性類似
者の年代に基づいて顧客Ｑの年代を推定する。

【００５０】（属性推定処理）次に、属性属推定処理に
ついて詳述する。 （顔領域検出工程）顔領域検出工程では、参照顔画像の
取得時と同様に、色情報を用いた公知の肌色基準値によ
る手法であって、均等知覚色空間の１つであるＣＩＥ−
Ｌ＊ｕ＊ｖ＊表色系を用いる。

【００５１】顔領域検出工程として、先ず、顧客Ｑから
取得された人物画像の全領域に亘り、Ｕ，Ｖ座標値によ
る２次元色ヒストグラムを求め、予め定めた肌色有効範
囲内のピーク値（度数が最大の値）を肌色基準値とす
る。

【００５２】次に、公知の判別分析法を用いて、肌色基
準値からの色差に対する閾値を決定し、この閾値に基づ
いて人物画像を肌色領域とその他の領域に２値化する。
最後に、抽出された複数の肌色領域毎に、その肌色領域
を形成する画素数（面積）を求め、画素数が最大であっ
た肌色領域を顔領域とする。すなわち、本実施形態で
は、人物画像に撮像される未知の推定対象者は１人であ
ると想定し、面積が最大の肌色領域が、その推定対象者
の顔領域であるとする。そして、顔領域が中央に配置さ
れた対象顔画像を取得する。

【００５３】（特徴ベクトル作成工程）次に、特徴ベク
トル作成工程では、各参照顔画像に対する参照特徴ベク
トルと同様に、顧客Ｑの対象顔画像から２５６次元の特
徴ベクトル（以下、対象特徴ベクトルという。）を作成
する。

【００５４】特徴ベクトル作成工程として、先ず、対象
顔画像から４方向の方向エッジ画像（以下、方向面とい
う。）を得る。次に、各方向面をその顔領域で正規化
し、８×８に低解像度化する。

【００５５】最後に、４つの方向面について、それぞれ
８×８に低解像度した画像の濃淡値を特徴量として抽出
した２５６次元の対象特徴ベクトルを作成する。すなわ
ち、性別及び年代が不明な顧客Ｑから取得した対象顔画
像の特徴量を、参照顔画像と同様に、２５６次元の線形
空間上の１点として表す。

【００５６】（顔向き推定工程）次に、顔向き推定工程
では、参照人物毎に全ての顔向き方向から撮像した参照
顔画像の参照特徴ベクトルと、顧客Ｑの対象顔画像から
取得した対象特徴ベクトルとを用いて、対象顔画像が撮
像された顔向き方向が含まれる可能性が高い顔向き方向
の範囲を推定する。この推定は、公知の線形判別分析に
よって行う。本実施形態では、その顔向き方向の範囲
を、７つの左右顔向き方向面ＰＶ（ｅ）の内から推定す
る。

【００５７】顔向き推定工程として、先ず、全ての参照
人物毎に全ての顔向き方向で撮像した参照顔画像の特徴
ベクトルが線形写像された線形空間（以下、顔向き判別
空間αという。）に、対象顔画像の対象特徴ベクトルを
線形写像する。

【００５８】顔向き判別空間αは、全ての参照顔画像の
特徴ベクトルが、この全ての特徴ベクトルから求めた係
数行列を用いて線形写像された線形空間である。本実施
形態では、左右７方向、上下５方向の３５の顔方向毎に
１０ずつ３００名について撮像された１０５０００の参
照顔画像の参照特徴ベクトルが線形写像されている。

【００５９】顔向き判別空間αでは、図６に示すよう
に、線形写像された各参照特徴ベクトルが、それぞれ５
つの上下顔向き方向を含む７つの各左右顔向き方向面Ｐ
Ｖ（−４５）〜ＰＶ（＋４５）に対応して生成されたク
ラス１〜クラスｇ〜クラス７に分類されている。

【００６０】各クラスｇには、そのクラスｇに分類され
た左右顔向き方向面ＰＶ（ｅ）の１つに含まれる上下５
つの顔向き方向毎に全ての参照人物について撮像された
参照顔画像の参照特徴ベクトルが分類されている。本実
施形態では、各クラスｇに、上下５方向の顔向き方向毎
に１０ずつ３００名について撮像された１５０００の参
照顔画像の参照特徴ベクトルがそれぞれ分類されてい
る。

【００６１】各クラスｇは、クラスｇ内の分散が小さ
く、かつ、各クラスｇ間の分散が大きくなるように生成
されている。なお、顔向き判別空間αは、全ての参照顔
画像の参照特徴ベクトルから予め作成されている。

【００６２】顔向き推定工程として、次に、顔向き判別
空間αに線形写像した顧客Ｑの対象特徴ベクトルｙ１
が、クラス１〜クラス７のいずれに属するかを判別す
る。そして、判別されたクラスｇに対応する左右顔向き
方向面ＰＶ（ｅ）に属する上下５つの顔向き方向の範囲
が、対象顔画像が撮像された顔向き方向が含まれる可能
性が高い顔向き方向の範囲であると推定する。

【００６３】対象特徴ベクトルｙ１が属するクラスｇの
判別は、この対象特徴ベクトルｙ１と、各クラスｇの平
均特徴ベクトルＡ（ｇ）（代表特徴ベクトル）とのユー
クリッド距離ｓ１（ｇ）が最小、即ち、類似度が最大と
なるものを求めることで行う。なお、平均特徴ベクトル
Ａ（ｇ）は、各クラスｇに分類された全ての参照特徴ベ
クトルが平均化されたものであって、予め求められてい
る。

【００６４】顔向き推定工程では、さらに、対象顔画像
の顔向き方向が含まれる可能性がある顔向き方向の範囲
が、顔向き判別空間αで判別した左右顔向き方向面ＰＶ
（ｅ）を含む３つの左右顔向き方向面ＰＶ（ｅ）のそれ
ぞれに属する上下５方向の顔向き方向の範囲であると推
定する。即ち、３つの左右顔向き方向面ＰＶ（ｅ）に属
する１５の顔向き方向の範囲であると推定する。

【００６５】本実施形態では、３つの左右顔向き方向面
ＰＶ（ｅ）を、顔向き判別空間αで判別した左右顔向き
方向面ＰＶ（ｅ）にその両隣りの左右顔向き方向面ＰＶ
（ｅ）を合わせたものとしている。例えば、顔向き判別
空間αで推定した左右顔向き方向面ＰＶ（ｅ）が左右正
面の方向面ＰＶ（０）であったときには、その両隣りの
左右顔向き方向面ＰＶ（−１５）及びＰＶ（＋１５）を
合わせた３つとする。

【００６６】これは、顔向き判別空間αで推定した左右
顔向き方向面ＰＶ（ｅ）に対象顔画像の顔向き方向が含
まれる確率が最も高いものの、その両隣りの左右顔向き
方向面ＰＶ（ｅ）に含まれる確率も小さいながらあるか
らである。

【００６７】これにより、顔向き推定工程での推定結果
によって、対象顔画像が撮像された実際の顔向き方向が
実際に含まれる左右顔向き方向面ＰＶ（ｅ）が以後の各
工程で考慮されなくなる確率を小さくし、最終的な属性
推定率の向上を図っている。

【００６８】（類似者推定工程）次に、類似者推定工程
では、顔向き推定工程で推定した範囲の顔向き方向で撮
像した参照顔画像の参照特徴ベクトルと、対象顔画像の
対象特徴ベクトルとを用いて、顧客Ｑの性別及び年代に
より近い参照人物（以下、属性類似者という。）を全て
の参照人物の内から線形判別分析によって複数人推定す
る。

【００６９】類似者推定工程として、先ず、全ての参照
人物について、顔向き推定工程で推定した範囲の各顔向
き方向で撮像した参照顔画像の参照特徴ベクトルが線形
写像された線形空間（以下、類似者判別空間βとい
う。）に、対象顔画像の対象特徴ベクトルを線形写像す
る。

【００７０】類似者判別空間βは、全ての参照顔画像に
対する参照特徴ベクトルの内、左右顔向き方向推定工程
で推定された範囲の顔向き方向から撮像された参照顔画
像の参照特徴ベクトルだけが、この各参照特徴ベクトル
から求めた係数行列を用いて線形写像された線形空間で
ある。本実施形態では、左右３方向、上下５方向の１５
の顔向き方向毎に１０ずつ３００名について撮像された
４５０００の参照顔画像の参照特徴ベクトルが線形写像
されている。

【００７１】類似者判別空間βでは、図７に示すよう
に、線形写像された各参照特徴ベクトルが、３００人の
各参照人物に対応して生成されたクラス１〜クラスｈ〜
クラス３００に分類されている。

【００７２】各クラスｈには、そのクラスｈに分類され
た参照人物について、顔向き推定工程で推定された範囲
の各顔向き方向で撮像された参照顔画像の参照特徴ベク
トルが分類されている。本実施形態では、各クラスｈ
に、１５の顔向き方向毎に１０ずつ撮像された１５０の
参照特徴ベクトルがそれぞれ分類されている。

【００７３】なお、各クラス１〜クラス３００は、各ク
ラスｈ内での参照特徴ベクトルの分散が小さく、かつ、
各クラスｈ間の分散が大きくなるように生成されてい
る。類似者判別空間βは、７つの左右顔向き方向面ＰＶ
（ｅ）の内、隣り合う３つの左右顔向き方向面ＰＶ
（ｅ）の５つの組み合わせ毎に予め作成されている。す
なわち、（＋４５°、＋３０°、＋１５°），（＋３０
°、＋１５°、０°），（＋１５°、０°、−１５
°），（０°、−１５°、−３０°），（−１５°、−
３０°、−４５°）の５つの組み合わせ毎に予め作成さ
れている。そして、顔向き推定工程での推定結果に基づ
いて選択される。

【００７４】類似者推定工程として、次に、類似者判別
空間βに線形写像した対象顔画像の対象特徴ベクトルｙ
２が、クラス１〜クラス３００のいずれに属するかを判
別する。そして、判別したクラスｈに分類されている参
照特徴ベクトルの参照顔画像を有する参照人物を、顧客
Ｑに対する属性類似者であると推定する。

【００７５】対象特徴ベクトルｙ２が属するクラスｈの
判別は、この対象特徴ベクトルｙ２と、各クラスｈの平
均特徴ベクトルＢ（ｈ）（代表特徴ベクトル）とのユー
クリッド距離ｓ２（ｈ）が最小、即ち、類似度が最大と
なるものを求めることで行う。なお、各クラスｈの平均
特徴ベクトルＢ（ｈ）は、そのクラスｈに分類されてい
る全ての参照特徴ベクトルが平均化されたものである。
各平均特徴ベクトルＢ（ｈ）は、隣合う３つの左右顔向
き方向面ＰＶ（ｅ）の５つの組み合わせ毎に予め求めら
れており、顔向き推定工程での推定結果に基づいて選択
される。

【００７６】さらに、類似者推定工程として、顧客Ｑに
対する属性類似者を、類似者判別空間βでのユークリッ
ド距離ｓ２（ｈ）が小さい順に所定人数選別する。すな
わち、特徴ベクトルｙ２に対するユークリッド距離ｓ２
（ｈ）が小さい順に所定数のクラスｈを判別し、この各
クラスｈに対応する参照人物を属性類似者として推定す
る。本実施形態では、図８に示すように、３００名の参
照人物中から、１０名の属性類似者を選別する。

【００７７】これは、顧客Ｑの属性が、類似者判別空間
βにおいてユークリッド距離ｓ２（ｈ）が最小となるク
ラスｈに対応する参照人物の属性に最も類似する可能性
が最も高いものの、ユークリッド距離ｓ２（ｈ）が最小
に近い各クラスｈに対応する参照人物の属性に最も類似
する可能性もあるからである。これにより、顧客Ｑの実
際の属性が、類似者推定工程での判別結果によって以後
の各工程で考慮されなくなる確率を小さくし、最終的な
属性推定率の向上を図っている。

【００７８】（性別推定工程）次に、性別推定工程で
は、類似者推定工程で選別した複数の属性類似者の性別
に基づいて顧客Ｑの性別を推定する。

【００７９】本実施形態では、性別推定工程として、選
別された１０名の属性類似者の性別から、より多数であ
る性別を顧客Ｑの性別として推定する。例えば、図８に
示すように、選別された上位１０名の属性類似者の内、
男性が３名であり、女性が７名であったときには、顧客
Ｑの性別を女性であると推定する。

【００８０】（年代推定工程）次に、年代推定工程で
は、性別推定工程で推定した性別について、類似者選別
工程で用いた類似者判別空間βで選別される所定数の属
性類似者の年代に基づいて、顧客Ｑの年代を推定する。

【００８１】年代推定工程として、先ず、性別推定工程
で推定した性別について、改めて類似者判別空間βで対
象特徴ベクトルｙ２に対するユークリッド距離ｓ２
（ｈ）が小さい順、即ち、類似度が大きい順に上位１０
名の属性類似者を選別する。例えば、性別推定工程で推
定した性別が女性であったときには、図８に示すよう
に、女性のみについて上位１０名を選別する。

【００８２】そして、この１０名の各属性類似者の年代
Ａｉ（１≦ｉ≦１０）から、顧客Ｑの年代Ａｑを推定す
る。顧客Ｑの年代Ａｑの推定は、下記の式（１）を用い
て行う。

【００８３】 Ａｑ＝Σ（Ｗｉ＊Ａｉ） … （１） 但し、ΣＷｉ＝１ ここで、Ｗｉ（１≦ｉ≦１０）は、属性類似者毎の重み
であって、下記の式（２）で表される。

【００８４】 Ｗｉ＝（Ｄ−ｓ２（ｈ（ｉ）））／（（１０−１）＊Ｄ） … （２） 但し、ｓ２（ｈ（ｉ））：類似属性者毎のユークリッド
距離、Ｄ＝Σｓ２（ｈ（ｉ）） 即ち、Ｄは、各属性類似者に対応するクラスｈの平均特
徴ベクトルＢ（ｈ）の対象特徴ベクトルｙ２に対するユ
ークリッド距離ｓ２（ｈ（ｉ））の総和である。そし
て、重みＷｉは、その属性類似者に対するユークリッド
距離ｓ２（ｈ（ｉ））をＤから差し引いた値（Ｄ−ｓ２
（ｈ（ｉ）））を、ユークリッド距離Ｓ２（ｈ（ｉ））
の総和Ｄ＝Σｓ２（ｈ（ｉ））に属性類似者の人数１０
から１を差し引いた値（１０−１）を乗じた値（（１０
−１）＊Ｄ）で除した値である。この重みＷｉは、対象
特徴ベクトルｙ２に対するユークリッド距離ｓ２（ｈ
（ｉ））が小さいほど、即ち、顧客Ｑの対象顔画像の特
徴により類似する特徴を備えた参照顔画像の参照人物の
年代ほど、顧客Ｑの年代である可能性を高くするように
設定されたものである。年代推定工程では、顔の特徴が
より類似するほど年代もより近いという仮説に基づい
て、年代が不明な顧客Ｑの年代を推定する。

【００８５】以上の各工程からなる属性推定処理によっ
て、任意の顔向き方向で撮像された顧客Ｑの対象顔画像
から、その顧客Ｑの性別及び年代が推定される。本実施
形態において、男女の性別差が顕著でない幼年者と、男
女の性別差が顕著な青年、中年及び老年とを共に対象人
物とする場合には、顔向き推定工程の後、類似者推定工
程の前に、幼年者と、青年、中年及び老年とを判別する
工程を設けることが望ましい。これは、対象人物が幼年
者でなかった場合、類似者推定工程で選別される類似者
中に入った幼年者によって、性別の推定精度が低下する
ためである。なお、幼年者と、青年、中年及び老年とを
判別する手法としては、参照特徴ベクトルを幼年者と、
青年、中年及び老年とに対応するクラスに分類した線形
判別空間で線形判別分析する手法がある。また、参照特
徴ベクトルを用いず、例えば身長等の特徴に基づいて判
別する手法であってもよい。

【００８６】次に、以上詳述した本実施形態が有する効
果を列記する。 （１） 性別及び年代が異なる複数の参照人物について
異なる複数の顔向き方向から撮像された参照顔画像毎の
参照特徴ベクトルの内から、性別及び年代が不明な顧客
Ｑの顔を任意の顔向き方向から撮像した対象顔画像の対
象特徴ベクトルに類似するものを判別する。この参照特
徴ベクトルに対する参照顔画像が撮像された顔向き方向
の範囲が、対象顔画像が撮像された顔向き方向の範囲で
あると推定する。さらに、推定された範囲の顔向き方向
で撮像された参照顔画像の参照特徴ベクトルの内から、
対象特徴ベクトルに類似するものを判別することで、属
性が類似する参照顔画像を判別する。そして、その参照
顔画像が撮像された参照人物の性別や年代に基づいて、
顧客Ｑの性別や年代を推定する。

【００８７】従って、任意の顔向き方向から撮像した顧
客Ｑの対象顔画像から、その顧客Ｑの性別や年代を自動
で推定することができる。 （２） 類似属性者毎の参照特徴ベクトルに対する対象
特徴ベクトルｙ２のユークリッド距離ｓ（ｈ）（類似
度）に応じた重みＷｉを付けて顧客Ｑの年代Ａｑを推定
している。このため、対象顔画像に対する類似度がより
高い参照顔画像を有する参照人物の年代ほど、顧客Ｑの
年代である可能性がより高い年代として扱われる。

【００８８】従って、顧客Ｑの顔の特徴に類似する特徴
の顔を有するとして選別した上位１０名の属性類似者の
中に、対象顔画像に対する類似度が低い参照人物が入っ
た場合でも、顧客Ｑの年代Ａｑをより高い精度で推定す
ることができる。

【００８９】（３） 水平、垂直、左下がり４５°斜
め、及び、右下がり４５°斜めの４方向のエッジで特徴
付けられる顔画像の特徴量をより明確に抽出することが
できる。従って、各工程で、顧客Ｑの顔の特徴に類似す
る特徴の顔を有する参照人物をより高い精度で判別する
ことができるので、最終的な属性推定率がより向上す
る。

【００９０】（第２実施形態）次に、本発明を具体化し
た第２実施形態を説明する。尚、本実施形態は、前記第
１実施形態における年代推定工程の内容が異なることの
みが第１実施形態と異なる。従って、第１実施形態と同
じ構成については、符号を同じにしてその説明を省略
し、年代推定工程のみについて詳述する。

【００９１】（年代推定工程）本実施形態も年代推定工
程でも、性別推定工程で推定した性別について、類似者
選別工程で用いた類似者判別空間βで選別された所定数
の属性類似者の年代に基づいて、顧客Ｑの年代を推定す
る。

【００９２】本実施形態では年代推定工程として、先
ず、性別推定工程で推定した性別について、改めて類似
者判別空間βで特徴ベクトルｙ２に対するユークリッド
距離ｓ２（ｈ）が小さい順、即ち、類似度が大きい順に
１０名の属性類似者を選別する。

【００９３】そして、この１０名の各属性類似者の年代
Ａｊ（１≦ｊ≦１０）から、顧客Ｑの年代Ａｑを推定す
る。この顧客Ｑの年代Ａｑの推定は、下記の式（３）で
示すように、各属性類似者の年代Ａｊの平均を求めるこ
とで行う。

【００９４】Ａｑ＝Σ（Ａｊ）／１０ … （３） 以上詳述した本実施形態は、前記第１実施形態の
（１），（３）に記載した各効果を有する。

【００９５】（第３実施形態）次に、本発明を具体化し
た第３実施形態を図９〜図１１に従って説明する。尚、
本実施形態は、図９に示すように、前記第１実施形態に
おける類似者判別工程をなくしたことと、性別推定工程
及び年代推定工程の内容が異なることのみが第１実施形
態と異なる。従って、第１実施形態と同じ構成について
は、符号を同じにしてその説明を省略し、性別推定工程
及び年代推定工程のみについて詳述する。

【００９６】（性別推定工程）本実施形態の性別推定工
程では、顔向き推定工程で推定した範囲の顔向き方向で
撮像した参照顔画像の参照特徴ベクトルと、対象顔画像
の対象特徴ベクトルとを用いて、顧客Ｑの性別及び年代
を順に推定する。即ち、性別推定工程では、男性の顔に
は男性的な特徴があり、女性の顔には女性的な特徴があ
ることに基づき、顧客Ｑの対象顔画像に類似する参照顔
画像を判別し、この参照顔画像に対応する参照人物の性
別が顧客Ｑの性別であると推定する。

【００９７】性別推定工程として、先ず、顔向き推定工
程で推定した範囲の顔向き方向で撮像した参照顔画像の
参照特徴ベクトルが線形写像された線形空間（以下、性
別判別空間γという。）に、対象顔画像の対象特徴ベク
トルを線形写像する。

【００９８】性別判別空間γは、顔向き推定工程で推定
した範囲の顔向き方向で撮像した参照顔画像の参照特徴
ベクトルが、この全ての参照特徴ベクトルから求められ
る係数行列を用いて線形写像された線形空間である。本
実施形態では、左右３方向、上下５方向の範囲にある１
５の顔向き方向毎に１０回ずつ３００名について撮像さ
れた４５０００の参照顔画像の参照特徴ベクトルが線形
写像されている。

【００９９】この性別判別空間γでは、図１０に示すよ
うに、線形写像された参照特徴ベクトルが、男性及び女
性に対応するように生成された２つのクラス１，２にそ
れぞれ分類されている。

【０１００】各クラスｋ（ｋ：１，２）には、そのクラ
スｋに分類された同性の全ての参照人物について、推定
された範囲の顔向き方向毎に撮像された参照顔画像の参
照特徴ベクトルがそれぞれ分類されている。本実施形態
では、各クラスｋに、男性又は女性である１５０名の参
照人物について、１５の顔向き方向毎に１０ずつ撮像さ
れた２２５００の参照顔画像の参照特徴ベクトルがそれ
ぞれ分類されている。

【０１０１】なお、各クラスｋは、そのクラスｋに属す
る参照特徴ベクトルの分散が小さく、かつ、クラスｋ間
の分散が大きくなるように生成されている。性別判別空
間γは、例えば、属性推定処理の実行毎に、顔向き推定
工程で推定した範囲の各顔向き方向で撮像した参照顔画
像の参照特徴ベクトルから作成される。

【０１０２】性別推定工程として、次に、性別判別空間
γに線形写像した対象顔画像の対象特徴ベクトルｙ３
が、両クラス１，２のいずれに属するかを判別する。そ
して、判別したクラスｋに対応する性別が、顧客Ｑの性
別であると推定する。

【０１０３】対象特徴ベクトルｙ３が属するクラスｋの
判別は、この対象特徴ベクトルｙ３と、各クラスｋの平
均特徴ベクトルＣ（１），Ｃ（２）（代表特徴ベクト
ル）とのユークリッド距離ｓ３（１），ｓ３（２）が小
さい方、即ち、類似度が大きい方を求めることで行う。
なお、各クラスｋの平均特徴ベクトルＣ（１），Ｃ
（２）は、そのクラスｋに分類されている全ての参照特
徴ベクトルが平均化されたものである。平均特徴ベクト
ルＣ（１），Ｃ（２）は、例えば、属性推定処理の実行
毎に、顔向き推定工程で推定した範囲の各顔向き方向で
撮像した参照顔画像の特徴ベクトルから求められる。

【０１０４】（年代推定工程）次に、年代推定工程で
は、顔向き推定工程で推定した範囲の顔向き方向で撮像
した参照顔画像の内、性別推定工程で推定した性別の参
照顔画像の参照特徴ベクトルと、対象顔画像の対象特徴
ベクトルとを用いて顧客Ｑの年代を推定する。即ち、年
代推定工程では、その年代の人物の顔には、その年代相
応の特徴があることに基づき、顧客Ｑの対象顔画像に類
似する参照顔画像を判別し、この参照顔画像に対応する
参照人物の年代が顧客Ｑの年代であると推定する。

【０１０５】年代推定工程として、先ず、顔向き推定工
程で推定した範囲の顔向き方向で撮像した参照顔画像の
内、性別推定工程で推定した性別の参照顔画像の参照特
徴ベクトルが線形写像された線形空間（以下、年代判別
空間δという。）に対象顔画像の特徴ベクトルを線形写
像する。

【０１０６】年代判別空間δは、顔向き推定工程で推定
した範囲の顔向き方向で撮像した参照顔画像の内、性別
推定工程で推定した性別の参照顔画像の参照特徴ベクト
ルが、この全ての参照特徴ベクトルから求められる係数
行列を用いて線形写像された線形空間である。本実施形
態では、１５の顔向き方向毎に１０ずつ１５０名につい
て撮像された２２５００の参照顔画像の参照特徴ベクト
ルが線形写像されている。

【０１０７】この年代判別空間δでは、図１１に示すよ
うに、線形写像された参照特徴ベクトルが、各年代に対
応するように生成されたクラス１〜クラスｍ〜クラス５
にそれぞれ分類されている。

【０１０８】各クラスｍには、そのクラスｍに分類され
た年代の参照人物について、推定された範囲の顔向き方
向毎に撮像された参照顔画像の参照特徴ベクトルがそれ
ぞれ分類されている。本実施形態では、各クラスｍに、
３０名の参照人物について１５の顔向き方向毎に１０ず
つ撮像された４５００の参照顔画像の参照特徴ベクトル
がそれぞれ分類されている。

【０１０９】なお、各クラス１〜クラス５は、そのクラ
スｍに分類された参照特徴ベクトルの分散が小さく、か
つ、クラスｍ間の分散が大きくなるように生成されてい
る。年代判別空間δは、例えば、属性推定工程の実行毎
に、顔向き推定工程で推定した範囲の各顔向き方向で撮
像した参照顔画像の内、性別推定工程で推定した性別の
参照顔画像の参照特徴ベクトルから作成される。

【０１１０】年代推定工程として、次に、年代判別空間
δに線形写像した対象顔画像の対象特徴ベクトルｙ４
が、クラス１〜クラス５のいずれに属するかを判別す
る。そして、判別されたクラスｍに対応する年代が、顧
客Ｑの年代であると推定する。

【０１１１】対象顔画像の対象特徴ベクトルｙ４が属す
るクラスｍの判別は、この対象特徴ベクトルｙ４と、各
クラスｍの平均特徴ベクトルＤ（ｍ）（代表特徴ベクト
ル）とのユークリッド距離ｓ４（ｍ）が最小、即ち、類
似度が最大となるものを求めることで行う。なお、各ク
ラスｍの平均特徴ベクトルＤ（ｍ）は、そのクラスｍに
分類された全ての参照特徴ベクトルが平均化されたもの
である。各平均特徴ベクトルＤ（ｍ）は、例えば、属性
推定工程の実行毎に、顔向き推定工程で推定した範囲の
各顔向き方向で撮像した参照顔画像の内、性別推定工程
で推定した性別の参照顔画像の参照特徴ベクトルから求
められる。

【０１１２】以上詳述した本実施形態も、前記第１実施
形態の（１），（３）に記載した各効果を有する。 （第４実施形態）次に、本発明を具体化した第４実施形
態を図１２，１３に従って説明する。尚、本実施形態
は、図１２に示すように、前記第３実施形態における性
別推定工程及び年代推定工程を、性別・年代推定工程に
変更したことのみが第１実施形態と異なる。従って、第
３実施形態と同じ構成については、符号を同じにしてそ
の説明を省略し、性別・年代推定工程のみについて詳述
する。

【０１１３】（性別・年代推定工程）本実施形態の性別
・年代推定工程では、顔向き推定工程で推定した範囲の
顔向き方向で撮像した参照顔画像の特徴ベクトルと、対
象顔画像の特徴ベクトルとを用いて、顧客Ｑの性別及び
年代を同時に推定する。即ち、性別・年代推定工程で
は、男性の顔には男性的な特徴があり、女性の顔には女
性的な特徴があることと、その年代の人物の顔にはその
年代相応の特徴があることに基づき、顧客Ｑの対象顔画
像に類似する参照顔画像を判別する。そして、この参照
顔画像に対応する参照人物の性別及び年代が、顧客Ｑの
性別及び年代であると推定する。

【０１１４】性別・年代推定工程として、先ず、顔向き
推定工程で推定した範囲の顔向き方向で撮像した参照顔
画像の参照特徴ベクトルが線形写像された線形空間（以
下、性別・年代判別空間εという。）に、対象顔画像の
対象特徴ベクトルを線形写像する。

【０１１５】性別・年代判別空間εは、顔向き推定工程
で推定した範囲の顔向き方向で撮像した参照顔画像の参
照特徴ベクトルが、この全ての参照特徴ベクトルから求
められる係数行列を用いて線形写像された線形空間であ
る。本実施形態では、左右３方向、上下５方向の範囲に
ある１５の顔向き方向毎に１０ずつ３００名について撮
像された４５０００の参照顔画像の参照特徴ベクトルが
線形写像されている。

【０１１６】この性別・年代判別空間εでは、図１３に
示すように、線形写像された参照顔画像の参照特徴ベク
トルが、性別及び年代の組み合わせで区分された１０の
クラス１〜クラスｐ〜クラス１０にそれぞれ分類されて
いる。

【０１１７】各クラスｐには、そのクラスｐに性別及び
年代の組み合わせで分類された参照人物について、推定
された範囲の顔向き方向毎に撮像された参照顔画像の参
照特徴ベクトルがそれぞれ分類されている。本実施形態
では、各クラスｐに、３０名の参照人物について１５の
顔向き方向毎に１０ずつ撮像された４５００の参照顔画
像の参照特徴ベクトルがそれぞれ分類されている。

【０１１８】なお、各クラスｐは、そのクラスｐに属す
る参照特徴ベクトルの分散が小さく、かつ、各クラスｐ
間の分散が大きくなるように生成されている。性別・年
代判別空間εは、例えば、属性推定工程の実行毎に、顔
向き推定工程で推定した範囲の各顔向き方向で撮像した
参照顔画像の参照特徴ベクトルから作成される。

【０１１９】性別・年代推定工程として、次に、性別・
年代判別空間εに線形写像した対象顔画像の対象特徴ベ
クトルｙ５が、クラス１〜クラス１０のいずれに属する
かを判別する。そして、判別したクラスｐに対応する性
別及び年代が、顧客Ｑの性別及び年代であると推定す
る。

【０１２０】対象特徴ベクトルｙ５が属するクラスｐの
判別は、この対象特徴ベクトルｙ５と、各クラスｐの平
均特徴ベクトルＥ（ｐ）（代表特徴ベクトル）とのユー
クリッド距離ｓ５（ｐ）が最小、即ち、類似度が最大と
なるものを求めることで行う。なお、各クラスｐの平均
特徴ベクトルＥ（ｐ）は、そのクラスｐに分類されてい
る全ての参照特徴ベクトルが平均化されたものである。
各平均特徴ベクトルＥ（ｐ）は、例えば、属性推定工程
の実行毎に、顔向き推定工程で推定した範囲の各顔向き
方向で撮像した参照顔画像の参照特徴ベクトルから求め
られる。

【０１２１】以上詳述した本実施形態は、前記第１実施
形態の（１），（３）に記載した各効果を有する。次
に、上記第１、第２、第３及び第４実施形態以外の実施
形態を列記する。

【０１２２】・ 前記第１実施形態で、顧客Ｑの年代Ａ
ｑを、選別した各属性類似者の年代Ａｉに基づいて推定
するときに、各年代Ａｉに付ける重みＷｉは、Ｗｉ＝
（Ｄ−ｓ２（ｈ（ｉ）））／（（ｎ−１）＊Ｄ）（但
し、Ｄ＝Σｓ２（ｈ（ｉ））、ｎ：属性類似者の人数）
に限らない。

【０１２３】・ 前記第１実施形態の年代推定工程で、
平均ベクトルｙ２に対するユークリッド距離ｓ（ｈ）が
所定値以下のクラスｈに対応する参照人物の年代に、そ
のユークリッド距離ｓ（ｈ）に応じた重みを付けて求め
た平均値を、顧客Ｑの年代として推定してもよい。

【０１２４】同様に、前記第２実施形態の年代推定工程
で、平均ベクトルｙ２に対するユークリッド距離ｓ
（ｈ）が所定値以下のクラスｈに対応する参照人物の年
代の平均値を、顧客Ｑの年代として推定してもよい。

【０１２５】・ 前記第１、第２、第３及び第４実施形
態で、顧客Ｑの年代を、幼年及び若年と、青年、中年及
び老年とで区別される年齢層で推定してもよい。また、
子供及び大人で区別される年齢層で推定してもよい。

【０１２６】また、例えば２０代前半及び後半というよ
うに、５歳ずつで区分される年齢層で推定してもよい。 ・ 前記第１、第２、第３及び第４実施形態で、左右顔
向き方向の数は７に限定されず、また、各左右顔向き方
向同士がなす角度は１５°に限定されない。同様に、上
下顔向き方向の数は５に限定されず、また、各上下顔向
き方向同士がなす角度は１５°に限定されない。さら
に、隣り合う左右又は上下顔向き方向同士がなす角度は
均等でなくてもよい。

【０１２７】・ 前記第１、第２、第３及び第４実施形
態で、顔向き推定工程において、顔向き判別空間αで特
徴ベクトル１ｙに対するユークリッド距離ｓ１（ｇ）が
最も小さいクラスｇに対応する左右顔向き方向面ＰＶ
（ｅ）のみを、対象顔画像の顔向き方向が含まれる範囲
として推定してもよい。

【０１２８】また、ユークリッド距離ｓ１（ｇ）が最も
小さいクラスｇに対応する左右顔向き方向面ＰＶ（ｅ）
に、その両隣り２つずつの左右顔向き方向面ＰＶ（ｅ）
を合わせた５つの左右顔向き方向面ＰＶ（ｅ）としても
よい。

【０１２９】・ 前記第１、第２、第３及び第４実施形
態で、各参照顔画像及び対象顔画像の濃淡画像から方向
エッジ画像を生成する方向は、水平、垂直、左下がり４
５°斜め、及び、右下がり４５°斜めの４方向に限らな
い。また、４方向に限らず、３方向や、５方向であって
もよい。

【０１３０】・ 前記第１実施形態で、各判別空間αに
線形写像した対象顔画像の対象特徴ベクトルｙ１が属す
るクラスｇを、この対象特徴ベクトルｙ１５と、各平均
特徴ベクトルＡ（ｇ）との２乗距離が最小となるクラス
としてもよい。なお、第２、第３及び第４実施形態につ
いても同様である。

【０１３１】・ 前記第１、第２、第３及び第４実施形
態で、線形判別空間を用いた線形判別分析によって推定
を行う工程において、正規化相関法や固有空間法を用い
て推定を行うようにしてもよい。

【０１３２】・ 本発明の人物属性推定装置は、顧客Ｑ
に対し、任意の顔向き方向から撮像された対象顔画像か
ら、その顧客Ｑの性別及び年代を推定するものに限らな
い。例えば、自動販売機に設けられ、顧客Ｑの正面顔の
みを対象顔画像として性別及び年代を推定する人物属性
推定装置に実施してもよい。

【０１３３】・ 本発明は、性別又は年代の推定に限ら
ず、人種の推定に実施することもできる。以下、前記各
実施形態から把握した技術的思想をその効果とともに列
記する。

【０１３４】（１） 請求項１〜請求項９のいずれか一
項に記載の発明において、前記特徴量は、前記参照顔画
像及び対象顔画像の濃淡画像から複数の方向エッジ画像
を生成し、各方向エッジ画像を所定数の解像度に正規化
した画像の濃淡値を求め、方向エッジ画像の数に解像度
数を乗じた数の次元数で前記顔画像を表した特徴ベクト
ルであることを特徴とする人物属性推定装置。このよう
な構成によれば、各参照顔画像及び対象顔画像の特徴量
を、各画像の濃淡画像を複数の方向に分割して数値化し
た多次元の特徴ベクトルで表すので、その顔画像が取得
された顔向き方向が異なっても、各参照顔画像及び対象
顔画像の特徴量がより良く抽出される。従って、顔向き
推定工程での推定精度が向上し、最終的な属性推定率が
向上する。

【０１３５】（２） 上記技術的思想（１）に記載の発
明において、前記方向エッジ画像は、前記参照顔画像及
び対象顔画像の濃淡画像から、水平、垂直、左下がり４
５°斜め、及び、右下がり４５°斜めの４方向で生成さ
れていることを特徴とする人物属性推定装置。このよう
な構成によれば、水平、垂直、左下がり４５°斜め、及
び、右下がり４５°斜めの４方向のエッジ画像で特徴付
けられる顔画像の特徴量をより明確に抽出することがで
きるため、対象顔画像に類似する参照顔画像をより精度
良く判別することができる。

【０１３６】（３） 請求項３又は請求項４に記載の発
明において、前記類似特徴量選別手段は、前記対象特徴
量に対する類似度が所定の類似度以上である前記参照特
徴量を選別することを特徴とする人物属性推定装置。

【０１３７】（４） 請求項３に記載の発明において、
前記第２属性推定手段は、前記類似属性者毎の属性の平
均を前記対象人物の属性として推定することを特徴とす
る。 （５） 請求項２〜請求項６のいずれか一項に記載の発
明において、前記参照顔画像は、前記参照人物の顔正面
に対して左右に角度をなす複数の左右顔向き方向面と、
同じく上下に角度をなす複数の上下顔向き方向面との交
差線で設定される各顔向き方向で撮像されることを特徴
とする人物属性推定装置。

【０１３８】（６） 上記技術的思想（５）に記載の発
明において、前記顔向き推定手段は、前記対象顔画像が
撮像された顔向き方向の範囲を、前記左右顔向き方向面
の内から推定することを特徴とする人物属性推定装置。

【０１３９】（７） 請求項９に記載の発明において、
前記年代は、幼年及び若年と、青年、中年及び老年とに
区別される年齢層であることを特徴とする人物属性推定
装置。

【０１４０】（８） 属性が異なる複数の参照人物に対
し、その顔を所定の異なる複数の顔向き方向で撮像した
参照顔画像毎に取得された参照特徴量と、その参照特徴
量に対応する参照人物の属性とを関連付けた状態で記憶
する記憶手段（コンピュータ１４）と、属性が不明な対
象人物の顔を任意の顔向き方向から撮像手段（ビデオカ
メラ１１）で撮像した対象顔画像から対象特徴量を取得
する特徴量取得手段（コンピュータ１４）と、前記参照
特徴量及び対象特徴量とから前記対象人物の属性を推定
する推定手段（コンピュータ１４）とを備えることを特
徴とする人物属性推定装置。

【０１４１】

【発明の効果】請求項１〜請求項９に記載の発明によれ
ば、任意の顔向き方向から撮像した対象人物の顔画像か
ら、その対象人物の性別や年代等の属性を自動で推定す
ることができる。

【図面の簡単な説明】

【図１】 第１実施形態の属性推定装置が実行する属性
推定処理を示すフローチャート。

【図２】 属性推定装置の模式構成図。

【図３】 左右顔向き方向を示す説明図。

【図４】 上下顔向き方向を示す説明図。

【図５】 顔向き方向を示す説明図。

【図６】 顔向き判別空間を示す概念図。

【図７】 類似者判別空間を示す概念図。

【図８】 性別推定工程を示す説明図。

【図９】 第３実施形態の属性推定処理を示すフローチ
ャート。

【図１０】 性別判別空間を示す概念図。

【図１１】 年代判別空間を示す概念図。

【図１２】 第４実施形態の属性推定処理を示すフロー
チャート。

【図１３】 性別・年代判別空間を示す概念図。

【符号の説明】

１０…人物属性推定装置、１１…撮像手段としてのビデ
オカメラ、１４…属性推定手段、類似特徴量選別手段、
第２属性推定手段、代表量取得手段、第３属性推定手
段、第２代表量取得手段、第４属性推定手段、第５属性
推定手段、記憶手段、特徴量取得手段、推定手段として
のコンピュータ、Ａｉ，Ａｊ，Ａｑ…年代、ｇ，ｈ，
ｋ，ｍ，ｐ…クラス、Ｑ…対象人物としての顧客、ｓ
１，ｓ２，ｓ３，ｓ４，ｓ５…類似度としてのユークリ
ッド距離、ｙ１，ｙ２，ｙ３，ｙ４，ｙ５…対象特徴量
としての対象特徴ベクトル、Ｗｉ…重み、Ｚ…参照人
物。

───────────────────────────────────────────────────── フロントページの続き (71)出願人 501087766 安本 護 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 (72)発明者 本郷 仁志 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン 内 (72)発明者 安本 護 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン 内 Ｆターム(参考） 5B057 AA19 BA02 CA12 CA16 DA12 DB02 DC01 DC36 5L096 AA02 BA02 CA02 FA06 FA15 GA02 GA19 HA09 JA11

Claims (9)

【特許請求の範囲】
1. 【請求項１】 属性が異なる複数の参照人物に対し、そ
   の顔を所定の異なる複数の顔向き方向で撮像した参照顔
   画像毎に取得されるとともに、その参照人物の属性がそ
   れぞれ関連付けられた参照特徴量と、属性が不明な対象
   人物の顔を任意の顔向き方向から撮像した対象顔画像か
   ら取得された対象特徴量とから前記対象人物の属性を推
   定することを特徴とする人物属性推定装置。
2. 【請求項２】 前記参照特徴量と前記対象特徴量とか
   ら、前記対象顔画像が撮像された顔向き方向の範囲を推
   定する顔向き推定手段と、 推定された範囲の顔向き方向で撮像された前記参照顔画
   像の参照特徴量と、前記対象特徴量とから前記対象人物
   の属性を推定する属性推定手段とを備えていることを特
   徴とする請求項１に記載の人物属性推定装置。
3. 【請求項３】 前記属性推定手段は、 推定された範囲の顔向き方向で撮像された前記参照顔画
   像の参照特徴量と前記対象特徴量とから、該対象特徴量
   と類似する参照特徴量を選別する類似特徴量選別手段
   と、 選別された参照特徴量に対応する参照顔画像が撮像され
   た前記参照人物の属性に基づいて前記対象人物の属性を
   推定する第２属性推定手段とを備えていることを特徴と
   する請求項２に記載の人物属性推定装置。
4. 【請求項４】 前記第２属性推定手段は、前記類似属性
   者毎の属性に、その類似属性者の参照特徴量に対する前
   記対象特徴量の類似度に応じた重みを付けて前記対象人
   物の属性を推定することを特徴とする請求項３に記載の
   人物属性推定装置。
5. 【請求項５】 前記属性推定手段は、 前記参照特徴量を、推定する１つの属性についてその属
   性が異なる複数のクラスに分類し、各クラスに分類され
   た参照特徴量を代表する代表特徴量を取得する代表量取
   得手段と、 前記代表特徴量と前記対象特徴量とから前記対象人物の
   属性を推定する第３属性推定手段とを備えていることを
   特徴とする請求項２に記載の人物属性推定装置。
6. 【請求項６】 前記属性推定手段は、 前記参照特徴量を、推定する複数の属性についてその各
   属性の組み合わせが異なる複数のクラスに分類し、各ク
   ラスに分類された参照特徴量を代表する代表特徴量を取
   得する第２代表量取得手段と、 前記代表特徴量と前記対象特徴量とから前記対象人物の
   複数の属性を推定する第４属性推定手段とを備えている
   ことを特徴とする請求項２に記載の人物属性推定装置。
7. 【請求項７】 属性が異なる複数の参照人物に対し、そ
   の顔を所定の顔向き方向で撮像した参照顔画像毎に取得
   されるとともに、その参照人物の属性がそれぞれ関連付
   けられた参照特徴量と、属性が不明な対象人物の顔を所
   定の顔向き方向で撮像した対象顔画像から取得した対象
   特徴量とから、該対象特徴量と類似する参照特徴量を選
   別する類似特徴量選別手段と、 選別された参照特徴量に対応する参照顔画像が撮像され
   た前記参照人物の属性に基づいて前記対象人物の属性を
   推定する第５属性推定手段とを備えていることを特徴と
   する人物属性推定装置。
8. 【請求項８】 前記第５属性推定手段は、前記類似属性
   者毎の属性に、その類似属性者の参照特徴量に対する前
   記対象特徴量の類似度に応じた重みを付けて前記対象人
   物の属性を推定することを特徴とする請求項７に記載の
   人物属性推定装置。
9. 【請求項９】 前記属性は、性別及び年代の内の少なく
   ともいずれか一方であることを特徴とする請求項１〜請
   求項８のいずれか一項に記載の人物属性推定装置。