JP4092059B2

JP4092059B2 - 画像認識装置

Info

Publication number: JP4092059B2
Application number: JP2000059502A
Authority: JP
Inventors: サイモンクリッピングデル; 崇之伊藤; 智文山根
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2000-03-03
Filing date: 2000-03-03
Publication date: 2008-05-28
Anticipated expiration: 2020-03-03
Also published as: JP2001250121A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像または静止画像に含まれる顔画像の向きを認識する画像認識装置および記録媒体に関する。
【０００２】
【従来の技術】
従来、この種の画像認識方法が開示されている文献としては、“ＦａｃｅＴｒａｃｋｉｎｇａｎｄＰｏｓｅＲｅｐｒｅｓｅｎｔａｔｉｏｎ”，ＳｔｅｐｈｅｎＭＣＫＥＮＮＡ，ＳｈａｏｇａｎｇＧＯＮＧ，ＪｏｈｎＪ．ＣＯＬＬＩＮＳ，ＢｒｉｔｉｓｈＭａｃｈｉｎｅＶｉｓｉｏｎＣｏｎｆｅｒｅｎｃｅ，Ｅｄｉｎｂｕｒｇｈ，１９９６が挙げられる。この文献は、画像中の顔の向きを表現することについて述べ、下記の画像認識方法を提案している。
【０００３】
（処理１）複数人物の顔それぞれを、垂直軸に対するいくつかの向きで示した画像集合を用意する。この画像集合の各画像の画素について４つの方位を持つガボールウェーブレット計数を計測し、計数の絶対値から特徴ベクトルを構築する。各向きごとにおいて人物全員に対する特徴ベクトルの平均を計算する。平均の特徴ベクトルから向きによる主成分を計算する。処理２の計算では固有値の大きい順に最初のいくつかの主成分のベクトルを利用する。
【０００４】
（処理２）画像認識の対象の顔画像を入力し、入力画像の全画素で４つの方位を持つガボールウェーブレットの係数を計測し、係数の絶対値から特徴ベクトルを構築する。上記の処理１で求めた主成分ベクトルに射影し、その結果により入力画像中の顔の垂直軸に対する向きを表現する。
【０００５】
【発明が解決しようとする課題】
上記画像認識方法では、顔の向きを少数の変数（すなわち射影係数）により表現することができるが上記提案された方法には次のような欠点があった。
【０００６】
（ａ）各学習画像と入力画像の全画素においてガボールウェーブレット特徴を求め、各画像の全画素の特徴を並べ直すことにより画像の特徴ベクトルを求めるので、特徴ベクトルの次元数が多く、したがって計算量が非常に多くなってしまう。
【０００７】
（ｂ）同一座標を持つ画素でも学習画像または入力画像により顔上の位置が異なる。このため顔領域の中心位置やサイズを正規化するにしても、人物による顔の形状の差により顔の向きの表現に好ましくない影響を与える。結果として向きの推定精度が減少する。
【０００８】
（ｃ）学習画像や入力画像の全画素でウェーブレット係数を計測するので、画像に背景があればその背景が画像認識に影響を与え、顔の向きの推定精度が減少する。
【０００９】
そこで、本発明の目的は、顔の向きの推定精度を損なうことなく、画像認識の計算量を低減することができる画像認識方法および記録媒体を提供することにある。
【００１０】
【課題を解決するための手段】
このような目的を達成するために、請求項１の発明は、顔の向きが予め判明している学習画像データおよび認識対象の顔の画像データからそれぞれ特徴を抽出し、当該抽出した特徴を使用して認識対象の画像データの顔の向きを認識する画像認識装置において、前記学習画像データから顔の特定位置について予め抽出された第１の特徴であって、複数の学習画像データの特定位置からガボールウェーブレット係数を抽出し、顔の向きごとに複数人物の平均特徴ベクトルを計算し、当該計算した平均特徴ベクトルを主成分分析して算出した主成分ベクトルである、第１の特徴を記憶する記憶手段と、認識対象の画像データの前記特定位置に対応する位置を指定する指定手段と、当該指定された位置の第２の特徴であって、認識対象の画像データの前記特定位置に対応する位置から抽出したガボールウェーブレット係数を使用する特徴ベクトルである、第２の特徴を前記認識対象の画像データから抽出する特徴抽出手段とを具え、該特徴抽出手段により抽出された第２の特徴を、前記記憶手段に記憶された第１の特徴である主成分ベクトルに射影して得られる射影係数により認識対象の顔の向きを推定することを特徴とする。
【００１１】
請求項２の発明は、請求項１に記載の画像認識装置において、前記学習画像データおよび顔の向きを入力する入力手段と、当該入力された学習画像データから前記特定位置における第１の特徴を抽出して前記記憶手段に記憶する学習画像データ用特徴抽出手段とをさらに具えたことを特徴とする。
【００１３】
請求項３の発明は、請求項１または２に記載の画像認識装置において、前記特定位置は目の両端、眉間、鼻頭頂、唇の両端および唇の中央部上部のいずれかを含むことを特徴とする。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１９】
本実施形態では以下の画像認識方法に基づいて、従来の画像認識方法の欠点を解消する。
【００２０】
（１）学習画像又は入力画像の特徴ベクトルとして、上記文献の場合、全画素（１２８×１２８＝１６３８４点）でガボールウエーブレット係数を四つの方位で計測するが、本実施形態では少数の特徴点（例えば後述の実施形態では目頭、目尻、口の両端等の９点）だけでガボールウエーブレット係数を計測する。このようにして、本実施形態では、顔の中の少数の特徴点のみを使用するので、８つの方位を使用しても、特徴ベクトルの次元数と計算量は本実施形態の方が圧倒的に少ない。
【００２１】
（２）従来法では、顔の特徴（例えば目頭）を位置合わせずに画像を処理することにより、サイズなどを正規化するとしても、人物の顔の形状の個人性は向きの表現に好ましくない影響を及ぼして向きの推定の精度を減少させる恐れがある。しかしながら本実施形態では、顔の中の各特徴点毎の位置を特定することで、特徴点はいつも顔の同じ場所（例えば目頭）に位置する。これにより、
（ａ）学習画像の各向きに対する特徴ベクトルの平均を取るときに異なる顔でも同じ特徴の位置が合わせられ、平均特徴ベクトルとその主成分ベクトルは人物の顔形状の個人性から影響を受けずに顔の向きによる変化だけを表現することが可能になる。
（ｂ）同様に、入力画像より計測した特徴ベクトルを主成分ベクトルに射影するときに、特徴ベクトルの計測場所は画像の同じ場所ではなく、顔の同じ場所であることにより、顔の向きの推定値は人物の顔形状の個人性から影響を受けない。
【００２２】
（３）従来の画像認識方法では、学習画像や入力画像の全画素でウエーブレット係数を計測するので、画像に背景があればそれは結果に影響を及ぼす恐れがある。これに対して本実施形態では、各特徴点毎の近傍だけを用いて特徴ベクトルを計測することにより、学習画像や入力画像に背景があるとしてもその背景の影響を最小化する。
【００２３】
図１は本発明実施形態の機能構成を示す。図１において、学習画像集合は、複数人物の複数の顔の画像集合であり、顔の向きが異なる画像が画像集合に含まれている。各学習画像が示す顔の向きは予め与えられている。例えば、ある学習画像は「人物ＩＤ＝ｎ、向き＝ｐ」という形態で与えられる。本実施形態では、学習画像集合は−４０度〜＋４０度の間で１０度ずつ向きが異なる複数の画像を含む。（正面顔は０度と呼ぶ。）
【００２４】
本実施形態で採取した学習画像集合の人数は１７人であり、学習画像のサイズは１２８×１２８画素である。正規化の詳細は後述する。また、各学習画像毎における、複数の特徴点座標（本実施形態の場合では９点）も与えられているものとする。特徴点の座標は手動又は別の方法により求められるものとする。本実施形態では学習画像を画像処理装置の表示画面に表示させ、マウス等により、操作者が特徴点の位置を指定して、画像処理装置側で学習画像の特徴点の位置を取得する。
【００２５】
本実施形態の場合、顔における各特徴点の位置は以下のとおりである。
【００２６】
特徴点０：顔の垂直中央線に、鼻の上部における一番深い場所
特徴点１：顔の垂直中央線に、上唇の真中辺における赤色と白色の境界
特徴点２：人物の右の目尻
特徴点３：人物の右の目頭
特徴点４：人物の左の目頭
特徴点５：人物の左の目尻
特徴点６：鼻先（３次元で一番手前の所）
特徴点７：人物の右の口隅
特徴点８：人物の左の口隅
従来の特徴点が全画素の個数であるのに対し、本実施形態では９点であり、このように圧倒的に特徴点が少ないことに留意されたい。与えられた学習画像集合と各学習画像における特徴点の位置を模式的に図２に示す。
【００２７】
顔の向きの認識処理の前処理として原学習画像が示す顔の領域を画像の中心に平行移動し、上述特徴点０から特徴点１までの線の長さをほぼ５６画素に拡大し、傾きを正面顔の場合に垂直、横顔の場合に１０度に回転する正規化の処理（拡大、回転、平行移動）を画像認識装置において行う。このように前処理された後の学習画像および特徴点座標の値を使用して画像認識装置において図１に示す処理を実行する。
【００２８】
図１の特徴ベクトル計測部１では各特徴点で、学習画像の近傍といくつかのガボールウェーブレット関数を畳み込み、その結果（ウェーブレット係数）の絶対値を計算する。使用するウエーブレットの定義は以下の文献に基づく。
・ＳｉｍｏｎＣＬＩＰＰＩＮＧＤＡＬＥ，伊藤崇之，“動画像の顔追跡・認識システム「ＦＡＶＲＥＴ」の特徴選択実験”，電子情報通信学会ＰＲＭＵ９９−１０９，１９９９年１１月
なお、最低解像度（上記文献の（１）〜（３）数式における解像度パラメータｒ＝４）のものだけを使用する。本実施形態では、８つのガボールウエーブレット関数を使用しているがこれに限定されることはない。それぞれは２２．５度ごとに回転された母関数である。本実施形態で使用している８方位×９特徴点＝７２係数の絶対値を特徴ベクトルとし、一枚の学習画像を代表する。各学習画像の特徴ベクトルのイメージを図３の上半分で示す。
【００２９】
各向きの平均計算部２では各向きで人物全員の特徴ベクトルの平均ベクトルを計算する。このプロセスを図３の太い矢印として示す。
【００３０】
主成分分析部３では、平均特徴ベクトルの向きによる主成分ベクトルを求める。この処理は一般的によく知られており、例えば下記の参考文献で説明されている。
・Ｐｒｅｓｓ，Ｔｅｕｋｏｌｓｋｙ，Ｖｅｔｔｅｒｌｉｎｇ＆Ｆｌａｎｎｅｒｙ，“ニューメリカルレシピ・イン・シー，Ｃ言語による数値計算のレシピ”（日本語版），技術評論社，ＩＳＢＮ４−８７４０８−５６０−１
・田中豊・脇本和昌，“多変量統計解析法”，現代数学社，京都（１９８３）の第２章“主成分分析法”
主成分分析部３において求められた主成分ヘクトルは平均特徴ベクトル集合のサンプル共分散行列の単位固有ベクトルである。固有値の大きい順に並べ直したものを図３の下の部分で示す。固有値が最大の二つの主成分ベクトルｅ₀ｅ₁だけを画像処理装置内部のメモリに記憶しておく。
（ｉ）入力画像とそこにおける特徴点座標が与えられるとする。実施形態では、下記の参考文献
・特願平１１−２０６７６４号
・ＳｉｍｏｎＣＬＩＰＰＩＮＧＤＡＬＥ，伊藤崇之，“動画像の顔検出・追跡・認識への統一されたアプローチ”，電子情報通信学会ＰＲＭＵ９８−２００，１９９９年１月
に記載された追跡・認識の統一された方法により特徴点座標を求める。上記の学習画像の正規化処理と同じく、入力画像と特徴点座標があらかじめ正規化される（図４の右上参照）。
【００３１】
特徴ベクトル計測部４では上述の特徴ベクトル計測部１と同じく、入力画像を代表する特徴ベクトルを求める（図４の左上参照）。射影部５では入力画像から求めた特徴ベクトルを主成分ベクトルｅ₀，ｅ₁に射影する。すなわち、主成分ベクトルｅ₀，ｅ₁それぞれとの内積を計算し（図４の右上参照）、射影係数ｕ．ｖを得る。射影係数を主成分空間上の座標とする（図４の右下参照）。
【００３２】
ベクトル量子化ＶＱ６では射影係数ｕ，ｖの値より入力画像に現れる顔の向きの推定を求める。ベクトル量子化Ｖ０６の入出力関数の例を図５で示す。
【００３３】
ベクトル量子化部ＶＱ６の入出力関数を設定するには実際の顔画像から求めたデータを使う。例として、１７人分の実際のデータから求めた主成分空間に、同じ１７人分の顔画像を入力画像とし、得られた射影係数を図６で示す。図６は１７人分の射影係数の平均を示している。このグラフにおける平均値の位置（図中、□で示す）により各向きに対応する領域を図５のように定義することができる。数人分の入力顔画像の向きの変化に伴い本実施形態の画像認識方法により求めた射影係数を線として表している。そのほとんどは同じような形を持つ緩やかな軌跡を見せ、それにより逆に顔の向きを推定することが簡易となる。
【００３４】
具体的な画像認識装置のシステム構成の一例を図７に示す。画像認識装置としては、汎用の画像処理装置、パソコンなどを使用することができる。
【００３５】
画像認識装置はＣＰU７、システムメモリ８、ハードディスクドライブ（ＨＤＤ）９、スキャナーと接続する入出力処理部（Ｉ／Ｏ）１０、キーボード１１、マウス１２およびディスプレイ１３等を有する。不図示の記録媒体からプログラムが読み込まれて、ＨＤＤ９にインストールされる。プログラムを実行するときには、記録媒体又はＨＤＤ９からプログラムが読まれてシステムメモリ８に格納（ローディング）され、ＣＰＵ７によって実行される。
【００３６】
図８を参照して図７の画像認識装置のシステム動作を説明する。
【００３７】
プログラムの起動に応じて、ディスプレイ１３にメニュー選択画面が表示される。本実施形態では、学習画像の登録モードと顔の向きの認識モードがメニューとして用意されている。ユーザが学習画像の登録モードをキーボード１１またはマウス１２により選択すると（ステップＳ１０）、選択内容が判別されて、手順はステップＳ２０からステップＳ１００へと移行する。
【００３８】
ユーザはスキャナーに入力したい複数の画像原稿をセットし、画像の読み込みを実行させる。読み込まれた画像がシステムメモリ８に記憶され、ディスプレイ１３に順次に表示される。ユーザはマウス１２を使用して表示画面上の顔の特徴点、すなわち、目の両端や鼻頭頂、眉間、唇の両端、唇の中央の上部を指定する。また、顔の向きおよび画像の識別番号（ＩＤ）をキーボード１１およびマウス１２により入力する。指定された位置に対応する画像データがシステムメモリ８に記憶された入力画像の中から抽出される。抽出された画像データおよび顔の向きが読み込まれた画像単位でシステムメモリ８内の別の領域に記憶される。
【００３９】
ＣＰＵ７は抽出され、記憶された画像データについて同一の顔の向きの画像データ同士で集めた後、これらの画像データを使用して特徴を計算する。ここで図１により説明した処理１〜処理３が行なわれ、計算された特徴（平均特徴ベクトルの主成分）およびその場合の顔の向きがＨＤＤ９に記憶される（ステップＳ１００→Ｓ１１０→Ｓ１２０）。以上で学習画像の登録処理が終了する。
【００４０】
ユーザが顔の向きの認識を行ないたい場合にはメニュー画面で顔の向きの認識モードをマウス１２等により選択する（ステップＳ１０）。この選択処理により手順はステップＳ１０〜Ｓ３０→Ｓ２００へと進む。
【００４１】
ユーザは認識したい画像原稿をスキャナーにセットしてスキャナーにより画像を読み込ませる。これにより読み込まれた画像はシステムメモリ８に記憶されると共にディスプレイ１３にも表示される（ステップＳ２００）。
【００４２】
ユーザは表示された画像の顔の特徴点、すなわち、目の両端、鼻頭頂，眉間等学習画像の登録と同じ位置の特徴点を指定する（ステップＳ２１０）。ＣＰＵ７は指定された位置の画像データをシステムメモリ８から抽出し、特徴ベクトルを計算する。この処理が図１の処理４に対応する。ＨＤＤ９に記憶された平均特徴ベクトルの主成分および向きと認識対象の画像から取得された特徴ベクトルを使用して画像の向きが認識される。この処理は図１の処理５および処理６を通じて行なわれる。認識結果が、たとえば顔の向きの角度の形態でディスプレイ１３に表示される。
【００４３】
以上説明したように、本実施形態によれば、従来法に比べて計算量が少なく、顔の垂直軸に対する向きを効率的に表現し推定することができる。
【００４４】
上述の実施形態の他に次の形態を実施できる。
１）上述の実施形態では認識対象の入力画像および学習画像の特徴点の指定はマウスにより手動で行なったが画像認識装置側で自動で行なうことができる。一例としては画像の輪郭線を抽出するとともに、抽出した輪郭線の部位を判定する。部位の判定は色又は目、鼻、口などの顔部品の画像テンプレートを使用するとよい。色を使用するのであれば、唇は赤成分が多く、目では黒と白の成分が多いことを利用するとよい。また、特徴点は、目、唇、鼻等を選択的に使用すればよく、上述の実施例に限定されることはない。また、目、唇、鼻以外の顔の部位を特徴点の位置（特定位置）として使用することも可能であるが顔の向きが異なるごとに、その位置の変化が明確になる位置が好ましい。
２）上述の実施形態では学習機能、すなわち，学習画像データから特徴を抽出する機能を画像認識装置に持たしているが、予め他の画像処理装置により学習画像データから特徴を抽出し、抽出した特徴およびその向きを携帯用記録媒体や通信を介して、上述の画像処理装置のハードディスクに記憶させるようにしてもよい。
３）顔の認識を行なうためのプログラムを記録する記録媒体としては、ＲＯＭ、ＲＡＭ等のＩＣメモリ、ハードディスク、ＣＤＲＯＭその他、周知の記憶装置を記憶することができる。また、このプログラムは他の装置から通信により画像認識装置にダウンロードする場合には、他の装置内でプログラムを記憶する記憶装置が本発明の記録媒体となる。
４）上述の形態では静止画像を使用した認識処理を説明したが、認識対象の画像や学習画像は動画像とすることができることは言うまでもない。動画像の場合には、動画像を構成する複数の静止画像が処理の対象となる。
５）以上述べた画像認識方法を使用して顔画像処理（検出、追跡、領域の切り出し、人物認識等）のために顔データベースを構築することができる。下記の参考文献参照。
【００４５】
・特願平１１−２０６７６４号
・ＳｉｍｏｎＣＬＩＰＰＩＮＧＤＡＬＥ，伊藤崇之，“動画像の顔検出・追跡・認識への統一されたアプローチ”，電子情報通信学会ＰＲＭＵ９８−２００，１９９９年１月
以上述べた実施形態の他に種々の変形が可能であるが、その変形が特許請求の範囲に記載された技術思想に沿うものである限り、その変形は本発明の技術範囲内となる。
【００４６】
【発明の効果】
以上、説明したように、たとえば、目，鼻、唇など、顔の向きがことなるとその位置の変化が明確に現れる顔の特定位置から画像の特徴を抽出するようにしたので、画像データお画素全てから特徴を抽出する従来法に比べて顔の向きの認識処理にかかわる計算量を大幅に低減し、また、認識性能が低下することはない。
【図面の簡単な説明】
【図１】本発明実施形態の機能構成を示すブロック図である。
【図２】本発明実施形態の特徴点を説明するための説明図である。
【図３】本発明実施形態の情報処理内容を示す説明図である。
【図４】本発明実施形態の情報処理内容を示す説明図である。
【図５】本発明実施形態の情報処理内容を示す説明図である。
【図６】本発明実施形態の射影係数を示す説明図である。
【図７】本発明実施形態のシステム構成を示すブロック図である。
【図８】本発明実施形態の処理手順を示すフローチャートである。
【符号の説明】
７ＣＰＵ
８システムメモリ
９ＨＤＤ
１０Ｉ／Ｏ
１１キーボード
１２マウス
１３ディスプレイ

Claims

顔の向きが予め判明している学習画像データおよび認識対象の顔の画像データからそれぞれ特徴を抽出し、当該抽出した特徴を使用して認識対象の画像データの顔の向きを認識する画像認識装置において、
前記学習画像データから顔の特定位置について予め抽出された第１の特徴であって、複数の学習画像データの特定位置からガボールウェーブレット係数を抽出し、顔の向きごとに複数人物の平均特徴ベクトルを計算し、当該計算した平均特徴ベクトルを主成分分析して算出した主成分ベクトルである、第１の特徴を記憶する記憶手段と、
認識対象の画像データの前記特定位置に対応する位置を指定する指定手段と、
当該指定された位置の第２の特徴であって、認識対象の画像データの前記特定位置に対応する位置から抽出したガボールウェーブレット係数を使用する特徴ベクトルである、第２の特徴を前記認識対象の画像データから抽出する特徴抽出手段とを具え、
該特徴抽出手段により抽出された第２の特徴を、前記記憶手段に記憶された第１の特徴である主成分ベクトルに射影して得られる射影係数により認識対象の顔の向きを推定することを特徴とする画像認識装置。
請求項１に記載の画像認識装置において、前記学習画像データおよび顔の向きを入力する入力手段と、当該入力された学習画像データから前記特定位置における第１の特徴を抽出して前記記憶手段に記憶する学習画像データ用特徴抽出手段とをさらに具えたことを特徴とする画像認識装置。
請求項１または２に記載の画像認識装置において、前記特定位置は目の両端、眉間、鼻頭頂、唇の両端および唇の中央部上部のいずれかを含むことを特徴とする画像認識装置。