JP2007304801A - 立体性認証方法、立体性認証装置および立体性認証プログラム - Google Patents

Abstract

【課題】顔認証における写真などによる不正認証を防止する立体性認証方法、立体性認証装置および立体性認証プログラムを提供する。
【解決手段】撮像手段１０は、姿勢の異なる複数の顔画像Ｓ１０ａ，Ｓ１０ｂを撮像する。特徴抽出手段２０は、顔画像Ｓ１０ａ，Ｓ１０ｂのそれぞれから、顔の中の特徴点を抽出する。抽出する特徴点は、任意の３つの特徴点（平面構成点）と、実物の顔においてその３点で構成される平面外の点（立体性評価点）である。立体量計算手段３０は、特徴抽出手段２０で抽出された各画像の特徴点座標Ｓ２０ａ，Ｓ２０ｂから立体性評価点の立体性評価量Ｓ３０を計算する。立体性判定手段４０は、立体量計算手段３０で計算された立体性評価量Ｓ３０と、あらかじめ与えられた閾値とにもとづいて、立体性評価点の立体性を判定することにより、顔画像が、現実の立体的な顔が被写体として撮像された画像であるか否かを判断する。
【選択図】図１

Description

本発明は、顔画像による個人認証時の不正認証を検出する立体性認証方法、立体性認証装置および立体性認証プログラムに関する。

顔画像による個人認証時の問題として、クラッキングによる不正認証がある。クラッキングによる不正認証とは、本人以外の人物がなんらかの手段で本人に「なりすまし」て認証システムを通過することである。具体的な方法としては、実行の容易さから、本人が撮影された写真を用いることが多い。写真を利用したなりすましは、紙のような媒体に印刷して用いるか、モニタのような表示装置に映して用いることが考えられる。

表示物上の顔は３次元世界では平面である。すなわち、現実の世界である３次元世界において、紙やモニタなどに表示された顔は２次元の情報（平面）である。また、現実の世界では、動作もあるのでこれを利用することが考えられる。特許文献１には、顔の部分領域の動きで判定する方法の一つが記載されている。特許文献１では、目や口の閉開に着目している。目や口は顔の特徴の中でも見つけやすいものであり、動きが生じやすい部分であるのでこの方法は一つの対処策である。

他のアプローチとして、表示物上の顔は３次元世界では平面であるのに対し、実物の顔は立体的であることを利用する方法がある。

特許文献２には、この方針による方法として、光を照射する方法、ステレオ視による方法、複数の特定動作時の顔画像を登録する方法が記載されている。また、特許文献３には、より直接的に距離測定用センサを用いる方法があげられている。

光を照射する方法では、顔が３次元形状をもつことから生じる陰影を利用する。ステレオ視による方法は、位置関係が既知の複数のカメラによって撮影された画像のそれぞれを用いて、もしくは位置制御がされた１台のカメラによって異なる視点で撮影された複数画像を用いて、三角測量原理により３次元形状を計測する方法である。

複数の特定動作時の顔画像を登録する方法では、登録時に複数姿勢の画像を登録しておき、認証時に正面画像とある一定以上の姿勢変化画像を用いれば、写真などの平面物によるなりすましを排除するのは容易である。距離測定用センサには、パターン光を照射してその画像で計測するものなどがあり、原理的には光を照射する方法とステレオ視による方法の組み合わせに近い。

特開２００２−２５１６１４号公報（段落００４５−００５５） 特開２００３−１７８３０６号公報（段落００１５，００３９，００５５） 特開２００５−１３５２７１号公報（段落００２２−００２６）

しかし、特許文献１に記載された方式では、次のような問題がある。瞼の動作は人、もしくは撮像画像によっては小さくて見つけづらいこともある。目と口の動作は人の顔の表情も大きく変えるため、周囲の目が気になるところでは行いにくい心理的な抵抗もあり、携帯端末のようなさまざまな使用場所が想定されるものには実装しづらい。

また、特許文献２に記載された方法である光を照射する方法は、照明条件に影響されやすいため使用場所が限定され、性能の安定度も期待しづらい。ステレオ視による方法は、ステレオ視による形状計測の問題がそのままあてはまり、複数の位置関係が定まったカメラか、１台のカメラの位置を制御する装置が必要になり、使用場所や実装条件が制限される。

特許文献３に記載された方法である複数の特定動作時の顔画像を登録する方法では、複数の特定動作時の登録が面倒であり、正面以外の顔認証は困難である問題もある。距離測定用センサを用いる方法は確実であるが、コストがかかり、携帯端末など小さなものへの実装は難しい。

本発明の目的の一つは、顔認証における写真などによる不正認証を防止する立体性認証方法、立体性認証装置および立体性認証プログラムを提供することにある。

本発明の目的の一つは、携帯端末などの小型の装置での顔認証における写真などによる不正認証を防止する立体性認証方法、立体性認証装置および立体性認証プログラムを提供することにある。

本発明の目的の一つは、単一のカメラのみで顔認証における写真などによる不正認証を防止する立体性認証方法、立体性認証装置および立体性認証プログラムを提供することにある。

本発明による立体性認証方法は、撮影対象物の立体性を判断する立体性認証方法であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、特徴点抽出ステップにおいて抽出された各特徴点の座標にもとづいて、撮影対象物の立体度を示す立体性評価量を計算する立体量計算ステップと、立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含むことを特徴とする。

入力ステップにおいて、撮影対象物として人物の顔が撮影された撮影画像を取得してもよい。そのような構成によれば、人物の顔の立体性を判断することができ、撮影画像が、人物の顔写真が被写体として撮像された画像か、現実の立体的な顔が被写体として撮像された画像かを判断することができる。

特徴点抽出ステップにおいて、人物の顔の左目の中心、右目の中心、唇の左端、唇の右端、鼻の頂点、鼻の下および唇の上端のいずれか４つ以上の点に対応する特徴点を抽出してもよい。そのような構成によれば、顔の表情を変えることなく、立体性を判断することができる。

立体量計算ステップにおいて、立体性評価量として、特徴点の座標の差を要素とする行列の最小特異値を計算してもよい。そのような構成によれば、座標の差を要素とする行列に基づいて容易に最小特異値を算出し、立体性を判断することができる。

立体量計算ステップにおいて、立体性評価量として、特徴点の座標の差を要素とする行列の転置行列と行列との積である正則行列の最小固有値を計算してもよい。そのような構成によれば、座標の差を要素とする行列および転置行列に基づいて、容易に最小固有値を算出し、立体性を判断することができる。

立体量計算ステップにおいて、立体性評価量として、特徴点の座標の差を要素とする行列の転置行列と行列との積である正則行列の特性多項式に０近傍の特定の２値を代入した値をそれぞれ計算してもよい。そのような構成によれば、座標の差を要素とする行列および転置行列に基づいて、少ない計算量で立体性評価量を算出することができる。

本発明による立体性認証装置は、撮影対象物の立体性を判断する立体性認証装置であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、特徴点抽出手段によって抽出された各特徴点の座標にもとづいて、撮影対象物の立体度を示す立体性評価量を計算する立体量計算手段と、立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備えることを特徴とする。

入力手段は、撮影対象物として人物の顔が撮影された撮影画像を取得してもよい。そのような構成によれば、人物の顔の立体性を判断することができ、撮影画像が、人物の顔写真が被写体として撮像された画像か、現実の立体的な顔が被写体として撮像された画像かを判断することができる。

特徴点抽出手段は、人物の顔の左目の中心、右目の中心、唇の左端、唇の右端、鼻の頂点、鼻の下および唇の上端のいずれか４つ以上の点に対応する特徴点を抽出してもよい。そのような構成によれば、顔の表情を変えることなく、立体性を判断することができる。

立体量計算手段は、立体性評価量として、特徴点の座標の差を要素とする行列の最小特異値を計算してもよい。そのような構成によれば、座標の差を要素とする行列に基づいて容易に最小特異値を算出し、立体性を判断することができる。

立体量計算手段は、立体性評価量として、特徴点の座標の差を要素とする行列の転置行列と行列との積である正則行列の最小固有値を計算してもよい。そのような構成によれば、座標の差を要素とする行列および転置行列に基づいて、容易に最小固有値を算出し、立体性を判断することができる。

立体量計算手段は、立体性評価量として、特徴点の座標の差を要素とする行列の転置行列と行列との積である正則行列の特性多項式に０近傍の特定の２値を代入した値をそれぞれ計算してもよい。そのような構成によれば、座標の差を要素とする行列および転置行列に基づいて、少ない計算量で立体性評価量を算出することができる。

本発明は、撮影対象物の立体性を判断するコンピュータに搭載される立体性認証プログラムであって、コンピュータに、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力処理と、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、入力処理において取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出処理と、特徴点抽出処理において抽出された各特徴点の座標にもとづいて、撮影対象物の立体度を示す立体性評価量を計算する立体量計算処理と、立体量計算処理において計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定処理とを実行させることを特徴とする。

本発明による立体性認証方法の好ましい一態様は、例えば、単一のカメラで認証者の姿勢を変えた複数の顔画像を撮像し、それぞれで３点以上の特徴点と３次元空間においてそれらの３点で構成される平面上にない１点以上の特徴点を取得する。通常のステレオ視は、距離や形状を測定するものであるので、特許文献２の記載のようにカメラの位置関係が既知の複数のカメラを用いるか、単一のカメラを位置制御しながら移動させ撮像する必要がある。しかしながら、立体性の判定は、正確な距離や形状を測定する必要はなく、平面性を判定できれば十分であり、距離や形状の変わりに立体性評価量を定義し、これを計算した結果で写真など人工物上の顔か実物の顔かを判定する。特に、顔の中でも、比較的抽出が容易な両目中心と唇の左右両端のいずれかで作る平面と、鼻の頂点、鼻の下点、上唇上端の中央点などは、実物の顔では明白な立体性があるのでこれを検出できれば良い。複数の位置関係が定まったカメラや、１台のカメラの位置を制御する装置がない、１台のアンキャリブレートによるステレオ視でも、両目中心、唇の左右両端などのうちの３点で構成される平面に対する鼻の頂点などいずれかによる１点の立体性は、上記の立体性評価量で検出できるのでこれを利用する。以上により、本発明の目的を達成することができる。

本発明の第１の効果は、顔画像による個人認証時に写真による不正認証を検出、防止する点にある。その理由は、認証時に撮影画像中の顔の立体性を計算するからである。

本発明の第２の効果は、携帯端末など小型の装置上で顔画像による個人認証時に写真による不正認証を検出、防止する点にある。その理由は、携帯端末などに付属の小型のカメラで撮影した顔画像のみで不正認証を検出、防止するからである。

本発明の第３の効果は、周囲の目が気になる場所でも写真による不正認証を検出、防止した顔画像認証が可能な点にある。その理由は、認証時に撮影画像中の顔の立体性を計算し、目や口のような顔の表情が変わるような顔動作を必要としないことにある。

本発明の第４の効果は、低コストで顔画像による個人認証時に写真による不正認証を検出、防止する点にある。その理由は、単一のカメラで実現可能で、ステレオカメラやカメラ制御装置、光照射器、距離センサなどを必要としないからである。

本発明の第５の効果は、顔認証時の計算処理を軽減しつつ個人認証時に写真による不正認証を検出、防止する点にある。その理由は、登録画像は正面顔単一でよく、顔認証が困難になる横向き顔画像を用いる必要がないからである。さらに、目や口の動作のような人によっては検出しづらい動作を検出する必要も無い。

実施の形態１．
以下、本発明の第１の実施の形態を図面を参照して説明する。図１は、本発明による立体性認証装置の第１の実施の形態を示すブロック図である。

図１に示す立体性認証装置は、複数の姿勢の顔画像群Ｓ１０ａ，Ｓ１０ｂを撮像、蓄積する撮像手段１０と、顔画像Ｓ１０ａ，Ｓ１０ｂのそれぞれにおいて画像間で対応づけられた特定の特徴点Ｓ２０ａ，Ｓ２０ｂを取得する特徴点抽出手段２０と、それらの特徴点座標値Ｓ２０ａ，Ｓ２０ｂから平面外にある特徴点の立体性評価量Ｓ３０を計算する立体量計算手段３０と、その立体性評価量Ｓ３０から、写真など人工物による不正認証か否かを判定する立体性判定手段４０とを備える。

撮像手段１０は、姿勢の異なる複数の顔画像Ｓ１０ａ，Ｓ１０ｂを撮像して蓄積する。すなわち、撮像手段１０は、撮像時の視点や構図（姿勢）の異なる顔画像を複数撮像する。撮像手段１０は、通常のカメラで実現される。携帯端末に付属の小型のものでも可能である。カメラは静止画用のスチルカメラ、動画用のビデオカメラでも良い。撮像手段１０が動画用のビデオカメラである場合には、撮像手段１０は、顔画像として、撮像した動画像から顔姿勢の異なるフレームを複数切り出す必要がある。

特徴点抽出手段２０は、撮像手段１０で撮像された複数の姿勢の顔画像Ｓ１０ａ，Ｓ１０ｂそれぞれから、顔の中の特徴点を抽出する。特徴点の抽出は、手動でもよいが、応用を考えると特徴抽出フィルタなどを用いて自動的に抽出するほうが望ましい。

本発明において、特徴点は、ステレオ視における対応点として用いられるので、正確な特徴位置の取得よりも、画像間での対応が重要である。抽出する特徴点としては、任意の３つの特徴点（以下、平面構成点と表記する。）と、実物の顔においてその３点で構成される平面外の点（以下、立体性評価点と表記する。）が１点以上必要である。すなわち、立体性評価点は、３次元世界における実物の顔上の点に対応する点であって、３次元世界において抽出された３つの特徴点で構成される平面上にない点に対応する点である。

理論上は、任意の３つの特徴点および立体性評価点の組み合わせは無限にあるが、特徴抽出フィルタなどを用いて自動的に特徴点抽出する場合は、抽出対象の点が限られてくる。図２は、特徴点抽出手段２０が抽出する特徴点の例を示す説明図である。図２に例示するように、自動抽出で容易な特徴点候補として、平面構成点としては、例えば、右目の中心、左目の中心、唇の右端および唇の左端の計４点のうちのいずれか３点があげられる。立体性評価点としては、例えば、鼻の頂点、鼻の下、唇上端中央などがあげられる。

実物の人の顔であれば、前者で構成される平面に対して、後者の立体性が認められる。すなわち、顔画像Ｓ１０ａ，Ｓ１０ｂが、顔写真が被写体として撮像された画像ではなく、現実の立体的な顔が被写体として撮像された画像であれば、特徴点抽出手段２０によって抽出される立体性評価点は、３つの平面構成点で構成される平面上の点ではないと算出される。

立体量計算手段３０は、特徴点抽出手段２０で抽出された各画像の特徴点座標Ｓ２０ａ，Ｓ２０ｂから立体性評価点の立体性評価量Ｓ３０を計算する。図２に示すように、平面構成点として、右目中心（Ｐ_０）、左目中心（Ｐ_１）、唇右端（Ｐ_２）を用い、立体性評価点Ｐとして、上の３点（例えば、鼻の頂点、鼻の下、唇上端中央）のいずれかを選択し、顔の姿勢１，２を撮影した画像（画像１，２とする）を用いる場合を例示して説明する。

また、以下の説明は、カメラモデル（透視投影モデル）として、ステレオ視で一般的なピンホールカメラモデルにより近似できる場合を例示して行う。図３は、ピンホールカメラモデルの例を説明するための説明図である。ピンホールカメラモデルは、ステレオ視で一般的なカメラモデルであって、３次元空間における撮像対象が２次元の画像へ投影される場合において、撮像対象と画像への結像との位置関係を単純に理想化したモデルである。ピンホールカメラは、ピンホール（ピンで開けられたような小さな穴）を通して入射する光のみが撮像面に到達するカメラである。ピンホールカメラにおいては、ピンホールを焦点と考えることができる。なお、ピンホールカメラでは、撮像面に投影される像の上下が逆になることから、図３に示すように、撮像面をピンホールと撮像対象との間に移動したモデルを使用する。

図３に示すように、ピンホールを原点とする３次元座標系（Ｘ，Ｙ，Ｚ）を取るとともに、撮像面上に２次元の画像座標系（ｕ，ｖ）を取る。平面構成点Ｐ_ｉ（ｉ＝０，１，２）の３次元空間上の座標をＰ_ｉ（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）とし、立体性評価点Ｐの３次元空間上の座標をＰ（Ｘ，Ｙ，Ｚ）とする。

また、Ｐ_ｉ（ｉ＝０，１，２）の姿勢ｊ（ｊ＝１，２）の画像中での座標を（ｕ_ｉ ^ｊ，ｖ_ｉ ^ｊ）、Ｐの姿勢ｊ（ｊ＝１，２）の画像中での座標を（ｕ^ｊ，ｖ^ｊ）とする。すなわち、３次元座標系におけるＰ_ｉ（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）が、画像座標系における（ｕ_ｉ ^ｊ，ｖ_ｉ ^ｊ）に写像されるとする。なお、図３には、姿勢ｊ（ｊ＝１，２）の撮像面を例示し、Ｐ（Ｘ，Ｙ，Ｚ）が（ｕ^ｊ，ｖ^ｊ）に写像され、Ｐ_０（Ｘ_０，Ｙ_０，Ｚ_０）が（ｕ_０ ^ｊ，ｖ_０ ^ｊ）に写像される場合を例示する。

カメラをピンホールカメラと仮定したときの焦点距離をｆとしたとき、以下の式１が成り立つ。なお、Ｔは転置を意味する。また、焦点距離ｆは、ピンホールから撮像面までの距離である。

なお、式（１）において、ξ_ｉ ^ｊ＝Ｚ_ｉ ^ｊ／ｆであり、式（２）において、ξ^ｊ＝Ｚ^ｊ／ｆである。式（１），（２）に示す変換は、透視投影（透視変換）と呼ばれる。ξ_１ ^ｊ，ξ_２ ^ｊは、透視投影における倍率値である。

ここで、立体性評価点Ｐが、平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面上にあるとき、Ａ，Ｂを実数とすると

なる線形従属な関係が成りたつ。そこで、式（１），（２）を式（３）に代入し、Ｓ_１ ^ｊ＝ξ_１ ^ｊ／ξ_０ ^ｊ，Ｓ_２ ^ｊ＝ξ_２ ^ｊ／ξ_０ ^ｊ，Ｓ^ｊ＝ξ^ｊ／ξ_０ ^ｊとすると、以下の式（４）が得られる。

式（４）の３行目を展開すると、

が成り立つので、Ｃ＝１−Ａ−Ｂとして実数Ｃを定義し、式（５）を式（４）の１，２行目に代入して整理すると、式（４）の１，２行目について、

が成立する。姿勢１，２（ｊ＝１，２）から計算される式（６）をまとめると、以下の式（７）が得られる。

式（７）中の行列をＤとして、式（８）に示す。

式（７）中のベクトル［ＡＳ_１ ^ｊ，ＢＳ_２ ^ｊ，Ｃ］^Ｔは、Ｃ＝１−Ａ−Ｂから０ベクトルにはなりえないので、式（８）に示す行列Ｄのランク（階数）は次の理由から２になる。

行列Ｄは３次元空間Ｖに作用する写像である。点Ｐが平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面上にある場合、ベクトル［ＡＳ_１ ^ｊ，ＢＳ_２ ^ｊ，Ｃ］^Ｔの第３次元Ｃは１−Ａ−Ｂであることから、実数Ａ，Ｂに依存する１次元の拘束をもち、その結果、行列Ｄの核であるｋｅｒ（Ｄ）の次元は、ｄｉｍ（ｋｅｒ（Ｄ））＝１になる。また、ｄｉｍＶ＝３である。次元定理

ｄｉｍＶ＝ｄｉｍ（ｋｅｒ（Ｄ））＋ｄｉｍ（Ｄ（Ｖ）） 式（９）

を用いると、ｄｉｍ（Ｄ（Ｖ））つまり行列Ｄのランクは２になる。

次に、立体性評価点Ｐが、平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面上にない場合における行列Ｄのランクを求める。行列Ｄのランクから点Ｐが平面上にない場合も判定でき、この場合は、ベクトル［ＡＳ_１ ^ｊ，ＢＳ_２ ^ｊ，Ｃ］^Ｔの第３次元Ｃの拘束はないので、ｄｉｍ（ｋｅｒ（Ｄ））＝０になり、式（９）に示す次元定理から、ｄｉｍ（Ｄ（Ｖ））つまり行列Ｄのランクは３になる。

以上に説明したように、立体性評価点の立体性を評価する立体性評価量Ｓ３０としては、行列Ｄのランクを示す量を採用すればよい。行列Ｄのランクを示す量の候補としては、例えば、行列Ｄの最小特異値、行列Ｄ^ＴＤの最小固有値（Ｄの最小特異値の２乗に一致）、行列Ｄ^ＴＤの特性多項式の０付近の値の変動などがあげられる。

行列Ｄの要素を見ると、通常Ｓ_１ ^２／Ｓ_１ ^１，Ｓ_２ ^２／Ｓ_２ ^１は未知である。しかしながら、ξ_１ ^ｊ，ξ_２ ^ｊは透視投影による倍率値であり、Ｓ_１ ^ｊ＝ξ_１ ^ｊ／ξ_０ ^ｊ，Ｓ_２ ^ｊ＝ξ_２ ^ｊ／ξ_０ ^ｊは平面構成点間のその値の比である。すなわち、Ｓ_１ ^ｊはξ_１ ^ｊとξ_０ ^ｊとの比であって、Ｓ_２ ^ｊはξ_２ ^ｊとξ_０ ^ｊとの比である。また、ξ_１ ^ｊ，ξ_２ ^ｊは透視投影による倍率値であることから、Ｓ_１ ^ｊはＺ_１とＺ_０との比であり、Ｓ_２ ^ｊはＺ_２とＺ_０との比である。したがって、未知量Ｓ_１ ^２／Ｓ_１ ^１，Ｓ_２ ^２／Ｓ_２ ^１は、顔の平面構成点とカメラの撮像面の関係においては１付近の値であり、上にあげた鼻の頂点、鼻の下、唇上端中央程度の立体性が認められる立体性評価点を用いる限りは、１と見なして差し支えない。

これにより、行列Ｄの最小特異値、行列Ｄ^ＴＤの最小固有値（Ｄの最小特異値の２乗に一致）を立体性評価量Ｓ３０に用いる場合は、単純な座標間の差を要素にもつ行列Ｄの特異値、固有値計算により求めることが可能になる。

行列Ｄ^ＴＤの特性多項式の０付近の値を立体性評価量Ｓ３０に用いる場合には、計算を整数演算だけで行うことが可能であるため、計算量を削減したい場合に効果がある。

以下、立体性評価量Ｓ３０として、行列Ｄ^ＴＤの最小固有値および行列Ｄ^ＴＤの特性多項式の０付近の値を用いることができることについて説明する。行列Ｄ^ＴＤの特性多項式をｆ（ｘ）とし、ｆ（ｘ）＝０の解をλとする。λは、行列Ｄ^ＴＤの固有値である。なお、行列Ｄ^ＴＤの特性多項式の０付近の値とは、ｘ＝０の付近のｆ（ｘ）の値である。

図４は、行列Ｄ^ＴＤの特性多項式ｆ（ｘ）の例を示す説明図である。図４には、立体性評価点Ｐが平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面内にある場合のｆ（ｘ）の値が実線で表され、立体性評価点Ｐが鼻の下や上唇上端中央の点である場合のｆ（ｘ）の値が破線で表され、立体性評価点Ｐが鼻の上の点である場合のｆ（ｘ）の値が一点鎖線で表されている。

行列Ｄ^ＴＤは、半正値対象行列であるため、すべての固有値は負の値を取らない。したがって、行列Ｄ^ＴＤの最小固有値は０以上の値を取ることから、ｆ（ｘ）は、例えば図４に示すような値を取る。ここで、立体性評価点Ｐが平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面内にある場合における行列Ｄ^ＴＤの最小固有値をλ_１とし、立体性評価点Ｐが鼻の下や上唇上端中央の点である場合における行列Ｄ^ＴＤの最小固有値をλ_２とし、立体性評価点Ｐが鼻の上の点である場合における行列Ｄ^ＴＤの最小固有値をλ_３とする。λ_１、λ_２、λ_３は、それぞれ、図４においてｆ（ｘ）が横軸（ｘ軸）と交わる点のｘの値である。

行列Ｄ^ＴＤの固有値、すなわちｆ（ｘ）＝０の解であるλは、Ｄの特異値の２乗に一致することを考慮すると、立体性評価点Ｐが平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面内にあるとき、最小固有値λ_１は０付近の値になる。また、立体性評価点Ｐが平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面外にあるとき、最小固有値λ_２，λ_３は、ある程度０より大きい値になる。すなわち、行列Ｄ^ＴＤの最小固有値にもとづいて、立体性評価点Ｐが平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面内にあるか否かを判定することができる。

また、固有値を通るとき（ｘ＝λのとき）、関数値が０になる特性多項式ｆ（ｘ）は、図４に示すように、立体性評価点Ｐが平面内外のいずれにあるかで、ｘ＝０付近の挙動が変わる。すなわち、立体性評価点Ｐが平面内にあるか否かにより、ｘ＝０の近傍において、ｆ（ｘ）の符号が変化するか否かが異なる。そこで、ｘ＝０付近の関数値ｆ（−ε）とｆ（ε）（εは小さい正整数）を計算すれば、整数演算のみで実行可能である。立体性の判定は、これらの値が送られる立体性判定手段４０で両者の値の符合変化で行われる。

すなわち、εの値を適切に取ることにより、ｆ（ε）が正であってｆ（−ε）が負の値である場合には、立体性評価点Ｐが平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面内にあると判定することができる。また、ｆ（ε）およびｆ（−ε）がともに負の値である場合には、立体性評価点Ｐが平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面上にないと判定することができる。

立体性判定手段４０は、立体量計算手段３０で計算された立体性評価量Ｓ３０と、あらかじめ与えられた閾値とにもとづいて、立体性評価点の立体性、つまり写真などによる人工物上の顔か実物の顔かを判定する。

判定の方法は、立体量計算手段３０で計算された立体性評価量Ｓ３０によって異なる。立体性評価量Ｓ３０が、Ｄの最小特異値の場合は、その値の絶対値が一定の値（閾値）未満であれば平面的とみなし人工物であると判定し、絶対値が一定の値以上であれば立体的とみなし実物と判定する。

立体性評価量Ｓ３０が、行列Ｄ^ＴＤの最小固有値（Ｄの最小特異値の２乗に一致）の場合は、その値が一定の値未満であれば平面的とみなし人工物であると判定し、一定の値以上であれば立体的とみなし実物と判定する。

図４に示す例では、閾値をεとした場合に、例えば、行列Ｄ^ＴＤの最小固有値がλ_１の値を取れば、λ_１はε未満の値であるので、立体性評価点Ｐは平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面内にあると判断される。したがって、顔画像は、顔写真が被写体として撮像された画像であると判断される。また、例えば、行列Ｄ^ＴＤの最小固有値がλ_２の値を取れば、λ_２はε以上の値であるので、立体性評価点Ｐは平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面上にないと判断される。したがって、顔画像は、現実の立体的な顔が被写体として撮像された画像であると判断される。

立体性評価量Ｓ３０が、行列Ｄ^ＴＤの特性多項式の０付近の値の変動の場合は、立体性の有無によって、特性方程式ｆ（ｘ）は、図４に示すように異なる値を取る。したがって、ｘ＝０付近の関数値ｆ（−ε）とｆ（ε）の符号の変化があれば平面的とみなし人工物であると判定し、なければ立体的とみなし実物と判定する。

図４に示す例では、例えば、行列Ｄ^ＴＤの特性多項式ｆ（ｘ）のｘ＝０付近の値であるｆ（−ε）が負の値を取り、かつｆ（ε）が正の値を取れば、立体性評価点Ｐは平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面内にあると判断される。したがって、顔画像は、顔写真が被写体として撮像された画像であると判断される。また、例えば、ｆ（−ε）が負の値を取り、かつｆ（ε）も負の値を取れば、立体性評価点Ｐは平面構成点Ｐ_０，Ｐ_１，Ｐ_２でなす平面上にないと判断される。したがって、顔画像は、現実の立体的な顔が被写体として撮像された画像であると判断される。

以上に説明したように、第１の実施の形態によれば、撮像画像の被写体の立体性を算出することにより、被写体が顔写真であるか否かを判定することができるため、顔写真を用いた不正認証を検出することができる。

実施の形態２．
次に、本発明の第２の実施の形態を図面を参照して説明する。第２の実施の形態では、第１の実施の形態の各手段が立体性認証方法における各方法を実施する立体性認証装置について説明する。図５は、本発明による立体性認証装置の第２の実施の形態を示すブロック図である。図５に示す立体性認証装置は、撮像装置１００と、特徴点抽出装置２００と、立体量計算装置３００と、立体性判定装置４００とを備える。

撮像装置１００は、普及型のデジタルカメラで良く、静止画用のスチルカメラ、動画用のビデオカメラでも良い。スチルカメラであれば、顔姿勢が異なる時に２回以上撮像し、２つ以上の画像を特徴点抽出装置２００に送る。ビデオカメラであれば、顔姿勢動作時の動画をそのまま特徴点抽出装置２００に送る。

図６は、特徴点抽出装置２００の例を示す説明図である。特徴点抽出装置２００は、図６に示すように、撮像装置１００で撮像された画像データを蓄積するメモリやディスクなどのストレージ装置と、画像中の特徴点抽出の計算を行うＣＰＵなどの演算装置とで実現可能である。撮像装置１００がビデオカメラで構成されている場合は、動画中で顔姿勢が異なる２つ以上のフレームを、ＣＰＵによる演算により静止画像として切り出す。顔姿勢が異なる２つ以上の静止画像に対して、第１の実施の形態の特徴点抽出手段２０が特徴点を抽出する方法により、ＣＰＵが特徴点座標抽出のための演算を行った後、特徴点座標データが立体量計算装置３００に送られる。

図７は、立体量計算装置３００の例を示す説明図である。立体量計算装置３００は、図７に示すように、特徴点抽出装置２００で抽出された特徴点座標データを蓄積するメモリやディスクなどのストレージ装置と、立体性評価量を計算するＣＰＵなどの演算装置で実現可能である。２つの静止画像から抽出された特徴点座標データに対して、第１の実施の形態の立体量計算手段３０が立体性評価量を算出する方法により、ＣＰＵが立体性評価量算出のための演算を行った後、立体性評価量を示すデータが立体性判定装置４００に送られる。

立体性判定装置４００は、立体量計算装置３００で計算された立体性評価量が、あらかじめ与えられた閾値より上か下かを判定する単純なＬＳＩなどのロジック回路で実現可能である。第１の実施の形態における立体性評価量Ｓ３０として、０付近の関数値ｆ（−ε）とｆ（ε）を用いる場合は閾値を必要とせず、その場合、ロジック回路は符号の変化の有無で判定する。

実施の形態３．
次に、本発明の第３の実施の形態を図面を参照して説明する。第３の発明の実施の形態では、第１の実施の形態の特徴点抽出方法を計算機上で実行可能なプログラムとして構成し、そのプログラムを計算機で読み取り自在な情報記憶媒体に格納して、その計算機上において図８で示される手順で実行する。

図８は、第３の実施の形態の動作を示すフローチャートである。最初に、姿勢の異なる顔画像を撮影する（ステップＳ１００）。図６に示す手順では、最小限の２姿勢を撮影する場合として、顔姿勢を変えて（ステップＳ１０１）、２回撮像したか否かを判定し（ステップＳ１０２）、２回撮像した場合には（はい）、ステップＳ２００に移行し、２回撮像していない場合には（いいえ）、ステップＳ１００に移行する場合を例示しているが、これより多くても問題はない。

次に、ステップＳ２００において、２つ以上の顔画像のそれぞれから、第１の実施の形態の特徴点抽出手段２０による方法で特徴点の座標値を抽出する。特徴点の座標値が抽出されると、それらを用いて第１の実施の形態の立体量計算手段３０による方法で立体性評価量を計算する（ステップＳ３００）。最後に、その立体性評価量とあらかじめ与えた閾値との大小関係等により、実物の顔か写真などの人工物によるなりすましの顔かを判定する（ステップＳ４００）。第１の実施の形態における立体性評価量Ｓ３０として、０付近の関数値ｆ（−ε）とｆ（ε）を用いる場合は閾値を必要とせず、その場合、ロジック回路は符号の変化の有無で判定する。

なお、第１から第３の実施の形態では、顔画像の立体性の認証について説明したが、同様の実施の形態は、監視などの目的で一般シーンの写真と実際のシーンの判別に対しても行うことが可能である。

本発明によれば、顔画像による個人認証時の不正認証を検出する場合に適用することができる。例えば、無人の入退場システムなどでの顔画像認証、携帯端末など小型機器での顔画像認証などでの利用が可能である。

本発明による立体性認証装置の第１の実施の形態を示すブロック図である。 特徴点抽出手段が抽出する特徴点の例を示す説明図である。 ピンホールカメラモデルの例を説明するための説明図である。 特性方程式ｆ（ｘ）の例を示す説明図である。 本発明による立体性認証装置の第２の実施の形態を示すブロック図である。 特徴点抽出装置の例を示す説明図である。 立体量計算装置の例を示す説明図である。 第３の実施の形態の動作を示すフローチャートである。

符号の説明

１０ 撮像手段
２０ 特徴点抽出手段
３０ 立体量計算手段
４０ 立体性判定手段

Claims (13)

1. 撮影対象物の立体性を判断する立体性認証方法であって、
   撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、
   ３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、
   前記特徴点抽出ステップにおいて抽出された各特徴点の座標にもとづいて、撮影対象物の立体度を示す立体性評価量を計算する立体量計算ステップと、
   前記立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップと
   を含むことを特徴とする立体性認証方法。
2. 入力ステップにおいて、撮影対象物として人物の顔が撮影された撮影画像を取得する
   請求項１記載の立体性認証方法。
3. 特徴点抽出ステップにおいて、人物の顔の左目の中心、右目の中心、唇の左端、唇の右端、鼻の頂点、鼻の下および唇の上端のいずれか４つ以上の点に対応する特徴点を抽出する
   請求項２記載の立体性認証方法。
4. 立体量計算ステップにおいて、立体性評価量として、特徴点の座標の差を要素とする行列の最小特異値を計算する
   請求項１から請求項３のうちのいずれか１項に記載の立体性認証方法。
5. 立体量計算ステップにおいて、立体性評価量として、特徴点の座標の差を要素とする行列の転置行列と前記行列との積である正則行列の最小固有値を計算する
   請求項１から請求項３のうちのいずれか１項に記載の立体性認証方法。
6. 立体量計算ステップにおいて、立体性評価量として、特徴点の座標の差を要素とする行列の転置行列と前記行列との積である正則行列の特性多項式に０近傍の特定の２値を代入した値をそれぞれ計算する
   請求項１から請求項３のうちのいずれか１項に記載の立体性認証方法。
7. 撮影対象物の立体性を判断する立体性認証装置であって、
   撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、
   ３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、
   前記特徴点抽出手段によって抽出された各特徴点の座標にもとづいて、撮影対象物の立体度を示す立体性評価量を計算する立体量計算手段と、
   前記立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段と
   を備えることを特徴とする立体性認証装置。
8. 入力手段は、撮影対象物として人物の顔が撮影された撮影画像を取得する
   請求項７記載の立体性認証装置。
9. 特徴点抽出手段は、人物の顔の左目の中心、右目の中心、唇の左端、唇の右端、鼻の頂点、鼻の下および唇の上端のいずれか４つ以上の点に対応する特徴点を抽出する
   請求項８記載の立体性認証装置。
10. 立体量計算手段は、立体性評価量として、特徴点の座標の差を要素とする行列の最小特異値を計算する
    請求項７から請求項９のうちのいずれか１項に記載の立体性認証装置。
11. 立体量計算手段は、立体性評価量として、特徴点の座標の差を要素とする行列の転置行列と前記行列との積である正則行列の最小固有値を計算する
    請求項７から請求項９のうちのいずれか１項に記載の立体性認証装置。
12. 立体量計算手段は、立体性評価量として、特徴点の座標の差を要素とする行列の転置行列と前記行列との積である正則行列の特性多項式に０近傍の特定の２値を代入した値をそれぞれ計算する
    請求項７から請求項９のうちのいずれか１項に記載の立体性認証装置。
13. 撮影対象物の立体性を判断するコンピュータに搭載される立体性認証プログラムであって、
    前記コンピュータに、
    撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力処理と、
    ３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力処理において取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出処理と、
    前記特徴点抽出処理において抽出された各特徴点の座標にもとづいて、撮影対象物の立体度を示す立体性評価量を計算する立体量計算処理と、
    前記立体量計算処理において計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定処理と
    を実行させるための立体性認証プログラム。

Images