JPH09259271A - 人物照合装置 - Google Patents

Abstract

(57)【要約】 【課題】 人物照合をより正確に、かつ全自動で実行す
ることができる人物照合装置を提供する。 【解決手段】 対象の３次元形状情報およびカラー情報
を計測ユニット１０２で計測する。このカラー情報に基
づいて顔部分のみの３次元形状情報およびカラー情報を
抽出ユニット１０３で自動的に抽出する。顔の向きや頭
髪等に影響されないその抽出された顔部分のみの３次元
形状情報およびカラー情報の一方または両方を、照合ユ
ニット１０４により辞書ユニット１０５の辞書と照合す
る。この辞書ユニット１０５には、計測ユニット１０２
により予め計測した複数の人物の顔の３次元形状情報お
よびカラー情報を辞書として蓄積しておく。照合ユニッ
ト１０４での照合結果は、判定ユニット１０６にて対象
人物が本人であるか否か、あるいは辞書ユニット１０５
の登録人物中の誰かといった判定に用いる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔の３次元形状情
報およびカラー情報の照合により人物の照合を、より正
確に、全自動で行なう装置に関するものである。

【０００２】

【従来の技術】従来、顔の照合を行なう方式としては、
以下のようなものが考えられて来た。

【０００３】（１）２次元顔画像による人物照合 ＴＶカメラ等の２次元画像撮影装置を用いて入力された
２次元顔画像の照合をとることにより人物照合を行うも
のである。この方式は、上記ＴＶカメラ等の２次元画像
撮影装置とコンピュータという比較的簡便な装置で実現
できる利点があり、これまで多くの研究例が発表されて
いる。より具体的には、２次元顔画像をそのまま２次元
パターンとして照合する方法、同画像を２次元的にぼか
すことによって得られるぼかし画像を２次元パターンと
して照合する方法、同画像にフーリエ変換等の変換を施
すことによって得られるデータを照合する方法などが提
案されている。また、照合の方法としては、統計的パタ
ーン認識の考えに基づく手法やニューラルネットを利用
する方法が試行されている。

【０００４】（２）３次元顔画像による人物照合 これに対し、顔を含む頭部の３次元形状を計測し、これ
に基づいて人物照合を行なう研究例も発表されている。
それらの方式はいずれも３次元形状情報のみを使用する
方法である。このため、顔だけでなく頭部の一部もしく
は全部を含む３次元形状情報を使用して照合を行なう
か、あるいは、あかじめ人間の手間によって切り出され
た顔の部分のみの３次元形状情報を使用して照合を行な
うことが行なわれいる。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来の（１）で述べた各種の２次元顔画像による人物照合
方式には、原理的に避けて通れない重大な問題がある。
それは、人間の顔は本質的に３次元物体であり、ＴＶカ
メラ等の２次元画像撮影装置を用いて入力されるデータ
は、撮影時の顔と装置の間の距離および顔の向きによっ
て大きく異なるという本質的問題である。

【０００６】一例として、我々は正面から見た顔を言葉
では簡単に正面顔と表現するが、実際問題として物理的
に一定した正面を定めることは至難の技である。

【０００７】そして、例えば証明写真等の２次元顔画像
をよく観察すれば簡単にわかることであるが、同じよう
に正面を見ている顔を撮影した場合でも、ほんのわずか
な顔の向き（上下左右）によって得られる２次元顔画像
データは大きく異なってくるのである。

【０００８】上記（１）で述べた従来の各種手法は、こ
れらの顔の向きの変動による２次元顔画像データの変動
をある程度までは吸収することができるのみである。こ
のように、計測のたびに本質的に異なるデータを利用し
て行なう照合能力にはどうしても限界があり、高い精度
で照合を行なうことはできない。

【０００９】これに対し、上記従来の（２）で述べた３
次元顔画像による人物照合方式には、２次元顔画像によ
る場合のような本質的問題はない。しかしその中で、顔
だけでなく頭部の一部もしくは全部を含む３次元形状情
報を使用して照合を行なう手法では、計測時ごとに簡単
に大きく異なってしまう頭髪の影響のために精度の高い
照合を行なうことが困難であるという問題がある。ま
た、あかじめ人間の手間によって切り出された顔の部分
のみの３次元形状情報を使用して照合を行なう手法で
は、人手を介する必要があり、手間がかかる問題があ
る。

【００１０】このように、従来の方式では、それぞれに
欠点があり、正確な人物照合を完全自動で行なうことは
できないという欠点があった。

【００１１】本発明は、そのような従来方式の欠点を除
去するためのものであり、人物照合をより正確に、かつ
全自動で実行することができる人物照合装置を提供する
ことを目的とする。

【００１２】

【課題を解決するための手段】上記の目的を達成するた
め、本発明による第１の発明は、顔の３次元形状情報お
よびカラー情報の二つを用いて人物の照合を行うための
人物照合装置であって、対象の３次元形状情報およびカ
ラー情報を計測するための計測ユニットと、前記計測さ
れたカラー情報に基づいて顔部分のみの３次元形状情報
およびカラー情報を抽出するための抽出ユニットと、前
記抽出された顔部分のみの３次元形状情報およびカラー
情報のいずれか一方もしくは両方に基づいて辞書と照合
を行うための照合ユニットと、前記計測ユニットによっ
て予め計測した複数の人物の顔の３次元形状情報および
カラー情報を辞書として蓄積するための辞書ユニット
と、前記照合ユニットでの照合結果の判定を行うための
判定ユニットと、を備えることを特徴とする。

【００１３】また、本発明による第２の発明は、上記第
１の発明の人物照合装置において、前記判定ユニット
が、事前に与えられたしきい値と、前記照合ユニットで
の計算結果の比較を行うための比較ユニットと、を新た
に備えることを特徴とする。

【００１４】さらに、本発明による第３の発明は、上記
第２の発明の人物照合装置において、前記判定ユニット
が、前記照合ユニットでの複数の計算結果の中から最小
値を求める最小値検出ユニットを新たに備えることを特
徴とする。

【００１５】本発明では、カラー情報を用いて顔部分の
みの３次元形状情報とカラー情報を自動的に抽出し、顔
部分のみの３次元形状情報とカラー情報の一方もしくは
両方を用いた人物照合により、頭髪等の影響を受けず、
かつ２次元顔画像のように顔の向き等に影響されること
なく、人物照合をより正確に、かつ全自動で実行可能と
する。

【００１６】

【発明の実施の形態】以下に、本発明の実施の形態を、
図を用いて詳しく説明する。

【００１７】図１は、本発明の第１の発明の実施形態例
を示す構成図であって、１０１は、顔を含む人物頭部、
１０２は、３次元形状情報およびカラー情報を計測する
ための計測ユニット、１０３は、カラー情報にもとづい
て人物の顔部分のみの３次元形状情報およびカラー情報
を抽出するための抽出ユニット、１０４は、該３次元形
状情報およびカラー情報の両方にもとづいて照合を行な
うための照合ユニット、１０５は、該計測ユニット１０
２によってあらかじめ計測した一般に複数の人物の顔の
３次元形状情報およびカラー情報を辞書として蓄積する
ための辞書ユニット、１０６は、照合結果の判定を行な
うための判定ユニット、１０７は、判定結果、である。

【００１８】本装置の主な動作は、辞書作成モード、照
合モードの２つのモードからなる。なお、計測ユニット
１０２の一例としては、すでに３次元形状とカラーを同
時計測可能なスキャナが存在する（資料１「Ｙ．Ｓｕｅ
ｎａｇａ ａｎｄ Ｙ．Ｗａｔａｎａｂｅ：“Ａ Ｍｅ
ｔｈｏｄ ｆｏｒ ｔｈｅ Ｓｙｎｃｈｒｏｎｉｚｅｄ
Ａｑｕｉｓｉｔｉｏｎ ｏｆ Ｃｙｌｉｎｄｒｉｃａ
ｌ Ｒａｎｇｅ ａｎｄ Ｃｏｌｏｒ Ｄａｔａ”，Ｉ
ＥＩＣＥ Ｔｒａｎｓ．，ｖｏｌ．Ｅ−７４，Ｎｏ．１
０，ｐｐ．３４０７−３４１６（１９９１．１０）」参
照）。

【００１９】最初に辞書作成モードについて説明する。
このモードにおいては、人物頭部１０１の３次元形状情
報および表面カラー情報を計測ユニット１０２を使用し
て同時に計測し、さらに、抽出ユニット１０３を使用し
てカラー情報に基づいて人物の顔部分の情報のみを抽出
し、顔部分のみの３次元形状情報とカラー情報をセット
にしたもの（以下では、簡単のため、これを単に顔デー
タと呼ぶ）を求める。この顔データを求める作業を、本
発明装置の適用対象となる全ての人物について、１人ず
つ行ない、人物名もしくは人物番号と対照できる形の表
（以下、簡単のため、これを辞書と呼ぶ）として辞書ユ
ニット１０５に格納する。

【００２０】次に、照合モードについて説明する。この
モードでは、照合すべき人物の頭部１０１の３次元形状
情報および表面カラー情報を計測ユニット１０２を使用
して同時に計測し、さらに、抽出ユニット１０３を使用
してカラー情報に基づいて人物の顔部分の情報のみを抽
出し、顔部分のみの３次元形状情報とカラー情報をセッ
トにした顔データを求める。その顔データを照合ユニッ
ト１０４において、辞書ユニット１０５の中に辞書とし
て蓄積してある顔データと照合する処理を行ない、照合
結果１０６を求める。なお、後に、図３および図５を用
いて説明するように、この照合には、個人同定のための
照合（本発明による第２の発明）、人物確認のための照
合（本発明による第３の発明）の２種類などがあり得
る。

【００２１】図２は、抽出ユニット１０３の構成と動作
を説明するための図であり、２０１は、カラー情報分類
機構、２０２は、顔部分抽出用マスク、２０３は、顔部
分抽出機構、である。以下、この動作について説明す
る。なお、以下の説明では簡単のため、ＲＧＢカラー空
間を使用するが、ＹＵＶ空間などの他のカラー空間を使
用することも可能であり、その場合にも以下に述べる論
理は全く同様に適用可能である。

【００２２】まず、カラー情報分類機構２０１の制御に
より、あらかじめ、顔部分抽出用マスク２０２の全体を
“オフ”にクリアしておく。

【００２３】次に、カラー情報分類機構２０１の制御に
より、計測ユニット１０２から送られる各点のカラー情
報がＲＧＢカラー空間の中のどの位置にあるかを調べ、
そのカラーが顔の肌色とみなせるかどうかを判定し、そ
れが顔の肌色とみなせる場合にのみ、顔部分抽出用マス
ク２０２の対応する点を“オン”にする。この動作を全
ての点について実施することにより、顔部分の点のみが
“オン”かつ、それ以外の点は“オフ”となるような顔
部分抽出用マスク２０２が出来上がる。

【００２４】最後に、顔部分抽出機構２０３において、
この顔部分抽出用マスク２０２を利用し、計測ユニット
１０２から送られる３次元形状情報およびカラー情報の
両方についてそれぞ顔部分のみを抽出（即ち、顔以外の
部分の３次元情報およびカラー情報を廃棄）し、それを
辞書ユニット１０５に送る。

【００２５】次に照合ユニット１０４について説明す
る。照合処理は、具体的には新たに計測した顔データと
辞書として蓄積されている顔データの間の最小誤差を求
める問題に帰着される。この最小誤差を求めるための方
法として、説明の簡単化のため、以下では顔データの重
心を一致させたのち重心回りに顔データを微小回転させ
て誤差を求めるという方法について説明するが、これは
照合処理の方法の一例に過ぎず、実際にはこれ以外にも
さまざまな最適化手法や数値計算手法がある。

【００２６】図３は、照合ユニット１０４の一構成例を
示す図であり、３０１は、抽出ユニット１０３から送ら
れた照合処理をすべき顔データ（照合顔データ）、３０
２は、辞書から取り出した顔データ（辞書顔データ）、
３０３は、重心ユニット、３０４は、微小回転ユニッ
ト、３０５は、誤差計算ユニット、３０６は、最小誤
差、３０７は、計測した顔データ３０１を平行移動さ
せ、辞書顔データ３０２と重心位置が合ようにした顔デ
ータ（重心適合顔データ）、３０８は、重心適合顔デー
タ３０１を微小回転させたもの（回転顔データ）であ
る。また、図４は照合ユニット１０４の動作を示す図で
ある。

【００２７】以下、図３と図４を参照しつつ照合ユニッ
ト１０４の動作を説明する。

【００２８】まず、重心ユニット３０３において、照合
顔データ３０１、および、辞書顔データ３０２の各々に
ついて、３次元形状の重心を求める。そして重心の位置
が一致するように照合顔データ３０１の位置を３次元空
間内で平行移動させることにより、重心適合顔データ３
０７を求める（図４（ａ））。

【００２９】次に、微小回転ユニット３０４において重
心適合顔データ３０７を重心回りに微小回転させること
により、回転顔データ３０８を求める。微小回転の量お
よび回転の方向を変えて繰り返すことにより、さまざま
な回転量と回転方向を有する多数の回転顔データ３０８
を求める（図４（ｂ））。

【００３０】最後に、誤差計算ユニット３０５におい
て、辞書顔データ３０２と回転顔データ３０８の各々の
間の誤差を計算することによって最小誤差３０６を求
め、それを判定ユニット１０６に送る（図４（ｃ））。

【００３１】最小誤差を求めるための方法として上記で
は、顔データの重心を一致させたのち重心回りに顔デー
タを微小回転させて誤差を求めるという方法について説
明したが、実際には上記以外にもさまざまな最適化手法
や数値計算手法があり、それらを用いることが可能であ
ることはいうまでもない。さまざまな手法は計算の複雑
さの度合、計算コストや収束性、安定性などでそれぞれ
特質があるが、最小誤差を求めることが出来るならば原
理的にはいずれも使用可能である。

【００３２】なお、辞書顔データをＳ、回転顔データを
Ｄで表すとすると、両者の間の２乗誤差は、以下で表現
できる。

【００３３】

【数１】

【００３４】これらＳおよびＤとしては、具体的には、
３次元形状情報とカラー情報の両方もしくはいずれか一
方を使用することが可能である。また、上述のように照
合を行なう手法についても多くのものがある。

【００３５】図５は、本発明の第２の発明による実施形
態例を示す図であって、ある人物が本当にその人物であ
るかどうかを再確認する目的で構成された上記判定ユニ
ット１０６の一構成例を示すものであり、５０１は、比
較ユニット、５０２は、しきい値、である。

【００３６】この判定ユニット１０６の動作は簡単であ
り、最小誤差３０６があらかじめ定めたしきい値５０２
よりも小さいならば、その人物は確かに本人であるとい
う判定結果を、そうでなければ本人ではないという判定
し、判定結果１０７として出力する。

【００３７】図６は、本発明の第３の発明の実施形態例
を示す図であって、ある人物が予め辞書に登録されてい
る人物のうちの誰であるかを調べる目的で構成された上
記判定ユニット１０６の一構成例を示すものであり、６
０１は、最小値検出ユニット、６０２は、最小値、５０
１は、比較ユニット、５０２は、しきい値、である。こ
の場合は、その人物の顔データを、辞書ユニット１０５
の中に辞書として蓄積されている全人物の顔データと比
較し、それら全ての場合の最小誤差３０６を判定ユニッ
ト１０６に送る。判定ユニット１０６では受け取った複
数の最小誤差を比較し、その中での最小値６０２を求め
る。その最小値６０２を与える人の番号（あるいは氏
名、説明の都合上、仮に人物Ａとする）を記憶する。

【００３８】さらに、その最小値６０２を比較ユニット
５０１によって予め定めたしきい値５０２と比較し、そ
れがしきい値５０２よりも小さい場合には対応する人物
Ａであると判定し、判定結果１０７として出力する。最
小値６０２がしきい値５０２よりも大きい場合には該当
人物なしと判定し、判定結果１０７として出力する。

【００３９】

【発明の効果】以上説明したように、本発明によれば、
従来とは異なり、たとえ髪型が変わっても、ある程度以
上の顔部分の３次元情報とカラー情報を計測することが
可能である限り、より正確な照合を人手を介さず完全自
動で実行できるという利点が得られる。

【００４０】また、本発明の第２の発明によれば、特
に、本人かどうかの同定を、より正確に全自動で行うこ
とができる。

【００４１】さらに、本発明の第３の発明によれば、特
に、ある人物が予め辞書に登録されている人物のうちの
誰であるかを、精度よく全自動で調べることができる。

【図面の簡単な説明】

【図１】本発明の第１の発明の実施形態例を示す構成図
である。

【図２】上記実施形態例における抽出ユニットの構成例
を示す図である。

【図３】上記実施形態例における照合ユニットの構成例
を示す図である。

【図４】（ａ），（ｂ），（ｃ）は、上記照合ユニット
の動作を説明する図である。

【図５】本発明の第２の発明の実施形態例における判定
ユニットの構成例を示す図である。

【図６】本発明の第３の発明の実施形態例における判定
ユニットの構成例を示す図である。

【符号の説明】 １０１…顔を含む人物頭部 １０２…計測ユニット １０３…抽出ユニット １０４…照合ユニット １０５…辞書ユニット １０６…判定ユニット １０７…判定結果 ２０１…カラー情報分類機構 ２０２…顔部分抽出用マスク ２０３…顔部分抽出機構 ３０１…照合顔データ ３０２…辞書顔データ ３０３…重心ユニット ３０４…微小回転ユニット ３０５…誤差計算ユニット ３０６…最小誤差 ３０７…重心適合顔データ ３０８…回転顔データ ５０１…比較ユニット ５０２…しきい値 ６０１…最小値検出ユニット ６０２…最小値

Claims (3)

【特許請求の範囲】
1. 【請求項１】 顔の３次元形状情報およびカラー情報の
   二つを用いて人物の照合を行うための人物照合装置であ
   って、 対象の３次元形状情報およびカラー情報を計測するため
   の計測ユニットと、 前記計測されたカラー情報に基づいて顔部分のみの３次
   元形状情報およびカラー情報を抽出するための抽出ユニ
   ットと、 前記抽出された顔部分のみの３次元形状情報およびカラ
   ー情報のいずれか一方もしくは両方に基づいて辞書と照
   合を行うための照合ユニットと、 前記計測ユニットによって予め計測した複数の人物の顔
   の３次元形状情報およびカラー情報を辞書として蓄積す
   るための辞書ユニットと、 前記照合ユニットでの照合結果の判定を行うための判定
   ユニットと、 を備えることを特徴とする人物照合装置。
2. 【請求項２】 前記判定ユニットは、事前に与えられた
   しきい値と、前記照合ユニットでの計算結果の比較を行
   うための比較ユニットと、を新たに備えることを特徴と
   する請求項１に記載の人物照合装置。
3. 【請求項３】 前記判定ユニットは、前記照合ユニット
   での複数の計算結果の中から最小値を求める最小値検出
   ユニットを新たに備えることを特徴とする請求項２に記
   載の人物照合装置。