JPH11242745A - 顔画像の計測・処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 個人識別装置等に適用される高精度な三次元
顔画像の計測・処理装置を提供する。 【解決手段】 三眼撮像方式で被験者の顔を撮像し、各
撮像データの差分データを求め、顔の要部部位のみを抽
出するための閾値レベルを設定して各３値化差分データ
を求める(S1〜S4)。３値化差分データにおける信号変化
位置に対応した各対画像データにおける最大又は最小レ
ベル値の位置差:Ｄijを求め、三角測距法で各撮像カメ
ラの位置から要部部位上の各点までの距離:Ｚijを求
め、各要部部位毎の重み付け係数を用いた数式で基準面
から各点までの一義的距離:Ｚjを求める(S5〜S7)。距
離:Ｚjに基づく各要部部位の三次元データを用いて標準
顔画像のモデルデータを回転・拡大／縮小変換し、要部
部位のデータを実測値:Ｚjで置換し、他の部分を近似補
正関数で補正する(S8,S9)。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は顔画像計測方法に係
り、セキュリティシステムにおける個人識別装置や顔画
像モデリングシステム等に適用され、顔画像情報を３台
の撮像カメラで撮像し、その各二次元顔画像データを用
いて高精度な三次元顔画像データに自動構成する方法に
関する。

【０００２】

【従来の技術】従来から、顔画像情報は指紋等と共に視
覚的な個人識別情報としてセキュリティシステムや検索
システムに用いられているが、それらは二次元画像情報
でしかなく、顔の凹凸まで含んだ三次元画像情報が精度
良く得られれば、より正確で有効な識別機能をもたせる
ことができる。

【０００３】しかし、一般的に凹凸のある物体を撮像す
ることで得られる二次元画像からその三次元情報を抽出
する方法は実用レベルでは未だ確立されているとはいえ
ず、現状で試みられている方法としては次のようなもの
がある。

【０００４】その第１の方法では、先ず、撮像対象とな
る物体に対して、その撮像光軸と異なった斜め方向から
スライドプロジェクタ等を用いて縦方向のストライプ画
像を照射し、その照射状態で物体を撮像する。その場
合、物体が完全な平面であれば、照射方向に対して全体
的に傾斜していてもストライプ画像は直線を示すが、も
し物体に凹凸があれば、ストライプがその部分で左右に
湾曲したり折曲して歪み、その歪みは凹凸に対応した大
きさを有することになる。従って、撮像されたストライ
プにおける直線からの乖離距離を計測することにより、
物体の三次元情報を得ることが可能になる。

【０００５】第２の方法では、撮像対象となる物体に対
して、異なる位置に配置された二光源からレーザ等のコ
ヒーレント光を照射し、その照射状態で物体を撮像す
る。その場合、コヒーレント光の干渉性に基づいて、両
光源の中央からほぼ等しい奥行き距離の位置に干渉縞が
発生するが、その干渉縞は前記の奥行き距離が１波長分
大きくなる度に周期的に発生する。従って、物体に凹凸
があるとそれを奥行き方向について面状にスライスした
輪郭位置に干渉縞が現れるため、撮像画像中の縞の位置
を逐次トレースすることで物体の三次元情報を得ること
が可能になる。

【０００６】

【発明が解決しようとする課題】ところで、前記の各方
法では撮像対象物体に対してストライプ状の光やレーザ
光という特殊な計測補助光を照射することを要する。従
って、対象物体が無生物である場合には問題がないが、
生物や人間の顔である場合には、照射によって被験体に
不快感を与え、また視覚機能や皮膚に悪影響を及ぼす危
険性もある。

【０００７】一方、計測補助光を用いない方法として、
二眼撮像による三角測距法を適用することも考えられ
る。その測距法は、水平方向に併設された２台のカメラ
で対象物体を撮像し、その各撮像画像における信号の差
分を計測して視差角を求め、その視差角と各カメラの撮
像光軸の間隔を用いてカメラの設置位置から前記特定点
までの距離を求めるものである。従って、この三角測距
法によっても対象物体の三次元情報を得られることにな
るが、被写体がコントラストのない等輝度面である場合
には信号の差分が発生しないために視差角度が得られ
ず、また水平方向に長い形状の部位についても同様にそ
の水平区間では信号の無変化部分が多くなり、例えば、
顔画像における口の部分等ではその左右の端点のみが微
小に抽出される程度となって、口の大部分についての三
次元情報が得られないことになる。即ち、計測補助光を
用いない点では評価できるが、二眼撮像によるものであ
るために多くの計測不能部分が発生すると共に測定誤差
も多くなるという問題点があり、そのままでは顔画像の
計測方法として実用化できない。

【０００８】そこで、本発明は、三眼撮像方式を採用す
ると共にその各計測データの標準的三次元顔モデルへの
変形処理を施すことにより、計測補助光を用いないで高
精度な顔画像の三次元情報を得る計測方法を提供するこ
とを目的として創作された。

【０００９】

【課題を解決するための手段】本発明は、光軸を平行に
した３台の撮像カメラを前記光軸に垂直な面(以下、単
に「基準面」という。)と各光軸の交点位置に配設した撮
像系と、前記撮像系の各撮像カメラから得られる撮像信
号をディジタルデータへ変換する各Ａ/Ｄ変換手段と、
撮像データ及び演算データを記憶する第１記憶手段と、
標準モデルの顔画像の三次元データ(以下、単に「モデル
データ」という。)をその顔面に沿ったメッシュ状包絡線
と前記基準面との間の距離データとして記憶した第２記
憶手段と、データ処理手段とを具備しており、前記の各
撮像カメラで被験体の顔を撮影し、前記データ処理手段
が、前記の各Ａ/Ｄ変換手段が変換した各撮像データを
個別に前記第１記憶手段へ記憶させる第１手順と、前記
第１手順によって前記第１記憶手段に記憶せしめられた
各画像データ相互間の対応画素に係る輝度レベルの差分
を求めて３組の差分データを得る第２手順と、前記第２
手順で得られた各差分データに対して顔画像の要部部位
の輝度レベル差のみを抽出するための閾値レベルを設定
して各差分データを２値化又は３値化した閾値処理デー
タを求める第３手順と、前記第３手順で各閾値処理デー
タを得るために用いた前記第１記憶手段の対撮像データ
において閾値処理データの信号変化位置に対応している
各最大又は最小レベル位置の撮像画像上での位置差:Ｄ
を求めると共に、前記の対撮像データを得た対撮像カメ
ラにおける一方の撮像カメラの位置から前記被験体の顔
における各要部部位上の点までの距離をＺ＝Ｌ／tan
θ，θ＝Ｗ・Ｄ／Ｈ［但し、Ｌは対撮像カメラの光軸間
の距離、Ｗは各撮像カメラの画角、Ｈは撮像画像幅に相
当］として求めることにより、各撮像カメラの位置から
前記要部部位上の点までの距離データ群:Ｚij［但し、
ｉ(=1,2,3)は撮像カメラに対応した添字、ｊは前記要部
部位上の点を示す添字］を求める第４手順と、前記第４
手順で得られた各距離データ群:Ｚijを用いて前記基準
面から前記被験体の顔の各要部部位上の点までの距離を
Ｚj＝ΣＫ(Ｄij)・Ｚij［但し、Ｋ(Ｄij)は距離データ:
Ｚijに対応する前記位置差:Ｄに比例した重み付け係
数］として求める第５手順と、前記第５手順で得られた
顔の要部部位に係る三次元データと前記第２記憶手段の
モデルデータにおける顔画像の要部部位に対応する三次
元データとの位置及び相対的間隔の相関比較を行なっ
て、後者のデータが前者のデータに略一致するように後
者のデータを三次元的に回転変換すると共に拡大／縮小
変換し、またその変換後の要部部位に係る三次元データ
を前記第５手順で得られている三次元データに置換する
第６手順と、前記第６手順で変換された後のモデルデー
タにおける顔画像の要部部位以外のメッシュ状包絡線の
三次元データを、各要部部位毎に設定される補正係数を
含み、変換された要部部位上の点とその変換前の位置と
の距離及び変換された要部部位上の点から未変換のメッ
シュ状包絡線上の点までの距離を変数とした近似補正関
数に基づいて補正する第７手順とを実行して被験体の顔
画像の三次元データを求めることを特徴とした顔画像の
計測・処理方法に係る。

【００１０】本発明では、その撮像系の構成から明らか
なように三眼撮像方式を採用しており、特殊な計測補助
光を用いることなく被験体の顔画像を各撮像カメラで撮
影する。また、３台の撮像カメラの配設態様としては、
顔画像を計測対象としているため、２台の撮像カメラを
水平方向に、他の１台を前記２台の配設位置より下側
で、且つ前記２台から等距離にある位置に配設する方式
が望ましく、それによって後述のデータ処理手順におい
て合理的で正確な計測が可能になる。

【００１１】そして、各撮像カメラが撮影した被験体の
顔の各撮像信号はＡ/Ｄ変換手段でディジタルデータへ
変換されるが、データ処理手段による第１手順では、Ａ
/Ｄ変換された顔画像の各撮像データを一旦第１記憶手
段へ個別に記憶させる。第２手順は前処理に相当し、第
１記憶手段の３種類の二次元顔画像データ間には各撮像
カメラの配設関係に基づいた視差角に対応して撮像画像
にズレが生じており、そのズレに基づいた各対応画素間
における輝度レベルの差分を求めておく。また、当然に
その差分データは３組分求まる。

【００１２】ところで、前記の各差分データはそれぞれ
顔画像全体にわたる微小な凹凸部分に係る差分データや
ノイズ成分も含んでいる。第３手順は、各差分データに
対して閾値レベルを設定することによって、２値化又は
３値化した閾値処理データを作成し、顔画像の要部部位
に対応した輝度変化が大きい部分のみを抽出できるよう
にする。尚、その場合の要部部位としては、顔画像の最
も特徴的な部分を示す眉、眼、鼻、口、及び顎の輪郭を
選択することが望ましく、一般にそれらの部分は各撮像
カメラの撮像信号中において顕著な輝度レベル変化を呈
する。

【００１３】第４手順では、顔画像の要部部位について
求められた３組の閾値処理データとそれらに対応した元
の対撮像データを用い、視差角に基づく三角測距法を適
用して各撮像カメラの位置から被験体の顔の各要部部位
の点までの距離データ群:Ｚijを求める。通常の二眼撮
像だけの測距法では、各撮像カメラの配設方向に関して
は輝度レベルの差分データが顕著に現れるが、その配設
方向に垂直な方向については差分データを得られない部
分が発生してしまうのに対して、この発明では三眼撮像
方式を採用しているため、各差分データを総合すれば顔
画像の要部部位の各点を漏れなく抽出でき、前記の３組
の距離データ群Ｚijは相互に補完し合って、各要部部位
の全体をほぼ連続的に表現し得るデータとなる。そし
て、各撮像カメラの位置から前記被験体の顔における各
要部部位上の点までの距離:Ｚは、前記のように[Ｚ＝Ｌ
／tanθ，θ＝Ｗ・Ｄ／Ｈ]の数式を演算することで求ま
るが、その位置差:Ｄを得る方法としては、第１記憶手
段の対撮像データにおける閾値処理データの信号変化位
置に対応した最大又は最小レベル位置を含む近傍領域の
撮像データを抽出し、その一方の抽出データを前記の対
撮像データを得ている２台の撮像カメラの配設方向に対
応した方向へ移動させながら他方の抽出データとの相関
比較を逐次実行し、その最大相関値が得られた状態での
移動量を位置差:Ｄとする方法を適用すれば、より高精
度な値を求めることができる。

【００１４】ところで、第４手順で求まる３種の距離デ
ータ群:Ｚijは各撮像カメラの位置から顔の各要部部位
上の点までの距離であり、３つの異なる基準点からの距
離として計測されている。そこで、第５手順では、その
計測距離データ群:Ｚijを用いて各要部部位上の点と基
準面の間の一義的な距離データ:Ｚjに換算する。その場
合、前記のＺを与える数式は三角測距法に基づいた近似
式であり、Ｄが大きいほどＺが精度良く求まるという性
質を有しているため、単純にＺ1j,Ｚ2j,Ｚ3jの平均値を
求めるのではなく、Ｋ(Ｄij)をＤijに比例した重み付け
係数とした数式:Ｚj＝ΣＫ(Ｄij)・Ｚijを採用して求
め、その換算精度を高く担保するようにしている。

【００１５】次に、第６手順では、第５手順で得られた
基準面からみた顔画像の要部部位に係る三次元データ
(実測データ)を用いて第２記憶手段のモデルデータを変
換する処理を実行する。この手順は、モデルデータが標
準モデルの顔画像を基準面に対して一定角度と一定距離
に配置させた状態で作成されているものであるのに対
し、被験体の顔が撮像系に対して常にその角度や距離で
対向している保証はないため、双方のデータの三次元的
な整合性を確保するために実行されるものである。そし
て、この発明では、双方の三次元データで示される位置
及び相対的間隔の相関比較を行なってモデルデータを回
転変換・拡大／縮小変換し、且つ要部部位の三次元デー
タを実測データに変換するようになっているが、顔画像
の特質を考慮した変換アルゴリズムとして、第５手順で
得られている両眼画像の各中心位置を結ぶ方向とモデル
データにおける両眼画像の各中心位置を結ぶ方向が略一
致するようにモデルデータ全体の三次元的な回転変換を
実行し、また前記第５手順で得られている両眼画像の各
中心位置間の距離と回転変換後のモデルデータにおける
両眼画像の各中心位置間の距離が略一致するように回転
変換後のモデルデータ全体の三次元的な拡大／縮小変換
を実行し、その変換後のモデルデータの各要部部位の三
次元データを両眼画像の各中心位置を基準にして前記第
５手順で得られている各要部部位の三次元データに変換
するという方法を採用すれば、より合理的で正確なデー
タ変換が可能になる。

【００１６】前記の第６手順で得られた変換後のモデル
データは、その顔画像における要部部位について実測の
三次元データで変換されているが、他の部分については
元のモデルデータを回転変換・拡大／縮小変換したもの
に過ぎず、それらは被験体の顔画像と正確な整合性を有
したデータではない。そこで、第７手順では、実測デー
タで変換されている要部部位の三次元データを用いて、
非整合状態のモデルデータの部分を補正する。その場
合、要部部位の三次元データを用いた一般的な内挿曲線
や近似曲線によって補正することも可能であるが、顔画
像における各要部部位の周辺はその部位に対応した特徴
的な三次元的変化を呈し、また回転・拡大／縮小変換さ
れたモデルデータ自体も本質的にその特徴的変化を内在
させたデータである。従って、この発明では、前者の特
徴を各係数として与えると共に、後者のモデルデータと
の相関を考慮した近似補正関数を適用し、未確定部分の
モデルデータを補正することで最終的に高精度な全体的
顔画像の三次元データを得るようにしている。そして、
前記の近似補正関数としては、例えば、各要部部位毎に
設定される係数をα、変換された要部部位上の点:Ｐと
その変換前の点:Ｐ'の位置との距離をdＰ、前記の変換
前の点:Ｐ'から未変換のメッシュ上の点:Ｐrまでの距離
をｒとした場合に、前記の点:Ｐrの前記dＰに係る変換
方向への補正距離:dＰrをdＰr＝dＰ・ｅｘｐ(−α・ｒ)と
して与える関数を適用できる。

【００１７】

【発明の実施の形態】以下、本発明の「顔画像の計測・
処理方法」の実施形態を図面を用いて詳細に説明する。
先ず、図１は顔画像の計測・処理装置の全体的システム
構成を示し、撮像系とその信号をＡ/Ｄ変換して自動的
に計測・処理するためのシステム回路とで構成されてい
る。ここに、撮像系はＣＣＤ撮像素子を内蔵した３台の
撮像カメラ1,2,3から構成され、各撮像カメラ1,2,3はそ
れぞれの光軸1a,2a,3aを平行になっており、またそれら
の位置が各光軸1a,2a,3aに対する垂直な面(基準面)4上
に設定された条件で配設されている。そして、各撮像カ
メラ1,2,3の光軸1a,2a,3a相互間の距離:Ｌ1,Ｌ2,Ｌ3
は、一般に被験者5の顔と前記の基準面4との平均的距離
や各撮像カメラ1,2,3の光学系の倍率に応じて、また顔
画像の撮像角度や照明光の照射角度等を考慮して設定さ
れるが、撮像カメラ1と2を水平方向に配設すると共に、
撮像カメラ3をその光軸3aが撮像カメラ1,2の各光軸1a,2
aから等距離にあるように配設することが望ましく、例
えば、前記の平均的距離が２ｍ程度であって、顔画像が
基準面に正対した状態乃至±３０°程度傾斜した状態で
撮像する場合を想定すれば、Ｌ1,Ｌ2,Ｌ3を約１０cm程
度に設定すればよい。また、この実施形態の特徴とし
て、照明光は自然光でよく、従来技術に示したような特
殊な計測補助光を用いる必要はない。

【００１８】一方、システム回路側は、各撮像カメラ1,
2,3の出力信号をディジタルデータに変換するＡ/Ｄ変換
器6-1〜3と、書込み回路7と、各Ａ/Ｄ変換器6-1〜3が変
換した撮像データを個別にセーブするＲＡＭ8-1〜3と、
ワークメモリに相当するＲＡＭ9と、システム制御プロ
グラムと計測・処理プログラム及び固定データであるモ
デルデータを格納したＲＯＭ10と、ＣＰＵ11と、Ｉ/Ｆ
を介した操作部12とがそれぞれバス接続されていると共
に、周辺装置としてのＣＲＴ13やプリンタ14やハードデ
ィスク装置(ＨＤＤ)がＩ/Ｆを介して前記バスに接続さ
れている。そして、このシステム回路全体の動作制御は
ＣＰＵ11がＲＯＭ10のシステム制御プログラムに基づい
て実行し、顔画像データの処理に関してはアプリケーシ
ョンプログラムに相当する計測・処理プログラムとモデ
ルデータを読出して実行する。

【００１９】次に、この実施形態に係る顔画像の計測・
処理装置の動作手順を図２のフローチャートに基づいて
説明する。また、各手順の実行過程において、図３から
図８を必要に応じて参照する。先ず、被験者5がその顔
を撮像系の所定撮影ゾーンに位置させた状態で、操作部
12から計測・処理の指示を与えると、各撮像カメラ1,2,3
が被験者5の顔画像を同時に撮影し、各撮像信号を各Ａ/
Ｄ変換器6-1〜3でディジタルデータに変換した後、その
撮像データ:Ｇ1,Ｇ2,Ｇ3を書込み回路7によって対応す
るＲＡＭ8-1〜3に個別にセーブする(S1,S2)。また、こ
の撮影において、背景が平面である場合には、後述の３
値化差分データを求める段階で除外されるために問題が
ないが、平面でない場合には、予め各撮像カメラ1,2,3
で背景のみを撮影しておき、各撮像データ:Ｇ1,Ｇ2,Ｇ3
と背景撮像データとの差分を求め、その差分が０となっ
た領域を切り取っておくという前処理を行なうことが望
ましい。

【００２０】そして、前記の撮影状態において、各撮像
カメラ1,2,3による撮像データ:Ｇ1,Ｇ2,Ｇ3の各顔画像
は、図１に示した各撮像カメラ1,2,3の配設位置に基づ
く視差角に応じて撮像素子面上でズレを生じており、各
撮像画像を重ね合わせると図３に示すような状態にな
る。尚、図３において、実線1gは撮像カメラ1による撮
像画像に、点線2gは撮像カメラ2による撮像画像に、一
点鎖線3gは撮像カメラ3による撮像画像に相当する。

【００２１】次に、各ＲＡＭ8-1〜3にセーブされた撮像
データ:Ｇ1,Ｇ2,Ｇ3における対応画素相互間の輝度レベ
ルの差分データ:ΔＧ12(=Ｇ1-Ｇ2),ΔＧ23(=Ｇ2-Ｇ3),
ΔＧ31(=Ｇ3-Ｇ1)を演算し、それらの差分データをＲＡ
Ｍ9にセーブする(S3)。そして、各差分データ:ΔＧ12,
ΔＧ23,ΔＧ31におけるレベル変化範囲内に２つの閾値
レベル:Ｔh1,Ｔh2を設定して各差分データを３値化し、
その各３値化差分データ:ΔＧ12',ΔＧ23',ΔＧ31'をＲ
ＡＭ9にセーブする(S4)。但し、ここで設定する各閾値
レベル:Ｔh1,Ｔh2は、各差分データ:ΔＧ12,ΔＧ23,Δ
Ｇ31における顔画像の要部部位(この実施形態では、
眉、眼、鼻、口、及び顎の輪郭とする)の輝度レベル差
だけを３値化データとして抽出できるようなレベル値に
なっており、撮像系の構成や照明条件等を考慮して経験
的に決定されている。尚、顔画像の要部部位を前記の要
素に制限したのは、それらの顔の要素が撮像データ:Ｇ
1,Ｇ2,Ｇ3の中で輝度レベル変化が大きくなる部分であ
り、且つ顔の最も特徴的部分に相当するからである。ま
た、各差分データ:ΔＧ12,ΔＧ23,ΔＧ31は顔画像の微
小な凹凸部分に係るデータやノイズ成分も含んでいる
が、各３値化差分データ:ΔＧ12',ΔＧ23',ΔＧ31'では
それらが除去され、上記のように背景を平面にして切り
取り処理を行なっていない場合にも、撮像データ:Ｇ1,
Ｇ2,Ｇ3の中の背景データは輝度レベル変化が小さいた
めにこの段階で除去される。

【００２２】次に、前記の各３値化差分データ:ΔＧ1
2',ΔＧ23',ΔＧ31'の信号変化位置を検出し、それらの
各３値化差分データを求めるために用いた各ＲＡＭ8-1
〜3の対撮像データ[Ｇ1,Ｇ2],[Ｇ2,Ｇ3],[Ｇ3,Ｇ1]にお
ける前記変化位置の近傍での最大又は最小レベル位置の
位置差:Ｄを求めてＲＡＭ9にセーブする(S5)。即ち、各
３値化差分データ:ΔＧ12',ΔＧ23',ΔＧ31'における信
号の変化は顔画像の要部部位によって大きな輝度レベル
変化が発生している位置で生じているため、３値化信号
の変化位置に対応する位置に対撮像データ[Ｇ1,Ｇ2],
[Ｇ2,Ｇ3],[Ｇ3,Ｇ1]の最大レベル値又は最小レベル値
が存在することになり、その各位置差:Ｄを検出するこ
とができる。

【００２３】例えば、撮像カメラ1,2の各撮像データ:Ｇ
1,Ｇ2に係る３値化差分データ:ΔＧ12'に基づいて得ら
れた各撮像データ:Ｇ1,Ｇ2の最大レベル値又は最小レベ
ル値は撮像画面上で図４(Ａ)のような検出状態で現れ、
撮像カメラ2,3の各撮像データ:Ｇ2,Ｇ3に係る３値化差
分データ:ΔＧ23'に基づいて得られた各撮像データ:Ｇ
2,Ｇ3の最大レベル値又は最小レベル値は撮像画面上で
図４(Ｂ)のような検出状態で現れることになる。ここ
に、図４(Ａ)の検出状態は、撮像カメラ1,2が水平方向
に配置されているためにその配置方向に関して各要部部
位による輝度レベル変化が敏感に現れていることに基づ
いており、図４(Ｂ)の検出状態は、撮像カメラ2,3が斜
め方向に配置されているためにその配置方向に関して各
要部部位による輝度レベル変化が敏感に現れていること
に基づく。尚、３値化差分データ:ΔＧ31'に基づいて得
られる各撮像データ:Ｇ3,Ｇ1の最大レベル値又は最小レ
ベル値の検出状態は図示していないが、当然に撮像カメ
ラ3,1の配設方向に敏感な検出状態が得られることにな
る。従って、３組の検出状態を総合すれば、顔画像の要
部部位を異なる３方位から見た場合の画像の位置差が得
られていることになり、二眼撮像方式による場合のよう
に計測不能部分は生じない。

【００２４】ところで、前記の各位置差:Ｄは図４(Ａ),
(Ｂ)において矢印で示されている距離を求めることに外
ならないが、この実施形態では次のような方法によって
高精度に求めるようにしている。先ず、図５(Ａ),(Ｂ)
は対撮像データ[Ｇ1,Ｇ2]の輝度レベル変化を、同図
(Ｃ)はそれらの差分データを、同図(Ｄ)は前記差分デー
タに閾値レベル:Ｔh1,Ｔh2を設定して得られる３値化差
分データを示す。但し、図５(Ａ),(Ｂ)においては、輝
度レベル変化に係る２種類の典型的態様をそれぞれ実線
と二点鎖線で示してあり、同図の(Ｃ)と(Ｄ)が示す差分
データと３値化差分データの実線と二点鎖線は前記の各
態様に対応したものとして示してある。この場合、３値
化差分データが変化しているために、図５(Ａ),(Ｂ)の
輝度レベル変化は顔画像における要部部位上の点に係る
ものであり、それらの最小値は撮像カメラ1,2の視差角
に基づいて水平方向にズレている。従って、そのズレ
量:Ｄを求めればよいのであるが、この方法では、図５
(Ｄ)の負パルスと正パルス間の中央(二点鎖線で現れる
場合には負パルスの立上り部)を中心とする近傍領域に
対応している各撮像データＧ1,Ｇ2の画素データ群を抽
出する。そして、双方の各画素データ群の相互相関係数
を算出しながら、図５(Ｄ)のＲの範囲内で一方の画素デ
ータ群を他方に近付ける態様で水平に移動させてゆき、
その範囲内の移動過程で最大相関値が得られた移動量を
Ｄとして求める。ここに、図５(Ｄ)のＲは負パルスの立
下がり位置と立上り位置の間隔を示しているが、一般に
Ｄ≦Ｒの関係が成立しており、各撮像データＧ1,Ｇ2の
輝度レベル変化の状態にもよるが、Ｒよりも広い範囲に
わたって最大相関値を探索する必要性をなくしている。
尚、前記では負パルスの区間をＲとしているが、正パル
スの区間をＲとして定義してもよい。また、ここでは図
４(Ａ)における各位置差を求める方法について説明した
が、図４(Ｂ)の各位置差を求める場合には、画素データ
群の移動方向を撮像カメラ2,3の配設方向に対応させて
同様の方法で求め、また対撮像データ[Ｇ3,Ｇ1]に係る
各位置差については撮像カメラ3,1の配設方向に対応し
た移動を行なうことになる。

【００２５】次に、図２のフローチャートに戻って、Ｓ
１〜Ｓ５の手順の実行によりＲＡＭ9にセーブされてい
る各対画像データ[Ｇ1,Ｇ2],[Ｇ2,Ｇ3],[Ｇ3,Ｇ1]に係
る位置差データ群を用いて、各撮像カメラ1,2,3の位置
から被験者5の顔の各要部部位上の点までの距離データ
群:Ｚij［但し、ｉ(=1,2,3)は撮像カメラに対応した添
字、ｊは前記要部部位上の点を示す添字］を求める(S
6)。この演算は、二眼撮像方式において採用されている
三角測距法を３組について適用するものであり、個々の
距離データは次の数式によって求められる。 Ｚ＝Ｌ／tanθ … θ＝Ｗ・Ｄ／Ｈ … 但し、Ｌは対画像データに対応した対撮像カメラの各光
軸間の距離(Ｌ1,Ｌ2,Ｌ3に相当)、Ｗは各撮像カメラ1,
2,3の画角、Ｈは撮像素子面での撮像画像幅である。

【００２６】そして、その数式の導出根拠は図６に示さ
れる。同図は、撮像カメラ1,2による撮影状態を上方か
ら俯瞰すると共に、各撮像カメラ1,2の撮像素子面にお
ける結像領域を示している。但し、撮像対象は被験者の
顔であるが、説明の便宜上、平面と仮定し、その平面上
の＊点と撮像カメラ1の位置との間の距離Ｚを求めるこ
ととする。前記の＊点は光軸1a,2aの間隔がＬ(=Ｌ1)で
ある撮像カメラ1,2で撮像されているが、各撮像カメラ
1,2から＊点を見ると視差角θが生じており、それに応
じて＊点の画像は各撮像カメラ1,2の撮像素子面上でＤ
だけズレた位置に結像する。その場合、図から明らかな
ように、幾何学的関係に基づいてＺ＝Ｌ／tanθであ
り、画角Ｗの範囲に収まる平面上の幅:Ｓの像が撮像素
子面での撮像画像幅Ｈに相当することから、比例式とし
てθ／Ｗ＝Ｄ／Ｈが成立し、結果的に前記の数式,
が導ける。尚、ここでは、撮像カメラ1の光軸1a上に＊
点がある場合ついて説明しているが、上記のように被験
者5の顔が基準面4から平均的に約２m程度に位置せしめ
られ、Ｌが１０cm程度に設定されているという条件下で
は、ＺがＬに対して十分に大きくなり、＊点が光軸1aか
らズレていても数式,は良好な近似式として成立す
る。

【００２７】前記のＳ６の手順により、各撮像カメラ1,
2,3の位置を基準にした距離データ群:Ｚijが得られてい
るが、次にそれらのデータ群Ｚijを用いて基準面4から
被験者5の顔の各要部部位上の点までの一義的な距離デ
ータ:Ｚjに換算し、その距離データ群をＲＡＭ9にセー
ブする(S7)。その場合、各要部部位上の点に対応した３
個の距離データ:Ｚ1j,Ｚ2j,Ｚ3jの平均値を求めるので
はなく、Ｋ(Ｄij)を距離データ:Ｚijに対応する位置差
Ｄijに比例した重み付け係数とした次の数式により求め
る。 Ｚj＝ΣＫ(Ｄij)・Ｚij ＝Ｋ(Ｄ1j)・Ｚ1j＋Ｋ(Ｄ2j)・Ｚ2j＋Ｋ(Ｄ3j)・Ｚ3j … これは、前記の数式では、三角測距法の原理からθの
算出精度がＤに比例して高くなっているため、それを考
慮してＺjの精度の向上を図るためである。

【００２８】以上の結果、ＲＡＭ9には基準面4を基準に
した顔画像の要部部位に係る三次元データがセーブされ
たことになるが、要部部位の点列データだけであるた
め、他の部分の三次元データを構成して顔全体の構成を
再生する必要がある。そこで、この実施形態では、ＲＯ
Ｍ10に格納させてあるモデルデータを用い、次のような
モデルデータの変換手順(S8)と近似補正手順(S9)からな
る特殊なデータ処理を実行することによって、顔画像全
体の三次元データを再生させる。ここに、ＲＯＭ10のモ
デルデータは、標準モデルの顔画像の三次元データをそ
の顔面に沿ったメッシュ状包絡線と基準面4との間の距
離データとして表現した固定データであり、その表現形
式は前記の距離データ:Ｚjによる顔画像の三次元データ
と同様である。尚、前記の３値化差分データ:ΔＧ12',
ΔＧ23',ΔＧ31'を求めた手順(S4)では、顔の要部部位
(眉、眼、鼻、口、及び顎の輪郭)のみを抽出するように
しているが、図４の点線に示されるように頭髪や耳の部
分も不可避的に抽出してしまう場合が多い。しかし、そ
れらは不確定要素が多いために、仮に輪郭線が抽出でき
ても以下の手順では利用しないこととする。

【００２９】先ず、モデルデータの変換手順(S8)では次
のようなアルゴリズムを実行する。 (1) 距離データ:Ｚjによる要部部位の三次元データとＲ
ＯＭ10のモデルデータとの相関比較を行い、Ｚjで表現
されている要部部位の１つである両眼画像の中心位置の
三次元位置データから得られる方向とモデルデータの両
眼の中心に対応する三次元位置データから得られる方向
を略一致させるようにモデルデータを回転させ、その回
転後の三次元データをＲＡＭ9へセーブする。これは、
撮影時に被験者5の顔がモデルデータで表現される方向
と同一方向に向いているとは限らず、殆どの場合に何等
かの誤差が生じているため、事前にモデルデータ側を三
次元的に回転変換させてその角度誤差を吸収しておく。
また、顔面の向きを検出するには両眼の中心の配置方向
に基づくことが最適である。 (2) 前記(1)で得られた回転後のモデルデータの両眼画
像の中心位置間の距離とＺjで表現されている両眼画像
の中心位置間の距離が略一致するように、回転後のモデ
ルデータ全体の三次元データを拡大／縮小変換する。こ
れは、撮像時に基準面4から被験者5の顔までの距離が一
定でなく、殆どの場合にＺjで表現される顔画像がモデ
ルデータに対応したサイズで得られていないため、それ
を修正するものである。また、このサイズの修正におい
ても両眼の中心間の距離を基準にすることが最適であ
る。 (3) 前記(2)で拡大／縮小変換されたモデルデータの要
部部位の三次元データを、両眼画像の中心位置を基準に
して、前記の距離データ:Ｚjで表現されている要部部位
の三次元データに変換する。

【００３０】以上のアルゴリズムの実行により変換され
たモデルデータは、その要部部位上の各点の三次元デー
タが距離データ:Ｚjによる要部部位の三次元データに置
換されている。即ち、図７において、変換後のモデルデ
ータが点線で示すメッシュ状包絡線である場合に、太実
線で示す眼21,22、眉23,24、鼻25、口26、及び顎27の要
部部位については距離データ:Ｚjに基づいた三次元デー
タになっており、両眼21,22の中心位置を結ぶ直線:Ｘ-
Ｘの方向と各中心位置間の距離:ｄについては、それぞ
れ前記アルゴリズム(1),(2)によって変換された方向と
距離になっている。

【００３１】ところで、そのように変換されたモデルデ
ータは、前記の要部部位上の各点のみが実測距離デー
タ:Ｚjで置換されただけであって、他の部分(図７の点
線に相当するメッシュ状包絡線)はモデルデータでしか
ない。そこで、近似補正手順(S9)では、次のような補正
関数を用いて実測距離データ:Ｚjを基準にしたモデルデ
ータの補正を実行する。

【００３２】今、図８において、前記で実測距離デー
タ:Ｚjで置換された要部部位のモデルデータに係るメッ
シュを(ａ')、その変換前のモデルデータのメッシュを
(ａ)、未変換のままのモデルデータのメッシュを(ｂ)、
前記(ｂ)のメッシュを補正関数を適用して補正した後の
メッシュを(ｂ')で示す。ここで、既に実測距離データ:
Ｚjになっているメッシュ(ａ')の要部部位上の点:Ｐ'と
その変換前のメッシュ(ａ)上の点:Ｐ'との距離をdＰ、
前記の変換前の点:Ｐ'から未変換のメッシュ(ｂ)上の
点:Ｐrまでの距離をｒとした場合に、点:Ｐrの前記dＰ
に係る変換方向への補正距離:dＰrをdＰr＝dＰ・ｅｘｐ
(−α・ｒ)として与える。従って、点:Ｐ'を既変換の要
部部位上の座標に沿って移動させながら距離ｒを未変換
のメッシュ(ｂ)を含む適当な範囲で設定することによ
り、そのメッシュ(ｂ)を前記の補正関数:dＰr＝dＰ・ｅ
ｘｐ(−α・ｒ)で補正したメッシュ(ｂ')を得ることがで
きる。但し、αは距離ｒに応じた補正量の影響範囲を示
す係数であり、点Ｐ'が属する要部部位毎に個別に設定
される。即ち、顔画像の特質から距離ｒに応じた適切な
補正量は各要部部位の付近でそれぞれ異なり、影響係数
ともいうべき補正係数:αを各要部部位別に設けること
で補正精度を高めている。実用的には、補正係数:α
は、眼や口に対しては距離ｒの影響を小さくするために
大きく設定され、鼻や顎に対しては距離ｒの影響を大き
くするために小さく設定されることになる。

【００３３】このようにして、変換後のモデルデータに
おける実測距離データ:Ｚjで置換された部分(要部部位)
以外のメッシュの三次元データも補正されるが、補正は
各要部部位の周囲毎に補正されるためにそれらの補正範
囲がオーバーラップする場合があるが、そのような場合
にはオーバーラップ部分の補正量は両領域の補正値の和
の平均を適用する等の方法が採用できる。

【００３４】以上の結果、最終的に補正されたモデルデ
ータは顔画像全体についての基準面4を基準にした三次
元データとなるが、そのデータはＲＡＭ9からＨＤＤ15
へ転送され、識別データ等を付してハードディスクに格
納される(S10)。また、その段階でＲＡＭ8-1,2,3とＲＡ
Ｍ9の各データはクリアされて、今回の顔画像の計測・処
理モードを抜ける(S10)。そして、ハードディスクに格
納された顔画像の三次元データは、操作部12から適宜指
示を与えることで、ＣＲＴ13により各方向から見た顔画
像として表示させたり、ポリゴン処理を行なって顔画像
を擬似的立体画像として表示させることができ、更にプ
リンタ14でそれらを印刷することもできる。

【００３５】尚、この実施形態では、図５(Ｃ),(Ｄ)に
示したように、差分データ:ΔＧ12,ΔＧ23,ΔＧ31に対
して２つの閾値レベル:Ｔh1,Ｔh2を設定することで３値
化差分データ:ΔＧ12',ΔＧ23',ΔＧ31'を求めるように
しているが、その閾値処理手順は顔画像から要部部位を
抽出することにあり、適当な基準レベルに対する１つの
閾値レベルの設定によって２値化差分データを求めるよ
うにしてもよい。従って、差分データ:ΔＧ12,ΔＧ23,
ΔＧ31の閾値処理を３値化処理にするか２値化処理にす
るかは、撮像カメラ1,2,3の特性や照明条件によって顔
画像の要部部位の輝度変化が如何に現れるか等の条件を
考慮して選択することができる。

【００３６】

【発明の効果】本発明の顔画像の計測・処理方法は、以
上の構成を有していることにより、次のような効果を奏
する。請求項１の発明は、被験体(人物や生物)に不快感
や悪影響を与える特殊な計測補助光を照射することな
く、一般の照明光の下で被験体の顔画像を三眼撮像して
高精度な三次元顔画像データとして作成することを可能
にし、セキュリティシステムにおける人物特定やファッ
ション産業分野での顔画像モデリングシステムに最適な
顔画像の計測・処理方法を提供する。また、顔画像の要
部部位を抽出し、その抽出データに基づいてモデルデー
タを加工するために処理データ量が小さく、全体として
データ処理を高速化できるという利点も有している。請
求項２の発明は、各撮像カメラの顔画像撮像データを処
理する段階で、合理的で正確な計測を可能にする各撮像
カメラの配設態様を与える。請求項３の発明は、顔画像
の要部部位を限定し、少ないデータ量で高精度な三次元
顔画像データを作成することを可能にする。

【図面の簡単な説明】

【図１】本発明の顔画像の計測・処理方法の実施形態に
係る計測・処理装置の全体的システム構成図である。

【図２】顔画像の計測・処理手順を示すフローチャート
である。

【図３】各撮像カメラによる顔画像の撮像データを重ね
合わせた場合に構成される顔画像図である。

【図４】対撮像カメラの各撮像データに係る３値化差分
データの信号変化位置において得られている各撮像デー
タの最小又は最大レベル位置の検出状態を示す図であ
り、(Ａ)は撮像カメラ1,2に対応するもの、(Ｂ)は撮像
カメラ2,3に対応するものである。

【図５】位置差:Ｄを求める手順を説明するために用い
る図であって、(Ａ),(Ｂ)は対撮像データの輝度レベル
変化を、(Ｃ)はそれらの差分データを、(Ｄ)は差分デー
タに閾値レベルを設定して得られる３値化差分データの
変化を示す。

【図６】三角測距法の基本原理を示す模式図である。

【図７】変換後のモデルデータに基づくメッシュ状包絡
線と実測データに基づく要部部位(太実線)を示した概略
モデル図である。

【図８】変換後のモデルデータ部分に対する近似補正関
数を用いた補正態様を示す図である。

【符号の説明】

1,2,3…撮像カメラ、1a,2a,3a…撮像カメラの光軸、1g,
2g,3g…撮像カメラの撮像画像、4…基準面、5…被験
者、6-1,6-2,6-3…Ａ/Ｄ変換器、7…書込み回路、8-1,8
-2,8-3,9…ＲＡＭ、10…ＲＯＭ、11…ＣＰＵ、12…操作
部、13…ＣＲＴ、14…プリンタ、15…ＨＤＤ、21,22…
眼、23,24…眉、25…鼻、26…口、27…顎、Ｄ…各撮像
データの最小レベル位置の撮像画像上における位置差、
ｄ…両眼の中心位置間の距離、Ｇ1,Ｇ2,Ｇ3…撮像デー
タ、ΔＧ12,ΔＧ23,ΔＧ31…差分データ、ΔＧ12',ΔＧ
23',ΔＧ31'…３値化差分データ、Ｈ…撮像画像幅、Ｋ
(Ｄij)…重み付け係数、Ｌ,Ｌ1,Ｌ2,Ｌ3…光軸間の距
離、Ｐ…変換された要部部位上の点、Ｐr…未変換のメ
ッシュ上の点、dＰ…Ｐとその変換前の位置との距離、d
Ｐr…Ｐrの補正距離、Ｒ…負パルスの立下がり位置と立
上り位置の間隔、ｒ…ＰとＰr間の距離、Ｔh1,Ｔh2…閾
値レベル、Ｗ…撮像カメラの画角、Ｘ-Ｘ…両眼の中心
位置を結ぶ直線、Ｚ…撮像カメラの位置から被験者の顔
の各要部部位上の＊点までの距離、Ｚij…距離データ
群、Ｚj…基準面から被験者の顔の各要部部までの距
離、α…補正量の影響範囲を示す係数、θ…視差角。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 光軸を平行にした３台の撮像カメラを前
   記光軸に垂直な面(以下、単に「基準面」という。)と各光
   軸の交点位置に配設した撮像系と、前記撮像系の各撮像
   カメラから得られる撮像信号をディジタルデータへ変換
   する各Ａ/Ｄ変換手段と、撮像データ及び演算データを
   記憶する第１記憶手段と、標準モデルの顔画像の三次元
   データ(以下、単に「モデルデータ」という。)をその顔面
   に沿ったメッシュ状包絡線と前記基準面との間の距離デ
   ータとして記憶した第２記憶手段と、データ処理手段と
   を具備しており、前記の各撮像カメラで被験体の顔をに
   撮影し、前記データ処理手段が、前記の各Ａ/Ｄ変換手
   段が変換した各撮像データを個別に前記第１記憶手段へ
   記憶させる第１手順と、前記第１手順によって前記第１
   記憶手段に記憶せしめられた各画像データ相互間の対応
   画素に係る輝度レベルの差分を求めて３組の差分データ
   を得る第２手順と、前記第２手順で得られた各差分デー
   タに対して顔画像の要部部位の輝度レベル差のみを抽出
   するための閾値レベルを設定して各差分データを２値化
   又は３値化した閾値処理データを求める第３手順と、前
   記第３手順で各閾値処理データを得るために用いた前記
   第１記憶手段の対撮像データにおいて閾値処理データの
   信号変化位置に対応している各最大又は最小レベル位置
   の撮像画像上での位置差:Ｄを求めると共に、前記の対
   撮像データを得た対撮像カメラにおける一方の撮像カメ
   ラの位置から前記被験体の顔における各要部部位上の点
   までの距離をＺ＝Ｌ／tanθ，θ＝Ｗ・Ｄ／Ｈ［但し、Ｌ
   は対撮像カメラの光軸間の距離、Ｗは各撮像カメラの画
   角、Ｈは撮像画像幅に相当］として求めることにより、
   各撮像カメラの位置から前記要部部位上の点までの距離
   データ群:Ｚij［但し、ｉ(=1,2,3)は撮像カメラに対応
   した添字、ｊは前記要部部位上の点を示す添字］を求め
   る第４手順と、前記第４手順で得られた各距離データ
   群:Ｚijを用いて前記基準面から前記被験体の顔の各要
   部部位上の点までの距離をＺj＝ΣＫ(Ｄij)・Ｚij［但
   し、Ｋ(Ｄij)は距離データ:Ｚijに対応する前記位置差:
   Ｄに比例した重み付け係数］として求める第５手順と、
   前記第５手順で得られた顔の要部部位に係る三次元デー
   タと前記第２記憶手段のモデルデータにおける顔画像の
   要部部位に対応する三次元データとの位置及び相対的間
   隔の相関比較を行なって、後者のデータが前者のデータ
   に略一致するように後者のデータを三次元的に回転変換
   すると共に拡大／縮小変換し、またその変換後の要部部
   位に係る三次元データを前記第５手順で得られている三
   次元データに置換する第６手順と、前記第６手順で変換
   された後のモデルデータにおける顔画像の要部部位以外
   のメッシュ状包絡線の三次元データを、各要部部位毎に
   設定される補正係数を含み、変換された要部部位上の点
   とその変換前の位置との距離及び変換された要部部位上
   の点から未変換のメッシュ状包絡線上の点までの距離を
   変数とした近似補正関数に基づいて補正する第７手順と
   を実行して被験体の顔画像の三次元データを求めること
   を特徴とした顔画像の計測・処理方法。
2. 【請求項２】 前記撮像系の撮像カメラの配設態様が、
   ２台の撮像カメラを水平方向に配設し、他の１台を前記
   ２台の配設位置より下側で、且つ前記２台から等距離に
   ある位置に配設したものである請求項１の顔画像の計測
   ・処理方法。
3. 【請求項３】 前記の顔画像の要部部位が、眉、眼、
   鼻、口、及び顎の輪郭であることとした請求項１又は請
   求項２の顔画像の計測・処理方法。