JPH11283033A - 画像識別のための特徴量の利用方法およびそのプログラムを格納した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】入出者管理やクレジットカードによる支払等の
セキュリティシステムにおいて、登録者本人か否かの同
定にカード上に印刷された顔画像を用いて行うことがで
きるようにする。 【解決手段】個人情報を記録したカード１０上に印刷さ
れた顔画像３を読み取り、顔形状を表わす特徴量として
法線ベクトルを抽出し、予め顔画像から抽出され、デー
タベースシステム１１に登録されている法線ベクトルと
のずれ量を求めて、その量に応じて本人同定処理を行
う。４はカードに内蔵され、特徴量・識別関数の情報を
記憶するＩＣメモリ、１は画像処理、データ検索用Ｐ
Ｃ、２はシステム内のデータベースである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、対象物を撮影した画像
情報をその対象物の特徴を保持しながらより少ない情報
に置き換えることにより、同一の対象物であるか、異な
る対象物であるかを判別可能にする画像識別のための特
徴量の利用方法に関し、特にＩＣカードに印刷された顔
画像を読み取り特徴量に変換して、予め読み取り抽出さ
れ登録されているカードの所有者の顔画像の特徴量と比
較して同一の顔画像であることを同定する方法、および
その方法をプログラムに変換したものを格納した記録媒
体に関する。

【０００２】

【従来の技術】画像情報を識別する技術は、画像に含ま
れる構成要素の位置、大きさ、形状等をパラメータとし
て抽出して特徴量として比較する方法と、画像の濃度分
布を特徴量として比較する方法とに分けることができ
る。複数の構成要素に分割して比較する場合には、判り
易く取り扱い易いが、パラメータの抽出には非常に複雑
な処理を必要としロパスト性も低い。一方、後者の方法
では、位置合わせ等の前処理により識別性能が左右さ
れ、大量の計算を必要とする。例えば、完全な一致を求
めるならば、画像上の１画素毎の位置と濃度情報により
識別を行うことができるが、明らかに非現実的である。
また、閾値による濃度スライスを行った結果の同一濃度
の画素数（＝面積）により判定するということも行われ
ている。これらの方法によって非常に厳密な判定が可能
であるが、画像の情報量が増大すると、そのための計算
量は非常に大きなものとなってしまう。そのため計算量
の削減のために顔画像の一部をモザイクパターンに分割
し、ブロック毎に平均濃度値を代表値とさせて比較処理
を行うと言う方法も行われているが、位置ずれの吸収に
は効果があるが機械的な分割により重要な特徴を失なっ
てしまう場合が往々にして発生する。なお、従来技術の
例としては、『顔の両眼付近の部分画像を用いたゲート
管理のための個人識別実験』島田英之、磯部博文、塩野
充著、（電子情報通信学会誌Ｄ−２、Ｖｏｌ．1,J77-D-
11,NO.9,pp.1680-1690,１９９４年９月がある。

【０００３】

【発明が解決しようとする課題】写真画像等のイメージ
情報を基に物体の形状を判定するために、最も確実なも
のは、画像の持つ全ての情報を検証すればよい。しか
し、高解像度な画像が一般的に利用されるようになる
と、その判定に要する計算量、時間は非常に膨大なもの
となってしまう。そのために画像をモザイク状に分割
し、各モザイク平面の平均濃度値を代表値とする等して
情報量を圧縮する手法が報告されている。しかし、十分
な判定を行うために必要な情報を保存すると、圧縮率が
大きく取れないという問題がある。また、その判定の仕
組は、同一であるか異なっているかと言う２者択一的な
判定であって、中間的な結果を出すことは一般的に判定
を放棄するものでリジェクトという処理が行われ、判定
系からははねられてしまう。 そこで、本発明の目的
は、上述のような従来の課題を解決し、計算量に応じた
確率的な同定判定を可能とする画像識別のための特徴量
の利用方法、ならびにそのプログラムを格納する記録媒
体を提供することにある。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、本発明による画像識別のための特徴量の利用方法で
は、画像情報を用いた同定処理における計算量や計算時
間を少なくするための特徴量を濃度値平均ではなく濃度
値の傾斜を表現する法線ベクトルの成す角度と決め、画
像情報に適応的な処理アルゴリズムを用いることにより
実現する。つまり、十分な判定材料となり得る情報量と
計算機の能力が与え得るならば、かなり高精度な同異判
定を行うことが可能であって、少ない情報量と劣悪な計
算能力しかないときには、確率的な判定を下すことが可
能であり、人間による最終判定を仰ぐことにより、同異
判定を行わせることができる。本発明による個人情報を
格納する携帯型記憶媒体は、例えば個人情報を書き込
み、読み出し可能なＩＣカードやメモリカード等であ
り、カード上には、個人情報をコード化したディジタル
情報が格納される。また、カード表面には、個人を同定
するための顔画像が印刷されている。また、本発明の個
人情報を認証する認証システムは、多数の個人情報をデ
ータベース化し、格納するネットワーク上もしくはロー
カルにあるデータベースシステムと、ＩＣカードもしく
はメモリカードから情報を読み出せるカードリーダと、
ＩＣカードもしくはメモリカードの表面にある画像情報
を読み取るイメージスキャナと、画像データを保持し、
抽出された特徴量や演算に必要なデータを保持可能な記
憶媒体（例えば、半導体メモリ）と、画像データを記憶
媒体から読み出し書き込み、及びデータに対する演算ま
たは個人情報をデータベースシステムから検索読み出
し、記述されている特徴量と画像データから抽出された
特徴量との比較が可能な中央演算処理装置およびプログ
ラムを実行可能なオペレーティングシステムと、外部装
置と通信及びデータの送受信可能なインタフェース装置
とを具備する。

【０００５】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図１は、本発明による画像識別のための特徴
量の利用方法を適用する処理システムの概略構成図であ
る。個人情報をディジタルデータに変換し、格納したメ
モリチップもしくはＩＣチップ４を搭載したカード１０
には、カードの所有者の顔をディジタルカメラ等により
撮影された顔写真画像３が印刷されている。認証システ
ム１１は、画像処理とデータ検索を行うＰＣ（パーソナ
ルコンピュータ）等の計算装置１と個人情報及び顔画像
の特徴量を登録・記録してあるデータベースシステム２
が、ローカルのバスもしくはネットワークＩ／Ｆカード
等を介して接続されている。また、個人情報と顔画像の
読み取りを行うカードリーダー兼スキャナ（図示せず）
が適切なＩ／Ｆを介して接続されている。物品の購入時
や入退時のセキュリティチェック時等において、カード
持参者は認証システム１１に付属するカードリーダー兼
スキャナにセットする。カードリーダ兼スキャナは、カ
ード上に記録されているコード化された個人情報の読み
出しと同時にカード表面に印刷されている顔画像のイメ
ージ読み取りを行う。コード情報とイメージ情報は、Ｐ
Ｃ１の内部メモリ（図示せず）に一旦記憶される。一
方、ＰＣ１は、コード情報に含まれるキー情報を基にデ
ータベースシステム２に登録されている情報を検索し、
該当する登録コード情報を受け取る。次に、登録コード
情報の中には、最初の登録時に撮影しておいた顔画像の
特徴量が含まれており、先に内部メモリに記憶保存して
おいたスキャナ読み取りにより得られたカード上の顔画
像の特徴量と比較し、そのずれ量を見ることにより、そ
の個人情報を記録しているカードが登録本人のものであ
るのか否かを判定する。

【０００６】（特徴量の抽出）特徴量の抽出は、以下に
述べる２段階を経て行われる。 （１）前処理 読み取った顔画像から基準点を決める。実施例では、カ
ード作成時に所有者は青い背景の前に正面向きで位置し
てもらう。照明は、ほぼ正面やや上方から当たるように
する。カラーディジタルカメラで撮影した画像または通
常の銀塩写真方式で撮影した写真画像をカラースキャナ
等で読み取った画像を使用する。先ず、適当な閾値処理
を行って背景を切り出す。具体的には、カラーで撮影し
ているので画像データの中のブループレーンデータに着
目し、先ずメディアンフィルタによる平滑化を施し、次
に濃度値ヒストグラムを作成する。濃度値ヒストグラム
から背景切り出しを行うための閾値ｘ１とｘ２を下式
〔１〕から求める。ここでｈ〔ｉ＋１〕は濃度値ｉの画
素数を表わす。下式〔２〕の時、式〔１〕を満たすｉの
最小値をｘ１、下式〔３〕の時、式〔１〕を満たすｉの
最大値をｘ２とし、この部分に含まれる濃度値画素は背
景であるとみなしてカットする。 ｈ〔ｉ〕／ｍ×１００≧１ ・・・・・・・・・・・・〔１〕 ｍ＝ｈ〔ｍａｘ〕＋ｈ〔ｍａｘ−１〕＋・・＋ｈ〔ｉ＋１〕 ・・・・・・・・・・・・〔２〕 ｍ＝ｈ〔ｍａｘ〕＋ｈ〔ｍａｘ＋１〕＋・・＋ｈ〔ｉ−１〕 ・・・・・・・・・・・・〔３〕

【０００７】図６は種々の処理を行った画像および背景
の図であり、図２（ａ）は図６の画像のヒストグラムの
例を示す図である。また、図７は肌色領域の処理の結果
の図であり、図２（ｂ）は図７の画像のヒストグラムの
例を示す図である。図６（ａ）の閾値処理を行った結果
の画像に対するヒストグラムが、図２（ａ）に示す特性
図で示される。図２（ａ）のｘ１とｘ２の間は背景であ
るので、カットする。雑音成分を除いて最終的に得られ
た背景部分が、図６（ｅ）である。次に、肌色の抽出を
行う。先の処理により抽出された背景外の領域について
グリーンプレーンのデータのヒストグラムを作成する。
ここで、予め高濃度領域と低濃度領域をカットしてお
く。背景領域を切り出した残りの画像領域で最も大きな
面積を占めている部分は肌色であるという前提のもと
に、前述の閾値処理と同様にして肌色領域を取り出す。
図７（ｃ）は閾値処理を行った結果を示す図であり、図
２（ｂ）がこれに対応するヒストグラムの例である。こ
の中で一定面積以上を占め、かつ重心が画像の中心に近
いものを顔領域とする。図７（ｄ）が顔領域として抽出
された図である。さらに、輪郭線による影響を無くすた
めに輪郭線を含まない領域を取り出し、顔領域とする
（図７（ｅ）参照）。

【０００８】次に、基準点を決定する。図８は基準点の
検出過程を示す図であり、図９は平面での近似例を示す
図である。先ず、抽出された顔領域を楕円図形に近似
し、その中に含まれる肌色領域でない部分にグリーンプ
レーンの濃度値を入れる（図８（ｃ）参照）。この結果
から、人間の目に特徴的な条件を当てはめて、目領域の
重心を求め、その重心間の中点を基準点とする（図８
（ｄ）参照）。ここでの人間の目に特徴的な条件とは、
状況により変えることができるが、ここでは、以下のよ
うな条件を使用して抽出している。 目と思われる領域は、顔領域の重心を通る垂線の両側
に存在する。 目と思われる領域は、顔領域の重心より上方にある。 目と思われる２つの領域の重心の水平位置及び面積は
ほぼ等しい。 目と思われる領域内における濃度値のばらつきは大き
い。 その他、複数検出された場合には、なるべく上方にある
組を採用したり、条件に適合する領域が検出できない場
合には、各検出された領域について、それぞれ上限下限
を設定し、その範囲内で該当する領域があるか否かを探
索するという条件を設定して、目領域の検出を行って基
準点を決定する。

【０００９】（２）法線ベクトル 図５は、法線ベクトルを示す図である。顔領域にブルー
プレーンの濃度値を入れ、顔領域を小区画に区割りす
る。例えば、顔領域中４００×４００画素の領域を採用
した場合、１５×１５画素程度の大きさの小区画に区割
りする。この場合、２６×２６＝６７６個の小区画が得
られる。次に、各小区画毎に含まれる濃度値曲面を最小
二乗誤差で近似した平面を求める。得られた平面の向
き、つまり平面の法線ベクトルをその小区画に含まれる
濃度値曲線を表現する特徴量とする。各小区画の法線ベ
クトルは、顔領域のある特定領域の形状および色の変化
を示していることになる（図５参照）。この領域に含ま
れる濃度値情報に比較して約１％以下に集約することが
できている。

【００１０】（特徴量の比較）図１０は、平均余弦のヒ
ストグラムを示す特性図である。以上の手順により抽出
された法線ベクトルに対して、データベースに登録され
ている個人情報内には予めカードへ印刷された顔画像か
ら取り込まれた法線ベクトルデータが格納されている。
データベース上の法線ベクトルデータには、基準点に対
する位置情報も共に保存されている。最も単純な位置情
報としては、小区画と基準点との位置関係により法線ベ
クトルデータに番号が割り付ける方法がある。個人認証
のためにカードがカードリーダーに差し込まれると、カ
ードリーダーに組み込まれているスキャナによってカー
ド上の顔写真画像が読み込まれる。読み込まれた顔画像
データは、ＰＣ１により先に記述したような方法で特徴
量の抽出が行われる。抽出された特徴量である法線ベク
トルデータには、やはり画像上の基準点に対する位置情
報を持っているので、ここで予め決められた小区画の順
に番号が割り付けられる。先ず、カードリーダーにより
得られた個人情報から該当するデータが登録されている
か否かをデータベースシステムから検索する。この時の
検索方法、検索キー、検索情報等は、認証システム毎に
任意に設定されていてもよいので、ここでは省略する。
検索の結果、該当する情報がなければ、この時点で不正
使用かカードの破損等の理由ではねられる。該当する個
人情報があれば、登録されている顔画像の特徴量データ
を読み込む。この場合には、法線ベクトルデータとその
位置情報になる。次に、登録されている法線ベクトルデ
ータとカード上から読み取って抽出した法線ベクトルと
を位置情報に沿って順に比較する。この時の比較方法で
あるが、それぞれの基準点からの相対的な位置に対応す
る法線ベクトル同志のなす角を表わす余弦を計算する。
つまり、特徴量のずれを法線ベクトルの方向の違いで表
現することになる。このようにして、小区画の数だけ対
応する小区画平面の濃度値傾斜の違いを表わす法線ベク
トルの余弦データが得られる。結局、余弦データは、予
めカード作成時に撮影された登録されている顔写真画像
の顔領域の形状および色の変化と認証時にスキャナ等で
読み込まれたカード上に印刷された顔写真画像の顔領域
の形状および色の変化との違いを表わしている。全く同
一の画像、同一の条件であればそれぞれの法線ベクトル
の方向は一致するので、余弦データは１になる。画像が
異なれば異なるほど、余弦は小さくなる。画像間の対応
する位置の法線ベクトルの余弦を比較した数について、
平均をとった平均余弦で見たヒストグラムである（図１
０参照）。

【００１１】通常、平均余弦は、０〜１の間に存在す
る。このヒストグラムは、異なる人物を撮影した顔画像
の組を複数種類用意し、それぞれの顔画像間での平均余
弦を計算したものと同一人物を位置、アングル等を変え
て複数撮影した画像の組を同様に複数用意し、それぞれ
の顔画像間での平均余弦を計算したものである。このヒ
ストグラムで判るように、先ず異なる人物を撮影した画
像間の平均余弦は、必ず１より小さくなる。また、同一
人物を撮影した画像間の平均余弦も条件が異なるので、
やはり１よりも小さくなる。これらの分布からも適当な
閾値３０を設定し分離することにより、登録されている
個人とは異なる人物を撮影したものであることや、同一
人物だが登録されている顔画像とは異なる顔写真である
と言うことが判定できる。さらに、厳密な位置合わせや
固定された画像情報、局所的な画像情報のみの利用と言
うことを行わないで判別できるので、ロバスト性の非常
に高い判定が可能となる。つまり、画像の一部が汚れて
いても、また読み取り系の違いや精度を気にすることも
なく、人物同定を行うことが可能である。

【００１２】切り出された領域内から取り出された特徴
量である法線ベクトルの取り出しと利用方法を最も単純
な形で説明したが、ここで更に有効な利用方法について
補足する。図３（ａ）は、対象とする画像１からある領
域の切り出しを行い（領域２）、その中から計算対象の
候補となる画像領域を選び、それを小区画の矩形ブロッ
クに分割した状態（領域３）を示す。領域３の選び方、
領域３の小区画の分割は何でもよいが、ここでは矩形で
説明する。図３（ｂ）は、対象とする画像（領域１）か
らの別な切り出しを示す図である。 図４（ａ）および
図４（ｂ）は、図３（ａ）に示した同じ領域３を表わし
ている。ここで、領域３は前述のように矩形で、その内
部は小区画に分割されている。塗りつぶされた小区画
は、特徴量の計算のために実際に使用されることを示
し、空白の小区画は特徴量の計算に寄与していないこと
を示す。同様にして、領域３から計算のために使用する
小区画の選び方は小区画総数をＮとすると２のＮ乗−１
あるが、ここでは、２通りを例として説明する。特徴量
の計算式は次のように表現できる。図４（ａ）の場合の
特徴量をＤ１、図４（ｂ）の場合の特徴量をＤ２とす
る。Ｄ１，Ｄ２は、図４（ａ）（ｂ）で計算に使用する
小区画が異なるために、一般には異なる値を持つ。これ
により、同一の画像から異なる特徴量を設定することが
できるが、これを異なる検証者毎に割り当てる。例え
ば、特徴量Ｄ１を銀行、特徴量Ｄ２を郵便局における検
証のための特徴量として割り当てれば、被験者は１つの
画像情報を保持しながら、銀行と郵便局とは互いに知り
得ない独立の特徴量により検証を行うことが可能とな
る。同様にして、検証者は１つに固定しておき、検証を
行う毎に、Ｄ１，Ｄ２のいずれかを選択させることが可
能となる。これにより、毎回異なる検査方法を設定選択
することができる。Ｄ１とＤ２、および／またはそれら
を併用した結果は、計算量や検証精度に差異をもたらす
が、これは検証時に必要とする計算時間、検証精度に応
じた選択を行うことが可能となる。

【００１３】図４（ａ）は、図１における計算対象とな
る領域３の画像で、分割された小区画に対して左上から
Ａ₁₁Ａ₁₂・・・Ａijと番号を付けて表わし、領域３全体
をＩで表わす。ある領域３の小区画Ｉｋは、 Ｉｋ＝｛Ｋ₁₁k，Ｋ₁₂k・・Ｋijk｝ ・・・・・・・・・・・・・・〔４〕 図４（ｂ）は、特徴量の計算に重み（Ｋij）をつけたも
ので、分割された小区画Ａ₁₁，Ａ₁₂，・・Ａijの対応す
る部分の重みをＫ₁₁，Ｋ₁₂，・・Ｋijで示し、この組み
合わせの１つＰｋは、 Ｐｋ＝｛Ｋ₁₁k，Ｋ₁₂k・・Ｋijk｝ ・・・・・・・・・・・・・・〔５〕 本発明による特徴量の計算式をＦとすると、次のように
表現できる。 Ｆ（Ａ₁₁k＊Ｋ₁₁k，Ａ₁₂k＊Ｋ₁₂k，・・・Ａijk＊Ｋijk）・・・〔６〕 ＝Ｆ（Ｉk、Ｐk) ・・・・・・・・・・・・・・〔７〕 ここで、ＫijまたはＫijkの値が０の場合は、特徴量の
計算のために対応している小区画画像Ａijkが使用され
ないことを示し、１の値を持つ場合は、前記図４
（ａ）、図４（ｂ）における塗りつぶされた小区画に該
当する。ＫijまたはＫijkは１以上の値も取り得る。図
４（ａ）、図４（ｂ）の特徴量は、計算対象である領域
３をＩとすると、 図４（ａ） Ｄ１＝Ｉ＊Ｐ１ ・・・・・・・・・・・〔８〕 図４（ｂ） Ｄ２＝Ｉ＊Ｐ２ ・・・・・・・・・・・

〔９〕 Ｐ₁，Ｐ₂，・・Ｐkは、ディジタルフィルタの一種であ
る。上式〔８〕，

〔９〕から明らかなように、同一画像
から特徴量の取り出し方Ｐ１，Ｐ２を変えることによっ
て異なる結果Ｄ１，Ｄ２を得るが、検出の精度や画像の
特徴に応じてＰkを選ぶことが可能である。図４（ｂ）
では、小区画の第１行の部分を全く使用していないが、
例えば、読取装置の特性によって小区画の第１行にノイ
ズが入り易い場合には、図４（ａ）より図４（ｂ）の小
区画画像により特徴量を求める方が影響が少ない。こう
して、読取装置の能力、特性や色の濃淡や影の付き方等
の画像の特徴に適した画像領域を切り出すだけでなく、
切り出された領域の小区画の利用方法を適宜に選択して
より細かな、あるいはより最適な特徴量比較を行うこと
が可能となる。これを認証へ応用した例を説明する。認
証を行う検証者として郵便局を選ぶ。郵便局にはＰ₁を
予め通知しておく。被験者は予めＤ₁を算出して被験者
と特定するＩＤをタグにして関連付け、郵便局に登録し
ておく。ＩＣカード等にＤ₁に関連付けられたＩＤを格
納し、カード表面に対象となる画像Ｉを印刷しておく。
郵便局では、カード所有者が提示したＩＣカード上の画
像Ｉを読み取り、Ｐ₁を用いて特徴量Ｄ₁′を計算する。
計算したＤ₁′とＩＣカードから所定の手続きを経て読
み出したＩＤから予め登録されたＤ₁を探し出して比較
し、画像識別を行う。銀行にはＰ₂を予め通知してお
き、Ｄ₂を銀行に登録しておくことにより、同様の検証
が可能である。このようにして、互いに知り得ない特徴
量を元にして複数の検証者を設定することが可能であ
る。図４（ｅ）は、小区画の別の実施例を示すものであ
る。このように、中抜きの円形を同心円と中心に向って
直線に区切った区画でもよい。

【００１４】図１１は、本発明における認証システムの
処理フローチャートである。システムが起動すると、先
ず初期化が行われる。内部メモリや、周辺装置の初期化
や設定状態の読み込み、データベースシステムとの接続
等がある（Ｓ４−１）。初期化が終了すると、カードリ
ーダーへカード１０が挿入されるのを待つ（Ｓ４−
２）。カードが挿入されると、カードに記録されている
個人情報を読み取る（Ｓ４−３）。次に、カードに印刷
されている顔画像をイメージスキャナで読み取る（Ｓ４
−４）。情報の読み取りが終了すると、次に個人情報を
基に個人情報の検索を行う（Ｓ４−５）。検索キーやデ
ータベースシステムに対する処理、検索方法等について
は、認証システムに応じて自由に選択してよい。検索し
た結果、該当者がなければ不正使用もしくはカードの破
損等とみなして、図１３のリジェクト処理を行い、カー
ドを排出する。排出後は、再びＳ４−２に戻り、カード
が挿入されるのを待つ。該当者があれば、登録データか
ら個人情報及び本発明で使用する特徴量を読み込む（Ｓ
４−７）。次に、カード挿入時に読み込んだ顔画像デー
タから特徴値を抽出する。抽出された特徴量と登録され
ていた特徴量を比較し、ずれ量を検出する（Ｓ４−
９）。ずれ量が同一範囲とみなせる場合には、本人の顔
画像が印刷されたカード（人物同定）であるとみなして
認証システムの主処理を行う（Ｓ４−１１）。主処理
は、クレジットカードとしての物品の販売やセキュリテ
ィシステムにおけるロックの解除等である。主処理が終
了するとカードは排出され、再びカード挿入待ちとな
る。

【００１５】図１２は、カードを作成して登録するカー
ド作成システム側の処理を示すフローチャートである。
図１２も、図１１と同様にシステムが起動すると、先ず
初期化が行われる。内部メモリや、周辺装置の初期化や
設定状態の読み込み、データベースシステムとの接続等
がある（Ｓ５−１）。初期化が終了すると、登録処理の
要求待ちとなる（Ｓ５−２）。操作者により登録処理が
要求されると、個人情報の読み取り、または入力が行わ
れる（Ｓ５−３）。予め個人情報が記入された用紙等を
スキャナ等で読み、ＯＣＲ処理を行ったり、または直接
操作者による情報入力が行われる。 次に、登録をした
い本人の顔画像を読み取るか、または入力する。ここで
も、ディジタルカメラ等による撮影を行って直接入力し
たり、通常の銀塩写真に撮影された写真画像をスキャナ
等で読み取ると言った処理を行う（Ｓ５−４）。顔画像
データを取り込んだならば、次に特徴量を抽出する。そ
して、個人情報の登録を行う。先に抽出された特徴量も
個人情報と関係付けられて共に登録されることになる。
次に、登録した個人情報を発行するカードに記憶させ、
その表面には顔画像を印刷する。ここまでの処理が、Ｓ
５−５〜８である。全ての処理が完了すると、カードを
発行する（Ｓ５−９）。

【００１６】図１４は、図１１で述べたずれ量が同一範
囲とみなせなかった場合の処理フローチャートである。
認証システムでは、操作者に情報を示すディスプレイ装
置を必ず持っており、判定結果を表示するようになって
いる。勿論、視覚的な表示でなくても音等でもよい。こ
こでは、ＰＣのディスプレイ装置上に判定結果として、
例えば『〇〇％の一致です。』のような表示を行ってカ
ードを排出する。これにより認証システムを操作する人
は、本人の顔画像ではない可能性もあることが判るの
で、顔画像と本人とを見比べて見るとか、何等かの別な
情報（例えば、運転免許証等）も利用して判定する等の
方法を採用することができる。

【００１７】図１５は、特徴量を抽出する処理のフロー
チャート、図１６は、基準点の決定のための処理フロー
チャート、図１７は、法線ベクトル値取得処理のフロー
チャート、図１８は、特徴量と登録値とのずれ量の検出
処理のフローチャートである。先ず、前処理を行ってか
ら法線ベクトルの抽出を行う。前処理は、基準点の決定
である。先に説明したように、背景の切り出し、顔領域
の取り出しを行って基準点を決定する。一方、法線ベク
トルの抽出は、図１７に示すような方法で行われる。顔
領域を小区画に区切り、区画毎の平面を決定し、傾き＝
法線ベクトル値を取得する。次に、抽出された特徴量と
登録されていた特徴量とのずれの検出は、図１８に示す
ような方法で行われる。対応する位置の法線ベクトルを
比較し、それぞれのずれ量＝余弦を計算し、平均余弦を
求める。得られた平均余弦に対して閾値処理を行う。

【００１８】図１１〜図１８に記載された各ステップを
プログラムに変換し、そのプログラムをＣＤ−ＲＯＭ等
の記録媒体に格納することにより、その記録媒体を搬送
した任意の場所において、本発明を実現することが可能
である。

【００１９】各請求項の発明毎の効果としては、入力
された画像情報を演算処理し、画像の持つ物体形状およ
び色の変化に伴う濃度値傾斜を表現する特徴量に置き換
え、前記特徴量からのずれ量を画像識別に利用すること
により、画像を識別するためのデータ量を小さくするこ
とができ、適応的な処理を行うことが可能になる。 入力画像情報から取り出す特徴量は、画像上の１つ以
上の基準点からの相対的な位置情報を保持した濃度値空
間内における法線ベクトルであり、該特徴量からのずれ
量は、識別する画像間の対応する相対的位置の持つ法線
ベクトル間の成す角度であることにより、画像内の物体
の３次元形状特性を少ない情報に置き換えることがで
き、また法線ベクトル化により特徴量のデータ量の圧縮
を図ることができる。結果的に画像画の相違を少ない情
報で表現することが可能である。 入力画像情報からの特徴量の取り出しにおいて、予め
画像情報における複数の特徴的な形状を判別し、判別さ
れた複数の形状間の位置関係から基準点を決定し、該基
準点を基に位置決定された特徴量を取り出すことによ
り、直接画像の持つ特徴的な形状を基準点にするのでは
ないので、入力方式や状態等による影響を小さくするこ
とができる。また、画像間の位置ずれの影響が小さくな
る。 入力画像情報からの特徴量の取り出しにおいて、基準
点を利用して元画像の全てまたはその一部の画像を切り
出し、そこから取り出した特徴量のずれを利用して画像
識別の判定を行う際にサンプリングされた特徴量の全て
またはその一部を必要に応じて利用することにより、画
像の一部を利用することで、使用しない部分を他の用途
（例えば、電子透かし）に利用することが可能となる。
また、計算能力が高い場合には、非常に密度の高い読み
取りと特徴量の抽出を行って高精度な比較同定処理がで
き、劣悪な能力しかない場合や高速化が望まれる場合に
は、特徴量の抽出を粗く行って、元々持っている特徴量
の一部を使用しての比較が可能となる。

【００２０】入力画像情報からの特徴量の取り出しに
おいて、切り出された画像から特徴量を算出するための
領域を指定し、および／または特徴量計算方法を指定し
て特徴量を求め、画像識別に利用することにより、同一
画像を用いて、検証者または検証機会毎に異なる特徴量
を用いた比較を行うことが可能となる。計算方法におけ
るパラメータの入力において、前回の結果を反映させ
て、より精度の高い検証比較を行う、計算量の少ない特
徴量算出を行うことが可能となった。また、検出システ
ムにより読み取られた画像の精度が特定の領域だけ劣化
するような場合には、そのような領域で予め除外して特
徴量を計算することが可能であるため、計算時間の短縮
だけでなく、システム劣化に対する信頼性を確保するこ
とが可能となった。 入力画像が、人物の顔を撮影したものであり、取り出
された特徴量と予め取り出して保持しておいた特徴量と
のずれ量を計算し、予め特徴量を取り出した画像と同一
であるか否かを判別することにより、顔画像に応用する
ことで指紋等と比較して日常的な撮影されることが多
く、オープンな情報を利用することができる。視覚的に
区別が可能であり、今後、カード等に印刷する情報とし
て顔画像を利用することが多くなることが考えられ、有
効活用ができる。 入力画像が、人物の顔を撮影したものであり、特徴量
の取り出しにおいて利用する基準点を決定するための特
徴的な形状が人物の目であることにより、顔画像を撮影
した場合、最も特徴的な部分は目領域であるので、目領
域の情報が全くないと言うことはない。また、目自体を
基準点として用いるわけではないため、目形状の情報に
一部欠落があっても基準点の誤差は小さくすることがで
きる。

【００２１】次に、本発明の実施態様を示す。 （ａ）背景抽出や肌色領域の抽出には、記憶色の色度値
を利用する。 （ｂ）同じく、ある領域が指定されると、その色を含む
近い色を背景や肌色とみなして抽出することもできる。 （ｃ）法線ベクトルを求める濃度値は、Ｂ単独だけでな
く、Ｒ，Ｇ，Ｂ全てを利用してもよいし、またＲやＧを
利用してもよい。 （ｄ）データベース上には、高解像度で取り込んだ法線
ベクトルデータを持っていても実際に比較するのは、そ
の一部でもよい。また、処理を行うＰＣの性能により対
応データを増やしたり、減らしたりすることにより、適
応的な処理が可能である。 （ｅ）顔の大きさの正規化や不要成分（例えば、髪）を
消去することより精度よく、また個人の識別に利用する
ことができる。 （ｆ）法線ベクトルの判定に使用しない画像領域はデー
タが変化しても影響しないので、別の情報を乗せておく
ことも可能である。 （ｇ）閾値による判定をファジイ理論やニューロ等を応
用して判定することも可能である。 （ｈ）非常に低いパフォーマンスのシステムでも確率的
な判定によって（例えば、本人の顔画像である確率は７
０％）、最終的には人間が判定するシステムにすること
ができ、柔軟な対応が可能になる。 （ｉ）全体の平均余弦での比較ではなく、比較領域を限
定したり重み付けをしたり、顔であればほぼ対称形であ
るという前提から、顔の中心線から対称な位置にある法
線ベクトルのずれ量の差を見てみる等の方法も採用する
ことができる。

【００２２】

【発明の効果】以上のように、本発明によれば、入出者
管理やクレジットカードによる支払い等のセキュリティ
システムにおいて、登録者本人か否かの同定にカード上
に印刷された顔画像を用いて行うことができ、その際
に、画像を識別するためのデータ量を小さくすることが
できる。また、画像内の物体の３次元形状特性を少ない
情報に置き換えることができ、また画像の相違を少ない
情報で表現でき、また直接画像の持つ特徴的な形状を基
準点にしていないため、入力方式や状態等による影響を
小さくでき、かつ画像間の位置ずれの影響を小さくでき
る。さらに、画像の一部を利用することにより、使用し
ない部分を他の用途（電子透かし等）に利用することが
可能である。さらに、計算能力が高い場合には、非常に
密度の高い読み取りと特徴量の抽出を行って、高精度な
比較同定処理を行うことができる一方、劣悪な能力しか
ない場合や高速化が望まれる場合には、特徴量の抽出を
粗く行って、元々持っている特徴量の一部を使用して比
較を行うことができる。

【図面の簡単な説明】

【図１】本発明の一実施例を示す個人情報カードおよび
認証システムの概略図である。

【図２】Ｂプレーンのヒストグラムの例を示す図、およ
びＧプレーンのヒストグラムの例を示す図である。

【図３】対象とする画像からの別な切り出しの説明図で
ある。

【図４】計算対象とする画像領域の指定および小区画の
例を示す図である。

【図５】本発明における法線ベクトルの説明図である。

【図６】本発明における画像の背景の抽出過程を示す図
である。

【図７】本発明における画像の肌色領域の抽出過程を示
す図である。

【図８】本発明による画像の基準点の検出過程を示す図
である。

【図９】平面での近似例を示す図である。

【図１０】平均余弦のヒストグラムを示す特性図であ
る。

【図１１】本発明の一実施例を示す認証システムの処理
フローチャートである。

【図１２】本発明の一実施例を示すカード作成システム
の処理フローチャートである。

【図１３】本発明におけるリジェクト処理のフローチャ
ートである。

【図１４】図１１におけるずれ量が同一範囲とみなせな
かった場合の処理フローチャートである。

【図１５】本発明における特徴量の抽出処理のフローチ
ャートである。

【図１６】本発明における前処理である基準点の決定処
理のフローチャートである。

【図１７】本発明における法線ベクトルの抽出処理のフ
ローチャートである。

【図１８】本発明における抽出された特徴量と登録され
た特徴量とのずれの検出処理のフローチャートである。

【符号の説明】

１…画像処理ＰＣ、２…データベース、３…顔写真、４
…特徴量、識別関数の情報を記憶したメモリ、１０…個
人情報格納カード、１１…認証システム。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 春日 正男 栃木県宇都宮市石井町2753番地 宇都宮大 学工学部情報工学科内 (72)発明者 吉川 博晴 東京都中央区勝どき３−12−１ フォアフ ロントタワー リコーシステム開発株式会 社内 (72)発明者 飯田 哲也 東京都中央区勝どき３−12−１ フォアフ ロントタワー リコーシステム開発株式会 社内

Claims (8)

【特許請求の範囲】
1. 【請求項１】 入力された画像情報を演算処理し、 画像の持つ物体形状および色の変化に伴う濃度値傾斜を
   表現する特徴量に置き換え、 前記特徴量からのずれ量を画像識別に利用することを特
   徴とする画像識別のための特徴量の利用方法。
2. 【請求項２】 前記入力画像情報から取り出す特徴量
   は、画像上の１つ以上の基準点からの相対的な位置情報
   を保持した濃度値空間内における法線ベクトルであり、 該特徴量からのずれ量は、識別する画像間の対応する相
   対的位置の持つ法線ベクトル間の成す角度であることを
   特徴とする請求項１に記載の画像識別のための特徴量の
   利用方法。
3. 【請求項３】 前記入力画像情報からの特徴量の取り出
   しにおいて、予め画像情報における複数の特徴的な形状
   を判別し、判別された複数の形状間の位置関係から基準
   点を決定し、該基準点を基に位置決定された特徴量を取
   り出すことを特徴とする請求項１に記載の画像識別のた
   めの特徴量の利用方法。
4. 【請求項４】 前記入力画像情報からの特徴量の取り出
   しにおいて、基準点を利用して元画像の全てまたはその
   一部の画像を切り出し、そこから取り出した特徴量のず
   れを利用して画像識別の判定を行う際にサンプリングさ
   れた特徴量の全てまたはその一部を必要に応じて利用す
   ることを特徴とする請求項１から３までのうちのいずれ
   か１つに記載の画像識別のための特徴量の利用方法。
5. 【請求項５】 前記入力画像情報からの特徴量の取り出
   しにおいて、切り出された画像から特徴量を算出するた
   めの領域を指定し、および／または特徴量計算方法を指
   定して特徴量を求め、画像識別に利用することを特徴と
   する請求項１から４までのうちのいずれか１つに記載の
   画像識別のための特徴量の利用方法。
6. 【請求項６】 前記入力画像が、人物の顔を撮影したも
   のであり、取り出された特徴量と予め取り出して保持し
   ておいた特徴量とのずれ量を計算し、予め特徴量を取り
   出した画像と同一であるか否かを判別することを特徴と
   する請求項１から５までのうちのいずれか１つに記載の
   画像識別のための特徴量の利用方法。
7. 【請求項７】 前記入力画像が、人物の顔を撮影したも
   のであり、特徴量の取り出しにおいて利用する基準点を
   決定するための特徴的な形状が人物の目であることを特
   徴とする請求項１から５までのうちのいずれか１つに記
   載の画像識別のための特徴量の利用方法。
8. 【請求項８】 請求項１ないし７のうちのいずれか１つ
   に記載された画像識別のための特徴量とその利用方法
   を、プログラムに変換して該プログラムを格納すること
   を特徴とする記録媒体。