JP6523925B2 - 生体情報を用いた認証装置及び認証方法 - Google Patents

Description

本発明は、生体を用いて個人を認証する認証システムに関し、特に、小型で利便性に優れ、高精度な認証技術に関する。

様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用するため優れた認証精度を実現し、かつ指紋認証に比べて偽造及び改ざんが困難であることによって、高度なセキュリティを実現できる。

近年では、携帯電話機、ノート型ＰＣ（Personal Computer）、スマートフォンやタブレット端末などの携帯端末、ロッカー、金庫、プリンターなどの機器に生体認証装置を搭載し、各機器のセキュリティを確保する事例が増加している。また、生体認証が適用される分野として、入退室管理、勤怠管理、コンピュータへのログインなどに加え、近年では決済などにも生体認証が利用されてきている。特に公共で利用される生体認証装置は、確実な個人認証を実現することが重要である。さらには、近年のタブレット型携帯端末の普及やウェアラブル・コンピューティングの潮流を鑑みると、上記のように利便性を担保しつつ、装置の小型化を実現することも重要な要件の一つとなる。また、利用者が認証装置を容易に利用できるように、操作性の高い認証装置を提供することも重要となる。

血管の形状に基づいて個人認証を行う認証装置における小型化に関する技術として、特許文献１がある。

また特許文献２には、装置に非接触状態でかざされた掌を、赤色を含む可視光源の反射画像をカラーカメラで撮影し、掌の静脈と掌紋とを抽出して認証を行う技術が開示されている。

特許公開２０１３−３３５５５号公報 国際公開第１３／１３６５５３号

小型で使い勝手が良く、そして高精度な個人認証装置を実現するためには、面積の狭いセンサより広範囲の生体情報を撮影すること、そして生体を提示する際の位置ずれを効果的に補正すること、あるいは位置ずれが生じている場合に正しい位置を利用者に誘導することが重要となる。

特許文献１に記載の生体認証装置では、装置小型化のためにセンサの開口部を指の幅より狭くしているが、指を接触して提示することから指の輪郭が撮影できず、よって指の位置ずれが生じている場合の位置補正が困難となり、さらにはその解決手段に関する言及がなかった。また指を装置の所定の位置に置く必要があるため広範囲の生体情報を撮影することができず、さらには指置き台を具備する必要があるため装置の小型化が困難であった。

特許文献２には、スマホやタブレットに標準装備されているカラーカメラと、環境光あるいは液晶画面の光とを利用して、掌静脈と掌紋とを同時に撮影して認証する技術が記載されている。この技術は、装置に接触することなく掌の生体情報を広く撮影できる利点を有する。しかしながら、利用者が適切な位置に生体を停止させるなどのガイダンスについて開示されていない。

そこで本発明では、小型で使い勝手が良い高精度な個人認証を実現するべく、生体を提示する際の自由度を高く保ちつつ、個人を特徴付ける情報を多分に有する生体特徴の情報を取得することが可能な個人認証装置を実現することを目的とする。

生体の特徴を用いて個人を認証する認証装置であって、生体が設置される設置領域と、前記設置領域に提示された生体に光を照射する光源と、前記生体を反射した前記光源からの光を撮影する撮像部と、前記撮像部によって撮像された画像を処理する画像処理部と、前記画像から前記生体の生体特徴を抽出する特徴抽出部と、前記生体特徴を保持する記憶部と、前記生体特徴の類似度を比較する照合部、を備え、前記撮像装置および前記複数光源は前記生体と向かい合う位置に配置され、前記複数光源は各々異なる波長を照射し、かつ前記撮像装置は複数の波長を撮影し、前記生体と前記撮像装置との距離を測定する手段を有し、前記生体の姿勢を判定して最適な提示位置を検出してその位置に誘導し、前記生体の姿勢に基づいて前記生体の特徴の補正を行うことを特徴とする認証装置である。

本発明によれば、指を用いた生体認証装置において、装置筺体が小型でありながらも広い範囲の生体を撮影でき、そこから多様な生体特徴を獲得することで高精度に認証を行うことができ、また指の位置ずれが生じた場合においても位置を補正あるいは検知することができ、小型で利便性に優れた認証精度の高い認証装置を提供することができる。

第１の実施の形態の生体認証システムの全体の構成を示す図である。 第１の実施の形態の生体認証システムの装置構成を説明する図である。 入力装置を用いて反射非接触認証を実施処理フローの一例である。 赤外光と緑光を同時発光して撮影した静脈や指紋や脂肪紋の画像例である。 カラーカメラのＲＧＢ各素子の分光感度特性の一例である。 指の提示位置の検知方法の説明図である。 指輪郭と指先の位置の検出方法の説明図である。 指の姿勢を検出する方法を示す説明図である。 指のローリング回転角を検出する方法を示す説明図である。 認証に適した指の位置や姿勢を利用者に誘導するガイダンス画面の一実施例である。 指の切り出し処理と立体補正処理の説明図である。 指位置の誘導を容易に行える認証装置の構成と操作方法の説明図である。 指をタップすることで位置を容易に誘導する認証装置の操作方法の説明図である。 第２の実施の形態である、赤外光源とひとつの赤外カメラで構成された反射非接触生体認証装置の一実施例である。 第２の実施の形態における処理フローの一例である。 第２の実施の形態における指のピッチング角度の検出方法の説明図である。 赤外光源の遮光領域によって被写体の距離が近いことを判定する認証装置構成の一実施例である。 第３の実施の形態の認証装置の装置構成を説明する図である。 第４の実施の形態の認証装置の装置構成を説明する図である。 第４の実施の形態における、手指を撮影するガイド方法の説明図である。 第４の実施の形態における、片手操作で手指を撮影するガイド方法の説明図である。 第４の実施の形態における、手指を撮影するガイド方法の別の一実施例の説明図である。 第５の実施の形態における認証装置の構成の説明図である。 第６の実施の形態における認証装置の構成の説明図である。 第６の実施の形態における認証装置の別の装置構成の説明図である。 第７の実施の形態における認証装置の構成の説明図である。

図１は、第１の実施の形態の指の血管を用いた生体認証システムの全体の構成を示す図である。尚、本発明はシステムとしてではなく、すべてまたは一部の構成を筐体に搭載した装置としての構成であってもよいことは言うまでも無い。装置は、認証処理を含めた個人認証装置としても良いし、認証処理は装置外部で行い、血管画像の取得に特化した血管画像取得装置、血管画像抽出装置としてもよい。また、後述のように端末としての実施形態であってもよい。

実施１の形態の認証システムは、入力装置２、認証処理部１０、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８を含む。

入力装置２は、その筐体に設置された光源３及び筐体内部に設置された撮像装置９を含む。なお、認証処理部１０の画像処理機能の部分、又は、この画像処理機能に画像入力部１８を含めて画像処理部という場合がある。いずれにしても、認証処理部１０は認証に関わる処理を実行する処理部の総称であり、画像から生体（指）とシステムとの距離又は生体（指）の姿勢を判断する判断部や、生体（指）との距離又は生体（指）の姿勢の修正指示を表示部等に行う状態制御部や、撮像した画像から不要情報（しわ、背景、等）を除去する不要情報除去部や、撮像した画像から特徴情報を抽出する特徴抽出部や、抽出した特徴情報と記憶装置に予め格納した登録データとを照合する照合部等を備える。

光源３は、例えば、ＬＥＤ（Light Emitting Diode）などの発光素子であり、入力装置２の上部に提示された指１に光を照射する。撮像装置９は、入力装置２に提示された指１の画像を撮影する。なお、指１は複数本であっても良い。
画像入力部１８は、入力装置２の撮像装置９で撮影された画像を取得し、取得した画像を認証処理部１０へ入力する。

認証処理部１０は、中央処理部（ＣＰＵ：Central Processing Unit）１１、メモリ１２及び種々のインターフェイス（ＩＦ）１３を含む。

ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することによって各種処理を行う。メモリ１２は、ＣＰＵによって実行されるプログラムを記憶する。また、メモリ１２は、画像入力部１８から入力された画像を一時的に記憶する。

インターフェイス１３は、認証処理部１０と外部の装置とを接続する。具体的には、インターフェイス１３は、入力装置２、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８などと接続する。

記憶装置１４は、利用者の登録データを予め記憶している。登録データは、利用者を照合するための情報であり、例えば、指静脈パターンの画像等である。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管（指静脈）を暗い影のパターンとして撮像した画像である。

表示部１５は、例えば、液晶ディスプレイであり、認証処理部１０から受信した情報を表示する出力装置である。

入力部１６は、例えば、キーボードであり、利用者から入力された情報を認証処理部１０に送信する。スピーカ１７は、認証処理部１０から受信した情報を、音響信号（例えば、音声）で発信する出力装置である。

ここで、表示部１５及びスピーカ１７は、この認証システムを利用するユーザに対して生体（指）とシステムとの距離や、生体（指）の姿勢の修正を指示するための装置（指示部）としての一例であり、本発明はこの装置に限定されるものではない。

また、上記で説明した各処理部は、ひとつのCPUで全ての処理を行っても良いし、処理部毎にCPUを用いても良い。

図２は、第１の実施の形態の生体認証システムの入力装置の構造を説明する図である。

入力装置２は、指の表面あるいは皮下に分布する生体特徴を撮影する。入力装置２は装置筺体２１で囲われ、その内部には２台の撮像装置９が配置されており、また複数の赤外光源３１および可視光源３２は撮像装置９の周囲に円環状に交互に配置され、開口部を介して指１を一様に照らすことができる。赤外光源３１は赤外光を、可視光源３２は可視光を照射する。可視光源３２の波長は、概ね450nmから570nm程度、すなわち青から緑の波長から任意に選択できる。また光源３１と光源３２はそれぞれ任意の強度で照射できるものとする。具体的な波長の一例として、光源３１は850nmの赤外光、光源３２は550nmの緑色の波長を選択する。なお、各波長の発光素子は一体となっていてもよい。開口部にはアクリル板２２がはめ込まれており、埃などが装置内部に侵入することを防いだり、装置内部の部材を物理的に保護したりする効果を有する。なお、光源３１および光源３２の照射する光がアクリル板２２に反射すると被写体が見えなくなるため、すべての光源を時系列的に点灯して被写体を連続撮影し、各画像をＨＤＲ(High dynamic range)技術により合成し、反射成分のない鮮明な被写体を獲得しても良い。なお、光源３１および光源３２は、撮像装置９の周囲ではなく、２つの撮像装置９の間に円環状ないしは格子状に配置しても良く、２つの撮像装置９を取り囲むように円環状ないしは格子状に配置しても良い。

撮像装置９はカラーカメラであり、可視光と赤外光の波長帯に感度を持つ複数の受光素子を有する。撮像装置９は、たとえば青（Ｂ）、緑（Ｇ）、赤（Ｒ）に受光感度を持つ３種類のＣＭＯＳまたはＣＣＤ素子を有し、これらがＢａｙｅｒ配列として知られる通り、格子状に配置されている。またＲＧＢの各素子は近赤外光にも感度を有する。各受光素子の感度は、たとえば青で450nm付近、緑で550nm付近、 赤で620nm付近に受光感度のピークを持つセンサから構成される。また撮影されるカラー画像はＲＧＢそれぞれの色プレーンが独立に獲得できるＲＧＢカラー画像形式であるとする。なお、撮像装置９は３波長を超える受光素子を有するマルチスペクトルカメラとしてもよいことは言うまでもない。また撮像装置９には光源３の出力するすべての光の波長を透過し、それ以外の帯域を遮断するバンドパスフィルタ３３が備えられており、不要な迷光を遮断して画質を高めている。本実施例においては550nmと850nmの波長の光のみを透過させる。

入力装置２は、複数の可視光を照射することで指先の皮膚内に存在する様々な生体特徴を撮影することができる。たとえば、指紋や表皮のしわ、関節のしわ、静脈、しみやほくろなどのメラニンの模様、血液の模様、皮下組織の脂肪小葉の模様（ここでは脂肪紋と呼ぶ）、などがある。

図３はステレオカメラで生体の姿勢を推定しながら認証を行う処理フローの一実施例である。

まず、システムが利用者に対して指の提示を促す（Ｓ４０１）。続いて赤外光と緑光を照射しながら２台のカラーカメラが同期を取りながら撮影を開始する（Ｓ４０２）。このとき、外光などによって輝度飽和が見られる場合は露光調整を実施し、輝度飽和が消失する露光時間に設定しても良い。続いて撮影された映像から被写体の距離・立体形状計測を実施する（Ｓ４０３）。そして認証装置から予め設定した距離の範囲内に被写体が存在するかを判定し（Ｓ４０４）、もし存在しない場合は生体が提示されていないものとみなし、初めの処理（Ｓ４０１）に戻って生体が提示されるまで待つ。一方、所定距離の範囲内に被写体がある場合は生体が提示されたものとみなし、手指の姿勢検知処理を実施する（Ｓ４０５）。次に、姿勢判定結果を用いて指の誘導処理を行う（Ｓ４０６）。このとき指の位置や角度が想定からずれていたり、指が不適切に曲げられていたりする場合は、適切な撮影状態となるよう画面表示やガイドＬＥＤ、ブザーなどを用いて利用者を誘導し、姿勢判定と誘導を反復して行う。一方、適切な姿勢と判定された場合は（Ｓ４０７）、指の姿勢情報に基づいて指画像の切り出し処理を実施する（Ｓ４０８）。指の姿勢情報には、指先や指の根元の位置が含まれており、認証の対象となる１本ないし複数本の指の位置情報を用いてそれぞれの画像を切り出す。そして、切り出された指画像に対して指の位置や向き、距離に応じて画像の拡大率の補正し、指の姿勢を正規化する（Ｓ４０９）。続いて、姿勢が正規化された指画像から生体特徴を抽出する（Ｓ４１０）。その後、生体特徴を照合し（Ｓ４１１）、登録データとの類似度を算出して、利用者が登録者であるかどうかを判定する（Ｓ４１２）。

ここで、各処理ブロックについて詳述する。

まず、被写体の距離・形状計測（Ｓ４０３）について詳述する。本実施例では、２台のカラーカメラを用いて、近赤外光と緑光の反射画像を撮影し、その視差を利用したステレオ視（ステレオマッチング）の技術を適用して距離計測を実施する。なお、２台のカメラ間の座標系を変換するための内部パラメータと外部パラメータは既知であるとする。またカメラ間の撮影の同期も取ることができるとする。このとき、一般的なステレオ視の手法を用いることで、左カメラの任意の画素と右カメラの任意の画素とを対応付け、被写体の距離を画素単位で獲得できる。両カメラ間の画素の対応付けの方法としては、部分画像同士のテンプレートマッチングやＳＩＦＴ（Scale-invariant Feature Transform）を用いた特徴点による対応付けなどを利用できる。これにより、両カメラで共通に撮影している被写体の距離情報あるいは形状情報を獲得でき、被写体の立体構造が把握できる。

一般的なステレオマッチングでは、強いエッジ情報が被写体に存在しない場合は、両カメラ間の画素の対応付けが困難となり、正確な距離情報を得ることが難しくなる。特に、指などの生体に対する赤外光の反射画像は一般的にエッジが弱いため対応点が取りにくい。そこで本実施例では、赤外光と緑光とを同時に発光してその反射光を撮影し、赤外光で撮影できる静脈などの情報と、緑光で撮影できる、エッジの細かい指紋や脂肪紋とを同時に獲得する。

図４は、赤外光と緑光を同時発光して撮影した静脈や指紋や脂肪紋の画像の一例である。赤外光の反射画像６１には指静脈６２が不鮮明に撮影され、表皮の指紋などはほとんど目立たず、エッジなどの特徴点は比較的少ない。一方、緑光の反射画像６３には指静脈６２はほぼ観察できないものの、指紋６４や関節しわ６５、脂肪紋６６が観測される。これらの特徴量は強いエッジを有しているため、ＳＩＦＴなどの一般的な特徴点抽出手法によって容易に特徴点を獲得することができ、ステレオマッチングにおける両画像の座標の対応付けの精度を向上することができる。

ただし、指紋、関節しわ、脂肪紋は局所的には他の位置のエッジに類似することが多い。そのため、一般的な画像処理で特徴点とその特徴量を求める際に、特徴量を抽出する局所画像の面積が小さい場合は他の特徴点の特徴量と識別ができず、誤った対応点を検出してしまう可能性がある。そのため、指紋や関節しわといった線特徴の場合は、線の末端や分岐点のみを抽出するようにするか、脂肪紋のような粒状の特徴の場合は、周囲の指紋あるいは脂肪紋の複数のエッジを含むようにやや広い範囲からその点の特徴量を抽出する。これにより、特徴点の誤対応の要因として一般的に知られる開口問題を抑制することが可能となる。

ここで、赤外光と緑光とを同時に照射することで赤外と緑の反射画像を同時に獲得する一実施例について述べる。

生体がかざされた状態で赤外光と緑光とを同時に照射すると、これらの光は生体の表面あるいは表面下で吸収あるいは反射され、その反射光が撮像装置に到達する。これにより、生体表面付近での反射光強度分布が可視化される。このとき、赤外光と緑光とが同時に照射されているため、カラーカメラのＲＧＢの各受光素子にその光強度が反映される。

図５は、カラーカメラのＲＧＢの各素子の分光感度特性の一例である。この図の通り、波長８５０ｎｍ付近より長波長の赤外光領域で、ＲＧＢの各素子はほとんど同じ感度分布となっている。一方、緑光に対しては、Ｇの素子の感度だけが高い。このとき、Ｒ、Ｇ、Ｂの３つの素子の受光量（それぞれIr,Ig,Ib）と、発光したＬＥＤの波長とを、以下の連立方程式により求める。

ただし、I550,I850はそれぞれ緑光と赤外光の単体での反射光成分、Wr(λ),Wg(λ),Wg(λ)はそれぞれ波長λにおけるＲ，Ｇ，Ｂ各素子の感度を意味する。これらの方程式より、緑光と赤外光の反射光成分（I550とI850）を求めることができる。ただし、未知数の数が２つに対して方程式の数が３つとなるが、２つの方程式で２つの未知数を求められることから、３つの方程式を２つ取り出す３通りの結果を平均することで、未知数の解に含まれる誤差を平準化する。

なお、別の実施例として、赤外光と緑光を交互に点灯してそれぞれの映像を用いる手法とすることも可能であるが、本方式に比べて撮影のフレームレートが半分に低下すると共に、両波長の画像に映る被写体の位置が僅かにずれる可能性がある。従って本実施例の方式は、赤外画像と脂肪紋とを同時に撮影できるため被写体を高速に撮影できると共に、被写体のフレーム間での位置ずれが生じないため高精度なステレオマッチングが実現できる。

なお、一般的に上述の手法で求めたステレオ視による距離計測の結果は画素単位で実施されるが、画像のノイズの影響により画素単位で不正確な結果を生じる場合もある。そのため、グラフカットやスペックルフィルタの適用により、空間的に平準化を行ってノイズ除去を実施しても良い。

続いてステップＳ４０５で実施される生体の姿勢検知の一実施例について述べる。手指の提示方法には様々な状況が想定される。たとえば、指を1本だけ装置にかざす、5本指を開いてかざす、指を曲げてかざす、などの手指の姿勢に関するものや、指の位置がカメラからずれていて適切に映っていないなどの提示位置に関するものがある。そこで上述の被写体の距離計測処理の結果を利用し、各指の指先や根元の位置、指の提示角度などの指の姿勢を推定し、これに基づいて適切な提示位置や姿勢となるように利用者を誘導したり、画像上で補正したりするための情報を獲得する。

図６は、指の提示位置の検知方法の一実施例である。まず、図６(a)に示す通り、距離画像１００をｘ軸に向けて積分して平均値を取った投影輝度分布１０１を求める。ただし、ここでは距離が近いほど距離画像の輝度値が高いとし、また画像の右方向をｘ軸方向、下方向をｙ軸方向、カメラから遠ざかる（紙面奥）方向をｚ軸方向と定義する。このとき、指が観測される部分の投影輝度分布は値が高く、指の隙間など被写体が存在しない部分の投影輝度分布は低い値となる。また、指は画像に複数本映ることがあるため、投影輝度の起伏は複数存在する。このとき、図６（ｂ）に示されるように投影輝度のピークを求めると、複数の指のｘ軸方向の座標を求めることができる。

複数の指の大まかな提示位置が把握できると、次にそれぞれの指を中心とした関心領域１０２を定義する。指の関心領域１０２は、図６（ｂ）のように投影輝度分布１０１に対して閾値を設定し、それを超えた極大点をｘ軸方向の中心とし、指の幅より十分広い任意の幅を有する領域である。また領域の高さは距離画像１００と同じ高さとする。本実施例では３本の指が同時に撮影されているため、３つの関心領域が設定される。

なお、撮影された複数本の指すべてを認証処理の対象とするのではなく、特定の指一本のみを処理対象することも可能である。図６（ｃ）は特定の指一本を検出する処理の一実施例である。レンズの歪みは画像中心で低減することや利用者が認証装置の真上に指をかざすことを考慮すると、画像の中心に映る指画像を処理対象とすることが最も合理的であると考えられる。そこで、画像の中心に近い指のみを取り出す。まず、ｘ軸への投影分布１０１に対し、画像の中心に近づくほど値の大きくなる重み係数１０３を乗算し、画像の中心に近い投影分布の値が高くなるように変換する。その後、投影分布の最大値１０４を求め、このｘ座標を画像中心に最も近い指のｘ軸方向の位置と定義する。これにより、画像の端に映る指ではなく画像の中心に映る指を検出することが可能となる。

次に、各関心領域に対して、指の輪郭検知を実施する。図７は、指の輪郭と指先を検出する一実施例の説明図である。指の輪郭検知は、各関心領域内の画素値を判別分析に基づく２値化処理あるいはグラフカットなどの手法に基づき指と背景とを分けてその境界を取り出しても良く、また強いエッジを連結あるいは追跡する方式により取り出しても良い。このとき、隣の指が関心領域に含まれてしまう可能性もあることから、画像中心に近いほどエッジの重みを高くして、エッジの総量を最大化しながらエッジの距離や曲率を最小化する連結方法を採用しても良い。これにより、誤って隣の指の輪郭を抽出することが少なくなり、認証エラーを低減する効果が得られる。この処理によって、図７に示すように指輪郭１２０を獲得することができる。

各関心領域の指輪郭１２０が検出できると、次に指の中心線１２１を求める。指の中心線１２１は、指輪郭１２０を直線近似して求めても良く、あるいは抽出された指輪郭の内側領域を指領域と定義し、指領域の各画素を要素とした主成分分析を実施し、得られた第一主成分の方向（主方向）として求めても良い。次に、指輪郭１２０と指の中心線１２１とを用いて指先１２２を求める。これば、指の中心線と指の輪郭線の交点を指先１２２と定義してもよく、もしくは、関心領域１０２のｙ軸に向けて投影分布を算出し、画像の下側から上側に向けて輝度分布の値を調べ、はじめに背景であると判別できる閾値を下回ったｙ座標を指先と決めても良い。この方法では指輪郭を検出しなくても指先の大まかな位置を判定できるため、処理を簡素化し、高速化することが可能となる。

以上の処理により、各指のｘ座標、ｙ座標、ｚ座標の提示位置を検出し、また指輪郭と指先の位置を抽出できた。

次に、指の距離・立体形状の計測結果を利用して、指の姿勢を検出する。指の姿勢は、指のｘ、ｙ、ｚ座標だけではなく、指の曲げや反り、そしてｘ、ｙ、ｚ軸の各軸を中心とした回転を含んでおり、これらの状態を検出することが必要となる。なお、指は２つの指関節によって３つの節に分けられるものとし、各節の中心軸を直線に近似した指の骨格構造を解析するものとする。また、図６（ａ）に示した座標系において、ｘ軸、ｙ軸、ｚ軸の各軸を中心とした回転を、それぞれピッチング、ローリング、ヨーイングと定義する。

図８は指の姿勢を検出する一実施例を示す。図８（ａ）に示す通り、この例では距離画像に対する関心領域１０２に２つの関節１５０を含む指１が撮影されており、指が軽く曲げられ、さらにローリングを含んでいる。提示された指の位置によっては、例示した図とは異なり関節が１つしか含まれない、あるいは関節がまったく含まれない場合も想定される。また指輪郭１２０の内側の領域は、明るいほどカメラに近い距離であるとする。まず、図８（ｂ）に示すように距離画像を偏微分して各座標の法線ベクトル１４０を計算する。指１は楕円の円筒に類似する形状であるため、法線が放射状に分布していることが分かる。次に、図８（ｃ）に示すように指の中心軸１２１が通る画素の法線ベクトルを調べる。この法線ベクトルを図８（ｄ）に示す。指先や指の中節部などの膨らみによって、法線ベクトルは様々な方向を向く。このとき、関節１５０は窪みであるため、関節をまたぐ位置の法線ベクトルはその方向が交差する方向を向く。そこで、これらの法線ベクトルと指の中心軸１２１の成す角を求め、その方向が反転した位置を関節の推定位置１５１として検出する。最後に、関節の推定位置１５１によって分断された各節の領域について、すべての法線ベクトルと最も直交する方向を主成分分析より求め、これを節の中心軸１５２とする。このような処理により、指の節ごとの骨格構造を獲得することができる。 また、指のピッチングは節の中心軸１５２に沿った指内部領域の距離値の分布を直線近似し、その傾き角として求めることができる。またヨーイングは指の中心軸１２１の傾きから得られる。

指のローリングについては、指の断面を楕円とみなし、観測できる部分の指表面の座標から楕円の長径と短径とを推定し、その長径方向とｘ軸との成す角度からローリング角を得ることができる。具体的には、まず図９（ａ）に示すように、ある注目画素１６３を通り、かつ、上記で求めた節の中心軸１５２と直交する指の断面１６０を定義すると、この断面と指表面とが成す曲線は楕円１６１となる。このとき、楕円１６１はすべて観測できている訳ではなく、映像として獲得できている複数の法線ベクトル１４０が分布している部分のみが観測されている。この部分に関しては、指の表面のｘ、ｙ、ｚの各座標は既知である。つまり、楕円１６１の一部分のみが観測されている状態となっている。この部分曲線に対し、たとえばHough変換を適用することで、楕円１６１の長径１６２と短径の長さと向きとを獲得することができる。そして注目画素１６３を指の節の中心軸１５２に沿う方向に様々な位置に変えることによって多数の長径１６２が得られるが、求めたすべての長径１６２とｘ軸との成す角の平均値を求めることで、該当する指の節の平均的なローリング角が推定できる。最終的に、すべての節の平均的なローリング角を推定して平均すれば、その指の平均的なローリング角を得ることができる。

上述した指の姿勢情報を獲得する別の実施例としては、指の姿勢情報が既知となる大量の指画像を教師データとし、Random forestなどの機械学習に基づいて、未知の距離画像から指の姿勢情報を推定しても良い。

以上より、各指のｘ、ｙ、ｚ軸の位置、指の曲げや反り、回転の状態を把握することができる。

また、各指のｘ、ｙ、ｚ軸の位置、指の曲げ角度、回転角度を各フレームごとに時系列に蓄積し、それらの情報から指の位置や姿勢に関わる移動速度あるいは移動加速度を算出し、これらを指の姿勢判定に用いることもできる。たとえば、指が高速に移動していることを検知した場合は映像のぶれが生じるため、利用者に指を高速に動かさないように誘導したり、あるいは指がほとんど移動していない場合には偶然指が撮影されている可能性もあるため、指を動かすように促すことで認証していることを明示的に意思表示させることもできる。また、カメラから遠ざかる動作をさせた場合にのみ撮影を許容することで、被写体のぶれの傾向が概ね一致した画質の映像を撮影することができる。これにより登録時と入力時との画質が統一化されるため認証精度を向上することができる。

次に、図３で示した手指を誘導するガイドの表示（Ｓ４０６）の一実施例について詳述する。上記のように指の提示位置や姿勢が検知できると、撮影されている指を適切な位置に誘導することが可能となる。

図１０は、認証に適した指の位置や姿勢を利用者に誘導するガイダンス画面の一実施例である。図１０（ａ）は、認証に適した位置に指輪郭ガイド１８０を表示すると共に、指の提示を促すガイドメッセージ１８１を表示した状態である。この画面には、撮像装置で撮影された映像がオーバーラップして表示されており、利用者が操作しやすいように、利用者が右に指を動かすと映像の指も右側に動くように画像の左右反転処理を施している。なお、ここで表示する画像は左右カメラの画像を合成した距離画像としても良く、左または右カメラのどちらかの赤外光反射画像もしくは緑光反射画像としても良い。また生体情報の秘匿のため、指領域を塗りつぶしても良い。

利用者はこの表示に合せて指をかざす。しかしながら、指輪郭の概形はあらゆる指の形状に適合するものではないため、必ずしもかざした指の輪郭の形状と一致させることができるとは限らない。さらには、２次元平面的な位置合わせだけではなく、カメラ距離についても適切な位置に合せる必要があるため、表示されている指輪郭ガイドに一致するように指をかざしたとしても適切な提示位置にかざされているとは限らない。さらには、複数の指の位置を合せることは容易ではなく、すべての指が認証に適した位置に来るとも限らない。そのため、ガイド内容を順次変えながら誘導する必要がある。

図１０（ｂ）は、３本指をかざしたときの一例を示す。まずは、上述の処理によって検出された３本の指のうち、中央に検出された指が画像の中心に位置するよう、左方向への指移動指示矢印１８２を表示する。これにより、指の全体的な位置合わせが実施できる。次に、図１０（ｃ）に示すように、中央の指が画像の中心に移動した状態であっても、左右の指が位置ずれを起こしているため、指を軽く閉じる旨を知らせると共に、各指の近くに右または左向きの指移動指示矢印１８２を表示して位置を誘導する。同様に、指が不自然に閉ざされている場合には、指を軽く開く旨の表示を行うこともできる。

また図１０（ｄ）は、指が右にずれていて、かつローテーションを起こし、かつカメラ位置から近く、かつ関節が曲がっている状態を示す。まず指を左に移動するための矢印を表示し、続いてカメラ距離を離すためのカメラ距離指示アイコン１８３を表示する。その後、指のローテーションを元に戻すための回転指示アイコン１８４を表示する。最後に、指の関節を真っ直ぐに伸ばす旨を指示する。もしこのとき指先が画面の下に行き過ぎている場合はその旨を表示しても良い。

このように、まずは指の上下左右の位置やカメラ距離を誘導し、その後にピッチングなどの回転や指の曲げ伸ばしを誘導すると、大まかな提示位置から細かい調整の順に誘導でき、誘導の効率を高めることが可能となる。

以上の通り、上述の姿勢検出結果に基づいて、指の提示位置と姿勢を正しい位置に誘導することができる。

なお、上述の実施例において適正な指の撮影本数は３本を想定したが、１本から５本までの間であれば撮影は実施してもよい。指の本数が多い場合は、最も右に位置する指と最も左に位置する指との平均位置が画像中央になるように誘導することで、かざした指全体を画角にバランス良く収められるように誘導できる。もしくは、現在かざされている指の本数をリアルタイムに検知し、各指の本数ごとに、上述の指輪郭ガイド１８０の表示本数を切り替えて適切な位置を示すこともできる。これらの処理により、複数指を効率良く提示でき、より高精度な複数指認証を実現できる。

次に、手指が適切な位置にあるかの判定ステップＳ４０７について述べる。認証に適した指の位置や姿勢は唯一に決定することはできるが、そこからのずれを許容しないと利用者は指の提示で時間が掛かり、利便性が低下する。そのため、撮影指の本数、指のｘ、ｙ、ｚの位置、回転、曲げ伸ばし状態、などのパラメータに、理想状態からのずれ量に許容範囲を設け、すべてが許容範囲に入った時点で適切な姿勢であると判定する。なお、撮影指の本数について、たとえば３本を適正値とした場合、登録時は３本が画像に含まれるまで誘導し続けてデータ量を確保するようにするが、認証時は１本だけでも許容して良い。これは、ただ１本の一致でも確率的に明らかに本人であると判定できるケースがあるからであり、このようにすることで認証時の指の姿勢の制約を緩和でき、利便性の高い操作が実現できる。

次に、指の切り出し処理ステップＳ４０８と立体補正処理ステップＳ４０９の一実施例について述べる。

上述の通り指のガイダンスを実施した場合でも、利用者の利便性を考慮すると理想的な位置での撮影は難しく、従って指の姿勢変動が含まれる。この場合、姿勢の変動に伴う生体特徴の変形により、登録時のパターンと異なった特徴量が得られる。これに対し、たとえばＳＩＦＴ特徴量などの変形にロバストな特徴量によって照合を実施するか、あるいは元画像の変形を補正するなどが必要となる。本実施例では、処理コストが小さいテンプレートマッチングによる照合を前提とし、指の姿勢情報（ここでは指先や関節、根元が手指の立体形状にラベリングされた状態を意味する）の検出結果を利用し、撮影されている２次元平面の生体画像を幾何学変換し、正規化した状態に補正する。

まず、図１１（ａ）に示すように距離画像１００に対して決定した関心領域１０２について、図１１（ｂ）に示すように赤外光反射画像および緑光反射画像２００について上述で求めた指先位置を基準とした指の切り出し画像２０１を生成する。これにより、指先が切り出し画像２０１の上辺に接するようになり、ｘ軸およびｙ軸の位置ずれが補正される。なお、上述で求めた指先位置、指輪郭、指の節ごとの中心軸などの姿勢情報は距離画像１００に対して求めたものであり、左右２つのカメラにより撮影された反射画像の座標系に対するずれが存在する。ここで、距離画像１００と反射画像２００との間の座標系のずれはキャリブレーション可能であるとし、座標変換によって求められるものとする。座標変換に誤差が生じる場合には、距離画像で求めた指輪郭を反射画像上で平行移動させながら指輪郭の存在する全画素のエッジ総量を計測し、指輪郭上のエッジ総量が最も多くなる場所に位置補正し直しても良い。また反射画像２００は左右いずれのカメラの画像でも良く、左右両方の画像を合成した画像でも良い。いずれの場合においても座標変換が可能であるものとする。

次に、図１１（ｃ）に示すように、切り出し画像２０１に映る指の輪郭に対し、距離画像で得た指の距離値が一定になるように画像のサイズを拡大または縮小する。拡大率の計算は、最適な距離値と現在の指の距離値との比率によって決定する。これにより、ｚ軸方向のずれがあっても、指のサイズを一定に保つことができる。このとき、指の部分領域の距離値が一定になるよう、画像を部分的に拡大または縮小することで、指のピッチング角度による距離の不均一性も解消できる。

そして、図１１（ｄ）に示すように、指の節ごとの中心軸１５２が画像の上方を向くように回転補正する。中心軸１５２は指の節ごとに傾きが異なる場合があるため、節ごとの中心軸の平均値を求めて、それが画像の上方を向くように回転補正しても良い。

最後に、図１１（ｅ）に示すように、上述で求めた指の断面の楕円１６１とその長径１６２が画像のｘ軸に平行になる向きに2次元平面の座標を投影変換する。ここでは投影変換後のｘ軸をｘ’軸と図示するが、以降はこれもｘ軸と呼称する。これにより、ローリングによって指の2次元画像の見え方が変形しても、指の腹側が正面を向いた投影像に変換されるため、変形のない映像が得られる。

以上の処理により、指のｘ、ｙ、ｚ軸の座標と、回転方向の補正が実施できる。なお、ここで示した補正は、後述の特徴抽出処理の後に実施しても同様の効果が得られる。

最後に、特徴抽出処理（Ｓ４１０）、照合処理（Ｓ４１１）、そして判定処理（Ｓ４１２）について述べる。特徴抽出処理は、赤外反射画像と緑反射画像の2枚についてそれぞれ特徴量を抽出する。赤外反射画像には静脈などの情報が、また緑反射画像には指紋、関節しわ、脂肪紋などが確認されるため、一般的な静脈パターンの抽出処理やテクスチャパターンの抽出処理を実施して、生体特徴を獲得する。特に線パターンを鮮鋭化するために、アンシャープマスク処理を前処理として実施しても良い。なお、映像は左右のカメラの２つがあるが、片方のカメラの映像だけを用いても良く、両方の映像を用いて別途特徴抽出を実施し、最後に得られたパターンを合成しても良く、また合成せずにそれぞれ独立したパターンとして活用しても良い。いずれにしても、両方の映像は視差を持ち、異なった情報として利用できるため複数のカメラの映像を利用することで精度向上が見込まれる。照合処理に関しては、抽出されたパターンを一般的なテンプレートマッチングあるいは特徴点マッチングの手法により類似度を判定する。そして、得られた類似度が事前に決定した閾値を下回った場合に認証成功となる。なお、赤外画像や緑画像、複数のカメラの映像を用いることで複数の生体特徴が得られるが、すべてを照合したときの平均的な類似度や、類似度の高い複数の結果の平均的な類似度により、認証の判定を実施しても良い。複数の類似度を算出した方がデータの冗長性が高まり、精度向上に寄与する。

次に、登録時の誘導方法と認証時の誘導方法についての差異について詳述する。
登録時においては、できるだけ安定した状態で生体を撮影することが望ましい。そのため、生体の撮影状態が良くなるように、理想的な提示位置まで誘導を続けた上で登録データを作成する。たとえば、撮影する生体ができるだけ中心に映ること、できるだけ広い範囲を撮影すること、指の回転が少なくカメラに正対していること、設定したカメラの被写界深度に含まれること、指が曲がっていないこと、などを満たすように指を誘導する。

しかしながら、中空で指の位置を厳密に合せることは難しく、利用者によっては理想的な提示位置に静止することができない場合も想定され、利便性が劣化する。そこで、誘導はある一定の余裕を持たせることが必要である。

また、上述の通り、撮影した画像を幾何学的に補正した場合であっても、実際に手指の位置が変化したときに同様な画質の映像が撮影できるとは限らない。そのため、様々な指の姿勢となる複数枚の登録データを獲得し、照合の際にはすべての登録データとの照合を行って複数の類似度を獲得し、これらに基づいて最終的な認証判定を実施する。この方法は、登録データが様々な指姿勢のバリエーションを有するため、姿勢の変動にロバストな認証を行うために有効である。このとき、登録時の指の誘導の際に、指の誘導の基準が同じであると常に一定の指姿勢の撮影だけ実施されるため、指姿勢にバリエーションが含まれにくくなる。

そこで、はじめの一枚は、上述の通り最も画質が高まる位置に撮影されるように誘導し、次にカメラからやや近い、拡大率の高い位置で撮影する。最後に、指がカメラから遠ざかった位置で撮影する。この3枚を登録すると、認証時にかざした指が標準位置に対してカメラから近づいたり遠ざかったりする変動が生じても、いずれの1枚がより類似度が高まる。その結果、拡大率の変動にロバストな照合を実現することができる。

同様に、標準位置に誘導する場合と、標準位置より左に誘導する場合と、標準位置より右に誘導する場合との3通りを撮影するなど、指の姿勢について様々な組合せを取ることができることはいうまでもない。カメラの特性や装置の形状に応じて生体の変動がより大きくなる指姿勢が考えられるため、変動の大きい指の姿勢に誘導するとより効果的である。このような誘導により、指の姿勢変化にロバストな認証を実現できる。

一方、認証時においては、厳密な位置合わせを要求することで操作時間が長くなったり位置合わせの煩わしさが発生したりすることで利便性が低下する。そのため、登録時よりも誘導ずれの許容量を大きく取り、指の姿勢情報に基づいて補正を行うことでその位置ずれを吸収する。このとき、リアルタイムに画像を撮影して照合が実施できるシステム構成であれば、手をかざしている間のどこかで登録データに近い指の姿勢となれば認証が成功するため、比較的位置ずれを許容しても正しく認証できる。そのため、手指が適切な位置にない場合であっても認証処理は実施し、画面に位置がずれている旨を表示するように処理フローを変更しても良い。

以上により、登録時は品質の高い生体を撮影でき、認証時は利便性の高い操作で認証処理を実施することが可能となる。

図１２は、指の位置を容易に誘導する認証装置の構成と操作方法の一実施例を示す図である。非接触撮影を実施するにおいては、空中に指をかざすため、カメラがどの辺りを撮影しているかは画面を確認しないと分かりにくく、また適切なカメラからの距離も把握しにくい。そこで、図１２（ａ）に示すように、装置筺体２１に指先ガイドマーク２２０および指根元ガイドマーク２２１を設置する。ガイドマークは三角形で示されており、三角形の頂点の向きが指先側を示している。これにより、装置と指との向きの関係性を示すことができる。なお、これらの印は指の向きと方向とが示されれば良く、形状は三角形に限定されるものではない。

図１２（ｂ）に示すように、利用者は指先ガイドマーク２２０に指１の指先を置き、２つの指根元ガイドマーク２２１の間に入るように指根元を置く。次に図１２（ｃ）に示されるように指を装置から遠ざける。このように、最初に指を装置筺体２１に接触させ、そこから指を遠ざける操作を行うと、カメラの光軸中心やカメラからの最適距離を通過する可能性が高まり、より品質の高い生体の撮影が実現できる。なお、本実施例ではガイドマークを筺体の中心に配置しているが、カメラの位置や撮影する指本数などに応じて、指が適切な撮影位置に移動しやすいように配置しても良い。また、ガイドマークは装置筺体２１に指の形に合せて形成された窪みとし、その場所に指が置かれるようにしても良い。

装置にガイドマークが配置された非接触認証装置の処理フローの一例を以下に示す。まず、システムが「装置に指を乗せてください」と利用者にガイダンスを行う。そして、光源を点灯し、画像を連続撮影しながら生体の提示を待つ。もし生体が指置き台に置かれると、光源の強い反射光により画像が飽和する。画像が輝度飽和するかどうかは光源と指との距離によって決まるため、指を装置筺体２１に載せた時の平均輝度値を事前に調べておき、指が置かれたかどうかを判定する閾値処理を定めて置くことで指の設置を判定することができる。利用者がガイドマークに合せて指を置くと、指の設置判定処理によって指が置かれたと判定される。

続いてシステムは「指を遠ざけてください」と利用者にガイダンスを行う。これに応じて、図１２（ｃ）に示すように利用者が指を装置から遠ざけると、徐々に反射光の強度が小さくなり、指と装置とが離れたことが分かる。そして、上述の距離計測処理を実施し、指が適切な距離にあることが検知できると、その時の画像から生体の特徴量を抽出する。登録処理であればその生体特徴を登録し、認証処理であればその生体特徴を入力として登録データとの照合を行う。

本実施例によると、指のガイドマークに指を置くことで、指が画角から大きく外れたり、カメラからの適切な撮影距離から大きく外れたりすることなく生体を撮影できるため、利用者が指を空中に静止させず、一連の操作の中で最適な撮影画像を決定できるという効果が得られる。

なお、上述した登録時の誘導方法の実施例で示した通り、登録データを複数獲得する際の登録試行回数に応じて最適な撮影距離の閾値を変化させ、登録データには距離の異なる複数の登録データが含まれるようにしても良い。これにより、認証時に指の距離が変化しても登録データとの類似性を維持することが可能となる。

指の位置を容易に誘導する認証装置の別の操作方法として、装置をタッピングする方法がある。上述の指を遠ざける操作は、装置を固定するか一方の手で保持した状態でなければ実施することは難しい。そこで、指を遠ざける操作の代わりに、装置を片手で保持し、同じ手の指先を所定の位置に設置した状態から、一定の距離を遠ざけてまた元に戻すといった、上下方向のタッピングを行う。これにより、片手の操作だけで最適なカメラ距離となる生体画像を撮影できる。

図１３（ａ）に示すように、まず利用者は装置筺体２１を握り、たとえば人差し指２４０を指先のガイドマークに置く。システムから指をタップする旨の指示が出ると、利用者はタップを開始する。タップ時は指の向きが図１３（ｂ）に示されるように斜めの提示となるため、撮影された指画像もピッチングが生じた状態で撮影される。しかし指全体が画像の画角に収まる適切な角度であり、かつ登録データが同様な姿勢で保存されているのであれば認証に利用しても差し支えない。そこで、指を上下する操作を何回か繰り返し、指が画角に収まるタイミングで数枚の撮影を実施する。そしてこれらの画像から生体の特徴データを生成して登録を行う。認証時も同様の操作を行うと、登録時の状態に近い指姿勢となった瞬間に登録データとの類似性が高まって認証が成功する。

このように、タッピング操作を行うことで、指の提示位置が一定の範囲に収められるため登録データとの再現性が高くなる上に、空中で指の位置合わせを実施することなく容易に空中の指を撮影でき、さらに片手で装置を持ちながら認証を実施することが可能となるため、装置の利便性が向上する。

図１４は、第２の実施の形態である、赤外光を発光する光源とひとつの赤外カメラで構成された反射非接触生体認証装置の一実施例である。

撮像装置９の周囲に赤外光源３１が複数個並べられており、赤外光源３１が発光する波長付近のみの光を通過させるバンドパスフィルタ３３が撮像装置９のレンズ部に搭載されている。撮像装置９は赤外カメラであり、指１で反射した光を撮影することができる。

図１５は当該実施例における処理フローの一実施例である。これは上述した実施例１の図３に示した処理フローとほぼ同様である。ただし、上述との差異は、２台のカラーカメラではなく１台の赤外カメラを用いる点、ステレオ視による距離計測を実施しない点、複数波長ではなく単一波長の画像を用いる点、である。以下、処理フローの概要を説明する。

まず、システムが利用者に対して指の提示を促す（Ｓ５０１）。続いて赤外光を照射しながら1台の赤外カメラで撮影を開始する（Ｓ５０２）。このとき外光が強い場合は露光調整も実施する。続いて撮影された映像から被写体の距離・立体形状推定を実施する（Ｓ５０３）。もし認証装置から予め設定した距離の範囲内に被写体が存在するかを判定し（Ｓ５０４）、存在しない場合は生体が提示されていないものとみなし、生体が提示されるまで待つ。一方、所定距離の範囲内に被写体がある場合は生体が提示されたものとみなし、手指の姿勢検知処理を実施する（Ｓ５０５）。次に、姿勢判定結果を用いて指の誘導処理を行う（Ｓ５０６）。このとき指の位置や角度が想定からずれていたり、指が不適切に曲げられていたりする場合は、適切な撮影状態となるよう画面表示やガイドＬＥＤ、ブザーなどを用いて利用者を誘導し、姿勢判定と誘導を反復して行う。一方、適切な姿勢と判定された場合は（Ｓ５０７）、指の姿勢情報に基づいて指画像の切り出し処理を実施する（Ｓ５０８）。指の姿勢情報には、指先や指の根元の位置が含まれており、認証の対象となる１本ないし複数本の指の位置情報を用いてそれぞれの画像を切り出す。そして、切り出された指画像に対して指の位置や向き、距離に応じて画像の拡大率の補正し、指の姿勢を正規化する（Ｓ５０９）。続いて、姿勢が正規化された指画像から生体特徴を抽出する（Ｓ５１０）。その後、生体特徴を照合し（Ｓ５１１）、登録データとの類似度を算出して、利用者が登録者であるかどうかを判定する（Ｓ５１２）。

ここで、本実施例である図１５と、上述の第一の実施例である図３との差異が存在する処理ブロックについて詳述する。

まず、赤外光の照射とカメラでの撮影処理（Ｓ５０２）について述べる。生体認証装置を実運用する場面において、撮影装置の周囲には様々な物体が存在する。そのため、赤外反射画像の撮影においては、手指以外の不要な被写体が撮影されることも多い。不要な被写体は手指を正しく検出するためのノイズとなることがあるため、より高精度な認証を行うためには不要な被写体を除去する必要がある。その一方法としては図１４で示した通り、光源３１の波長のみを透過するバンドパスフィルタ３３を搭載する方法がある。一方、環境に同じ波長域の反射光が存在する場合はその成分を除去することはできない。そこで本実施例では、光源の点灯画像と消灯画像との差分により背景除去を行う。

まず光源３１を消灯した画像を撮影する。そしてその直後に光源３１を点灯した画像を撮影する。そして、点灯時に撮影した画像から消灯時に撮影した画像を差し引くと、かざした手指の映像は残されたまま、光源３１とは無関係に明るく映る不要な被写体の成分を除去することができる。これにより、外光の影響によらず手指の切り出しを正確に実施できる。また、もし指表面に外光成分が照射されている場合は差分の計算によりキャンセルされるため、後述する姿勢検知処理の外光に起因する誤作動も低減することができる。

また、光源を消灯した画像が極めて明るい場合には、外光が強く照射されていることが分かる。このとき、その明るさに応じて光源を強く照射すると共にカメラの露光時間を短く制御することで、強い外光が照射されている環境においても生体の計測が実現できる。露光を調整する場合は、後述する手指の姿勢検知処理などにおいて処理に必要な最適パラメータが変化するため、各処理においてそれぞれの露光時間に対する最適なパラメータを予め求めておく。

このように、本実施例では光源の点滅による背景差分により不要な背景を除去し、指の検出精度を向上できる。ただしこの手法は撮影のためのフレームレートが半減するため、フレームレートが十分に高くない場合はバンドパスフィルタ３３による不要背景の除去を実施するか、指と背景とが分離済みの赤外反射画像を事前に大量に獲得しておき、Random forestなどの機械学習によって指と背景とを分離する手法を適用することもできる。

次に、被写体の距離・立体形状の計測（Ｓ５０３）について詳述する。本実施例は、上述の実施例のようにステレオ視による距離計測が実施できないため、1台の赤外カメラで距離計測を実施する必要がある。

1台の赤外カメラで距離推定を行う方法として、照射した反射光の光強度に関する逆二乗の法則を用いるものがある。光源はカメラの周辺に設置されているため概ね点光源であるとみなせることから、指に向けて放出される光は球体状に広がっていく。球の表面積は球の半径の2乗に比例して大きくなるため、単位面積当たりの光のエネルギーは半径の2乗に反比例する。そのため、被写体の明るさは、被写体の反射率と吸収率、そして被写体とカメラとの距離によって決まる。

照射する光量をＩｉ、皮膚での反射・吸収係数をμ、被写体までの距離をＤ、受光する光量をＩｏとする。また、指表面の反射光はランバート反射であり、反射光が等方的に拡散すると仮定すれば、以下の近似式が成立する。

ここで、照射光強度Ｉｉや皮膚での平均的な反射強度μは事前に調査できるため、距離Ｄについて解くことで画像の各画素の距離を把握することができる。ただし、照射光量と受光光量は画像の輝度値として検出するが、直接Ｉｉを輝度値として計測すると一般的には輝度が飽和するため、減衰率が既知となるフィルタで照射光量Ｉｉを物理的に減衰させた状態でその映像を撮影し、減衰させた分だけ光量Ｉｉを増加させるなどのキャリブレーションを実施しておく。もしくは、装置内に照射光Ｉｉを直接反射するミラーなどを搭載し、上述の減衰率が既知となるフィルタを介して照射光Ｉｉを直接観測できるように構成しても良い。この手法により、かざされた手指の輝度値から距離画像を獲得することができる。

また、距離が正確に測定できるカメラと本実施例の撮像装置とを併設して指を撮影し、距離の正解ラベルを各画素に割り当てた学習データを大量に収集し、たとえばRandom Forestなどの機械学習に基づいて、赤外反射画像から指の距離画像を求めても良い。

ただし、実際には外光などの影響で想定より明るい映像が撮影される可能性もある。その場合は距離Ｄの絶対値に誤差が含まれる。そこで、画像の任意の位置にある被写体の距離を１とした、相対的な距離分布を求めることで、被写体の立体構造を把握することも可能である。また、事前に画像の輝度値と距離値の大まかな変換表を作成しておき、前記任意の位置にある被写体の画素における輝度値からこの距離値を読み取り、画像全体の相対距離値にこの距離値を乗算することで、大まかな距離画像を得ることもできる。

次に、手指の姿勢検知（Ｓ５０５）について、実施例１との差異を述べる。ここでは、上述した距離画像を獲得する方法を用いて実施例１と同様の処理を実施しても良いが、さらに簡便な手法として、赤外反射画像を距離画像に変換せずに手指の姿勢検知を行う実施例を示す。

まず、赤外反射画像を距離画像とみなし、実施例１の図６で示した手法により関心領域１０２を獲得しておく。ただし反射画像の輝度値が高いほど距離が近いとみなす。

まず指のｘ軸方向の位置検出に関しては、実施例１の図６で示した通り、赤外反射画像を距離画像とみなして関心領域を決定する際に得られるｘ軸方向の座標より獲得できる。また指のｙ軸方向の指先の位置検出に関しては、図７で示した同様の方法で獲得できる。またカメラとの距離（ｚ軸の位置検出）に関しては、反射画像の明るさと光源距離との間には逆二乗の法則が成立し、両者には相関があることから、ある光量値を発光させたときの指の平均輝度とカメラ距離との関係を事前に調べておくことで、平均輝度からカメラ距離への変換表を作成することができる。そして入力された指の輪郭検出を実施した際に指内部の平均輝度を求め、前記変換表を用いてこの平均輝度値からカメラ距離を算出する。これにより、輝度値が明るすぎる場合は指がカメラに近づきすぎており、逆に輝度値が暗すぎる場合は指がカメラから離れすぎていることが検知できる。外光の影響でこの値は変化するが、光源消灯時の画像を撮影しておくことで外光による輝度を把握しておけば、その値を差し引くことで外光の影響を緩和できる。

ヨーイングの検出に関しては、図７で示される上述の手法と同様に、指の中心軸１２１を求めてこの軸が画像ｙ軸に平行となるように回転補正を施す。

またピッチングの検出に関しては、図１６に検出方法の一実施例を示す。この例では、指先がカメラから遠ざかる方向にピッチング回転を起こしているものとする。まず、赤外反射画像に映る指の切り出し画像３００に対しｙ軸に向けて平均輝度投影分布３０１を算出する。ここでは座標yの平均輝度投影分布をIave(y)と表記する。指先がカメラから遠いため、Iave(y)は指先付近の値が低い。なお、反射画像は指の細かい凹凸や血管の有無に起因する輝度変化を伴うため、Iave(y)にも細かい起伏が観測される。次に、以下の式７に示される相対距離Dr(y)を計算する。

ただし、ycは指の切り出し画像３００のｙ軸の画像中心座標、Waは任意の比例係数、Wbは後述のキャリブレーション係数、Sqrt{x}はxの平方根である。また光源から座標yまでの斜め方向に進む距離に比例する値をD'(y)、光源の高さから座標ｙまでの鉛直方向の距離に比例する値をD(y)とする（図１６（ｂ）参照）。そして相対距離Dr(y)は座標ycの鉛直距離をゼロと定義したときの各座標ｙにおける相対距離である。

Iave(y) が小さい値となる座標ｙの距離D(y)あるいはD'は遠いと推定される。ただし図１６（ｂ）に示されるように、仮にカメラ前に平面板を水平に置くと、平面板の平均輝度投影分布３０２より計算されたD(y)はyによらず一定となるはずだが、光源から遠いy座標では輝度値が暗くなるため、D'(y)は変化する。ここではｙ座標によって距離が変化すると不便であるため、距離D'(y)を式６によって距離D(y)に変換する。式６にはパラメータWbが含まれるが、これは水平な平面板をカメラ前にかざしたときにyによらずD'(y)が一定値となるように事前に決定しておく。

図１６（ｃ）は計算の流れを示している。まず、Iave(y)から式５に示されるようにD'(y)を得る(図に縦軸は記載せず)。次にこれを式６、式７を用いてDr(y)に変換する。そして、得られたDr(y)を最小二乗法により直線近似し、指の推定ピッチ直線３０３を獲得するする。最後にこの直線の傾きを求める。このときの傾きが推定されたピッチ角となり、この角度が一定値よりも大きい場合にはピッチのずれを警告したり、実施例１で詳述したピッチング補正の方法により赤外反射画像を正規化したりする。

最後にローリングに関しては、指の関節の向きや輪郭の形状によりローリングの有無やその回転方向を推定する。具体的には、回転角が既知である指の回転画像を大量に収集し、これをたとえば畳み込みニューラルネットによって学習した上で未知画像のローリング角を推定する。その結果を用いて、回転角度が一定値を超える場合に警告を発したり、実施例１で詳述したローリング補正の方法により赤外反射画像を正規化したりする。

以上の方法により、被写体の距離画像を獲得することなく、指の姿勢を推定し、標準的な姿勢からのずれ量を求めることができ、その結果を利用して利用者にガイダンスを行ったりパターンを補正したりすることが可能となる。

図１７は赤外光源の遮光領域によって被写体の距離が近いことを判定する認証装置構成の一実施例である。入力装置２に搭載されている撮像装置９の上部に、その外周を囲うように遮光板３２０が配置されている。遮光板３２０は、円周上に配置されている赤外光源３１の内側を隠すように設置され、赤外光の一部を遮光する。このとき、指１が入力装置２に接近すると、図示されるように光が届かない領域３２１が発生する。このとき画像を観測すると、撮像装置９の中心付近が暗く、その周囲が明るい画像が撮影される。よって、画像中央を中心とした半径の異なる2重の円を定義して、内側の円と、内側の円周と外側の円周とで囲まれる領域との平均輝度を比較する手法などによって、画像の中心が暗くてその周辺が明るい状況を検出する。この状況が検出された場合は指が近すぎると判定でき、利用者に警告を行う。なお、中央の暗い領域の面積あるいは半径を計測することで、指とカメラとの距離を推定することも可能である。

次に、実施例２における特徴抽出処理（Ｓ５１０）について詳述する。本実施例では赤外波長のみの反射画像が得られるため、上述の実施例で示したような複数波長に対する画像処理を実施することができない。そのため、近赤外の反射画像に映りやすい、静脈パターンや関節しわパターン、指輪郭形状を特徴量として抽出する。まず、静脈を抽出するために、指の長手方向の線をより強く強調し、かつノイズを除去する、アンシャープマスクを適用する。これによって指の長手方向に走行する傾向が強い静脈パターンが強調され、さらにその他の情報がぼかされる。この画像から既存技術として一般的に利用される指静脈パターンの抽出処理を施すことで、赤外反射画像から効率良く、かつ安定した指静脈パターンを抽出できる。次に、関節しわパターンが強調されるように、指の長手方向と直交する方向の線をより強く強調し、かつノイズを除去するアンシャープマスクを適用する。そして同様にパターンを抽出すると、特に関節しわの線パターンが抽出される。その線パターンの形状や、第一と第二関節の間の距離には個人性があるため、認証情報として活用できる。また指輪郭情報は上述の実施例で示した指輪郭検出処理によって同様に獲得できる。この処理により、静脈、関節しわ、指輪郭の複数のモダリティの生体特徴を獲得できる。

これらの情報を獲得して複数の生体パターンとして登録し、それぞれを独立に照合を行うか、あるいはそれぞれの位置関係に制約を持たせながら照合を行い、最後に各モーダルの照合結果を一般的なマルチモーダル生体認証の技術により融合して最終的な認証結果を得る。これにより、単一波長の画像を用いながらも高精度な認証を実現できる。

また、被写体の距離計測に関する別の実施例として、被写体を連続的に撮影しながら被写体の立体構造を計測する手法を実施しても良い。まず、撮影を開始する際にシステムが利用者に手指を入力装置に向けていろいろな向きに動かすようにガイダンスを行い、その映像を連続的に撮影する。撮影した映像の中で被写体がどのように移動したかをテンプレートマッチングやSIFTをはじめとする特徴点マッチングにより検出を行うと、その被写体の3次元形状を計測することができる。これは一般的に、Structure from motion (SfM) と呼ばれる技術であり、これにより被写体表面の立体構造を獲得できる。ただし、手指が曲げ伸ばしされた場合には、非剛体に対応した特徴点照合を実施するなどの対応が必要となる。

このように、生体を移動させる方法は、ある特定の姿勢では観察できない背面の生体特徴であっても、移動によって撮影できるようになるとその移動量と3次元構造の情報より立体的な生体特徴が獲得できるため、生体の移動に強い照合を実現できる。

図１８は、第三の実施の形態である、可視光を発光する光源とひとつのカラーカメラとで構成された反射非接触生体認証装置の一実施例である。

カラーカメラ３４０の周囲に可視光源３４１が複数個並べられており、赤外光を遮断するローパスフィルタ３４２がカメラのレンズに搭載されている。可視光源３４１の波長はたとえば青で450nm付近、緑で550nm付近、赤で620nm付近に発光強度のピークを持ち、各波長の発光強度を個別に調整できる。

認証処理手順は上述の実施例２と同様である。実施例２との差異としては、赤外カメラではなくカラーカメラを用いる点、撮影される画像が単一波長の赤外反射画像ではなく複数波長の可視反射画像を用いる点、である。ここでは、本実施例に特有の処理について詳述する。

本実施例では、前述の実施例とは異なり、生体をRGBのカラーカメラで撮影することができる。可視光は赤外光とは異なり、生体表面の深部に到達しにくい特性を持つが、一方で複数の波長を取り扱うことができることから、皮膚表面の生体組織の光学特性に応じて多くの生体情報を撮影することが可能となる。

皮膚組織には、指紋や表皮のしわ、指関節のしわ、メラニン、毛細血管中の血液、動脈、静脈、皮下脂肪などの様々な生体特徴が存在しており、それぞれ光の吸収率や反射率が異なる。そのため、事前に各生体組織の反射特性を調べておき、複数の可視光を照射して同時に観測することで、各生体組織の情報を独立に抽出することができる。その手法としては、ＲＧＢの３つの画像に対する独立成分分析によりメラニンと血液とを分離する方法や、マルチレイヤー生体計測技術を用いることができる。また、赤色の画像では静脈が、緑または青では指関節が観測しやすいため、両画像の差分ないしは任意の比率で除算するなどの組み合わせにより赤画像から指関節成分を除去してより純粋な静脈画像だけを獲得できるため、生体特徴をより明確に計測することができる。

このように、３波長の光源とカラーカメラとを用いた反射非接触計測では、赤外光では観測しにくい生体情報を獲得できるため、認証精度を向上できる効果が得られる。

なお、可視光のみならず赤外線も撮影できるカメラを利用できる場合には、ＲＧＢの光源に加えて赤外光源を追加して撮影することができることは言うまでもない。これにより、生体表面の深部に存在する静脈などの情報を撮影できるようになり、認証に利用できる生体特徴が増加して認証精度を高めることが可能となる。

また、上述の第二の実施例で示した逆２乗の法則に基づく被写体の距離計測を本実施例でも適用することができる。ただし、本実施例においては光源が３波長存在するため、それぞれの距離を独立に計算することが可能である。たとえば、照射した３つの波長の光について、それぞれ平均的な皮膚の反射特性を事前に求めておき、それぞれの反射光をカラーカメラで同時に撮影する。このとき、各波長において放射した光強度と観測された光強度の関係を、式４で示したように反射による減衰と被写体の距離による減衰との関係で記述する。反射による指表面での光の平均的な減衰は既知であるとすると、被写体の距離のみが未知数となる。これにより、被写体の距離が３つの波長について求められる。外光や計測誤差などの影響により３波長での距離計測の結果は異なるが、基本的には正解値の近辺となることが予想される。その誤差を平準化するために、得られた３つの距離値を平均化して最終結果とする。これにより、上述のような赤外光のみで推定した距離値に比べて誤差の影響が緩和されるため、より正確な距離計測を実現することが可能となる。

図１９は、第四の実施の形態である、スマートフォンあるいはタブレットにおける反射非接触生体認証装置の構成の一実施例である。スマートフォン３６０は、カラー液晶パネル３６１の上にインカメラ３６２と、その裏面にアウトカメラ３６３とを具備しており、アウトカメラ３６３の付近にはフラッシュ撮影に用いられるフラッシュ投光用白色光源３６４が搭載されている。インカメラ３６２およびアウトカメラ３６３は可視光を撮影できるカラーカメラであり、内部には赤外光を遮断する光学フィルタが搭載されている。また、フォーカス調整機能や露光調整機能も搭載されている。

当該実施例における認証処理手順は基本的に上述の実施例２と同様である。実施例２との差異としては、反射光源が利用できない場合がある点と、カメラの感度特性や光源の波長スペクトルが事前に把握できない場合がある点である。ここでは、本実施例に特有の処理について詳述する。

まず、被写体の撮影処理と距離計測、指の姿勢検知について述べる。被写体の距離計測、姿勢検知と生体特徴の抽出処理に関しては、上述の第三の実施例で示した方法と同様に、カラーカメラを用いて距離計測の精度を高める方法や、皮膚内部の複数の生体特徴を抽出する手法を用いることができる。また、事前に掌側の指の色を個別に登録しておき、その色を指領域の検出に活用することもできる。

一方、フラッシュ用の白色光源が利用できるアウトカメラ３６３で生体を撮影する際、白色光源の発光スペクトルが事前に把握できる場合は生体の特徴量の計測におけるキャリブレーションや、距離計測における各波長成分の発光強度を把握することができるため、指領域の検知、距離計測、生体の特徴抽出などの精度を高めることが可能となる。

またインカメラ３６２を用いる場合は、かざされる生体に液晶パネル３６１が向い合わせに位置するため、液晶パネルを生体撮影用の光源として利用しても良い。これにより、上述の実施例３にて示したＲＧＢの可視光源を用いた装置と同様の方法で被写体の距離計測や生体計測が実現できる。また、液晶パネルは面状の発光を制御することが可能であるため、たとえばパネルの上半面のみを点灯して撮影し、次に下半面のみを点灯して撮影する、などの光源位置が任意に設定できる。発光している位置が既知であることから、本発明の構成においてはフォトメトリックステレオの技術によって被写体の立体形状を獲得することも可能となる。

しかしながら、液晶パネルの光強度はＬＥＤなどの発光素子に比べて一般的に弱く、被写体を十分な強度で照射できない可能性が考えられる。そのため、認証装置の周囲に分布する環境光を利用して撮影を実施する必要が生じる。この場合、環境光は光源の位置を特定することができないため、画像輝度値の強度による距離計測の実施は困難となる。また光のスペクトル分布も環境によって異なるため、色情報を使って静脈やメラニン、脂肪紋などの生体情報を獲得することが難しくなる。そこで、撮影された指画像をＲＧＢ各色プレーンの画像に分解し、それぞれの画像に対して平均輝度を求め、所定の閾値よりも暗い場合はその色プレーンの画像は利用せずに破棄し、十分に明るいと判定できる色プレーンの画像に対して、上述した通り静脈の強調フィルタや指関節の強調フィルタなどを施し、複数の生体特徴を獲得することができる。

また、指の関節が検出できた場合は、その位置はヘモグロビンの色が濃く観測されていることから、指の関節とその周囲との色の差を取ることで、ヘモグロビンの色を抽出できる。このとき、事前に様々な環境光で一般的なヘモグロビンの色を観測しておき、ＲＧＢ空間やＨＳＶ空間などの色空間情報として表現しておく。そして、現在の画像から把握できるヘモグロビンの色空間情報と、事前に用意した様々なヘモグロビンの色空間情報とを比較し、最も類似した色空間情報と紐付けられている環境光が現在の環境光のスペクトルであると推定できる。この手法で環境光を推定し、前述の指領域検出や生体計測に活用しても良い。

また指の姿勢検知に関しては、上述の第二の実施例ではカメラに近接した位置から反射光が照射されていることを前提としたため指の位置を推定することができたが、本実施例で、特にインカメラ３６２を用いた撮影を実施する場合においては光源がないためその前提を利用することができない。そこで、指の姿勢検知の一実施例として、画像に映る手指の領域を色情報や画像のエッジ情報を用いて検出する手法を用いる。

まず、学習データとして、距離情報と指の姿勢情報とが算出できる距離センサなどと共に、当該実施例のスマートフォンのカメラを用いて手指を撮影する。これにより、スマートフォンのカメラで撮影した画像に、距離情報と姿勢情報の正解値がラベル付けされる。このとき、手指の種類数や姿勢の種類数、画像枚数はできるだけ多く獲得しておく。次に、一般的な機械学習を用いて、スマートフォンの画像だけで手指の距離情報や姿勢情報を推定するためのパラメータ学習を実施する。たとえば、ある座標の画素の距離情報や姿勢情報を得るために、その画素値の肌色成分の強さと、近傍の画像エッジ量とを評価値に用いながら、ランダムフォレストに基づいて学習させる。そして、スマートフォンの画像を学習後のランダムフォレストに投入してトラバーサルし、画素ごとに背景領域と手指内部領域のいずれかへ分類し、さらには手指内であればそこが指先であるか、根元であるか、関節部分であるかなどを判定していく。また同時に距離値も推定する。距離値の推定結果はノイズなどの影響によって画素ごとにばらつきが生じるため、空間的に滑らかとなるように処理を施しても良い。

このように、手の内部領域と背景領域とが分離できると、背景部分を黒塗りすることによって上述の第二の実施例で示したように距離計測を伴わない反射画像の輝度値に基づく指の姿勢検知の手法が適用できるようになる。よって、上述の第三の実施例で示した生体特徴の抽出手法を組合せることで認証処理が実現できる。

図２０は、本実施例におけるアウトカメラで手指を撮影するガイド方法の一実施例である。利用者は、装置を把持する側の手３８０でスマートフォンを持ち、もう一方の指１を撮影する。このとき、液晶パネル３６１には指輪郭ガイド３８１が描かれており、利用者はこのガイドに合せるように指を撮影する。システムは手指の姿勢情報をリアルタイムで計算し、許容範囲に入った時点で撮影を行い、この画像を元に生体特徴量を抽出して認証を行う。このとき、図のように指輪郭ガイド３８１に指の股の位置を明示すると、カメラと指との大まかな距離が合わせやすくなる。このような表示は本発明の任意の実施例に適用できる。

もし位置ずれが生じている場合は、上述の実施例で示したように矢印などの視覚的な手段で位置ずれ方向をガイドしたり、あるいはスマートフォンに搭載されているスピーカやバイブレーション素子を利用して、音やバイブ機能により指のずれを知らせたりしても良い。特にカメラと生体の距離に関しては画面でのガイダンスは難しく、位置ずれが大きいほどバイブ機能の振動量を強くする、あるいはスピーカから発するガイド音の音量を大きくするなどしてガイドすると直感的に位置合わせが実施できる。

図２１は、片手操作で実施できるアウトカメラで手指を撮影するガイド方法の一実施例である。利用者は図のように片手でスマートフォンを持ち、まずシステムがアウトカメラ３６３を指先で塞ぐように指示する。利用者は指１でアウトカメラ３６３を塞ぐ。認証システムがこれを検知すると、続いて画面に指輪郭ガイド３８１を表示し、指が遠くで映るように指を反らす旨を指示する。利用者は、図２１に示すようにスマートフォン３６０を握りながらガイダンスに従って指をアウトカメラ３６３から離して反らす。

このとき、液晶パネル３６１に示されるように指１は傾斜した状態で映る。この状態を検知すると、システムは撮影処理、認証処理を実施する。このガイド方法を適用することで、片手でも指の位置合わせが容易に実施でき、スマートフォンでの本発明に記載の生体認証を実現することができる。

また、指１を反らした状態のまま、スマートフォン３６０を軽く振ってもらう操作を誘導しても良い。このとき、連続画像を撮影していると、かざした指１はそのまま同じ位置で観測されるが、映像中に映り込む不要な背景４００は降る動作に合せて移動する。そのため、移動の有無を画素ごとに判定し、移動しなかった領域を指領域、それ以外を背景領域とみなすことで、指の領域検出を実施することができる。この方法によると、簡単な画像処理によって指領域を正確に検出できるようになり、認証精度を向上することが可能となる。

図２２は、インカメラを利用した場合のガイド方法の一実施例である。インカメラは多くの場合で顔を撮影しやすく設定されていることが多く、液晶パネル付近の指を撮影することは困難である。この場合は指を空中に離してかざすことになるが、液晶画面が指に隠されてしまうため確認しにくい。そこで、指を液晶パネルの所定の位置に置き、その後空中に指を移動するようにガイダンスする。

まず、認証を開始すると、図２２（ａ）に示されるように画面に指を設置する旨のガイダンス４２０と指を置くための指位置ガイド４２１が表示される。本実施例では指を置く向きが左斜め上の方向としているが、利き手に合せて向きを変えても良く、また真横の方向にかざしても良い。続いて利用者はここに指を合せて置く。液晶パネル３６１はタッチパネルになっているため、指定した位置に指が置かれたことを検知すると、次に図２２（ｂ）のように、指を中空に浮かせる旨のガイダンス４２２が表示される。このとき、指が左斜め上に置かれているため、ガイダンスが見えやすいように指を中空に浮かせる旨のガイダンス４２２は画面左下に表示する。ただし、画面が手指で覆われている可能性もあることから、音声によるガイダンスを併用しても良い。利用者はこれに合せて手指を中空に移動する。すると、図２２（ｃ）のように手指がカメラの画角に入り込む。これをシステムが検知すると撮影が実施される。

はじめに指を設置するガイド４２１の位置は、指が画角に入りやすい位置に誘導する効果を持つ。また、複数指を撮影したい場合はこのガイド４２１を複数指の指輪郭としても良い。このとき、指を適切な角度に開かせるように誘導すると、複数の指を同時に撮影しやすくなる効果が得られる。このようなガイド方法により、インカメラを用いた場合でも上記実施例の認証処理が実現できる。

その他のガイダンス方法としては、インカメラもしくはインカメラ付近の液晶パネルを指先で軽くタップを繰り返すように誘導し、タッピングをタッチパネルあるいはインカメラの明るさの変動によって検知する。このとき連続フレームで撮影を行い、指の距離が適切であることを指輪郭の幅の計測などに基づく距離計測手段によって検出し、適切な距離に撮影された指画像から、生体の特徴抽出を行って認証を実施することもできる。

このようなタッピングに基づく誘導方法は、比較的簡単な操作である上に指の位置を容易に誘導できること、中空で手指を静止する必要がないため位置合わせが容易になること、そして、生体とカメラとの距離が常に変化するため撮影に適した距離に生体が到達するタイミングが存在し、適切なフォーカスで生体を撮影できること、などの効果がある。

なお、本実施例で示したスマートフォンは、現時点で一般的に普及しているインカメラ、アウトカメラが搭載された場合について言及している。もし液晶パネル付近にある指を映すことができるカメラ、赤外カメラ、マルチスペクトルカメラ、距離カメラなどがスマートフォンもしくはタブレットに搭載されているのであれば、それらのカメラを活用して上述の実施例の通りに距離計測、手指の姿勢検出処理、認証処理を実施しても良いことは言うまでもない。また、本実施例はスマートフォンに限定されることなく、タブレットや携帯型ゲーム機であっても同様に実施することができる。

また、空中での位置合わせが困難な利用者に向けて、カメラから一定の距離を保って指を載置できる指置き台を有し、スマートフォンもしくはタブレットにはめ込むことのできる台座を用いて認証しても良い。たとえば行政サービス窓口あるいは銀行窓口などにおいては、一般利用客が簡単に操作できる端末として据え置き型のタブレットを設置することがある。この場合は特に可搬性は問題とならないことから、前述の台座とタブレットとを組み合わせて設置することにより、専用の認証装置を不要としながらもさらに簡単な操作で認証を実施することが可能となる。

図２３は、上述の第一から第三の実施例で示した認証装置をビデオゲームに応用した実施例を示している。

図２３（ａ）は、テレビ４４０の上部にプレイヤーの身体の姿勢を検知してゲームを操作するためのモーションキャプチャ装置４４１が設置され、この中に認証用の入力装置２が具備されている。これによって利用者の手指１を映し、認証を実施する。利用者はモーションキャプチャ装置４４１あるいは別途用意されているゲームコントローラなどを用いてゲームを操作するが、その中で入力装置２は利用者の手指を検知し認証を実施する。認証の際はテレビ４４０にガイダンスを表示しても良く、あるいはスピーカなどを用いて音声ガイドすることも可能である。

図２３（ｂ）はテレビゲームのコントローラ４４２に入力装置２が搭載されている実施例である。利用者はコントローラ４４２を握ってゲーム操作を行うが、そこに認証用の入力装置２が組み込まれており、上述のようなゲームコントロールやアイテムへの課金の決済に利用することができる。

図２３（ｃ）は可搬型ゲーム機に搭載した一実施例である。可搬型ゲーム機４４３の中央部分に認証用の入力装置２が具備されている。認証方法は上述の実施例４で示したスマートフォンへの搭載の例と同様である。

上述の各ゲーム機においては、次に示す認証アプリケーションを実施することができる。まず、ゲームを実施する際のユーザを識別してセーブデータを自動で読み出したり、ゲーム機あるいはネットワーク上のコンテンツに対するアクセスコントロールを実施したり、ゲームのプレイ時間を管理し制限したりすることが簡単にできるようになる。また、認証の結果に応じてゲームキャラクターの各種パラメータを変化させたり、有料アイテムなどの課金を自動決済したりすることができる。特に、登録データと入力データとの類似度に応じてゲームキャラクターの特性をコントロールする、たとえばキャラクターの移動速度を速くしたり、攻撃力を強くしたりすることも可能であり、ゲームコントロールの一インターフェイスとしても利用できる。

また、複数の指を登録しておき、認証の際には指を１つだけ提示すると、提示した指の種類に応じて機能を分けることが可能となる。たとえばアクションＲＰＧゲームであれば、人差し指を提示すると打撃系の攻撃、中指を提示すると魔法による攻撃、薬指であれば魔法による体力の回復、などである。現状ではこのような動作の切り替えはメニュー画面で選ばせたり、複数の入力キーを用いて複雑なコマンドを入力したりしていたが、本実施例によりこれらの操作を簡単化することができる。また提示する指の中心軸に沿った指の外周の生体情報を個別に登録しておくと、指を入力装置に提示して指を軸中心にローリングさせることで、それぞれ提示したローリング角度に対応した登録データとマッチングさせることができる。これによると、マッチングした登録データに応じて指のローリング角度が検出できることになるため、この操作をゲームへのインターフェイスとして活用できる。たとえば、レースゲームにおけるエンジンの回転数を指のローリング角度に応じてアナログ的に変化させるなどが実現できる。

図２４は、歩きながら手指をかざすだけで認証が可能なウォークスルーゲートに本発明の認証装置を適用した一実施例である。

利用者は、認証ゲート４６０に近づく際に図のように指１を入力装置２に近づける。入力装置２は連続的に映像を撮影し、手指の姿勢を検知しながら認証を高速に実施する。認証が成功すると、フラッパー４６１が開き、利用者が通行できるようになる。指のガイドは液晶画面４６２あるいはスピーカ４６３によって実施できる。液晶画面４６２には、指のガイドだけではなく、認証結果やゲート時に実施される課金の結果などを表示することもできる。

登録は、この認証ゲート４６０で実施してゲート内部にＣＰＵとメモリとを搭載して登録データを保存しておいても良く、また入力装置２が搭載されている登録端末を別の場所に設置し、登録データをネットワーク経由で認証ゲート４６０に転送しても良い。また登録データは別途設置されるサーバなどに保存しても良い。また、認証は認証ゲート内部で実施しても良く、サーバに画像を転送し、サーバ上で実施しても良い。また、認証ゲート４６０に無線通信用の機器を搭載し、利用者はゲート通過時に無線ＩＣタグなどを携帯し、無線ＩＣタグ内に保存されている登録データを認証ゲート４６０に転送した上で認証を実施しても良い。

本実施例の構成によると、反射非接触の認証装置であるため歩きながらラフにかざしても認証することができ、ゲートのスループットを向上することができる。また、上述の実施例における光源の点滅の差分画像に基づく手法と露光調整機能を適用することで屋外でも撮影が実施でき、装置の適用範囲を広げることができる。

なお、大規模施設の入場ゲートなど、比較的大きな装置の設置が許容される場合や、重要管理施設などにおいてセキュリティを厳重に管理する場合などは、本発明の反射光方式の認証装置に加え、一般的な透過光方式の装置を組み合わせた、ハイブリッドな認証装置としても良い。

図２５に透過・反射両方式の装置構成の一実施例を示す。図２５(a)は、ゲート用認証装置４８０に透過光源４８１が垂直に配置されている構成である。利用者が図面右側から指１をかざすと、透過光源４８１と反射光源４８２とが同時に光を照射する。透過光源４８１は赤外光を、反射光源４８２は緑と赤の可視光を照射する。ここでは緑と赤と赤外の波長をそれぞれ550nm、620nm、850nmとする。撮像装置９は赤外感度のあるＲＧＢカラーカメラであり、透過と反射の光を同時に受光する。このとき、カメラの分光感度特性により、上記３つの波長による輝度成分は以下のように記述できる。

なお、記号の定義は実施例１の式１〜式３に示したものと同じである。この連立方程式を解くことにより、反射光成分のI550とI620、そして透過光成分のI850を獲得でき、それぞれの画像で認証を実施することができる。なお、透過光と反射光とを別途撮影できるようにカメラをそれぞれ1台ずつ搭載しても良く、また時分割で照射する光源を切り替えても良いが、前者はコストが増加し、後者はフレームレートが低下するという課題がある。そのため本実施例で示したように異なる波長の光を1台のカメラで同時に撮影して分離処理を行う方法の方が、低コストかつ高速に撮影できる。またこの実施例では手指をかざす場所が開放的であるため、初めての利用者でも簡単に操作することが可能となる。

また図２５（ｂ）は手指を装置内の空間に提示する方式である。指１を赤外光源４８１と撮像装置９の間に入れ、上方から透過光を、下方から反射光を照射することで、透過画像と反射画像とを撮影できる。手指は図面右から左に向けて挿入しても良いが、図面下段に示すように装置側面から手指を移動させて入れても良い。このとき装置側面は手指の移動の妨げにならないように開放されている。また、入力する側面側に複数のフォトセンサ４８３が、お互いが僅かにずれた位置に設置されている。このフォトセンサは手指が真下を通過した際に反応するようになっており、図示する４つのセンサの反応時間のタイミングのずれとセンサ間の距離より、手指の移動速度や指の角度などをセンシングできる。これを受けて、手指がカメラの中央を通過する時間を瞬時に予測し、撮像装置９は撮影に適したタイミングで手指を撮影する。そのとき、手指の移動による画像のぶれが生じないように露光時間を極めて短く取り、また光量もそれに合せて極めて強く短時間で照射する。この手法により、手指を高速に通過させるだけで瞬時に認証させることが可能となる。

本実施例のいずれの方式においても、透過光と反射光の両方の生体特徴を獲得できるため精度向上と偽造耐性の向上とが期待できる。また、透過光では鮮明な指静脈を、反射光では透過光が照射できない位置に生体がかざされた場合でも安定して認証を実現することができ、利用者が認証装置を更に簡単に利用できるようになる効果も得られる。

図２６は、マウスに本発明の認証装置を適用した一実施例である。マウス５００には左ボタン５０１と右ボタン５０２が、また中央部にホイール５０３が搭載されている。そして上述した認証用の入力装置２がホイール５０３の近辺に、マウス５００の中央部に設置されている。マウス５００はその形状が手指の形に合せて曲線となっており、指先側からマウス中央部までの傾斜と、マウス中央部から掌側までの傾斜の傾きが逆になっている。マウス５００を握っているときは指１と入力装置２との距離が近くなっているが、マウスの傾斜の関係性によって指１を図のように真っ直ぐ伸ばすと撮影に必要なカメラとの撮影距離が容易に得られ、十分な範囲を撮影することが可能となる。なお、図では人差し指を伸ばしているが、中指その他の指を伸ばすことでそれらの指が撮影できることは言うまでもない。また入力装置２はマウスの左ボタン５０１もしくは右ボタン５０２に搭載しても良い。

この指を伸ばす操作はマウスを握ったまま簡単にできるため、ＰＣを操作するときの様々な状況、たとえばＰＣログイン時の本人確認、ネット決済での本人確認、アプリケーションソフトごとのユーザアクセス権の確認などにおいて、ユーザの利便性を損なうことなく自然なＰＣの操作の中で実現できる。

なお、上述したすべての認証装置は手指を例に記載したが、生体の皮膚であればいずれの場所でもよく、たとえば顔、耳、掌、手の甲、手首、腕、首、足など任意の場所に適用することができる。この場合は、それぞれの部位に応じて最適な姿勢検知処理が必要となるが、教師データを大量に収集した上で機械学習を行う手法などによって実現できることは言うまでもない。

１・・・指、２・・・入力装置、３・・・光源、９・・・カメラ、１０・・・認証処理部、１１・・・中央処理部、１２・・・メモリ、１３・・・インターフェイス、１４・・・記憶装置、１５・・・表示部、１６・・・入力部、１７・・・スピーカ、１８・・・画像入力部、２１・・・装置筺体、３１・・・赤外光源、３２・・・可視光源、３３・・・バンドパスフィルタ、６１・・・赤外光の反射画像、６２・・・指静脈、６３・・・緑光の反射画像、６４・・・指紋、６５・・・関節しわ、６６・・・脂肪紋、１００・・・距離画像、１０１・・・投影輝度分布、１０２・・・指の関心領域、１０３・・・重み係数、１０４・・・投影分布の最大値、１２０・・・指輪郭、１２１・・・指の中心線、１２２・・・指先、１４０・・・法線ベクトル、１５０・・・関節、１５１・・・関節の推定位置、１５２・・・指の節の中心軸、１６０・・・指の断面、１６１・・・楕円、１６２・・・楕円の長径、１６３・・・注目画素、１８０・・・指輪郭ガイド、１８１・・・ガイドメッセージ、１８２・・・指移動指示矢印、１８３・・・カメラ距離指示アイコン、１８４・・・回転指示アイコン、２００・・・反射画像、２０１・・・切り出し画像、２２０・・・指先ガイドマーク、２２１・・・指根元ガイドマーク、２４０・・・人差し指、３００・・・指の切り出し画像、３０１・・・平均輝度投影分布、３０２・・・平面板の平均輝度投影分布、３０３・・・指の推定ピッチ直線、３２０・・・遮光板、３２１・・・光が届かない領域、３４０・・・カラーカメラ、３４１・・・可視光源、３４２・・・ローパスフィルタ、３６０・・・スマートフォン、３６１・・・カラー液晶パネル、３６２・・・インカメラ、３６３・・・アウトカメラ、３６４・・・フラッシュ投光用白色光源、３８０・・・装置を把持する側の手、３８１・・・指輪郭ガイド、４００・・・不要な背景、４２０・・・指設置ガイダンス、４２１・・・指位置ガイド、４２２・・・指浮かせガイダンス、４４０・・・テレビ、４４１・・・モーションキャプチャ装置、４４２・・・コントローラ、４４３・・・可搬型ゲーム機、４６０・・・認証ゲート、４６１・・・フラッパー、４６２・・・液晶画面、４６３・・・スピーカ、４８０・・・ゲート用認証装置、４８１・・・透過光源、４８２・・・反射光源、４８３・・・フォトセンサ、５００・・・マウス、５０１・・・左ボタン、５０２・・・右ボタン、５０３・・・ホイール

Claims (10)

1. 指に関する特徴情報を保持する記憶部と、
   撮像部から前記指までの距離及び前記指の姿勢の修正を指示する指示部と、
   前記指に光を照射する光源と、
   前記指で反射された光を撮影する撮像部と、
   前記撮像部によって撮像された画像の輝度値に基づき、前記撮像部から前記指までの距離情報を算出し、前記指を中心とする画像を生成し、当該生成された画像内の画素値に基づき指の輪郭を検知し、当該検知された輪郭から当該指の節を複数検出し、各節の骨格構造を解析することで、前記指の姿勢を判断する判断部と、
   前記判断に基づき前記撮像部と前記指との距離及び前記指の姿勢の修正指示を前記指示部に対して行う状態制御部と、
   前記画像から前記特徴情報を抽出する特徴抽出部と、
   前記抽出された特徴情報と、前記記憶部に格納された特徴情報との類似度を比較する照合部と、
   を備えることを特徴とする認証装置。
2. 請求項１に記載の認証装置において、
   前記状態制御部は、前記光源が照射する光量と前記撮像部で受光した光量とから、前記指との距離及び前記指の姿勢の修正指示を前記指示部に対して行う
   ことを特徴とする認証装置。
3. 請求項２に記載の認証装置において、
   前記状態制御部は、画像の任意の位置にある距離を１とした相対的な距離分布を求めることで前記指の姿勢の修正指示を前記指示部に対して行う
   ことを特徴とする認証装置。
4. 請求項１乃至３のいずれか一項に記載の認証装置において、
   前記画像から不要情報を除去する不要情報除去部を備える
   ことを特徴とする認証装置。
5. 請求項４に記載の認証装置において、
   前記不要情報除去部は、前記光源を点灯して撮像した画像と消灯して撮像した画像とを比較することで前記不要情報を除去する
   ことを特徴とする認証装置。
6. 請求項４に記載の認証装置において、
   前記光源は複数あり、当該複数の光源はそれぞれ異なる周波数の光を照射し、
   前記不要情報除去部は、それぞれ異なる周波数により撮像された画像とを比較することで前記不要情報を除去する
   ことを特徴とする認証装置。
7. 請求項５又は６に記載の認証装置において、
   前記判断部と、前記状態制御部と、前記特徴抽出部と、前記照合部と、前記不要情報除去部は、1つの処理装置で実行する
   ことを特徴とする認証装置。
8. 請求項７に記載の認証装置において、
   前記指示部は、画像により前記指の距離及び前記指の姿勢の修正を指示する表示部又は、音により前記撮像部と前記指との距離及び前記指の姿勢の修正を指示する音発生部である
   ことを特徴とする認証装置。
9. 請求項８に記載の認証装置において、
   前記特徴情報は、静脈に関する情報である
   ことを特徴とする認証装置。
10. 指に光を照射する照射ステップと、
    前記指で反射された光を撮影する撮像ステップと、
    前記撮像ステップによって撮像された画像の輝度値に基づき、撮像部と前記指までの距離情報を算出し、前記指を中心とする画像を生成し、当該生成された画像内の画素値に基づき指の輪郭を検知し、当該検知された輪郭から当該指の節を複数検出し、各節の骨格構造を解析することで、前記指の姿勢を判断する判断ステップと、
    前記判断に基づき撮像部と前記指との距離及び前記指の姿勢の修正指示を認証装置のユーザに指示するステップと、
    前記画像から特徴情報を抽出する特徴抽出ステップと、
    前記抽出された特徴情報と、予め保持していた特徴情報との類似度を比較する照合ステップと、
    を備えることを特徴とする認証方法。

Images