JP6846330B2 - 生体認証装置および生体認証システム - Google Patents

Description

本発明は、生体認証装置および生体認証を行うシステムに関する。

近年、IDやパスワード等の不正利用からなる危険性が叫ばれている。そこで、不正利用の危険が少ない個人認証技術として、生体認証技術が注目されている。中でも指静脈認証技術は、指内部の血管パターンを使用するため、高度なセキュリティを実現できる。

従来の指静脈認証装置は、認証装置に指を固定する事で、撮影される静脈画像の再現性を高め、高精度な認証を実現していた。しかし、指を装置に固定するのには時間がかかるため、短時間で多数人の認証が求められる場には不向きである。この問題に対する解決策として、完全非接触で静脈画像を取得し、認証を行う装置が開発されている。しかし、非接触での認証では指の提示位置を固定できないため、指の提示位置に合わせた光量制御が必要となる。

特許文献１には、筺体表面に形成された開口部と、開口部の側方に配置され、格子状に配列された複数の光源と、開口部上に提示された手の位置情報を取得するセンサと、位置情報に基づいて、手に照射する照射用光源を複数の光源の中から選択し、照射用光源の光量を制御する光量制御部と、照射用光源からの光が照射された手の指部分に含まれる血管の画像を撮影する撮像部と、を有する血管画像撮影装置および生体認証システムが開示されている。

ＷＯ２０１６／０８４２１４

特許文献１に開示された技術は、輝度値に基づいて光源を光量値を制御している。この制御方法は、生体が端末に接触した状態と非接触の状態で輝度が大きく異なり、照射される光量値の間に差異が生じるため、認証精度が低下してしまう。

上記課題を解決するため、本発明が開示する生体認証システムは、
照射用光源から指に照射される光の光量が所定値を上回ることにより前記血管画像内に発生する輝度飽和領域に関する輝度飽和情報を計算する演算部を備える。
、を備える。

提示する指の位置や姿勢に違いが生じても、照射用光源から指に照射される光の光量が所定値を上回ることにより血管画像内に発生する輝度飽和領域に関する輝度飽和情報に基づき認証を行うことで、認証精度を向上できる。

生体認証システムのネットワーク構成例を示す図。 メモリに格納されるプログラム例を説明するための図。 生体認証システムの構成例を示す図。 指の提示位置の変動による光源の照射光の照明条件の違いの例を説明するための図。 手が装置に接触した状態と非接触状態における照明条件の違いの例を説明するための図。 輝度飽和を説明するための図。 光源の照射光量の違いによって指側面での輝度飽和領域の大きさの違いが生じることを説明するための図。 生体認証システムが実施する登録処理のフローチャートの例を示す図。 生体認証システムが実施する認証処理のフローチャートの例を示す図。 光量をフィードバック制御する処理のフローチャートの例を示す図。 輝度飽和率と光源の光量値の関係性の例を示す図。 手の回転状態の違いによる光源の照射光の照明条件の違いの例を示す図。 複数の指血管画像を合成することで鮮明な指血管画像を生成する処理のフローチャートの例を示す図。 撮像部１１を用いて指を閉じた姿勢で撮影した指血管画像の例を示す図。 反射光によって撮影した手の画像の例を示す図。 手の指が水平姿勢から傾いている場合に鮮明な指血管画像を撮影する方法の例を説明するための図。

本実施例では、提示する指の血管画像から輝度飽和情報を抽出し、輝度飽和情報に基づいて光源の光量を制御することで、提示する指の位置および姿勢が変動しても鮮明な指血管画像を撮影して認証を行う構成について説明する。なお、本実施例で述べる生体認証システムは、認証時のデータを撮影する際はもちろん、登録時のデータを撮影する際にも用いることができる。また、本実施例は指の血管画像を撮影し認証することを例としているが、手のひら等、指以外の部位に関する撮影および血管画像を用いた認証を行うこともできる。

図１は、生体認証システムのネットワーク構成例を示す図である。生体認証システム５０１は、サーバ５０２、生体情報抽出端末５０３をネットワークで接続した構成を想定している。このうち、サーバには、生体情報を格納する記憶部５０５と、後述する所定の処理を行う演算部５０６が含まれている。また、生体情報抽出端末５０３は、ユーザから生体情報を抽出する端末である。また、図１に示すように、複数端末がネットワーク上でサーバに接続される構成であってもよい。

なお、本実施例では、個人認証を生体情報抽出装置と同一の筺体内で実行する例として説明するが、認証処理は筺体外に設置されたサーバ等にある演算部にて実行してもよい。すなわち、筺体自体では認証処理を実施せず、撮影した血管画像の情報をサーバ等の演算部へ送信する構成としてもよい。この構成は、多数の生体情報抽出端末から送信される血管画像をサーバ側で認証に用いるクラウドシステムに本発明を適用する場合に適している。

また、撮影された血管画像そのものを個人認証に用いるのではなく、所定のデータを暗号化するための暗号化鍵として血管画像情報を利用してもよい。これにより、血管画像が外部に漏洩するリスクを低減させることが可能となる。

図２は、演算部５０６に格納されているメモリ６に格納されている代表的なプログラムを示す図である。光源制御プログラム６０１は、主に光源の光量値を制御するための処理を実行するプログラムである。指位置・指姿勢検知プログラム６０２は、距離画像および近赤外画像等を利用して指の位置や姿勢を検知するための処理を実行するプログラムである。輝度情報計算プログラム６０３は、血管画像中の輝度情報を計算するための処理を実行するプログラムである。輝度飽和情報計算プログラム６０４は、血管画像中の輝度飽和情報などを算出するための処理を実行するプログラムである。指静脈画像正規化プログラム６０５は、血管画像の位置変動や姿勢変動等による拡大率や歪みを補正するための正規化処理等を実行するプログラムである。指静脈特徴抽出プログラム６０６は、正規化処理後の血管画像から、血管の特徴を抽出する処理を実行するためのプログラムである。特徴照合プログラム６０７は、抽出した血管特徴と、予め記憶装置等に登録されていた血管特徴とを照合して照合スコアを算出する処理を実行するためのプログラムである。登録果皮判定プログラム６０８は、抽出した血管特徴を登録するか否か判定するプログラムである。

図３は、生体認証システムの構成例を示す図である。指の血管画像撮影時に手１を血管画像撮影装置２の開口部３の上方に提示できるよう、血管画像撮影装置２の筺体表面に、開口部３が設けられている。開口部３の下方の筺体内部に配置する距離センサ４は、受光した光を電気信号に変換し、データ入力部５０を介して手１と距離センサ間の距離データとして演算部５０６に取り込む。ＣＰＵ７は、演算部５０６に取り込まれた距離データに基づき、メモリ６に格納されたプログラムにより、手１の位置、手１の姿勢、指の位置、指の姿勢などを計算する。光源の点灯制御部５１は、当該計算結果に基づいて、開口部８の内側に配置する光源アレイ９を制御し、光源アレイ９を構成する複数の点光源１０から照射用光源を選択する。開口部３の下方に配置する撮像部１１は、光学フィルタ１２を通過した光を受光する。受光された光は撮像部１１により電気信号に変換され、画像入力部５２を介して、指血管画像として演算部５０６に取り込まれる。ＣＰＵ７は、演算部５０６に取り込まれた指血管画像に基づき、メモリ６に格納されたプログラムにより、指血管画像中の輝度飽和情報などを計算する。光源の光量制御部５３は当該計算結果に基づいて、照射用光源の光量値を設定する。各点光源は、設定された光量値に対応する光を指に照射する。演算部５０６に取り込まれた指血管画像は、一度メモリ６に蓄えられる。そして、ＣＰＵ７は、メモリ６に格納されたプログラムにより、メモリに蓄えられている画像と、予め記憶装置１４に格納されている画像とを照合し、認証を行う。

また、手１の位置や姿勢の計算は撮像部１１で撮影した手の画像を利用して手の位置と姿勢を検知してもよいし、撮像部１１で撮影した手１の画像および手１と距離センサ４の間の距離データの両方を用いてもよい。

また、認証結果をユーザに通知する手段には、スピーカ１５の音声を用いてもよいし、表示部１６に認証結果を表示してもよい。

また、開口部３に可視光源１７を設けて、待機時、手を検知した時、認証処理時、認証成功時、認証失敗時、等にそれぞれ異なる色の光を発することで、ユーザに認証処理の状態を知らせるようにしてもよい。

更に、認証の前段階でユーザＩＤ入力部１８に暗証番号やＩＤを入力させたり、ＩＣチップを読ませたりすることで、多数の登録者データから、照合対象となる登録者データを絞り込んでもよい。この絞り込みにより、画像検索速度および認証精度が向上するという効果を発揮する。特に、絞り込みにより認証対象を一意に特定できる場合は１：１認証と呼ばれ、前述の効果が更に向上する。

なお、開口部３は、各点光源１０からの照射光を透過させる素材を用いる。例えば、アクリルやガラスなどの透明な部材が想定される。また、これらの透明な部材からなる開口部３に、近赤外光のみを通過させるフィルムを装着してもよい、このようにすると、装置内部をユーザから視認できない状態にすることができる。

以下、図４および図５を用いて、鮮明な指血管画像を撮影するための課題について述べる。

図４は、指の提示位置の変動による光源の照射光の照明条件の違いを示す図である。ユーザごとに異なる大きさの指に対応して鮮明な血管撮影を行う際、指の大きさに応じて光源の光量値を制御する必要がある。しかし、図４aと図４ｂのように指の提示位置が異なると、選択する照射用光源も異なるため、図４aと図４ｂでは指と光源の相対的な距離が変化する。光源からの照射光は距離に応じて拡散し、光の強さが減衰するため、指と光源の相対的な距離が変化すると、指に照射する光の照明条件が変動し、安定して鮮明な血管画像の撮影ができない。

図５は、手が装置に接触した状態と非接触状態それぞれにおける光源の照射光の照明条件の違いを示す図である。光源の光量値を制御する従来の方法として、指と光源の相対的な距離の変化に対応して鮮明な血管撮影を行うために撮影した指血管画像の指領域の輝度値を均一化する方法がある。以下、図５aと図５ｂを用いて、輝度値の均一化を用いた光源の光量値を制御する方法の課題を述べる。

図５aは、指が開口部３に接触した状態を示す図である。接触状態では、指血管画像の指領域の明るさ（輝度）は指に照射された光のうち、指を透過する光（透過光３０）の量によって決定される。指の透過光３０は生体内で吸収されて減衰するため、指血管画像において指領域の輝度を上昇させるのに、指に強い光を照射する必要がある。

図５ｂは、指が開口部３に接触していない状態（非接触状態）を示す図である。非接触状態では、指の透過光３０に加えて、光源の照射光がアクリルなどの開口部３と、指の間で反射する光（反射光３１）の影響を受け指領域の明るさ（輝度）が決まる。非接触状態における反射光３１は、少量の照射光でも指領域の輝度を上昇させる。そのため、指領域の輝度値を均一化する従来の光量制御方式では、非接触状態では接触状態よりも照射する光量値が小さく設定され、接触状態および非接触状態それぞれで照射される光量値に差異が生じる。

このように、指に照射される光量値の違いにより照明条件の変動が起きると、指血管画像の鮮明さなど、画質の変動を引き起こす原因となるため、接触状態と非接触状態で夫々撮影した指血管画像同士を照合する場合、認証精度が低下してしまう。

本発明では、指血管画像の輝度飽和情報に基づき、光量値を制御することによって、指に照射される光量値の変動を抑制し、照明条件の変動を抑えることで安定して鮮明な指血管画像を撮影することができる。
以下、図６と図７を用いて、輝度飽和および輝度飽和情報に基づき光量値を制御する方法について、詳細を述べる。

図6は、本発明において光量制御に用いる輝度飽和を説明するための図である。図１の装置で、複数の指に光を照射して指の内部に存在する血管を撮影する際、指の側面を直接照射して反射する光を撮像部１１が受光することによって指血管画像の指輪郭付近において極端に輝度が高く白飛びして、血管情報が消失している領域（輝度飽和４０）が生じる。

図7は、光源の照射光量の違いによって指側面での輝度飽和領域の大きさの違いが生じることを説明するための図である。図７aは、光源の光量値が大きい場合（すなわち、図５aの状態で光を照射した場合）の指輪郭付近の輝度飽和４０の大きさを、図７ｂは、光源の光量値が小さい場合（すなわち図５ｂの状態で光を照射した場合）の指輪郭付近の輝度飽和４０の大きさを、それぞれ示している。このように、指に照射する光量の変化に応じて、指側面で反射する光量も変動し、指の輪郭付近の輝度飽和領域の面積も変動する。従来、血管画像が消失している輝度飽和領域は認証においてノイズであり、いかに輝度飽和領域を減少させるかが課題であった。しかし、指に照射する光源の光量値と、指の輪郭付近の輝度飽和領域の面積と、の間には強い相関関係があるため、輝度飽和領域の面積を均一化すれば、指に照射する光源の光量値の変動を抑制し、照明条件の変動を抑制することができる。この相関関係については、図１０の説明にて後述する。

このように、本発明では輝度飽和領域の面積を均一化するように指血管画像を撮影することによって、血管パターンの照合時の一致度低下を抑えることが可能である。非接触状態で提示する指とアクリル（開口部３）との間で発生する反射光３１は、指血管画像の指領域の輝度を上昇させるものの、指の指輪郭付近において輝度を飽和させるほどの強い光ではない。そのため、輝度飽和領域４０の面積を均一化するように光源の光量値を制御することで、指とアクリル（開口部３）との間で発生する反射光の影響を受けずに、十分な量の光を指に透過できる。したがって、接触状態および非接触状態で鮮明な指血管画像を安定に撮影することが可能となる。

上記の例では、光量制御に用いる輝度飽和情報として輝度飽和領域４０の面積を用いる例として説明したが、輝度飽和領域の代わりに輝度飽和率を用いることもできる。輝度飽和率は、指血管画像における各指領域において、輝度飽和画素の占める割合として算出される。輝度飽和率を利用する場合は、それぞれの指の輝度飽和率が均一になるように、各指を照射する光源の光量値を制御することができる。また、検出された複数の指領域の輝度飽和率の平均値が均一になるように、光源の光量値を制御してもよい。

図８は、生体認証システムにおける登録処理のフローチャートを示す図である。以下、図８の登録処理のフローチャートを説明するため、特段の指定がない限り、図３に示した生体認証システムにおけるＣＰＵ７が、メモリ６に格納されたプログラムを読み込むことで各ステップに関する処理を実行する。ステップ１００において登録処理が開始される。ステップ１０１は、登録者が開口部３の上部に手を提示する動作である。ステップ１０２は、図２の指位置・指姿勢検知プログラムを実行し、距離センサ４で取得した距離画像などを利用して手の検知を行う処理である。ステップ１０３は、手が検出されたかどうかを判断する処理である。ここで手が検出されない場合はステップ１０２に戻り、手が検出された場合はステップ１０４に進む。ステップ１０４は、図２の光源制御プログラムを実行し、点灯制御部５１が、初期光源制御処理、すなわち、検出した手の指に光を照射する点光源１０を初期光量値で点灯する処理である。ステップ１０５は、距離センサ４が距離画像を取得し、撮像部１１が近赤外画像を取得する処理である。ステップ１０６は、図２の指位置・指姿勢検知プログラムを実行し、距離画像および近赤外画像を利用して指の位置および姿勢を検知する処理である。具体的には、指の３次元形状に基づく位置情報および姿勢情報を検出し、取得する処理である。ステップ１０７は、図２の光源制御プログラムを実行し、ステップ１０６で検知した指の位置および指の姿勢に応じて、点灯制御部５１が光源アレイ９を制御し、指血管を鮮明に撮影するために点灯する点光源１０を選択し、光量制御部５３が、点灯する点光源１０の光量値を決定する処理である。ステップ１０７の詳細については後述する。ステップ１０８は、図２の指静脈画像正規化プログラムを実行し、取得した指血管画像において、指の位置変動および姿勢変動による拡大率や歪みを補正するための正規化処理である。ステップ１０９は、図２の指静脈特徴抽出プログラムを実行し、正規化処理後の指血管画像から、血管特徴を抽出する処理である。ステップ１１０は、図２の登録可否判定プログラムを実行し、ステップ１０９で抽出した指静脈特徴を登録するか否かを判定する処理である。ステップ１０９で登録すると判定された場合は、ステップ１１１で登録処理を実施し、ステップ１１３で登録処理を終了する。ステップ１１０で登録しないと判定された場合は、ステップ１１２で登録時間のタイムアウト判定を行う。ステップ１１２でタイムアウトした場合はステップ１１３で登録処理を終了し、タイムアウトしない場合はステップ１０５に戻る。

ステップ１１０の登録可否判定について説明する。高精度な認証を実現するため、撮影した指静脈画像が鮮明であることが望ましい。したがって、撮影した指静脈画像の平均輝度や、輝度飽和情報、血管コントラストなどを用いて登録可否を行う。また、鮮明な指静脈画像を撮影するために、望ましい手の提示位置や提示姿勢が存在する。そこで、ステップ１０６で検出した手および指の位置や姿勢が所望の位置や姿勢にあるかどうかを登録可否判定に利用することができる。

ステップ１１１の登録処理において、登録する情報としては、指静脈特徴だけでなく、撮影した指静脈画像の輝度飽和情報や、輝度情報、光源の照射光量値を併せて登録することができる。

図９は、生体認証システムが実施する処理のフローチャートを示す図である。以下、図９の認証処理のフローチャートを説明するが、特段の指定がない限り、図３に示した生体認証システムにおけるＣＰＵ７が、メモリ６に格納されたプログラムを読み込むことで各ステップに関する処理を実行する。ステップ２０１は、認証者が開口部３の上部に手を提示する動作である。ステップ２０２は、図２の指位置・指姿勢検知プログラムを実行し、距離センサ４で取得した距離画像などを利用して手の検知を行う処理である。ステップ２０３は、手が検出されたかどうかを判断する処理である。ここで手が検出されない場合はステップ２０２に戻り、手が検出された場合はステップ２０４に進む。ステップ２０４は、図２の光源制御プログラムを実行し、点灯制御部５１が、初期光源制御処理、すなわち、検出した手の指に光を照射する点光源１０を初期光量値で点灯する処理である。ステップ２０５は、距離センサ４が距離画像を取得し、撮像部１１が近赤外画像を取得する処理である。ステップ２０６は、図２の指位置・指姿勢検知プログラムを実行し、距離画像および近赤外画像を利用して指の位置および姿勢を検知する処理である。具体的には、指の３次元形状に基づく位置情報および姿勢情報を検出し、取得する処理である。ステップ２０７は、図２の光源制御プログラムを実行し、ステップ２０６で検知した指の位置および指の姿勢に応じて、点灯制御部５１が光源アレイ９を制御し、指血管を鮮明に撮影するために点灯する点光源１０を選択し、光量制御部５３が、点灯する点光源１０の光量値を決定する処理である。ステップ２０７の詳細については後述する。ステップ２０８は、図２の指静脈画像正規化プログラムを実行し、取得した指血管画像において、指の位置変動および姿勢変動による拡大率や歪みを補正するための正規化処理である。ステップ２０９は、図２の指静脈特徴抽出プログラムを実行し、正規化処理後の指血管画像から、血管特徴を抽出する処理である。ステップ２１０は、図２の特徴照合プログラムを実行し、抽出した血管特徴と、記憶装置１４に登録されている血管特徴と、を照合して照合スコアを算出する処理である。ステップ２１１は、算出された照合スコアと所定値ＴＨ１とを比較する処理である。ここで、照合スコアが所定の閾値ＴＨ１より大きい場合はステップ２１２に進んで所定の認証成功後処理を行い、ステップ２１４に進んで認証フローを終了する。他方、照合スコアがＴＨ１以下の場合はステップ２１３に進んで認証タイムアウト判定を行う。タイムアウト時間を経過していない場合は、ステップ２０５に戻り、認証処理を繰り返す。一方、タイムアウト時間を経過した場合は、ステップ２１４に進んで認証フローを終了する。

次に、ステップ２０７について説明する。ステップ２０７では、光源の照射光による照明変動を抑制し、鮮明な指血管画像を撮影するために、輝度飽和率などの輝度飽和情報を均一化し、光源の光量値を制御する。この際、目標となる輝度飽和情報は、一定の値ではなく、所定の範囲としてもよい。この場合、対応する光量値についても、輝度飽和情報の範囲に基づき、値ではなく所定の範囲となる。なお、光源制御の詳細に関しては、図１０のステップ３０７〜３０９で後述する。また、目標光量値の決定方法については、認証方式の違いにより最適な手法が異なる。例えば前述の１：１認証方式では、図８のフローチャートにおけるステップ１１１の登録処理において登録時に撮影した指血管画像の各指の輝度飽和情報を予めDBに登録しておき、認証時に、各指の輝度飽和情報が登録時の輝度飽和情報と一致するように光量制御を行うことで、登録時と認証時の照明条件の変動を抑制し、高精度な認証を実現できる。

他方、ID入力等を実施せず、認証前に利用者を特定しない場合（１：N認証方式）には、事前に大量のデータベースから算出した指ごとの輝度飽和率の統計情報を、基礎輝度飽和情報としてDBに登録しておき、利用者が認証する際には登録した各指の基礎輝度飽和情報と認証者の各指の輝度飽和情報が一致するように光量制御を行い、指血管画像を撮影すると効果的である。この際、統計情報は輝度飽和率の平均値や中央値であってもよいし、その他の統計量を適宜使用してもよい。

図１０は、光量をフィードバック制御する処理のフローチャートを示す図である。以下、この図を用いて、指の位置や姿勢の情報および指血管画像中における輝度飽和情報などから光源アレイ９の点光源１０の光量をフィードバック制御する機構を説明するが、特段の指定がない限り、図３に示した生体認証システムにおけるＣＰＵ７が、メモリ６に格納されたプログラムを読み込むことで各ステップに関する処理を実行する。

ステップ３０１は、認証者が手１を血管画像撮影装置２に提示する動作である。ステップ３０２は、図２の指位置・指姿勢検知プログラムを実行し、距離センサ４で取得した距離画像等を利用して提示された手の検出を行う処理である。ステップ３０３は、手が検出されたかどうかを判断する処理である。ここで手が検出されない場合はステップ３０２に戻り、手が検出された場合はステップ３０４に進む。ステップ３０４は、図２の光源制御プログラムを実行し、点灯制御部５１が、初期光源制御を行い、検出した手の指に光を照射する点光源１０を初期光量値で点灯する処理である。初期光量値は、予め設定した光量値でもよいし、検出した手および指の大きさに応じて変化させてもよい。また、ステップ３０３で検出した手と、光源の相対距離や、手と開口部３の相対距離など、手の位置に応じて決定されてもよい。
ステップ３０５は、距離センサ４が距離画像を取得し、撮像部１１が近赤外画像を取得する処理である。ステップ３０６は、図２の指位置・指姿勢検知プログラムを実行し、ステップ３０５で取得した距離画像を利用して、手と指の三次元空間における位置および姿勢検知処理を行う処理である。ステップ３０７は、図２の輝度飽和情報計算プログラムを実行し、ステップ３０５で取得した距離画像および近赤外画像の指血管領域から、点灯する点光源１０の光量制御に用いるための、指血管画像中における輝度飽和情報などを算出する処理である。ステップ３０７の詳細は後述する。ステップ３０８は、図２の光源制御プログラムを実行し、点灯制御部５１が、ステップ３０６の指の位置および姿勢の算出結果に基づき、光源アレイ９の点灯する点光源１０を決定する処理である。ステップ３０９は、光量制御部５３が、点灯する各点光源１０の光量制御を行う処理である。具体的には、ステップ３０７で算出した各指の指血管画像中における輝度飽和率などに基づいて、各指の血管を鮮明に撮影するための点灯する点光源１０の光量値を決定し、各点光源１０を点灯する。ステップ３０９における、光量値の決定方法の詳細は図１０で後述する。点光源１０の点灯後は、ステップ３０５に戻り、光源アレイ９の制御を繰り返し行う。このように、ステップ３０９で決定された光量値で各点光源１０が点灯し、再び３０５に戻り処理を繰り返すことで、手の位置や姿勢が変動して照明条件が変化した場合でも輝度飽和情報を利用して光量値をフィードバック制御することができる。

次に、ステップ３０７における、指血管画像中の輝度飽和率など輝度飽和情報の算出方法について説明する。輝度飽和率を算出する際は、指領域全域における輝度飽和領域の割合として算出することができる。また、指輪郭付近において発生する輝度飽和の割合として輝度飽和率を算出してもよい。ここで、指の第一関節から第二関節付近で発生する輝度飽和の割合として輝度飽和率を算出すると、輝度飽和が発生しやすい指先付近および指根元付近を除いた輝度飽和率の算出が可能となり好適である。

図１１は、ステップ３０９における、輝度飽和情報に基づく光源の光量値の制御方法を説明するための、輝度飽和情報と光源の光量値の関係性を示すグラフである。輝度飽和率と光源の光量値には相関関係があり、線形近似または対数近似することができる。輝度飽和率と光源の光量値の関係を線形近似する場合、ある撮影フレームにおける光量値と輝度飽和率から近似直線の傾きを算出できる。これを用いて、目標の輝度飽和率に対応する光量値を算出し、次回フレームの指血管撮影時の光量値として設定する。なお、目標となる輝度飽和率は、値ではなく所定の範囲としてもよい。この場合、対応する光量値についても、輝度飽和率の範囲に基づき、値ではなく範囲となる。また、ステップ３０９における光源の光量値の制御は、輝度飽和情報だけでなく平均輝度などの輝度情報と併せて光源の光量値を制御してもよい。例えば、平均輝度の上限値を予め設定しておき、平均輝度の上限を越えない範囲で、目標となる輝度飽和情報により近くなるように光源の光量値を制御することができる。また、輝度飽和情報と輝度情報を併せた一つの評価指標を用い、予め設定した目標値に評価指標の値が調整されるように光源の光量値を制御することもできる。輝度飽和情報と併せて光源の光量制御に用いる情報として、輝度情報以外に、指血管画像における血管コントラストなどの血管の鮮明度を表す指標を用いてもよい。

実施例１では、輝度飽和情報に基づいて光源の光量を制御することで、鮮明な指血管画像を撮影した。これに対して本実施例では、実施例１における認証処理のフローのステップ２０７、および光源制御のフローのステップ３０７、３０９に関連し、手が回転した状態で提示された場合に、より鮮明な指血管画像撮影を実現するための構成について説明する。なお、生体認証システムの構成は、図３に示した実施例１におけるものと同様であるため、説明を省略する。 図１２は、手１が回転しない状態（非回転状態）および回転した状態における光源からの照射光による照明条件の違いを示している。図１２aの非回転状態では、光源から照射される光の方向（光軸方向）と手首側から指先に向かう方向（手１の主方向）が並行しているため、光源が照射する光において、指の側面で反射する光は少ない。一方で、図１２ｂの回転状態では、光源の光軸方向と手１の主方向が直交しているため、光源が照射する光において、指の側面で反射する光が非回転状態よりも多くなる。

なお、実施例１のように、指血管画像における指領域の輝度飽和率を均一化し、光源の光量を制御することで、回転状態と非回転状態の照明条件をより近づけることができる。 しかし、図１２ｂに示すように、手１の回転時に指の側面に生じる輝度飽和領域は、指の左右側面のうち、光源により近い方の指側面の輝度飽和領域の面積が大きくなり、もう一方の指側面の輝度飽和領域の面積は小さくなる。回転状態と非回転状態で指領域の輝度飽和率を均一化しても、非回転状態では、指の左右側面での輝度飽和領域の面積の偏りが小さいのに対して、回転状態では、指の左右側面での輝度飽和領域の面積の偏りが大きくなる。このように、輝度飽和領域の面積の偏りの違いによる照明条件が変動すると、回転状態および非回転状態で撮影した指血管画像を相互に照合したときの一致度が低下し、認証精度が劣化する。

そこで、本実施例では、指の左右側面の輝度飽和領域の面積の偏りを小さくするため、指ごとに、左側面および右側面それぞれの輝度飽和率を算出し、指血管画像撮影時は、回転状態において、指側面それぞれの輝度飽和率が、非回転状態における輝度飽和率と均一の値となるように光源の光量制御を行う。指の左側面および右側面の輝度飽和率の算出は、実施例１と同様に、指領域全域における輝度飽和領域の割合として算出することができる。また、指輪郭付近において発生する輝度飽和領域の割合として輝度飽和率を算出してもよい。また、指先付近と指根元付近を除いた、指の第一関節から第二関節にかけての部位において発生する輝度飽和の割合として輝度飽和率を算出することもできる。

なお、指の左右側面の輝度飽和率の偏りが大きく、光量制御によって指の左側面および右側面両方の輝度飽和率を、非回転状態における輝度飽和率と均一の値とできない場合は、指の左側面および右側面のうち、輝度飽和率の大きい指側面の輝度飽和率のみを均一化することで、照明条件の変動を抑制することもできる。

実施例１および実施例２では、提示する指の位置や姿勢変動に応じて、指血管画像の輝度飽和情報に基づき、光源の光量を制御することで、鮮明な指血管画像の取得を実現する方法について説明した。本実施例では、一度の撮影で鮮明な指血管画像が取得できない場合に、光源の光量を変えた複数のタイミングで撮影した指血管画像を合成することで鮮明な血管画像を取得し、高精度な認証を実現する方法について述べる。なお、生体認証システムの構成は、実施例２と同様に、図１に示した実施例１のものと同様であるため、説明を省略する。

まず、一度の撮影で、鮮明な指血管画像の取得が困難なケースを説明する。実施例１で述べたように、光源の照射光量を大きくすると、指を透過する光が増加し、鮮明な指血管画像が得られるが、一方で目標とする輝度飽和率を上回り、輝度飽和領域が大きくなる場合がある。また、実施例２で述べたように、手が回転した状態など、わずかな照射光量で指血管画像の指領域における輝度飽和領域が発生しやすい。手が回転して輝度飽和が発生しやすい状態で、指の左右側面それぞれの輝度飽和率を、非回転状態における輝度飽和率と均一化するように光源の照射光量を制御すると、照射光量が小さく、指を透過する光量が減少し、指血管画像が不鮮明になる場合がある。 そこで、本実施例では、輝度飽和率を均一化するように撮影した指血管画像（飽和条件均一画像）と、輝度飽和領域が大きくとも、指を十分な光量が透過した状態の血管コントラストの大きい指血管画像（高コントラスト画像）を合成し、鮮明な指血管画像を取得する。異なる複数のタイミングで撮影した飽和条件均一画像と高コントラスト画像を合成することで、輝度飽和率が均一かつ、血管コントラストの大きい指血管画像を生成することができる。手の位置や姿勢変動が大きく、一度の撮影で、鮮明な指血管画像が取得できなかった場合においても、鮮明な指血管画像が得られるため、より高精度な認証が可能となる。

図１３は、異なるタイミングで取得する複数の指血管画像を合成することで、鮮明な指血管画像を生成する処理のフローチャートを示す図である。以下、この図を用いて、２つの指血管画像を合成し、鮮明な指血管画像を生成する機構を説明するが、特段の指定がない限り、図３に示した生体認証システムにおけるＣＰＵ７が、メモリ６に格納されたプログラムを読み込むことで各ステップに関する処理を実行する。

ステップ４０１は、認証者が手１を血管画像撮影装置２に提示する動作である。ステップ４０２は、図２の指位置・指姿勢検知プログラムを実行し、距離センサ４で取得した距離画像等を利用して提示された手の検出を行う処理である。ステップ４０３は、手が検出されたかどうかを判断する処理である。ここで手が検出されない場合はステップ４０２に戻り、手が検出された場合はステップ４０４に進む。ステップ４０４は、図２の光源制御プログラムを実行し、点灯制御部５１が、初期光源制御を行い、検出した手の指に光を照射する点光源１０を初期光量値で点灯する処理である。ステップ４０４の詳細は実施例１のステップ３０４と同様の方法を用いることができるため省略する。ステップ４０５は、距離センサ４で距離画像を取得し、撮像部１１で近赤外画像を取得する処理である。ステップ４０６は、図２の指位置・指姿勢検知プログラムを実行し、ステップ４０５で取得した距離画像を利用して、手と指の三次元空間における位置および姿勢検知処理を行う処理である。ステップ４０７は、図２の輝度飽和情報計算プログラムを実行し、ステップ４０５で取得した距離画像および近赤外画像の指血管領域から、点灯する点光源１０の光量制御に用いるための、指血管画像中における輝度飽和情報などを算出する処理である。ステップ４０８は、図２の光源制御プログラムを実行し、ステップ４０６の算出結果に基づき、点灯制御部５１が、光源アレイ９の点灯する点光源１０を決定する処理である。ステップ４０９は、撮影した指血管画像において、指領域の輝度飽和率などの輝度飽和情報が、目標の範囲内に収まっているか（輝度飽和条件を満たすか）どうかを判定する処理である。輝度飽和条件を満たさない場合は、ステップ４１０で、図２の光源制御プログラムを実行し、光量制御部５３が行う光量制御１の処理によって、輝度飽和が目標値になるように光量値をフィードバック制御し、ステップ４０５に戻る。輝度飽和条件を満たす場合は、ステップ４１１に進む。ステップ４１１は、図２の光源制御プログラムを実行し、光量制御部５３が、指血管画像における指領域の平均輝度などの輝度情報が目標値になるように光量の制御を行う処理である。ステップ４１２は、距離センサ４で距離画像を取得し、撮像部１１で近赤外画像を取得する処理である。ステップ４１３は、図２の指位置・指姿勢検知プログラムを実行し、ステップ４１２で取得した距離画像を利用して、手と指の三次元空間における位置および姿勢検知処理を行う処理である。ステップ４１４は、図２の輝度情報計算プログラムを実行し、ステップ４１２で取得した距離画像および近赤外画像の指血管領域から、点灯する点光源１０の光量制御に用いるための、指血管画像中における平均輝度などの輝度情報を算出する処理である。ステップ４１５は、撮影した指血管画像において、指領域の平均輝度などの輝度情報が、目標の範囲内に収まっているか（輝度条件を満たすか）どうかを判定する処理である。輝度条件を満たさない場合は、ステップ４１１の光量制御２の処理に戻る。輝度条件を満たす場合は、ステップ４１６に進む。ステップ４１６は、ステップ４０９の輝度飽和条件を満たす指血管画像と、ステップ４１５の輝度条件を満たす指血管画像を合成し、鮮明な指血管画像を生成する処理である。ステップ４１６の詳細は後述する。

なお、ステップ４１５において、合成用の指血管画像の取得判定の指標として、平均輝度を例に説明したが、指血管画像の血管コントラスト値を、指血管画像の取得判定の指標としてもよい。血管コントラスト値は、例えば指血管画像の指領域を血管領域と背景領域に分け、血管領域と背景領域の輝度の差として計算できる。この場合、ステップ４０７およびステップ４１４で指領域の輝度情報の代わりに血管コントラスト値を算出する。

次に、ステップ４１６における指血管画像の合成処理を説明する。合成処理によって、輝度飽和率などの輝度飽和情報が均一で、かつ血管領域と背景領域のコントラストの大きい鮮明な指血管画像を生成する。具体的には、ステップ４０９の輝度飽和条件を満たす指血管画像を元に、輝度飽和の発生していない指領域において、ステップ４１５の輝度条件を満たす指血管画像に基づいて血管領域のコントラスト強調を行うことで、鮮明な指血管画像を生成することができる。

本実施例では、ステップ４０９の輝度飽和条件を満たす飽和条件均一画像とステップ４１５の輝度条件を満たす高コントラスト画像を合成する方法を説明したが、飽和条件均一画像と高コントラスト画像を夫々、登録および認証に利用してもよい。具体的には、認証時に飽和条件均一画像と高コントラスト画像をそれぞれ登録画像と照合して、一致度の高い結果を採用し、高精度な認証を実現することができる。また、飽和条件均一画像および高コントラスト画像を夫々登録データとすることもできる。

本実施例では、実施例1における認証処理のフローのステップ２０５、光源制御のフローのステップ３０５、および実施例３における指血管画像の合成フローのステップ４０５に関連し、提示された手の指が閉じている姿勢では、指血管画像において指領域を特定できず、光源の光量制御ができないという問題に対して、開口部の下方に配置する光源から、掌側の指に光を照射し、反射した光を撮影した画像を用いて指領域を正確に検出する方法について述べる。

なお、生体認証システムの構成は、実施例１および実施例２と同様に、図１に示した実施例１のものと同様であるため、説明を省略する。

図１４は、撮像部１１を用いて指を閉じた姿勢で撮影した指血管画像を示す図である。指を閉じた姿勢で撮影すると、各指の輪郭付近に発生している輝度飽和領域が重なるため、隣接する指と指の境界線を正確に求めることができない。しかし、実施例１で述べたように、輝度飽和情報を用いて光源の光量を制御して鮮明な指血管画像を撮影するためには、各指の指領域および、輝度飽和率などの輝度飽和情報を求める必要がある。特に、輝度飽和領域は指の輪郭線付近に発生しやすいため、指境界線が検出できないと、光源の光量制御の失敗および不安定化を引き起こす原因となる場合がある。

図１５は、開口部３の下方に配置する光源１９から光を掌側の指に照射し、反射した光を撮影した画像（反射光画像）を示す図である。反射光画像は、指を閉じた姿勢でも隣接する指と指の境界線が明瞭であるため、正確な指領域を求めることが可能である。本実施例では、反射光画像から正確に求めた指領域を利用して、指血管画像の輝度飽和情報を正確に計算し、求めた輝度飽和情報に基づき光源の光量制御を行うことで、鮮明な指血管画像の撮影が可能となる。

なお、反射光画像から検出した指領域の座標は、指血管画像の座標系に変換することで、指血管画像における指領域を決定できる。以下、反射光画像の座標系から検出した指領域を、指血管画像の座標系に変換する方法を述べる。撮像部１１を利用し、異なるタイミングで反射光画像と指血管画像を撮影した場合は、反射光画像から検出した指領域の座標をそのまま指血管画像における指領域の座標として利用できる。また、ＴｏＦ方式の距離カメラ４を利用する場合は、距離カメラ４で撮影した反射光画像から指領域を求め、ステレオキャリブレーションなどを利用して距離カメラ４の座標系から撮像部１１の座標系への変換を行うことで、指血管画像における指領域を求めることができる。

本実施例では、提示された手の指が水平姿勢から傾いている場合に、輝度飽和情報を用いてより正確に光源の点灯制御および光量制御を行い、鮮明な指静脈を撮影する方法について説明する。

図１６は水平姿勢から傾いた状態で手を血管画像撮影装置２に提示した場合の光源制御方法を説明する図である。図１６は手を横から見た状態を示しており、図１６ａは手を水平に提示しており、図１６ｂは指先を指根元側よりも高く上げて手を提示している。距離センサ４で検知した指先の位置および高さに応じて、点灯する光源の高さを決定する場合、図１６ａと図１６ｂは指先の位置および高さが同じであるため、同じ高さの光源を点灯する。しかし、図１６ｂの光源からの破線が示すように、指が水平姿勢から傾いている場合は、指先付近に照射する光は指の背側に照射されず、指内部を透過しないため、静脈が撮影できない。さらに、指先が上を向いているため、図１６ｂの光源からの破線が示す光の開口部３での反射成分が指の腹側に多く照射されることになる。指の腹側に照射される光があまりに多い場合は、指領域の輝度飽和を発生させやすくなり、輝度飽和情報に基づいて光源の光量制御を行った際に、十分な量の光が指を透過せず、不鮮明な指静脈画像が撮影されてしまう。そこで、本実施例では、指先が指根元側よりも高い姿勢で手が提示された場合に、水平姿勢において点灯する光源の高さよりも高い位置の光源を点灯し、指に照射されない光の量を抑制し、輝度飽和情報に基づく光源の光量制御により鮮明な指静脈画像を撮影する。手が水平より傾いている図１６ｂの状態において、図１６ａの水平姿勢より高い位置の光源を点灯させることで、指に照射されない光の量を抑制し、また、開口部３での反射光のうち、指の腹側に照射される光の量を抑制することで、輝度飽和情報に基づく光源制御により鮮明な指静脈画像の撮影が可能となる。

１：手 ２：血管画像撮影装置 ３：開口部 ４：距離センサ ６：メモリ ７：ＣＰＵ ８：開口部 ９：光源アレイ １０：点光源 １１：撮像部 １２：光学フィルタ １３：インターフェース １４：記憶装置 １５：スピーカ １６：表示部 １７：可視光源 １８：ユーザＩＤ入力部 １９：光源 ３０：透過光 ３１：反射光 ４０：輝度飽和 ５０：データ入力部 ５１：光量制御部 ５２：画像入力部 ５３：光量制御部 ５０６：演算部

Claims (11)

1. あらかじめ登録されている生体情報である登録用生体情報と、認証時に取得した生体の血管画像から所定の処理によって生体情報を抽出した認証用生体情報との比較により認証を行う生体認証システムであって、
   照射用光源から指に照射される光の光量が所定値を上回ることにより前記血管画像内に発生する輝度飽和領域に関する輝度飽和情報を計算する演算部と、
   認証時に取得された前記血管画像の前記輝度飽和情報が、事前に登録された前記血管画像の前記輝度飽和情報に基づく所定の範囲に収まる値となるように光量を制御する光量制御部と、
   を備えることを特徴とする生体認証システム。
2. 請求項１に記載の生体認証システムにおいて、
   筐体表面に形成された開口部と、
   前記開口部から突出した光源配列部に配列された複数の光源と、
   前記開口部上に提示された指の位置情報及び姿勢情報を取得するセンサと、
   前記位置情報及び姿勢情報に基づき、前記指に取捨する照射用光源を前記複数の光源の中から選択し、選択された照射用光源の点灯を制御する点灯制御部と、
   前記照射用光源の光が照射された指の内部に存在する血管の画像を撮影する撮像部と、
   を備えることを特徴とする生体認証システム。
3. 請求項１に記載の生体認証システムにおいて、
   前記演算部は、前記血管画像に含まれる指の輪郭線付近に存在する前記輝度飽和領域の面積に基づき前記輝度飽和情報を算出する、
   ことを特徴とする生体認証システム。
4. 請求項１に記載の生体認証システムにおいて、
   前記輝度飽和情報は、前記血管画像の指領域の面積に対する前記輝度飽和領域の面積の割合である輝度飽和率である、
   ことを特徴とする生体認証システム。
5. 請求項１に記載の生体認証システムにおいて、
   前記演算部は、前記血管画像に含まれる指の左右側面の前記輝度飽和情報を夫々算出する、
   ことを特徴とする生体認証システム。
6. 請求項２に記載の生体認証システムにおいて、
   前記演算部は、前記血管画像と、前記輝度飽和情報を用いて制御された光源から照射された光を撮像して得られた血管画像とを合成する、
   ことを特徴とする生体認証システム。
7. 請求項２に記載の生体認証システムにおいて、
   前記開口部の下方に配置された光源の光を前記指の掌側に照射し、反射した光を撮影して得た画像を利用して指の検出を行う、
   ことを特徴とする生体認証撮影システム。
8. 請求項２に記載の生体認証システムにおいて、
   前記姿勢情報とは、指先と指根元の位置関係を含み、
   前記点灯制御部は、前記指先と指根元の位置関係に基づき、前記指に照射する照射用光源を前記複数の光源の中から選択し、選択された照射用光源の点灯を制御する、
   ことを特徴とする生体認証システム。
9. 請求項２に記載の生体認証システムにおいて、
   ユーザから所定の情報を受け付ける入力部を更に備え、
   前記光量制御部は、前記入力部で入力された情報に紐づく前記輝度飽和情報に基づき、前記照射用光源の光量を制御する、
   ことを特徴とする生体認証システム。
10. 請求項２に記載の生体認証システムにおいて、
    前記演算部は、事前に撮影された複数の前記血管画像から、前記輝度飽和情報の統計情報を基礎輝度飽和情報として算出し、
    前記光量制御部は、前記基礎輝度飽和情報に基づき、前記照射用光源の光量を制御する、
    ことを特徴とする生体認証システム。
11. あらかじめ登録されている生体情報である登録用生体情報と、認証時に取得した生体の血管画像から所定の処理によって生体情報を抽出した認証用生体情報との比較により認証を行う生体認証方法であって、
    照射用光源から指に照射される光の光量が所定値を上回ることにより前記血管画像内に発生する輝度飽和領域に関する輝度飽和情報を計算する演算処理と、
    認証時に取得された前記血管画像の前記輝度飽和情報が、事前に登録された前記血管画像の前記輝度飽和情報に基づく所定の範囲に収まる値となるように光量を制御する制御処理と、を含む、
    ことを特徴とする生体認証方法。

Images