以下図面について本発明の一実施の形態を詳述する。
(1)第1の実施の形態
(1−1)認証装置の全体構成
図1において、1は全体として第1の実施の形態による認証システムの全体構成を示し、この認証システム1全体の制御を司る制御装置2に対して、撮像装置3及び認証装置4が接続されることにより構成される。
この制御装置2は、中央処理ユニット、ワークメモリ、情報記憶メモリを有し、当該情報記憶メモリには、複数種類のデータ及びプログラムが記憶されている。そして制御部2は、ワークメモリにロードしたプログラムに従って、情報記憶メモリに記憶された各種情報を適宜用いて各種処理を実行し、必要に応じて所定の制御信号を撮像装置3又は認証装置4に送出するようにして、この認証システム1全体を制御する。
撮像装置3は、血管内の脱酸素化ヘモグロビン(静脈血)又は酸素化ヘモグロビン(動脈血)に近赤外線帯域の光(近赤外光)が特異的に吸収されることを利用して生体における例えば指に内在する血管を撮像対象として撮像する。
そして撮像装置3は、この撮像結果として得られる血管画像に基づいて、このときの撮像対象者固有の血管形成パターンをデータ(以下、これを認証情報と呼ぶ)として生成し、これを認証装置4に送出する。
認証装置4は、所定の伝送路を介して登録データベースDBに接続されており、この登録データベースDBには、撮像装置3と同一部位における撮像結果に基づいて同一の処理が施されることにより生成された1又は2以上の血管形成パターンが登録者の血管形成パターン(以下、これを登録血管形成パターンと呼ぶ)として登録されている。
そして認証装置4は、制御装置2のモード信号に応じて登録モード又は認証モードを実行するようになされており、当該登録モード時には、撮像装置3から供給される認証情報の血管形成パターンを登録血管形成パターンとして登録データベースDBに登録する。
これに対して認証装置4は、認証モード時には、撮像装置3から供給される認証情報の血管形成パターンと、登録データベースDBに登録された登録血管形成パターンとを照合する。
ここで認証装置4は、この照合結果として所定の閾値以下となる合致率が得られた場合には、このとき撮像装置3で撮像した撮像対象者が登録データベースDBに登録された登録者ではないと判定し、これに対して所定の閾値よりも高い合致率が得られた場合には、当該撮像対象者が登録者本人であると判定するようになされている。
このようにこの認証システム1においては、生体固有の血管形成パターンを用いて認証することにより、当該生体表面に有する指紋等に比して生体からの直接的な盗用を防止できるのみならず、第三者による登録者への成りすましをも防止できるようになされている。
(1−2)撮像装置の具体的構成
この撮像装置3は、図2に示すように、撮像部10と、当該撮像部10を制御する撮像制御部20と、当該撮像部10で撮像された結果得られる血管画像に対して各種処理を施す画像処理部30とによって構成される。
(1−2−1)撮像部の構成
この撮像部10は、撮像装置3の筺体の所定位置に設けられた撮像開口部11を有し、当該筺体表面には、所定材質でなる無色透明の蓋部CVが撮像開口部11を覆うように設けられていると共に、当該撮像開口部11上に指FGをガイドするためのガイド溝12(12a及び12b)が設けられている。そしてこの撮像装置3の筺体内には、撮像開口部11下において、カメラ部14が収納されている。
これによりこの撮像部10は、撮像開口部11から撮像装置3の筺体内への異物の流入を防止すると共に、ガイド溝12によってガイドされた指FGでカメラ部14を汚すといった事態を未然に防止することができるようになされている。
また撮像部10は、撮像開口部11上にガイドされた指FGに対して近赤外光を照射する近赤外光光源13(13a及び13b)が設けられている。この近赤外光光源13においては、図2及び図3に示すように、撮像開口部11上にガイドされた指FGの指差方向DX(図3)に直行する照射方向DY(図3)から指FGの腹部分(以下、これを指腹と呼ぶ)に近赤外光が照射されるようにその位置が選定されている。
これにより撮像部10においては、近赤外光光源13から撮像開口部11上にガイドされた指FGの指腹に対して照射され、当該指FG内方の血管組織では内在するヘモグロビンに吸収されると共に血管組織以外の組織では散乱して当該指FG内方から得られる近赤外光を、撮像開口部11を介してカメラ部14に入射することができるようになされている(以下、指FG内方から得られる近赤外光を血管射影光と呼ぶ)。
このカメラ部14は、撮像開口部11下の光路において、近赤外線帯域の波長(およそ700[nm]〜900[nm])に対応する光を透過するフィルタ(以下、これを近赤外光透過フィルタと呼ぶ)14a、レンズ14b及び固体撮像素子14cが順次配されてなり、当該撮像開口部11から入射される光のうち血管射影光を固体撮像素子14cに導光するようになされている。
かかる構成に加えてこのカメラ部14には、撮像開口部11及び近赤外光透過フィルタ14a間において、照射方向DYに対して直交する方向(即ち指差方向DXと同方向)に偏光軸を有する偏光板15が設けられている。
この場合、このカメラ部14では、指差方向に垂直である方向から、人差指FGの内方を経由することなく反射した近赤外光(以下、これを指表面反射近赤外光と呼ぶ)は偏向板15により光路から逸れ、これに対して血管射影光は、人差指FGの内方で散乱した光であるため、偏向板15を通過することとなる。
従ってこのカメラ部14は、撮像開口部11から近赤外光透過フィルタ15を介して入射される血管射影光(散乱光)及び指表面反射近赤外光(表面反射光)のうち、当該血管射影光を選択的に固体撮像素子14cに導光することができるようになされている。
この固体撮像素子14cは、格子状に配された複数の光電変換素子を有し、これら光電変換素子において血管射影光を光電変換する。そして固体撮像素子14cは、この光電変換結果として各光電変換素子それぞれにチャージされる電荷を、撮像制御部20から供給される電荷読出パルス信号S1に従って読み出すと共に、電荷リセットパルス信号S2に従ってリセットし、当該読み出した電荷を血管画像信号S10として画像処理部30に出力するようになされている。
このようにしてこの撮像部10は、撮像開口部11に対向させるように配置された指FG内方における血管を撮像対象として撮像することができるようになされている。
(1−2−2)撮像制御部の構成
図4に示すように、撮像制御部20は、光源駆動部21、クロック発生部22及び電荷量調整部23によって構成される。
この光源駆動部21は、通常光の強度よりも近赤外光が大きくなるように予め設定された複数の電圧値のうち、例えば操作部(図示せず)から入力された電圧値に対応する電圧を生成する。そして光源駆動部21は、この電圧を光源駆動信号S3として近赤外光光源13(13a及び13b)に出力するようにして、当該近赤外光光源13を駆動するようになされている。
この結果、近赤外光光源13(13a及び13b)が点灯し、撮像開口部11上にガイドされた指FG(図1)には、通常光よりも大きい強度の近赤外光が照射されることとなる。
クロック発生部22は、図5(A)に示すように、立ち下がり時点から次の立ち下がり時点までの単位期間PTとする所定のデューティー比の基準パルス信号S4を生成し、これを電荷量調整部23に送出する。
電荷量調整部23は、クロック発生部21から供給される基準パルス信号S4をそのまま電荷読出パルス信号S1として固体撮像素子14cに送出する。この場合、この固体撮像素子14cでは、単位期間PT(図5(A))において各光電変換素子にチャージされる電荷が、立ち下がり時点を読出開始時点として周期的に読み出される。
しかしこの場合、図6(A)に示すように、近赤外光光源13から照射される近赤外光の強度が通常光よりも大きいことに起因して、固体撮像素子14cでは単位期間PT(図5(A))の途中で各光電変換素子にチャージされる電荷が飽和するといった事態が起こることとなる。
そこでこの電荷量調整部23は、電子シャッタと呼ばれる露光時間制御処理を実行し、固体撮像素子14c(各光電変換素子)にチャージされる単位期間PT(図5(A))当たりの電荷量を制限するようになされている。
実際上、電荷量調整部23は、図5(B)に示すように、電荷読出パルス信号S1(基準パルス信号S4)の単位期間PTから例えば中間時点を順次検出し、当該中間時点を固体撮像素子14c(各光電変換素子)にチャージされている電荷のリセット時点とする電荷リセットパルス信号S2を生成し、これを固体撮像素子14cに送出する。
この結果、固体撮像素子14cでは、図5(C)に示すように、単位期間PTにチャージされる電荷が、電荷リセットパルス信号S2のリセット時点から電荷読出パルス信号S1(基準パルス信号S4)の立ち下がり時点までの期間(以下、これを電荷蓄積期間と呼ぶ)ESTのみに制限されることとなる。
そして図6(B)に示すように、固体撮像素子14cでは、血管射影光と共に通常光が入射した場合であっても、当該血管射影光及び通常光に対する光電変換結果として各光電変換素子にチャージされる電荷量が相対的に減少することになるため、当該固体撮像素子14cにおける血管射影光に対する撮像感度は通常光による実質的な影響のない状態となる。
このようにして電荷量調整部23は、固体撮像素子14c(各光電変換素子)にチャージされる電荷量を制限することにより、通常光による実質的な影響のない状態となるように血管射影光に対する固体撮像素子14cでの撮像感度を調整することができるようになされている。
かかる構成に加えてこの電荷量調整部23は、生体に照射される近赤外光の強度に応じて、電荷蓄積期間ESTを可変するようになされている。
この場合、電荷量調整部23は、光源駆動部21において設定される電圧値と、単位期間PT(図5(A))にリセットするリセット時点との対応付けとして、当該電圧値が大きいほどリセット時点を遅くするように対応付けられたテーブルを保持しており、このテーブルに基づいて、光源駆動部21で生成される電圧の電圧値が変わるごとに当該電圧値に対応するリセット時点を検出時点として設定する。そして電荷量調整部23は、この設定したリセット時点を順次検出するようにして電荷リセットパルス信号S2を生成するようになされている。
これにより電荷量調整部23は、近赤外光光源13から指FGに照射される近赤外光の強度に応じて固体撮像素子14c(各光電変換素子)にチャージされる電荷の制限量を調整することができるため、当該強度にかかわらず血管射影光に対する固体撮像素子14cでの撮像感度を通常光による実質的な影響のない状態に調整することができるようになされている。
このようにしてこの撮像制御部20は、近赤外光光源13及び固体撮像素子14をそれぞれ制御することができるようになされている。
(1−2−3)画像処理部の構成
画像処理部30は、図4に示したように、画像再構成部31、2値化部32及びパターン抽出部33によって構成される。
この画像再構成部31は、撮像部10から出力される血管画像信号S10に対して所定の周波数変換処理を施すようにして、当該血管画像信号S10に基づく血管画像を再構成する画像再構成処理を実行する。
ここで、上述した撮像部10では、偏光板15(図2)により指表面反射近赤外光が光路外に逸らされるが、当該指表面反射近赤外光の全てが照射方向DY(図3)に沿って指腹表面を反射することはないため、一部の指表面反射近赤外光は血管射影光と共に固体撮像素子14cに導光されることとなる。
従って、例えば図7に示すように、この固体撮像素子14cから出力される血管画像信号S10に基づく血管画像BIMには、血管射影光に基づく血管成分と共に指表面反射近赤外光に基づくノイズ成分が含まれた状態となる。
そしてこのノイズ成分は、照射方向DY(図3)に沿って反射した反射光(指表面反射近赤外光)に対する光電変換結果であるため、当該照射方向DYに対応する水平方向に出現する(以下、このノイズ成分を横縞ノイズ成分と呼ぶ)。
従って、この画像再構成部31は、血管画像BIMにおける水平方向の輝度値が滑らかとなるように血管画像BIMを再構成するようになされている。
具体的には画像再構成部31は、例えば図8(A)に示すように、例えば互いに隣接する縦5画素に相当する抽出範囲ARを血管画像BIMにおける左端に設定し、当該設定した抽出範囲ARにおける縦5画素を抽出する。そして画像再構成部31は、この縦5画素における輝度平均値を算出し、当該算出した輝度平均値を、このとき抽出した抽出範囲AR(縦5画素)の真ん中の画素(以下、これを中心画素と呼ぶ)に対応する再構成血管画像RIMの画素として生成する。
次いで画像再構成部31は、図8(B)に示すように、抽出範囲ARを指差平行方向に1画素ずらして設定し、当該設定した抽出範囲ARにおける縦5画素を抽出した後、当該抽出した縦5画素の輝度平均値を、このとき抽出した抽出範囲ARの中心画素に対応する再構成血管画像RIMの画素として生成する。
以下同様にして画像再構成部31は、図8(C)に示すように、最左縦列において抽出範囲ARを1画素ずつシフトするようにして縦5画素を順次抽出し、当該抽出した縦5画素の輝度平均値を、このとき抽出した抽出範囲ARの中心画素に対応する再構成血管画像RIMの画素として生成する。
なお画像再構成部31は、上2画素については、当該上2画素の輝度平均値を対応する再構成血管画像RIMの画素としてそれぞれ生成すると共に、下2画素についても同様に、当該下2画素の輝度平均値を対応する再構成血管画像RIMの画素としてそれぞれ生成するようになされている。
また画像再構成部31は、残りの縦列についても最左縦列と同様に、図9に示すように、ジグザグ状にシフトするようにして再構成血管画像RIMの画素を順次生成し、かくして再構成された再構成血管画像RIMの信号(以下、これを再構成血管画像信号と呼ぶ)S11を2値化部32に送出する。
このように画像再構成部31は、縦5画素の輝度平均値を当該縦5画素の中心画素に対応する再構成血管画像RIMの画素として順次生成するようにして、血管画像BIMにおける水平方向の輝度値が滑らかとなるように画像再構成処理を実行する。
これにより画像再構成部31は、図10に示す実験結果からも明らかなように、血管画像BIMに含まれた横縞ノイズ成分を分散することができ、かくして血管画像BIMの横縞ノイズ成分が平滑化されてなる再構成血管画像RIMを生成することができるようになされている。
かかる構成に加えてこの画像再構成部31は、上述した画像再構成処理を実行する前処理として、撮像部10から出力される血管画像信号S10における輝度ヒストグラムの波形状態に応じて抽出範囲ARの画素数を決定するようになされている。
ここで、この輝度ヒストグラムにおける波形状態は、例えば図11に示すように、骨が細く体脂肪の多い生体(図11(A))、骨が太く体脂肪の少ない生体(図11(B)又は小児(図11(C))によってそれぞれ異なり、当該生体の性別、人種、年齢及び体質等の生体要素に応じてパターン(以下、これをヒストグラム波形パターンと呼ぶ)大別することができる。このことは、本出願人により既に確認されている。
従って、血管画像BIMに占める横縞ノイズ成分の出現量は、ヒストグラム波形パターンに応じてある程度特定することができ、これに応じてヒストグラム波形パターンと、抽出範囲ARにおける縦列方向の画素数との対応関係も特定することができる。
実際上、この画像再構成部31には、かかるヒストグラム波形パターンと、抽出範囲ARにおける画素数との対応付けがテーブルとして記憶された情報記憶メモリ34(図4)が接続されている。
そして画像再構成部31は、撮像部10から出力される血管画像信号S10における輝度値を画素ごとに順次検出し、当該検出結果に基づいて血管画像BIMにおける画素ごとの輝度値の分布を輝度ヒストグラムとして生成し、この輝度ヒストグラムのヒストグラム波形パターンに対応する抽出範囲ARにおける画素数を、情報記憶メモリ34が記憶されたテーブルを参照して決定するようになされている。
これにより画像再構成部31は、このとき撮像部10から出力された血管画像BIMに占める横縞ノイズ成分に応じた抽出範囲ARを決定することができ、この結果、血管画像BIMの横縞ノイズ成分がより平滑化されてなる再構成血管画像RIMを生成することができるようになされている。
2値化部32は、血管画像再構成信号S11に対してA/D(Analog/Digital)変換処理及び2値化処理を順次施し、この結果得られる2値血管画像のデータ(以下、これを2値血管画像データと呼ぶ)D1を画像再構成部32に送出する。
パターン抽出部33は、2値血管画像データD1に対して所定の抽出処理を施し、当該2値血管画像に有する血管の血管形成パターンを抽出し、これを認証情報D2として認証装置4(図1)に送出するようになされている。
このようにしてこの画像処理部30は、生体内方の血管における血管形成パターンを認証情報D2として生成することができるようになされている。
かかる画像処理部30による画像処理は、図12に示す画像処理手順RT1に従って行われる。
すなわち画像処理部30は、撮像部10から出力される血管画像信号S11を取得すると、この画像処理手順RT1をステップSP0において開始し、続くステップSP1に進んで、当該血管画像信号S11におけるヒストグラム波形パターンに対応する抽出範囲AR(図8)の画素数として例えば縦5画素を決定する。
そして画像処理部30は、ステップSP2に進んで、決定した抽出範囲ARを血管画像BIM(図7)における左端に設定し(図8(A))、当該設定した抽出範囲ARの縦5画素を抽出し、次のステップSP3に進んで、当該抽出した縦5画素の輝度平均値を算出する。
続いて画像処理部30は、ステップSP4に進んで、算出した輝度平均値を、ステップSP2で抽出した縦5画素の中心画素に対応する再構成血管画像RIMの画素として生成した後、次のステップSP5において、血管画像BIMにおける全ての画素を抽出したか否かを判定する。
ここで否定結果が得られた場合、このことは再構成血管画像RIMを生成している最中であることを意味し、このとき画像処理部30は、ステップSP6に進んで、抽出範囲ARを1画素ずらして設定し(図8(B))、ステップSP2に戻って上述の処理を繰り返す。
これに対して肯定結果が得られた場合、このことは再構成血管画像RIMを生成し終わったことを意味し、このとき画像処理部30は、ステップSP7に進んで、当該再構成血管画像RIMを2値化し、続くステップSP8において、当該2値血管画像から血管形成パターンを抽出し、これを認証情報D2として認証装置4(図1)に送出した後、次のステップSP9に進んで、この画像処理手順RT1を終了する。
このようにして画像処理部30は画像処理を実行するようになされている。
(1−3)動作及び効果
以上の構成において、この撮像装置3は、指差方向DXに対して直行する照射方向DYから近赤外光を指FGに照射し、当該指FGの内方で散乱して得られる血管射影光を固体撮像素子14cに導光する。そして撮像装置3は、この固体撮像素子14cから出力される血管画像信号S10に基づく血管画像を、照射方向DYに対応する水平方向の輝度値が滑らかとなるように再構成する。
従ってこの撮像装置3では、指FGの表面で照射方向DYに沿って反射する近赤外光(指表面反射近赤外光)に基づく横縞ノイズ成分を分散することができるため、当該ノイズ成分による画像中の血管成分への影響を低減することができ、かくして画質を向上することができる。
この場合、撮像装置3は、照射方向DYに対して直交する方向(指差方向DX)に振動する偏光板15を設ける。従ってこの撮像装置3では、指FGから得られる血管射影光及び指表面反射近赤外光のうち血管射影光を選択的に固体撮像素子14cに導光することができるため、当該指表面反射近赤外光に基づく横縞ノイズ成分を制限することができ、かくして一段と画質を向上することができる。
また撮像装置3は、このようにして水平方向の輝度値が滑らかとなるように再構成された再構成血管画像RIMに基づいて血管形成パターンを抽出し、これを認証情報D2として生成することにより、指表面反射近赤外光に起因する血管形成パターンにおける抽出精度の低下を防止することができるため、信頼性の高い認証情報D2を生成することができ、この結果、認証時の信頼性を向上することができる。
以上の構成によれば、指差方向DXに対して直行する照射方向DYから近赤外光を指FGに照射し、この指FGの内方で散乱して得られる血管射影光に基づく血管画像を、当該照射方向DYに対応する水平方向の輝度値が滑らかとなるように再構成するようにしたことにより、指FGの表面で照射方向DYに沿って反射する近赤外光に基づく横縞ノイズ成分による画像中の血管成分への影響を低減することができ、かくして画質を向上することができる。
(1−4)他の実施の形態
なお上述の第1の実施の形態においては、生体の指FG内方における血管を撮像する撮像装置として、図1に示した構成の撮像部10を適用するようにした場合について述べたが、本発明はこれに限らず、この構成以外の構成でなる種々の撮像装置を適用するようにしても良い。
例えば図2との対応部分に同一符号を付した図13に示す撮像装置50を適用することもできる。この撮像装置50においては、近赤外光光源13(図2)の配置位置を変更してなる近赤外光光源51(51a及び51b)と、ガイド溝12(図2)の形状及び配置位置を変更してなるガイド溝52(52a及び52b)と、遮蔽部53a及び53bとが設けられている点で撮像装置10(図2)とは異なっている。
具体的には52(52a及び52b)を挟んで撮像開口部11とは反対側に近赤外光光源51(51a及び51b)が設けられ、当該ガイド溝52の表面を一部用いて、近赤外光光源13の照射方向DYを覆う遮蔽部53a及び53bが設けられている。
この撮像装置50を適用すれば、この遮蔽部53、ガイド溝52及び当該ガイド溝52にガイドされた指FGによって撮像開口部11への通常光の入射を低減することができるため、指FGの表面で照射方向DYに沿って反射する近赤外光に基づく横縞ノイズ成分のみならず、通常光に基づくノイズ成分による画像中の血管成分への影響をも低下させることができる。
また図14に示す撮像装置60を適用することもできる。この撮像装置60は、指FGを透過することにより得られる近赤外光を対象とする点で、指FG内方を散乱することにより得られる近赤外光を対象とする撮像装置10とは本質的に異なる構成となっている。
具体的にこの撮像装置60は、近赤外光を照射する近赤外光光源61(61a〜61c)を有し、この近赤外光光源61から照射される近赤外光の光路上には、当該近赤外光のうち特定の近赤外線帯域の光を透過する第1のフィルタ62、当該第1のフィルタ62を介して得られる光のうち静脈血に吸収される近赤外線帯域とその付近との光を透過する第2のフィルタ63及び固体撮像素子64が順次配置される。
そしてこの撮像部60においては、第1のフィルタ62と第2のフィルタ63との間に指FGを介挿し、かつ介挿された指FGを固定することができるようになされている。これに加えてこの撮像部60においては、通常光の入射を遮蔽する遮蔽部65が設けられており、これにより指FG内方における血管の撮像時に遮蔽部65外における雰囲気中の光や紫外光による近赤外光への影響を低減することができるようになされている。
この撮像装置60を適用すれば、通常光よりも大きい強度の近赤外光を指に照射することなく、露光時間制御処理(電子シャッタ)を実行することなく血管を撮像することができるため、消費電力を抑えると共に処理負荷を低減することができる。これに加えて通常光に基づくノイズ成分による画像中の血管成分への影響を大幅に低下させることができる。なお、この撮像装置60は、例えば家庭用電子機器、パーソナルコンピュータ又は携帯電話機等の端末装置に搭載する場合ではなく、単体で用いる場合に有効である。
さらに図14との対応部分に同一符号を付した図15に示すように、かかる撮像装置60の光路上において、近赤外光光源61及び第1のフィルタ62間に入射側偏光板70を設けると共に、第2のフィルタ63及び固体撮像素子64間に、入射側偏光板70の振動方向に対して直交する方向等の異なる方向に振動する受光側偏光板71を設けるようにしても良い。
この場合、撮像装置60では、近赤外光光源61から入射側偏光板70を介して指FGを透過することにより得られる近赤外光については、当該入射側偏光板70による偏光が解除されるため、受光側偏光板71を介して固体撮像素子64に入射され、これに対して指FG表面を反射する近赤外光については、当該入射側偏光板70による偏光が解除されないため、受光側偏光板71によって固体撮像素子64とは異なる方向に偏光されることとなる。従って、この図15に示す撮像装置60では、通常光に基づくノイズ成分による画像中の血管成分への影響を低下させることに加え、指FGの表面反射した近赤外光に基づくノイズ成分による画像中の血管成分への影響をも低下させることができる。
また上述の第1の実施の形態においては、撮像対象として、指FG内方における血管を適用するようにしたが、本発明はこれに限らず、例えば眼球部分、掌部分、腕部分、脹脛部分又は足底部分等のこの他種々の生体部位又は生体全身における血管を撮像することができる。
さらに上述の第1の実施の形態においては、生体に対して所定の照射方向から血管に特有の近赤外光を照射する照射手段として、照射方向DY(図3)から指FGの指腹に近赤外光を照射するようにした場合について述べたが、本発明はこれに限らず、この他種々の照射方向から近赤外光を照射することができる。またこの場合、血管のうち静脈のみ又は動脈のみに特異的な近赤外光を照射するようにしても良く、生体内方における血管以外の固有の構造物に特異的な光を照射するようにしても良い。
さらに上述の第1の実施の形態においては、照射手段から照射され、生体を経由して得られる近赤外光を固体撮像素子に導光する導光手段として、照射方向DYに対して直交する方向(即ち指差方向DXと同方向)に偏光軸を有する偏光板15を設けるようにした場合について述べたが、本発明はこれに限らず、要は、照射方向DYとは異なる方向に偏光軸を有するこの他種々の偏光板を設けることができる。
またこの場合、通常光の入射方向とは異なる方向に偏光軸を有する通常光用の振動板を、偏光板15に張り合わせるようにしても良い。このようにすれば、指FGの表面で反射した近赤外光に基づく横縞ノイズ成分のみならず、当該表面で反射した通常光に基づくノイズ成分による画像中の血管成分への影響をも低下させることができる。
またかかる偏光版15を設けずに、近赤外光透過フィルタ14a及び又はその他の光学系レンズを導光手段として用いるようにしても良い。
さらに上述の第1の実施の形態においては、固体撮像素子から出力される画像信号に基づく画像を、照射方向に対応する方向の輝度値が滑らかとなるように再構成する画像再構成手段として、指差方向DX(図3)に直交する方向に対応する水平方向の輝度値が滑らかとなるように再構成するようにした場合について述べたが、本発明はこれに限らず、指差方向DXから近赤外光を照射し、当該指差方向DXに対応する垂直方向の輝度値が滑らかとなるように再構成するようにしても良く、これらを組み合わせるようにしても良い。
またこの場合、具体的な再構成手法として、抽出範囲ARを1画素ずつジグザグ状(図
9)にシフトするようにして縦5画素を順次抽出し、当該抽出した縦5画素の輝度平均値を、このとき抽出した抽出範囲ARの中心画素に対応する再構成血管画像RIMの画素として生成するようにしたが、本発明はこれに限らず、例えば縦2列の互いに隣接する複数の画素を抽出範囲ARとするようにしても良く、また輝度平均値に代えて縦5画素に対して所定の周波数分析処理を施すことにより得られる値、あるいは抽出範囲ARの各画素をそれぞれ所定の割合で乗算し、当該乗算結果を加算することにより得られる値とするようにしても良い。
さらに上述の第1の実施の形態においては、画像処理部30において1枚の血管画像信号S10から血管形成パターンを抽出するようにした場合について述べたが、本発明はこれに限らず、時間的に連続する複数の血管画像信号(動画像信号)から血管形成パターンを抽出するようにしても良い。
この場合、画像処理部30は、画像再構成部31において、複数の血管画像信号それぞれに対して上述の画像再構成処理を行うことにより各再構成画像信号を生成するが、この場合、画像処理部30では、指FGの表面で照射方向DYに沿って反射する近赤外光に基づく横縞ノイズ成分のみならず、動画像信号特有の水平走査ノイズをも分散させることができる。
そして画像処理部30は、これら再構成画像信号に基づく血管形成パターンの抽出手法として、例えば各再構成画像信号から対応する血管画像信号を減算することにより横縞ノイズ成分をそれぞれ抽出し、最少の横縞ノイズ成分の再構成画像信号に対して2値化処理及びパターン抽出処理を順次を施すことにより血管形成パターンを抽出する。このようにすれば、指表面反射近赤外光に起因する血管形成パターンにおける抽出精度の低下をより防止することができるため、より信頼性の高い認証情報D2を生成することができる。
(2)第2の実施の形態
(2−1)認証装置の全体構成
図1との対応部分に同一符号を付した図16において、101は全体として第2の実施の形態による認証システムの全体構成を示し、撮像装置3(図1)に代えて撮像装置103が制御装置2に接続されている点で、第1の実施の形態による認証装置1(図1)とは異なっている。
(2−2)撮像装置の具体的構成
この撮像装置103は、図1との対応部分に同一符号を付した図17に示すように、撮像部110と、当該撮像部110を制御する撮像制御部120と、当該撮像部120で撮像された結果得られる血管画像に対して各種処理を施す画像処理部130とによって構成される。
(2−2−1)撮像部の構成
この撮像部110においては、近赤外光光源13a及び13b(図2)に代えて、図17及び図18に示すように、2つの光源を組とする一対の近赤外光光源113a、113bと、近赤外光光源113c、113dとを設けた点で、第1の実施の形態による撮像部10(図2)とは異なっている。
これら近赤外光光源113a、113b及び近赤外光光源113c、113dは、この撮像装置60の筺体の表面において、固体撮像素子14cを中心として互いに180度対向する位置に設けられている。
そして近赤外光光源113a、113bにおいては、図19に示すように、撮像開口部11上にガイドされた指FGの指差方向DXに直行する方向(以下、これを指差直交方向と呼ぶ)DY1から近赤外光が指腹に照射されるようにその位置が選定されており、また他方の近赤外光光源113c、113dにおいては、指差方向DXと同方向又は逆方向(以下、これを指差平行方向と呼ぶ)DY2から近赤外光が指腹に照射されるようにその位置が選定されている。
従って撮像部110においては、撮像開口部11上にガイドされた指FGの指腹に対して指差直交方向DY1から照射し、この指FG内方から得られる血管射影光(図21(A)において一点鎖線で示す)をカメラ部14に入射すると共に、当該ガイドされた指FGの指腹に対して指差平行方向DY2から照射し、この指FG内方から得られる血管射影光(図21(B)において一点鎖線で示す)をカメラ部14に入射することができるようになされている。
かかる構成に加えてこの撮像部110のカメラ部14では、偏光板15(図2)に代えて、指差平行方向DY2と同方向に偏光軸を有する偏光板115aと、指差直交方向DY1と同方向に偏光軸を有する偏光板115bとを張り合わせてなる偏光板115が設けられている。
この場合、カメラ部14(図17)では、近赤外光光源113a、113bから指差直交方向DY1に照射されている場合において、当該指差直交方向DY1に垂直である方向からの指表面反射近赤外光は偏向板115aにより光路から逸れ、これに対して血管射影光(散乱光)は散乱光であるため偏向板115a及び115bをそれぞれ通過することとなる。
一方、近赤外光光源113c、113dから指差平行方向DY2に照射されている場合において、当該指差平行方向DY2に垂直である方向からの指表面反射近赤外光は偏向板115bにより光路から逸れ、これに対して血管射影光(散乱光)は散乱光であるため偏向板115a及び115bをそれぞれ通過することとなる。
従ってこのカメラ部14は、近赤外光光源113a、113b又は近赤外光光源113c、113dから指FGを経由して得られる血管射影光及び指表面反射近赤外光のうち、当該血管射影光を選択的に固体撮像素子14cに導光することができるようになされている。
かくしてこの撮像部110においては、指差直交方向DY1から指FGを経由して得られる血管射影光を固体撮像素子14cを介して血管画像信号S10aとして画像処理部130に送出し、一方、指差平行方向DY2から指FGを経由して得られる血管射影光を固体撮像素子14cを介して血管画像信号S10bとして画像処理部130に送出するようになされている。
(2−2−2)撮像制御部の構成
撮像制御部120は、図18及び図4との対応部分に同一符号を付した図20に示すように、光源駆動部21(図4)に代えて、近赤外光光源113a、113bと近赤外光光源113c、113dとを交互に時分割制御する光源駆動部121が設けられた点で、撮像制御部20(図4)とは異なっている。
すなわち撮像制御部120は、通常光の強度よりも近赤外光が大きくなるように予め設定された電圧値に対応する光源駆動信号S3a及びS3bを、所定の期間ごとに対応する近赤外光光源113a、113b及び近赤外光光源113c、113dに出力するようにして、当該近赤外光光源113a、113bと近赤外光光源113c、113dとを時分割で交互に駆動するようになされている。
この結果、近赤外光光源113a、113bと近赤外光光源113c、113dとが交互に点灯し、図21に示すように、撮像開口部11上にガイドされた指FGには、通常光よりも大きい強度の近赤外光が指差直交方向DY1(図21(A)において一点鎖線で示す)及び指差平行方向DY2(図21(B)において一点鎖線で示す)から交互に照射されることとなる。
この場合、上述した撮像部110では、偏光板115(図17)により指表面反射近赤外光が光路外に逸らされるが、当該指表面反射近赤外光の全てが指差直交方向DY1又は指差平行方向DY2に垂直である方向へ反射することはないため、一部の指表面反射近赤外光は血管射影光と共に固体撮像素子14cに導光されることとなる。
従って、この固体撮像素子14cから出力される血管画像信号S10aに基づく血管画像BIMaには、図21(C)にも示すように、血管射影光に基づく血管成分と共に指表面反射近赤外光に基づくノイズ成分が、指差直交方向DY1に対応する水平方向に出現することとなる(以下、この水平方向のノイズ成分を水平ノイズ成分と呼ぶ)。
一方、固体撮像素子14cから出力される血管画像信号S10bに基づく血管画像BIMbには、図21(D)にも示すように、血管射影光に基づく血管成分と共に指表面反射近赤外光に基づくノイズ成分が、指差平行方向DY2に対応する垂直方向に出現することとなる(以下、この垂直方向ノイズ成分を垂直ノイズ成分と呼ぶ)。
(2−2−3)画像処理部の構成
画像処理部130は、かかる水平ノイズ成分及び垂直ノイズ成分が滑らかとなるように対応する血管画像BIMa及び血管画像BIMbを再構成する画像再構成部131が画像再構成部31(図4)に代えて設けられた点、当該再構成された血管画像BIMa及びBIMbの2値血管画像から共通部分を抽出するパターン抽出部133がパターン抽出部33(図4)に代えて設けられた点で、画像処理部30(図4)とは異なっている。
画像再構成部131は、固体撮像素子14cから出力される血管画像信号S10a及びS10b双方の輝度ヒストグラムを生成し、これら輝度ヒストグラムにおいて対応する輝度値ごとに画素数の差を算出する。
そして画像再構成部131は、各輝度値の画素数の差の合計(以下、これを画素数差合計と呼ぶ)が所定の閾値以上である場合に、血管画像信号S10a及びS10b双方に対して、画像再構成部31における画像処理(図12)と同様の処理を実行するようになされている。
すなわち画像再構成部131は、血管画像信号S10aにおける輝度ヒストグラムのヒストグラム波形パターンに対応する抽出範囲ARにおける指差平行方向の画素数を、情報記憶メモリ34が記憶されたテーブルを参照して決定する。
そして画像再構成部131は、図8及び図9で上述したように、このとき決定した例えば縦5画素の輝度平均値を当該縦5画素の中心画素に対応する再構成血管画像RIM(図8)の画素として順次生成し、かくして生成された再構成血管画像RIMの再構成血管画像信号S11aを2値化部32に送出する。
また、画像再構成部131は、血管画像信号S10bについても同様にして、当該血管画像信号S10bにおける輝度ヒストグラムのヒストグラム波形パターンから対応する抽出範囲ARにおける指差直交方向の画素数を決定した後、当該決定した例えば横5画素の輝度平均値を当該横5画素の中心画素に対応する再構成血管画像(図示せず)の画素として順次生成し、かくして生成された再構成血管画像の再構成血管画像信号S11bを2値化部32に送出する。
このようにして画像再構成部131は、図10で示した実験結果と同様に、血管画像BIMaに含まれる水平ノイズ成分(図21(C))及び血管画像BIMbに含まれる垂直ノイズ成分(図21(D))を分散し、これにより水平ノイズ成分及び垂直ノイズ成分が滑らかとなるように対応する血管画像BIMa及び血管画像BIMbを再構成することができるようになされている。
なお、画像再構成部131は、かかる画像処理を実行しない場合には、固体撮像素子14cから出力される血管画像信号S10a、S10bをそのまま再構成血管画像信号S11a、S11bとして2値化部32に送出するようになされている。
この再構成血管画像信号S11a、S11bは、2値化部32により2値血管画像データD1a、D1bとして生成され、パターン抽出部133に送出される。
パターン抽出部133は、図22に示すように、上述の画像再構成部131の画像再構成処理により分散しきれずに残った水平ノイズ成分及び血管に相当する血管成分からなる2値血管画像と、垂直ノイズ成分及び血管成分からなる2値血管画像とのうち、当該2値血管画像双方の共通部分となる血管成分を抽出する。
実際には、パターン抽出部133は、図23に示すように、2値血管画像データD1a、D1b双方の2値血管画像における対応する画素同士をそれぞれ加算し、この加算結果から、画素値が「2」となる共通部分の画素(以下、これを共通部分画素と呼ぶ)を抽出する。
そしてパターン抽出部133は、このとき抽出した共通部分画素を認証情報D10として生成し、これを認証装置4(図16)に送出するようになされている。
(2−2−4)撮像処理手順
ここで、上述の撮像装置103(撮像部110、撮像制御部120及び画像処理部130)による撮像処理は、図24に示す撮像処理手順RT2に従って行われる。
すなわち撮像装置103は、制御装置2(図16)から撮像命令を受けると、この撮像処理手順RT2をステップSP10において開始し、続くステップSP11に進んで、このときガイド溝12にガイドされた指FGに対して近赤外光光源113a、113bから指差直交方向DY1の近赤外光を照射することにより当該指FG内方の血管を撮像し、続くステップSP12に進んで、近赤外光光源113c、113dから指差平行方向DY2の近赤外光を照射することにより当該指FG内方の血管を撮像する。
そして撮像装置103は、続くステップSP13に進んで、ステップSP11及びSP12での撮像結果として得られた血管画像信号S10a及びS10b双方の輝度ヒストグラムにおいて対応する輝度値ごとに画素数の差(画素数差合計)を算出し、この算出結果に基づいて、当該血管画像信号S10a及びS10bに対して画像処理(図12)を施すか否かを判定する。
ここで肯定結果が得られた場合(画素数差合計が所定の閾値以上である場合)、このことは血管画像信号S10a及びS10b双方又はいずれか一方においてノイズ成分(水平ノイズ成分及び又は垂直ノイズ成分)が多く含まれていることを意味する。
従ってこの場合、撮像装置103は、続くステップSP14に進んで、血管画像信号S10a、S10bに対して、図12におけるステップSP1〜ステップSP7までの画像処理を施して再構成血管画像信号S11a、S11bを生成した後、次のステップSP15に進む。
これに対して否定結果が得られた場合(画素数差合計が所定の閾値未満である場合)、撮像装置103は、ステップSP14で画像処理を施すことなく次のステップSP15に進む。
そして撮像装置103は、このステップSP15において、ステップSP14での画像処理結果として得られる再構成血管画像信号S11a、S11b(血管画像信号S10a、S10b)の2値血管画像双方における共通部分を認証情報D10として生成し、これを認証装置4(図16)に送出した後、次のステップSP16に進んで、この撮像処理手順RT2を終了する。
このようにして撮像装置103は撮像処理を実行するようになされている。
(2−3)動作及び効果
以上の構成において、この撮像装置103は、指差方向DXに対して直行する指差直行方向DY1(図19)及び指差方向DXに平行な指差平行方向DY2(図19)の近赤外光を指FGに時分割で照射し、当該指FGの内方で散乱して得られる血管射影光を固体撮像素子14cに導光する。
そして撮像装置103は、この固体撮像素子14cから出力される血管画像信号S10a、S10b(図20)の2値血管画像から共通部分を抽出する。
従ってこの撮像装置103では、これら2血管画像(図22)のうち、指FGの表面で指差直行方向DY1及び指差平行方向DY2に沿って反射する近赤外光(指表面反射近赤外光)に基づく水平ノイズ成分及び垂直ノイズ成分だけを残して本来の血管成分を抽出することができるため、当該ノイズ成分による画像中の血管成分への影響を低減することができ、かくして画質を向上することができる。
この場合、撮像装置103は、必要に応じて、血管画像信号S10a、S10b(図20)の2値血管画像を生成する前に、指差直行方向DY1に対応する水平方向の輝度値が滑らかとなるように血管画像信号S10aに基づく血管画像を再構成すると共に、指差平行方向DY2に対応する垂直方向の輝度値が滑らかとなるように血管画像信号S10bの血管画像を再構成し、これら再構成結果の2値血管画像から共通部分を抽出する。
従ってこの撮像装置103では、本来の血管成分でないにもかかわらず、水平ノイズ成分に対応する画素と垂直ノイズ成分に対応する画素同士が共通部分となってしまう確率を、当該血管画像信号S10a、S10bの再構成により低減することができるようになるため、より適切に血管成分を抽出することができ、かくして画質を一段と向上することができる。
また撮像装置103は、このようにして共通部分を抽出した血管成分を認証情報D10として生成することにより、信頼性の高い認証情報D10を生成することができ、この結果、認証時の信頼性を向上することができる。
以上の構成によれば、指差直行方向DY1及び指差平行方向DY2の近赤外光を指FGに時分割で照射し、当該指FGの内方で散乱して得られる血管射影光に基づく血管画像信号S10a、S10bの2値血管画像から共通部分を抽出するようにしたことにより、水平ノイズ成分及び垂直ノイズ成分だけを残して本来の血管成分を抽出することができるため、当該ノイズ成分による画像中の血管成分への影響を低減することができ、かくして画質を向上することができる。
(2−4)他の実施の形態
なお上述の第2の実施の形態においては、撮像対象として、指FG内方における血管を適用するようにしたが、本発明はこれに限らず、例えば眼球部分、掌部分、腕部分、脹脛部分又は足底部分等のこの他種々の生体部位又は生体全身における血管を撮像することができる。
また上述の第2の実施の形態においては、生体に対して第1の照射方向及び第1の照射方向とは異なる第2の照射方向から特定光を時分割で照射する照射手段として、指差直行方向DY1及び指差平行方向DY2から指FGの指腹に近赤外光を照射するようにした場合について述べたが、本発明はこれに限らず、この他種々の照射方向から近赤外光を照射することができる。またこの場合、血管のうち静脈のみ又は動脈のみに特異的な近赤外光を照射するようにしても良く、生体内方における血管以外の固有の構造物に特異的な光を照射するようにしても良い。
さらに上述の第2の実施の形態においては、照射手段から照射され、生体を経由して得られる近赤外光を固体撮像素子に導光する導光手段として、指差平行方向DY2と同方向に偏光軸を有する偏光板115aと、指差直交方向DY1と同方向に偏光軸を有する偏光板115bとを張り合わせてなる偏光板115を設けるようにした場合について述べたが、本発明はこれに限らず、要は、指差直交方向DY1(第1の照射方向)及び指差平行方向DY2(第2の照射方向)に垂直な方向とは異なる方向に偏光軸を有するこの他種々の偏光板を設けることができる。
またこの場合、通常光の入射方向とは異なる方向に偏光軸を有する通常光用の振動板を、偏光板115に張り合わせるようにしても良い。このようにすれば、指FGの表面で反射した通常光に基づくノイズ成分による画像中の血管成分への影響をも低下させることができるため、より画質を向上することができる。
またかかる偏光版115を設けずに、近赤外光透過フィルタ14a及び又はその他の光学系レンズを導光手段として用いるようにしても良い。
さらに上述の第2の実施の形態においては、第1の照射方向に対応する方向の輝度値が滑らかとなるように第1の画像を再構成すると共に、第2の照射方向に対応する方向の輝度値が滑らかとなるように第2の画像を再構成する再構成手段として、抽出範囲ARを1画素ずつジグザグ状(図9)にシフトするようにして縦5画素を順次抽出し、当該抽出した縦5画素の輝度平均値を、このとき抽出した抽出範囲ARの中心画素に対応する再構成血管画像RIMの画素として生成するようにした場合について述べたが、本発明はこれに限らず、例えば縦2列の互いに隣接する複数の画素を抽出範囲ARとするようにしても良く、また輝度平均値に代えて縦5画素に対して所定の周波数分析処理を施すことにより得られる値、あるいは抽出範囲ARの各画素をそれぞれ所定の割合で乗算し、当該乗算結果を加算することにより得られる値とするようにしても良い。
さらに上述の第2の実施の形態においては、2値化された第1の画像及び第2の画像の共通部分を抽出する抽出手段として、再構成血管画像信号S11a、S11bを2値化した2値血管画像(2値血管画像データD1a、D1b)を加算するようにした場合について述べたが、本発明はこれに限らず、例えば再構成血管画像信号S11a、S11bにおける所定の相互相関結果に対応する画素を共通部分(血管成分)として検出するようにしても良い。