JP2019057199A - 画像処理プログラム、画像処理方法、及び画像処理装置 - Google Patents

画像処理プログラム、画像処理方法、及び画像処理装置 Download PDF

Info

Publication number
JP2019057199A
JP2019057199A JP2017182189A JP2017182189A JP2019057199A JP 2019057199 A JP2019057199 A JP 2019057199A JP 2017182189 A JP2017182189 A JP 2017182189A JP 2017182189 A JP2017182189 A JP 2017182189A JP 2019057199 A JP2019057199 A JP 2019057199A
Authority
JP
Japan
Prior art keywords
image
subject
spatial frequency
image processing
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017182189A
Other languages
English (en)
Other versions
JP7056052B2 (ja
Inventor
聡史 仙波
Satoshi Senba
聡史 仙波
幸弘 安孫子
Yukihiro Abiko
幸弘 安孫子
壮一 ▲浜▼
壮一 ▲浜▼
Soichi Hama
智司 前田
Tomoji Maeda
智司 前田
元 名田
Hajime Nada
元 名田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017182189A priority Critical patent/JP7056052B2/ja
Priority to EP18194752.4A priority patent/EP3460716A1/en
Priority to US16/135,058 priority patent/US10867153B2/en
Publication of JP2019057199A publication Critical patent/JP2019057199A/ja
Application granted granted Critical
Publication of JP7056052B2 publication Critical patent/JP7056052B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/11Hand-related biometrics; Hand pose recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1312Sensors therefor direct reading, e.g. contactless acquisition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1318Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • G06V40/145Sensors therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)

Abstract

【課題】被写体の姿勢を判定すること。【解決手段】撮像装置により被写体が撮像された撮像画像を取得し、撮像画像に含まれる複数の領域のそれぞれに基づいて、複数の空間周波数特性を算出し、算出された複数の空間周波数特性に応じて、撮像装置に対する被写体の姿勢を判定する。また、撮像装置により被写体が撮像された撮像画像を取得し、撮像画像に含まれる複数の領域のそれぞれに基づいて、複数の空間周波数特性を算出し、算出された複数の空間周波数特性に応じて、撮像装置に対する被写体の姿勢を判定し、被写体の姿勢が適正であると判定された場合、撮像画像と記憶部に記憶された登録画像との照合処理を実行してもよい。【選択図】図6

Description

本発明は、画像処理プログラム、画像処理方法、及び画像処理装置に関する。
生体認証技術において、カメラを備えたセンサを用いて非接触で生体画像を取得する場合、撮像時に被写体の姿勢や被写体とセンサとの距離を適切に保持することが望ましい。そのため、被写体の姿勢や被写体とカメラとの距離を矯正する物理的なガイドがしばしば利用される。しかしながら、携帯端末等で生体認証を実現する状況においては、物理的なガイドの利用は携帯性を損ねる。そこで、物理的なガイドを使用せずに、被写体とカメラとを適切な距離に誘導することが求められる。
特開2015−072155号公報では、複数の画像のぼけ方の違いから被写体の距離情報を算出する技術が開示されている。
特開2015−072155号公報 特開2005−115548号公報
従来技術では、被写体とカメラとの距離を算出できたとしても、被写体の姿勢を検知することは難しい。ここで、被写体の姿勢とは、カメラに対する被写体の傾きと言い換えることもできる。例えば、手のひら認証においては、被写体である手のひらはカメラに対してできる限り平行の姿勢で撮像されることが望まれる。
一の側面では、本発明は、被写体の姿勢を判定することを目的とする。
本発明の一観点によれば、撮像装置により被写体が撮像された撮像画像を取得し、撮像画像に含まれる複数の領域のそれぞれに基づいて、複数の空間周波数特性を算出し、算出された複数の空間周波数特性に応じて、撮像装置に対する被写体の姿勢を判定する。
一の側面において、本発明は、被写体の姿勢を判定することを可能とする。
図1は、画像処理装置のハードウェア構成例を示す図である。 図2は、生体を含む画像の一例を示す図である。 図3は、空間周波数の特性を示すパワースペクトル画像の一例を示す図である。 図4は、生体を含む画像の一例を示す図である。 図5は、空間周波数の特性を示すパワースペクトル画像の一例を示す図である。 図6は、画像処理手順の一例を示すフローチャートである。 図7は、生体を含む画像の一例を示す図である。 図8は、分割画像の一例を示す図である。 図9は、高速フーリエ変換の結果の一例を示す図である。 図10は、被写体の姿勢の一例を示す図である。 図11は、認証処理手順の一例を示すフローチャートである。 図12は、ガイド表示の一例を示す図である。 図13は、判定結果の一例を示す図である。 図14は、認証結果の一例を示す図である。
以下、図面を参照して各実施形態について詳細に説明する。各実施形態における各処理は適宜組み合わせることが可能である。なお、各実施形態を説明するための全図において、同一部分には原則として同一の符号を付し、その繰り返しの説明は省略する。
図1は、各実施形態の画像処理装置10のハードウェア構成例を示す図である。各実施形態の画像処理装置10は、制御装置11、記憶装置12、表示装置13、撮像装置14、照明装置15、入力装置16を有し、これらはシステムバス17で相互に接続されている。
制御装置11は、画像処理装置10を制御する装置である。制御装置11は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等の電子回路が用いられても良い。制御装置11は、記憶装置12に格納されているOS(Operating System)、各種プログラムに基づいて、各種演算や各ハードウェア構成部とのデータ入出力等、画像処理装置10の動作を制御して、各種処理を実行する。制御装置11は、プログラムの実行中に必要となる各種情報等は、例えば記憶装置12から取得することができる。なお、制御装置11が行う処理の一部を専用のハードウェアを用いて実現しても良い。制御装置11は、画像処理プログラムや認証処理プログラムに基づき、各実施形態に係る処理を実行する。
記憶装置12は、画像処理プログラムや認証処理プログラムを記憶する。記憶装置12は、主記憶装置及び補助記憶装置を含んでも良い。主記憶装置は、例えば、制御装置11に実行させるOSやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、主記憶装置は、制御装置11による処理に必要な各種データを記憶する。なお、主記憶装置としては、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)等を用いても良い。
補助記憶装置は、例えば、画像処理プログラムや認証処理プログラムを記憶する。補助記憶装置は、制御装置11からの指示に基づいて、記憶された各種情報の読み出しや、書き込みを行うことができる。補助記憶装置としては、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等のストレージ等を用いても良い。補助記憶装置は、処理において使用する情報や処理の結果を記憶しても良い。また、主記憶装置と補助記憶装置は、互いの機能を担い合っても良い。
表示装置13は、例えば、液晶ディスプレイ、タッチパネル等を用いても良い。表示装置13は、制御装置11からの指示に基づき、画像処理プログラムの実行経過や実行結果、認証処理の結果等を表示する。
撮像装置14は、制御装置11からの指示に基づき、利用者の生体情報を撮像する撮像装置であり、各実施形態においては、利用者の手のひらを含む画像を非接触で撮像する。撮像装置14としては、例えば、CMOS(Complementary Metal Oxide Semiconductor)カメラやCCD(Charge Coupled Device)カメラを用いても良い。また、撮像装置14は、赤外光カットフィルタを搭載しなくても良い。
照明装置15は、撮像装置14が撮像を行う際に被写体を照らす装置であり、LED(Light Emitting Diode)光源を用いても良く、赤外線LEDであっても良い。
入力装置16は、利用者からの入力を受け付ける装置であり、例えば、タッチパネル、キーボード、マウス等を用いても良い。
以下、第1実施形態に係る画像処理装置10の制御装置11の画像処理の具体的な動作を例示する。制御装置11は、撮像装置14により撮像された生体を含む画像を取得する。図2は、生体を含む画像20の一例を示す図である。画像20は、一例として、利用者の手のひらが撮像された画像であり、手のひらの掌紋21や手の内部を通る静脈22や細かい皺23が写っている。掌紋21は、一般的に手相と呼ばれており、手のひらにある大きな皺を指す。細かい皺23は、指先の指紋と同様の細かい皺を指す。なお、図2の画像20や、以降で説明する同様の図においては、符号の記載を一部省略する。
制御装置11は、取得したカラー画像をモノクロ化(単色化)する。例えば、制御装置11は、カラー画像の各画素のRGBの輝度値のうち、いずれかの要素のみに基づいてモノクロ画像を生成しても良い。制御装置11は、例えば、取得したカラー画像の各画素のRの輝度値のみを、各画素の新たな輝度値として採用し、モノクロ画像を生成しても良い。
制御装置11は、生成したモノクロ画像を複数の領域に分割し、複数の領域のそれぞれに対して、空間周波数の特性を算出する。分割の例としては、制御装置11は、例えば、モノクロ画像を左右に2分割しても良く、上下に2分割しても良い。
ここで、空間周波数とは、空間的な周期を有する構造上の性質であり、単位長に含まれる構造の繰り返しの多さを示す。2次元の画像においては、画像を色の濃淡を振幅とする2次元波の重ね合わせとして捉えることができるため、例えば、手のひらの画像20に対して空間周波数を求めることにより、画像20に含まれる手のひらの掌紋21、静脈22、細かい皺23等が構成するパターンの複雑さ(細かさ)を評価することが可能となる。
また、空間周波数の特性とは、2次元空間周波数に関するパワースペクトルのことを言う。制御装置11は、例えば、分割した複数の領域のそれぞれに対して、離散フーリエ変換(DFT)又は高速フーリエ変換(FFT)を用いて2次元フーリエ変換を行うことにより、複数の領域のそれぞれに対応する空間周波数の特性を算出しても良い。
図3は、空間周波数の特性を示すパワースペクトル画像30の一例を示す図である。パワースペクトル画像30は、例えば、画像20のモノクロ画像を高速フーリエ変換し、算出された空間周波数に関するパワースペクトルを、中心に近いほど低周波の成分を配置し、周囲に広がるほど高周波の成分を配置し、輝度で成分の量を表した画像である。パワースペクトル画像30は、中心から同距離にある位置は同じ周波数を示し、色が白いほどその位置の周波数の成分が多く含まれ、黒いほどその位置の周波数の成分が少ないことを示す。
従って、画像20のモノクロ画像を高速フーリエ変換した結果を示すパワースペクトル画像30は、画像20に低周波成分が多く含まれていれば中心部分の輝度が高くなり、高周波成分が多く含まれていれば周辺部の輝度が高くなる。
図4は、生体を含む画像40の一例を示す図である。画像40は、手のひらが撮像装置14の焦点距離より近くに位置した状態で、手のひらが撮像された画像である。画像40は、手のひらが撮像装置14の焦点距離より近くに位置した状態で撮像されているため、手のひらの掌紋21は写っているが、静脈22や細かい皺23がぼやけてしまいほとんど写っていない。
図5は、空間周波数の特性を示すパワースペクトル画像50の一例を示す図である。パワースペクトル画像50は、画像40のモノクロ画像を高速フーリエ変換した結果を示すパワースペクトル画像である。画像40は細かい皺23がぼやけているため低周波成分以外の周波数成分が少ない。このため、例えば画像20が手のひらが適正な姿勢及び位置で撮像された画像であるとした場合、適正な姿勢及び位置で撮像された画像に対応するパワースペクトル画像30と比較して、パワースペクトル画像50は中心から比較的近い部分を除く部分で輝度が低くなっていることが分かる。
なお、手のひらの姿勢が適正であるとは、例えば、手のひらの撮像装置14に対する傾きが比較的小さいことを意味する。また、手のひらの位置が適正であるとは、例えば、手のひらと撮像装置14との距離が撮像装置14の焦点距離と比較的一致していることを意味する。従って、手のひらの姿勢と位置が適正な状態で撮像された画像は、一定程度(手のひら認証を行うための情報が十分に取得できる程度)の鮮明さを有している。
また、制御装置11は、算出した複数の領域のそれぞれに対する空間周波数の特性を比較する。より具体的には、制御装置11は、複数の領域のそれぞれに対する空間周波数の特性に含まれる所定の範囲の周波数の成分の値をそれぞれ比較する。例えば、制御装置11は、領域Aに対応する空間周波数の特性に含まれる所定の範囲の周波数の成分の値の平均値Aを算出する。
所定の範囲とは、例えば、パワースペクトル画像において、中心から比較的近い部分と比較的遠い部分とを除くドーナツ形状の範囲とすることができる。所定の範囲は、例えば、中心から50ピクセル離れた位置から100ピクセル離れた位置までに相当する範囲としても良い。所定の範囲は、例示した範囲に限られるものではなく、範囲の幅を狭めることや、50ピクセルより内側の範囲や100ピクセルより外側の範囲であっても良く、高速フーリエ変換を行う元の画像の画素数に基づいて設定されても良い。また、所定の範囲とは、例えば、パワースペクトル画像において、単に中心から比較的近い部分を除く範囲(一例としては、図5において網掛けされた円の外側の範囲)とすることも可能である。
同様にして、制御装置11は、領域Bに対応する空間周波数の特性に含まれる所定の範囲の周波数の成分の値の平均値Bを算出する。そして、制御装置11は、算出した平均値Aと平均値Bとを比較する。制御装置11は、平均値Aと平均値Bとの差を算出しても良い。
制御装置11は、比較の結果に応じて、撮像装置14に対する画像20に撮像された生体(手)の姿勢を判定する。制御装置11は、例えば、平均値Aは平均値Bより小さく、平均値Aと平均値Bとの差が閾値以上である場合、領域Aに対応する手のひらの部分は、領域Bに対応する手のひらの部分より、撮像装置14に近いと判定しても良い。利用者が腕を伸ばして手のひらを下にして撮像している場合において、例えば、領域Aが画像の右側であって、領域Bが画像の左側であるとすると、制御装置11は、手のひらの左側が右側よりも撮像装置14に近くなっていると判定しても良い。この場合、制御装置11は、撮像装置14に対して手のひらが左に傾いていると判定しても良い。
また、制御装置11は、例えば、平均値Aと平均値Bとの差が閾値未満である場合、領域Aに対応する手のひらの部分と領域Bに対応する手のひらの部分とは撮像装置14とほぼ同距離にあり、撮像装置14に対して手のひらは水平であると判定しても良い。
第1実施形態に係る画像処置装置10の画像処理手順の一例について説明する。図6は、画像処置装置10の画像処理手順の一例を示すフローチャートである。図7は、生体を含む画像70の一例を示す図である。画像70は、手のひらが撮像されており、生体を含む画像の一例として、以下の説明を行う。
画像処理装置10の制御装置11は、撮像装置14により撮像された生体を含む画像を取得する(S101)。制御装置11は、例えば、画像70を取得する。
制御装置11は、取得した画像70をモノクロ画像71に変換する(S102)。制御装置11は、モノクロ画像71を複数の領域に分割する(S103)。図8は、分割画像の一例を示す図である。制御装置11は、例えば、モノクロ画像71を左右に分割し、分割画像80aと分割画像80bとを生成する。制御装置11は、モノクロ画像71の右側又は左側の半分を、白色や黒色やモノクロ画像71全体の輝度の平均値の色などの一色で塗りつぶすことにより、分割画像80aや分割画像80bを生成しても良い。図8は、白によって塗りつぶした場合を一例として示している。
制御装置11は、分割した複数の領域に基づく画像のそれぞれについて空間周波数特性を算出する(S104)。制御装置11は、例えば、分割画像80aと分割画像80bとをそれぞれ、塗りつぶした色を背景色とした縦横の画像数が同一の2の累乗の値である枠画像に埋め込み、生成した変換用画像をそれぞれ高速フーリエ変換する。
変換用画像としては、例えば、モノクロ画像71の各画素の輝度値の平均値を背景色とした512×512ピクセルの画像の中心に、分割画像80aと分割画像80bとのいずれかを配置した画像を使用しても良い。
制御装置11は、高速フーリエ変換によって、分割画像80aと分割画像80bとのそれぞれに対応する空間周波数特性を算出する。図9は、高速フーリエ変換の結果を示す図である。制御装置11は、分割画像80aと分割画像80bとのそれぞれに対応する空間周波数特性について、パワースペクトル画像90aとパワースペクトル画像90bとを生成しても良い。
制御装置11は、算出した空間周波数特性を比較する(S105)。制御装置11は、例えば、パワースペクトル画像90aとパワースペクトル画像90bとのそれぞれにおける中心から所定の距離離れた部分の周波数の成分の平均値の差分を算出しても良い。制御装置11は、算出した差分が閾値以上である場合に、分割画像80aと分割画像80bとのそれぞれに対応する空間周波数特性に差があると判定しても良い。
制御装置11は、比較の結果に基づいて、撮像装置14に対するモノクロ画像71に写った生体の姿勢を判定する(S106)。例えば、パワースペクトル画像90aとパワースペクトル画像90bとにおいて中心から所定の距離離れた領域における周波数の成分の平均値が、パワースペクトル画像90aの方が閾値以上小さい場合、パワースペクトル画像90aに対応する分割画像80aすなわちモノクロ画像71の右側は高周波成分が少なく、ぼやけてしまっていることが分かる。制御装置11は、例えば、モノクロ画像71の右側に対応する被写体の手のひらの左側が撮像装置14の適切な撮像距離より近くに位置していると判定しても良い。
制御装置11は、表示装置13に判定の結果を表示する(S107)。図10は、被写体の姿勢の一例を示す図である。判定結果は、例えば、図10で示す様に、被写体である手のひら100の親指101側が撮像装置14に近いことを示す。制御装置11は、「手のひらが左に傾いています」、「手のひらの親指側をカメラから少し遠ざけて下さい(右手の場合)」といった内容の表示を行っても良い。
以上より、画像処理装置10は、画像に撮像された生体の撮像装置14に対する姿勢を判定することができるため、利用者に被写体の姿勢の情報をフィードバックすることができる。
なお、左右で分割する例を挙げたがこれに限られるものではなく、制御装置11は、例えば、画像を上下で分割し、手のひらの指先側や手首側の傾きを判定しても良い。更に、制御装置11は、画像を左右で分割した分割画像と、上下で分割した分割画像の4つの分割画像に基づいて、処理を実行しても良い。
この場合、制御装置11は、取得した手のひらの画像に基づいて、手のひらの右側、左側、指先側、手首側の4つの部分の傾きを判定できる。例えば、手のひらの左側と指先側とが撮像装置14に近いと判定されたとすると、制御装置11は、「手のひらの左側と指先側とが下がっている」旨の内容の表示を行っても良い。
続いて、第2実施形態に係る画像処理装置10の制御装置11の認証処理の具体的な動作を例示する。第2実施形態の説明において、第1実施形態と同様の部分については、同一の符号を付し、一部説明を省略する。
画像処理装置10は、制御装置11が記憶装置12に記憶された認証処理プログラムを読み込み実行することにより、生体認証である認証処理を行う。一例として、画像処理装置10は、撮像装置14が撮像した認証対象の生体を含む画像と、データベースに予め登録された登録画像との照合を行う。より具体的には、画像処理装置10は、認証処理時に撮像された画像に含まれる静脈パターンとデータベースに登録された静脈パターンとの類似度が閾値以上である場合に、認証対象である利用者がデータベースに登録された登録者と同一人物であると判定しても良い。
第2実施形態に係る画像処置装置10の認証処理手順の一例について説明する。図11は、画像処置装置10の認証処理手順の一例を示すフローチャートである。認証処理のうちS101からS106については、第1実施形態と同様であるため、詳しい説明は省略する。
画像処理装置10の制御装置11は、表示装置13に、認証の開始を促すガイドを表示する(S201)。図12は、ガイド表示の一例を示す図である。なお、表示装置13がタッチパネルである場合、表示装置13は入力装置16の機能も備える。
制御装置11は、例えば、図12に示すような認証を開始するためのガイドを表示装置13に表示しても良い。制御装置11は、入力装置16としての表示装置13を介して、利用者からの認証を開始する入力を受け付けると、撮像装置14により撮像を行う(S202)。制御装置11は、例えば、表示装置13に表示した認証ボタンへの入力を検知すると、撮像を開始しても良い。
次に、制御装置11は、撮像装置14により撮像された生体を含む画像を取得する(S101)。制御装置11は、取得した画像をモノクロ画像71に変換する(S102)。制御装置11は、モノクロ画像71を複数の領域に分割する(S103)。制御装置11は、分割した複数の領域に基づく画像のそれぞれについて空間周波数特性を算出する(S104)。制御装置11は、算出した空間周波数特性を比較する(S105)。制御装置11は、比較の結果に基づいて、撮像装置14に対するモノクロ画像71に写った被写体の姿勢を判定する(S106)。
次に、制御装置11は、判定した被写体の姿勢が照合に適切か判定する(S203)。制御装置11は、例えば、撮像装置14に対して被写体の姿勢が傾いている場合は、照合に適切でないと判定しても良く、撮像装置14に対して被写体の姿勢が水平又はほとんど水平である場合は、照合に適切であると判定しても良い。
被写体の姿勢が適切でないと判定された場合(S203No)、制御装置11は、表示装置13に判定の結果を表示する(S107)。図13は、判定結果の一例を示す図である。制御装置11は、再度、利用者からの認証を開始する入力を受け付けると、S202に戻って、処理を繰り返す。
被写体の姿勢が適切と判定された場合(S203Yes)、制御装置11は、S102で生成したモノクロ画像71から生体情報を抽出する(S204)。制御装置11は、例えば、生体情報として、静脈パターンを抽出しても良い。制御装置11は、抽出した生体情報と、記憶装置12に予め登録された登録情報との照合を行い、一致するか判定する(S205)。照合については、特定の登録情報とのみ照合を行う1対1の照合でも良く、多数の登録情報との照合を行う1対Nの照合であっても良い。
生体情報が一致する場合(S205Yes)、制御装置11は、利用者と登録者が同一の人物であると判定し、利用者の認証は成功として認証処理を終了する(S206)。認証が成功した場合、制御装置11は、利用者のログイン処理の実行や、各種データへのアクセスを許可するなどを行っても良い。
生体情報が一致しない場合(S205No)、制御装置11は、利用者の認証は失敗として、表示装置13に認証結果を表示する(S207)。図14は、認証結果の一例を示す図である。制御装置11は、例えば、認証結果として認証に失敗した旨の表示をしても良く、認証のやり直しを促す表示を行っても良い。
以上より、画像処理装置10は、画像に撮像された生体の撮像装置14に対する姿勢を判定することができるため、利用者に姿勢の情報をフィードバックすることができる。例えば、手のひらの傾きを指摘することにより、利用者は手の姿勢を撮像に適した姿勢に調整することができる。画像処置装置10は、撮像装置14に対する被写体の姿勢が適切な場合、姿勢を判定した画像を用いて照合を行い、認証処理を実行する。そのため、画像処置装置10は、照合に適した画像のみ照合処理を実行することになる。
更に、画像処理装置10はスタンドアローンの端末として説明したが、これに限られるものではない。例えば、画像処理装置10は、ネットワークを介して、外部のサーバ装置と接続されても良い。この場合、各実施形態で説明した処理の一部が、サーバ装置で行われても良い。
一例として、第2実施形態の変形例を説明する。変形例の認証処理のうちS106までは上述の手順と同じであるため、説明を省略する。画像処理装置10は、被写体の姿勢が適切と判定された場合(S203Yes)、S102で生成したモノクロ画像71をサーバ装置に送信する。サーバ装置において、S204とS205と同様の処理が実行される。画像処理装置10は、サーバ装置における処理の結果を受信し、その結果に基づいて、S206又はS207の処理を実行する。変形例のように、各実施形態はクライアントサーバのシステムにも適用が可能であり、それにより処理負荷の分散を行っても良い。
本発明は、上述した各実施形態の構成及び手順に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜処理方法の変更、組み換え等が可能である。
10:画像処置装置
11:制御装置
12:記憶装置
13:表示装置
14:撮像装置
15:照明装置
16:入力装置
17:システムバス
20,40,70:画像
21:掌紋
22:静脈
23:細かい皺
30,50,90a,90b:パワースペクトル画像
80a,80b:分割画像
100:手のひら
101:親指

Claims (10)

  1. 撮像装置により被写体が撮像された撮像画像を取得し、
    前記撮像画像に含まれる複数の領域のそれぞれに基づいて、複数の空間周波数特性を算出し、
    算出された前記複数の空間周波数特性に応じて、前記撮像装置に対する前記被写体の姿勢を判定する、
    処理をコンピュータに実行させることを特徴とする画像処理プログラム。
  2. 前記判定の処理において、前記被写体の姿勢が適正であると判定された場合、前記撮像画像と記憶部に記憶された登録画像との照合処理を実行する、
    ことを特徴とする請求項1に記載の画像処理プログラム。
  3. 前記被写体の姿勢は、前記撮像装置に対する前記被写体の傾きである、
    ことを特徴とする請求項1に記載の画像処理プログラム。
  4. 前記被写体は、手のひらである、
    ことを特徴とする請求項1に記載の画像処理プログラム。
  5. 前記複数の領域は、前記撮像画像の右側領域と左側領域、及び/又は、前記撮像画像の上側領域と下側領域を含む、
    ことを特徴とする請求項1に記載の画像処理プログラム。
  6. 前記判定する処理は、前記複数の空間周波数特性を比較し、所定の範囲の空間周波数の成分の差分が閾値以上である場合、前記複数の領域のうち、前記所定の範囲の空間周波数の成分が少ない空間周波数特性に対応する特定の領域に対応する前記被写体の部分が、前記被写体の他の部分より前記撮像装置に近いと判定する処理を含む、
    ことを特徴とする請求項1に記載の画像処理プログラム。
  7. 前記所定の範囲の空間周波数の成分の差分は、前記複数の空間周波数特性のそれぞれの前記所定の範囲の空間周波数の成分の平均値の差分である、
    ことを特徴とする請求項5に記載の画像処理プログラム。
  8. 前記複数の空間周波数特性のそれぞれの前記所定の範囲の周波数の成分の平均値は、前記複数の空間周波数特性のそれぞれを、中心に近いほど低周波の成分が配置され周囲に広がるほど高周波の成分が配置されるパワースペクトル画像として表現した場合の、前記パワースペクトル画像のそれぞれにおける中心から所定の距離を有する特定の範囲に含まれる成分の平均値である、
    ことを特徴とする請求項7に記載の画像処理プログラム。
  9. 撮像装置により被写体が撮像された撮像画像を取得し、
    前記撮像画像に含まれる複数の領域のそれぞれに基づいて、複数の空間周波数特性を算出し、
    算出された前記複数の空間周波数特性に応じて、前記撮像装置に対する前記被写体の姿勢を判定する、
    処理をコンピュータが実行することを特徴とする画像処理方法。
  10. 撮像装置と、
    前記撮像装置により被写体が撮像された撮像画像を取得し、前記撮像画像に含まれる複数の領域のそれぞれに基づいて、複数の空間周波数特性を算出し、算出された前記複数の空間周波数特性に応じて、前記撮像装置に対する前記被写体の姿勢を判定する、処理を実行する制御装置と、
    を有することを特徴とする画像処理装置。
JP2017182189A 2017-09-22 2017-09-22 画像処理プログラム、画像処理方法、及び画像処理装置 Expired - Fee Related JP7056052B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017182189A JP7056052B2 (ja) 2017-09-22 2017-09-22 画像処理プログラム、画像処理方法、及び画像処理装置
EP18194752.4A EP3460716A1 (en) 2017-09-22 2018-09-17 Image processing apparatus and image processing method
US16/135,058 US10867153B2 (en) 2017-09-22 2018-09-19 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017182189A JP7056052B2 (ja) 2017-09-22 2017-09-22 画像処理プログラム、画像処理方法、及び画像処理装置

Publications (2)

Publication Number Publication Date
JP2019057199A true JP2019057199A (ja) 2019-04-11
JP7056052B2 JP7056052B2 (ja) 2022-04-19

Family

ID=63787691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017182189A Expired - Fee Related JP7056052B2 (ja) 2017-09-22 2017-09-22 画像処理プログラム、画像処理方法、及び画像処理装置

Country Status (3)

Country Link
US (1) US10867153B2 (ja)
EP (1) EP3460716A1 (ja)
JP (1) JP7056052B2 (ja)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6813377B1 (en) * 1999-08-06 2004-11-02 Cognex Corporation Methods and apparatuses for generating a model of an object from an image of the object
JP2005115548A (ja) 2003-10-06 2005-04-28 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを記録した記録媒体
EP1779064A4 (en) * 2004-08-09 2009-11-04 Classifeye Ltd CONTACTLESS OPTICAL MEANS AND METHOD FOR 3D FINGERPRINT RECOGNITION
JP5326792B2 (ja) * 2009-05-14 2013-10-30 ソニー株式会社 静脈撮像装置、位置ズレ補間方法およびプログラム
US8938099B2 (en) * 2010-12-15 2015-01-20 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, distance measurement apparatus, and storage medium
BR112013020468A2 (pt) * 2011-02-15 2016-10-18 Fujitsu Frontech Ltd aparelho de autenticação, programa de autenticação, e método de autenticação
JP5691669B2 (ja) * 2011-03-08 2015-04-01 富士通株式会社 生体情報処理装置、生体情報処理方法、および生体情報処理プログラム
WO2012127630A1 (ja) * 2011-03-22 2012-09-27 富士通株式会社 生体認証システム、生体認証方法及び生体認証プログラム
JP6429444B2 (ja) 2013-10-02 2018-11-28 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP6369078B2 (ja) * 2014-03-20 2018-08-08 富士通株式会社 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
US9210306B1 (en) * 2014-05-31 2015-12-08 Apple Inc. Method and system for a single frame camera module active alignment tilt correction
KR20160027852A (ko) * 2014-09-02 2016-03-10 삼성전기주식회사 렌즈의 틸트각 측정 및 보정 시스템 및 그 방법
CN107133557B (zh) * 2017-03-08 2019-12-31 天地融科技股份有限公司 一种掌纹识别辅助方法、装置和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
望月 優介, 青木 公也: "焦点ぼけを利用した単眼視計測による表面形状再構築", FIT2007第6回情報科学技術フォーラム, vol. 一般講演論文集 第3分冊, JPN6021030189, 22 August 2007 (2007-08-22), JP, pages 339 - 340, ISSN: 0004566431 *

Also Published As

Publication number Publication date
EP3460716A1 (en) 2019-03-27
US20190095675A1 (en) 2019-03-28
US10867153B2 (en) 2020-12-15
JP7056052B2 (ja) 2022-04-19

Similar Documents

Publication Publication Date Title
US12067095B2 (en) Biometric authentication system, biometric authentication method, and storage medium
JP5747916B2 (ja) 生体認証装置および生体認証プログラム
US10896250B2 (en) Biometric authentication apparatus and biometric authentication method
US20180173863A1 (en) Biometric authentication of a user
JP2016081116A (ja) 生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラム
US20170091521A1 (en) Secure visual feedback for fingerprint sensing
JP5846291B2 (ja) 生体認証装置、生体認証方法、および生体認証プログラム
US20230359717A1 (en) Biometric authentication system, authentication terminal, and authentication method
JP5751019B2 (ja) 生体情報処理装置、生体情報処理方法、および生体情報処理プログラム
JP2018026012A (ja) 手のひら検知装置、掌紋認証装置、手のひら検知方法、及びプログラム
KR102205495B1 (ko) 지문 인식 방법 및 장치
JP7190987B2 (ja) 情報処理システム、および情報処理方法
US11507646B1 (en) User authentication using video analysis
JP7056052B2 (ja) 画像処理プログラム、画像処理方法、及び画像処理装置
WO2018207571A1 (ja) 認証情報処理プログラム及び認証情報処理装置
KR20190069028A (ko) 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치 및 방법
US10643317B2 (en) Biometric image processing device, biometric image processing method and computer-readable non-transitory medium
JP6798285B2 (ja) 生体認証装置、生体認証方法及びプログラム
WO2021162682A1 (en) Fingerprint sensors with reduced-illumination patterns
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법
JP4900701B2 (ja) 認証システム
TWI650712B (zh) 指紋擷取方法及指紋擷取模組
US20200285724A1 (en) Biometric authentication device, biometric authentication system, and computer program product
JP2020102014A (ja) 生体認証装置、生体認証プログラム、及び生体認証方法
US20200285874A1 (en) Biometric authentication device and computer program product

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20180528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220321

R150 Certificate of patent or registration of utility model

Ref document number: 7056052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees