JPWO2018110012A1 - 顔画像処理方法および顔画像処理装置 - Google Patents

顔画像処理方法および顔画像処理装置 Download PDF

Info

Publication number
JPWO2018110012A1
JPWO2018110012A1 JP2018556187A JP2018556187A JPWO2018110012A1 JP WO2018110012 A1 JPWO2018110012 A1 JP WO2018110012A1 JP 2018556187 A JP2018556187 A JP 2018556187A JP 2018556187 A JP2018556187 A JP 2018556187A JP WO2018110012 A1 JPWO2018110012 A1 JP WO2018110012A1
Authority
JP
Japan
Prior art keywords
face image
identification information
image processing
closed space
search range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018556187A
Other languages
English (en)
Other versions
JP7050231B2 (ja
Inventor
一樹 前野
昇 小林
千恵 吉広
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018110012A1 publication Critical patent/JPWO2018110012A1/ja
Application granted granted Critical
Publication of JP7050231B2 publication Critical patent/JP7050231B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

顔画像処理装置であるサーバー装置(10)は、制御部(11)と、記憶部(12)、入力部(13)と、出力部(14)と、登録データベース(15)とを備える。入場ゲートで取得した入場者の識別情報をサーバー装置(10)に送信し、制御部(11)で登録データベース(15)と照合し、入場者に関連する人物や入場者と合致した人物を検索範囲に含める。検索範囲を絞り込むことにより、検索負荷を低減し、エラーを抑制すると共に高速化を図る。

Description

本開示は、顔画像処理方法および顔画像処理装置に関する。
カメラ等で撮像された顔画像と識別情報とを照合して本人確認を行う方法が知られている(特許文献1、2参照)。
特許文献1は、被認証者が通過する経路に設けられ、前記被認証者を撮像する第1撮像部と、前記第1撮像部により撮像される前記被認証者の第1認証を行う第1認証部と、前記被認証者が通過する経路において、前記第1撮像部が設けられた位置より後に前記認証者が通過する位置に設けられ、前記被認証者を撮像する第2撮像部と、前記第1撮像部により撮像された前記被認証者の画像と、前記第2撮像部により撮像された前記被認証者の画像とを照合することにより、前記被認証者を認証する第2認証部とを備える認証システムであり、認証を効率よく行うことができることが開示されている。
特許文献2は、通行者の識別子を記録した無線タグと、ゲートに接近する通行者の顔を撮影するカメラとを備え、前記識別子に対応させてその通行者の顔画像を予め登録しておき、前記通行者がゲートに接近したときに、前記無線タグから認識した識別子に対応する通行者の顔画像と、前記カメラが撮影した通行者の顔画像とを比較して前記通行者の本人確認を行うことを特徴とするゲート管理システムである。無線タグを携帯する通行者をその識別子と顔画像とにより二重に本人確認を行うようにしたことによって、識別子と顔画像が異なる不正な通行者を排除することができ、無線タグを用いたゲート管理システムおける安全性を向上するとしたことが開示されている。
特開2005−129016号公報 特開2004−324183号公報
特許文献1、2は、顔画像処理に関する技術であるが、顔画像の照合処理はデータ量が多く、照合処理に時間が掛かるため、移動している人物を迅速、的確に認証できないという課題がある。
本開示は、顔画像処理を高速で行える顔画像処理方法および顔画像処理装置を提供することを目的とする。
本開示の顔画像処理方法は、所定の閉空間への入場を予め許可された人物の顔画像および当該顔画像に対応した絞込み情報を登録した登録データベースを用いた顔画像処理方法であって、前記閉空間に対して出入りする人物に対応する絞込み情報を取得する。さらに、登録されている前記絞込み情報および取得される前記絞込み情報を照合し、登録されている前記絞込み情報および取得される前記絞込み情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する。
本開示の顔画像処理装置は、所定の閉空間への入場を予め許可された人物の顔画像および当該顔画像に対応した絞込み情報を登録した登録データベースと、制御部と、を備え、当該制御部は、前記閉空間に対して出入りする人物に対応する絞込み情報を取得する。さらに、登録されている前記絞込み情報および取得される前記絞込み情報を照合し、登録されている前記絞込み情報および取得される前記絞込み情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する。
本開示によれば、登録データベースに登録された全ての人物の顔画像と照合する必要が無く、閉空間に対して出入りを許可された人物のみを検索対象範囲とするため、顔画像認証処理においてコンピュータに対する負荷を低減し、照合上のミスを抑制して、高速照合処理を可能とすることができる顔画像処理方法および顔画像処理装置を提供できる。
図1Aは、本開示の顔画像処理システムを構成するサーバー装置(顔画像処理装置)のブロック図である。 図1Bは、本開示の顔画像処理システムを構成する入場ゲートのブロック図である。 図2Aは、本開示の顔画像処理システムを構成する認証装置のブロック図である。 図2Bは、本開示の顔画像処理システムを構成する退場ゲートのブロック図である。 図3Aは、入場者が搭乗手続と共に航空チケットをかざす状況を示す図である。 図3Bは、制限区域内に入場した入場者が会員制ラウンジへの入場を試みる状況を示す図である。 図3Cは、会員制ラウンジの入り口付近にいる受付係が入場者が真の会員であることを確認する状況を示す図である。 図3Dは、撮像した顔画像と登録データベースに登録された顔画像とを照合する状況を示す図である。 図4Aは、サーバー装置の登録データベースに登録された全顔画像の模式図である。 図4Bは、本開示の顔画像処理方法により検索範囲が限定された顔画像の模式図である。 図5は、本開示の顔画像処理方法および顔画像処理装置の動作の一例を示すフロー図である。 図6は、図5の処理により登録データベースに登録された顔画像の検索範囲を限定する状況を示す模式図である。 図7は、本開示の顔画像処理方法および顔画像処理装置の動作の他の例を示すフロー図である。 図8は、図7の処理により登録データベースに登録された顔画像の検索範囲を限定する状況を示す模式図である。 図9は、入場ゲートにて識別情報及び顔画像を取得し、登録する処理を示すフロー図である。
以下、適宜図面を参照しながら、本開示に係る顔画像処理方法および顔画像処理装置を具体的に開示した実施形態(以下、「本実施形態」という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
以下、本開示を実施するための好適な本実施形態について、図面を参照して詳細に説明する。
図1A、1B、2A、2Bは、顔画像処理システムを構成する各部分のブロック図で、図1Aはサーバー装置、図1Bは入場ゲートであり、図2A、図2Bは、図1A、図1Bに続くブロック図で、図2Aは認証装置、図2Bは退場ゲートである。図1A、図1B、図2A、図2Bに基づいて本開示の顔画像処理システム、顔画像処理装置を説明する。
本開示の顔画像処理システムは、サーバー装置10(図1A参照)と、入場ゲート20(図1B参照)と、認証装置30(図2A参照)と、退場ゲート40(図2B参照)とを備える。サーバー装置10は顔画像処理システムの中核をなす顔画像処理装置を構成するホストコンピュータであり、入場ゲート20、認証装置30及び退場ゲート40は、サーバー装置10とネットワーク上で接続された端末等である。
入場ゲート20は、所定の閉空間に入場する入場者のID等から入場する人物の入場者識別情報(第2の識別情報)を取得し、認証装置30は、閉空間内を移動する入場者の顔を撮像し、退場ゲート40は、閉空間から退場する退場者の退場者識別情報を取得する。また、所定の閉空間とは、飛行場において航空機に乗り込む人がセキュリティチェックを受けた後に入場が許可される制限区域(コントロールドエリア)や、建物の認証ゲートの内部等であり、予め入場が許可された人のみが入場できる空間であって、公共空間の様に誰もが自由に出入りできる空間ではない。
サーバー装置(顔画像処理装置)10は、制御部11と、記憶部12、入力部13と、出力部14と、登録データベース(以下、登録DBと記述する)15とを備える。制御部11は、サーバー装置10全体を統括制御するプロセッサであり、記憶部12は、プログラムや必要な情報を記憶するメモリーであり、入力部13は、入場ゲート20、認証装置30及び退場ゲート40からのデータを受信し、出力部14は、入場ゲート20、認証装置30及び退場ゲート40にデータを送信する。サーバー装置10との送受信は、各端末20、30、40に設けられた入力部、出力部で行う。
登録DB15は、閉空間への入場を予め許可された人物のIDなどの識別情報(第1の識別情報)と当該識別情報に紐付けられた顔画像からなる情報を登録している登録データベースである。入場を予め許可された人物とは、航空会社の会員、その日のチケットを持っている人、その日のフライト予定を入れている人、その日に会員制会議に参加する人、等である。
入場ゲート20は、例えば、受付カウンター、セキュリティーゲート、出入国管理、等の閉空間である制限区域に入る場所に設置され、サーバー装置10と同様に、制御部21と、記憶部22、入力部23と、出力部24を備える。また、入場ゲートでの入場者のIDカード等による識別情報の取得、登録、ゲートの開閉などを行う入場開閉部25を備える。
認証装置30は、閉空間のさらに内部に設けられた特別エリアの入口などに設置され、サーバー装置10と同様に、制御部31と、記憶部32、入力部33と、出力部34とを備える。また、閉空間内を移動する人物の顔を撮像するカメラ35を備える。特別エリアとは、例えば、飛行場の制限区域の会員制ラウンジ、閉空間内の会員専用ルームや会員用会議室、閉空間内でさらに事前登録された参加者のみが入れる専用室(会場や会議室など)、入場者が限定されたホテルのVIPルームやフロア、等である。
退場ゲート40は、例えば、飛行機に乗り込む離陸ゲート、受付カウンター、等に設置され、サーバー装置10と同様に、制御部41と、記憶部42、入力部43と、出力部44とを備える。退場ゲートでの退場者のIDカード等による識別情報の取得、登録、ゲートの開閉などを行う退場開閉部45を備える。
尚、各制御部21、31、41、記憶部22、32、42、入力部23、33、43、及び出力部24、34、44は、サーバー装置10のそれぞれと機能が同様であるため説明を省略する。
図3A−3Dは、飛行場において、入場ゲート20を通過して閉空間(制限区域)に入る入場者が予め登録された会員であり、さらに制限区域内の会員制ラウンジに入室する状況の例を説明している。
所定のラウンジに入室する入場者100は、入場ゲート20の入場開閉部25に設けられた読み取り装置26に搭乗手続と共に識別情報(第2の識別情報)を記録した航空チケットをかざす(図3A参照)と、読み取り装置26は入場者100の識別情報を読み取り、入場開閉部25のゲートを開いて入場者100の制限区域(閉空間)への入場を許可する。
制限区域内に入場した入場者100が会員制ラウンジへの入場を試みる(図3B参照)。この際、会員制ラウンジの入り口付近にいる受付係101が、受付に備えられたPC等の端末を用いて、入場者100が真の会員であることを確認する(図3C参照)。
ここで、入場者100が真の会員であることを確認するために、顔認証を利用することが考えられる。例えば、会員制ラウンジの入口のドア等の近傍に設置された認証装置30のカメラ35が、入場者100の顔を撮像する(図3B参照)。そして、サーバー装置10が、撮像した顔画像と登録DB15に登録された顔画像とを照合して、入場者100が真の会員であると判定し(図3D参照)、判定結果を受付に備えられたPC等の端末に通知する。この結果、受付係101は、入場者100が真の会員であることを確認することができる(図3C参照)。
図4A、4Bは、登録DB15に予め登録された顔画像を示している。図4Aは、登録DB15に登録されている全顔画像が、撮像した顔画像との照合に際して検索対象となる、すなわち検索範囲に含められることを示している。ここで、上記のような顔認証を用いた判定は、円滑な会員の誘導等、サービスの向上に有用な方法である。しかしながら、登録DB15に登録された人物の識別情報(第1の識別情報)と紐付けられた顔画像の数が多い場合、図4Aに示したように全顔画像を検索対象とすると、検索対象の容量が大きくなり、照合に要する時間が長時間となるおそれがある。また、判定に際してミスが発生する可能性も高くなる。この結果、サービスの質が低下するおそれがある。
そこで、本開示の顔画像処理方法及び顔画像処理装置では、例えば図4Bに示すように、所定の条件の下で、検索範囲を必要な顔画像のみに絞り込むことにより、処理負荷を低減し、顔画像の照合時間を短縮することができる。複数の入場者(会員)が目的の特別エリア部屋(会議室、ラウンジなど)に移動する間に短時間で顔画像の照合を行うことができるため、入場者への煩わしさを低減することが可能である。また、偽造された会員カードやなりすましの入場等を未然に防げるため、セキュリティーの強化にも繋がる。
図5は、サーバー装置10、入場ゲート20、認証装置30及び退場ゲート40の情報のやりとりにより、顔画像の検索範囲を絞り込む手順を示したフロー図である。
入場ゲート20は、入場者の識別情報を取得し、この識別情報(第2の識別情報)を入場ゲート20の出力部24とサーバー装置10の入力部13を介してサーバー装置10に送信する(S1)。入場者の識別情報の取得は、機械的でも人為的でも良い。取得された識別情報は、入場ゲート20で一時的に登録された後、サーバー装置10に送信されても良く、登録されないまま直ちにサーバー装置10に送信されても良い。
サーバー装置10の制御部11は、入場ゲート20から送信された入場者の識別情報(第2の識別情報)と、登録DB15に登録された個人の識別情報(第1の識別情報)とを照合する(S2)。そして、制御部11は、照合の結果、図4Bに示すように、合致する人物の識別情報及び顔画像のみを有効化し、検索対象とすることで検索範囲に含める(S3)。
次に、制限区域への入場者の来場があったとする。入場ゲート20を通過した入場者の顔画像を認証装置30のカメラ35で撮像し、顔画像を入場ゲート20の出力部24とサーバー装置10の入力部13を介して、サーバー装置10に送信する(S4)。制御部11は、受信した顔画像と検索範囲が決定された顔画像の中から、顔画像を照合する(S5)。
顔画像での照合ができた場合は、認証装置30に結果を送信し、認証装置30はその結果を反映する(S6)。正規の入場者である場合は、入口のドアを開く、係員に正規の入場者が来ることを通知する等であり、正規の入場者で無い場合は、入口のドアを開けない、警備員に通報する等である。
次に制限区域から退場する退場者を想定する。退場ゲート40は、所定の読み取り装置等により退場者の識別情報(第2の識別情報)を、例えば退場ゲート40を通過する際に取得し、退場ゲート40の出力部44及びサーバー装置10の入力部13を介して、サーバー装置10に退場者の識別情報を送信する(S7)。
制御部11は、退場者と合致した識別情報(第1の識別情報)と顔画像を検索対象から除外する(S8)。ここでは、図6に示すように、図4Bで示した検索範囲から、退場者と合致した顔画像を除外する。
上記のフローによれば、登録DB15中の検索対象となる顔画像を減らし、検索範囲を絞り込むことができるため、制御部11による照合の時間を短縮するとともに、照合の判定ミスを抑制することが可能となる。
図7は、サーバー装置10、入場ゲート20及び認証装置30の情報のやりとりにより、顔画像の検索範囲を絞り込む他の手順を示したフロー図である。ステップS1〜S5は図5と同じである。そして、S5の後、本例では、認証装置30で取得した顔画像と一致する識別情報及び顔画像を検索範囲から除外する(S9)。すなわち、会員制ラウンジに入場した人物を検索対象、検索範囲から除外する(図8参照)。一旦会員制ラウンジ等の制限区域に入場した人物をその後に認証する必要性は低いため、このように検索対象から除外しても問題はない。このようにすると、退場ゲート40による処理が全くない状態でも、図5のフローによる処理とほぼ同等の効果を得ることができる。
図5、図7のフローは、前もって入場者がPC等の端末を用いてサーバー装置10にアクセスした上で、自己の識別情報を登録DB15にあらかじめ登録した状況を主に想定している。図9は、予め登録DB15に登録していない人物の顔画像を入場ゲート20で登録する処理のフローを示す。
入場ゲート20で入場する人物の識別情報(第2の識別情報)を取得するとともに、入場ゲート20に設置したカメラで同時に顔画像を撮像し、識別情報と顔画像を同時に入場ゲート20の出力部24からサーバー装置の入力部13に送信する(S10)。制御部11は、入力部13で受信した識別情報及び顔画像を登録DB15に登録する(S11)。認証装置30で顔画像を撮像し、照合の結果を反映する動作等以降の動作は、図4A、4Bの例と同様である。
例えば、当日のフライトでビジネスクラスを選んだ搭乗者は、ラウンジを使用することが可能であり、登録DB15に登録されていない人物も所定の閉空間を利用することがある。一時的に登録DBの検索範囲に含め、顔画像の照合を行い、退場後、当該データを無効にすることにより、顔画像照合処理の負荷を低減し、高速化を図ることが可能となる。
以上により、本実施形態の顔画像処理方法は、所定の閉空間への入場を予め許可された人物の顔画像および当該顔画像に対応した第1の識別情報を登録した登録データベースを用いた顔画像処理方法であって、前記閉空間に対して出入りする人物を識別する第2の識別情報を取得する。そして、前記第1の識別情報および前記第2の識別情報を照合し、前記第1の識別情報および前記第2の識別情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する。
これにより、登録データベースに登録された全ての人物の顔画像と照合する必要が無く、閉空間に対して出入りする人物のみを検索対象範囲とするため、顔画像認証処理におけるコンピュータに対する負荷を低減し、照合上のミスを抑制して、高速認証処理を可能とすることができる。特に、会員等の重要な客に対して、迅速な接客が可能となり、サービスの向上が図れ、一方で、非会員等の特定も迅速に行われ、セキュリティーの強化が向上する。
以上により、本実施形態の顔画像処理方法は、前記第2の識別情報が、前記閉空間に入場する人物に対応する入場者識別情報であり、前記入場者識別情報に合致する第1の識別情報および当該第1の識別情報に対応する顔画像を前記検索範囲に含める。これにより、入場する人物のみが検索対象となるため、検索負荷が軽減され、エラーを抑制すると共に高速化が可能となる。
以上により、本実施形態の顔画像処理方法は、前記第2の識別情報が、前記閉空間から退場する人物に対応する退場者識別情報であり、前記退場者識別情報に合致する第1の識別情報および当該第1の識別情報に対応する顔画像を前記検索範囲から除外する。これにより、退場者を検索範囲から除外することにより、データ蓄積量をセーブすることが可能となり、顔画像の認証の高速化が図れる。
以上により、本実施形態の顔画像処理方法は、前記閉空間に対して入場した人物の第2の識別情報に合致する第1の識別情報および当該第1の識別情報に対応する顔画像を前記検索範囲に含め、前記閉空間に対して入場した人物の前記閉空間からの退場が検知された場合は、前記検索範囲に含めた第1の識別情報及び顔画像を前記検索範囲から除外する。これにより、登録DB内の合致した入場者を検索範囲に含め、退場したら検索範囲から除外することにより、検索範囲のデータ量を常にセーブすることが可能となり、顔画像認証の高速化が図れる。
以上により、本実施形態の顔画像処理方法は、前記閉空間に対して入場した人物の第2の識別情報に合致する第1の識別情報および当該第1の識別情報に対応する顔画像を前記検索範囲に含め、前記閉空間内における顔画像の認証処理において、前記検索範囲に含めた第1の識別情報及び顔画像を認証した場合は、当該検索範囲に含めた第1の識別情報及び顔画像を無効にする。これにより、登録DB内の合致した入場者を検索範囲に含め、退場したら検索範囲から無効にすることにより、検索範囲のデータ量を常にセーブすることが可能となり、顔画像認証の高速化が図れる。
以上により、本実施形態の顔画像処理装置は、所定の閉空間への入場を予め許可された人物の顔画像および当該顔画像に対応した第1の識別情報を登録する登録データベース15と、制御部11と、を備え、当該制御部11は、前記閉空間に対して出入りする人物を識別する第2の識別情報を取得し、前記第1の識別情報および前記第2の識別情報を照合し、前記第1の識別情報および前記第2の識別情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる登録データベース15に登録された顔画像の検索範囲を決定する。
これにより、登録データベースに登録された全ての人物の顔画像と照合する必要が無く、閉空間に対して出入りする人物のみを検索対象範囲とするため、顔画像認証処理においてコンピュータに対する負荷を低減し、照合上のミスを抑制して、高速照合処理を可能とする顔画像処理装置を提供できる。特に、会員等の重要な客に対して、迅速な接客が可能となり、サービスの向上が図れ、一方で、非会員等の特定も迅速に行われ、セキュリティーの強化が向上する。
なお、上述の実施形態では、顔画像処理装置(サーバー装置10)が、入場ゲート20および退場ゲート40の双方と連携して、閉空間への入場時および閉空間からの退場時の双方の時点において顔画像の検索範囲を決定している。しかしながら、本開示の顔画像処理装置は、必ずしも双方の時点で検索範囲を決定する必要はなく、入場時または退場時の少なくともいずれかの時点において検索範囲を決定する様なものであってもよい。いずれかの時点で行うことにより、顔画像の検索の負担を減らすことができるからである。
以上、図面を参照して本開示に係る顔画像処理方法および顔画像処理装置の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
例えば、以下のような変形例が考えられる。
上述の実施形態では、ID等から取得されれる識別情報の照合結果に基づいて、検索対象となる顔画像の検索範囲を絞り込んでいたが、他の情報を用いて検索範囲を絞り込んでもよい。他の情報の例としては、特定の音声、被認証者の歩容,予め定められた動作、パスワード等を用いることが考えられる(本開示では、これらの情報と識別情報とを総称して「絞込み情報」と呼ぶ)。
音声等を用いて絞込みを行う動作は、基本的には、図5または図7において、「識別情報」を「音声等」に読み替えれば実現できる。一例として、図5または図7において、識別情報に替えて、「開け」「オープン」という音声が対応付けられている場合の動作を説明する。
この場合、登録DB15では、各顔画像と「開け」または「オープン」のいずれかの音声とが対応付けられている。すなわち、登録DB15では、「開け」という音声が対応付けられた1以上の顔画像からなる第1グループと「オープン」という音声が対応付けられた1以上の顔画像からなる第2グループが登録されている。
入場ゲート20は、入力部13を介して被認証者から音声を取得し、サーバー装置10へ送信する(図5または図7のS1の変形)。サーバー装置10の制御部11は、入場ゲート20から送信された音声と、登録DBに登録された音声の情報とを照合する(図5または図7のS2の変形)。そして、制御部11は、照合の結果、入場ゲート20から送信された音声に合致する音声と対応付けられた人物の識別情報および顔画像のみを検索範囲に含める。例えば、「開け」という音声が入場ゲート20から送信された場合、検索範囲は第1グループに属する顔画像に限定される。
以降の動作は、基本的に図5または図7の例と同様である。しかしながら、「開け」「オープン」等の音声では、被認証者のグループは識別できても、被認証者それぞれを識別することは難しく、その結果、図5のステップS7において退場者を識別することは難しい。そのため、音声等を絞込み情報として使用する場合は、第1の識別情報を用いて退場者を識別してもよい。ただし、高精度な声紋解析や歩容解析など、被認証者と絞込み情報とが1対1で対応付けられる可能性が高い場合は、退場者の識別も音声等で行ってもよい。
また、音声等と各顔画像の対応付けは、図9の動作と同様の動作によって登録するものともよい。すなわち、図9のステップS10において、第2の識別情報に替えて被認証者の音声等と顔画像を取得してサーバ装置に送信し、ステップS11において、取得した音声等と顔画像とを対応づけて登録DB15に記録すればよい。
また、「開け」と「オープン」のように、音声等の情報が複数の被認証者に対応付けられる場合には、被認証者からの入力を省略することもできる。すなわち、システムが各被認証者に割り当てられる情報を自動で決定し、入場ゲート30において被認証者に対して当該情報を通知するものとしてもよい。なお、この変形例において、音声等は検索範囲となるグループを決定するために使うものであるため、音声等と被認証者個人の対応付けは重要ではない。そこで、各被認証者に割り当てられる音声等はシステムがランダムに決定するものであっても構わない。
また、この変形例では、「開け」「オープン」といった定められた音声を利用して絞り込みを行っているが、任意の音声を用いることも可能である。例えば、登録DBにおいて各顔画像に対応付けて被認証者の声紋の情報が登録されていれば、取得した音声の声紋解析によって類似する音声に対応する顔画像を絞り込むことができる。
また、絞込み情報は、識別情報または音声等のうちの一種類の情報に限る必要はない。複数の種類の絞込み情報の組み合わせによって、検索範囲を絞り込むものとしてもよい。
本開示の顔画像処理方法および顔画像処理装置は、検索の負荷を低減し、顔画像処理を迅速に行うネットワークシステムに有用である。
10:サーバー装置(顔画像処理装置)
11:制御部
12:記憶部
13:入力部
14:出力部
15:登録データベース(登録DB)
20:入場ゲート
25:入場開閉部
30:認証装置
35:カメラ
40:退場ゲート
45:退場開閉部

Claims (16)

  1. 所定の閉空間への入場を予め許可された人物の顔画像および当該顔画像に対応した絞込み情報を登録した登録データベースを用いた顔画像処理方法であって、
    前記閉空間に対して出入りする人物に対応する絞込み情報を取得し、
    登録されている前記絞込み情報および取得される前記絞込み情報を照合し、
    登録されている前記絞込み情報および取得される前記絞込み情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する、
    顔画像処理方法。
  2. 請求項1に記載の顔画像処理方法であって、
    登録されている前記絞込み情報は、前記閉空間への入場を予め許可された人物を識別する第1の識別情報であり、
    取得される前記絞込み情報は、前記閉空間に対して出入りする人物を識別する第2の識別情報であり、
    前記第1の識別情報および前記第2の識別情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する、
    顔画像処理方法。
  3. 請求項2に記載の顔画像処理方法であって、
    前記第2の識別情報が、前記閉空間に入場する人物に対応する入場者識別情報であり、
    前記入場者識別情報に合致する第1の識別情報および当該第1の識別情報に対応する顔画像を前記検索範囲に含める、
    顔画像処理方法。
  4. 請求項2に記載の顔画像処理方法であって、
    前記第2の識別情報が、前記閉空間から退場する人物に対応する退場者識別情報であり、
    前記退場者識別情報に合致する第1の識別情報および当該第1の識別情報に対応する顔画像を前記検索範囲から除外する、
    顔画像処理方法。
  5. 請求項2に記載の顔画像処理方法であって、
    前記閉空間に対して入場した人物の第2の識別情報に合致する第1の識別情報および当該第1の識別情報に対応する顔画像を前記検索範囲に含め、
    前記閉空間に対して入場した人物の前記閉空間からの退場が検知された場合は、前記検索範囲に含めた第1の識別情報及び顔画像を前記検索範囲から除外する、
    顔画像処理方法。
  6. 請求項2に記載の顔画像処理方法であって、
    前記閉空間に対して入場した人物の第2の識別情報に合致する第1の識別情報および当該第1の識別情報に対応する顔画像を前記検索範囲に含め、
    前記閉空間内における顔画像の認証処理において、前記検索範囲に含めた第1の識別情報及び顔画像を認証した場合は、当該検索範囲に含めた第1の識別情報及び顔画像を無効にする、
    顔画像処理方法。
  7. 請求項1に記載の顔画像処理方法であって、
    前記絞込み情報は、顔画像のグループに対応付けられて登録されており、
    前記顔画像の検索範囲は、取得される絞込み情報に対応する顔画像のグループに限定される、
    顔画像処理方法。
  8. 請求項7に記載の顔画像処理方法であって、
    前記絞込み情報は、特定の音声、被認証者の歩容,予め定められた動作、パスワードの少なくとも1つを含む、
    顔画像処理方法。
  9. 所定の閉空間への入場を予め許可された人物の顔画像および当該顔画像に対応した絞込み情報を登録した登録データベースと、
    制御部と、を備え、
    当該制御部は、
    前記閉空間に対して出入りする人物に対応する絞込み情報を取得し、
    登録されている前記絞込み情報および取得される前記絞込み情報を照合し、
    登録されている前記絞込み情報および取得される前記絞込み情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する、
    顔画像処理装置。
  10. 請求項9に記載の顔画像処理装置であって、
    登録されている前記絞込み情報は、前記閉空間への入場を予め許可された人物を識別する第1の識別情報であり、
    取得される前記絞込み情報は、前記閉空間に対して出入りする人物を識別する第2の識別情報であり、
    前記制御部は、
    前記第1の識別情報および前記第2の識別情報を照合し、
    前記第1の識別情報および前記第2の識別情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する、
    顔画像処理装置。
  11. 請求項10に記載の顔画像処理装置であって、
    前記第2の識別情報が、前記閉空間に入場する人物に対応する入場者識別情報であり、
    前記制御部は、前記入場者識別情報に合致する第1の識別情報および当該第1の識別情報に対応する顔画像を前記検索範囲に含める、
    顔画像処理装置。
  12. 請求項10に記載の顔画像処理装置であって、
    前記第2の識別情報が、前記閉空間から退場する人物に対応する退場者識別情報であり、
    前記制御部は、前記退場者識別情報に合致する第1の識別情報および当該第1の識別情報に対応する顔画像を前記検索範囲から除外する、
    顔画像処理装置。
  13. 請求項10に記載の顔画像処理装置であって、
    前記制御部は、
    前記閉空間に対して入場した人物の第2の識別情報に合致する第1の識別情報および当該第1の識別情報に対応する顔画像を前記検索範囲に含め、
    前記閉空間に対して入場した人物の前記閉空間からの退場が検知された場合は、前記検索範囲に含めた第1の識別情報及び顔画像を前記検索範囲から除外する、
    顔画像処理装置。
  14. 請求項10に記載の顔画像処理装置であって、
    前記制御部は、
    前記閉空間に対して入場した人物の第2の識別情報に合致する第1の識別情報および当該第1の識別情報に対応する顔画像を前記検索範囲に含め、
    前記閉空間内における顔画像の認証処理において、前記検索範囲に含めた第1の識別情報及び顔画像を認証した場合は、当該検索範囲に含めた第1の識別情報及び顔画像を無効にする、
    顔画像処理装置。
  15. 請求項9に記載の顔画像処理装置であって、
    前記絞込み情報は、顔画像のグループに対応付けられて登録されており、
    前記制御部は、前記顔画像の検索範囲を、取得される絞込み情報に対応する顔画像のグループに限定する、
    顔画像処理装置。
  16. 請求項15に記載の顔画像処理装置であって、
    前記絞込み情報は、特定の音声、被認証者の歩容,予め定められた動作、パスワードの少なくとも1つを含む、
    顔画像処理装置。
JP2018556187A 2016-12-16 2017-09-15 顔画像処理方法および顔画像処理装置 Active JP7050231B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016244461 2016-12-16
JP2016244461 2016-12-16
PCT/JP2017/033388 WO2018110012A1 (ja) 2016-12-16 2017-09-15 顔画像処理方法および顔画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2018110012A1 true JPWO2018110012A1 (ja) 2019-10-24
JP7050231B2 JP7050231B2 (ja) 2022-04-08

Family

ID=62558375

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018556187A Active JP7050231B2 (ja) 2016-12-16 2017-09-15 顔画像処理方法および顔画像処理装置

Country Status (5)

Country Link
US (1) US11170086B2 (ja)
EP (1) EP3557525B1 (ja)
JP (1) JP7050231B2 (ja)
CN (1) CN110073407B (ja)
WO (1) WO2018110012A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026368A1 (ja) * 2018-07-31 2020-02-06 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
JP7327923B2 (ja) * 2018-10-18 2023-08-16 キヤノン株式会社 情報処理装置、情報処理方法、システムおよびプログラム
JP6781413B2 (ja) * 2018-11-21 2020-11-04 日本電気株式会社 情報処理装置
JP6624323B1 (ja) * 2019-03-28 2019-12-25 株式会社セガゲームス 生体情報登録システム
WO2021186627A1 (ja) * 2020-03-18 2021-09-23 日本電気株式会社 ゲート装置、認証システム、ゲート装置の制御方法及び記憶媒体
WO2021186628A1 (ja) * 2020-03-18 2021-09-23 日本電気株式会社 ゲート装置、認証システム、ゲート制御方法及び記憶媒体
JP2020140732A (ja) * 2020-05-29 2020-09-03 パソナ・パナソニックビジネスサービス株式会社 認証システム、サーバ、認証プログラム
JP7040690B1 (ja) * 2020-06-26 2022-03-23 日本電気株式会社 サーバ装置、システム、サーバ装置の制御方法及びコンピュータプログラム
JP7616348B2 (ja) * 2021-03-12 2025-01-17 日本電気株式会社 画像処理装置、画像処理方法、プログラム
WO2022230204A1 (ja) 2021-04-30 2022-11-03 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体
JP7116372B1 (ja) 2021-05-31 2022-08-10 日本電気株式会社 認証端末、認証端末の制御方法及びプログラム
US12554818B2 (en) 2021-05-31 2026-02-17 Nec Corporation System, server apparatus, authentication method, and storage medium
JP7612932B1 (ja) 2024-07-09 2025-01-14 三菱地所株式会社 入退管理システム、入退管理方法及び入退管理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331801A (ja) * 2000-03-15 2001-11-30 Cai Kk 個人認証装置および個人認証方法および記録媒体
JP2006293644A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理装置、情報処理方法
JP2008071366A (ja) * 2007-10-22 2008-03-27 Toshiba Corp 顔画像照合装置、顔画像照合システム及び顔画像照合方法
JP2009009588A (ja) * 2001-07-27 2009-01-15 Toshiba Corp 顔画像認識装置および通行制御装置
JP2010128938A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 認証装置及び認証方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108984A (ja) 2001-07-27 2003-04-11 Toshiba Corp 顔画像認識装置、通行制御装置、顔画像認識方法、及び通行制御方法
JP2004324183A (ja) 2003-04-24 2004-11-18 Oki Electric Ind Co Ltd ゲート管理システムおよびそのプログラム
JP4615272B2 (ja) 2003-09-29 2011-01-19 富士フイルム株式会社 認証システム、プログラム、及び建築物
JP2006236244A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置および入退場管理装置
JP4855180B2 (ja) * 2006-08-25 2012-01-18 株式会社日立国際電気 画像処理システム
JP2011150497A (ja) * 2010-01-21 2011-08-04 Mitsubishi Electric Corp 人物認証装置、人物認証方法、およびそのソフトウェアプログラム
US9582707B2 (en) * 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
EP2546782B1 (en) * 2011-07-11 2014-06-25 Accenture Global Services Limited Liveness detection
US9165180B2 (en) * 2012-10-12 2015-10-20 Microsoft Technology Licensing, Llc Illumination sensitive face recognition
CN106030654B (zh) * 2014-02-26 2019-11-19 株式会社日立制作所 面部认证系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331801A (ja) * 2000-03-15 2001-11-30 Cai Kk 個人認証装置および個人認証方法および記録媒体
JP2009009588A (ja) * 2001-07-27 2009-01-15 Toshiba Corp 顔画像認識装置および通行制御装置
JP2006293644A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理装置、情報処理方法
JP2008071366A (ja) * 2007-10-22 2008-03-27 Toshiba Corp 顔画像照合装置、顔画像照合システム及び顔画像照合方法
JP2010128938A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 認証装置及び認証方法

Also Published As

Publication number Publication date
JP7050231B2 (ja) 2022-04-08
EP3557525A4 (en) 2019-11-20
EP3557525B1 (en) 2021-04-07
US20190311104A1 (en) 2019-10-10
WO2018110012A1 (ja) 2018-06-21
US11170086B2 (en) 2021-11-09
CN110073407A (zh) 2019-07-30
CN110073407B (zh) 2023-05-12
EP3557525A1 (en) 2019-10-23

Similar Documents

Publication Publication Date Title
JP7050231B2 (ja) 顔画像処理方法および顔画像処理装置
US12417459B2 (en) Biometric pre-identification
US12169544B2 (en) Biometric ticketing
US20170278327A1 (en) Information processing system

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20190524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220221

R151 Written notification of patent or utility model registration

Ref document number: 7050231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151