JP2009093371A - 生体照合装置の監視装置、通行制御装置の監視装置、生体照合システム、通行制御システム、生体照合装置の監視方法および通行制御装置の監視方法 - Google Patents

Abstract

【課題】 顔画像による照合処理では登録者であることが認証されたなかった通行者Ｍの顔画像などの処理結果を監視員が目視することにより、当該通行者が登録者であるか否かを即座に監視員が確認でき、さらに、監視員による操作によって即座に当該通行者が通行可能となるようにドアを開放することもできる。
【解決手段】 監視用端末装置４は、各顔照合装置１から供給される処理結果を示す情報を監視画面上に表示するものであり、ある顔照合装置から受信した処理結果において当該通行者が登録者であることが認証されなかったことが示されている場合、監視用端末装置４は、監視画面において当該処理結果を示す情報として通行者に対する類似度が最大となった登録者を示す情報を表示するとともに、当該顔照合装置で開閉が制御されるドアの開放を指示するための解錠ボタン５２を表示するようにしたものである。
【選択図】 図３

Description

この発明は、たとえば、カメラなどで撮影される顔画像などの人物の生体情報に基づいて人物を認証する生体照合装置、通行制御装置、生体照合システム、通行制御システム、生体照合装置の監視方法および通行制御装置の監視方法に関する。

従来、顔画像などの生体情報により人物を認証する生体照合装置では、認証対象者の生体情報を取得し、取得した生体情報と予めデータベースに登録されている登録者の生体情報とを照合し、その照合結果に基づいて認証対象者が登録者であるか否かを判定する生体認証処理を行う。また、上記のような生体照合装置の運用形態の一例としては、認証対象者が登録者であるか否かによりドアあるいはゲートなどの開閉を制御する通行制御システムがある。一般に、生体照合装置では、生体情報が経年変化してしまったり、生体情報を取得する環境が変化してしまったりすることがあり、正当な登録者であっても認証が失敗してしまうことがある。このような場合、上記のような通行制御システムなどでは、係員（監視員）が人手で対応せざる得ないこともある。

このような状況を支援するため、従来のシステムでは、各生体照合装置（通行制御装置）の処理結果などを遠隔の監視装置により表示して、監視員が各生体照合装置の処理状況を常時監視したり、遠隔でドアの開放などを行ったりするものが提案されている（たとえば、特許文献１あるいは特許文献２）。

しかしながら、上記のような監視装置では、監視員が各生体照合装置での処理結果を目視して確認し、その確認結果に応じて所定の手順で特定のドアを開放させるための操作を行わなければならない。たとえば、特定のドアを開放させるための操作としては、監視装置の表示装置にドアの開放操作を行うための操作画面を表示させて、監視対象となっているドアあるいはゲートの一覧から開放させるドアを指定する形態が一般的である。このような操作手順では、特定のドアを開放させるための操作が煩雑であるため、ドアの開放を指示すための操作に時間を要したり、誤操作によって監視員が意図していないドアを開放してしまうことが発生しやすい。このため、監視員が各生体照合装置における処理結果を効率的に確認することができ、その確認結果に応じて確実かつ迅速にドアの開閉制御の指示を行うことができるものが要望されている。
特開２００２−２０７９９号公報 特開２００６−１９２０１１号公報

この発明の一形態では、生体認証処理の結果を効率的に監視でき、各装置への人手による制御指示を行うことができる生体照合装置あるいは通行制御装置の監視装置、生体照合システム、通行制御システム、生体照合装置あるいは通行制御装置の監視方法を提供することを目的とする。

この発明の一形態としての生体照合装置の監視装置は、認証対象者の生体情報と各登録者の生体情報との類似度に基づいて前記認証対象者が登録者であるか否かを判定する生体認証処理を行う生体照合装置の処理内容を監視するものにおいて、前記生体照合装置から前記認証対象者の生体情報と前記認証対象者が登録者であるか否かの判定結果を含む処理結果を受信する受信手段と、この受信手段により前記生体照合装置から受信した処理結果として、前記認証対象者の生体情報と前記判定結果とを表示する第１の表示手段と、前記受信手段により前記生体照合装置から受信した処理結果に含まれる前記判定結果が前記認証対象者を登録者と判定しなかったことを示す情報である場合、前記第１の表示手段により表示される当該処理結果に対応づけて、当該認証対象者を登録者として認めることを指示するための認証ボタンを表示する第２の表示手段と、前記第２の表示手段により表示された前記認証ボタンが入力された場合、当該認証ボタンに対応する処理結果の送信元である前記生体照合装置に対して前記認証対象者を登録者として認める旨の指示を送信する送信手段とを有する。

この発明の一形態としての通行制御装置の監視装置は、認証対象者の生体情報と登録者の生体情報との類似度に基づいて前記認証対象者が登録者であるか否かを判定し、この判定により登録者であると判定された前記認証対象者の通行を許可する通行制御装置における処理内容を監視するものにおいて、前記通行制御装置から前記認証対象者の生体情報と前記認証対象者の通行を許可したか否かを示す判定結果とを含む処理結果を受信する受信手段と、この受信手段により前記通行制御装置から受信した処理結果として、前記認証対象者の生体情報と前記判定結果とを表示する第１の表示手段と、前記受信手段により前記通行制御装置から受信した処理結果に含まれる判定結果が前記認証対象者を通行不可と判定したことを示す情報である場合、前記第１の表示手段により表示される当該処理結果に対応づけて、当該認証対象者を通行許可とすることを指示するための通行許可ボタンを表示する第２の表示手段と、前記第２の表示手段により表示された前記通行許可ボタンが入力された場合、当該通行許可ボタンに対応する処理結果の送信元である前記通行制御装置に対して前記認証対象者を通行許可とする旨の指示を送信する送信手段とを有する。

この発明の一形態としての生体照合システムは、認証対象者の生体情報と登録者の生体情報との類似度に基づいて前記認証対象者が登録者であるか否かを判定する生体認証処理を行う生体照合装置と、前記生体照合装置の処理内容を監視する監視装置とを有するシステムにおいて、前記生体照合装置は、認証対象者の生体情報と各登録者の生体情報との類似度を算出し、算出された前記認証対象者の生体情報と各登録者の生体情報との類似度のうち最大類似度が所定の認証用の閾値以上であるか否かにより前記認証対象者が登録者であるか否かを判定する生体認証手段と、前記生体認証手段による処理結果として、前記認証対象者の生体情報と、前記認証対象者を登録者と判定したか否かの判定結果と、を含む情報を前記監視装置へ送信する第１の送信手段と、前記生体認証手段により前記認証対象者が登録者と判定されなかった場合、前記監視装置からの前記認証対象者を登録者として認める旨の指示に応じて前記認証対象者を登録者として処理する処理手段とを有し、前記監視装置は、前記生体照合装置から前記認証対象者の生体情報と前記認証対象者が登録者であるか否かを示す判定結果とを含む処理結果を受信する受信手段と、この受信手段により前記生体照合装置から受信した処理結果として、前記認証対象者の生体情報と前記判定結果とを表示する第１の表示手段と、前記受信手段により前記生体照合装置から受信した処理結果に含まれる前記判定結果が前記認証対象者を登録者と判定しなかったことを示す情報である場合、前記第１の表示手段により表示される当該処理結果に対応づけて、当該認証対象者を登録者として認めることを指示するための認証ボタンを表示する第２の表示手段と、前記第２の表示手段により表示された前記認証ボタンが入力された場合、当該認証ボタンに対応する処理結果の送信元である前記生体照合装置に対して前記認証対象者を登録者として認める旨の指示を送信する第２の送信手段とを有する。

この発明の一形態としての生体照合装置の監視方法は、認証対象者の生体情報と各登録者の生体情報との類似度に基づいて前記認証対象者が登録者であるか否かを判定する生体認証処理を行う生体照合装置の処理内容を監視する監視装置に用いられる方法であって、前記生体照合装置から前記認証対象者の生体情報と前記認証対象者が登録者であるか否かの判定結果を含む処理結果を受信し、前記生体照合装置から受信した処理結果として、前記認証対象者の生体情報と前記判定結果とを表示し、前記生体照合装置から受信した処理結果に含まれる前記判定結果が前記認証対象者を登録者と判定しなかったことを示す情報である場合、前記表示される当該処理結果に対応づけて、当該認証対象者を登録者として認めることを指示するための認証ボタンを表示し、前記表示された前記認証ボタンが入力された場合、当該認証ボタンに対応する処理結果の送信元である前記生体照合装置に対して前記認証対象者を登録者として認める旨の指示を送信する。

この発明の一形態によれば、生体認証処理の結果を効率的に監視でき、各装置への人手による制御指示を行うことができる生体照合装置あるいは通行制御装置の監視装置、生体照合システム、通行制御システム、生体照合装置あるいは通行制御装置の監視方法を提供できる。

以下、本発明を実施するための最良の形態について図面を参照して説明する。
図１は、実施の形態としての生体照合装置としての顔照合装置１（１Ａ、…、１Ｎ、…）を含む通行制御システム（生体照合システム）の運用形態の例を示す図である。また、図２は、顔照合装置１の設置例を示す図である。
図１に示すように、通行制御システムは、顔照合装置１（１Ａ、…、１Ｎ、…）、カメラ２（２Ａ、…、２Ｎ、…）、ドア／ゲート３（３Ａ、…、３Ｎ、…）、監視用端末装置４、データベース５、および、ＬＡＮ６などにより構成される。

上記顔照合装置１は、図２に示すように、主制御部（制御装置）１１、表示部（表示装置）１２、入力部（入力装置）１３などにより構成されている。
上記主制御部１１は、顔画像（生体情報）による照合処理あるいは顔画像（生体情報）の登録処理などを実行するためのユニットである。主制御部１１内の構成例については、後で詳細に説明する。

上記表示部１２は、液晶表示装置などにより構成され、認証対象者あるいは管理者に対して操作案内などを表示する装置である。たとえば、後述する照合処理モードにおいて、表示部１２には、顔照合装置１による顔照合（生体照合）の結果あるいは顔照合結果に基づく通行の可否を示す情報などが表示される。

上記入力部１３は、認証対象者あるいは管理者からの入力を受け付ける装置である。上記入力部１３は、各顔照合装置における動作モードを切替える操作を行ったり、顔登録情報の登録処理において個人を特定するための識別情報を入力したりするものである。入力部１３は、例えば、テンキー、キーボードあるいはタッチパネルなどの入力キーにより構成される。入力部１３の入力キーは、ハードキーで構成されるようにしても良いし、表示部１２上に表示されるタッチキーで構成されるようにしても良い。また、上記入力部１３は、カメラ２あるいは表示部１２の近傍に設置したり、カメラ２あるいは表示部１２と一体的に形成したりすることが可能である。たとえば、表示部１２及び入力部１３は、タッチパネルが内蔵された液晶表示装置により構成されるようにしても良い。

上記カメラ２は、認証対象者の顔を含む画像を撮影するための撮影装置である。各カメラ２は、図２に示すように、各ドア３に向けて歩行中の歩行者（認証対象者）Ｍの顔を含む画像データを撮影するように設置される。上記カメラ２は、たとえば、ＣＣＤセンサなどの撮像素子を用い、Ａ／Ｄ変換器を備えたテレビジョンカメラから構成されている。各カメラ２は、それぞれ各顔照合装置１の主制御部１１に接続される。これにより、各カメラ２で撮影した画像は、対応する顔照合装置１の主制御部１１に供給されるようになっている。

上記ドア／ゲート３は、顔照合装置１による人物の認証結果あるいは監視用端末装置４からの開閉制御の指示に基づいて開閉されるものである。上記ドア／ゲート３は、登録者の通行を許可したり、未登録者の通行を阻止したりするためのものである。たとえば、ドア／ゲート３は、一般の人物が通行可能な通路から登録者のみの入場が許可されているセキュリティエリアへ入場するためのドアとして設置されている。
上記監視用端末装置４は、各顔照合装置１およびデータベース５をＬＡＮ６を介して接続されている。上記監視用端末装置４は、各顔照合装置１による処理結果などを監視員が一元的に監視するための装置である。たとえば、上記監視用端末装置４は、各顔照合装置１による処理結果（カメラで撮影された顔画像、認証結果など）が表示される。また、監視用端末装置４では、必要に応じて各ドアの開閉の指示を各顔照合装置１に送信する機能も有している。ここで、上記監視用端末装置４は、所定のセキュリティ性が確保された監視室内に設けられているものとする。

上記データベース５は、登録者の顔画像などの顔登録情報が格納される。上記顔登録情報としては、登録者に与えられた識別情報に対応づけて当該登録者の顔画像あるいは顔特徴情報が上記データベース５に記憶される。たとえば、顔照合装置１における後述する登録処理により、データベース５には、カメラ２で撮影された画像から得られる顔画像あるいは顔特徴情報と上記入力部１３により入力される識別情報とを対応付けた登録者の情報（顔登録情報）が記憶される。また、顔照合装置１での認証処理では、データベース５に記憶されている顔登録情報が辞書パターンとして参照される。

また、上記データベース５には、各顔照合装置１での処理結果を示す情報が履歴情報（通行履歴情報）として蓄積されるようになっている。さらには、上記データベース５には、各種の設定情報も格納される。これらの設定情報は、ＬＡＮ６を介して通信可能な各顔照合装置１により参照される。なお、上記データベース５は、たとえば、上記監視用端末装置４内の図示しない記憶部に設けるようにしても良い。

次に、上記顔照合装置１の構成について説明する。
図３は、顔照合装置１の構成例を示す図である。
上記顔照合装置１は、図２に示すように、主制御部１１と表示部１２と入力部１３とを有している。顔照合装置１の主制御部１１は、図３に示すように、認証制御部２１、画像取得部２２、顔検出部２３、顔特徴抽出部２４、顔照合部２５、通行制御部２６および通信インターフェース（Ｉ／Ｆ）部７などから構成されている。主制御部１１は、たとえば、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリおよび各種のインターフェースなどにより構成される。たとえば、上記認証制御部２１、顔検出部２３、顔特徴抽出部２４、顔照合部２５などは、図示しないＣＰＵが図示しない不揮発性メモリに記憶されている制御プログラムを実行することにより実現される機能である。

上記画像取得部２２は、カメラ２により撮影された画像を取得するインターフェースである。つまり、画像取得部２２は、カメラ２で撮影された歩行中の人物（歩行者）Ｍの顔を含む画像データを収集するものである。画像取得部２２は、カメラ２から収集した画像データを顔検出部２３に出力するようになっている。

上記顔検出部２３は、画像取得部２２により取得した画像から顔が存在する候補領域（顔領域）を検出する処理を行う。また、顔検出部２３は、検出した顔領域を示す情報を顔特徴抽出部２４に出力するようになっている。なお、顔検出部２３では、顔領域を検出する手法として種々の手法が適用可能である。たとえば、顔検出部２３は、文献１（三田．金子．堀．”微小な差異を含む画像の認証に適した空間差分確率テンプレートの提案”，第９会画像センシングシンポジウム講演論文集．ＳＳII３．２００３）に記載されている手法が適用可能である。上記文献１の手法では、事前に、顔の学習パターンから検出用辞書パターンを作成しておき、辞書パターンと高い類似度を持つパターンを顔領域として入力画像から探すようになっている。

上記顔特徴抽出部２４は、顔検出部２３により検出された顔領域から顔の特徴量としての顔特徴情報を抽出するものである。すなわち、顔特徴抽出部２４は、画像取得部２２により取得された画像のうち顔検出部２３により検出された顔領域の画像から顔特徴情報を抽出する。例えば、顔特徴抽出部２４は、顔領域の画像から顔の特徴点を基準に、一定の大きさ、形状に切り出し、その濃淡情報を特徴量（顔特徴情報）として用いる。顔特徴抽出部２４は、算出した顔特徴情報を認証制御部２１に出力するようになっている。

ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとするものとする。これらの特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間が計算される。なお、部分空間は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、計算される。ここで、部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現するものとする。

上記顔特徴抽出部２４では、相関行列Ｃｄを特徴ベクトルから求め、相関行列Ｃｄ ＝Φｄ Λｄ Φｄ Ｔ と対角化して、固有ベクトルの行列Φを求めるものとする。この部分空間は、顔画像の照合を行うための顔特徴情報として利用される。なお、登録者の顔特徴情報は、あらかじめ登録者から取得し、それを辞書として登録しておけば良い。また、識別を行うための顔特徴情報として部分空間自身を利用してもよい。

上記顔照合部２５は、認証対象者の歩行者Ｍの顔画像と登録者の顔画像との照合処理を行うものである。ここでは、顔照合部２５は、歩行者の顔特徴情報と登録者の顔特徴情報との類似度を算出し、その算出結果を認証制御部２１に出力するものとする。顔照合部２５の顔照合処理には、種々の手法を適用可能であるが、データベース５に記録されている顔登録情報を辞書パターンとし、認識対象者としての歩行者Ｍの顔特徴情報に対する類似度を計算するものとする。このような手法は、例えば、文献２（山口，福井，前田．”動画像を用いた顔認識システム”，信学技報ＰＲＭＵ９７−５０，ｐｐ．１７−２３，１９９７−０６）に記載されている相互部分空間法を用いることで実現可能である。

上記認証制御部２１は、当該顔照合装置１全体の制御を司るものであり、種々の処理を行う機能を有している。たとえば、認証制御部２１は、顔画像による照合処理において、顔照合部２５による照合処理により得られる類似度に基づいて歩行者が登録者であるか否かを判定（認証）する機能、顔登録情報の登録処理において、顔検出部２３により検出された顔領域の画像あるいは顔特徴抽出部２４により抽出された顔特徴情報を顔登録情報としてデータベース５に登録する機能などを有している。また、認証制御部２１は、当該顔照合装置１の動作モードを切替える機能、表示部１２の表示制御機能、通行制御部２６に対するドア３の開閉指示信号を出力する機能、あるいは、通行Ｉ／Ｆ部２７による監視用端末装置４あるいはデータベース５との通信処理機能なども有している。さらには、認証制御部２１は、監視用端末装置４からの指示に応じて通行制御部２６によるドア３の開放を制御する機能も有している。

上記通行制御部２６は、認証制御部２１により通知される制御信号に基づいてドア／ゲート３の開閉を行う。たとえば、通行制御部２６は、認証制御部２１からドアの開放を示す制御信号が与えられた場合にはドア／ゲート３を開放し、認証制御部２１からドアの閉鎖を示す制御信号が与えられた場合にはドア／ゲート３を閉鎖する。
上記通信インターフェース（Ｉ／Ｆ）部２７は、ＬＡＮ６を介して監視用端末装置４あるいはデータベース５と通信を行うためのインターフェースである。

次に、上記監視用端末装置４の構成について説明する。
図４は、監視用端末装置４の構成例を示す図である。
上記監視用端末装置４は、図４に示すように、制御部４１、表示部４２、入力部４３、スピーカ４４、通信インターフェース（Ｉ／Ｆ）部４５どから構成されている。
上記制御部４１は、監視用端末装置４全体の制御を司るものであり、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリなどにより構成されている。上記制御部４１は、ＲＯＭあるいは不揮発性メモリなどに記憶されている制御プログラムを実行することにより種々の機能を実現している。

上記表示部４２は、種々の情報を表示する表示装置により構成される。上記表示部４２は、たとえば、各顔照合装置１における処理内容（たとえば、顔照合装置の設置場所、検出された顔画像、認証結果など）などが表示される。また、各顔照合装置１における処理内容は、たとえば、各顔照合装置による照合処理ごとの処理結果を一覧形式で表示されたり、特定の処理結果についての詳細な処理内容（たとえば、類似度の高い順から所定順位までの登録者の情報）が表示されたりするようになっている。これにより、監視員は、表示部４２に表示された情報に基づいて、各顔照合装置１における処理結果を監視できるようになっている。

上記入力部４３は、キーボード、マウスなどのポインティングデバイスなどの入力装置により構成され、監視員により種々の操作指示が入力される。たとえば、入力部４３では、表示部４２による表示内容の変更指示、あるいは、各種の設定変更の指示などが入力される。
上記スピーカ４４は、警告音などを発生させるものである。たとえば、各顔照合装置１から受信した処理結果が警告すべき内容であった場合、上記制御部４１は、上記スピーカ４４により警告音を発生させるようになっている。
上記通信インターフェース部４５は、ＬＡＮ６を介して各顔照合装置１あるいはデータベース５と通信を行うためのインターフェースである。たとえば、各顔照合装置１における処理結果を示す情報は、通信Ｉ／Ｆ部４５を介して受信される。また、制御部４１は、データベース５に対する情報の書き込み（更新）などを通信Ｉ／Ｆ部４５を介して実行するようになっている。

次に、上記監視用端末装置４における監視処理について説明する。
上記監視用端末装置４には、各顔照合装置１から各顔照合装置における認証処理などの処理結果を示す情報が適宜送信される。上記監視用端末装置４では、各顔照合装置１から受信した処理結果を示す情報に基づいて各顔照合装置１での処理結果（処理状況）を示す情報を表示部４２に表示する。たとえば、監視用端末装置４の表示部４２には、各顔照合装置１から受信する処理結果を示す情報が各処理ごとの一覧形式などで表示される。また、各顔照合装置から受信した処理結果を示す情報は、順次、ほぼリアルタイムで表示部４２に表示される。

また、監視用端末装置４では、監視員による特定のドア３を開放する旨の指示入力に応じて、当該ドア３に対応する顔照合装置１に対して、ドア３の開放（あるいは、ドアに設けられた電子錠の解錠）を要求する信号を出力する。
すなわち、上記監視用端末装置４では、上記のような表示により監視員が各顔照合装置１の処理状況などをほぼリアルタイムを視認することができ、さらに、特定のドアを監視員が開放させる操作を行うことができるようになっている。

また、各顔照合装置１が監視用端末装置４に送信する処理結果を示す情報としては、たとえば、認証結果（認証ＯＫか認証ＮＧかを示す情報）、認証対象者の顔画像、認証処理を行った日時、場所（当該顔照合装置の設置場所）、類似度の高い順に所定順位までの各登録者を示す情報（たとえば、類似度の高い５番目までの各登録者を示す情報）、および、装置異常（たとえば、自動ドアの開放異常）を示す情報などがある。なお、上述した処理結果を示す情報は、上記データベース５に履歴情報としても保存される。

次に、監視用端末装置４の表示部４２に表示される各顔照合装置１の処理内容を監視するための監視画面について説明する。
図５は、上記監視用端末装置４の表示部４２に表示される監視画面５０の表示例を示す図である。
図５に示す表示例では、１回の認証処理の結果を表示するための小ウインドウ５１ａ、５１ｂ、…が１８個並べて表示されている。すなわち、図５に示す表示例では、各顔照合装置１で実行された１８件分の認証処理の結果が一覧形式で表示されるようになっている。各小ウインドウ５１ａ、５１ｂ、…には、それぞれ認証処理を実行した日時と場所、認証結果、最大類似度となった登録者のＩＤ及び氏名が表示される。さらに、各小ウインドウ５１ａ、５１ｂ、…には、最大類似度となった登録者の属性（所属グループ名、役職名、所有している権限、ＶＩＰ、不審者など）を示す情報も表示するようにしても良い。図５に示す表示例では、小ウインドウ５１ａのように、最大類似度となった登録者がＶＩＰである場合、その旨を表示するようになっている。

また、図５に示す表示例では、認証が失敗した場合、つまり、認証処理の結果が認証ＮＧであった場合、小ウインドウ５１ａ、５１ｂ内には、当該認証対象者（通行者）の通行を監視員が許可するための解錠ボタン（認証ボタン、通行許可ボタン）５２ａ、５２ｂが表示されている。この解錠ボタン５２ａ、５１ｂは、監視員が入力部４３としてのポインティングデバイスでクリックすることにより指示されるアイコンである。なお、解錠ボタン５２ｃは、機器の異常などでドアが開放できなかった場合にも表示するようにしても良い。たとえば、図５に示す表示例において、小ウインドウ５１ｃには、ドア３の開放異常となった旨の処理結果とともに、解錠ボタン５２ｃが表示されている。

上述のように、監視画面５０には、認証処理の結果が認証ＮＧであった場合、その処理結果に対応づけて解錠ボタン５２が表示される。これにより、監視員は、監視画面５０内の各小ウインドウ５１に表示されている顔画像及び認証結果などを視認することができ、さらには、表示された顔画像などを視認して当該通行者を通行させても良いと判断した場合には解錠ボタン５２を指示することにより当該通行者を通行させるような操作を簡単かつ確実に行うことも可能となっている。

また、図５に示す監視画面の表示例では、上記各小ウインドウとともに、詳細画面５６が表示されるようになっている。詳細画面５６は、特定の小ウインドウに表示されている処理結果を詳細に表示するための画面である。詳細画面５６は、たとえば、特定の小ウインドウをポインティングデバイスによりクリックすることにより、当該小ウインドウに表示されている処理内容の詳細が表示されるようになっている。図５に示す表示例では、詳細画面において、小ウインドウと同様な当該通行者Ｍの顔画像を含む表示内容とともに、当該通行者との類似度が高い順に５番目までの登録者の顔画像と類似度（スコア）とを含む情報が並べて表示されている。

このような監視画面５０内に表示される詳細画面５６によれば、監視員は、各類似度を参照しつつ、５位までの候補者（登録者）の顔画像と当該通行者の顔画像とを簡単に比較でき、その比較結果に基づいて当該通行者が登録者であるか否かを容易に判断することが可能となる。この結果として、上記監視用端末装置４では、顔の経年変化あるいは撮影環境の変化などによって登録者が顔照合装置による認証処理で認証ＮＧとなった場合であっても、監視員が、当該人物の通行制御を迅速かつ簡単に行うことを支援できる。

次に、各顔照合装置１の動作例について説明する。
各顔照合装置１は、通常の運用状態において、照合処理モードで動作しているものとする。照合処理モードでは、各顔照合装置１は、カメラ２で撮影した画像から検出された通行者の顔画像と登録者の顔画像とを照合することにより、当該通行者が登録者であるか否かを判定する認証処理（生体認証処理）を行い、その判定結果に基づいて当該通行者に対する通行制御を行う。また、各顔照合装置１は、各通行者に対する上記のような認証処理の結果及び通行制御の結果などを処理結果を示す情報として監視用端末装置４へ出力する処理も行っている。

図６は、顔照合装置１における照合処理モードの動作例を説明するためのフローチャートである。
すなわち、上記カメラ２の撮影範囲に通行者（認証対象者）Ｍが進入してくると、顔照合装置１は、上記カメラ２により撮影された当該通行者Ｍの画像（当該通行者Ｍの顔を含む画像）を上記画像取得部２２により取得する（ステップＳ１１、ＹＥＳ）。上記画像取得部２２により通行者Ｍの顔を含む画像を取得すると、上記顔検出部２３は、取得した画像から顔の領域を検出する顔検出処理を行う（ステップＳ１２）。上記顔検出処理により通行者Ｍの顔の領域が検出されると、上記顔特徴抽出部２４は、検出された顔領域の画像から顔特徴情報を抽出する顔特徴情報の抽出処理を行う（ステップＳ１３）。

上記顔特徴情報の抽出処理により通行者Ｍの顔特徴情報が抽出されると、上記認証制御部２１は、抽出された顔特徴情報を顔照合部２５に供給することにより、上記データベース５に登録されている登録者の顔特徴情報との照合処理を行わせる（ステップＳ１４）。これにより、顔照合部２５では、通行者Ｍの顔特徴情報と各登録者の顔特徴情報との照合を行い、その照合結果として通行者Ｍに対する各登録者の類似度を認証制御部２１に供給する。

上記顔照合部２５から照合結果が供給されると、上記認証制御部２１は、照合結果に基づいて通行者Ｍが登録者であるか否かを判定する認証処理を行う（ステップＳ１５）。この認証処理において、上記認証制御部２１は、当該通行者Ｍに対する各登録者の類似度のうち最大類似度が所定の閾値（認証用の閾値）以上であるか否かを判断する。この判断により最大類似度が所定の認証用の閾値以上であると判断した場合、認証制御部２１は、当該通行者Ｍが最大類似度となった登録者であると認証する（認証ＯＫと判定する）。また、上記判断により最大類似度が所定の認証用の閾値未満であると判断した場合、認証制御部２１は、当該通行者Ｍと認証される登録者が存在しなかったと判定する（認証ＮＧと判定する）。
さらに、上記認証制御部２１は、認証処理として、少なくとも認証ＮＧと判定された場合、当該通行者Ｍに対する各登録者の類似度のうち上位５番目までの類似度となった各登録者を第５位までの候補者として選出する。

上記のような処理結果を示す情報は、当該顔照合装置１から上記監視用端末装置４へ送信される（ステップＳ１６）。当該顔照合装置１から上記監視用端末装置４へ送信される処理結果を示す情報としては、上述したように、認証結果、通行者Ｍの顔画像、認証処理を行った日時と場所（当該顔照合装置の設置場所）、類似度の高い順に所定順位までの各登録者を示す情報（たとえば、類似度の高い５番目までの各登録者を示す情報）、および、装置異常（たとえば、自動ドアの開放異常）を示す情報などが含まれるものとする。
なお、上記のような顔照合装置１における処理結果を示す情報は、上記データベース５に通行履歴情報として保存するようにしても良い。この場合、上記監視用端末装置４では、上記データベース５に蓄積される通行履歴情報を監視し、上記データベース５に蓄積されている通行履歴情報の更新に応じて、上記データベース５に蓄積される通行履歴情報に基づいて図５に示すような監視画面を表示するようにしても良い。

また、上記のような認証処理が完了した場合、上記認証制御部２１は、認証処理の結果が認証ＯＫであれば、つまり、通行者Ｍが登録者であることが認証されれば（ステップＳ１７、ＹＥＳ）、当該通行者Ｍの通行を許可し、上記通行制御部２６によりドア３を開放（あるいはドア３の設けられた電子錠を解錠）する処理を行う（ステップＳ１８）。

また、上記認証制御部２１は、認証処理の結果が認証ＮＧであれば、つまり、通行者Ｍが登録者であることが認証できなければ（ステップＳ１７、ＮＯ）、当該通行者Ｍの通行を不許可し、上記通行制御部２６によりドア３を閉鎖（あるいはドア３の設けられた電子錠を施錠）する処理を行う（ステップＳ２０）。ただし、この場合、上記認証制御部２１は、上記監視用端末装置４からの解錠要求を受付可能な状態とする。この状態において上記監視用端末装置４から解錠要求を受けた場合（ステップＳ１９、ＹＥＳ）、認証制御部２１は、当該通行者Ｍの通行を許可し、上記通行制御部２６によりドア３を開放（あるいはドア３の設けられた電子錠を解錠）する処理を行う（ステップＳ１８）。

次に、監視用端末装置４の動作例について説明する。
監視用端末装置４では、各顔照合装置１から取得する処理結果を示す情報に基づいて、各顔照合装置１における処理状況を監視するための図５に示すような監視画面を表示する。さらに、監視用端末装置４では、上記監視画面を表示した状態において監視員からの操作指示に応じて特定のドアを開放する指示を顔照合装置１へ送信するようになっている。

図７は、監視用端末装置４における動作例を説明するためのフローチャートである。
なお、図７に示す動作例では、１件分の処理結果を受信した場合の図５に示すような監視画面の表示処理と解錠ボタンへの指示入力に応じた処理とを示している。すなわち、監視用端末装置４では、以下に説明するような処理が各顔照合装置１から処理結果を受信するごとに実施されるようになっている。

まず、顔照合装置１から処理結果を示す情報を受信すると（ステップＳ４１、ＹＥＳ）、監視用端末装置４の制御部４１は、図５に示すような監視画面５０において受信した処理結果を表示するための表示領域としての小ウインドウ５１を確保する。上記表示部４２における表示領域を確保すると、制御部４１は、受信した処理結果を示す情報に含まれる当該通行者の顔画像を確保した表示領域に図５に示すような表示フォーマットで表示する（ステップＳ４２）。

上記通行者の顔画像を表示すると、制御部４１は、受信した処理結果を示す情報から認証処理を行った日時と場所を示す情報を抽出し、抽出した日時と場所を示す情報を図５に示すような表示フォーマットで表示部４２に表示する（ステップＳ４３）。当該認証処理を行った日時と場所とを表示すると、制御部４１は、さらに、受信した処理結果を示す情報から照合処理において最大類似度となった登録者の情報（登録者ＩＤと氏名）を抽出し、抽出した登録者の情報を当該処理結果の表示領域に表示する（ステップＳ４４）。

この際、制御部４１は、最大類似度となった登録者が属性情報を報知すべき特定人物（たとえば、ＶＩＰ）であるか否かを判断する（ステップＳ４５）。ここでは、特定人物であることを示す情報がデータベース５に当該登録者の顔登録情報に対応づけて登録されているものとする。上記判断により最大類似度となった登録者が特定人物であると判断すると（ステップＳ４５、ＹＥＳ）、制御部４１は、特定人物であると認証された人物が現れたこと、あるいは、特定人物の可能性がある人物が認証ＮＧとなっていることを監視員に報知するために、当該処理結果の表示領域に特定人物である旨を表示するとともに、スピーカ４４により警告音を発生させる（ステップＳ４６）。これは、たとえば、重要人物が現れたこと、あるいは、重要人物の可能性がある人物が認証ＮＧとなっていることを監視員に警告することで、重要人物に対する迅速な対応を監視員に促すためのものである。

さらに、上記制御部４１は、受信した処理結果を示す情報に基づいて当該通行者Ｍが登録者であることが認証されたか否か判定する（ステップＳ４７）。この判定により当該通行者Ｍが登録者であると判定されている場合、つまり、当該通行者が認証ＯＫであった場合（ステップＳ４７、ＹＥＳ）、制御部４１は、当該通行者が認証ＯＫであった旨を当該処理結果の表示領域に表示する（ステップＳ４８）。なお、当該通行者が認証ＯＫであった場合、当該表示領域には、当該通行者が登録者として認証されたこと、あるいは、当該通行者の通行が許可されたことを表示するようにしても良い。。

また、上記判定により当該通行者Ｍが登録者であることが認証されなかった場合、つまり、当該通行者が認証ＮＧであった場合（ステップＳ４７、ＮＯ）、制御部４１は、当該通行者が認証ＮＧであった旨を当該処理結果の表示領域に表示する（ステップＳ４９）。なお、当該通行者が認証ＮＧであった場合、当該表示領域には、登録者として認証されなかったこと、あるいは、当該通行者の通行が不許可とされたことなどを表示するようにしても良い。

また、当該通行者が認証ＮＧであった旨を表示する場合、制御部４１は、当該処理結果の表示領域内に入力部４３で監視員が指示可能な解錠ボタン５２を表示する（ステップＳ５０）。解錠ボタン５２は、上述したように、当該処理結果の送信元である顔照合装置１が開閉を制御するドア３の開放（あるいはドアに設けられた電子錠の解錠）を監視員が指示するためのアイコンである。このように、当該処理結果の表示領域内にドアの開放（当該通行者の通行許可）を指示するボタンを表示することにより、監視員は、当該表示領域に表示された情報を視認した監視員が迅速かつ確実にドアの開放の指示を行うことが可能となる。さらに、最大類似度となった登録者が重要人物（ＶＩＰ）などの特定人物であった場合には、上記ステップＳ４６の処理により警告が報知されている。このため、ＶＩＰなどの特定人物が認証ＮＧとなった場合であっても、監視員が、特定人物であることを確実に確認することができ、迅速にドアを解錠する指示が行える。

また、図５に示すような監視画面では、各処理結果の表示領域において登録者の顔画像（登録されている顔画像）は表示されない。このため、監視員は、顔を覚えていない登録者に対する通行の可否判断を簡単に判断することができないことも想定される。このような場合、監視員は、当該処理結果の詳細な情報（登録者の顔画像など）を確認するために、当該処理結果の表示領域を入力部４３で指示する。これは、指示された表示領域の処理結果を詳細に表示することを監視員が要求する指示である。

このような指示が入力部４３により入力された場合（ステップＳ５１）、制御部４１は、受信した処理結果の詳細情報として、当該通行者との類似度が高い順に５番目までの登録者の顔画像を詳細画面５６に表示する処理を行う（ステップＳ５２）。たとえば、制御部４１は、受信した処理結果に基づいて候補者となる各登録者の顔画像と類似度（スコア）とをデータベース５から読み出し、読み出した各登録者の顔画像と類似度とを順に当該通行者の顔画像と対応づけて表示する。このような詳細画面５６を監視画面５０内で表示することにより、監視者は、各候補者に対する類似度を参照しつつ、当該通行者の顔と５人分の候補者の顔と即座に見比べることが可能となる。この結果、監視員１１は、当該通行者が詳細画面５６に表示された候補者（登録者）のいずれかであるかを容易かつ迅速に確認することでき、通行者に対する監視員１１による迅速な対応が行える。

また、当該処理結果の表示領域あるいは当該処理結果を表示した詳細画面に表示された解錠ボタン５２が監視員により指示され場合（ステップＳ５３、ＹＥＳ）、制御部４１は、当該処理結果の送信元となる顔照合装置１にドア３の開放（あるいはドア３に設けられた電子錠の解錠）を要求する信号を当該顔照合装置１へ送信する（ステップＳ５４）。このようなドア３の開放要求を受けた顔認証装置１の制御部１１は、受信したドアの開放要求に応じてドア３を開放するようになっている。

以上、説明したように、本実施の形態に係る監視用端末装置４では、各顔照合装置１から供給される処理結果を示す情報を監視画面上に表示する。また、ある顔照合装置から受信した処理結果において当該通行者が登録者であることが認証されなかったことが示されている場合、監視用端末装置４は、上記監視画面において当該処理結果を示す情報として当該通行者に対する類似度が最大となった登録者を示す情報を表示するとともに、当該顔照合装置で開閉が制御されるドアの開放を指示するための解錠ボタンを表示するようにしたものである。

これにより、顔画像による照合処理では登録者であることが認証されたなかった通行者Ｍの顔画像などの処理結果を監視員が目視することにより、当該通行者が登録者であるか否かを即座に監視員が確認でき、さらに、ドアを開放させるための操作ボタンが処理結果に対応づけて表示されるため、通行者を通行させるべきドアの開放操作を確実かつ迅速に行うことができる。

なお、上述した実施の形態では、主として、顔画像を用いて認証対象者が登録者であるか否かを認証する顔照合装置および通行制御システムについて説明したが、上記実施の形態は、顔画像により生体認証を行うものに限定されるものではない。たとえば、上記実施の形態は、掌形、静脈パターン、指紋、虹彩、声紋などの生体情報により認証対象者が登録者であるか否かを生体認証する生体照合装置および通行制御システムにも適用可能である。

生体認証を用いた通行制御システムの構成例を示す図である。 顔照合装置の運用形態および設置例を説明するための図である。 顔照合装置の構成例を示す図である。 監視用端末装置の構成例を示す図である。 監視用端末装置の表示部に表示される監視画面の表示例を示す図である。 顔照合装置における照合処理モードでの動作例を説明するためのフローチャート。 監視用端末装置の動作例を説明するためのフローチャート。

符号の説明

Ｍ…歩行者（認識対象者）、１（１Ａ、…、１Ｎ、…）…顔照合装置（生体照合装置）、２（２、…、２Ｎ、…）…カメラ、３（３Ａ、…、３Ｎ、…）…ドア／ゲート、４…監視用端末装置（監視端末）、５…データベース、６…ＬＡＮ、１１…主制御部、１２…表示部、１３…入力部、２１…認証制御部、２２…画像取得部、２３…顔検出部、２４…顔特徴抽出部、２５…顔照合部、２６…通行制御部、２７…通信インターフェース部、４１…制御部、４２…表示部、４３…入力部、４４…スピーカ、４５…通信インターフェース部、５０…監視画面、５１（５１ａ．５１ｂ、５１ｃ、…）…小ウインドウ、５２（５２ａ．５２ｂ、…）…解錠ボタン、５６…詳細画面。

Claims (4)

1. 認証対象者の生体情報と各登録者の生体情報との類似度に基づいて前記認証対象者が登録者であるか否かを判定する生体認証処理を行う生体照合装置の処理内容を監視する監視装置において、
   前記生体照合装置から前記認証対象者の生体情報と前記認証対象者が登録者であるか否かの判定結果を含む処理結果を受信する受信手段と、
   この受信手段により前記生体照合装置から受信した処理結果として、前記認証対象者の生体情報と前記判定結果とを表示する第１の表示手段と、
   前記受信手段により前記生体照合装置から受信した処理結果に含まれる前記判定結果が前記認証対象者を登録者と判定しなかったことを示す情報である場合、前記第１の表示手段により表示される当該処理結果に対応づけて、当該認証対象者を登録者として認めることを指示するための認証ボタンを表示する第２の表示手段と、
   前記第２の表示手段により表示された前記認証ボタンが入力された場合、当該認証ボタンに対応する処理結果の送信元である前記生体照合装置に対して前記認証対象者を登録者として認める旨の指示を送信する送信手段と、
   を有することを特徴とする生体照合装置の監視装置。
2. 認証対象者の生体情報と登録者の生体情報との類似度に基づいて前記認証対象者が登録者であるか否かを判定し、この判定により登録者であると判定された前記認証対象者の通行を許可する通行制御装置における処理内容を監視する監視装置において、
   前記通行制御装置から前記認証対象者の生体情報と前記認証対象者の通行を許可したか否かを示す判定結果とを含む処理結果を受信する受信手段と、
   この受信手段により前記通行制御装置から受信した処理結果として、前記認証対象者の生体情報と前記判定結果とを表示する第１の表示手段と、
   前記受信手段により前記通行制御装置から受信した処理結果に含まれる判定結果が前記認証対象者を通行不可と判定したことを示す情報である場合、前記第１の表示手段により表示される当該処理結果に対応づけて、当該認証対象者を通行許可とすることを指示するための通行許可ボタンを表示する第２の表示手段と、
   前記第２の表示手段により表示された前記通行許可ボタンが入力された場合、当該通行許可ボタンに対応する処理結果の送信元である前記通行制御装置に対して前記認証対象者を通行許可とする旨の指示を送信する送信手段と、
   を有することを特徴とする通行制御装置の監視装置。
3. 認証対象者の生体情報と登録者の生体情報との類似度に基づいて前記認証対象者が登録者であるか否かを判定する生体認証処理を行う生体照合装置と、前記生体照合装置の処理内容を監視する監視装置とを有する生体照合システムにおいて、
   前記生体照合装置は、
   認証対象者の生体情報と各登録者の生体情報との類似度を算出し、算出された前記認証対象者の生体情報と各登録者の生体情報との類似度のうち最大類似度が所定の認証用の閾値以上であるか否かにより前記認証対象者が登録者であるか否かを判定する生体認証手段と、
   前記生体認証手段による処理結果として、前記認証対象者の生体情報と、前記認証対象者を登録者と判定したか否かの判定結果と、を含む情報を前記監視装置へ送信する第１の送信手段と、
   前記生体認証手段により前記認証対象者が登録者と判定されなかった場合、前記監視装置からの前記認証対象者を登録者として認める旨の指示に応じて前記認証対象者を登録者として処理する処理手段と、を有し、
   前記監視装置は、
   前記生体照合装置から前記認証対象者の生体情報と前記認証対象者が登録者であるか否かを示す判定結果とを含む処理結果を受信する受信手段と、
   この受信手段により前記生体照合装置から受信した処理結果として、前記認証対象者の生体情報と前記判定結果とを表示する第１の表示手段と、
   前記受信手段により前記生体照合装置から受信した処理結果に含まれる前記判定結果が前記認証対象者を登録者と判定しなかったことを示す情報である場合、前記第１の表示手段により表示される当該処理結果に対応づけて、当該認証対象者を登録者として認めることを指示するための認証ボタンを表示する第２の表示手段と、
   前記第２の表示手段により表示された前記認証ボタンが入力された場合、当該認証ボタンに対応する処理結果の送信元である前記生体照合装置に対して前記認証対象者を登録者として認める旨の指示を送信する第２の送信手段と、を有する、
   ことを特徴とする生体照合システム。
4. 認証対象者の生体情報と各登録者の生体情報との類似度に基づいて前記認証対象者が登録者であるか否かを判定する生体認証処理を行う生体照合装置の処理内容を監視する監視装置に用いられる生体照合装置の監視方法において、
   前記生体照合装置から前記認証対象者の生体情報と前記認証対象者が登録者であるか否かの判定結果を含む処理結果を受信し、
   前記生体照合装置から受信した処理結果として、前記認証対象者の生体情報と前記判定結果とを表示し、
   前記生体照合装置から受信した処理結果に含まれる前記判定結果が前記認証対象者を登録者と判定しなかったことを示す情報である場合、前記表示される当該処理結果に対応づけて、当該認証対象者を登録者として認めることを指示するための認証ボタンを表示し、
   前記表示された前記認証ボタンが入力された場合、当該認証ボタンに対応する処理結果の送信元である前記生体照合装置に対して前記認証対象者を登録者として認める旨の指示を送信する、
   ことを特徴とする生体照合装置の監視方法。

Images