JP5261009B2 - 顔画像登録装置 - Google Patents

Description

本発明は、顔画像登録装置に関するものである。

従来から、認証の対象者を撮像した画像から対象者の顔部分を抽出し、抽出された顔部分の画像（以下、「顔画像」と呼ぶ。）を、予め登録された登録者の顔画像と比較することにより、認証を行う顔認証装置が提供されている（例えば、特許文献１参照）。

この種の顔認証装置は、例えば電気錠やパソコンと組み合わせて、対象者が登録者であると認証されたときのみ電気錠を開錠したりログインを許可するといったようなセキュリティー用途に使用される。また、その設置場所は、一般に、認証による制御の対象（上記の電気錠で施錠される扉や、パソコン）の近くとされる。

上記のような顔認証装置は、新規登録者の登録時に新規登録者の顔画像を撮像する顔画像登録装置を兼ねていることが多い。

ここで、上記の顔認証装置が、上記の電気錠によって施錠される扉の前で顔認証を行うことを考えた場合、上記の扉の前の通路を右から来たとき、左から来たとき、正面から来たによって顔認証装置のカメラを見る顔の向きが変わる場合がある。また、登録画像を撮像する登録時に、顔認証装置のカメラの前で静止した状態の顔の向きは正対した、かしこまった顔になっている場合が多い。特に登録時は、顔認証装置に対して初めて触れる機会であり、装置に対する不慣れによって、顔がこわばっていることも十分に考えられる。しかし、顔認証装置に慣れてくると、顔の向きに関してルーズになって正対しなくなったりする。また、通路を歩いてくる方向によって上記のように顔向きが変わったり、さらに顔認証装置に慣れてくると、顔認証装置の反応時間（顔を検出してから扉が自動で開くまで、あるいは電気錠が開錠されるまで）に合わせて、顔認証装置のカメラの前で静止せずに歩く速度を緩めるだけで認証されることを望むようになり、顔の向きが登録時の正対とは大きく異なるようになる。

そこで、上記のような顔の向きの変化に対応するために、登録者を登録する際に、複数台のカメラを用いて、顔の向きがそれぞれ異なる複数枚の顔画像を撮像するものがあった（例えば、特許文献１参照）。
特開２０００−３０６０９５号公報（特に、図９参照）

しかし、上記のように複数台のカメラを用いると、設備コストが高くなってしまう。

本発明は、上記事由に鑑みて為されたものであり、その目的は、顔の向きがそれぞれ異なる複数枚の顔画像の撮像が可能であってカメラが１台でよい顔画像登録装置を提供することにある。

請求項１の発明は、顔認証に用いられる顔画像を登録者毎に１枚以上ずつ登録する顔画像登録装置であって、顔画像を登録する登録動作の開始の指示が識別情報とともに入力される入力部と、画像をデジタルデータとして出力するカメラ及びカメラが出力した画像から顔と判定される部分である顔画像を抽出して出力する顔抽出装置を有する撮像部と、撮像部によって撮像された顔画像が格納される記憶部と、登録者への指示を行う指示部と、入力部に識別情報とともに登録動作の開始の指示が入力されたときに、撮像部を制御して登録者の顔画像を複数枚撮像させる登録動作を開始するとともに、登録動作中に得られた顔画像のうち１枚以上の顔画像を、登録動作の開始時に入力部に入力された識別情報に関連付けられた登録画像として記憶部に格納することにより登録する制御部とを備え、制御部は、登録動作中、それぞれ顔の向きが異なる複数枚の顔画像が得られるように、指示部を制御して顔の向きを変えるように登録者に対して指示させ、登録動作の終了後、登録動作と同様にして複数枚の登録画像を得る第２登録動作を行うとともに、前記登録動作中に得られた各登録画像について、それぞれ前記第２登録動作中に撮像された各顔画像との一致・不一致を判定し、これらの一致・不一致の判定の結果に応じて、前記登録動作中に得られた各登録画像の有効・無効を判断するとともに、前記登録動作中に得られた各登録画像が無効と判断された場合には前記登録動作中に得られた全ての登録画像を破棄する一方、前記登録動作中に得られた各登録画像が有効と判定された場合には、前記第２登録動作中に得られた各登録画像について、それぞれ前記第２登録動作中に得られた他の各顔画像との一致・不一致を判定し、これらの一致・不一致の判定の結果に応じて、前記第２登録動作中に得られた各登録画像の有効・無効を判断するとともに、前記第２登録動作中に得られた各登録画像が無効と判断された場合には前記第２登録動作中に得られた全ての登録画像を破棄する一方、前記第２登録動作中に得られた各登録画像が有効と判定された場合には、前記登録動作で得られた登録画像と前記第２登録動作で得られた登録画像とのどちらが本人判断する性能が高いかを判断して本人判断する性能が高い一方のみを登録画像として残すことを特徴とする。

この発明によれば、顔の向きがそれぞれ異なる複数枚の顔画像の撮像が可能である。このような複数枚の顔画像を用いて認証を行う顔認証装置は、例えば移動中に顔の向きを変えることなく認証を受けることができるといったように、使い勝手のよいものとなる。また、顔の向きは登録者に対して指示を出すことにより変化させるから撮像部にはカメラは１台でよい。また、動作確認が出来ると同時に、登録者にとってさらに認証性能が向上する登録画像を得ることができる。登録者にとって、最初の登録動作の段階では顔登録装置自体に不慣れなために、最初の登録動作で得られた登録画像よりは第２登録動作で得られた登録画像のほうがより自然に慣れた顔であったり動作をするので、第２登録動作を行うことには効果がある。

請求項２の発明は、請求項１の発明において、記憶部には、それぞれ顔の向きが異なる平均的な顔画像である複数枚の平均顔画像が予め格納されていて、制御部は、登録動作中に撮像部に撮像された顔画像のうち、いずれかの平均顔画像との相関値が所定の登録相関値以上であって平均顔画像毎に相関値が最も高い１枚ずつの顔画像のみを登録画像として記憶部に格納することを特徴とする。

この発明によれば、いずれの平均顔画像からも大きく異なるような顔画像が登録されることが防止される。ここで平均顔画像は、眼鏡をかけていない、髭がない、目眉が明確に判断できる、特殊な化粧をしていない顔画像とする。

請求項３の発明は、請求項２の発明において、平均顔画像のうち少なくとも１枚は必須顔画像とされていて、制御部は、登録動作の終了時、必須顔画像との相関値が登録相関値以上である登録画像が全ての必須顔画像について得られていなければ、登録動作を再度行うことを特徴とする。

この発明によれば、様々な顔向きや変化に対応した顔画像が登録できるので、認証時にいずれかの登録画像に一致すれば本人と判断することにすれば、本人拒否率が低下する。一方、最低でも１枚を顔画像として登録できていないと、顔認証装置自体が正しく動作しないので、少なくとも１枚を必須顔画像とすることで、必要最低限の顔画像の登録を行うことができる。必須顔画像として正面の正対した顔画像が一般的だが、顔認証装置の設置場所によっては正面でなくともよい。

請求項４の発明は、請求項２又は請求項３の発明において、制御部は、登録動作中、撮像部が撮像した顔画像に基いて登録者の動きを検出し、登録者の動きが検出されないときに指示部を制御して登録者に対し動きを促すことで様々な方向を向かせることを特徴とする。

この発明によれば、顔の向きを様々に変化させたり、カメラ前の立ち位置を様々に変化させることを促すので、平均顔画像との相関値が登録相関値以上となるような顔画像が、より多くの平均顔画像について得られやすくなる。

請求項５の発明は、請求項１〜４のいずれかの発明において、制御部は、登録動作中に得られた顔画像において顔の器官が隠れる要因となる隠蔽要素のうち少なくとも１種類について有無を判定するとともに、隠蔽要素があると判定された場合には、指示部を制御し、隠蔽要素を排除するように指示させるとともに、得られた顔画像は、あると判定された隠蔽要素に関連付けた上で登録画像として記憶部に格納することを特徴とする。

この発明によれば、隠蔽要素を排除するように指示することで、顔の器官が全て現れた顔画像の登録が可能となる。一般的に顔認証は顔の器官が全て現れた顔画像の使用が想定されているので、上記のような顔画像であれば正しく認証が行なえる。一方で、隠蔽要素を除去できない人、そのような嗜好の人に対して、認証時に除外を促すのも使い勝手が悪い。そこで、識別情報及び隠蔽要素と関連付けた登録画像として登録することで、登録時と同じ隠蔽要素であれば認証が可能であるので使い勝手が向上する。

請求項６の発明は、請求項１〜５のいずれかの発明において、制御部は、カメラが出力した画像における面積が所定の範囲外である顔画像は登録画像とはしないことを特徴とする。

この発明によれば、小さすぎる顔、つまり、カメラから遠い時には登録しない。大きい顔つまりカメラに近すぎる顔は登録しない、という制限を設けることによって、認証時の動作の安定性を保証できる。

請求項７の発明は、請求項１〜６のいずれかの発明において、制御部は、輝度を示す画素値の平均値が所定の登録画素値未満である顔画像は登録画像とはしないことを特徴とする。

この発明によれば、周囲照度が不足しているときや、設置している照明からの距離が遠い時には登録しないという制限を設けることによって、認証時の動作の安定性を保証できる。

請求項８の発明は、請求項１〜７のいずれかの発明において、動作状態を表示する表示装置を備え、撮像部のカメラと表示装置とが互いに近接配置されていることを特徴とする。

この発明によれば、登録動作の終了などの動作状態を表示する表示手段が、撮像部のカメラに近接配置されているので、登録者は表示手段によって、例えば登録動作中なのか待機中なのかを確認するので、登録者はカメラを略直視することになる。つまり、様々に動いてもらいつつカメラを見ている顔画像が登録できる。

請求項９の発明は、請求項１〜８のいずれかの発明において、登録動作中に撮像部において１枚の画像中に顔と判定される領域が２箇所以上あった場合、制御部は登録動作を中止することを特徴とする。

この発明によれば、誤って他人を登録しないようにできる。

請求項１０の発明は、請求項１〜９のいずれかの発明において、入力部は登録動作の開始の指示と識別情報の入力とともに識別情報とは異なる第２の識別情報の入力を受け付けるものであって、制御部は、各登録画像を、該登録画像が得られた登録動作の開始時に入力部に入力された第２の識別情報にもそれぞれ関連付けて記憶部に格納することを特徴とする。

この発明によれば、第２の識別情報が、認証段階でカメラ入力以外の入力系統から入力されることがあるときに、第２の識別情報を用いることで認証性能が向上する。

請求項１の発明によれば、顔の向きがそれぞれ異なる複数枚の顔画像の撮像が可能である。このような複数枚の顔画像を用いて認証を行う顔認証装置は、例えば移動中に顔の向きを変えることなく認証を受けることができるといったように、使い勝手のよいものとなる。また、顔の向きは登録者に対して指示を出すことにより変化させるから撮像部にはカメラは１台でよい。また、動作確認が出来ると同時に、登録者にとってさらに認証性能が向上する登録画像を得ることができる。登録者にとって、最初の登録動作の段階では顔登録装置自体に不慣れなために、最初の登録動作で得られた登録画像よりは第２登録動作で得られた登録画像のほうがより自然に慣れた顔であったり動作をするので、第２登録動作を行うことには効果がある。

請求項２の発明によれば、記憶部には、それぞれ顔の向きが異なる平均的な顔画像である複数枚の平均顔画像が予め格納されていて、制御部は、登録動作中に撮像部に撮像された顔画像のうち、いずれかの平均顔画像との相関値が所定の登録相関値以上であって平均顔画像毎に相関値が最も高い１枚ずつの顔画像のみを登録画像として記憶部に格納するので、いずれの平均顔画像からも大きく異なるような顔画像が登録されることが防止される。ここで平均顔画像は、眼鏡をかけていない、髭がない、目眉が明確に判断できる、特殊な化粧をしていない顔画像とする。

請求項３の発明によれば、様々な顔向きや変化に対応した顔画像が登録できるので、認証時にいずれかの登録画像に一致すれば本人と判断することにすれば、本人拒否率が低下する。一方、最低でも１枚を顔画像として登録できていないと、顔認証装置自体が正しく動作しないので、少なくとも１枚を必須顔画像とすることで、必要最低限の顔画像の登録を行うことができる。必須顔画像として正面の正対した顔画像が一般的だが、顔認証装置の設置場所によっては正面でなくともよい。

請求項４の発明によれば、顔の向きを様々に変化させたり、カメラ前の立ち位置を様々に変化させることを促すので、平均顔画像との相関値が登録相関値以上となるような顔画像が、より多くの平均顔画像について得られやすくなる。

請求項５の発明によれば、隠蔽要素を排除するように指示することで、顔の器官が全て現れた顔画像の登録が可能となる。一般的に顔認証は顔の器官が全て現れた顔画像の使用が想定されているので、上記のような顔画像であれば正しく認証が行なえる。一方で、隠蔽要素を除去できない人、そのような嗜好の人に対して、認証時に除外を促すのも使い勝手が悪い。そこで、識別情報及び隠蔽要素と関連付けた登録画像として登録することで、登録時と同じ隠蔽要素であれば認証が可能であるので使い勝手が向上する。

請求項６の発明によれば、小さすぎる顔、つまり、カメラから遠い時には登録しない。大きい顔つまりカメラに近すぎる顔は登録しない、という制限を設けることによって、認証時の動作の安定性を保証できる。

請求項７の発明によれば、周囲照度が不足しているときや、設置している照明からの距離が遠い時には登録しないという制限を設けることによって、認証時の動作の安定性を保証できる。

請求項８の発明によれば、登録動作の終了などの動作状態を表示する表示手段が、撮像部のカメラに近接配置されているので、登録者は表示手段によって、例えば登録動作中なのか待機中なのかを確認するので、登録者はカメラを略直視することになる。つまり、様々に動いてもらいつつカメラを見ている顔画像が登録できる。

請求項９の発明によれば、登録動作中に撮像部において１枚の画像中に顔と判定される領域が２箇所以上あった場合、制御部は登録動作を中止するので、誤って他人を登録しないようにできる。

請求項１０の発明によれば、入力部は登録動作の開始の指示と識別情報の入力とともに識別情報とは異なる第２の識別情報の入力を受け付けるものであって、制御部は、各登録画像を、該登録画像が得られた登録動作の開始時に入力部に入力された第２の識別情報にもそれぞれ関連付けて記憶部に格納するので、第２の識別情報が、認証段階でカメラ入力以外の入力系統から入力されることがあるときに、第２の識別情報を用いることで認証性能が向上する。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

本実施形態は、図１に示すように、顔画像を登録する登録動作の開始の指示が入力される入力部１と、登録者Ｍ（図６参照）の顔画像を撮像する撮像部２と、撮像部２によって撮像された顔画像が格納される記憶部３と、登録者Ｍへの指示を行う指示部４と、入力部１への入力に応じて撮像部２と指示部４とをそれぞれ制御する制御部５とを備える。

また、本実施形態は、図２に示すように、壁面に埋込配設される第１のハウジングＨ１と、天井面から吊下支持される第２のハウジングＨ２とを有する。入力部１を構成するキーボード１１やＩＣタグリーダ１２は第１のハウジングＨ１に保持され、撮像部２のカメラ２１と、指示部４を構成する発光ダイオード４３及びスピーカ４２とはそれぞれ第２のハウジングＨ２に保持されている。

本実施形態の入力部１は、登録者Ｍに一対一に対応付けられるＩＤ番号のような識別情報の入力を、該識別情報に対応付けて顔画像を登録する登録動作の開始の指示とともに受け付ける。このような入力部１としては、例えば、図２に示すように押操作による識別情報の入力を受け付けるキーボード１１やタッチパネル（図示せず）のほか、カードや名札に保持されたＩＣタグから識別情報を読み取る周知のＩＣタグリーダ１２や、磁気帯付きカードなどのカード型の記憶媒体から識別情報を読み取る各種の周知のカードリーダ（図示せず）を用いることができる。さらに、入力部１が、登録動作の開始の指示とともに、識別情報の入力に加えて、識別情報とは異なる第２の識別情報の入力を受け付けてもよい。第２の識別情報としては、例えば年齢や性別の他、登録者の任意に決定可能なキーワードや暗証番号やパスワードなどが考えられる。この場合、例えば識別情報としてのＩＤ番号がＩＣタグリーダ１２から入力され、第２の識別情報としての暗証番号がキーボード１１から入力されるといったように、各識別情報が互いに異なる入力手段から入力されるようにしてもよい。

撮像部２は、ＣＣＤ（Charge Coupled Device）などの撮像素子を用いて濃淡画像をデジタルデータとして出力する周知のカメラ２１（いわゆるデジタルカメラ）と、カメラ２１が出力した濃淡画像から周知技術により顔部分を抽出して顔画像として制御部５に入力する顔抽出装置（図示せず）とからなる。このような撮像部２は周知技術で実現可能であるので、詳細な図示並びに説明は省略する。

記憶部３としては、各種の周知の記憶媒体を用いることができる。

指示部４としては、例えば、液晶パネルを用いたディスプレイ４１（図８及び図９参照）や電光掲示板などを有して矢印等の記号や文字やアニメーションを表示することにより指示を行うもの、スピーカ４２を有して音声により指示を行うもの、発光ダイオード４３を有して発光ダイオードの点灯・消灯の別や光色によって指示を示すもの、などが考えられる。

制御部５は、周知のコンピュータで実現可能であるので、詳細な図示並びに説明は省略する。

次に、制御部５の動作を説明する。

入力部１に識別情報が入力されて登録動作の開始の指示が入力されたとき、制御部５は、撮像部２を制御して複数枚の顔画像を撮像させ、撮像された顔画像のうち複数枚を、それぞれ上記の識別情報に関連付けて記憶部３に登録画像として格納することにより登録する登録動作を開始する。登録動作は、例えば、所定の登録時間にわたり、登録者Ｍの顔を撮像した顔画像を撮像部２から定期的に得て、得られた顔画像のうち所定の条件を満たしたものを、それぞれ上記の識別情報に関連付けて登録画像として記憶部３に格納するものである。制御部５は、登録動作の開始時、指示部４を制御し、音声や文字表示やアニメーションによって、適切な立ち位置を指示する。これにより、カメラ２１に近すぎる顔画像やカメラ２１から遠すぎる顔画像が撮像される可能性が低くなる。

また、制御部５は、登録動作中、それぞれ顔の向きが異なる複数枚の顔画像を得るために、撮像部２が出力した画像に基いて登録者Ｍの動きの有無を検出し、登録者Ｍの動きが検出されないときに指示部４を制御して登録者Ｍに対して動きを促す。

さらに、記憶部３には、予め、それぞれ顔の向きが異なる平均的な顔画像である平均顔画像が複数枚格納されており、制御部５は、登録動作中、撮像部２によって顔画像が撮像される度に、撮像された顔画像を各平均顔画像とそれぞれ比較し、いずれかの平均顔画像との相関値が所定の登録相関値以上であれば該顔画像を平均顔画像との相関値に関連付けて登録画像として記憶部３に格納し、全ての平均顔画像との相関値が登録相関値未満であれば該顔画像を無効と判定し登録画像とはしない。また、制御部５は、同じ平均顔画像について相関値が登録相関値以上となるような顔画像が複数回得られた場合、それらの顔画像のうちで最も相関値が高い１枚のみを登録画像として記憶部３に残す。ここで、平均顔画像としては、顔に髭や化粧等が無く、眉目がはっきりしている顔画像が用いられる。これにより、いずれの平均顔画像からも大きく異なるような顔画像が登録されてしまうことを防ぐことができる。

また、記憶部３において、平均顔画像のうち少なくとも１枚は必須顔画像として設定されており、制御部５は、登録動作の終了時、相関値が登録相関値以上となるような顔画像が得られていない必須顔画像が１枚でもあれば、指示部４を制御し、登録が完了していないことを登録者Ｍに対して通知する。すなわち、最低でも１枚を顔画像として登録できていないと、顔認証装置自体が正しく動作しないので、少なくとも１枚を必須顔画像とすることで、必要最低限の顔画像の登録を行うことができる。必須顔画像として正面の正対した顔画像が一般的だが、顔認証が行われる環境によっては正面でなくともよい。

さらに、制御部５は、登録動作中、目・口・鼻といった顔の器官が隠れる要因となる隠蔽要素の有無を、撮像部２が出力した顔画像に基き周知技術によって検出するとともに、隠蔽要素があると判定されたときには、指示部４を制御して隠蔽要素を排除するように指示を出させる。隠蔽要素としては、例えば、目を隠す前髪や、口を隠すマスクや、片目が隠れるような顔の向きなどが考えられる。隠蔽要素としてのマスクや顔の向きは、それぞれ周知技術で検出可能であるので説明は省略する。隠蔽要素としての前髪の有無を検出する方法としては、例えば、本発明者が特願２００７−０１７０８７で提案したように、顔画像（例えば図４（ａ））において前髪ａが存在しうる所定の上下位置（例えば目の上）に設定された前髪検出領域での左右方向での画素値（輝度値）の分布に近似した図５（ａ）に示すような２次曲線Ｘを、図４（ｂ）に示すように前髪が存在しない顔画像から同様にして得られた図５（ｂ）に示す２次曲線Ｘと比較し、これらの２次曲線Ｘ間のずれ量が一定以上であったときに前髪ａが有ると判定し、前記ずれ量が一定未満であったときに前髪ａが無いと判定するという方法がある。また、指示部４によって出される指示としては、例えば、検出された隠蔽要素に応じて、「前髪を目から除けて下さい」「マスクを取り外して下さい」「カメラの方を向いて下さい」といった指示が考えられる。さらに、隠蔽要素があると判定された顔画像についても登録画像として識別情報に関連付けて記憶部３に格納するようにすれば、撮像時と同じ隠蔽要素がある状態（例えばマスクをつけた状態）でも認証が可能となるために本人拒否率が低下して利便性が向上する。さらに、認証に用いる際に、隠蔽要素の有無や隠蔽要素の種類に応じて異なる扱いとすることができるように、隠蔽要素があると判定された登録画像については、あると判定された隠蔽要素に関連付けて（具体的には例えば該隠蔽要素を示す番号に関連付けて）記憶部３に格納してもよい。ただし、隠蔽要素としてサングラスがあると検出された画像については登録画像とはしないことが望ましい。

また、登録動作中に撮像部２において１枚の画像中に周知技術によって顔と判定される領域が複数箇所存在したときには、制御部５は、登録動作を中止するとともに指示部４を制御して登録者Ｍのみが撮像部２の画角内に入るように登録者Ｍに対して指示させる。これにより、誤って他人を登録しないようにできる。

さらに、制御部５は、登録動作中、撮像部２のカメラ２１が出力した画像における（つまり顔の範囲として切り出されたのみで拡大や縮小の変換をされていない）顔画像の面積や、輝度を示す画素値の顔画像全体での平均値（以下、「平均画素値」と呼ぶ。）を、所定の登録最小面積や登録最大面積や登録画素値と比較し、面積が登録最小面積未満である（すなわち登録者Ｍが撮像部２のカメラ２１から遠すぎる状態で撮像された）顔画像や、面積が登録最大面積以上である（すなわち登録者Ｍが撮像部２のカメラ２１に近すぎる状態で撮像された）顔画像や、平均画素値が登録画素値未満である（すなわち画像が暗く不明瞭である）顔画像を、それぞれ無効と判定して登録画像とはしない。さらに、この際、制御部５が、上記比較の結果に応じて指示部４を制御し、上記顔画像が無効とされた理由を解消すること、すなわち、撮像部２のカメラ２１に近づくことや、撮像部２のカメラ２１から離れることや、周囲を明るくすることを指示させるようにしてもよい。これにより、図６に示すように登録者Ｍが撮像部２のカメラ２１から離れすぎた状態で撮像され面積が小さい顔画像ＦＤや、逆に登録者Ｍが撮像部２のカメラ２１に近すぎる状態で撮像され適切な大きさの顔画像ＦＮよりも面積が大きい顔画像や、図７に示すようにやや明るい顔画像ＦＷや適切な明るさの顔画像ＦＮよりも画像が暗く不明瞭な顔画像ＦＢなど、認証に適さない顔画像が登録画像とされてしまうことを避け、得られた登録画像を用いた認証の動作の安定性を保証することができる。

また、制御部５は、登録動作の終了後、登録動作と同様にして複数枚の登録画像を得る第２登録動作を行う。第２登録動作中には、制御部５は、登録画像とされる可能性がない顔画像もそれぞれ比較用画像として第２登録動作の終了時まで記憶部３に格納する。なお、識別情報や隠蔽要素への登録画像の関連付けは、第２登録動作でも、登録動作と同様に行なわれる。

さらに、制御部５は、第２登録動作中、撮像された各顔画像について、上記の登録動作中に得られた各登録画像との一致・不一致を判定する。上記の顔画像と登録画像とのような２枚の顔画像の一致・不一致の判定の方法としては、具体的には例えば、顔画像間の相関値を演算し、相関値が所定の認証閾値未満であった場合には不一致と判定し、相関値が認証閾値以上であった場合には一致と判定する。そして、制御部５は、これらの一致の判定の結果に応じて、上記の登録動作中に得られた各登録画像の有効・無効を判断する確認動作を行う。具体的には、上記顔画像がいずれかの登録画像において一致が判定された回数（以下、「一致回数」と呼ぶ。）が所定の規定回数に満たなかったときには、制御部５は、上記登録動作中に得られた各登録画像を無効と判断し、指示部４を制御して登録動作中に得られた各登録画像が無効である旨を登録者Ｍに対して通知させるとともに、上記登録動作中に得られた全ての顔画像（登録画像）を無効として破棄（削除）し、登録動作をやり直す。上記の規定回数は、例えば第２登録動作において撮像される顔画像の総数が１０枚であれば８回とし、第２登録動作の継続時間が２分であれば１０回とする。

また、制御部５は、上記の登録動作中に得られた各登録画像が有効と判定された場合には、第２登録動作の終了後、第２登録動作中に得られた各登録画像について、それぞれ第２登録動作中に得られた他の各顔画像（すなわち、他の登録画像及び比較用画像）との一致・不一致を判定し、これらの一致・不一致の判定の結果に応じて、第２登録動作中に得られた各登録画像の有効・無効を判断する。一致・不一致の判定方法及び有効・無効の判定方法は、それぞれ上記の登録動作中に得られた登録画像に対して第２登録動作中に行われたものと同様であるので説明は省略する。そして、第２登録動作中に得られた各登録画像が無効と判断された場合には、制御部５は、第２登録動作中に得られた各登録画像を無効と判断し、指示部４を制御して第２登録動作中に得られた各登録画像が無効である旨を登録者Ｍに対して通知させるとともに、第２登録動作中に得られた全ての顔画像（登録画像）を無効として破棄（削除）し、上記の登録動作中に得られた各登録画像を最終的な登録画像とする。

一方、第２登録動作中に得られた各登録画像が有効と判定された場合には、上記の登録動作で得られた登録画像と第２登録動作で得られた登録画像とのどちらが本人判断する性能が高いかを判断して本人判断する性能が高い一方のみを登録画像として残し他方を破棄（削除）する検討動作を開始する。具体的には、制御部５は、一致・不一致の判定時に演算された各相関値をそれぞれ記憶部３に格納しており、上記の登録動作中に得られた登録画像と、第２登録動作中に得られた登録画像とのうち、記憶部３に格納された相関値の最大値が高かった一方を、本人判断する性能がより高いと判断して登録画像として残し、他方は削除する。上記のような確認動作によって動作確認が出来ると同時に、検討動作により、登録者Ｍにとってさらに認証性能が向上する登録画像を得ることができる。登録者Ｍにとって、最初の登録動作の段階では顔登録装置自体に不慣れなために、最初の登録動作で得られた登録画像よりは第２登録動作で得られた登録画像のほうがより自然に慣れた顔であったり動作をするので、第２登録動作を行うことには効果がある。

上記構成によれば、それぞれ顔の向きが異なる複数枚の顔画像の撮像が可能でありながらも、顔の向きは登録者Ｍに対して指示を出すことにより変化させるから撮像部２にはカメラ２１は１台でよいので、従来例のように複数台のカメラを用いる場合に比べて設備コストが低減される。

また、入力部１において登録動作の開始の指示とともに識別情報の入力だけでなく第２の識別情報の入力も受け付けられる場合、第２の識別情報も識別情報と同様に登録画像や更新画像に関連付けるようにしておけば、第２の識別情報を認証に使用可能となる。具体的には例えば、識別情報としてのＩＤ番号が格納されたＩＣタグの呈示とともに、第２の識別情報としての暗証番号の入力を求め、入力された暗証番号が正しいことも認証成功の条件とする（すなわち第２の識別情報による認証と顔認証との論理積をとる）ようにすれば、他人受入率の低減が可能となる。

なお、図２の例のように２個のハウジングＨ１，Ｈ２を用いる代わりに、図８に示すように１個のハウジングＨ１に全ての構成が保持されるようにしてもよい。ただし、図２と図８とのいずれの場合であっても、指示部４においてディスプレイ４１や発光ダイオード４３のように視覚情報によって指示を与えるもの（以下、「視覚指示装置」と呼ぶ。）は撮像部２のカメラ２１に近接配置したほうが、視覚指示装置によってカメラ２１の方向に登録者Ｍの眼を向けさせることになる。また、図２の例や図８の例において、指示以外の情報の表示を行う表示装置を設ける場合、上記と同様の理由で、表示装置も上記の視覚指示装置と同じく撮像部２のカメラ２１に近接配置することが望ましい。表示装置としては、例えば、点灯・消灯の区別や光色の別によって情報を表示する発光ダイオードが考えられる。指示以外の上記情報としては、電源のオンオフや動作状態（待機中、登録動作中、確認動作中、など）や判定・判断の結果（登録動作の有効・無効など）などが考えられる。また、視覚指示装置や表示装置を少しでもカメラ２１の近くに配置するため、視覚指示装置以外の指示部４や入力部１は、視覚指示装置や表示装置と撮像部２のカメラ２１との間には配置しないことが望ましい。上記のように登録動作の終了などの動作状態を表示する表示装置を撮像部２のカメラ２１に近接配置すれば、登録者Ｍは表示手段によって、例えば登録動作中なのか待機中なのかを確認するので、登録者Ｍはカメラ２１を略直視することになる。つまり、様々に動いてもらいつつカメラ２１を見ている登録画像が得られる。

また、図２の例や図８の例において、指示部４の視覚指示装置を上記の表示装置として兼用してもよい。つまり、指示部４の例えばディスプレイ４１や発光ダイオード４３のような視覚指示装置によって、指示だけでなく、例えば「登録動作中」や「登録終了」といったような動作状態が表示されるようにしてもよい。

さらに、図９に示すように、例えば撮像部２のカメラ２１の左右両側に、それぞれ、撮像時の照明用の照明部６が設けてもよい。照明部６には、例えば、放電灯や、発光ダイオードや、有機ＥＬを用いた面状発光体など、周知の光源を用いることができる。照明部６の制御は、制御部５によって自動で行われるものとしてもよいし、手動操作で行なわれるものとしてもよい。

本実施形態は、図１０に示すような集合住宅用セキュリティシステムにおいて、顔認証装置Ａに一体化して用いることができる。つまり、図１０の顔認証装置Ａは、上記の顔登録装置と同様の基本構成を有し、図１１に示すように、始動後（ステップＳ１）、通常は、入力部１に何らかの入力がされるまで待機し、認証のために入力部１に識別情報が入力されたとき（ステップＳ３においてＹＥＳ）、記憶部３において該識別情報に対応付けられた各顔画像と、撮像部２に撮像された認証の対象者の顔画像とを比較することによる認証動作を開始する（ステップＳ４）という、認証モードで動作する。また、顔認証装置Ａは、登録動作の開始を指示する入力（例えばシステム管理者の識別情報と登録者Ｍの識別情報との入力）が入力部１に受け付けられる（ステップＳ２においてＹＥＳ）と、既に説明したように登録動作（ステップＳ５）を行い、必須顔画像による判定（ステップＳ６）や、第２登録動作（ステップＳ７）、並びに、その後の確認動作（ステップＳ８）を経ても、再度の登録動作が不要と判断されれば（ステップＳ６とステップＳ８においてともにＹＥＳ）、検討動作（ステップＳ９）を行なって最終的な登録画像を確定した後、認証モードに復帰する。この集合住宅用セキュリティシステムは、マンションなどの集合住宅に設置されるものであって、顔認証装置Ａの他に、ロビーインターホンＢ、警報監視盤Ｃ、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆ、システム制御盤Ｇ、各住戸に設置される住宅情報盤（図示せず）などで構成されている。

ロビーインターホンＢは、来訪者を撮像するカメラ、警報監視盤Ｃや住宅情報盤との間で通話するための通話装置、来訪者が訪問先の住戸の住戸番号などを入力するためのテンキーなどを備え、集合住宅の共同玄関の扉Ｊの外に設置されている。来訪者がロビーインターホンＢのテンキーを操作して訪問先の住戸の住戸番号を入力すると、当該住戸番号の住戸に設置されている住宅情報盤に対し、ロビーインターホンＢから警報監視盤Ｃを経由して、呼出信号並びにロビーインターホンＢのカメラで撮像された訪問者の映像が伝送される。そして、呼出信号を受け取った住宅情報盤においては、ロビーインターホンＢから受け取る映像をディスプレイに表示するとともにスピーカから呼出音を鳴動させる。当該住戸の住人が住宅情報盤の応答釦を押操作すれば、住宅情報盤とロビーインターホンＢとの間に通話路が形成され、来訪者と住人とがそれぞれロビーインターホンＢ及び住宅情報盤を用いて通話することができる。なお、この種のロビーインターホンＢ、警報監視盤Ｃ、住宅情報盤については従来周知であるから詳細な構成についての図示並びに説明は省略する。

電気錠制御盤Ｄは、共同玄関の扉Ｊに設けられた電気錠（図示せず）の施錠・解錠を制御する。エレベータ制御盤Ｅは、集合住宅に設置されているエレベータ（図示せず）の運転を制御する。宅配ボックス制御盤Ｆは、集合住宅に設置されている宅配ボックスの施錠・解錠などを制御する。システム制御盤Ｇは、住宅情報盤から伝送される制御指令や顔認証装置Ａの認証結果に応じて、電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させるといったことを行わせるものである。すなわち、何れかの住戸の住人が当該住人に割り当てられている識別情報としてのＩＤ番号を顔認証装置ＡのＩＣタグリーダ１２から入力するとともにキーボード１１において第２の識別情報（暗証番号など）を正しく入力すると、顔認証装置Ａでは、ＩＣタグリーダ１２に入力されたＩＤ番号に対応付けられた顔画像を用いて当該住人の顔認証（認証動作）を行い、認証できれば（つまり認証動作の結果として当該住人が登録者であると判断されれば）システム制御盤Ｇに認証可の情報を伝送する。そしてシステム制御盤Ｇは、顔認証装置Ａから認証可の情報を受け取ると電気錠制御盤Ｄに共同玄関の扉Ｊの電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、顔認証装置Ａによる認証が不可であった場合（つまり認証動作の結果として当該住人が登録者ではないと判断された場合）、システム制御盤Ｇでは、顔認証装置Ａから認証不可の情報を受け取ると電気錠制御盤Ｄに共同玄関の扉Ｊの電気錠を解錠させず、エレベータ制御盤Ｅにエレベータの運転を行わせず、且つ宅配ボックス制御盤Ｆに宅配ボックスを解錠させない。なお、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆは従来周知のものであるから、詳細な構成の図示並びに説明は省略する。なお、図９のように入力部１としてキーボード１１のみを備える場合、ＩＤ番号などの識別情報はキーボード１１から入力されるようにしてもよい。また、制御部５が、上記顔認証（認証動作）の終了時に、表示装置や指示部４を制御し、認証の対象となった当該住人に対して認証の結果を報知させてもよい。

ここで、上記の顔認証装置Ａは、扉Ｊの前で顔認証を行うのだが、通路を右から来たとき、左から来たとき、正面から来たによってカメラ２１を見る顔の向きが変わる場合がある。登録時に、カメラ２１の前で静止した状態の顔の向きは正対した、かしこまった顔になっている場合が多い。特に登録時は、顔認証装置Ａに対して初めて触れる機会であり、装置に対する不慣れによって、顔がこわばっていることも十分に考えられる。しかし、顔認証装置Ａに慣れてくると、顔の向きに関してルーズになって正対しなくなったりする。また、通路を歩いてくる方向によって上記のように顔向きが変わったり、さらに顔認証装置Ａに慣れてくると、顔認証装置Ａの反応時間（顔を検出してから扉Ｊが自動で開くまで、あるいは電気錠が解除されるまで）に併せて、扉Ｊの前で静止せずに歩く速度を緩めるだけで認証されることを望むようになり、顔の向きが登録時の正対とは大きく異なるようになる。そこで、登録時に多く試みるであろう正対した顔画像以外に、実際の運用時に顔認証装置Ａのカメラ２１の近くに来た時の顔向きとなるであろう図３の顔向きの顔画像を登録段階で登録する。なお、図３の様々な顔向きの顔画像を登録するために、ある程度身体を動かしてもらいながら、一方でカメラ２１を見ている顔画像を撮影すれば、図３の顔向きの顔画像が撮影しやすくなる。請求項４に示すように動きを要求しつつ、請求項９に示すようにカメラをほぼ直視するための仕組みを加えることによって、より、図３の顔向きの顔画像を撮影し、登録しやすくなる。

本発明の実施形態を示すブロック図である。 同上を示す説明図である。 顔画像の一例を示す説明図である。 （ａ）（ｂ）はそれぞれ顔画像の一例を示し、（ａ）は前髪のある顔画像を示し、（ｂ）は前髪のない顔画像を示す。 前髪の有無を検出する方法の一例を示す説明図である。 同上の動作を示す説明図である。 同上の別の動作を示す説明図である。 同上の別の形態の一例を示す説明図である。 同上の更に別の形態を示す正面図である。 同上が用いられる集合住宅用セキュリティシステムのシステム構成例を示す説明図である。 同上の動作の一例を示す流れ図である。

符号の説明

１ 入力部
２ 撮像部
３ 記憶部
４ 指示部
５ 制御部
２１ カメラ
４１ ディスプレイ（請求項における表示手段）
４３ 発光ダイオード（請求項における表示手段）
d

Claims (10)

1. 顔認証に用いられる顔画像を登録者毎に１枚以上ずつ登録する顔画像登録装置であって、
   顔画像を登録する登録動作の開始の指示が識別情報とともに入力される入力部と、
   画像をデジタルデータとして出力するカメラ及びカメラが出力した画像から顔と判定される部分である顔画像を抽出して出力する顔抽出装置を有する撮像部と、
   撮像部によって撮像された顔画像が格納される記憶部と、
   登録者への指示を行う指示部と、
   入力部に識別情報とともに登録動作の開始の指示が入力されたときに、撮像部を制御して登録者の顔画像を複数枚撮像させる登録動作を開始するとともに、登録動作中に得られた顔画像のうち１枚以上の顔画像を、登録動作の開始時に入力部に入力された識別情報に関連付けられた登録画像として記憶部に格納することにより登録する制御部とを備え、
   制御部は、登録動作中、それぞれ顔の向きが異なる複数枚の顔画像が得られるように、指示部を制御して顔の向きを変えるように登録者に対して指示させ、登録動作の終了後、登録動作と同様にして複数枚の登録画像を得る第２登録動作を行うとともに、前記登録動作中に得られた各登録画像について、それぞれ前記第２登録動作中に撮像された各顔画像との一致・不一致を判定し、これらの一致・不一致の判定の結果に応じて、前記登録動作中に得られた各登録画像の有効・無効を判断するとともに、前記登録動作中に得られた各登録画像が無効と判断された場合には前記登録動作中に得られた全ての登録画像を破棄する一方、前記登録動作中に得られた各登録画像が有効と判定された場合には、前記第２登録動作中に得られた各登録画像について、それぞれ前記第２登録動作中に得られた他の各顔画像との一致・不一致を判定し、これらの一致・不一致の判定の結果に応じて、前記第２登録動作中に得られた各登録画像の有効・無効を判断するとともに、前記第２登録動作中に得られた各登録画像が無効と判断された場合には前記第２登録動作中に得られた全ての登録画像を破棄する一方、前記第２登録動作中に得られた各登録画像が有効と判定された場合には、前記登録動作で得られた登録画像と前記第２登録動作で得られた登録画像とのどちらが本人判断する性能が高いかを判断して本人判断する性能が高い一方のみを登録画像として残すことを特徴とする顔画像登録装置。
2. 記憶部には、それぞれ顔の向きが異なる平均的な顔画像である複数枚の平均顔画像が予め格納されていて、
   制御部は、登録動作中に撮像部に撮像された顔画像のうち、いずれかの平均顔画像との相関値が所定の登録相関値以上であって平均顔画像毎に相関値が最も高い１枚ずつの顔画像のみを登録画像として記憶部に格納することを特徴とする請求項１記載の顔画像登録装置。
3. 平均顔画像のうち少なくとも１枚は必須顔画像とされていて、
   制御部は、登録動作の終了時、必須顔画像との相関値が登録相関値以上である登録画像が全ての必須顔画像について得られていなければ、登録動作を再度行うことを特徴とする請求項２記載の顔画像登録装置。
4. 制御部は、登録動作中、撮像部が撮像した顔画像に基いて登録者の動きを検出し、登録者の動きが検出されないときに指示部を制御して登録者に対し動きを促すことで様々な方向を向かせることを特徴とする請求項２又は請求項３記載の顔画像登録装置。
5. 制御部は、登録動作中に得られた顔画像において顔の器官が隠れる要因となる隠蔽要素のうち少なくとも１種類について有無を判定するとともに、隠蔽要素があると判定された場合には、指示部を制御し、隠蔽要素を排除するように指示させるとともに、得られた顔画像は、あると判定された隠蔽要素に関連付けた上で登録画像として記憶部に格納することを特徴とする請求項１〜４のいずれか１項に記載の顔画像登録装置。
6. 制御部は、カメラが出力した画像における面積が所定の範囲外である顔画像は登録画像とはしないことを特徴とする請求項１〜５のいずれか１項に記載の顔画像登録装置。
7. 制御部は、輝度を示す画素値の平均値が所定の登録画素値未満である顔画像は登録画像とはしないことを特徴とする請求項１〜６のいずれか１項に記載の顔画像登録装置。
8. 動作状態を表示する表示装置を備え、
   撮像部のカメラと表示装置とが互いに近接配置されていることを特徴とする請求項１〜７のいずれか１項に記載の顔画像登録装置。
9. 登録動作中に撮像部において１枚の画像中に顔と判定される領域が２箇所以上あった場合、制御部は登録動作を中止することを特徴とする請求項１〜８のいずれか１項に記載の顔画像登録装置。
10. 入力部は登録動作の開始の指示と識別情報の入力とともに識別情報とは異なる第２の識別情報の入力を受け付けるものであって、
    制御部は、各登録画像を、該登録画像が得られた登録動作の開始時に入力部に入力された第２の識別情報にもそれぞれ関連付けて記憶部に格納することを特徴とする請求項１〜９のいずれか１項に記載の顔画像登録装置。