JP7714906B2 - 物体認識装置、物体認識装置の制御方法 - Google Patents

Description

本発明は物体認識装置に関する。

従来から、ユーザの顔認識を行い、ユーザに特定の動作を行える権限があるかを識別する顔認識システムがある。例えば、セキュリティが高いエリアへの入退室の許可装置、または特定の装置の使用許可を出す装置などとして顔認識システムが用いられている。

特許文献１には、ユーザがマスクをつけていたり、髪型が変更されたりした場合であっても、顔認識が正常に行えるようにする技術が開示されている。ある部位の特徴量を重視し、他の部位の特徴量を軽減することで、データベースに登録されているデータと差異があった場合でも正常に顔認識することができる。

特許文献２は、マスク・サングラス・帽子などによりユーザの顔の撮像画像がデータベースに登録されている画像と異なる場合に、顔認識する発明である。上述した例により、撮像画像とデータベースの登録画像とに差異があった場合に、即座に顔認識を失敗させるのではなく、撮像画像を複数のエリアに分割し、照合に失敗したエリアをユーザに通知して再認識を促すことで、顔認識を成功させる技術である。

特許文献３は、デジタルカメラにおける発明であり、撮影モードごとに被写体の優先度を定義することで、優先的に被写体の認識を行うことができ、早期に被写体に合わせた光学調整を行う技術である。

特許文献４は、静脈パターンなどの生体のパターン画像に対し、複数の領域に分割した領域ごとに類似したパターンを認識し、領域ごとのパターンに相当する番号を保存することで、生体のパターン画像の容量を低減する発明である。

特許文献５は、低解像度の画像でもって、顔認識を行い、同一の画像と判断された場合に、より高解像度の画像の一部分で顔認識を行うことで、速度を担保しながら、徐々に顔認識の精度を向上させていく発明である。

特開２００７－２５７２２１号公報 特開２０１９－１６８９２９号公報 特開２００７－０６８１４９号公報 特開２０１１－０６５３１５号公報 特開２０１２－２３８０５９号公報

しかしながら、上述のような従来技術は、顔認識において照合する顔の部位の大きさ、または顔認識の対象の多さが原因となり、顔認識に時間がかかる。そのため、ユーザは早期に作業に移ることができず、ユーザにストレスを与える原因となっている。

従来のアルゴリズムでは、撮像画像の解像度を荒くすることで、処理を早めることができるが、解像度が荒いことから、誤認識することもあった。また、顔認識だけではなく、物体を認識する需要もある。

そこで、本発明の一態様は、認識精度を維持したまま、高速に物体認識を行える装置を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る物体認識装置は、対象物体を撮像した撮像画像を取得する画像取得部と、前記撮像画像から、前記対象物体における所定の複数の部分の画像を抽出した複数の部分撮像画像を作成する画像抽出部と、記憶部に記憶されている、認識対象としての登録物体における所定の複数の部分の画像を抽出した複数の部分登録画像と、前記部分撮像画像との照合を、前記部分登録画像にそれぞれ対応付けられた優先度に従った順番で行う照合部と、前記照合部における照合が所定の条件を満たした時点で、前記対象物体の認識結果を出力する認識出力部と、を備える。

上記の構成によれば、部分撮像画像と部分登録画像との間で、部分登録画像に対応付けられた優先度の順番で、所定の条件を満たすまで照合を繰返すことで、対象物体が登録物体であるか否かを判定することができる。所定の条件を満たした時点で認識結果を出力するため、早期に対象物体の認識結果を出力することができる。

前記照合部は、前記部分登録画像と前記部分撮像画像との類似度を算出し、所定の閾値と比較することで、照合を行ってもよい。

上記の構成によれば、類似度を閾値と比較することで、部分登録画像と部分撮像画像とを照合することができる。

前記照合部が、前記優先度に従った順番で照合を行い、前記部分登録画像と、当該部分登録画像に対応する前記部分撮像画像とが実質的に一致すると判定した時点で、前記認識出力部が前記対象物体の認識結果を出力してもよい。

上記の構成によれば、照合部が、部分登録画像と実質的に一致する部分撮像画像があると判定した時点で、当該対象物体は、登録物体であるとの認識結果を出力することができる。

前記記憶部は、前記部分登録画像と、前記部分登録画像の優先度と、を複数の前記登録物体に関して記憶しており、前記照合部は、ある優先度における全ての前記登録物体の前記部分登録画像に対する照合を行った後に、次の優先度における全ての前記登録物体の前記部分登録画像に対する照合を行ってもよい。

上記の構成によれば、全ての登録物体に関して、優先度の順番で部分撮像画像の照合を行い、実質的に一致したと判定された時点で、当該対象物体は登録物体であるとの認識結果を出力することができる。

前記照合部が、前記優先度に従った順番で照合を行い、前記部分登録画像と、当該部分登録画像に対応する前記部分撮像画像とが実質的に一致しないと判定した時点で、前記認識出力部が前記対象物体の認識結果を出力してもよい。

上記の構成によれば、照合部が、部分登録画像と実質的に一致しない部分撮像画像があると判定した時点で、当該対象物体は、登録物体ではないとの認識結果を出力することができる。

前記記憶部は、前記部分登録画像と、前記部分登録画像の優先度と、を複数の前記対象物体に関して記憶しており、前記照合部は、ある優先度における全ての前記登録物体の前記部分登録画像に対する照合を行った後に、次の優先度における全ての前記登録物体の前記部分登録画像に対する照合を行い、前記部分登録画像と、当該部分登録画像に対応する前記部分撮像画像とが実質的に一致しないと判定した場合に、次の優先度における該当登録物体に関する照合は行わなくてもよい。

上記の構成によれば、全ての登録物体に関して、優先度の順番で部分撮像画像の照合を行い、全ての登録物体が実質的に一致しないと判定された時点で、当該対象物体は登録物体ではないとの認識結果を出力することができる。

前記照合部は、前記類似度の算出結果を類似度履歴として記憶する処理を行い、前記類似度履歴に基づき、前記部分登録画像の優先度を設定する優先度設定部を、さらに備えてもよい。

上記の構成によれば、部分登録画像の優先度を、類似度履歴に応じて自動的に設定することができる。よって、類似度の傾向に応じて部分登録画像の優先度を設定することによって、より早く対象物体が登録物体であるか否かの認識結果を出力することができる。

ユーザの入力に基づき、前記部分登録画像の優先度を設定する優先度設定部をさらに備えてもよい。

上記の構成によれば、部分登録画像の優先度を、ユーザ入力に基づき、任意に設定できる。そのため、意図的に優先度を下げたい部位または意図的に優先度を上げたい部位の優先度を変更できる。

前記対象物体は人物の顔であってもよい。

上記の構成によれば、例えば、物体は人物の顔であってもよく、早期に顔認識をする場合に用いることができる。

別の態様に係る物体認識装置は、対象物体を撮像した撮像画像を取得する画像取得ステップと、前記撮像画像から、前記対象物体における所定の複数の部分の画像を抽出した複数の部分撮像画像を作成する画像抽出ステップと、記憶部に記憶されている、認識対象としての登録物体における所定の複数の部分の画像を抽出した複数の部分登録画像と、前記部分撮像画像との照合を、前記部分登録画像にそれぞれ対応付けられた優先度に従った順番で行う照合ステップと、前記照合部における照合が所定の条件を満たした時点で、前記対象物体の認識結果を出力する認識出力ステップと、を含む。

本発明の各態様に係る物体認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記物体認識装置が備える各部（ソフトウェア要素）として動作させることにより前記物体認識装置をコンピュータにて実現させる物体認識装置の物体認識プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の一態様によれば、撮像画像から抽出された部分撮像画像と、予め登録されている部分登録画像とを、部分登録画像に対応づけられた優先度でもって照合し、照合結果が所定の条件を満たした時点で早期に、認識を終了することができる。

実施形態１に係る顔認識システムの要部の構成を示すブロック図である。 実施形態１に係る撮像画像と、部分撮像画像を示すモデル図である。 部分登録画像を登録する流れを示すフローチャートである。 実施形態１に係る動作例１の動作の流れを示すフローチャートである。 実施形態１に係る動作例２の動作の流れを示すフローチャートである。 実施形態１に係る動作例３の動作の流れを示すフローチャートである。 実施形態１に係る動作例４の動作の流れを示すフローチャートである。 実施形態２に係る顔認識システムの要部の構成を示すブロック図である。 実施形態３に係る撮像画像と部分撮像画像を示すモデル図である。

〔実施形態１〕
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

§１．適用例
図１は、実施形態１に係る顔認識システム１００の要部の構成を示すブロック図である。顔認識システム１００は、顔を含む撮像画像を撮像するカメラ２０と、撮像画像に対し顔認識を行う顔認識装置（物体認識装置）１０と、顔認識装置１０によって制御される電磁ロック３０を備える。

顔認識装置１０は、予め登録されている部分登録画像に対応した部分撮像画像を撮像画像から抽出し、部分撮像画像と部分登録画像とを比較することで照合を行う。ここで、部分登録画像は複数用意されており、各部分登録画像には優先度が設定されている。各部分登録画像に対する照合は、優先度に従った順番で行われる。

顔認識装置１０には大きく分けて２つのモードがあり、顔認識の対象者が登録者であると認識する本人認識速度を優先するモードと、顔認識の対象者が登録者ではないと認識する他人認識速度を優先するモードである。本人認識速度を優先するモードでは、１セットの部分撮像画像と部分登録画像との対が同じ画像と認識できた段階で、実質的に同一の顔と認識する。対して、他人認識速度を優先するモードでは、１セットの部分撮像画像と部分登録画像との対が異なる画像と認識できた段階で、実質的に同一の顔ではないと認識する。実質的に同一の顔と認識した場合、顔認識装置１０は、電磁ロック３０を解除する。

すなわち、顔認識装置１０は、優先度に従った順番で照合を行い、１セットの部分撮像画像と部分登録画像との認識結果が出た時点で、顔認識の結果を出力することができる。そのため、撮像画像全体に対し、顔認識を行う場合よりも早期に認識結果を出力することができる。

§２．構成例
（顔認識装置の構成）
図１に基づき、顔認識システム１００の構成を説明する。顔認識装置１０は、画像取得部１１と、記憶部１２と、画像抽出部１３と、照合部１４と、認識出力部１５と、を備える。

カメラ２０は、顔認識を行う対象の顔を含む撮像画像を撮像するカメラである。カメラ２０は、撮像画像を画像取得部１１に出力する。

電磁ロック３０は、顔認識装置１０で制御される電子錠である。電磁ロック３０は、電子錠に限定されず、任意のプログラム制御された装置またはプログラムなどであり、開錠されないと、当該装置またはプログラムなどの機能を用いることができない。

例えば、ドアに電磁ロック３０が設けられている場合、顔認識によって電磁ロック３０が開錠しないと当該ドアを開けて内部に侵入することができない。また、スマートフォンなどのカメラ２０を内蔵した電子機器において、顔認識によって電磁ロック３０を開錠（電磁ロック３０を解除）しないと当該スマートフォンが操作を受け付けない。

画像取得部１１は、撮像画像を入力する。画像取得部１１は、入力した撮像画像を、画像抽出部１３に出力する。

記憶部１２は、顔認識の認識対象である登録者ごとに複数の部分登録画像を記憶している。また、記憶部１２は、各部分登録画像と併せて、優先度も記憶されており、部分登録画像に対する顔認識を行う順番が定められている。なお、部分登録画像および優先度の情報は、顔認識装置１０の外部の記憶部に記憶されており、各種通信手段を介して顔認識装置１０が部分登録画像および優先度の情報を読み出してもよい。

画像抽出部１３は、入力された撮像画像の中から、部分登録画像に対応する部分を抽出し、部分撮像画像とする。画像抽出部１３は、抽出した複数の部分撮像画像を、照合部１４に出力する。

照合部１４は、入力された部分撮像画像と部分登録画像とを比較し、互いがどの程度類似するかを示す類似度という数値を算出する。その後、照合部１４は、類似度を所定の閾値と比較することによって、実質的に同一の画像か否かを判断する。また、ある優先度の部分登録画像と当該部分登録画像に対応する部分撮像画像とを照合し、必要な場合は次の優先度の部分登録画像と当該部分登録画像に対応する部分撮像画像とを照合する処理を行う。顔認識に必要な照合を行い、照合結果が確定すると、照合部１４は、認識出力部１５に照合結果を出力する。

認識出力部１５は、入力された照合結果を受けて、電磁ロック３０を開錠する信号を発するか否かを判断する。認識出力部１５は、顔認識の対象者が登録者であるという照合結果が得られた場合、電磁ロック３０を開錠する。対して、認識出力部１５は、顔認識の対象者が登録者ではないという照合結果が得られた場合、電磁ロック３０を開錠しない。

（撮像画像における部分撮像画像の抽出）
図２は、実施形態１に係る撮像画像１１１と、部分撮像画像１１２とを示すモデル図である。撮像画像１１１は、図２に示すように、顔認識の対象となる対象者の顔の全体が写った画像である。部分撮像画像１１２は、例えば５つの撮像画像１１１の一部分の画像であり、部分撮像画像１１２ａ～１１２ｅである。各部分撮像画像は、顔の特徴を表す部位を部分的に写した画像である。

例えば、部分撮像画像１１２ａは両目を、部分撮像画像１１２ｂは口を、部分撮像画像１１２ｃは頭髪を、部分撮像画像１１２ｄは鼻を、部分撮像画像１１２ｅは額を写した画像である。部分撮像画像１１２（部分撮像画像１１２ａ～１１２ｅを総称して部分撮像画像１１２と記す）の範囲は互いに重畳してもよい。例えば、図２の例では、部分撮像画像１１２ａおよび部分撮像画像１１２ｅにともに眉が含まれる。

部分撮像画像１１２は、画像抽出部１３によって撮像画像１１１から抽出されるが、抽出される範囲は、部分登録画像に対応する範囲が抽出される。

すなわち、画像抽出部１３は、撮像画像１１１の中から部分登録画像にそれぞれ対応づく部分撮像画像１１２を抽出する。この時、部分撮像画像１１２を抽出するために、撮像画像１１１に対し、部分撮像画像１１２の範囲を導出するためにパターンマッチングを行ってもよい。

また、部分撮像画像１１２の抽出方法はこの方法に限定されず、予め撮像画像１１１の中から抽出すべき部分領域の位置を定めておき、該当部分領域を抽出し部分撮像画像１１２としてもよい。

（部分登録画像の登録方法）
図３は、部分登録画像を登録する流れを示すフローチャートである。顔認識を行うためには、顔画像から部位ごとに分割した部分登録画像を予め登録しておく必要がある。

Ｓ１１において、カメラ２０は、登録する登録者の顔画像を撮像する。Ｓ１２において、撮像した顔画像を顔の部位ごとに抽出する。顔の部位としては、目、口、鼻、眉、額、頭髪などであり、それぞれの部位に加え周辺が写るような画像に抽出してもよい。この作業は、ユーザが顔認識装置１０を操作して行うか、顔認識装置１０が所定のルールに従い自動で行う。

Ｓ１３において、分割した部位ごとに記憶部１２に部分登録画像として登録する。Ｓ１４において、各部分登録画像に対して、顔認識を行う順番である優先度を割り当てる。ここで、優先度の割り当ては、ユーザが手動で行ってもよいし、顔認識装置１０が所定のルールに従い自動で行ってもよい。

§３．動作例
以降、４種類の動作例について具体例を交えて説明する。

（動作例１：登録者一人における本人認識速度優先）
図４は、実施形態１に係る動作例１の動作の流れを示すフローチャートである。動作例１は、顔認識の対象となる部分登録画像が１人分の顔画像の場合において、当該部分登録画像の登録者に対する本人認識速度を優先した動作である。説明を簡単にするため、部分登録画像は５枚あるものとして説明する。

Ｓ２１において、カメラ２０が顔画像を撮像し、画像取得部１１は当該顔画像を撮像画像として取得する。

Ｓ２２において、認識出力部１５は、ｉ＝１からｉ＝５まで、部位ごとの部分登録画像の照合を行う照合ループをする。ここで、ｉは、部分登録画像の優先度を示す自然数である。

Ｓ２３において、画像抽出部１３は、優先度がｉ番目の部分登録画像に対応する部分撮像画像を抽出する。

Ｓ２４において、照合部１４は、部分撮像画像と優先度がｉ番目の部分登録画像とを比較し照合を行う。部分撮像画像と部分登録画像とが実質的に一致した場合、Ｓ２５に進む。部分撮像画像と部分登録画像とが実質的に一致しない場合、Ｓ２６に進む。

Ｓ２５において、照合部１４は、部分撮像画像と部分登録画像とが実質的に一致したことから、対象者が単体登録者と同一人物であると認識し、照合ループを抜ける。その後、認識出力部１５は、電磁ロック３０を開錠する。

Ｓ２６において、照合部１４は、ｉ＝５の場合、照合部１４は、照合ループを抜け、またはｉ＝ｉ＋１とインクリメントし、次の照合ループに移る。

Ｓ２７において、認識出力部１５は、対象者が登録者と同一人物でなかったため、対象者が登録者と異なる人物であると認識する。そのため、認識出力部１５は、電磁ロック３０を開錠しない。

以上のような処理によれば、１つの部分撮像画像が部分登録画像と実質的に一致したと判定された時点で、早期に対象者が登録者と同一人物であると認識することができる。また、セキュリティを担保するために、部分撮像画像と部分登録画像が互いに実質的に一致すると判断する類似度の閾値を厳しめに設定しておくことが好ましい。閾値の設定が厳しめであることによって、登録者以外の対象者が顔認識によって同一人物と認識されてしまう可能性を抑制することができる。

ここで、Ｓ２４においては、１つの部分撮像画像が部分登録画像と実質的に一致するか否かによって条件分岐を行い、条件が成立した場合（Ｓ２４においてＹｅｓ）、電磁ロック３０を解除した（Ｓ２５）が、必ずしも１つの部分撮像画像による認識結果で解除しなくてもよい。すなわち、所定の数の部分撮像画像が部分登録画像と実質的に一致した場合に、対象者が単体登録者と同一人物であると認識してもよい。同一人物であると判定するのに必要な部分登録画像の数を増やすことで、セキュリティが向上する。ここで、同一人物であると判定するのに必要な部分登録画像の数は、記憶部１２に記憶されている部分登録画像の数よりも少なくすることが好ましい。これにより、全ての部分登録画像と照合する場合と比較して、高速に照合結果を出力することができる。

動作例１の実際の例としては、基本的に登録者のみが用いる装置で顔認識する場合に好適に用いられる。例えば、個人が所有するスマートフォンなどの電子機器において、ユーザ認識として顔認識を用いる場合が挙げられる。

（動作例２：登録者一人における他人認識速度優先）
図５は、実施形態１に係る動作例２の動作の流れを示すフローチャートである。動作例２は、顔認識の対象となる部分登録画像が１人分の顔画像の場合において、当該部分登録画像の登録者ではないと認識する他人認識速度を優先した動作である。説明を簡単にするため、部分登録画像は５枚あるものとして説明する。

Ｓ２１～Ｓ２３の処理は、動作例１と同一であるため、説明を省略する。

Ｓ３４において、照合部１４は、部分撮像画像と優先度がｉ番目の部分登録画像とを比較し照合を行う。部分撮像画像と部分登録画像とが実質的に一致した場合、Ｓ３６に進む。部分撮像画像と部分登録画像が実質的に一致しない場合、Ｓ３５に進む。

Ｓ３５において、照合部１４は、部分撮像画像と部分登録画像とが実質的に一致しなかったことから、対象者が単体登録者と異なる人物であると認識し、照合ループを抜ける。その後、認識出力部１５は、電磁ロック３０を開錠しない。

Ｓ３６において、ｉ＝５の場合、照合部１４は、照合ループを抜けＳ３７に進み、または照合部１４は、ｉ＝ｉ＋１とインクリメントし、次の照合ループに移る。

Ｓ３７において、認識出力部１５は、全ての部分登録画像に対応する部分撮像画像が実質的に一致したことから、対象者が登録者と同一人物であると認識する。そのため、認識出力部１５は、電磁ロック３０を開錠する。

以上のような処理によれば、１つの部分撮像画像が部分登録画像と実質的に一致しないと判定された時点で、早期に対象者が登録者と同一人物でないと認識することができる。なお、対象者が登録者である場合に、登録者ではないと誤判定することを抑制するために、部分撮像画像と部分登録画像が互いに一致すると判断する類似度の閾値を緩めに設定しておくことが好ましい。閾値の設定が緩めであることによって、登録者ではない対象者でも部位あたりの照合では実質的に一致すると判断されることがあるが、照合ループによって多数の部位を用いることで、結果的に登録者ではない対象者を登録者と異なる人物であると出力することができる。

ここで、Ｓ３４においては、１つの部分撮像画像が部分登録画像と実質的に一致するか否かによって条件分岐を行い、条件が成立しなかった場合（Ｓ３４においてＮｏ）、認識処理を終了したが、必ずしも１つの部分撮像画像による認識結果で終了しなくてもよい。すなわち、所定の数の部分撮像画像が部分登録画像と一致しなかった場合に、対象者が登録者と同一人物でないと認識してもよい。必要な部分登録画像の数を増やすことで、誤判定を抑制することができる。ここで、同一人物ではないと判定するのに必要な部分登録画像の数は、記憶部１２に記憶されている部分登録画像の数よりも少なくすることが好ましい。これにより、全ての部分登録画像と照合する場合と比較して、高速に照合結果を出力することができる。

動作例２の実際の例としては、基本的に登録者のみが用いる装置の他人による悪用を防ぐ場合に好適に用いられる。例えば、個人が所有するスマートフォンなどの電子機器の紛失時において、顔認証によるロック解除に対するセキュリティ向上のために用いられる。

（動作例３：登録者複数における本人認識速度優先）
図６は、実施形態１に係る動作例３の動作の流れを示すフローチャートである。動作例３は、顔認識の対象となる部分登録画像が複数人分の顔画像が登録されている場合において、当該部分登録画像の本人に対する本人認識速度を優先した動作である。説明を簡単にするため、複数人の登録者は３名とし、登録者ごとの部分登録画像は５枚あるものとして説明する。

Ｓ４１において、カメラ２０が顔画像を撮像し、画像取得部１１は当該顔画像を撮像画像として取得する。

Ｓ４２において、照合部１４は、ｉ＝１からｉ＝５まで、部位ごとの部分登録画像の照合を行う照合ループを行う。ここで、ｉは、部分登録画像の優先度を示す自然数である。

Ｓ４３において、照合部１４は、ｊ＝１からｊ＝３まで、登録者ごとの照合を行う登録者ループを行う。ここで、ｊは、登録者を表す自然数である。

Ｓ４４において、画像抽出部１３は、ｊ番目の登録者におけるｉ番目の優先度の部分登録画像に対応する部分撮像画像を抽出する。

Ｓ４５において、照合部１４は、部分撮像画像とｊ番目の登録者におけるｉ番目の優先度の部分登録画像とを比較し照合を行う。部分撮像画像と部分登録画像とが実質的に一致した場合、Ｓ４６に進む。部分撮像画像と部分登録画像とが実質的に一致しない場合、Ｓ４７に進む。

Ｓ４６において、照合部１４は、部分撮像画像と部分登録画像とが実質的に一致したことから、対象者が登録者のいずれかと同一人物であると認識し、照合ループを抜ける。その後、認識出力部１５は、電磁ロック３０を開錠する。

Ｓ４７において、照合部１４は、ｊ＝３の場合、照合部１４は、登録者ループを抜け、またはｊ＝ｊ＋１とインクリメントし、次の登録者ループに移る。

Ｓ４８において、照合部１４は、ｉ＝５の場合、照合部１４は、照合ループを抜け、またはｉ＝ｉ＋１とインクリメントし、次の照合ループに移る。

Ｓ４９において、認識出力部１５は、対象者が複数人の登録者全員と実質的に一致しなかったため、対象者が複数人の登録者と異なる人物であると認識する。そのため、認識出力部１５は、電磁ロック３０を開錠しない。

以上のような処理によれば、１つの部分撮像画像が複数人の登録者の中のいずれか１人の部分登録画像と実質的に一致したと判定された時点で、対象者が登録者のいずれかと同一人物であると認識して顔認識を終了する。そのため、早期に対象者の顔認識を行うことができる。また、セキュリティを担保するために、部分撮像画像と部分登録画像とが互いに実質的に一致すると判断する類似度の閾値を厳しめに設定しておくことが好ましい。閾値の設定が厳しめであることによって、複数人の登録者ではない対象者が顔認識によって複数人の登録者のいずれか１人と同一人物と認識されてしまう可能性を抑制することができる。

動作例３の実際の例としては、登録者を除いた対象者が照合する可能性が低い装置であって、複数人の登録者が用いる装置で顔認識する場合に好適に用いられる。例えば、基本的に関係者が入場することが想定されている入場ゲートにおいて、登録者であれば入場を許可するというような用途での利用が考えられる。

（動作例４：登録者複数における他人認識速度優先）
図７は、実施形態１に係る動作例４の動作の流れを示すフローチャートである。動作例４は、顔認識の対象となる部分登録画像が複数人分の顔画像が登録されている場合において、当該部分登録画像の本人を除いた他人の認識速度を優先した動作である。説明を簡単にするため、複数人の登録者は３名とし、登録者ごとの部分登録画像は５枚あるものとして説明する。

Ｓ４１～Ｓ４４の処理は、動作例３と同一であるため、説明を省略する。

Ｓ５５において、照合部１４は、部分撮像画像とｊ番目の登録者におけるｉ番目の優先度の部分登録画像とを比較し照合を行う。部分撮像画像と部分登録画像とが実質的に一致しない場合、Ｓ５６に進む。部分撮像画像と部分登録画像とが実質的に一致した場合、Ｓ５７に進む。

Ｓ５６において、照合部１４は、対象者がｊ番目の登録者ではないと判断する。そのため、以降の処理において、ｊ番目の登録者を候補から外し、以降の照合を行わない。

Ｓ５７において、照合部１４は、ｊ＝３の場合、照合部１４は、登録者ループを抜けＳ５８に進み、またはｊ＝ｊ＋１とインクリメントし、次の登録者ループに移る。

Ｓ５８において、照合部１４は、複数人の登録者のうち、候補となる登録者が残っているかを判断する。候補となる登録者が残っていない場合、Ｓ５９に進む。候補となる登録者が残っている場合、Ｓ６０に進む。

Ｓ５９において、照合部１４は、部分撮像画像と実質的に一致する部分登録画像がなかったことから、対象者が複数人の登録者のいずれか１人と異なる他人であると認識し、照合ループを抜ける。その後、認識出力部１５は、電磁ロック３０を開錠しない。

Ｓ６０において、照合部１４は、ｉ＝５の場合、照合部１４は、照合ループを抜けＳ６１に進み、またはｉ＝ｉ＋１とインクリメントし、次の照合ループに移る。

Ｓ６１において、認識出力部１５は、全ての部分登録画像に対応する部分撮像画像が実質的に一致する登録者がいたことから、対象者が複数人の登録者のいずれかと同一人物であると認識する。そのため、認識出力部１５は、電磁ロック３０を開錠する。

以上のような処理によれば、１枚の部分撮像画像が複数人の登録者の中のいずれか１人の部分登録画像とも実質的に一致しないと判定された時点で、対象者が登録者と異なると認識することができるため、早期に対象者を他人と認識することができる。ただし、登録者を誤って他人と認識しないために、部分撮像画像と部分登録画像とが互いに実質的に一致すると判断する類似度の閾値を緩めに設定しておくことが好ましい。閾値の設定が緩めなため、登録者ではない対象者でも部位あたりの照合では実質的に一致すると判断されることがあるが、照合ループによって多数の部位を用いることで、結果的に登録者ではない対象者を登録者と異なる人物であると出力することができる。

また、部分撮像画像と部分登録画像とを照合し、照合が実質的に一致しなかった時点で、当該登録者を複数登録者の候補から外していく処理となっている。そのため、照合を進めていくことで、複数人の登録者の候補者の人数が絞られることになる。結果として、対象者が複数人の登録者のいずれか１人と同一人物の場合で、電磁ロックを開錠する場合であっても総当たりで照合する場合よりも早く開錠することができる。

動作例４の実際の例としては、登録者を除いた対象者が照合する可能性が高い装置であって、複数人の登録者が用いる装置で顔認識する場合に好適に用いられる。例えば、不特定多数が入場することが想定されている入場ゲートにおいて、登録者のみ入場を許可するというような用途での利用が考えられる。全ての部位で実質的に一致することで、同一人物と判断されるため、セキュリティが高い入退場ゲートの電磁ロックとして用いられる。

§４．作用・効果
照合部は、部分登録画像と、部分登録画像に対応した部分撮像画像とが実質的に一致するかを、算出される類似度によって判断することができる。

登録者が１人の場合、本人の認識速度を優先する場合は、少なくとも１つの部分登録画像と部分撮像画像とが実質的に一致する組み合わせが得られた時点で、対象者を登録者と同一人物であると認識する。対して、他人の認識速度を優先する場合は、少なくとも１つの部分登録画像と部分撮像画像とが実質的に一致する組み合わせが得られた時点で、対象者が登録者と同一人物ではないと認識する。

また、登録者が複数人の場合、本人の認識速度を優先する場合は、少なくとも１つのある部位における部分登録画像と、部分撮像画像とが実質的に一致する組み合わせが得られた時点で、対象者を登録者と同一人物であると認識する。対して、他人の認識速度を優先する場合は、少なくとも１つのある部位における部分登録画像と、部分撮像画像とが実質的に一致しない組み合わせが得られた時点で、対象者を当該登録者と同一人物ではないと判断し、以降の処理において、当該登録者を候補から外して顔認識を行う。

以上のように、ある部位における画像認識によって、顔認識の結果を左右することができる。そのため、早期に顔認識を終了することができるようになる。

〔実施形態２〕
実施形態１では、顔認識の速度を高速化する手法に関して説明した。対して実施形態２では、顔認識の速度を高速化するために、部分登録画像の優先度を最適化する手法に関して説明する。

図８は、実施形態２に係る顔認識システム１００ａの要部の構成を示すブロック図である。顔認識システム１００ａは、顔認識システム１００と異なり、顔認識装置１０ａに優先度設定部１６を備える点が異なる。

優先度設定部１６は、部分登録画像ごとの優先度を、過去に行った顔認識結果の類似度の履歴に基づき、最適化する機能ブロックである。優先度設定部１６は、まず部分登録画像ごとに、類似度の履歴に基づいて類似度の傾向を学習する。一例としては、優先度設定部１６は、類似度の履歴に基づいて平均類似度を算出する。そして、本人の認識速度を優先する場合（動作例１，３）は、優先度設定部１６は、平均類似度が降順になる順番に各部分登録画像に優先度を割り振る。これにより、優先度が高い部分登録画像は、類似度が高くなり易くなり、早期に顔認識を終えることができる。同様に、他人の認識速度を優先する場合（動作例２，４）は、優先度設定部１６は、平均類似度が降順になる順番に優先度を割り振る。これにより、優先度が高い部分登録画像は、他人に対しては類似度が低くなり易くなり、早期に顔認識を終えることができる。

また、優先度の最適化処理は、顔認識装置１０ａが顔認識処理を行っていない間に随時行われてもよく、これにより常に最適な優先度でもって顔認識を行えるようになる。

さらに、優先度設定部１６における優先度の最適化は、自動で行わなくてもよく、ユーザ操作によって手動で任意の優先度の順番に設定してもよい。この場合、優先度設定部１６は、顔認識装置１０ａが備える表示装置に部分登録画像のリストおよび画像を表示させ、顔認識装置１０ａが備える入力装置によってユーザからの各部分登録画像への優先度設定入力を受け付けるようにしてもよい。また、外部の端末装置においてユーザから受け付けた優先度設定情報を通信手段を介して優先度設定部１６が取得して設定してもよい。

優先度の割り当ての具体例としては、例えば、目は人の特徴が強くでている部位であるため、目の優先度を高めるように設定し、マスクをすることが多いため、口元の優先度を低く設定するなどである。また、自分の特徴や好みに応じて優先度を設定することが可能となる。例えば、該ユーザがサングラスをすることが多いことを理由に目の優先度を低めに設定したり、該ユーザが髪型をよく変えることを理由に頭髪の優先度を低めに設定したりすることが可能となる。

〔実施形態３〕
実施形態１では、顔認識に焦点をあてて説明したが、認識する対象は顔に限定されない。実施形態３では、認識する対象を物体にした物体認識について説明する。

図９は、実施形態３に係る撮像画像１１３と部分撮像画像１１４を示すモデル図である。撮像画像１１３は、任意の物体が写った画像であり、例えば図９に示すような自動車の画像であってもよい。部分撮像画像１１４は、例えば４つの撮像画像１１３の一部分の画像であり、部分撮像画像１１４ａ～１１４ｄである。各部分撮像画像は、物体の特徴を表す。

例えば、部分撮像画像１１４ａはサイドガラスを、部分撮像画像１１４ｂはフロントガラスを、部分撮像画像１１４ｃはヘッドライトを、部分撮像画像１１４ｄはタイヤを写した画像である。部分撮像画像１１４（部分撮像画像１１４ａ～１１４ｄを総称して部分撮像画像１１４と記す）の範囲は互いに重畳してもよい。これら部分撮像画像１１４の作成方法および、部分撮像画像１１４の優先度の割り当て方法は、図３に示した顔認識における動作のフローチャートと同様である。

また、実施形態３に係る物体認識における動作のフローチャートは、図４～図７に示した顔認識における動作のフローチャートと同様である。上述した方法と同じ方法によって、対象物体を撮像し撮像画像を取得し、登録物体における部分登録画像に対応する部分撮像画像を撮像画像から抽出し、部分登録画像と部分撮像画像とを照合する。

照合結果を受けて、登録物体であると認識する速度を優先する場合は、前記した動作例１に示したように、少なくとも１つの部位での照合結果が実質的に一致することで、対象物体が登録物体と同一物体であると認識する。対して、登録物体ではないと認識する速度を優先する場合は、前記した動作例２に示したように、少なくとも１つの部位での照合結果が実質的に一致しないことで、対象物体が登録物体と同一物体ではないと認識する。

また、登録物体が複数ある場合に関して説明する。登録物体のいずれかであると認識する速度を優先する場合は、前記した動作例３に示したように、優先度ごとの部位の照合において、複数ある登録物体のいずれかと実質的に一致することで、対象物体が登録物体のいずれかと同一物体であると認識する。登録物体のいずれでもないと認識する速度を優先する場合は、前記した動作例４に示したように、優先度ごとの部位の照合処理において、複数ある登録物体は対象物体と実質的に一致しないことで、当該登録物体は候補から外れていき、候補がなくなることで、対象物体が複数ある登録物体の全てと同一物体ではないと認識する。

〔ソフトウェアによる実現例〕
顔認識装置１０・１０ａおよび物体認識装置（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に顔認識装置１０・１０ａに含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１０、１０ａ 顔認識装置
１２ 記憶部
１３ 画像抽出部
１４ 照合部
１５ 認識出力部
１６ 優先度設定部
２０ カメラ
３０ 電磁ロック
１００、１００ａ 顔認識システム
１１１、１１３ 撮像画像
１１２、１１２ａ～１１２ｅ、１１４、１１４ａ～１１４ｄ 部分撮像画像

Claims (10)

1. 対象物体を撮像した撮像画像を取得する画像取得部と、
   前記撮像画像から、前記対象物体における所定の複数の部分の画像を抽出した複数の部分撮像画像を作成する画像抽出部と、
   記憶部に記憶されている、認識対象としての登録物体における所定の複数の部分の画像を抽出した複数の部分登録画像と、前記部分撮像画像との照合を、前記部分登録画像にそれぞれ対応付けられた優先度に従った順番で行う照合部と、
   前記照合部における照合が所定の条件を満たした時点で、前記対象物体の認識結果を出力する認識出力部と、を備え、
   前記照合部が、前記優先度に従った順番で照合を行い、前記部分登録画像と、当該部分登録画像に対応する前記部分撮像画像とが実質的に一致すると判定した時点で、前記認識出力部が前記対象物体の認識結果を出力し、
   前記記憶部は、前記部分登録画像と、前記部分登録画像の優先度と、を複数の前記登録物体に関して記憶しており、
   前記照合部は、ある優先度における全ての前記登録物体の前記部分登録画像に対する照合を行った後に、次の優先度における全ての前記登録物体の前記部分登録画像に対する照合を行う、物体認識装置。
2. 対象物体を撮像した撮像画像を取得する画像取得部と、
   前記撮像画像から、前記対象物体における所定の複数の部分の画像を抽出した複数の部分撮像画像を作成する画像抽出部と、
   記憶部に記憶されている、認識対象としての登録物体における所定の複数の部分の画像を抽出した複数の部分登録画像と、前記部分撮像画像との照合を、前記部分登録画像にそれぞれ対応付けられた優先度に従った順番で行う照合部と、
   前記照合部における照合が所定の条件を満たした時点で、前記対象物体の認識結果を出力する認識出力部と、を備え、
   前記照合部が、前記優先度に従った順番で照合を行い、前記部分登録画像と、当該部分登録画像に対応する前記部分撮像画像とが実質的に一致しないと判定した時点で、前記認識出力部が前記対象物体の認識結果を出力し、
   前記記憶部は、前記部分登録画像と、前記部分登録画像の優先度と、を複数の前記対象物体に関して記憶しており、
   前記照合部は、ある優先度における全ての前記登録物体の前記部分登録画像に対する照合を行った後に、次の優先度における全ての前記登録物体の前記部分登録画像に対する照合を行い、前記部分登録画像と、当該部分登録画像に対応する前記部分撮像画像とが実質的に一致しないと判定した場合に、次の優先度における該当登録物体に関する照合は行わない、物体認識装置。
3. 前記照合部は、前記部分登録画像と前記部分撮像画像との類似度を算出し、所定の閾値と比較することで、照合を行う請求項１または２に記載の物体認識装置。
4. 前記照合部は、前記類似度の算出結果を類似度履歴として記憶する処理を行い、
   前記類似度履歴に基づき、前記部分登録画像の優先度を設定する優先度設定部を、さらに備える請求項３に記載の物体認識装置。
5. ユーザの入力に基づき、前記部分登録画像の優先度を設定する優先度設定部をさらに備える請求項１から４のいずれか１項に記載の物体認識装置。
6. 前記対象物体は人物の顔である請求項１から５のいずれか１項に記載の物体認識装置。
7. 対象物体を撮像した撮像画像を取得する画像取得ステップと、
   前記撮像画像から、前記対象物体における所定の複数の部分の画像を抽出した複数の部分撮像画像を作成する画像抽出ステップと、
   記憶部に記憶されている、認識対象としての登録物体における所定の複数の部分の画像を抽出した複数の部分登録画像と、前記部分撮像画像との照合を、前記部分登録画像にそれぞれ対応付けられた優先度に従った順番で行う照合ステップと、
   前記照合ステップにおける照合が所定の条件を満たした時点で、前記対象物体の認識結果を出力する認識出力ステップと、を含み、
   前記照合ステップにおいて、前記優先度に従った順番で照合を行い、前記部分登録画像と、当該部分登録画像に対応する前記部分撮像画像とが実質的に一致すると判定した時点で、前記認識出力ステップにおいて前記対象物体の認識結果を出力し、
   前記記憶部は、前記部分登録画像と、前記部分登録画像の優先度と、を複数の前記登録物体に関して記憶しており、
   前記照合ステップにおいて、ある優先度における全ての前記登録物体の前記部分登録画像に対する照合を行った後に、次の優先度における全ての前記登録物体の前記部分登録画像に対する照合を行う、物体認識装置の制御方法。
8. 対象物体を撮像した撮像画像を取得する画像取得ステップと、
   前記撮像画像から、前記対象物体における所定の複数の部分の画像を抽出した複数の部分撮像画像を作成する画像抽出ステップと、
   記憶部に記憶されている、認識対象としての登録物体における所定の複数の部分の画像を抽出した複数の部分登録画像と、前記部分撮像画像との照合を、前記部分登録画像にそれぞれ対応付けられた優先度に従った順番で行う照合ステップと、
   前記照合ステップにおける照合が所定の条件を満たした時点で、前記対象物体の認識結果を出力する認識出力ステップと、を含み、
   前記照合ステップにおいて、前記優先度に従った順番で照合を行い、前記部分登録画像と、当該部分登録画像に対応する前記部分撮像画像とが実質的に一致しないと判定した時点で、前記認識出力ステップにおいて前記対象物体の認識結果を出力し、
   前記記憶部は、前記部分登録画像と、前記部分登録画像の優先度と、を複数の前記対象物体に関して記憶しており、
   前記照合ステップにおいて、ある優先度における全ての前記登録物体の前記部分登録画像に対する照合を行った後に、次の優先度における全ての前記登録物体の前記部分登録画像に対する照合を行い、前記部分登録画像と、当該部分登録画像に対応する前記部分撮像画像とが実質的に一致しないと判定した場合に、次の優先度における該当登録物体に関する照合は行わない、物体認識装置の制御方法。
9. 請求項１に記載の物体認識装置としてコンピュータを機能させるための物体認識プログラムであって、上記画像取得部、上記画像抽出部、上記記憶部、上記照合部および上記認識出力部としてコンピュータを機能させるための物体認識プログラム。
10. 請求項２に記載の物体認識装置としてコンピュータを機能させるための物体認識プログラムであって、上記画像取得部、上記画像抽出部、上記記憶部、上記照合部および上記認識出力部としてコンピュータを機能させるための物体認識プログラム。