JP2006236255A - 人物追跡装置および人物追跡システム - Google Patents

Abstract

【課題】 高精度に人物を追跡する人物追跡装置を提供する。
【解決手段】 本発明の人物追跡装置は、撮影エリアと撮影時刻が特定された撮影画像を取得記録する撮影画像記録手段２２と、撮影画像から人物像を検出して人物画像を作成する人物像検出手段２４と、人物画像から特徴量を抽出する特徴量抽出手段２８と、２つの特徴量を照合して判定することにより、該特徴量が抽出された２つの人物画像の人物を同一または他人とする人物認証手段３０と、同一とされた人物の各人物画像に対応する撮影エリアと撮影時刻に基づいて、人物認証手段の同一認証結果について正否を判定する認証結果判定手段３２と、認証結果判定手段が正しいとした同一認証結果における、同一と認証された人物の人物画像に対応する撮影エリアと撮影時刻に基づき該人物の動線を算出する動線算出手段３８とを有する。
【選択図】図１

Description

本発明は、複数のカメラを用いて移動する人物を追跡する人物追跡装置に関する。

ある領域において移動する人物を追跡する場合、該領域内の異なる所定の場所をそれぞれ撮影している複数のカメラが使用される。被追跡者は複数のカメラに撮影され、カメラの撮影画像に被追跡者が映る。被追跡者が映る撮影画像により、該被追跡者が、該被追跡者が映る撮影画像の撮影エリアを映る時刻順に移動したことが分かる。

このとき、複数のカメラの各撮影画像に映る人物において被追跡者（同一人物）が特定される。あるカメラの撮影画像に映る人物と別のカメラの人物が同一であるか否かは、所定の判定方法、例えば人物の特徴を示す特徴量を画像から抽出して該特徴量の差で判定される。特徴量の差が所定の範囲内にある場合に同一と判定され、それ以外は他人と判定される。このように、複数の撮影画像に映る複数の人物において、同一人物を特定する（逆説的に言えば、他人同士と特定する）ことを認証という。複数のカメラの撮影画像に映る人物の中から同一人物を認証し、同一人物を追跡する装置として、例えば特許文献１のものがある。これは、移動する人物を追跡して該人物の移動軌跡（以下、「動線」と称する。）の情報を取得するものである。例えば、スーパーなどで実施され、顧客の購買傾向や移動パターンを知るために、顧客の動線情報が取得される。
特開２００３−２６３６４１公報

しかしながら、人物の追跡精度や取得した動線の正しさは、当然ながら認証結果に依存する。他人を被追跡者と認証した場合や被追跡者を他人と認証した場合、人物追跡装置は、誤った認証結果に基づいて、被追跡者以外の人物を追跡し、誤った動線を導出することがある。

そこで、本発明は、被追跡者を精度よく追跡するとともに該被追跡者の正確な動線を導出することができる人物追跡装置を提供することを目的とする。

本発明に係る人物追跡装置は、複数の撮影エリアで得られた撮影画像に映る同一人物を追跡して動線を算出する人物追跡装置であって、
撮影エリアと撮影時刻が特定された撮影画像を取得して記録する撮影画像記録手段と、
撮影画像から人物像を検出し、該撮影画像の撮影エリアと撮影時刻の情報が対応付けされた人物画像を作成する人物像検出手段と、
人物画像から特徴量を抽出する特徴量抽出手段と、
２つの特徴量を照合して所定の判定方法で判定することにより、該特徴量が抽出された２つの人物画像それぞれの人物を同一または他人とする認証を行う人物認証手段と、
同一と認証された人物の２つの人物画像それぞれに対応する撮影エリアと撮影時刻の情報に基づいて、人物認証手段が同一と認証した同一認証結果について正しいか否かを判定する認証結果判定手段と、
認証結果判定手段によって正しいと判定された同一認証結果における、同一と認証された人物の人物画像に対応する撮影エリアと撮影時刻に基づいて、該人物の動線を算出する動線算出手段とを有することを特徴とする。

本発明によれば、認証結果判定手段によって正しいと判定された同一認証結果はより正しいものになり、該同一認証結果に基づいて導出される動線もより正確なものとなる。

本発明に係る人物追跡装置は、ある領域、例えばビル内において移動する人物（被追跡者）を、該領域内の所定の場所（撮影エリア）をそれぞれ撮影している複数のカメラで追跡するものである。

本発明に係る人物追跡装置において、「追跡」とは、被追跡者の所在を特定することをいう。所在を特定される範囲はカメラの撮影エリアである。例えば、過去に撮影した複数のカメラの被追跡者が映る撮影画像により、該被追跡者の過去の所在が特定できる。また、あるカメラの撮影画像に被追跡者がフレームイン（カメラの撮影画像に現れる）したとき、該カメラの撮影エリアに該被追跡者が存在することが特定される。

実施の形態１．
本発明の実施の形態１に係る人物追跡装置を図１に示す。人物追跡システム１０は、ある領域内においてそれぞれ所定のエリアを撮影する複数のカメラ１２−１〜１２−Ｍ（Ｍは整数）と、カメラの撮影画像に基づいて該領域を移動する人物を追跡する人物追跡装置１４から構成される。

人物追跡装置１４は、人物追跡装置１４全体を制御する制御部１６と、撮影画像などが表示されるディスプレイなどの出力部１８と、装置１４を利用するユーザ（例えば、被追跡者を監視する者）から指令を受けるためのキーボードなどの入力部２０を有する。

人物追跡装置１４の制御部１６は、複数のカメラ１２−１〜１２−Ｍの撮影画像を取得して記録する撮影画像記録部２２と、撮影画像から人物領域（人物像）を検出して人物画像を作成する人物像検出部２４と、人物像に対して画像処理を行う画像処理部２６と、人物画像から特徴量を抽出する特徴量抽出部２８と、特徴量に基づいて２つの人物画像それぞれの人物を同一または他人と認証する人物認証部３０と、人物認証部３０が同一と認証した認証結果（以下、「同一認証結果」と称する。）の正誤を判定する認証結果判定部３２と、人物画像や特徴量など被追跡者に関する情報（データ）を記録する被追跡者情報記録部３４を有する。

また、制御部１６は、認証結果判定部３２によって正しいと判定された同一認証結果における、同一と認証された人物の人物画像に対応する撮影エリアと撮影時刻に基づいて、人物の動線（移動軌跡）を算出する動線算出部３６と、算出された動線の情報を記録する動線情報記録部３８とを有する。

以下、人物追跡システム１０の各構成要素を、一実施例を挙げながら説明する。一実施例において、人物追跡システム１０は、図２に示すような１つの入口Ｅと３つの丁字路Ｔ１〜Ｔ３からなる通路を有するビルＢに設けられている。

複数のカメラ１２−１〜１２−Ｍは、被追跡者を追跡するために、被追跡者の移動し得る場所（被追跡者が移動し得る経路の一部）が撮影エリアとなるように配置される。図２に示す実施例において、カメラＣ１は通路の入口Ｅを撮影し、カメラＣ２〜Ｃ４は丁字路Ｔ１〜Ｔ３を撮影している。図２には、カメラＣ１〜Ｃ４の撮影画像Ｐ１〜Ｐ４が示されている。

また、複数のカメラ１２−１〜１２−Ｍは、被追跡者が移動し得る経路において、分岐路、入口、出口が撮影エリアとなるように配置される。

分岐路を撮影エリアとするカメラは、分岐先が撮影画像に映るように配置されている。例えば、実施例において、カメラＣ２〜Ｃ４は、丁字路の合流する通路と撮影方向が一致するように配置されている。例えば、図３に示すように、カメラＣ２の撮影画像Ｐ２には、撮影画像Ｐ２の左辺ＬＳ２から通路Ｒ２がフレームアウト（撮影画像から消える）し、上辺ＵＳ２から通路Ｒ３がフレームアウトし、右辺ＲＳ２から通路Ｒ１がフレームアウトした状態で丁字路Ｔ１が映されている。

入口や出口を撮影エリアとするカメラにおいて、入口用カメラは入口を介して入場する人物の正面が撮影画像に映るように配置され、出口用カメラは出口を介して退場する人物の正面が撮影画像に映るように配置される（実施例においては、退場する人物の正面を撮影するカメラは配置されていない。）。例えば、図４に示すように、カメラＣ１の撮影画像Ｐ１には、入口ＥがビルＢ内から撮影されている。

複数のカメラ１２−１〜１２−Ｍの各撮影画像は、撮影エリアと撮影時刻の情報が対応付けされて人物追跡装置１４の撮影画像記録部２２に記録される。

人物追跡装置１４の制御部１６は、被追跡者を追跡する機能（追跡に必要な構成要素）を有するとともに、例えば、複数のカメラ１２−１〜１２−Ｍの撮影画像や人物画像などの被追跡者に関する情報を出力部１８（ディスプレイ）に表示したり、また、ユーザからの入力部２０を介する指示（例えば、記録されている人物画像を表示するなど被追跡者に関する情報を出力する指示）を受け取るなどの役割をする。

出力部１８は、ディスプレイなどの表示装置であって、複数のカメラ１２−１〜１２−Ｍの撮影画像や人物画像、また、後述するように動線など追跡に関する情報を表示するように構成されている。

入力部２０は、キーボードなどのユーザからの指示が入力されるものであって、出力部１８に画像を表示させる指示など追跡に関する指示が入力されるように構成されている。

撮影画像記録部２２には、撮影エリアと撮影時刻の情報が対応付けされた撮影画像が記録されている。

人物像検出部２４は、撮影画像から人物像を検出するように構成されている。ここで言う「検出」とは、撮影画像において人物の領域を特定することをいう。画像から人物像を検出する方法として、例えば、画像内において時系列に沿って変化する領域を移動する物体の像として検出する方法がある。移動する物体の像は、予め用意された多種の人型の像（例えば、体型や姿勢が異なる人型の像）と比較して類似する場合、移動する人物のものとされる。例えば、図３に示すカメラＣ２の撮影画像Ｐ２から人物Ｈ１の像が検出される。

人物像検出部２４によって検出される人物像は人物の全体像であってもよいし、人物の顏像でもよい。画像から顏像（顏領域）を検出する方法として、例えば、上述するように画像から人物像を検出し、人体の輪郭や構造から人物像における頭部分を検出する。さらに、検出された頭部像において、色の濃淡から目や口部分を特定して顏部分（顏像）を検出する。

人物像検出部２４は、全体像と顏像両方を検出するのが好ましい。人物像検出部２４が検出した人物像は、後述するように人物認証部３０が行う認証に使用される。例えば、全体像のみで認証を行う場合は、類似の服装を着る他人の２つの人物を同一と認証する可能性がある。また、撮影画像において、カメラと人物の位置関係から顏像が映らない場合もある。人物全体像と顏像の両方を用いて認証できるように、人物像検出部２４は全体像と顏像を検出するのが好ましい。

人物像検出部２４は、検出した人物像を、検出元の撮影画像の撮影エリアと撮影時刻の情報を対応付けた人物画像として被追跡者情報記録部３４に記録する。例えば、図３に示す実施例においては、人物Ｈ１の人物画像が、撮影エリアＴ１とその撮影時刻ｔ１が対応付けされて記録される。

画像処理部２６は、人物画像に対して画像処理を行う。撮影画像に映る人物は、常に同じ撮影条件、例えば撮影方向（アングル）や撮影距離、明るさなどで撮影されるとは限らない。従って、同一人物の複数の人物画像から抽出される後述する特徴量は当然異なることになる。例えば、２つの同一人物の人物画像があって特徴量が大きく異なる場合、２つの人物画像の人物は他人と認証される場合がある。画像処理部２６は、撮影条件の違いによって同一人物の人物画像にもかかわらず該人物画像の人物が他人と認証されることを防止するために、人物画像に対して撮影条件が略等しくなるような画像処理を行う。

具体的に言うと、画像処理部２６が行う画像処理は、簡単な処理として、例えば、人物画像の大きさを所定の大きさに揃える処理、人物画像の明るさやコントラストを所定の値に揃える処理などがある。また、高度な処理としては、人物像のアングル補正、例えば、左前方から撮影された人物像を正面から撮影されたような人物像に補正する処理などがある。人物のカメラに対するアングルは、撮影画像における目のライン（２つの目を結ぶライン）の傾きから求めることができる（例えば、正面から撮影されている場合、目のラインは画像の水平方向と略一致する。）。

特徴量抽出部２８は、画像処理された人物画像から特徴量を抽出する。特徴量は、カメラの撮影画像に映る人物の固有の値であり、認証において使用される。例えば、特徴量は、人物画像が全体像である場合には該全体像の形状（体型）や配色パターン（服装の配色パターン）などを予め定義された算出方法によって数値化したものであり、顏像である場合には目、鼻、口の配置パターン（目の間隔など）や顔の輪郭（顎の形状）などを数値化したものである。特徴量抽出部２８は、後述するように、特徴量に基づいて行われる認証の精度を高めるために（認証において複数の特徴量が使用できるように）、１つの人物画像から複数種類の特徴量を抽出する。

特徴量抽出部２８は、抽出した特徴量を、抽出元の人物画像の情報と対応付けて被追跡者情報記録部３４に記録する。

人物認証部３０は、特徴量抽出部２８が抽出した特徴量に基づいて認証を行う。１つの任意の人物画像の人物に対して行う認証において、該任意の人物画像から抽出された特徴量と別の人物画像から抽出された特徴量とを照合し、所定の判定方法、例えばその特徴量の差が所定の範囲内であるとき、該任意の人物画像の人物を、該別の人物画像の人物と同一と認証し、一方、範囲外であるとき、他人と認証する。所定の範囲は、明らかに他人同士（例えば、大人と子供）であることを判定するための範囲であり、言い換えれば、特徴量差が範囲内にある場合は、厳密に言えば同一人物の可能性が高いことを意味する。そのために、１つの任意の人物画像の人物に対して行う認証において、特徴量の差が所定の範囲内にある別の人物画像が複数存在する（言い換えると、複数の同一認証結果が導出される）。

具体例を言うと、人物認証部３０は、複数のカメラ１２−１〜１２−Ｍの撮影エリアのいずれかに人物が出現したとき（各撮影画像のいずれかに人物がフレームインしたとき）、該人物の人物画像（以下、「認証対象画像」と称する。）の特徴量に対して照合を行う。例えば、図３に示すように、カメラＣ２の撮影画像Ｐ２に現れた人物Ｈ１の人物画像の特徴量に対して照合を行う。

まず、人物像検出部２４が認証対象画像となる像を検出し、次に、特徴量抽出部２８が認証対象画像から特徴量を抽出する。認証対象画像の特徴量と、被追跡者情報記録部３４に記録されている複数の人物画像（以下、「認証先画像」と称する。）の特徴量を人物認証部２８は照合する。

照合の結果、例えば、認証対象画像の特徴量との差が所定の範囲内である特徴量を有する認証先画像が被追跡者情報記録部３４に記録されていると、人物認証部３０は、認証対象画像の人物を、該認証先画像の人物と同一と認証する。例えば、図３に示す撮影画像Ｐ２に映る人物Ｈ１が、図４に示す撮影画像Ｐ１に映る人物Ｈ２と同一と認証される。

人物認証部３０は、複数種類の特徴量、例えば、全体像から抽出した体型や配色パターンの特徴量や顏像から抽出した目鼻の配置パターンや輪郭の特徴量に基づいて判定を行うのが好ましい。複数の特徴量それぞれについて判定を行った認証結果は、１つの特徴量について判定を行った結果に比べて当然ながら正しいものとなる。

確認のために、人物認証部３０は、一人に特定して同一認証を行うわけでない。例えば、人物画像ｈａ、ｈｂ、ｈｇそれぞれの人物を人物１と認証し、人物画像ｈｃ、ｈｆそれぞれの人物２と認証し、人物画像ｈｄ、ｈｅそれぞれを人物３というように、全ての人物画像の人物について誰かを特定するように認証を行う。

認証結果判定部３２は、人物認証部３０が同一と認証した同一認証結果を正しいか否かを判定する。人物像認証部３０の同一認証結果は、認証対象画像の人物を、例えば、その特徴量との差が所定の範囲内にある特徴量を有する認証先画像の人物と同一としている。それにより、認証対象画像の撮影エリアに存在した人物と認証先画像の撮影エリアに存在した人物を同一と認証している。しかしながら、人物認証部３０が行う認証は、厳密に言うと人物画像の認証であるため、確実に人物を認証したとは言い難く、認証結果は保証されたものでない（そのため、従来の画像による認証では、認証結果に誤りがある場合があった。）。認証結果判定部３２は、人物認証部３０の同一認証結果の正誤を判定し、同一認証結果の正しさを証明するために機能する。

認証結果判定部３２は、同一と認証された人物の２つの人物画像それぞれに対応する（対応付けされている）撮影エリアと撮影時刻の情報を参照し、各撮影エリアでの各撮影時刻の間に存在する時間的制約と各撮影エリア間に存在する空間的制約に基づいて、人物認証部３０が同一と認証した同一認証結果について正しいか否かを判定する。認証結果判定部３２によって正しいと判定されて、同一認証結果の人物は、同一の人物と確定される。

具体的に言うと、複数の撮影エリア中の２つの撮影エリアＡｘ、Ａｙにおいて、人物認証部３０が、時刻ｔｘに撮影エリアＡｘの撮影画像に映る人物Ｈｘを、時刻ｔｙに撮影エリアＡｙの撮影画像に映る人物Ｈｙと同一と認証した結果を、２つの撮影エリアＡｘとＡｙの間の空間的制約と時刻ｔｘ、ｔｙとの間の時間的制約に基づいて正しいか否かを判定する。なお、本明細書において、ｘ、ｙの添え字が付されている符合は、任意であることを示す。

時間的制約に基づく判定の一例として、認証結果判定部３２は、同時刻（ｔｘ＝ｔｙ）において、図２示す実施例で言うと、撮影エリアＴ１とＴ２の撮影画像Ｐ２とＰ３に映る人物を同一と認証した人物認証部３０の同一認証結果を誤りと判定する。同時刻に同一人物が異なる撮影エリアに現れることは不可能である。

空間的制約に基づく判定の一例として、認証結果判定部３２は、２つの撮影エリアがあってその間が移動不可能である場合、該２つの撮影エリアの撮影画像の人物を同一とする同一認証結果を誤りと判定する。移動不可能な２つの撮影エリアに同一人物が現れることは不可能である。

また、空間的制約に基づく判定の一例として、認証結果判定部３２は、人物認証部３０により同一と認証された人物の２つの人物画像それぞれに対応する撮影画像を参照し、一方の撮影画像に映る該人物のフレームイン位置／フレームアウト位置と他方の撮影画像に映る該人物のフレームアウト位置／フレームイン位置とが対応するか否かを判定し、対応する場合に人物認証部３０の同一認証結果を正しいと判定する。フレームイン位置は、撮影画像において最初に人物が現れる位置であり、フレームアウト位置は、最後に人物が映る位置である。

具体的に言うと、認証結果判定部３２は、時刻ｔｘの撮影エリアＡｘの撮影画像の人物Ｈｘを時刻ｔｙの撮影エリアＡｙの撮影画像の人物Ｈｙと同一と認証した人物認証部３０の同一認証結果を、人物Ｈｘのフレームイン位置と人物Ｈｙのフレームアウト位置とが対応する、または人物Ｈｘのフレームアウト位置と人物Ｈｙのフレームイン位置とが対応する場合に人物像認証部３０の同一認証結果を正しいと判定する。

例を挙げて説明する。図５は、図２に示すカメラＣ１〜Ｃ４の時刻ｔ３、ｔ４の撮影画像Ｐ１〜Ｐ４を示している。特徴量が略同一な（人物認証部３０が同一と認証しうる）人物Ｈ３〜Ｈ６が撮影画像に映っている。時刻ｔ３の撮影画像Ｐ３に映る人物Ｈ３を追跡するとする。

時刻ｔ３の撮影画像Ｐ３に映る人物Ｈ３が、撮影画像Ｐ３の上辺ＵＳ３近傍から消えたとする（上辺ＵＳからフレームアウトしたとする。）。上辺ＵＳ３がフレームアウト位置となる。続いて、時間が経過して時刻ｔ４において、カメラＣ２の撮影画像Ｐ２に人物Ｈ４が現れる（人物Ｈ４がフレームインする）とともに、カメラＣ４の撮影画像Ｐ４に人物Ｈ５、Ｈ６とが略同時に現れ、人物像認証部３０が人物Ｈ４〜Ｈ６のいずれかを、Ｈ３と同一と認証したとする。

これに対し、認証結果判定部３２は、人物Ｈ３のフレームアウト位置ＵＳ３と対応するフレームイン位置、すなわち、撮影画像Ｐ４のフレームイン位置ＵＳ４から出現した人物Ｈ５を、人物Ｈ３と同一と認証した結果を正しいと判定する。それに対し、人物認証部３０が人物Ｈ４、Ｈ６を人物Ｈ３と同一と認証している場合、その認証結果を誤りと判定する。

図２示すように、人物Ｈ３は、通路Ｒ４に向かうときに、撮影画像Ｐ３の上辺ＵＳ３からフレームアウトする。人物Ｈ３が通路Ｒ４に沿って移動すると、次に現れる撮影エリアはＴ３である。従って、撮影エリアＴ１の撮影画像Ｐ２に現れた人物Ｈ４は他人であることがわかる。

また、人物Ｈ６は、撮影映像Ｐ４に現れてはいるが、フレームアウト位置ＵＳ３と対応していない右辺ＲＳ４からフレームインしている。右辺ＲＳ４からフレームインするには、図２に示すように、通路Ｒ５を移動してこなければならない。したがって、通路Ｒ４を移動してきた人物Ｈ３と人物Ｈ６は他人であることがわかる。

認証結果判定部３２は、上述の例のように、同一と認証された人物の２つの人物画像それぞれに対応する撮影エリアと撮影時刻の情報に基づいて正しいと判定した同一認証結果の情報を、認証対象の人物画像と関連付けして被追跡者情報記憶部３４に記録する。

人物認証部３０は、認証結果判定部３２によって誤りと判定された同一認証結果の認証において認証対象画像の人物と同一と認証された人物の認証先画像を除いて（誤りと判定された同一認証結果を再び導出しないように）再認証を行うように構成されている。言い換えると、人物認証部は、全ての人物画像の人物に対する同一認証結果を修正する。

人物認証部３０が誤りと判定された同一認証結果を再び導出しないように再認証し、再認証で修正された全ての同一認証結果に対して認証結果判定部が正誤の判定を行うというルーチンを繰り返すことにより、全ての人物画像の人物に対する同一認証結果が正しいものとなる。言い換えると、全ての人物画像の人物に対する同一認証結果が正しくなるように人物認証部と認証結果判定部が機能している。

被追跡者情報記録部３４には、人物像検出部２４に記録された撮影エリアと撮影時刻が対応付けされた人物画像と、特徴量抽出部２８に記録された人物画像に対応付けされた特徴量と、認証結果判定部３２に記録された人物画像に対応付けされた認証結果の情報が記録されている。これらの対応付けを示す表を図６に示す。図６に示すように、人物画像に対し、その撮影エリアと撮影時刻、特徴量、および認証結果が対応付けられている。例えば、異なる撮影エリアの人物画像ｈ１、ｈ４、ｈ９９は、同一の人物１の画像であることが示されている。

動線算出部３６は、被追跡者情報記録部３４を参照して同一人物の動線を算出する。図６に示す例によれば、人物１のＥ、Ｔ１、Ｔ３の順の動線が算出される。算出された動線は、動線情報記録部３８に記録される。

以上、本発明の一実施形態に係る人物追跡装置の構成要素を説明した。次に、図７に示す人物追跡装置の同一人物認証に関する動作のフローの一例を説明する。ここでは、時刻ｔｍに撮影画像Ｐｍに人物Ｈｍが映り始まる認証に関する動作フローを説明する。

ステップ１００において、人物像検出部２４が、時刻ｔｍの撮影画像Ｐｍに映る人物Ｈｍの像を検出する。

ステップ１１０において、人物Ｈｍの像が人物画像ｈｍとして被追跡者情報記録部３４に記録される。

ステップ１２０において、画像処理部２６が、人物画像ｈｍを画像処理する。

ステップ１３０において、特徴量抽出部２８が、人物画像ｈｍから特徴量ａｍ〜ｚｍを抽出する。

ステップ１４０において、人物認証部３０が、被追跡者情報記録部３４に記録されている人物画像と人物画像ｈｍとの特徴量ａｍ〜ｚｍを照合する。

ステップ１５０において、ステップ１４０における照合の結果、特徴量の差が所定の範囲である人物画像が記録されている（存在する）か否かが判定される。存在しない場合は、ステップ１６０に進む。存在する場合は、ステップ１７０に進む。

ステップ１６０において、人物認証部３０は、時刻ｔｍの撮影画像Ｐｍに映る人物Ｈｍを、新たな人物として認証する。

ステップ１７０において、ステップ１４０における照合の結果、特徴量の差が所定の範囲である人物画像が複数存在するか否か判定される。複数の場合、ステップ１８０に進む。複数でない場合、ステップ２３０に進む。

ステップ１８０において、人物認証部３０は、時刻ｔｍの撮影画像Ｐｍに映る人物Ｈｍを、複数の人物画像中、特徴量差が最小の人物画像の人物と同一と認証する。

ステップ１９０において、認証結果判定部３２が、ステップ１８０における同一認証結果を正しいか否かを判定する。

ステップ２００において、ステップ１９０における判定結果において認証結果が正しい場合は、ステップ２１０に進む。誤りとされた同一認証結果がある場合は、ステップ２２０に進む。

ステップ２１０において、認証結果判定部３２が、ステップ１８０における同一認証結果を正しいと保証する。

ステップ２２０において、人物認証部３０は、誤りと判定された同一認証結果において時刻ｔｍの撮影画像Ｐｍに映る人物Ｈｍと同一と認証された人物の人物画像を削除する。ステップ１７０に戻る。

ステップ２３０において、人物認証部３０は、時刻ｔｍの撮影画像Ｐｍに映る人物Ｈｍを、その特徴量の差が所定の範囲である人物画像の人物と同一と認証する。

ステップ２４０において、ステップ１９０と同様に、認証結果判定部３２が、ステップ２３０における認証結果を正しいか否か判定する。

ステップ２５０において、ステップ２４０における判定結果において認証結果が正しい場合は、ステップ２６０に進む。誤りの場合は、ステップ２７０に進む。

ステップ２６０において、認証結果判定部３２が、ステップ２４０における認証結果を正しいと保証する。

ステップ２７０において、人物認証部３０は、時刻ｔｍの撮影画像Ｐｍに映る人物Ｈｍを、新たな人物として認証する。

以上の認証に関する動作フローにより、時刻ｔｍの撮影画像Ｐｍに映る人物Ｈｍは、他のいずれかの撮影画像に移る人物と同一と確定される、または、新たな人物として確定される。このフローからもわかるように、人物認証部３０による特徴量差が最小な２つの人物画像の人物を同一の可能性が高いと認証した結果、言い換えると、人物画像のみで同一の可能性が高いと認証した結果が、認証結果判定部３２によって誤りとされることがある。これにより、従来の人物画像のみの人物認証で同一の可能性が最も高い人物を同一と認証することにより発生していた誤認証が抑制され、被追跡者を精度よく追跡するとともに該被追跡者の正確な動線を導出することができる。

実施の形態２．
本実施形態の人物追跡装置は、実施の形態１の改良の形態である。異なる点は、認証結果判定部である。これのみ説明する。

本実施形態の認証結果判定部は、同一認証結果において同一と認証されている人物の２つの人物画像Ｐｕ、Ｐｗそれぞれに対応する撮影エリアＡｕ、Ａｗと撮影時刻ｔｕ、ｔｗの情報を参照し、各撮影エリアＡｕ、Ａｗでの各撮影時刻ｔｕ、ｔｗの間に存在する時間的制約と各撮影エリアＡｕ、Ａｗの間に存在する空間的制約に基づいて、該人物が一方の撮影時刻ｔｕに対応する一方の撮影エリアＡｕに存在するとともに他方の撮影時刻ｔｗに対応する他方の撮影エリアＡｗに存在することの時間的または／および空間的な不確からしさを示す矛盾量（認証矛盾量）を算出し、該認証矛盾量が小さい同一認証結果を正しいと判定する。なお、本明細書において、ｕ、ｗの添え字が付されている符合は、任意であることを示す。

具体的に言うと、人物認証部の認証において、時刻ｔｕに撮影エリアＡｕに存在する人物Ｈｕ（人物画像Ｐｕに映る人物）を、時刻ｔｗに撮影エリアＡｗに存在する人物Ｈｗを同一と認証したとする。このとき、認証結果判定部は、人物Ｈｕが、時刻ｔｗに撮影エリアＡｗに存在することに対する時間的または／および空間的な不確からしさを示す認証矛盾量を算出する。認証矛盾量は、同一認証結果の不確からしさ、言い換えると正しくない確率を示している。認証結果判定部は、認証矛盾量が小さい同一認証結果、言い換えると、最も確からしい同一認証結果を正しいと判定する。以下、時間的な不確からしさを時間的矛盾量、空間的な不確からしさを空間的矛盾量と称する。

なお、実施の形態１において同一認証結果は正誤で判断されているが、これも認証矛盾量としてみなすことができる。正を最小の認証矛盾量に、誤を最大の認証矛盾量にすることにより対応することができる。

認証矛盾量の一例を説明する。図８は、図２に示すカメラＣ１〜Ｃ４の時刻ｔ５、ｔ６の撮影画像Ｐ１〜Ｐ４を示している。特徴量が略同一な（人物認証部３０が同一人物と認証しうる）人物Ｈ７、Ｈ８が撮影画像に映っている。時刻ｔ５の撮影画像Ｐ１に映る人物Ｈ７を追跡するとする。

撮影画像Ｐ１に映る人物Ｈ７が、時刻ｔ５に撮影画像Ｐ１から消えたとする（時刻ｔ５をフレームアウト時刻とする。）。続いて、時刻ｔ６（ｔ５に対して未来の時刻で、フレームイン時刻とする。）にカメラＣ２の撮影画像Ｐ２に人物Ｈ８が現れ、人物認証部が同一と認証したとする。

これに対し、認証結果判定部は、人物Ｈ７とＨ８が映るカメラＣ１とＣ２の撮影エリアＥとＴ１の間の空間的制約と時刻ｔ５とｔ６の間の時間的制約に基づいて、認証矛盾量を計算する。

例えば、撮影エリアＥとＴ１の間の距離（通路Ｒ１）が１０ｍであるとする。フレームアウト時刻ｔ５とフレームイン時刻ｔ６の差が１秒未満であるときはその間に人物の移動は不可能であるため、この場合の同一認証結果に対する認証矛盾量を１００とする。ここでは、認証矛盾量は、最大１００とする。

フレームアウト時刻ｔ５とフレームイン時刻ｔ６の差が１〜２秒の場合、走れば可能であるため、この場合の同一認証結果に対する認証矛盾量は７０とする。また、ｔ５とｔ６の差が２〜１０秒の場合は、通常の人間の歩行速度に対応しているため、この場合の同一認証結果に対する認証矛盾量を１０とする。さらに、１０秒以上の場合は、遅い速度で歩行している可能性があるとして、この場合の同一認証結果に対する認証矛盾量を３０とする。このように予め所定の撮影エリア間において認証矛盾量を定義しておく。

人物Ｈ７が時刻ｔ５に撮影画像Ｐ１から消え、カメラＣ２の撮影画像Ｐ２に複数の人物が現れたとき、認証矛盾量が最小な人物（例えば、ｔ５から１秒も経過せずに現れた人物と、ｔ５から１．５秒後に現れた人物と、ｔ５から１２秒後に現れた人物が存在する場合、この中、認証矛盾量が小さいｔ５から１２秒後に現れた人物）を同一とする人物認証部の同一認証結果を正しいと判定する。

上述の例における認証矛盾量は、上述のように時間の範囲で定義してもよいし、人物の標準の歩行速度と撮影エリア間の距離から時間を算出し、この算出時間とのずれに応じて認証矛盾量を求めてもよい。また、歩行速度は、体型の特徴量によって決定してもよい。例えば、体型の特徴量から人物が小人と特定できる場合、小人の歩行速度で認証矛盾量を求めてもよい。

認証結果判定部は、認証矛盾量が大きい同一認証結果を正しくないと判定する。

人物認証部は、認証結果判定部によって正しくないと判定された同一認証結果に対応する認証対象画像の人物と同一と認証された人物の認証先画像を除いて（正しくないと判定された同一認証結果を再び導出しないように）再認証を行うように構成されている。言い換えると、人物認証部は、全ての人物画像の人物に対する同一認証結果を修正する。

人物認証部が正しくないと判定された同一認証結果を再び導出しないように再認証し、再認証で修正された全ての同一認証結果に対して認証結果判定部が認証矛盾量を求めて大きい場合に正しいとする判定を行うというルーチンを繰り返すことにより、全ての人物画像の人物に対する同一認証結果の認証矛盾量が小さいものとなる。言い換えると、全ての人物画像の人物に対する同一認証結果の認証矛盾量の合計が最小になるように人物認証部と認証結果判定部が機能している。

このように、認証結果判定部は、認証矛盾量を用いることにより、最も確からしい同一認証結果を正しいと判定することができる。したがって、本実施の形態の人物追跡装置は被追跡者を精度よく追跡するとともに該被追跡者の正確な動線を導出することができる。

上述において認証矛盾量は、空間的矛盾量と時間的矛盾量によって示される。代わりとして、人物認証部における同一認証の正確さ（例えば、特徴量差の小ささ）を示す同一認証結果スコアと、時間的矛盾量と、空間的矛盾量が定数係数で重み付けられた値の総和で認証矛盾量を構成してもよい。

実施の形態３．
上述の実施形態の人物追跡装置では、認証結果判定部によって正しいとされた同一認証結果に基づいて、同一認証結果に対応する人物の動線を形成していた。本実施形態では、人物認証部が認証した同一認証結果に基づいて動線を作成し、その動線が正しいか否かを判定し、正しいと判定された動線を同一認証結果に対応する人物の動線とする。

本実施の形態に係る人物追跡装置を図９に示す。図に示す人物追跡装置１１０において、実施の形態１の構成要素と同一の構成要素には、実施の形態１の構成要素の符号の数字に１００を加えた数字の符号を付している。実施の形態１と異なる構成要素は、人物認証部１４０と、動線算出部１４２と、動線判定部１４４である。これらを中心に説明する。

人物認証部１４０は、実施の形態１の人物認証部３０と同様に、特徴量抽出部１２８が抽出した特徴量に基づいて認証を行う。１つの任意の人物画像の人物に対して行う認証において、該任意の人物画像から抽出された特徴量と別の人物画像から抽出された特徴量とを照合し、所定の判定方法、例えばその特徴量の差が所定の範囲内であるとき、該任意の人物画像の人物を、該別の人物画像の人物と同一と認証し、一方、範囲外であるとき、他人と認証する。

動線算出部１４２は、同一と認証された人物の人物画像に対応する撮影エリアと撮影時刻に基づいて、該人物の動線を算出する。具体的には、同一と認証された人物の複数の人物画像に対応する撮影エリアと撮影時刻から、撮影エリアを撮影時刻順に移動するような動線を算出する。

動線判定部１４４は、同一と認証された人物の人物画像に対応する撮影エリアと撮影時刻および複数の撮影エリアの位置関係を参照し、各撮影エリアでの各撮影時刻の間に存在する時間的制約と各撮影エリア間に存在する空間的制約に基づいて、動線が正しいか否かを判定する。人物認証部１４０の同一認証結果は人物画像のみの認証結果であるため、動線算出部１４２は、同一認証結果において同一と認証されている人物の２つの人物画像の各撮影エリア間に存在する空間的制約または／および各撮影時刻間に存在する時間的制約を無視して動線を作成している。したがって、算出された動線内において、撮影エリア間に空間的制約、撮影エリアでの撮影時刻間に時間的制約が含まれている場合がある。その場合、当然ながら動線には不都合がある。動線判定部１４４は、動線の不都合の有無を検出し、動線について正しいか否かを判定する。

動線の不都合例として、例えば、順にＡａ、Ａｂ、Ａｃ、Ａｄという動線において連続する２つの撮影エリアＡｂとＡｃが実際には移動不可能なことがある。この場合、２つの撮影エリアＡｂ、Ａｃのいずれかに存在する人物を他人もかかわらず人物認証部１４０が同一と誤認証していることになる。

別の動線の不都合例として、動線における撮影エリアの連続性に不都合が存在することがある。例えば、図２に示すような建物Ｂから、順に、撮影エリアＥ、Ｔ２、Ｔ３、Ｔ１、Ｅという動線が算出されたとする。この場合、建物Ｂにおける複数の撮影エリアの位置関係から、動線のＥとＴ２の間にＴ１が存在している必要がある。この場合、撮影エリアＥに対応する撮影時刻と撮影エリアＴ２に対応する撮影時刻の間の時刻に、撮影エリアＴ１に存在する人物を同一にもかかわらず人物認証部１４０が他人と誤認証していることになる。

動線判定部１４４は、動線において上述の例のような不都合がない場合に動線を正しいと判定する。また、正しいと判定した動線を動線情報記録部１３８に記憶する。

動線判定部１４４は、動線において上述の例のような不都合がある場合、動線を誤りと判定する。

人物認証部１４０は、誤りと判定された動線の不都合部分の撮影エリア（上述例では、撮影エリアＡｂとＡｃまたはＴ１）や撮影時刻（上述例では、撮影エリアＥに対応する撮影時刻と撮影エリアＴ２に対応する撮影時刻）に関する同一認証結果を再び導出しないように再認証を行うように構成されている。言い換えると、人物認証部１４０は、全ての人物画像の人物に対する同一認証結果を修正する。

人物認証部１４０が再認証し、再認証により修正された全ての同一認証結果に基づき動線算出部１４２は新たな動線を算出し、動線判定部１４４が新たな動線について正しいか否かを判定するというルーチンを繰り返すことにより、全ての人物画像の人物に対する動線が正しいものとなる。言い換えると、全ての人物画像の人物に対する動線が正しくなるように人物認証部１４０、動線算出部１４２、および認証結果判定部１４４が機能している。

これにより、従来の人物画像のみの人物認証で同一の可能性が最も高い人物を同一と認証することにより発生した動線の誤りが抑制される。

実施の形態４．
本実施形態の人物追跡装置は、実施の形態３の改良の形態である。異なる点は、動線判定部である。これのみ説明する。

本実施の携帯の動線判定部は、同一と認証された人物の人物画像に対応する撮影エリアと撮影時刻および複数の撮影エリアの位置関係を参照し、各撮影エリアでの各撮影時刻の間に存在する時間的制約と各撮影エリア間に存在する空間的制約に基づいて、動線に対応する人物が算出された動線に従って移動することの時間的または／および空間的な不確からしさを示す動線矛盾量を算出し、動線矛盾量が小さい動線を正しいと判定する。以下、時間的な不確からしさを時間的矛盾量、空間的な不確からしさを空間的矛盾量と称する。

一例として、動線判定部は、算出された動線内のある連続する撮影エリアの撮影時刻間の時間が、人物の移動速度に適さない場合、大きい動線矛盾量を算出し、一方適する場合は小さい動線矛盾量を算出する。また、一例として、動線において最初の撮影エリアに対する撮影時刻と、最後の撮影エリアに対する撮影時刻と間の時間に対応して動線矛盾量を算出してもよい。

また別例として、動線判定部は、予め定義された動線に対するずれ量から動線矛盾量を算出してもよい。例えば、絵画の展覧会などでは展覧ルートが設定されており、そのため人物の動線はある程度決定される。展覧ルートのように予め定義可能な動線からのずれ量に応じて動線判定部は、動線算出部が算出した動線に対する動線矛盾量を算出する。

動線判定部は、動線矛盾量が小さい動線を正しいと判定する。また、正しいと判定した動線を動線情報記録部に記憶する。

動線判定部は、動線矛盾量が大きい動線を誤りと判定する。

人物認証部は、誤りと判定された動線の矛盾部分（例えば、上述の例では、対応する撮影時刻間の時間が短い２つの撮影エリア、または、予め定義された動線に対して最もずれ量が大きい部分など）に関する同一認証結果を再び導出しないように再認証を行うように構成されている。言い換えると、人物認証部は、全ての人物画像の人物に対する同一認証結果を修正する。

人物認証部が再認証し、再認証により修正された全ての同一認証結果に基づき動線算出部は新たな動線を算出し、動線判定部が新たな動線について正しいか否かを判定するというルーチンを繰り返すことにより、全ての人物画像の人物に対する動線の動線矛盾量が小さいものとなる。言い換えると、全ての人物画像の人物に対する動線の動線矛盾量の合計が最小になるように人物認証部、動線算出部、および認証結果判定部が機能している。

このように、動線判定部は、動線矛盾量を用いることにより、最も確からしい動線を正しいと判定することができる。したがって、本実施の形態の人物追跡装置は被追跡者を精度よく追跡するとともに該被追跡者の正確な動線を導出することができる。

上述において動線矛盾量は、空間的矛盾量と時間的矛盾量によって示されている。代わりとして、人物認証部における同一認証の正確さ（例えば、特徴量差の小ささ）を示す同一認証結果スコアと、時間的矛盾量と、空間的矛盾量が定数係数で重み付けられた値の総和で動線矛盾量を構成してもよい。

以上、４つの実施形態を挙げて本発明に係る人物追跡装置（システム）を説明したが、本発明は上述の実施形態に限定されるわけではない。様々な変更例（改良例）が存在する。

一例として、撮影カメラの撮影エリアは、分岐路、入口、出口に限定されるわけでなく、例えば、図２に示すような分岐路と分岐路をつなぐ通路に設けても良い。

別例として、本発明に係る人物追跡装置は、リアルタイムな追跡（撮影画像に人物が移るたびに、該人物を特定していく追跡）も過去における追跡（過去の撮影画像に移る人物の追跡）も可能なのは明らかである。過去における追跡の場合、他の装置（例えば、複数の監視カメラを用いる監視システム）で撮影された撮影エリアと撮影時刻が特定された複数の撮影画像から、該撮影画像に映る人物を追跡することが可能である。この場合、撮影画像を外部から受け取り、該撮影画像を撮影画像記録部に入力するための撮影画像入力部を人物追跡装置に設ければよい。

また、画像処理は、人物像検出部によって作成された人物画像全てに対して行わずに、人物認証部による認証において新たな人物と認証された認証対象の人物画像に対して行っても良い（言い換えると、認証対象の人物画像の人物と同一の人物の人物画像が存在しない場合に行う。）。これは、画像処理前の認証対象の人物画像であっても、該認証対象の人物画像の人物と同一と認証される人物の人物画像が被追跡者情報記録部に存在する可能性があるためである。

この場合、画像処理部は、人物認証部による認証において他人と認証された認証対象の人物画像に画像処理をおこない、人物認証部は、画像処理された認証対象の人物画像に対して再度認証を行う。これにより、人物像検出部によって作成された人物画像全てに画像処理をおこなう必要がなくなり、認証に関して要する時間が削減される。さらにこの場合において、画像処理として複数の処理がなされる場合、複数の処理を一度に行うのではなく、認証対象の人物画像に対して１つの処理をおこない、１つの処理が実施された認証対象の人物画像の人物が人物認証部によって新たな人物と認証された場合に次の処理を行うような画像処理をおこなってもよい。

さらに、被追跡者情報記録部に記録されている人物画像と照合するだけでなく、他の人物画像と照合してもよい。例えば、予め用意した人物画像（例えば、指名手配写真などの要注意人物画像）と、入口用カメラの撮影画像（例えば、図２に示すカメラＣ１の撮影画像Ｐ１）に映る人物の人物画像とを照合する。要注意人物画像の要注意人物と同一と認証された入口用カメラ撮影画像に映る人物を追跡すれば、要注意人物を追跡できる。この場合、要注意人物画像を人物追跡装置に入力する人物画像入力装置（例えば、スキャナなど）と要注意人物情報記憶部を設け、人物認証部が要注意人物情報記憶部の要注意人物画像との照合を行うように構成すればよい。

さらにまた、実施の形態１または２の動線算出部から算出された動線または実施の形態３または４の動線判定部が正しいと判定した動線を用いて異常行動をする不審者を特定してもよい。例えば、予め定義された異常な動線、例えば、同一の撮影エリア間を行き来する動線などの異常動線と算出された動線（対象動線）とを照合し、異常動線と合致した場合に対象動線に対応する人物を不審者としてその人物画像と動線を出力部である表示装置に表示する。これにより、人物追跡装置のユーザは、全ての動線を確認することなく、異常行動を行う人物とその行動を知ることができる。この場合、対象動線と予め定義された異常動線とを照合し、合致する場合に動線に関する情報、例えば、対応する人物画像やその動線情報を出力部に出力する異常動線判定部を人物追跡装置に設ければよい。

加えて、ユーザが指定する人物のみの追跡を行うようにしてもよい。例えば、制御部が出力部である表示装置に複数のカメラの各撮影画像を表示し、ユーザが入力部を介して１つの撮影画像に映る人物を指定（例えば、マウスで人物をクリックする）と、該指定人物のみを追跡する（例えば、制御部が、指定人物が映る撮影画像のみを表示装置に表示する。）。これにより、ユーザは、一人の人物に注目することができる。

加えてまた、被追跡者情報記録部に記録されている人物画像を出力部の表示装置にサムネイル表示し、ユーザが入力部を介して１つの人物画像を指定したとき、該人物画像に関する情報、例えば該人物画像の人物が映る撮影画像や対応する動線を表示するように制御部を構成してもよい。

さらに加えて、撮影画像から人物がフレームアウトし、所定時間、人物が撮影画像にフレームインしなければ、その人物の人物画像を出力部の表示装置に表示するように制御部を構成してもよい。ユーザは、撮影エリア間（撮影されていない場所）で所定時間行動する人物を知ることができる。

本発明の実施の形態１に係る人物追跡システムの概略的構成図である。 人物追跡システムが使用される一実施例の建物の構造を示す図である。 一例の撮影画像を示す図である。 別の一例の撮影画像を示す図である。 認証結果判定部が行う判定を説明するための図である。 被追跡者情報記録部に記録されている情報の対応関係を示す図である。 認証に関する動作フローの一例を示す図である。 認証結果判定部が行う別の判定を説明するための図である。 本発明の実施の形態３に係る人物追跡システムの概略的構成図である。

符号の説明

１０ 人物追跡システム、 １２ カメラ、 １４ 人物追跡装置、 １６ 制御部、 １８ 出力部、 ２０ 入力部、 ２２ 撮影画像記録部、 ２４ 人物像検出部、 ２６ 画像処理部、 ２８ 特徴量抽出部、 ３０ 人物認証部、 ３２ 認証結果判定部、 ３４ 被追跡者情報記録部、 ３６ 動線算出部、 ３８ 動線情報記録部、
１１０ 人物追跡システム、 １１２ カメラ、 １１４ 人物追跡装置、 １１６ 制御部、 １１８ 出力部、 １２０ 入力部、 １２２ 撮影画像記録部、 １２４ 人物像検出部、 １２６ 画像処理部、 １２８ 特徴量抽出部、 １３４ 追跡者情報記録部、 １３８ 動線情報記録部、 １４０ 人物認証部、 １４２ 動線算出部、 １４４ 動線判定部

Claims (12)

1. 複数の撮影エリアで得られた撮影画像に映る同一人物を追跡して動線を算出する人物追跡装置であって、
   撮影エリアと撮影時刻が特定された撮影画像を取得して記録する撮影画像記録手段と、
   撮影画像から人物像を検出し、該撮影画像の撮影エリアと撮影時刻の情報が対応付けされた人物画像を作成する人物像検出手段と、
   人物画像から特徴量を抽出する特徴量抽出手段と、
   ２つの特徴量を照合して所定の判定方法で判定することにより、該特徴量が抽出された２つの人物画像それぞれの人物を同一または他人とする認証を行う人物認証手段と、
   同一と認証された人物の２つの人物画像それぞれに対応する撮影エリアと撮影時刻の情報に基づいて、人物認証手段が同一と認証した同一認証結果について正しいか否かを判定する認証結果判定手段と、
   認証結果判定手段によって正しいと判定された同一認証結果における、同一と認証された人物の人物画像に対応する撮影エリアと撮影時刻に基づいて、該人物の動線を算出する動線算出手段とを有することを特徴とする人物追跡装置。
2. 認証結果判定手段は、
   同一と認証された人物の２つの人物画像それぞれに対応する撮影エリアと撮影時刻の情報を参照し、各撮影エリアでの各撮影時刻の間に存在する時間的制約と各撮影エリア間に存在する空間的制約に基づいて、該人物が一方の撮影時刻に対応する一方の撮影エリアに存在するとともに他方の撮影時刻に対応する他方の撮影エリアに存在することの時間的または／および空間的な不確からしさを示す認証矛盾量を算出し、
   認証矛盾量が小さい同一認証結果を正しいと判定すること特徴とする請求項１に記載の人物追跡装置。
3. 認証結果判定手段は、
   同一と認証された人物の２つの人物画像それぞれに対応する撮影エリアと撮影時刻の情報を参照し、各撮影エリアでの各撮影時刻の間に存在する時間的制約と各撮影エリア間に存在する空間的制約に基づいて、該人物が一方の撮影時刻に対応する一方の撮影エリアに存在するとともに他方の撮影時刻に対応する他方の撮影エリアに存在することの時間的または／および空間的な不確からしさを示す認証矛盾量を算出し、認証矛盾量が大きい同一認証結果を正しくないと判定し、
   人物認証手段は、
   認証結果判定手段が同一認証結果を正しくないと判定する度に、
   全ての人物画像の人物に対する同一認証結果の認証矛盾量の合計が最小となるように全ての認証結果を修正することを特徴とする請求項１に記載の人物追跡装置。
4. 認証矛盾量は、
   人物認証手段の同一認証の正確さを示す同一認証スコアと、時間的不確からしさを示す時間的矛盾量と、空間的不確からしさを示す空間的矛盾量が定数係数で重み付けられた値の総和で構成されることを特徴とする請求項２または３のいずれかに記載の人物追跡装置。
5. 複数の撮影エリアで得られた撮影画像に映る同一人物を追跡して動線を算出する人物追跡装置であって、
   撮影エリアと撮影時刻が特定された撮影画像を取得して記録する撮影画像記録手段と、
   撮影画像から人物像を検出し、該撮影画像の撮影エリアと撮影時刻の情報が対応付けされた人物画像を作成する人物像検出手段と、
   人物画像から特徴量を抽出する特徴量抽出手段と、
   ２つの特徴量を照合して所定の判定方法で判定することにより、該特徴量が抽出された２つの人物画像それぞれの人物を同一または他人とする認証を行う人物認証手段と、
   同一と認証された人物の人物画像に対応する撮影エリアと撮影時刻に基づいて、該人物の動線を算出する動線算出手段と、
   同一と認証された人物の人物画像に対応する撮影エリアと撮影時刻および複数の撮影エリアの位置関係に基づいて、動線について正しいか否かを判定する動線判定手段とを有することを特徴とする人物追跡装置。
6. 動線判定手段は、
   同一と認証された人物の人物画像に対応する撮影エリアと撮影時刻および複数の撮影エリアの位置関係を参照し、各撮影エリアでの各撮影時刻の間に存在する時間的制約と各撮影エリア間に存在する空間的制約に基づいて、動線に対応する人物が該動線に従って移動することの時間的または／および空間的な不確からしさを示す動線矛盾量を算出し、動線矛盾量が小さい動線を正しいと判定することを特徴とする請求項５に記載の人物追跡装置。
7. 動線判定手段は、
   同一と認証された人物の人物画像に対応する撮影エリアと撮影時刻および複数の撮影エリアの位置関係を参照し、各撮影エリアでの各撮影時刻の間に存在する時間的制約と各撮影エリア間に存在する空間的制約に基づいて、動線に対応する人物が該動線に従って移動することの時間的または／および空間的な不確からしさを示す動線矛盾量を算出し、動線矛盾量が大きい動線を正しくないと判定し、
   人物認証手段は、
   認証結果判定手段が同一認証結果を正しくないと判定する度に、
   全ての人物画像の人物に対する動線の動線矛盾量の合計が最小となるように認証結果を修正することを特徴とする請求項５に記載の人物追跡装置。
8. 動線矛盾量は、
   人物認証手段の同一認証の正確さを示す同一認証スコアと、時間的不確からしさを示す時間的矛盾量と、空間的不確からしさを示す空間的矛盾量が定数係数で重み付けられた値の総で構成されることを特徴とする請求項６または７のいずれかに記載の人物追跡装置。
9. 人物画像に対して所定の画像処理を行う画像処理手段を有し、
   特徴量抽出手段が画像処理された人物画像から特徴量を抽出することを特徴とする請求項１〜８のいずれか一に記載の人物追跡装置。
10. 人物像抽出手段が人物像として顏像を抽出し、
    特徴量抽出手段が顏像から特徴量を抽出することを特徴とする請求項１〜９のいずれか一に記載の人物追跡装置。
11. 動線算出手段が算出した動線または動線判定手段が正しいと判定した動線と予め定義された異常動線とを照合して判定する異常動線判定手段と、異常動線判定手段の判定結果を出力する出力手段を有することを特徴とする請求項１〜１０のいずれか一に記載の人物追跡装置。
12. それぞれに所定の撮影エリアを撮影して撮影エリアと撮影時刻の情報を付加した撮影画像を作成する複数のカメラと、
    上記請求項１〜１１のいずれか一に記載の人物追跡装置とを有する人物追跡システム。
    
    

Images