JP2019109765A - 物体追跡プログラム、物体追跡装置、及び物体追跡方法 - Google Patents

Abstract

【課題】映像内の物体を追跡する際の追跡精度を向上させる。【解決手段】物体追跡プログラムは、複数の映像のそれぞれにおける同一時刻のフレームの組に含まれるフレームから追跡対象とする物体を検出した後、複数の映像のそれぞれにおける次に物体を検出する次フレームでの物体の位置を予測し、物体の位置の予測結果に基づいて、追跡対象である物体の特徴と追跡対象である物体の予測位置の奥側で該物体と重なる他物体の特徴とを比較して他物体が追跡対象である物体の検出に与える奥側影響度を算出し、該奥側影響度に基づいて複数のカメラのそれぞれにより撮像された複数の次フレームのそれぞれから物体を検出する際の検出難度を算出し、複数の映像のそれぞれにおける次フレームの組に含まれるフレームから追跡対象である物体を検出する処理を含み、次フレームの組から該物体を検出する際に検出難度に基づいて物体を検出するフレームを選択する。【選択図】図４

Description

本発明は、物体追跡プログラム、物体追跡装置、及び物体追跡方法に関する。

映像内の移動物体を検出して追跡する技術の１つとして、視野を共有する複数のカメラのそれぞれにより同一期間に撮像された複数の映像から物体を検出して追跡する技術が知られている。この種の技術では、追跡対象である物体を複数の異なる方向から撮像した映像のそれぞれから検出するため、追跡対象である物体の実空間における三次元位置を追跡することが可能である。このため、この種の技術は、例えば、スポーツの試合を撮像した映像における各選手の追跡等に適用されている。

また、複数のカメラにより撮像された複数の映像から物体の三次元位置を検出する場合に、複数の映像のなかから追跡対象である物体が写っている映像を選択して物体を検出し、三次元位置を算出する技術が知られている。例えば、オクルージョンの発生を予測し、複数のカメラのうちのオクルージョンの発生しないカメラにより撮像された映像から物体検出して三次元位置を算出する技術が知られている（例えば、特許文献１を参照。）。

特開２００２−００８０４０号公報

追跡対象である物体が複数であり、かつ複数の物体のそれぞれが複雑に入り混じる場合、映像内における追跡対象である物体の周囲の状態は複雑に変化する。そして、映像から追跡対象である物体を検出する場合、検出する物体と、該物体の周囲との映像上の特徴が類似していると、物体の検出精度が低下する。このため、オクルージョンの発生しないカメラにより撮像された映像であっても、追跡対象である物体と、追跡対象である物体の奥側で該物体と重なる他物体との映像上での特徴が類似している場合には、追跡対象である物体の検出精度が低下することがある。物体の検出精度が低下すると、該物体の追跡精度が低下する。

１つの側面において、本発明は、映像内の物体を追跡する際の追跡精度を向上させることを目的とする。

１つの態様である物体追跡プログラムは、コンピュータに下記（１）〜（６）の処理を実行させる。
（１）複数のカメラのそれぞれにより撮像された複数の映像のそれぞれにおける同一時刻のフレームの組に含まれるフレームから追跡対象とする物体を検出する処理。
（２）物体を検出したフレーム内での該物体の位置に基づいて、実空間における前記物体の三次元位置を算出する処理。
（３）算出した物体の三次元位置に基づいて、複数の映像のそれぞれにおける次に物体を検出する次フレームでの物体の位置を予測する処理。
（４）物体の位置の予測結果に基づいて、追跡対象である物体毎に、複数の映像のそれぞれにおける次フレームのそれぞれで、追跡対象である物体の特徴と、追跡対象である物体の予測位置の奥側で該物体と重なる他物体の特徴とを比較して他物体が追跡対象である物体の検出に与える奥側影響度を算出する処理。
（５）奥側影響度に基づいて、複数のカメラのそれぞれにより撮像された複数の次フレームのそれぞれから物体を検出する際の検出難度を算出する処理。
（６）複数の映像のそれぞれにおける次フレームの組に含まれる次フレームから追跡対象である物体を検出する処理。

なお、物体追跡プログラムにおける（６）の処理では、追跡対象である物体毎に、検出難度に基づいて、次フレームの組に含まれる次フレームから該物体を検出する次フレームを選択し、選択した次フレームから物体を検出する。

上述の態様によれば、映像内の物体を追跡する際の追跡精度が向上する。

第１の実施形態に係る物体追跡装置の機能的構成を示す図である。 物体追跡システムのシステム構成例を示す図である。 優先カメラ情報の内容を説明する図である。 第１の実施形態に係る物体追跡装置が行う処理を説明するフローチャートである。 優先カメラ情報を利用した物体追跡処理の内容を説明するフローチャートである。 第１の実施形態における優先カメラ情報更新処理の内容を説明するフローチャートである。 背景が物体の検出に与える影響を説明する図である。 付随部位が物体の検出に与える影響を説明する図（その１）である。 付随部位が物体の検出に与える影響を説明する図（その２）である。 付随部位により奥側影響度が大きくなる例を示す図である。 付随部位により奥側影響度が小さくなる例を示す図である。 優先カメラ情報を利用した物体追跡処理の内容の別の例を説明するフローチャートである。 カメラの優先度を考慮した三次元位置の算出方法を説明する図である。 物体追跡システムの別のシステム構成例を示す図である。 物体追跡装置を含むサイネージシステムのシステム構成を示す図である。 第２の実施形態に係る物体追跡装置における優先カメラ決定部の機能的構成を示す図である。 第２の実施形態における優先カメラ情報更新処理の内容を説明するフローチャートである。 第２の実施形態に係る検出難度算出処理の内容を説明するフローチャートである。 追跡中の物体の位置と検出難度との例を説明する図である。 コンピュータのハードウェア構成を示す図である。

［第１の実施形態］
図１は、第１の実施形態に係る物体追跡装置の機能的構成を示す図である。

図１のように、本実施形態の物体追跡装置１は、映像取得部１１０と、追跡部１２０と、移動先予測部１３０と、優先カメラ決定部１４０と、出力部１５０と、記憶部１９０とを備える。

映像取得部１１０は、複数のカメラ２のそれぞれにより撮像された複数の映像を取得する。映像取得部１１０は、取得した複数の映像を、撮像したカメラ２を識別可能な態様で、記憶部１９０に映像データ１９１として記憶させる。取得する複数の映像は、所定の撮像エリア内をそれぞれ異なる視野で撮像する態様で配置された複数のカメラ２のそれぞれにより撮像された映像である。所得する複数の映像は、それぞれ、第１の時刻から第２の時刻までの期間に撮像された区間を含む映像である。以下の説明では、複数のカメラ２のそれぞれにより撮像された複数の映像を、単に複数の映像という。

追跡部１２０は、複数の映像から追跡対象である物体を検出して追跡する。追跡部１２０は、複数の映像のそれぞれにおける同一時刻に撮像されたフレームの組を処理単位として、時系列に、フレームの組から物体を検出して追跡する処理を行う。また、本実施形態の物体追跡装置１における追跡部１２０は、追跡中である記憶部１９０に記憶させた優先カメラ情報１９５を利用して、追跡対象である物体を検出して追跡する。優先カメラ情報１９５は、追跡処理の対象となるフレームの組に含まれるフレームのうちの、追跡部１２０が追跡中の物体を追跡する処理で優先すべきフレームを撮像したカメラを示す情報を含む。追跡部１２０は、例えば、追跡中の物体を１組のフレームから検出して追跡する際の該物体を検出するフレームの絞り込みに、優先カメラ情報１９５を利用する。例えば、１組のフレームから１個の追跡中の物体を検出する場合に、追跡部１２０は、該フレームの組に含まれる複数のフレームのうちの優先カメラ情報１９５において検出難度が閾値以下であるカメラにより撮像されたフレームのみを、該物体を検出するフレームに決定する。

追跡部１２０は、１組のフレームのうちの優先カメラ情報１９５を利用して決定した検出難度の低い複数のフレームのそれぞれから、追跡中の物体を検出して追跡する。追跡部１２０は、既知の検出方法に従って、フレーム内の追跡中の物体を検出する。例えば、追跡部１２０は、フレーム内で追跡中である物体の映像内での特徴との類似度が最も高くなる領域を、該物体を示す領域として検出する。追跡中である物体の映像内での特徴は、例えば、記憶部１９０に記憶させた物体特徴情報１９３に格納されている。映像内での特徴は、色についての特徴、形状についての特徴、及びテクスチャについての特徴のいずれであってもよい。色についての特徴には、例えば、画素値そのもの、色ヒストグラム、及び輝度ヒストグラム等がある。形状についての特徴には、例えば、HaarLike特徴量、Histograms of Oriented. Gradients（HOG）特徴量、及びScaled Invariance. Feature Transform（SIFT）特徴量がある。テクスチャについての特徴には、例えば、Local Binary Pattern（LBP）特徴量がある。

また、追跡部１２０は、１組のフレームに含まれる全てのフレームを処理の対象として、新たに追跡対象とする物体を検出する。追跡部１２０は、既知の検出方法に従って、フレーム内の新たに追跡対象とする物体を検出する。追跡対象である物体を新たに検出した場合、追跡部１２０は、該物体の映像内での特徴を示す情報を、記憶部１９０の物体特徴情報１９３に格納する。

また、追跡部１２０は、追跡中の物体の三次元位置、及び新たに追跡対象とする物体の実空間における三次元位置を算出する。追跡部１２０は、既知の算出方法に従って、フレーム内の物体についての実空間における三次元位置を算出する。例えば、追跡部１２０は、１個の物体を検出した複数のフレームのそれぞれにおける該物体の位置と、複数のフレームのそれぞれを撮像した複数のカメラ２の視野とに基づいて、検出した物体の実空間における三次元位置を算出する。追跡部１２０は、算出した三次元座標を、記憶部１９０の物体位置情報１９４に格納する。

移動先予測部１３０は、フレームの組から算出した物体の三次元位置の時間変化に基づいて、該物体の移動先を予測する。移動先予測部１３０は、物体位置情報１９４に格納された物体の三次元位置に基づいて、次フレームの組の撮像時刻における物体の三次元位置を算出する。例えば、移動先予測部１３０は、時刻ｔのフレームの組から算出した物体の位置と、該フレームの組よりも前のフレームの組（例えば時刻ｔ−Δｔのフレームの組）から算出した物体の位置とに基づいて、次フレームの組の撮像時刻における物体の位置を算出する。

優先カメラ決定部１４０は、移動先予測部１３０における物体の移動先の予測結果に基づいて、次フレームの組に含まれる複数のフレームのそれぞれから追跡対象である物体を検出する際の検出難度を決定し、優先カメラ情報１９５を更新する。本実施形態の物体追跡装置１における優先カメラ決定部１４０は、二次元位置算出部１４１と、検出難度推定部１４２と、更新部１４３とを含む。

二次元位置算出部１４１は、追跡中である物体の移動先の予測結果に基づいて、１組のフレームに含まれるフレーム毎に、次フレームの撮像時刻におけるフレーム平面内での該物体の二次元位置を算出する（予測する）。フレーム平面は、カメラの視野及び焦点距離に基づいて実空間に設定される、撮像範囲内の物体の投影面（投影領域）を含む平面である。フレーム平面内での二次元位置は、実空間における投影面内の位置（言い換えるとフレーム内の位置）を示す二次元座標の座標軸を基準とした位置である。すなわち、二次元位置算出部１４１において算出される物体の二次元位置は、フレームの外側となる場合もある。

検出難度推定部１４２は、追跡中である物体毎に、フレーム内での各物体の移動先を示す二次元位置と、背景情報１９２と、物体特徴情報１９３とに基づいて、複数の映像のそれぞれにおける次フレームのそれぞれから該物体を検出する際の難度を推定する。本実施形態の物体追跡装置１における検出難度推定部１４２は、奥側情報取得部１４２ａと、奥側影響度算出部１４２ｂと、難度算出部１４２ｃとを含む。

奥側情報取得部１４２ａは、フレーム毎に、追跡中である１個の物体のフレーム内での移動先において該物体の奥側であって該物体の周囲に存在する他物体の特徴を取得する。奥側情報取得部１４２ａは、背景情報１９２及び物体特徴情報１９３から他物体の特徴を取得する。背景情報１９２は、追跡対象である物体がカメラの視野内に存在しない状態で撮像した映像における特徴（例えば、床面や建物等の特徴）を含む。また、追跡対象である物体が移動物体の一部分である場合、奥側情報取得部１４２ａは、他物体の特徴として、追跡対象である物体とともに移動する付随部位の特徴も取得する。例えば、追跡対象である物体が人の頭部である場合、奥側情報取得部１４２ａは、人の首から下の部分を付随部位とし、頭部の特徴とともに付随部位の特徴を取得する。

奥側影響度算出部１４２ｂは、追跡中である１個の物体の特徴と、取得した奥側情報に基づいて抽出される該１個の物体の周囲の特徴とに基づいて、次フレームから１個の物体を検出する際に該物体の奥側の状態が検出精度に与える奥側影響度Ｄ_ＢＧを算出する。奥側影響度算出部１４２ｂは、例えば、追跡中である１個の物体の特徴と該１個の物体の周囲の特徴との類似度が高くなるほど、奥側影響度Ｄ_ＢＧが大きくなる換算式を用いて、奥側影響度Ｄ_ＢＧを算出する。

難度算出部１４２ｃは、１組のフレームに含まれるフレーム毎に算出した１個の物体についての奥側影響度Ｄ_ＢＧに基づいて、該１個の物体に対する次フレームでの検出難度Ｄ_ＣＰを算出する。本実施形態の物体追跡装置１における難度検出部１４２ｃは、奥側影響度Ｄ_ＢＧを検出難度Ｄ_ＣＰとする。

更新部１４３は、検出難度推定部１４２で算出した検出難度Ｄ_ＣＰに基づいて、記憶部１９０の優先カメラ情報１９５を更新する。

出力部１５０は、映像データ１９１及び物体位置情報１９４を含む各種情報を外部装置３に出力する。外部装置３は、例えば、物体位置情報１９４に基づいて映像データ１９１に人の移動経路を合成する処理を含む、各種処理を行う装置である。

このように、本実施形態の物体追跡装置１では、優先カメラ情報１９５を利用して、複数のカメラのそれぞれにより撮像した複数の映像から追跡中の物体を検出して追跡する。この種の物体追跡装置１は、例えば、複数の人が移動する空間を複数のカメラにより撮像した映像から人を検出して追跡する物体追跡システムに適用される。

図２は、物体追跡システムのシステム構成例を示す図である。
図２のように、物体追跡システム１０Ａは、例えば、物体追跡装置１と、８台のカメラ２（２Ａ〜２Ｈ）とを含む。

８台のカメラ２は、それぞれ、所定の撮像エリア６内の映像を異なった位置から撮像するよう配置される。撮像エリア６は、例えば、各種スポーツにおける競技エリアである。撮像エリア６がバスケットボールの競技エリアである場合、８台のカメラ２は、それぞれ、人（選手）７Ａ〜７Ｅ及び８Ａ〜８Ｅが移動するバスケットコートの映像を異なった位置から撮像する。８台のカメラ２は、それぞれ、撮像した映像のデータを物体追跡装置１に送信する。図２の物体追跡システム１０Ａでは、インターネット等の通信ネットワーク４に接続された中継器５が、８台のカメラ２のそれぞれが出力した映像データを集約し通信ネットワーク４を介して物体追跡装置１に送信する。物体追跡装置１は、受信した複数の映像に基づいて、映像内の人（選手）７Ａ〜７Ｅ及び８Ａ〜８Ｅのそれぞれを検出し、三次元位置を算出して追跡する。また、物体追跡装置１は、例えば、映像内の人７Ａ〜７Ｅ及び８Ａ〜８Ｅの追跡結果（三次元位置の時間変化）をサーバ装置３Ａ等の外部装置に出力する。サーバ装置３Ａは、例えば、８台のカメラ２のそれぞれにより撮像された映像に、映像内の人７Ａ〜７Ｅ及び８Ａ〜８Ｅの位置関係を示す情報等を付与し、図示しないクライアント装置に向けて配信する。

図２の物体追跡システム１０Ａにおける物体追跡装置１は、８台のカメラ２のそれぞれにより撮像した複数の映像のそれぞれにおける同一時刻のフレーム内での追跡対象の物体の位置関係に基づいて、追跡対象の物体の三次元位置を算出する。しかしながら、追跡対象である物体（人）は撮像エリア６内を移動しているため、全ての選手が、同一時刻のフレームの全てに写っているとは限らない。例えば、図２の撮像エリア６内にいる人７Ｄは、８台のカメラ２Ａ〜２Ｈのうちの、第１のカメラ２Ａ、第３のカメラ２Ｃ、及び第７のカメラ２Ｇのそれぞれにより撮像された映像には写っていない。このため、複数のフレームから追跡中の人７Ｄを検出する場合に第１のカメラ２Ａ、第３のカメラ２Ｃ、及び第７のカメラ２Ｇのそれぞれにより撮像されたフレームを除外することで、物体追跡装置１は、人７Ｄを追跡する処理を効率よく行うことが可能となる。また、例えば、人７Ｄの特徴と、人７Ｄの奥側で該人７Ｄと重なる他物体の特徴とが類似しているフレームから人７Ｄを検出する場合には、フレーム（映像）内での人７Ｄと他物体との境界が不明瞭となり、人７Ｄの検出精度が低下する。追跡中の物体の検出精度が低下すると、該物体の三次元位置の算出精度が低下し、物体の三次元位置を正しく追跡することが困難となる。このため、本実施形態の物体追跡装置１では、上記のように、優先カメラ情報１９５を利用して追跡対象である物体を追跡することで、該物体の追跡精度を向上させる。

図３は、優先カメラ情報の内容を説明する図である。
図３の優先カメラ情報１９５におけるＩＤは、追跡中である物体（例えば人）を識別する識別子である。また、図３の優先カメラ情報１９５におけるｃａｍ１〜ｃａｍ８は、それぞれ、映像を撮像する８台のカメラ２（２Ａ〜２Ｈ）を識別する識別子である。すなわち、図３の優先カメラ情報１９５には、８台のカメラ２Ａ〜２Ｈのそれぞれにより撮像した映像における同一時刻のフレームのそれぞれから追跡中である１個の物体を検出する際の、フレーム毎の検出難度Ｄ_ＣＰが登録されている。検出難度Ｄ_ＣＰは、フレームから所定の物体を検出する際の難易度を示す数値であり、本実施形態では、数値が大きいほど検出することが難しくなるようにしている。また、図３の優先カメラ情報１９５の検出難度Ｄ_ＣＰにおける「--」は、フレームの撮像時刻における物体の位置がカメラの視野外（撮像範囲外）であることを示している。すなわち、優先カメラ情報１９５は、追跡中である物体が写っているフレームを撮像したカメラを示す情報と、追跡中である物体が写っているフレームから該物体を検出する際の難度を示す情報とを含む。例えば、ＩＤ＝１の物体は、ｃａｍ３、ｃａｍ４、及びｃａｍ６のそれぞれが割り当てられたカメラのそれぞれにより撮像されたフレームには写っていない。また、ｃａｍ１、ｃａｍ２、ｃａｍ５、ｃａｍ７、及びｃａｍ８のそれぞれが割り当てられたカメラのそれぞれにより撮像された５枚のフレームのうちでＩＤ＝１の物体を最も検出しやすいフレームは、ｃａｍ７が割り当てられたカメラにより撮像されたフレームである。

本実施形態の物体追跡装置１では、追跡部１２０において映像（フレーム）から物体を検出して追跡する際に、１組のフレームに含まれる複数のフレームのそれぞれにおける該物体の検出難度Ｄ_ＣＰを示す優先カメラ情報１９５を利用する。このため、追跡部１２０は、優先カメラ情報１９５に基づいて、複数の映像のなかから物体を検出して追跡する映像（フレーム）を、検出対象である物体が写っており、かつ検出しやすいフレームのみに絞り込むことが可能となる。例えば、ＩＤ＝１の物体を追跡する場合、追跡部１２０は、優先カメラ情報１９５に基づいて、ｃａｍ３、ｃａｍ４、及びｃａｍ６のそれぞれが割り当てられたカメラのそれぞれにより撮像されたフレームから該物体を検出する処理を省略することが可能となる。また、例えば、物体を検出するフレームの条件を検出難度Ｄ_ＣＰが１０以下のフレームとした場合、追跡部１２０は、優先カメラ情報１９５に基づいて、ＩＤ＝１の物体を検出して追跡するフレームを４枚に絞り込むことが可能となる。更に、優先カメラ情報１９５に基づいて物体を検出するフレームを絞り込む場合、例えば、物体を検出するフレームの条件は、検出難度Ｄ_ＣＰが１０以下であり、かつ検出難度Ｄ_ＣＰが小さいフレームから順に３枚のフレームとすることも可能である。このように、優先カメラ情報１９５に基づいて追跡中の物体を検出するフレームを絞り込むことで、本実施形態の物体追跡装置１では、映像内の物体を検出する際の検出精度が向上し該物体の追跡精度を向上する。また、優先カメラ情報１９５に基づいて追跡中の物体を検出するフレームを絞り込むことで、本実施形態の物体追跡装置１では、追跡部１２０が行う処理の量を軽減することが可能となる。

また、優先カメラ情報１９５は、例えば、追跡中の物体が複数である場合に該複数の物体の追跡順序の決定に利用可能である。すなわち、追跡部１２０は、優先カメラ情報１９５に基づいて、追跡中である複数の物体のうちの検出しやすい物体から順に、検出難度Ｄ_ＣＰの低いフレームから該物体を検出して追跡することが可能となる。

例えば、図３の優先カメラ情報１９５における各物体についての検出難度Ｄ_ＣＰのうちの、値が小さいものから順に３個の検出難度Ｄ_ＣＰの和ＳＤを算出すると、ＩＤ＝１の物体についての和ＳＤ（１）は９．０となる。また、ＩＤ＝２〜４の物体のそれぞれについての和ＳＤ（２）〜ＳＤ（４）を算出すると、それぞれ、ＳＤ（２）＝１７．８、ＳＤ（３）＝１６．４、及びＳＤ（４）＝３５．６となる。この場合、追跡部１２０では、ＩＤ＝１の物体、ＩＤ＝３の物体、ＩＤ＝２の物体、及びＩＤ＝４の物体の順に、追跡処理を行うことが好ましい。

映像から追跡対象である物体を検出する際の検出難度は、該物体の検出精度と関係があり、検出難度が高いほど検出精度が低くなる傾向がある。このため、１枚のフレームから複数の物体を検出する場合、複数の物体のうちの検出難度が高い物体の候補となる位置がフレーム内の複数箇所で検出されることがある。この場合、複数の物体のうちの検出難度が低い物体を先に検出しておくと、検出難度が高い物体の候補となる複数箇所のうちのいずれかが検出難度の低い物体の検出位置と重なる場合に該位置を候補から除外することが可能となる。このため、本実施形態の物体追跡装置１では、優先カメラ情報１９５を利用して複数の物体の追跡順を決定することにより、検出難度が高い物体の検出位置の誤りを防ぐことが可能となり、物体の検出精度が向上する。

このように、本実施形態の物体追跡装置１では、優先カメラ情報１９５を利用して追跡中である物体を検出して追跡することにより、追跡中である物体の検出精度が向上し、物体の追跡精度が向上する。

本実施形態の物体追跡装置１は、例えば、複数のカメラ２のそれぞれから映像を取得する処理と並列に、取得した複数の映像から追跡対象である物体を検出して追跡する処理を行う。複数の映像から追跡対象である物体を検出して追跡する処理として、本実施形態の物体追跡装置１は、例えば、図４のフローチャートに沿った処理を行う。

図４は、第１の実施形態に係る物体追跡装置が行う処理を説明するフローチャートである。

本実施形態の物体追跡装置１は、複数の映像から追跡対象である物体を検出して追跡する処理として、時系列ループ処理（ステップＳ１〜Ｓ６）を行う。時系列ループ処理は、複数の映像のそれぞれにおける同一時刻に撮像されたフレームの組毎に行う処理である。物体追跡装置１は、例えば、時系列ループ処理の開始端（ステップＳ１）において、処理の対象とする同一時刻ｔに撮像されたフレームの組を選択する。また、物体追跡装置１は、例えば、時系列ループ処理の終了端（ステップＳ６）において、所定のフレームの組まで時系列ループ処理を行ったか否かを判定する。所定のフレームの組まで時系列ループ処理を行った場合、物体追跡装置１は、該時系列ループ処理を終了する。未処理のフレームの組がある場合、物体追跡装置１は、フレームの組を指定する時刻ｔを更新して時系列ループ処理を続ける。

処理の対象とするフレームの組を選択した後、物体追跡装置１は、優先カメラ情報１９５を利用した物体追跡処理（ステップＳ２）を行う。ステップＳ２の物体追跡処理は、物体追跡装置１の追跡部１２０が行う。

追跡部１２０が行う物体追跡処理は、現在処理の対象となっているフレームの組に含まれるフレームから追跡中である物体を検出する第１の検出処理と、該フレームの組に含まれるフレームから新たに追跡対象とする物体を検出する第２の検出処理とを含む。また、追跡部１２０が行う物体追跡処理は、第１の検出処理及び第２の検出処理により検出した物体の三次元位置を算出する処理を含む。

第１の検出処理では、追跡部１２０は、追跡中である物体毎に、優先カメラ情報１９５に基づいて該物体を検出するフレームを複数選択し、選択した複数のフレームのそれぞれから物体を検出する。追跡部１２０は、既知の検出方法に従い、選択したフレームのそれぞれから追跡対象となっている物体を検出する。例えば、追跡部１２０は、物体位置情報１９４に格納された検出対象である物体の予測位置に基づいてフレーム内に該物体の探索範囲を設定し、該探索範囲内において該物体の特徴量との類似度が最も高くなる部分領域を探索する。この場合、追跡部１２０は、探索範囲内において物体の特徴量との類似度が最も高くなる部分領域を追跡対象の物体が写っている領域として検出する。

第２の検出処理では、追跡部１２０は、現在処理の対象となっているフレームの組に含まれるフレーム毎に、追跡対象とする物体の条件を満たし、かつまだ追跡を開始していない物体を検出する。追跡部１２０は、既知の検出方法に従い、新たに追跡対象とする物体を検出する。例えば、追跡部１２０は、フレーム毎に、追跡対象とする物体の条件を満たす領域を探索し、該物体の条件を満たす領域のうちの追跡中である物体の検出位置とは重ならない領域を、新たな追跡対象とする物体が写っている領域として検出する。

物体の三次元位置を算出する処理では、追跡部１２０は、追跡対象である物体毎に、該物体を検出した複数のフレームのそれぞれにおける検出位置に基づいて、実空間における物体の三次元位置を算出する。追跡部１２０は、既知の算出方法に従って、物体の三次元位置を算出する。例えば、追跡部１２０は、視体積交差法により、物体を検出した複数のフレームから該物体の三次元位置を算出する。

ステップＳ２の物体追跡処理を終えると、物体追跡装置１は、次に、追跡中の物体があるか否かを判定する（ステップＳ３）。追跡中の物体がある場合（ステップＳ３；ＹＥＳ）、物体追跡装置１は、次に、次フレームにおける追跡中の物体の位置を予測し（ステップＳ４）、優先カメラ情報更新処理（ステップＳ５）を行う。その後、物体追跡装置１は、所定のフレームの組まで時系列ループ処理を行ったか否かを判定する（ステップＳ６）。一方、追跡中の物体がない場合（ステップＳ３；ＮＯ）、物体追跡装置１は、ステップＳ４及びＳ５の処理をスキップして、所定のフレームの組まで時系列ループ処理を行ったか否かを判定する（ステップＳ６）。

追跡中の物体がある場合に物体追跡装置１が行うステップＳ４の処理は、物体追跡装置１の移動先予測部１３０が行う。移動先予測部１３０は、既知の予測方法に従い、次フレームにおける物体の三次元位置を予測する。例えば、移動先予測部１３０は、現在処理の対象となっているフレームの組に基づいて算出した物体の三次元位置と、該フレームの組よりも前のフレームの組に基づいて算出した物体の三次元位置とにより、次フレームでの物体の三次元位置を予測する（算出する）。

ステップＳ４の処理の後に物体追跡装置１が行うステップＳ５の優先カメラ決定処理は、物体追跡装置１の優先カメラ決定部１４０が行う。優先カメラ決定部１４０は、次フレームにおける物体の三次元位置の予測結果に基づいて、各カメラで撮像した映像（フレーム）内での物体の移動先を算出し、該移動先における奥側情報を取得する。奥側情報は、予測した次フレームでの物体の移動先において、該物体の奥側で該物体と重なる背景及び他物体の特徴を示す情報である。その後、優先カメラ決定部１４０は、追跡中の物体の特徴と取得した背景情報との類似性に基づいて、次フレームにおける物体の検出難度Ｄ_ＣＰを算出し、優先カメラ情報１９５の検出難度Ｄ_ＣＰを更新する。

このように、本実施形態の物体追跡装置１が行う、複数の映像から物体を検出して追跡する処理は、優先カメラ情報１９５を利用した物体追跡処理（ステップＳ２）と、優先カメラ情報１９５を更新する優先カメラ決定処理（ステップＳ５）を含む。

優先カメラ情報１９５を利用した物体追跡処理（ステップＳ２）は、上記のように、物体追跡装置１の追跡部１２０が行う。本実施形態の物体追跡装置１における追跡部１２０は、物体追跡処理として、例えば、図５のフローチャートに沿った処理を行う。

図５は、優先カメラ情報を利用した物体追跡処理の内容を説明するフローチャートである。

追跡部１２０は、図５のように、まず、追跡中の物体があるか否かを判定する（ステップＳ２０１）。追跡部１２０は、例えば、記憶部１９０の物体特徴情報１９３を参照して追跡中の物体があるか否かを判定する。追跡中の物体がある場合（ステップＳ２０１；ＹＥＳ）、追跡部１２０は、次に、現在処理の対象となっているフレームの組に含まれるフレームから追跡中の物体を検出して追跡する物体別ループ処理（ステップＳ２０２〜Ｓ２０５）を行う。

追跡部１２０は、例えば、物体別ループ処理（ステップＳ２０２〜Ｓ２０５）の開始端（ステップＳ２０２）において、追跡中である物体のなかから処理の対象とする物体を１個選択する。追跡部１２０は、所定の選択規則に従って、処理の対象とする物体を選択する。物体の選択規則は、例えば、物体特徴情報１９３、或いは優先カメラ情報１９５に登録された順序で選択するという規則とする。また、物体の選択規則は、例えば、優先カメラ情報１９５における検出難度Ｄ_ＣＰの和ＳＤが小さい物体から順に選択するという規則としてもよい。

処理の対象とする物体を選択すると、追跡部１２０は、次に、優先カメラ情報１９５に基づいて、選択した物体の追跡に利用するカメラを決定する（ステップＳ２０３）。追跡部１２０は、優先カメラ情報１９５において選択した物体と対応付けられている各カメラの優先度を示す情報に基づいて、物体の追跡に利用するカメラを選択する。

例えば、図３の優先カメラ情報１９５におけるカメラの優先度を示す情報は、複数のカメラのそれぞれに対する検出難度Ｄ_ＣＰの組である。図３の優先カメラ情報１９５に基づいて物体の追跡に利用するカメラを決定する場合、追跡部１２０は、各カメラについての検出難度Ｄ_ＣＰの値に基づいて、物体の追跡に利用するカメラを選択する。例えば、追跡部１２０は、図３の優先カメラ情報１９５において検出難度Ｄ_ＣＰが「--」ではないカメラのなかから、物体の追跡に利用するカメラを決定する。この場合、追跡する物体がＩＤ＝１の物体であるとすると、追跡部１２０は、ｃａｍ１、ｃａｍ２、ｃａｍ５、ｃａｍ７、及びｃａｍ８の５台のカメラのなかから、物体の追跡に利用するカメラを選択する。

なお、物体の追跡に利用するカメラは、例えば、検出対象の物体の位置が視野内となる全てのカメラのうちの、検出難度Ｄ_ＣＰが閾値以下のカメラに限定してもよい。例えば、図３の優先カメラ情報１９５におけるＩＤ＝１の物体を検出して追跡する場合、追跡部１２０は、検出難度Ｄ_ＣＰが１０以下のカメラｃａｍ７，ｃａｍ２，ｃａｍ８，及びｃａｍ５の４台のカメラを、物体の追跡に利用するカメラとしてもよい。

また、物体の追跡に利用するカメラを決定する際には、例えば、検出対象の物体の位置が視野内となる全てのカメラのうちの、検出難度Ｄ_ＣＰが小さいカメラから順にＫ個を抽出し、該Ｋ個のカメラを、物体の追跡に利用するカメラに決定してもよい。例えば、図３の優先カメラ情報１９５におけるＩＤ＝１の物体を検出して追跡する場合、追跡部１２０は、検出難度Ｄ_ＣＰが小さい３個のカメラｃａｍ７，ｃａｍ２，及びｃａｍ８の３台のカメラを、物体の追跡に利用するカメラとしてもよい。

次に、追跡部１２０は、現在処理の対象となっているフレームの組に含まれるフレームのうちの物体の追跡に利用するカメラにより撮像されたフレームから、現在追跡の対象となっている物体を検出する（ステップＳ２０４）。ステップＳ２０４の処理は、物体の追跡に利用するカメラ（フレーム）毎に物体を検出する処理を行うカメラ別ループ処理とする。該カメラ別ループ処理では、追跡部１２０は、所定の選択規則に従って物体の追跡に利用するカメラを選択して該カメラにより撮像されたフレームから物体を検出する処理を繰り返す。カメラの選択規則は、例えば、優先カメラ情報１９５における登録順に選択するという規則とする。また、カメラの選択規則は、例えば、優先カメラ情報１９５における検出難度Ｄ_ＣＰが小さいカメラから順に選択するという規則としてもよい。例えば、図３の優先カメラ情報１９５におけるＩＤ＝１の物体をｃａｍ７、ｃａｍ２、及びｃａｍ８のそれぞれが割り当てられたカメラのそれぞれで撮像したフレームから検出する場合、追跡部１２０は、ステップＳ２０４の処理として下記のいずれかの処理を行う。

（１）ｃａｍ２が割り当てられたカメラで撮像したフレーム、ｃａｍ７が割り当てられたカメラで撮像したフレーム、及びｃａｍ８が割り当てられたカメラで撮像したフレームの順にＩＤ＝１の物体を検出する処理。
（２）ｃａｍ７が割り当てられたカメラで撮像したフレーム、ｃａｍ２が割り当てられたカメラで撮像したフレーム、及びｃａｍ８が割り当てられたカメラで撮像したフレームの順にＩＤ＝１の物体を検出する処理。

ステップＳ２０３で物体の追跡に利用するカメラに決定した全てのカメラを選択して物体を検出する処理を行うと、追跡部１２０は、ステップＳ２０４の処理（カメラ別ループ処理）を終了する。

ステップＳ２０４の処理を終えると、追跡部１２０は、物体別ループ処理の終了端（ステップＳ２０５）において物体別ループ処理を終了するか否かを判定する。追跡部１２０は、例えば、追跡中である物体の全てに対しステップＳ２０３及びＳ２０４の処理を行ったか否かに基づいて、物体別ループ処理を終了するか否かを判定する。追跡中である物体のなかにステップＳ２０３及びＳ２０４の処理を行っていない物体がある場合、追跡部１２０は、物体別ループ処理を終了しないと判定して物体別ループ処理を続ける。

一方、追跡中である物体の全てに対しステップＳ２０３及びＳ２０４の処理を行った場合、追跡部１２０は、物体別ループ処理を終了すると判定して物体別ループ処理を終了する。

物体別ループ処理（ステップＳ２０２〜Ｓ２０５）を終えると、追跡部１２０は、次に、処理対象のフレームの組に含まれるフレームから新たに追跡対象とする物体を検出する処理（ステップＳ２０６）を行う。また、現在行っている物体追跡処理の開始時に追跡中の物体がない場合（ステップＳ２０１；ＮＯ）、追跡部１２０は、物体別ループ処理（ステップＳ２０２〜Ｓ２０５）を省略し、ステップＳ２０６の処理を行う。

ステップＳ２０６の処理では、追跡部１２０は、既知の検出方法に従って、新たに追跡対象とする物体を検出する。例えば、追跡部１２０は、追跡対象の条件を満たす物体をフレームから検出した後、検出した位置や特徴に基づいて、検出した物体が追跡中の物体であるか否かを判定する。検出した物体のフレーム内での位置が、追跡中の物体を検出した位置、或いは前フレームの組に対する予測処理（ステップＳ４）で予測した追跡中の物体の移動先と略一致する場合、検出した物体は、追跡中の物体である可能性が高い。また、検出した物体の特徴が、追跡中の物体の特徴と略一致する場合、検出した物体は、追跡中の物体である可能性が高い。このため、追跡部１２０は、例えば、フレームから検出した物体のうちの、追跡中の物体である可能性が閾値以下となる物体を、新たな追跡対象とする。追跡部１２０は、新たに追跡対象とする物体の特徴を物体特徴情報１９３に追加するとともに、該物体のフレーム内での位置を物体位置情報１９４に追加する。

なお、現在行っている物体追跡処理の開始時に追跡中の物体がなかった場合、追跡部１２０は、ステップＳ２０６の処理で検出した全ての物体を新たな追跡対象とする。

次に、追跡部１２０は、追跡対象である物体の三次元位置を算出する（ステップＳ２０７）。ステップＳ２０７では、追跡部１２０は、追跡対象である物体毎に、複数のフレームのそれぞれにおける物体の二次元位置と、複数のフレームのそれぞれを撮像した複数のカメラのそれぞれにおける視野の関係とに基づいて、実空間における物体の三次元位置を算出する。ここで、複数のフレームは、現在処理対象となっている全てのフレームのうちの、物体の追跡に利用したフレーム（すなわちステップＳ２０４で物体を検出したフレーム）とする。追跡部１２０は、例えば、視体積交差法により、追跡対象となっている物体の、実空間での三次元位置を算出する。

ステップＳ２０７の処理を終えると、追跡部１２０は、現在処理の対象となっているフレームの組に対する、優先カメラ情報１９５を利用した物体追跡処理を終了する。

このように、本実施形態の物体追跡処理では、複数のカメラ２のうちの追跡対象である物体の検出難度Ｄ_ＣＰが低いカメラを選択し、該カメラにより撮像されたフレームから追跡対象である物体を検出して追跡する。検出難度Ｄ_ＣＰは、フレームから物体を検出する際の難易度を示す値であり、検出難度Ｄ_ＣＰの値が大きいほど物体を検出することが困難となる。本実施形態では、フレーム内における追跡対象である１個の物体の奥側で該物体と重なる他物体が追跡対象である１個の物体を検出する際の検出精度に与える影響の度合い（奥側影響度Ｄ_ＢＧ）を、検出難度Ｄ_ＣＰとする。検出難度Ｄ_ＣＰは、優先カメラ情報更新処理（ステップＳ５）において更新される。

優先カメラ情報更新処理（ステップＳ５）は、上記のように、物体追跡装置１の優先カメラ決定部１４０が行う。優先カメラ決定部１４０は、優先カメラ情報更新処理として、例えば、図６のフローチャートに沿った処理を行う。

図６は、第１の実施形態における優先カメラ情報更新処理の内容を説明するフローチャートである。

優先カメラ決定部１４０は、図６のように、まず、フレーム毎に追跡中の物体の移動先を予測する（ステップＳ５０１）。ステップ５０１の処理は、優先カメラ決定部１４０に含まれる二次元位置算出部１４１が行う。二次元位置算出部１４１は、次フレームの撮像時刻における追跡中の物体の三次元位置の予測結果と、カメラの視野との関係に基づいて、次フレームの撮像時刻におけるフレーム平面内での物体の二次元位置を予測する（算出する）。ここで、フレーム平面は、カメラの視野及び焦点距離に基づいて実空間に設定される投影面（フレーム面）を含む平面である。フレーム平面内の二次元位置は、投影面内（フレーム内）の位置を示す二次元座標を基準とした位置とする。

二次元位置算出部１４１は、例えば、複数のフレームの組に含まれるフレーム毎に、該フレームと対応するフレーム平面に追跡対象である物体を投影したときの二次元位置を算出する。ここで、三次元位置がフレーム外（カメラの視野外）となる物体の二次元位置は、フレーム内の二次元位置を示す範囲外の値となる。

次に、優先カメラ決定部１４０は、追跡中の物体毎に、複数の映像のそれぞれにおける次フレームのそれぞれから物体を検出する際の検出難度を算出して優先カメラ情報１９５を更新する物体別ループ処理（ステップＳ５０２〜Ｓ５１１）を行う。優先カメラ決定部１４０は、例えば、物体別ループ処理の開始端（ステップＳ５０２）において、追跡中であるＭ個の物体のうちの変数ｍにより指定される１個の物体ｍを選択する。優先カメラ決定部１４０は、例えば、物体別ループ処理の終了端（ステップＳ５１１）において、追跡中である全ての物体に対して処理を行ったか否かを判定する。処理を行っていない物体がある場合、優先カメラ決定部１４０は、物体別ループ処理を続ける。そして、追跡中の全ての物体に対して処理を行った場合、優先カメラ決定部１４０は、物体別ループ処理を終了する。

物体別ループ処理の開始端で物体を選択した後、優先カメラ決定部１４０は、カメラ２毎に、該カメラで撮像した次フレームにおける物体ｍの検出難度Ｄ_ＣＰ（ｎ）を算出するカメラ別ループ処理（ステップＳ５０３〜Ｓ５０９）を行う。優先カメラ決定部１４０は、カメラ別ループ処理の開始端（ステップＳ５０３）において、Ｎ台のカメラ２のうちの変数ｎにより指定される１台のカメラｎを選択する。また、優先カメラ決定部１４０は、カメラ別ループ処理の終了端（ステップＳ５０９）において、全てのカメラに対して処理を行ったか否かを判定する。処理を行っていないカメラがある場合、優先カメラ決定部１４０は、カメラ別ループ処理を続ける。そして、全てのカメラに対して処理を行った場合、優先カメラ決定部１４０は、カメラ別ループ処理を終了する。

カメラ別ループ処理の開始端（ステップＳ５０３）でカメラｎを選択した後、優先カメラ決定部１４０は、選択中の物体ｍの移動先がカメラｎにより撮像された映像のフレーム内であるか否かを判定する（ステップＳ５０４）。ステップＳ５０４の処理は、例えば、優先カメラ決定部１４０に含まれる検出難度推定部１４２が行う。物体ｍの移動先がフレーム外である場合（ステップＳ５０４；ＮＯ）、検出難度推定部１４２は、カメラｎで撮像した映像における次フレームから物体ｍを検出する際の検出難度Ｄ_ＣＰ（ｎ）を無効な値（例えばＮＵＬＬ値）とする（ステップＳ５０５）。一方、物体ｍの移動先がフレーム内である場合（ステップＳ５０４；ＹＥＳ）、検出難度推定部１４２は、物体ｍの移動先における奥側情報に基づいて検出難度Ｄ_ＣＰ（ｎ）を算出する処理（ステップＳ５０６〜Ｓ５０８）を行う。

奥側情報に基づいて検出難度Ｄ_ＣＰ（ｎ）を算出する場合、検出難度推定部１４２は、まず、次フレームにおける奥側情報を予測する（ステップＳ５０６）。ステップＳ５０６の処理は、例えば、検出難度推定部１４２に含まれる奥側情報取得部１４２ａが行う。奥側情報取得部１４２ａは、背景情報１９２、物体位置情報１９４、及び物体特徴情報１９３に基づいて、カメラｎにより撮像された映像の次フレームにおいて、物体ｍの奥側となる位置に存在する背景及び他物体のうちのフレーム内で物体ｍの周囲となる部分領域の特徴を取得する。

次に、検出難度推定部１４２は、奥側情報の予測結果に基づいて、カメラｎの映像における次フレームから物体ｍを検出する際の奥側影響度Ｄ_ＢＧ（ｎ）を算出する（ステップＳ５０７）。ステップＳ５０７の処理は、例えば、検出難度推定部１４２に含まれる奥側影響度算出部１４２ｂが行う。奥側影響度算出部１４２ｂは、例えば、物体ｍの移動先において物体ｍの奥側となる位置に存在する背景及び他物体のうちのフレーム内で物体ｍの周囲となる部分領域の特徴と物体ｍの特徴との類似度に基づいて、奥側影響度Ｄ_ＢＧ（ｎ）を算出する。例えば、部分領域の特徴と物体ｍの特徴との類似性が高いほど類似度が大きくなる数式により類似度を算出する場合、奥側影響度算出部１４２ｂは、例えば、算出した類似度を奥側影響度Ｄ_ＢＧ（ｎ）とする。また、部分領域の特徴と物体ｍの特徴との類似性が高いほど類似度が小さくなる数式により類似度を算出する場合、奥側影響度算出部１４２ｂは、例えば、算出した類似度の逆数を奥側影響度Ｄ_ＢＧ（ｎ）とする。

次に、検出難度推定部１４２は、算出した奥側影響度Ｄ_ＢＧ（ｎ）に基づいて、カメラｎにより撮像された映像における次フレームから物体ｍを検出する際の検出難度Ｄ_ＣＰ（ｎ）を算出する（ステップＳ５０８）。ステップＳ５０８の処理は、検出難度推定部１４２に含まれる難度算出部１４２ｃが行う。本実施形態の物体追跡装置１における難度算出部１４２は、奥側影響度Ｄ_ＢＧ（ｎ）を検出難度Ｄ_ＣＰ（ｎ）とする。

ステップＳ５０５、又はステップＳ５０６〜Ｓ５０８の処理を終えると、検出難度推定部１４２は、検出難度Ｄ_ＣＰ（ｎ）を決定していないカメラがあるか否かを判定する（ステップＳ５０９）。検出難度Ｄ_ＣＰ（ｎ）を決定していないカメラがある場合、検出難度推定部１４２は、カメラ別ループ処理を続ける。そして、全てのカメラに対する検出難度ＤＣＰ（ｎ）を決定すると、検出難度推定部１４２は、カメラ別ループ処理を終了する。

カメラ別ループ処理を終えると、検出難度推定部１４２は、次に、優先カメラ情報１９５における物体ｍについての検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（Ｎ）を更新する（ステップＳ５１０）。ステップＳ５１０の処理は、優先カメラ決定部１４０に含まれる更新部１４３が行う。

ステップＳ５１０の処理を終えると、優先カメラ決定部１４０は、追跡中の物体のなかに優先カメラ情報１９５の検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（Ｎ）を更新していない物体があるか否かを判定する（ステップＳ５１１）。検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（Ｎ）を更新していない物体がある場合、優先カメラ決定部１４０は、物体別ループ処理を続ける。そして、全ての物体についての検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（Ｎ）を更新すると、優先カメラ決定部１４０は、物体別ループ処理を終了し、優先カメラ情報更新処理を終了する。

このように、優先カメラ情報更新処理では、現在処理の対象となっているフレームの次に撮像されたフレームにおける、追跡中の物体と該物体の奥側に存在する背景及び他物体との類似度の予測結果に基づいて、追跡中の物体の検出難度Ｄ_ＣＰを算出する。また、優先カメラ決定処理では、優先カメラ情報１９５の検出難度Ｄ_ＣＰを、算出した検出難度Ｄ_ＣＰに更新する。このため、次フレームの組による物体追跡処理（ステップＳ２）を行う際に、追跡中の物体と該物体の奥側に存在する他物体との類似度が低いフレームを選択して物体を検出し追跡することが可能となる。これにより、本実施形態の物体追跡装置１は、追跡中の物体を高精度に検索することが可能となる。

図７は、背景が物体の検出に与える影響を説明する図である。
図７の画像１１０１には、外見が略同一である２人の人７Ａ，７Ｂが写っている。

画像１１０１に写っている２人の人７Ａ，７Ｂのうちの、左側の人７Ａの奥側には第１の他物体１２０１が存在する。第１の他物体１２０１は、人７Ａの頭部７０１Ａにおける上下方向の中心に近い高さ位置で水平方向に伸びる境界線Ｂ１を境とした下方の部位１２０１Ａと、境界線Ｂ１を境とした上方の部位１２０１Ｂとで色が異なる。例えば、第１の他物体１２０１における上方の部位１２０１Ｂは白色であり、下方の部位１２０１Ａは白色以外の明度の高い色であるとする。

一方、画像１１０１に写っている２人の人７Ａ，７Ｂのうちの、右側の人７Ｂの奥側には、第２の他物体１２０２が存在する。第２の他物体１２０２は、人７Ｂの頭部７０１Ｂにおける上下方向の中心に近い高さ位置で水平方向に伸びる境界線Ｂ２を境とした下方の部位１２０２Ａと、境界線Ｂ２を境とした上方の部位１２０２Ｂとで色が異なる。例えば、第２の他物体１２０２における上方の部位１２０２Ｂは明度の低い黒に近い色であり、下方の部位１２０２Ａは中間色のマーブル模様であるとする。

追跡する物体が人の頭部である場合、物体追跡装置１は、まず、画像１１０１から人の頭部７０１Ａ，７０１Ｂを検出する。この際、物体追跡装置１は、例えば、既知のエッジ検出方法等を適用し、画像から人の頭部を検出する。

エッジ検出により画像１１０１から人の頭部を検出する場合の検出精度は、人の頭部と、該頭部の奥側であって頭部の周囲に存在する他物体（背景）との画像上の特徴（色や明るさ等）の類似度によって変化する。例えば、頭部と他物体との画像上の特徴の類似度が低い場合、エッジが明確であり人の頭部の特徴が埋もれないため、人物の頭部の検出が容易であり、検出精度が高い。一方、頭部と他物体との画像上の特徴の類似度が高い場合、エッジが消失して人の頭部の特徴が埋もれるため、人物の頭部の検出が困難となり、検出精度が低下する。

映像内での人の頭部の特徴として色を示す情報を利用する場合、人の頭部の特徴は、例えば、上半分が黒に近い明度の低い色であり、下半分が肌色等の明度の高い色となることが多い。このため、図７の画像１１０１から人の頭部７０１Ａを検出する場合、頭部７０１Ａと該頭部７０１Ａの周囲における他物体１２０１との特徴の類似度は低くなる。したがって、図７の画像１１０１から人の頭部を検出する場合、左側の人７Ａの頭部７０１Ａは、容易に検出することができ検出精度も高い。これに対し、図７の画像１１０１から人の頭部７０１Ｂを検出する場合、頭部７０１Ｂと該頭部７０１Ｂの周囲における他物体１２０２との特徴の類似度は高くなる。したがって、図７の画像１１０１から人の頭部を検出する場合、右側の人７Ｂの頭部７０１Ｂは、正しく検出することが難しくなり検出精度が低下する。よって、本実施形態の物体追跡装置１では、上記のように、複数のフレームのうちの検出難度Ｄ_ＣＰが低いフレームを選択して追跡対象の物体を検出し、その検出結果に基づいて物体の三次元位置を算出する。例えば、本実施形態の物体追跡装置１では、画像（フレーム）１１０１を含むフレームの組から左側の人７Ａを検出して追跡する場合には画像１１０１を人７Ａの検出に使用し、右側の人７Ｂを検出して追跡する場合には画像１１０１を人７Ｂの検出に使用しない。これにより、本実施形態の物体追跡装置１は、検出精度の高いフレームから追跡中の物体を検出することが可能となり、物体の追跡精度を向上させることが可能となる。

なお、図２の物体追跡システムにおける複数の人７Ａ〜７Ｅ，８Ａ〜８Ｅのように追跡対象となる物体が２個以上である場合、１台のカメラで撮像した映像には、追跡対象である複数の物体が奥行き方向で重なるフレームが含まれることもある。また、１個の物体全体のうちの一部分を追跡対象の物体として検出する場合、映像内では、物体全体のうちの追跡対象として検出される部分とともに、物体全体のうちの他の部分（付随部位）も移動する。このため、１つのフレームにおける１個の物体の移動先を予測して奥側影響度Ｄ_ＢＧを算出する場合、該物体と、床や建物等の追跡対象ではない物体（背景）との間に、追跡対象である他物体に付随する部位が存在することもある。例えば、人の頭部を追跡対象として映像から検出している場合、映像内では、追跡対象である頭部とともに、首よりも下の部位（付随部位）が移動する。このため、映像内において第１の人の頭部の奥側で該頭部と重なる他物体は、追跡対象ではない物体（背景）及び第２の人の頭部のいずれかに限らず、第２の人の首より下の部分（付随部位）となることもある。したがって、本実施形態の物体追跡装置１では、追跡対象とする物体に付随する部位の映像上での特徴を含めて奥側影響度Ｄ_ＢＧを算出する。

図８Ａは、付随部位が物体の検出に与える影響を説明する図（その１）である。図８Ｂは、付随部位が物体の検出に与える影響を説明する図（その２）である。

図８Ａの（ａ）には、１台のカメラが撮像した映像における時刻ｔのフレーム（画像）１１０２を示している。フレーム１１０２内の第１の頭部７０１Ａ及び第２の頭部７０１Ｃが追跡中の物体である場合、物体追跡装置１は、時刻ｔ＋Δｔにおける第１の頭部７０１Ａ及び第２の頭部７０１Ｃの三次元位置を予測する（ステップＳ４）。その後、物体追跡装置１は、優先カメラ情報更新処理（ステップＳ５）を行う。

優先カメラ情報更新処理では、物体追跡装置１は、まず、予測した三次元位置に基づいて、次フレーム（時刻ｔ＋Δｔのフレーム）の撮像時刻におけるフレーム内での第１の頭部７０１Ａ及び第２の頭部７０１Ｃの二次元位置を算出する（ステップＳ５０１）。その後、物体追跡装置１は、追跡中の物体毎に、複数のカメラのそれぞれで撮像した複数の次フレームのそれぞれにおける検出難度Ｄ_ＣＰを算出して優先カメラ情報１９５を更新する物体別ループ処理（ステップＳ５０２〜Ｓ５０８）を行う。

図８Ａの（ａ）のフレーム１１０２を含む映像における次フレームでの第１の頭部７０１Ａ及び第２の頭部７０１Ｃの二次元位置が、それぞれ、フレーム１１０２内に点線の円で示した第１の位置ＰＰ１及び第２の位置ＰＰ２であったとする。フレーム１１０２内の第１の位置ＰＰ１は、追跡対象ではない物体（背景）１２０３のうちの水平方向に伸びる境界線Ｂ３により分離された第１の部位１２０３Ａと第２の部位１２０３Ｂとを含む。このため、追跡対象とする物体が人の頭部であり、かつ人の頭部の移動先のみを考慮した場合、第１の頭部７０１Ａの移動先における奥側情報は、物体１２０３における第１の位置ＰＰ１と重なる領域の周囲の特徴を含む情報となる。

しかしながら、追跡対象とする物体が人の頭部である場合、第２の頭部７０１Ｃが第２の位置ＰＰ２にすると、第２の頭部７０１Ｃに付随する付随部位７０２Ｃは、第２の位置ＰＰ２の下側に移動する。このため、フレーム１１０２内の第１の位置ＰＰ１は、第２の頭部７０１Ｃについての付随部位７０２Ｃ’と重なる。ここで、第１の頭部７０１Ａ及び第２の頭部７０１Ｃの三次元位置の予測結果が、フレーム１１０２を含む映像を撮像しているカメラから見て第２の頭部７０１Ｃが第１の頭部７０１Ａよりも遠方（奥方）となる結果であったとする。この場合、次フレームでは、図８Ａの（ｂ）のフレーム１１０２のように、第１の頭部７０１Ａの奥側であって、第１の頭部７０１Ａと物体（背景）１２０３との間に第２の頭部７０１Ｃについての付随部位７０２Ｃが存在することとなる。このため、物体追跡装置１は、例えば、図８Ｂの（ｃ）のフレーム１１０２のように、背景に第２の頭部７０１Ｃ及び付随部位７０１Ｃを重ねた状態での第１の位置ＰＰ１の特徴を推定する。そして、物体追跡装置１は、第１の位置ＰＰ１の特徴と第１の頭部７０１Ａの特徴との類似性に基づいて、次フレームから第１の頭部７０１Ａを検出する際の奥側影響度Ｄ_ＢＧを算出する。

なお、次フレームにおいて追跡対象である物体の奥側に他物体の付随部位が重なる場合の奥側影響度Ｄ_ＢＧは、付随部位が重なることで大きくなることもあれば、付随部位が重なることで小さくなることもある。

図９は、付随部位により奥側影響度が大きくなる例を示す図である。
図９の（ａ）には、カメラの視野（撮像範囲）１３と、時刻ｔにおける２人の人７Ａ，７Ｂの位置関係とを示している。ここで、追跡対象を人の頭部とすると、カメラで撮像した映像における時刻ｔのフレームからは、第１の頭部７０１Ａと第２の頭部７０１Ｃとが検出される。図９の（ａ）のカメラの視野１３内における第１の円ＰＰ１は、物体追跡装置１が予測した、次フレームにおける第１の頭部７０１Ａの位置を示している。

カメラの視野１３内における背景（例えば、床や建物の壁等）のうちの第１の円ＰＰ１内及びその周囲は、無地である。このため、カメラで撮像した映像における時刻ｔのフレームにおける第１の円ＰＰ１内及びその周囲の特徴と、第１の頭部７０１Ａの特徴との類似性は低い。

しかしながら、第２の頭部７０１Ｃの移動先の予測結果に基づく、次フレームにおける人７Ｃの位置が図９の（ａ）に点線で示した位置７Ｃ’であるとすると、第１の円ＰＰ１は、人７Ｃの付随部位７０２Ｃと重なる。ここで、次フレームにおける人７Ｃの位置が人７Ａの位置の奥側であるとすると、次フレームの撮像時刻における視野１３内での２人の位置関係は、図９の（ｂ）のような関係となる。したがって、次フレームから第１の頭部７０１Ａを検出する際の検出難度Ｄ_ＣＰを算出するときには、第１の頭部７０１の奥側に存在する人７Ｃの付随部位７０２Ｃの特徴を考慮することとなる。図９における人７Ｃは、黒色の上着と、マーブル模様のズボンを着用している。すなわち、人７Ｃを含むフレームにおける付随部位７０２Ｃの特徴は、付随部位７０２Ｃにおける上下方向の略中央となる高さ位置で水平方向に伸びる境界線Ｂ４を境とした上方が黒色であり、下方がマーブル模様であることを示す情報を含む。このため、図９の（ｂ）のように、第１の頭部７０１Ａの奥側で人７Ｃの付随部位７０２Ｃが重なる場合、第１の頭部７０１Ａの特徴と、該第１の頭部７０１Ａの周囲の特徴との類似度が高くなる。よって、図９の例では、第１の頭部７０１Ａの奥側で付随部位７０２Ｃが重なることにより、付随部位７０２Ｃが重ならない場合に比べて、奥側影響度Ｄ_ＢＧが大きくなる。

図１０は、付随部位により奥側影響度が小さくなる例を示す図である。
図１０の（ａ）には、カメラの視野（撮像範囲）１３と、時刻ｔにおける２人の人７Ａ，７Ｂの位置関係とを示している。ここで、追跡対象を人の頭部とすると、カメラで撮像した映像における時刻ｔのフレームからは、第１の頭部７０１Ａと第２の頭部７０１Ｃとが検出される。図１０の（ａ）のカメラの視野１３内における第１の円ＰＰ１は、物体追跡装置１が予測した、次フレームにおける第１の頭部７０１Ａの位置を示している。

カメラの視野１３内における背景（例えば、床や建物の壁等）のうちの第１の円ＰＰ１内及びその周囲は、境界線Ｂ５を境とした下方が明度の高い部位１２０４Ａであり、上方が黒色に近い部位１２０４Ｂである。このため、カメラで撮像した映像における時刻ｔのフレームにおける第１の円ＰＰ１内及びその周囲の特徴と、第１の頭部７０１Ａの特徴との類似性は高い。

しかしながら、第２の頭部７０１Ｃの移動先の予測結果に基づく、次フレームにおける人７Ｃの位置が図１０の（ａ）に点線で示した位置７Ｃ’であるとすると、第１の円ＰＰ１は、人７Ｃの付随部位７０２Ｃと重なる。ここで、次フレームにおける人７Ｃの位置が人７Ａの位置の奥側であるとすると、次フレームの撮像時刻における視野１３内での２人の位置関係は、図１０の（ｂ）のような関係となる。したがって、次フレームから第１の頭部７０１Ａを検出する際の検出難度Ｄ_ＣＰを算出するときには、第１の頭部７０１の奥側に存在する人７Ｃの付随部位７０２Ｃの特徴を考慮することとなる。図１０における人７Ｃは、白色の上着と、白色以外の明度の高い色のズボンを着用している。すなわち、人７Ｃを含むフレームにおける付随部位７０２Ｃの特徴は、付随部位７０２Ｃにおける上下方向の略中央となる高さ位置で水平方向に伸びる境界線Ｂ４を境とした上方が白色であり、下方が明度の高い白色以外の色であることを示す情報を含む。このため、図１０の（ｂ）のように、第１の頭部７０１Ａの奥側で人７Ｃの付随部位７０２Ｃが重なる場合、第１の頭部７０１Ａの特徴と、該第１の頭部７０１Ａの周囲の特徴との類似度が低くなる。よって、図１０の例では、第１の頭部７０１Ａの奥側で付随部位７０２Ｃが重なることにより、付随部位７０２Ｃが重ならない場合に比べて、奥側影響度Ｄ_ＢＧが小さくなる。

以上のように、検出する物体の特徴と該物体の奥側で重なる他物体の特徴との類似性は、次フレームから追跡対象である物体を検出する際の検出精度に影響を与える。このため、本実施形態の物体追跡装置１では、次フレームにおける物体の位置の予測結果に基づいて、次フレームから追跡対象である物体を検出する際の検出精度に奥側の特徴が与える影響（奥側影響度Ｄ_ＢＧ）を算出する。その後、物体追跡装置１は、次フレームの組から追跡中の物体を検出する際に、奥側影響度Ｄ_ＢＧの低いフレームを選択して追跡中の物体を検出する。これにより、本実施形態の物体追跡装置１では、追跡対象である物体の検出精度の低下を防ぐことが可能となる。更に、同一時刻に撮像された複数のフレームの組から追跡中の物体を検出する際に、奥側影響度Ｄ_ＢＧが閾値以下となるフレームのみを選択して検出することにより、追跡対象である物体の検出精度の低下をより一層抑えることが可能となる。よって、本実施形態の物体追跡装置１では、追跡対象である物体の三次元位置を高精度に算出することが可能となり、物体の追跡精度が向上する。

なお、奥側影響度Ｄ_ＢＧの算出に用いる画像上の特徴は、映像（画像）内の物体を検出又は識別する際に用いられる種々の特徴のうちのいずれかであればよい。例えば、画像上の特徴は、色についての特徴、形状についての特徴、及びテクスチャについての特徴のいずれであってもよい。色についての特徴には、例えば、画素値そのもの、色ヒストグラム、及び輝度ヒストグラム等がある。形状についての特徴には、例えば、HaarLike特徴量、HOG特徴量、及びSIFT特徴量がある。テクスチャについての特徴には、例えば、LBP特徴量がある。

また、物体特徴情報１９３に格納して保持する追跡対象である物体や付随部位等についての情報は、ヒストグラムや特徴量であってもよいし、映像（フレーム）の状態のままであってもよい。

また、図３は、優先カメラ情報１９５の内容の一例に過ぎない。優先カメラ情報１９５は、追跡部１２０において物体追跡処理において用いる優先する、物体の検出難度の低いフレーム（カメラ）を示す情報を含むものであればよい。このため、例えば、物体の追跡に使用するフレームを決定することのみに優先カメラ情報１９５を利用する場合、該優先カメラ情報１９５は、追跡に使用するフレームを示す情報のみを含むものであってもよい。また、例えば、複数の物体の追跡順序を決定することのみに優先カメラ情報１９５を利用する場合、該優先カメラ情報１９５は、物体の追跡順序を示す情報のみを含むものであってもよい。

また、本実施形態の物体追跡装置１は、複数のカメラ２のそれぞれから複数の映像を取得する処理を終了した後で、図４の時系列ループ処理を行ってもよい。

また、図５のフローチャートに沿った物体追跡処理は、優先カメラ情報１９５を利用した物体追跡処理の一例に過ぎない。本実施形態の物体追跡装置１が行う物体追跡処理は、図５のフローチャートに沿った処理に限らず、適宜変更可能である。例えば、物体追跡処理は、追跡中である全ての物体を処理対象として物体毎に優先カメラ情報１９５に基づいて該物体の検出に利用するカメラを選択した後、物体毎に選択したカメラで撮像したフレームから該物体を検出する処理を行う内容であってもよい。

また、図６のフローチャートに沿った物体追跡処理は、優先カメラ情報１９５を利用した物体追跡処理の一例に過ぎない。優先カメラ情報１９５を利用した物体追跡処理は、図６のフローチャートに沿った処理に限らず、適宜変更可能である。例えば、優先カメラ情報１９５を利用した物体追跡処理は、図１１のフローチャートに沿った処理であってもよい。

図１１は、優先カメラ情報を利用した物体追跡処理の内容の別の例を説明するフローチャートである。

図１１のフローチャートに沿った処理は、例えば、物体追跡装置１の追跡部１２０が行う。追跡部１２０は、例えば、まず、追跡中の物体があるか否かを判定する（ステップＳ２０１）。追跡中の物体がある場合（ステップＳ２０１）、追跡部１２０は、物体別ループ処理（ステップＳ２０２〜Ｓ２０５）を行うが、その前に、優先カメラ情報１９５に基づいて、各物体の検出難度ＳＤ（１）〜ＳＤ（Ｍ）を算出する（ステップＳ２１１）。ステップＳ２１１の処理では、追跡部１２０は、追跡中の物体毎に、優先カメラ情報１９５における検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（Ｎ）のうちの、値が小さい順にＫ個の検出難度を抽出してそれらの和を算出する。例えば、Ｋ＝３として、図３の優先カメラ情報１９５におけるＩＤ＝１の物体についての検出難度ＳＤ（１）を算出すると、ＳＤ（１）＝９．０となる。同様に、ＩＤ＝２〜４の各物体についての検出難度ＳＤ（２）〜ＳＤ（４）を算出すると、それぞれ、ＳＤ（２）＝１７．８、ＳＤ（３）＝１６．４、ＳＤ（４）＝３５．６となる。

図１１のフローチャートにおける物体別ループ処理では、追跡部１２０は、例えば、物体別ループ処理の開始端（ステップＳ２０２）において処理の対象とする物体を選択する。この際、追跡部１２０は、ステップＳ２１１の処理結果に基づき、検出難度ＳＤが低い物体から順に選択するループ処理を行う。すなわち、図３の優先カメラ情報１９５におけるＩＤ＝１〜４の４個の物体が追跡中の物体である場合、追跡部１２０は、ＩＤ＝１の物体、ＩＤ＝３の物体、ＩＤ＝２の物体、及びＩＤ＝４の物体の順に、現在処理の対象となっているフレームから物体を検出して追跡する処理を行う。このようにすることで、例えば、検出難度の高いＩＤ＝４の物体の三次元位置を算出する際に、追跡部１２０は、ＩＤ＝４の物体の三次元位置をＩＤ＝１〜３の３個の物体の三次元位置と重ならないようにすることが可能となる。

物体別ループ処理を終えた後、追跡部１２０は、処理の対象であるフレームの組から新たに追跡対象とする物体を検出する処理（ステップＳ２０６）、及び追跡対象である物体の三次元位置を算出する処理（ステップＳ２０７）を行う。また、物体追跡処理を開始した時点で追跡中の物体がない場合（ステップＳ２０１；ＮＯ）、追跡部１２０は、ステップＳ２１１の処理、及び物体別ループ処理を省略して、ステップＳ２０６及びステップＳ２０７の処理を行う。

更に、優先カメラ情報１９５を利用した物体追跡処理を行う場合、追跡部１２０は、例えば、追跡対象である物体の三次元位置を算出する処理（ステップＳ２０７）において、優先カメラ情報１９５を利用することも可能である。三次元位置を算出する処理において優先カメラ情報１９５を利用する場合、追跡部１２０は、例えば、１個の物体の三次元位置を算出する際の各フレームにおける物体の位置の制約を、検出難度Ｄ_ＣＰに応じて変更してもよい。

図１２は、カメラの優先度を考慮した三次元位置の算出方法を説明する図である。
図１２には、実空間（撮像エリア６）を撮像する３台のカメラのそれぞれにより撮像された３つのフレーム１１０５〜１１０７を示している。該３つのフレーム１１０５〜１１０７は、例えば、図３の優先カメラ情報１９５におけるｃａｍ２，ｃａｍ７，及びｃａｍ８のそれぞれと対応する３台のカメラのそれぞれで撮像されたものとする。図１２の例では、第１のフレーム１１０５がｃａｍ７のカメラで撮像されたフレームとし、第２のフレーム１１０６がｃａｍ２のカメラで撮像されたフレームとしている。また、図１２の例では、第３のフレーム１１０７がｃａｍ８のカメラで撮像されたフレームとしている。

優先カメラ情報１９５における検出難度Ｄ_ＣＰを検出位置の信頼度と捉えると、検出難度が小さいカメラで撮像したフレームから検出した物体の検出位置ほど、検出位置の信頼度が高くなる。

図３の優先カメラ情報１９５におけるＩＤ＝１の物体についての検出難度Ｄ_ＣＰは、ｃａｍ７，ｃａｍ２，ｃａｍ８の順で大きくなる。すなわち、図１２の３枚のフレーム１１０５〜１１０７のそれぞれからＩＤ＝１の物体を検出した場合、ｃａｍ７のカメラで撮像したフレーム１１０５における検出位置の信頼度が最も高くなる。また、ＩＤ＝１の物体の検出位置の信頼度が２番目に高いのはｃａｍ２のカメラで撮像したフレーム１１０６となり、ＩＤ＝１の物体の検出位置の信頼度が３番目に高いのはｃａｍ８のカメラで撮像したフレーム１１０７となる。このため、３枚のフレーム１１０５〜１１０７から検出したＩＤ＝１の物体の検出位置に基づいて該物体１４の実空間における三次元位置を算出する場合、追跡部１２０は、３枚のフレームのそれぞれにおける位置制約直径Ｒ１〜Ｒ３をＲ１＜Ｒ２＜Ｒ３となるよう設定する。位置制約直径は、フレーム内における物体の検出位置を中心とした物体の位置の許容範囲を示す情報である。例えば、図１２の第１のフレーム１１０５では、該フレーム内での検出位置Ｐ１を中心とした半径Ｒ１の円内が、ＩＤ＝１の物体の位置の許容範囲となる。同様に、図１２の第２のフレーム１１０６では、該フレーム内での検出位置Ｐ２を中心とした半径Ｒ２の円内がＩＤ＝１の物体の位置の許容範囲となる。また、図１２の第３のフレーム１１０７では、該フレーム内での検出位置Ｐ３を中心とした半径Ｒ３の円内が、ＩＤ＝１の物体の位置の許容範囲となる。位置制約直径Ｒｉ（ｉ＝１〜３）は、例えば、下記式（１）により算出する。

Ｒｉ＝（Ｄ_ＣＰｉ／ＡＤ_ＣＰ）×Ｒ０ （１）

式（１）におけるＡＤ_ＣＰは、検出する物体についての全カメラの検出難度の平均値である。また、式（１）におけるＲ０は、基準半径（定数）である。

３枚のフレーム１１０５〜１１０７における物体の検出位置に基づいて物体の三次元位置を算出する際には、追跡部１２０は、それぞれのフレームにおける位置制約直径に基づく撮像範囲を実空間で重ねたときの論理和（ＡＮＤ値）を算出する。

複数のカメラのそれぞれで撮像した複数の映像（フレーム）のそれぞれから追跡中の物体を検出する場合、フレーム毎に物体の大きさや向きが異なる上、検出難度が異なる。このため、フレームから検出した物体のフレーム内での位置には、物体の輪郭及び検出難度に応じたずれが生じる。このずれを考慮せずに複数のフレームに対し共通の位置制約直径を設定して物体の三次元位置を算出した場合、三次元位置の精度が低下することがある。例えば、共通の位置制約直径が検出難度の最も低いフレームでの適切な値よりも大きい場合、実空間において位置制約直径が重なる領域が適切な範囲よりも広くなり、物体の三次元位置の精度が低くなることがある。また、例えば、共通の位置制約直径が検出難度の最も高いフレームでの適切な値よりも小さい場合、実空間において位置制約直径が重なる領域が適切な範囲よりも狭くなり、物体の三次元位置が誤った位置になることがある。

これに対し、検出難度に応じた位置制約直径Ｒ１〜Ｒ３を設定した場合、実空間において位置制約直径Ｒ１〜Ｒ３が重なる領域（ＡＮＤ領域）を各フレームにおける物体の検出位置の信頼度に応じた適切な範囲にすることが可能となる。よって、検出難度に応じた位置制約直径Ｒ１〜Ｒ３を設定して物体の三次元位置を算出することで、物体の三次元位置を高精度に算出することが可能となる。

なお、本実施形態の物体追跡装置１を適用した物体追跡システムは、図２のようなスポーツの試合における選手（人物７Ａ〜７Ｅ，８Ａ〜８Ｅ）の動きを追跡するシステムに限らず、適宜変更可能である。例えば、物体追跡システムは、各種施設における人の移動経路や流量を測定するシステムであってもよい。

図１３は、物体追跡システムの別のシステム構成例を示す図である。
図１３には、建物（ビル）１５内の入り口１５０１からエレベータ１５０２の乗り場へと続くロビー１５０３における人の移動経路１６Ａ〜１６Ｆを測定する物体追跡システム１０Ｂのシステム構成例を示している。ロビー１５０３には、例えば、ロビー１５０３内を移動する人に対する各種案内を行うカウンター１５０４や展示物１５０５が設置されている。このようなロビー１５０３における人の移動経路１６Ａ〜１６Ｆや流量を測定する場合、例えば、図１３のように、複数のカメラ２（２Ａ〜２Ｅ）のそれぞれにより異なる方向からロビー１５０３を撮像し、複数のカメラ２のそれぞれにより撮像した複数の映像を用いてロビー１５０３の人を検出し追跡する。ロビー１５０３に設置した複数のカメラ２は、それぞれ、撮像した映像を物体追跡装置１に送信する。物体追跡装置１は、上記の手順により、ロビー１５０３にいる人を検出して追跡する。

図１３のようなロビー１５０３では、入り口１５０１からエレベータ１５０２に向かう人と、エレベータ１５０２から入り口１５０１に向かう人とが行き交う。このため、カメラ２で撮像した映像には、例えば、入り口１５０１からエレベータ１５０２に向かう人の奥側に重なる他物体が追跡対象ではない展示物（背景）１５０５であるフレームや、他物体がエレベータ１５０２から入り口１５０１に向かう人であるフレームが含まれる。例えば、カメラ２Ｅで撮像した映像における図１３の移動経路１６Ｂを移動する人を追跡する場合、該人の奥側は、カウンター１５０４や展示物１５０５に限らず、移動経路１６Ｅを移動する人となることもある。よって、図１３のような物体追跡システム１０Ｂにおいても、上記のように、優先カメラ情報１９５を利用した物体追跡を行うことが好ましい。図１３のような物体追跡システム１０Ｂにおいて優先カメラ情報１９５を利用した物体追跡を行うことにより、所定の空間内における複数の人の移動経路を精度よく追跡することが可能となる。

更に、本実施形態の物体追跡装置１は、例えば、壁面ディスプレイを備えたサイネージシステムにも適用可能である。

図１４は、物体追跡装置を含むサイネージシステムのシステム構成を示す図である。
図１４には、公共施設の通路に沿った壁面１７に設置した壁面ディスプレイ１８により公衆に向けて各種情報を提供するサイネージシステム１０Ｃのシステム構成例を示している。サイネージシステム１０Ｃは、例えば、壁面ディスプレイ１７の正面となる所定のエリア内をそれぞれ異なる方向から撮像する複数のカメラ２（２Ａ〜２Ｄ）を備える。また、サイネージシステム１０Ｃは、カメラ２で撮像した映像に基づいて壁面ディスプレイ１８の表示を変更する処理等を行う情報処理装置１９を含む。情報処理装置１９は、映像内の人を検出して追跡する物体追跡装置１と、壁面ディスプレイ１８の表示内容を制御する表示制御装置１９０１とを含む。表示制御装置１９０１が行う表示内容の制御は、カメラ２で撮像した映像における人７Ａの動きに応じて表示内容を切り替える制御を含む。

カメラ２（２Ａ〜２Ｄ）は、それぞれ、壁面ディスプレイ１８の正面となる所定のエリア内の映像を撮像し、該映像を物体追跡装置１の機能を含む情報処理装置１９に送信する。情報処理装置１９は、複数の映像から人を検出して追跡する。映像から人を検出して追跡する処理は、情報処理装置１９に含まれる物体追跡装置１が行う。物体追跡装置１は、上記のように、優先カメラ情報１９５を利用して映像内の人を検出し追跡する。更に、情報処理装置１９は、物体追跡装置１で追跡している人の動作を解析し、所定の動作を検出した場合には該動作に基づいて壁面ディスプレイ１８の表示を変更する。壁面ディスプレイ１８の表示を変更する処理は、情報処理装置１９に含まれる表示制御装置１９０１が行う。表示制御装置１９０１は、例えば、追跡している人７Ａが壁面ディスプレイ１８における所定の部分に触れる動作をしたことを検出した場合に、壁面ディスプレイ１８の表示画面を、人７Ａが触れた部分を拡大した画面に切り替える。

図１４のサイネージシステム１０Ｃには、壁面ディスプレイ１８を観察している人７Ａの奥側に壁面ディスプレイ１８が重なった映像を撮像するカメラ２Ｃ，２Ｄが含まれる。該カメラ２Ｃ，２Ｄで撮像した映像から追跡対象となっている人を検出する場合、壁面ディスプレイ１８の表示領域のうちの、検出する人７Ａの奥側で該人７Ａと重なる部分の表示内容に応じて、人の検出難度が変化する。例えば、図１４のカメラ２Ｄから見て人７Ａの奥側となる領域１８Ａに表示された内容の映像上での特徴が人７Ａの特徴と類似している場合、カメラ２Ｄで撮像した映像から人７Ａを検出する際の検出難度は高くなる。また、図１４で左に向かって移動している人７Ｂを追跡する場合、人７Ｂの特徴と人７Ｂの奥側に存在する他物体の特徴とが類似していると、人７Ｂの検出難度が高くなる。

このため、情報処理装置に含まれる物体追跡装置１は、例えば、次フレームの撮像時刻における人の移動先の予測位置と、壁面ディスプレイ１８のうちの該移動先において人の奥側となる部分に表示されている内容とに基づいて、奥側影響度Ｄ_ＢＧを算出する。これにより、物体追跡装置１は、映像から人を検出する際に、奥側影響度Ｄ_ＢＧ（検出難度Ｄ_ＣＰ）に基づいて検出難度の低い映像（フレーム）を選択し、追跡対象である人の位置や動作を精度よく検出することが可能となる。したがって、図１４のサイネージシステム１０Ｃでは、壁面ディスプレイ１８を観察している人が行った動作の検出漏れや誤検出を低減することが可能となる。よって、図１４のサイネージシステム１０Ｃでは、壁面ディスプレイ１８を観察している人の動作に応じて壁面ディスプレイ１８の表示を適切に変更することが可能となり、壁面ディスプレイ１８を観察している人に対する利便性が向上する。

［第２の実施形態］
図１５は、第２の実施形態に係る物体追跡装置における優先カメラ決定部の機能的構成を示す図である。

本実施形態の物体追跡装置１は、第１の実施形態で説明した物体追跡装置１と同様、映像取得部１１０と、追跡部１２０と、移動先予測部１３０と、優先カメラ決定部１４０と、出力部１５０と、記憶部１９０とを備える。本実施形態の物体追跡装置１における映像取得部１１０、追跡部１２０、移動先予測部１３０、優先カメラ決定部１４０は、及び出力部１５０は、それぞれ、第１の実施形態で説明した機能を持つ。すなわち、本実施形態の物体追跡装置１は、第１の実施形態で説明したように、記憶部１９０に記憶させた優先カメラ情報１９５を利用した物体追跡処理を行う。優先カメラ情報１９５は、複数のカメラのそれぞれにより撮像された複数の映像のそれぞれから追跡対象である物体を検出する際に利用する映像の優先度を示す情報（例えば検出難度Ｄ_ＣＰ）を含む。

本実施形態の物体追跡装置１における優先カメラ決定部１４０は、移動先予測部１３０による予測結果に基づいて、優先カメラ情報１９５を更新する。なお、本実施形態に係る優先カメラ決定部１４０は、奥側影響度Ｄ_ＢＧ、遮蔽度Ｄ_ＦＧ、及び予測影響度Ｄ_ＭＶに基づいて、検出難度Ｄ_ＣＰを算出する。奥側影響度Ｄ_ＢＧは、第１の実施形態で説明したように、追跡対象である物体の奥側で該物体と重なる他物体が、追跡対象である物体の検出精度に与える影響を示す数値である。遮蔽度Ｄ_ＦＧは、追跡対象である物体の手前側で該物体と重なる他物体により、追跡対象である物体がどれだけ遮蔽されるかを示す数値である。予測影響度Ｄ_ＭＶは、移動先予測部１３０において予測した、次フレームにおける追跡対象である物体の移動先の二次元位置についての予測誤差が物体の検出精度に与える影響を示す数値である。本実施形態の優先カメラ決定部１４０は、例えば、奥側影響度Ｄ_ＢＧ、遮蔽度Ｄ_ＦＧ、及び予測影響度Ｄ_ＭＶのそれぞれを、物体を検出する際の難度と関連付けた共通の指標で表される値として算出する。そして、優先カメラ決定部１４０は、下記式（２）により検出難度Ｄ_ＣＰを算出する。

Ｄ_ＣＰ＝ｗ１・Ｄ_ＢＧ＋ｗ２・Ｄ_ＦＧ＋ｗ３・Ｄ_ＭＶ （２）

式（２）におけるｗ１、ｗ２、及びｗ３は、それぞれ、重み係数である。

本実施形態の物体追跡装置１における優先カメラ決定部１４０は、例えば、図１５のように、二次元位置算出部１４１と、検出難度推定部１４２と、更新部１４３とを含む。二次元位置算出部１４１及び更新部１４３は、それぞれ、第１の実施形態で説明した機能を持つ。

また、本実施形態に係る検出難度推定部１４２は、重畳情報取得部１４２ｄと、奥側影響度算出部１４２ｂと、遮蔽度算出部１４２ｅと、移動量算出部１４２ｆと、予測影響度算出部１４２ｇと、難度算出部１４２ｃとを含む。

重畳情報取得部１４２ｄは、追跡対象である物体の移動先の予測結果に基づいて、次フレームにおいて追跡対象である物体と重なる領域及びその周囲の特徴を示す重畳情報を取得する。重畳情報取得部１４２ｄは、物体の移動先における奥側情報と取得するとともに、該物体の手前で該物体と重なる他物体を示す情報を取得する。

奥側影響度算出部１４２ｂは、追跡対象である物体の特徴と背景情報取得部１４２ａで取得した奥側情報との類似性に基づいて、奥側影響度Ｄ_ＢＧを算出する。奥側影響度算出部１４２ｂは、例えば、追跡対象である物体の特徴と背景情報との類似度を算出した後、該類似度と検出難度との対応関係に基づいて、類似度を奥側影響度Ｄ_ＢＧに変換する。

遮蔽度算出部１４２ｅは、追跡対象である物体の移動先の予測結果に基づいて、次フレームにおける追跡対象である物体についての遮蔽度Ｄ_ＦＧを算出する。遮蔽度算出部１４２ｅは、例えば、まず、次フレームにおいて追跡対象である物体の手前で該物体と重なる他物体の有無を検出し、他物体がある場合には追跡対象である物体全体のうちの他物体と重なる部分の割合を算出する。その後、遮蔽度算出部１４２ｃは、追跡対象である物体のうちの他物体と重なる部分の割合と検出難度との対応関係に基づいて、他物体と重なる部分の割合を遮蔽度Ｄ_ＦＧに変換する。

移動量算出部１４２ｆは、追跡対象である物体の移動先の予測結果に基づいて算出されるフレーム内での該物体の移動量を算出する。

予測影響度算出部１４２ｇは、移動量算出部１４２ｆにおいて算出したフレーム内での物体の移動量に基づいて、予測影響度Ｄ_ＭＶを算出する。予測影響度算出部１４２ｄは、例えば、追跡対象である物体のフレーム内での移動量と検出難度との対応関係に基づいて、移動量を予測影響度Ｄ_ＭＶに変換する。

難度算出部１４２ｃは、奥側影響度Ｄ_ＢＧ、遮蔽度Ｄ_ＦＧ、及び予測影響度Ｄ_ＭＶに基づいて、検出難度Ｄ_ＣＰを算出する。例えば、検出難度算出部１４２ｅは、上記の式（２）により、検出難度Ｄ_ＣＰを算出する。

このように、本実施形態に係る優先カメラ決定部１４０は、奥側影響度に加え、追跡対象である物体が他物体により遮蔽されること、及び移動先の予測精度のそれぞれが物体検出の難度に与える影響も考慮して検出難度Ｄ_ＣＰを算出する。

本実施形態の物体追跡装置１は、複数のカメラで撮像された複数の映像を取得し、該複数の映像から追跡対象である物体を検出して追跡する処理を行う。複数の映像から追跡対象である物体を検出して追跡する処理として、本実施形態の物体追跡装置１は、例えば、図４のフローチャートに沿った処理を行う。なお、本実施形態の物体追跡装置１が図４の時系列ループ処理（ステップＳ１〜Ｓ６）を行う場合、物体追跡装置１の優先カメラ決定部１４０は、優先カメラ情報更新処理（ステップＳ５）として、例えば、図１６のフローチャートに沿った処理を行う。

図１６は、第２の実施形態における優先カメラ情報更新処理の内容を説明するフローチャートである。

優先カメラ決定部１４０は、図１６のように、まず、フレーム毎に追跡中の物体の移動先を予測する（ステップＳ５０１）。ステップ５０１の処理は、優先カメラ決定部１４０に含まれる二次元位置算出部１４１が行う。

次に、優先カメラ決定部１４０は、追跡中の物体毎に、複数の映像のそれぞれにおける次フレームのそれぞれから物体を検出する際の検出難度を算出して優先カメラ情報１９５を更新する物体別ループ処理（ステップＳ５０２〜Ｓ５１１）を行う。優先カメラ決定部１４０は、例えば、物体別ループ処理の開始端（ステップＳ５０２）において、追跡中であるＭ個の物体のうちの変数ｍにより指定される１個の物体ｍを選択する。優先カメラ決定部１４０は、例えば、物体別ループ処理の終了端（ステップＳ５１１）において、追跡中である全ての物体に対して処理を行ったか否かを判定する。処理を行っていない物体がある場合、優先カメラ決定部１４０は、物体別ループ処理を続ける。そして、追跡中の全ての物体に対して処理を行った場合、優先カメラ決定部１４０は、物体別ループ処理を終了する。

物体別ループ処理の開始端で物体を選択した後、優先カメラ決定部１４０は、カメラ２毎に、該カメラで撮像した次フレームにおける物体ｍの検出難度Ｄ_ＣＰ（ｎ）を算出するカメラ別ループ処理（ステップＳ５０３〜Ｓ５０９）を行う。優先カメラ決定部１４０は、カメラ別ループ処理の開始端（ステップＳ５０３）において、Ｎ台のカメラ２のうちの変数ｎにより指定される１台のカメラｎを選択する。また、優先カメラ決定部１４０は、カメラ別ループ処理の終了端（ステップＳ５０９）において、全てのカメラに対して処理を行ったか否かを判定する。処理を行っていないカメラがある場合、優先カメラ決定部１４０は、カメラ別ループ処理を続ける。そして、全てのカメラに対して処理を行った場合、優先カメラ決定部１４０は、カメラ別ループ処理を終了する。

カメラ別ループ処理の開始端（ステップＳ５０３）でカメラｎを選択した後、優先カメラ決定部１４０は、選択中の物体ｍの移動先がカメラｎにより撮像された映像のフレーム内であるか否かを判定する（ステップＳ５０４）。ステップＳ５０４の処理は、例えば、優先カメラ決定部１４０に含まれる検出難度推定部１４２が行う。物体ｍの移動先がフレーム外である場合（ステップＳ５０４；ＮＯ）、検出難度推定部１４２は、カメラｎで撮像した映像における次フレームから物体ｍを検出する際の検出難度Ｄ_ＣＰ（ｎ）を無効な値（例えばＮＵＬＬ値）とする（ステップＳ５０５）。一方、物体ｍの移動先がフレーム内である場合（ステップＳ５０４；ＹＥＳ）、検出難度推定部１４２は、奥側影響度Ｄ_ＢＧ、遮蔽度Ｄ_ＦＧ、及び予測影響度Ｄ_ＭＶに基づいて検出難度Ｄ_ＣＰ（ｎ）を算出する検出難度算出処理（ステップＳ５２０）を行う。

ステップＳ５２０では、検出難度推定部１４２は、例えば、下記の処理を行う。
（１）カメラｎで撮像したフレーム内での物体ｍの移動先における奥側情報に基づいて、奥側影響度Ｄ_ＢＧを算出する処理。
（２）カメラｎで撮像したフレーム内での物体ｍの移動先において該物体ｍの手前側で物体ｍと重なる他物体が存在する場合に、物体ｍのうちの手前側の他物体により遮蔽される部分の割合に基づいて遮蔽度Ｄ_ＦＧを算出する処理。
（３）カメラｎで撮像したフレーム内での物体ｍの移動量に基づいて、予測影響度Ｄ_ＭＶを算出する処理。
（４）カメラｎで撮像した映像の次フレームから物体ｍを検出する際の検出難度Ｄ_ＣＰを上記の式(２)により算出する処理。

ステップＳ５０５、又はステップＳ５２０の処理を終えると、検出難度推定部１４２は、検出難度Ｄ_ＣＰ（ｎ）を決定していないカメラがあるか否かを判定する（ステップＳ５０９）。検出難度Ｄ_ＣＰ（ｎ）を決定していないカメラがある場合、検出難度推定部１４２は、カメラ別ループ処理を続ける。そして、全てのカメラに対する検出難度Ｄ_ＣＰ（ｎ）を決定すると、検出難度推定部１４２は、カメラ別ループ処理を終了する。

カメラ別ループ処理を終えると、検出難度推定部１４２は、次に、優先カメラ情報１９５における物体ｍについての検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（Ｎ）を更新する（ステップＳ５１０）。ステップＳ５１０の処理は、優先カメラ決定部１４０に含まれる更新部１４３が行う。

ステップＳ５１０の処理を終えると、優先カメラ決定部１４０は、追跡中の物体のなかに優先カメラ情報１９５の検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（Ｎ）を更新していない物体があるか否かを判定する（ステップＳ５１１）。検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（Ｎ）を更新していない物体がある場合、優先カメラ決定部１４０は、物体別ループ処理を続ける。そして、全ての物体についての検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（Ｎ）を更新すると、優先カメラ決定部１４０は、物体別ループ処理を終了し、優先カメラ情報更新処理を終了する。

このように、本実施形態の優先カメラ情報更新処理では、現在処理の対象となっているフレームの次に撮像されたフレームにおける、奥側影響度Ｄ_ＢＧと、遮蔽度Ｄ_ＦＧと、予測影響度Ｄ_ＭＶとに基づいて、検出難度Ｄ_ＣＰを算出する。すなわち、本実施形態の物体追跡装置１は、奥側影響度に加え、フレームから検出する物体が手前に存在する他物体により遮蔽されると検出難度が高くなること、及び物体の移動先の予測誤差に応じて検出精度が変わることを考慮して、検出難度Ｄ_ＣＰを算出する。このため、本実施形態の物体追跡装置１で利用する優先カメラ情報１９５では、奥側影響度Ｄ_ＢＧが低い場合であっても、遮蔽度Ｄ_ＦＧや予測影響度Ｄ_ＭＶが高い場合には、検出難度Ｄ_ＣＰが大きくなる。言い換えると、本実施形態の追跡部１２０は、優先カメラ情報１９５において検出難度Ｄ_ＣＰが小さいカメラで撮像した映像から物体を検出する場合に、手前側の物体に遮蔽されることや、予測誤差の影響により該物体の検出に失敗することを防ぐことが可能となる。このため、本実施形態の物体追跡装置１は、追跡中の物体の追跡精度がより一層向上する。

図１７は、第２の実施形態に係る検出難度算出処理の内容を説明するフローチャートである。

本実施形態の物体追跡装置１が行う優先カメラ情報更新処理における検出難度算出処理（ステップＳ５２０）は、検出難度推定部１４２が行う。検出難度推定部１４２は、まず、追跡中の物体及び該物体の付随部位の移動先に基づいて、次フレームにおける物体ｍの移動先での奥側情報及び手前側の遮蔽物体の有無を予測する（ステップＳ５２１）。ステップＳ５２１は、検出難度推定部１４２に含まれる重畳情報取得部１４２ｄが行う。重畳情報取得部１４２ｄは、ステップＳ５０１で算出した追跡中の物体のフレーム内での二次元位置と実空間における各物体の三次元位置とに基づいて、物体ｍの移動先において物体ｍの奥側に存在する他物体についての奥側情報を取得する。また、重畳情報取得部１４２ｄは、追跡中の物体のフレーム内での二次元位置と実空間における各物体の三次元位置とに基づいて、物体ｍの移動先において物体ｍを遮蔽する他物体の有無を予測する。

次に、検出難度推定部１４２は、カメラｎで撮像した映像の次フレームから物体ｍを検出する際の奥側影響度Ｄ_ＢＧ（ｎ）を算出する（ステップＳ５２２）。ステップＳ５２２の処理は、検出難度推定部１４２に含まれる奥側影響度算出部１４２ｂが行う。奥側影響度算出部１４２ｂは、第１の実施形態で説明したステップＳ５０７と同様の処理を行って奥側影響度Ｄ_ＢＧ（ｎ）を算出する。

次に、検出難度推定部１４２は、物体ｍの移動先において物体ｍを遮蔽する他物体の有無及び該他物体の重なり量に基づいて遮蔽度Ｄ_ＦＧ（ｎ）を算出する（ステップＳ５２３）。ステップＳ５２３の処理は、検出難度推定部１４２に含まれる遮蔽度算出部１４２ｅが行う。遮蔽度算出部１４２ｅは、まず、ステップＳ５２１における物体ｍを遮蔽する物体の有無の予測結果に基づいて、物体ｍを遮蔽する他物体の有無を判定する。物体ｍを遮蔽する他物体がない場合、遮蔽度算出部１４２ｅは、物体ｍと、該物体ｍを遮蔽する他物体との重なり量を「０」として、遮蔽度Ｄ_ＦＧ（ｎ）を算出する。一方、物体ｍを遮蔽する他物体がある場合、遮蔽度算出部１４２ｅは、物体ｍと、該物体ｍを遮蔽する他物体との重なり量に応じた遮蔽度Ｄ_ＦＧ（ｎ）を算出する。

フレーム内の物体ｍを検出する場合、該物体ｍが手前の他物体により遮蔽されていると、物体ｍの検出精度は低下する。また、フレーム内の物体ｍを検出する場合、物体ｍの全体のうちの他物体により遮蔽されている割合が高くなるほど、物体ｍの検出精度は低下する。したがって、遮蔽度算出部１４２ｅは、物体ｍと、該物体ｍを遮蔽する他物体との重なり量が大きくなるほど、遮蔽度Ｄ_ＦＧ（ｎ）が大きくなるよう、遮蔽度Ｄ_ＦＧ（ｎ）を算出する。

次に、検出難度推定部１４２は、カメラｎで撮像したフレーム内での物体ｍの移動量を算出する（ステップＳ５２４）。ステップＳ５２４の処理は、検出難度算出部１４２に含まれる移動量算出部１４２ｆが行う。移動量算出部１４２ｆは、カメラｎで撮像したフレーム内での物体ｍの検出位置と移動先の位置とに基づいて、物体ｍの移動量を算出する。

次に、検出難度推定部１４２は、物体の移動量に基づいて予測影響度Ｄ_ＭＶ（ｎ）を算出する（ステップＳ５２５）。ステップＳ５２５の処理は、検出難度推定部１４２に含まれる予測影響度算出部１４２ｇが行う。移動先予測部１２０で予測した物体ｍの移動先の三次元位置は、予測値であって、次フレームの撮像時刻における物体の三次元位置とは異なる場合がある。また、フレーム内における検出した物体ｍの位置から予測した物体ｍの位置までの距離（物体ｍの移動量）が大きいほど予測位置の誤差の影響は大きくなり、次フレームにおける物体ｍの予測位置と実際の物体ｍの位置とのずれが大きくなる傾向がある。このため、物体ｍの移動量が大きいほど、次フレームから物体ｍを検出することが難しくなり、検出難度が高くなる。したがって、予測影響度算出部１４２ｇは、物体ｍの移動量が大きくなるほど、予測影響度Ｄ_ＭＶ（ｎ）が大きくなるよう、予測影響度Ｄ_ＭＶ（ｎ）を算出する。

次に、検出難度推定部１４２は、算出した奥側影響度ＤＢＧ（_ｎ）、遮蔽度Ｄ_ＦＧ（ｎ）、及び予測影響度Ｄ_ＭＶ（ｎ）に基づいて、カメラｎで撮像した映像における次フレームから物体ｍを検出する際の検出難度Ｄ_ＣＰ（ｎ）を算出する（ステップＳ５２６）。ステップＳ５２６の処理は、検出難度推定部１４２に含まれる難度算出部１４２ｃが行う。難度算出部１４２ｃは、例えば、下記式（３）により検出難度Ｄ_ＣＰ（ｎ）を算出する。

Ｄ_ＣＰ（ｎ）＝ｗ１・Ｄ_ＢＧ（ｎ）＋ｗ２・Ｄ_ＦＧ（ｎ）＋ｗ３・Ｄ_ＭＶ（ｎ） （３）

検出難度Ｄ_ＣＰ（ｎ）を算出すると、検出難度推定部１４２は、カメラｎで撮像したフレームについての検出難度算出処理を終了する。

なお、図１７のフローチャートは、本実施形態に係る検出難度算出処理（ステップＳ５２０）の一例に過ぎない。本実施形態に係る検出難度算出処理は、図１７のフローチャートに沿った処理に限らず、適宜変更可能である。例えば、検出難度算出処理は、ステップＳ５２１及びＳ５２４の処理を行った後で、ステップＳ５２２、Ｓ５２３、Ｓ５２５、及びＳ５２６の処理を行う内容であってもよい。また、例えば、検出難度算出処理は、ステップＳ５２１〜Ｓ５２３の処理と、ステップＳ５２４及びＳ５２５の処理とを並列に行う内容であってもよい。

図１８は、追跡中の物体の位置と検出難度との例を説明する図である。
図１８には、物体７Ａが処理の対象に選択された状態で行われるカメラ別ループ処理（ステップＳ５０３〜Ｓ５０９）における検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（４）の算出方法を説明する図を示している。本実施形態の検出難度推定部１４２は、実空間における物体７Ａを含む５個の追跡中の物体７Ａ〜７Ｅの移動先の予測結果に基づいて、物体７Ａについての検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（４）を算出する。

５個の追跡中の物体７Ａ〜７Ｅの移動先の予測位置が、それぞれ、図１８の位置である場合、４台のカメラ２Ａ〜２Ｄのそれぞれにより撮像したフレームから物体Ａを検出する際の奥側影響度Ｄ_ＢＧ（ｃａｍ１）〜Ｄ_ＢＧ（ｃａｍ４）については、以下のことがいえる。

第１のカメラ２Ａ（ｃａｍ１）により撮像したフレーム内では、物体７Ａの奥側で該物体７Ａと重なり、物体７Ａの検出に影響を与える他物体（物体７Ｂ〜７Ｃを含む）は存在しない。同様に、第４のカメラ２Ｄ（ｃａｍ４）により撮像したフレーム内では、物体７Ａの奥側で該物体７Ａと重なり、物体７Ａの検出に影響を与える他物体（物体７Ｂ〜７Ｃを含む）は存在しない。これに対し、第２のカメラ２Ｂ（ｃａｍ２）により撮像した映像（フレーム）内では、物体７Ａの奥側に位置する物体７Ｄが物体７Ａと重なる。このため、第２のカメラ２Ｂにより撮像した映像における物体７Ａの特徴と物体７Ｄの特徴との類似性が高い場合、奥側影響度Ｄ_ＢＧ（２）は、奥側影響度Ｄ_ＢＧ（１）及び奥側影響度Ｄ_ＢＧ（４）と比べて大きくなる。

また、第３のカメラ２Ｃ（ｃａｍ３）により撮像したフレーム内では、物体７Ａの奥側に位置する背景の一部１２１０が物体７Ａと重なる。ここで、背景の一部１２１０の特徴と物体７Ａの特徴との類似性が高いとすると、奥側影響度Ｄ_ＢＧ（３）は、奥側影響度Ｄ_ＢＧ（１）及び奥側影響度Ｄ_ＢＧ（４）と比べて大きくなる。

次に、遮蔽度について説明する。５個の追跡中の物体７Ａ〜７Ｅの移動先の予測位置が、それぞれ、図１８の位置である場合、４台のカメラ２Ａ〜２Ｄのそれぞれにより撮像したフレームから物体７Ａを検出する際の遮蔽度Ｄ_ＦＧ（ｃａｍ１）〜Ｄ_ＦＧ（ｃａｍ４）については、以下のことがいえる。

第１のカメラ２Ａ（ｃａｍ１）により撮像したフレーム内では、物体７Ａの手前側で該物体７Ａと重なり、物体７Ａの検出に影響を与える他物体（物体７Ｂ〜７Ｃを含む）は存在しない。また、第３のカメラ２Ｃ（ｃａｍ３）により撮像したフレーム内では、物体７Ａの手前側で該物体７Ａと重なり、物体７Ａの検出に影響を与える他物体（物体７Ｂ〜７Ｃを含む）は存在しない。同様に、第４のカメラ２Ｄ（ｃａｍ４）により撮像したフレーム内では、物体７Ａの奥側で該物体７Ａと重なり、物体７Ａの検出に影響を与える他物体（物体７Ｂ〜７Ｃを含む）は存在しない。これに対し、第２のカメラ２Ｂ（ｃａｍ２）により撮像した映像（フレーム）内では、物体７Ａの手前側に位置する物体７Ｂが物体７Ａの一部と重なる。このため、第２のカメラ２Ｂにより撮像したフレーム内における物体７Ａについての遮蔽度Ｄ_ＦＧ（２）は、遮蔽度Ｄ_ＦＧ（１）、遮蔽度Ｄ_ＦＧ（３）、及び遮蔽度Ｄ_ＢＧ（４）と比べて大きくなる。

最後に、予測影響度について説明する。５個の追跡中の物体７Ａ〜７Ｅの移動先の予測位置が、それぞれ、図１８の位置である場合、４台のカメラ２Ａ〜２Ｄのそれぞれにより撮像したフレームから物体７Ａを検出する際の予測影響度Ｄ_ＭＶ（ｃａｍ１）〜Ｄ_ＭＶ（ｃａｍ４）については、以下のことがいえる。

図１８では、物体７Ａの移動先を実線の矢印で示している。すなわち、物体７Ａの移動方向は、第２のカメラ２Ｂ（ｃａｍ２）により撮像したフレーム内における奥行き方向、及び第４のカメラ２Ｄ（ｃａｍ４）により撮像したフレーム内における奥行き方向のそれぞれと、略平行な方向となっている。これに対し、物体７Ａの移動方向は、第１のカメラ２Ａ（ｃａｍ１）により撮像したフレーム内における奥行き方向、及び第３のカメラ２Ｃ（ｃａｍ３）により撮像したフレーム内における奥行き方向のそれぞれと、略垂直な方向となっている。したがって、第１のカメラ２Ａ（ｃａｍ１）により撮像したフレーム内、及び第３のカメラ２Ｃ（ｃａｍ３）により撮像したフレーム内における物体７Ａの移動量は、第２のカメラ２Ｂ（ｃａｍ２）により撮像したフレーム内、及び第４のカメラ２Ｄ（ｃａｍ４）により撮像したフレーム内における物体７Ａの移動量よりも大きくなる。よって、予測影響度Ｄ_ＭＶ（１）及び予測影響度Ｄ_ＭＶ（３）は、それぞれ、予測影響度Ｄ_ＭＶ（２）及び予測影響度Ｄ_ＭＶ（４）よりも大きくなる。

ここで、説明を簡単にするために、奥側影響度Ｄ_ＢＧ、遮蔽度Ｄ_ＦＧ、及び遮蔽度Ｄ_ＭＶのそれぞれを、１又は２のいずれかの値をとるものとする。この場合、図１８の４台のカメラ２Ａ〜２Ｄのそれぞれにおける検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（４）は、それぞれ、下記式（４−１）〜（４−４）のようになる。

Ｄ_ＣＰ（１）＝ｗ１・１＋ｗ２・１＋ｗ３・２ （４−１）
Ｄ_ＣＰ（２）＝ｗ１・２＋ｗ２・２＋ｗ３・１ （４−２）
Ｄ_ＣＰ（３）＝ｗ１・１＋ｗ２・２＋ｗ３・２ （４−３）
Ｄ_ＣＰ（４）＝ｗ１・１＋ｗ２・１＋ｗ３・１ （４−４）

ここで更に、重み係数ｗ１、ｗ２、及びｗ３をそれぞれｗ１＝３、ｗ２＝２、及びｗ３＝１とすると、図１８の４台のカメラ２Ａ〜２Ｄのそれぞれにおける検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（４）は、それぞれ、下記式（５−１）〜（５−４）のようになる。

Ｄ_ＣＰ（１）＝３・１＋２・１＋１・２＝７ （５−１）
Ｄ_ＣＰ（２）＝３・２＋２・２＋１・１＝１１ （５−２）
Ｄ_ＣＰ（３）＝３・１＋２・２＋１・２＝９ （５−３）
Ｄ_ＣＰ（４）＝３・１＋２・１＋１・１＝６ （５−４）

この場合、カメラの優先度は、検出難度Ｄ_ＣＰの小さい順、すなわち第４のカメラ２Ｄ、第１のカメラ２Ａ、第３のカメラ２Ｃ、及び第２のカメラ２Ｂの順となる。すなわち、式（５−１）〜（５−４）の検出難度Ｄ_ＣＰ（１）〜Ｄ_ＣＰ（４）を利用して物体７Ａを検出する際には、例えば、第４のカメラ２Ｄ、第１のカメラ２Ａ、及び第３のカメラ２Ｃのそれぞれにより撮像したフレームから検出することが好ましい。これにより、物体７Ａの検出精度が高くなり、該物体７の追跡精度が向上する。なお、上記の奥側影響度Ｄ_ＢＧ、遮蔽度Ｄ_ＦＧ、及び予測影響度Ｄ_ＭＶ、並びに重み係数ｗ１、ｗ２、及びｗ３の数値の組み合わせは一例に過ぎない。奥側影響度Ｄ_ＢＧ、遮蔽度Ｄ_ＦＧ、及び予測影響度Ｄ_ＭＶとしてとり得る値フレーム内での背景や追跡する物体の特徴に応じて適宜変更可能である。また、重み係数ｗ１、ｗ２、及びｗ３の数値の組み合わせは、奥側影響度Ｄ_ＢＧ、遮蔽度Ｄ_ＦＧ、及び予測影響度Ｄ_ＭＶのうちの重視する項目等に応じて適宜変更可能である。

このように、本実施形態の物体追跡装置１では、追跡中である物体の移動先を予測し、次に追跡中の物体を検出するフレームにおける該物体の位置の周囲の特徴が物体の検出精度に与える影響を示す検出難度Ｄ_ＣＰを算出する。本実施形態の物体追跡装置１が算出する検出難度Ｄ_ＣＰは、フレーム内における検出する物体の特徴と、検出する物体の奥側で該物体と重なる他物体（背景を含む）の特徴との類似度が、物体の検出精度に与える影響の度合いを示す奥側影響度Ｄ_ＢＧを含む。また、本実施形態の物体追跡装置１が算出する検出難度Ｄ_ＣＰは、フレーム内における検出する物体の手前で該物体と重なる他物体の有無が物体の検出精度に与える影響の度合いを示す遮蔽度Ｄ_ＦＧを含む。更に、本実施形態の物体追跡度が算出する検出難度Ｄ_ＣＰは、物体の移動先の予測結果における誤差が物体の検出精度に与える影響の度合いを示す予測影響度Ｄ_ＭＶを含む。このように、本実施形態の物体追跡装置１では、フレームから物体を検出する際の検出精度に影響を与える複数種類の要素についての影響の度合いを考慮した検出難度Ｄ_ＣＰを算出し、該検出難度Ｄ_ＣＰに基づいて物体を検出するフレーム（カメラ）を選択する。よって、本実施形態の物体追跡装置１は、追跡中の複数の物体のそれぞれが複雑に入り混じる場合にも、追跡対象である物体を高精度に検出して追跡することが可能となる。

例えば、本実施形態の物体追跡装置１は、図２の物体追跡システム１０Ａに利用可能である。図２の物体追跡システム１０Ａは、上記のように、撮像エリア６内で行われるスポーツの試合等を複数のカメラ２により撮像し、物体追跡装置１において該複数のカメラ２により撮像された複数の映像から人（選手）７Ａ〜７Ｅ及び８Ａ〜８Ｅを検出して追跡する。例えば、スポーツの試合では、人（選手）７Ａ〜７Ｅ及び８Ａ〜８Ｅは、それぞれが自身の役割と時々の状況に応じて行動するため、各人の位置関係は複雑に変化する。このため、例えば、撮像エリア６内の特定の位置に複数の人が密集することもある。更に、スポーツの試合では、人は、例えば、咄嗟の判断により他者が予期せぬ方向へ移動することもある。このため、スポーツの試合を撮像した映像から人を検出して追跡する場合、物体追跡装置１では、人毎に、フレーム内における奥側の状態、他物体により遮蔽されているか否か、及び移動先の予測結果の正しさを考慮して検出難度Ｄ_ＣＰを算出することが好ましい。

本実施形態の物体追跡装置１では、人（選手）７Ａ〜７Ｅ及び８Ａ〜８Ｅを検出して追跡する際に、人毎に、移動先の予測位置に基づいて、奥側影響度Ｄ_ＢＧ、遮蔽度Ｄ_ＦＧ、及び予測影響度Ｄ_ＭＶの３種類の要因を考慮した検出難度Ｄ_ＣＰを算出する。よって、本実施形態の物体追跡装置１は、スポーツの試合を撮像した複数の映像から人（選手）を検出して追跡する際に、人毎に、同一時刻に撮像された複数のフレームのなかから検出難度の低いフレームを選択して該人を高精度に検出して追跡することが可能である。

なお、本実施形態の物体追跡装置１は、スポーツの試合を撮像した映像に限らず、他の映像から追跡対象である物体を検出して追跡することに利用可能である。例えば、本実施形態の物体追跡装置１は、図１３の物体追跡システム１０Ｂのような建物内での不特定多数の人の移動経路を測定するシステムにも適用可能である。更に、本実施形態の物体追跡装置１は、例えば、図１４のサイネージシステム１０Ｃにも適用可能である。

上記の各実施形態で説明した物体追跡装置１は、コンピュータと、該コンピュータに実行させるプログラムとにより実現可能である。以下、図１９を参照して、コンピュータとプログラムとにより実現される物体追跡装置１について説明する。

図１９は、コンピュータのハードウェア構成を示す図である。
図１９に示すように、コンピュータ２０は、プロセッサ２００１と、主記憶装置２００２と、補助記憶装置２００３と、入力装置２００４と、出力装置２００５と、入出力インタフェース２００６と、通信制御装置２００７と、媒体駆動装置２００８と、を備える。コンピュータ２０におけるこれらの要素２００１〜２００８は、バス２０１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。

プロセッサ２００１は、Central Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ）等である。プロセッサ２００１は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ２０の全体の動作を制御する。また、プロセッサ２００１は、例えば、図４のフローチャートにおける各処理を含む物体追跡プログラムを実行することにより、複数のカメラ２により同一期間に撮像された複数の映像から追跡対象である物体を検出して追跡する。物体追跡プログラムにおける優先カメラ情報を利用した物体追跡処理（ステップＳ２）は、例えば、図５又は図１１のフローチャートに沿った処理を含む。また、物体追跡プログラムにおける優先カメラ情報更新処理（ステップＳ５）は、例えば、図６又は図１６のフローチャートに沿った処理を含む。なお、物体追跡プログラムにおける優先カメラ情報更新処理（ステップＳ５）が図１６のフローチャートに沿った処理を含む場合、検出難度算出処理（ステップＳ５２０）は、例えば、図１７のフローチャートに沿った処理を含む。

主記憶装置２００２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置２００２のＲＯＭには、例えば、コンピュータ２０の起動時にプロセッサ２００１が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置２００２のＲＡＭは、プロセッサ２００１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置２００２のＲＡＭは、例えば、背景情報１９２、物体特徴情報１９３、物体位置情報１９４、及び優先カメラ情報１９５等の記憶に利用可能である。

補助記憶装置２００３は、例えば、Hard Disk Drive（ＨＤＤ）や、フラッシュメモリ等の不揮発性メモリ（Solid State Drive（ＳＳＤ）を含む）等、主記憶装置２００２のＲＡＭと比べて容量の大きい記憶装置である。補助記憶装置２００３は、プロセッサ２００１によって実行される各種のプログラムや各種のデータ等の記憶に利用可能である。補助記憶装置２００３は、例えば、上記の物体追跡プログラムの記憶に利用可能である。また、補助記憶装置２００３は、例えば、映像データ１９１、背景情報１９２、物体特徴情報１９３、物体位置情報１９４、及び優先カメラ情報１９５等の記憶に利用可能である。

入力装置２００４は、例えば、キーボード装置、マウス装置、及びタッチパネル装置等である。入力装置２００４は、例えば、映像を取得するカメラの選択、映像内の追跡する期間の設定、物体特徴情報１９３に格納する物体の特徴の選択、並びに式（２）における重み係数ｗ１、ｗ２、及びｗ３の設定等に利用可能である。

出力装置２００５は、例えば、液晶表示装置等の表示装置、及びプリンタ等である。出力装置２００５は、例えば、物体位置情報１９４、及び優先カメラ情報１９５等の表示や印刷に利用可能である。

入出力インタフェース２００６は、コンピュータ２０と、他の電子機器とを接続する。入出力インタフェース２００６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。入出力インタフェース２００６は、例えば、コンピュータ２０と、カメラ２との接続に利用可能である。

通信制御装置２００７は、コンピュータ２０をインターネット等のネットワークに接続し、該ネットワークを介したコンピュータ２０と他の電子機器との各種通信を制御する装置である。通信制御装置２００７は、例えば、通信ネットワーク４を介した、物体追跡装置１として動作させるコンピュータ２０と中継器５との通信に利用可能である（図２を参照）。また、例えば、図１の物体追跡装置１と外部装置３とがネットワークを介して接続される場合、通信制御装置２００７は、例えば、物体追跡装置１として動作させるコンピュータ２０と外部装置３との通信に利用可能である。

媒体駆動装置２００８は、可搬型記録媒体２１に記録されているプログラムやデータの読み出し、補助記憶装置２００３に記憶されたデータ等の可搬型記録媒体２１への書き込みを行う。媒体駆動装置２００８には、例えば、１種類以上の規格に対応したメモリカード用リーダ／ライタが利用可能である。媒体駆動装置２００８としてメモリカード用リーダ／ライタを用いる場合、可搬型記録媒体２１としては、メモリカード用リーダ／ライタが対応している規格、例えば、Secure Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）等を利用可能である。また、可搬型記録媒体２１としては、例えば、ＵＳＢ規格のコネクタを備えたフラッシュメモリが利用可能である。更に、コンピュータ２０が媒体駆動装置２００８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体２１として利用可能である。可搬型記録媒体２１として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（登録商標）等がある。可搬型記録媒体２１は、例えば、上記の物体追跡プログラムの記憶に利用可能である。また、可搬型記録媒体２１は、例えば、映像データ１９１、背景情報１９２、物体特徴情報１９３、物体位置情報１９４、及び優先カメラ情報１９５等の記憶に利用可能である。

コンピュータ２０に物体追跡プログラムの開始命令が入力されると、プロセッサ２００１は、補助記憶装置２００３等の非一時的な記録媒体に記憶させた物体追跡プログラムを読み出して実行する。物体追跡プログラムを実行している間、プロセッサ２００１は、物体追跡装置１における追跡部１２０、移動先予測部１３０、及び優先カメラ決定部１４０として機能する（動作する）。また、物体追跡プログラムが複数のカメラ２のそれぞれにより撮像された複数の映像を取得する処理を含む場合、プロセッサ２００１は、映像取得部１１０としても機能する。更に、物体追跡プログラムが映像データ１９１及び物体位置情報１９４を含む各種データを外部装置３に出力する処理を含む場合、プロセッサ２００１は、出力部１５０としても機能する。なお、物体追跡装置１における映像取得部１１０及び出力部１５０の機能の一部は、それぞれ、コンピュータ２０の入出力インタフェース２００６、通信制御装置２００７、及び媒体駆動装置２００８が担う。また、物体追跡プログラムを実行している間、主記憶装置２００２のＲＡＭ及び補助記憶装置２００３等の記憶装置は、物体追跡装置１の記憶部１９０として機能する。

なお、物体追跡装置１として動作させるコンピュータ２０は、図１９に示した全ての要素２００１〜２００８を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ２０は、媒体駆動装置２００８が省略されたものであってもよい。また、物体追跡装置１は、例えば、ネットワークにより接続された複数のコンピュータと、該複数のコンピュータのそれぞれに実行させるプログラムとにより実現することも可能である。

以上記載した各実施形態に関し、更に以下の付記を開示する。
（付記１）
複数のカメラのそれぞれにより撮像された複数の映像のそれぞれにおける同一時刻のフレームの組に含まれるフレームから追跡対象とする物体を検出し、
前記物体を検出したフレーム内での該物体の位置に基づいて、実空間における前記物体の三次元位置を算出し、
算出した前記物体の三次元位置に基づいて、前記複数の映像のそれぞれにおける次に前記物体を検出する次フレームでの前記物体の位置を予測し、
前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の特徴と、前記追跡対象である物体の予測位置の奥側で該物体と重なる他物体の特徴とを比較して前記他物体が前記追跡対象である物体の検出に与える奥側影響度を算出し、
前記奥側影響度に基づいて、前記複数のカメラのそれぞれにより撮像された複数の前記次フレームのそれぞれから前記物体を検出する際の検出難度を算出し、
前記複数の映像のそれぞれにおける前記次フレームの組に含まれる前記次フレームから前記追跡対象である物体を検出する際に、
追跡対象である物体毎に、前記検出難度に基づいて、前記次フレームの組に含まれる前記次フレームから該物体を検出する次フレームを選択し、
選択した前記次フレームから前記物体を検出する、
処理をコンピュータに実行させることを特徴とする物体追跡プログラム。
（付記２）
前記奥側影響度を算出する処理では、前記コンピュータは、前記フレームから検出した前記物体のうちの処理の対象になっていない物体に付随する付随部位を前記他物体に含める、
ことを特徴とする付記１の物体追跡プログラム。
（付記３）
前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の手前側に存在する他物体により遮蔽される度合いを示す遮蔽度を算出する処理を更に含み、
前記検出難度を算出する処理では、前記奥側影響度と前記遮蔽度とに基づいて前記検出難度を算出する、
ことを特徴とする付記１の物体追跡プログラム。
（付記４）
前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける現在処理対象となっているフレームと前記次フレームとの間での移動量を算出し、算出した前記移動量が前記物体の検出精度に与える影響の度合いを示す予測影響度を算出する処理を更に含み、
前記検出難度を算出する処理では、前記奥側影響度と前記予測影響度とに基づいて前記検出難度を算出する、
ことを特徴とする付記１の物体追跡プログラム。
（付記５）
前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、
前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の手前側に存在する他物体により遮蔽される度合いを示す遮蔽度を算出する処理と、
前記複数の映像のそれぞれにおける現在処理対象となっているフレームと前記次フレームとの間での移動量を算出し、算出した前記移動量が前記物体の検出精度に与える影響の度合いを示す予測影響度を算出する処理と、
を更に含み、
前記検出難度を算出する処理では、前記奥側影響度と、前記遮蔽度と、前記予測影響度とに基づいて前記検出難度を算出する、
ことを特徴とする付記１の物体追跡プログラム。
（付記６）
前記追跡対象である物体毎に、選択した前記フレームから該物体を検出する処理では、前記追跡対象である物体のうちの前記検出難度の低い物体から順に前記フレームから該物体を検出する、
ことを特徴とする付記１の物体追跡プログラム。
（付記７）
前記追跡対象である物体毎に、選択した前記フレームから該物体を検出する処理では、前記検出難度の低いフレームから順に前記物体を検出する、
ことを特徴とする付記１の物体追跡プログラム。
（付記８）
前記物体の三次元位置を算出する処理では、前記物体を検出したフレーム毎に、該フレーム内での前記物体の検出位置と、前記検出難度とに基づいて、実空間における前記物体の三次元位置の許容範囲を示す制約領域を設定し、実空間における前記制約領域の重なる領域に基づいて、前記物体の三次元位置を算出する、
ことを特徴とする付記１の物体追跡プログラム。
（付記９）
複数のカメラのそれぞれにより撮像された複数の映像のそれぞれにおける同一時刻のフレームの組毎に、該フレームの組に含まれるフレームから追跡対象とする物体を検出して追跡する際に、
追跡対象である物体毎に、複数のカメラのそれぞれにより撮像された複数のフレームのそれぞれから物体を検出する際の検出難度を示す情報に基づいて、前記フレームの組に含まれるフレームから該物体を検出するフレームを選択し、
前記追跡対象である物体毎に、選択した前記フレームから該物体を検出し、
前記追跡対象である物体毎に、前記物体を検出したフレーム内での該物体の位置に基づいて、実空間における前記物体の三次元位置を算出する追跡部と、
前記物体の三次元位置に基づいて、前記複数の映像のそれぞれにおける次に前記物体を検出する次フレームでの前記物体の位置を予測する移動先予測部と、
前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の特徴と、前記追跡対象である物体の予測位置の奥側で該物体と重なる他物体の特徴とを比較して前記他物体が前記追跡対象である物体の検出に与える奥側影響度を算出する奥側影響度算出部と、
前記奥側影響度に基づいて、前記複数のカメラのそれぞれにより撮像された複数の前記次フレームのそれぞれから前記物体を検出する際の検出難度を算出する難度算出部と、
を備えることを特徴とする物体追跡装置。
（付記１０）
前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の手前側に存在する他物体により遮蔽される度合いを示す遮蔽度を算出する遮蔽度算出部と、
前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける現在処理対象となっているフレームと前記次フレームとの間での移動量を算出する移動量算出部と、
算出した前記移動量が前記物体の検出精度に与える影響の度合いを示す予測影響度を算出する予測影響度算出部と、
を更に含み、
前記難度算出部は、前記奥側影響度と、前記遮蔽度と、前記予測影響度とに基づいて、前記検出難度を算出する、
ことを特徴とする付記９の物体追跡装置。
（付記１１）
複数のカメラと、
前記複数のカメラのそれぞれにより撮像された複数の映像のそれぞれにおける同一時刻のフレームの組から追跡対象とする物体を検出して追跡する際に、
追跡対象である物体毎に、複数のカメラのそれぞれにより撮像された複数のフレームのそれぞれから物体を検出する際の検出難度を示す情報に基づいて、前記フレームの組に含まれるフレームから該物体を検出するフレームを選択し、
前記追跡対象である物体毎に、選択した前記フレームから該物体を検出し、
前記追跡対象である物体毎に、前記物体を検出したフレーム内での該物体の位置に基づいて、実空間における前記物体の三次元位置を算出する追跡部と、
前記物体の三次元位置に基づいて、前記複数の映像のそれぞれにおける次に前記物体を検出する次フレームでの前記物体の位置を予測する移動先予測部と、
前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の特徴と、前記追跡対象である物体の予測位置の奥側で該物体と重なる他物体の特徴とを比較して前記他物体が前記追跡対象である物体の検出に与える奥側影響度を算出する奥側影響度算出部と、
前記奥側影響度に基づいて、前記複数のカメラのそれぞれにより撮像された複数の前記次フレームのそれぞれから前記物体を検出する際の検出難度を算出する難度算出部と、
を備えることを特徴とする物体追跡システム。
（付記１２）
前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の手前側に存在する他物体により遮蔽される度合いを示す遮蔽度を算出する遮蔽度算出部と、
前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける現在処理対象となっているフレームと前記次フレームとの間での移動量を算出する移動量算出部と、
算出した前記移動量が前記物体の検出精度に与える影響の度合いを示す予測影響度を算出する予測影響度算出部と、
を更に含み、
前記難度算出部は、前記奥側影響度と、前記遮蔽度と、前記予測影響度とに基づいて、前記検出難度を算出する、
ことを特徴とする付記１１の物体追跡システム。
（付記１３）
コンピュータが、
複数のカメラのそれぞれにより撮像された複数の映像のそれぞれにおける同一時刻のフレームの組に含まれるフレームから追跡対象とする物体を検出し、
前記物体を検出したフレーム内での該物体の位置に基づいて、実空間における前記物体の三次元位置を算出し、
算出した前記物体の三次元位置に基づいて、前記複数の映像のそれぞれにおける次に前記物体を検出する次フレームでの前記物体の位置を予測し、
前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の特徴と、前記追跡対象である物体の予測位置の奥側で該物体と重なる他物体の特徴とを比較して前記他物体が前記追跡対象である物体の検出に与える奥側影響度を算出し、
前記奥側影響度に基づいて、前記複数のカメラのそれぞれにより撮像された複数の前記次フレームのそれぞれから前記物体を検出する際の検出難度を算出し、
前記複数の映像のそれぞれにおける前記次フレームの組に含まれる前記次フレームから前記追跡対象である物体を検出する際に、
追跡対象である物体毎に、前記検出難度に基づいて、前記次フレームの組に含まれる前記次フレームから該物体を検出する次フレームを選択し、
選択した前記次フレームから前記物体を検出する、
処理を実行することを特徴とする物体追跡方法。
（付記１４）
前記コンピュータが、前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、
前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の手前側に存在する他物体により遮蔽される度合いを示す遮蔽度を算出する処理と、
前記複数の映像のそれぞれにおける現在処理対象となっているフレームと前記次フレームとの間での移動量を算出し、算出した前記移動量が前記物体の検出精度に与える影響の度合いを示す予測影響度を算出する処理と、
を更に含み、
前記検出難度を算出する処理では、前記コンピュータは、前記奥側影響度と、前記遮蔽度と、前記予測影響度とに基づいて、前記検出難度を算出する、
ことを特徴とする付記１３の物体追跡方法。

１ 物体追跡装置
１１０ 映像取得部
１２０ 追跡部
１３０ 移動先予測部
１４０ 優先カメラ決定部
１４１ 二次元位置算出部
１４２ 検出難度推定部
１４３ 更新部
１５０ 出力部
１９０ 記憶部
１９１ 映像データ
１９２ 背景情報
１９３ 物体特徴情報
１９４ 物体位置情報
１９５ 優先カメラ情報
２、２Ａ〜２Ｈ カメラ
３ 外部装置
３Ａ サーバ装置
４ 通信ネットワーク
５ 中継器
６ 撮像エリア
７Ａ〜７Ｅ、８Ａ〜８Ｅ 人
１０Ａ、１０Ｂ 物体追跡システム
１０Ｃ サイネージシステム
１８ 壁面ディスプレイ
１９ 情報処理装置
１９０１ 表示制御装置
２０ コンピュータ
２００１ プロセッサ
２００２ 主記憶装置
２００３ 補助記憶装置
２００４ 入力装置
２００５ 出力装置
２００６ 入出力インタフェース
２００７ 通信制御装置
２００８ 媒体駆動装置
２０１０ バス
２１ 可搬型記録媒体

Claims (7)

1. 複数のカメラのそれぞれにより撮像された複数の映像のそれぞれにおける同一時刻のフレームの組に含まれるフレームから追跡対象とする物体を検出し、
   前記物体を検出したフレーム内での該物体の位置に基づいて、実空間における前記物体の三次元位置を算出し、
   算出した前記物体の三次元位置に基づいて、前記複数の映像のそれぞれにおける次に前記物体を検出する次フレームでの前記物体の位置を予測し、
   前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の特徴と、前記追跡対象である物体の予測位置の奥側で該物体と重なる他物体の特徴とを比較して前記他物体が前記追跡対象である物体の検出に与える奥側影響度を算出し、
   前記奥側影響度に基づいて、前記複数のカメラのそれぞれにより撮像された複数の前記次フレームのそれぞれから前記物体を検出する際の検出難度を算出し、
   前記複数の映像のそれぞれにおける前記次フレームの組に含まれる前記次フレームから前記追跡対象である物体を検出する際に、
   追跡対象である物体毎に、前記検出難度に基づいて、前記次フレームの組に含まれる前記次フレームから該物体を検出する次フレームを選択し、
   選択した前記次フレームから前記物体を検出する、
   処理をコンピュータに実行させることを特徴とする物体追跡プログラム。
2. 前記奥側影響度を算出する処理では、前記フレームから検出した前記物体のうちの処理の対象になっていない物体に付随する付随部位を前記他物体に含める、
   ことを特徴とする請求項１に記載の物体追跡プログラム。
3. 前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、
   前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の手前側に存在する他物体により遮蔽される度合いを示す遮蔽度を算出する処理と、
   前記複数の映像のそれぞれにおける現在処理対象となっているフレームと前記次フレームとの間での移動量を算出し、算出した前記移動量が前記物体の検出精度に与える影響の度合いを示す予測影響度を算出する処理と、
   を更に含み、
   前記検出難度を算出する処理では、前記奥側影響度と、前記遮蔽度と、前記予測影響度とに基づいて前記検出難度を算出する、
   ことを特徴とする請求項１に記載の物体追跡プログラム。
4. 前記追跡対象である物体毎に、選択した前記フレームから該物体を検出する処理では、前記追跡対象である物体のうちの前記検出難度の低い物体から順に前記フレームから該物体を検出する、
   ことを特徴とする請求項１に記載の物体追跡プログラム。
5. 前記物体の三次元位置を算出する処理では、前記物体を検出したフレーム毎に、該フレーム内での前記物体の検出位置と、前記検出難度とに基づいて、実空間における前記物体の三次元位置の許容範囲を示す制約領域を設定し、実空間における前記制約領域の重なる領域に基づいて、前記物体の三次元位置を算出する、
   ことを特徴とする請求項１に記載の物体追跡プログラム。
6. 複数のカメラのそれぞれにより撮像された複数の映像のそれぞれにおける同一時刻のフレームの組毎に、該クレームの組に含まれるフレームから追跡対象とする物体を検出して追跡する際に、
   追跡対象である物体毎に、複数のカメラのそれぞれにより撮像された複数のフレームのそれぞれから物体を検出する際の検出難度を示す情報に基づいて、前記フレームの組に含まれるフレームから該物体を検出するフレームを選択し、
   前記追跡対象である物体毎に、選択した前記フレームから該物体を検出し、
   前記追跡対象である物体毎に、前記物体を検出したフレーム内での該物体の位置に基づいて、実空間における前記物体の三次元位置を算出する追跡部と、
   前記物体の三次元位置に基づいて、前記複数の映像のそれぞれにおける次に前記物体を検出する次フレームでの前記物体の位置を予測する移動先予測部と、
   前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の特徴と、前記追跡対象である物体の予測位置の奥側で該物体と重なる他物体の特徴とを比較して前記他物体が前記追跡対象である物体の検出に与える奥側影響度を算出する奥側影響度算出部と、
   前記奥側影響度に基づいて、前記複数のカメラのそれぞれにより撮像された複数の前記次フレームのそれぞれから前記物体を検出する際の検出難度を算出する難度検出部と、
   を備えることを特徴とする物体追跡装置。
7. コンピュータが、
   複数のカメラのそれぞれにより撮像された複数の映像のそれぞれにおける同一時刻のフレームの組に含まれるフレームから追跡対象とする物体を検出し、
   前記物体を検出したフレーム内での該物体の位置に基づいて、実空間における前記物体の三次元位置を算出し、
   算出した前記物体の三次元位置に基づいて、前記複数の映像のそれぞれにおける次に前記物体を検出する次フレームでの前記物体の位置を予測し、
   前記物体の位置の予測結果に基づいて、前記追跡対象である物体毎に、前記複数の映像のそれぞれにおける前記次フレームのそれぞれで、前記追跡対象である物体の特徴と、前記追跡対象である物体の予測位置の奥側で該物体と重なる他物体の特徴とを比較して前記他物体が前記追跡対象である物体の検出に与える奥側影響度を算出し、
   前記奥側影響度に基づいて、前記複数のカメラのそれぞれにより撮像された複数の前記次フレームのそれぞれから前記物体を検出する際の検出難度を算出し、
   前記複数の映像のそれぞれにおける前記次フレームの組に含まれる前記次フレームから前記追跡対象である物体を検出する際に、
   追跡対象である物体毎に、前記検出難度に基づいて、前記次フレームの組に含まれる前記次フレームから該物体を検出する次フレームを選択し、
   選択した前記次フレームから前記物体を検出する、
   処理を実行することを特徴とする物体追跡方法。