JP2014192700A - 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 - Google Patents

Abstract

【課題】複数のカメラによる撮影画像を用いて移動物体を追尾する場合に、カメラ間での追尾処理の精度を向上させる。
【解決手段】追尾処理装置４が、各カメラ２に関し、撮影画像から取得された人物Ｈの画像情報を含む複数のカメラ内追尾情報を記憶する記憶部２１と、複数のカメラ内追尾情報の絞り込みを行うことにより、複数のカメラ間での人物の追尾処理に用いるカメラ間追尾情報を抽出する絞り込み部２６と、カメラ間追尾情報に基づき、複数のカメラ間で撮影画像における人物の対応付けを行う対応付け処理部２７とを備えた構成とする。
【選択図】図１

Description

本発明は、複数のカメラによる撮影画像を用いて移動物体を追尾するための追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法に関する。

従来、広域にわたって人物や車両等の移動物体を監視するために、移動物体が通行する複数の場所に設置されたカメラの撮影画像を取得し、それら撮影画像を用いて各カメラ内または複数のカメラ間で移動物体を追尾する追尾処理装置が存在する。この追尾処理装置による移動物体の追尾では、カメラと移動物体（追尾対象）との位置関係によってオクルージョン（すなわち、各カメラの撮影において手前に存在する他の物体によって背後の追尾対象が隠されてしまう状態）が発生し、その結果、撮影画像に基づく移動物体の追尾が困難となる場合がある。

そこで、そのようなオクルージョン等の影響を低減して高精度の追尾を可能とする技術が開発されている。例えば、互いに異なる視点から監視空間を撮影する複数のカメラを備え、現時刻における移動物体の予測位置と１つの監視カメラとの組み合わせを表した複数の仮説を設定し、尤度の高い仮説（すなわち、移動物体の追尾に適した仮説）に基づいて現時刻における移動物体の位置を求める追尾処理装置が知られている（特許文献１参照）。

特開２０１０−４９２９６号公報

ところで、カメラの視野（撮影範囲）には、監視空間に存在する障害物（壁及び柱等の建築物や、什器等）によって死角が生じることがあり、上記特許文献１に記載された従来技術では、そのような死角等を除いた範囲が有効撮影範囲として定められている。

しかしながら、そのような有効撮影範囲においても、移動物体の向きが変化するなどして追尾処理に適さない追尾情報が撮影画像から取得される場合があり、特許文献１に記載された従来技術では、そのような追尾処理に適さない追尾情報が用いられると、複数のカメラ間での追尾対象の対応付けが難しくなって追尾処理の精度が著しく低下してしまうという問題がある。

本発明は、このような従来技術の課題を鑑みて案出されたものであり、複数のカメラによる撮影画像を用いて移動物体を追尾する場合に、当該カメラ間での追尾処理の精度を向上させることを可能とした追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法を提供することを主目的とする。

本発明の追尾処理装置は、複数のカメラによる撮影画像を用いて当該カメラ間で移動物体を追尾する追尾処理装置であって、前記各カメラに関し、前記撮影画像から取得された前記移動物体の画像情報を含む複数のカメラ内追尾情報を記憶する記憶手段と、前記複数のカメラ内追尾情報の絞り込みを行うことにより、前記複数のカメラ間での前記移動物体の追尾処理に用いるカメラ間追尾情報を抽出する絞り込み手段と、前記カメラ間追尾情報に基づき、前記複数のカメラ間で前記撮影画像における前記移動物体の対応付けを行う対応付け処理手段とを備えたことを特徴とする。

本発明によれば、複数のカメラによる撮影画像を用いて移動物体を追尾する場合に、各カメラ間での追尾処理の精度を向上させることが可能となる。

本発明の実施形態に係る追尾処理システムの構成図 追尾処理システムにおけるカメラ配置の一例を示す説明図 追尾処理システムのユーザによる（Ａ）動作モード選択および（Ｂ）無効領域設定の説明図 図１に示した追尾処理装置による追尾処理の流れを示すフロー図 図４中のステップＳＴ１０２の詳細を示すフロー図 図５中のステップＳＴ２０１における処理の概要を示す説明図 図５中のステップＳＴ２０２における処理の概要を示す説明図 図５中のステップＳＴ２０３における処理の概要を示す説明図 図４中のステップＳＴ１０６の追尾結果の提示に関する画面表示の一例を示す図 追尾処理装置における無効領域設定の変形例を示す説明図

上記課題を解決するためになされた第１の発明は、複数のカメラによる撮影画像を用いて当該カメラ間で移動物体を追尾する追尾処理装置であって、前記各カメラに関し、前記撮影画像から取得された前記移動物体の画像情報を含む複数のカメラ内追尾情報を記憶する記憶手段と、前記複数のカメラ内追尾情報の絞り込みを行うことにより、前記複数のカメラ間での前記移動物体の追尾処理に用いるカメラ間追尾情報を抽出する絞り込み手段と、前記カメラ間追尾情報に基づき、前記複数のカメラ間で前記撮影画像における前記移動物体の対応付けを行う対応付け処理手段とを備えたことを特徴とする。

この第１の発明に係る追尾処理装置によれば、複数のカメラによる撮影画像を用いて移動物体（追尾対象）を追尾する場合に、各カメラにおけるカメラ内追尾情報の絞り込み（すなわち、複数のカメラ間での追尾処理に適さないものを排除すること）を行って複数のカメラ間での追尾処理に用いるカメラ間追尾情報を抽出することにより、複数のカメラ間での追尾処理（移動物体の対応付け処理）の精度を向上させることが可能となる。

また、第２の発明では、上記第１の発明において、前記移動物体の画像情報について前記複数のカメラ内追尾情報の相互の類似度を算出する類似度算出手段を更に備え、前記絞り込み手段は、前記複数のカメラ内追尾情報のうち前記類似度が相対的に低いカメラ内追尾情報を排除することにより前記絞り込みを行うことを特徴とする。

この第２の発明に係る追尾処理装置によれば、複数のカメラ内追尾情報について相互の類似度に基づき絞り込みを行うため、複数のカメラ間での追尾処理に適さないカメラ内追尾情報（オクルージョン等の問題が発生した移動物体の画像情報を含むもの）を処理対象から簡易かつ確実に除外することができる。

また、第３の発明では、上記第１または第２の発明において、前記各カメラに関し、前記撮影画像における無効領域を設定する無効領域設定手段を更に備え、前記絞り込み手段は、前記複数のカメラ内追尾情報のうち前記無効領域内に位置する前記移動物体に関するカメラ内追尾情報を排除することにより前記絞り込みを行うことを特徴とする。

この第３の発明に係る追尾処理装置によれば、予め設定した無効領域（例えば、障害物が存在する領域）内に位置する移動物体に関するカメラ内追尾情報を排除するため、複数のカメラ間での追尾処理に適さないカメラ内追尾情報を処理対象から簡易かつ確実に除外することができる。

また、第４の発明では、上記第３の発明において、前記無効領域は、ユーザによって再設定可能であることを特徴とする。

この第４の発明に係る追尾処理装置によれば、予め設定された無効領域をユーザが再設定可能であるため、無効領域の精度が向上し、複数のカメラ間での追尾処理に適さないカメラ内追尾情報を処理対象からより確実に除外することができる。

また、第５の発明では、上記第３または第４の発明において、前記無効領域設定手段は、前記絞り込み手段によって過去に排除された前記カメラ内追尾情報に関する前記移動物体の位置情報に基づき、前記無効領域を設定することを特徴とする。

この第５の発明に係る追尾処理装置によれば、過去に排除されたカメラ内追尾情報に関する移動物体の位置情報を利用して無効領域を設定するため、無効領域を簡易かつ高精度に設定することが可能となる。

また、第６の発明では、上記第１から第５の発明のいずれかにおいて、前記対応付け処理手段の処理に関し、処理精度を優先する第１動作モードと、処理速度を優先する第２動作モードとを選択する動作モード選択手段を更に備え、前記対応付け処理手段は、前記第１動作モードが選択された場合、前記カメラ間追尾情報に基づき前記移動物体の対応付けを行う一方、前記第２動作モードが選択された場合、前記カメラ内追尾情報に基づき前記移動物体の対応付けを行うことを特徴とする。

この第６の発明に係る追尾処理装置によれば、処理精度と処理速度との優先度合いに応じて、対応付け処理手段の処理を適切に実行することができる。

また、第７の発明では、上記第１から第６の発明のいずれかにおいて、前記複数のカメラ内追尾情報における前記移動物体の位置情報に基づき、当該移動物体の移動方向ベクトルを算出する移動方向算出手段を更に備え、前記絞り込み手段は、前記複数のカメラ間での前記移動方向ベクトルの角度の一致度合いに基づき、前記カメラ間追尾情報を抽出することを特徴とする。

この第７の発明に係る追尾処理装置によれば、移動物体の移動方向ベクトルの角度は移動物体の向きと一致する傾向にあるため、移動方向ベクトルの角度について相互に一致度合いが高いカメラ内追尾情報をカメラ間追尾情報として抽出することにより、各カメラ間での追尾処理の精度を向上させることが可能となる。

また、第８の発明では、上記第１から第７の発明のいずれかにおいて、前記対応付け処理手段による前記移動物体の対応付け結果をユーザに提示すると共に、当該対応付け結果の適否をユーザに判定させる結果提示手段を更に備えたことを特徴とする。

この第８の発明に係る追尾処理装置によれば、移動物体の対応付け結果の適否についてユーザに判定させるため、複数のカメラ間での追尾処理の精度をより向上させることが可能となる。

また、第９の発明は、上記第１から第８の発明のいずれかに係る追尾処理装置と、前記複数のカメラと、前記カメラ内追尾情報を生成するカメラ内追尾装置とを備えた追尾処理システムである。

また、第１０の発明は、複数のカメラによる撮影画像を用いて当該カメラ間で移動物体を追尾する追尾処理方法であって、前記各カメラに関し、前記撮影画像から取得された前記移動物体の画像情報を含む複数のカメラ内追尾情報を取得する追尾情報取得ステップと、前記複数のカメラ内追尾情報の絞り込みを行うことにより、前記複数のカメラ間での前記移動物体の追尾処理に用いるカメラ間追尾情報を抽出する追尾情報絞り込みステップと、前記カメラ間追尾情報に基づき、前記複数のカメラ間で前記撮影画像における前記移動物体の対応付けを行う対応付け処理ステップとを有することを特徴とする。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は本発明の実施形態に係る追尾処理システムの構成図であり、図２は追尾処理システムにおけるカメラ配置の一例を示す説明図であり、図３は追尾処理システムのユーザによる（Ａ）動作モード選択および（Ｂ）無効領域設定の説明図である。

追尾処理システム１は、追尾対象となる人物や自動車等の移動物体を撮影する複数（ここでは、３台）のカメラ２と、各カメラ２にそれぞれ接続され、各カメラ２の撮影画像における移動物体の追尾処理（以下、「カメラ内追尾処理」という。）を行うカメラ内追尾処理装置３と、それらカメラ内追尾処理装置３による移動物体の追尾処理の結果（以下、「カメラ内追尾情報」という。）を取得し、複数のカメラ２間での追尾処理を行うカメラ間追尾処理装置４とを主として備える。なお、以下では、カメラ間での追尾処理およびカメラ間追尾処理装置４について、単に「追尾処理」および「追尾処理装置４」と称し、カメラ内追尾処理およびカメラ内追尾処理装置３とは区別する。

複数のカメラ２は、それぞれ監視用のビデオカメラからなり、カメラ内追尾処理装置３に対して複数の撮影画像（カラー動画）を順次送出する。各カメラ２は、監視が必要な場所を撮影可能なように、建物等の壁や天井などに設置される。本実施形態では、図２に示すように、通路１１を通行する人物（移動物体）Ｈを追尾対象とし、撮影される人物Ｈの大きさや角度（身体の向き）が同程度となるように、各カメラ２の配置（すなわち、人物が移動する通路等の位置と各カメラとの位置関係）が定められている。また、各カメラ２は、撮影される人物Ｈの大きさや角度を調節するために、パン・チルト機能やズーム機能を備えている。

各カメラ２の撮影方向は、ここでは鉛直方向（図面の上下方向）に対して斜め下方に傾斜して配置されているが、少なくとも追尾処理に必要な人物画像を取得可能な限りにおいて、各カメラ２の撮影方向は任意である。また、ここでは複数のカメラ２の視野（撮影範囲）１２は互いに重複しないが、必要に応じて撮影視野を重複させた構成も可能である。さらに、追尾処理システム１に用いられるカメラの数は必要に応じて変更可能である。

カメラ内追尾処理装置３は、専用ケーブルやＬＡＮ等のネットワークによってカメラ２に接続されたＰＣ（Personal Computer）からなるが、これに限らずサーバや、追尾処理を実行するマイクロコンピュータが組み込まれた電子機器等から構成されてもよい。ここでは各カメラ２に対して１台のカメラ内追尾処理装置３を設けたが、これに限らず複数のカメラ２の撮影画像を１台のカメラ内追尾処理装置３を用いてそれぞれ個別に処理してもよい。また、各カメラ２や後に詳述する追尾処理装置４にカメラ内追尾処理装置３の機能を付加した構成も可能である。

カメラ内追尾処理装置３は、カメラ２から入力した映像信号（撮影画像）に基づき、撮影された人物のカメラ内追尾処理を行う。このカメラ内追尾処理は、公知の人物追尾（追跡）技術を用いて行われる。例えば、カメラ内追尾処理装置３は、カメラ２の撮影画像と事前に取得した背景画像とを比較（画素毎の輝度値の差分を計算）すること（背景差分）により移動物体が存在する変化領域を抽出する。背景画像は、移動物体の写っていない撮影画像であり、各カメラ２によって事前に撮影されたものである。そして、カメラ内追尾処理装置３は、その変化領域において、公知の特徴量（例えば、ＨＯＧ（Histogram of Oriented Gradient ）特徴量）を用いて人物および背景の一部を包含する矩形の人物領域を検出する。また、カメラ内追尾処理装置３は、撮影画像毎に人物領域を検出し、公知のテンプレートマッチングや追跡フィルタ（例えば、パーティクルフィルタ）を用いて人物領域を追尾する。カメラ内追尾処理装置３は、検出した各人物画像（人物領域の画素情報）の情報及びその関連情報（人物の位置情報等）をカメラ内追尾情報として所定のメモリに格納する。

上記カメラ内追尾処理によって得られた複数のカメラ内追尾情報は、追尾処理装置４に対して順次送出される。なお、カメラ内追尾処理は上記の方法に限らず、例えば、撮影時間が前後する撮影画像において、フレーム間差分により動きが生じた画素の集合（領域）を人物として検出してもよい。撮影画像に異なる人物が複数存在する場合には、各人物についてカメラ内追尾情報が得られる。

追尾処理装置４は、専用ケーブルやＬＡＮ等のネットワークによってカメラ内追尾処理装置３に接続されたＰＣからなるが、これに限らずサーバや、追尾処理を実行するマイクロコンピュータが組み込まれた電子機器等から構成されてもよい。追尾処理装置４は、カメラ内追尾処理装置３から順次入力するカメラ内追尾情報を記憶する記憶部（記憶手段）２１と、ユーザ入力情報に基づき追尾処理装置４における処理条件を設定する追尾条件設定部２３とを有している。ユーザ入力情報は、ユーザによって入力部２２を介して入力される。追尾条件設定部２３において、無効領域設定部３５は、ユーザ入力情報に基づき各カメラ２の撮影画像（撮影範囲）における無効領域を設定し、また、動作モード選択部（動作モード選択手段）３６は、ユーザ入力情報に基づき対応付け処理部２７の動作モード（第１動作モードまたは第２動作モード）を選択する。

また、追尾処理装置４は、各カメラ２に関し、複数のカメラ内追尾情報の相互の類似度を算出する類似度算出部（類似度算出手段）２４と、複数のカメラ内追尾情報における人物の位置情報に基づき、人物の移動方向ベクトルを算出する移動方向算出部（移動方向算出手段）２５と、各カメラ２に関し、複数のカメラ内追尾情報の絞り込みを行う（すなわち、不適切なカメラ内追尾情報を排除する）ことにより、各カメラ２間での人物の追尾処理に用いるべき追尾情報（以下、「カメラ間追尾情報」という。）を抽出する絞り込み部（絞り込み手段）２６と、抽出されたカメラ間追尾情報に基づき、各カメラ２間で撮影画像における人物の対応付けを行う対応付け処理部（対応付け処理手段）２７と、この対応付け処理部２７による人物の対応付け結果をユーザに提示すると共に、当該対応付け結果の適否をユーザに判定させる追尾結果提示部（結果提示手段）２８とを有している。そして、追尾結果提示部２８での一連の人物の対応付け状況は出力部２９を介してユーザに提示される。

出力部２９は液晶ディスプレイからなり、入力部２２はキーボードおよびマウスからなるが、これに限定されるものではなく、例えば、タッチパネルディスプレイなどの他の装置を用いて出力部２９および入力部２２を構成してもよい。

ユーザ入力情報には、後述する撮影画像における無効領域の位置及びサイズの情報と、対応付け処理部２７の対応付けの処理についての動作モード（ここでは、高精度モードまたは高速モード）の選択情報とが少なくとも含まれる。

カメラ間追尾情報には、カメラ２によって撮影された人物画像（人物領域の画素情報）の情報に加え、これに対応づけられた人物の位置、撮影時刻及び人物の移動方向のベクトルなどの関連情報が含まれる。人物の位置の情報は、人物領域の位置の履歴（人物の移動軌跡）によって構成される。人物の位置は、種々の公知の方法によって特定することができるが、ここでは、人の頭頂部の座標を人物の基準位置としている。

追尾条件設定部２３は、ＧＵＩ（Graphical User Interface）機能を有しており、図３に示すように、ユーザは出力部２９に表示させたユーザ入力画面において、入力部２２を介して追尾条件等のユーザ入力情報の入力を行うことができる。図３（Ａ）の対応付け処理に関する動作モード選択画面では、ユーザは、マウスクリックによって処理精度を優先する高精度モード（第１動作モード）および処理速度を優先する高速モード（第２動作モード）のいずれかを選択することができる。

図３（Ｂ）の無効領域設定画面では、ユーザは、撮影画像（撮影範囲）３０における無効領域３１を設定することが可能である。より詳細には、ユーザは、撮影画像を観察しながら有効な人物画像が得られないと考える領域にマウスポインタを重ねてドラッグすることにより、無効領域３１（撮影画像３０中に網掛けで示された矩形領域）を設定することができる。

無効領域３１は、ユーザに確定される（例えば、ユーザが図示しない確定ボタンを押下する）までは候補領域として保持され、ユーザは適時再設定（位置やサイズの補正）を行うことが可能である。例えば、ユーザは、無効領域３１（候補領域）内にマウスポインタを重ねてドラッグすることにより無効領域３１を移動させることが可能であり、また、無効領域３１を画定する各辺に示された■（黒四角）印のいずれかにマウスポインタを重ねてドラッグすることにより無効領域３１のサイズを変更することができる。これに限らず、ユーザは、無効領域３１を定める座標（例えば、矩形領域の四隅の座標）を入力することにより、無効領域３１を設定（或いは再設定）してもよい。

なお、図３（Ｂ）に示した例では、オクルージョンが発生し易い塀３２、電柱３３及び街路樹３４の周辺が無効領域として設定され得るが、これに限らず、ユーザは撮影エリアの状況に応じて他の障害物（建築物や什器等）の周辺を無効領域として設定することができる。また、無効領域としては、オクルージョンの発生し易い領域に限らず、人物の方向が他の場所とは異なる領域（例えば、主要な通路とは方向が異なる通路などの場所）や、暗い領域（例えば、日光や照明が遮られて人物が見え難い場所）や、カメラの撮影範囲の周縁部に位置することにより画像の信頼性が十分に得られない領域などが設定され得る。また、図３（Ｂ）では、１つの矩形の無効領域３１のみが示されているが、無効領域３１は任意の形状で任意の数（０の場合も含む）だけ設定することができる。設定された無効領域３１の位置やサイズの情報は、後に詳述する追尾処理条件に関する設定データの一部を構成し、各カメラ２に対応づけられた無効領域マップとして記憶部２１に記憶される。

類似度算出部２４は、複数のカメラ内追尾情報について人物画像を比較することにより、カメラ内追尾情報の相互の類似度を評価する。より詳細には、類似度算出部２４は、人物領域の全体または人物領域を分割した部分領域毎のＲＧＢの色ヒストグラムを作成し、バタッチャリア（Ｂｈａｔｔａｃｈａｒｙｙａ）係数を用いてそれらの類似度を算出する。色ヒストグラムは人物領域のサイズの違いによる影響を受け難くするために正規化される。また、人物領域を分割した場合には、各領域の類似度の平均によって色ヒストグラム間の類似度が比較される。

なお、類似度算出部２４による類似度の算出（類似性の評価）は、ここに示したものに限らず、他の公知の方法を用いることができる。ただし、色ヒストグラムを用いることにより、人物画像間のサイズの違いの問題が生じることを回避できるという利点がある。また、類似度算出部２４は、公知の方法（例えば人物に共通して存在する頭部、胴、脚等の外形に関する特徴量を用いて）人物画像の評価領域（例えば、頭部および胴）を特定し、その評価領域について類似度を算出してもよい。

後に詳述するが、絞り込み部２６は、無効領域設定部３５によって設定された無効領域マップを取得し、この無効領域マップに基づき複数のカメラ内追尾情報の絞り込みを行うことができる。つまり、絞り込み部２６は、ユーザによって設定された無効領域内に存在する人物に関するカメラ内追尾情報を排除することにより、各カメラ２間での追尾処理に適さないカメラ内追尾情報を追尾処理の対象から簡易かつ確実に除外する。

また、絞り込み部２６は、類似度算出部２４によって算出された類似度を取得し、この類似度に基づき複数のカメラ内追尾情報の絞り込みを行うことができる。つまり、絞り込み部２６は、複数のカメラ内追尾情報について相互の類似度に基づき絞り込みを行うことにより、各カメラ２間での追尾処理に適さないカメラ内追尾情報（人物の向きが他の画像とは異なる画像や、オクルージョンが発生した画像等）を追尾処理の対象から簡易かつ確実に除外する。

また、絞り込み部２６は、移動方向算出部２５によって算出された移動方向ベクトルを取得し、この移動方向ベクトルに基づき複数のカメラ内追尾情報の絞り込みを行うことができる。つまり、人物の進行方向を示す移動方向ベクトルの角度は、人物の向きと一致する傾向にあるため、絞り込み部２６は、移動方向ベクトルの角度について相互に一致度合いが高いカメラ内追尾情報をカメラ間追尾情報として抽出することにより、各カメラ２間での追尾処理の精度を向上させる。

図示は省略するが、追尾処理装置４における各部２３〜２８は、所定のプログラム（追尾処理用のプログラム等）に従って演算および制御を行うＣＰＵ（Central Processing Unit）、制御プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークメモリとして機能するＲＡＭ（read only memory）等によって実現される。また、記憶部２１は、追尾処理装置４における追尾処理に必要な情報を少なくとも一時的に記憶可能なものであればよく、ここではハードディスクからなるが、これに限らず、光ディスクやフラッシュメモリなど他の記憶装置を用いることができる。

図４は追尾処理装置による追尾処理の流れを示すフロー図であり、図５は図４中のステップＳＴ１０２の詳細を示すフロー図であり、図６、図７及び図８はそれぞれ図５中のステップＳＴ２０１、ＳＴ２０２及びＳＴ２０３の処理の概要を示す説明図であり、図９は図４中のステップＳＴ１０６の追尾結果の提示に関する画面表示の一例を示す図である。

図４に示すように、追尾処理では、まず追尾条件設定部２３は、ユーザによって入力されたユーザ入力情報に基づき、追尾処理条件に関する設定データを作成する（ＳＴ１０１）。ここで作成される設定データには、上述の無効領域マップと、対応付け処理部２７の動作モードの選択情報とが少なくとも含まれる。なお、ＳＴ１０１では、追尾条件設定部２３は、必ずしも設定データを新規に作成する必要はなく、過去の処理で作成された設定データを一部修正したりそのまま流用したりすることが可能である。

次に、絞り込み部２６は、各カメラ２に関し、カメラ内追尾情報の絞り込み処理を行う（ＳＴ１０２）。この絞り込み処理では、図５に示すように、絞り込み部２６は、無効領域マップに基づき複数のカメラ内追尾情報の絞り込みを行う（ＳＴ２０１）。ＳＴ２０１では、例えば図６に示すように、撮影画像３０中の人物ａ１〜ａ６について、ユーザによって設定された無効領域３１（図３（Ｂ）を併せて参照）との位置関係を比較し、無効領域３１内に存在すると判定した人物ａ１〜ａ３に関するカメラ内追尾情報を排除し、人物ａ４〜ａ６に関するカメラ内追尾情報に絞り込む。

ここで、人物ａ１〜ａ６が無効領域３１内に存在するか否かは、人物ａ１〜ａ６の各々に関する人物領域の全体が無効領域３１内に位置するか否かによって判定されるが、これに限らず、種々の方法を採用することができる。例えば、絞り込み部２６は、人物領域における基準座標（例えば、頭部の中心座標）が無効領域３１内に存在するか否かによってその判定を行ってもよい。

また、図６では、説明の便宜上、１枚の撮影画像３０中に複数の人物ａ１〜ａ６（すなわち、図面奥側から手前側に歩いてくる同一人物の移動軌跡）を示しているが、実際には、人物ａ１〜ａ６は複数の撮影画像（例えば、動画を構成する複数のフレーム）にそれぞれ存在する（後述する図７（Ａ）及び図８（Ａ）、（Ｂ）中の人物についても同様。）。

再び図５を参照して、絞り込み部２６は、類似度算出部２４から取得した類似度に基づき複数のカメラ内追尾情報の絞り込みを行う（ＳＴ２０２）。ＳＴ２０２では、図７（Ａ）に示す撮影画像３０中の人物ｂ１〜ｂ４について、類似度算出部２４によって相互の類似度が算出される。図７（Ａ）では、撮影画像３０中の複数の人物は円（略頭部に相当）と楕円（略胴部及び脚部に相当）とにより簡略化して示されている（後述する図８についても同様。）。図７（Ｂ）は相互の類似度をまとめた表であり、この表では、例えば、人物ｂ２、ｂ３及びｂ４（横のマス）の各々に対する人物ｂ１（縦のマス）の類似度は、それぞれ７６、７２、７１であり、それらの類似度の総計は２１９である。各数値の大きさは、類似性の高さを示している。同様に、人物ｂ２、ｂ３及びｂ４（縦のマス）の類似度の総計は、それぞれ２５４、２４７及び２４８である。

図７（Ｂ）に示した人物ｂ１〜ｂ４の類似度の差異は、オクルージョンの発生や人物の誤検出等に起因するものである。絞り込み部２６は、ＳＴ２０２の処理に用いる評価値として図７（Ｂ）に示した類似度の総計を用いる。そして、絞り込み部２６は、その類似度の総計が最も小さい人物ｂ１に関するカメラ内追尾情報を排除し、カメラ内追尾情報を人物ｂ２〜ｂ４に関するものに絞り込む。

なお、図７（Ａ）における撮影画像３０中には、人物ｂ１〜ｂ４以外の複数の人物（移動軌跡）が存在するが、ここでは、説明の便宜上、人物ｂ１〜ｂ４について類似度を評価している。また、ここでは、評価値（類似度の総計）が最も小さい人物ｂ１について排除する構成としたが、例えば、評価値について所定の閾値を設定し、その閾値に満たない人物に関するカメラ内追尾情報の全てを排除する構成も可能である。或いは、最も評価値の高い１つの人物（ここでは、人物ｂ２）に関するカメラ内追尾情報をカメラ間追尾情報として抽出（他は全て排除）してもよい。また、ＳＴ２０２は、上記ＳＴ２０１の絞り込み処理とは独立して実施されるが、ＳＴ２０１で絞り込まれた人物（例えば、図６中の人物ａ４〜ａ６）について、ＳＴ２０２の処理を実行することもできる。その場合、ＳＴ２０１とＳＴ２０２の処理順序は変更可能である。

再び図５を参照して、絞り込み部２６は、移動方向算出部２５から取得した移動方向ベクトルに基づき複数のカメラ内追尾情報の絞り込みを行う（ＳＴ２０３）。このＳＴ２０３の絞り込み処理では、図８（Ａ）に示すように、第１カメラ２ａの撮影画像３０ａについて、人物ｃ１〜ｃ７の移動方向ベクトルｖｃ１〜ｖｃ７が取得され、また、第２カメラ２ｂの撮影画像３０ａについて、人物ｄ１〜ｄ５の移動方向ベクトルｖｄ１〜ｖｄ５が取得される。これら移動方向ベクトルｖｃ１〜ｖｃ７および移動方向ベクトルｖｄ１〜ｖｄ５は、撮影時刻が前後する（すなわち、移動軌跡において時間的に前後する）人物の特定部位（ここでは、頭頂部）の座標に基づき算出される。

絞り込み部２６は、第１カメラ２ａの撮影画像における移動方向ベクトルｖｃ１〜ｖｃ７の角度を第２カメラ２ｂの撮影画像における移動方向ベクトルｖｄ１〜ｖｄ５の角度とそれぞれ比較し、それらの一致度が最も高い（相互になす角度が最も小さい）移動方向ベクトルを有する人物（ここでは、人物ｃ４および人物ｄ３）に関するカメラ内追尾情報をカメラ間追尾情報のペア（すなわち、カメラ間での追尾処理の対象）として選択する。

なお、図８（Ａ）、（Ｂ）において、斜線で塗られた撮影画像３０ａ、３０ｂの周縁部４１ａ、４１ｂ（すなわち、カメラの撮影範囲の周縁部）では、被写体に歪みが生じるなどして画像の信頼性が低下するため、それら周縁部４１ａ、４１ｂに位置する人物ｃ１、ｃ８及び人物ｄ１、ｄ６については、予め選択対象から除外することが好ましい。また、絞り込み部２６は、移動方向ベクトルの大きさを判定し、ベクトルの大きさが所定の閾値以下のものについてＳＴ２０３での処理対象から除外することが好ましい。これにより、人物が低速で移動する場合や静止している場合に、移動ベクトルの角度の信頼性が低下することを回避できる。

また、ＳＴ２０３は、上記ＳＴ２０１、ＳＴ２０２の絞り込み処理とは独立して実施されるが、ＳＴ２０１、ＳＴ２０２の少なくとも一方で絞り込まれた人物画像について、ＳＴ２０３の処理を実行することもできる。その場合、ＳＴ２０１〜ＳＴ２０３の処理順序は変更可能である。

図５ではフローとして示したが、カメラ内追尾情報の絞り込み処理では、上述のＳＴ２０１〜ＳＴ２０３の全てが必ずしも実行される必要はない。絞り込み処理では、ＳＴ２０１〜ＳＴ２０３の少なくとも１つまたは２以上の処理の組み合わせにより、カメラ間追尾情報が抽出される。

再び図４を参照して、対応付け処理部２７は、設定データに基づき選択された動作モードを確認し（ＳＴ１０３）、高精度モードが選択されている場合（Ｙｅｓ）、ＳＴ１０２で抽出されたカメラ間追尾情報に基づき、各カメラ２間で人物の対応付けを行う（ＳＴ１０４）。本実施形態では、各カメラ２について１つのカメラ間追尾情報が抽出される（すなわち、複数のカメラ内追尾情報は１つを残して排除される）が、各カメラ２から２以上のカメラ間追尾情報が抽出される構成も可能である。

一方、対応付け処理部２７は、高速モードが選択されている場合（ＳＴ１０３：Ｎｏ）、ＳＴ１０２で処理される前の複数のカメラ内追尾情報に基づき各カメラ２間で人物の対応付けを行う（ＳＴ１０５）。この場合、複数のカメラ内追尾情報から適当に選択された１つのカメラ内追尾情報に基づき各カメラ２間での人物の対応付けが行われる。例えば、対応付け処理部２７は、各カメラ２の撮影画像から検出された所定の人物の撮影時刻に基づき、１つのカメラ内追尾情報（例えば、撮影時刻が最も早い或いは最も遅いもの）を選択することができる。

次に、追尾結果提示部２８は、ＳＴ１０４またはＳＴ１０５での対応付け処理の結果をユーザに対して提示する（ＳＴ１０６）。ＳＴ１０６では、図９に示すように、２つのカメラ間において対応付けられた一対のカメラ内追尾情報における人物画像ｅ１、ｅ２が画面に表示される。ユーザは、人物画像ｅ１、ｅ２について同一の人物のものであるか否かを目視確認し、同一の人物のものであると判定した場合には「Ｙｅｓ」ボタン４５を押下して対応付けを承認する一方、同一の人物でないと判定した場合には「Ｎｏ」ボタン４６を押下して対応付けを拒否することができる。また、「Ｎｏ」ボタン４６が押下されたとき、対応付け不可として終了してもよいが、好ましくは、対応付け候補となる複数の人物画像を表示させ、その中からユーザが最も適した人物画像を選択して対応付け処理の結果を確定させるとよい。このＳＴ１０６の処理は、各カメラの１つのカメラ内追尾情報を相互に対応付けるだけでなく、各カメラの複数のカメラ内追尾情報を相互に対応づけるように実行されてもよい。また、ＳＴ１０４およびＳＴ１０５の処理は、他の異なるカメラ間においても同様に実行される。

図１０は追尾処理装置における無効領域設定の変形例を示す説明図である。図３（Ｂ）に示した上述の例では、ユーザによって無効領域３１が設定されたが、追尾処理装置４は、過去の追尾処理結果から無効領域（またはその候補領域）を設定することができる。

追尾処理装置４は、無効領域を設定するために、過去の絞り込み処理の結果を記憶部２１に順次記憶しておく。つまり、記憶部２１には、各カメラ２に関し、図５のＳＴ２０１〜ＳＴ２０３（またはそれらの少なくとも１つ）によって過去に排除されたカメラ内追尾情報について人物領域の座標情報等のデータが蓄積されている。無効領域設定部３５は、図１０に示すように、過去の絞り込み処理の結果に基づき、撮影画像３０において排除されたカメラ内追尾情報における人物（図１０中の人物ｆ１〜ｆ６）の出現頻度が高い領域を囲む矩形領域を無効領域５１、５２として設定することができる。この場合、排除されたカメラ内追尾情報の撮影時刻を考慮する（すなわち、同じ時間帯に撮影された人物に関する絞り込み処理の結果のみを参照する）ことにより、無効領域５１、５２の推定精度がより高まる。これら無効領域５１、５２についても、ユーザは、上述の図３（Ｂ）に示した無効領域３１と同様に再設定することが可能である。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本発明に係る追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本発明に係る追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法は、複数のカメラによる撮影画像を用いて移動物体を追尾する場合に、当該カメラ間での追尾処理の精度を向上させることを可能とし、複数のカメラによる撮影画像を用いて移動物体を追尾するための追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法などとして有用である。

１ 追尾処理システム
２ カメラ
３ カメラ内追尾処理装置
４ カメラ間追尾処理装置（追尾処理装置）
２１ 記憶部（記憶手段）
２２ 入力部
２３ 追尾条件設定部
２４ 類似度算出部（類似度算出手段）
２５ 移動方向算出部（移動方向算出手段）
２６ 絞り込み部（絞り込み手段）
２７ 対応付け処理部（対応付け処理手段）
２８ 追尾結果提示部（結果提示手段）
２９ 出力部
３０ 撮影画像
３１ 無効領域
３２ 無効領域設定部（無効領域設定手段）

Claims (10)

1. 複数のカメラによる撮影画像を用いて当該カメラ間で移動物体を追尾する追尾処理装置であって、
   前記各カメラに関し、前記撮影画像から取得された前記移動物体の画像情報を含む複数のカメラ内追尾情報を記憶する記憶手段と、
   前記複数のカメラ内追尾情報の絞り込みを行うことにより、前記複数のカメラ間での前記移動物体の追尾処理に用いるカメラ間追尾情報を抽出する絞り込み手段と、
   前記カメラ間追尾情報に基づき、前記複数のカメラ間で前記撮影画像における前記移動物体の対応付けを行う対応付け処理手段と
   を備えたことを特徴とする追尾処理装置。
2. 前記移動物体の画像情報について前記複数のカメラ内追尾情報の相互の類似度を算出する類似度算出手段を更に備え、
   前記絞り込み手段は、前記複数のカメラ内追尾情報のうち前記類似度が相対的に低いカメラ内追尾情報を排除することにより前記絞り込みを行うことを特徴とする請求項１に記載の追尾処理装置。
3. 前記各カメラに関し、前記撮影画像における無効領域を設定する無効領域設定手段を更に備え、
   前記絞り込み手段は、前記複数のカメラ内追尾情報のうち前記無効領域内に位置する前記移動物体に関するカメラ内追尾情報を排除することにより前記絞り込みを行うことを特徴とする請求項１または請求項２に記載の追尾処理装置。
4. 前記無効領域は、ユーザによって再設定可能であることを特徴とする請求項３に記載の追尾処理装置。
5. 前記無効領域設定手段は、前記絞り込み手段によって過去に排除された前記カメラ内追尾情報に関する前記移動物体の位置情報に基づき、前記無効領域を設定することを特徴とする請求項３または請求項４に記載の追尾処理装置。
6. 前記対応付け処理手段の処理に関し、処理精度を優先する第１動作モードと、処理速度を優先する第２動作モードとを選択する動作モード選択手段を更に備え、
   前記対応付け処理手段は、前記第１動作モードが選択された場合、前記カメラ間追尾情報に基づき前記移動物体の対応付けを行う一方、前記第２動作モードが選択された場合、前記カメラ内追尾情報に基づき前記移動物体の対応付けを行うことを特徴とする請求項１から請求項５のいずれかに記載の追尾処理装置。
7. 前記複数のカメラ内追尾情報における前記移動物体の位置情報に基づき、当該移動物体の移動方向ベクトルを算出する移動方向算出手段を更に備え、
   前記絞り込み手段は、前記複数のカメラ間での前記移動方向ベクトルの角度の一致度合いに基づき、前記カメラ間追尾情報を抽出することを特徴とする請求項１から請求項６のいずれかに記載の追尾処理装置。
8. 前記対応付け処理手段による前記移動物体の対応付け結果をユーザに提示すると共に、当該対応付け結果の適否をユーザに判定させる結果提示手段を更に備えたことを特徴とする請求項１から請求項７のいずれかに記載の追尾処理装置。
9. 請求項１から請求項８のいずれかに係る追尾処理装置と、前記複数のカメラと、前記カメラ内追尾情報を生成するカメラ内追尾装置とを備えた追尾処理システム。
10. 複数のカメラによる撮影画像を用いて当該カメラ間で移動物体を追尾する追尾処理方法であって、
    前記各カメラに関し、前記撮影画像から取得された前記移動物体の画像情報を含む複数のカメラ内追尾情報を取得する追尾情報取得ステップと、
    前記複数のカメラ内追尾情報の絞り込みを行うことにより、前記複数のカメラ間での前記移動物体の追尾処理に用いるカメラ間追尾情報を抽出する追尾情報絞り込みステップと、
    前記カメラ間追尾情報に基づき、前記複数のカメラ間で前記撮影画像における前記移動物体の対応付けを行う対応付け処理ステップと
    を有することを特徴とする追尾処理方法。

Images