JPH11284989A - 移動物体の自動捜索追尾装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮像した画像データを処理して、目標として
の移動物体を追尾する場合、背景ノイズによる影響を低
減すると共に、高速で移動する目標を少ない演算量で追
尾できる自動捜索追尾装置を提供することである。 【解決手段】 目標を捜索、追尾するモードとは別に、
捜索前背景作成モードを設定しておき、この捜索前背景
作成モードにおいて、背景に関するデータを撮像範囲全
体に亙って、抽出しておき、データベースに格納してお
く。捜索追尾モードでは、撮像された画像データと、デ
ータベースに格納されている背景に関するデータとを照
合し、撮像された画像データの背景ノイズをマスクし
て、目標の画像データを容易に得ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、目標物体としての
移動物体を撮像しながら、自動的に捜索し、且つ、追尾
する自動捜索追尾装置に関する。

【０００２】

【従来の技術】一般に、この種の自動捜索追尾装置は、
大空を飛んでいる飛行機等の移動物体を地上において、
捜索並びに追尾するために使用されており、通常、自動
捜索追尾装置では、赤外線カメラやＴＶカメラ等により
撮像された画像を処理することによって得られた画像デ
ータから、移動物体のデータを背景となる背景データか
ら識別分離することが必要である。従来、撮像装置によ
り撮像された画像から得られた画像データから目標とな
る移動物体の画像データ（移動物体データと呼ぶ）を背
景画像データから、分離抽出するために、２次元ヒスト
グラム抽出法と呼ばれる手法が採用されている。

【０００３】この手法は、画像を２種類のフィルター
（エッジ成分を強調するソーベルフィルターと輝度変化
成分を取り出すディトレンディングフィルター）により
処理した一連の画像データを用いて、２次元のヒストグ
ラムを作成し、次に、２次元ヒストグラムデータから目
標の画素と背景の画素に重み付けすることによって得ら
れた２値データからなる２次元ルックアップテーブルを
作成し、更に、このテーブルを用いて、目標の画素を抽
出する手法である。

【０００４】この２次元ヒストグラム抽出法は、画像中
のエッジ及び輝度成分の存在確率が低い画素を目標候補
として抽出する方法であり、背景が一様な空等の場合に
は、抽出能力が高い。

【０００５】しかし、屋外環境に存在する地上の構造
物、樹木等の背景は、その境界付近にエッジ及び輝度成
分の存在確率の低い画素を多く含んでおり、その画素を
多数誤抽出してしまう。更に、地上の構造物、樹木等は
目標と同じエッジ及び輝度成分を含んでいることが多
く、存在確率が低くならず、目標を抽出できないことも
ある。

【０００６】一方、特開平２−２７４１７９号公報（以
下、引用例と呼ぶ）には、目標となる移動物体の追尾を
安定に行うことができる自動捜索追尾装置が記載されて
いる。当該引用例に記載された自動追尾装置では、移動
物体を含む１フレームにおける画像データから、複数階
調の多値画像を得、これによって、目標となる移動物体
が階調的に強調された変換画像が作成されている。ま
た、２値画処理によって判別した移動物体像を含む対象
物領域を背景値に置き換えた背景モデルを形成し、この
背景モデルを変換画像から差し引くことによって、移動
物体のデータが抽出されている。この構成では、背景中
に存在する画素の輝度に影響を受けることなく、確実に
移動物体を追尾することができる。

【０００７】

【発明が解決しようとする課題】この種、自動捜索追尾
装置では、高速で移動する移動物体をも追尾できるもの
でなければならない。このため、引用例では、フレーム
間の画像データの差分をも抽出して、移動物体の移動領
域をも予測する演算をも行う必要がある。

【０００８】いずれにしても、引用例に示された自動捜
索追尾装置は、各フレーム毎に、２値画像処理、階調処
理、減算処理、並びに、隣接フレーム間の処理等を実時
間的に行うと共に、撮像装置を移動物体を追尾するよう
に、駆動制御する必要がある。

【０００９】しかしながら、このように、大量の演算処
理を高速で行うと共に、撮像装置を制御する自動捜索追
尾装置は、高速で移動する移動物体を追尾出来ないこと
があった。

【００１０】本発明の目的は、高速で移動する移動物体
をも追尾できる自動捜索追尾装置を提供することであ
る。

【００１１】本発明の他の目的は、背景処理に必要な処
理量を低減することによって、追尾に必要な演算量を低
減できる自動捜索追尾装置を提供することである。

【００１２】

【課題を解決するための手段】本発明によれば、移動物
体を予め定められた撮像範囲内で追尾する移動物体の自
動捜索追尾装置において、前記移動物体を除く、予め定
められた範囲内における背景画像を予め撮像しておき、
当該背景画像に関する背景画像データを格納したデータ
ベースと、前記移動物体の捜索及び追尾の際、前記予め
定められた撮像範囲内における捜索及び追尾時における
現画像データと、前記データベース内に格納された背景
画像データとを使用して、前記移動物体の捜索及び追尾
を行う処理手段を有していることを特徴とする移動物体
の自動捜索追尾装置が得られる。上記した前記処理手段
は、前記現画像データを前記データベースからの前記背
景画像データによってマスクし、前記移動物体に関する
移動物体データを抽出する手段を備え、且つ、前記移動
物体データから、背景領域を処理する背景領域処理手段
を備えている。

【００１３】尚、前記背景領域処理手段は、前記移動物
体データから前記移動物体の背景領域を識別する背景領
域識別処理部と、前記識別された背景領域から追尾する
領域を決定する手段とを備えている。

【００１４】

【発明の実施の形態】図１を参照して、本発明の一実施
の形態に係る自動捜索追尾装置を説明する。図示された
自動捜索追尾装置は、従来の自動捜索追尾装置と異な
り、後述するように、捜索前背景作成モード、捜索モー
ド、及び、追尾モードの３つのモードで、順次、動作す
る。

【００１５】また、図示された自動捜索追尾装置は、従
来の自動捜索追尾装置と同様に、赤外線カメラ、ＴＶカ
メラ等の撮像装置１、当該撮像装置１を撮像したい方位
へ駆動するためのカメラ駆動台２とを備え、当該カメラ
駆動台２は、駆動台制御装置３７の制御によって、旋回
及び俯行する。即ち、カメラ駆動台２は、旋回及び俯行
の２軸の自由度を有していることを意味している。ま
た、駆動台制御装置３７は、捜索前背景作成モード及び
捜索モードにおいて、捜索する範囲をもれなく撮像でき
るように、方位指令値（スキャンパターン）を発生し、
カメラ駆動台２の方位制御を行う。また、追尾モードで
は、追尾すべき目標が撮像装置１の視野から外れないよ
うに、カメラ駆動台２の方位制御を行う。

【００１６】更に、図示された自動捜索追尾装置には、
目標抽出処理装置１００、目標識別処理装置２５、及び
目標追尾処理装置２７が備えられている。このうち、目
標抽出処理装置１００は、撮像した画像データから、２
次元ヒストグラム抽出法で目標候補の領域を抽出（２値
化）し、孤立点ノイズを除去する縮小及び拡大処理を経
てラベル画像を作成し、出力する。ここで、２次元ヒス
トグラム抽出法は、２次元ヒストグラムの度数（画素
数）が０でなく、且つ、スレショルド画素数（判定画素
数）以下の画素を目標候補として抽出し、スレショルド
を超える画素は、目標候補ではないと判定し第１段階目
標候補情報を出力する。このことは、２次元ヒストグラ
ムの度数を画像全体の画素数で割ったものが画像中のエ
ッジ及び輝度成分の存在確率を示し、スレショルド度数
を画像全体の画素数で割った値が存在確率の判定値とな
ることを示しており、更に、画像全体の画素数は一定で
あるため、その存在確率と画素数は等価であり、処理を
高速にするために、画素数による判定を行うことが一般
的である。

【００１７】図示された目標抽出装置１００には、上記
した動作を行うために、撮像装置１で撮像された画像を
あらわす映像信号３が与えられ、第１段階目標候補情報
２４を出力する。具体的に言えば、目標抽出処理装置１
００は、映像信号３のエッジ成分を強調するソーベルフ
ィルター４、映像信号の輝度成分を取り出すディトレン
ディングフィルター５、これらソーベルフィルター３及
びディトレンディングフィルター５の出力を格納する画
像メモリ９、２次元ヒストグラム作成器１０、２次元ル
ックアップテーブルデータ作成器１２、２次元ルックア
ップテーブル変換器１５、縮小処理部１９、拡大処理部
２１、及び、ラベル画像作成器２３とを備え、これら
は、従来の目標抽出処理装置で使用されているものと同
様である。図示された目標抽出処理装置１００は、２つ
のフィルター４及び５と、２次元ヒストグラム作成器１
０との間に、第１の背景ノイズマスク器８を備えると共
に、２次元ルックアップテーブル変換器１５と、縮小処
理部１９との間に、第２の背景ノイズマスク器１７を備
えている点で、従来の目標抽出処理装置と異なってい
る。ここで、第１の背景ノイズマスク器８及び第２の背
景ノイズマスク器１７はそれぞれ前段及び後段背景ノイ
ズマスク器と呼ばれても良い。これらの動作について、
後述する。

【００１８】また、目標識別処理装置２５は、目標抽出
処理装置１００により作成されたラベル画像、即ち、第
１段階目標候補情報２４を元に、それぞれの領域の幾何
学的特徴量（面積、縦横比、占有率、形状の複雑さ等）
を計測し、幾何学的特徴量の目標らしさを評価し、ある
評価値以上の目標候補についての幾何学的特徴量の目標
らしさを評価値を付加して第２段階目標候補情報２６と
して出力する。

【００１９】第２段階目標候補情報を受けて動作する目
標追尾処理装置２７は、目標識別処理装置２５で絞り込
んだ目標候補と、それ以前にサンプルした目標候補との
移動量や見かけの大きさ、形状変化をもとに対応づけを
行った最終段階目標候補情報２８を出力する。図示され
た目標追尾処理装置２７は、一般に、マルチターゲット
トラッキングアルゴリズムと呼ばれるアルゴリズムにし
たがって動作し、通常、カルマンフィルター等を含んで
いる。また、当該目標追尾処理装置２７は追尾目標情報
２９をも出力する。

【００２０】目標追尾処理装置２７に接続された追尾候
補表示装置３５は、オペレータが追尾目標を選択するた
めの情報を表示する装置であり、撮像した画像と、目標
候補との対応がわかるように、表示する。

【００２１】追尾目標指示装置３６は、オペレータが本
装置に自動追尾させたい目標候補を指示する入力装置で
ある。

【００２２】図示された目標識別処理装置２５、目標追
尾処理装置２７、追尾候補表示装置３５、及び、追尾目
標指示装置３６は、従来使用されているものと同様な装
置を使用できる。

【００２３】更に、図１に示された自動捜索追尾装置
は、上記した装置のほか、背景領域識別装置３０、背景
追尾処理装置３１、背景ノイズデータベース３２、及
び、背景ノイズ領域作成器３３を有している。このこと
から、本発明において、特徴となる部分は、背景ノイズ
マスク処理器８、１７、背景領域識別装置３０、背景追
尾処理装置３１、背景ノイズデータベース３２、及び、
背景ノイズ領域作成器３３であることが、容易に理解で
きる。

【００２４】このうち、第１の背景ノイズマスク処理器
８は、目標抽出処理装置１００内の２次元ヒストグラム
作成器１０の前段に接続されており、第２の背景ノイズ
マスク処理器１７は、２次元ルックアップテーブルの後
段に配置されている。これら第１及び第２の背景ノイズ
マスク処理器８及び１７は、捜索モード及び追尾モード
では、背景ノイズ領域作成器３３で作成した背景ノイズ
領域をマスク処理して、処理の対象外とするマスク処理
をし、他方、捜索前背景作成モードでは、マスク処理は
行わない。より具体的に述べると、第１の背景ノイズマ
スク処理器８には、ソーベルフィルター画像及びディト
レンディングフィルター画像が与えられると共に、背景
ノイズ領域作成器３３から背景ノイズ領域画像データ３
４が与えられている。

【００２５】第１の背景ノイズマスク処理器８では、捜
索モード及び追尾モードにおいて、各ソーベルフィルタ
ー画像及びディトレンディングフィルター画像を背景ノ
イズ領域画像データ３４によりマスクして、マスクの結
果をあらわす出力信号６‘及び７’を２次元ヒストグラ
ム作成器１０に送出する。このため、２次元ヒストグラ
ム作成器１０では、これらマスクされた信号６‘、７’
の２次元ヒストグラムを作成し、２次元ヒストグラムデ
ータ１１として２次元ルックアップテーブルデータ作成
器１２に出力する。

【００２６】２次元ルックアップテーブルデータ作成器
１２では、スレッショルド値１３と２次元ヒストグラム
データ１１とを比較して、２次元ルックアップテーブル
データ１４を２次元ルックアップテーブル変換器１５に
出力する。当該２次元ルックアップテーブル変換器１５
には、画像メモリ９に格納されたソーベルフィルター画
像６“及びディトレンディングフィルター画像７”が与
えられており、これらの画像が、２次元ルックアップテ
ーブルデータ１４にしたがって変換され、変換された２
値画像１６が第２の背景ノイズマスク処理器１７に出力
される。第２の背景ノイズマスク処理器１７は、背景ノ
イズ領域作成器３３ からの背景ノイズ領域画像データ
３４にしたがって、再度、変換された２値画像１６をマ
スクして、その結果を処理後の画像データ１８として、
縮小部１９に送出する。以後、拡大部２１、ラベル画像
作成器２３の処理により、第１段階目標候補情報２４が
得られることは、従来の場合と同様である。

【００２７】第１段階目標候補情報２４を受けて、捜索
モード及び追尾モードにおいて動作状態におかれる背景
ノイズ領域作成器３３は、第１及び第２の背景ノイズマ
スク処理器８、１７でマスクする領域を指定する背景ノ
イズ領域画像データを、背景ノイズ領域データベース３
３からの背景ノイズデータ、撮像装置１からの方位と視
野角をもとに生成する。

【００２８】背景ノイズデータベース３２は、背景ノイ
ズの領域を登録しておくデータベースであり、背景ノイ
ズの存在する空間上の中心方位及び背景ノイズの占める
角度（俯角、旋回角）を格納しておく。これら背景ノイ
ズに関するデータは、捜索前背景作成モードにおいて、
作成され、追尾モード時において使用される。このよう
に、本発明に係る自動捜索追尾装置は、背景ノイズに関
するデータを捜索前背景作成モードにおいて、予め作成
しておくことを特徴としている。

【００２９】背景領域識別処理装置３０は、捜索前背景
作成モードにおいて、初期の背景ノイズ領域を作成する
ため抽出した領域をすべて背景ノイズ領域と判定する。
追尾モードでは、ラベリング画像のうち目標追尾処理器
２７で追尾対象にならなかった領域を背景ノイズ領域と
判定する。尚、ラベリング画像は抽出した画像を領域ご
とに番号付けした画像のことを言う。

【００３０】背景領域追尾処理装置３１は、新たに識別
した背景ノイズ領域について背景ノイズデータベース３
２と対応づけを行い、対応づけたものは背景ノイズデー
タベース３２の情報を更新し、対応づけできなかったも
のは新規に背景ノイズ領域として、背景ノイズデータベ
ース３２に情報を追加する。

【００３１】図示された本発明に係る自動捜索追尾装置
は、捜索前背景作成モード、捜索モード、及び、追尾モ
ードの順に動作していく。

【００３２】まず、捜索前背景作成モードにおける動作
を説明する。

【００３３】このモードは、初期の背景ノイズデータベ
ース３２を作成するモードであり、捜索する範囲を予め
スキャンする。背景領域識別処理装置３０は、目標抽出
処理装置１００で抽出した領域の全てを背景ノイズ領域
と判定し、背景領域追尾処理装置３１において、背景ノ
イズデータベース３２と対応づけを行い、背景ノイズデ
ータベース３２の更新を行う。背景ノイズデータベース
３２に登録される領域は、地上の構造物、樹木等の部分
になる。また、目標抽出処理装置１００の判定基準であ
るスレショルドは捜索モード及び追尾モード時より、や
や大きな値を設定しておき、抽出領域を多めに抽出させ
背景ノイズ領域を多めに、背景ノイズデータベース３２
に登録することで、捜索モード及び追尾モード時との撮
像条件の変化による抽出状態変化への許容範囲を持たせ
ることができる。尚、このモードでは、背景ノイズマス
ク処理器８、１７はマスク処理を行わず、また、背景ノ
イズ領域作成器３３も動作させない。

【００３４】次に、捜索モードにおける動作を説明す
る。

【００３５】捜索前背景作成モードにおいて、初期の背
景ノイズデータベース３２を作成した後、捜索モードに
遷移する。このモードでは、捜索前背景作成モードで作
成した背景ノイズデータベース情報と、撮像装置の方位
及び視野角から撮像した画像にあわせた背景ノイズ画像
を背景ノイズ領域作成器３３で生成し、目標抽出処理装
置内の第１及び第２の背景ノイズマスク処理器８、１７
で処理対象外としてマスク処理する。

【００３６】ここで、第１の背景ノイズマスク処理器８
は、地上の構造物、樹木等の目標と同じエッジ及び輝度
成分を含んでいる画素を２次元ヒストグラムの生成領域
から除外することができ、２次元ヒストグラム抽出法で
目標が抽出できないケースを少なくできる。一方、第２
の背景ノイズマスク処理器１７は、２次元ヒストグラム
抽出法で抽出された領域のうち背景ノイズデータベース
登録された領域を取り除き、２次元ヒストグラム抽出法
で誤抽出しやすい領域を取り除くことができ、信頼度の
高い目標候補情報を目標識別処理装置２５へ渡すことが
できる。

【００３７】追尾モードへ移行する方式として、本装置
が自動的に判定し、追尾モードに移行する自動追尾方式
と、追尾候補表示装置３５に本装置が抽出した追尾目標
候補の情報を表示してオペレータが判定及び指示を行っ
て追尾モードに移行するオペレータ指示方式が構成でき
る。

【００３８】自動追尾方式では、遷移目標識別処理装置
２５及び目標追尾処理装置２７にて、最も目標らしいと
評価したものを、追尾目標として追尾モードに移行する
方式であり、第１段階目標候補情報が誤った目標候補
（背景ノイズ領域）の数が少なく、且つ、追尾すべき目
標が除外される確率が少ない、つまり、信頼度の高い情
報であるので、追尾に移行する目標候補の信頼度は高く
なる。

【００３９】オペレータ指示方式では、追尾候補表示装
置３５に複数の目標候補情報と撮像画像を表示し、オペ
レータが追尾すべき目標の選択し、指示を目標追尾処理
装置２７に対して行う。目標候補情報は、誤った目標候
補（背景ノイズ領域）の数が少なく且つ追尾すべき目標
が除外される確率が少ない、つまり、信頼度の高い情報
が、オペレータ提供できる。

【００４０】尚、捜索モードでは、目標領域を誤って背
景ノイズ領域として登録しないように、背景領域識別処
理及び装置背景領域追尾処理装置３０、３１は動作させ
ず、背景ノイズデータベースの更新も行わない。

【００４１】更に、追尾モードにおける動作を説明す
る。

【００４２】捜索モードにおいて、追尾すべき目標が決
定されると、追尾モードに遷移する。このモードでは、
第１及び第２の背景ノイズマスク処理器８、１７を含む
目標抽出処理装置１００、背景ノイズ領域作成器３３、
及び、目標識別処理装置２５は、捜索モードと同じ動作
をする。同様に、２次元ヒストグラム抽出法で目標が抽
出できないケースを少なくして誤抽出しやすい領域を取
り除いた信頼度の高い目標候補情報が得られたことにな
り、追尾目標が消失したり、背景ノイズ等への誤った追
尾の確率が減る。

【００４３】目標追尾処理装置２７は指示された目標に
ついて対応づけを行い、最新の追尾目標情報を出力す
る。カメラ駆動台２の方位制御は追尾目標情報を用い
て、追尾目標が撮像装置１の視野から外れないように方
位制御を行う。

【００４４】背景領域識別処理装置３０は、第１段階目
標候補情報から追尾目標でないと判定した領域を取り除
き、背景領域追尾処理装置３１において、背景ノイズデ
ータベースと対応づけを行い、背景ノイズデータベース
の更新を行う。これにより、追尾を継続したとき予め捜
索前背景作成モードで作成した範囲の外へ追尾が進行し
たときに、背景ノイズによる誤追尾を減らすことができ
る。

【００４５】

【発明の効果】以上述べたように、本発明では、背景ノ
イズに関するデータを追尾モードにおいて、実時間的に
抽出するのではなく、捜索前に予め作成しておくことに
より、追尾の際、背景ノイズに関するデータを作成する
必要がないから、高速で移動する目標物体を少ない演算
量で追尾できると言う効果がある。また、２つの背景ノ
イズマスク処理器を使用して、により、画像データをマ
スクしているため、信頼度の高い目標候補情報が得られ
ると言う効果もある。いずれにしても、本発明によれ
ば、背景ノイズによる誤りを低減できる自動捜索追尾装
置が得られる。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る自動捜索追尾装置
を示すブロック図である。

【符号の説明】

１ 撮像装置 ２ カメラ駆動台 ３７ 駆動台制御装置 １００ 目標抽出処理装置 ８、１７ 第１及び第２の背景ノイズマスク
器 ３０ 背景領域識別処理装置 ３１ 背景領域追尾処理装置 ３２ 背景ノイズデータベース ３３ 背景ノイズ作成器

Claims (4)

【特許請求の範囲】
1. 【請求項１】 移動物体を予め定められた撮像範囲内で
   追尾する移動物体の自動捜索追尾装置において、前記移
   動物体を除く、予め定められた範囲内における背景画像
   を予め撮像しておき、当該背景画像に関する背景画像デ
   ータを格納したデータベースと、前記移動物体の捜索及
   び追尾の際、前記予め定められた撮像範囲内における捜
   索及び追尾時における現画像データと、前記データベー
   ス内に格納された背景画像データとを使用して、前記移
   動物体の捜索及び追尾を行う処理手段を有していること
   を特徴とする移動物体の自動捜索追尾装置。
2. 【請求項２】 請求項１において、前記処理手段は、前
   記現画像データを前記データベースからの前記背景画像
   データによってマスクし、前記移動物体に関する移動物
   体データを抽出する手段を備えていることを特徴とする
   移動物体の自動捜索追尾装置。
3. 【請求項３】 請求項２において、前記処理手段は、前
   記移動物体データから、背景領域を処理する背景領域処
   理手段を備えていることを特徴とする移動物体の自動捜
   索追尾装置。
4. 【請求項４】 請求項３において、前記背景領域処理手
   段は、前記移動物体データから前記移動物体の背景領域
   を識別する背景領域識別処理部と、前記識別された背景
   領域から追尾する領域を決定する手段とを備えているこ
   とを特徴とする移動物体の自動捜索追尾装置。