JP2000276596A - 自動追尾装置 - Google Patents

Abstract

(57)【要約】 【課題】 追尾対象物の形を限定することなく精度のよ
い追尾を行うことができる自動追尾装置を提供する。 【解決手段】 テンプレート更新判断回路１９は、追尾
座標信号１７および前フレームのテンプレート座標信号
２３を入力し、フレーム間の位置関係の変化にもとづい
てテンプレートの更新判断を行う。テンプレートの更新
判断結果として、テンプレートを別のものに切り替え
る、テンプレートサイズを変更する、テンプレートを更
新する、そのまま更新しない、というようなものがあ
る。テンプレート更新回路２２は、テンプレート更新判
断回路１９からの更新判断結果信号２０に応じてテンプ
レートの更新を実行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、相対的に移動する
対象物を追尾するために使用され、例えば飛行体等に搭
載され飛行体が地表面等に着地する際に用いられる自動
追尾装置に関する。

【０００２】

【従来の技術】無人探査機が小惑星等の未知天体表面に
着陸するには、天体表面と探査機との相対速度を検知
し、それを打ち消すように着陸動作を制御する必要があ
る。天体表面と探査機との相対速度を知るには、クレー
タ等の地表の特徴となる領域を自動的に見つけ出し、そ
れを精度良く追尾する自動追尾装置が必要となる。

【０００３】従来の追尾装置として、例えば特開平７−
３３４６８２号公報に、追尾対象物に対するテンプレー
ト画像の位置補正を行うことによって、累積する追尾誤
差をなくす装置が記載されている。図１９は、そのよう
な自動追尾装置の一例を示すブロック図である。

【０００４】図１９に示す自動追尾装置において、追尾
対象物が撮像装置６８で撮像され、画像（アナログビデ
オ信号）６９がＡ−Ｄ変換器７０に送られる。そして、
ディジタルビデオ信号７１が１画面毎にフレームメモリ
７２に記憶される。テンプレート設定回路７４は、フレ
ームメモリ７２から出力されたディジタル画像信号７３
からテンプレート画像の設定を行う。相関演算回路７６
は、テンプレート画像信号７５と次フレームのディジタ
ル画像データとの間で相関演算を行い、得られた相関画
像信号７７を最小値探索回路７８に出力する。

【０００５】最小値探索回路７８は、相関画像信号７７
における信号値の最小値を探索する。そして、最小値を
示す座標位置を追尾座標信号７９として出力する。直線
検出回路８２は、追尾座標信号７９をもとに追尾対象物
の輪郭を検出し、輪郭を表す四辺直線群パラメータ信号
８３を出力する。頂点検出回路８４は、輪郭を表す四辺
直線群パラメータ信号８３から追尾対象物の頂点座標を
検出し頂点座標信号８５をテンプレート更新回路８０に
送る。テンプレート更新回路８０は頂点座標をもとにテ
ンプレートの位置補正を行う。

【０００６】以上の処理が定期的に実行されることによ
って、設定されたテンプレート画像の位置が追尾対象物
からずれてしまったとしてもテンプレート画像の位置補
正が行われるので、追尾対象物に対する自動追尾を行う
ことが可能になる。

【０００７】

【発明が解決しようとする課題】しかし、上述した従来
の自動追尾装置は、直線検出回路８２および頂点検出回
路８４によってテンプレートの中心を多角形の頂点に移
動させることで、テンプレートの位置補正を行ってい
る。すると、追尾対象物が多角形に限定され、円や他の
複雑な形のものには適応できない。そのため、無人探査
機が未知天体に着陸する場合に、天体表面に多角形の地
表特徴点がないときには動作不能となる。

【０００８】また、テンプレート設定回路７４には、多
角形の頂点を自動で検出する機能が備えられていないの
で、第１フレームにおけるテンプレートを自動で設定で
きない。従って、無人探査機の場合には、遠隔手動操作
でテンプレートを設定する必要がある。すると、通信時
間の遅れによって、追尾対象物が画面外に消えている可
能性もある。

【０００９】本発明は、上記のような課題を解決するた
めになされたものであって、追尾対象物の形を限定する
ことなく精度のよい追尾を行うことができる自動追尾装
置を提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明は、撮像画像を利
用して対象物を追尾する自動追尾装置に関するものであ
り、特に形状が未知な対象物も追尾することができるよ
うに、追尾対象物の幾何学的特徴を利用することなく複
数の追尾対象物を自動に設定して追尾し、さらに、複数
ある追尾対象物の位置関係のフレーム間変化量をもとに
画像の動きを判断したテンプレート更新をすることによ
り、精度よく対象物を追尾するものである。

【００１１】請求項１記載の発明による自動追尾装置
は、撮像画像に複数のテンプレートを設定するテンプレ
ート生成手段と、各テンプレート中に設定された追尾座
標のフレーム間の位置関係の変化にもとづいてテンプレ
ートを更新するか否か判断するテンプレート更新判断手
段と、テンプレート更新判断手段の判断結果に応じて各
テンプレート画像を出力するテンプレート更新手段と、
各テンプレート画像と次フレームの撮像画像との間の相
関を演算する相関演算手段と、各テンプレートにおける
最大相関値を呈する座標を追尾座標信号として出力する
最大値検索手段とを備えた構成である。

【００１２】テンプレート生成手段は、撮像画像中の濃
淡変化が所定値を越えている部分を含む領域をテンプレ
ート候補として出力する特徴抽出回路と、特徴抽出回路
が出力した各領域のうち所定サイズ以下のものをテンプ
レートとする新規テンプレート生成回路とを含むように
構成されていてもよい。

【００１３】テンプレート更新判断手段は、テンプレー
ト更新手段から各テンプレートの座標を示すテンプレー
ト座標信号を入力するとともに、最大値検索手段から最
大相関値および追尾座標信号を入力し、テンプレート座
標信号、最大相関値および追尾座標信号を用いてテンプ
レートを更新するか、変形するか、または維持するか判
断するように構成されていてもよい。

【００１４】テンプレート更新判断手段は、追尾座標信
号から得られる各追尾対象の位置関係を算出するととも
にテンプレート座標信号から得られる各追尾対象の位置
関係を算出し、各算出結果にもとづいて現フレームと前
フレームとの間の各追尾対象の位置関係の変化量を演算
し、位置関係の変化量からテンプレートを更新するか、
拡大もしくは縮小するか、または維持するか判断するよ
うに構成されていてもよい。

【００１５】テンプレート更新手段は、テンプレート生
成手段から各テンプレートの座標を示す新規テンプレー
ト座標信号を入力するとともに、テンプレート更新判断
手段から追尾対象を含む領域を示す追尾領域座標信号、
更新判断結果信号およびテンプレートの拡大縮小率を示
す拡大率信号を入力し、更新判断結果信号が更新を示し
ていた場合には新規テンプレート座標信号に応じて新た
なテンプレート画像を生成し、更新判断結果信号が拡大
または縮小を示していた場合には拡大率に応じてテンプ
レート画像を拡大または縮小し、更新判断結果信号が更
新しないことを示していた場合には追尾領域座標信号に
応じたテンプレート画像を出力するように構成されてい
てもよい。

【００１６】自動追尾装置は、相関演算手段が正規化相
関処理を行うように構成されていてもよい。

【００１７】また、自動追尾装置は、撮像手段が出力す
る画像のコントラスト強調処理を行う前処理手段を備え
ていてもよい。

【００１８】自動追尾装置は、最大値検索手段からの追
尾座標信号を結果出力する結果出力回路を備えた構成で
あってもよいし、テンプレート更新手段から出力される
テンプレート座標信号とテンプレート更新判断手段から
出力される更新判断結果信号とを結果出力する結果出力
回路を備えた構成であってもよい。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は、本発明による自動追尾装
置の第１の実施の形態を示すブロック図である。図１に
おいて、追尾対象物が撮像装置１で撮像され、画像がＡ
−Ｄ変換器３に送られる。そして、ディジタルビデオ信
号４が１画面毎にフレームメモリ５に記憶される。

【００２０】前処理回路７は、フレームメモリ５からデ
ィジタル画像信号６を読み出して画像の状態を整える。
特徴抽出回路９は、前処理回路７から前処理画像信号を
入力し、追尾対象物を自動に設定するために、また、追
尾が外れた場合のテンプレート補充のために、画像中の
濃淡変化の激しい部分を追尾対象となる特徴点の候補と
し、画面上での候補の座標をラベルデータ信号１０とし
て、新規テンプレート生成回路１１へ出力する。

【００２１】新規テンプレート生成回路１１は、ラベル
データ信号１０を入力し、条件にあったサイズの特徴点
を大きい順に出力する。相関演算回路１３は、追尾を行
うために、テンプレート更新回路２２から出力されるテ
ンプレート画像信号２４と前処理画像信号８との間で相
関演算を行い、相関画像信号１４を最大値検索回路１５
に送る。最大値検索回路１５は、相関値の最大値を検索
し、最大相関値信号１６を結果出力回路２５に送る。

【００２２】さらに、追尾精度を上げるために、テンプ
レート更新判断回路１９は、追尾座標信号１７および前
フレームのテンプレート座標信号２３を入力し、フレー
ム間の位置関係の変化にもとづいてテンプレートの更新
判断を行う。テンプレートの更新判断結果として、テン
プレートを別のものに切り替える、テンプレートサイズ
を変更する、テンプレートを更新する、そのまま更新し
ない、というようなものがある。テンプレート更新回路
２２は、テンプレート更新判断回路１９からの更新判断
結果信号２０に応じてテンプレートの更新を実行する。

【００２３】より詳しく説明すると、撮像装置１が、追
尾対象物を含む外界画像を撮像し、画像（アナログビデ
オ信号）２をＡ−Ｄ変換器３に出力する。Ａ−Ｄ変換器
３は、アナログビデオ信号２をディジタルビデオ信号４
に変換しフレームメモリ５に出力する。フレームメモリ
５は、ディジタルビデオ信号４を１画面単位で記憶し、
ディジタル画像信号６として１画面単位で前処理回路７
に出力する。前処理回路７は、ディジタル画像信号６を
入力し、画像の状態を整えるために、コントラスト強調
やノイズ除去の処理を行う。そして、処理結果である前
処理画像信号８を、特徴抽出回路９、相関演算回路１３
およびテンプレート更新回路２２に出力する。

【００２４】特徴抽出回路９は、前処理画像信号８を入
力し、画像中で濃淡変化の激しい部分すなわちエッジ部
分を自動的に複数個探し、画面上での座標をラベルデー
タ信号１０として新規テンプレート生成回路１１に出力
する。新規テンプレート生成回路１１は、ラベルデータ
信号１０を入力し、適当な大きさのものだけを選択す
る。さらに、サイズ順に並べ替えて、それらの座標を新
規テンプレート座標信号１２としてテンプレート更新回
路２２に出力する。

【００２５】相関演算回路１３は、前処理回路７からの
前処理画像信号８と、テンプレート更新回路２２からの
テンプレート画像信号２４との相関演算を行い、得られ
た相関画像信号１４を最大値検索回路１５に出力する。
最大値検索回路１５は、相関画像信号１４における最大
値を求め、最大値を最大相関値信号１６としてテンプレ
ート更新判断回路１９に出力する。また、最大となった
ときの中心座標を追尾座標信号１７としてテンプレート
更新判断回路１９および結果出力回路２５に出力し、最
大となったときの外接座標を追尾領域座標信号１８とし
てテンプレート更新回路２２に出力する。

【００２６】テンプレート更新判断回路１９は、最大値
検索回路１５からの最大相関値信号１６および追尾座標
信号１７と、テンプレート更新回路２２からのテンプレ
ート座標信号２３とを入力し、テンプレートをどのよう
に更新するかの判断を行う。そして、更新判断結果信号
２０をテンプレート更新回路２２に出力する。

【００２７】テンプレート更新判断回路１９の機能は、
第１に、入力した最大相関値が小さい場合には、追尾の
信頼性が低いと判断して追尾対象を別の部分に切り替え
る決定すなわちテンプレートを切り替える決定をするこ
とである。第２に、追尾座標から得られる各追尾対象の
位置関係を算出するとともに、テンプレート座標から得
られる各追尾対象の位置関係を算出し、さらに、現フレ
ームと前フレームとの位置関係の変化量を演算し、位置
関係の変化量から、画像の拡大、回転、平行移動等を判
断し、テンプレートを拡大するか、拡大する場合はどの
程度の倍率で拡大するか、テンプレートを更新するかし
ないかを決定することである。これらの決定の結果を更
新判断結果信号２０として出力する。

【００２８】テンプレート更新回路２２は、前処理回路
７からの前処理画像信号８、新規テンプレート生成回路
１１からの新規テンプレート座標信号１２、最大値検索
回路１５からの追尾領域座標信号１８、テンプレート更
新判断回路１９からの更新判断結果信号２０、および拡
大率信号２１を入力する。そして、更新判断結果に従っ
たテンプレート更新処理を行い、テンプレート座標信号
２３およびテンプレート画像信号２４を出力する。

【００２９】テンプレート更新回路２２は、更新判断結
果がテンプレート切り替えの場合には、新規テンプレー
ト生成回路１１からの新規テンプレート座標をテンプレ
ート座標とし、その部分を前処理画像から切り出した画
像をテンプレート画像とする。また、更新判断結果がテ
ンプレート拡大の場合には、追尾座標を拡大したものを
テンプレート座標とし、その部分を前処理画像から切り
出した画像をテンプレート画像とする。更新判断結果が
テンプレート更新の場合には、追尾座標がテンプレート
座標となり、その部分を前処理画像から切り出した画像
をテンプレート画像とする。更新判断結果が未更新の場
合には、追尾座標がテンプレート座標となり、テンプレ
ート画像は前の画像を保持する。

【００３０】結果出力回路２５は、最大値検索回路１５
からの追尾座標信号１７を入力し、追尾結果を表示した
り、自動航法誘導制御装置に出力する。

【００３１】次に、前処理回路７の構成について説明す
る。図２は、この実施の形態における前処理回路７の構
成例を示すブロック図である。図２において、前処理回
路７は、ヒストグラム生成回路２６、コントラスト強調
回路２８および平滑化回路３０から構成される。

【００３２】ヒストグラム生成回路２６は、フレームメ
モリ５から供給されるディジタル画像信号６のヒストグ
ラムを作成し、ヒストグラムデータ信号２７をコントラ
スト強調回路２８に出力する。コントラスト強調回路２
８は、フレームメモリ５から供給されるディジタル画像
信号６と、ヒストグラム生成回路２６からのヒストグラ
ムデータ信号２７とを入力し、ヒストグラムの最小画素
値を０に、最大画素値を画像の最大階調に変換するよう
な画像のコントラスト変換処理を行い、変換後の画像を
強調画像信号２９として平滑化回路３０に出力する。平
滑化回路３０は、強調画像信号２９を入力し、ノイズ除
去のために周囲の画素の平均をとる平滑化を行って前処
理画像信号８を出力する。

【００３３】次に、特徴抽出回路９の詳細な構成につい
て説明する。図３は、この実施の形態における特徴抽出
回路９の構成例を示すブロック図である。図３におい
て、特徴抽出回路９は、エッジ成分抽出回路３１、ヒス
トグラム生成回路３３、しきい値設定回路３５、２値化
回路３７、ラベリング回路３９および計測回路４１から
構成される。

【００３４】エッジ成分抽出回路３１は、前処理回路７
から供給される前処理画像信号８を入力し、画像のエッ
ジ成分抽出処理を行い、エッジ画像信号３２を出力す
る。ヒストグラム生成回路３３は、エッジ成分抽出回路
３１からのエッジ画像信号３２のヒストグラムを生成
し、ヒストグラムデータ信号３４をしきい値設定回路３
５に出力する。しきい値設定回路３５は、ヒストグラム
生成回路３３からのヒストグラムデータ信号３４を入力
し、ヒストグラムの平均値を演算し、その結果を用いて
２値化のためのしきい値を設定する。そして、２値化し
きい値信号３６を２値化回路３７に出力する。

【００３５】２値化回路３７は、エッジ成分抽出回路３
１からのエッジ画像信号３２と、しきい値設定回路３５
からの２値化しきい値信号３６とを入力し、多値データ
であるエッジ画像を２値化しきい値により「０」，
「１」に分けた２値画像信号３８にしてラベリング回路
３９に出力する。ラベリング回路３９は、２値化回路３
７からの２値画像信号３８を入力してラベリング処理を
行い、ラベル画像信号４０を計測回路４１に出力する。
計測回路４１は、ラベリング回路３９からのラベル画像
信号４０を入力し、各ラベルの外接座標を演算し、ラベ
ル番号およびその外接座標をラベルデータ信号１０とし
て出力する。

【００３６】次に、新規テンプレート生成回路１１の詳
細な構成について説明する。図４は、この実施の形態に
おける新規テンプレート生成回路１１の構成例を示すブ
ロック図である。図４において、新規テンプレート生成
回路１１は、面積演算回路４２、セレクタ４４およびソ
ート回路４６から構成される。

【００３７】面積演算回路４２は、特徴抽出回路９から
供給されるラベルデータ信号１０を入力して各ラベルの
外接面積を演算し、ラベル番号およびその外接面積を面
積信号４３としてセレクタ４４に出力する。セレクタ４
４は、演算負荷軽減のために外接面積に上限値を設定
し、面積演算回路４２から入力される面積信号４３のう
ち、上限値より小さいもののみを選択面積信号４５とし
てソート回路４６に出力する。

【００３８】ソート回路４６は、特徴抽出回路９から供
給されるラベルデータ信号１０と、セレクタ４４からの
選択面積信号４５とを入力し、選択面積信号４５を面積
の大きい順に並べ替え、ラベルデータ信号１０を参照し
て並べ替えた後のラベル番号およびその外接座標を新規
テンプレート座標信号１２として出力する。

【００３９】次に、テンプレート更新判断回路１９の詳
細な構成について説明する。図５は、この実施の形態に
おけるテンプレート更新判断回路１９の構成例を示すブ
ロック図である。図５において、テンプレート更新判断
回路１９は、相関値コンパレータ４７、第１の相対ベク
トル演算回路４９、第２の相対ベクトル演算回路５２、
ベクトル長比率演算回路５５、ベクトル角差分演算回路
５６、拡大率コンパレータ５８、回転角コンパレータ６
０および更新判断結果生成回路６２から構成される。

【００４０】相関値コンパレータ４７は、最大値検索回
路１５から供給される最大相関値信号１６を入力し、最
大相関値が小さければ追尾不良信号４８を出力する。第
１の相対ベクトル演算回路４９は、最大値検索回路１５
から供給される追尾座標信号１７と、相関値コンパレー
タ４７からの追尾不良信号４８とを入力し、追尾不良で
ない追尾座標から２点を取り出し、その２点を（始点，
終点）とするベクトルを作成し、その長さと傾きを演算
する。この演算を、追尾不良でない追尾座標から２点を
取り出す組合せ全てに対して行う。

【００４１】そして、第１の相対ベクトル演算回路４９
は、ベクトルの長さの結果を現フレームの相対ベクトル
長信号５０として、ベクトルの傾きの結果を現フレーム
の相対ベクトル角信号５１として出力する。第２の相対
ベクトル演算回路５２は、テンプレート更新回路２２か
ら供給されるテンプレート座標信号２３と、相関値コン
パレータ４７からの追尾不良信号４８とを入力し、テン
プレート座標に関して、第１の相対ベクトル演算回路４
９と同様のベクトルを作成し、その長さを前フレームの
相対ベクトル長信号５３、その傾きを前フレームの相対
ベクトル角信号５４として出力する。

【００４２】ベクトル長比率演算回路５５は、第１の相
対ベクトル演算回路４９からの現フレームの相対ベクト
ル長信号５０と、第２の相対ベクトル演算回路５２から
の前フレームの相対ベクトル長信号５３とを入力し、同
一組合せにある関係の現フレームと前フレームのベクト
ル長の比率を組合せ毎に計算し、その平均値を拡大率信
号２１として出力する。

【００４３】ベクトル角差分演算回路５６は、第１の相
対ベクトル演算回路４９からの現フレームの相対ベクト
ル角信号５１と、第２の相対ベクトル演算回路５２から
の前フレームの相対ベクトル角信号５４とを入力し、同
一組合せにある関係の現フレームと前フレームのベクト
ル角の差を組合せ毎に計算し、その平均値を回転角信号
５７として回転角コンパレータ６０に出力する。

【００４４】拡大率コンパレータ５８は、ベクトル長比
率演算回路５５からの拡大率信号２１を入力し、拡大率
がある程度大きい場合または小さい場合に、テンプレー
トを拡大または縮小させるために、拡大要求信号５９を
更新判断結果生成回路６２に出力する。回転角コンパレ
ータ６０は、ベクトル角差分演算回路５６からの回転角
信号５７を入力し、回転角がある程度大きい場合に、回
転信号６１を更新判断結果生成回路６２に出力する。

【００４５】更新判断結果生成回路６２は、相関値コン
パレータ４７からの追尾不良信号４８、拡大率コンパレ
ータ５８からの拡大要求信号５９および回転角コンパレ
ータ６０からの回転信号６１を入力し、追尾状況、ある
いは画像の拡大、縮小、回転状況を判断し、更新判断結
果信号２０を出力する。

【００４６】更新判断結果を以下のように定義する。相
関値コンパレータ４７から追尾不良信号４８が入力され
た場合には、テンプレートを別の追尾対象物に切り替え
る必要があると判断し、更新判断結果をモード１とす
る。

【００４７】相関値コンパレータ４７から追尾不良信号
４８が入力されず、かつ、拡大率コンパレータ５８から
拡大要求信号５９が入力された場合には、画像は拡大ま
たは縮小していて、テンプレートを拡大または縮小する
必要があると判断し、更新判断結果をモード２とする。

【００４８】相関値コンパレータ４７から追尾不良信号
４８が入力されず、かつ、拡大率コンパレータ５８から
拡大要求信号５９が入力されず、かつ、回転角コンパレ
ータ６０から回転信号６１が入力された場合には、画像
は拡大および縮小していないが、回転していて、テンプ
レートを等倍で更新する必要があると判断し、更新判断
結果をモード３とする。

【００４９】相関値コンパレータ４７から追尾不良信号
４８が入力されず、かつ、拡大率コンパレータ５８から
拡大要求信号５９が入力されず、かつ、回転コンパレー
タ６０から回転信号６１が入力されない場合には、画像
は拡大および縮小も回転もせず、テンプレートを更新す
る必要がないと判断し、更新判断結果をモード４とす
る。更新判断結果生成回路６２は、以上のように定義し
た更新判断結果を更新判断結果信号２０として出力す
る。

【００５０】次に、テンプレート更新回路２２の詳細な
構成について説明する。図６は、この実施の形態におけ
るテンプレート更新回路２２の構成例を示すブロック図
である。図６において、テンプレート更新回路２２は、
サイズ変換回路６３、マルチプレクサ６５およびテンプ
レート画像生成回路６６から構成される。

【００５１】サイズ変換回路６３は、最大値検索回路１
５から供給される追尾領域座標信号１８と、テンプレー
ト更新判断回路１９から供給される拡大率２１とを入力
し、追尾領域を拡大率と同じ比率で拡大し、拡大後の座
標をサイズ変換座標信号６４としてマルチプレクサ６５
に出力する。マルチプレクサ６５は、新規テンプレート
生成回路１１から供給される新規テンプレート座標信号
１２、最大値検索回路１５から供給される追尾領域座標
信号１８、テンプレート更新判断回路１９から供給され
る更新判断結果信号２０、およびサイズ変換回路６３か
らのサイズ変換座標信号６４を入力し、更新判断結果信
号２０の内容に応じて、新規テンプレート座標信号１
２、追尾領域座標信号１８およびサイズ変換座標信号６
４のうちのどれかを選択し、テンプレート座標信号２３
として出力する。

【００５２】更新判断結果信号２０の内容がモード１の
場合には、テンプレートを別の追尾対象物に切り替える
必要があるので、テンプレート座標信号２３として新規
テンプレート座標信号１２を選択する。更新判断結果が
モード２の場合には、画像は拡大または縮小していて、
テンプレートを拡大または縮小する必要があるので、テ
ンプレート座標信号２３としてサイズ変換座標６４を選
択する。モード３およびモード４の場合には、テンプレ
ート座標信号２３として追尾領域座標信号１８を選択す
る。

【００５３】テンプレート画像生成回路６６は、前処理
回路７から供給される前処理画像信号８、テンプレート
更新判断回路１９から供給される更新判断結果信号２
０、およびマルチプレクサ６５からのテンプレート座標
信号２３を入力し、更新判断結果にあわせてテンプレー
ト画像を生成または保持し、テンプレート画像信号２４
を出力する。更新判断結果がモード１〜３の場合には、
前処理画像からテンプレート座標の領域の画像を切り出
してテンプレート画像信号２４として出力する。更新判
断結果がモード４の場合には、前フレームのテンプレー
ト画像をそのまま保持する。

【００５４】次に、動作について説明する。撮像装置１
が追尾対象物であるクレータ等の地表特徴領域を含んだ
小惑星地表のシーンを撮像すると、撮像装置１は、その
画像データをアナログビデオ信号２としてＡ−Ｄ変換器
３に出力する。アナログビデオ信号２はＡ−Ｄ変換器３
においてディジタルビデオ信号４に変換され、１画面単
位でフレームメモリ５に記憶される。フレームメモリ５
から読み出されるディジタル画像信号６は前処理回路７
に送られる。図７にディジタル画像の一例を示す。

【００５５】図２に示された前処理回路７において、ヒ
ストグラム生成回路２６は、ディジタル画像のヒストグ
ラムを作成する。次に、コントラスト強調回路２８は画
像の濃淡値変換を行う。図８は、濃淡値変換を行うため
のヒストグラム変換の処理例を示す。すなわち、入力さ
れたヒストグラムの最小濃淡値Ａを０にし、入力された
ヒストグラムの最大濃淡値Ｂを画像の最大濃淡値Ｃ（例
えば、８ビット階調の場合は２５５）にする。そして、
入力ヒストグラムの最小値と最大値の間のデータを線形
に拡大させる。

【００５６】コントラスト強調回路２８は、このように
変換したヒストグラムにもとづいて画像の濃淡値変換を
行う。変換前の濃淡値すなわち入力するディジタル画像
の濃淡値をｘ、変換後の濃淡値すなわち出力する強調画
像の濃淡値をｙとすると、次式の変換を行う。

【００５７】

【数１】

【００５８】図７に示されたディジタル画像をコントラ
スト強調回路２８に入力したときに出力される強調画像
例を図９に示す。

【００５９】そして、平滑化回路３０は強調画像の平滑
化を行う。平滑化回路３０に入力する強調画像データを
ｆ（ｘ，ｙ）とする。ｘは画像の水平方向座標、ｙは画
像の垂直方向座標、ｆ（ｘ，ｙ）はその座標における強
調画像の濃淡値とする。平滑化回路３０が出力する前処
理画像データをｇ（ｘ，ｙ）とすると、平滑化回路３０
は、次式の演算を行う。

【００６０】

【数２】

【００６１】図９に示された強調画像を平滑化回路３０
に入力したときに出力される前処理画像例を図１０に示
す。

【００６２】図３に示された特徴抽出回路９において、
エッジ成分抽出回路３１は、前処理画像のエッジ成分を
抽出する。例えば、図１１（ａ）〜（ｄ）に示す４つの
マスクをそれぞれ別々に前処理画像上をラスタースキャ
ンに同期して走査し、各マスクと前処理画像との積和演
算を行い、その絶対値が最大のものをマスク中心画素の
出力値とする。そして、上記の処理を前処理画像全画素
に対して行った出力画像をエッジ画像とする。

【００６３】図１１（ａ）〜（ｄ）において左からｋ番
目のマスクの（ｉ，ｊ）座標におけるマスクデータをｍ
（ｋ，ｉ，ｊ）とする。ただし、（ｉ，ｊ）は中心座標
を原点とし、−２≦ｉ≦２、−２≦ｊ≦２とする。入力
する前処理画像データをｇ（ｘ，ｙ）、出力するエッジ
画像データをｅ（ｘ，ｙ）とすると、エッジ成分抽出回
路３１は、次式の演算を行う。

【００６４】

【数３】

【００６５】図１０に示された前処理画像をエッジ成分
抽出回路３１に入力したときに出力されるエッジ画像例
を図１２に示す。次に、ヒストグラム生成回路３３はエ
ッジ画像のヒストグラムを作成する。さらに、しきい値
設定回路３５は、エッジ画像を２値化するためのしきい
値を設定する。例えば、ヒストグラムデータからエッジ
画像の濃淡値の平均値を計算し、平均値の２倍をしきい
値とする。そして、２値化回路３７は、入力されるエッ
ジ画像を２値化しきい値で２値化する。

【００６６】図１２に示されたエッジ画像を２値化回路
３７に入力したときに出力される２値化画像例を図１３
に示す。

【００６７】次に、ラベリング回路３９は２値画像に対
してラベリングを行う。すなわち、２値画像の「１」の
領域を抽出し、抽出した領域のうち連続した同一領域に
属する画素に同一のラベル番号を付す。上記の処理を２
値画像全画素に対して行った結果をラベル画像とする。
すなわち、ラベル画像は、２値画像の白領域のデータ
「１」をラベル番号に換えたものである。

【００６８】最後に、計測回路４１は、各ラベルの外接
座標、すなわち、ｘ座標の最小値，最大値およびｙ座標
の最小値，最大値を計測する。

【００６９】図４に示された新規テンプレート生成回路
１１において、面積演算回路４２は、各ラベルの外接面
積を計算する。ｉ番目のラベルのｘ座標最小値をＸｍｉ
ｎ（ｉ）、ｘ座標最大値をＸｍａｘ（ｉ）、ｙ座標最小
値をＹｍｉｎ（ｉ）、ｙ座標最大値をＹｍａｘ（ｉ）と
したときの外接面積をＳ（ｉ）とすると、面積演算回路
４２は次式の演算を行う。

【００７０】

【数４】

【００７１】セレクタ４４は、外接面積が設定する上限
値より小さいもののみを選択する。設定する上限値は、
例えば３０００などである。ソート回路４６は、選択さ
れたラベルを外接面積の大きい順に並べ替え、外接座標
とともに出力する。

【００７２】相関値演算回路１３は、テンプレート更新
回路２２からのテンプレート画像信号２４と、次フレー
ムにおける前処理画像信号８との間で相関値を計算す
る。ｎ個目のテンプレート画像において、横Ｘｎ画素、
縦Ｙｎ画素とし、座標（ｉ，ｊ）における濃淡値をｇｎ
（ｉ，ｊ）とする。

【００７３】ただし、座標（ｉ，ｊ）は、テンプレート
画像の中心を原点とする。相関値をとるべき次フレーム
の前処理画像の座標（ｘ，ｙ）における濃淡値をｆ
（ｘ，ｙ）とする。座標（ｘ，ｙ）におけるｎ個目のテ
ンプレート画像との相関値をｒｎ（ｘ，ｙ）とすると、
相関値演算回路１３は次式の演算演算を行う。ここで、
相関値ｒｎ（ｘ，ｙ）は、テンプレート画像における濃
淡値の標準偏差と、前処理画像のうち、（ｘ，ｙ）を中
心に上下左右Ｘｎ／２画素の範囲にあたる部分画像にお
ける濃淡値の標準偏差との積で除算することにより、画
像の明るさによる変動を正規化している。

【００７４】

【数５】

【００７５】ただし、

【数６】 とする。相関値演算回路１３は 相関値演算回路１３
は、相関値ｒｎ（ｘ，ｙ）を画像全面について演算し
て、テンプレート数分の枚数の相関画像信号１４を最大
値検索回路１５に出力する。

【００７６】最大値検索回路１５は、各テンプレートの
相関画像信号１４において、最大値および最大となる座
標を検索する。ｎ個目のテンプレートに対する相関画像
をｒｎ（ｘ，ｙ）とし、最大値をＲｎとすると、最大値
検索回路１５は次式の演算を行う。

【００７７】

【数７】

【００７８】そして、最大値検索回路１５は、Ｒｎを最
大相関値信号１６として出力する。また、Ｒｎとなると
きの（ｘ，ｙ）を追尾座標信号１７として出力する。さ
らに、ｎ個目のテンプレートにおける追尾座標を（ｘ
ｎ，ｙｎ）、テンプレートサイズをＸｎ画素×Ｙｎ画素
とし、追尾領域のｘ座標最大値をＸｍａｘ（ｎ），最小
値をＸｍｉｎ（ｎ）、ｙ座標最大値をＹｍａｘ（ｎ），
最小値をＹｍｉｎ（ｎ）とすると、最大値検索回路１５
は次式の演算を行い、算出した座標を追尾領域座標信号
１８として出力する。

【００７９】

【数８】

【００８０】図５に示されたテンプレート更新判断回路
１９において、相関値コンパレータ４７は、入力された
最大相関値信号１６の大小を判断する。最大相関値が設
定するしきい値より小さければ追尾不良信号４８を出力
する。設定する相関値しきい値は、例えば０．９などで
ある。

【００８１】次に、第１の相対ベクトル演算回路４９
は、追尾座標どうしの相対的な位置関係をベクトルとし
て計算する。以降、そのようなベクトルを相対ベクトル
という。例えば、入力される追尾座標が４個の場合、相
対ベクトルの（始点，終点）の組合せは（１，２）
（１，３）（１，４）（２，３）（２，４）（３，４）
の６個である。このとき、相関値コンパレータ４７で追
尾不良信号４８が出力された追尾座標は、組合せから除
外される。

【００８２】第１の相対ベクトル演算回路４９は、以上
のように組み合わせた相対ベクトルに関して長さおよび
角度を演算する。相対ベクトルの始点座標を（Ｘ０，Ｙ
０）、終点座標を（Ｘ１，Ｙ１）とし、相対ベクトルの
長さをｌ、角度をθとすると、第１の相対ベクトル演算
回路４９は次式の演算を行う。

【００８３】

【数９】

【００８４】第１の相対ベクトル演算回路４９は、全相
対ベクトルのｌを現フレームの相対ベクトル長信号５０
として出力し、全相対ベクトルのθを現フレームの相対
ベクトル角信号５１として出力する。

【００８５】同様に、第２の相対ベクトル演算回路５２
は、テンプレート座標からテンプレートの中心座標を求
め、テンプレート同士の相対的な位置関係すなわち前フ
レームの追尾座標同士の相対的な位置関係をベクトルと
して計算する。相対ベクトルの（始点，終点）の組合
せ、および演算方法は、第１の相対ベクトル演算回路５
０に関するそれらと同じにする。

【００８６】図１４は、探査機が地表に対して相対的に
平行移動したときの追尾座標の位置変化および相対ベク
トルの変化を示す模式図である。探査機が平行移動した
だけであれば、追尾座標は上下左右に平行移動するだけ
なので、図１４に示すように、相対ベクトルの長さおよ
び角度はともに変化しない。

【００８７】図１５は、探査機が地表に対して相対的に
接近したときの追尾座標の位置変化および相対ベクトル
の変化を示す模式図である。探査機が接近すれば、追尾
座標同士の相対距離は拡大するので、図１５に示すよう
に、相対ベクトルは長さが変化する。

【００８８】図１６は、探査機が地表に対して相対的に
回転したときの追尾座標の位置変化および相対ベクトル
の変化を示す模式図である。探査機が回転すれば、図１
６に示すように、相対ベクトルの角度が変化する。

【００８９】図１４に例示された状況の場合には、ベク
トル長比率演算回路５５において拡大率は１となり、ベ
クトル角差分演算回路５６において回転角は０となるの
で、拡大率コンパレータ５８からの拡大要求信号５９
も、回転角コンパレータ６０からの回転信号６１もとも
に出力されない。よって、更新判断結果生成回路６２に
おいて、更新判断結果はモード４となり、テンプレート
更新の必要なしと判断される。

【００９０】図１５に例示された状況の場合には、ベク
トル長比率演算回路５５において拡大率は１より大きな
数値となり、ベクトル角差分演算回路５６において回転
角は０となる。従って、拡大率コンパレータ５８から拡
大要求信号５９が出力されるが、回転角コンパレータ６
０から回転信号６１は出力されない。よって、更新判断
結果生成回路６２において更新判断結果はモード２とな
り、テンプレートを拡大して更新する必要があると判断
される。

【００９１】図１６に例示された状況の場合には、ベク
トル長比率演算回路５５において拡大率は１となり、ベ
クトル角差分演算回路５６において回転角は０より大き
な数値となる。従って、拡大率コンパレータ５８から拡
大要求信号５９は出力されず、回転角コンパレータ６０
から回転信号６１が出力される。よって、更新判断結果
生成回路６２において更新判断結果はモード３となり、
テンプレートの等倍更新の必要ありと判断される。

【００９２】図６に示されたテンプレート更新回路２２
において、サイズ変換回路６３は、追尾領域を拡大率と
同じ比率で拡大する。ここで、中心点が変わらないよう
に拡大する。テンプレート更新判断回路１９から入力さ
れる拡大率信号２１をａ、最大値検索回路１５から出力
される追尾領域座標信号１８におけるｘ座標最小値をｘ
０，最大値をｘ１、ｙ座標最小値をｙ０，最大値をｙ１
とし、拡大後出力するサイズ変換座標信号６４でのｘ座
標最小値をＸ０，最大値をＸ１、ｙ座標最小値をＹ０，
最大値をＹ１すると、サイズ変換回路６３は次式の演算
を行う。

【００９３】

【数１０】

【００９４】図１４に例示された状況の場合には更新判
断結果信号２０はモード４である。その場合には、マル
チプレクサ６５は、テンプレート座標信号２３として追
尾領域座標信号１８を選択する。よって、テンプレート
画像生成回路６６は、テンプレート画像信号２４とし
て、前フレームのテンプレート画像をそのまま保持し出
力する。

【００９５】図１５に例示された状況の場合には更新判
断結果信号２０はモード２である。その場合には、マル
チプレクサ６５は、テンプレート座標信号２３としてサ
イズ変換座標信号６４を選択する。よって、テンプレー
ト画像生成回路６６は、テンプレート画像信号２４とし
て、前処理画像信号８からテンプレート座標信号２３の
部分を切り出して出力する。

【００９６】図１６に例示された状況の場合には更新判
断結果信号２０はモード３である。その場合には、マル
チプレクサ６５は、テンプレート座標信号２３として追
尾領域座標信号１８を選択する。よって、テンプレート
画像生成回路６６は、テンプレート画像信号２４とし
て、前処理画像信号８からテンプレート座標信号２３の
部分を切り出して出力する。

【００９７】以上のように、この実施の形態では、特徴
抽出回路９が、形による認識で対象物を抽出するのでは
なく、画像の濃淡変化の激しい部分を追尾対象として抽
出するので、対象物の形を限定することなく追尾を行う
ことが可能になる。また、特徴抽出回路９は、空間微分
による対象物の検出を行い、画像中で強い濃淡変化の部
分をテンプレートとして設定しているので、従来の場合
とは異なり、最初のフレームでテンプレートを自動的に
設定することが可能である。

【００９８】さらに、テンプレート更新判断回路１９
が、画像の動きを判断し、テンプレートを更新するかし
ないかの判断と更新処理をどのように行うかの判断を行
うので、図１９に示された従来装置における定期的な更
新処理に比べて、テンプレート更新の処理効率がよい。

【００９９】そして、この実施の形態では、相関演算回
路１３において正規化相関が使用されるので、入力され
る画像全体の明るさが変動した場合でも、精度のよいト
ラッキングが可能である。また、前処理回路７によって
画像のコントラストを一定の状態に保つことができるの
で、入力画像のコントラスト変化にも対応可能である。

【０１００】次に、本発明の他の実施の形態を図面を参
照して詳細に説明する。図１７に示す第２の実施の形態
では、Ａ−Ｄ変換器３から出力されるディジタルビデオ
信号４は前処理回路７に入力される。そして、前処理回
路７は前処理ビデオ信号６７をフレームメモリ５へ出力
する。フレームメモリ５は、前処理画像信号８を特徴抽
出回路９、相関演算回路１３およびテンプレート更新回
路２２に前処理画像信号８を出力する。すなわち、Ａ−
Ｄ変換器３から出力されたディジタルビデオ信号４は、
前処理回路７による前処理が施された後に、フレームメ
モリ５に記憶される構成となる。

【０１０１】この実施の形態では、特徴抽出回路９、相
関演算回路１３およびテンプレート更新回路２２は、前
処理画像信号８を入力する際に、前処理を繰り返すこと
なく直接フレームメモリ５にアクセスすればよいことに
なるので、処理効率を向上できるという新たな効果を奏
する。

【０１０２】図１８に示す第３の実施の形態では、最大
値検索回路１５は追尾座標信号１７をテンプレート更新
判断回路１９のみに出力し、結果出力回路２５には出力
しない。代わりに、テンプレート更新回路２２が、テン
プレート座標２３を結果出力回路２５に出力する。ま
た、テンプレート更新判断回路１９は、更新判断結果信
号２０を結果出力回路２５に出力する。

【０１０３】この実施の形態によれば、追尾が外れた場
合、どの追尾目標が外れたか、どこに新しくテンプレー
トを設定したかを出力できる。

【０１０４】

【発明の効果】以上のように、本発明によれば、自動追
尾装置を、各テンプレート中に設定された追尾座標のフ
レーム間の位置関係の変化にもとづいてテンプレートを
更新するか否か判断するテンプレート更新判断手段を備
えた構成としたので、追尾対象物の形を限定することな
く精度のよい追尾を行うことができる効果がある。

【図面の簡単な説明】

【図１】 本発明の実施の一形態を示すブロック図であ
る。

【図２】 前処理回路の構成例を示すブロック図であ
る。

【図３】 特徴抽出回路の構成例を示すブロック図であ
る。

【図４】 新規テンプレート生成回路の構成例示すブロ
ック図である。

【図５】 テンプレート更新判断回路の構成例を示すブ
ロック図である。

【図６】 テンプレート更新回路の構成例を示すブロッ
ク図である。

【図７】 ディジタル画像の一例を示す説明図である。

【図８】 コントラスト強調回路におけるヒストグラム
変換処理の一例を示す説明図である。

【図９】 コントラスト強調回路２８から出力される強
調画像の一例を示す説明図である。

【図１０】 平滑化回路から出力される前処理画像の一
例を示す説明図である。

【図１１】 エッジ成分抽出回路がエッジ成分を抽出す
る際に使用するマスクの例を示す説明図である。

【図１２】 エッジ成分抽出回路から出力されるエッジ
画像の一例を示す説明図である。

【図１３】 ２値化回路から出力される２値化画像の一
例を示す説明図である。

【図１４】 探査機が地表に対して相対的に平行移動し
たときの追尾座標の位置変化および相対ベクトルの変化
を示す模式図である。

【図１５】 探査機が地表に対して相対的に接近したと
きの追尾座標の位置変化および相対ベクトルの変化を示
す模式図である。

【図１６】 探査機が地表に対して相対的に回転したと
きの追尾座標の位置変化および相対ベクトルの変化を示
す模式図である。

【図１７】 本発明の他の実施の形態を示すブロック図
である。

【図１８】 本発明のさらに他の実施の形態を示すブロ
ック図である。

【図１９】 従来の自動追尾装置の構成を示すブロック
図である。

【符号の説明】

１ 撮像装置 ３ Ａ−Ｄ変換器 ５ フレームメモリ ７ 前処理回路 ９ 特徴抽出回路 １１ 新規テンプレート生成回路 １３ 相関演算回路 １５ 最大値検索回路 １９ テンプレート更新判断回路 ２２ テンプレート更新回路 ２５ 結果出力回路

フロントページの続き Ｆターム(参考） 5C054 AA01 CA04 CC03 EA01 EA05 EB05 ED12 EJ04 FC03 FC13 FC14 FC16 HA26 HA31 5L096 AA06 BA05 DA02 EA02 EA06 EA43 FA06 FA34 FA35 FA59 FA67 GA34 GA51 HA04 HA05 JA09 KA04 KA11 9A001 BZ03 EE05 HZ28 KK18 KK32

Claims (9)

【特許請求の範囲】
1. 【請求項１】 追尾対象物を含む撮像画像を１フレーム
   ずつ出力する撮像手段を備え、撮像画像に設定されたテ
   ンプレートにもとづいて対象物を追尾する自動追尾装置
   において、 撮像画像に複数のテンプレートを設定するテンプレート
   生成手段と、 各テンプレート中に設定された追尾座標のフレーム間の
   位置関係の変化にもとづいてテンプレートを更新するか
   否か判断するテンプレート更新判断手段と、 前記テンプレート更新判断手段の判断結果に応じて各テ
   ンプレート画像を出力するテンプレート更新手段と、 各テンプレート画像と次フレームの撮像画像との間の相
   関を演算する相関演算手段と、 各テンプレートにおける最大相関値を呈する座標を追尾
   座標信号として出力する最大値検索手段とを備えたこと
   を特徴とする自動追尾装置。
2. 【請求項２】 テンプレート生成手段は、撮像画像中の
   濃淡変化が所定値を越えている部分を含む領域をテンプ
   レート候補として出力する特徴抽出回路と、特徴抽出回
   路が出力した各領域のうち所定サイズ以下のものをテン
   プレートとする新規テンプレート生成回路とを含む請求
   項１記載の自動追尾装置。
3. 【請求項３】 テンプレート更新判断手段は、テンプレ
   ート更新手段から各テンプレートの座標を示すテンプレ
   ート座標信号を入力するとともに、最大値検索手段から
   最大相関値および追尾座標信号を入力し、前記テンプレ
   ート座標信号、最大相関値および追尾座標信号を用いて
   テンプレートを更新するか、変形するか、または維持す
   るか判断する請求項１または請求項２記載の自動追尾装
   置。
4. 【請求項４】 テンプレート更新判断手段は、追尾座標
   信号から得られる各追尾対象の位置関係を算出するとと
   もにテンプレート座標信号から得られる各追尾対象の位
   置関係を算出し、各算出結果にもとづいて現フレームと
   前フレームとの間の各追尾対象の位置関係の変化量を演
   算し、位置関係の変化量からテンプレートを更新する
   か、拡大もしくは縮小するか、または維持するか判断す
   る請求項３記載の自動追尾装置。
5. 【請求項５】 テンプレート更新手段は、テンプレート
   生成手段から各テンプレートの座標を示す新規テンプレ
   ート座標信号を入力するとともに、テンプレート更新判
   断手段から追尾対象を含む領域を示す追尾領域座標信
   号、更新判断結果信号およびテンプレートの拡大縮小率
   を示す拡大率信号を入力し、前記更新判断結果信号が更
   新を示していた場合には前記新規テンプレート座標信号
   に応じて新たなテンプレート画像を生成し、前記更新判
   断結果信号が拡大または縮小を示していた場合には前記
   拡大率信号に応じてテンプレート画像を拡大または縮小
   し、前記更新判断結果信号が更新しないことを示してい
   た場合には前記追尾領域座標信号に応じたテンプレート
   画像を出力する請求項４記載の自動追尾装置。
6. 【請求項６】 相関演算手段は、正規化相関処理を行う
   請求項１ないし請求項５記載の自動追尾装置。
7. 【請求項７】 撮像手段が出力する画像のコントラスト
   強調処理を行う前処理手段を備えた請求項１ないし請求
   項６記載の自動追尾装置。
8. 【請求項８】 最大値検索手段からの追尾座標信号を結
   果出力する結果出力回路を備えた請求項１ないし請求項
   ７記載の自動追尾装置。
9. 【請求項９】 テンプレート更新手段から出力されるテ
   ンプレート座標信号とテンプレート更新判断手段から出
   力される更新判断結果信号とを結果出力する結果出力回
   路を備えた請求項５ないし請求項７記載の自動追尾装
   置。