JPH06110918A

JPH06110918A - ディジタル周波数領域相関器

Info

Publication number: JPH06110918A
Application number: JP3148182A
Authority: JP
Inventors: J Ruran Richard; リチャード・ジェイ・グラン; W Baade Dennis; デニス・ダブリユ・バーデ
Original assignee: Grumman Aerospace Corp
Current assignee: Grumman Corp
Priority date: 1990-05-24
Filing date: 1991-05-24
Publication date: 1994-04-22

Abstract

(57)【要約】【目的】新しい被写体のためにマッチドフィルタを準備
し、そのマッチドフィルタで入力画像をリアルタイムで
相関すること。【構成】入力ビデオ画像をディジタル化して、記憶され
た被写体画像との相関を取って、入力画像シーン中の被
写体の存在を決定する。相関は周波数領域のマッチドフ
ィルタリングでなされる。パイプライン化並列処理アー
キテクチャを使用して、空間領域入力画像が高速フーリ
ェ変換されて、それらの二次元周波数画像を得る。周波
数領域マッチドフィルタと二次元フーリェ変換画像との
画素毎の乗算によってマッチドフィルタリングが行なわ
れる。次に、マッチドフィルタ画像が逆フーリェ変換さ
れて、空間領域画像が回復され、結果の相関スポットが
分析される。判定プロセッサ１４は、カバーされた画像
を走査し、相関スポットの存在及び位置を決定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理に於けるディ
ジタル周波数領域相関器及び画像相関方法に係り、特
に、マッチドフィルタリング動作に関する。

【０００２】

【従来の技術】マッチドフィルタリングは、画像のフー
リェ変換をフーリェ変換「マッチドフィルタ」画像と乗
算し、次に画像の逆フーリェ変換結果に於ける重複の程
度及びフィルタを決定することによる光学像の部分識別
法に関するものである。特に、マッチドフィルタリング
工程は、必要な変換並びに光学技術を使用した乗算を行
なうことを必要とする。

【０００３】画像相関及び識別のためのマッチドフィル
タ技術を使用するシステムとして、例えば、文字認識シ
ステム，ターゲット認識システム，ターゲット識別シス
テム，品質管理診断システム，及び工程管理診断システ
ム，等が知られている。リアルタイムではない電子的な
マッチドフィルタリングを使用して光学的な工程をシミ
ュレートしているとはいえ、一般的には、そのようなシ
ステムのためには、光学的マッチドフィルタリングのみ
が実用的である。

【０００４】そのようなシステムの一つとして、自動タ
ーゲット認識システムが、米国特許第３，７７９，４９
２号に開示されている。このシステムは、光学的マッチ
ドフィルタ画像相関器（ＯＭＦＩＣ）を使用している。
このＯＭＦＩＣは、レンズを使用することにより高速な
二次元相関を可能とし、画像のフーリェ変換を発生す
る。フーリェ周波数領域に於ける相関は、光を、フーリ
ェ変換画像に通し、さらに効果的に画像を乗算するフー
リェ変換「マッチドフィルタ」画像の透明画に通すこと
により成し遂げられる。画像の逆フーリェ変換結果は、
相関の程度を示し且つ当該システムのオペレータに適当
なフォーマットで表示されることができる「相関スポッ
ト」即ちより強い光強度領域を含む。

【０００５】画像相関は、光を透明画に通すことによ
り、「リアルタイム」相関、即ち画像の受信レートでの
相関の効果を持つ。これは、全ての動作が、光が当該シ
ステムの光路に沿って進むにつれて、本質的に光の速度
で行なわれるということによる。これは、フーリェ変換
を得てビデオ解像度画像と乗算する一般的な方法に於い
ては、合成アルゴリズム及び／又は電子回路を考える
と、非常に大きな効果である。

【０００６】

【発明が解決しようとする課題】しかしながら、そのよ
うなシステムは、画像処理が開始されることができるよ
りも前に、フィルタ準備，セットアップ，及びアライン
メントの合成タスクが、すべて完了していなければなら
ない。マッチドフィルタは、本質的に、入念に準備して
蓄えておかばならない写真透明画である。別の目標被写
体のためには、別のマッチドフィルタを光路中に挿入す
ることが必要である。これは、光学的なマッチドフィル
タ相関の実際の処理速度を減じ、それらの融通性を限定
してしまう。

【０００７】また、現在まで提唱されている光学的マッ
チドフィルタリングレンズシステムは、コヒーレントな
単色光源によるソース画像とフィルタとの両方の照明を
必要としている。従って、光学的マッチドフィルタリン
グは、概して、コヒーレントな照明が容易に提供される
ことができるような実験室状況下でのみ可能なものであ
った。「空間光変調器」のような装置がこの照明問題を
解決するために提唱されているとはいえ、そのようなシ
ステムで十分な性能を達成することは不可能である。

【０００８】さらには、光学的マッチドフィルタ画像相
関システム及び一般的な光学システムでは、例えば、種
々の光学素子に於ける減衰並びに散乱効果のため、処理
連鎖を通じて維持される比較的低いダイナミック信号レ
ンジという問題がある。これは、どの程度信号がノイズ
に埋まり、それにも係わらずどの程度回復できるのかと
いう限界を定める。

【０００９】しかしながら、前述したいくつかの問題点
にも係わらず、その固有速度の効果故に、光学的マッチ
ドフィルタ画像相関器が実際的な種類の画像相関器であ
る。電子的な処理方法は、別のどのような目的のために
も前述のタイプのシステムに於いて使用するためには、
シュミレーションよりも非常に遅いということが今のと
ころ判明している。

【００１０】本発明は、上記の点に鑑みてなされたもの
で、特にビデオ画像と、ビデオ画像入力の分野で与えら
れる種々の目標被写体画像との間で、リアルタイムに画
像相関を行ない得る電子システムを提供することを目的
とする。

【００１１】また、本発明は、通常のビデオ画像を撮る
のに使用されるような広帯域照明を使用して、リアルタ
イムに画像相関ができるシステムを提供することを目的
とする。

【００１２】さらに、本発明は、適応性のある、つまり
それらが必要とされるような「大急ぎで」マッチドフィ
ルタが展開されることができるリアルタイム画像相関シ
ステムを提供することを目的とする。

【００１３】さらにまた、本発明は、広いダイナミック
レンジを有するリアルタイム画像相関システムを提供す
ることを目的とする。

【００１４】

【課題を解決するための手段】上記のような目的を達成
するために、本発明によるディジタル周波数領域相関器
は、ビデオ画像入力をディジタル化画像に変換するため
のディジタル化手段と、パイプライン化並列処理アーキ
テクチャで配列された複数の高速フーリェ変換プロセッ
サ及び複数の画像フレームメモリを含み、上記ディジタ
ル化画像に二次元高速フーリェ変換を行なうための変換
手段と、フーリェ変換されたディジタル化画像に周波数
領域に於けるマッチドフィルタを乗算するための周波数
領域乗算手段と、前記ディジタル化画像とマッチドフィ
ルタとの生成物を処理して分析し、前記ディジタル化画
像とマッチドフィルタとの間の相関の程度を決定する処
理手段とを備え、前記複数の高速フーリェ変換プロセッ
サはそれぞれ、前記ディジタル化画像の一部に一次元高
速フーリェ変換を行なうための手段を含むことを特徴と
している。

【００１５】また、本発明による画像相関方法は、ビデ
オ画像入力をディジタル化画像に変換するステップと、
パイプライン化並列処理アーキテクチャで配列された複
数の高速フーリェ変換プロセッサ及び複数の画像フレー
ムメモリを使用することによって、上記ディジタル化画
像に二次元高速フーリェ変換を行なうステップと、フー
リェ変換されたディジタル化画像に周波数領域に於ける
マッチドフィルタを乗算するステップと、前記ディジタ
ル化画像とマッチドフィルタとの生成物を処理し分析し
て、前記ディジタル化画像とマッチドフィルタとの間の
相関の程度を決定するステップとを備え、前記複数の高
速フーリェ変換プロセッサはそれぞれ、前記ディジタル
化画像の一部に一次元高速フーリェ変換を行なうために
使用されることを特徴としている。

【００１６】

【作用】つまり、本発明によれば、前述の目的は、フー
リェ周波数領域に於ける相関をディジタル的に行なうこ
とで達成される。相関動作は、以下のようにして、光学
的フィルタよりはむしろ電子回路を用いる、マッチドフ
ィルタリングの完全に電子的な形で成し遂げられる。

【００１７】即ち、第１に、入力画像がディジタル化さ
れ、空間領域から周波数領域にフーリェ変換される。第
２に、フーリェ変換されたディジタル被写体画像が、目
標被写体のフーリェ変換ディジタル画像と乗算される。
最後に、その結果の画像が、結果としての相関スポット
の分析が行なわれることができる空間領域に逆フーリェ
変換される。

【００１８】独特な並列パイプライン化処理アーキテク
チャが、「リアルタイム」で、即ち標準的な走査フォー
マットを使用して画像を走査するのに取られる時間より
も短い時間で、上記変換及び乗算を成し遂げることを可
能とさせる。

【００１９】上記独特なディジタル処理アーキテクチャ
は、二次元高速フーリェ変換を並列に行なうための複数
の高速フーリェ変換プロセッサと、逆高速フーリェ変換
を並列に行なうための複数の高速フーリェ変換プロセッ
サとを使用するものである。さらに、これらのプロセッ
サは、画像データが処理動作中にパイプラインを通って
移動するように、即ち、いくつかの画像フレームがパイ
プラインに入り、様々な動作が同時に行なわれることが
できるように、配置されている。

【００２０】上記第３の目的、即ち適応性のあるリアル
タイム画像相関システムを提供することを達成するため
に、入力画像，部分的に処理された画像，及び出力画像
が上記処理パイプライン中に発生されるにつれて、それ
らを一時的に記憶するのに必要なメモリに加えて、多数
のマッチドフィルタを記憶するための十分なメモリ空間
があるように、「大急ぎで」マッチドフィルタの準備の
ための処理経路が提供される。

【００２１】本発明の並列パイプライン化アーキテクチ
ャは、最小の「オーバヘッド」時間要求を必要とする
が、処理時間を１／Ｎに効果的に減じる並列に配置され
たＮ個の高速フーリェ変換プロセッサを利用している。
さらに、上記プロセッサは、変換処理動作中に画像デー
タが「パイプライン」を通って動くように配置され、よ
って、１／３０秒毎に新しい入力画像がパイプラインに
入ることを許し、「リアルタイム」処理レートに帰着す
る。

【００２２】従って、本発明は、当該システムに入力さ
れるレートでビデオ信号のリアルタイム処理を可能とす
るに足るだけ速い速度で、周波数領域に於ける電子的デ
ィジタルマッチドフィルタリングを可能とする独特なマ
ッチドフィルタ処理システムを提供することができる。

【００２３】

【実施例】図１は、本発明の一実施例に係る完全なディ
ジタル周波数領域相関器を示している。図中の参照番号
の付されていない矢印は、この相関器の構成部分を通る
信号の流れを示している。矢印８は、当該相関器内部で
ディジタル画像情報を運ぶためのディジタル画像バスを
示している。

【００２４】画像入力１は、カメラシステム２を介して
当該相関器に入力される。このカメラ２の焦平面上のレ
ンズシステムによってフォーカスされることができるど
のような画像も、例えば、可視ビデオ画像，赤外線ビデ
オ画像，あるいは紫外線ビデオ画像も、適当な入力であ
る。上記カメラは、一般的なＣＣＤビデオカメラである
ことができる。もちろん、画像を電子的な形に変換する
ために、他のシステムを使用することも可能である。

【００２５】上記カメラ２は、制御信号バス１６を介し
てコントローラ１５により制御される。このコントロー
ラ１５は、コンピュータか専用の制御回路構成かのいず
れかにより構成されることができる。コントローラ１５
は、好ましくはオペレータ入力装置１７を含む、当該分
野で既知の適当な構成のものである。

【００２６】上記カメラ２によるアナログ信号出力は、
例えば、ビデオ信号標準，ＲＳ−１７０，ＲＳ−３３
０，あるいはＣＣＩＲのいずれかに従う。もちろん、非
常に多くの他の信号フォーマットもまた実施例の相関器
で使用することができる。

【００２７】この相関器の動作は一般に、制御シーケン
スを発生し、また当該相関器の各部のための特定の回路
機能を制御するコントローラ１５によって、同期され
る。そのような機能の例としては、クロック，スタート
／ストップ，動作モード制御，初期化，画像データ転送
制御，アドレス発生，画像処理制御，及びＤＲＡＭリフ
レッシュ制御，等がある。これらの機能は、広い種類の
従来の装置に於いて使用されており、本実施例のコント
ローラ１５へのそれらの適用は、当業者には自明のこと
であろう。

【００２８】ビデオカメラ２からの出力は、ディジタル
化回路３に入力される。このディジタル化回路３は、図
２に詳細に示されている。同図には、ディジタル化回路
のための好ましい形態が示されているとはいえ、別の信
号フォーマットはこのディジタル化回路に変更を要求す
るということは理解されよう。

【００２９】当業者に知られているように、ビデオ信号
は同期（ｓｙｎｃ）コードを含み、これは、タイミング
信号をフラッシュＡ／Ｄ変換器３５及びデータ記憶マル
チプレクサ（ＭＵＸ）３６に供給する目的のために、同
期抽出器３３で抽出される。アナログビデオ信号は、バ
ッファ増幅器３６を介して、フラッシュＡ／Ｄ変換器３
５に入力され、そこでディジタル形式に変換される。

【００３０】このディジタル化された画像は次に、マル
チプレクサ３６によって、２個のシングルフレームメモ
リ３８及び３９の内の一方に送られ、次の処理に先立っ
て記憶される。２個のトグル型ビデオフレームメモリ３
８及び３９の使用は、次のビデオフレームに、次の処理
のために当該相関器中のパイプラインに導かれることを
許す。デマルチプレクサ（ＤＥＭＵＸ）４０は、ディジ
タル化されたビデオフレームに、一度に１フレームず
つ、共通バスに沿って画像処理部４へ送られることを許
す。

【００３１】画像処理部４は、強度調整，空間フィルタ
リングのような画像エンハンスメント，平滑化，エッヂ
エンハンスメント，データ変換，及び画像回転のような
多数の標準的な画像処理動作を提供する。これらの動作
は、画像をエンハンスメントし、ノイズ及び背景を除去
し、また画像を空間的に修正して許容できるマッチング
を見いだす確率を増すために使用される。

【００３２】上記画像処理部４からの処理された画像デ
ータは次に、合成乗算器５に供給される。この合成乗算
器５は、それを適当なウィンド係数７と乗算することに
より画像をウィンド処理して、「フォールドオーバ」や
「エイリアシング」によって生じた変換画像に於ける歪
みを減じる。ここで、フォールドオーバとは、ビデオ画
像を形成するのに使用されるラスタスキャンの不連続の
周期移動の影響によって、即ちラスタスキャンの有限の
存続時間のため画像がそのうち分散されるという一般的
なビデオに於ける限界によって発生される変換画像中に
現われる、高周波ノイズ成分に帰着する、既知の現象で
ある。

【００３３】上記ウィンド係数７は、図４に詳細に示さ
れている合成乗算器５によって要求されるまで、好まし
くは高速ＤＲＡＭメモリであるウィンドフィルタ記憶部
６に記憶されている。合成乗算器５に於いては、ｎ×ｍ
画素で構成された画像フレームが、対応するウィンド係
数７と画素毎にマッチングが取られる。ウィンド係数７
の値は、変換に起因するフォールドオーバ又はエイリア
シングの量を計算し実験的に決定して、フォールドオー
バ又はエイリアシングを最小にする値を選択することに
より、予め決定されている。

【００３４】画素データ及びウィンド係数の両方の実数
部及び虚数部が同時に入力されて互いに乗算され、結果
として、ディジタル化ビデオバス８に沿った合成データ
出力Ｙが得られる。本質的に、ウィンド係数は、周波数
領域に於けるフォールドオーバを受け易い画像の部分を
抑制する。

【００３５】既知の合成乗算／計算関数に従って、ｙ＝ｉ＊ｗである。但しここで、Ｒｅ（ｙ）＝Ｒｅ（ｉ）Ｒｅ（ｗ）−Ｉｍ（ｉ）Ｉｍ
（ｗ）であり、且つＩｍ（ｙ）＝Ｒｅ（ｉ）Ｉｍ（ｗ）＋Ｉｍ（ｉ）Ｒｅ
（ｗ）である。従って、４個の乗算器４０〜４３及び２個のア
キュムレータ４４及び４５が、並列に動作を行なうため
に必要とされる。結果としての「ウィンド」データは、
二次元ＦＦＴ変換器９に供給される。

【００３６】この二次元ＦＦＴ変換器９は、詳細に図３
に示されているように、並列処理アーキテクチャを使用
する。このＦＦＴ変換器９は、合成乗算器５からのウィ
ンド処理されたディジタル画像データを、トータルでＮ
個のプロセッサを使用して変換する。これらのＮ個のプ
ロセッサは、２個のグループ２０及び２６に分割され、
それぞれ対応する数のバッファメモリ２１及び２７に接
続されている。並列に接続されたＮ個のプロセッサの使
用は、当該ＦＦＴ変換器９に、シングルプロセッサの行
又は列処理速度Ｔによってのみ限定される、どのような
所望の速度ででも処理することを可能とする。この変換
器９の動作は、データ転送及びシーケンスコントローラ
３２によって整理される。このデータ転送及びシーケン
スコントローラ３２は、後述するようにしてデータ転送
を整理するために、当該変換器９の各部に同期及び制御
信号を供給する。

【００３７】上記並列プロセッサは、５１２画素で構成
された標準ビデオフレーム行を使用して、以下のように
データを処理する。第１行が行メモリ２１₁に入力さ
れ、その後、ＦＦＴプロセッサ２０₁はスタート変換コ
マンドを与えられ、行メモリ２１₂への第２行のローデ
ィングが開始する。この処理は、プロセッサ２０₁がビ
デオデータの第１行のフーリェ変換に達するまで継続す
る。ビデオデータの変換された行は次に、行メモリ２１
_N/2がロードされるべき時に、中間メモリ２２に移され
る。次に、Ｎ／２＋１行のデータである次の行のデータ
が、プロセッサ２０₁による処理のために行メモリ２１
₁にロードされる。ディジタル化画像を変換する行のこ
の処理は、図７に示されている。

【００３８】ＦＦＴプロセッサ及び行メモリの個数Ｎ
は、プロセッサ２０₁がＦＦＴ動作を完了した時にビデ
オデータのＮ／２行のローディングが生ずるように選択
されている。この時間によって、残りのプロセッサ２０
₂〜２０_N/2のそれぞれは、同時に動作すべきである。
これが生ずるや否や、Ｎ／２＋１行が、対応するプロセ
ッサがその動作を完了している行メモリ２１₁にロード
されることができる。次に、行メモリ２１₂が有効にな
るや否や、Ｎ／２＋２行がそれにロードされ、以下、同
様にしてロードされる。従って、行変換時間が、５１２
行画像のために、５１２Ｔから５１２Ｔ／（Ｎ／２）に
減ぜられる。但しここで、Ｎは２よりも大きい数であ
る。

【００３９】全ての行変換が完了した時、中間メモリ２
２は、フーリェ変換が半分しか完了していないが、完全
な画像フレームを含んでいる。次に、ビデオフレームデ
ータは、列メモリ２７₁〜２７_N/2に同時に１列シフト
されねばならない。図８に示されるように、列ＦＦＴ変
換動作は、行ＦＦＴ動作に関して前述したのと全く同じ
であり、再び、５１２×５１２画素画像のために、５１
２Ｔから５１２Ｔ／（Ｎ／２）への変換時間に於ける減
少に帰着する。但しここで、Ｎは２よりも大きい数であ
る。

【００４０】高速フーリェ変換アルゴリズムはそれ自体
良く知られたものであり、使用されるプロセッサは、ど
のような適当な高速フーリェ変換プロセッサであって良
い。適当な１×５１２ポイントの３１０μｓのＦＦＴ処
理速度を有する商業的に得られるプロセッサは、Bursky
による論文Electronic Design, pg.127, september 8,
1988中に公表されている。ワークメモリ２１及び関連の
バッファ，入出力行，及び制御及びウィンドゥイング回
路と一緒に、そのような規格品の一次元ＦＦＴプロセッ
サチップ２０の構成が図９に示されている。よって、Ｎ
＝６４プロセッサの場合に於いては、５１２行画像変換
のための処理時間は、ほぼ５ｍｓ（（５１２×３１０μ
ｓ）／（６４／２））である。

【００４１】一般的なビデオフレームは、完了するため
に１／３０秒、即ち３３ｍｓ必要とする。従って、６４
プロセッサチップセットは、１ビデオフレームに於いて
６回の変換を完了するように構成されることができる。
これは、「リアルタイム」で、即ちビデオ画像が相関器
に入力されるにつれて、列及び行変換の両方を、また逆
列及び行変換の両方を完了するためには、十分速いもの
である。さらに、図１及び図３に示されたようなパイプ
ラインに沿って、これらの動作が直列に行なわれるなら
ば、素早いデータ移動という要求が緩和される。

【００４２】画像フレームの全行が変換され、結果の行
変換画像フレームが列変換のための準備に於いて中間フ
レームメモリ２２に存した後、フレーム２の変換が開始
することができる。第２画像フレームのための行変換が
開始した時、第１フレームの列変換が、同時に、スター
トする。行変換データが中間フレームメモリ２２でシフ
トされて、列メモリ２７₁〜２７_N/2に入力されている
のに対し、第２フレーム行変換の結果は、中間メモリ２
３に記憶される。

【００４３】従って、第１ビデオフレームＡの列変換及
び第２ビデオフレームＢの行変換は、同時に行なわれ
る。換言すれば、パイプライン化データフロー並びにフ
レームＡ／フレームＢ「トグルド」メモリは、行及び列
ＦＦＴ変換の同時実行を許し、よって、フーリェ変換処
理レートを最適化する。完全にフーリェ変換された画像
フレームは、フレームメモリ２８及び２９に記憶され
る。

【００４４】合成乗算器１０によって、二次元ＦＦＴ変
換器９から得られたフーリェ変換被写体画像を、メモリ
１１に記憶された複数のマッチドフィルタの一つから選
択されたマッチドフィルタ１２と乗算することにより、
画像比較が成し遂げられる。このマッチドフィルタ１２
は、ノイズ及び背景クラッタが取り除かれた目標被写体
のクリアな画像のフーリェ変換を表わす。そのような画
像は、後述するようにして、ビデオバス８’に沿って二
次元ＦＦＴ変換器９から直接、画像を転送することによ
り、「大急ぎで」得られる。メモリ１１は、ダイナミッ
クＲＡＭが「大急ぎで」即ち適応性の応用のために必要
とされるものではあるが、ＥＥＰＲＯＭやメモリディス
クのような不揮発性コンポーネントの形で良い。

【００４５】変換器９からのフーリェ変換画像に加え
て、合成乗算器１０に於いては、マッチドフィルタ周波
数領域ターゲットデータ１２が利用される。マッチドフ
ィルタリングは、マッチドフィルタ並びに二次元フーリ
ェ変換被写体画像を形成するこの周波数領域ターゲット
データの画素毎の乗算として実施される。

【００４６】合成乗算器１０は、図４に詳細に示されて
おり、本質的に、前述した合成乗算器５と同様の構成を
必要とする。従って、合成乗算器１０は、ここではさら
に詳述する必要はないであろう。しかしながら、当業者
によって別の合成乗算器回路が構成でき、またそのよう
な回路が本発明に包含されるべきであるということに注
意されたい。

【００４７】二次元逆ＦＦＴ変換器１３は、前述した図
３に描かれた二次元ＦＦＴ変換器９と同様の本質的要素
を有している。信号の流れ及び動作は、上記二次元ＦＦ
Ｔ変換器９のために前述したのと同様であり、上記ＦＦ
Ｔプロセッサ２０及び２６に対応するＮ個の逆ＦＦＴプ
ロセッサと、行メモリ２１及び列メモリ２７に対応する
Ｎ個の行及び列メモリとを使用するものである。また、
フレームメモリは、フレームメモリ２２，２３，２８，
及び２９と同じ物であることが好ましい。

【００４８】目標被写体が結果の画像のフィールド内に
存在するならば、回復されたマッチドフィルタリングさ
れたディジタル画像は、「相関スポット」即ちこれらの
被写体が置かれた画像の領域に対応するより強画像強度
の領域を含むであろう。画像を走査して、マッチングを
示すどの様な相関スポットの存在をも決定するために、
判定プロセッサ１４が使用される。この判定プロセッサ
１４により行なわれる標準的な相関アルゴリズムは、閾
値，重み付け合計，畳み込み，等である。あるいは、マ
ッチドフィルタリングされたディジタル画像は、当該シ
ステムのオペレータによって観察されるために、単に表
示されることもできる。

【００４９】また、逆フーリェ変換を行なうことなしに
データを分析することも、本発明に包含される。変換の
積分が相関平面に含まれたるエネルギーであるというこ
とを述べているパーセヴァルの定理を使用するような、
周波数領域に於ける相関を分析するためのアルゴリズム
は既知である。エネルギーが大きければ大きいほど、マ
ッチングがある。

【００５０】実施例のディジタル周波数領域相関器の図
６に示された動作シーケンスは、以下のように要約する
ことができる。

【００５１】まず、マッチドフィルタ画像との相関のた
めの電子画像がカメラ２によって獲得される。この獲得
された被写体画像は次に、ディジタル化回路３によりデ
ィジタル化され、画像プロセッサ４でエンハンスされ
る。合成乗算器５に於ける所定のウィンド係数との乗算
の後、複数の行変換プロセッサに於いて第１フレームの
行毎の変換を先ず行なうことにより、ＦＦＴプロセッサ
９でフレームがフーリェ変換される。

【００５２】行変換プロセッサは、第１のプロセッサが
その変換を完了し且つ再びロードされる準備ができた丁
度その時に、ロードされるべき最後のプロセッサがロー
ドされるように、バッファメモリを介してシリアルに供
給される。第１フレームのための行変換が行なわれたと
き、行プロセッサと同様に配列された複数の列変換プロ
セッサに於いて、第１フレームの列が変換される。この
時、第２フレームの行変換も開始される。

【００５３】次に、フーリェ変換されたフレームは、そ
れぞれ、合成乗算器１０に於いて、マッチドフィルタと
順次乗算される。その後、その結果が逆ＦＦＴ変換器１
３に於いて逆高速フーリェ変換され、判定プロセッサ１
４で相関スポットのために分析される。

【００５４】前述した「マッチドフィルタ」が種々の被
写体即ち関心のターゲットの空間画像の単にフーリェ変
換された周波数領域表記であるので、マッチドフィルタ
準備は、以下のようにディジタル周波数領域相関器によ
って、図５に示されたように、「大急ぎで」容易に行な
われることができる。

【００５５】被写体が画像フィールドの中心にあるよう
に、カメラ２が被写体に照準される。画像の獲得で、相
関器の画像処理及びウィンド処理部によって、関心の被
写体の周り及び向こう側の外側シーン情報が取り除かれ
る。クラッタ及び背景の取り除かれた被写体を含む処理
済み画像は次に、二次元高速フーリェ変換変換器９によ
って変換される。その結果として得られる周波数領域デ
ータセットが、適当なマッチドフィルタであり、合成乗
算器１０に於ける次の入力画像との比較のために、ディ
ジタルビデオ画像データバス８’を介してマッチドフィ
ルタ記憶部に直接記憶される。

【００５６】新しい関心の被写体のマッチドフィルタを
素早く準備して記憶するこの能力は、ディジタル周波数
領域相関器に「学習」能力を分け与える。このシステム
は、新しい被写体についてのビジュアル情報の学習並び
に記憶が可能なものであり、次に、画像相関工程を通し
てその時からそれらの被写体を認識することができる。
従って、ディジタル周波数領域相関器は、それが適応性
のシステムとして動作し、その記憶バンクのマッチドフ
ィルタを更新して最適化することができる大きな動作融
通性を提供する。

【００５７】なお、本発明は、上記実施例に限定される
ものではなく、種々の変更修正が可能なことは勿論であ
る。

【００５８】

【発明の効果】以上詳述したように、本発明によれば、
特にビデオ画像と、ビデオ画像入力の分野で与えられる
種々の目標被写体画像との間で、リアルタイムな画像相
関を行ない得る電子システムを提供することができる。

【００５９】また、本発明は、通常のビデオ画像を撮る
のに使用されるような広帯域照明を使用して、リアルタ
イムに画像相関ができるシステムを提供することができ
る。

【００６０】さらに、本発明は、適応性のある、つまり
それらが必要とされるような「大急ぎで」マッチドフィ
ルタが展開されることができるリアルタイム画像相関シ
ステムを提供することができる。

【００６１】さらにまた、本発明は、広いダイナミック
レンジを有するリアルタイム画像相関システムを提供す
ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係るディジタル周波数領域
相関器のブロック構成図である。

【図２】図１中のディジタル化回路のブロック構成図で
ある。

【図３】図１中の二次元ＦＦＴ又は逆ＦＦＴのブロック
構成図である。

【図４】図１中の合成乗算器のブロック構成図である。

【図５】本発明の一実施例に於けるマッチドフィルタの
作成方法のフローチャートである。

【図６】本発明の一実施例に係るマッチドフィルタでの
画像相関方法を説明するためのフローチャートである。

【図７】本発明の一実施例に於ける画像の行に高速フー
リェ変換を行なう方法のフローチャートである。

【図８】本発明の一実施例に従った画像の列に高速高速
フーリェ変換を行なう方法のフローチャートである。

【図９】図１乃至図４に示された相関器で使用するため
の個々の一次元高速フーリェ変換プロセッサ及びワーク
メモリのブロック構成図である。

【符号の説明】１…画像入力、２…カメラシステム、３…ディジタル化
回路、４…画像処理部、５，１０…合成乗算器、６…ウ
ィンドフィルタ記憶部、７…ウィンド係数、８…ディジ
タル化ビデオバス、８’…ディジタルビデオ画像データ
バス、９…二次元ＦＦＴ変換器、１１…マッチドフィル
タ記憶部、１２…マッチドフィルタ周波数領域ターゲッ
トデータ、１３…二次元逆ＦＦＴ変換器、１４…判定プ
ロセッサ、１５…コントローラ、１６…制御信号バス、
１７…オペレータ制御入力、１８…被写体認識結果。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年４月３０日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】発明の名称

【補正方法】変更

【補正内容】

【発明の名称】ディジタル周波数領域相関器

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】０００１

【補正方法】変更

【補正内容】

【０００１】

【産業上の利用分野】本発明は、画像処理に於けるディ
ジタル周波数領域相関器に係り、特に、マッチドフィル
タリング動作に関する。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００１５

【補正方法】削除

───────────────────────────────────────────────────── フロントページの続き (72)発明者デニス・ダブリユ・バーデアメリカ合衆国、ニューヨーク州 11747、メルビル、コープランド・コート５

Claims

【特許請求の範囲】

【請求項１】ビデオ画像入力中に存する被写体画像を
マッチドフィルタを使用して配置するためのディジタル
周波数領域相関器に於いて、ビデオ画像入力をディジタル化画像に変換するためのデ
ィジタル化手段と、パイプライン化並列処理アーキテクチャで配列された複
数の高速フーリェ変換プロセッサ及び複数の画像フレー
ムメモリを含み、上記ディジタル化画像に二次元高速フ
ーリェ変換を行なうための変換手段と、フーリェ変換されたディジタル化画像に周波数領域に於
けるマッチドフィルタを乗算するための周波数領域乗算
手段と、前記ディジタル化画像とマッチドフィルタとの生成物を
処理して分析し、前記ディジタル化画像とマッチドフィ
ルタとの間の相関の程度を決定する処理手段と、を具備し、前記複数の高速フーリェ変換プロセッサはそ
れぞれ、前記ディジタル化画像の一部に一次元高速フー
リェ変換を行なうための手段を含むことを特徴とするデ
ィジタル周波数領域相関器。
【請求項２】ビデオ画像入力中に存する被写体画像を
マッチドフィルタを使用して配置するためのディジタル
周波数領域相関器に於いて、ビデオ画像入力をディジタル化画像に変換するためのデ
ィジタル化手段と、パイプライン化並列処理アーキテクチャで配列された複
数の高速フーリェ変換プロセッサ及び複数の画像フレー
ムメモリを含み、上記ディジタル化画像に二次元高速フ
ーリェ変換を行なうための変換手段と、フーリェ変換されたディジタル化画像に周波数領域に於
けるマッチドフィルタを乗算するための周波数領域乗算
手段と、変換画像とマッチドフィルタとの生成物に逆高速フーリ
ェ変換を行なうための逆変換手段と、前記逆フーリェ変換画像を分析して、前記ディジタル化
画像とマッチドフィルタとの間の相関の程度を決定する
処理手段と、を具備し、前記複数の高速フーリェ変換プロセッサはそ
れぞれ、前記ディジタル化画像の一部に一次元高速フー
リェ変換を行なうための手段を含むことを特徴とするデ
ィジタル周波数領域相関器。
【請求項３】前記複数の高速フーリェ変換プロセッサ
は、複数の高速フーリェ変換行プロセッサと、複数の高
速フーリェ変換列プロセッサと、前記複数の行プロセッ
サのそれぞれのための対応する行メモリと、前記複数の
列プロセッサのそれぞれのための対応する列メモリとを
含み、前記変換手段はさらに、前記複数の行プロセッサのそれ
ぞれに画像フレームの１行を次々と供給するための行メ
モリ供給手段と、前記複数の列プロセッサのそれぞれに
行変換されたフレームの１列を次々と供給するための列
メモリ供給手段とを含み、供給されるべき前記複数の行メモリの内の最後のものに
は、供給されるべき前記行メモリの内の最初のものに対
応する行プロセッサが前記フレームの１行へのフーリェ
変換をほぼ完了した時に供給され、供給されるべき前記複数の列メモリの内の最後のものに
は、供給されるべき前記列メモリの内の最初のものに対
応する列プロセッサが前記行変換されたフレームの列へ
のフーリェ変換を完了した時に供給されることを特徴と
する請求項２に記載のディジタル周波数領域相関器。
【請求項４】前記乗算手段は、前記フーリェ変換され
たディジタル化画像と前記マッチドフィルタとの合成乗
算を行なうための合成乗算手段を含むことを特徴とする
請求項２に記載のディジタル周波数領域相関器。
【請求項５】前記処理手段は、相関スポットを検索す
ることにより前記相関の程度を決定するための手段を含
むことを特徴とする請求項２に記載のディジタル周波数
領域相関器。
【請求項６】前記ディジタル化手段にビデオ画像を供
給するための画像入力手段をさらに具備することを特徴
とする請求項２に記載のディジタル周波数領域相関器。
【請求項７】前記相関器が検索のために必要とされる
種々の被写体の画像の二次元高速フーリェ変換を取るこ
とにより得られた複数のマッチドフィルタを記憶するた
めの記憶手段をさらに具備することを特徴とする請求項
２に記載のディジタル周波数領域相関器。
【請求項８】前記変換手段によるディジタル化画像の
高速フーリェ変換に先立って前記ディジタル化画像をウ
ィンドフィルタリングして、高速フーリェ変換動作によ
って発生されたエイリアシングを減じるためのウィンド
処理手段をさらに具備することを特徴とする請求項２に
記載のディジタル周波数領域相関器。
【請求項９】前記ウィンド処理手段は、画素毎に予め
選択されたウィンド係数を前記ディジタル化画像にディ
ジタル的に乗算するためのウィンド係数乗算手段を含む
ことを特徴とする請求項８に記載のディジタル周波数領
域相関器。
【請求項１０】前記予め選択されたウィンドフィルタ
係数を記憶するための記憶手段をさらに具備することを
特徴とする請求項９に記載のディジタル周波数領域相関
器。
【請求項１１】前記相関器のスループット速度が最小
で秒当り３０画像であることを特徴とする請求項２に記
載のディジタル周波数領域相関器。
【請求項１２】前記変換手段の出力を記憶手段に記憶
するための手段をさらに具備することを特徴とする請求
項２に記載のディジタル周波数領域相関器。
【請求項１３】ビデオ画像入力中に存する被写体画像
をマッチドフィルタを使用して配置するための画像相関
方法に於いて、ビデオ画像入力をディジタル化画像に変換するステップ
と、パイプライン化並列処理アーキテクチャで配列された複
数の高速フーリェ変換プロセッサ及び複数の画像フレー
ムメモリを使用することによって、上記ディジタル化画
像に二次元高速フーリェ変換を行なうステップと、フーリェ変換されたディジタル化画像に周波数領域に於
けるマッチドフィルタを乗算するステップと、前記ディジタル化画像とマッチドフィルタとの生成物を
処理し分析して、前記ディジタル化画像とマッチドフィ
ルタとの間の相関の程度を決定するステップと、を具備し、前記複数の高速フーリェ変換プロセッサはそ
れぞれ、前記ディジタル化画像の一部に一次元高速フー
リェ変換を行なうために使用されることを特徴とする画
像相関方法。
【請求項１４】ビデオ画像入力中に存する被写体画像
をマッチドフィルタを使用して配置するための画像相関
方法に於いて、ビデオ画像入力をディジタル化画像に変換するステップ
と、パイプライン化並列処理アーキテクチャで配列された複
数の高速フーリェ変換プロセッサ及び複数の画像フレー
ムメモリを使用して、上記ディジタル化画像に二次元高
速フーリェ変換を行なうステップと、フーリェ変換されたディジタル化画像に周波数領域に於
けるマッチドフィルタを乗算するステップと、変換画像とマッチドフィルタとの生成物に逆高速フーリ
ェ変換を行なうステップと、前記逆フーリェ変換画像を分析して、前記ディジタル化
画像とマッチドフィルタとの間の相関の程度を決定する
ステップと、を具備し、前記複数の高速フーリェ変換プロセッサはそ
れぞれ、前記ディジタル化画像の一部に一次元高速フー
リェ変換を行なうために使用されることを特徴とする画
像相関方法。
【請求項１５】前記複数の高速フーリェ変換プロセッ
サは、複数の高速フーリェ変換行プロセッサと、複数の
高速フーリェ変換列プロセッサと、前記複数の行プロセ
ッサのそれぞれのための対応する行メモリと、前記複数
の列プロセッサのそれぞれのための対応する列メモリと
を含み、前記二次元高速フーリェ変換を行なうステップはさら
に、前記複数の行プロセッサのそれぞれに画像フレーム
の１行を次々と供給するステップと、前記複数の列プロ
セッサのそれぞれに行変換されたフレームの１列を次々
と供給するステップとを含み、供給されるべき前記複数の行メモリの内の最後のものに
は、供給されるべき前記行メモリの内の最初のものに対
応する行プロセッサが前記フレームの１行へのフーリェ
変換を完了した時に供給され、供給されるべき前記複数の列メモリの内の最後のものに
は、供給されるべき前記列メモリの内の最初のものに対
応する列プロセッサが前記行変換されたフレームの列へ
のフーリェ変換を完了した時に供給されることを特徴と
する請求項１４に記載の画像相関方法。
【請求項１６】前記乗算ステップは、前記乗算を行な
うための合成乗算器を使用するステップを含むことを特
徴とする請求項１４に記載の画像相関方法。
【請求項１７】前記逆フーリェ変換画像を分析するス
テップは、相関スポットを検索するステップを含むこと
を特徴とする請求項１４に記載の画像相関方法。
【請求項１８】次のディジタル化のためにビデオ画像
を獲得するステップをさらに具備することを特徴とする
請求項１４に記載の画像相関方法。
【請求項１９】相関器が検索のために必要とされる種
々の被写体の画像の二次元高速フーリェ変換を取ること
により得られた複数のマッチドフィルタを記憶するステ
ップをさらに具備することを特徴とする請求項１４に記
載の画像相関方法。
【請求項２０】高速フーリェ変換に先立って前記ディ
ジタル化画像をウィンドフィルタリングして、高速フー
リェ変換動作によって発生されたエイリアシングを減じ
るステップをさらに具備することを特徴とする請求項１
４に記載の画像相関方法。
【請求項２１】前記ウィンドフィルタリングステップ
は、画素毎に予め選択されたウィンド係数を前記ディジ
タル化画像にディジタル的に乗算することにより成し遂
げられることを特徴とする請求項２０に記載の画像相関
方法。
【請求項２２】前記ウィンドフィルタ係数を記憶する
ステップをさらに具備することを特徴とする請求項２１
に記載の画像相関方法。
【請求項２３】前記画像相関方法が１／３０秒より短
い時間で成し遂げられることを特徴とする請求項１４に
記載の画像相関方法。
【請求項２４】前記フーリェ変換ディジタル化画像を
記憶メモリに記憶するステップと、前記マッチドフィル
タとして前記メモリの出力を使用するステップとをさら
に具備することを特徴とする請求項１４に記載の画像相
関方法。
【請求項２５】画像をディジタル形式に変換するため
のディジタル化手段と、パイプライン化並列処理アーキテクチャで配列された複
数の高速フーリェ変換プロセッサ及び複数の画像フレー
ムメモリを含み、上記ディジタル化画像に二次元高速フ
ーリェ変換を行なうための変換手段と、フーリェ変換されたディジタル化画像に周波数領域に於
けるマッチドフィルタを乗算するための周波数領域乗算
手段と、変換画像とマッチドフィルタとの生成物に逆高速フーリ
ェ変換を行なうための逆変換手段と、前記逆フーリェ変換画像を分析して、前記ディジタル化
画像とマッチドフィルタとの間の相関の程度を決定する
処理手段と、を具備し、前記複数の高速フーリェ変換プロセッサは、複数の高速
フーリェ変換行プロセッサと、複数の高速フーリェ変換
列プロセッサと、前記複数の行プロセッサのそれぞれの
ための対応する行メモリと、前記複数の列プロセッサの
それぞれのための対応する列メモリとを含み、前記変換手段はさらに、前記複数の行プロセッサのそれ
ぞれに画像フレームの１行を次々と供給するための行メ
モリ供給手段と、前記複数の列プロセッサのそれぞれに
行変換されたフレームの１列を次々と供給するための列
メモリ供給手段とを含み、供給されるべき前記複数の行メモリの内の最後のものに
は、供給されるべき前記行メモリの内の最初のものに対
応する行プロセッサが前記フレームの１行へのフーリェ
変換をほぼ完了した時に供給され、供給されるべき前記複数の列メモリの内の最後のものに
は、供給されるべき前記列メモリの内の最初のものに対
応する列プロセッサが前記行変換されたフレームの列へ
のフーリェ変換を完了した時に供給され、前記複数の画像フレームメモリは、２個のディジタル化
画像フレームを記憶するための第１の手段と、２個の行
変換画像フレームを記憶するための第２の手段とを含
み、前記行メモリ供給手段は、第１フレームが完全に行変換
された時に、前記第１の手段からの第２フレームを前記
複数の行プロセッサに行毎に次々と供給し、前記列メモリ供給手段は、前記行メモリ供給手段が前記
第１の手段からの前記第２フレームを前記複数の行メモ
リへ供給している間に、前記第２の手段からの第１フレ
ームを前記複数の列プロセッサに列毎に次々と供給する
ことを特徴とするディジタル周波数領域相関器。
【請求項２６】画像をディジタル形式に変換するステ
ップと、パイプライン化並列処理アーキテクチャで配列された複
数の高速フーリェ変換プロセッサ及び複数の画像フレー
ムメモリを使用して、上記ディジタル化画像に二次元高
速フーリェ変換を行なうステップと、フーリェ変換されたディジタル化画像に周波数領域に於
けるマッチドフィルタを乗算するステップと、変換画像とマッチドフィルタとの生成物に逆高速フーリ
ェ変換を行なうステップと、前記逆フーリェ変換画像を分析して、前記ディジタル化
画像とマッチドフィルタとの間の相関の程度を決定する
ステップと、を具備し、前記複数の高速フーリェ変換プロセッサは、複数の高速
フーリェ変換行プロセッサと、複数の高速フーリェ変換
列プロセッサと、前記複数の行プロセッサのそれぞれの
ための対応する行メモリと、前記複数の列プロセッサの
それぞれのための対応する列メモリとを含み、前記二次元高速フーリェ変換を行なうステップはさら
に、前記複数の行プロセッサのそれぞれに画像フレーム
の１行を次々と供給するステップと、前記複数の列プロ
セッサのそれぞれに行変換されたフレームの１列を次々
と供給するステップとを含み、供給されるべき前記複数の行メモリの内の最後のものに
は、供給されるべき前記行メモリの内の最初のものに対
応する行プロセッサが前記フレームの１行へのフーリェ
変換を完了した時に供給され、供給されるべき前記複数の列メモリの内の最後のものに
は、供給されるべき前記列メモリの内の最初のものに対
応する列プロセッサが前記行変換されたフレームの列へ
のフーリェ変換を完了した時に供給され、前記ディジタル化画像に二次元高速フーリェ変換を行な
うステップはさらに、第１のディジタル化画像フレームメモリに画像フレーム
を記憶するステップと、次に、第１の行変換フレームメモリに行変換されたフレ
ームを記憶するステップと、次に、第１の行及び列変換画像フレームメモリに行及び
列変換されたフレームを記憶するステップと、第２のディジタル化画像フレームメモリに第２画像フレ
ームを記憶するステップと、次に、前記行変換された第１フレームを次々と前記列メ
モリに供給するステップと同時且つ前記第１のディジタ
ル化画像フレームメモリに第３画像フレームを記憶する
ステップと同時に、前記第２画像フレームを次々と前記
複数の行メモリに供給するステップと、次に、前記行変換された第２画像フレームを次々に前記
列メモリに供給するステップと同時に、前記第３画像フ
レームを次々に前記複数の行メモリに供給するステップ
と、第２の行及び列変換画像フレームメモリに行及び列変換
された第２画像フレームを記憶するステップと、前記第１の行変換フレームメモリに行変換された第３画
像フレームを記憶し、次に、前記行変換された第３フレ
ームを次々と前記複数の列プロセッサに供給し、次に、
前記第１の行及び列変換画像フレームメモリに行及び列
変換された第３フレームを記憶するステップと、を有す
ることを特徴とする画像相関方法。