JPH08126000A - デジタル画像処理装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 ＴＶフィールド用の相関データが近実時間で
得られ、それら相互間で相関演算を実施可能で、基準画
像とその種々のパラメータ、例えば基準画像用画素の重
み付け、そのサイズ、形状、信頼度又は新たな基準値へ
の適合速度を、相関データおよび関連のパラメータによ
り変更可能の相関追跡装置を提供する。 【解決手段】 基準画像を入力画像と複数の相関位置で
相関させ、最適な重ね合わせ位置を決定するデジタル画
像処理装置は、該入力画像の画素値を表すデジタルデー
タ受信用の画像データ入力手段と、そこに接続されてデ
ータを並列受信する一連の処理セルとを含みそれらは、
基準画像中の関連の画素の値を表す記憶用の手段と、処
理セルの中に記憶の基準値と、処理セルに供給の入力画
像データに対して部分相関データを決定する手段と、部
分相関データ出力手段とを含み、処理セルの中の第一セ
ルの下流側の各処理セルが、部分相関データを前のセル
から受信する部分相関データ入力手段を含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】 本発明は、二次元基準画像
を入力画像の一連の位置に相関させるためのデジタル画
像処理装置に関する。

【０００２】

【従来の技術】 通常、このような装置は、ビデオデー
タの各フレームを、追跡される物体の小さな長方形の
「基準画像」と比較することによって機能する相関追跡
装置に使用される。相関装置は、現在の画像中の、基準
画像が現在のビデオ画像と最適に整合する位置を見いだ
す。この位置データを使用して追跡装置に物体を「追
従」させ、また、これを使用して航法データを得て、物
体を線で区切るようにすることもできる。

【０００３】

【発明が解決しようとする課題】 前記のような相関追
跡装置は公知であるが、ＴＶフィールド用のデジタル画
像データの走査もしくは読出しと、相関演算の完了との
間に実質的な遅延が出る。この遅延が追跡装置の作動を
減速し、相関の種々のパラメータを相関の結果にしたが
って適合することを困難にする。したがって、ＴＶフィ
ールド用の相関データを近実時間で提供することがで
き、それにより、ＴＶフィールドの間で相関演算を実施
することができる相関追跡装置の必要性が存在する。ま
た、基準画像およびそれに関する種々のパラメータ、例
えば基準画像を構成する画素の重み付け、基準画像のサ
イズおよび形状ならびに信頼度もしくは新たな基準値へ
の適合速度を、追跡装置によって決定される相関データ
および関連のパラメータにしたがって変更することがで
きる相関追跡装置の必要性が存在する。

【０００４】

【課題を解決するための手段】 我々は、二次元基準画
像をラスタ走査画像中の可能なあらゆる位置に対して相
関させることができ、画像フィールドの最後の画素の受
信から事実上遅延なしで、全画像フィールドの相関面を
生成する相関装置を設計した。基準画像は、フライバッ
ク期間中に完全に変更することができ、基準画像の各画
素は、全相関和に対するその寄与を減らすように重み付
けすることもできるし、完全にオフにすることもでき
る。これが、基準画像が長方形以外の形状を帯びること
を可能にし、例えばドーナツのようなリング形の基準画
像を選択することもできる。

【０００５】相関装置のアーキテクチャは、その非常に
高い作動速度のおかげで、また、基準画像画素重み付け
の包含により、ＡＳＩＣを用いる具現態様を、適切な高
性能デジタル信号プロセッサとの関連において、全フィ
ールド相関（フライバック中に完全な基準画像更新を行
う）および限定フィールド先進相関技術に使用すること
を可能にする。

【０００６】したがって、本発明は、基準画像を入力画
像と複数の相関位置で相関させ、その最適な重ね合わせ
位置を決定するためのデジタル画像処理装置において、
該入力画像の画素値を表すデジタルデータを受信するた
めの画像データ入力手段と、互いに接続され、また該画
像入力手段に接続されてそこからデータを実質的に並列
に受信するための一連の処理セルであって、それぞれ
が、基準画像中の関連の画素の値を表すそれぞれの基準
値を記憶するための手段と、処理セル中に記憶された基
準値および処理セルに供給された入力画像データに対し
て相関演算を実行して部分相関データを決定するための
手段と、部分相関データを出力するための部分相関デー
タ出力手段とを含み、一連の処理セルの中の第一のセル
の下流側にある各処理セルが、部分相関データを前のセ
ルから受信するための部分相関データ入力手段を含み、
一連の処理セルの中の最後の処理セルが、各相関位置で
の相関度を示すデジタル相関データの流れを出力するた
めの相関データ出力手段を有するところの一連の処理セ
ルとを含む装置を提供する。

【０００７】好ましくは、本装置は、基準画像と入力画
像との最適な重ね合わせ位置を決定するための、該デジ
タル相関データの流れに応答する手段を含む。

【０００８】各処理セル中の相関演算は、そのセルに入
力された画像データ値と、そのセルの基準値との絶対差
を決定することを含むことが好ましい。相関演算は、該
絶対差を、上流側の処理セルから受信された部分相関デ
ータと合わせる、または合計して、下流側の処理セルに
出力するための部分相関データを形成することを含むこ
とが好ましい。各処理セルは、該セルに関するそれぞれ
の相関重み付け値を記憶するための手段と、該絶対差値
を該相関重み付け値で重み付けまたは掛け算するための
手段とを含むことが好ましい。処理セルの各相関重み付
け値は、下記の少なくとも一つにしたがって修正するこ
とが好ましい。

【０００９】（ｉ）画像の、最適な重ね合わせ位置の基
準画像に相当する部分によって定められる最適な重ね合
わせ配列における画素の現在値、（ii）基準画像中の画
素、および(iii) 最適な重ね合わせ配列と同様なサイズ
であり、それに隣接する配列における現在の画素。

【００１０】各処理セルは、下流側の処理セルに供給さ
れる部分相関データに所定の遅延を適用するためのラッ
チ手段または他の遅延手段を含むことが好ましい。

【００１１】好ましくは、最適な重ね合わせ配列におけ
る入力画像画素の値を使用して、基準画像の相当する画
素の値を修正する。

【００１２】該修正は、最適な重ね合わせ配列における
相当する画素の値にしたがって、また、各画素の各基準
重み付け値にしたがって、基準画像の画素の値を修正す
ることを含むことが好ましい。各基準重み付け値は、基
準画像の画素値と、最適な重ね合わせ配列の画素値との
間の絶対差を使用して決定することができる。

【００１３】本発明のもう一つの態様においては、デジ
タル化基準画像をデジタル化入力画像と複数のサーチ位
置で次々に相関させて、該基準画像と、入力画像の相当
するサイズの部分との最適な重ね合わせ位置を決定する
ための、基準画像に相当する配列を表す複数の相関重み
値であって、該相関の間に、基準画像の関連値に相当す
る相関項の重み付けを調節するために使用される相関重
み値を記憶するための記憶手段と、記憶された相関値を
前の相関にしたがって調節するための手段とを含むデジ
タル画像処理装置が提供される。

【００１４】さらなる態様においては、本発明は、デジ
タル化基準画像をデジタル化入力画6像と複数のサーチ
位置で次々に相関させて、該基準画像と、入力画像の相
当するサイズの部分との最適な重ね合わせ位置を決定す
るための、該デジタル化基準画像を表すデータを記憶す
るための基準記憶手段と、該デジタル化基準画像を表す
記憶されたデータを前の相関にしたがって修正するため
の手段とを含み、該修正手段が、該基準記憶手段の各位
置に一つずつそれぞれ関連するフィルタ値を記憶するた
めの手段を含み、該修正手段が、記憶された基準データ
それぞれの値を、入力画像上の最適な重ね合わせ区域の
相当する値にしたがって、それに関連する現在のフィル
タ値に依存する程度にまで調節するところのデジタル画
像処理装置を提供する。

【００１５】もう一つの態様において、本発明は、実質
的に上記の装置において実現されるようにしてデータを
相関させる方法を提供する。

【００１６】本発明を上記に説明したが、本発明は、上
記に述べた特徴または以下に記載する特徴のいかなる創
意的な組み合わせにも及ぶ。

【００１７】

【発明の実施の形態】 本発明は種々の方法で実施する
ことができるが、以下、単なる例として、添付の図面を
参照しながら、その種々の実施の形態および変形の形態
を詳細に記載する。

【００１８】デジタル化ラスタ走査単色画像（ビデオ）
は、データ語（ソース画像または場面の画素強度に相当
する）、画素クロックおよびライン・フィールド同期化
パルスの流れからなる。画像または場面は、左から右
へ、かつ上から下へとラインごとに走査される。相関装
置が、すでに十分に確立された技術の変形形態を用い
て、二次元たたみ込み装置と同様な方法で、このデータ
流に対して演算を実行する。この相関装置は、以前に利
用できたたたみ込み装置よりもはるかに大きなそのサイ
ズのおかげで（通常の９×９の最大配列サイズに比べ、
３２×１６の配列サイズを持つ）、また、以下さらに詳
細に説明する重み付き差分相関アルゴリズムを実現する
ために設計されたその基本セル構造のおかげで、以前に
利用できたたたみ込み装置とは異なる。

【００１９】相関装置の作動モードの説明は、画像デー
タが１ラインあたり５１２個の画素からなるものと仮定
して行う。画素クロック速度および画像のライン数はこ
の説明にとって重要ではない。画素データは８ビット、
すなわち２５６グレーレベルである。相関装置基準画像
は、最大で３２×１６画素（合計５１２）であると仮定
されるが、拡張自在のアーキテクチャによってさらに大
きくすることもできる。

【００２０】従来の３×３たたみ込み装置アーキテクチ
ャ１０を図１に示す。画像データは、左上１２からたた
み込み装置に進入し、５１２の段遅延により、３個のラ
インチャネル１４、１６、１８に分けられる。各チャネ
ルは３個の遅延段２０からなり、各遅延が画素クロック
の１サイクルに等しいものである。したがって、画像デ
ータは、たたみ込み演算に要する９個の画素すべてが九
つの遅延状態で同時に利用できるように操作されたもの
である。９個の乗算器２２および１個の加算器２４をも
って、たたみ込み装置は完成する。加算器２４は、それ
ぞれが８ビットよりも大きい（乗算されたとき）９個の
数字を加算するために必要であることに注意すること。

【００２１】３２×１６の相関機能は、３個のチャネル
の代わりに、それぞれが３２の遅延状態を含む１６個の
チャネルを用いることにより、同様な方法で実現するこ
とができる。５１２個の差分装置（ディフェレンサ）が
９個の乗算器に代わり、５１２個の８ビット数を加算す
るための加算器が必要になるであろう。この後者の要件
が、結果として、システムおよび和を出すための広範囲
なハードウェアを通しての長い遅延を招くであろう。

【００２２】図２を参照して理解されるように、我々
は、基本的なたたみ込み装置アーキテクチャを反転し
て、画像データがすべての差分装置３０に同時に供給さ
れ、同様に３個のチャネル３４、３６、３８に編成され
た９個の遅延３２（それぞれ２個の遅延が長く、チャネ
ル間にライン遅延３９をもつ）を使用して、差分装置間
の最終加算の部分和がシフトされるようにしうることを
見いだした。このアーキテクチャを拡張して、それぞれ
３２個の遅延段をもつ１６個のチャネル（チャネル間に
適切なライン遅延がある）を用いて、５１２個の絶対差
を出す３２×１６の相関演算を提供しうることが容易に
理解されよう。

【００２３】この逆転アーキテクチャから得られる主な
利点は、加算処理が分散されてシステムを通しての全体
の遅延に寄与しなくなることにある。このことから、相
関装置設計において、画像の最後の画素の到達から相関
の最後の値の出力までの遅延を、最小限の２画素クロッ
クサイクルにできる利点が得られる。

【００２４】図３を参照すると、これは、ｍ×ｎの基準
画像を入力画像と相関させるための本発明による相関装
置を示すものであり、処理セル４０間の相互接続を表し
ている。簡潔に述べるならば、処理セルは、１ラインに
ｎ個のセルのｍラインで接続され、各ライン中のｎ番目
のセルがライン記憶装置４１を介して次のラインの最初
のセルに接続されている。画素データは各セル４０に並
列に供給され、それぞれの基準データ値および相関重み
値を各セルの中に刻時するためのラインがある。最後の
処理セル４０の出力が、処理セルによって計算されたす
べての部分相関和の総計値を提供し、相関マップに記憶
される第一の相関値を提供する。相関値は集合的に相関
面を表す。相関値は、基準画像と入力画像とのそれぞれ
の重複に関して、基準画像と入力画像との間の相関の尺
度を提供するものであり、低い値ほど良好な相関を示
す。

【００２５】１個の処理セルを図４に示す。処理セル
は、８ビットの絶対差分装置４２、乗算器４４および部
分和加算器４６を含む。次のセルへの部分和出力は、レ
ジスタ４８により、１画素クロックサイクルだけ遅延さ
れる。また、セルの中には、基準画像画素データおよび
乗数（ＡＣ重み）を保持するためのレジスタ５０、５２
がある。本実施態様においては、複雑さを最小限にする
理由から、乗数の値は、１、１／２、１／４、１／８、
１／１６、１／３２および、スイッチオフされている
（すなわち、全相関和に寄与しない）セルに相当する０
の値に限定している。基準データレジスタ５０および重
み係数レジスタ５２は、それらの入力が前のセルの等価
レジスタの出力に接続されている。これは、全部で５１
２バイトの基準値および５１２個の重み係数値を１個の
並列ポートを介して一連のセルにロードすることができ
るように構成されている。同様に、基準データおよび重
みデータを同様なポートを介してシステムから読み出す
ことができる。したがって、レジスタは、データへのア
クセスを要する外部処理のための読み出し／書き込み記
憶装置として働くことができる。レジスタにロードする
ために使用されるクロックは、必要ならばいかなるとき
でもビデオデータの流れを止めることなく基準データお
よび重みデータを変更することができるよう、ビデオデ
ータクロックから完全に独立したものである。

【００２６】差分相関装置の主な要件は、基準データと
画像データとの間で最適な整合をサーチすることであ
る。これは最小の相関和に相当する。したがって、相関
装置の出力における最小値検出器が、最後の最適な整合
が位置付けられた時点を示し、最小値が出たときにライ
ン番号および画像のそのラインへの画素クロックサイク
ルを記録するならば、画像の最適な整合部分を後で審査
することができる。

【００２７】図５、図６、図７は、６４個の差分セルを
３２×２の配列で提供するＡＳＩＣを示す。１個のＡＳ
ＩＣに二つのライン遅延が存在する。しかし、各ＡＳＩ
Ｃ内でセルどうしを内部的に接続する場合とちょうど同
じ方法で、ＡＳＩＣどうしを直列に接続するだけで、完
全な３２×１６の配列を達成することができる。配列サ
イズを拡大するこの能力は、３２×１６の場合に限定さ
れない。

【００２８】上記の処理セルの配列は相関データを近実
時間で提供し、それにより、サーチ区域にわたる相関面
を構成する相関値が、画像の、基準画像と現在相関して
いる区域から最後の関連の画素を得たのち数画素クロッ
クサイクル以内で利用できるようになる。これは、相関
最小値、すなわち基準画像と入力画像との間の最適な重
ね合わせの正確な位置を次のＴＶフィールドからのデー
タが到達する前のフライバック期間中に決定できること
を意味する。この期間内に、以下に説明するように、直
前のＴＶフィールドからのデータにしたがって基準画像
および相関重みを更新することができる。

【００２９】相関追跡装置は、より大きな追跡システム
のサブシステムになる。相関追跡装置は、基準画像と、
進入する実時間ビデオデータの区域、すなわちサーチ区
域との間の整合を求めてサーチし、実時間追跡情報、す
なわち目標座標および追跡特性値を提供する。進入する
ビデオデータの区域から基準配列をロードすることも可
能であるし（目標指定操作）、事前に記録した画像から
それをロードすることも可能である（目標捕捉）。

【００３０】相関機能は、基準画像と、サーチ区域の同
じサイズの区域との画素ごとの比較（区別）である。相
関計算は、基準配列およびサーチ配列に対するさらなる
情報を含む。相関計算の間、各画素の比較は、ＡＣｗｔ
配列と呼ばれるデータ区域から得られる‘重み’を加え
られる。この配列は基準配列と同じサイズであり、それ
との間で直接的な画素対画素の対応を有している。ＡＣ
ｗｔ配列の内容は、追跡の初めに、各値が最大値になる
ようにプリセットされる。ＡＣｗｔ配列内の個々の値
は、追跡が続くにつれ、フィールドごとに変化する。個
々の項目の偏差は、基準配列についてフィールドごとに
位置付けられた整合を包囲する画像に依存する。これを
実施するための技法の一例を以下に示す。

【００３１】各相関計算は、次式によって示される。 Σ ＡＣｗｔ［ｉ，ｊ］×ａｂｓ（ｐｒｅｓ［ｉ，ｊ］
−ｒｅｆ［ｉ，ｊ］） （ｉ＝１：３２，ｊ＝１：１６） 式中、ｉは、配列を処理するための画素カウンタであ
り、ｊは、配列を処理するためのラインカウンタであ
り、ＡＣｗｔは、画素［ｉ，ｊ］のスケーリング値であ
り、ｐｒｅｓは、重複する基準配列の［ｉ，ｊ］位置に
相当するサーチ配列からの現在の配列のグレースケール
値であり、ｒｅｆは、位置［ｉ，ｊ］の基準配列からの
グレースケール値である。計算は、基準配列とサーチ配
列との可能な重複ごとに実行して、相関和配列または相
関面を生成する。最適な相関整合は最小値の位置に相当
する。

【００３２】相関作業が完了すると、結果が制御プロセ
ッサによって利用され、画像が変化するにつれ、基準配
列が、元の基準値と位置付けられた目標との間の偏差を
考慮しながら更新される。基準配列の更新は、元の配列
の分数を、位置付けた目標画像の逆数と合わせることに
よって実行される。分数、すなわち‘重み’値は、ＡＲ
ｗｔ配列から得られる。この配列は基準配列と同じサイ
ズであり、それとの間で直接的な対応を有している。こ
の配列の内容は、追跡の初めに、各値が最小値になるよ
うにプリセットされる。ＡＲｗｔ配列内の値は、追跡が
続くにつれ、フィールドごとに変化する。個々の項目の
偏差は、基準配列における数値と、検出された相関最小
値によって定められる基準配列のサイズの区域における
相当する値との間の差分に依存する（図８を参照）。Ａ
Ｒｗｔ値を計算するための技法の一例を以下に示す。

【００３３】相関追跡の典型的な一連の動作は次のとお
りである。 ステップ／ 動作 ０／ 相関装置はアイドリング状態にあり、主システム
からの出発座標を待っている。ＡＣｗｔ配列における各
値は最大値にセットされ、ＡＲｗｔ配列における各値は
最小値にセットされている。 １／ 主システムが目標区域の座標を定め、また、第一
のサーチ区域をも画定する。 ２／ 相関装置が進入するビデオデータをフィールド記
憶装置の中に絶えず記憶する。目標座標を受信したの
ち、相関装置は、フィールド記憶装置の指定区域から基
準配列をロードする。 ３／ 次のフィールドで、相関装置は、サーチ区域にわ
たって相関計算を実行して相関和配列を生成する。 ４／ 以下のデータが相関追跡装置システムによって使
用される。 ａ）次のフィールドにおけるサーチ区域の座標を定め、
基準配列を修正するのに使用されるフィールド区域を定
めるための、相関最小値の位置および値 ｂ）検出した最小値に関する北、東、南および西の四つ
の位置の相関値 ｃ）基準配列の図心 ｄ）相関最小値の位置によって定められる現在のフィー
ルド内の基準配列のサイズの区域の図心 ｅ）基準配列グレー値の平均値 ｆ）相関最小値の位置によって定められる現在のフィー
ルド内の基準配列のサイズの区域の平均値 ｂ）〜ｆ）のデータを使用して、追跡特性値、すなわ
ち、位置付けられた物体が求める物体にどれくらい整合
するかを表す値を生成する。この特性値が低いならば、
追跡装置を惰行させることができ、ＡＣｗｔ、ＡＲｗｔ
および基準配列は更新されない。ステップ６に進む。 ｇ）デコイ回避に使用する可能性がある、二番目に最適
な相関最小値の位置および値 ５／ 追跡特性が高いならば、検出した相関最小値の位
置を使用して、ＡＣｗｔおよびＡＲｗｔ配列を更新す
る。 ６／ 新たなＡＲｗｔ配列および新たに位置付けた相関
最小値を用いて、基準配列を更新する。 ７／ 制御プロセッサがサーチ区域の次のフィールド位
置を定める。 ８／ ステップ３に進む。

【００３４】図９は、相関計算に使用される二つの区域
およびそれら二つの間の重複領域の例を示す。サーチ区
域は、基準区域が通過するＦＦＯＶのサブ領域を画定す
る。サーチ区域は、ＦＦＯＶの境界を越えて延びること
ができるが、基準区域はそうすることはできない。サー
チ区域によって画定されるが、ＦＦＯＶと重複する画像
データは処理されない。その結果、サーチ区域と同じ大
きさおよび画像位置を占める相関区域が得られる。この
例では、３２画素×１６ラインの５１２の有効な相関が
実行される。

【００３５】この例におけるサーチ区域は、１ラインに
３２画素の１６ラインである。各フィールド相関の間、
この区域は名目的には目標の期待位置の付近に中心を置
き、３２×１６の区域に対する真の中心はない。このサ
ーチ区域の位置は、各フィールドの処理の初めに、制御
プロセッサによって定められる。

【００３６】基準区域は、１ラインに３２画素の１６ラ
インである。これは、サーチ区域内でサーチすべき画像
の記録を含む。基準区域の内容は、目標画像が変化する
につれて、フィールドごとに修正することができる。以
下を参照すること。相関シーケンス、指定または捕捉の
初めに、基準配列が、相関装置により、制御プロセッサ
によって定められる位置の進入画像データから、または
あらかじめ記録された画像リストからロードされる。

【００３７】再び図８を参照すると、これは、ＡＣｗｔ
配列の値を計算するのに使用される一般区域を示す。相
関最小（ＣＭ）位置は、現在のフィールドについて検出
された相関最小値、すなわち、相関処理が完了した後の
相関最小値に位置する基準配列のサイズの区域である。
ＡＣｗｔ値の変化を計算するのに使用される画像区域
は、相関最小位置を包囲する８個の同様な区域に等し
い。

【００３８】一般的な場合、検出された相関最小値の位
置は、ＦＦＯＶ境界に近づかず、指示されたデータ区域
が使用される。相関最小値がＦＦＯＶ境界に近づき、そ
れにより、包囲する区域のいくつかが境界を越えるなら
ば、使用する画像区域が変更される。この区域は常に８
個のさらなる配列区域に等しいが、これらの区域は、相
関最小値に関して異なるように位置している。

【００３９】図１０および図１１は、位置付けられた相
関最小値がＦＦＯＶ境界に近づき、必要とされる包囲区
域を境界と、（ａ）では左および上で、（ｂ）では右お
よび下で、重複させている二つの例を示す。また、一つ
の境界とだけ交差させることも可能であり、その場合、
ＣＭは、配列区域９個の群の中心位置の一つを占める。

【００４０】上述したように、ＡＣｗｔおよびＡＲｗｔ
配列を更新するのに必要である画像データ区域は、ＦＦ
ＯＶ内の相関最小値の位置によって許される、新たに見
いだされた相関最小値の位置およびその周囲に位置する
８個の同様な区域における画像データである。図９およ
び図１０、図１１を参照すること。

【００４１】更新処理の例は次のとおりである。１／
１ラインに３２画素の１６ラインの一時的配列を作成す
る。各項目は、基準配列と相関最小値を包囲する８個の
区域との間の絶対差の和の平均値から基準配列と相関最
小配列との間の絶対差を引いたものである。ｔｅｍｐ項
目がしるされ、それは二進法の分数を含むことができ
る。 ｔｅｍｐ[ｉ，ｊ]＝{Ｓｕｍ(ｋ＝１：８)ａｂｓ(Ａｋ
[ｉ，ｊ]−ｒｅｆ[ｉ，ｊ］}／８−ａｂｓ(ｃｍ[ｉ，
ｊ]−ｒｅｆ[ｉ，ｊ]) 式中、ｉは、ｔｅｍｐ配列の画素値であり、ｊは、ｔｅ
ｍｐ配列のライン値であり、Ａは、相関最小値を包囲す
るデータ区域の一つであり、ｃｍは、相関最小配列であ
り、ｒｅｆは、基準配列である。 ２／ ｔｅｍｐ配列最大値、平均値および最小値を記
す。 ３／ ｔｅｍｐ配列をさらに次のように修正する。配列
における項目ごとに、ｔｅｍｐ［ｉ，ｊ］＜平均値なら
ば、 ｔｅｍｐ［ｉ，ｊ］＝（ｔｅｍｐ［ｉ，ｊ］−平均値）
／（平均値−最小値） であり、逆に、ｔｅｍｐ［ｉ，ｊ］＞＝平均値ならば、 ｔｅｍｐ［ｉ，ｊ］＝（ｔｅｍｐ［ｉ，ｊ］−平均値）
／（最大値−平均値） である。４／ 次に、ＡＣｗｔ配列がｔｅｍｐ配列にお
ける分数の効果を切り捨てるようにＡＣｗｔ配列を修正
する。 ＡＣｗｔ［ｉ，ｊ］＝ｔｅｍｐ［ｉ，ｊ］＋ＡＣｗｔ
［ｉ，ｊ］ ＡＣｗｔ配列の個々の項目は、物体の長期的特徴を強調
し、短期的特徴、すなわち交差するデコイまたは短期間
のデコイを無視することを可能にする。長期的特徴に関
連しない画素位置は、低い値を有し、相関和にわずかし
か寄与しない傾向を示す。

【００４２】次に、ＡＲｗｔ値を計算する方法を説明す
る。ＡＲｗｔ配列は、基準配列からのデータおよび検出
された相関最小値の位置の場面データを用いて更新され
る。更新処理は次のとおりである。 １／ １ラインに３２画素の１６ラインの一時的配列を
作成する。各項目は、基準配列と相関最小配列との間の
絶対差である。 ｔｅｍｐ［ｉ，ｊ］＝ａｂｓ（ｃｍ［ｉ，ｊ］−ｒｅｆ
［ｉ，ｊ］） 式中、ｃｍは、相関最小配列である。 ２／ ｔｅｍｐ配列の最大値、平均値および最小値を記
す。平均値は、二進法の分数を含むことができる。 ３／ ｔｅｍｐ配列をさらに次のように修正する。配列
における項目ごとに、ｔｅｍｐ［ｉ，ｊ］＜平均値なら
ば、ｔｅｍｐ［ｉ，ｊ］＝（平均値−ｔｅｍｐ［ｉ，
ｊ］）／［２×（平均値−最小値）］であり、逆に、ｔ
ｅｍｐ［ｉ，ｊ］＞＝平均値ならば、ｔｅｍｐ［ｉ，
ｊ］＝（平均値−ｔｅｍｐ［ｉ，ｊ］）／（最大値−平
均値）である。 ４／ 次に、ＡＲｗｔ配列を次のように更新する。 ＡＲｗｔ［ｉ，ｊ］＝ｔｅｍｐ［ｉ，ｊ］＋ＡＲｗｔ
［ｉ，ｊ］ ＡＲｗｔ配列の個々の項目は、物体の長期的特徴を基準
記録の中に存続させることができる。短期的特徴、すな
わち交差するデコイまたは短期間のデコイは無視され
る。ＡＲｗｔの更新が完了すると、基準配列を次のよう
に更新することができる。 ｒｅｆ［ｉ，ｊ］＝（ＡＲｗｔ［ｉ，ｊ］×ｃｍ［ｉ，
ｊ］）＋（１−ＡＲｗｔ［ｉ，ｊ］×ｒｅｆ［ｉ，
ｊ］）

【００４３】相関装置のハードウェアは、種々の方法で
具現化することができるが、我々は、それぞれが１ライ
ンに３２個の処理セルの２ラインを含む８個の同様なＡ
ＳＩＣによって構成される相関装置を設計した。ＡＳＩ
Ｃを直列に接続して、１ラインに３２個の画素の１６ラ
インからなる基準配列を記憶することができる相関装置
を得た。画素データの入力、セル間およびライン間の部
分相関データの転送ならびに、基準データおよび相関重
み付けデータのそれぞれの処理セルの中への刻時は、図
５、図６、図７に関連して示す方法と同様にして実施し
た。

【００４４】ＡＳＩＣを多数（８個）含む相関装置５８
を組み込んだ相関追跡装置５６の一例を図１２、図１３
に示す。

【００４５】基準データおよび相関重み付けデータを更
新し、入力画像内の追跡される物体の座標を詳細に示す
ための種々の処理段階は、デジタル信号プロセッサ６０
によって実現される。本相関装置はまた、上述した種々
の更新段階で使用するための各ビデオフィールドフレー
ムを記憶するフィールドデータ記憶装置６２と、相関マ
ップを構成する相関値を記憶するための相関マップ記憶
装置６４とを、フィールド制御装置６６およびバッファ
６８とともに含む。

【図面の簡単な説明】

【図１】 ３×３のたたみ込み装置のアーキテクチャを
表す略図。

【図２】 本発明による、反転した３×３のたたみ込み
装置のアーキテクチャを表す略図。

【図３】 １行にｎ個のセルのｍ行からなる本発明によ
る相関装置の略図。

【図４】 図３の相関装置の処理セルを表すブロック
図。

【図５】 １ラインに３２個の処理セルの２ラインを提
供するアプリケーション特定的集積回路（ＡＳＩＣ）の
一部分を示すブロック図。

【図６】 １ラインに３２個の処理セルの２ラインを提
供するアプリケーション特定的集積回路（ＡＳＩＣ）の
他の一部分を示すブロック図。

【図７】 １ラインに３２個の処理セルの２ラインを提
供するアプリケーション特定的集積回路（ＡＳＩＣ）の
更に他の一部分を示すブロック図。

【図８】 ＡＣｗｔ配列の値を計算するのに使用される
一般区域を示す図。

【図９】 相関計算に使用される二つの区域およびそれ
ら二つの間の重複領域を示す図。

【図１０】 相関最小長方形が全視野の二つの境界の近
くにある一つの例を示す図。

【図１１】 相関最小長方形が全視野の二つの境界の近
くにあるもう一つの例を示す図。

【図１２】 ＡＳＩＣ８個を含む相関装置を組み込んだ
相関追跡装置の実施形態の一部分を示す略図。

【図１３】 ＡＳＩＣ８個を含む相関装置を組み込んだ
相関追跡装置の実施形態の他の一部分を示す略図。

【符号の説明】

１０アーキテクチャ １２左上 １４ラインチャネル １６ラインチャネル １８ラインチャネル ２０遅延段 ２２乗算器 ２４加算器 ３０差分装置 ３２チャネル ３４チャネル ３６チャネル ３８チャネル ３９ライン遅延 ４０処理セル ４１ライン記憶装置 ４２絶対差分装置 ４４乗算器 ４６部分加算器 ４８レジスタ ５０基本データレジスタ ５２係数レジスタ ５６相関追跡装置 ５８相関装置 ６０デジタル信号プロセッサ ６２フィールドデータ記憶装置 ６４相関マップ記憶装置 ６６フィールド制御装置 ６８バッファ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 バリー・アイザツク イギリス国．デボン・ピイエル６・６デイ イー，プリマウス，クリツタフオード・ロ ード，（番地なし）ブリテツシユ・エアロ スペース（システムス・アンド・エクイプ メント）・リミテツド内 (72)発明者 マイク・ポーレイ イギリス国．デボン・ピイエル６・６デイ イー，プリマウス，クリツタフオード・ロ ード，（番地なし）ブリテツシユ・エアロ スペース（システムス・アンド・エクイプ メント）・リミテツド内

Claims (13)

【特許請求の範囲】
1. 【請求項１】 基準画像を入力画像と複数の相関位置で
   相関させ、その最適な重ね合わせ位置を決定するための
   デジタル画像処理装置において、該入力画像の画素値を
   表すデジタルデータを受信するための画像データ入力手
   段と、互いに接続され、また該画像入力手段に接続され
   てそこからデータを実質的に並列に受信するための一連
   の処理セルであって、それぞれが、基準画像中の関連の
   画素の値を表すそれぞれの基準値を記憶するための手段
   と、処理セルの中に記憶された基準値および処理セルに
   供給された入力画像データに対して相関演算を実行して
   部分相関データを決定するための手段と、部分相関デー
   タを出力するための部分相関データ出力手段とを含み、
   一連の処理セルの中の第一のセルの下流側にある各処理
   セルが、部分相関データを前のセルから受信するための
   部分相関データ入力手段を含み、一連の処理セルの中の
   最後の処理セルが、各相関位置での相関度を示すデジタ
   ル相関データの流れを出力するための相関データ出力手
   段を有するところの一連の処理セルとを含むことを特徴
   とする装置。
2. 【請求項２】 基準画像と入力画像との最適な重ね合わ
   せ位置を決定するための、該デジタル相関データの流れ
   に応答する手段を含む請求項１記載のデジタル画像処理
   装置。
3. 【請求項３】 各処理セル中の相関演算が、そのセルに
   入力された画像データ値と、そのセルの基準値との間の
   絶対差を決定することを含む請求項１または２記載のデ
   ジタル画像処理装置。
4. 【請求項４】 該相関演算が、該絶対差を上流側の処理
   セルから受信された部分相関データと合わせる、または
   合計して、下流側の処理セルに出力するための部分相関
   データを形成することをさらに含む請求項３記載のデジ
   タル画像処理装置。
5. 【請求項５】 各処理セルが、該セルに関するそれぞれ
   の相関重み付け値を記憶するための手段と、該絶対値を
   該相関重み付け値で重み付けまたは掛け算するための手
   段とを含む請求項３または４記載のデジタル画像処理装
   置。
6. 【請求項６】 （ｉ）画像の、最適な重ね合わせ位置の
   基準画像に相当する部分によって定められる最適な重ね
   合わせ配列における画素の現在値、（ii）基準画像中の
   画素、および(iii) 最適な重ね合わせ配列と同様なサイ
   ズであり、それに隣接する配列における現在の画素の少
   なくとも一つにしたがってセルのそれぞれの相関重み付
   け値を修正するための手段を含む請求項５記載のデジタ
   ル画像処理装置。
7. 【請求項７】 各処理セルが、下流側の処理セルに供給
   される部分相関データに所定の遅延を適用するためのラ
   ッチ手段または他の遅延手段を含む請求項１から６のい
   ずれか１項記載のデジタル画像処理装置。
8. 【請求項８】 最適な重ね合わせ配列における入力画像
   画素の値を使用して、基準画像の相当する画素の値を修
   正する請求項１から７のいずれか１項記載のデジタル画
   像処理装置。
9. 【請求項９】 該修正が、最適な重ね合わせ配列におけ
   る相当する画素の値にしたがって、また、各画素の各基
   準重み付け値にしたがって、基準画像の画素の値を修正
   することを含む請求項８記載のデジタル画像処理装置。
10. 【請求項１０】 各基準重み付け値を、基準画像の画素
    値と、最適な重ね合わせ配列の画素値との間の絶対差を
    用いて決定する請求項８記載のデジタル画像処理装置。
11. 【請求項１１】 デジタル化基準画像をデジタル化入力
    画像と複数のサーチ位置で次々に相関させて、該基準画
    像と、入力画像の相当するサイズの部分との最適な重ね
    合わせ位置を決定するための、基準画像に相当する配列
    を表す複数の相関重み値であって、該相関の間に、基準
    画像の関連値に相当する相関項の重み付けを調節するた
    めに使用される相関重み値を記憶するための記憶手段
    と、記憶された相関値を前の相関にしたがって調節する
    ための手段とを含むことを特徴とするデジタル画像処理
    装置。
12. 【請求項１２】 デジタル化基準画像をデジタル化入力
    画像と複数のサーチ位置で次々に相関させて、該基準画
    像と、入力画像の相当するサイズの部分との最適な重ね
    合わせ位置を決定するための、該デジタル化基準画像を
    表すデータを記憶するための基準記憶手段と、該デジタ
    ル化基準画像を表す記憶されたデータを前の相関にした
    がって修正するための手段とを含み、該修正手段が、該
    基準記憶手段の各位置に一つずつそれぞれ関連するフィ
    ルタ値を記憶するための手段を含み、該修正手段が、記
    憶された基準データそれぞれの値を、入力画像上の最適
    な重ね合わせ区域の相当する値にしたがって、それに関
    連する現在のフィルタ値に依存する程度にまで調節する
    ことを特徴とするデジタル画像処理装置。
13. 【請求項１３】 実質的に、添付の図２から１３を参照
    しながら本明細書に説明し、それらの図のいずれかに示
    すとおりのデジタル画像処理装置。