JPH02181882A - 画像シーケンスの１個以上のターゲットの運動を評価する方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） この発明は、画像シーケンス中において、その運動が画
像の背景の運動とほぼ同等の並進運動で１個以上のター
ゲットの運動を評価する方法に関する。ターゲットに関
するこの運動評価は、画像センサを装備しているプラッ
トホームの移動に伴って画像背景が移動するにもかかわ
らず、また、上記の移動画像内でターゲットが動くにも
かかわらず、そのターゲットを探知してこれを追跡する
ことを可能にする。

（従来の技術） ターゲットの探知・追跡は、次の二つの公知な方法でこ
れを行うことができるニ ーターゲットをモデル化し、これを規定する属性を計算
し、画像上でこの属性と比べて殆んど差異を生じない区
域を捜索することによって探知を行うか、 −若しくは、現画像を基準画像と比べて、移動の生じて
いる区域を以ってターゲット確定する。

これらの二つの方法は、それぞれ単独に、または同時に
使用され得る。ターゲットに特有な属性が、アプリオリ
・ベースで決定され得ない時に第２の方法が実行される
。この事は、現画像の背景を基準画像の背景に対してリ
セットすることを余儀なくする。次いで、背景をリセッ
トした後、現画像と基準画像との輝度差を計算してター
ゲット抽出する。輝度差が所定のしきい値より大きい画
素が運動ターゲットの存在に基づく真の動きと見なされ
るが、上記のしきい値以下の輝度差の画素は雑音に基づ
（移動と見なされる。

実際問題として、画像は赤外画像センサで与えられるの
で雑音の影響が大きい。この雑音が背景運動の評価なら
びに１個以上のターゲットの運動の検出評価を困難にし
ている。

Ｃ，Ｂ、Ｋｕｇｌｉｎ、　　Ｄ、（：、ｆ４ｉｎｅｓ　
　は、　ＩＥＥＥ　　１９７５Ｉｎｔｅｒ−ｎａｔｉｏ
ｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｂｅｒｎｅｔ
ｉｃｓ　ａｎｄ録劇旦輩、　Ｓａｎ　Ｆｒａｎｃｉｓｃ
ｏ　１９７５．に、位相相関を用いて画像シーケンス中
の背景の並進運動を評価する方法について発表している
。その方法は、現画像と背景画像とをサンプリングして
、それぞれの画像に対して、２次元離散フーリエ変換に
よる変換係数マトリクスを計算し、それぞれの係数が、
第１マトリクスの係数と第２マトリクスの係数の共役数
との積をその絶対値で割ったものになっている所謂位相
差マトリクスを計算し、位相相関マトリクスの逆変換マ
トリクスと呼ばれるマトリクスを計算し、上記の位相相
関マトリクスに逆フーリエ変換を適用し、上記の逆変換
マトリクスの係数をその絶対値に従って区分けし、位相
相関マトリクスの逆変換係数で最大絶対値を有する係数
の位置に対応する行の番号と列の番号に基づいて画像の
背景の並進ベクトルを評価する事から成っている。

（発明を解決するための手段） この発明の目的は、単に画像の背景の運動を評価するば
かりでな（、この画像中の１個以上のターゲットの検出
評価をも可能にする方法を提供することである。

この発明の目的は、実質的に、位相相関マトリクスの逆
変換マトリクスの最大絶対値を有する係数以外の係数の
絶対値によって与えられる情報を使用することからなる
方法である。

この発明によれば、画像シーケンス中においてターゲッ
トの運動と画像背景の運動とが同程度の並進運動である
場合に１個以上のターゲットの運動を評価する方法が提
案されており、その方法は次のステップで構成されるニ ーそれぞれの画像をサンプルし、それぞれのサンプル値
をその輝度の値で表す； −それぞれの画像に対して、２次元離散フーリエ変換に
よって変換された係数のマトリクスを計算する； −それぞれの係数が、第１画像の変換係数と、第２画像
の対応変換係数の共役値との積をこの積の絶対値の自乗
で割ったもの等しい位相相関マトリクスと呼ばれるマト
リクスを計算する；−位相相関マトリクスに対して逆フ
ーリエ変換を施して位相相関マトリクスの逆変換マトリ
クスと呼ばれるマトリクスを計算する； −位相相関マトリクスの逆変換マトリクスの係数を所定
のしきい値と比較して、最大絶対値を有する係数を探す
。この係数は画像背景の並進に対応し、その他のしきい
値より大きい係数は可能性のあるターゲットに対応して
いる。

−次いで、それぞれの可能性ターゲット及び画像背景の
並進ベクトルを、第１画像に関する基準位置において、
それぞれのターゲット及び画像の背景に対応する係数の
存在する位置の、位相相関マトリクスの逆変換マトリク
スの行番号（Ｘ）、及び列番号（Ｙ）に基づいて評価す
る；−第２画像の背景に関して第１画像の背景を、背景
に対して評価された並進ベクトルの関数としてリセット
する； 一背景に関してリセットされた第１画像と第２画像と間
の輝度差を計算して、差画像と呼ばれる画像を構成する
； 一輝度差の絶対値を所定のしきい値と比較し；しきい値
より大きな輝度差を有する各画素は運動画素と見なされ
る； −それぞれの運動画素を、運動画素によって構成される
区域に振分けこれを連結する；−第１差画像と第２差画
像との間の並進ベクトルを計算してそれぞれの区域の並
進ベクトルを計算する； −このターゲットに対して評価された並進ベクトルの関
数、及び画像背景に対して評価された並進ベクトルの関
数としてそれぞれのターゲットの速度ベクトルを計算し
ニ ーその速度ベクトルがターゲットの速度ベクトルと１致
した時にその区域がターゲットに属するものと結論する
。

（実施例） この発明による方法は、先づ最初に、センサによって分
析された画像シーケンスのそれぞれの画像をし、各サン
プルをその輝度値で表す。例えば、それぞれの画像は標
準画像センサを用いて２５６　Ｘ、、２５６画素にサン
プルされる。次いで、それぞれの画像に間して、二次元
離散フーリエ変換によって変換された係数のマトリクス
を計算する。

計算された係数の値、Ｆ（ｕ、、ｖ）は次の式で与えら
れる： ここで、ｆ　（Ｘ、Ｙ）は、例えば解析の出発点である
画像の左上隅を原点とする基準座標系ＯＸＹで座標（Ｘ
、Ｙ）の画素の輝度値を示しており；Ｎ１．Ｎ２はそれ
ぞれ行当り画素数及びフーリエ変換に対して考慮される
別の数を表すものとする。一つの実施例では、画像はフ
ーリエ変換に先立ってサブサンプルされる。例えば、Ｎ
、＝Ｎ　２＝　１２８．このサンプル量は行における２
サンプル毎に一つを取る量で、実時間計算を可能にする
ために、２行毎に１行だけをサンプルするものである。

現画像のそれぞれの変換係数は並進（Ｘｄ、Ｙｄ）によ
ってシフトされて次の様に表される：従って、この変換
は、フーリエ領域において、並進ベクトルの成分の関数
である位相変位の形を取ることになる。また、この位相
変位は次の式で計算されることになる： ここで着目されることは、分母ＩＦＤ（ｕ、ｖ）・Ｆ責
Ｕ。

Ｖ）ＩはＩＦＤ（ｕ、ｖ）ｌ”に等しいことである。

係数ＣＰ（ｕ、　ｖ）によって形成されているマトリク
スは位相相関マトリクスと呼ばれている。この例では１
２８Ｘ１２８個の係数で形成されている。

この発明による方法は、現画像及び基準画像に関する位
相相関マトリクスを計算し、次いでこれに２次元逆フー
リエ変換を施して位相相関マトリクスの逆変換マトリク
スを計算し、次いでこの逆変換マトリクスの係数Ｃ（Ｘ
、Ｙ）のそれぞれの絶対値を計算し、これらの係数を絶
対値の減少類に実刑するステップを含んでいる。

第１図は、現画像と基準画像が背景に関して並進する２
目標を含んでいる例における係数Ｃ（Ｘ、Ｙ）の絶対値
のグラフを示している。このグラフは、その他の係数の
絶対値よりも格段に大きい絶対値を有する３個の係数に
対応する３個のピークＰｒ　、Ｐｌ　、Ｐ−を有してい
る。最大道幅のピーク、Ｐ　ｌ　、は現画像の背景の基
準画像に対するシフティングに対応している。絶対値の
減少類で２番目のピーク、Ｐｌ、は基準画像の背景に関
してシフトしている大型ターゲットに対応している。絶
対値の減少類で３番目のピーク、Ｐ３、はピーク、Ｐｌ
、よりも小さ（、基準画像の背景に対して並進している
先のターゲットよりも小さなターゲットに対応している
。その他のピークは格段に小さく雑音に対応している。

これらのピーク、Ｐ＋　、Ｐｘ　、Ｐｓ　、のそれぞれ
の座標（Ｘ、Ｙ）は並進ベクトルの評価を可能にする。

ピーク、Ｐ１％の座標は、基準画像の背景に対する現画
像背景の並進ベクトルの評価を可能にし、このベクトル
は現画像の背景をリセットすることを可能にする。ピー
ク、ｐ、、ｐ、、の座標は、基準画像の背景に対して二
つの明確なターゲットの運動をそれぞれに特徴付ける二
つの並進ベクトルを評価することを可能にする。基準画
像と現画像との間の背景の並進は既知であるので、これ
らの二つの並進ベクトルは、それぞれのターゲットに対
して絶対速度ベクトルを決定することを可能にする。

係数Ｃ（Ｘ、Ｙ）の絶対値のマトリクスは、１２８　Ｘ
１２ｇの離散値で形成され、１２８Ｘ１２ｇ画素のサブ
サンプリングに対応している。この数値の数は、並進ベ
クトルの成分を決定するには充分な精度ではない。従っ
て、この方法では、並進ベクトルの評価を改良するため
に内挿法を適用することが望ましい。

第２図は、それぞれの並進ベクトルの成分を評価するた
めに用いられる内挿法を示している。絶対値Ｌ４及び座
標（ｘ、、ｙ、）を有するそれぞれのピークに対して、
（Ｘ、、Ｙ、）の点に中心を有し、９個の係数を含む程
度の寸法のウィンドウ内に位置する係数Ｃ（Ｘ、、Ｙ）
の絶対値を考慮する。水平２点毎に１点のみを取り、垂
直方向の２点毎に１点を取ったサブサンプリングを考慮
して、ウィンドウのサイズを５×５画素とする。このウ
ィンドウ内で既知な絶対値の値は次の通りとなる：Ｙ軸
基準Ｙ０で第１行にり、、Ｌ。

ｔ、２．；ｙ軸基準Ｙｌ　＝Ｙ””で第２行にＬｓ。

Ｌ、、Ｌｌ、Ｙ軸基準Ｙｘ＝Ｙ”’で第３行にＬａ　、
Ｌ、、Ｌ、である。Ｌｏ、Ｌａ、Ｌａの絶対値はＸ軸点
Ｘ０上に位置し、Ｌ、、Ｌ、、Ｌ。

の絶対値はＸ軸、ｘ、＝ｘ’←の上に存在している。Ｌ
ｘ　、Ｌｓ　、ＬｍはＸ軸Ｘ２＝Ｘ””上に位置してい
る。

係数Ｃ（Ｘ、Ｙ）の絶対値のグラフは、画素に対応する
距離間隔の離散点によってだけ示される２次元表面であ
る。従って、係数Ｃ（Ｘ、Ｙ）の絶対値の間で見出され
るピーク、Ｐｌはグラフの実ビークＭとは正確には一致
しない。絶対値のグラフの真の最大値Ｍの座標（Ｘｄ　
、　Ｙｄ　）は次の内挿性公式によって評価される。

次いで、現画像の背景を基準画像の背景に関して、現画
像の背景に対して評価された並進ベクトルの関数として
、最大絶対値、Ｐ　ｌ　、のピークに対応してリセット
するステップが実行される。並進ベクトルの成分は一般
に整数値ではないので、現画像の背景のリセットは、双
１次内挿法と呼ばれる公知の内挿法を用いて行われる。

第３図はこの内挿法を説明している。リセット画像の画
素は、座標が、（Ｘ　Ａ　＋　Ｄ　ｘ、　Ｙ　Ａ　＋　
Ｄ　ｙ）、但し、Ｄｘ及びＤｙはＯと１の画素の間にあ
るものとする、の点Ｅを中心としている。点Ｅは、輝度
値が既知である画素の中心である４点Ａ、Ｂ。

Ｃ，Ｄの間に位置している。これらの点はそれぞれに座
標（Ｘ　Ａ、　Ｙ　Ａ）、　（Ｘ　Ａ、ｌ、Ｙ　Ａ）、
　（Ｘ　Ａ、　Ｙ　Ａ、、）。

（ＸＡ−１，ＹＡ、ｌ）を有する。点Ｅで内挿された輝
度値は次の式で与えられる： Ｌ（ＸＡ十ＤＸ、ＹＡ＋ＤＹ）＝　　（ｔ−ｏｘ）・（
１−ＤＹ）・Ｌ（ＸＡ、ＹＡ）＋Ｄ、−（１−Ｄ、）化
（ｘａ＋ｔ、　ＹＡ）　＋Ｂｘ−Ｄｙ−Ｌ（ＸＡ＋ｌ、
ＹＡ＋１）　＋（１−ＤＸ）・Ｄ、・Ｌ（ＸＡ、ＹＡ＋
１）・・・（６）ピーク、Ｐ　Ｒ、及び、Ｐ３、で検出
されたターゲットは、可能性のあるターゲットだけで、
雑音に対してはフォルスアラームを生ずる。他の方法に
よって、これらの可能性ターゲットが雑音でない事を確
める必要がある。更に、これらのターゲットが追跡され
るためには、現画像内のこれらのターゲットの位置が決
定されなければならない。

現画像中で動いているすべての区域の中からターゲット
を確認するために、この発明に従う方法では、リセット
された現画像と基準画像との間の輝度差の数値を計算す
る。これらの値の全体のセットは「差画像」と呼ばれる
。輝度のＯでない差は、現画像の背景に対するターゲッ
トの並進によるか、赤外画像では非常に大きい雑音によ
るか、さらに、行毎に等しくない平均応答として現れる
センサの不完全性によるものである。

センサの行毎の応答の不均一性を取りつ（ろうためにこ
の方法では、輝度差を計算するに先立って所謂性等化操
作を行う。この等化法は、画像のそれぞれの輝度値から
、その画素が属する行の平均輝度値を差し引（。ついで
、各行の平均輝度を０とする。この外にも、センサの行
毎の差によって生ずる応答を等化する公知の方法がある
ことに注意される必要がある。この発明による方法は、
上記の等化法に限定されるものではない。

この発明による方法では、次いで、それぞれの画素の輝
度差を所定のしきい値と比較することによってターゲッ
トの第１識別を行う。しきい値より大きい輝度差を有す
る画素は真の運動をしているものと考＾られ、その他の
画素は固定しており、雑音によって影響されているもの
と見なされる。しきい値レベルは、許容できるフォルス
アラーム・レートの関数として固定される。

実行上、この弁別は雑音によるフォルスアラームを大々
的に除去するのには充分ではない。追加ステップとして
、しきい値よりも大きい輝度差の画素を隣接画素の区域
に分け、それぞれの区域を番号区別し、ステータスベク
トルで特徴付ける。

このステータスベクトルは次様に多（の成分を有するニ ーその区域を形成している画素の数； −これらの画素の共通重心の座標； −この区域内の輝度差の平均絶対値； −その区域の画素の最大座標、これらの座標は、可能性
のあるターゲットを取囲むフレームを規定することを可
能にする。

画素の帰属は、走査が差画で行われる場合に、新しい区
域の創成、既存区域の拡張、もしくは隣接している事が
実証されている他の区域への没入を導くことになる。こ
れらの区域におけるそれぞれの操作がその区域のステー
タスベクトルの成分の更新を導くことになる。例えば、
しきい値より大きい輝度差を有する画素が、既に見出さ
れている二つの区域と連接させる時には、これら二つの
区域の没入の結果としての区域に帰属することになる。

合成区域のステータスベクトルは没入された二つの区域
のステータスベクトルの関数として決定される。画素は
異なった回、帰法に従って区域に帰属させられることが
できる。公知の方法がフランス特許出願第２．５９９．
２０５号に公示されている。

ターゲット識別の第２ステツプは、この区域を形成して
いる画素の数が第２の所定しきい値を超えているならば
、その区域はターゲットであって雑音ではないと言うこ
とを宣言することである。

但し、この識別は、規程の限界にあるターゲットの検出
を妨げてはならない。

ターゲット識別の第３ステツプは、運動している画素の
それぞれの区域に対する速度ベクトルを既知の方法で評
価し、次いでこの様にして評価された速度ベクトルの絶
対値を、位相相関マトリクスの逆変換マトリクス内で検
出されたそれぞれのピークに対応する並進ベクトルから
計算された速度ベクトルの絶対値と比較することにある
。一つの区域または分離している数個の区域の速度ベク
トルの絶対値と、前に検出された、画像背景に対応する
ピーク以外のピークの中の一つに対応する速度ベクトル
の絶対値との間に一致が見出される場合には、この速度
を有するターゲットが存在すると結論することが可能と
なる。

それぞれの区域の速度ベクトルの評価は、特許申請書Ｇ
Ｂ２．１３４．３４４号に記載の公知の方法で行われ得
る。

往々にして、ターゲットが、同一の速度を有し数個に分
離された区域として現れることがある。

例えば、複数個のホットポイントから成るターゲットが
赤外画像センサを用いて観測された場合がこれに当る。

この様な場合には、この方法は、単−ターゲットとして
運動している複数個の区域を確定すると言う利点がある
が、単に輝度差としきい値との単なる比較だけでは、こ
の複数個の区域が１個の同一のターゲットに属している
ことを確かめるのには利用できない。その訳は、差画像
は、しきい値との比較で低レベルの輝度差が１度除去さ
れるとこれらの別々な区域の間の空間に関しては何も示
さないことになるからである。

雑音に関してターゲットの識別能力を更に改良するため
には、画像シーケンス内におけるターゲットの移動の時
間的連続性をテストするのが好都合である。その場合タ
ーゲットは、基準画像と現画像との間の移動が、検出さ
れたピークから算出された速度及び両画像の間の時間の
関数として計算される最大シフトより小さい場合にター
ゲットとして認定される。この方法は、所定回数の相次
ぐ画像の間で時間的な連続性が認められる場合にのみタ
ーゲットと認定することによって改良される。観測計数
は、画像中にターゲットが観測されない場合は常にリセ
ットされる。

センサによって解析される画像のシーケンスは位相相関
マトリクスの逆変換マトリクスのシーケンスの計算を生
じさせる。このマトリクスシーケンスにおいてターゲッ
トピークもまた顕著な時間的連続性を以って見出され、
それはまた同時に不要ピークからのターゲットビークの
識別を可能にし、所定の値よりも大きな画像数に対して
座標の時間的連続性が認められる場合に限りターゲット
ビークとしての認定を行うことを可能にする。

この発明による方法は実時間で、特にそれぞれの画像が
計算を迅速にするために１２８　Ｘ１２８画素の次元で
サブサンプルされる場合には特に容易に、実行される。

第４図はこの方法を実行する装置の実施例のブロック図
を示している。この実施例は次のもので構成される：画
像センサによって与えられる輝度値のシーケンスを受け
る入力端子ｌ、サンプラ、及び図に表されてはいない行
の等価を行うための装置；それぞれに現画像、中間画像
、及び基準画像を貯蔵するための画像メモリ２，３，４
；２次元離散フーリエ変換によって変換された、現画像
、中間画像、及び基準画像の変換係数をそれぞれに貯蔵
するメモリ５，６，７．切り換え装置８、９．１０．１
１；　２次元離散フーリエ変換を計算するための装置１
２．制御信号転送用の装置１３、リセット現画像を貯蔵
するための画像メモリ、差画像を貯えるための画像メモ
リ１５、減算器１６、並進にリセットされた現画像を計
算するための装置１７、位相相関マトリクスを計算する
ための装置１８．２次元逆離散フーリエ変換を計算する
ための装置１９、相関ピークを探し、選別するための装
置２０、並進ベクトルを計算するための装置２１、運動
している区域を特徴付けるための装置２２、区域を認証
するための装置２３、ターゲットの速度ベクトルを計算
するための装置２５、及び認定されたターゲットを特徴
付けているデータを与える出力端子２４゜ 制御信号転送用の装置１３は次のものを備える：切り換
え装置８及び１０の制御入力に接続されている出力；切
り換え装置９及び１１の制御入力に接続されている出力
、及び読み出し書き込み入力、メモリ２〜７及びメモリ
１４と１５にそれぞれ接続されている出力。メモリ３及
び６は並列に同時に制御される。メモリ４及び７は並列
に同時に制御される。

入力端子１はメモリ２のデータ入力に接続されている。

メモリ２のデータ出力は、装置１７の第１人力、装置１
２の人力、及び切り換え装置８の入力に接続されている
。装置８の出力は、メモリ３のデータ入力に接続されて
いる。メモリ３のデータ出力は、切り換え装置９を用い
てメモリ４のデータ入力に接続されている。メモリ４の
データ出力は、減算器１６の第１人力に接続されている
。装置１２の出力はメモリ５のデータ入力に接続されて
おり現画像の変換係数の値を与える。

装置１２は、２５６　Ｘ２５６画素にサブサンプルされ
た現画像の輝度値の２次元離散フーリエ変換を計算する
。この装置にフオマン・アルゴリズムの様な標準アルゴ
リズムを実行する。メモリ５のデータ出力は、切り換え
装置ｌＯを用いてメモリ６のデータ入力に接続されてい
る。メモリ６のデータ出力は、切り換え装置１１を用い
てメモリ７のデータ入力に接続されている。

装置１３は、装置２１の出力に接続されている入力を有
し、現画像背景の基準画像背景に対する並進ベクトルの
成分値を受ける。このベクトルの中の何れかの絶対値が
ｌＯよりも大きい場合に装置１３が切り換え装置９及び
メモリ３．４に指令して、メモリ２に貯えられている中
間画像の輝度値をメモリ４へ転送して新しい基準画像を
形成する。同時に、装置１３は切り換え装置１１、及び
メモリ６．７に指令して、メモリ６に貯えられている中
間画像の変換係数をメモリ７へ転送し、新しい基準画像
の変換係数として構成される様にする。

基準画像背景に対する現画像背景の並進ベクトルの中の
何れかが５画素以上になった場合に、装置１３が切り換
え装置８及びメモリ２，３に指令して、メモリ２に貯ら
れている現画像の輝度値をメモリ３へ転送し、新中間画
像の輝度値を構成させる。同時に、装置１３は、切り換
え装置ｌＯ及びメモリ５，６に指令し、メモリ５に貯ら
れている現画像に対応する変換係数をメモリ６へ転送し
て中間画像の変換係数を形成する。

基準画像の背景に対する現画像の背景の並進ベクトルの
成分がこれらの二つの条件の何れをも満さない場合には
、装置１３は、メモリ３．４、またはメモリ６．７への
転送を行わない。他方では、この装置は、メモリ２の中
の輝度の貯えを現画像で更新するための監視を継続し続
け、また、メモリ５の中においてそれぞれの新規画像に
対応して変換係数の貯えを監視し続ける。

計算装置１８は、メモリ５のデータ出力に接続されてい
る第１人力、メモリ７のデータ出力に接続されている第
２人力、及び計算装置１９の入力に接続されている出力
を有する。計算装置１９の出力は装置２０の入力に接続
されている。装置２１は、装置２０の出力に接続されて
いる入力、装置２５の第１人力に接続されている第１出
力、及び装置１３の出力、装置１７の第２人力、ならび
に装置２５の第２人力に接続されている第２出力を有す
る。装置１７の出力はメモリ１４のデータ入力に接続さ
れている。

メモリ１４のデータ出力は減算器１６の第２人力に接続
されている。メモリ１４の読出し／書込み制御入力は装
置１３の出力に接続されている。

メモリ１５は、減算器１６の出力に接続されたデータ入
力、装置１３の出力に接続された制御入力、及び装置２
２の入力に接続された出力を有する。装置２３は、装置
２２の出力に接続された第１人力、装置２５の出力に接
続された第２人力、及び出力端子２４に接続された出力
を有する。

計算装置１８は、上記の公式（４）に従って位相相関マ
トリクスのそれぞれの係数を計算する。装置１９は、ツ
ーマン・アルゴリズム等の標準アルゴリズムに従って位
相相関マトリクスの２次元逆離散フーリエ変換を計算す
る。

計算装置２０は、位相相関マトリクスの逆変換マトリク
スの各係数の絶対値を計算し、これを、ターゲットの並
進に対応する係数を検出できる様に雑音しきい値より上
に固定されているしきい値と比較して絶対値の最大なも
のを求めてこれらの係数について捜索を行う。この係数
は、基準画像に対する画像背景の並進に対応している。

計算装置２１は、式（５）による相関によって相関ピー
クの精密な座標を決定する。これらの座標はそれぞれに
背景画像に関する並進ベクトル及びそれぞれのターゲッ
トに対する並進ベクトルの成分を形成している。

装置２１の第２出力は、背景並進ベクトルの成分を、第
１に転送制御装置１３に、第２に計算装置１７に与えて
、並進でリセットされる現画像の輝度値を計算する。装
置１７は、公式６に従って、装置１３の制御でメモリ２
に読込まれた現画像の輝度値の関数としてこれらの輝度
値を計算する。リセットされた現画像の輝度値は、装置
１３の制御でメモリ１４に貯えられる。更に、装置２１
の第２出力は背景の並進ベクトルの成分を装置２５の第
２人力に与えるが、装置２１の第１出力はターゲットの
並進ベクトルの成分を装置２５の第１人力に与える。こ
れらの成分は、基準画像に関する基準システムに対して
規定されている。計算装置２５は、ターゲットのそれぞ
れの並進ベクトルと画像背景の並進ベクトル２の差を計
算して、絶対基準システム内で規定された並進ベクトル
を得る。次いで、その並進ベクトルを、基準画像と現画
像との間の継続時間によって割ることによって各ターゲ
ットの速度ベクトルを計算する。

減算器１６は、リセットされた現画像と基準画像との間
の輝度差の絶対値を計算する。ついでこれらの差値は、
装置１３の制御で差画像メモリ１５に貯えられる。動い
ている区域を特徴付けるための装置２２は輝度差値を所
定のしきい値と比較する。輝度差の絶対値がしきい値よ
りも大きい画素はそれぞれに、実際に動いているものと
見なされる。その他の画素は、固定されているか、もし
くは雑音で影響されているものである。装置２２は、動
いている各ビクセルを、連接しているビクセルで形成さ
れる区域に帰属させる。所定のし、きい値の数よりも大
きい画素数の区域はターゲットを現している可能性が強
い。

ターゲットを表していると考えられる各区域に対して、
装置２２は、第１差画像から第２差画像までに生じたこ
の区域の共通重心の並進に基づいて速度ベクトルを計算
する。この場合、第１差画像は、前の基準画像と前の現
画像に対して前に計算されており、この第１差画像は装
置２２の中のメモリに保存されている。第２差画像はメ
モリ１５の中に蓄えられている差画像によって形成され
る。ターゲットと目される区域のそれぞれに対して、装
置２２は先ず、第１に区域認定装置２３にその区域番号
を付与して、この区域の特徴を、装置２２内のステータ
スベクトル内で再生されるようにし、第２として、その
区域に対して、第１差画像から第２差画像までの間に生
じた並進量から評価された速度ベクトルの成分を与える
。

装置２３は、その第２人力で、さらに、装置２５で計算
されたターゲットの速度ベクトルの成分を受ける。装置
２３は、それぞれの区域の速度ベクトルの絶対値と、タ
ーゲット速度ベクトルの絶対値の各々との間の一致を捜
索する。この目的のため、区域の速度ベクトルの絶対値
を各ターゲットの速度ベクトルの絶対値とそれぞれに比
較し、所定の許容マージンで一致の判定を行う。装置２
３が一致を検出した場合、その取り上げられた区域は、
考えられている速度を有するターゲットに属するものと
結論され、出力端子２４に、認定された区域番号または
認定された複数の区域のそれぞれの番号からなる情報が
、この区域またはこれらの区域に対応する速度ベクトル
成分と共に与えられる。

この番号は、他の画像処理装置で、現画像中から与えら
れたターゲットに属する区域を抜き出し、スクリーン上
に表示するようにボックスで囲み、ターゲットなしの区
域及び雑音によると考えられる区域を削除する。

運動している区域を特徴づけるための装置２２は、ＧＢ
特許申請２．１３４．３４４号の教示に従って作ること
ができる。フーリエ変換を計算する装置１２及び１９は
、例えばＺＯＲＡＮによって販売されているＶＦＰ３２
５型回路等、型版路手可能な特殊ＩＣでよかなえる。そ
の他のメモリ装置または計算装置は、その分野の専門家
によって標準的に製作可能なものである。

この発明は、赤外、可視、またはレーダ画像でシフトが
並進と比較できるマルチターゲット検出にとりわけ適用
可能である。

【図面の簡単な説明】

第１図は画像の一例に対する位相相関マトリクスの逆変
換マトリクスの係数の模式のグラフを示す。 第２図及び第３図は、この発明による方法を実行する二
つのステップを示している。 第４図は、この発明の方法を実行するための装置の実施
例のブロック図を示している。

Claims (3)

【特許請求の範囲】
1. （１）次のステップで構成されることを特徴とする、画
   像の背景の運動とターゲットの運動とが同程度の並進運
   動をする画像シーケンス内において、１個分以上のター
   ゲットの運動を評価する方法： −各画像をサンプルし、それぞれのサンプルをその輝度
   の値で表す； −それぞれの画像に対して、２次元離散フーリエ変換に
   よって変換された係数のマトリクスを計算する； −マトリクスのそれぞれの係数が、第１画像の変換係数
   と第２画像の対応変換係数の共投数との積を、この積の
   絶対値の自乗で割ったものに等しい、位相相関マトリク
   スと呼ばれるマトリクスを計算する； −位相相関マトリクスに逆フーリエ変換を施して、位相
   相関マトリクスの逆変換マトリクスと呼ばれるマトリク
   スを計算する； −位相相関マトリクスの逆変換マトリクスの係数と所定
   のしきい値との比較を行い、画像背景の並進に対応する
   最大絶対値を有する係数を捜索し、他方において可能性
   ターゲットに対応するしきい値よりも大きい絶対値を有
   する係数を捜索する； −次いで、それぞれの可能性ターゲットに対する並進ベ
   クトル、及び画像背景の並進ベクトルを、第１画像に関
   する基準座標として、位相相関マトリクスの逆変換マト
   リクス内で、それぞれのターゲット及び画像背景に対応
   する係数が属する行番号Ｘ、列番号Ｙをベースとして評
   価する；−第１画像の背景を第２画像の背景に対して、
   その背景に対して評価された並進ベクトルの関数として
   リセットする； −その背景がリセットされた第１画像と第２画像との間
   の輝度差の絶対値を計算し、差画像と呼ばれる画像を構
   成する； −輝度差の絶対値と所定値のしきい値とを比較し；しき
   い値より大きい輝度差を有する各画素は動いている画素
   と見なされる； −運動中の各画素を、運動中画素及び連接している画素
   で形成される区域に帰属させる； −第１差画像から第２差画像へのこの区域の並進ベクト
   ルを計算してそれぞれの区域の速度ベクトルを計算する
   ； −ターゲットに対して評価された並進ベクトルの関数と
   して、また画像背景に対して評価された並進ベクトルの
   関数として各ターゲットの速度ベクトルを計算する； −区域の速度ベクトルがターゲットの速度ベクトルと一
   致した場合にその区域はターゲットに属するもの結論さ
   れる。
2. （２）ターゲットの誤検知を避けるために、さらに、そ
   れぞれの区域の速度ベクトルの絶対値が、所定の画像に
   対応する継続時間所定のしきい値より小さいことをチェ
   ックすることを特徴とする請求項１記載の方法。
3. （３）次の手段からなることを特徴とする、画像シーケ
   ンス中で１個以上のターゲットの運動を評価する方法： −それぞれの画像をサンプルし、それぞれのサンプルを
   その輝度の値で表す手段； −それぞれの画像に対して２次元離散フーリエ変換によ
   って変換された係数のマトリクスを計算する手段； −その各係数が、第１画像の変換係数と第２画像の対応
   変換係数の共役数を乗じて、この積の絶対値の自乗で割
   られている位相相関マトリクスと呼ばれるマトリクスを
   計算する手段； −位相相関マトリクスに逆フーリエ変換を施すことによ
   って位相相関マトリクスの逆変換マトリクスと呼ばれる
   マトリクスを計算する手段；−位相相関マトリクスの逆
   変換マトリクスの係数の絶対値を所定のしきい値と比較
   し、画像背景の並進に対応する最大絶対値を有する係数
   を探し出すと共に、他方で、可能性ターゲットに対応す
   るしきい値よりも大きい絶対値を有するその他の係数を
   探しだす手段； −それぞれの可能性ターゲットに対する並進ベクトル、
   及び画像背景に対する並進ベクトルを、位相相関マトリ
   クスの逆変換マトリクス内の、それぞれに個々の可能性
   ターゲット、及び画像背景に対応する係数の所在位置の
   行番号と列番号をベースとして評価する手段； −第１画像の背景を第２画像の背景に関して、背景に対
   して評価された並進ベクトルの関数としてリセットする
   手段； −リセットされた背景を有する第１画像と第２画像との
   間の輝度差の絶対値、輝度差のこれらの値は差画像と呼
   ばれる、を計算する手段； −輝度差の絶対値を所定のしきい値と比較し、しきい値
   より大きい輝度差を有する画素は運動している画素と見
   なし、運動中の個々の画像を、運動し連接している画素
   で形成される区域に帰属させ、それぞれの区域でターゲ
   ットを表せるようにする手段； −次のステップによって、それぞれの区域が実際にター
   ゲットに属することを認証する手段；−第１差画像から
   第２差画像に至る間のこの区域の並進ベクトルの評価に
   よってそれぞれの区域の速度ベクトルを計算する； −それぞれの可能性ターゲットに対する速度ベクトルの
   絶対値を、その可能性ターゲットの並進ベクトル及び逆
   変換マトリクスに基づいて評価された背景の並進ベクト
   ルに基づいて計算する。 −その区域に対して評価された速度ベクトルの絶対値が
   可能性ターゲットに対して評価された速度ベクトルの絶
   対値と一致した場合、その区域は本当にターゲットに属
   するものと結論する。