JPS5932743B2 - 相関追尾装置 - Google Patents
相関追尾装置Info
- Publication number
- JPS5932743B2 JPS5932743B2 JP13171880A JP13171880A JPS5932743B2 JP S5932743 B2 JPS5932743 B2 JP S5932743B2 JP 13171880 A JP13171880 A JP 13171880A JP 13171880 A JP13171880 A JP 13171880A JP S5932743 B2 JPS5932743 B2 JP S5932743B2
- Authority
- JP
- Japan
- Prior art keywords
- correlation
- window
- signal
- vertical
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
- G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【発明の詳細な説明】
この発明は、TVカメラなどの撮像装置から得られる画
像信号をアナログ−ディジタル変換し、ディジタル画像
信号を相関演算処理することによつて、撮像装置の視野
内の定められた目標を追尾する相関追尾装置に関するも
のである。
像信号をアナログ−ディジタル変換し、ディジタル画像
信号を相関演算処理することによつて、撮像装置の視野
内の定められた目標を追尾する相関追尾装置に関するも
のである。
従来、この種の装置では、処理データ数を削減するため
、二次元分布を有する画像情報を、走査線に平行、およ
び垂直な二方向の一次元画像に圧縮し、これら圧縮され
た一次元画像の濃度をさらに二値に圧縮して、二値信号
の相関演算処理を行つていた。
、二次元分布を有する画像情報を、走査線に平行、およ
び垂直な二方向の一次元画像に圧縮し、これら圧縮され
た一次元画像の濃度をさらに二値に圧縮して、二値信号
の相関演算処理を行つていた。
第1図は、画面、参照窓および追尾しようとする目標と
の関係を示すものである。
の関係を示すものである。
同図において、画面1の中の目標(又は情景)2を囲ん
で参照窓3、水平相関窓4、および垂直相関窓5が設定
されている。初期に参照窓3に囲まれた画素の信号を参
照信号とし、この信号と、現在の水平相関窓4および垂
直相関窓5の各々に囲まれた画素の信号との間の相互相
関関数を求める。そして、これら相互相関関数の極大点
を検出し、最大相関位置を求めることにより、目標2の
位置が求められ、この位置に参照窓3を新しく設定する
ことによつて、参照窓3による目標2の追尾が行われる
。第2図は従来の相関追尾装置の構成を示すものであつ
て、TVカメラ等の撮像装置6から得られるアナログ映
像信号は、アナログーデイジタル変換器7によりデイジ
タル映像信号に変換され、参照窓設定回路8、さらに相
関信号抽出回路9に供給される。相関信号抽出回路9は
、水平相関窓4および垂直相関窓5で囲まれる画素の映
像信号を抽出し、各々水平画像信号10および垂直画像
信号11を出力する。これら両画像信号は各々加算回路
12A,12Bに供給されて一次元圧縮信号13A,1
3Bとなり、さらに二値化回路14A,14Bに供給さ
れて二値信号に変換されたあと、相関演算回路16A,
16Bに供給される。相関演算回路16A,16Bでは
、初期に設定された参照窓に囲まれる画素から圧縮され
た二値信号が固定メモリに参照信号として記録されてお
り、この参照信号と、水平・垂直各々の相関窓に囲まれ
る画素から圧縮さねた二値信号との間の相互相関関数が
求められる。相関演算結果は相関関数値比較回路17A
,17Bに供給され、相関関数の極大点を検出すること
により、初期に設定された参照窓に囲まれる画像と最も
整合する画像の位置座標が求められ、目標の新しい位置
が検出される。この位置座標は参照窓設定回路8に帰還
されて、目標の新しい位置に参照窓が設定されると同時
に、撮像装置6の姿勢を制御するサーボ系に対する誤差
信号として用いられ、常に所定の目標または情景が画面
の中心になるように制御される。以上の回路構成におい
ては、多値濃度情報を有する画像信号を二値信号に圧縮
するため、二値化を行う閾値を状況に応じて変更しなけ
ればならないわずられしさがあるだけでなく、濃度情報
の著しい欠乏のため相関関数の明確な極大値がみいだせ
ず、従つて追尾が困難となる欠点があつた。
で参照窓3、水平相関窓4、および垂直相関窓5が設定
されている。初期に参照窓3に囲まれた画素の信号を参
照信号とし、この信号と、現在の水平相関窓4および垂
直相関窓5の各々に囲まれた画素の信号との間の相互相
関関数を求める。そして、これら相互相関関数の極大点
を検出し、最大相関位置を求めることにより、目標2の
位置が求められ、この位置に参照窓3を新しく設定する
ことによつて、参照窓3による目標2の追尾が行われる
。第2図は従来の相関追尾装置の構成を示すものであつ
て、TVカメラ等の撮像装置6から得られるアナログ映
像信号は、アナログーデイジタル変換器7によりデイジ
タル映像信号に変換され、参照窓設定回路8、さらに相
関信号抽出回路9に供給される。相関信号抽出回路9は
、水平相関窓4および垂直相関窓5で囲まれる画素の映
像信号を抽出し、各々水平画像信号10および垂直画像
信号11を出力する。これら両画像信号は各々加算回路
12A,12Bに供給されて一次元圧縮信号13A,1
3Bとなり、さらに二値化回路14A,14Bに供給さ
れて二値信号に変換されたあと、相関演算回路16A,
16Bに供給される。相関演算回路16A,16Bでは
、初期に設定された参照窓に囲まれる画素から圧縮され
た二値信号が固定メモリに参照信号として記録されてお
り、この参照信号と、水平・垂直各々の相関窓に囲まれ
る画素から圧縮さねた二値信号との間の相互相関関数が
求められる。相関演算結果は相関関数値比較回路17A
,17Bに供給され、相関関数の極大点を検出すること
により、初期に設定された参照窓に囲まれる画像と最も
整合する画像の位置座標が求められ、目標の新しい位置
が検出される。この位置座標は参照窓設定回路8に帰還
されて、目標の新しい位置に参照窓が設定されると同時
に、撮像装置6の姿勢を制御するサーボ系に対する誤差
信号として用いられ、常に所定の目標または情景が画面
の中心になるように制御される。以上の回路構成におい
ては、多値濃度情報を有する画像信号を二値信号に圧縮
するため、二値化を行う閾値を状況に応じて変更しなけ
ればならないわずられしさがあるだけでなく、濃度情報
の著しい欠乏のため相関関数の明確な極大値がみいだせ
ず、従つて追尾が困難となる欠点があつた。
この発明は、これらの欠点を除去するために、デイジタ
ル画像信号を多値のまま並列演算回路で相関演算処理し
、これにより目標又は情景の安定追尾を可能にした相関
追尾装置を提供しようとするものである。以下、順を追
つて詳細に説明する。水平、垂直各々の方向の追尾の原
理は同様なので、以下水平方向の追尾について説明する
。初期参照窓および水平相関窓が囲む画素を圧縮するこ
とによつて作成さわたnビツトの一次元圧縮信号を各々
参照信号{R(1)11≦i≦M}、被相関信号{S(
J)11≦j≦N}とする。ここでR(1),S(j)
は画素の濃度をnビツトで表わす二進数値であり、M,
Nは各々参照窓および水平相関窓の水平方向画素数であ
つて、M<Nである。{S(j)}において{R(1)
}と最も整合する画素群をみいだすため、第(1)式に
示す積相関関数Cp(τ)、または第(2)式に示す差
相関関数CD(τ)を求める。{但し、τはシフト量(
単位画素)であつて、τ=0,1,2,・・・・・・,
N−Mである。}Cp(τ)の極大値あるいはCD(τ
)の極小値を与えるτの値τ。を求めれば、{S(j)
lτo≦j≦τo+M−1}が{R(1)11≦i≦M
}と最も整合する画素群となるので、この画素群の中心
位置j−τ。+M/2に参照窓の新しい水平方向中心位
置を定める。垂直方向においても以上述べたのと同様の
方法で、参照窓の新しい垂直方向中心位置を定めること
ができる。
ル画像信号を多値のまま並列演算回路で相関演算処理し
、これにより目標又は情景の安定追尾を可能にした相関
追尾装置を提供しようとするものである。以下、順を追
つて詳細に説明する。水平、垂直各々の方向の追尾の原
理は同様なので、以下水平方向の追尾について説明する
。初期参照窓および水平相関窓が囲む画素を圧縮するこ
とによつて作成さわたnビツトの一次元圧縮信号を各々
参照信号{R(1)11≦i≦M}、被相関信号{S(
J)11≦j≦N}とする。ここでR(1),S(j)
は画素の濃度をnビツトで表わす二進数値であり、M,
Nは各々参照窓および水平相関窓の水平方向画素数であ
つて、M<Nである。{S(j)}において{R(1)
}と最も整合する画素群をみいだすため、第(1)式に
示す積相関関数Cp(τ)、または第(2)式に示す差
相関関数CD(τ)を求める。{但し、τはシフト量(
単位画素)であつて、τ=0,1,2,・・・・・・,
N−Mである。}Cp(τ)の極大値あるいはCD(τ
)の極小値を与えるτの値τ。を求めれば、{S(j)
lτo≦j≦τo+M−1}が{R(1)11≦i≦M
}と最も整合する画素群となるので、この画素群の中心
位置j−τ。+M/2に参照窓の新しい水平方向中心位
置を定める。垂直方向においても以上述べたのと同様の
方法で、参照窓の新しい垂直方向中心位置を定めること
ができる。
以上のようなnビツトの多値相関演算を行うことにより
、参照窓による目標の追尾が可能となる。
、参照窓による目標の追尾が可能となる。
第3図は、この発明による多値相関演算を行う演算回路
構成の実施例を、水平方向を例にとつて示す。同図にお
いて、nビツトの一次元圧縮信号13Aのうち初期参照
窓に囲まれる画素から作成される一次元圧縮信号が選択
回路18により選択され、記憶回路19に格納されて参
照信号となり、現在の水平相関窓に囲まれる画素から作
成される一次元圧縮信号が選択回路18により選択され
、記憶回路20に格納されて被相関信号となる。1駆動
回路21および22は各々記憶回路19および20のl
番地および(1+τ)番地の内容を読みだす。
構成の実施例を、水平方向を例にとつて示す。同図にお
いて、nビツトの一次元圧縮信号13Aのうち初期参照
窓に囲まれる画素から作成される一次元圧縮信号が選択
回路18により選択され、記憶回路19に格納されて参
照信号となり、現在の水平相関窓に囲まれる画素から作
成される一次元圧縮信号が選択回路18により選択され
、記憶回路20に格納されて被相関信号となる。1駆動
回路21および22は各々記憶回路19および20のl
番地および(1+τ)番地の内容を読みだす。
これらは各々記憶回路23および24に一時格納された
あと、第(1)式では、最大相関点として、相互相関関
数の最大値を検出することを目的として多ビツトの参照
信号と被相関信号との乗算を、また第(2)式では相互
相関関数の最小値を検出する目的として多ビツトの参照
信号と被相関信号との差の絶対値を計算する演算回路2
5に供給される。iのすべての値にわたつて算出される
演算回路25の並列演算出力はすべて加算回路26で加
算され、1つのτ値におけるCp(τ)あるいはCD(
τ)が求められる。この加算結果27は比較回路28に
供給され、種々のτ値におけるCp(τ)あるいはCD
(τ)値が比較され、各々これらの極大値あるいは極小
値を与えるτ値が求められる。座標変換回路29はこの
τ値から次フイールド参照窓の水平座標を算出する。垂
直方向にも同様の構成を用いることにより、次フイール
ド参照窓の垂直座標が算出される。
あと、第(1)式では、最大相関点として、相互相関関
数の最大値を検出することを目的として多ビツトの参照
信号と被相関信号との乗算を、また第(2)式では相互
相関関数の最小値を検出する目的として多ビツトの参照
信号と被相関信号との差の絶対値を計算する演算回路2
5に供給される。iのすべての値にわたつて算出される
演算回路25の並列演算出力はすべて加算回路26で加
算され、1つのτ値におけるCp(τ)あるいはCD(
τ)が求められる。この加算結果27は比較回路28に
供給され、種々のτ値におけるCp(τ)あるいはCD
(τ)値が比較され、各々これらの極大値あるいは極小
値を与えるτ値が求められる。座標変換回路29はこの
τ値から次フイールド参照窓の水平座標を算出する。垂
直方向にも同様の構成を用いることにより、次フイール
ド参照窓の垂直座標が算出される。
なお、上記実施例では、二次元分布を有する画像情報を
互いに直交する方向の一次元画像に圧縮して相関演算を
行う場合について説明したが、この発明はこれに限らず
、非圧縮画像の相関演算を行う場合にも適用できる。以
上のように、この発明による相関追尾装置では、該装置
のダイナミツクレンジを、入力信号強度の予想される最
大値から計算される値に固定的に設定しておくことによ
り、従来の装置のように閾値を状況に応じて設定しなお
す必要がないばかりでなく、画素の濃度情報を有効に利
用しているので、所定の目標又は情景を安定に追尾する
ことが可能である。
互いに直交する方向の一次元画像に圧縮して相関演算を
行う場合について説明したが、この発明はこれに限らず
、非圧縮画像の相関演算を行う場合にも適用できる。以
上のように、この発明による相関追尾装置では、該装置
のダイナミツクレンジを、入力信号強度の予想される最
大値から計算される値に固定的に設定しておくことによ
り、従来の装置のように閾値を状況に応じて設定しなお
す必要がないばかりでなく、画素の濃度情報を有効に利
用しているので、所定の目標又は情景を安定に追尾する
ことが可能である。
【図面の簡単な説明】
第1図は画面、参照窓および追尾しようとする目標との
関係を示す配置図、第2図は従来の相関追尾装置の構成
を示す構成図、第3図はこの発明による多値相関演算を
行う演算回路構成の実施例を水平方向を例にとつて示す
構成図である。 1・・・・・・画面、2・・・・・・目標、3・・・・
・・参照窓、4・・・・・・水平相関窓、5・・・・・
・垂直相関窓、6・・・・・・撮像装置、7・・・・・
・アナログーデイジタル変換器、8・・・・・・参照窓
設定回路、9・・・・・・相関信号抽出回路、10・・
・・・・水平画像信号、11・・・・・・垂直画像信号
、12A,12B・・・・・・加算回路、13A,13
B・・・・・・一次元圧縮信号、14A,14B・・・
・・・二値化回路、15A,15B・・・・・・二値信
号、16A,16B・・・・・・相関演算回路、17A
,17B・・・・・・相関関数値比較回路、18・・・
・・・選択回路、19,20・・・・・・記憶回路、2
1,22・・・・・・駆動回路、23,24・・・・・
・記憶回路、25・・・・・・演算回路、26・・・・
・・加算回路、27・・・・・・加算結果、28・・・
・・・比較回路、29・・・・・・座標変換回路。
関係を示す配置図、第2図は従来の相関追尾装置の構成
を示す構成図、第3図はこの発明による多値相関演算を
行う演算回路構成の実施例を水平方向を例にとつて示す
構成図である。 1・・・・・・画面、2・・・・・・目標、3・・・・
・・参照窓、4・・・・・・水平相関窓、5・・・・・
・垂直相関窓、6・・・・・・撮像装置、7・・・・・
・アナログーデイジタル変換器、8・・・・・・参照窓
設定回路、9・・・・・・相関信号抽出回路、10・・
・・・・水平画像信号、11・・・・・・垂直画像信号
、12A,12B・・・・・・加算回路、13A,13
B・・・・・・一次元圧縮信号、14A,14B・・・
・・・二値化回路、15A,15B・・・・・・二値信
号、16A,16B・・・・・・相関演算回路、17A
,17B・・・・・・相関関数値比較回路、18・・・
・・・選択回路、19,20・・・・・・記憶回路、2
1,22・・・・・・駆動回路、23,24・・・・・
・記憶回路、25・・・・・・演算回路、26・・・・
・・加算回路、27・・・・・・加算結果、28・・・
・・・比較回路、29・・・・・・座標変換回路。
Claims (1)
- 【特許請求の範囲】 1 撮像装置から供給される画像を、その水平走査方向
及び垂直走査方向に細分化して画素に分割し、各画素の
濃度を多ビットでアナログ−ディジタル変換して得たデ
ィジタル画像を用い、あらかじめ前記撮像装置の視野内
にある所要の目標又は情景を含む領域を参照信号として
記憶したディジタル画像と、被相関信号として新たに順
次前記撮像装置から供給されディジタル化されたディジ
タル画像との間で相関演算し、その相関係数を最大とす
る位置座標を追尾座標として演算し、前記撮像装置の視
野内の所要の目標又は情景を追尾する相関追尾装置にお
いて、前記ディジタル画像の水平走査方向及び垂直走査
方向毎にそれぞれ矩形領域である水平相関窓及び垂直相
関窓を設定し、該水平相関窓及び垂直相関窓内にある画
素の濃度をそれぞれ加算処理して多ビットの濃度情報を
有する1次元信号を得て、あらかじめ所要の目標又は情
景を含む特定領域である参照窓の多ビットの濃度情報を
有する1次元信号を参照信号R(i)として記憶回路1
9で記憶し、該記憶回路19に記憶した時刻と異なる時
刻に前記撮像装置から供給された画像に対して求めた多
ビットの濃度情報を有する1次元信号を被相関信号S(
i+τ)として記憶回路20に記憶し、各記憶回路19
、20より読み出した参照信号R(i)と被相関信号S
(i+τ)との積相関関数C_P(τ)又は差相関関数
C_D(τ)を演算回路により各々次式▲数式、化学式
、表等があります▼ ▲数式、化学式、表等があります▼ 〔但し、水平方向の相関演算の場合、Mは参照窓の水平
走査方向の画素数、τはシフト量(単位画素)であつて
、τ=0、1、2、…、N−M、Nは水平相関窓の水平
方向画素数、また垂直方向の相関演算の場合、Mは参照
窓の垂直走査方向の画素数、Nは垂直相関窓の垂直方向
画素数を示す。 〕にしたがつて演算することを特徴とする相関追尾装置
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13171880A JPS5932743B2 (ja) | 1980-09-24 | 1980-09-24 | 相関追尾装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13171880A JPS5932743B2 (ja) | 1980-09-24 | 1980-09-24 | 相関追尾装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS5757096A JPS5757096A (en) | 1982-04-06 |
| JPS5932743B2 true JPS5932743B2 (ja) | 1984-08-10 |
Family
ID=15064570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13171880A Expired JPS5932743B2 (ja) | 1980-09-24 | 1980-09-24 | 相関追尾装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS5932743B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60197780A (ja) * | 1984-03-19 | 1985-10-07 | Daicel Chem Ind Ltd | 再剥離型感圧接着剤 |
| JPH0615631B2 (ja) * | 1987-03-06 | 1994-03-02 | 東洋インキ製造株式会社 | プラスチツク用活性エネルギ−線硬化型被覆剤 |
-
1980
- 1980-09-24 JP JP13171880A patent/JPS5932743B2/ja not_active Expired
Also Published As
| Publication number | Publication date |
|---|---|
| JPS5757096A (en) | 1982-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5559551A (en) | Subject tracking apparatus | |
| EP0181215B1 (en) | Apparatus for detecting motion of television images | |
| US4270143A (en) | Cross-correlation video tracker and method | |
| CN102104732B (zh) | 图像处理装置和方法 | |
| US5629988A (en) | System and method for electronic image stabilization | |
| US4736436A (en) | Information extraction by mapping | |
| JPH07118784B2 (ja) | テレビジヨン信号の動き検出方法 | |
| EP0194066A2 (en) | Video signal processing | |
| JP3131560B2 (ja) | 動画像処理システムにおける動画像情報検出装置 | |
| KR20010039885A (ko) | 화상 처리 장치 | |
| US5825429A (en) | Apparatus and method for generating interpolated image data | |
| AU593394B2 (en) | Interpolator for television special effects system | |
| US5430479A (en) | Moving vector extractor | |
| EP0643538A2 (en) | Motion vector detecting apparatus and methods | |
| US6160917A (en) | Method of calculating motion vectors | |
| CN1110960C (zh) | 对在视频信号中的目标轮廓进行编码的方法和装置 | |
| JPH04213973A (ja) | 画像ゆれ補正装置 | |
| JPH0863604A (ja) | 画像処理装置および画像処理方法 | |
| JPH07193789A (ja) | 画像情報変換装置 | |
| JP2797891B2 (ja) | 多次元画像構造圧縮方法 | |
| JPS5918669B2 (ja) | 相関追尾装置 | |
| JPS6033350B2 (ja) | 相関追尾装置 | |
| JPS625556B2 (ja) | ||
| JP2912629B2 (ja) | 移動物体の自動追尾装置 | |
| JPS61126407A (ja) | デイザ法を用いた移動体の追跡装置 |