JPS6119076B2 - - Google Patents
Info
- Publication number
- JPS6119076B2 JPS6119076B2 JP1970381A JP1970381A JPS6119076B2 JP S6119076 B2 JPS6119076 B2 JP S6119076B2 JP 1970381 A JP1970381 A JP 1970381A JP 1970381 A JP1970381 A JP 1970381A JP S6119076 B2 JPS6119076 B2 JP S6119076B2
- Authority
- JP
- Japan
- Prior art keywords
- correlation
- tracking
- maximum value
- screen
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】
この発明は、テレビカメラや赤外線撮像装置か
ら供給される画像信号の相関処理により、上記撮
像装置の視野内にある所要の目標又は情景を自動
的に捜索、捕捉し追尾する装置に関するものであ
る。
ら供給される画像信号の相関処理により、上記撮
像装置の視野内にある所要の目標又は情景を自動
的に捜索、捕捉し追尾する装置に関するものであ
る。
従来、この種装置では、所要の目標又は情景の
捜索、捕捉は、操作員が撮像装置から供給される
画像をCRT上に表示し、このCRT画面上を注視
して目標の識別、判定を行なつていたため、操作
員の能力による個人差が大きくかつ、操作員の肉
体的疲労による交代要員の常備が必要であるなど
の欠点があつた。
捜索、捕捉は、操作員が撮像装置から供給される
画像をCRT上に表示し、このCRT画面上を注視
して目標の識別、判定を行なつていたため、操作
員の能力による個人差が大きくかつ、操作員の肉
体的疲労による交代要員の常備が必要であるなど
の欠点があつた。
また、操作員が撮像装置の視野内にある目標又
は情景のなかから所要の目標又は情景を捜索、捕
捉した後追尾モードの指令を出すまでに１秒程度
の時間遅れがあるため、高速移動目標を自動的に
追尾するモードへ切り替えるのがスムーズにいか
なかつた。
は情景のなかから所要の目標又は情景を捜索、捕
捉した後追尾モードの指令を出すまでに１秒程度
の時間遅れがあるため、高速移動目標を自動的に
追尾するモードへ切り替えるのがスムーズにいか
なかつた。
この発明は、これらの欠点を除去するため、撮
像装置から供給される画像を走査線に平行及び垂
直方向に沿つてα個及びβ個に分割し、分割した
各領域内において、あらかじめ所要の目標又は情
景の画像信号を記憶した参照画面を２次元的に走
査して相関関数の最大値を求め、それらのα×β
個の相関係数の最大値のうち大きい順から処理時
間の短縮のためｉ個選ぶとともに各ｉ個の領域を
走査線に平行及び垂直方向にＡH倍及びＡV倍し、
上記参照画面を２次元的に走査して相関係数の最
大値を上記のｉ個の領域で求めたうちで、最大の
相関係数を与える上記の分割された領域を１つ選
び、新たに入力されるｊ個の被相関画面に対し、
参照画面を上記分割された領域内で２次元的に走
査して相関係数の最大値を求め、これらのｊ個の
相関係数の最大値があらかじめ設定した閾値を越
える個数ｎcを計数し、その計数値ｎcがｎt（ｎt
＜ｊ）より大きいものを所要の目標又は情景とし
て選定し、自動的に追尾モードに移行するように
したものである。以下図面について詳細に説明す
る。
像装置から供給される画像を走査線に平行及び垂
直方向に沿つてα個及びβ個に分割し、分割した
各領域内において、あらかじめ所要の目標又は情
景の画像信号を記憶した参照画面を２次元的に走
査して相関関数の最大値を求め、それらのα×β
個の相関係数の最大値のうち大きい順から処理時
間の短縮のためｉ個選ぶとともに各ｉ個の領域を
走査線に平行及び垂直方向にＡH倍及びＡV倍し、
上記参照画面を２次元的に走査して相関係数の最
大値を上記のｉ個の領域で求めたうちで、最大の
相関係数を与える上記の分割された領域を１つ選
び、新たに入力されるｊ個の被相関画面に対し、
参照画面を上記分割された領域内で２次元的に走
査して相関係数の最大値を求め、これらのｊ個の
相関係数の最大値があらかじめ設定した閾値を越
える個数ｎcを計数し、その計数値ｎcがｎt（ｎt
＜ｊ）より大きいものを所要の目標又は情景とし
て選定し、自動的に追尾モードに移行するように
したものである。以下図面について詳細に説明す
る。
第１図から第３図は、この発明による相関追尾
装置における目標又は情景の捜索、捕捉動作の説
明図である。
装置における目標又は情景の捜索、捕捉動作の説
明図である。
第１図は、撮像装置から供給される画像を走査
線に平行及び垂直方向に沿つてα個及びβ個に分
割したときの領域の配列と、その領域内における
参照画面の走査法を説明する図である。第２図
は、上記走査法により求めた相関係数と、それら
の振幅の最大値のうち大きい順からｉ個の領域を
選び、各領域の走査線に平行及び垂直方向をＡH
倍及びＡV倍し、各領域毎に参照画面を２次元的
に走査して計算した相関係数を示す図である。第
３図は、上記ｉ個の領域について計算した相関係
数のなかから、相関係数を最大とする領域を１個
選びこの領域において、新たに入力されるｊ個の
被相関画像について計算した相関係数を示す図で
ある。
線に平行及び垂直方向に沿つてα個及びβ個に分
割したときの領域の配列と、その領域内における
参照画面の走査法を説明する図である。第２図
は、上記走査法により求めた相関係数と、それら
の振幅の最大値のうち大きい順からｉ個の領域を
選び、各領域の走査線に平行及び垂直方向をＡH
倍及びＡV倍し、各領域毎に参照画面を２次元的
に走査して計算した相関係数を示す図である。第
３図は、上記ｉ個の領域について計算した相関係
数のなかから、相関係数を最大とする領域を１個
選びこの領域において、新たに入力されるｊ個の
被相関画像について計算した相関係数を示す図で
ある。
なお、以下では、説明の都合上、ｉ＝３、ｊ＝
５の場合について説明する。
５の場合について説明する。
第１図において、１は撮像装置から供給される
被相関画面、２は分割領域、３は参照画面であ
る。以下では、参照画面は、あらかじめ追尾目標
又は情景の画像信号を画像データベースに記憶し
ておいたなかから所要のものを選択し用いるもの
とする。
被相関画面、２は分割領域、３は参照画面であ
る。以下では、参照画面は、あらかじめ追尾目標
又は情景の画像信号を画像データベースに記憶し
ておいたなかから所要のものを選択し用いるもの
とする。
なお、上記の被相関画面１の大きさをＫ画素×
Ｌ画素、参照画面３の大きさをＭ画素×Ｎ画素と
して説明する。
Ｌ画素、参照画面３の大きさをＭ画素×Ｎ画素と
して説明する。
被相関画面１を走査線に平行及び垂直方向に沿
つてα個及びβ個に分割した領域２において、参
照画面３を走査線に平行方向に対しＫ／αＢＨ画素間 隔で、また走査線に垂直方向に対しＬ／βＢＶ画素間 隔で２次元的に粗く走査し、相関係数Ｃ（ｋ，
ｌ）を計算する。
つてα個及びβ個に分割した領域２において、参
照画面３を走査線に平行方向に対しＫ／αＢＨ画素間 隔で、また走査線に垂直方向に対しＬ／βＢＶ画素間 隔で２次元的に粗く走査し、相関係数Ｃ（ｋ，
ｌ）を計算する。
この場合、被相関画面１の画像信号をＱ（ｍ＋
ｋ，ｎ＋ｌ）、参照画面３の画像信号をＰ（ｍ，
ｎ）とすると、相関係数Ｃ（ｋ，ｌ）は第(1)式で
与えられる。
ｋ，ｎ＋ｌ）、参照画面３の画像信号をＰ（ｍ，
ｎ）とすると、相関係数Ｃ（ｋ，ｌ）は第(1)式で
与えられる。
ここで、（ｍ，ｎ）は参照画面３の左上端を座
標原点に、また（ｋ・ｌ）は各分割領域２の左上
端を座標原点にそれぞれ設定した直交座標系であ
り、ｋ，ｌは第(2)式及び第(3)式の条件を満足する
値である。
標原点に、また（ｋ・ｌ）は各分割領域２の左上
端を座標原点にそれぞれ設定した直交座標系であ
り、ｋ，ｌは第(2)式及び第(3)式の条件を満足する
値である。
１≦ｋ≦（Ｋ／α−Ｍ＋１） (2)
１≦ｌ≦（Ｋ／β−Ｎ＋１） (3)
この場合、第２図に示すようなα×β個の相関
係数の演算時間Ｔは、１回のＰ（ｍ，ｎ）とＱ
（ｍ＋ｋ，ｎ＋ｌ）の積演算時間をｔとすると第
(4)式となる。
係数の演算時間Ｔは、１回のＰ（ｍ，ｎ）とＱ
（ｍ＋ｋ，ｎ＋ｌ）の積演算時間をｔとすると第
(4)式となる。
いま一例として、Ｋ＝Ｌ＝256画素、Ｍ＝Ｎ＝
16画素、α＝β＝８、ＢH＝ＢV＝４、ｔ＝
70nsecの掛算器を用いる場合には、 Ｔ＝(8)２・（16）2・(3)２・（70×10-9） 〓10.3msec となり、30フレーム／secの標準テレビ走査方式
の１フレーム以内で処理できる。
16画素、α＝β＝８、ＢH＝ＢV＝４、ｔ＝
70nsecの掛算器を用いる場合には、 Ｔ＝(8)２・（16）2・(3)２・（70×10-9） 〓10.3msec となり、30フレーム／secの標準テレビ走査方式
の１フレーム以内で処理できる。
次に、第２図に示すようなα×β個の相関係数
の振幅のうち、大きい順からｉ＝３個のピーク
C1・C2及びC3を選ぶとともに、次に入力される
被相関画面において目標が上記分割領域外へ移動
し相関がとれなくなるのを防止するため、各分割
領域２の走査線に平行及び垂直方向をＡH倍及び
ＡV倍して相関演算領域を広げ、各領域において
上記参照画面を２次元的に走査して相関係数C1
（ｋ・ｌ）、C2（ｋ・ｌ）、C3（ｋ・ｌ）を計算す
る。
の振幅のうち、大きい順からｉ＝３個のピーク
C1・C2及びC3を選ぶとともに、次に入力される
被相関画面において目標が上記分割領域外へ移動
し相関がとれなくなるのを防止するため、各分割
領域２の走査線に平行及び垂直方向をＡH倍及び
ＡV倍して相関演算領域を広げ、各領域において
上記参照画面を２次元的に走査して相関係数C1
（ｋ・ｌ）、C2（ｋ・ｌ）、C3（ｋ・ｌ）を計算す
る。
この場合の相関係数の演算時間T′は、１回の
積演算時間をｔとすると第(5)式となる。
積演算時間をｔとすると第(5)式となる。
T′＝ｉ・Ｍ・Ｎ・（ＡＨ・Ｋ／α−Ｍ＋１）
・（ＡＶ・Ｌ／βＮ＋１）・ｔ (5)
いま一例としてＫ＝Ｌ＝256画素、Ｍ＝Ｎ＝16
画素、α＝β＝８、ＡH＝ＡV＝1.5、ｔ＝70nsec
の掛算器を用いる場合には T′＝３・（16）2・（33）2・（70×10-9） 〓58.5msec となり、30フレーム／secの標準テレビ走査方式
の２フレーム以内で処理できる。
画素、α＝β＝８、ＡH＝ＡV＝1.5、ｔ＝70nsec
の掛算器を用いる場合には T′＝３・（16）2・（33）2・（70×10-9） 〓58.5msec となり、30フレーム／secの標準テレビ走査方式
の２フレーム以内で処理できる。
上記の如く計算した相関係数C1（ｋ，ｌ）、C2
（ｋ，ｌ）、C3（ｋ，ｌ）のうちその振幅の最大
となる領域を１個選び、この領域(2)において第３
図に示すように連続して入力される５個の被相関
画像に対して上記参照画面(3)を２次元的に走査し
て相関係数Ｃ(1)（ｋ，ｌ）、Ｃ(2)（ｋ，ｌ）、Ｃ
(3)（ｋ，ｌ）、Ｃ(4)（ｋ，ｌ）、Ｃ(5)（ｋ，
ｌ）を計算する。
（ｋ，ｌ）、C3（ｋ，ｌ）のうちその振幅の最大
となる領域を１個選び、この領域(2)において第３
図に示すように連続して入力される５個の被相関
画像に対して上記参照画面(3)を２次元的に走査し
て相関係数Ｃ(1)（ｋ，ｌ）、Ｃ(2)（ｋ，ｌ）、Ｃ
(3)（ｋ，ｌ）、Ｃ(4)（ｋ，ｌ）、Ｃ(5)（ｋ，
ｌ）を計算する。
ここで、上記の相関係数の最大値をE1，E2，
E3，E4，E5、また、あらかじめ設定した閾値を
Ｅtとする。このE1〜E5とＥtとを比較し、Ｅtを越
える個数ｎcを計数し、この計数値ｎcが閾値ｎt
を越えた場合を所要の目標と識別し、追尾モード
に移行する。このような処理を行なうのは、上述
の如く参照画像を画像データベースから選択しこ
れを継続的に用いている場合目標の並進・拡大・
縮小・回転などに伴つて相関係数の最大値が変化
し、誤動作するのを防止するためのものである。
E3，E4，E5、また、あらかじめ設定した閾値を
Ｅtとする。このE1〜E5とＥtとを比較し、Ｅtを越
える個数ｎcを計数し、この計数値ｎcが閾値ｎt
を越えた場合を所要の目標と識別し、追尾モード
に移行する。このような処理を行なうのは、上述
の如く参照画像を画像データベースから選択しこ
れを継続的に用いている場合目標の並進・拡大・
縮小・回転などに伴つて相関係数の最大値が変化
し、誤動作するのを防止するためのものである。
なお、ｎc＜ｎt＝３となる場合は、第１図に示
した捜索動作に戻り、上記の動作を繰り辺す。
した捜索動作に戻り、上記の動作を繰り辺す。
ところで第３図に示した連続して入力されるｊ
＝５個の被相関画像に対する相関係数の演算時間
T″は、１回の積演算時間をｔとすると第(6)式と
なる。
＝５個の被相関画像に対する相関係数の演算時間
T″は、１回の積演算時間をｔとすると第(6)式と
なる。
T″＝ｊ・Ｍ・Ｎ・（ＡＨ・Ｋ／α−Ｍ＋１）
・（ＡＶ・Ｌ／β−Ｎ＋１）・ｔ (6)
いま一例としてＫ＝Ｌ＝256画素、Ｍ＝Ｎ＝16
画素、α＝β＝８、ＡH＝ＡV＝1.5、ｔ＝70nsec
の掛算器を用いる場合 T″＝５・（16）2・（33）2・（70×10-9） 〓97.6msec となり30フレーム／secの標準テレビ走査方式の
３フレーム以内で処理できる。
画素、α＝β＝８、ＡH＝ＡV＝1.5、ｔ＝70nsec
の掛算器を用いる場合 T″＝５・（16）2・（33）2・（70×10-9） 〓97.6msec となり30フレーム／secの標準テレビ走査方式の
３フレーム以内で処理できる。
以上述べたこの発明による相関追尾装置におい
て、目標又は情景の捜索、捕捉に要する時間はＫ
＝Ｌ＝256画素、Ｍ＝Ｎ＝16画素、α＝β＝８、
ＡH＝ＡV＝1.5、ＢH＝ＢV＝４、ｉ＝３、ｊ＝
５、ｔ＝70nsecの場合高々６フレーム（〓
0.2sec）であり、肉眼の積分時間（〓0.3sec）以
内で自動的に追尾モードに移行することができ
る。
て、目標又は情景の捜索、捕捉に要する時間はＫ
＝Ｌ＝256画素、Ｍ＝Ｎ＝16画素、α＝β＝８、
ＡH＝ＡV＝1.5、ＢH＝ＢV＝４、ｉ＝３、ｊ＝
５、ｔ＝70nsecの場合高々６フレーム（〓
0.2sec）であり、肉眼の積分時間（〓0.3sec）以
内で自動的に追尾モードに移行することができ
る。
次に、追尾動作では、はじめに第３図に示した
領域内で同様に相関係数を計算しその振幅を最大
とする座標（k0，l0）を求めこれを追尾点とす
る。次に入力される被相関画面１に対し、第４図
ａに示すように、一例として大きさ２ε画素×２
ε画素の矩形領域４に参照画面３の走査領域を限
定して相関係数Ｃ（ｋ，ｌ）を計算する。
領域内で同様に相関係数を計算しその振幅を最大
とする座標（k0，l0）を求めこれを追尾点とす
る。次に入力される被相関画面１に対し、第４図
ａに示すように、一例として大きさ２ε画素×２
ε画素の矩形領域４に参照画面３の走査領域を限
定して相関係数Ｃ（ｋ，ｌ）を計算する。
同様にしてこの相関係数Ｃ（ｋ，ｌ）の振幅を
最大とする座標（k1，l1）を求め（ko，l0）との距
離Ｒを第(7)式より求める。
最大とする座標（k1，l1）を求め（ko，l0）との距
離Ｒを第(7)式より求める。
Ｒ＝√｜1−0｜２＋｜1−0｜２ (7)
ここで、上記Ｒとあらかじめ設定したεとの比
較を行ない、Ｒ≧εの場合には第４図ｂに示すよ
うに、大きさ2aR画素×2aR画素（ａ≧１）の矩
形領域４を、追尾点（k1，l1）を中心として設
け、この領域に参照画面３の走査領域を限定す
る。
較を行ない、Ｒ≧εの場合には第４図ｂに示すよ
うに、大きさ2aR画素×2aR画素（ａ≧１）の矩
形領域４を、追尾点（k1，l1）を中心として設
け、この領域に参照画面３の走査領域を限定す
る。
上記の相関係数の演算時間Tcは、１回の積演
算時間をｔとすると第(8)式となる。
算時間をｔとすると第(8)式となる。
〓Tc＝Ｍ・Ｎ・（2aR）2・ｔ ：Ｒ≧εの場合
＝Ｍ・Ｎ・（２ε）２・ｔ Ｒ＜εの場合 (8)
ところで、上記の距離Ｒの最大値は、通常の運
用条件では１秒間当り被相関画面の全幅以下であ
るから、一例として被相関画面の大きさをＫ＝Ｌ
＝256画素とすると30フレーム／secの標準テレビ
走査方式では、上記の最大のＲはフレーム間
（33.3msec）において8.5画素となる。
用条件では１秒間当り被相関画面の全幅以下であ
るから、一例として被相関画面の大きさをＫ＝Ｌ
＝256画素とすると30フレーム／secの標準テレビ
走査方式では、上記の最大のＲはフレーム間
（33.3msec）において8.5画素となる。
このとき、大きさＭ＝Ｎ＝16画素の参照画面を
ａ＝２と設定して追尾する場合ｔ＝70nsecの掛
算器を用いると演算時間Tcは Tc＝（16）2・（２×２×8.5）2 ・（70×10-9）〓20.7msec となり33.3msecより小さくなるため、標準テレ
ビ走査方式の画像を実時間で相関追尾することが
できる。
ａ＝２と設定して追尾する場合ｔ＝70nsecの掛
算器を用いると演算時間Tcは Tc＝（16）2・（２×２×8.5）2 ・（70×10-9）〓20.7msec となり33.3msecより小さくなるため、標準テレ
ビ走査方式の画像を実時間で相関追尾することが
できる。
以上述べたこの発明による相関追尾装置では、
自動的に複雑背景中にある複数個の目標又は情景
を検出し、その中から最も相関の高いものを１個
選択し、それをｊ個のフレームにわたつて２重の
閾値処理を行ない捕捉しているため、安定かつ信
頼性の高いシステムを構成できる。
自動的に複雑背景中にある複数個の目標又は情景
を検出し、その中から最も相関の高いものを１個
選択し、それをｊ個のフレームにわたつて２重の
閾値処理を行ない捕捉しているため、安定かつ信
頼性の高いシステムを構成できる。
第５図は、この発明の実施例の構成図である。
第５図において、サーボ架台５に搭載した撮像
装置６から供給される画像信号をアナログ−デイ
ジタル変換回路７を通してデイジタル信号に変換
する。
装置６から供給される画像信号をアナログ−デイ
ジタル変換回路７を通してデイジタル信号に変換
する。
この画像信号を用いて、はじめに、目標の捜索
を下記の通り行なう。すなわち、領域分割回路８
を用いて被相関画面の走査線に平行及び垂直方向
に沿つてα個及びβ個に分割し、分割したα×β
個の領域内の画像信号をバツフアメモリ９に記憶
する。このバツフアメモリ９の中から順次分割さ
れた領域内の画像信号を読み出すとともに、あら
かじめメモリ１０ａに捕捉、追尾したい目標又は
情景の画像信号を参照画面として記憶しておいた
ものを読み出し、両者を掛算及び加算器１１に入
力し平行方向に対しＫ／αＢＨ画素、垂直方向に対し Ｌ／βＢＶ画素間隔で粗く走査し相関係数を計算す る。その後、最大値検出回路１２に入力し、各領
域毎に相関係数の振幅の最大値を求め、領域選択
回路１３を用いて、大きい順からｉ個の分割され
た領域を選択する。
を下記の通り行なう。すなわち、領域分割回路８
を用いて被相関画面の走査線に平行及び垂直方向
に沿つてα個及びβ個に分割し、分割したα×β
個の領域内の画像信号をバツフアメモリ９に記憶
する。このバツフアメモリ９の中から順次分割さ
れた領域内の画像信号を読み出すとともに、あら
かじめメモリ１０ａに捕捉、追尾したい目標又は
情景の画像信号を参照画面として記憶しておいた
ものを読み出し、両者を掛算及び加算器１１に入
力し平行方向に対しＫ／αＢＨ画素、垂直方向に対し Ｌ／βＢＶ画素間隔で粗く走査し相関係数を計算す る。その後、最大値検出回路１２に入力し、各領
域毎に相関係数の振幅の最大値を求め、領域選択
回路１３を用いて、大きい順からｉ個の分割され
た領域を選択する。
次に、目標の捕捉を下記の通り行なう。すなわ
ち、上記の領域選択回路１３からの検出信号を領
域設定回路１４に入力し、検出されたｉ個の領域
の走査線に平行及び垂直方向をＡH倍及びＡV倍
し、各領域の面積を拡張した後、この領域にある
画像信号をバツフアメモリ９に記憶する。このバ
ツフアメモリ９の中から順次上記分割された領域
内の画像信号を読み出すとともに、上記のメモリ
１０ａに記憶してある参照画面の画像信号を読み
出し両者を掛算及び加算回路１１に入力し相関係
数を計算する。
ち、上記の領域選択回路１３からの検出信号を領
域設定回路１４に入力し、検出されたｉ個の領域
の走査線に平行及び垂直方向をＡH倍及びＡV倍
し、各領域の面積を拡張した後、この領域にある
画像信号をバツフアメモリ９に記憶する。このバ
ツフアメモリ９の中から順次上記分割された領域
内の画像信号を読み出すとともに、上記のメモリ
１０ａに記憶してある参照画面の画像信号を読み
出し両者を掛算及び加算回路１１に入力し相関係
数を計算する。
その後最大値検出回路１２に入力し、各領域毎
に相関係数の振幅の最大値を求め、それらの最大
値の中から領域選択回路１３を用いて最大の相関
係数を与える分割された領域を１個選ぶ。
に相関係数の振幅の最大値を求め、それらの最大
値の中から領域選択回路１３を用いて最大の相関
係数を与える分割された領域を１個選ぶ。
この分割された領域において撮像装置６から連
続して供給されるｊ個の被相関画像に対し同様に
相関係数を計算し、最大値検出回路１２で相関係
数の振幅の最大値E1，…，Ｅjを求める。
続して供給されるｊ個の被相関画像に対し同様に
相関係数を計算し、最大値検出回路１２で相関係
数の振幅の最大値E1，…，Ｅjを求める。
このようにして求めたｊ個の最大値E1，…，
Ｅjとあらかじめ設定した閾値Ｅtとを比較回路１
５に入力し、このＥtを越える個数ｎcを計数した
後、このｎcがあらかじめ設定した個数ｎtを越え
た場合にロツクオン信号を発生する。
Ｅjとあらかじめ設定した閾値Ｅtとを比較回路１
５に入力し、このＥtを越える個数ｎcを計数した
後、このｎcがあらかじめ設定した個数ｎtを越え
た場合にロツクオン信号を発生する。
なお、ｎcがｎtより小さい場合には、ロツクオ
フ信号を発生し上記の領域分割回路８にフイード
バツクして再び捜索動作を行なう。
フ信号を発生し上記の領域分割回路８にフイード
バツクして再び捜索動作を行なう。
次に目標の追尾を下記の通り行なう。すなわ
ち、上記の比較回路１５よりロツクオン信号が発
生すると、自動的に追尾ウインドウ設定回路１６
が作動し、撮像装置６の視野内にある所要の目標
又は情景を含む領域に追尾ウインドウを設定す
る。この領域にある画像信号をスイツチ１７によ
り選び出し、この画像信号と上記のあらかじめメ
モリ１０ａに記憶した参照画面の画像信号とのい
ずれかをスイツチ１８により選びメモリ１０ｂに
参照画面として記憶する。
ち、上記の比較回路１５よりロツクオン信号が発
生すると、自動的に追尾ウインドウ設定回路１６
が作動し、撮像装置６の視野内にある所要の目標
又は情景を含む領域に追尾ウインドウを設定す
る。この領域にある画像信号をスイツチ１７によ
り選び出し、この画像信号と上記のあらかじめメ
モリ１０ａに記憶した参照画面の画像信号とのい
ずれかをスイツチ１８により選びメモリ１０ｂに
参照画面として記憶する。
この場合、スイツチ１７，１８を用いてメモリ
１０ｂに記憶するのは、目標又は情景が拡大・縮
小・回転などの変動を伴なつた場合に参照画面を
更新するためである。
１０ｂに記憶するのは、目標又は情景が拡大・縮
小・回転などの変動を伴なつた場合に参照画面を
更新するためである。
次に、新たに撮像装置６から供給される画像信
号に対しスイツチ１７を通してバツフアメモリ９
に入力した後、上記メモリ１０ｂ及びバツフアメ
モリ９から画像信号を読み出し掛算及び加算回路
１１に入力して相関係数を計算する。
号に対しスイツチ１７を通してバツフアメモリ９
に入力した後、上記メモリ１０ｂ及びバツフアメ
モリ９から画像信号を読み出し掛算及び加算回路
１１に入力して相関係数を計算する。
この場合、掛算及び加算回路１１を後述の相関
演算制御回路２１からの制御信号により演算領域
を制限する。
演算制御回路２１からの制御信号により演算領域
を制限する。
このようにして求めた２次元の相関係数を追尾
点検出回路１９に入力し、最大値を与える座標を
検出する。この座標信号と１フレーム前の画像に
ついて求めた座標信号との距離Ｒを距離計算回路
２０により求め相関演算時間制御回路２１に入力
する。
点検出回路１９に入力し、最大値を与える座標を
検出する。この座標信号と１フレーム前の画像に
ついて求めた座標信号との距離Ｒを距離計算回路
２０により求め相関演算時間制御回路２１に入力
する。
すると相関演算制御回路２１では、距離Ｒとあ
らかじめ設定した閾値εとの比較を行ないＲ≧ε
の場合には、大きさ2aR画素×2aR画素の矩形の
制御信号を、またＲ＜εの場合には大きさ２ε画
素×２ε画素の矩形の制御信号を発生する。
らかじめ設定した閾値εとの比較を行ないＲ≧ε
の場合には、大きさ2aR画素×2aR画素の矩形の
制御信号を、またＲ＜εの場合には大きさ２ε画
素×２ε画素の矩形の制御信号を発生する。
この場合、追尾点検出回路１９より出力される
座標信号を上記追尾ウインドウ設定回路１６にフ
イードバツクし画面上において追尾ウインドウの
位置を移動させることにより撮像装置６の視野内
にある所要の目標又は情景を電子ループで追尾す
ることができる。
座標信号を上記追尾ウインドウ設定回路１６にフ
イードバツクし画面上において追尾ウインドウの
位置を移動させることにより撮像装置６の視野内
にある所要の目標又は情景を電子ループで追尾す
ることができる。
また、追尾制御信号発生回路２２に上記座標信
号を入力し、サーボ架台５への誤差信号を出力し
撮像装置６の姿勢制御を行なうことにより、画面
上に所要の目標又は情景を静止させて追尾するこ
とができる。
号を入力し、サーボ架台５への誤差信号を出力し
撮像装置６の姿勢制御を行なうことにより、画面
上に所要の目標又は情景を静止させて追尾するこ
とができる。
なお、以上は標準テレビ走査方式の撮像装置か
ら供給される画像信号について説明したが、この
発明はこれに限らず２次元情報を相関処理し追尾
する装置に使用してもよい。
ら供給される画像信号について説明したが、この
発明はこれに限らず２次元情報を相関処理し追尾
する装置に使用してもよい。
また、以上はハードウエアについて説明した
が、この発明はこれに限らずソフトウエアで実現
する場合に適用できることは言うまでもない。
が、この発明はこれに限らずソフトウエアで実現
する場合に適用できることは言うまでもない。
さらに、以上では、ｉ＝３、ｊ＝５の場合につ
いて説明したが、この発明はこれに限らず任意の
値に設定して使用してもよい。さらに以上では相
関演算の制御領域の形が矩形の場合について説明
したが、この発明はこれに限らず円形、楕円形、
扇形などの任意の形状のものに適用できることは
言うまでもない。
いて説明したが、この発明はこれに限らず任意の
値に設定して使用してもよい。さらに以上では相
関演算の制御領域の形が矩形の場合について説明
したが、この発明はこれに限らず円形、楕円形、
扇形などの任意の形状のものに適用できることは
言うまでもない。
以上のように、この発明に係る相関追尾装置で
は、相関処理により、目標又は情景の捜索並びに
捕捉を自動的に行なうとともに追尾を実時間でで
きるため、特に人間の介在できない追尾システム
を構成する上で有効である。また、人間の介在で
きる追尾システムでは、操作員が追尾するか否か
の判定するための情報を提供することになるため
操作員の労力を軽減できる利点がある。
は、相関処理により、目標又は情景の捜索並びに
捕捉を自動的に行なうとともに追尾を実時間でで
きるため、特に人間の介在できない追尾システム
を構成する上で有効である。また、人間の介在で
きる追尾システムでは、操作員が追尾するか否か
の判定するための情報を提供することになるため
操作員の労力を軽減できる利点がある。
第１図、第２図、第３図は、この発明による相
関追尾装置における目標又は情景の捜索、捕捉動
作を説明するための図、第４図は追尾動作を説明
するための図、第５図は、この発明による相関追
尾装置の実施例の構成図である。 図中、１は被相関画面、２は分割領域、３は参
照画面、４は矩形の相関演算領域、５はサーボ架
台、６は撮像装置、７はアナログ−デイジタル変
換回路、８は領域分割回路、９はバツフアメモ
リ、１０ａ，１０ｂはメモリ、１１は掛算及び加
算回路、１２は最大値検出回路、１３は領域選択
回路、１４は領域設定回路、１５は比較回路、１
６は追尾ウインドウ設定回路、１７，１８はスイ
ツチ、１９は追尾点検出回路、２０は距離計算回
路、２１は相関演算制御回路、２２は追尾制御信
号発生回路である。なお、図中、同一あるいは相
当部分には同一符号を付して示してある。
関追尾装置における目標又は情景の捜索、捕捉動
作を説明するための図、第４図は追尾動作を説明
するための図、第５図は、この発明による相関追
尾装置の実施例の構成図である。 図中、１は被相関画面、２は分割領域、３は参
照画面、４は矩形の相関演算領域、５はサーボ架
台、６は撮像装置、７はアナログ−デイジタル変
換回路、８は領域分割回路、９はバツフアメモ
リ、１０ａ，１０ｂはメモリ、１１は掛算及び加
算回路、１２は最大値検出回路、１３は領域選択
回路、１４は領域設定回路、１５は比較回路、１
６は追尾ウインドウ設定回路、１７，１８はスイ
ツチ、１９は追尾点検出回路、２０は距離計算回
路、２１は相関演算制御回路、２２は追尾制御信
号発生回路である。なお、図中、同一あるいは相
当部分には同一符号を付して示してある。
Claims (1)
- １ 撮像装置から供給される画像信号をアナログ
−デイジタル変換した画面と、あらかじめ記憶し
た参照画面との相関関数を求め、その相関係数の
最大値及び最大値を与える座標を検出し、撮像装
置の視野内にある所要の目標又は情景を追尾する
相関追尾装置において、上記撮像装置から供給さ
れる画面を走査線に平行及び垂直方向に沿つてα
個及びβ個に分割し、この分割した各領域内で、
上記参照画面を２次元的に走査して相関係数の最
大値を求め、それらのα×β個の最大値のうち大
きい順番からｉ個選択する領域選択回路と、上記
ｉ個の分割した領域を中心として、その走査線に
平行及び垂直方向にＡH及びＡV倍に拡張した領域
を設定する領域設定回路と、これらの領域内の画
面上で前記参照画面を２次元的に走査して相関係
数を求め、各領域毎に相関係数の最大値を検出す
る最大値検出回路と、それらの最大値のうち最も
大きい値をもつ上記分割された領域を１個選定
し、新たに入力されるｊ個の被相関画面に対し、
参照画面を上記の選定された領域内に限定して２
次元的に走査して相関係数の最大値を求め、これ
らのｊ個の相関係数の最大値があらかじめ設定し
た閾値を越える個数ｎcを計数し、この計数値ｎc
がｎt（ｎt＜ｊ）より大きいものを所要の目標又
は情景と判定する比較回路と、上記のように判定
された目標又は情景を含む領域に追尾ウインドウ
を設定する追尾ウインドウ設定回路と、この追尾
ウインドウ内の画面と参照画面との相関係数を求
め、その最大相関値及びその最大値を与える座標
を追尾点として検出する追尾点検出回路と、この
追尾点検出回路より出力される座標信号に基づい
て前記撮像装置の姿勢を制御するサーボ架台に誤
差信号を出力する追尾制御信号発生回路とを備え
たことを特徴とする相関追尾装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1970381A JPS57134763A (en) | 1981-02-13 | 1981-02-13 | Correlation tracking device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1970381A JPS57134763A (en) | 1981-02-13 | 1981-02-13 | Correlation tracking device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS57134763A JPS57134763A (en) | 1982-08-20 |
| JPS6119076B2 true JPS6119076B2 (ja) | 1986-05-15 |
Family
ID=12006627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1970381A Granted JPS57134763A (en) | 1981-02-13 | 1981-02-13 | Correlation tracking device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS57134763A (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69330813T2 (de) * | 1992-03-06 | 2002-06-13 | Omron Corp., Kyoto | Bildprozessor und verfahren dafuer |
| US5392088A (en) * | 1992-09-04 | 1995-02-21 | Nikon Corporation | Target follow-up device and camera comprising the same |
-
1981
- 1981-02-13 JP JP1970381A patent/JPS57134763A/ja active Granted
Also Published As
| Publication number | Publication date |
|---|---|
| JPS57134763A (en) | 1982-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8983134B2 (en) | Image processing method | |
| JP3178719B2 (ja) | 動的物体認識方法及びその画像処理システム | |
| US7181047B2 (en) | Methods and apparatus for identifying and localizing an area of relative movement in a scene | |
| KR920001006B1 (ko) | Tv방식변환장치 | |
| US6563528B2 (en) | Video conference system | |
| JP2004180240A (ja) | 映像入力装置 | |
| JPH0614698B2 (ja) | 自動追尾カメラ | |
| GB2275842A (en) | Automatic image stabilizing system for a camcorder | |
| JP2889410B2 (ja) | 画像認識装置 | |
| JPH07298247A (ja) | Ｔｖカメラを用いた監視方法及び監視システム | |
| JPH0628399B2 (ja) | カメラにおける自動追尾装置 | |
| JPH0568666B2 (ja) | ||
| JPS6028475B2 (ja) | 相関追尾装置 | |
| JP2004194309A (ja) | 表示方法および表示装置 | |
| JP3135162B2 (ja) | 距離測定装置 | |
| JP3036898B2 (ja) | 画像合成用キー信号の発生装置および発生方法 | |
| JP3615909B2 (ja) | 移動物体検出装置 | |
| JP3348266B2 (ja) | 赤外線探知装置 | |
| JPS625556B2 (ja) | ||
| JPH05236321A (ja) | 画像処理装置 | |
| JPH05300440A (ja) | 固体撮像装置 | |
| JPS5933858B2 (ja) | 相関追尾装置 | |
| JPH05204456A (ja) | 画像追尾装置 | |
| JPH04352592A (ja) | 異常監視装置 | |
| JPH08125911A (ja) | 自動焦点整合装置 |