JPH04115376A - 画像追尾装置 - Google Patents
画像追尾装置Info
- Publication number
- JPH04115376A JPH04115376A JP2236173A JP23617390A JPH04115376A JP H04115376 A JPH04115376 A JP H04115376A JP 2236173 A JP2236173 A JP 2236173A JP 23617390 A JP23617390 A JP 23617390A JP H04115376 A JPH04115376 A JP H04115376A
- Authority
- JP
- Japan
- Prior art keywords
- maximum value
- image
- correlation
- target
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔概要〕
画像センサ取得画像と参照画像との相関処理によって目
標物を抽出し、この抽出座標に応じて撮像センサの視軸
を変向して目標物を追尾する画像追尾装置に関し、 目標物の運動距離が画像サンプリング間隔以下の場合で
も高精度に画像相関追尾することを目的とし、 求められた相関値画像の最大値位置及び該最大値位置の
隣接点位置における夫々の相関値に基づいて、実際の最
大値に極く近い推定最大値を推定で求め、該推定最大値
位置を目標物位置として出力する推定演算手段を設けた
構成とする。
標物を抽出し、この抽出座標に応じて撮像センサの視軸
を変向して目標物を追尾する画像追尾装置に関し、 目標物の運動距離が画像サンプリング間隔以下の場合で
も高精度に画像相関追尾することを目的とし、 求められた相関値画像の最大値位置及び該最大値位置の
隣接点位置における夫々の相関値に基づいて、実際の最
大値に極く近い推定最大値を推定で求め、該推定最大値
位置を目標物位置として出力する推定演算手段を設けた
構成とする。
本発明は、撮像センサ取得画像と参照画像との相関処理
によって目標物を抽出し、この抽出座標に応じて撮像セ
ンサの視軸を変向して目標物を追尾する画像追尾装置に
関する。
によって目標物を抽出し、この抽出座標に応じて撮像セ
ンサの視軸を変向して目標物を追尾する画像追尾装置に
関する。
このような画像追尾装置として、例えば航空機等に搭載
して地上の目標物を追尾する画像追尾装置か知られてい
る。この場合、特に、運動速度が速い目標物に対しても
高精度に追尾することが必要である。
して地上の目標物を追尾する画像追尾装置か知られてい
る。この場合、特に、運動速度が速い目標物に対しても
高精度に追尾することが必要である。
第６図は従来の一例のブロック図を示す。同図において
、撮像センサｌにより取得された画像データはＡＤ変換
器２にてサンプリングされ、アドレス発生器３にて発生
された書込みアドレスに従ってフレームメモリ４に蓄積
される。続いて、フレームメモリ５に予め蓄積されてい
る目標物に対応した形状の参照画像及びフレームメモリ
４に蓄積されているセンサ取得画像はアドレス発生器３
にて発生された読出しアドレスに従って読出され、画像
相関演算器６に供給されてここで相関演算か行なわれ、
相関値か出力される。この相関値は、Ｘ方向及びＸ方向
について第７図に示すような丘陵状の２曲面分布をなす
。
、撮像センサｌにより取得された画像データはＡＤ変換
器２にてサンプリングされ、アドレス発生器３にて発生
された書込みアドレスに従ってフレームメモリ４に蓄積
される。続いて、フレームメモリ５に予め蓄積されてい
る目標物に対応した形状の参照画像及びフレームメモリ
４に蓄積されているセンサ取得画像はアドレス発生器３
にて発生された読出しアドレスに従って読出され、画像
相関演算器６に供給されてここで相関演算か行なわれ、
相関値か出力される。この相関値は、Ｘ方向及びＸ方向
について第７図に示すような丘陵状の２曲面分布をなす
。
このようにして得られた相関値は最大値検出器７にて相
関最大値を検出され、目標座標演算器８に供給されてこ
こで目標物座標を求められる。続いて、追尾指令演算器
９において目標物座標に基づいて目標物位置予測等の処
理が行なわれて追尾指令か求められ、この追尾指令は視
軸変向機構（ジンバル）１０に送られてこれを作動させ
る。
関最大値を検出され、目標座標演算器８に供給されてこ
こで目標物座標を求められる。続いて、追尾指令演算器
９において目標物座標に基づいて目標物位置予測等の処
理が行なわれて追尾指令か求められ、この追尾指令は視
軸変向機構（ジンバル）１０に送られてこれを作動させ
る。
撮像センサ１は視軸変向機構１０の動作によって目標物
を捕捉し続ける。
を捕捉し続ける。
いま、説明を簡略化するためにＸ方向のみについての相
関値を考えてみるに、Ｘ方向の画素中心点をＸｏ Ｚ
Ｘ＋ −＋ Ｘｓ 、・・・、該画素中心点における
相関値をＣｏ ”ｒ Ｃ１Ｚ Ｃｔ −＋ ・・・と
すると１、相関値分布は例えば第５図に示すようになっ
たとする。この場合、画素中心点ｘ０Ｘ＋ ＋Ｘ＊
ｌ・・・、はＡＤ変換器２におけるサンプリング点に
相当し、Ｘｓ−とＸ＋−との間、Ｘ、−とＸｔ ′との
間、・・・はサンプリング間隔△Ｘとなる。
関値を考えてみるに、Ｘ方向の画素中心点をＸｏ Ｚ
Ｘ＋ −＋ Ｘｓ 、・・・、該画素中心点における
相関値をＣｏ ”ｒ Ｃ１Ｚ Ｃｔ −＋ ・・・と
すると１、相関値分布は例えば第５図に示すようになっ
たとする。この場合、画素中心点ｘ０Ｘ＋ ＋Ｘ＊
ｌ・・・、はＡＤ変換器２におけるサンプリング点に
相当し、Ｘｓ−とＸ＋−との間、Ｘ、−とＸｔ ′との
間、・・・はサンプリング間隔△Ｘとなる。
ところで、従来例は相関値が最大となる画素位置を目標
物位置とする方法であるため、サンプリング間隔△Ｘが
目標物の運動距離よりも大きい場合、第５図に示すよう
に最大値がサンプリング点とサンプリング点との間に位
置してしまうこともあり、このような場合、目標物を捕
捉できないという問題点があった。
物位置とする方法であるため、サンプリング間隔△Ｘが
目標物の運動距離よりも大きい場合、第５図に示すよう
に最大値がサンプリング点とサンプリング点との間に位
置してしまうこともあり、このような場合、目標物を捕
捉できないという問題点があった。
本発明は、目標物の運動距離が画像サンプリング間隔以
下の場合でも高精度に画像相関追尾できる画像追尾装置
を提供することを目的とする。
下の場合でも高精度に画像相関追尾できる画像追尾装置
を提供することを目的とする。
第１図は本発明の原理図を示す。同図中、２゜は画像相
関演算手段で、撮像センサ取得画像と目標物参照画像と
の相関処理に基づいた目標物抽出処理で相関値画像の最
大値を求める。２１は推定演算手段で、上記求められた
相関値画像の最大値位置及び該最大値位置の隣接点位置
における夫々の相関値に基づいて、実際の最大値に極く
近い推定最大値を推定で求め、該推定最大値位置を目標
物位置として出力する。
関演算手段で、撮像センサ取得画像と目標物参照画像と
の相関処理に基づいた目標物抽出処理で相関値画像の最
大値を求める。２１は推定演算手段で、上記求められた
相関値画像の最大値位置及び該最大値位置の隣接点位置
における夫々の相関値に基づいて、実際の最大値に極く
近い推定最大値を推定で求め、該推定最大値位置を目標
物位置として出力する。
第５図に示す如く、画像相関演算手段２０で求められた
相関最大値をＣｍ（Ｘ軸座標Ｘｔ−）＋その隣接点にお
ける相関値をＣ＋（ｘ軸座標Ｘ＋ ”）、Ｃｍ （
Ｘ軸座標Ｘり ′）、サンプリング間隔を△Ｘ、相関最
大値Ｃ８の座標と推定最大値座標との差分をＸ、推定最
大値座標をＸとすると、推定演算手段２１では以下の演
算が行なわれる。
相関最大値をＣｍ（Ｘ軸座標Ｘｔ−）＋その隣接点にお
ける相関値をＣ＋（ｘ軸座標Ｘ＋ ”）、Ｃｍ （
Ｘ軸座標Ｘり ′）、サンプリング間隔を△Ｘ、相関最
大値Ｃ８の座標と推定最大値座標との差分をＸ、推定最
大値座標をＸとすると、推定演算手段２１では以下の演
算が行なわれる。
ｘ ：）（、−−Ｘ
△Ｘ
Ｃ
−〇。
このようにして、本発明では相関最大値位置及びその隣
接点位置に基づいて相関値分布を２次曲面近似を用いて
近似し、相関画像内の最大値位置をサンプリング間隔以
下の精度で推定する。
接点位置に基づいて相関値分布を２次曲面近似を用いて
近似し、相関画像内の最大値位置をサンプリング間隔以
下の精度で推定する。
第２図は本発明の一実施例のブロック図を示し、同図中
、第６図と同一構成部分には同一番号を付してその動作
説明を省略する。第２図中、破線にて包囲した部分はマ
イクロプロセッサ又はデジタル・シグナル・ブロセッザ
にて構成されている。
、第６図と同一構成部分には同一番号を付してその動作
説明を省略する。第２図中、破線にて包囲した部分はマ
イクロプロセッサ又はデジタル・シグナル・ブロセッザ
にて構成されている。
第２＠において、画像相関演算器６で得られた相関値及
び最大値検出器７で得られた相関最大値は差分演算器１
１に供給され、ここで、最大位置及びその隣接点位置の
夫々の相関値に基づいて画像のＸ方向及びＸ方向につい
て夫々の方向で差分値が求められる。即ち、画像相関演
算器６で得られた相関値分布が第３図に示す如くであっ
たとすると、差分演算器１１においで、最大値検出器７
で得られた相関最大値ＩＥ０ （第５図において説明し
たように、最大値Ｅ。のサンプリング点は実際の最大値
から外れた位置にある）と最大値Ｅ。のＸ方向及びＸ方
向の夫々の隣接点相関値Ｅｌ、Ｅ２゜Ｅ、、Ｅ４とから
、Ｅｓ−Ｅ４．Ｅ、−Ｅ。９Ｅ４−Ｅ、、Ｅ、−Ｅ！、
Ｅ、−Ｅ、、Ｅ、−Ｅｏなる相関差分値が求められた。
び最大値検出器７で得られた相関最大値は差分演算器１
１に供給され、ここで、最大位置及びその隣接点位置の
夫々の相関値に基づいて画像のＸ方向及びＸ方向につい
て夫々の方向で差分値が求められる。即ち、画像相関演
算器６で得られた相関値分布が第３図に示す如くであっ
たとすると、差分演算器１１においで、最大値検出器７
で得られた相関最大値ＩＥ０ （第５図において説明し
たように、最大値Ｅ。のサンプリング点は実際の最大値
から外れた位置にある）と最大値Ｅ。のＸ方向及びＸ方
向の夫々の隣接点相関値Ｅｌ、Ｅ２゜Ｅ、、Ｅ４とから
、Ｅｓ−Ｅ４．Ｅ、−Ｅ。９Ｅ４−Ｅ、、Ｅ、−Ｅ！、
Ｅ、−Ｅ、、Ｅ、−Ｅｏなる相関差分値が求められた。
差分演算器１１で得られた相関差分値はピーク推定器１
２に供給され、ここで実際の相関最大値に極く近い推定
最大値が推定演算される。第４図に相関値模式図を示す
如く、最大値検出器７で得られた相関最大値Ｅ０の座標
を（ｘｏ、ｙｏ）。
２に供給され、ここで実際の相関最大値に極く近い推定
最大値が推定演算される。第４図に相関値模式図を示す
如く、最大値検出器７で得られた相関最大値Ｅ０の座標
を（ｘｏ、ｙｏ）。
Ｘ方向のサンプリング間隔を△ｘ、ｙ方向のサンプリン
グ間隔を△ｙ、推定最大値の座標を（Ｘ。
グ間隔を△ｙ、推定最大値の座標を（Ｘ。
９）、推定最大値座標と最大値検出器７で得られた相関
最大値Ｅ０の座標とのＸ方向及びＸ方向の差分を夫々Ｘ
、Ｙとすると、推定最大値の座標（ｘ、ｙ）は、 （ｘ、 ９） ＝ （ＸＯ＋Ｘ、 ３’ｏ ＋Ｙ）２
Ｅｓ −２Ｅｏ ＋Ｅ４ 。
最大値Ｅ０の座標とのＸ方向及びＸ方向の差分を夫々Ｘ
、Ｙとすると、推定最大値の座標（ｘ、ｙ）は、 （ｘ、 ９） ＝ （ＸＯ＋Ｘ、 ３’ｏ ＋Ｙ）２
Ｅｓ −２Ｅｏ ＋Ｅ４ 。
れて追尾指令か求められる。この追尾指令は視軸変向機
構１０に供給され、撮像センサｌの視軸を目標物に向１
′Ｊる。、二の場合、本発明では、第６図に示す従来例
のように最大値検出器７で求められた相関最大値をその
まま目標物位置とするのではなく、求められた相関最大
値Ｅ。とその隣接点相関値Ｅ、〜Ｅ４どに基づいて実際
の相関最大値に極く近い推定最大値を目標物位置として
いるため、サンプリング間隔が目標物運動距離よりも大
きく設定されていても、目標物をサンプリング間隔以下
の精度で追尾することができる。
構１０に供給され、撮像センサｌの視軸を目標物に向１
′Ｊる。、二の場合、本発明では、第６図に示す従来例
のように最大値検出器７で求められた相関最大値をその
まま目標物位置とするのではなく、求められた相関最大
値Ｅ。とその隣接点相関値Ｅ、〜Ｅ４どに基づいて実際
の相関最大値に極く近い推定最大値を目標物位置として
いるため、サンプリング間隔が目標物運動距離よりも大
きく設定されていても、目標物をサンプリング間隔以下
の精度で追尾することができる。
となる。即ち、最大値検出器７で得られた相関最大値Ｅ
６とこの隣接点相関値Ｅ、−Ｅ４とに基づいて実際の相
関値分布を２次曲面近似を用いて近似し、実際の相関最
大値に極く近い推定最大値を求める。
６とこの隣接点相関値Ｅ、−Ｅ４とに基づいて実際の相
関値分布を２次曲面近似を用いて近似し、実際の相関最
大値に極く近い推定最大値を求める。
このようにして求められた推定最大値は目標物座標とし
て追尾指令演算器９に供給され、目標物座標に基づいて
目標物位置予測等の処理が行なわ〔発明の効渠〕 以」−説明した如く、本発明によれば、相関最大値位置
及びその隣接点位置に基づいて相関値分布を２次曲面近
似して実際の最大値に極く近い最大値を推定しているた
め、サンプリング間隔が目標物運動距離よりも大きく設
定されていても、目標物をサンプリング間隔以下の精度
で追尾でき、従来例と同じサンプリング間隔のＡＤ変換
器を用いても従来例に比して高精度の画像追尾を行なう
ことかできる。
て追尾指令演算器９に供給され、目標物座標に基づいて
目標物位置予測等の処理が行なわ〔発明の効渠〕 以」−説明した如く、本発明によれば、相関最大値位置
及びその隣接点位置に基づいて相関値分布を２次曲面近
似して実際の最大値に極く近い最大値を推定しているた
め、サンプリング間隔が目標物運動距離よりも大きく設
定されていても、目標物をサンプリング間隔以下の精度
で追尾でき、従来例と同じサンプリング間隔のＡＤ変換
器を用いても従来例に比して高精度の画像追尾を行なう
ことかできる。
第１図は本発明の原理図、
第２図は本発明の一実施例のブロック図、第３図は本発
明における２次曲面近似を説明する図、 第４図は本発明における相関値模式図、第５図は相関値
分布を一次元にて示した図、第６図は従来の一例のブロ
ック図、 第７図は相関値分布を二次元にて示した図である。 ７は最大値検出器、 ９は追尾指令演算器、 １０は視軸変更機構、 １１．２１ａは差分演算器、 １２．２１ｂはピーク推定器、 ２０は画像相関演算手段、 ２１は推定演算手段 を示す。 特許＄願人 富 士 通 株式会社 図において、 １は撮像センサ、 ２はＡＤ変換器、 ４はフレームメモリ（センサ取得画像）、５はフレーム
メモリ（参照画像）、 ６は画像相関演算器、 本発明：こおける２次曲面近似を説明する２第 図 本発明の原理図 第１図 Ｅ３（Ｘ３．Ｙ３） 本発明Ｉこおける相関値模式図 第４図
明における２次曲面近似を説明する図、 第４図は本発明における相関値模式図、第５図は相関値
分布を一次元にて示した図、第６図は従来の一例のブロ
ック図、 第７図は相関値分布を二次元にて示した図である。 ７は最大値検出器、 ９は追尾指令演算器、 １０は視軸変更機構、 １１．２１ａは差分演算器、 １２．２１ｂはピーク推定器、 ２０は画像相関演算手段、 ２１は推定演算手段 を示す。 特許＄願人 富 士 通 株式会社 図において、 １は撮像センサ、 ２はＡＤ変換器、 ４はフレームメモリ（センサ取得画像）、５はフレーム
メモリ（参照画像）、 ６は画像相関演算器、 本発明：こおける２次曲面近似を説明する２第 図 本発明の原理図 第１図 Ｅ３（Ｘ３．Ｙ３） 本発明Ｉこおける相関値模式図 第４図
Claims (2)
- （１）画像相関演算手段（２０）にて、撮像センサ取得
画像と目標物参照画像との相関処理に基づいた目標物抽
出処理で相関値画像の最大値を求め、該最大値の画像上
の位置を目標物位置として目標物を追尾する画像追尾装
置において、 上記求められた相関値画像の最大値位置及び該最大値位
置の隣接点位置における夫々の相関値に基づいて、実際
の最大値に極く近い推定最大値を推定で求め、該推定最
大値位置を目標物位置として出力する推定演算手段（２
１）を設けてなることを特徴とする画像追尾装置。 - （２）上記推定演算手段（２１）は、上記最大値位置と
上記隣接点位置との差分値を求める差分演算器（２１ａ
）と、該差分値、上記最大値位置の座標値、サンプリン
グ間隔から上記推定最大値を求めるピーク推定器（２１
ｂ）とにて構成したことを特徴とする請求項１記載の画
像追尾装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2236173A JPH04115376A (ja) | 1990-09-06 | 1990-09-06 | 画像追尾装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2236173A JPH04115376A (ja) | 1990-09-06 | 1990-09-06 | 画像追尾装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04115376A true JPH04115376A (ja) | 1992-04-16 |
Family
ID=16996853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2236173A Pending JPH04115376A (ja) | 1990-09-06 | 1990-09-06 | 画像追尾装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04115376A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994001830A1 (en) * | 1992-07-03 | 1994-01-20 | Snell & Wilcox Limited | Correlation signal processing |
| US5838365A (en) * | 1994-09-20 | 1998-11-17 | Fujitsu Limited | Tracking apparatus for tracking image in local region |
| CN105096318A (zh) * | 2015-07-06 | 2015-11-25 | 王跃宣 | 移动微型目标提取机械和提取方法 |
-
1990
- 1990-09-06 JP JP2236173A patent/JPH04115376A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994001830A1 (en) * | 1992-07-03 | 1994-01-20 | Snell & Wilcox Limited | Correlation signal processing |
| US5838365A (en) * | 1994-09-20 | 1998-11-17 | Fujitsu Limited | Tracking apparatus for tracking image in local region |
| CN105096318A (zh) * | 2015-07-06 | 2015-11-25 | 王跃宣 | 移动微型目标提取机械和提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR940001014B1 (ko) | 공동 추적 시스템 및 추적 방법 | |
| JP4002919B2 (ja) | 移動体高さ判別装置 | |
| KR100296760B1 (ko) | 이동방향측정장치와추적장치 | |
| JPWO2017145541A1 (ja) | 移動体 | |
| JP2559939B2 (ja) | ３次元情報入力装置 | |
| JP4909991B2 (ja) | フレーム毎かつピクセル毎コンピュータ映像用カメラフレーム合致モデル生成グラフィックス画像 | |
| JPH0614698B2 (ja) | 自動追尾カメラ | |
| JPH04115376A (ja) | 画像追尾装置 | |
| KR100377357B1 (ko) | 시각 궤환 목표물 추적 제어 시스템 및 방법 | |
| KR100994366B1 (ko) | 영상 추적 장치의 이동표적 움직임 추적 방법 | |
| Papanikolopoulos et al. | Feature based robotic visual tracking of 3-D translational motion | |
| JP3512894B2 (ja) | 相対的移動量算出装置及び相対的移動量算出方法 | |
| Dalmia et al. | High-speed extraction of 3D structure of selectable quality using a translating camera | |
| JPH0973543A (ja) | 画像処理装置 | |
| JP3230292B2 (ja) | ３次元物体の形状測定装置、３次元物体の形状復元装置、３次元物体の形状測定方法、および、３次元物体の形状復元方法 | |
| Pardo et al. | High speed log-polar time to crash calculation for mobile vehicles | |
| Aschwanden | Methods for real-time tracking of uncooperative targets | |
| JPH045955B2 (ja) | ||
| JP3347087B2 (ja) | ２次元動画像からの３次元構造復元方法 | |
| Dalmia et al. | Acquisition of 3D structure of selectable quality from image streams | |
| JP2001264010A (ja) | ３次元入力装置および記録媒体 | |
| CN117388864A (zh) | 基于双二维激光雷达的动态目标检测和跟踪方法和装置 | |
| KR20230057109A (ko) | 센싱 데이터의 처리 장치 및 방법 | |
| Persa et al. | Human-computer interaction using real-time 3D hand tracking | |
| Matsushita et al. | A Dynamic Noise Correction Method for Person Recognition Using 3D Point Clouds According to Sprint Speed of Short Distance Runners |