JPH056434A - 自動追尾装置 - Google Patents
自動追尾装置Info
- Publication number
- JPH056434A JPH056434A JP3156543A JP15654391A JPH056434A JP H056434 A JPH056434 A JP H056434A JP 3156543 A JP3156543 A JP 3156543A JP 15654391 A JP15654391 A JP 15654391A JP H056434 A JPH056434 A JP H056434A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- template
- target
- center
- gravity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 対象物が回転したり、別の物体の後ろに隠れ
て再び現れたりしたような場合でも追尾することのでき
る自動追尾装置を提供することを目的とする。 【構成】 初期設定時に、対象物を追尾するための対象
枠を設定するための対象枠設定手段２と、対象枠内で対
象物を代表する特徴量を決定するための代表特徴量決定
手段３と、対象追尾時に対象枠のパターンをテンプレー
トとして記憶しておくテンプレート記憶手段６と、入力
される画像信号中の、テンプレートと最も相関の高い場
所を対象物追尾結果枠として検出するためのテンプレー
トマッチング手段５と、その検出された対象物追尾結果
枠で、代表特徴量を用いて、それまでのテンプレートの
更新を行うかどうかを判定するテンプレート更新判定手
段４、７、８と、その判定結果に基づき、それまでのテ
ンプレートを対象追尾結果枠のパターンに更新するテン
プレート更新手段９とを備えたものである。
て再び現れたりしたような場合でも追尾することのでき
る自動追尾装置を提供することを目的とする。 【構成】 初期設定時に、対象物を追尾するための対象
枠を設定するための対象枠設定手段２と、対象枠内で対
象物を代表する特徴量を決定するための代表特徴量決定
手段３と、対象追尾時に対象枠のパターンをテンプレー
トとして記憶しておくテンプレート記憶手段６と、入力
される画像信号中の、テンプレートと最も相関の高い場
所を対象物追尾結果枠として検出するためのテンプレー
トマッチング手段５と、その検出された対象物追尾結果
枠で、代表特徴量を用いて、それまでのテンプレートの
更新を行うかどうかを判定するテンプレート更新判定手
段４、７、８と、その判定結果に基づき、それまでのテ
ンプレートを対象追尾結果枠のパターンに更新するテン
プレート更新手段９とを備えたものである。
Description
【０００１】
【産業上の利用分野】本発明は、デジタル画像信号を用
いて、対象物を追尾する自動追尾装置に関するものであ
る。
いて、対象物を追尾する自動追尾装置に関するものであ
る。
【０００２】
【従来の技術】画像のある部分が、他の画像のどの部分
に対応するのかを求める方法に、一般にはテンプレート
マッチングという手法が用いられている。テンプレート
マッチング法とは、検出しようとする対象を表すテンプ
レートを画像の全部または一部について移動させなが
ら、それぞれの位置についてテンプレートと重なる画像
の部分パターンとの相関値を求め、その値が最大となる
位置を求めるという方法である。したがって、最初に追
尾したい対象物のテンプレートを求めておき、フレーム
毎にテンプレートマッチングを行うことにより、動画像
におけるテンプレートによる対象物の追尾が実現する。
ところが、一般には、対象物がカメラに対して角度を変
えることが考えられ、その場合に対象物の視覚的な形状
が変化することになる。このような状況にも対応できる
ような方法として、例えば特開平１−３１５８８４号公
報に示されるような、テンプレートに最も近いパターン
を検出し、そのパターンをそれまでのテンプレートと置
き換えて追尾を行うという方法が提案されている。
に対応するのかを求める方法に、一般にはテンプレート
マッチングという手法が用いられている。テンプレート
マッチング法とは、検出しようとする対象を表すテンプ
レートを画像の全部または一部について移動させなが
ら、それぞれの位置についてテンプレートと重なる画像
の部分パターンとの相関値を求め、その値が最大となる
位置を求めるという方法である。したがって、最初に追
尾したい対象物のテンプレートを求めておき、フレーム
毎にテンプレートマッチングを行うことにより、動画像
におけるテンプレートによる対象物の追尾が実現する。
ところが、一般には、対象物がカメラに対して角度を変
えることが考えられ、その場合に対象物の視覚的な形状
が変化することになる。このような状況にも対応できる
ような方法として、例えば特開平１−３１５８８４号公
報に示されるような、テンプレートに最も近いパターン
を検出し、そのパターンをそれまでのテンプレートと置
き換えて追尾を行うという方法が提案されている。
【０００３】
【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、テンプレートの内容を順次置き換えてい
くため、例えば図７のように、対象物が回転した場合に
は、図８に示すようにテンプレートが少しづつずれてい
き、最終的に対象物からはずれてしまい追尾に失敗して
しまうという課題を有していた。また、例えば、対象物
が別の物体の後ろに隠れて再び現れるるような場合に
は、図９に示すようにテンプレートの内容が別の物体の
パターンと置き換わってしまい、対象物が再び現れても
追尾することができなくなるという課題を有していた。
うな構成では、テンプレートの内容を順次置き換えてい
くため、例えば図７のように、対象物が回転した場合に
は、図８に示すようにテンプレートが少しづつずれてい
き、最終的に対象物からはずれてしまい追尾に失敗して
しまうという課題を有していた。また、例えば、対象物
が別の物体の後ろに隠れて再び現れるるような場合に
は、図９に示すようにテンプレートの内容が別の物体の
パターンと置き換わってしまい、対象物が再び現れても
追尾することができなくなるという課題を有していた。
【０００４】本発明はかかる従来の自動追尾装置の課題
に鑑み、対象物が回転したり、別の物体の後ろに隠れて
再び現れたりしたような場合でも追尾することのできる
自動追尾装置を提供することを目的とする。
に鑑み、対象物が回転したり、別の物体の後ろに隠れて
再び現れたりしたような場合でも追尾することのできる
自動追尾装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】本発明は、初期設定時
に、対象物を追尾するための対象枠を設定するための対
象枠設定手段と、対象枠内で対象物を代表する特徴量を
決定するための代表特徴量決定手段と、対象追尾時に対
象枠のパターンをテンプレートとして記憶しておくテン
プレート記憶手段と、入力される画像信号中の、前記テ
ンプレートと最も相関の高い場所を対象物追尾結果枠と
して検出するためのテンプレートマッチング手段と、そ
の検出された対象物追尾結果枠で、前記代表特徴量を用
いて、それまでのテンプレートの更新を行うかどうかを
判定するテンプレート更新判定手段と、その判定結果に
基づき、それまでのテンプレートを前記対象追尾結果枠
のパターンに更新するテンプレート更新手段とを備えた
自動追尾装置である。
に、対象物を追尾するための対象枠を設定するための対
象枠設定手段と、対象枠内で対象物を代表する特徴量を
決定するための代表特徴量決定手段と、対象追尾時に対
象枠のパターンをテンプレートとして記憶しておくテン
プレート記憶手段と、入力される画像信号中の、前記テ
ンプレートと最も相関の高い場所を対象物追尾結果枠と
して検出するためのテンプレートマッチング手段と、そ
の検出された対象物追尾結果枠で、前記代表特徴量を用
いて、それまでのテンプレートの更新を行うかどうかを
判定するテンプレート更新判定手段と、その判定結果に
基づき、それまでのテンプレートを前記対象追尾結果枠
のパターンに更新するテンプレート更新手段とを備えた
自動追尾装置である。
【０００６】また、本発明は、初期設定時に、対象物を
追尾するための対象枠を設定するための対象枠設定手段
と、対象枠内で対象物を代表する特徴量を決定するため
の代表特徴量決定手段と、対象追尾時に対象枠のパター
ンをテンプレートとして記憶しておくテンプレート記憶
手段と、入力される画像信号中の、前記テンプレートと
最も相関の高い場所を対象物追尾結果枠として検出する
ためのテンプレートマッチング手段と、その検出された
対象物追尾結果枠で前記代表特徴量を用いて、前記対象
追尾結果枠の位置を補正するための枠位置補正手段と、
前記テンプレートを前記枠位置補正手段で補正された対
象追尾結果枠のパターンに更新するためのテンプレート
更新手段とを備えた自動追尾装置である。
追尾するための対象枠を設定するための対象枠設定手段
と、対象枠内で対象物を代表する特徴量を決定するため
の代表特徴量決定手段と、対象追尾時に対象枠のパター
ンをテンプレートとして記憶しておくテンプレート記憶
手段と、入力される画像信号中の、前記テンプレートと
最も相関の高い場所を対象物追尾結果枠として検出する
ためのテンプレートマッチング手段と、その検出された
対象物追尾結果枠で前記代表特徴量を用いて、前記対象
追尾結果枠の位置を補正するための枠位置補正手段と、
前記テンプレートを前記枠位置補正手段で補正された対
象追尾結果枠のパターンに更新するためのテンプレート
更新手段とを備えた自動追尾装置である。
【０００７】
【作用】本発明は、代表特徴量として、対象枠内での重
心位置をとる場合は、初期設定時に、対象物を追尾する
ための対象枠と、対象枠内での代表特徴量を決定し、代
表特徴量の対象枠内での重心位置を求めておき、対象追
尾時にはテンプレートマッチングの結果として得られる
対象追尾結果枠内での代表特徴量の重心位置を求め、初
期設定時に求めた重心位置との差が所定値より小さい場
合にテンプレートを対象追尾結果枠のパターンに更新す
る。
心位置をとる場合は、初期設定時に、対象物を追尾する
ための対象枠と、対象枠内での代表特徴量を決定し、代
表特徴量の対象枠内での重心位置を求めておき、対象追
尾時にはテンプレートマッチングの結果として得られる
対象追尾結果枠内での代表特徴量の重心位置を求め、初
期設定時に求めた重心位置との差が所定値より小さい場
合にテンプレートを対象追尾結果枠のパターンに更新す
る。
【０００８】また、初期設定時に、対象物を追尾するた
めの対象枠と、対象枠内での代表特徴量を決定し、代表
特徴量の対象枠内での重心位置を求めておき、対象追尾
時にはテンプレートマッチングの結果として得られる対
象追尾結果枠内での代表特徴量の重心位置を求め、初期
設定時に求めた重心位置を用いて対象追尾結果枠の位置
を補正し、テンプレートを枠位置補正後のパターンに更
新する。
めの対象枠と、対象枠内での代表特徴量を決定し、代表
特徴量の対象枠内での重心位置を求めておき、対象追尾
時にはテンプレートマッチングの結果として得られる対
象追尾結果枠内での代表特徴量の重心位置を求め、初期
設定時に求めた重心位置を用いて対象追尾結果枠の位置
を補正し、テンプレートを枠位置補正後のパターンに更
新する。
【０００９】
【実施例】図１は本発明の第１の実施例における自動追
尾装置のブロック図を示すものである。図１において、
１は画像信号入力端子、２は操作者が対象枠を設定する
対象枠設定部、３は対象枠内で対象物を代表する色（以
下代表色と称す）を決定する代表色決定部、４は対象枠
内での代表色の重心を求める重心計算部、５はテンプレ
ートと最も相関の高い場所を検出するためのテンプレー
トマッチング部、６はテンプレート記憶部、７はテンプ
レートマッチング部５の結果として得られる対象追尾結
果枠内での代表色の重心を求めるための重心計算部、８
は重心計算部４と重心計算部７の結果を比較するための
比較部、９はテンプレートを対象追尾結果枠のパターン
に更新するためのテンプレート更新部、１０は入力切り
替え部である。
尾装置のブロック図を示すものである。図１において、
１は画像信号入力端子、２は操作者が対象枠を設定する
対象枠設定部、３は対象枠内で対象物を代表する色（以
下代表色と称す）を決定する代表色決定部、４は対象枠
内での代表色の重心を求める重心計算部、５はテンプレ
ートと最も相関の高い場所を検出するためのテンプレー
トマッチング部、６はテンプレート記憶部、７はテンプ
レートマッチング部５の結果として得られる対象追尾結
果枠内での代表色の重心を求めるための重心計算部、８
は重心計算部４と重心計算部７の結果を比較するための
比較部、９はテンプレートを対象追尾結果枠のパターン
に更新するためのテンプレート更新部、１０は入力切り
替え部である。
【００１０】以上のように構成された第１の実施例の自
動追尾装置について、以下その動作を説明する。
動追尾装置について、以下その動作を説明する。
【００１１】まず、初期設定時の動作について説明す
る。初期設定時において操作者は、図２のように、追尾
する対象物２０を任意に決定し、対象枠設定部２によっ
て、対象物２０のまわりに矩形の対象枠２１を設定す
る。例えば、対象枠２１の左上の座標（ｉ，ｊ）と対象
枠２１の縦，横の長さをそれぞれ決定する。
る。初期設定時において操作者は、図２のように、追尾
する対象物２０を任意に決定し、対象枠設定部２によっ
て、対象物２０のまわりに矩形の対象枠２１を設定す
る。例えば、対象枠２１の左上の座標（ｉ，ｊ）と対象
枠２１の縦，横の長さをそれぞれ決定する。
【００１２】入力切り替え部１０は初期設定時にはａ側
に切り替えられており、画像信号入力端子１に画像信号
が入力されると、代表色決定部３に入力される。代表色
決定部３では対象枠設定部２で設定された対象枠２１内
で最も画素数の多い色を選択し代表色とする。色として
は、例えば、図３のように、入力される画像信号がＲＧ
Ｂ（赤，緑，青）の３次元データの場合に、各信号につ
いて０から最大値までを８分割すると、色は８×８×８
で５１２分割され５１２色となる。従って、例えば画像
信号のＲＧＢのデータが斜線で示した範囲内に存在する
色はすべて、Ｒ（赤）：度数３、Ｇ（緑）：度数０、Ｂ
（青）：度数５という同一の色とみなされる。重心計算
部４では、対象枠設定部２で設定された対象枠内におい
て、代表色決定部３により決定された代表色の重心位置
を計算する。例えば、図４（ａ）に示すように対象枠３
０の中で代表色が斜線で示すように存在している場合に
は、代表色の重心３１の位置を計算し、対象枠３０の左
上からの相対位置（ｘ0，ｙ0）として重心位置を比較部
８に出力する。一方、テンプレート更新部９により、対
象枠設定部２により設定された対象枠内のパターンをテ
ンプレートの初期値としてテンプレート記憶部６に記憶
させておく。
に切り替えられており、画像信号入力端子１に画像信号
が入力されると、代表色決定部３に入力される。代表色
決定部３では対象枠設定部２で設定された対象枠２１内
で最も画素数の多い色を選択し代表色とする。色として
は、例えば、図３のように、入力される画像信号がＲＧ
Ｂ（赤，緑，青）の３次元データの場合に、各信号につ
いて０から最大値までを８分割すると、色は８×８×８
で５１２分割され５１２色となる。従って、例えば画像
信号のＲＧＢのデータが斜線で示した範囲内に存在する
色はすべて、Ｒ（赤）：度数３、Ｇ（緑）：度数０、Ｂ
（青）：度数５という同一の色とみなされる。重心計算
部４では、対象枠設定部２で設定された対象枠内におい
て、代表色決定部３により決定された代表色の重心位置
を計算する。例えば、図４（ａ）に示すように対象枠３
０の中で代表色が斜線で示すように存在している場合に
は、代表色の重心３１の位置を計算し、対象枠３０の左
上からの相対位置（ｘ0，ｙ0）として重心位置を比較部
８に出力する。一方、テンプレート更新部９により、対
象枠設定部２により設定された対象枠内のパターンをテ
ンプレートの初期値としてテンプレート記憶部６に記憶
させておく。
【００１３】次に、初期設定が終了した後の動作につい
て説明する。入力切り替え部１０はｂ側に切り替わり、
入力端子１に入力された画像信号は、テンプレートマッ
チング部５と結果表示部１１に入力される。テンプレー
トマッチング部５では、テンプレート記憶部６に記憶さ
れているテンプレートと最も相関の高い場所を検出し対
象追尾結果枠としてその位置を出力する。テンプレート
マッチング部５の機能としては従来のテンプレートマッ
チングの方法を用いる。重心計算部７では、テンプレー
トマッチング部５により求められた対象追尾結果枠の内
部での代表色の重心位置を計算する。例えば、図４
（ｂ）に示すように対象追尾結果枠３３の内部の代表色
（斜線で示した部分）の重心３２の位置として対象追尾
結果枠３３の左上からの相対位置（ｘ1，ｙ1）を出力す
る。そして、比較部８では、重心計算部４の結果
（ｘ0，ｙ0）と重心計算部７の結果（ｘ1，ｙ1）を比較
し、その差｜ｘ1−ｘ0｜＋｜ｙ1−ｙ0｜を計算し、所定
の値（例えば対象枠の横の長さの１／４）より小さけれ
ばテンプレート更新部９にテンプレートの更新を指令す
る。もし、所定の値より大きければテンプレートの更新
を行わない。重心計算部４、７、比較部８などからテン
プレート更新判定手段は構成される。
て説明する。入力切り替え部１０はｂ側に切り替わり、
入力端子１に入力された画像信号は、テンプレートマッ
チング部５と結果表示部１１に入力される。テンプレー
トマッチング部５では、テンプレート記憶部６に記憶さ
れているテンプレートと最も相関の高い場所を検出し対
象追尾結果枠としてその位置を出力する。テンプレート
マッチング部５の機能としては従来のテンプレートマッ
チングの方法を用いる。重心計算部７では、テンプレー
トマッチング部５により求められた対象追尾結果枠の内
部での代表色の重心位置を計算する。例えば、図４
（ｂ）に示すように対象追尾結果枠３３の内部の代表色
（斜線で示した部分）の重心３２の位置として対象追尾
結果枠３３の左上からの相対位置（ｘ1，ｙ1）を出力す
る。そして、比較部８では、重心計算部４の結果
（ｘ0，ｙ0）と重心計算部７の結果（ｘ1，ｙ1）を比較
し、その差｜ｘ1−ｘ0｜＋｜ｙ1−ｙ0｜を計算し、所定
の値（例えば対象枠の横の長さの１／４）より小さけれ
ばテンプレート更新部９にテンプレートの更新を指令す
る。もし、所定の値より大きければテンプレートの更新
を行わない。重心計算部４、７、比較部８などからテン
プレート更新判定手段は構成される。
【００１４】テンプレート更新部９では、テンプレート
更新の指令を受けたら、テンプレート記憶部６の内容
を、テンプレートマッチング部５により求められた対象
追尾結果枠のパターンに更新する。結果表示部１１で
は、テンプレートマッチング部５により求められた対象
追尾結果枠３３を、画像入力端子１から入力された入力
画像に重畳してモニターテレビ等に出力する。以後、こ
の一連の処理を繰り返す。
更新の指令を受けたら、テンプレート記憶部６の内容
を、テンプレートマッチング部５により求められた対象
追尾結果枠のパターンに更新する。結果表示部１１で
は、テンプレートマッチング部５により求められた対象
追尾結果枠３３を、画像入力端子１から入力された入力
画像に重畳してモニターテレビ等に出力する。以後、こ
の一連の処理を繰り返す。
【００１５】以上のように本実施例によれば、テンプレ
ートマッチングの結果として得られる対象追尾結果枠内
での代表色の重心位置と、初期設定時の対象枠内での代
表色の重心位置との差が所定値より小さい場合にのみテ
ンプレートの更新を行うため、対象物が回転したり、他
の物体の後ろに隠れたりした場合においてもテンプレー
トの内容が対象物を含まないように更新されることがな
くなり、良好に追従を行うことができる。
ートマッチングの結果として得られる対象追尾結果枠内
での代表色の重心位置と、初期設定時の対象枠内での代
表色の重心位置との差が所定値より小さい場合にのみテ
ンプレートの更新を行うため、対象物が回転したり、他
の物体の後ろに隠れたりした場合においてもテンプレー
トの内容が対象物を含まないように更新されることがな
くなり、良好に追従を行うことができる。
【００１６】図５は本発明の第２の実施例における自動
追尾装置のブロック図を示すものである。図５におい
て、図１と同じものには同一番号を付してあり、２０は
枠位置補正部である。
追尾装置のブロック図を示すものである。図５におい
て、図１と同じものには同一番号を付してあり、２０は
枠位置補正部である。
【００１７】以上のように構成された第２の実施例の自
動追尾装置について、以下その動作を説明する。
動追尾装置について、以下その動作を説明する。
【００１８】まず、初期設定時の動作について説明す
る。初期設定時においては、第１の実施例と同様に、操
作者が、対象枠設定部２によって、対象物のまわりに矩
形の対象枠を設定する。入力切り替え部１０は初期設定
時にはａ側に切り替えられており、入力端子１に画像信
号が入力されると、代表色決定部３に入力される。代表
色決定部では対象枠設定部２で設定された対象枠内で最
も画素数の多い色を選択し代表色とする。重心計算部４
では、対象枠設定部２で設定された対象枠内において、
代表色決定部３により決定された代表色の重心位置（ｘ
0，ｙ0）を計算し枠位置補正部２０に出力する。また、
テンプレート更新部９により、対象枠設定部２により設
定された対象枠内のパターンをテンプレートとしてテン
プレート記憶部６に記憶させておく。
る。初期設定時においては、第１の実施例と同様に、操
作者が、対象枠設定部２によって、対象物のまわりに矩
形の対象枠を設定する。入力切り替え部１０は初期設定
時にはａ側に切り替えられており、入力端子１に画像信
号が入力されると、代表色決定部３に入力される。代表
色決定部では対象枠設定部２で設定された対象枠内で最
も画素数の多い色を選択し代表色とする。重心計算部４
では、対象枠設定部２で設定された対象枠内において、
代表色決定部３により決定された代表色の重心位置（ｘ
0，ｙ0）を計算し枠位置補正部２０に出力する。また、
テンプレート更新部９により、対象枠設定部２により設
定された対象枠内のパターンをテンプレートとしてテン
プレート記憶部６に記憶させておく。
【００１９】初期設定が終了すると、入力切り替え部１
０はｂ側に切り替わり、入力端子１に入力された画像信
号は、テンプレートマッチング部５と結果表示部１１に
入力される。テンプレートマッチング部５では、テンプ
レート記憶部６に記憶されているテンプレートと最も相
関の高い場所を対象追尾結果枠として検出しその位置を
出力する。重心計算部７では、テンプレートマッチング
部５により求められた対象追尾結果枠の内部での代表色
の重心位置（ｘ1，ｙ1）を計算し枠位置補正部２０に出
力する。
０はｂ側に切り替わり、入力端子１に入力された画像信
号は、テンプレートマッチング部５と結果表示部１１に
入力される。テンプレートマッチング部５では、テンプ
レート記憶部６に記憶されているテンプレートと最も相
関の高い場所を対象追尾結果枠として検出しその位置を
出力する。重心計算部７では、テンプレートマッチング
部５により求められた対象追尾結果枠の内部での代表色
の重心位置（ｘ1，ｙ1）を計算し枠位置補正部２０に出
力する。
【００２０】そして、枠位置補正部２０では、重心位置
計算部４と重心位置計算部７との結果を用いて、対象追
尾結果枠の位置を補正する。初期設定時の状態が図６
（ａ）のように代表色の重心位置４１が（ｘ0，ｙ0）で
あり、テンプレートマッチング部５の結果図６（ｂ）に
示すように対象追尾結果枠４２が求まり、代表色の重心
位置４４が（ｘ1，ｙ1）であった場合には、枠位置補正
部２０では、対象追尾結果枠４２を｜ｘ1−ｘ0｜だけ横
方向（ｘ1＞ｘ0の場合はｘ1−ｘ0だけ右、ｘ1＜ｘ0の場
合はｘ0−ｘ1だけ左）に、｜ｙ1−ｙ0｜だけ縦方向（ｙ
1＞ｙ0の場合は、ｙ1−ｙ0だけ下、ｙ1＜ｙ0の場合はｙ
0−ｙ1だけ上）に補正して４３のような補正後の枠の位
置を出力する。テンプレート更新部９では、テンプレー
ト記憶部６の内容を、枠位置補正部２０により補正され
た対象追尾結果枠のパターンに更新する。結果表示部１
１では、枠位置補正部２０により求められた対象追尾結
果枠を、画像入力端子１から入力された入力画像に重畳
してモニターテレビ等に出力する。重心位置計算部４、
７、枠位置補正部２０で枠位置補正手段は構成される。
計算部４と重心位置計算部７との結果を用いて、対象追
尾結果枠の位置を補正する。初期設定時の状態が図６
（ａ）のように代表色の重心位置４１が（ｘ0，ｙ0）で
あり、テンプレートマッチング部５の結果図６（ｂ）に
示すように対象追尾結果枠４２が求まり、代表色の重心
位置４４が（ｘ1，ｙ1）であった場合には、枠位置補正
部２０では、対象追尾結果枠４２を｜ｘ1−ｘ0｜だけ横
方向（ｘ1＞ｘ0の場合はｘ1−ｘ0だけ右、ｘ1＜ｘ0の場
合はｘ0−ｘ1だけ左）に、｜ｙ1−ｙ0｜だけ縦方向（ｙ
1＞ｙ0の場合は、ｙ1−ｙ0だけ下、ｙ1＜ｙ0の場合はｙ
0−ｙ1だけ上）に補正して４３のような補正後の枠の位
置を出力する。テンプレート更新部９では、テンプレー
ト記憶部６の内容を、枠位置補正部２０により補正され
た対象追尾結果枠のパターンに更新する。結果表示部１
１では、枠位置補正部２０により求められた対象追尾結
果枠を、画像入力端子１から入力された入力画像に重畳
してモニターテレビ等に出力する。重心位置計算部４、
７、枠位置補正部２０で枠位置補正手段は構成される。
【００２１】以上のように本実施例によれば、テンプレ
ートマッチングの結果として得られる対象追尾結果枠内
での代表色の重心位置と、初期設定時の対象枠内での代
表色の重心位置との差により対象追尾結果枠の位置を補
正してから、テンプレートの更新を行うので、対象物が
回転したり、他の物体の後ろに隠れたりした場合におい
てもテンプレート位置が代表色により補正されるため、
良好に追従を行うことができる。
ートマッチングの結果として得られる対象追尾結果枠内
での代表色の重心位置と、初期設定時の対象枠内での代
表色の重心位置との差により対象追尾結果枠の位置を補
正してから、テンプレートの更新を行うので、対象物が
回転したり、他の物体の後ろに隠れたりした場合におい
てもテンプレート位置が代表色により補正されるため、
良好に追従を行うことができる。
【００２２】なお、第１及び第２の実施例において、代
表色として対象枠内で最も画素数の多い色を選択するよ
うにしたが、例えばまとまった領域の面積が最大の色な
ど、対象枠内で対象物の特徴を表すものであれば別の基
準で選んでもよい。また、対象枠内で対象物の特徴を表
す量として色を用いたが、特に色に限定するものではな
く対象物の持つ特徴量であれば何を用いてもよい。
表色として対象枠内で最も画素数の多い色を選択するよ
うにしたが、例えばまとまった領域の面積が最大の色な
ど、対象枠内で対象物の特徴を表すものであれば別の基
準で選んでもよい。また、対象枠内で対象物の特徴を表
す量として色を用いたが、特に色に限定するものではな
く対象物の持つ特徴量であれば何を用いてもよい。
【００２３】
【発明の効果】以上説明したように、本発明にかかる自
動追尾装置によれば、対象物が回転したり、別の物体の
後ろに隠れて再び現れたりしたような場合でも確実に自
動追尾することができ、その実用的効果は大きい。
動追尾装置によれば、対象物が回転したり、別の物体の
後ろに隠れて再び現れたりしたような場合でも確実に自
動追尾することができ、その実用的効果は大きい。
【図１】本発明の第１の実施例の自動追尾装置のブロッ
ク図である。
ク図である。
【図２】対象物と対象枠を説明するための説明図であ
る。
る。
【図３】図１の動作を説明するための説明図である。
【図４】図１の動作を説明するための説明図である。
【図５】本発明の第２の実施例の自動追尾装置のブロッ
ク図である。
ク図である。
【図６】図５の動作を説明するための説明図である。
【図７】従来の自動追尾装置の動作を説明するための説
明図である。
明図である。
【図８】従来の自動追尾装置の動作を説明するための説
明図である。
明図である。
【図９】従来の自動追尾装置の動作を説明するための説
明図である。
明図である。
１ 画像信号入力端子
２ 対象枠設定部
３ 代表色決定部
４，７ 重心計算部
５ テンプレートマッチング部
６ テンプレート記憶部
８ 比較部
９ テンプレート更新部
１０ 入力切り替え部
１１ 結果表示部
１２ 探索範囲決定部
２０ 枠位置補正部
Claims (4)
- 【請求項１】 初期設定時に、対象物を追尾するための
対象枠を設定するための対象枠設定手段と、対象枠内で
対象物を代表する特徴量を決定するための代表特徴量決
定手段と、対象追尾時に対象枠のパターンをテンプレー
トとして記憶しておくテンプレート記憶手段と、入力さ
れる画像信号中の、前記テンプレートと最も相関の高い
場所を対象物追尾結果枠として検出するためのテンプレ
ートマッチング手段と、その検出された対象物追尾結果
枠で、前記代表特徴量を用いて、それまでのテンプレー
トの更新を行うかどうかを判定するテンプレート更新判
定手段と、その判定結果に基づき、それまでのテンプレ
ートを前記対象追尾結果枠のパターンに更新するテンプ
レート更新手段とを備えたことを特徴とする自動追尾装
置。 - 【請求項２】 テンプレート更新判定手段は、初期設定
時に代表特徴量の前記対象枠内での重心を求めるための
第１の重心計算手段と、前記テンプレートマッチング手
段の結果として得られる前記対象追尾結果枠内での前記
代表特徴量の重心を求めるための第２の重心計算手段
と、前記第１および第２の重心計算手段の結果を比較す
るための比較手段とにより構成され、前記比較手段によ
る前記第１および第２の重心計算手段の結果の差が所定
値より小さい場合は、前記テンプレート更新手段で更新
するように判定することを特徴とする請求項１記載の自
動追尾装置。 - 【請求項３】 初期設定時に、対象物を追尾するための
対象枠を設定するための対象枠設定手段と、対象枠内で
対象物を代表する特徴量を決定するための代表特徴量決
定手段と、対象追尾時に対象枠のパターンをテンプレー
トとして記憶しておくテンプレート記憶手段と、入力さ
れる画像信号中の、前記テンプレートと最も相関の高い
場所を対象物追尾結果枠として検出するためのテンプレ
ートマッチング手段と、その検出された対象物追尾結果
枠で前記代表特徴量を用いて、前記対象追尾結果枠の位
置を補正するための枠位置補正手段と、前記テンプレー
トを前記枠位置補正手段で補正された対象追尾結果枠の
パターンに更新するためのテンプレート更新手段とを備
えたことを特徴とする自動追尾装置。 - 【請求項４】 枠位置補正手段は、初期設定時に代表特
徴量の前記対象枠内での重心を求めるための第１の重心
計算手段と、前記テンプレートマッチング手段の結果と
して得られる前記対象追尾結果枠内での前記代表特徴量
の重心を求めるための第２の重心計算手段と、前記第１
および第２の重心計算手段の結果を用いて前記対象追尾
結果枠の位置を補正する枠位置補正手段とを有すること
を特徴とする請求項３記載の自動追尾装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3156543A JPH056434A (ja) | 1991-06-27 | 1991-06-27 | 自動追尾装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3156543A JPH056434A (ja) | 1991-06-27 | 1991-06-27 | 自動追尾装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH056434A true JPH056434A (ja) | 1993-01-14 |
Family
ID=15630099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3156543A Pending JPH056434A (ja) | 1991-06-27 | 1991-06-27 | 自動追尾装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH056434A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054784A (ko) * | 2000-06-23 | 2000-09-05 | 이성환 | 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법 |
| KR100312427B1 (ko) * | 1999-12-23 | 2001-11-03 | 오길록 | 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치 |
| KR100436049B1 (ko) * | 2001-12-31 | 2004-06-12 | 주식회사 하이닉스반도체 | 이동 예측 시스템 |
| JP2008267872A (ja) * | 2007-04-17 | 2008-11-06 | Toshiba Corp | 画像誘導装置 |
| JPWO2007037350A1 (ja) * | 2005-09-29 | 2009-04-09 | 株式会社プラスミック | 馬位置情報解析並びに表示方法 |
| JP2010157924A (ja) * | 2008-12-26 | 2010-07-15 | Canon Inc | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム |
| WO2011145236A1 (ja) * | 2010-05-21 | 2011-11-24 | パナソニック株式会社 | 動線作成装置及び動線作成方法 |
| EP2242253A4 (en) * | 2008-02-06 | 2014-05-14 | Panasonic Corp | ELECTRONIC CAMERA AND IMAGE PROCESSING METHOD |
-
1991
- 1991-06-27 JP JP3156543A patent/JPH056434A/ja active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100312427B1 (ko) * | 1999-12-23 | 2001-11-03 | 오길록 | 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치 |
| KR20000054784A (ko) * | 2000-06-23 | 2000-09-05 | 이성환 | 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법 |
| KR100436049B1 (ko) * | 2001-12-31 | 2004-06-12 | 주식회사 하이닉스반도체 | 이동 예측 시스템 |
| JPWO2007037350A1 (ja) * | 2005-09-29 | 2009-04-09 | 株式会社プラスミック | 馬位置情報解析並びに表示方法 |
| JP4658266B2 (ja) * | 2005-09-29 | 2011-03-23 | 株式会社山口シネマ | 馬位置情報解析並びに表示方法 |
| JP2008267872A (ja) * | 2007-04-17 | 2008-11-06 | Toshiba Corp | 画像誘導装置 |
| EP2242253A4 (en) * | 2008-02-06 | 2014-05-14 | Panasonic Corp | ELECTRONIC CAMERA AND IMAGE PROCESSING METHOD |
| JP2010157924A (ja) * | 2008-12-26 | 2010-07-15 | Canon Inc | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム |
| US8416987B2 (en) | 2008-12-26 | 2013-04-09 | Canon Kabushiki Kaisha | Subject tracking apparatus and control method therefor, image capturing apparatus, and display apparatus |
| WO2011145236A1 (ja) * | 2010-05-21 | 2011-11-24 | パナソニック株式会社 | 動線作成装置及び動線作成方法 |
| JP2011243155A (ja) * | 2010-05-21 | 2011-12-01 | Panasonic Corp | 動線作成装置及び動線作成方法 |
| US8934671B2 (en) | 2010-05-21 | 2015-01-13 | Panasonic Corporation | Traffic line creation device and traffic line creation method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1463338B1 (en) | System, method and software for processing a projected image | |
| US5937105A (en) | Image processing method and apparatus | |
| US9892493B2 (en) | Method, apparatus and system for performing geometric calibration for surround view camera solution | |
| US9533618B2 (en) | Method, apparatus and system for processing a display from a surround view camera solution | |
| US20030142883A1 (en) | Image correction data calculation method, image correction data calculation apparatus, and multi-projection system | |
| CN106856000B (zh) | 一种车载全景图像无缝拼接处理方法及系统 | |
| JPH08511409A (ja) | ビデオイメージ中の複数の追跡基準領域から推定された目標領域の場所の安定的推定法 | |
| KR100327852B1 (ko) | 화상일치검출장치및화상일치검출방법 | |
| EP1903498B1 (en) | Creating a panoramic image by stitching a plurality of images | |
| JP2005195969A (ja) | プロジェクタおよびズーム調整方法 | |
| CN111640065B (zh) | 基于相机阵列的图像拼接方法、成像装置 | |
| JPH056434A (ja) | 自動追尾装置 | |
| JP3704045B2 (ja) | 目標物体追尾装置 | |
| US6738497B2 (en) | Method, system and apparatus for image block matching | |
| JP2000081950A (ja) | 画像処理装置、画像処理方法、及び提供媒体、並びにプレゼンテーションシステム | |
| JPH09265538A (ja) | 自動追尾装置 | |
| CN112489115A (zh) | 发光模块定位方法、装置、电子设备、存储介质及系统 | |
| KR100189908B1 (ko) | 2차원 색도분할을 이용한 색보정장치 및 그 방법 | |
| US20020009211A1 (en) | Method, system and apparatus | |
| EP3349177B1 (en) | System, method, and program for measuring distance between spherical objects | |
| JP3174869B2 (ja) | 目標物体追尾装置 | |
| JPH066816A (ja) | コンバージェンス調整装置およびその方法 | |
| US6483262B2 (en) | Apparatus and method for ring spline convergence correction | |
| JP3709656B2 (ja) | 画像処理装置 | |
| JP5761989B2 (ja) | 画像認識装置、画像認識方法及びプログラム |