JPH0965193A - 画像内動体追尾装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像内の追跡動体の識別精度の低下を抑える
ことにより、追尾精度を高めることのできる画像内動体
追尾装置を提供する。 【解決手段】 一つの画像内に設定された領域を参照画
像とし、この参照画像データと画像に継続する画像デー
タとの相関演算を行い、参照画像と最も整合する画像の
位置を検出するに当たり、参照画像とこの参照画像に最
も整合する画像との位置のずれ量を演算し、この位置の
ずれ量が予め設定された基準値を超えるとき相関無しと
判断し、基準値以下のとき相関有りと判断する相関判断
部６１，６２，６３，６４を備え、相関無しと判断され
たとき、参照画像をそのまま次回の画像に対する相関演
算のための参照画像とし、相関有りと判断されたとき、
参照画像に最も整合する画像を次回の画像に対する相関
演算のための参照画像とすることを特徴としている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、ビデオカ
メラで撮影した動画像中の人物等を追跡する画像内動体
追尾装置に関する。

【０００２】

【従来の技術】画像内の動体を追尾（追跡）し、目標と
する動体すなわち被写体が撮像画面のどこに現在位置す
るのかを認識する技術は、例えばビデオカメラにおける
オートアイリスやオートフォーカス制御を正確なものに
するために必要である。かかる画像追尾装置として、例
えば図８に示すものが従来あった。同図において、撮像
センサ１の画像信号が信号処理部２に加えられる。信号
処理部２はこれに加えられた画像信号をアナログ・デジ
タル変換し、１フレーム分の現画像データを画像メモリ
部３に記憶させる。また、画像メモリ部３に記憶された
ものよりも一つ前のフレーム中の予め設定された領域の
追跡目標を含む参照画像データを参照メモリ部４に記憶
させておく。相関演算部５は参照メモリ部４に記憶され
ている参照画像データと、画像メモリ部６に記憶されて
いる現画像データとの相関演算を行って演算結果を相関
判断部６に加える。相関判断部６は相関の最も高い領
域、すなわち、最も整合する領域を判定するとともに、
相関値が予め設定された基準値より高いとき、その領域
データを新たな参照画像データとする指令をメモリ制御
部７に加える。メモリ制御部７はこの相関判断部６の指
令に従って、画像メモリ部３中の最大相関領域データ、
つまり、最も整合する画像データを切り取り、参照メモ
リ部４に更新記憶させる。

【０００３】図９はこの画像内動体追尾装置の動作説明
図である。すなわち、(a) に示したｉ−１フレーム画像
９中に参照画像９１が領域で初期設定されると、メモリ
制御部７がこの参照画像データを参照メモリ部４に記憶
させる。一方、(b) に示した現画像データとしてのｉフ
レームの画像データ１０が画像メモリ部３に記憶され
る。相関演算部５はｉフレームの画像データ１０のう
ち、予め設定された探索エリア１１０に対して、参照画
像データとの相関演算を行う。このとき、ｉ−１フレー
ムの参照画像９１と同様の画像１０１が存在すれば、こ
の画像に対する相関は高く、その値が基準値を超えると
き、相関判断部６は画像１０１を新たな参照画像とする
指令をメモリ制御部７に加える。これによって、メモリ
制御部７はｉフレームの画像１０１のデータを参照メモ
リ部４に更新記憶させる。そして、ｉ＋１フレームの画
像データが画像メモリ部３に記憶されたとき、上述した
と同様な動作が行われ、参照メモリ部４の追跡目標デー
タは順次自動的に更新される。

【０００４】上述した、相関判断の過程で求められた最
大相関領域の位置データによって、追跡目標が参照画像
の中心に位置するように、所定の制御が行われる。な
お、相関演算部５は、参照画像９１に対して次式の演算
を行って非相関度Ｒを求め、この非相関度Ｒの値が低い
ほど、相関度は高いとしている。 Ｒ＝Σ｜Ｓn −ｒn ｜ …(1) ただし Ｓn ：追跡画像データ ｒn ：参照画像データ である。

【０００５】

【発明が解決しようとする課題】上述した従来の画像内
動体追尾装置にあっては、参照画像データと現画像デー
タとの相関しか求めていなかったので、追跡目標が類似
物体に隠されたり、他の移動体とすれ違ったりすると、
類似物体や他の移動体を含む領域を参照画像として誤判
断することがあり、そのために識別精度が低下するとい
う問題があった。また、参照画像は追跡目標と背景とか
ら構成され、背景に対しても(1) 式の演算が実行される
ため、背景が大きく変化した場合には、追跡目標を正し
くとらえていたとしても、相関なしと判断される場合が
あり、この場合にも識別精度が低下するいう問題があっ
た。

【０００６】本発明は上記の問題を解決するためになさ
れたもので、追跡画像の識別精度の低下を抑えることに
より、追尾精度を高めることのできる画像内動体追尾装
置を提供することを目的とする。

【０００７】

【課題を解決するための手段】一つの画像内に設定され
た領域を参照画像とし、この参照画像データとその画像
に継続する画像データとの相関演算を行い、参照画像と
最も整合する画像の位置を検出するに当たり、請求項１
に記載の画像内動体追尾装置は、相関判断部がｉ−１フ
レームの参照画像に対するｉフレーム画像の最大相関領
域を判断したとき、相関演算部がｉフレーム画像の最大
相関領域デ−タとｉ−１フレーム画像データとの相関を
演算し、この相関演算の結果に基づいて、さらに、相関
判断部がｉフレーム画像の最大相関領域に対するｉ−１
フレーム画像の最大相関領域を判断するとともに、ｉ−
１フレーム画像内の最大相関領域と参照画像との位置の
ずれ量を演算し、この位置のずれ量が予め設定された基
準値を超えるとき、ｉフレーム画像の最大相関領域は参
照画像に対して相関無しと判断し、基準値以下のとき相
関有りと判断し、この判断に応じてメモリ制御部は相関
無しのときは参照画像データを記憶する参照メモリ部の
内容を更新せず、相関有りのときは参照メモリ部の内容
をｉフレーム画像の最大相関領域データによって更新し
て新たな参照画像データとすることを特徴としている。

【０００８】請求項２に記載の画像内動体追尾装置は、
相関判断部がｉ−１フレームの参照画像データに対する
ｉフレーム画像の最大相関領域を判断したとき、この最
大相関領域の相関値が予め設定された基準値より小さい
か否かを調べ、基準値より小さいときｉ−１フレームの
参照画像とｉフレーム画像の最大相関領域とは相関無し
と判断し、基準値以上のときｉ−１フレームの参照画像
とｉフレーム画像の最大相関領域とは相関有りと判断
し、この判断に応じてメモリ制御部は相関無しのとき、
ｉ−１フレームの参照画像データを記憶する第１の参照
メモリ部のデータをｉ−２フレームの参照画像データを
記憶する第２の参照メモリ部のデータによって更新し、
相関有りのとき第２の参照メモリ部のデータを第１の参
照メモリ部のデータによって更新するとともに、第１の
参照メモリ部のデータをｉフレーム画像の最大相関領域
のデータによって更新することを特徴としている。

【０００９】請求項３に記載の画像内動体追尾装置は、
ｋを２以上の整数として過去に遡ったｋ回分の各参照画
像を記憶する参照メモリ部と、ｉを現画像から過去に遡
った数として参照メモリ部に記憶されたｉ＝１の参照画
像と今回の画像との相関演算、及びこの相関演算により
最も整合する今回の画像とｉ≧２の各参照画像との相関
演算を行う相関演算部と、この相関演算部で演算された
相関値に基づいて相関の有無を判断する相関判断部と、
この相関判断部によって相関無しと判断されたとき、参
照メモリ部をそのまま次回の画像に対する相関演算のた
めの参照画像とし、相関有りと判断されたとき、ｉ＝１
の参照画像と最も整合する今回の画像をｉ＝１の参照画
像とし、ｉ（ｉ＝１〜ｋ−１）参照画像をｉ＋１参照画
像として参照メモリ部を更新して次回の画像に対する相
関演算のための参照画像とするメモリ制御部とを備えた
ことを特徴としている。

【００１０】請求項４に記載の画像内動体追尾装置は、
請求項３に記載の相関判断部が、ｉ＝１の参照画像に対
して最も整合する今回の画像とｉ≧２の各参照画像との
相関演算を行い、この相間演算によって得られた相関値
がそれぞれ予め定めた基準値以上のとき相関有りと判断
し、少なくとも一つが基準値より小さいとき相関無しと
判断することを特徴ととしている。

【００１１】請求項５に記載の画像内動体追尾装置は、
請求項３に記載の相関判断部が、最大相関領域と１回前
からｋ回前までの参照画像データとの相関を順次求めた
ときに、ｉ回前の参照画像データに対して初めて相関有
りと判断された場合には、１回前からｉ−１回前までの
参照画像データを全て消去し、ｉ回前のデータを１回前
の参照画像データ、ｉ＋１回前のデータを２回前の参照
画像データ、…、ｋ回前のデータをｋ−ｉ＋１回前の参
照画像データとすることを特徴としている。

【００１２】請求項６に記載の画像内動体追尾装置は、
参照画像とこの参照画像に最も整合する画像との各対応
点のデータの差分を演算するとともに、差分の絶対値の
ヒストグラム分布を求めるヒストグラム演算部と、参照
画像と最も整合する画像の相関値が予め設定された基準
値より小さいときに相関無しと仮判断し、基準値以上の
ときに相関有りと判断し、かつ、相関無しと仮判断され
たうち、ヒストグラム演算部の演算値が予め定めたもう
一つの基準値を超えるとき、相関無しと仮判断された画
像を相関有りとして判断を変更する相関判断部とを備
え、この相関演算部で相関無しと判断されたとき、前回
の参照画像をそのまま次回の画像に対する相関演算のた
めの参照画像とし、相関有りと判断されたとき、参照画
像に最も整合する画像を次回の画像に対する相関演算の
ための参照画像とすることを特徴としている。

【００１３】請求項１に記載の画像内動体追尾装置にお
いては、ｉ−１フレームの参照画像に対するｉフレーム
画像の最大相関領域を判断した後、さらに、ｉフレーム
画像の最大相関領域に対するｉ−１フレーム画像の最大
相関領域を判断するとともに、ｉ−１フレーム画像内の
最大相関領域と参照画像との位置のずれ量を演算し、こ
の位置のずれ量が予め設定された基準値を超えるとき、
ｉフレーム画像の最大相関領域は参照画像に対して相関
無しと判断し、このとき、ｉ−１フレームの参照画像と
次回のフレーム画像との相関演算を行うため、追跡目標
が類似物体の後ろに隠れた場合でも、類似物体を追跡目
標とすることはなくなり、誤判断による識別精度の低下
が抑えられる。

【００１４】請求項２に記載の画像内動体追尾装置にお
いては、ｉ−１フレームの参照画像データに対するｉフ
レーム画像の最大相関領域を判断したとき、この最大相
関領域の相関値が予め設定された基準値より小さいか否
かを調べ、基準値より小さいときｉ−１フレームの参照
画像とｉフレーム画像の最大相関領域とは相関無しと判
断し、このときはｉ−２フレームの参照画像データを用
いて次回の画像に対する相関演算を行うため、追跡目標
が他の移動体とすれ違う場合の識別精度の低下を抑える
ことができる。

【００１５】請求項３に記載の画像内動体追尾装置にお
いては、前回の参照画像に対する最大相関領域と、それ
以前の複数回の参照画像との相関演算を行い、その相関
値に基づいて相関の有無を判断し、相関無しと判断され
たとき、最大相関領域を参照画像とせずに前回分の参照
画像をそのまま次回の画像に対しての参照演算に供する
ため、追跡目標が他の物体とすれ違うときに、追跡目標
が他の物体に徐々に隠れてその後に離れる場合にも正し
い相関判断が行われる。

【００１６】請求項４に記載の画像内動体追尾装置は、
請求項３に記載の相関判断部が相関の有無を判断するに
当たり、過去の参照画像に対する相関値が基準値より小
さいものが少なくとも一つ存在するときには相関無しと
判断するので、追跡目標が他の物体に隠れても正しい相
関判断が行われる。

【００１７】請求項５に記載の画像内動体追尾装置にお
いては、請求項３に記載の相関判断部が、ｉ回前の参照
画像データに対して初めて相関有りと判断した場合に、
紛らわしい参照データを全て消去するので、追跡目標が
他の移動体に徐々に隠れてその後に離れる場合に正しい
相関判断が行われる。

【００１８】請求項６に記載の画像内動体追尾装置にお
いては、参照画像と最も整合する画像の相関値が予め設
定された基準値より小さいときに相関無しと仮判断され
た最大相関領域で有っても、ヒストグラム演算値が予め
定めた基準値を超えるとき相関有りとして判断を変更す
るため、参照画像の背景が大きく変化したとしても、こ
の背景の変化によって相関無しと判断することが無くな
る。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態を図面
に示す実施例によって詳細に説明する。図１は本発明の
第１実施例の構成を示すブロック図である。図中、従来
装置を示す図８と同一の符号を付したものはそれぞれ同
一の要素を示している。ここで、ｉフレームの画像デー
タを記憶させる画像メモリ部３１、及びｉ−１フレーム
の画像データを記憶させる画像メモリ部３２が設けら
れ、さらに、ｉフレーム中の画像データのうち、最大相
関領域を参照画像データとして記憶させる参照メモリ部
４１、及びｉ−１フレーム中に指定された参照画像デー
タを記憶させる参照メモリ部４２が設けられている。ま
た、従来装置の相関演算部５及び相関判断部６とは機能
を異にする相関演算部５１及び相関判断部６１を備えて
いる。

【００２０】ここで、相関演算部５１は参照メモリ部４
２の参照画像データと画像メモリ部３１の画像データと
の相関を演算した後、さらに、参照メモリ部４１の参照
画像データと画像メモリ部３２の画像データとの相関を
演算する。また、相関判断部６１は参照メモリ部４２に
記憶されたｉ−１フレーム中の当初に指定された参照画
像位置とｉフレーム中に検出された最大相関領域との位
置偏差を演算するとともに、この位置偏差が予め設定さ
れた基準値を超えるか否かにより相関の有無を判断す
る。メモリ制御部７は相関判断部が最大相関領域を求め
たとき、画像メモリ部３１の画像データから該当データ
の切り取りと、参照メモリ部４１に更新記憶させる。ま
た、メモリ制御部７は相関判断部６１が相関有りと判断
したとき、画像メモリ部３１の画像データを画像メモリ
部３２に転送し、参照メモリ部４１の最大相関領域デー
タを参照画像データとして参照メモリ部４２に転送し、
さらに、画像メモリ部３１には継続する次のフレームの
画像データを記憶させ、反対に、相関判断部６１が相関
無しと判断したとき、画像メモリ部３２，参照メモリ部
４２の更新はせずに、画像メモリ部３１に継続する次の
フレームの画像データを記憶させる構成になっている。

【００２１】上記のように構成された第１実施例の詳し
い動作について、図２をも参照して以下に説明する。先
ず、画像メモリ部３２には、図２(a) に示すように、ｉ
−１フレーム画像９の画像データが記憶されている。こ
の場合、参照画像９１に含まれる追跡目標に類似する類
似物体が存在し、類似物体を含む領域を類似画像９３と
する。また、参照画像及び類似画像を含む領域を相関演
算の探索エリア９５としている。そして、参照メモリ部
４２にはｉ−１フレームの参照画像９１のデータが記憶
されている。

【００２２】一方、画像メモリ部３１には、図２(b) に
示すように、ｉフレームの画像データが記憶されてい
る。ここでは、相関演算の探索エリア１０５内に追跡目
標を含む領域１０１と、類似物体を含む領域１０２とが
互いの位置を変えて存在している。ここで、相関演算部
５１は、参照メモリ部４２に記憶されたｉ−１フレーム
の参照画像９１のデータと、画像メモリ部３１に記憶さ
れたｉフレームの画像データのうち、探索エリア１０５
のデータとの相関演算、すなわち、パターンマッチング
を行う。このとき、相関判断部６１はｉフレーム画像の
追跡目標を含む領域１０１が最大相関領域であると判断
する。これに従って、メモリ制御部７はｉフレームの画
像中の最大相関領域、すなわち、追跡目標を含む領域１
０１のデータを参照メモリ部４１に書き込む。

【００２３】次に相関演算部５１は、参照メモリ部４１
に記憶されたｉフレームの最大相関領域１０１と、画像
メモリ部３２に記憶されたｉ−１フレームの画像の探索
エリア９５のデータとのパターンマッチングを行って、
追跡目標を含む領域９２を最大相関領域と判断する。そ
こで、相関判断部６１は、ｉ−１フレーム画像中の最初
の参照画像９１と、新たに最大相関領域と判断された追
跡目標を含む領域９２との位置偏差を演算し、この位置
偏差が予め設定された基準値を超えていないとき、ｉ−
１フレーム画像中の最初の参照画像９１とｉフレーム画
像中の最大相関領域１０１とは相関有りと判断する。メ
モリ制御部７はこれに従って参照メモリ部４１の最大相
関領域データを新たな参照画像データとして参照メモリ
部４２に記憶させる。

【００２４】次に追跡目標が類似物体に隠れた場合につ
いて説明する。ｉ−１フレーム画像９には、図２(c) に
示すように、参照画像９１に含まれる追跡目標に類似す
る類似物体９４が存在する。このｉ−１フレームの画像
データが画像メモリ部３２に記憶され、追跡目標及び類
似物体を含む領域が相関演算の探索エリア９５になって
いる。そして、参照メモリ部４２には参照画像９１のデ
ータが記憶されている。

【００２５】一方、画像メモリ部３１には、図２(d) に
示すように、ｉフレームの画像に対応する画像データが
記憶されている。これは、追跡目標が類似物体に隠れた
ものであり、そのために、相関演算の探索エリア１０５
内に類似物体を含む領域１０２しか存在していない。こ
こで、相関演算部５１は、参照メモリ部４２に記憶され
たｉ−１フレームの参照画像９１のデータと、画像メモ
リ部３１に記憶されたｉフレームの画像データ１０のう
ち、探索エリア１０５の画像データとの相関演算を行
う。このとき、相関判断部６１はｉフレームの画像中の
類似物体を含む領域１０２が最大相関領域であると判断
する。これに従って、メモリ制御部７はｉフレームの画
像中の最大相関領域１０２、すなわち、類似物体を含む
データを参照メモリ部４１に記憶させる。

【００２６】従来装置はこの最大相関領域１０２の画像
データを新たな追跡目標としたが、ここでは、新たな追
跡目標として決定する前に、相関演算部５１は参照メモ
リ部４１に記憶された類似物体を含む最大相関領域１０
２の画像データとｉ−１フレームの画像９の探索エリア
９５の画像データとの相関を演算する。これにより、相
関判断部６１はｉ−１フレームの画像９中の類似物体を
含む領域９３を最大相関領域と判断する。相関判断部６
１は、さらに、ｉ−１フレーム画像中の最初の参照画像
９１の位置と、新たに最大相関領域と判断された類似物
体を含む領域９３との位置偏差を演算し、この位置偏差
が予め設定された値を超えている場合には、ｉフレーム
画像１０中の類似物体を含む領域を新たな参照画像とは
しない。すなわち、ｉ−１フレーム画像９の参照画像９
１と、ｉフレーム画像１０の類似物体を含む領域１０２
とは相関なしと判断し、画像メモリ部３２及び参照メモ
リ部４２のデータの更新は行わない。

【００２７】かくして、この第１実施例によれば、追跡
目標が類似物体の後ろに隠れた場合でも、類似物体を追
跡目標と誤判断することはなくなり、誤判断によって識
別精度が低下するという従来装置の問題点が解消され
る。

【００２８】図３は本発明の第２実施例の構成を示すブ
ロック図である。図中、図１と同一の要素には同一の符
号を付してその説明を省略する。ここでは、前回、すな
わち、ｉ−１フレームの参照画像データを記憶する参照
メモリ部４１と、前々回すなわち、ｉ−２フレームの参
照画像データを記憶する参照メモリ部４２とを備えてい
る。そして、この構成の相違に従って前述したとは機能
の異なる相関判断部６２を備えている。ここで、相関演
算部５は参照メモリ部４１に記憶されたｉ−１フレーム
の参照画像データと、画像メモリ部３に記憶された現画
像データ、すなわち、ｉフレームの画像データとの相関
演算を実施し、最大相関領域の相関値が基準値よりも高
いとき、相関判断部６２は相関有りと判断する。これに
よってメモリ制御部７は、参照メモリ部４１のｉ−１フ
レームの参照画像データを参照メモリ部４２に転送して
ｉ−２フレームの参照画像データとし、同時に、画像メ
モリ部３中の最大相関領域のｉフレームの画像データを
ｉ−１フレームの参照画像データとして参照メモリ部４
１に記憶させる。これとは反対に、最大相関領域の相関
値が基準値よりも低いため、相関判断部６２が相関無し
と判断したとき、メモリ制御部７は参照メモリ部４２の
ｉ−２フレームの参照画像データをｉ−１フレームの参
照画像データとして参照メモリ部４１に転送し、相関演
算部５は参照メモリ部４１の参照画像データと画像メモ
リ部３に記憶されたｉフレームの現画像データ中、探索
エリア内のデータとの相関演算を実行する構成になって
いる。

【００２９】この第２実施例は追跡目標が他の移動体と
すれ違った場合、追跡目標が移動体によって部分的に隠
されている画像を参照画像とせずに、すれ違う前の画像
を参照画像とするものである。このことを図４を参照し
てさらに詳しく説明する。図４(a),(b),(c),(d) は追跡
目標を含む参照画像９１が他の移動体１０１と離れてい
るときから徐々に移動体１０１に隠されてゆくｉフレー
ムからｉ＋３フレームまでの画像を表している。参照メ
モリ部４１に記憶された参照画像データと、これら各フ
レームの画像データとの相関度を演算すると、図５に示
すように次第に小さくなる。相関判断部６２はｉ＋１フ
レームに対する最大相関度と、ｉ＋２フレームに対する
最大相関度との中間の値を相関の有無の判断の基準にし
ている。

【００３０】したがって、(a) に示したｉフレームの画
像の場合、追跡目標を含む参照画像９１は移動体１０１
と離れているため、最大相関領域の相関度は基準値より
はるかに高く、したがって、相関判断部６２は相関有り
と判断する。これによりメモリ制御部７は、参照メモリ
部４１のｉ−１フレームの参照画像データを参照メモリ
部４２に転送してｉ−２フレームの参照画像データと
し、同時に、画像メモリ部３中の最大相関領域の画像デ
ータを新たにｉ−１フレームの参照画像データとして参
照メモリ部４１に記憶させる。次に、(b) に示したｉ＋
１フレームの場合、相関度はｉフレームの場合よりも低
いが、基準値よりも大きいため、相関有りと判断して、
ｉフレームの場合と同様に、メモリ制御部７は、ｉ−１
フレームの参照画像データを参照メモリ部４２に転送し
てｉ−２フレームの参照画像データとし、同時に、画像
メモリ部３中の最大相関領域の画像データを新たにｉ−
１フレームの参照画像データとして参照メモリ部４１に
記憶させる。次に、(c) に示したｉ＋２フレームの場
合、参照画像９１は移動体１０１に半分近く隠れている
ため、最大相関度は基準値より小さくなる。したがっ
て、相関判断部６２は相関無しと判断する。このとき、
メモリ制御部７は参照メモリ部４２のｉ−２フレームの
参照画像データをｉ−１フレームの参照画像データとし
て参照メモリ部４１に転送する。最後に、(d) に示した
ｉ＋３フレームの場合、参照画像９１は移動体１０１に
完全に隠れているため、最大相関度は基準値よりはるか
に低くなる。したがって、相関判断部６２は相関無しと
判断する。このときも、メモリ制御部７は参照メモリ部
４２のｉ−２フレームの参照画像データをｉ−１フレー
ムの参照画像データとして参照メモリ部４１に転送しよ
うとするが、ｉ＋２フレームの場合に参照メモリ部４２
の参照画像データが参照メモリ部４１に転送されてしま
っているので、参照メモリ部４１の更新は行われない。

【００３１】かくして、第２実施例によれば、ｉ＋２フ
レーム及びｉ＋３フレームでは、参照メモリ部４１の参
照画像データの更新を行わず、ｉ＋１フレームの最大相
関領域の画像データを参照画像データとして記憶させる
ことにより、ほぼ完全な参照画像データを記憶させるこ
とができ、この結果、追跡目標が他の移動体とすれちが
う場合の識別精度の低下を抑えることができる。

【００３２】図６は本発明の第３実施例の構成を示すブ
ロック図である。図中、図１又は図４と同一の要素には
同一の符号を付してその説明を省略する。ここでは、前
回すなわち、１回前のフレームの参照画像データを記憶
させる参照メモリ部４１の他に、ｋ回前までの各フレー
ムの参照画像データをそれぞれぞれ記憶させる参照メモ
リ部４２〜４ｋを設け、相関演算部５３が参照メモリ部
４１の参照画像データと画像メモリ部３に記憶された画
像データの探索エリア内のデータとのパターンマッチン
グを行い、最大相関領域を求めたのち、さらに、この最
大相関領域と参照メモリ部４２〜４ｋの各参照画像デー
タとの相関を求める。相関判断部６３はこれらの相関度
が全て基準値を超えていると判断したとき、メモリ制御
部７はｋ−１回前の参照画像データをｋ回前の参照画像
データとして、ｋ−２回前の参照画像データをｋ−１回
前の参照画像データとして順次参照メモリ部４２〜４ｋ
の更新を行い、最後に、最大相関領域のデータを参照画
像として参照メモリ部４１に記憶させる。

【００３３】一方、参照メモリ部４２〜４ｋに記憶され
た参照画像データと最大相関領域との相関を求めた結
果、少なくとも一つの参照画像データとの相関が無いと
判断された場合には、相関無しとして参照メモリ部４２
〜４ｋの更新は行わず、参照メモリ部４１に対する最大
相関領域を新たな参照画像データとして参照メモリ部４
１に記憶させる動作をも中止する。以上の動作を各フレ
ーム毎に繰り返して行う。

【００３４】なお、相関判断部６３が最終的に相関の有
無を判断するに当たり、最大相関領域と前回からｋ回前
までの参照画像データとの相関の有無をそれぞれ調べ、
相関有りか、又は、相関無しの比率を求めて相関の有無
の判断をするようにするようにしてもよい。あるいは、
最大相関領域と前回からｋ回前までの参照画像データと
の相関を順次求め、各相関値に重み付けを行いその総和
が基準値を超えるか否かによって最終的に相関の有無を
判断することもできる。さらにまた、最大相関領域と前
回からｋ回前までの参照画像データとの相関を順次求め
たときに、ｉ回前の参照画像データに対して初めて相関
有りと判断された場合には、１回前からｉ−１回前まで
の参照画像データを全て消去し、ｉ回前のデータを１回
前の参照画像データ、ｉ＋１回前のデータを２回前の参
照画像デー、…、ｋ回前のデータをｋ−ｉ＋１回前の参
照画像データとしてもよい。

【００３５】この第３実施例によれば、参照画像が移動
体とすれ違う場合、参照画像が移動体によって部分的に
隠されている画像を参照画像としないので、識別精度の
低下が抑えられる。また、参照画像が他の移動体に徐々
に隠れる場合でも正しい相関判断が行われる。

【００３６】図７は本発明の第４実施例の構成を示すブ
ロック図である。この実施例は図８に示した従来装置に
対して、ヒストグラム演算部８が新たに付加され、これ
に対応して従来装置とは異なる機能の相関判断部６４を
備えている。ヒストグラム演算部８は参照メモリ部４に
記憶された参照画像データと、最大相関領域の画像デー
タとのヒストグラムを求めるものである。この場合、参
照画像と最大相関領域の各対応点の信号レベルの差分の
絶対値のヒストグラムを求める。一方、相関判断部６４
は先ず相関度が基準値を超えているか否かにより、相関
のありと判断したり、相関無しと仮判断したりする。も
し、相関有りと判断した場合には、メモリ制御部７が最
大相関領域の画像データを参照画像データとして参照メ
モリ部４に記憶させる。一方、相関無しと仮判断した場
合には、さらに、ヒストグラム演算部８で求められたヒ
ストグラムより、予め設定された基準値より小さい値の
割合を求めて、この割合が予め設定されたもう一つの基
準値より大きいときは相関有りとして判断結果を修正し
て最大相関領域の画像データを次の参照画像データとし
て参照メモリ部４に記憶させ、反対に、基準値より小さ
い値の割合が予め設定されたもう一つの基準値より小さ
いときは相関無しの仮判断を変えることはない。したが
って、参照メモリ部４の記憶データの更新は行わない。
かかる動作を各フレーム毎に実行する。

【００３７】この第４実施例によれば、参照画像の背景
が大きく変化しても、この背景の変化によって相関無し
と判断することが無くなり、その分だけ識別精度の低下
を抑えることができ、その結果、追尾精度を高めること
ができる。

【００３８】

【発明の効果】請求項１に記載の画像内動体追尾装置に
よれば、ｉ−１フレームの参照画像に対するｉフレーム
画像の最大相関領域を判断した後、ｉフレーム画像の最
大相関領域に対するｉ−１フレーム画像の最大相関領域
を判断するとともに、ｉ−１フレーム画像内の最大相関
領域と参照画像との位置のずれ量を演算し、この位置の
ずれ量が予め設定された基準値を超えるとき、ｉフレー
ム画像の最大相関領域を次回のフレーム画像に対する参
照画像とせず、ｉ−１フレームの参照画像を用いて次回
のフレーム画像との相関演算を行うため、追跡目標が類
似物体の後ろに隠れた場合でも、類似物体を追跡目標と
することはなくなり、誤判断による識別精度の低下が抑
えられる。

【００３９】請求項２に記載の画像内動体追尾装置によ
れば、相関値が基準値より小さいとき、前回の参照画像
を用いて次回の画像にとの相関演算を行うため、追跡目
標が他の移動体とすれ違う場合の識別精度の低下が抑え
られ、識別精度を向上させることができる。

【００４０】請求項３に記載の画像内動体追尾装置によ
れば、最大相関領域とそれ以前の複数回の参照画像との
相関演算の結果に基づいて相関の有無を判断し、相関無
しの場合に前回分の参照画像をそのまま次回の画像の参
照演算に供するため、追跡目標が他の物体とすれ違うと
きに、追跡目標が他の物体に徐々に隠れてその後に離れ
る場合にも正しい相関判断が行われる。

【００４１】請求項４に記載の画像内動体追尾装置よれ
ば、相関の有無を判断するに当たり、少なくとも一つに
過去の参照画像に対する相関値が基準値より小さいとき
相関無しと判断するので、追跡目標が他の物体に隠れて
も正しい相関判断が行われる。

【００４２】請求項５に記載の画像内動体追尾装置によ
れば、ｉ回前の参照画像データに対して初めて相関有り
と判断した場合に、紛らわしい参照データを全て消去す
るので、追跡目標が他の移動体に徐々に隠れてその後に
離れる場合に正しい相関判断が行われる。

【００４３】請求項６に記載の画像内動体追尾装置によ
れば、相関無しと仮判断された最大相関領域であって
も、ヒストグラム演算値が予め定めた基準値を超えると
き相関有りとして判断を変更するため、参照画像の背景
が大きく変化しても、この背景の変化によって相関無し
と判断することがなく、その分だけ識別精度を向上させ
ることができる。

【図面の簡単な説明】

【図１】本発明の第１実施例の構成を示すブロック図。

【図２】図１に示した実施例の動作を説明するためのフ
レーム画像を示した図。

【図３】本発明の第２実施例の構成を示すブロック図。

【図４】図３に示した実施例の動作を説明するためのフ
レーム画像を示した図。

【図５】図５に示した実施例の動作を説明するために、
相関度とフレーム画像の関係を示すブロット図。

【図６】本発明の第３実施例の構成を示すブロック図。

【図７】本発明の第４実施例の構成を示すブロック図。

【図８】従来の画像内動体追尾装置の構成を示すブロッ
ク図。

【図９】図８に示した従来の画像内動体追尾装置の動作
を説明するためのフレーム画像を示した図。

【符号の説明】

１ 撮像センサ ２ 信号処理部 ３，３１，３２ 画像メモリ部 ４，４１，４２〜４ｋ 参照メモリ部 ５，５１，５２，５３ 相関演算部 ６，６１，６２，６３，６４ 相関判断部 ７ メモリ制御部 ８ ヒストグラム演算部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 一つの画像内に設定された領域を参照画
   像とし、この参照画像データと前記画像に継続する画像
   データとの相関演算を行い、前記参照画像と最も整合す
   る画像の位置を検出する画像内動体追尾装置において、 現画像をｉフレーム画像とし、ｉフレーム画像データを
   記憶する第１の画像メモリ部と、前記参照画像に対する
   ｉフレーム画像の最大相関領域データを記憶する第１の
   参照メモリ部と、前記参照画像を含む過去の画像をｉ−
   １フレーム画像とし、ｉ−１フレーム画像データを記憶
   する第２の画像メモリ部と、ｉ−１フレーム画像の参照
   画像データを記憶する第２の参照メモリ部と、記憶され
   た参照画像データとｉフレーム画像データとの相関を演
   算し、さらに、最大相関領域データとｉ−１フレーム画
   像データとの相関を演算する相関演算部と、この相関演
   算部の演算結果に基づいて前記最大相関領域及び相関の
   有無を判断する相関判断部と、この相関判断部の判断結
   果に応じて前記第１及び第２の画像メモリ部、並びに前
   記第１及び第２の参照メモリ部を制御するメモリ制御部
   とを備え、 前記相関判断部が前記参照画像に対するｉフレーム画像
   の最大相関領域を判断したとき、前記メモリ制御部はそ
   の最大相関領域データを前記第１の参照メモリ部に記憶
   させ、これに従って前記相関演算部は記憶された前記最
   大相関領域デ−タに対するｉ−１フレーム画像データと
   の相関を演算し、この相関演算の結果に基づいて前記相
   関判断部は前記最大相関領域に対するｉ−１フレーム画
   像の最大相関領域を判断するとともに、ｉ−１フレーム
   画像内の前記最大相関領域と前記参照画像との位置のず
   れ量を演算し、この位置のずれ量が予め設定された基準
   値を超えるとき、記憶された前記ｉフレーム画像の最大
   相関領域は前記参照画像に対して相関無しと判断し、基
   準値以下のとき相関有りと判断し、前記メモリ制御部は
   相関無しの判断に応じて前記第１の画像メモリ部のデー
   タのみを次のフレーム画像データによって更新し、相関
   有りの判断に応じて前記第２の画像メモリ部のデータを
   前記第１の画像メモリ部のデータによって更新するとと
   もに、前記第１の画像メモリ部のデータを次のフレーム
   画像データによって更新し、かつ、前記第２の参照メモ
   リ部のデータを前記第１の参照メモリ部の最大相関領域
   データによって更新して新たな参照画像データとするこ
   とを特徴とする画像内動体追尾装置。
2. 【請求項２】 一つの画像内に設定された領域を参照画
   像とし、この参照画像データと前記画像に継続する画像
   データとの相関演算を行い、前記参照画像と最も整合す
   る画像の位置を検出する画像内動体追尾装置において、 現画像をｉフレーム画像とし、ｉフレーム画像データを
   記憶する画像メモリ部と、現画像から過去に１回遡った
   ｉ−１フレーム画像の前記参照画像に対する最大相関領
   域データをｉ−１フレームの参照画像データとして記憶
   する第１の参照メモリ部と、現画像から過去に２回遡っ
   たｉ−２フレーム画像の前記参照画像に対する最大相関
   領域データをｉ−２フレームの参照画像データとして記
   憶する第２の参照メモリ部と、前記第１の参照メモリ部
   に記憶された参照画像データと前記画像メモリ部に記憶
   されたｉフレーム画像データとの相関を演算する相関演
   算部と、この相関演算部の演算結果に基づいて前記最大
   相関領域及び相関の有無を判断する相関判断部と、この
   相関判断部の判断結果に応じて前記画像メモリ部、並び
   に前記第１及び第２の参照メモリ部を制御するメモリ制
   御部とを備え、 前記相関判断部は前記ｉ−１フレームの参照画像データ
   に対する前記ｉフレーム画像の最大相関領域を判断した
   とき、この最大相関領域の相関値が予め設定された基準
   値より小さいか否かを調べ、基準値より小さいとき前記
   ｉ−１フレームの参照画像と前記ｉフレーム画像の最大
   相関領域とは相関無しと判断し、基準値以上のとき前記
   ｉ−１フレームの参照画像と前記ｉフレーム画像の最大
   相関領域とは相関有りと判断し、前記メモリ制御部は相
   関無しの判断に応じて前記第１の参照メモリ部のデータ
   を前記第２の参照メモリ部のデータによって更新すると
   ともに、前記画像メモリ部のデータを次のフレーム画像
   データによって更新し、相関有りの判断に応じて前記第
   ２の参照メモリ部のデータを前記第１の参照メモリ部の
   データによって更新するとともに、前記第１の参照メモ
   リ部のデータを前記ｉフレーム画像の最大相関領域のデ
   ータによって更新し、かつ、前記画像メモリ部のデータ
   を次のフレーム画像データによって更新することを特徴
   とする画像内動体追尾装置。
3. 【請求項３】 一つの画像内に設定された領域を参照画
   像とし、この参照画像データと前記画像に継続する画像
   データとの相関演算を行い、前記参照画像と最も整合す
   る画像の位置を検出する画像内動体追尾装置において、 ｋを２以上の整数として過去に遡ったｋ回分の各参照画
   像を記憶する参照メモリ部と、ｉを現画像から過去に遡
   った数として前記参照メモリ部に記憶されたｉ＝１の参
   照画像と今回の画像との相関演算、及びこの相関演算に
   より最も整合する今回の画像とｉ≧２の各参照画像との
   相関演算を行う相関演算部と、この相関演算部で演算さ
   れた相関値に基づいて相関の有無を判断する相関判断部
   と、この相関判断部によって相関無しと判断されたと
   き、前記参照メモリ部をそのまま次回の画像に対する相
   関演算のための参照画像とし、相関有りと判断されたと
   き、ｉ＝１の参照画像と最も整合する今回の画像をｉ＝
   １の参照画像とし、ｉ（ｉ＝１〜ｋ−１）参照画像をｉ
   ＋１参照画像として前記参照メモリ部を更新して次回の
   画像に対する相関演算のための参照画像とするメモリ制
   御部とを備えたことを特徴とする画像内動体追尾装置。
4. 【請求項４】 前記相関判断部は、ｉ＝１の参照画像に
   対して最も整合する今回の画像とｉ≧２の各参照画像と
   の相関演算を行い、この相間演算によって得られた相関
   値がそれぞれ予め定めた基準値以上のとき相関有りと判
   断し、少なくとも一つが基準値より小さいとき相関無し
   と判断することを特徴とする請求項３に記載の画像内動
   体追尾装置。
5. 【請求項５】 前記相関判断部は、最大相関領域と１回
   前からｋ回前までの参照画像データとの相関を順次求め
   たときに、ｉ回前の参照画像データに対して初めて相関
   有りと判断された場合には、１回前からｉ−１回前まで
   の参照画像データを全て消去し、ｉ回前のデータを１回
   前の参照画像データ、ｉ＋１回前のデータを２回前の参
   照画像データ、…、ｋ回前のデータをｋ−ｉ＋１回前の
   参照画像データとすることを特徴とする請求項３に記載
   の画像内動体追尾装置。
6. 【請求項６】 一つの画像内に設定された領域を参照画
   像とし、この参照画像データと前記画像に継続する画像
   データとの相関演算を行い、前記参照画像と最も整合す
   る画像の位置を検出する画像内動体追尾装置において、 前記参照画像とこの参照画像に最も整合する画像との各
   対応点のデータの差分を演算するとともに、差分の絶対
   値のヒストグラム分布を求めるヒストグラム演算部と、
   前記参照画像と最も整合する画像の相関値が予め設定さ
   れた基準値より小さいときに相関無しと仮判断し、基準
   値以上のときに相関有りと判断し、かつ、相関無しと仮
   判断されたうち、前記ヒストグラム演算部の演算値が予
   め定めたもう一つの基準値を超えるとき、相関無しと仮
   判断された画像を相関有りとして判断を変更する相関判
   断部とを備え、この相関演算部で相関無しと判断された
   とき、前回の参照画像をそのまま次回の画像に対する相
   関演算のための参照画像とし、相関有りと判断されたと
   き、前記参照画像に最も整合する画像を次回の画像に対
   する相関演算のための参照画像とすることを特徴とする
   画像内動体追尾装置。