JPH02196382A

JPH02196382A - 動画像の物体追跡装置

Info

Publication number: JPH02196382A
Application number: JP1016913A
Authority: JP
Inventors: Toshio Endo; 利生遠藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1989-01-26
Filing date: 1989-01-26
Publication date: 1990-08-02
Anticipated expiration: 2013-01-14
Also published as: JP2697072B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔概要〕動画像の物体追跡を行う装置であって、画像フレーム内
にそれまで追跡していなかった新しい物体が現れても、
前記物体の追跡を行うこと、追跡の開始時に於いて被追
跡物体の予測を行うことを目的とし、前記動画像フレーム内の被追跡物体の位置を算出する位
置算出手段と、前記位置算出手段によって求められた現
フレームでの被追跡物体の位置を記憶する被追跡物体位
置記憶手段と、位置算出手段によって求められたあるフ
レームの被追跡物体位置と、前記被追跡物体位置記憶手
段に記憶された前記現フレームの時間的に前のフレーム
の被追跡物体の位置から、次フレームの被追跡物体の位
置を推定する被追跡物体移動位置推定手段と、前記被追
跡物体移動位置推定手段によって位置を推定された次フ
レームの被追跡物体位置と、位置算出手段によって算出
された次フレームの被追跡物体位置から、前記現フレー
ムと次フレームの被追跡物体を対応付けする対応手段と
、前記対応手段によって対応の付かない被追跡物体の次
フレームでの移動位置を、現フレームの被追跡物体の明
るさの分布と、前フレームの被追跡物体の明るさの分布
から推定する手段を有する構成とする。

〔産業上の利用分野〕

本発明は動画像の中の物体を、実時間で追跡する装置に
関する。

〔従来の技術〕

従来から、動画像の物体追跡装置に於いて、動画像を二
値化した後に、被追跡物体毎に各フレームで独立にラベ
ル付けを行い、隣接フレーム間で前記ラベルの対応をと
ることにより、実時間で物体の追跡が行われていた。

前記動画像の追跡は、ロボットの視覚等に使用し、ファ
クトリ・オートメーション、又、顕微鏡で拡大された微
生物の運動の追跡が行われていた。

ここで言う動画像とは、ＴＶ画面の様に、１フレームあ
たり例えば３３ｍｓでこま送りしている画像である。

第８図は、動画像の二値化の説明図、第９図はフレーム
のラベル付けの説明図、第１０図は、ある動画像のある
時間のフレームと次のフレーＪ、への予想される移動ベ
クトルの説明図である。

以下、図面を参照し簡単に説明する。

先ず、ある画像フレーム（第８図（ａ））の入力がある
とする。前記画像をある閾値で二値化し、被追跡物体と
そうでないものを区別する。例えば、被追跡物体に照明
を当て、前記被追跡物体の画像をある闇値で二値化すれ
ば、追跡対象物である物体と、そうでないものを判断す
ることができる。

つまり、物の明るさで判断する。この時、二値化イメー
ジ（第８図（ｂ））は画像の左上から走査され、各々の
前記追跡対象物である物体（以下、被追跡物体と略す）
にはラベルが付けられる。被追跡物体１０１，１０２，
１０３には１．２．３のラベルが付けられている。その
後、次の画像フレームが装置に入力され、同様な処理を
施され、各々の被追跡物体にラベルが付けられる。

各フレーム内での前記ラベル付けは独立して行われる。

つまり、上述した様に前記ラベル付けは走査によって左
上から付けられるが、被追跡物体は動くので、画像フレ
ーム内の同じ位置に位置しない。従って、前記ラベルは
、フレーム毎に独立したものとなる。第９図（ａ）の被
追跡物体１０１゜１０２．１０３は第９図（ｂ）の１１
４，１１６，１１５にそれぞれ対応するがラベルは異な
っている。

従って、追跡を行う為には、前記フレーム間でラベルを
対応させ、物体番号を定義しなければならない。

第１０図に示す様に、ある第１のフレームがあり、次の
第２のフレームがある。前記フレーム内の被追跡物体の
ラベルの対応は分かっているものと仮定する。そこで、
移動速度はフレーム間で殆ど変わらないとすれば、前記
被追跡物体の重心を求め、前記第１のフレームと第２の
フレーム間の被追跡物体の重心の移動から、第３のフレ
ームでの被追跡物体の位置が推定出来る。

従って、前記から推定された第３のフレーム内での被追
跡物体の重心位置と、実際の第３のフレーム内の被追跡
物体の重心位置間の距離から、第２のフレーム内の被追
跡物体のラベルと第３の被追跡物体のラベルとの対応を
付け、被対象物体に通し番号である物体番号をつける。

この計算は簡単であり、十分実時間で行うことが出来る
。

ビデオ等の録画像の追跡は、追跡開始時の最初の２フレ
ームを操作者がラベル間の対応を取った後に、上述の処
理を行うことによって実現出来る。

〔発明が解決しようとする課題〕

しかし、上述した様な物体の追跡では、画像内に新しい
物体が加わった時は、前記物体の次フレームでの予想位
置が推定出来ない。従って、更に次のフレームでの前記
物体のラベルの対応が出来ない。

つまり、追跡の支障は、初めて画像内に現れた物体が次
フレームで何処にいるのかを予測することが出来ない為
に生じる。

又、追跡開始時にも同様の問題が生じる。前述した様に
、開示時には追跡物体の移動位置を測定することは出来
ず、録画されたビデオ画像等で追跡を行う時は、最初の
２フレームをスチル画像で、走査者が見て、走査者自身
が画像間で対応付けする必要がある。前記の処理は録画
像であれば可能であるが、リアルタイムで動く画像に対
しては行うことが出来ない。

従って、本発明は上記問題を悉く解決し、リアルタイム
で追跡出来、画像フレーム内に新たな被追跡物体が現れ
ても、動画像の追跡が実時間で行える装置を提供するこ
とを目的とするものである。

〔課題を解決する為の手段〕

上記目的を達成する為に本発明は、前記動画像フレーム
内の被追跡物体の位置を算出する位置算出手段と、前記
位置算出手段によって求められた現フレームでの被追跡
物体の位置を記憶する被追跡物体位置記憶手段と、位置
算出手段によって求められたあるフレームの被追跡物体
位置と、前記被追跡物体位置記憶手段に記憶された前記
現フレームの時間的に前のフレームの被追跡物体の位置
から、次フレームの被追跡物体の位置を推定する被追跡
物体移動位置推定手段と、前記被追跡物体移動位置推定
手段によって位置を推定された次フレームの被追跡物体
位置と、位置算出手段によって算出された次フレームの
被追跡物体位置から、前記現フレームと次フレームの被
追跡物体を対応付けする対応手段と、前記対応手段によ
って対応の付かない被追跡物体の次フレームでの移動位
置を、現フレームの被追跡物体の明るさの分布と、前フ
レームの被追跡物体の明るさの分布から推定する手段を
有する構成とする。

〔作用〕

フレーム間で対応かつ（被追跡物体の次フレームでの位
置の推定は被追跡物体移動位置推定手段で行い、対応の
付かない被追跡物体は現フレームの被追跡物体の明るさ
の分布と、先フレームの被追跡物体の明るさの分布から
推定する手段によって位置を推定する。

〔実施例〕

第１図は本発明の実施例装置の構成図、第２図は前記装
置内の移動ベクトル予測部のブロック図、第３図は装置
の処理のフローチャート図、第４図。

第５図、第６図、第７図はあるフレームとテーブルとの
対応説明図である。

第１図中、１０は画像処理部、２０はマツチング部、３
０は移動ベクトル算出部、４０はテーブル管理部、５０
は移動ヘクトル予測部、６０はテーブルである。

画像処理部１０（第１図）に画像フレームが人力される
と、被追跡物体の重心を算出し、ラベル付けが行われる
。第４図（ａ）の様な画像フレームＦｂであるとする。

この時、各物体１．　２　（１，２はラベルである）の
重心が求められ、前記情報はテーブル６０の重心テーブ
ル６０１に記憶される。

テ〒プルの例を第４図（ｂ）に示す。次いで、マツチン
グ部２０で、前記画像フレームＦｂの一つ前のフレーム
の予測重心テーブル６０２と比較し、ラベルとの対応が
行われ、対応テーブル６０３を更新する。前記対応テー
ブル６０３はラベルと物体番号の対応が格納されている
。Ｆｂでの対応テーブルは第４図（Ｃ）である。前記対
応付けの処理は後程説明する。

その後、移動ベクトル算出部３０で、各ラベルの移動ベ
クトルを算出し、テーブル管理部４０は、予測重心テー
ブル６０１を更新する。前記フレームＦｂでの予測重心
テーブルは、第５図（ｂ）である。

前記移動ベクトルは、現在の重心位置と、一つ前のフレ
ームでの重心位置とで、簡単に計算できる。

よって、現在、重心テーブル６０１には、第４図（ｂ）
、予測重心テーブル６０２には第５図（ｂ）、対応テー
ブルには第４図（Ｃ）の内容が記録されている。

以下、実施例の動作例を詳細に説明する。

動画像であるので、新しい画像フレームＦが画像処理部
１０に入力され、前記同様の処理が行われる。フレーム
Ｆは第６図（ａ）とする。被追跡物体毎にラベルが振ら
れ、重心が求められる。第６図（ａ）中の数字は、ラベ
ル番号である。前記ラベルと重心の関係（第６図（ｂ）
）は、−旦、演算テーブル６０４に格納される。

以下、第３図の処理フローチャートを参照する。

３１はラベル付け、ラベル間の対応、予測重心テーブル
の処理が終了したかを判定する分岐命令である。つまり
、１フレーム毎の処理が完了したかを判定する。ここで
は、未だ処理を行っていないので３２に進む。

マツチング部２０は演算テーブル６０４の被追跡物体か
らある被追跡物体を選び（３２Ｌラベル１を選んだとす
る。フレームＦｂの予測重心テーブル（第１図６０２．
第５図（ｂ））の被追跡物体の位置と比較して、対応付
けをする（３３）。

前記対応付けは予測重心テーブル（第１図６０２゜第５
図（ｂ））に記憶された座標と最も近いラベル同士を対
応付ける。つまり、フレームＦでのラベル１の座標は（
３，３）であるから、フレームＦｂでの予測重心テーブ
ル（第５図（ｂ））に格納された座標で、前記（３，３
）と一番近い座標を持つのは、ラベル２の（３，３）で
ある。よって、フレームＦのラベル１とフレームＦｂの
ラベル２が対応する。

対応付けされたラベル同士は、ラベル間対応テーブル（
第１図６０５．第６図（Ｃ））に格納される。

次いで、移動ベクトル算出部３０は、前記マツチング部
２０で対応付けされたラベルのフレームＦｂの重心テー
ブル（第１図６０１．第４図（ｂ））と、−旦、演算テ
ーブル６０４に格納されている現在の画像フレームの重
心の座標から移動ベクトルを算出する（３４）。つまり
、フレームＦｂのラベル２とフレームＦのラベル１が対
応するので、フレームＦｂでのラベル２の座標（２，４
）とフレームＦでのラベル１の座標（３，３）から移動
ベクトル（１，−１）を算出する。

そして、テーブル管理部４０は、マツチング部２０で対
応付けされたラベルの物体番号を更新する。つまり、フ
レームＦｂのラベル２とフレームＦのラベル１が対応す
るので、フレームＦｂでのラベル２の物体番号１（第４
図（Ｃ））を、フレームＦのラベル１の物体番号１とし
て更新する。よって、ラベル１の物体番号１を対応テー
ブル６０３（第７図（Ｃ））に格納する（３５）。

又、前記移動ベクトル（１，−１）とラベル１の座標（
３，３）から、次フレームでの移動先の座標（４，２）
を推測し、予測重心テーブル６０４（第７図（ｂ））に
格納する（３８）。

以上の処理は、従来と同じである。

さて、第３図フローチャート３３で、前のフレームと現
在処理中のフレーム間で対応するものが無い場合、つま
り、新しい被追跡物体がフレーム内に入った場合を考え
る。

前記処理を先ず簡単に説明する。

マツチング部２０で新しい被追跡物体であると判断され
た（３３）後に（フレームＦでは第６図（ａ）中のラベ
ル３がそれである）、移動ベクトル予測部５０で移動ベ
クトルを予測する（３６）。その後の処理は従来と同じ
である。

よって、以下、移動ベクトル予測部５０の動作例を説明
する。

第２図は前記装置内の移動ベクトル予測部のブロック図
で、第２図中、２０１は微分部、２０２はフレーム間差
分部、２０３は画素間演算部、２０４はゼロクロッシン
グ部、２０５はマスク部、２０７はラベル毎統計量算出
部、２０６はラベル毎スカラー演算部である。第１１図
は前記移動ベクトル予測部の計算を説明するための説明
図である。

前記移動ベクトル予測部はオプティカルフロー算出技術
を用いる。オプティカルフロー算出は従来航空写真の解
析等に使用されており、情報処理装置上で、ソフトウェ
アによって実施されている。本発明では、前記オプティ
カルフロー算出を物体の追跡に用いる。又、前記オプテ
ィカルフロー算出を実時間で行う為にハードウェアで構
成する。

以下、オプティカルフロー算出で用いられている移動ベ
クトル予測方法について簡単に説明する。

先ず、物体の明るさの分布について、以下の２つを仮定
する。

■あるフレームと、その次のフレームに於いて、物体の
対応する点の明るさは同じである。

■物体の明るさの分布は、部分的には位置の一次式で近
似出来る。

よって、上記仮定に従う物体のある点付近での明るさの
分布を図示すると、第１１図のようになる。これは、一
つの物体を移動方向で切断して、明るさの分布を図示し
たものである。ここで、■は明るさを表す。

こう仮定すれば、あるフレームとその次のフレームとの
間で、ある座標の明るさがｄｌ変化し、その点での移動
方向への１の傾きがＤＬＩであり、物体に固定した点（
第１１図ではＡ）のフレーム間での移動距離をＬとする
とき、次式がなり立つ。

Ｌ＊ＤＬ　Ｔ　＝ｄ　Ｉ　　　　　　　　　　・・・■
第１１図の例では、Ｌは正、ＤｔＩは負、ｄＩは正であ
る。

しかし、移動方向は未知であるので、■式をそのまま利
用することは出来ない。そこで数学の公式である、Ｘ＊ＤＸ　Ｔ　＋Ｙ＊ＤＶＩ　＝Ｉ、＊ＤＬ１　・・・
■を利用する。但しＸはＸ軸方向で、物体に固定した点
がどれだけ移動したかであり、ＤＸＩ　はＩＯＸ軸方向
への傾きである。Ｙ、ＤＶＩに付いても同様にＹ軸方向
への移動距離と■の傾きを示す。

つまり、　　（ｘ、ｙ）は求めたい移動ベクトルである
。

■、■式より、Ｘ＊　Ｄｘ　Ｉ　＋　Ｙ＊　Ｄｖ　Ｉ　＝　　ｄ　１・
・・■を得る。

ＤＸＩ　、Ｄ、Ｉは画像を一度微分すれば直接得られる
し、ｄｌもフレーム間で差分を取れば得られるので、０
式はＸ、Ｙの方程式となる。　しかし、未知数はＸ、Ｙ
の二つあるのに式は一つしがないので、このままではＸ
、Ｙについて解くことは出来ない。そこで、一つの物体
の各点に於いてＸＹは一定、つまり平行移動と近似する
。そして、物体全体で平均的に見て最も良く■弐が成り
立つ但し、Ｄ　Ｉ＝　（Ｄｘ　Ｉ　２＋ＤｖＩ２）　”
”を最小にする様にＸ、Ｙを定める。ＤＩで割っている
のは、積分内の式が移動誤差を表すようにしたからであ
る。

０式を最小にするＸ、Ｙは、公式より、Ｘ−（＜ｉｙ　
、ｄ　ｉ＞＜ｉｘ　、ｉｖ　＞＜ｉＸ、　　ｄ　ｉ＞Ｉ
Ｉ　ｉｙ　ＩＩ”　）／分母Ｙ−（＜ｉＸ　、ｄ　ｉ＞
＜ｉＸ、　　ｉＶ　＞＜ｉ、、　　ｄｏ＞ＩＩ　ｉｘ　
ＩＩ２：ｌ／分母分母−（ＩＩ　１ＸＩＩ２ＩＩ　１Ｙ
ＩＩ２＜　ｉＸ、ｉｙ　＞２）　　・・・■ 但し、　　　１Ｘ−ＤＸ　Ｉ／ＤＩｉｙ＝ＤｙＩ／ＤＩである。

０式で求めた（ｘ、ｙ）が移動ヘクトルの予測値である
。

基本的には、上記０式で明るさの分布から移動ベクトル
を予測出来るのだが、実際に積分する部分のＤＸ　　Ｉ
、Ｄｖ　　Ｉの値が小さいと、（Ｘ、Ｙ）の予測に誤差
が入るので、ゼロクロッシング（■の二回微分がＯにな
る点、物体のエツジと対応°づる）を求めて、それで原
画像をマスクした部分だけで積分する。これにより、Ｘ
、Ｙの予測誤差が少なくなる。

以下、上記計算を処理する移動ヘクトル予測部５０に付
いて説明する（第２図参照）。

画像処理部１０（第１図）より、微分部２０１゜フレー
ム間差分部２０２　ゼロクロッシング２０４に濃淡画像
が入力されている。前記画像はフレームＦとする。

微分部２０１は前記画像を一画素毎の微分値を求め、画
素毎に、ＤＸ　Ｉ、Ｄ、Ｉを求める。

一方、フレーム間差分部２０２がフレームＦと］　８フレームＦｂの差分をとりｄｌを画素毎に算出する。

また同時に、ゼロクロッシング部２０４で、ゼロクロッ
シングを作成する。

次いで、画素間演算部２０３で、各々の画素毎に、ｉＸ
＊　ＩＶ　、ｌＸ＊ｄ　Ｉ、Ｉｙ　＊ｄ　Ｉ、ＩＸ＊：
ｘ　＋　　ｌｙ　＊ｊｙを算出する。

次いで、マスク部２０５でゼロクロッシングに相当する
部分を前記算出されたＩｘ＊Ｉｙ、ｌ。

＊ｄｉ、　Ｉｙ　＊ｃｌ＋、　ＩＸ　＊ＩＸ＋　ｉｖ　
＊ｉＹから取り除く。

次に、ラベル毎統計量算出部２０７で、今回のラヘル画
像とマスクされた結果から、ラベル毎の＜ｉＸ、　　ｉ
ｖ＞、＜Ｌ、ｄｉ＞、＜ｉＹ、ｄｉ＞、　　ＩＩ　ｉｘ
　　ＩＩ２．　　ＩＩ　ｉｖ　　ＩＩ２を算出する。前
記内積は、ラベル毎に＜ｔＸ、ｉ、＞−ΣｉＸ＊ｉ。

を求めることで行われる。＜ｉｘ、ｄｉ＞、＜ｉｙ　、
　　ｄ　ｉ＞、　　ＩＩ　ｉｘ　ＩＩ２．　　ＩＩ　ｉ
ｙ　　ＩＩ２　も同様である。

その後、ラベル毎スカラー演算部２０６で、Ｘ＝（＜ｉ
Ｙ、ｄｉ＞＜ｉＸ　　　ｉＹ＞＜ｉＸ、　　ｄｉ＞ＩＩ
　ｉｖ　　ＩＩ”　）／分母Ｙ＝　　（＜ｉｘ　、　　
ｄ　　ｉ＞＜ｉＸ、　　ｉＶ　＞＜ｉＹ　、　　ｄ　ｉ
＞ＩＩ　ｉｘ　ｌｌ２）／分母分母−［１１１ＸＩＩ２
ＩＩ　ｉ−ＩＩ２＜ｉＸ　、　　ｉｙ　　＞２　　］をララベルに計算することによって、移動ベクトルが求
まる。

移動ヘクトルが求まった後の処理は、従来と同様である
。第７図（ｂ）ではラベル３の予測重心座標は（１，３
）である。又、対応テーブル（第７図（Ｃ））では、ラ
ベル３の物体番号は新規の３が定義されている。

前記フレーム毎の処理は、各ラベルについての処理が完
了したかの判定（３１）を以て、終了する。

動画像の追跡開始時に於いては、オプティカルフロー算
出によって、ラベルの移動予測位置が推定できるので、
リアルタイムの画像処理が可能である。よって、本実施
例は、ロボットを用いた螺子どめ等で、物体の追跡を行
うことにより、ファクトリオートメーションに応用が可
能である。

実施例に従って本発明を説明した。

本実施例の、オプティカルフロー算出では、物体はフレ
ーム間で平行移動すると仮定しているが、ある点を中心
とした回転移動をすると仮定しても同様に移動ベクトル
を推定できる。

上記の様に、本発明は本発明の要旨に従い種々の変形が
可能であり、本発明はそれらを排除するものでは無い。

〔効果〕

本発明によれば、画像フレーム内にそれまで追跡してい
なかった新しい物体が現れても、前記物体の追跡を行う
ことが出来る。また、追跡の開始時に於いて被追跡物体
の予測がオプティカルフロー算出によって行えるので、
リアルタイム画像第３図は装置の処理のフローチャート
図、第４図第５図、第６図、第７図はあるフレームとテ
ーブルとの対応説明図、第８図、第９図はラベル付けの
概念説明図、第１０図は予測移動ベクトルの説明図、第
１１図はオプティカルフロー算出の説明図である。

１０・・・画像処理部２０・・・マツチング部３０・・・移動ベクトル算出部４０・・・テーブル管理部５０・・・移動ベクトル予測部６０・・・テーブル第１図は本発明の実施例装置の構成図、第２図は前記装
置内の移動ベクトル予測部のブロック図、）トー；、）　　−０ ε　９ル

Claims

【特許請求の範囲】動画像の物体追跡を行う装置であって、前記動画像フレーム内の被追跡物体の位置を算出する位
置算出手段（１０）と、前記位置算出手段（１０）によって求められたあるフレ
ームでの被追跡物体の位置を記憶する被追跡物体位置記
憶手段（６０）と、位置算出手段（１０）によって求められた現フレームの
被追跡物体位置と、前記被追跡物体位置記憶手段（６０
）に記憶された前記現フレームの時間的に前のフレーム
の被追跡物体の位置から、次フレームの被追跡物体の位
置を推定する被追跡物体移動位置推定手段（３０）と、前記被追跡物体移動位置推定手段（３０）によって位置
を推定された次フレームの被追跡物体位置と、位置算出
手段によって算出された次フレームの被追跡物体位置か
ら、前記現フレームと次フレームの被追跡物体を対応付
けする対応手段（２０）と、前記対応手段（２０）によって対応の付かない被追跡物
体の次フレームでの移動位置を、現フレームの被追跡物
体の明るさの分布と、前フレームの被追跡物体の明るさ
の分布から推定する手段（５０）からなることを特徴と
する動画像の物体追跡装置。