JPH1132325A - 物体追跡方法および物体追跡監視装置 - Google Patents

Abstract

(57)【要約】 【課題】物体追跡監視装置において従来より広く用いら
れている差分法では、検出される物体がカメラ視野内の
背景画像と近い輝度値を持つと物体が分裂して検出され
たり、複数の物体が存在しそれらが繋がって写る場合に
正確な物体追跡が行なえないという問題があった。 【解決手段】本発明は、ＴＶカメラからの入力画像信号
と基準背景画像信号との差を物体として検出し、連続す
る入力画像信号中の検出した物体の数の変化から検出状
態変化を分類し、該検出状態変化から各時刻毎の検出物
体の位置及び検出領域の領域面積、検出物体の画像パタ
ーンを接続情報として保存し、分裂して検出された物体
の検出位置の補正と、連結して検出された複数物体の軌
跡の補正を行ったものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョンカメ
ラを用いた監視装置に係り、テレビジョンカメラの撮像
視野内に侵入した複数の物体を、該テレビジョンカメラ
の映像信号の中から自動的に検出し、該検出物体の動き
を自動的に追尾するようにした物体追跡方法及び物体追
跡監視装置に関する。

【０００２】

【従来の技術】テレビジョンカメラ（以下ＴＶカメラと
呼ぶ）を用いた映像監視装置は、従来より広く用いられ
ている。しかし、近年、このような監視システムにおい
て、その監視視野内に入り込んでくる人間や自動車など
の移動物体の検出及び追跡を、画像モニタ面での有人監
視によるのではなく、画像信号から自動的に検出し、所
定の報知や警報処置が得られるようにしたシステムが要
求されるようになってきている。

【０００３】このようなシステムを実現するためには、
まず、ＴＶカメラより得られた入力画像信号と基準背景
画像、すなわち、検出すべき物体の写っていない画像信
号とを比較し、画素毎に輝度値の差分を求め、その差分
値の大きい領域を物体として検出する。この方法は、差
分法と呼ばれ、従来より広く用いられている。この方法
の応用例としては、例えば、特開平０９−７３５４１号
公報に記載されている。差分法の処理を図７を用いて説
明する。まず、ＴＶカメラにより得られた入力画像701
と予め登録してある基準背景画像702との画素毎の差分
を計算し差分画像703を得る。次にその差分画像の画素
値が所定のしきい値未満の画素を“０”、しきい値以上
の画素を“２５５”（１画素が８ビットであると仮定）
として二値化画像704を得る。これによって、入力画像7
01に写った人型の物体は、二値化画像704中の画像Ｄ01
として検出される。

【０００４】検出物体の自動追跡は、差分法による物体
の検出を逐次的に行い、各時刻毎の検出物体の画像上の
位置に基づき対象物体の動きを求めることにより行う。
図８を用いて自動追跡原理を説明する。図８において、
801は時刻ｔ0での二値化画像で、802は時刻ｔ0+1での二
値化画像、803は時刻ｔ0+2での二値化画像を表す。また
804は、前記二値化画像801，802，および803のすべての
検出物体と重心位置を、説明のため同時に表したもので
あり、805は前記画像804の検出物体の重心位置を点とし
て表したものである。図８の時刻ｔ0、ｔ0+1、ｔ0+2の
それぞれの時刻で得られた二値化画像801，802，803に
おいて、それぞれの時刻で検出物体Ｄ02，Ｄ03，Ｄ04の
位置で物体が検出できたとき、この物体の動きは画像80
4におけるそれぞれの時刻の検出物体Ｄ02，Ｄ03，Ｄ04
のそれぞれの重心Ｃ01，Ｃ02，Ｃ03を結んだ矢印Ｖ01，
Ｖ02で表される。

【０００５】ここで、重心は式(1)より求めることがで
きる。重心Ｃは、ｆ（ｘ，ｙ）を差分の二値化画像（し
きい値以上を“２５５”、未満を“０”）として、

【０００６】

【数１】

【０００７】と定義される。ただし［Ｂ］は、［Ｂ］=
｛（ｘ，ｙ）｜ｆ（ｘ，ｙ）=２５５｝となる画素数で
ある。

【０００８】この差分法では、背景画像に近い輝度値を
持つ物体を検出した場合は、一部が欠けたり、分裂して
複数の物体として検出されることがある。従って差分法
を用いた物体の追跡法では、視野内の一つの物体が複数
の物体として検出された場合に、検出された数だけ物体
が存在するものと判断し、一つの物体であるにも関わら
ず複数の物体があるものとして追跡してしまう。また、
差分法では見かけ上繋がって写る物体は一つの物体とし
て検出される。従って、視野内に複数の物体が存在した
とき、複数の物体が、ある時刻で繋がって写った場合に
は、その時刻では物体が一つしかないものと判断してし
まうため、複数の物体が存在するにも関わらず一つの物
体として追跡してしまう。また、画像の形状や画像パタ
ーンを比較して追跡していないため、検出物体が複数存
在した場合、同一の対象を追跡していることを確実に保
証することはできない。

【０００９】検出物体の位置変化を基にした追跡法の応
用例としては、例えば、１９８９年１２月発行、“テレ
ビジョン学会誌”、Vol.43, No.12, pp.1370-1374に記
載の、「スキーヤの動きの画像処理的解析」と題する論
文がある。該論文では、矢印Ｖ01，Ｖ02を求める際に、
数フレーム過去の検出位置の変化から物体の進行方向を
推測し、接続すべき重心の選択範囲を制限することで複
数の検出物体が存在する場面でも追跡を行なえるように
している。しかし、この方法では一時的に分裂した物体
や、複数の物体が並走するような場合には正確に物体を
追跡することができない。

【００１０】

【発明が解決しようとする課題】前述のように従来より
広く用いられている差分法では、検出される物体がカメ
ラ視野内の背景画像に近い輝度値を持つと物体が分裂し
て検出されるという問題と、複数の物体が存在しそれら
が繋がって写る場合に正確な物体追跡が行なえないとい
う問題があった。

【００１１】本発明の第１の目的は、上記のような欠点
を除去し、一つの物体が分裂したという判断と、複数の
物体が存在していてそれらが繋がったという判断を行な
うようにした信頼性の高い物体追跡監視装置を提供する
ことにある。

【００１２】また本発明の第２の目的は、１つの物体が
分裂して検出された場合でも正確な物体の位置を推定
し、複数の検出物体が繋がって検出された場合でもそれ
ぞれの物体の正確な位置を推定し、それぞれの物体の追
跡経路を検出することができる物体追跡監視装置を提供
することにある。

【００１３】また本発明の第３の目的は、１つの物体が
分裂して検出されても、複数の物体が繋がって検出され
ても、その時刻の前後の検出状態からそれぞれの追跡経
路を補正し物体を正確に追跡するように判断することが
できる物体追跡監視装置を提供することにある。

【００１４】また本発明の第４の目的は、物体が複数存
在しても同一の対象を追跡していることを保証する物体
追跡監視装置を提供することにある。

【００１５】

【課題を解決するための手段】本発明は上記の目的を達
成するために、検出した物体の数の変化を求め、その検
出状態の変化から物体の分裂や連結を検出するようにし
たものである。

【００１６】このため本発明は、入力画像信号中の物体
を検出するステップと、連続したフレームでの検出物体
の数の変化を求める物体数変化検出ステップと、検出し
た物体数変化から物体の検出状態変化を分類する検出状
態変化分類ステップとを設け、物体の状態変化を分類す
ることによって上記物体の分裂、連結かの判定を行なう
ようにしたものである。

【００１７】更に、前記の検出状態変化から各時刻毎に
検出した物体の位置の変化と検出した領域の面積の変化
を表す接続情報を作成する接続情報作成ステップと、不
定長の可変時間内での検出位置変化を評価することで物
体の軌跡を推定する軌跡推定ステップとを設け、検出物
体を追跡することにより、長時間内での物体の検出位置
変化を評価することでより正確な物体追跡を実現したも
のである。

【００１８】更にまた、前述の接続情報から物体検出時
に一つの物体が複数に分裂して検出されたことを判定す
る分裂判定ステップと、分裂と判定された物体の複数の
検出領域を一つに補正する分裂補正ステップとを設けて
検出物体の追跡を行うことにより、一時的に一つの物体
が分裂して複数の物体として検出されてもその物体は一
つの物体であるように補正したものである。

【００１９】更にまた、前述の接続情報から物体検出時
に複数の物体が繋がって検出されたことを判定する連結
判定ステップと、連結と判定された物体をその前後の接
続情報から複数の物体として補正する連結補正ステップ
とを設け、検出物体の追跡を行うことにより、一時的に
複数の物体が繋がって一つの物体として検出されても、
前後の関係によりその物体は複数の物体であるように補
正したものである。

【００２０】更にまた、前記分裂補正ステップで分裂補
正が行なわれた場合、分裂補正が行なわれたことを判定
する分裂補正再帰判定ステップを設け、再帰的に分裂補
正を行ない、一つの物体が分裂して複数の物体として検
出されてもその物体は一つの物体であることをより正確
に補正するようにしたものである。

【００２１】更にまた、前記連結補正ステップで連結補
正が行なわれた場合、連結補正が行なわれたことを判定
する連結補正再帰判定ステップを設け、再帰的に連結補
正を行い、複数の物体が繋がって一つの物体として検出
されてもその物体は複数の物体であることをより正確に
補正することができるようにしたものである。

【００２２】更にまた、前記接続情報作成ステップで接
続情報として検出した物体の位置および検出した領域の
面積と共に検出した領域の画素パターンも接続情報とし
て保持し、連結判定ステップにおいて保持している画素
パターンとのマッチングによって連結を判定し、検出物
体の追跡を行い、複数の物体が存在していても同一の物
体を追跡していることを保証することができるようにし
たものである。

【００２３】即ち本発明は、例えば監視対象とする視野
範囲を撮像するＴＶカメラと、該ＴＶカメラからの信号
を画像信号に変換する画像入力インターフェース手段
と、少なくともＣＰＵと画像メモリとワークメモリとプ
ログラムメモリとによって前記画像信号を処理する処理
手段を有する物体追跡監視装置において、前記ＴＶカメ
ラからの入力画像信号と、検出すべき物体の写っていな
い基準背景画像信号との差を、画素毎の輝度値の差分を
求めその差分値の大きい領域を物体として検出し、連続
する入力画像信号中の検出した物体の数の変化から検出
状態変化を分類し、該検出状態変化から各時刻毎の検出
物体の位置及び検出領域の面積、検出物体の画像パター
ンを接続情報として保存し、分裂して検出された物体の
検出位置の補正と、連結して検出された複数物体の軌跡
の補正を行ったものである。

【００２４】

【発明の実施の形態】図９に、本発明の各実施例に共通
する物体追跡装置のハードウエア構成の一例を示す。

【００２５】図９において、901はＴＶカメラ、902は画
像入力Ｉ／Ｆ、903はデータバス、904は画像メモリ、90
5はワークメモリ、906はＣＰＵ、907はプログラムメモ
リ、908は出力Ｉ／Ｆ、909は画像出力Ｉ／Ｆ、910は警
告灯、911は監視モニタである。ＴＶカメラ901は画像入
力Ｉ／Ｆ902に接続され、警告灯910は出力Ｉ／Ｆ908に
接続され、監視モニタ911は画像出力Ｉ／Ｆ909に接続さ
れている。画像入力Ｉ／Ｆ902，画像メモリ904，ワーク
メモリ905，ＣＰＵ906，プログラムメモリ907，出力Ｉ
／Ｆ908及び画像出力Ｉ／Ｆ909はデータバス903に接続
されている。図９において、ＴＶカメラ901は対象区域
（視野範囲）を撮像する。撮像された映像信号は画像入
力Ｉ／Ｆ902からデータバス903を介して画像メモリ904
に蓄積される。ＣＰＵ906はプログラムメモリ907に保存
されているプログラムに従って、ワークメモリ905内で
前記画像メモリ904に蓄積された画像の解析を行う。前
記ＣＰＵ906は解析結果に応じて出力Ｉ／Ｆ908を介して
警告灯910を点灯し、画像出力Ｉ／Ｆ909を介して監視モ
ニタ911に画像を表示する。以下に説明するフローチャ
ートは全て、上述の物体追跡装置のハードウエア構成の
一例を使って説明する。

【００２６】図１は本発明の基本となるフローチャート
の一例である。時刻ｔ0において画像入力ステップ101で
はＴＶカメラ901（図９）より例えば画素数３２０×２
４０に対応する入力画像信号701（図７）を得、差分処
理ステップ102であらかじめ登録した検出すべき物体の
写っていない基準背景画像702（図７）と画素毎に差分
を計算し、差分画像703（図７）を得る。次に二値化処
理ステップ103にて前記差分画像703（図７）のしきい値
処理を行い、予め設定したしきい値以上の部分の輝度値
を、検出すべき物体として“２５５”に変換し、該しき
い値未満の部分の輝度値を、検出すべき物体が存在しな
い部分として“０”に変換して、二値画像704（図７）
を得る。このとき輝度値“２５５”となる一固まりの領
域Ｄ01をラベリング等の方法で抽出し、時刻ｔ0の検出
物体とし、この検出領域Ｄ01の重心を検出物体の位置と
する。尚、上記“予め設定したしきい値”とは、入力画
像と背景画像との差分値に対して、物体有無を判定する
値であり、監視対象物体に依存し、経験的な値を設定す
る。例えば、洋上の船の侵入を監視する１つの条件では
20〜40程度である。上記検出物体に対してワークメモリ
905（図９）内に、物体情報記憶領域を確保し、検出物
体位置、検出領域面積、状態変化、接続ポインタ集合を
格納する。図１７は本発明における物体情報記憶領域に
格納された情報内容（リスト構造）の一例を示す図で、
オブジェクト（物体）の情報として、検出時刻，検出状
態（出現、単連結、結合，消滅，分離），検出位置・検
出領域面積・他データ（画素パターン等），確定した軌
跡，接続物体へのポインタ集合を格納している。なお状
態変化と接続ポインタ集合については、後述する。次
に、検出物体数変化算出ステップ104では、時刻ｔ0にお
いて検出されたある検出物体の位置（重心）と時刻ｔ0-
1と時刻ｔ0+1の各検出物体の位置との距離を求める。こ
の距離が所定の値以下となる物体（接続可能物体）の数
を計数し、時刻ｔ0の検出物体にたいし時刻ｔ0-1で計数
した接続可能物体の数をＮp、時刻ｔ0+1で計数した接続
可能物体の数をNnとする。この処理を時刻ｔ0において
検出された検出物体についてそれぞれ求める。尚、上記
“所定の値”とは、連続したフレームで検出された物体
を、同一物体である（同一物体として接続できる）可能
性があるとみなす距離のことであり、例えばこの“所定
の値”は監視対象物体の見かけの速度より大きく（２倍
程度）設定する。大きめに設定する理由は、追跡に用い
る検出物体の代表位置を重心とした場合、必ずしも検出
物体の一定の部位を示しているわけではないからであ
る。また、この“所定の値”が大きいと、連続するフレ
ーム間で正しく物体を接続できる確率が高くなるが、ノ
イズ等による検出部分を接続してしまう確率も高くな
り、後に続くステップの軌跡補正（分裂判定，分裂補
正）や軌跡推定が困難になる。逆にこの“所定の値”が
小さ過ぎると連続するフレームで同一物体の接続ができ
なくなる。実際の設定値は撮像条件、監視対象物体の移
動速度による。例えば、本発明の一例では“所定の値”
を“２０”に設定した。このとき、1/2型CCD（素子の大
きさ 6.5mm×4.8mm），レンズの焦点距離 25mmを用
い、50m離れた撮像面に対して水平方向に移動する監視
対象物体（移動速度5km/h（1.4m/sec）を想定）を320×
240pix，0.3frames/secの画像で監視する場合、 水平方向の視野： 6.5mm/25mm×50m = 13.0m 見かけの速度 ： 1.4m/sec×0.3sec/frame/13.0m×320
pix = 10.3pix/frame となり、接続可能とみなす距離は20pix程度となる。尚
また、上記時刻ｔ0-1，時刻ｔ0，時刻ｔ0+1は、処理す
る画像を入力する時刻（時間間隔）であり、追跡対象の
移動物体が視野に入ってから出るまでに最低5フレーム
程度写るような時間間隔を設定する。この時間間隔の値
が低いと対象物体を追跡できるフレームが少なくなって
しまい、高精度の追跡ができない。この時間間隔の値
は、例えば前述の洋上の船の侵入を監視する１つの条件
では、2〜3 frames/secに設定した。

【００２７】検出状態変化分類ステップ105では、注目
物体のＮpとＮnの値に応じて五つの検出状態を割り当て
る。 図１０は、時刻ｔ0のある検出物体に対するこの
五つの検出状態を説明する図である。図１０において、
黒丸は検出物体の位置を表し、白丸は時刻ｔ0-1または
時刻ｔ0+1で接続可能物体が存在しなかったことを表
す。まずＮp＝０となる例1001は、時刻ｔ0で検出された
ある物体Ｃ04が時刻ｔ0-1では視野内に存在しなかった
ことを表し、以降この状態変化を「出現」と呼ぶ。Ｎp
＝１となる例1002は、時刻ｔ0で検出されたある物体Ｃ0
5が時刻ｔ0-1では物体Ｃ06であったことを表し、以降こ
の状態変化を「単連結」と呼ぶ。Ｎp＞１となる例1003
は、時刻ｔ0で検出されたある物体Ｃ07が時刻ｔ0-1では
物体Ｃ08と物体Ｃ09であった可能性があることを表す。
この例1003は、Ｎp＝２の例であり、Ｎpが２以上の場合
にも適用できる。以降この状態変化を「結合」と呼ぶ。
Ｎn＝０となる例1004は、時刻ｔ0で検出されたある物体
Ｃ10が時刻ｔ0+1では視野内から消えたことを表し、以
降この状態変化を「消滅」と呼ぶ。Ｎn＞１となる例100
5は、時刻ｔ0で検出されたある物体Ｃ11が時刻ｔ0+1で
物体Ｃ12と物体Ｃ13になった可能性があることを表す。
この例1005は、Ｎn＝２の例であり、Ｎnが２以上の場合
にも適用できる。以降この状態変化を「分離」と呼ぶ。
尚、これらの状態変化は２つ以上同時に起る場合もあ
る。次に接続情報作成ステップ106では、検出状態変化
分類ステップ105によって割り当てられた状態変化に対
して、ワークメモリ905（図９）内の物体情報記憶領域
の接続ポインタ集合を変更する。まず、例1002のように
「単連結」と判断された物体Ｃ05に対しては、該物体Ｃ
05の確定した軌跡を格納する領域に物体Ｃ06の検出位置
を加え、前記物体Ｃ05の接続ポインタ集合に前記物体Ｃ
06の物体情報記憶領域があるアドレスを加えると共に、
前記物体Ｃ06の接続ポインタ集合にワークメモリ905内
の前記物体Ｃ05の物体情報記憶領域があるアドレスを加
え、前記物体Ｃ06の接続可能物体へののポインタとして
指定する。次に、例1003のように「結合」と判断された
物体Ｃ07に対しては、該物体Ｃ07の確定した軌跡を格納
する領域に物体Ｃ08と物体Ｃ09の検出位置を加え、前記
物体Ｃ07の接続ポインタ集合にワークメモリ905内の前
記物体Ｃ08と前記物体Ｃ09の物体情報記憶領域があるア
ドレスを加えると共に、該前記物体Ｃ08と前記物体Ｃ09
のそれぞれの接続ポインタ集合に前記物体Ｃ07のワーク
メモリ905内の物体情報記憶領域があるアドレスを加
え、前記物体Ｃ08と前記物体Ｃ09の次のポインタとして
指定する。また例1005のように「分離」と判断された物
体Ｃ11に対しては、該物体Ｃ11の接続ポインタ集合に物
体Ｃ12と物体Ｃ13のワークメモリ905内の物体情報記憶
領域があるアドレスを加えると共に、前記物体Ｃ12と前
記物体Ｃ13のそれぞれの確定した軌跡を格納する領域に
前記物体Ｃ11の検出位置を加え、前記物体Ｃ11の物体情
報記憶領域があるアドレスを加える。つまり接続情報作
成ステップ106を行なうことで、今までに検出された各
物体のワークメモリ905内の物体情報記憶領域が接続ポ
インタ集合を介してリスト構造で接続され、各検出物体
に接続可能な検出物体を記憶することができる。

【００２８】次に、物体情報記憶領域のリスト構造を図
１１と図１２を用いて説明する。図１１は時刻ｔ0から
時刻ｔ0+4の間に検出した物体の状態を説明する図で、
図１２は図１１の検出物体のリスト構造を接続構造図と
して表したものである。この図１１と図１２において、
黒丸は検出物体の位置または検出物体であることを示す
だけのものであって、検出された２値化画像の領域面積
を表すものではない。図１１において、時刻ｔ0から時
刻ｔ0+4の間に検出した物体の位置が黒丸で示すように
なっている場合、前述の検出物体数変化算出ステップ10
4及び、検出状態変化分類ステップ105並びに、接続情報
作成ステップ106により各物体の物体情報記憶領域は図
１２のように連結された接続構造となる。例えば、図１
１の時刻ｔ0+2の物体Ｃ19に注目すると、その直後の時
刻ｔ0+3に検出された物体はＣ16，Ｃ20，Ｃ21である。
ここで該３つの物体Ｃ16，Ｃ20，Ｃ21と前記物体Ｃ19と
の距離を求めると、前記物体Ｃ19と前記物体Ｃ16との距
離が所定値以上となるので除外され、前述の検出物体数
変化算出ステップ104によって前記物体Ｃ20と前記Ｃ21
は物体Ｃ19の接続可能物体と判定され、検出状態変化分
類ステップ105によって前記時刻ｔ0+2の物体Ｃ19と物体
Ｃ20，Ｃ21は「分離」という状態変化に分類される。一
方同じ時刻ｔ0+2の物体Ｃ15も上記と同様の方法によ
り、距離が所定値以内の物体Ｃ16と「単連結」という状
態変化に分類される。次に軌跡推定ステップ113では、
物体情報記憶領域内に記憶されている物体の検出位置の
変化を接続ポインタを遡って行い、物体の軌跡を推定す
る。例えば、図１２中の物体Ｃ22は、物体Ｃ20，Ｃ19，
Ｃ18，Ｃ17の順で遡ることができ、物体Ｃ22の軌跡は、
物体Ｃ17，Ｃ18，Ｃ19，Ｃ20，Ｃ22の検出位置を通った
ものと推定することができる。次に異常判定ステップ10
8では、軌跡推定ステップ107で得られた物体の軌跡を時
間と移動距離によって評価する。例えば、停止車輌の有
無の判定を行なう場合、所定時間内の物体の軌跡が所定
範囲内に収まるか否かを評価し、所定範囲を越えている
（移動距離が大）場合は画像入力ステップ101に戻り、
所定範囲内に収まっている（移動距離が小）場合は停止
車輌と判断し警報・モニタ表示ステップ109に進む。該
警報・モニタ表示ステップ109では出力Ｉ／Ｆ908（図
９）と画像出力Ｉ／Ｆ909（図９）に指令を送る。これ
を受けて、前記出力Ｉ／Ｆ908（図９）は警告灯910（図
９）に異常を示す発光をさせ、前記画像出力Ｉ／Ｆ909
（図９）は異常状態を監視モニタ911に表示させる。こ
の実施例によれば、検出状態の変化から物体の分裂や結
合を検出しながら物体を追跡することができる。

【００２９】前述の停車車両を故障したための停車と判
断する時間（所定時間）は、例えば5秒（5sec）に設定
すると、5秒停止していればその停車車両を故障車両と
判断する。また、前述の移動距離が小である所定範囲
（停止とみなす最大移動距離）は、例えば対象物体の見
かけに大きさに設定する。これは、検出処理では対象物
体の重心を代表位置として用いており、検出状態によっ
ては代表位置が車両の前部になったり後部になったりし
て、対象物体の位置が常に一定の位置を示さないためで
ある。

【００３０】実際の設定値は撮像条件、監視対象物体の
大きさによる。例えば、本発明の一例では“所定の範
囲”を“40×25 pix”の矩形範囲に設定し、軌跡の位置
変化がこの範囲内に収まる場合に停止車両と判定した。
このとき、1/2型CCD（素子の大きさ 6.5mm×4.8mm），
レンズの焦点距離 25mmを用い、200m離れた撮像面に対
して水平方向に移動する監視対象物体（大きさ 6.0mm×
4.8mmを想定）を320×240pix，0.3frames/secの画像で
監視する場合、対象物体の水平方向の見かけの大きさ
は、 水平方向の視野： 6.5mm/25mm×200m = 52.0m 見かけの大きさ： 6.0m/52.0m×320pix = 36.9pix となる。

【００３１】また、図１２の物体C14，物体C15，物体C1
6は一つの接続ポインタ集合であり、図１０の分類によ
れば「単連結」の状態変化を示している。この軌跡の判
定方法を図１８によって説明する。図１８は本発明にお
ける単連結の状態変化を起こしている物体の軌跡判定と
補正後のリスト構造の一例を示す図で、図１２の物体Ｃ
14が単連結の状態変化を起こした場合の例である。今ま
でリスト構造で接続されていた物体Ｃ15の検出位置を物
体Ｃ14の確定した軌跡を格納する領域に追加し、更に、
物体Ｃ15を指していた物体Ｃ14のポインタを物体Ｃ16を
指すようにに変更し、最後に物体Ｃ15の接続情報を削除
している。

【００３２】ここで、異常を表す表示として警告灯によ
る発光を例に挙げたが、光だけではなく、音や振動また
はそれらの組み合せ等、オペレータあるいは犬などの補
助生物が感知する手段であればなんでもよいことは自明
である。

【００３３】本発明の他の実施例について、図２，図１
３，図１４を用いて説明する。この実施例はＴＶカメラ
に写った一つの物体が分裂して複数の物体として検出さ
れた場合でも、これを補正しながら追跡を行なうもので
ある。この実施例をフローチャートで表すと、図２のよ
うになる。このフローチャートは、図１の実施例に分裂
判定ステップ110と分裂補正ステップ111を追加したもの
である。分裂判定ステップ110では、接続情報作成ステ
ップ106によって得られたリスト構造の状態変化から検
出物体が分裂して見えたか否かを判定する。これを図１
３と図１４を用いて説明する。図１３は時刻ｔ0から時
刻ｔ0+1，‥‥，時刻ｔ1-1から時刻ｔ1の間に検出した
物体の分裂補正を行なう前の検出物体のリスト構造を接
続構造図として表した図で、図１４は図１３の検出物体
の分裂補正を行なった後を接続構造図として表したもの
である。この図１３と図１４において、黒丸は検出物体
の位置または検出物体であることを示すだけのものであ
って、検出された２値化画像の領域面積を表すものでは
ない。図１３において物体Ｃ23は、時刻ｔ0では前述の
状態変化の一つである「分離」の状態変化をし、物体Ｃ
23から時刻ｔ1まで状態変化を繰り返して、時刻ｔ1では
物体Ｃ28で「結合」の状態変化をしている。分裂判定ス
テップ110では、この時刻ｔ0の物体Ｃ23とリスト構造に
より接続される時刻ｔ0+1の物体Ｃ24と物体Ｃ25につい
て、該物体Ｃ24と物体Ｃ25との距離が所定の物体の最大
の大きさ以下で、かつ、前記物体Ｃ24と物体Ｃ25の領域
面積の和が物体Ｃ23の領域面積以下となる場合、およ
び、時刻ｔ1の物体Ｃ28とリスト構造により接続される
時刻ｔ1-1の物体Ｃ26と物体Ｃ27について、該物体Ｃ26
と物体Ｃ27との距離が所定の物体の最大の大きさ以下
で、かつ、前記物体Ｃ26と物体Ｃ27の領域面積の和が前
記物体Ｃ28の領域面積以下となる場合、物体Ｃ23，Ｃ2
4，Ｃ25，‥‥，Ｃ26，Ｃ27，Ｃ28を「分裂」と判定す
る。即ち、この時刻ｔ0での一つの物体Ｃ23が何らかの
影響で時刻ｔ0+1と時刻ｔ1-1との間で二つの物体に分離
して検出され、時刻ｔ1で物体Ｃ28として一つの物体に
戻って検出されたと推定する。尚、上記“所定の物体の
最大の大きさ”は停止車両の判定に関連して説明した
“所定範囲”の設定と同様、対象物体の見かけの大きさ
に設定すればよい。その設定値は上記と同様に撮影条件
と対象物体の大きさによる。

【００３４】次に分裂補正ステップ111では、ワークメ
モリ905内に時刻ｔ0+1で検出された物体として新たに物
体Ｃ29と物体Ｃ30の物体情報記憶領域を作成し、物体Ｃ
29の検出位置を物体Ｃ24と物体Ｃ25の検出位置の面積に
よる加重平均とし、物体C29の領域面積は物体C24と物体
C25の領域面積の和とし、物体C30の検出位置を物体C26
と物体C27の面積による加重平均とし、物体Ｃ30の領域
面積は物体Ｃ26と物体Ｃ27の領域面積の和とし、物体Ｃ
29の状態変化を「単連結」とし、物体Ｃ23の接続ポイン
タ集合から物体Ｃ24と物体Ｃ25のワークメモリ905内の
物体情報記憶領域があるアドレスを削除し、物体Ｃ23の
接続ポインタ集合に物体Ｃ29のワークメモリ905内の物
体情報記憶領域があるアドレスを追加する。同様に時刻
ｔ0+1から時刻ｔ1-1までの各時刻に対しても新たにワー
クメモリ905内に物体情報記憶領域を作成する。そし
て、物体Ｃ23と物体Ｃ28の検出状態を「単連結」に変更
する。これにより、時刻ｔ0+1から時刻ｔ1-1までの分裂
と判定された物体の物体情報記憶領域及びリンク構造を
正確に補正することができる。この実施例によれば、一
つの物体が分裂を起こして複数の物体として検出された
場合でも、これを補正し正確な物体追跡を行うことがで
きる。

【００３５】次に、本発明の他の実施例について図３，
図１５，図１６を用いて説明する。この実施例はＴＶカ
メラに写った複数の物体が連結して一つの物体として検
出された場合でも、これを補正しながら追跡を行なうも
のである。この実施例をフローチャートで表すと図３の
ようになる。図３のフローチャートは、図１の実施例に
連結判定ステップ112と連結補正ステップ113を追加した
ものである。連結判定ステップ112では、連結情報作成
ステップ106によって得られたリスト構造の状態変化か
ら検出物体が連結して見えたか否かを判定する。図１５
は時刻ｔ0-1から時刻ｔ0，‥‥，時刻ｔ1から時刻ｔ1+1
の間に検出した物体の連結補正を行なう前の検出物体の
リスト構造を接続構造図として表した図で、図１６は図
１５の検出物体の連結補正を行なった後を接続構造図と
して表したものである。この図１５と図１６において、
黒丸は検出物体の位置または検出物体であることを示す
だけのものであって、検出された２値化画像の領域面積
を表すものではない。図１５において、物体Ｃ33は時刻
ｔ0では前述の状態変化の一つである「結合」の状態変
化をし、物体Ｃ33から時刻ｔ1まで状態変化を繰り返し
て、時刻ｔ1では物体Ｃ34で「分離」の状態変化をして
いる。連結判定ステップ112では、時刻ｔ0の物体Ｃ33と
リスト構造により接続される時刻ｔ0-1の物体Ｃ31と物
体Ｃ32について、該物体Ｃ31と物体Ｃ32との距離が所定
の物体の最大の大きさ以下で、かつ、前記物体Ｃ33の領
域面積が前記物体Ｃ31と物体Ｃ32の領域面積の和以下と
なる場合、および、時刻ｔ1の物体Ｃ34とリスト構造に
より接続される時刻ｔ1+1の物体Ｃ35と物体Ｃ36につい
て、該物体Ｃ35と物体Ｃ36との距離が所定の物体の最大
の大きさ以下で、かつ、物体Ｃ34の領域面積が前記物体
Ｃ35と物体Ｃ36の領域面積の和以下となる場合、物体Ｃ
31，Ｃ32，Ｃ33，‥‥，Ｃ34，Ｃ35，Ｃ36を「連結」と
判定する。即ち、この時刻ｔ1-1での二つの物体Ｃ31と
物体Ｃ32とが何らかの影響で時刻ｔ0と時刻ｔ1との間で
一つの物体に結合して検出され、時刻ｔ1+1で物体Ｃ28
として二つの物体に戻って検出されたと推定する。

【００３６】次に連結補正ステップ113では、物体Ｃ31
の時刻ｔ0-Nから時刻ｔ0-1までの軌跡の平均移動ベクト
ルＶ03と、物体Ｃ32の時刻ｔ0-Nから時刻ｔ0-1までの軌
跡の平均移動ベクトルＶ04と、物体Ｃ35の時刻ｔ1+1か
ら時刻ｔ1+Nまでの軌跡の平均移動ベクトルＶ05と、物
体Ｃ36の時刻ｔ1+1から時刻ｔ1+Nまでの軌跡の平均移動
ベクトルＶ06を求める。移動ベクトルｖは、軌跡が（ｘ
1,ｙ1）、（ｘ2,ｙ2）、…（ｘN,ｙN）と変化した場合
は、

【００３７】

【数２】

【００３８】として計算する。尚、Nは平均ベクトルを
求める際に使用するフレーム数を指定するもので、本発
明の一例ではN=5に設定した。計算した平均移動ベクト
ルから、Ｖ03とＶ05，Ｖ03とＶ06，Ｖ04とＶ05，Ｖ04と
Ｖ06のベクトルのなす角をそれぞれ計算し、その中で最
も小さい角度の組み合わせを連結候補とする。更に前記
の連結候補とした組み合わせを除いたベクトルのなす角
の中から最も小さい角度の組み合わせを更に連結候補と
する。この処理を移動ベクトルの組がなくなるまで行な
う。移動ベクトルｖ1＝（ｘ1,ｙ1）とｖ2＝（ｘ2,ｙ2）
のなす角θは、

【００３９】

【数３】

【００４０】として計算する。図１６の例では、平均移
動ベクトルＶ03とＶ05，Ｖ04とＶ06の組み合わせになっ
たとしている。連結補正ステップ113では更に、時刻ｔ0
から時刻ｔ1までの各時刻で検出された物体として新た
に物体Ｃ37，Ｃ38，‥‥，Ｃ39，Ｃ40の物体情報記憶領
域を作成し、物体Ｃ37と物体Ｃ38の検出位置を物体Ｃ33
の検出位置にし、物体Ｃ39と物体Ｃ40の検出位置を物体
Ｃ34の検出位置にする。更に、物体Ｃ37と物体Ｃ38の領
域面積を物体Ｃ33の領域面積の半分の値とし、物体Ｃ39
と物体Ｃ40の領域面積を物体Ｃ34の領域面積の半分の値
とする。また、物体C31，物体C37，‥‥‥，物体C39の
状態変化と物体C32，物体C38，‥‥‥，物体C40の状態
変化とを「単連結」とする。これにより、時刻ｔ0から
時刻ｔ1までの連結と判定された物体の物体情報記憶領
域及びリスト構造を正確に補正することができる。この
実施例によれば、複数の物体が連結を起こして一つの物
体として検出された場合でも、これを補正し正確な物体
追跡を行うことができる。

【００４１】次に、本発明の他の実施例について図４の
フローチャートを用いて説明する。この図４の実施例
は、図２の実施例に分裂補正再帰判定ステップ114を追
加したものである。この分裂補正再帰判定ステップ114
は分裂補正が行なわれたか否を判定し、分裂補正が行な
われたときには分裂判定ステップ110へ戻り、分裂補正
後の新しい接続情報に基づいて再度分裂補正を行う。ま
た、分裂補正が行なわれなかった場合には軌跡推定ステ
ップ107へ進む。この実施例によれば、複数の物体が二
重三重に分裂を起こして複数の物体として検出された場
合、分裂補正を行なえる限り補正することができるため
より正確な物体追跡を行なうことができる。

【００４２】次に、本発明の他の実施例について図５の
フローチャートを用いて説明する。この図５の実施例
は、図３の実施例に連結補正再帰判定ステップ115を追
加したものである。この連結補正再帰判定ステップ115
は連結が行なわれたか否かを判定し、連結補正後の新し
い接続情報に基づいて再度連結補正を行う。また、連結
補正が行なわれなかった場合には軌跡推定ステップ107
へ進む。この実施例によれば、複数の物体が二重三重に
連結を起こして検出された場合でも、連結補正がおこな
える限り補正することができるためより正確な物体追跡
を行なうことができる。

【００４３】次に、本発明の他の実施例について図６を
用いて説明する。この実施例は、図４と図５で表された
実施例の分裂判定ステップ110，分裂補正ステップ111，
分裂補正再帰判定ステップ114，連結判定ステップ112，
連結補正ステップ113及び連結補正再帰判定ステップ115
を組み合わせて構成したもので、分裂補正再帰判定ステ
ップ114と連結補正再帰判定ステップ115をまとめ合わせ
補正再帰判定ステップ116としてある。図６のフローチ
ャートにおいて、補正再帰判定ステップ116によって少
なくとも分裂補正または連結補正のどちらかが行なわれ
たか否かを判定し、補正が行なわれたときには分裂判定
ステップ110に戻り、補正後の新しい接続情報に基づい
て再度分裂補正または連結補正を行う。また、分裂補正
と連結補正が行なわれなかったときには軌跡推定ステッ
プ107に進む。この実施例によれば、分裂や連結といっ
た現象が同時にかつ二重三重に生じた場合でも、これら
を補正することができるためより正確な物体追跡を行な
うことができる。

【００４４】図１９，図２０および図２１の接続構造図
によって、上記補正再帰判定ステップ116が必要となる
例を説明する。この図１９から図２１において、黒丸は
検出物体の位置または検出物体であることを示すだけの
ものであって、検出された２値化画像の領域面積を表す
ものではない。図１９において、物体Ｃ50が物体Ｃ51と
物体Ｃ52に分離して物体Ｃ59で結合し、その途中の物体
Ｃ54で別の物体Ｃ71からの結合を生じ、次の物体Ｃ56で
物体C58とＣ74に分離している。図２０は、図１９の接
続構造について連結補正を行なった後の接続構造を示す
図で、算出した移動ベクトルから、物体Ｃ54は物体C84
と物体Ｃ72に補正され、物体Ｃ56は物体C85と物体Ｃ73
に補正される。この場合次に、物体Ｃ49から物体Ｃ60ま
での接続について分裂補正を行う必要がある。従って、
図６の補正再帰判定ステップ116によって分裂判定ステ
ップ110に戻り補正を繰り返す必要がある。図２１は補
正再帰判定ステップ116を通過後に分裂判定ステップ110
に戻って、分裂補正ステップ113にて分裂補正を行なっ
た後の接続構造を示す。分裂補正ステップ113によっ
て、物体C51，C52，C53，C84，C55，C85，C57，C58が物
体C80，C81，C82，C83に補正される。

【００４５】次に、本発明の他の実施例について説明す
る。この実施例は、図３，図５または図６で示されてい
る発明において、接続情報ステップ106でオブジェクト
（物体）の情報として、検出物体の画像パターンも記憶
するようにし、連結補正ステップ113において該画像パ
ターンのパターンマッチングによる類似度に基いて連結
して検出された物体の補正を行うものである。尚前記パ
ターンマッチング法は、例えば田村秀行監修「コンピュ
ータ画像処理入門」総合出版(株)、１９８７、pp.148-1
53に記載されている。連結補正ステップ113では、図１
５における物体C31とC35、物体C31とC36、物体C32とC3
5、物体C32とC36のマッチングを行い、それぞれの画像
パターンの類似度を計算し、その中で最も高い類似度を
持つ組合せを連結候補とする。この処理を画像パターン
すべてについて行う。先の実施例と同様に、図１６の例
では物体C31とC35、物体C32とC36の組合わせを連結候補
とし、続く連結補正ステップ113では、時刻ｔ0から時刻
ｔ1までの各時刻で検出された物体として、新たに物体C
37，C38，…，C39，C40の物体情報記憶領域を作成し、
物体C37と物体C38の検出位置を物体C33の検出位置に
し、物体C39と物体C40の検出位置を物体C34の検出位置
にする。更に、物体C37と物体C38の領域面積を物体Ｃ33
の領域面積の半分の値とし、物体Ｃ39と物体Ｃ40の領域
面積を物体Ｃ34の領域面積の半分の値とする。これによ
り、時刻ｔ0から時刻ｔ1までの連結と判定された物体の
物体情報記憶領域及びリスト構造を正確に補正すること
ができる。この実施例によれば、複数の物体が連結を起
こして一つの物体として検出された場合でも、これを補
正し正確な物体追跡を行うことができる。

【００４６】以上述べたように上記実施例によれば、連
続する入力画像に対する検出物体の数の変化から検出状
態変化を分類し、検出状態変化の接続情報を保持し、そ
の接続情報から一つの物体の分裂や複数物体の連結を補
正しながらそれらの検出物体を追跡することで、より正
確な追跡を行なうことができる。

【００４７】

【発明の効果】従って、本発明によれば、ＴＶカメラの
視野内に複数物体が存在するときに、一時的に分裂した
物体や複数の物体が交錯する場合に個々の物体を正確に
追跡することが難しかった欠点を解決し、しかも正確に
物体を追跡することができ、物体追跡監視装置の適用範
囲を大きく広げることができる。

【図面の簡単な説明】

【図１】本発明の実施例の動作を説明するためのフロー
チャート

【図２】本発明の実施例の動作を説明するためのフロー
チャート

【図３】本発明の実施例の動作を説明するためのフロー
チャート

【図４】本発明の実施例の動作を説明するためのフロー
チャート

【図５】本発明の実施例の動作を説明するためのフロー
チャート

【図６】本発明の実施例の動作を説明するためのフロー
チャート

【図７】差分法における物体検出原理を説明するブロッ
ク図

【図８】従来の検出物体の追跡追跡原理を説明するブロ
ック図

【図９】本発明の実施例のハードウエアの一例を示す構
成ブロック図

【図１０】本発明の検出状態変化を説明する図

【図１１】本発明の検出物体の接続情報を説明する図

【図１２】図１１のリスト構造を説明する接続構造図

【図１３】本発明の分裂判定を説明する図

【図１４】本発明の分裂補正後の物体の接続状況を説明
する図

【図１５】本発明の連結判定を説明する図

【図１６】本発明の連結補正後の物体の接続状況を説明
する図

【図１７】本発明の物体情報記憶領域に格納された情報
内容（リスト構造）の一例を示す図

【図１８】本発明の単連結の状態変化を起こしている物
体の軌跡判定と補正後のリスト構造の一例を示す図

【図１９】本発明の補正再帰ステップを説明する図

【図２０】図１９の連結補正後の物体の接続状況を説明
する図

【図２１】図２０の分裂補正後の物体の接続状況を説明
する図

【符号の説明】

101：画像入力ステップ、 102：差分処理ステップ、
103：二値化処理ステップ、 104：検出物体数変化検出
ステップ、 105：検出状態変化分類ステップ、 106：
接続情報作成ステップ、 107：軌跡推定ステップ、 1
08：異常判定ステップ、 109：警報・モニタ表示ステ
ップ、 110：分裂判定ステップ、 111：分裂補正ステ
ップ、 112：連結判定ステップ、 113：連結補正ス
テップ、114：分裂補正再帰判定ステップ、 115：連結
補正再帰判定ステップ、 116：補正再帰判定ステッ
プ、 901：ＴＶカメラ、 902：画像入力Ｉ／Ｆ、 90
3：データバス、 904：画像メモリ、 905：ワークメ
モリ、 906：ＣＰＵ、 907：プログラムメモリ、 90
8：出力Ｉ／Ｆ、 909：画像出力Ｉ／Ｆ、 910：警告
灯、 911：モニタ、 1001：出現を表す検出状態変
化、 1002：単連結を表す検出状態変化、 1003：結合
を表す検出状態変化、 1004：消滅を表す検出状態変
化、 1005：分離を表す検出状態変化

Claims (11)

【特許請求の範囲】
1. 【請求項１】 カメラを有し、そのカメラの撮像視野内
   に侵入した物体を逐次検出する物体追跡方法おいて、該
   カメラより得られた画像信号中から監視する物体の画像
   を検出する物体検出ステップと、該物体検出ステップに
   よって検出した物体の変化を検出する物体数変化検出ス
   テップと、該物体変化検出ステップによって検出した変
   化を複数の状態に分類する検出状態変化分類ステップと
   を設け、上記物体の状態変化分類を逐次行なうようにし
   たことを特徴とする物体追跡方法。
2. 【請求項２】 請求項１記載の物体追跡方法において、
   前記検出状態変化分類ステップにおける分類は、出現，
   単連結，結合，消滅，分離の五つの状態変化としたこと
   を特徴とする物体追跡方法。
3. 【請求項３】 請求項１または請求項２記載の物体追跡
   方法において、 前記検出状態変化分類ステップによって分類した前記五
   つの状態変化から、各時刻毎の検出した物体の位置およ
   び検出した領域の面積の変化をあらわす接続情報を作成
   する接続情報作成ステップと、 該接続情報ステップによって作成した前記接続情報か
   ら、前記物体検出ステップによって検出した物体の位置
   変化によって物体の軌跡を推定する軌跡推定ステップと
   を設け、上記物体の追跡をしたことを特徴とする物体追
   跡方法。
4. 【請求項４】 請求項３記載の物体追跡方法において、 接続情報から物体検出時に一つの物体が複数に分裂して
   検出されたことを判定する分裂判定ステップと、 該分裂判定ステップによって分裂して検出されたと判定
   された複数の物体を一つの物体に補正する分裂補正ステ
   ップとを設け、上記物体の追跡をしたことを特徴とする
   物体追跡方法。
5. 【請求項５】 請求項３記載の物体追跡方法において、 前記接続情報から複数の物体が一つの物体として連結し
   て検出されたことを判定する連結判定ステップと、 連結して検出されたと判定された一つの物体をその前後
   の接続情報から複数の物体として補正する連結補正ステ
   ップとを設け、上記物体の追跡をしたことを特徴とする
   物体追跡方法。
6. 【請求項６】 請求項４記載の物体追跡方法において、
   分裂補正再帰判定ステップを設け、分裂補正が行なえな
   くなるまで分裂判定ステップと分裂補正ステップを繰り
   返すようにしたことを特徴とする物体追跡方法。
7. 【請求項７】 請求項５記載の物体追跡方法において、
   連結補正再帰判定ステップを設け、連結補正が行なえな
   くなるまで連結判定ステップと連結補正ステップを繰り
   返すようにしたことを特徴とする物体追跡方法。
8. 【請求項８】 請求項３記載の物体追跡方法において、 分裂判定ステップと、分裂補正ステップと、連結判定ス
   テップと、連結補正ステップとを設け、 該分裂判定ステップは接続情報から物体検出時に一つの
   物体が複数に分裂して検出されたことを判定し、 前記分裂補正ステップは前記分裂判定ステップによって
   分裂と判定された複数の物体を一つの物体に補正し、 前記連結判定ステップは前記接続情報から複数の物体が
   一つの物体として連結して検出されたことを判定し、 前記連結補正ステップは前記連結判定ステップによって
   連結と判定された一つの物体を複数の物体として補正し
   たことを特徴とする物体追跡方法。
9. 【請求項９】 請求項３記載の物体追跡方法において、 分裂判定ステップと、分裂補正ステップと、分裂補正再
   帰判定ステップと、連結判定ステップと、連結補正ステ
   ップと、連結補正再帰判定ステップとを設け、分裂補正
   が行なえなくなるまで分裂判定ステップと分裂補正ステ
   ップを繰り返し連結補正が行なえなくなるまで連結判定
   ステップと連結補正ステップを繰り返すことを特徴とす
   る物体追跡方法。
10. 【請求項１０】 請求項７，請求項８および請求項９記
    載の物体追跡方法において、接続情報作成ステップで接
    続情報として検出した物体の位置および検出した領域の
    面積と共に検出した領域の画素パターンも接続情報とし
    て保持し、連結判定ステップにおいて画素パターンのマ
    ッチングによって連結を判定したことを特徴とする物体
    追跡方法。
11. 【請求項１１】 カメラと、該カメラが撮像した画像を
    入力する画像入力Ｉ／Ｆと、該画像入力Ｉ／Ｆから入力
    された画像を蓄積する画像メモリと、物体追跡監視装置
    の動作のプログラムを記憶しているプログラムメモリ
    と、該プログラムメモリに保持されている前記プログラ
    ムに従って前記物体追跡監視装置を動作させるＣＰＵ
    と、前記画像メモリに蓄積された画像の解析を行なうワ
    ークメモリと、少なくとも音，可視光，振動のいずれか
    を表示し人体または補助動物が感知可能な信号を発生す
    る警告表示手段と、監視モニタと、前記ワークメモリの
    解析結果に対応して前記ＣＰＵの指示によって前記警告
    表示手段に警告を表示させる信号を伝達する出力Ｉ／Ｆ
    と、前記ワークメモリの解析結果に対応して前記ＣＰＵ
    の指示によって前記監視モニタに表示させる画像を送る
    画像出力Ｉ／Ｆと、前述の構成要素同士を接続するデー
    タバスを有し、物体の追跡監視を行なうことを特徴とす
    る物体追跡監視装置。