JPH09270014A

JPH09270014A - 移動物体の抽出装置

Info

Publication number: JPH09270014A
Application number: JP8081263A
Authority: JP
Inventors: Shoichi Araki; 昭一荒木
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-04-03
Filing date: 1996-04-03
Publication date: 1997-10-14
Anticipated expiration: 2016-04-03
Also published as: JP3750184B2

Abstract

(57)【要約】【課題】移動物体が相互にすれ違う場合でも誤りなく
抽出すること。【解決手段】画像中の複数移動物体を包含する輪郭モ
デル記憶部４に記憶されている輪郭モデルを変形する輪
郭モデル変形部５と、輪郭モデルの自己交差を検知して
輪郭モデルを複数に分裂させる輪郭モデル分裂部７と、
複数の異なる輪郭モデルの相互交差を検知して異なる輪
郭モデルを１つの輪郭モデルに統合する輪郭モデル統合
部９と、所定の条件を満たす輪郭モデルの収縮変形を停
止させる抽出完了判定部１１と、輪郭モデルが囲む移動
物体の特徴量を抽出し記憶する特徴量抽出記憶部と、前
記特徴量により移動物体を照合する移動物体照合部とを
備えたことにより、あらかじめ移動物体の数と概略の領
域を与えることなしに複数の移動物体がすれ違う場合に
も誤りなく、それらを自動的に抽出できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＣＣＤや赤外線カ
メラ等から得られる動画像からの複数移動物体の抽出装
置に関する。

【０００２】

【従来の技術】画像から対象物を抽出・追跡する技術と
しては、特にノイズなどの影響を受けにくい抽出・追跡
技術として、情報処理Vol.30、No.9、pp.1047〜pp.1057
等に記載されているＳＮＡＫＥＳが知られている。この
技術によれば、抽出したい対象物の概略の輪郭をあらか
じめ初期輪郭として与えてやれば、エッジなどの画像特
徴に初期輪郭が引き寄せられて変形し、対象物の輪郭を
抽出することができる。このＳＮＡＫＥＳによる移動物
体の追跡は、動画像のあるフレームでの抽出結果の輪郭
を次のフレームにおける初期輪郭として設定するだけで
あり、設定された輪郭は同様にエッジなどの画像特徴に
引き寄せられ、移動した物体を抽出できる。ＳＮＡＫＥ
Ｓによる追跡法は、ＳＮＡＫＥＳ以前の追跡法で困難と
されていた動画像の各フレームで独立に抽出された移動
物体のフレーム間での対応付けが必要ないという利点を
持ち、特開平5-12443の動物体の輪郭追跡方法や特開平5
-242247の画像処理装置が知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
ようなＳＮＡＫＥＳでは、抽出・追跡したい物体につい
て予めその数と概略の領域を指定しなければ、複数の物
体を抽出・追跡できないという課題があった。したがっ
て、物体の数や処理する画像の枚数が多い場合、この設
定に対する処理負担が増大し、また、画像に含まれる対
象物がいくつあるかを自動的に知りたいという、例え
ば、セキュリティシステムにおける侵入者数の検知や、
空調制御における在室者数の検知等における要求に対応
できないなどの問題を抱えていた。さらに、ＳＮＡＫＥ
Ｓに基づく従来の追跡装置では、複数物体を同時に追跡
する場合、移動中にそれらの物体が交差すれば、おのお
ののＳＮＡＫＥＳは自分自身が追跡している物体以外に
も引き寄せられ、正しく追跡することができない。ま
た、途中で第３の物体が現れることに対しては考慮され
ておらず、人間が介在して新たに輪郭を追加しなければ
ならなかった。

【０００４】本発明は、かかる点に鑑み、抽出・追跡し
たい移動物体の数とその概略輪郭を予め与えることなし
に、複数物体の追跡中にそれらが交差しても、誤りなく
自動抽出・追跡できる移動物体の抽出・追跡装置を提供
することを目的とする。

【０００５】また本発明は、追跡の途中で新たな移動物
体が出現しても人間が介在することなく自動的に抽出・
追跡することができる移動物体の抽出・追跡装置を提供
することを目的とする。

【０００６】さらに本発明は、１種の画像では情報の欠
落やノイズ等により正確な抽出・追跡ができない場合に
も、熱画像や可視画像といった異種の画像情報を統合
し、より正確に複数の移動物体の自動抽出・追跡ができ
る移動物体の抽出・追跡装置を提供することを目的とす
る。

【０００７】また本発明は、移動物体毎に他の移動物体
との交差回数を記録し、その大小により他の移動物体に
対して不整合な動きをしている物体の検出を可能とし、
例えば、空港、ホテルのロビー、コンビニエンスストア
等で不審な動きをしている人物を抽出可能な移動物体の
抽出・追跡装置を提供することを目的とする。

【０００８】さらに本発明は、抽出・追跡の結果から移
動物体の速度や、移動物体間の距離を算出することによ
り複数の移動物体が置かれている状況の認識を可能と
し、例えば、高速道路等で車の動きを監視し、事故や渋
滞、車間距離不保持などの危険な運転等を認識できる移
動物体の抽出装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】請求項１の本発明は、時
系列で入力される画像を少なくとも２枚連続して記憶す
る画像記憶部と、前記画像から動きの情報を検出する動
き検出部と、前記画像に含まれる少なくとも１つの移動
物体を囲む輪郭モデルを記憶する輪郭モデル記憶部と、
前記輪郭モデルを所定の規則にしたがって変形させる輪
郭モデル変形部と、前期輪郭モデル変形部により収縮変
形された輪郭モデルの一部がその輪郭モデルの別の部分
に接触または交差の有無を判定する輪郭モデル自己交差
判定部と、前記輪郭モデル自己交差判定部により接触ま
たは交差があると判定された場合に接触または交差部分
で前記輪郭モデルを切断し複数の輪郭モデルに分裂させ
る輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶さ
れている複数の異なる輪郭モデル相互の接触または交差
の有無を判定する輪郭モデル相互交差判定部と、前記輪
郭モデル相互交差判定部により接触または交差が検知さ
れた少なくとも２つの異なる輪郭モデルを１つの輪郭モ
デルに統合する輪郭モデル統合部と、所定の条件を満た
す前記輪郭モデルの変形を停止させて移動物体の抽出完
了と判定する抽出完了判定部と、前記抽出完了判定部に
より収縮変形を停止させられた前記輪郭モデルが囲む画
像中の領域の特徴量を移動物体の特徴量として抽出し記
憶する特徴量抽出記憶部と、異なる時刻の画像間で移動
物体を対応付ける移動物体照合部とを備えたことを特徴
とする移動物体の抽出装置である。

【００１０】請求項２の本発明は、時系列で処理対象の
画像が更新される毎に新たに画像の枠と同じ大きさの輪
郭モデルを１つ追加する輪郭モデル追加部を付加したこ
とを特徴とする移動物体の抽出装置である。

【００１１】請求項３の本発明は、時系列で同一視野で
入力される可視画像および熱画像をそれぞれ少なくとも
２枚づつ連続して記憶する異種画像記憶部と、前記可視
画像および熱画像から動きの情報を検出する異種画像情
報統合動き検出部と、前記画像に含まれる少なくとも１
つの移動物体を囲む輪郭モデルを記憶する輪郭モデル記
憶部と、前記輪郭モデルを所定の規則にしたがって変形
させる輪郭モデル変形部と、前期輪郭モデル変形部によ
り変形された輪郭モデルの一部がその輪郭モデルの別の
部分に接触または交差したか否かを判定する輪郭モデル
自己交差判定部と、前記輪郭モデル自己交差判定部によ
り接触または交差があると判定された場合に接触または
交差部分で前記輪郭モデルを切断し複数の輪郭モデルに
分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部
に記憶されている複数の異なる輪郭モデルが相互に接触
または交差したか否かを判定する輪郭モデル相互交差判
定部と、前記輪郭モデル相互交差判定部により接触また
は交差があると判定された少なくとも２つの異なる輪郭
モデルを１つの輪郭モデルに統合する輪郭モデル統合部
と、所定の条件を満たす前記輪郭モデルの変形を停止し
移動物体の抽出完了と判定する抽出完了判定部と、前記
抽出完了判定部により変形を停止された前記輪郭モデル
が囲む前記可視画像および熱画像のおのおのの領域の特
徴量を抽出・記憶する異種画像特徴量抽出記憶部と、前
記異種画像特徴抽出記憶部に記憶されている異種画像か
らの複数の特徴量により異なる時刻の画像間で移動物体
の対応付けを行う異種画像特徴量統合照合部とを備えた
ことを特徴とする移動物体の抽出装置である。

【００１２】請求項４の本発明は、移動物体毎に相互交
差の回数を記録する輪郭モデル別相互交差回数計数部
と、前記輪郭モデル別相互交差回数計数部により数えら
れた相互交差回数が単位時間当り所定の回数以上である
輪郭モデルが抽出・追跡している物体を他の移動物体に
対して不整合な動きの物体と判定する不整合移動物体判
定部を付加したことを特徴とする移動物体の抽出装置で
ある。

【００１３】請求項５の本発明は、時系列で得られる各
画像における輪郭モデルの位置から移動物体の速度を算
出する移動速度算出部と、異なる輪郭モデル間の距離を
算出する輪郭モデル間距離算出部を付加したことを特徴
とする移動物体の抽出装置である。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。

【００１５】（実施の形態１）図１は、第１の実施の形
態を示す構成図である。図１において、１は移動物体を
撮像するためのカメラ、２はカメラ１により時系列で撮
像された画像をデジタル化し少なくとも２枚連続して記
憶する画像記憶部、３は画像記憶部２に記憶されている
時間的に連続した画像から動きの情報を検出する動き検
出部、４は画像記憶部２に記憶されている画像中の移動
物体の輪郭位置を探索する輪郭候補点とその連結順序を
記憶する輪郭モデル記憶部、５は輪郭モデル記憶部４に
記憶されている輪郭候補点をその位置および前記画像か
ら定義される評価関数を最小にする方向に移動すること
により輪郭モデルを変形する輪郭モデル変形部、６は輪
郭モデル変形部５により変形された輪郭モデルの一部が
その輪郭モデルの別の部分に接触または交差の有無を判
定する輪郭モデル自己交差判定部、７は輪郭モデル自己
交差判定部６により接触または交差があると判定された
場合に接触または交差部分でその輪郭モデルを切断し複
数の輪郭モデルに分裂させる輪郭モデル分裂部、８は輪
郭モデル記憶部４に記憶されている複数の異なる輪郭モ
デル相互の接触または交差の有無を判定する輪郭モデル
相互交差判定部、９は輪郭モデル相互交差判定部８によ
り接触または交差があると判定された少なくとも２つの
異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モ
デル統合部、１０は輪郭モデル記憶部４に記憶されてい
る連結順序により互いに連結された２つの輪郭候補点間
の距離が所定の範囲にあるときそれらの輪郭候補点の間
に少なくとも１つの新規の輪郭候補点を追加し、前記連
結順序により互いに連結された３つの輪郭候補点からな
る連結された２線分のなす角が所定の範囲にあるとき前
記２線分の連結点である輪郭候補点を削除する輪郭候補
点生成・消滅部、１１は所定の数の前記輪郭候補点につ
いてその移動により前記評価関数が減少しない場合に前
記輪郭候補点の移動を停止させて前記輪郭モデルの変形
を停止し移動物体の抽出完了と判定する抽出完了判定
部、１２は抽出完了判定部１１により変形を停止させら
れた輪郭モデルが囲む画像中の領域の特徴量を移動物体
の特徴量として抽出し記憶する特徴量抽出記憶部、異な
る時刻の画像間で移動物体を対応付ける移動物体照合部
である。また、１５は１〜１４の各部と接続され各部の
動作の開始や停止あるいは各部間のデータのやりとりを
制御する制御部で、ＲＯＭやＲＡＭなどのメモリとＣＰ
Ｕから構成されるコンピュータであって、各種のインタ
フェースを介することにより、図１に示すようなキーボ
ードやマウスなどの入力装置１６およびＣＲＴなどの表
示装置１７と接続されている。

【００１６】次に本実施の形態の動作について説明す
る。図２は本実施の形態の移動物体の抽出・追跡装置の
動作を示すフローチャートである。図３は本実施の形態
の動作をより分かりやすく説明するための互いにすれ違
う移動物体の画像の一部である。すなわち本発明は、こ
のような画像から移動物体を抽出・追跡できるため、例
えば、ビル内外のセキュリティにおける人物の監視シス
テム等に応用できる。画像記憶部１は通常ＲＡＭで構成
されており、デジタル化された画像の各画素データは、
例えば、その輝度を８ビットで表すなどして記憶されて
いる。以下に本実施の形態の動作手順を示す。

【００１７】[STEP1a]画像の取り込みカメラ１から時系列的に得られる映像をデジタル化し
て、画像I_T,T=0,1,…として画像記憶部２に記憶する。
以下、画像I_TをT=0から順に処理する。

【００１８】[STEP2a]初期輪郭の設置 T=0の時、画像記憶部２に記憶されている画像I₀(x,y)中
の移動物体すべてを包含する1つの多角形（輪郭モデ
ル）を構成するNm個の点を、初期の輪郭候補点v_mi(x
_mi(0),y_mi(0))(i=1,2,…,Nm;m=1,2,…,m_max)として輪
郭モデル記憶部４に記憶する。mは複数の輪郭モデルに
つけられた番号を表し、最初はm_max=1である。またiは
輪郭モデルを構成する輪郭候補点の連結順序を表す。輪
郭モデル記憶部４は通常ＲＡＭで構成されている。な
お、操作者が表示装置１６に表示された画像を見ながら
キーボードやマウスなどの入力装置１５を操作して初期
の輪郭候補点を入力して輪郭モデル記憶部４に記憶させ
てもよい。あるいは、画像の大きさにほぼ等しい長方形
の辺をNm等分した点を初期の輪郭候補点としてあらかじ
め輪郭モデル記憶部４に記憶させてもよい。

【００１９】[STEP3a]動きの検出動き検出部３により、画像記憶部２に記憶されている２
枚の画像I_T、I_T+1から輪郭モデルの各輪郭候補点v_mi(x
_mi,y_mi)の位置における移動ベクトルを検出する。移動
ベクトルは、例えば、勾配法に基づき最小２乗法により
求めることができる。勾配法では、画像の輝度をI_T(x,
y)とすると、その時間・空間に関する偏微分と、画像中
の点(x,y)における物体の見かけの速度(u,v)=(dx/dt,dy
/dt)に関する次の拘束式を用いる。

【００２０】

【数１】

【００２１】今、各輪郭候補点近傍の局所的な小領域で
移動ベクトルが均一、すなわち、局所的な小領域Sで数
１式の拘束式が同じ解を持つと仮定すれば、各輪郭候補
点の位置における動きベクトルは次式を最小にする(u,
v)として求められる。

【００２２】

【数２】

【００２３】したがって、∂E/∂u=0, ∂E/∂v=0を満た
す(u,v)を次式により求めればよい。ただし、(i,j)は点
(x,y)の近傍領域S内の点の座標を表す。

【００２４】

【数３】

【００２５】ただし、i,jはそれぞれ画像中の小領域Sに
属する画素のx,y座標であり、Σは(i,j)∈Sについて算
出する。また、Detは次式により計算される。

【００２６】

【数４】

【００２７】[STEP4a]輪郭モデルの変形輪郭モデル変形部５は、以下の式で表される各エネルギ
ー項の和で定義される輪郭モデルのエネルギーE_snake(v
_mi)を最小にするように、輪郭モデル記憶部に記憶され
ている輪郭候補点を移動させることにより輪郭モデルを
変形する。

【００２８】1)輪郭モデルの滑らかさを表すE_spline

【００２９】

【数５】

【００３０】数５を最小にするような輪郭候補点の移動
方向は、輪郭モデルが収縮するような方向である。

【００３１】2)輪郭モデルの囲む閉領域の面積に相当す
るE_area

【００３２】

【数６】

【００３３】ただし、x_mNm+1=x_m1,y_mNm+1=y_m1とする。
数６を最小にするような輪郭候補点の移動方向は、輪郭
モデルに対して垂直な方向である。E_areaを用いれば、
くぼんだ形状の対象物の輪郭が抽出できる。

【００３４】3)輪郭候補点間の距離を平均化するE_dist

【００３５】

【数７】

【００３６】ただし、d_avは輪郭候補点間の平均距離で
ある。 4)画像の輝度I_T(v_mi)の勾配の大きさE_edge

【００３７】

【数８】

【００３８】数８を最小にするような輪郭候補点の移動
方向は、輝度勾配の大きくなる方向、すなわち対象物の
輪郭部分へ向かう方向である。ここで、数５〜９の
w_sp1,w_sp ₂,w_area,w_dist,w_edge>0は、それぞれ各エネル
ギー項の重み係数である。

【００３９】具体的な輪郭モデルの変形は、例えば、輪
郭候補点v_mi(x_mi(t),y_mi(t))(i=1,2,…,Nm;m=1,2,…)を
画素単位でその近傍の位置に移動させたときのエネルギ
ーE_s _nake(v_mi)が最小となる位置に1回移動させることに
より行われる。t(i=0,1,…)は各点の移動回数を表し、
輪郭候補点v_mi(x_mi,y_mi)の近傍の位置は、例えば、v
_m _i(x_mi-1,y_mi-1)、v_mi(x_mi-1,y_mi)、v_mi(x_mi-1,
y_mi+1)、v_mi(x_mi,y_mi-1)、v_mi(x_m _i,y_mi+1)、v_mi(x_mi+1,
y_mi-1)、v_mi(x_mi+1,y_mi)、v_mi(x_mi+1,y_mi+1)の８近傍を
考えればよい。ただし、移動によりエネルギーE_snake(v
_mi)が増加する場合には移動させない。このとき、移動
した輪郭候補点の数をC_moveに記憶する。

【００４０】ここで、移動物体を抽出するので、各輪郭
候補点の移動に際しては、STEP2aで求められた各輪郭候
補点の位置での動きベクトルの絶対値が所定の値以下の
時、画像の輝度I_T(v_mi)の勾配の大きさを表すエネルギ
ーE_edgeの重み係数w_edgeを0とする。これにより動きの
あるエッジにのみ輪郭モデルが引き寄せられ、移動物体
を抽出できる。

【００４１】[STEP5a]輪郭モデルの自己交差判定輪郭モデル自己交差判定部６により、輪郭モデル上の異
なる２線分v_mkv_mk+1と線分v_mhv_mh+1(k=1,2,…,Nm;h=1,
2,…,Nm)のすべての組合せについて接触または交差を判
定する。ただし、連結している２線分は除く。線分v_mkv
_mk+1と線分v_mhv _mh+1が接触または交差するならば、次式
を満たす実数p(0≦p≦1),q(0≦q≦1)が存在する。

【００４２】

【数９】

【００４３】数９は、p,qに関する連立方程式であり、
次式で計算される行列式detが0でないとき解を持つ。な
お、det=0のとき、線分v_mkv_mk+1と線分v_mhv_mh+1が一致
する場合があるため、この場合の交差は、行列式detの
計算前にこの一致を判定しておく。

【００４４】

【数１０】

【００４５】det≠0のとき次式により算出されるp,q
が、それぞれ0≦p≦1,0≦q≦1を満たすとき、輪郭モデ
ルは、線分v_mkv_mk+1と線分v_mhv_mh+1の交点(p,q)で自己
交差または接触したと判定しSTEP6aを実行、それ以外は
STEP7aを実行する。

【００４６】

【数１１】

【００４７】[STEP6a]輪郭モデルの分裂輪郭モデル自己交差判定部６により自己交差があると判
定された輪郭モデルに対し、輪郭モデル分裂部７はその
輪郭モデルを複数に分裂させ、STEP2aへ戻る。自己交差
した輪郭モデルは、交点を持つ線分を構成する輪郭候補
点で分裂させる。輪郭モデルのエネルギーとしてE_area
を用いた場合に起こる典型的な輪郭モデルの自己交差の
例を図４に示す。図４に示すように、自己交差した輪郭
モデルは、輪郭候補点v_mkとv_mh+1、v_mhとv_mk+1とをそれ
ぞれ連結することにより2つに分裂される。これによ
り、連結順序が{v_m1,…,v_mk,v_mh+1,…,v_mn}と{v_mk+1,
…,v_mh}である輪郭候補点の組が、それぞれ新たに分裂
し独立した輪郭モデルとなる。これらの新たに独立した
輪郭モデルは、輪郭モデル記憶部４に記憶される。ま
た、分裂により輪郭モデルの数が増加するので、その数
m_maxの値を更新する。

【００４８】[STEP7a]輪郭モデルの相互交差判定輪郭モデル相互交差判定部８により、異なる２つの輪郭
モデルv_fkとv_gh(f=1,2,…,m_max;k=1,2,…,Nf;g=1,2,
…,m_max;h=1,2,…,Ng;f≠g)のすべての組合せについて
相互の接触または交差を判定する。具体的には、輪郭モ
デルv_fkを構成する線分v_fkv_fk+1と輪郭モデルv_ghを構成
する線分v_ghv_gh+1のすべての組合せについて接触または
交差を判定する。異なる２つの輪郭モデルv_fkとv_ghの相
互接触または相互交差、すなわち線分v_fkv_fk+1と線分v
_ghv_gh+1が接触または交差しているならば、次式を満た
す実数p(0≦p≦1),q(0≦q≦1)が存在する。

【００４９】

【数１２】

【００５０】数１２は、p,qに関する連立方程式であ
り、次式で計算される行列式detが0でないとき解を持
つ。なお、det=0のとき、線分v_fkv_fk+1と線分v_ghv_gh+1
が一致する場合があるため、この場合の交差は、行列式
detの計算前にこの一致を判定しておく。

【００５１】

【数１３】

【００５２】det≠0のとき次式により算出されるp,q
が、それぞれ0≦p≦1,0≦q≦1を満たすとき、２つの異
なる輪郭モデルは、線分v_fkv_fk+1と線分v_ghv_gh+1の交点
(p,q)で相互に接触または交差したと判定しSTEP8aを実
行、それ以外はSTEP9aを実行する。

【００５３】

【数１４】

【００５４】[STEP8a]輪郭モデルの統合輪郭モデル相互交差判定部８により相互に接触または交
差していると判定された少なくとも２つの輪郭モデルを
について、輪郭モデル統合部９により、それらを構成す
るすべての輪郭候補点を包含する凸多角形を求め、その
凸多角形を構成する輪郭候補点の組を統合された輪郭モ
デルとして輪郭モデル記憶部４に記憶する。また、統合
により輪郭モデルの数が減少するので、その数m_maxの
値を更新する。図５は、異なる２つの輪郭モデルに起こ
る典型的な相互交差と、それらを１つに統合した輪郭モ
デルを示している。

【００５５】[STEP9a]輪郭候補点の生成・消滅判定輪郭候補点生成・消滅部１０により、新たな輪郭候補点
の生成・消滅を行う。例えば、次のような場合に輪郭候
補点の生成を行う。輪郭候補点生成・消滅部１０は、隣
接する輪郭候補点間の距離が|v_mi+1-v_mi|>D_Thを満たす
とき、2点v_mi,v_m _i+1間に新たに離散点を生成する。ただ
し、D_Thはあらかじめ定められた輪郭候補点間の最大距
離である。このとき、輪郭候補点を１つでも生成すれば
G_flag=1、生成しなければG_flag=0とする。この輪郭候補
点の追加生成により、分裂により減少する対象物１つあ
たりの輪郭候補点の数を補って、複数対象物の輪郭を正
しく抽出することができる。

【００５６】また、輪郭候補点生成・消滅部１０は、例
えば、cosθ>θ_Th（θは_vmiv_mi-1とv_miv_mi+1のなす角）
を満たす輪郭候補点v_miを消滅させる。ただし、θ_Thは
あらかじめ定められた輪郭モデルの尖りを判定するしき
い値である。このとき輪郭候補点が１つでも消滅すれば
D_flag=1、消滅しなければD_flag=0とする。この輪郭候補
点の消滅手順により、対象物の輪郭以外の位置でノイズ
の影響などにより停止している輪郭候補点が削除され、
誤った輪郭抽出を避けることができる。

【００５７】[STEP10a]抽出完了判定抽出完了判定部１１により、画像I_Tにおける移動物体の
抽出完了を判定する。すべての輪郭モデルについて、輪
郭候補点に移動がなく（C_move≦C_Th;C_Th≧0はあらかじ
め定められた移動した輪郭候補点の個数に対するしきい
値）かつ新たな輪郭候補点の生成・消滅がないとき（G
_flag=0かつD_flag=0）、あるいはt≧tmax（tmaxはあらか
じめ定められた輪郭候補点の移動回数の最大値）のと
き、画像I_Tでの移動物体の抽出が完了したと判定しSTEP
11aへ。それ以外はT=T+1としてSTEP3aへ戻る。なお、抽
出が完了した際、異なる輪郭モデルに異なる色をつけて
表示部１６に表示すれば、例えば監視システム等におい
ては、異なる移動物体の視認性が向上する。

【００５８】[STEP11a]移動物体の特徴量抽出特徴量抽出記憶部１２により、輪郭モデルv_mi（m=1,2,
…,m_max）が囲む画像I _Tの領域の特徴量を移動物体の特
徴量として抽出する。例えば、輝度のヒストグラムの累
積分布H_m(k)（8bitの場合k=0,1,…,255）が特徴量とし
て利用できる。T=0のとき、特徴量H_m(k)を特徴量抽出記
憶部１２にH_l(k)（l=1,2,…,l_max；l_maxは特徴量が記
憶されている移動物体の数）として記憶し、T=T+1とし
てSTEP3aへ戻る。T>0のとき特徴量H_m(k)を抽出しSTEP12
aへ。

【００５９】[STEP12a]移動物体の照合移動物体照合部１３により、現在（T=T_present）の処
理対象の画像I_{T_presen} _t(T_present>0)で抽出された移
動物体が、特徴量抽出記憶部１２に記憶されている過去
（T=T_past;T_past<T_present）に抽出されたどの移動
物体であるかを、特徴量の類似度（ヒストグラム間の距
離d）により照合する。具体的には、次式で表されるヒ
ストグラム間の距離dをmとlのすべての組合せについて
求め、その値があらかじめ定められたしきい値D_match以
下のものについて、最小値を持つ組合せから順に、輪郭
モデルv_miが抽出している特徴量H_m(k)の移動物体と、特
徴量抽出記憶部１２に記憶されている特徴量H_l(k)を持
つ移動物体とを対応付ける。

【００６０】

【数１５】

【００６１】ここで、抽出された領域の大きさによりヒ
ストグラムの度数が異なるので、最大度数で正規化して
おく。さらに、対応付けられた移動物体については、特
徴量抽出記憶部１２に記憶されている特徴量H_l(k)を、
輪郭モデルv_miが抽出している特徴量H_m(k)で置き換え
る。また、対応の付かなかった移動物体については、そ
の特徴量を新たに特徴量抽出記憶部１２に記憶する。移
動物体の照合が終われば、T=T+1としてSTEP3aへ戻る。

【００６２】なお、対応付けは必ずしもすべての輪郭モ
デルと特徴量抽出記憶部１２に記憶されているすべての
移動物体について行う必要はなく、例えば、一旦融合し
た輪郭モデルについては再び分裂したときに行えばよ
い。また、特徴量抽出記憶部１２には、特徴量と共にそ
の移動物体を抽出した輪郭モデルの色も記憶しておけ
ば、対応のついた移動物体を抽出している輪郭モデルの
色を記憶されている色で表示部１６に表示でき、同一移
動物体の抽出・追跡の視認性が向上する。

【００６３】以上の手順によれば、図６に示すように、
移動物体（ここでは歩行者）の集合全体を包含した１つ
の輪郭モデル（図６(a)）が、２つに分裂して２人の歩
行者それぞれを抽出・追跡し（図６(b)〜(d)）、２人の
歩行者が重なる（図６(e)）と同時に、２つの輪郭モデ
ルが１つに統合して（図６(f)）さらに追跡を続け（図
６(g)）、やがて２人の歩行者がすれ違い離れると１つ
の輪郭モデルも再び２つに分裂し、２人の歩行者を独立
に抽出・追跡することができる（図６(h)〜(i)）。

【００６４】以上説明したように、第１の実施の形態に
よれば、輪郭モデルの自己交差および相互交差を判定し
て輪郭モデルを分裂および統合させることにより、複数
の移動物体がすれ違う場合にも抽出・追跡することがで
きる。

【００６５】（実施の形態２）次に本発明の移動物体の
抽出・追跡装置に係る第２の実施の形態について説明す
る。第１の実施の形態では、輪郭モデルの自己交差およ
び相互交差を判定して輪郭モデルを分裂および統合させ
ることにより、複数移動物体がすれ違う場合にも抽出・
追跡できることを説明した。第２の実施の形態は、最初
カメラの画角内に存在しなかった他の移動物体が途中で
カメラの画角内に新たに入ってくる場合にも、その移動
物体を抽出・追跡できるように考慮したものである。第
１の実施の形態では、カメラの画角内には常に同じ移動
物体がある場合を例として説明したが、ビルやプラント
内外の監視システム等においては、次々に画角内に入っ
てくる移動物体を抽出・追跡することが必要である。

【００６６】図７は第２の実施の形態の構成図であり、
図１に示した第１の実施の形態と同じ構成部分には同一
番号を付して詳細な説明は省略する。第２の実施の形態
と第１の実施の形態の相違点は、第１の実施の形態に、
画像記憶部２に次の時刻の画像が記憶される毎に、画像
の枠と同じ大きさの輪郭モデルを新たに１つ追加しその
輪郭モデル追加部１７を付加したことである。これによ
り、次々に新しく画角内に入ってくる移動物体を抽出・
追跡することが可能となる。

【００６７】以上のように構成された第２の実施の形態
の輪郭抽出装置の動作を、図８のフローチャートを参照
しながら説明する。ただし、第２の実施の形態のSTEP1b
〜STEP2b、STEP4b、STEP6b〜STEP7bおよびSTEP9b〜STEP
13bは、それぞれ第１の実施の形態のSTEP1a〜STEP2a、S
TEP3a、STEP5a〜STEP6aおよびSTEP8a〜STEP12aと全く同
様の手順であるため、異なるSTEP3b、STEP5bおよびSTEP
8bのみを説明する。

【００６８】[STEP3b]輪郭モデルの追加輪郭モデル追加部１５は、T>0の時、画像記憶部２に記
憶されている画像I_T(x,y)の大きさにほぼ等しい長方形
状の輪郭モデルを、新たに輪郭モデル記憶部４に記憶す
る。このとき輪郭モデルの数をm_max=m_max+1と更新す
る。

【００６９】[STEP5b]輪郭モデルの変形輪郭モデル変形部５により輪郭モデルを変形する際、新
たに追加された輪郭モデルの輪郭候補点が、既存の輪郭
モデルモデル内にある時、画像の輝度I_T(v_mi)の勾配の
大きさを表すエネルギーE_edgeの重み係数w_edgeを0とす
る。これにより、新たに追加された輪郭モデルが、既存
の輪郭モデルがすでに抽出している移動物体を再度抽出
することがない。なお、新たに追加された輪郭モデルが
自己交差により分裂した輪郭モデルについても同様の処
理を行う。

【００７０】[STEP8b]輪郭モデルの相互交差判定輪郭モデル相互交差判定部７により、異なる２つの輪郭
モデルの相互の接触または交差を判定する際、新たに追
加された輪郭モデルおよびその輪郭モデルの分裂によっ
て新たに生じた輪郭モデルとの相互交差判定は行わな
い。これにより、既存の輪郭モデルが抽出している移動
物体を再び抽出しなおすことがなくなる。

【００７１】以上の手順によれば、図９に示すように、
新たな移動物体が出現した場合には新たに追加した輪郭
モデルが（図９(b)）、既存の輪郭モデルが抽出してい
る移動物体を再度抽出することなく（図9(c)）新たに出
現した移動物体のみを抽出することができる（図９
(d)）。

【００７２】以上説明したように、第２の実施の形態に
よれば、新しい画像を入力する毎に、画像の大きさに相
当する輪郭モデルを新たに１つ追加し、既存の輪郭モデ
ルとは相互交差の判定を行わず、かつ既存の輪郭モデル
が囲む領域内のエッジには引き寄せられないようにした
ため、既存の移動物体を再度抽出することなく、新たに
出現した移動物体を抽出・追跡することができる。

【００７３】（実施の形態３）次に本発明の輪郭抽出装
置に係る第３の実施の形態について説明する。第１、第
２の実施の形態では、１種類の画像を利用して、複数移
動物体の抽出・追跡ができることを説明した。さらに第
３の実施の形態は、１種類の画像では情報の欠落やノイ
ズ等により正確な抽出・追跡ができない場合に、熱画像
や可視画像等の異種の画像情報を統合し、より正確な複
数の移動物体の抽出・追跡を考慮したものである。

【００７４】図１０は本実施の形態の構成図であり、図
１に示した第１の実施の形態と同じ構成部分には同一番
号を付して詳細な説明は省略する。第３の実施の形態と
第１の実施の形態との相違点は、第１の実施の形態に、
可視画像と同一視野の熱画像を撮像するための赤外線カ
メラ１８、ハーフミラー１９およびミラー２０を付加
し、さらに第１の実施の形態における画像記憶部２を熱
画像と可視画像の異種の画像情報を記憶する異種画像記
憶部２１で置き換え、同動き検出部３を、赤外線カメラ
の熱画像とＣＣＤカメラの可視画像から動きの情報を検
出する異種画像情報統合動き検出部２２で置き換え、同
特徴抽出・記憶部１２を熱画像と可視画像おのおのから
輪郭モデルの囲む領域の特徴量を抽出・記憶する異種画
像特徴抽出・記憶部２３で置き換え、同移動物体照合部
１３を、異種画像特徴抽出・記憶部２３に記憶されてい
る異種画像からの複数の特徴量により移動物体の対応付
けを行う異種画像特徴量統合照合部２４で置き換えたこ
とである。

【００７５】以上のように構成された第３の実施の形態
の輪郭抽出装置の動作を、図１１のフローチャートを参
照しながら説明する。ただし、第１の実施の形態とは異
なるSTEP1c、STEP3c、STEP4c、STEP11cおよびSTEP12cの
みを説明する。

【００７６】[STEP1c]画像の取り込みカメラ１および赤外線カメラ１８から時系列的に得られ
る映像をデジタル化して、それぞれ可視画像I_T ^CCDおよ
び熱画像I_T ^TH,T=0,1,…として異種画像記憶部２１に記
憶する。以下、画像をI_T ^CCDおよび熱画像I_T ^THをT=0から
順に処理する。

【００７７】[STEP3c]動きの検出異種画像情報統合動き検出部２２により、異種画像記憶
部２１に記憶されている可視画像I_T ^CCD、I_T+1 ^CCDおよび
熱画像I_T ^TH、I_T+1 ^THの４枚の画像情報を統合して各輪郭
候補点v_mi(x_mi,y_mi)の位置における移動ベクトルを検出
する。（数１）に示した勾配法の拘束式は、可視画像I_T
^CCDおよび熱画像I_T ^THのそれぞれについて成り立つの
で、一般に画像中の点(x,y)における移動ベクトル(u,v)
は、次の連立方程式を解くことにより求めることができ
る。

【００７８】

【数１６】

【００７９】ただし、

【００８０】

【数１７】

【００８１】とする。しかし、ここでは、各輪郭候補点
v_mi(x_mi,y_mi)近傍の、可視画像および熱画像について同
一の局所的な小領域S（(x,y)∈S）で移動ベクトルが均
一、すなわち、可視画像および熱画像について同一の局
所的な小領域Sで（数１６）の拘束式がじ解を持つと仮
定し、最小２乗法により求める。これにより、ノイズの
影響の低減および各画像単独では写っていない情報を補
って、より正確に移動ベクトルを算出することができ
る。

【００８２】[STEP4c]輪郭モデルの変形輪郭モデル変形部５では、輪郭モデルのエネルギーE
_snake(v_mi)を最小にするように輪郭モデルを変形する
が、新たなエネルギーとして可視画像の輝度勾配に加
え、次式の熱画像の輝度勾配を加える。

【００８３】

【数１８】

【００８４】数１８を最小にするような輪郭候補点の移
動方向は、熱画像におけるエッジへ向かう方向である。
ここで、w_edge ^TH>0は、このエネルギー項の重み係数で
ある。このエネルギーの導入により、例えば、可視画像
では存在しない白い壁の前にいる白い服を着た人物の輪
郭も、熱画像中にはその輪郭が現れるので抽出すること
ができる。

【００８５】[STEP11c]移動物体の特徴量抽出異種画像特徴量抽出記憶部２３により、輪郭モデル_vmi
（m=1,2,…,m_max）が囲む可視画像I_T ^CCDおよび熱画像I
_T ^THの領域の特徴量をそれぞれ移動物体の特徴量として
抽出する。特徴量としては、例えば、輝度および温度の
ヒストグラムの累積分布が利用できる。

【００８６】[STEP12c]移動物体の照合異種情報統合移動物体照合部２４により、例えば、輝度
および温度のヒストグラムの累積分布などの異種の特徴
量を統合して移動物体の対応付けを行う。複数の異種の
特徴量の統合は、例えば、信学技報PRU94-131(1995-03)
pp.9-16に記載されているDempster-Shafer理論に基づく
方法により行うことができる。本実施の形態では、可視
画像および熱画像それぞれから抽出された特徴量の類似
度から、どの移動物体であるかの確信度を求めてそれら
を統合し、確信度が最大となる移動物体同士を対応付け
ればよい。ここでは、輪郭モデルv_miが抽出している移
動物体が、特徴量抽出記憶部１２に特徴量が記憶されて
いるl_max個の移動物体w _l（ｌ=1,2,…,l_max)のいずれ
であるかの照合の手順を説明する。

【００８７】今、輪郭モデルv_miが抽出している移動物
体について、可視および熱画像から特徴量として抽出し
た輝度および温度のヒストグラムをそれぞれH_m ^CCDおよ
びH_m ^T ^H、特徴量抽出記憶部１２に記憶されている移動物
体w_lについての熱および可視画像から抽出した特徴量を
それぞれH_l ^CCDおよびH_l ^THとし、輪郭モデルv_miが抽出し
た移動物体と移動物体w_lについて、その特徴量の類似度
S_CCD(w_l)およびS_TH(w_l)をそれぞれ以下の式で与える。

【００８８】

【数１９】

【００８９】ただし、類似度は、α₁≧α₂≧…≧α
_{l_max}、β₁≧β₂≧…≧β_{l_max}のように並べ変えてお
く。このとき、可視および熱画像から抽出された各特徴
量について、輪郭モデルv_miにより抽出された移動物体
が、どの移動物体w_l（の集合Ａ）である（に含まれる）
かの確信度（基本確率）は次の数２０、２１により表さ
れる。

【００９０】

【数２０】

【００９１】

【数２１】

【００９２】これらの異種の特徴量から求められた確信
度（基本確率）を次式により統合する。

【００９３】

【数２２】

【００９４】（数２２）の統合された基本確率m
_{CCD_TH}(Ａ) から次式により算出される決定確率Ｐ(w_l)
が最大の移動物体を、輪郭モデルv_miが抽出した移動物
体と判定する。

【００９５】

【数２３】

【００９６】｜Ａ｜はＡの要素数を表す。以上説明した
ように、第３の実施の形態によれば、可視画像だけでな
く熱画像の情報を統合して移動ベクトルを算出、輪郭モ
デルの変形、さらにはそれらの画像から抽出される複数
の特徴量を用いた移動物体の照合を行うので、より正確
に人物などの移動物体を抽出・追跡することができる。

【００９７】（実施の形態４）次に、本発明の輪郭抽出
装置の第４の実施の形態について説明する。第１〜第３
の実施の形態では、ＣＣＤカメラなどから得られる画像
からの複数移動物体を抽出・追跡について説明した。さ
らに第４の実施の形態は、抽出・追跡している移動物体
毎に他の移動物体との交差回数を記録し、その大小によ
り他の移動物体に対して不整合な動きをしている移動物
体の検出を可能とし、例えば、空港、ホテルのロビー、
コンビニエンスストア等で不審な動きをしている人物を
抽出することを考慮したものである。

【００９８】図１２は第４の実施の形態の構成図であ
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。第４の実施の
形態と第１の実施の形態との相違点は、移動物体毎に毎
に相互交差の回数を記録する移動物体別相互交差回数記
憶部２５と、移動物体別相互交差回数記憶部２５により
数えられた相互交差回数が単位時間当り所定の回数以上
である輪郭モデルが抽出・追跡している物体を他の移動
物体に対して不整合な動きの物体と判定する不整合移動
物体判定部２６を付加したことである。

【００９９】以上のように構成された第４の実施の形態
の輪郭抽出装置の動作を、図１３のフローチャートを参
照しながら説明する。ただし、第１の実施の形態と異な
るSTEP8dおよびSTEP14dのみを説明する。

【０１００】[STEP8d]輪郭モデルの相互交差判定および
交差回数の記憶輪郭モデル相互交差判定部７により、輪郭モデル記憶部
４に記憶されている異なる２つの輪郭モデルv_fkとv_gh(f
=1,2,…,m_max;k=1,2,…,Nf;g=1,2,…,m_max;h=1,2,…,
Ng;f≠g)のすべての組合せについて相互の接触または交
差を判定し、接触または交差があった場合、特徴量抽出
記憶部１２に記憶されている移動物体毎にその回数を移
動物体別相互交差回数記憶部２５に記憶する。

【０１０１】[STEP14d]不整合移動物体の判定不整合移動物体判定部２６は、移動物体別相互交差回数
記憶部２５に記憶されている相互交差回数が、あらかじ
め定められた単位時間当りの相互交差回数のしきい値以
上の移動物体を、その他の移動物体とは不整合な異なる
動きをしている物体として判定する。なお、不整合な動
きをしている物体を抽出している輪郭モデルに対して、
その他の輪郭モデルとは異なる色をつけて表示部１６に
表示すれば、例えば監視システム等においては、不審人
物等の視認性が向上する。

【０１０２】以上説明したように、第４の実施の形態に
よれば、抽出・追跡している移動物体毎に他の移動物体
との交差回数を記録することにより、交差回数の大小に
より他の移動物体に対して不整合な動きをしている移動
物体の検出が可能となる。

【０１０３】（実施の形態５）次に、本発明の輪郭抽出
装置の第５の実施の形態について説明する。第１〜第４
の実施の形態では、ＣＣＤカメラ等から得られる画像か
ら移動物体を抽出・追跡でき、また不審な動きなど移動
物体に関するおおまかな情報が得られることを説明し
た。さらに第５の実施の形態は、抽出・追跡の結果から
移動物体の速度や、移動物体間の距離を算出することに
より複数の移動物体が置かれている状況が認識でき、例
えば、高速道路等で車の動きを監視し、事故や渋滞、車
間距離不保持などの危険な運転等を認識し、運転者や管
制局にそれら情報を伝えることができるようなシステム
の実現を考慮したものである。

【０１０４】図１４は第５の実施の形態の構成図であ
り、図１に示した第１の実施の形態と同じ構成部分には
同一番号を付して詳細な説明は省略する。第５の実施の
形態と第１の実施の形態との相違点は、輪郭モデル記憶
部４に記憶されている異なる輪郭モデル間の距離を算出
する輪郭モデル間距離算出部２７と、移動物体毎に時系
列の各画像における輪郭モデルの位置から移動物体の速
度を算出する移動速度算出部２８とを付加したことであ
る。

【０１０５】以上のように構成された第５の実施の形態
の移動物体の抽出・追跡装置の動作を、図１５のフロー
チャートを参照しながら説明する。ただし、第１の実施
の形態と異なるSTEP1e、STEP11e、STEP14eのみを説明す
る。

【０１０６】[STEP1e]画像の取り込み高速道路上等の車に関して、カメラ１から時系列的に得
られる映像をデジタル化して画像記憶部２に記憶する。

【０１０７】[STEP11e]輪郭モデル間距離の算出抽出完了判定部１１により変形が停止されたのち、輪郭
モデル記憶部４に記憶されている異なる輪郭モデル間同
士の距離を、輪郭モデル間距離算出部により算出する。
輪郭モデル間同士の距離は、異なる輪郭モデルを構成す
る輪郭候補点間の距離の最小値とする。制御部１４は、
この距離があらかじめ定められたしきい値よりも小さい
とき、車間距離が短いと判断して、道路情報表示版２９
に「車間距離あけろ」等のメッセージを表示する。

【０１０８】[STEP14e]移動速度の算出移動物体照合部１３により異なる時間に得られた画像間
で対応付けられた移動物体毎に、例えば輪郭モデルの重
心位置の単位時間当りの距離変化から各移動物体の移動
速度を算出する。制御部１４は、適当な間隔で設置され
た複数台のカメラの映像から算出された移動速度が、す
べて所定の値（例えば5km/h）以下の状態が、所定の時
間（例えば１０分）続いていれば、道路上は渋滞である
と判断する。

【０１０９】なお、輪郭モデル相互交差判定部８によ
り、異なる車を抽出している異なる輪郭モデル同士の接
触または交差があると判定された場合、制御部１４によ
り車同士の接触または追突事故、あるいは車間距離の不
保持と判定できる。例えば、輪郭モデルに相互交差があ
った場合、カメラ１が車をほぼ真上からとらえている場
合には、車同士の接触または追突事故があったと判断で
きる。このとき、後続の車に対しては、事故があったこ
とを情報表示板２９に表示することにより、さらなる事
故を防ぐことができる。また、カメラ１が斜め方向から
車を捕らえている場合には、異なる輪郭モデルの相互交
差は、車間距離が短いためにカメラ１からは複数の車が
重なって見えるためにおこるので、このとき車間距離不
保持の危険な運転であると判断でき、STEP11eと同様な
メッセージを表示することができる。

【０１１０】以上説明したように、第５の実施の形態に
よれば、異なる輪郭モデルの交差判定により車の接触ま
たは追突事故が、また、抽出・追跡の結果から移動物体
間の距離や速度を算出することにより、例えば、車間距
離不保持などの危険運転や渋滞等、高速道路などでの交
通状況が認識できる。

【０１１１】

【発明の効果】第１の実施の形態によれば、輪郭モデル
を自己交差部分で複数の輪郭モデルに分裂、または相互
に交差した異なる輪郭モデル１つに統合することによ
り、複数の移動物体が交差するような場合にも、それら
を正しく抽出することができる。

【０１１２】第２の実施の形態によれば、毎フレーム毎
に画像の枠に相当する輪郭モデルを新たに１つ追加する
ことにより、新たに画角内に侵入してくる第３の移動物
体も抽出することができる。

【０１１３】第３の実施の形態によれば、熱画像と可視
画像といった異種の画像情報を統合して、動きの推定や
移動物体の照合を行うので、より正確に複数の移動物体
を抽出することができる。

【０１１４】第４の実施の形態によれば、輪郭モデル別
に相互交差の回数を数えることにより、その数が多い輪
郭モデルが追跡している移動物体は、周囲の移動物体と
は異なる動きをしていると判断できる。したがって、例
えば空港、ホテルのロビー、コンビニエンスストア等で
不審な動きをしている人物を抽出することができる。

【０１１５】第５の実施の形態によれば、高速道路やト
ンネルなどで車両を抽出・追跡し、異なる車両を追跡し
ている輪郭モデル間の距離を算出したり相互交差を判定
することにより、車間距離が接近した危険な状態を認識
して情報表示版で警告することや衝突事故の認識でき、
また、輪郭モデルの位置の時間変化により移動物体の速
度算出し、移動速度とその維持時間から渋滞が認識でき
る。

【図面の簡単な説明】

【図１】本発明第１の実施の形態のブロック図

【図２】本発明第１の実施の形態の動作手順を示すフロ
ーチャート

【図３】移動物体がすれ違う画像の一例を示す図

【図４】輪郭モデルの交差・分裂の一例を示す図

【図５】輪郭モデルの相互交差・統合の一例を示す図

【図６】第１の実施の形態による抽出結果を示す図

【図７】本発明第２の実施の形態のブロック図

【図８】本発明第２の実施の形態の動作手順を示すフロ
ーチャート

【図９】新たな移動物体の侵入に対する抽出結果を示す
図

【図１０】本発明第３の実施の形態のブロック図

【図１１】本発明第３の実施の形態の動作手順を示すフ
ローチャート

【図１２】本発明第４の実施の形態のブロック図

【図１３】本発明第４の実施の形態の動作手順を示すフ
ローチャート

【図１４】本発明第５の実施の形態のブロック図

【図１５】本発明第５の実施の形態の動作手順を示すフ
ローチャート

【符号の説明】

１カメラ２画像記憶部３動き検出部４輪郭モデル記憶部５輪郭モデル変形部６輪郭モデル自己交差判定部７輪郭モデル分裂部８輪郭モデル相互交差判定部９輪郭モデル統合部１０輪郭候補点生成・消滅部１１抽出完了判定部１２特徴量抽出記憶部１３移動物体照合部１４制御部１５入力部１６表示部１７輪郭モデル追加部１８赤外線カメラ１９ハーフミラー２０ミラー２１異種画像記憶部２２異種画像情報統合動き検出部２３異種画像特徴量抽出記憶部２４異種情報統合照合部２５移動物体別相互交差回数記憶部２６不整合移動物体判定部２７輪郭モデル間距離算出部２８移動速度算出部２９道路情報表示板

Claims

【特許請求の範囲】

【請求項１】時系列で入力される画像を少なくとも２枚
連続して記憶する画像記憶部と、前記画像から動きの情
報を検出する動き検出部と、前記画像に含まれる少なく
とも１つの移動物体を閉曲線で囲む輪郭モデルを構成す
る複数の輪郭候補点とその連結順序を記憶する輪郭モデ
ル記憶部と、前記輪郭モデルを構成する輪郭候補点をそ
の位置および前記画像から定義される評価関数を最小に
する方向に移動することにより前記輪郭モデルを変形さ
せる輪郭モデル変形部と、前期輪郭モデル変形部により
変形された輪郭モデルの一部がその輪郭モデルの別の部
分に接触または交差したか否かを判定する輪郭モデル自
己交差判定部と、前記輪郭モデル自己交差判定部により
接触または交差があると判定された場合に接触または交
差部分で前記輪郭モデルを切断し複数の輪郭モデルに分
裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に
記憶されている複数の異なる輪郭モデルが相互に接触ま
たは交差したか否かを判定する輪郭モデル相互交差判定
部と、前記輪郭モデル相互交差判定部により接触または
交差があると判定された少なくとも２つの異なる輪郭モ
デルを１つの輪郭モデルに統合する輪郭モデル統合部
と、所定の数の前記輪郭候補点についてその移動により
前記評価関数が減少しない場合に前記輪郭候補点の移動
を停止させて前記輪郭モデルの変形を停止し移動物体の
抽出完了と判定する抽出完了判定部と、前記抽出完了判
定部により変形を停止された前記輪郭モデルが囲む画像
中の領域の特徴量を移動物体の特徴量として抽出し記憶
する特徴量抽出記憶部と、前記特徴量抽出記憶部に記憶
されている前記特徴量により異なる時刻の画像間で移動
物体の対応付けを行う移動物体照合部とを備えたことを
特徴とする移動物体の抽出装置。
【請求項２】画像記憶部に時系列で新たな画像が入力さ
れる毎に新たに画像の枠と同じ大きさの輪郭モデルを１
つ前記輪郭モデル記憶部に追加記憶する輪郭モデル追加
部を付加したことを特徴とする請求項１記載の移動物体
の抽出装置。
【請求項３】時系列で同一視野で入力される可視画像お
よび熱画像をそれぞれ少なくとも２枚づつ連続して記憶
する異種画像記憶部と、前記可視画像および熱画像から
動きの情報を検出する異種画像情報統合動き検出部と、
前記画像に含まれる少なくとも１つの移動物体を閉曲線
で囲む輪郭モデルを構成する複数の輪郭候補点とその連
結順序を記憶する輪郭モデル記憶部と、前記輪郭モデル
を構成する輪郭候補点をその位置および前記画像から定
義される評価関数を最小にする方向に移動することによ
り前記輪郭モデルを変形させる輪郭モデル変形部と、前
期輪郭モデル変形部により変形された輪郭モデルの一部
がその輪郭モデルの別の部分に接触または交差したか否
かを判定する輪郭モデル自己交差判定部と、前記輪郭モ
デル自己交差判定部により接触または交差があると判定
された場合に接触または交差部分で前記輪郭モデルを切
断し複数の輪郭モデルに分裂させる輪郭モデル分裂部
と、前記輪郭モデル記憶部に記憶されている複数の異な
る輪郭モデルが相互に接触または交差したか否かを判定
する輪郭モデル相互交差判定部と、前記輪郭モデル相互
交差判定部により接触または交差があると判定された少
なくとも２つの異なる輪郭モデルを１つの輪郭モデルに
統合する輪郭モデル統合部と、所定の数の前記輪郭候補
点についてその移動により前記評価関数が減少しない場
合に前記輪郭候補点の移動を停止させて前記輪郭モデル
の変形を停止し移動物体の抽出完了と判定する抽出完了
判定部と、前記抽出完了判定部により変形を停止された
前記輪郭モデルが囲む前記可視画像および熱画像のおの
おのの領域の特徴量を抽出・記憶する異種画像特徴量抽
出記憶部と、前記異種画像特徴抽出記憶部に記憶されて
いる異種画像からの複数の特徴量により異なる時刻の画
像間で移動物体の対応付けを行う異種画像特徴量統合照
合部とを備えたことを特徴とする移動物体の抽出装置。
【請求項４】特徴量抽出記憶部または異種画像特徴量抽
出記憶部に特徴量が記憶されている移動物体毎に前記輪
郭モデル相互交差判定部により判定された相互交差の回
数を記憶する移動物体別相互交差回数記憶部と、前記移
動物体別相互交差回数記憶部に記憶されている相互交差
回数が単位時間当り所定の回数以上である移動物体を他
の移動物体に対して不整合な動きの物体と判定する不整
合移動物体判定部を付加したことを特徴とする請求項
１、２、または３記載の移動物体の抽出装置。
【請求項５】輪郭モデル記憶部または輪郭モデル相互交
差判定部を参照して異なる輪郭モデル間の距離を算出す
る輪郭モデル間距離算出部と、前記輪郭モデル記憶部と
前記特徴量抽出記憶部または異種画像特徴量抽出記憶部
を参照し移動物体毎に前記輪郭モデルの位置に基づきそ
の移動速度を算出する移動速度算出部とを付加したこと
を特徴とする請求項１〜４のいずれかに記載の移動物体
の抽出装置。
【請求項６】輪郭モデル記憶部に記憶されている連結順
序により互いに連結された２つの輪郭候補点間の距離が
所定の範囲にあるときそれらの輪郭候補点の間に少なく
とも１つの新規の輪郭候補点を追加し、前記連結順序に
より互いに連結された３つの輪郭候補点からなる連結さ
れた２線分のなす角が所定の範囲にあるとき前記２線分
の連結点である輪郭候補点を削除し、前記輪郭モデル記
憶部に記憶されている輪郭候補点とその連結順序を更新
する輪郭候補点生成・消滅部を付加したことを特徴とす
る請求項１〜５のいずれかに記載の移動物体の抽出装
置。