JPH1166319A - 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 確実に移動体を分離検出することができ、そ
の移動体の追跡や、人数の数の計数などを精度よく行う
ことのできる移動体検出装置を提供すること 【解決手段】 複数のカメラ１，２と、カメラ１で撮像
し得られた入力画像から特徴点を抽出する新規特徴点抽
出部５と、抽出された特徴点を追跡する特徴点追跡部４
と、カメラ１，２で撮像された画像から特徴点のステレ
オ対応づけを行い、その特徴点の空間座標を算出する空
間座標計測部６と、前記特徴点の前記空間座標上での移
動状態を示す動線を求め、その動線間距離の近い動線を
統合する動線統合部８を設ける。これにより、特徴点の
空間座標での移動軌跡がわかるので、各特徴点が同一の
移動体についてのものか否かを精度よく弁別できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動体検出方法及
び装置並びに移動体認識方法及び装置並びに人間検出方
法及び装置に関するものである。

【０００２】

【従来の技術】従来の移動体の検出方法としては、たと
えば、特開平５−４６７７１号公報に開示された「運動
物体検出方法」があった。この公報に開示された発明
は、一台のカメラから入力された映像に対して画像処理
を行い、移動体の部分領域を追跡し部分領域同士の位置
関係並びに移動方向を調べ、位置が近く移動方向が似て
いるものを同一物体のものとして統合することにより、
移動体の抽出を行うようにしている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記し
た従来の方法では、比較対象の部分領域の位置は、単に
撮像した画像上での座標値であり、部分領域の示す空間
的な位置ではなかった。その結果、たとえば図１（Ａ）
に示すように、奥行き方向に所定距離離れた２つの物体
Ｂ１，Ｂ２があっても、１台のカメラで撮像して得られ
た画像が、重なり合ったり、画面上に近くに位置する２
つの物体があり、しかも、同図（Ａ），（Ｂ）に示すよ
うに、両物体Ｂ１，Ｂ２が同速度で同一方向に移動して
いるような場合には、両物体Ｂ１，Ｂ２から抽出される
部分領域の位置が近くしかも移動方向が似ているので、
それらは同一物体として統合されてしまうおそれがあ
る。従って、両物体Ｂ１，Ｂ２を分離して抽出すること
ができない。

【０００４】本発明は、上記した背景に鑑みてなされた
もので、その目的とするところは、上記した問題を解決
し、確実に移動体を分離検出することができ、その移動
体の追跡や、人数の数の計数などを精度よく行うことが
できる移動体検出方法及び装置並びに移動体認識方法及
び装置並びに人間検出方法及び装置を提供することにあ
る。

【０００５】

【課題を解決するための手段】上記した目的を達成する
ために、本発明に係る移動体検出装置では、複数のカメ
ラと、所定のカメラで撮像し得られた入力画像から特徴
点を抽出する新規特徴点抽出手段と、抽出された前記特
徴点を追跡する特徴点追跡手段と、前記複数のカメラで
撮像された複数枚の画像から特徴点のステレオ対応づけ
を行い、その特徴点の空間座標を算出する空間座標計測
手段と、前記特徴点の前記空間座標上での移動状態を示
す動線を求め、その動線間距離の近い動線を統合する動
線統合手段とを備えて構成した（請求項１）。

【０００６】そして、前記動線統合手段は、例えばそれ
ぞれの動線に属する特徴点間距離を時刻ごとに求め、そ
の最大値または平均値を算出することにより前記動線間
距離を求めるように構成することができる（請求項
２）。この時、前記特徴点間距離は、三次元ユークリッ
ド距離や特定の平面上に投影した際の二次元ユークリッ
ド距離としたり（請求項３）、比較対象の特徴点が、と
もに高い位置にある特徴点同士の特徴点間距離は、比較
対象の特徴点の少なくとも１つが低い位置にある場合よ
りも長くなるように、空間座標の軸に重み付けをしたり
（請求項４）するなどの他、各種の方式をとることがで
きる。特に、請求項４のようにすると、人間を抽出・検
出するのに適している。

【０００７】また、それぞれの動線に属する特徴点間の
ユークリッド距離を時刻ごとに求め、そのばらつきを前
記動線間距離とすることもできる（請求項５）。例えば
自動車その他の剛体（移動時に形状の変化が少ない）の
場合には、その移動体の特徴点間の相対位置関係は、移
動しても変化がないので特徴点間距離のばらつきが小さ
い。従って、移動体が剛体の場合には非剛体のものより
も動線間距離が短くなるので、統合されやすくなる。

【０００８】一方、前記動線統合手段の一例としては、
まず、動線のそれぞれをクラスタとし、次にクラスタ間
距離の小さいものから順に融合を進めることにより前記
動線の統合を行うように構成することができる（請求項
６）。

【０００９】また、本発明に係る移動体検出方法では、
複数のカメラで同一の監視領域を撮像し、あるカメラで
撮像された入力画像から新規特徴点を抽出し、前記ある
カメラから出力される入力画像に対し、それ以前の入力
画像で抽出された特徴点の移動先を検出することによ
り、その特徴点を追跡し、一方、前記あるカメラと他の
カメラにて同一タイミングで撮像された複数の入力画像
から特徴点のステレオ対応づけを行い、その特徴点の空
間座標を算出し、その算出した特徴点の空間座標に基づ
いて前記新規抽出及びまたは追跡した特徴点の空間座標
上で移動状態を示す動線を求め、その動線間距離の近い
動線を統合することにより、移動体を検出するように構
成した（請求項７）。

【００１０】上記した各発明では、複数のカメラを用い
て同一対象物を異なる位置から撮像することにより、各
カメラで撮像された画像上の座標の差（視差）からその
対象物の空間座標上の位置を検出できる。よって、１枚
の画像上で重なって映っている場合でも、奥行き方向の
位置も特定できるので、精度よく分離でき、移動体の検
出や追跡などをすることができる。

【００１１】一方、本発明に係る移動体認識方法では、
複数のカメラで同一の監視領域を撮像して得られた画像
に基づいて、同一の移動体に付された複数の特徴点の空
間座標を求め、前記複数の特徴点間のユークリッド距離
を時刻ごとに求める。そして、そのユークリッド距離の
ばらつきに基づいて移動体の性質を判断するようにした
（請求項８）。そして、前記移動体の性質は、例えば移
動時に形状の変化があまりない剛体か否かとすることが
できる。係る場合、前記ばらつきが大きい場合には前記
移動体は非剛体であり、前記ばらつきが小さい場合には
前記移動体は剛体であると判断するようにできる（請求
項９）。

【００１２】また、上記方法を実施するのに適した移動
体認識装置としては、例えば複数のカメラと、入力画像
から特徴点を抽出する新規特徴点抽出手段と、抽出され
た特徴点を追跡する特徴点追跡手段と、複数枚の画像か
ら特徴点のステレオ対応づけを行い、その特徴点の空間
座標を算出する空間座標計測手段と、前記特徴点の前記
空間座標上での移動状態を示す動線を求め、その動線間
距離の近い動線を統合する動線統合手段と、前記統合さ
れた動線に属する前記特徴点間のユークリッド距離の時
刻ごとにばらつきを求め、そのばらつきに基づいて移動
体の性質を判断する判断手段（実施の形態では、統合処
理部８内に組み込まれている）とを備えて構成すること
ができる（請求項１０）。

【００１３】また、本発明に係る人間の検出方法では、
複数のカメラで同一の監視領域を撮像して得られた画像
に基づいて、同一の移動体に付された複数の特徴点の空
間座標を求め、比較対象の複数の特徴点が、ともに高い
位置にある特徴点同士の特徴点間距離は、比較対象の特
徴点の少なくとも１つが低い位置にある場合よりも長く
なるようにし、上記のようにして求めた特徴点間距離に
基づいて人間を検出するようにした（請求項１１）。

【００１４】そして、上記した方法を実施するのに適し
た人間検出装置としては、複数のカメラで同一の監視領
域を撮像して得られた画像に基づいて、同一の移動体に
付された複数の特徴点の空間座標を算出する空間座標計
測手段と、比較対象の複数の特徴点が、ともに高い位置
にある特徴点同士の特徴点間距離は、比較対象の特徴点
の少なくとも１つが低い位置にある場合よりも長くなる
ように補正した特徴点間距離を求める距離算出手段（実
施の形態では、統合処理部８内に組み込まれている）
と、その距離算出手段で求めた特徴点間距離に基づいて
個々の人間を検出する手段（実施の形態では、統合処理
部８内に組み込まれている）を備えて構成した（請求項
１２）。

【００１５】実施の形態でも詳細に説明したように、人
間の特徴点は、円錐或いは円錐台状に出現する。従っ
て、比較する２つの特徴点の高さがともに高い場合に
は、異なる人間の頭部付近の特徴点と判断できる。よっ
て、係る場合には、特徴点距離が長くなるように調整す
ることにより、個々の人間を分離抽出しやすくなる。

【００１６】

【発明の実施の形態】図２は本発明の好適な一実施の形
態を示している。同図に示すように、第１，第２カメラ
１，２というように、２台のカメラを用いている。第１
カメラ１は、一定の時間間隔で画像を撮像し、出力する
ようになっている。また、第１カメラ１から出力される
同期信号を第２カメラ２に与えるようにし、両カメラ
１，２は、同一タイミングで撮像するようになる。そし
て、両カメラ１，２は、同一の監視領域に対し、異なる
方向から撮像するようにしている。

【００１７】すると、図３に示すように、同一物体Ｂに
対する両カメラ１，２の撮像方向が異なるので、両カメ
ラ１，２で撮像した画像データ中に存在する物体Ｂ中の
任意の位置Ｐの座標値が異なる。そこで、予め両カメラ
１，２の設置位置や、そのカメラのレンズの焦点位置Ｆ
１，Ｆ２や、カメラ１，２の向き等を求めておく。そし
て、点Ｐが左画面Ｃ１には点ｐ１に映り、右画面Ｃ２に
は点ｐ２に映っており、ｐ１，ｐ２の画面上での位置
（座標）は、画像処理によりわかったとする。そうする
と、ｐ１，ｐ２の３次元位置が決まり、カメラ１，２の
実空間上での位置はわかっているので、点Ｐの三次元位
置は２つの直線Ｆ１・ｐ１とＦ２・ｐ３の交点として求
めることができる。これにより、平面画像に撮像された
物体の３次元上での座標がわかる。

【００１８】なお、両カメラの同期の取り方は、上記し
たように一方のカメラから出力される同期信号に基づい
て行うものに限ることはなく、同期信号発生装置を用い
て両カメラ１，２の外部同期信号として利用するように
してもよい。

【００１９】また、第１カメラ１の出力は、フレーム遅
延部３，特徴点追跡部４，新規特徴点抽出部５並びに空
間座標計測部６に与えるようになっている。また、第２
カメラ２の出力は、空間座標計測部６に与えるようにな
っている。

【００２０】フレーム遅延部３は、入力された画像を１
フレーム分だけ遅延させて出力するもので、そのフレー
ム遅延部３の出力が、特徴点追跡部４に与えられるよう
になっている。これにより、特徴点追跡部４には、第１
カメラ１で撮像した時刻ｔにおける画像Ａt と、それよ
りも１フレーム前に撮像した画像Ａt-1 が与えられるよ
うになる。一例を示すと、第１カメラ１で時刻ｔの時に
撮像した画像が図４（Ａ）のようになっており、その１
フレーム前の時刻ｔ−１の時に撮像した画像が同図
（Ｂ）のようになっているとすると、特徴点追跡部４に
は、それら両画像データが与えられる。

【００２１】特徴点追跡部４は、与えられた２つの画像
データに基づき、１フレーム前の画像Ａt-1 上に存在す
る複数の特徴点がそれぞれ現在（時刻ｔ）の処理対象の
画像Ａt 上のどの位置に移動したかを検出し、その特徴
点の座標Ｄt を次段の新規特徴点抽出部５に与えるよう
になっている。

【００２２】ここで、１フレーム前の画像Ａt-1 上の特
徴点の座標は、前回の追跡処理で求められた特徴点の座
標Ｄt-1 と、後述する新規特徴点抽出部５により求めら
れた新たな特徴点の座標をあわせたもので、新規特徴点
抽出部５から出力される特徴点座標Ｅを遅延部１０を通
過させることにより、１フレーム分遅らせて特徴点追跡
部４に与えることにより１フレーム前の画像Ａt-1 につ
いての特徴点の座標Ｅt-1 （新規追加分含む）として与
えることができる。

【００２３】なお、本例では、特徴点は、所定の大きさ
（例えば８×８画素）の局所領域としており、その特徴
点の座標は、係る局所領域の中心の座標を用いている。
但し、各１画素が座標値の最小単位と一致する場合に
は、座標は中央の４つの画素のうち、例えば左上の画素
の座標を特徴点の座標にすることができる。もちろん、
この特徴点の座標は、各局所領域を代表するものである
で、例えば局所領域の左上などというように一定であれ
ば、必ずしも中心にする必要はない。なお、口述する探
索領域を設定するためには、前者の中心を用いる方がよ
い。

【００２４】そして、特徴点追跡部４での具体的な処理
は、与えられた特徴点の座標Ｅt-1に基づいて画像Ａt-1
に対して特徴点（座標を中心とした８×８画素の局所
領域）を設定する。これにより、図５（Ａ）中四角で囲
むような領域が設定される。そして、上記のようにして
設定された画像Ａt-1 上の各特徴点の局所領域を参照領
域として切り出す。

【００２５】さらに各特徴点には、それを識別するため
の特徴点フラグが付される。この特徴点フラグは、例え
ば抽出された順に連番でつけられ、一度つけた特徴点フ
ラグは、その特徴点が追跡されている間はその値を踏襲
する。そして、図中「１０１」から「１０４」及び「１
２０」は、それぞれ特徴点フラグであり、具体的な図示
は省略するが、他の特徴点にも当然フラグがついてい
る。また、この特徴点フラグは、上記した特徴点の座標
とともに関連づけられて、例えば図６に示すようなテー
ブルが作成され記憶される。

【００２６】次に、現在の画像Ａt に対しても与えられ
た特徴点の座標Ｅt-1 を中心とし、特徴点を構成する局
所領域（８×８画素）を含み所定の大きさのｎ×ｎの領
域を切り出し、探索領域とする。

【００２７】そして、探索領域中を探索し、上記切り出
した参照領域ともっとも相関の高い領域を抽出し、そこ
をその特徴点の移動先と決定し、その移動先の座標を新
たな特徴点の座標Ｄt として出力する（特徴点フラグは
踏襲）。また、検索領域中のいずれの場所も相関値がし
きい値以下の場合には、移動先が見つからないと判断
し、その座標は出力しない。

【００２８】これにより、例えば図５（Ａ）の画像Ａt-
1 の各特徴点は、画像Ａt では同図（Ｂ）に示すように
なる。なお、図示の例では、フラグ１０３の特徴点の移
動先が検出できずに、削除されている。また、係る移動
先の特徴点の情報（特徴点の座標及びフラグ）は、図７
のようになり、係るテーブルの状態で記憶保持される。

【００２９】新規特徴点抽出部５は、特徴点追跡部４か
ら与えられた画像Ａt についての特徴点データＤt では
抽出されなかった新たな特徴点を画像Ａt から抽出する
もので、具体的には、以下の２つの条件（１），（２）
を満たす場所を新たな特徴点として追加するようにして
いる。 （１）近くに特徴点がない場所 （２）濃度の時間微分値の大きい場所 ここで、条件（２）の濃度の時間微分値の大きい場所と
は、例えば１フレーム前の同一座標の濃度を比較し、そ
の変化量（微分値）を求め、その変化量が所定のしきい
値以上の場所を決定する。すなわち、移動体がいない場
所は、背景であるので、その濃度の変化が少ない。換言
すると、濃度の変化が大きい場所は、移動体が存在して
おりしかも動いている部分であるため、係る濃度の時間
微分値の大きい場所を抽出することにより動いている物
体を抽出できる。さらに、そのように時間微分値の大き
い場所は、移動体を構成する部位の中でも、背景などの
差が大きいところであるので、特徴量として適してい
る。

【００３０】上記の追加処理をすることにより、例えば
図５（Ｂ）に示された画像Ａt に対し、２つの特徴点が
新たに抽出されたとすると、図７に示すテーブルのデー
タＤt に２つ座標データが追加されることにより、図９
に示すような座標テーブルＥt が生成される。さらに、
追加された各特徴点に対して、追加された順番に従って
特徴点フラグが付与される。そして、係る特徴点に関す
るデータＥt が、次段の空間座標計測部６に送られる。
また、それと同時に遅延部１０を介して１フレーム分遅
れて特徴点追跡部４に与えられる。そして、このように
１フレーム分遅れることにより、与えられるときには、
１フレーム前の画像についての特徴点の座標Ｅt-1 とな
る。

【００３１】なお、上記した条件（２）に替えて、例え
ば、濃度の空間微分値の大きい場所としてもよいし、予
め登録された背景画像との差分値の大きい場所としても
よく、要は、移動体を構成する部分が強調されるような
方式であればよい。

【００３２】空間座標計測部６は、第１，第２カメラ
１，２で同時に撮像された画像と、第１カメラ１で撮像
した画像Ａt についての特徴点の座標データＥt に基づ
いて、その特徴点の空間座標を求めるようになってい
る。そして、具体的には以下のような処理を行う。

【００３３】まず、特徴点の座標データＥt に基づいて
画像Ａt 上の特徴点位置（座標）から８×８の局所領域
（特徴点の領域）を切り出し、参照領域とする。次に、
第２カメラ２で撮像した画像ｂt のエピポーラライン
（ｅｐｉｐｏｌａｒ ｌｉｎｅ：視線線）を中心として
ｎ×８の局所領域を切り出し、探索領域とする。そし
て、探索領域中を探索し、参照領域に一致する場所をス
テレオの対応位置とする。ここでエピポーラライン（図
３中符号Ｌで示す）は、２つのカメラを上下に並べ光軸
を平行にすると、垂直（Ｙ軸に平行）となり、対応点は
エピポーラライン上に存在するため、上記したようにｎ
×８の領域（ｎ×ｎでない）を探索領域とすることによ
り、精度よくかつ短時間で処理が可能となる。なお、こ
こで参照領域と一致する場所とは、必ずしも完全に一致
するものに限ることはなく、相関値が高いものでもよ
い。そして、対応位置が検出できたならば、その画像Ｂ
t 上の対応位置の座標を求めるとともに、画像Ａt にお
ける特徴点フラグと同一フラグをつける。係る処理を行
うことにより、たとえば図１０中四角で示すような対応
位置が抽出される。

【００３４】このようにして、対応位置が求められたな
らば、同一フラグの参照領域（画像Ａt 上の特徴点）と
画像Ｂt 上の対応位置は、空間座標上の同一箇所を撮像
した領域であるので、図３を引用しながら説明したよう
に、特徴点の画像上の位置座標と対応位置の画像上の位
置座標とのずれ量（視差）及び特徴点の画像上の位置な
どの所定の情報に基づいて、各特徴点に対応する実際の
物体（部分）の空間座標を求めることができる。そし
て、求めた各特徴点の空間座標値をフラグとともに関連
づけて空間座標テーブルＦt に格納する。係るテーブル
のデータ構造の一例を示すと、図１１のようになる。こ
こで、空間座標において、地面と垂直な軸をｙ軸とし、
奥行き方向をｚ軸とし、各軸に直交する軸をｘ軸として
いる。なお、２つのカメラ１，２で撮像した画像に基づ
いて空間座標を求める具体的な方式は、例えば「ロボッ
トビジョン」（昭晃堂：谷内田雅彦著）の第１８２頁〜
第１８３頁などに説明された公知の手法を用いることが
できる。

【００３５】そして、上記のようにして求めた空間座標
データＦt を次段の座標データ蓄積部７に出力する。ま
た、例えば検出する移動体として人間の場合には、ある
程度の高さがあるので、ｙ軸の座標値が極端に小さい
（低い）場合には、非検出対象物と判断できる。よっ
て、この空間座標計測部６にて予め削除するようにして
もよい。係る機能を付加した場合には、図１１に示すデ
ータは、フラグ１２０と１２１は高さが０であったり１
０ｃｍであるので、削除することができる。また、予め
計測領域を設定している場合には、ｘ，ｚのいずれか一
方でもその計測領域をはずれているフラグデータを削除
するようにしてもよい。

【００３６】座標蓄積部７は、図１２に示すようなデー
タ構造となっており、空間座標計測部６から与えられる
空間座標テーブルＦt のデータを、ｍフレーム分蓄積す
るようになっている。そして、このｍフレーム分のデー
タは、各特徴点の動きを時系列に記録したもので、同一
のフラグについての空間座標を時刻を横軸にしてプロッ
トするとともに、それらを連結すると、図１３に示すに
ように、描くことができる。そして、個々のフラグを連
結した線は、そのフラグで特定される特徴点の空間座標
系上での移動軌跡となり、係る移動軌跡を「動線」と称
する。なお、空間座標は図１３では一軸で示している
が、実際には相互に直交する３軸となり、係る３次元空
間となる。

【００３７】さらに本形態では、統合処理部８とを備
え、その統合処理部８にて座標データ蓄積部７に格納さ
れたデータを読み出すとともにの所定の統合処理をし、
その結果を結果表示部９に出力するようにしている。そ
して、具体的な統合処理は、以下のようになっている。

【００３８】すなわち、図５や図８に示すにように、同
一の移動体に対して複数の特徴点が付される。従って、
異なる動線であっても同一の移動体のものであることが
あるので、一つの移動体には、それを代表する一つの動
線を付することにより、個々の移動体の移動状態を検出
可能としている。そのために、同一の移動体についての
動線は、それらをひとまとめに統合するようにしてい
る。

【００３９】そこで、基本的には距離の近い動線を統合
し、統合した動線の重心を求め、係る重心を通る線を移
動体を代表する動線、つまり移動軌跡とするようにして
いる。そして、動線の距離を求める手法としては、例え
ば、図１４に示すように処理対象の２つの動線Ｌ1 ，Ｌ
2 に属する特徴点をＬ1t（ｔ＝０〜m-1 ）, Ｌ2t（ｔ＝
０〜m-1 ）とし（なお、Ｌ1t, Ｌ2tは、必ずしもすべて
があるわけではない。）、ｔが等しい同時刻の特徴点Ｌ
1tとＬ2tの距離ｄt を求め、その最大値を２つの動線Ｌ
1 ，Ｌ2 間の距離Ｄとする。

【００４０】Ｄ＝ｍａｘ（ｄt ） そして、係る距離Ｄがしきい値以下の時に、２つの動線
を統合する。なお、係る距離Ｄの算出は、上記のように
最大値をとるのではなく、平均値としてもよい。また、
同時刻に存在する特徴点が一つもない場合には、その動
線Ｌ1 ，Ｌ2 の距離は無限大とする。

【００４１】また、各特徴点Ｌ1tとＬ2tの距離ｄt の算
出は、各種の方法を採ることができ、例えば空間座標
（ｘ，ｙ，ｚの直交座標系）におけるユークリッド距離
としてもよいし、特定の平面上に投影したときのユーク
リッド距離としてもよい。さらには、そのようなユーク
リッド距離のように各座標値を均等に評価するのではな
く、例えば下記式に示すように、特定の軸を重要視する
ようにしてもよい。

【００４２】

【数１】 係る演算式は、検出対象の移動体が人間の場合に特に有
効となる。すなわち、人間は、走行中・歩行中・静止中
の際には、人間の手は肩を支点として下方に垂れ下がっ
ているとともに動くため、図１５に示すように人間につ
いての上半身に存在する特徴点（四角で示す）は、図中
一点鎖線で示すように円錐或いは円錐台状に分布する。
従って、２つの特徴点がともに低い位置にあったり、一
方が低く他方が高い場合には、図１５に示すように同一
の人間の特徴点であるおそれが高い。よって、係る場合
は特徴点間の距離は実際のユークリッド距離よりも短く
するように調整し、統合しやすくする。逆に２つの特徴
点の高さがともに高い場合には、別個の人間の頭部同士
というように、異なる人間について付された特徴点であ
るおそれが高い。よって、係る場合には、特徴点間の距
離は実際のユークリッド距離よりも長くするように調整
し、統合されにくくする。

【００４３】そして、係る原理は上記した式を実行する
ことにより得られる。つまり、上記した式中定数ａを乗
算した第１項の値は、特徴点間の地面に投影した際のユ
ークリッド距離に対応するもので、定数ｂを乗算した第
２項は、ｙ１とｙ２の少なくとも一方が小さいと、小さ
な値をとり、ｙ１とｙ２の両方とも大きい時に大きな値
をとる補正値となる。よって、第１項の値が同じであっ
ても、その高さ位置により加算する補正値が変わるの
で、特徴点間距離は異なることになる。

【００４４】また、上記した算出方法では、主として人
間を検出する場合に適しているが、例えば自動車などの
外形状をあまり変化しないまま移動するようなものに対
しては、以下に示す方法により動線間距離を求めるとよ
い。すなわち、処理対象の２つの動線Ｌ1 ，Ｌ2 に属す
る特徴点をＬ1t（ｔ＝０〜m-1 ），Ｌ2t（ｔ＝０〜m-1
）とし、ｔが等しい同時刻の特徴点Ｌ1tとＬ2tのユー
クリッド距離ｄt を求める。

【００４５】次いで、距離のばらつき度合いと、距離の
最小値の和を求め、その算出値を２つの動線Ｌ1 ，Ｌ2
間の距離Ｄとする。そして、係る距離Ｄがしきい値以下
の時に、２つの動線を統合する。なお、係る距離Ｄの算
出は、上記のように最大値をとるのではなく、平均値と
してもよい。また、同時刻に存在する特徴点が一つもな
い場合には、その動線Ｌ1 ，Ｌ2 の距離は無限大とす
る。

【００４６】また、上記ばらつき度合いは、例えば分
散，標準偏差，最大値と最小値の差などを用いることが
できる。そして、具体的な算出式の一例を示すと、下記
のようにできる。もちろん算出式は下記に限るものでは
なく、標準偏差以外のものであってもよい。

【００４７】Ｄ＝ａ・σ（Ｈt ）＋ｂ・ｍａｘ（Ｈt ） 但し、ａ，ｂは正の定数で、σは標準偏差、Ｈt は時刻
ｔにおける特徴点間のユークリッド距離である。すなわ
ち、対象物が自動車などの剛体の場合には、移動方向が
変わっても、全体形状はさほど変化しないので、同一物
体を構成する特徴点の相対位置関係も変化しない。そこ
で上記式を実行することにより、ばらつき度合いが小さ
いものは、距離Ｄも小さくなり、逆にばらつき度合いが
大きいと距離Ｄを大きくなるように調整できる。なお、
上記式において第２項を設けたのは、たまたま同じよう
に平行移動する２つの物体があった場合に、ユークリッ
ド距離が大きければ、異なる物体についての特徴点と判
断できるので、係る弁別を行うためである。

【００４８】また、実際の装置を稼働する際には、予め
上記した各種の距離の算出アルゴリズムのうちいずれか
１つを選択し、実行するようになっている。

【００４９】そして、統合処理部８における統合処理
は、上記処理をすべての動線の組み合わせに対して行
い、統合処理をする。具体的には図１６に示すフローチ
ャートを実行することができる。前提として、本形態で
は、２つの動線を統合する場合には、フラグの小さい方
の動線に統合するようにしている。すなわち、まず初期
化処理としてすべての動線の組み合わせについての距離
を求める（ＳＴ１）。係る距離の算出は、予め定めた上
記したいずれかの方法により実行する。これにより、例
えば図１３のように１６本の動線があった場合には、図
１７に示すような距離マトリクスが作成される。また、
初期設定としては、さらに図１８に示すような所属動線
テーブル及び図１９に示すようなクラスタ存在テーブル
を作成する。ここで所属動線テーブルは、左欄にクラス
タ番号としてすべての特徴点フラグを記憶させ、そのク
ラスタ番号と統合する動線の番号を右欄に記憶させるよ
うにしている。従って、初期状態としては、右欄には、
クラスタ番号と同一の番号が記入される。また、クラス
タ存在テーブルは、他の動線に統合されているか否かを
示すフラグで、他の動線に統合されていない場合には
「１」となり（自己に他の動線を統合させて、自己が代
表となっている場合も、存在フラグは「１」とな
る。）。そして、他の動線に統合された場合には、存在
フラグは「０」に変わる。よって、初期状態では、図示
するようにすべてのクラスタ番号の存在フラグが「１」
となる。

【００５０】次に、すべてのクラスタ（フラグ・動線）
の組み合わせのうち、最小距離となる組み合わせを見つ
ける（ＳＴ２）。すなわち、距離マトリクスを参照し、
クラスタ存在フラグが１となる場所の中で距離が最小と
なるセル（ｍｉｎｉ，ｍｉｎｊ）を検出する。但し、ｍ
ｉｎｉ＜ｍｉｎｊで、そのときの距離をｍｉｎとする。

【００５１】その最小距離ｍｉｎがしきい値以内の場合
には、そのクラスタを統合する（ＳＴ３，４）。すなわ
ち、距離マトリクスの第ｍｉｎｉ行と第ｍｉｎｊ行の値
を比較し、大きい方を第ｍｉｎｉ行に記入する。これに
より、図１７に示す距離マトリクスの第ｍｉｎｉ行，第
ｍｉｎｊ行の各クラスタの動線との距離データが図２０
（Ａ）に示すようになっているとすると、クラスタ番号
１，２，１６との距離がｍｉｎｊの方が大きいため、第
ｍｉｎｉ行の値をそれに書き換える。これにより、同図
（Ｂ）のように距離マトリクスのデータが修正される。

【００５２】次いで、距離マトリクスの第ｍｉｎｉ列
（図１７の縦方向）の値を第ｍｉｎｉ行（図１７の横方
向）と同じになるようにコピーする。さらに、クラスタ
存在テーブルのｍｉｎｊの存在フラグを「０」にすると
ともに、所属動線テーブルのｍｉｎｉ位置に、ｍｉｎｊ
位置の内容を追加する。これにより、動線ｍｉｎｉに動
線ｍｉｎｊを統合する処理が終了する。

【００５３】そして、上記した統合処理を距離ｍｉｎが
しきい値より大きくなるまで繰り返し実行する。なお、
ステップ２〜４を繰り返し実行するとにより、例えばま
ずフラグ番号０と２が統合され、その次に１と３が統合
された場合を考えると、所属動線テーブル及びクラスタ
存在テーブルは図２１に示すように更新される。なお、
図２１のクラスタ番号が、上記ｍｉｎｉやｍｉｎｊに対
応する。

【００５４】そして、ステップ３の分岐判断でＮＯとな
った場合には、ステップ５に飛び、統合された動線群の
重心位置を求める。つまり、所属動線テーブルを参照
し、各時刻におけるクラスタの重心位置を求める。な
お、この重心位置は、同一時刻の特徴点の存在位置の平
均値を求め、その算出値を重心位置としている。

【００５５】さらに、本形態では、対象物（移動体）の
種類も判定するようにしている。つまり、同じ動線群に
属する動線に属する特徴点間のユークリッド距離を抽出
し、ばらつきを求める。そして、ばらつきが大きい場合
には非剛体にし、ばらつきが小さい場合には、剛体にす
ることができる。このばらつきは、上記した特徴点間距
離を求める際に利用したのと同様に、例えば分散，標準
偏差，最大値と最小値の差などを用いることができる。

【００５６】そして、そのようにして求めた結果を結果
表示部９に送り、そこで与えられた結果を結果表示部９
に表示する。このとき、与えられるデータは、特徴点の
各座標であるので、離散的である。そこで各重心位置を
通るように線で結ぶ。これにより、図２３に示すように
移動軌跡を表示することができる。さらに、本実施の形
態では、移動体の性質として、剛体か非剛体かも併せて
判別するようにしたため、結果表示部９では、係る剛体
／非剛体も併せて表示するようにしている。

【００５７】

【発明の効果】以上のように、本発明に係る移動体検出
方法及び装置並びに移動体認識方法及び装置並びに人間
検出方法及び装置では、複数のカメラを用いて同一領域
を撮像することにより、撮像された物体の特徴点の空間
座標位置を特定することができる。よって、その空間座
標に基づいて特徴点の移動軌跡等を求めることにより、
確実に移動体を分離検出することができ、その移動体の
追跡や、人数の数の計数などを精度よく行うことができ
る。

【図面の簡単な説明】

【図１】従来の問題点を説明する図である。

【図２】本発明に係る移動体検出装置の好適な一実施の
形態を示す図である。

【図３】空間座標を求める原理を説明する図である。

【図４】特徴点追跡部に入力する画像の一例を示す図で
ある。

【図５】特徴点追跡部の作用を説明する図である。

【図６】１フレーム前の特徴点座標データＥt-1 の一例
を示す図である。

【図７】特徴点を追跡した結果得られた特徴点座標デー
タＤt の一例を示す図である。

【図８】新規特徴点抽出部の作用を説明する図である。

【図９】新規特徴点抽出部から出力される特徴点座標デ
ータＥt の一例を示す図である。

【図１０】空間座標計測部で抽出された画像Ｂt の対応
点を示す図である。

【図１１】空間座標計測部から出力される特徴点座標デ
ータＦt の一例を示す図である。

【図１２】座標データ蓄積部のデータ構造を示す図であ
る。

【図１３】時間空間上における導線の一例を示す図であ
る。

【図１４】統合処理部の作用を説明する図である。

【図１５】統合処理部の作用を説明する図である。

【図１６】統合処理部の機能を説明するフローチャート
である。

【図１７】初期化処理して得られる距離マトリクスのデ
ータ構造を示す図である。

【図１８】初期化処理して得られる所属動線テーブルの
データ構造を示す図である。

【図１９】初期化処理して得られるクラスタ存在テーブ
ルのデータ構造を示す図である。

【図２０】クラスタ統合処理の作用を説明する図であ
る。

【図２１】クラスタ統合処理の作用を説明する図であ
る。

【図２２】表示部の出力例を示す図である。

【符号の説明】

１ 第１カメラ ２ 第２カメラ ３ フレーム遅延部 ４ 特徴点追跡部 ５ 新規特徴点抽出部 ６ 空間座標計測部 ７ 座標データ蓄積部 ８ 統合処理部 ９ 結果表示部 １０ 遅延部

Claims (12)

【特許請求の範囲】
1. 【請求項１】 複数のカメラと、 所定のカメラで撮像し得られた入力画像から特徴点を抽
   出する新規特徴点抽出手段と、 抽出された前記特徴点を追跡する特徴点追跡手段と、 前記複数のカメラで撮像された複数枚の画像から特徴点
   のステレオ対応づけを行い、その特徴点の空間座標を算
   出する空間座標計測手段と、 前記特徴点の前記空間座標上での移動状態を示す動線を
   求め、その動線間距離の近い動線を統合する動線統合手
   段とを備えたことを特徴する移動体検出装置。
2. 【請求項２】 前記動線統合手段は、 それぞれの動線に属する特徴点間距離を時刻ごとに求
   め、その最大値または平均値を算出することにより前記
   動線間距離を求めるようにしたことを特徴とする請求項
   １に記載の移動体検出装置。
3. 【請求項３】 前記特徴点間距離は、三次元ユークリッ
   ド距離または特定の平面上に投影した際の二次元ユーク
   リッド距離であることを特徴とする請求項２に記載の移
   動体検出装置。
4. 【請求項４】 前記特徴点間距離は、 比較対象の特徴点が、ともに高い位置にある特徴点同士
   の特徴点間距離は、比較対象の特徴点の少なくとも１つ
   が低い位置にある場合よりも長くなるようにすることを
   特徴とする請求項２に記載の移動体検出装置。
5. 【請求項５】 それぞれの動線に属する特徴点間のユー
   クリッド距離を時刻ごとに求め、そのばらつきを前記動
   線間距離としたことを特徴とする請求項１に記載の移動
   体検出装置。
6. 【請求項６】 前記動線統合手段は、 まず、動線のそれぞれをクラスタとし、次にクラスタ間
   距離の小さいものから順に融合を進めることにより前記
   動線の統合を行うようにしたものであることを特徴とす
   る請求項１〜５のいずれか１項に記載の移動体検出装
   置。
7. 【請求項７】 複数のカメラで同一の監視領域を撮像
   し、あるカメラで撮像された入力画像から新規特徴点を
   抽出し、 前記あるカメラから出力される入力画像に対し、それ以
   前の入力画像で抽出された特徴点の移動先を検出するこ
   とにより、その特徴点を追跡し、 一方、前記あるカメラと他のカメラにて同一タイミング
   で撮像された複数の入力画像から特徴点のステレオ対応
   づけを行い、その特徴点の空間座標を算出し、 その算出した特徴点の空間座標に基づいて前記新規抽出
   及びまたは追跡した特徴点の空間座標上で移動状態を示
   す動線を求め、その動線間距離の近い動線を統合するこ
   とにより、移動体を検出するようにしたことを特徴とす
   る移動体検出方法。
8. 【請求項８】 複数のカメラで同一の監視領域を撮像し
   て得られた画像に基づいて、同一の移動体に付された複
   数の特徴点の空間座標を求め、 前記複数の特徴点間のユークリッド距離を時刻ごとに求
   め、 そのユークリッド距離のばらつきに基づいて移動体の性
   質を判断するようにしたことを特徴とする移動体認識方
   法。
9. 【請求項９】 前記移動体の性質は、移動時に形状の変
   化があまりない剛体か否かであり、 前記ばらつきが大きい場合には前記移動体は非剛体であ
   り、 前記ばらつきが小さい場合には前記移動体は剛体である
   と判断するようにしたことを特徴とする請求項８に記載
   の移動体認識方法。
10. 【請求項１０】 複数のカメラと、 入力画像から特徴点を抽出する新規特徴点抽出手段と、 抽出された特徴点を追跡する特徴点追跡手段と、 複数枚の画像から特徴点のステレオ対応づけを行い、そ
    の特徴点の空間座標を算出する空間座標計測手段と、 前記特徴点の前記空間座標上での移動状態を示す動線を
    求め、その動線間距離の近い動線を統合する動線統合手
    段と、 前記統合された動線に属する前記特徴点間のユークリッ
    ド距離の時刻ごとにばらつきを求め、そのばらつきに基
    づいて移動体の性質を判断する判断手段とを備えたこと
    を特徴とする移動体認識装置。
11. 【請求項１１】 複数のカメラで同一の監視領域を撮像
    して得られた画像に基づいて、同一の移動体に付された
    複数の特徴点の空間座標を求め、 比較対象の複数の特徴点が、ともに高い位置にある特徴
    点同士の特徴点間距離は、比較対象の特徴点の少なくと
    も１つが低い位置にある場合よりも長くなるようにし、 上記のようにして求めた特徴点間距離に基づいて人間を
    検出するようにしたことを特徴とする人間検出方法。
12. 【請求項１２】 複数のカメラで同一の監視領域を撮像
    して得られた画像に基づいて、同一の移動体に付された
    複数の特徴点の空間座標を算出する空間座標計測手段
    と、 比較対象の複数の特徴点が、ともに高い位置にある特徴
    点同士の特徴点間距離は、比較対象の特徴点の少なくと
    も１つが低い位置にある場合よりも長くなるように補正
    した特徴点間距離を求める距離算出手段と、 その距離算出手段で求めた特徴点間距離に基づいて個々
    の人間を検出する手段とを備えたことを特徴とする人間
    検出装置。