JPH09249083A - 移動体識別装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】移動体の形状情報に依存することがなく、簡便
に安定して移動体の識別をすることができる移動体識別
装置および方法を提供する。 【解決手段】撮像装置によって時系列画像を取得する時
系列画像蓄積部１と、この時系列画像に基づいて、任意
の画像中における所定の複数の位置について画像間にお
ける動き情報を検出する動き情報検出部２と、検出され
た動き情報に基づいて、所定の動き情報と異なる動き情
報に対応した任意の画像中における領域を移動体領域と
して抽出する移動体領域抽出部３と、少なくとも抽出さ
れた移動体領域に包含される複数の位置について検出さ
れた動き情報に基づいて、移動体領域に存在する移動体
を識別する移動体識別部４とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば知的画像監
視、自律自動車、知能作業ロボットなどに適用される移
動体識別装置および方法に関する。

【０００２】

【従来の技術】近年、集積化技術の進歩によって、ＴＶ
カメラなどの画像センサや画像処理に適用される処理プ
ロセッサ等が小型化かつ高機能化している。これに伴っ
て、例えばＴＶカメラを画像センサとして利用する知的
画像監視装置、または操縦者を必要とせずに自動動作を
可能とする自律自動車、知的作業ロボットなどの実用化
に向けて、従来から様々な研究が活発に行われている。

【０００３】このような知的画像監視装置、自律自動車
もしくは知的作業ロボットにおいては、時々刻々変化す
る時系列画像を処理して、画像に投影されている人間や
自動車などの移動体を抽出し、これに応じて警報や障害
物回避などの指令を発生することが不可欠であり、この
実現のために従来から様々な方法が提案されている。

【０００４】例えば固定カメラを用いて画像を取得する
場合、取得された画像のフレーム間差分を取ることによ
り移動体を抽出する方法、または取得された画像と予め
取得しておいた移動体が存在しない背景画像との差分を
取ることにより移動体を抽出する方法などが提案されて
いる。

【０００５】また、移動カメラを用いて画像を取得する
場合、取得された時系列画像から例えば画像の局所領域
単位の動きである各画素点のオプティカルフローを検出
し、これらオプティカルフローを解析することにより移
動体を抽出する方法が提案されている。

【０００６】ここで、このような時系列画像の処理方法
を用いて移動体を抽出した後、例えばこの移動体が人間
であるか自動車であるかといったように、検出された移
動体の種類を識別することができれば、例えば知的画像
監視においては人間以外に対する警報の誤り等を低減す
ることが可能となり、自律移動車においては例えば前方
を人間が通過したときに減速もしくは回避等を切り替え
て行うなどの高度な制御が可能となり、その実用的価値
は非常に高いと考えられる。

【０００７】一方、例えばビデオテープ等の蓄積媒体に
記録された画像を処理する分野においては、蓄積された
動画像などを編集処理することによって、画像から人物
などの特定の物体を切り出すといった研究が盛んであ
り、特にこのような画像処理を自動化することが強く望
まれている。

【０００８】ところで、上述したような従来の時系列画
像の処理方法では移動体等の物体を抽出することに留ま
っている。ここで、従来の時系列画像の処理方法で移動
体の識別を行うには、例えば移動体を含む領域内の明度
を解析したり、移動体の輪郭エッジ等の形状情報を抽出
して予め設定された移動体のモデル等の形状情報と照合
するなどの処理が必要となる。しかし、このような処理
は複雑であり膨大な処理時間がかかってしまうという問
題ある。

【０００９】また、このように移動体の形状情報に基づ
いて識別を行おうとする場合、移動体の抽出処理におい
て例えば移動体を含む領域の一部が欠落したり、移動体
と背景領域の一部とが接合するなどして移動体の抽出が
正確に行えないときは、その認識成功率が大幅に低下し
てしまう。

【００１０】さらに、例えば自律自動車のように画像を
取得する視点が移動する場合、移動体と背景領域との干
渉（隠れ）や、移動中の姿勢の推移による見え方の変化
などによって移動体の形状情報を安定に得ることが難し
いため、従来の時系列画像の処理方法では識別がより困
難になるという問題もある。以上のような理由により、
従来の時系列画像の処理方法に基づいて移動体の識別を
行う移動体識別装置の実用化は困難であった。

【００１１】

【発明が解決しようとする課題】上述したように、従来
から提案されている時系列画像の処理方法では移動体の
抽出をするのみであり、さらに移動体を識別しようとす
る場合、移動体の輪郭エッジ等の形状情報を解析するな
どの膨大な処理時間が必要であり、また移動体の形状情
報を正確かつ安定して得ることができない場合は、認識
成功率が大幅に低下してしまうという問題があった。

【００１２】本発明は上記事情を考慮してなされたもの
で、移動体の形状情報に依存することなく、簡便に安定
して移動体の識別をすることができる移動体識別装置お
よび方法を提供することを目的とする。

【００１３】

【課題を解決するための手段】上記課題を解決するため
本発明は、入力した時系列画像に基づいて、任意の画像
中における所定の複数の位置について画像間における動
き情報、例えば画像中の局所領域単位の動きであるオプ
ティカルフローを検出する動き情報検出手段と、検出さ
れた動き情報に基づいて、所定の動き情報と異なる動き
情報に対応した任意の画像中における領域を移動体領域
として抽出する移動体抽出手段と、少なくとも抽出され
た移動体領域に包含される複数の位置について検出され
た動き情報に基づいて、移動体領域に存在する移動体を
識別する移動体識別手段とを備えている。

【００１４】本発明の一つの態様では、移動中の撮像装
置により撮像された静止物体の画像を含む時系列画像中
に現れる移動体を識別する移動体識別装置において、入
力した時系列画像における任意の時点の画像とこの任意
の時点の画像に後続する画像のうちの所定の画像とを、
所定の画素点を中心とした所定の大きさの局所領域単位
に比較して、任意の時点の画像中で選択された複数の画
素点について動き方向を少なくとも検出する動き情報検
出手段と、任意の時点の画像を予め設定された大きさの
小領域に分割し、各小領域ごとに、小領域に包含される
画素点について検出された動き方向を元に動き中心点の
位置およびその推定残差を求め、予め定められたしきい
値より大きい推定残差を持つ小領域を、前記任意の画像
中において移動体が存在する移動体領域として抽出する
移動体抽出手段と、抽出された移動体領域または移動体
領域を含む近傍領域に包含される画素点について検出さ
れた動き方向の分布に少なくとも基づいて、移動体領域
に存在する前記移動体を識別する移動体識別手段とを備
えている。

【００１５】ここで、動き情報検出手段は、任意の時点
の画像中の各画素点を中心とした所定の大きさの局所領
域における明度の分散値をそれぞれ算出し、この明度の
分散値が予め設定されたしきい値よりも大きい値を持つ
画素点についてのみ動き情報を検出することが望まし
く、これらの動き情報は、選択された画素点を中心とす
る所定の大きさの第１の局所領域と、任意の時点の画像
に後続する画像中で任意の時点で選択された画素点に相
対応する画素点を中心とする所定の大きさの第２の局所
領域に包含される各画素点を中心とする所定の大きさの
第３の局所領域との相関値をそれぞれ算出し、この相関
値が最大となる任意の時点の画像に後続する第３の局所
領域に包含される画素点に基づいて検出されることが望
ましい。

【００１６】また、移動体識別手段は、動き方向の分布
に撮像装置の移動方向と直交する特定の方向の成分が含
まれるか否かを識別基準として持ち、少なくとも動き方
向を所定個数の説明変量のうちの一つとして、例えば各
画素点の明度およびオプティカルフロー方向、各画素点
のオプティカルフロー方向およびオプティカルフロー長
さなどを説明変量とした統計分析、例えばこれらの説明
変量に対する主成分分析を行い、この統計分析の結果、
例えば第一主成分の方向および寄与率を用いて動き情報
の分布を生成し、この動き情報の分布と予め設定されて
いる動き情報の分布とを比較することで移動体の識別を
行うことが望ましい。

【００１７】このように本発明においては、時系列画像
に基づいて画像の各画素点における動き方向などの動き
情報を検出し、例えば主成分分析などの統計分析によっ
て各画素点の動き情報の分布等を算出して、この動き情
報の分布等と予め設定されている人間および自動車など
の動き情報の分布等とを比較することによって移動体を
識別する。つまり、移動体の検出に用いた動き情報をさ
らに解析することで移動体の識別を行っている。すなわ
ち、従来のように移動体の形状情報を解析する必要がな
くなるので、識別を高速に行うことが可能になる。

【００１８】また動き情報の分布は、例えば人間および
自動車など移動体の種類によって大きく異なる。従っ
て、仮に移動体の抽出処理によって移動体を含む領域の
一部が欠落したり、移動体と背景領域との一部が接合す
るなどして、移動体の形状情報が安定に得られない場合
でも、主成分分析などの統計分析によって動き情報の分
布等を解析すれば、移動体の抽出に伴う形状情報の損失
等の影響を受けずに、安定して移動体の識別を行うこと
が可能になる。

【００１９】

【発明の実施の形態】図１は、本発明の一実施形態に係
る移動体識別装置の構成を示すブロック図である。この
移動体識別装置は自律自動車、知的作業ロボット、知的
画像監視装置等に適用されるものである。なお以下で
は、この移動体識別装置を自律自動車に登載して、自律
自動車の前方を横切る移動体を検出し、さらに識別対象
（例えば人間もしくは自動車）とする移動体を個別に識
別する場合を例として具体的に説明する。

【００２０】図１に示されるように、この移動体識別装
置は、時系列画像蓄積部１、動き情報検出部２、移動体
領域抽出部３、および移動体識別部４を有している。こ
こで、時系列画像蓄積部１は例えばＴＶカメラ等の撮像
装置を備えており、ここでは１つの撮像装置を自律自動
車の天井もしくはフロント部に取り付けて、移動中の自
律自動車から進行方向の道路領域を撮像することを考え
る。

【００２１】以下、本実施形態の動作について図２に示
すフローチャートを参照して説明する。時系列画像蓄積
部１は、自律自動車の進行方向の道路領域を撮像し、取
得された画像を時系列画像として動き情報検出部に出力
する。（ステップＳ１）。

【００２２】動き情報検出部２は、この時系列画像をデ
ィジタル信号に変換すると共に、時系列画像の変化を解
析することにより局所領域を単位として、各局所領域に
存在する動き情報をそれぞれ検出する（ステップＳ
２）。

【００２３】移動体領域抽出部３は、動き情報検出部２
において検出された動き情報に基づいて、画像中で移動
体（識別対象以外の物体を含む）の投影されている領域
を抽出する（ステップＳ３）。

【００２４】移動体識別部４は、移動体領域抽出部３に
よる移動体の抽出結果に基づいて、移動体が抽出された
領域の内部あるいは移動体が抽出された領域を含む近傍
領域に含まれる動き情報を解析し、投影されている移動
体が識別対象（例えば人間もしくは自動車）であるかを
判定し、識別対象が検出されるまで上記ステップＳ１〜
Ｓ３を繰返す（ステップＳ４）。

【００２５】識別対象とする移動体が検出された場合、
さらに移動体識別部４はこの移動体の識別（例えば人間
であるか自動車であるか）を行い、この識別結果に基づ
いて所定の処理を行った後、ステップＳ１に戻って処理
を繰り返す（ステップＳ５）。

【００２６】次に、図１の各部について詳細に説明す
る。図３は、図１中の動き情報検出部２の構成を示すブ
ロック図である。動き情報検出部２は、候補点抽出部２
１、局所相関値計算部２２、最大相関点検出部２３、オ
プティカルフロー計算部２４、オプティカルフローメモ
リ２５を有している。以下、動き情報部検出部２の動作
について図４に示すフローチャートを参照して説明す
る。

【００２７】候補点抽出部２１は、入力される時系列画
像に基づいて、画像の各画素点のうち画像の局所領域単
位の動きである後述のオプティカルフローが十分信頼し
て抽出できる画素点をそれぞれ候補点として検出し、こ
れら候補点の位置を相関値計算部２２およびオプティカ
ルフロー計算部２４に順次出力する（ステップＳ２
１）。

【００２８】具体的には候補点抽出部２１は、識別対象
の種類および大きさに基づいて予め定められる定数Ｋに
よって画像の各画素点を中心としてＫ画素×Ｋ画素の局
所マスク領域を設定し、画像において移動体が投影され
る可能性のある領域全体についてこの局所マスク領域内
の明度の分散値をそれぞれ計算して、この分散値が予め
設定されたしきい値よりも大きい画素点のみを候補点と
して検出し、その位置を順次出力する。

【００２９】つまり、明度の分散値が小さい画素点は画
像中で明度が平坦な部分領域に属しているため、このよ
うな画素点で後述するオプティカルフローの抽出を行っ
た場合、その信頼度が大幅に低下すると考えられるの
で、このような画素点は予め排除しておくことが望まし
い。

【００３０】局所相関値計算部２２は、候補点抽出部２
１から出力される複数の候補点の位置に基づいて、時系
列画像における全ての候補点について、時系列で任意の
時点における画像中の候補点Ｐ（ｘｉ，ｙｉ）（ｉ＝１
〜Ｌ，Ｌ：任意の時点における画像中の候補点の数）を
中心とするＭ画素×Ｍ画素の局所マスク領域と、この任
意の時点の画像に後続する時点、例えば時系列で次時点
となる隣接フレームにおける画像中の候補点Ｐ（ｘｉ，
ｙｉ）の周囲のＮ画素×Ｎ画素の近傍領域内部に存在す
る各画素点（以下、対応点と称する）を中心としたＭ画
素×Ｍ画素の各局所マスク領域との間の相関値をそれぞ
れ計算し、これら対応点の位置および相関値を最大相関
点検出部２３に順次出力する（ステップＳ２２）。な
お、Ｍの値は検出しようとする移動体の種類および大き
さに基づいて設定される定数であり、Ｎの値は移動体の
速度に基づいて設定される定数である。ここで、任意の
時点の画像中の候補点およびその時点に後続する画像中
の対応点の明度値を、それぞれＩ（ｘ，ｙ）、Ｊ（ｘ，
ｙ）として示すと、相関値は以下の式で計算される。

【００３１】

【数１】

【００３２】最大相関点検出部２３は、局所相関値計算
部２２において計算された複数の相関値に基づいて、各
候補点Ｐ（ｘｉ，ｙｉ）に対して相関値が最大となる次
時点の画像における対応点を最大相関点Ｑ（ｘｏ，ｙ
ｏ）として検出し、これらの位置をオプティカルフロー
計算部２４に順次出力する（ステップＳ２３）。

【００３３】オプティカルフロー計算部２４は、候補点
Ｐ（ｘｉ，ｙｉ）から最大相関点Ｑ（ｘ，ｙ）までの動
きベクトル（以下、フローベクトルと称する）（Ｖｘ，
Ｖｙ）＝（ｘｏ−ｘｉ，ｙｏ−ｙｉ）を計算し（ステッ
プＳ２４）、このフローベクトルの値を候補点Ｐにおけ
るオプティカルフローの値として、候補点Ｐの位置と共
にオプティカルフローメモリ２５に書き込む（ステップ
Ｓ２５）。

【００３４】ところで、上述したように本実施形態で
は、直進中の自律自動車に登載された撮像装置によって
時系列画像が得られる。このように観測系が直進する場
合、画像における特定の領域に着目すると、この領域に
含まれる各画素点のオプティカルフローが画像中の共通
の一点（以下、動き中心点）から湧き出しているように
検出されることがある。この動き中心点は、例えば着目
した領域に含まれる各画素点のオプティカルフローを延
長した直線の交点として求めることができる。

【００３５】例えば、画像において移動体が存在しない
背景のみの領域（以下、静止領域）における動き中心点
は、理想状態では観測系の移動方向によって定まる固定
点となり、この固定点は特に動きの無限遠点、消失点、
またはＦ．Ｏ．Ｅ（focus ofexpantion) と呼ばれる。
具体的には、観測系の三次元空間における速度成分を
（Ｕ，Ｖ，Ｗ）とすると、静止領域における動き中心点
の座標は（Ｕ／Ｗ，Ｖ／Ｗ）となる。

【００３６】一方、画像において観測系の移動方向とは
異なる方向および速度で移動する移動体における動き中
心点は、理想状態では移動体の移動方向によって定ま
り、静止領域における動き中心点とは異なる一点とな
る。

【００３７】なお、観測系に回転運動が含まれる場合、
オプティカルフローは直進による成分と回転による成分
の和となる。この場合、回転運動による成分は距離に依
存しない一定値であることから、例えばジャイロなどの
姿勢センサを用いて回転運動の成分を推定して、この成
分を各画素点のオプティカルフローから減算することで
動き中心点を推定することができる。

【００３８】図５は、このようにして画像のオプティカ
ルフローから動き中心点を推定した例であり、（ａ）は
取得された画像を示し、（ｂ），（ｃ）はそれぞれ
（ａ）の一部分を拡大して示したものである。以下、同
図を用いて画像から移動体を抽出する原理について説明
する。

【００３９】（ａ）に示されるように、画像における静
止（背景）領域３０のオプティカルフロー３１は、共通
の動き中心点３２を持っている。一方、観測系と異なる
方向に直進運動をする移動体３３のオプティカルフロー
３４はこれとは異なる動き中心点３５を持っている。こ
のため、（ｂ），（ｃ）に示されるように、移動体３３
と背景が共に含まれる領域（以下、移動体領域）３６に
おいて動き中心点３７を推定した場合の推定残差３８
は、背景領域３１のみで動き中心点３２を推定した場合
の推定残差３９に比べて大きくなる。

【００４０】このように画像における背景領域と移動体
領域とでは、それぞれ動き中心点を推定したときの推定
残差が異なる大きくことが分かる。従って、画像を小領
域に分解し、各小領域において動き中心点を推定して、
動き中心点の推定残差をそれぞれ解析することで対象と
する小領域に移動体が含まれるどうかが判定でき、画像
から移動体が含まれる領域を抽出することが可能にな
る。

【００４１】図６は、上述した原理に基づいて画像から
移動体を抽出する図１中の移動体領域抽出部３の構成を
示すブロック図である。この移動体領域抽出部３は、小
領域設定部４１、動き中心点推定部４２、総合推定残差
計算部４３、移動体候補領域検出部４４を有している。
以下、移動体領域抽出部３の動作について図７に示すフ
ローチャートを参照して説明する。

【００４２】小領域設定部４１は、例えば画像中に含ま
れる移動体を個別に抽出することができるように、オプ
ティカルフローが得られた画像の全体または一部を所定
の小領域に分割する。具体的には、小領域設定部４１
は、例えば検出対象とする移動体（識別対象以外の物体
を含む）の大きさ、必要とされる最小検出距離、観測系
すなわち自律自動車の移動速度などに基づいて、画像を
分割する単位である小領域の大きさ等の情報を設定し、
この情報を小領域情報として動き中心点推定部４２およ
び総合推定残差計算部４３に出力する（ステップＳ３
１）。なお、この小領域情報は図１中の移動体識別部４
にも出力される。

【００４３】動き中心点推定部４２は、小領域設定部４
１から出力される小領域情報に基づいて、画像中の任意
の小領域における動き中心点を推定して、総合推定残差
計算部４３に出力する（ステップＳ３２）。

【００４４】具体的には動き中心点推定部４２は、まず
動き中心点を推定すべき小領域について、この小領域に
包含される各画素点のオプティカルフローを図３中のオ
プティカルフローメモリ２５からそれぞれ読み出す。次
に動き中心点推定部４２は、各画素点のオプティカルフ
ローを直線の式に変換し連立させた連立方程式を解くこ
とによって動き中心点を推定し、この動き中心点の位置
を総合領域残差計算部４３に出力する。

【００４５】ここで、各画素点のオプティカルフローを
変換した直線の方程式をａ_i ｘ＋ｂ_i ｙ＋ｃ_i ＝０とし
た場合、動き中心点の位置は方程式ＡＸ＋Ｃ＝０の解Ｘ
＝（ｘ_f ，ｙ_f ）として表され、動き中心点推定部４３
は解Ｘを例えば特異値分解法などの数値計算法を用いて
算出する。なお、動き中心点を推定すべき小領域に含ま
れているオプティカルフローの数をｎとした場合、Ａ，
Ｃは、それぞれ以下の式で示されるものとする。

【００４６】

【数２】

【００４７】総合推定残差計算部４３は、動き中心点推
定部４２から出力された動き中心点の推定残差を計算す
る（ステップＳ３３）。具体的には、総合推定残差計算
部４３は‖ＡＸ＋Ｃ‖を計算し、得られた値を対象とす
る小領域における動き中心点の推定残差（以下、総合推
定残差と称する）として、移動体候補領域検出部４４に
出力する。

【００４８】動き中心点推定部４２および総合推定残差
計算部４３は、以上のステップＳ３２，３３を画像中の
画像中の全ての小領域に対して行う（ステップＳ３
４）。すなわち、各小領域における総合推定残差が移動
体候補領域検出部４４に順次出力される。

【００４９】移動体候補領域検出部４４は、総合推定残
差計算部４３から出力される各小領域の総合推定残差と
予め定められたしきい値とをそれぞれ比較し、総合推定
残差がしきい値より大きい小領域を識別対象（例えば人
間もしくは自動車）を含む可能性のある領域（以下、移
動体候補領域）として順次出力する。しきい値は、例え
ば小領域の大きさ、検出対象とする移動体（識別対象以
外の物体を含む）の大きさ、観測系すなわち自律自動車
の移動速度などに基づいて設定される。

【００５０】ところで、このようにして移動体領域抽出
部３から出力される移動体候補領域は、小領域の集合と
して得られる。しかし、本実施形態においては画像を所
定の小領域に分割して処理を行うため、画像を分割する
際に移動体の一部が欠落したり、最終的に得られた移動
体候補領域に背景領域の一部が混入する可能性が高い。
また、自律自動車のように観測系が移動している場合、
移動体と背景領域との干渉（隠れ）や、移動中の姿勢の
推移等による見え方の変化が生じていると推定される。

【００５１】従って、本実施形態においては移動体の輪
郭エッジ等の形状情報を安定に得ることが保証されず、
従来のように形状モデルを画像に当てはめるという認識
手法を用いても移動体の識別をすることは困難である。
そこで、本実施形態では以下に述べるように移動体の動
きから得られる特徴の違いに基づいて移動体を識別す
る。

【００５２】図８および図９は、本実施形態において取
得された画像の例を示したものである。図８は自律自動
車の前方の道路を人間が横切っている場合を表し、図９
は自律自動車の前方の道路を自動車が横切っている場合
を表している。図８に示すように人間５１は、頭５２、
上半身５３、足５４、腕５５などの各々独立した部分剛
体の集合とみなすことができる。人間５０が移動した場
合、頭５２は例えば人間５０が周囲を見回す際の回転運
動等が含まれるが、頭５２を含めた上半身５２はその進
行方向への並進移動として検知される。これに対して足
５４、腕５５は、それぞれ人間５１の歩行によって生じ
る上下運動による動きが検知される。

【００５３】一方、図９に示すように自動車６１は進行
方向に並進移動を行う単一の剛体として検知される。な
お、厳密に言えば車輪６２の部分は高速回転運動を行っ
ているが、通常のカメラのフレームレートは３０枚／ｓ
程度であり、この高速回転運動の動きは検知されず、車
体と同様に並進移動として検知される。

【００５４】従って、移動体候補領域に含まれるオプテ
ィカルフローが検出された画素点（以下、検出点）に着
目し、各検出点における明度、オプティカルフロー方向
（以下、フロー方向）もしくはエッジ強度などの分布を
見た場合、移動体候補領域に人間が含まれるときは複数
の部分剛体の分布の重ね合わせとなるため、例えばフロ
ー方向の分散が大きくなり、移動体候補領域に自動車が
含まれるときは単一の剛体の分布となるため、例えばフ
ロー方向の分散は小さくなる。

【００５５】図１０および図１１は、このような検出点
の分布の例をそれぞれ９サンプルずつ示したものであ
る。図１０の（ａ）〜（ｉ）は移動体候補領域に人間が
含まれる場合を示し、図１１の（ａ）〜（ｉ）は移動体
候補領域に自動車が含まれる場合を示している。なお図
１０、図１１の（ａ）〜（ｉ）の各々において、Ｘ軸は
明度（０−２５５）、Ｙ軸はフロー方向（０°−３６０
°）、Ｚ軸はエッジ強度（０−２５５）を表している。
図１０および図１１に示されるように、人間が含まれる
場合はフロー方向の広がりが大きいのに対して、自動車
が含まれる場合はフロー方向の広がりが小さく、ほぼ平
坦であることが分かる。

【００５６】以上述べたように、移動体候補領域に含ま
れている移動体の種類によって、移動体候補領域におけ
る各検出点の明度、フロー方向、エッジ強度等の分布が
異なることが分かる。このような移動体の種類による分
布の違いを定量的に示すために、例えば多変量解析の手
法の一つである主成分分析を行うことを考える。主成分
分析とは、いくつかの説明変量ｘ１，ｘ２，…の総合的
特性をａ_i ｘ１＋ｂ_iｘ２＋…のように少数の一次式で
表現する手法であり、この式で示される統合化変数は主
成分と呼ばれる。

【００５７】以下の例では、検出点の明度およびフロー
方向の二つを説明変量として主成分分析を行い、このと
きの第１主成分を直線の方程式として表現する。具体的
には、主成分分析の対象とする移動体候補領域における
各検出点の明度とフロー方向とに関する分散共分散行列
の固有方程式を解いて二つの固有値を求め、この固有値
のなかで最大値に対応する固有ベクトルを第一主成分と
して算出する。ここで、仮に移動体候補領域の一部分に
背景領域が混入していたり、移動体の一部が欠落してい
る場合でも、第１主成分の方向は大きく変動せずに安定
して算出される。

【００５８】このようにして算出された第１主成分の例
を図１２および図１３に示す。なお、図１２は移動体候
補領域に人間が含まれる場合、図１３は移動体候補領域
に自動車が含まれる場合を示し、それぞれ横軸は明度、
縦軸はフロー方向を表している。

【００５９】図１２に示されるように人間が含まれる場
合、第１主成分の方向は傾きの大きい直線となる。ま
た、図１３に示されるように自動車が含まれる場合、第
１主成分の方向はほぼ水平な直線となり、移動体候補領
域に含まれる移動体が人間の場合と自動車の場合とで
は、算出される第１主成分の方向が異なることが分か
る。

【００６０】一方、主成分の周囲のデータのばらつきの
小ささは、固有値の和に対する固有値の比（以下、寄与
率と称する）として求めることができる。図１２および
図１３に示されるように第１主成分の寄与率は、移動体
候補領域に人間が含まれる場合は小さくなり、自動車が
含まれる場合は大きくなることが分かる。

【００６１】以上述べた通り、主成分分析を行ったとき
の第１主成分の方向および寄与率の値は、それぞれ移動
体候補領域に含まれる移動体の種類（上記の例では人間
と自動車）によって大きく異なっている。そこで、本実
施形態では移動体候補領域における各検出点について例
えば明度とフロー方向とに関して主成分分析を行い、こ
の結果得られる第一主成分および寄与率をそれぞれ解析
することで移動体の識別を行う。

【００６２】図１４は、上述したような方法を用いて移
動体の識別を行う図１中の移動体識別部４の構成を示す
ブロック図である。この移動体識別部４は、識別対象判
定部７１、データ解析部７２、および識別判定部７３を
有している。以下、移動体識別部４の動作について図１
５に示すフローチャートを参照して説明する。

【００６３】識別対象判定部４１は、移動体候補領域お
よびオプティカルフローに基づいて、移動体候補領域に
含まれる移動体が識別対象（例えば人間もしくは自動
車）であるかどうかの判定を行う（ステップＳ４１）。
具体的には、移動体候補領域全体の大きさと移動体候補
領域内の検出点のフロー方向の平均とを計算し、移動体
候補領域全体の大きさが予め設定されたしきい値以上
で、かつフロー方向の平均が水平となる（前方を横切っ
ていることを示す）場合に移動体候補領域内に識別対象
が存在していると判定する。

【００６４】この判定結果に基づいて識別対象判定部４
１は以下の処理を行う（ステップＳ４２）。すなわち、
識別対象が存在すると判定された場合は、その旨をデー
タ解析部７２に出力し、存在しないと判定された場合
は、未知の物体が進入した可能性があるとして例えば自
律自動車の制御部等に警告信号を出力する（ステップＳ
４３）。

【００６５】データ解析部７２は、識別対象判定部７２
から識別対象を含む旨を示す判定結果が出力されると、
小領域における各検出点について明度とフロー方向とに
関する主成分分析を行い、得られる第一主成分の方向お
よび寄与率を識別判定部７３に出力する（ステップＳ４
４）。

【００６６】識別判定部７３は、データ解析部７２から
出力される第一主成分の方向および寄与率をそれぞれ予
め定められた範囲の値と比較して、小領域に含まれる移
動体の種類（例えば人間もしくは自動車）を識別して
（ステップＳ４５）、この識別結果を例えば自律自動車
の制御部に出力する（ステップＳ４６）。

【００６７】以上述べたとおり本実施形態によれば、例
えば市街地における自律自動車の道路走行において、自
律自動車の前方を横切る移動体を検出し、さらにこの移
動体が人間、自動車、もしくはそれ以外であるかを識別
することができる。従って、検出された移動体の種類に
よって種々の異なった動作を行うことが可能になる。例
えば、移動体が速度の遅い人間の場合は、自律自動車を
減速もしくは一時停止させる、または警笛を鳴らす等の
動作を切り替えることができ、自律自動車を安全に走行
させることが可能になる。

【００６８】本発明は上記実施形態に限定されるもので
はなく、次のように種々変形して実施することができ
る。 （１）上記実施形態では、１つの撮像装置によって時系
列画像を取得したが、２つまたはそれ以上の撮像装置を
例えばステレオ構成になるように設置し、これらの撮像
装置によって取得された複数の時系列画像に基づいて移
動体の識別を行うようにしてもよい。このようにすると
移動体までの距離に関する情報を解析することができる
ので、移動体の検知および識別の精度を向上させること
ができる。 （２）上記実施形態では、主成分分析によって得られる
第１主成分および寄与率に基づいて識別を行ったが、第
１主成分もしくは寄与率のいずれか一方のみを用いて識
別を行ってもよく、このようにすることで処理の高速化
をはかることができる。 （３）上記実施形態では、主成分分析を行った結果に基
づいて識別を行ったが、フロー方向の平均値もしくは分
散値を求めて、これらの値のいずれか一方もしくは両方
を用いて識別を行うようにしてもよい。 （４）上記実施形態では、検出点の明度とフロー方向と
に関する主成分分析を行ったが、フロー方向とフロー長
さに関する主成分分析を行うようにしてもよい。このよ
うにすると、例えば人間と自動車との識別をする場合
は、人間は複数の剛体の集合として構成されるため特徴
空間における広がりが大きくなるのに対し、自動車は単
一の剛体から構成されるため、フロー長さおよびフロー
方向の値はいずれもほぼ一定であり、特徴空間における
広がりが小さくなる。

【００６９】さらに、検出点の明度、フロー方向、フロ
ー長さ以外に、例えば検出点のエッジ強度、カラー値等
の他の属性情報を説明変量として組合せ、例えばより高
次元の特徴空間における統計分析に基づいて識別を行う
ようにしてもよい。このようにすることで、より精度の
高い識別が可能になる。 （５）上記実施形態では、時系列画像蓄積部１において
時系列画像をアナログ信号として取得し、動き情報検出
部２において時系列画像をディジタル信号に変換した後
に動き情報の検出を行ったが、時系列画像蓄積部１にお
いて時系列画像のアナログ−ディジタル変換を行う、も
しくは時系列画像をディジタル信号として取得するよう
にしてもよい。 （６）上記実施形態では、撮像装置によってリアルタイ
ムで時系列画像を取得したが、例えばビデオテープなど
の蓄積媒体に記録されている時系列画像に基づいて移動
体の検出および識別を行うようにしてもよい。 （７）上記実施形態では、直進する観測系の前方を横切
る移動体について検出および識別を行う場合について説
明したが、観測系の前方を垂直に移動する移動体、もし
くは観測系の前方を観測系の移動方向とは異なる方向に
移動する移動体等について、個別にもしくは組み合わせ
て検出および識別を行うようにしてもよい。

【００７０】

【発明の効果】以上の通り本発明によれば、時系列画像
から検出した動き情報に基づいて移動体を識別すること
で、従来のように移動体の形状情報に依存することな
く、簡便に安定して移動体の識別が可能である移動体識
別装置および方法が提供される。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る移動体識別装置の構
成を示すブロック図

【図２】同実施形態の動作を示すフローチャート

【図３】図１中の動き情報検出部の構成を示すブロック
図

【図４】動き情報検出部の動作を示すフローチャート

【図５】同実施形態における移動体の抽出原理を説明す
るための図

【図６】図１中の移動体領域抽出部の構成を示すブロッ
ク図

【図７】移動体領域抽出部の動作を示すフローチャート

【図８】同実施形態において取得された画像の例を示す
図

【図９】同実施形態において取得された画像の例を示す
図

【図１０】同実施形態において人間を含む場合の分布の
例

【図１１】同実施形態において自動車を含む場合の分布
の例

【図１２】同実施形態におけて人間を含む場合の主成分
分析の例

【図１３】同実施形態におけて自動車を含む場合の主成
分分析の例

【図１４】図１中の移動体識別部の構成を示すブロック
図

【図１５】移動体識別部の動作を示すフローチャート

【符号の説明】

１…時系列画像蓄積部，２…動き情報検出部，３…移動
体領域抽出部，４…移動体識別部，２１…候補点抽出
部，２２…局所相関値計算部，２３…最大相関点検出
部，２４…オプティカルフロー計算部，２５…オプティ
カルフローメモリ，３０…静止領域，３１…オプティカ
ルフロー，３２…動き中心点，３３…移動体，３４…オ
プティカルフロー，３５…動き中心点，３６…移動体領
域，３７…動き中心点，３８…推定残差，３９…推定残
差，４１…小領域設定部，４２…動き中心点推定部，４
３…総合推定残差計算部，４４…移動体候補領域検出
部，５１…人間，５２…頭，５３…上半身，５４…足，
５５…腕，６１…自動車，６２…車輪，７１…識別対象
判定部，７２…データ解析部，７３…識別判定部

Claims (8)

【特許請求の範囲】
1. 【請求項１】入力した時系列画像に基づいて、任意の画
   像中における所定の複数の位置について画像間における
   動き情報を検出する動き情報検出手段と、 検出された前記動き情報に基づいて、所定の動き情報と
   異なる動き情報に対応した前記任意の画像中における領
   域を移動体領域として抽出する移動体抽出手段と、 少なくとも抽出された前記移動体領域に包含される複数
   の位置について検出された前記動き情報に基づいて、前
   記移動体領域に存在する前記移動体を識別する移動体識
   別手段とを備えたことを特徴とする移動体識別装置。
2. 【請求項２】移動中の撮像装置により撮像された静止物
   体の画像を含む時系列画像中に現れる移動体を識別する
   移動体識別装置において、 入力した時系列画像における任意の時点の画像と該任意
   の時点の画像に後続する画像のうちの所定の画像とを、
   所定の画素点を中心とした所定の大きさの局所領域単位
   に比較して、該任意の時点の画像中で選択された複数の
   画素点について動き方向を少なくとも検出する動き情報
   検出手段と、 前記任意の時点の画像を予め設定された大きさの小領域
   に分割し、各小領域ごとに、該小領域に包含される画素
   点について検出された前記動き方向を元に動き中心点の
   位置およびその推定残差を求め、予め定められたしきい
   値より大きい推定残差を持つ小領域を、前記任意の時点
   の画像中において移動体が存在する移動体領域として抽
   出する移動体抽出手段と、 抽出された前記移動体領域または前記移動体領域を含む
   近傍領域に包含される画素点について検出された前記動
   き方向の分布に少なくとも基づいて、前記移動体領域に
   存在する前記移動体を識別する移動体識別手段とを備え
   たことを特徴とする移動体識別装置。
3. 【請求項３】前記動き情報検出手段は、前記任意の時点
   の画像中の各画素点を中心とした所定の大きさの局所領
   域における明度の分散値をそれぞれ算出し、該明度の分
   散値が予め設定されたしきい値よりも大きい値を持つ画
   素点を選択して前記動き方向を少なくとも検出すること
   を特徴とする請求項２に記載の移動体識別装置。
4. 【請求項４】前記動き情報検出手段は、前記任意の時点
   の画像中で選択された画素点を中心とする所定の大きさ
   の第１の局所領域と、前記任意の時点の画像に後続する
   画像中で前記任意の時点で選択された画素点に相対応す
   る画素点を中心とする所定の大きさの第２の局所領域に
   包含される各画素点を中心とする所定の大きさの第３の
   局所領域との相関値をそれぞれ算出し、該相関値が最大
   となる前記任意の時点の画像に後続する第３の局所領域
   に包含される画素点に基づいて、前記任意の時点の画像
   中で選択された画素点における前記動き情報を検出する
   ことを特徴とする請求項２に記載の移動体識別装置。
5. 【請求項５】前記移動体識別手段は、前記動き方向の分
   布に前記撮像装置の移動方向と直交する特定の方向の成
   分が含まれるか否かを識別基準として持つことを特徴と
   する請求項２に記載の移動体識別装置。
6. 【請求項６】前記移動体識別手段は、少なくとも前記動
   き方向を所定個数の説明変量のうちの一つとして統計分
   析を行い、この結果から得られる前記動き情報の分布と
   予め設定されている動き情報の分布とを比較することで
   前記移動体の識別を行うことを特徴とする請求項２に記
   載の移動体識別装置。
7. 【請求項７】前記移動体識別手段は、前記統計分析とし
   て前記所定個数の説明変量に対する主成分分析を行い、
   この結果から得られる第一主成分の方向および寄与率の
   少なくとも一方を前記動き情報の分布として用いること
   を特徴とする請求項６に記載の移動体識別装置。
8. 【請求項８】移動中の撮像装置により撮像された静止物
   体の画像を含む時系列画像中に現れる移動体を識別する
   移動体識別方法において、 入力した時系列画像における任意の時点の画像と該任意
   の時点の画像に後続する画像のうちの所定の画像とを、
   所定の画素点を中心とした所定の大きさの局所領域単位
   に比較して、該任意の画像中で選択された複数の画素点
   について動き方向を少なくとも検出し、 前記任意の時点の画像を予め設定された大きさの小領域
   に分割し、各小領域ごとに、該小領域に包含される画素
   点について検出された前記動き方向を元に動き中心点の
   位置およびその推定残差を求め、予め定められたしきい
   値より大きい推定残差を持つ小領域を、前記任意の時点
   の画像中において移動体が存在する移動体領域として抽
   出し、 抽出された前記移動体領域または前記移動体領域を含む
   近傍領域に包含される画素点について検出された前記動
   き方向の分布に少なくとも基づいて、前記移動体領域に
   存在する前記移動体を識別することを特徴とする移動体
   識別方法。