JPH07262375A - 移動体検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 次の時点で移動体が画像上に現われる領域を
予測することにより、オプティカルフロー抽出の効率化
と信頼性の向上を図る。 【構成】 ステレオ画像入力部は、外界の像を同時にス
テレオ撮影し時系列画像を得る。オプティカルフロー抽
出部は時系列画像からオプティカルフローを抽出する。
移動体検出部はオプティカルフローにより移動体領域を
検出し、画像上での移動体の移動ベクトルを求める。ス
テレオ処理部は移動体の３次元位置、３次元ベクトルを
算出する。抽出条件設定部はこれらの移動体領域と３次
元位置、ベクトルから、次の時点での移動体領域を予測
し、オプティカルフローの抽出領域、抽出密度を設定す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自律移動車・画像監視
等の分野におけるステレオ画像を利用した移動体検出装
置に関する。

【０００２】

【従来の技術】近年、自律的に移動する移動車の要求が
急速に高まっている。この技術においては、環境内を自
由に移動する障害物（以後、移動体）に対する危険回
避、経路制御のために、時々刻々と変化する移動体の追
跡を必要とする。

【０００３】障害物検出においては、超音波を照射し、
障害物表面上で反射されて戻ってくる音波の遅延時間か
ら距離情報を得る方式が既に実用化されている。この超
音波を用いた障害物検出方式においては、得られる障害
物の特徴は距離情報のみで、障害物が何であるかを特定
することは不可能であった。また、障害物または移動車
が移動する場合、検知される距離情報が時々刻々変化す
るため、背景との分離が困難となり安定に障害物が検出
されないという問題点があった。

【０００４】そこで、移動体検出にステレオカメラから
得られる時系列画像のオプティカルフローを用いた方式
が提案されている。オプティカルフローは、時系列画像
上での動きをベクトルとして画像レベルで抽出した結果
である。この方式では、オプティカルフローから移動体
を抽出、追跡し、その後に左右カメラ画像をステレオ照
合することにより、移動体の３次元空間的な位置を求
め、その時間変化から移動体の３次元空間的な動きを検
出している。オプティカルフロー抽出には、時系列画像
上の領域の動きを相関法などにより抽出するため、処理
に時間がかかるという問題がある。このため、移動体を
追跡し、次の時点での移動体が存在する画像上の領域
（移動体領域）を予測することにより、オプティカルフ
ロー抽出の領域を限定することが一般的に行われてい
る。図８に基づいて従来技術を説明する。例えば１つの
移動体がカメラ撮像面と平行に移動する場合を考える。
オプティカルフローから、移動体領域ａとその移動ベク
トルｂが検出される。このとき、移動体領域を囲む矩形
領域ｃを考え、移動ベクトルｂで、その矩形領域ｃを平
行移動することにより、次の時点に移動体が現われる領
域ｄが予測される。この予測された矩形領域内をオプテ
ィカルフローの抽出領域とすれば、オプティカルフロー
の抽出に要する処理は大幅に削減可能となる。

【０００５】しかしながら、オプティカルフローを用い
た障害物検出方式においては以下のような問題が存在す
る。前記の例では、移動体はカメラ撮像面と平行な平面
上を運動していたため、領域の予測が簡便に行えた。ま
た、移動車（観測系）の運動については考慮されていな
かった。しかし、一般的に、移動体と移動車は空間内を
３次元的に移動しているため、移動体の画像中に投撮さ
れた２次元的な領域形状とその領域の移動ベクトルのみ
からは、精度よくオプティカルフローの抽出領域を決定
できなかった。従って、従来はオプティカルフロー抽出
領域を移動体領域より十分大きく設定していた。このた
め、従来技術では、オプティカルフロー抽出処理の効率
に問題があった。例えば、移動体が視点から遠ざかり、
移動体領域が小さくなるのにもかかわらず、前記の大き
な抽出領域を用いる場合である。抽出領域を移動体領域
より十分大きく設定するのは、移動体が視点に近づき、
移動体領域がオプティカルフロー抽出領域の外部まで存
在した場合に、移動体領域と領域移動ベクトルが正確に
抽出できないためである。

【０００６】

【発明が解決しようとする課題】以上述べたように従来
技術によれば、画像上の抽出領域が実際の移動体領域に
対して常に大きく設定されていたため、オプティカルフ
ロー抽出処理に時間を要するという欠点があった。

【０００７】そこで本発明の目的は、画像上で実際の移
動体領域に一致した抽出領域を設定することにより、オ
プティカルフロー抽出処理の効率を向上させる移動体検
出装置を提供することにある。

【０００８】

【課題を解決するための手段】本発明は、移動体に対し
ステレオカメラにより左右画像を順次入力するためのス
テレオ画像入力手段と、このステレオ画像入力手段より
入力された左右画像及びこの直前に入力された左右画像
から移動体抽出領域に従って左右夫々のオプティカルフ
ローを抽出するオプティカルフロー抽出手段と、このオ
プティカルフロー抽出手段より抽出されたオプティカル
フローに従って左右夫々の移動体領域形状及び領域移動
ベクトルを検出する移動体検出手段と、前記ステレオ画
像入力手段からの左右画像に対し前記左右夫々の移動体
領域形状に従って移動体の３次元位置を求めると共に前
記左右夫々の領域移動ベクトルに従って移動体の３次元
移動ベクトルを求めるステレオ処理手段と、このステレ
オ処理手段より求められた移動体の３次元位置及び３次
元移動ベクトルから移動体の次の３次元位置を予測して
前記左右夫々の移動体領域形状とから左右画像上の次の
移動体抽出領域を夫々求める抽出条件設定手段とを備え
たことを特徴とするものである。

【０００９】

【作用】本発明によれば、ステレオ画像入力部は、ステ
レオカメラから得られる時々刻々の外界の像を同時に撮
像する。オプティカルフロー抽出部は、これらの時系列
画像から、抽出条件設定部により設定された抽出領域、
抽出密度（間隔）で、オプティカルフローを抽出し、移
動体検出部に転送する。移動体検出部では、オプティカ
ルフローから移動領域を抽出し、その移動ベクトル（領
域移動ベクトル）を求める。ステレオ処理部では、左右
の対応する移動体領域、領域移動ベクトルから、移動体
の３次元空間的な移動ベクトルを推定し抽出条件設定部
に転送する。 抽出条件設定部では、ステレオ処理部で
得られた移動体の３次元空間的な動きから移動体の次の
時点での３次元空間的な位置を予測し、さらに、移動体
検出部で得られる移動体形状から次の時点での移動体領
域を予測することによって、オプティカルフロー抽出領
域及び抽出密度を設定し、オプティカルフロー抽出部に
転送する。

【００１０】

【実施例】以下、図面に基づき本発明の一実施例につい
て説明を行う。図１に本発明全体の構成を示す。ステレ
オ画像入力部１１は、ステレオカメラから得られる時々
刻々の外界の像を同時に撮像する。

【００１１】オプティカルフロー抽出部１２ａ，１２ｂ
は、これらの時系列画像から、抽出条件設定部１５によ
り設定された抽出領域、抽出密度（間隔）で、オプティ
カルフローを抽出し、移動体検出部１３ａ，１３ｂに転
送する。

【００１２】移動体検出部１３ａ，１３ｂでは、オプテ
ィカルフローから移動体領域を抽出し、その移動ベクト
ル（領域移動ベクトル）を求める。ステレオ処理部１４
では、左右の対応する移動体領域、領域移動ベクトルか
ら、移動体の３次元空間位置とその移動ベクトルを推定
し抽出条件設定部１５に転送する。

【００１３】抽出条件設定部１５では、ステレオ処理部
１４で得られた移動体の３次元空間位置とその移動ベク
トルから移動体の次の時点での３次元空間位置を予測
し、さらに、移動体検出部１３ａ，１３ｂで得られる移
動体形状から次の時点での画像上の移動体領域を予測す
ることによって、オプティカルフロー抽出領域及び抽出
密度を設定する。これらオプティカルフロー抽出部１２
ａ，１２ｂに転送される。

【００１４】次に移動車（観測系）の運転が内界センタ
ー等により得られるものとし、さらに移動体が剛体でか
つ直線的に運動し、移動体の速度の変化に対して画像が
（時間方向）密に得られている場合を例にとり、本発明
の構成要素の詳細について説明する。

【００１５】図２は、ステレオ画像入力部１１の一構成
例である。画像入力制御部２２は同期信号を発生し、左
画像入力部２１ａ及び右画像入力部２１ｂに送信する。
左画像入力部２１ａ及び右画像入力部２１ｂでは、この
同期信号により左カメラ及び右カメラの周期をとり、外
界の像を同時に撮像し、前記オプティカルフロー抽出部
１２ａ，１２ｂ及びステレオ処理部１４に転送する。

【００１６】画像平面上で画素レベルでの動き抽出結果
がオプティカルフローである。オプティカルフロー抽出
法には領域照合法、時空間フィルタ法、濃度勾配法等が
ある。ここでは、最も構成が簡単な領域照合法（相関
法）を用いる。領域照合法は、前時点での画像上のある
画素の周辺領域について、その領域の様々な移動量に対
する次の時点の画素との相関を算出比較し、相関が最大
となる移動量を求め、その画素のフローベクトルとする
手法である。なお、この手法については、Ａｊｉｔ Ｓ
ｉｎｇｈの“Ｏｐｕｔｉｃａｌ Ｆｌｏｗ Ｃｏｍｐｕ
ｔａｔｉｏｎ：ＡＵｎｉｆｉｅｄ Ｐｅｒｓｐｅｃｔｉ
ｖｅ”（ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ
Ｐｒｅｓｓ）で詳述されている。図３は、前記オプテ
ィカルフロー抽出部１２ａ，１２ｂの一構成例である。
抽出制御部３１では、前記抽出条件設定部１５で設定さ
れてオプティカルフロー抽出領域及び抽出密度から、実
際の画像信号上の抽出画素位置を決め、相関算出部３２
に送信する。ただし、抽出条件設定部１５により抽出領
域、抽出密度が設定されていない処理開始時については
後述する。相関算出部３２は、抽出画素を中心とする領
域を移動し、前時点の画像信号との相互相関を算出す
る。

【００１７】フローベクトル判断部３３では、相関算出
部３２で算出した相関値を比較し、最大の相関値を持つ
領域移動量を求める。このときの領域移動量をオプティ
カルフローとし、移動体検出部に転送する。

【００１８】図４は、前記移動体検出部１３ａ，１３ｂ
の一構成例である。まず、ブロック分割部４１により、
前記オプティカルフロー抽出部１２で得られたオプティ
カルフロー抽出領域内のオプティカルフローを複数個の
ブロックに分割する（図９（ａ）（ｂ））。分割算出部
４２では、ブロック分割部４１で得られた各ブロック内
部のオプティカルフローの分散を

【００１９】

【数１】 により算出する。ここではｆはフローベクトル、Ｎはブ
ロック内のフローベクトル数、Ｂはブロック内部を表
す。

【００２０】しきい値処理部４３では、分散算出部４２
で得られた分散がしきい値以上となるブロック領域を領
域統合部４４に転送する。領域統合部４４は、しきい値
処理部４３で得られるブロック領域を統合し、動き輪郭
領域を求める。さらに、動き輪郭領域で囲まれた内部の
領域（内部領域）をブロック統合部４５に転送する。ま
た、動き輪郭領域とその内部領域の和を移動体領域と
し、前記ステレオ処理部１４及び前記抽出条件設定部１
５に転送する。

【００２１】ブロック統合部４５は、内部領域内のブロ
ック化されたオプティカルフローを統合する。すなわ
ち、前記オプティカルフロー抽出部１２で得られたオプ
ティカルフローから移動体領域内部のオプティカルフロ
ーを抽出したことになる。

【００２２】平均ベクトル算出部４６は、ブロック統合
部４５で得られるフローベクトルの平均ベクトルを算出
し、領域移動ベクトルとしてステレオ処理部１４に転送
する。

【００２３】図５は、前記ステレオ処理部１４の一構成
例である。大域照合部５１では、前記移動体検出部３１
ａ，３１ｂによって抽出された移動体領域の重心位置を
求め、局所照合部５２に転送する。これは、以後のステ
レオ照合の高速化をはかるためである。

【００２４】局所照合部５２では、前記ステレオ画像入
力部１１ａ，１１ｂで得られている画像信号に対し、大
局照合結果に基づきステレオ照合を行う。まず、左の重
心点を基準とし、この点を中心とする領域と、右の重心
点の周りの画像との間の相関値を求める。このとき、相
関値が最大となる右画像の対応する領域の中心は、左の
重心点の対応する点である可能性が高い。ここでは、こ
の点を左の重心点に対応する点とする。このとき、左の
重心点とこの点に対応する点を夫々の領域の代表点（領
域代表点）とする。さらに、例えば、この時の移動車の
カメラ位置等のような観測座標系の原点を基準原点とし
て設定し、２つの領域代表点の画像上のずれから、３角
測量の原理により、領域代表点の３次元空間的な位置を
算出する。

【００２５】ここで３角測量の原理とは、２つのカメラ
（ステレオカメラ）間の距離と、２つの領域代表点の左
右画像上の位置の差とから、２つのカメラ間の中点を原
点とした時の観測座標系での移動体の３次元位置が計算
できるものである。

【００２６】運動解析部５３では、移動体の移動ベクト
ルを算出する。まず、前記移動体検出部１３ａ，１３ｂ
で得られた領域移動ベクトルを領域代表点の移動と考え
る。このとき、この点の３次元空間内の位置を上述と同
様に３角測量の原理を用いて算出する。ここで求められ
た位置は観測系原点に関するものであるため、前述の仮
定により移動車の移動ベクトルが得られているから、前
記基準原点に関する位置となるように座標変換を行う。
（つまり領域代表点の移動後の３次元位置は、移動車の
移動後に入力された画像を用いて得られたものであるた
め、この３次元位置を移動車の移動前を基準とした位置
に変換する必要があるためである）こうして座標変換さ
れた３次元位置と、先に局所照合部５２で得られた移動
体の３次元位置の差が（３次元空間的な）異動ベクトル
となる。ここで求めた移動ベクトルは前記基準原点に関
するものであり、移動車の移動成分は含まれていないこ
とに注意する必要がある。この移動ベクトルは、局所照
合部５２で得られた移動体の３次元位置と共に前記抽出
条件設定部１５へ転送する。

【００２７】前記抽出条件設定部１５では、移動体の３
次元位置と３次元移動ベクトルから、次の時点での移動
体位置を予測し、次の時点でのオプティカルフロー抽出
領域の設定及び抽出密度の設定を行う。図６は、前記抽
出条件設定部１５の一構成例である。位置予測部６１で
は、前記ステレオ照合部１４で得られた移動体の３次元
位置と移動ベクトルから、次の時点での移動体位置を求
める。前述の仮定により、移動体の運動の変化に対して
画像は（時間方向に）密に得られており、さらにステレ
オ照合部１４で得られた移動ベクトルは観測系の移動成
分が除去されているため、予測はこの移動ベクトルによ
って現在の３次元位置を移動することにより行うことが
できる。つまりステレオ照合部１４で得られた移動体の
３次元位置を移動ベクトル分だけ移動させた３次元位置
が現在の移動体の位置である。従ってこの位置を移動ベ
クトル分だけさらに移動させた３次元位置が次の移動体
の位置と予測される（ここでは移動体が直線的に運動す
ることが前提条件となっている）。この予測された３次
元位置は前記基準原点に関するものである。こうして得
られた予測位置は、抽出領域設定部６２ａ，６２ｂに転
送される。

【００２８】抽出領域設定部６２ａ，６２ｂは、次の時
点の移動体の予測位置と前記移動体検出部１３ａ，１３
ｂで得られた移動体領域形状から、夫々のオプティカル
フロー抽出領域を求める。図７は、オプティカルフロー
抽出領域の設定法をステレオカメラの片方のカメラにつ
いて示したものである。まず、前記移動体検出部１３
ａ，１３ｂで得られた移動体領域ｍを覆う矩形領域ｉを
求め、これを画像投影面ｅと平行で移動体位置ｎを含む
平面ｎ上に逆透視変換により投影する（領域ｊ）。

【００２９】ここでの移動体位置ｎは、ステレオ照合部
１４より得られた移動体の３次元位置を移動ベクトル分
だけ移動させた現在の移動体の３次元位置である。次
に、前記ステレオ処理部１４で得られた移動体の次の時
点での予測位置ｐに、投影された矩形領域ｊを画像投影
面ｅと平行に移動する（領域ｋ）。つまり現在の移動体
の３次元位置ｎに対し、同じ移動ベクトル分（図７では
太点線の矢印で示す）だけ移動させた点ｐが次の時点の
移動体のの予測位置である。さらに、移動車の移動ベク
トルにより画像投影面を移動する（画像投影面ｆ）。こ
の移動ベクトルは移動車の内角センサ等により得られる
ものである。オプティカルフロー抽出領域ｑは、この平
行移動された矩形領域ｋを透視変換で移動後の画像投影
面ｆに投影することにより得られる。オプティカルフロ
ー抽出領域は前記オプティカル抽出部１２ａ，１２ｂ及
び抽出密度設定部６３ａ，６３ｂに転送される。

【００３０】ここで、オプティカルフローを１画素分抽
出するのに要する時間をτ、抽出領域設定部６２ａ，６
２ｂで設定された抽出領域の面積（画素数）をＳ、オプ
ティカルフローの抽出要求時間をＴとする。このとき、
抽出密度設定部６３ａ，６３ｂでは、Ｔ時間内に抽出領
域設定部６２ａ，６２ｂで設定された領域内のオプティ
カルフローが抽出可能なように、オプティカルフローを
抽出する密度Ｄ（間隔）を

【００３１】

【数２】Ｄ≧ｓｑｒｔ（Ｓτ／Ｔ） の条件を満たす最大の整数となるように求め、オプティ
カルフロー抽出部１２ａ，１２ｂに転送する。

【００３２】前記オプティカルフロー抽出部１２では、
処理の開始時において、前記抽出条件設定部１５により
オプティカルフローの抽出領域及び抽出密度が設定され
ていない。そこで、抽出領域を画像信号全体とし、前式
の条件を満たすオプティカルフロー抽出密度を設定す
る。画像信号全体をオプティカルフロー抽出領域とした
場合、オプティカルフロー抽出密度が低くなり、処理開
始時においては移動体領域を精度よく抽出することは困
難であるが、本例で述べたように抽出密度Ｄを適応的に
変化させることにより、時間の経過と共にオプティカル
フロー抽出領域は移動体に対して最適化されて行く。

【００３３】なお、本発明はこの実施例に限定されるも
のではない。例えば、抽出領域設定部６２ａ，６２ｂに
おいて、オプティカルフロー抽出領域を、矩形領域では
なく、移動体領域を囲む円形領域等とすることも可能で
ある。

【００３４】また、位置予測部６１において、移動体の
位置予測を、前時点での３次元空間的な移動情報だけで
はなく、過去のＮ時点の平均を用いる等により、予測精
度の向上も可能である。

【００３５】また、本実施例では空間内を直線運動する
移動体について述べたが、回転成分を含む移動体の場合
も、微小時間範囲では運動方向及び速度はほとんど変化
しないため、本例で述べたものと同一の構成を適用可能
である。

【００３６】

【発明の効果】本発明によれば、移動体の３次元位置及
び移動ベクトルから次の時点の移動体の３次元位置を予
測することにより、左右画像上のオプティカルフローの
抽出領域及び抽出密度を適応的に制御できる。従ってオ
プティカルフローの抽出処理の効率・信頼性を大幅に向
上させることができる。

【図面の簡単な説明】

【図１】 本発明の一実施例の全体構成図。

【図２】 本発明の一実施例によるステレオ画像入力部
の構成図。

【図３】 本発明の一実施例によるオプティカルフロー
抽出部の構成図。

【図４】 本発明の一実施例による移動体検出部の構成
図。

【図５】 本発明の一実施例によるステレオ処理部の構
成図。

【図６】 本発明の一実施例による抽出条件設定部の構
成図。

【図７】 本発明によるオプティカルフロー抽出領域設
定法を示す図。

【図８】 従来技術によるオプティカルフロー抽出領域
を示す図。

【図９】 オプティカルフローを用いた移動体の抽出法
を示す図。

【符号の説明】

１１…ステレオ画像入力部 １２ａ，１２ｂ…オプティカルフロー抽出部 １３ａ，１３ｂ…移動体検出部 １４…ステレオ処理部 １５…抽出条件設定部 １２ａ，１２ｂ…画像入力部 ２２…画像入力制御部 ３１…抽出制御部 ３２…相関算出部 ３３…フローベクトル判断部 ４１…ブロック分割部 ４２…分散算出部 ４３…しきい値処理部 ４４…領域統合部 ４５…ブロック統合部 ４６…平均ベクトル算出部 ５１…大域照合部 ５２…局所照合部 ５３…運動解析部 ６１…位置予測部 ６２ａ，６２ｂ…抽出領域設定部 ６３ａ，６３ｂ…抽出密度設定部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/20

Claims (5)

【特許請求の範囲】
1. 【請求項１】移動体に対しステレオカメラにより左右画
   像を順次入力するためのステレオ画像入力手段と、この
   ステレオ画像入力手段より入力された左右画像及びこの
   直前に入力された左右画像から移動体抽出領域に従って
   左右夫々のオプティカルフローを抽出するオプティカル
   フロー抽出手段と、このオプティカルフロー抽出手段よ
   り抽出されたオプティカルフローに従って左右夫々の移
   動体領域形状及び領域移動ベクトルを検出する移動体検
   出手段と、前記ステレオ画像入力手段からの左右画像に
   対し前記左右夫々の移動体領域形状に従って移動体の３
   次元位置を求めると共に前記左右夫々の領域移動ベクト
   ルに従って移動体の３次元移動ベクトルを求めるステレ
   オ処理手段と、このステレオ処理手段より求められた移
   動体の３次元位置及び３次元移動ベクトルから移動体の
   次の３次元位置を予測して前記左右夫々の移動体領域形
   状とから左右画像上の次の移動体抽出領域を夫々求める
   抽出条件設定手段とを備えたことを特徴とする移動体検
   出装置。
2. 【請求項２】前記抽出領域設定手段は、左右画像上の次
   の移動体抽出領域の面積に応じてオプティカルフローの
   抽出密度を夫々求めるものである請求項１記載の移動体
   検出装置。
3. 【請求項３】前記オプティカルフロー抽出手段は、前記
   抽出領域設定手段より求められた移動体抽出領域及び抽
   出密度に従って左右画像から夫々のオプティカルフロー
   を抽出するものである請求項２記載の移動体検出装置。
4. 【請求項４】前記ステレオ処理手段は、左右画像に対し
   前記左右夫々の移動体領域形状に従って夫々の領域代表
   点を求め、これらの左右画像上のずれと前記ステレオカ
   メラの観測座標系の原点とから３角測量により移動体の
   ３次元位置を求めるものである請求項１記載の移動体検
   出装置。
5. 【請求項５】前記ステレオ処理手段は、左右画像の夫々
   の領域代表点に対し前記左右夫々の領域移動ベクトルに
   従って移動後の３次元位置を求め、前記観測座標系の原
   点に対する位置となるよう座標変換を行い、この３次元
   位置と前記移動体の３次元位置との差を３次元移動ベク
   トルとするものである請求項４記載の移動体検出装置。