JPH07120204B2 - 障害物検出装置 - Google Patents

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、例えば原子力発電施設の保守・点検や宇宙空
間での組立て作業等を行なう自律移動ロボット等の移動
体に用いられる障害物検出装置に関する。

（従来の技術） 原子力発電施設や宇宙空間など、人間の到達が困難な場
所では、人間に代わって様々な作業を行なう自律移動ロ
ボットが要求される。これらのロボットを安全に作業場
所まで移動させるためには、移動環境に存在する障害物
を検出する機能が不可欠である。

このような障害物検出を行なうために、従来では超音波
センサ等の近接センサが用いられてきたが、近年は視覚
センサの小型・軽量化、画像処理装置の高速化に伴なっ
て、移動ロボットにITVカメラを搭載し、より高度の情
報処理を行なわせる試みが盛んになってきた。

この際、ITVカメラにより得られる画像全体を処理・認
識して、障害物の検出処理を繰返すのは、効率が悪く実
用的でない。そこで、ITVカメラを２台用いたステレオ
カメラによりステレオ画像を取得し、そのステレオ画像
から各々エッジを検出した後、これからロボットが進行
しようとする空間までの距離（障害物検出距離）に対応
する左右画像間のずれ（視差）で照合して、この視差を
有するエッジ（照合エッジという）を抽出し、それらの
照合エッジを組合わせることにより、障害物領域を切出
す手法がM.Watanabe et,al.,“Obstacle Detection Met
hod With Stereo Vision",Proc.of 5th SCIA,vol.1,pp3
25−334（1987）によって提案されている。

しかしながら、この手法では照合エッジを効率良く取出
せる反面、照合エッジを組合わせるのにエッジ相互の連
結関係を求めなければならず、長い処理時間を必要とす
る。また、複雑な背景下で偽照合が発生した場合、それ
を障害物と誤認識する危険性が高い。

（発明が解決しようとする課題） 上述したように、ステレオ画像から各々エッジを検出
し、障害物検出距離に対応する視差を有する照合エッジ
を抽出して組合わせることにより障害物領域を切出す従
来の技術では、照合エッジを組合わせるため長い処理時
間を必要とし、また背景部の影響により誤認識を起こし
やすいという問題があった。

本発明は、従来より短い処理時間で、しかも背景部の影
響を受けることなく障害物を確実に検出できる障害物検
出装置を提供することを目的とする。

［発明の構成］ （課題を解決するための手段） 本発明の障害物検出装置では、移動体の移動環境の左右
一対の画像であるステレオ画像を取得するステレオ画像
取得手段と、このステレオ画像取得手段にて取得された
ステレオ画像から各々エッジ画像を抽出し、この抽出さ
れたエッジ画像を追跡してエッジ位置、エッジ間の連結
関係、各エッジの端点及び屈曲点の属性情報を登録する
エッジ抽出手段と、前記移動体が移動する空間までの障
害物検出距離に対応する視差を設定する視差設定手段
と、前記エッジ抽出手段にて得られた左右のエッジ画像
を前記視差設定手段にて設定された視差だけ互いにずら
せて重ね合わせる視差分シフト手段と、この視差分シフ
ト手段にて重ね合わされたエッジ画像の近傍領域の類似
度を計算する類似度計算手段と、この類似計算手段にて
計算された類似度の大きいエッジ画像を照合エッジとし
て抽出する照合エッジ抽出手段と、前記エッジ抽出手段
にて抽出されたエッジのうち、前記登録された属性情報
により横向の寸法差の小さいものを選出する縦エッジ選
出手段と、この縦エッジ選出手段にて得られた左右のエ
ッジ画像を前記視差設定手段にて設定された視差だけ互
いにずらせて重ね合わせる縦エッジ視差分シフト手段
と、この縦エッジ視差分シフト手段にて重ね合わされた
エッジ画像の近傍領域の類似度を計算する縦エッジ類似
度計算手段と、この縦エッジ類似度計算手段にて計算さ
れた類似度の大きいエッジ画像を照合エッジとして抽出
する照合縦エッジ抽出手段と、前記ステレオ画像の一方
の画像上に指定された領域内の平均密度値及び濃度分散
値を計算して通路基準値を算出する通路基準値計算手段
と、前記ステレオ画像の一方の画像上に設定された局所
領域のうち、前記通路基準値計算手段にて算出された通
路基準値との差が閾値以下であって、且つエッジの存在
しない局所領域を抽出して連結させ、得られた連結領域
のうちで最大面積の連結領域を通路候補領域とする通路
候補領域抽出手段と、この通路候補領域抽出手段により
抽出された通路候補領域と前記縦集合エッジ抽出手段に
より抽出された照合縦エッジとの干渉を判定する干渉判
定手段と、この干渉判定手段により干渉すると判定され
た照合縦エッジに接続される照合エッジを障害物エッジ
として抽出することで障害物を検出する連結エッジ抽出
手段とを備えることを特徴とする。

（作用） 一般にロボットの移動環境下において、偽照合が発生す
る可能性が高いのは、視点より高い位置にある背景部で
あり、一方、通路部には比較的広い空間が存在する。こ
のためステレオ画像の一方から通路候補領域を抽出し、
これと干渉する縦照合エッジのみを障害物の輪郭候補と
して、これらと照合エッジとの接続を調べることで障害
物を検出すれば、偽照合による誤検出は大幅に低減され
る。また、通路領域は一般にシーンの下方にある広い連
結領域であるため、通路候補領域の抽出は比較的容易で
ある。

このように本発明では、通路候補領域を内包する照合縦
エッジと接続される照合エッジを障害物のエッジとして
検出するため、従来の技術のように画像の全領域につい
て照合エッジを組合わせる処理が不要となり、処理時間
が短縮されるばかりでなく、背景部での偽照合による誤
検出が減り、障害物検出の信頼性が高くなる。

（実施例） 以下、図面を参照して本発明の一実施例について説明す
る。

第１図は本発明の一実施例に係る障害物検出装置の全体
的な構成を示すブロック図である。同図において、ステ
レオ画像入力部１は移動体（例えば自律ロボット）に取
付けられ、移動体の移動環境のステレオ画像、すなわち
左右一対の画像を撮像する。得られたステレオ画像はエ
ッジ抽出部２に入力され、各画像中のエッジが抽出され
る。抽出されたエッジは縦エッジ選出部３及びエッジ照
合部４に入力される。

縦エッジ選出部３はエッジ抽出部２で抽出されたエッジ
のうち縦方向に伸びたエッジ（縦エッジという）を選出
する。エッジ照合部４は、エッジ抽出部２で抽出された
エッジのうち、予め定められた障害物検出距離に対応す
る視差を有するエッジのみを照合エッジとして抽出す
る。縦エッジ抽出部３により抽出された縦エッジは、縦
エッジ照合部５に入力され、選出された縦エッジのうち
で障害物検出距離に対応する視差を有する縦エッジのみ
を照合縦エッジとして抽出される。

一方、ステレオ画像入力部１からのステレオ画像のいず
れか一方の画像は、基準画像としてさらに通路基準値計
算部６及び通路候補領域抽出部７にも入力される。本実
施例では以後、左画像を基準画像として説明するが、右
画像を基準画像としても構わない。通路基準値計算部６
は基準画像である左画像内に指定された領域（例示領
域）内の通路基準値としての平均濃度値及び濃度分散値
を計算するものである。また、通路候補領域抽出部７は
計算された通路基準値に基づいて左画像中の通路候補領
域を抽出する。

通路候補領域抽出部７によって得られた通路候補領域の
情報と、エッジ照合部４及び縦エッジ照合部５によって
得られた照合エッジ及び照合縦エッジの情報は障害物検
出部８に入力される。障害物検出部８では通路候補領域
と照合縦エッジとの包含関係を調べ、更に通路候補領域
内に含まれる照合縦エッジと接続された照合エッジを障
害物のエッジとして抽出することにより、障害物の検出
を行なう。

次に、第１図の各部の詳細な構成を説明する。

第２図にステレオ画像入力部１の構成例を示す。２台の
ITVカメラ11,12によって撮像されたステレオ画像は、A/
D変換器13,14によりディジタル化された後、ITVインタ
フェース15,16及び画像バス19を経て、ディジタル画像
メモリ17,18に格納される。ITVメモリ（ディジタル画像
メモリ）17,18には制御バス20も接続されている。な
お、エッジ照合部４及び縦エッジ照合部５での照合処理
を簡易化するため、ITVカメラ11,12の光軸を平行に設定
しておくことが望ましい。

第３図にエッジ抽出部２の構成例を示す。第２図のITV
メモリ17,18に格納された画像は、空間フィルタ回路31
によりランダムノイズ除去のための２次微分型フィルタ
リングが施された後、２値化回路32で２値画像に変換さ
れる。この２値画像は細線化回路33により線幅「１」の
２値エッジ像に整形される。この２値エッジ像はラベリ
ング回路34に入力され、各エッジの長さが計測される。
そして、ノイズ除去回路35により、ラベリング回路34で
計測されたエッジ長の短いものがノイズとして除去さ
れ、ステレオ照合を行なうためのエッジ画像が作成され
る。そして、作成されたエッジ画像を追跡することによ
り、エッジ位置、エッジ間の連結関係、各エッジの端点
・屈曲点などの属性情報を記載したステレオ画像の左右
画像のそれぞれについて、エッジセグメントテーブル3
6,37を作成する。

縦エッジ選出部３ではエッジセグメントテーブル36,37
を用い、エッジの両端点の横方向の寸法差の小さいもの
を縦エッジとして選出し、図示しない縦エッジテーブル
に格納する。

第４図にエッジ照合部４の構成例を示す。視差設定回路
41ではロボットがこれから進行しようとする空間までの
距離Ｌ（障害物検出距離）に対応する視差Ｓが設定され
る。すなわち、ITVカメラ11,12の光軸を揃えた場合の障
害物検出距離Ｌと視差Ｓとの間には Ｓ＝ε・ａ・l/L ε：変換比 a:ITVカメラ11,12の間隔 l:焦点距離 の関係があり、ε,a,lはステレオカメラの構成により決
まる定数であるから、障害物検出距離Ｌが定まれば視差
Ｓが求まる。

視差分シフト回路42では、エッジ抽出部２で得られた左
右のエッジ画像を視差Ｓ分だけ互いにずらせたた後、重
ね合せる。類似度計算回路43では、重なったエッジ画像
の近傍領域の類似度が計算される。そして、照合エッジ
抽出回路44で類似度の大きいエッジ画像が照合エッジと
して抽出され、さらにエッジセグメントテーブル36,37
を参照して照合エッジの画像上の位置が各々求められ
て、照合エッジテーブル45に格納される。このような処
理が視差の範囲にわたって繰り返される。

縦エッジ照合部５もエッジ照合部４と同じ構成であり、
入力される情報が縦エッジである点だけがエッジ照合部
４と異なる。

尚、エッジ抽出部２及びエッジ照合部４の構成に関して
は、先の公知文献にも詳しく述べられているので、これ
以上の詳しい説明は省略する。

第５図に通路基準値計算部６の構成例を示す。例示領域
設定回路51においては、例えばマウス及びカーソルキー
などの対話型入力装置52を用いて左画像中に通路領域の
一部（これを例示領域という）が指定される。濃度平均
計算回路53及び濃度分散計算回路54は、こうして指定さ
れた例示領域内の画像の濃度平均値及び濃度分散値を通
路基準値として基準値メモリ55に格納する。なお、基準
値メモリ55の内容は通路候補領域を抽出する度毎に、そ
の通路候補領域において計算された値に更新される。

第６図に通路候補領域抽出部７の構成例を示す。局所マ
スクアドレス制御回路61は基準画像（左画像）中に通路
候補領域の最小単位である局所領域を設定し、第５図に
おける濃度平均計算回路53及び濃度分散計算回路54によ
り、この局所領域内の濃度平均値及び濃度分散値が計算
される。そして、これら濃度平均値及び濃度分散値の計
算結果と、第５図における基準値メモリ55に格納された
通路基準値とが比較回路62により比較され、その比較結
果が得点加算回路63の一方の入力に入力に与えられる。

一方、左エッジセグメントテーブル36を用いて局所マス
クアドレス制御回路61により指定された局所マスク内の
エッジの有無がマスク内エッジ検出回路64により判定さ
れ、その判定結果が得点加算回路63の他方の入力に与え
られる。得点加算回路63では比較回路62の比較結果が
「濃度平均値及び濃度分散値が基準値より大」であり、
且つマスク内エッジ検出回路64の判定結果が「局所マス
ク内にエッジが存在しない」である場合、この局所領域
を通路候補領域と判断し、バッファメモリに予め与えら
れた得点を加算する。

このような処理が画像の下方から上方に向かってアドレ
スを更新しつつ、繰り返される。ITVカメラ11,12の光軸
が床面に平行の場合、通路領域は画像の中心より下側に
投影されるため、左画像の下半分のみを処理すればよ
い。

こうして得点加算回路63によるマスク処理が終了した
後、連結領域抽出回路65により得点が閾値以上の連結領
域が抽出され、更に面積計算回路66により最大面積の連
結領域が求められ、それが通路候補領域として抽出され
る。

第７図に障害物検出部８の構成例を示す。干渉判定回路
71により第１図における縦エッジ照合部５内の縦エッジ
照合テーブル72に格納された照合縦エッジと、通路候補
領域抽出部７で抽出された通路候補領域との干渉が判定
され、通路候補領域内に端点が含まれる照合縦エッジが
抽出される。次に、連結エッジ抽出回路73により照合エ
ッジテーブル45を参照して、通路候補領域内に含まれる
照合縦エッジに接続される照合エッジが存在するかどう
かが調べられ、存在する場合、その照合エッジが障害物
のエッジとして抽出される。そして、移動体からこの障
害物までの距離が計測される。

以上のような処理によって、ロボットがこれから進行し
ようとする空間内の障害物の有無が検出される。

［発明の効果］ 本発明によれば、通路候補領域を抽出し、照合縦エッジ
のうち通路候補領域と干渉するものを選択し、これと接
続される照合エッジを障害物のエッジとして検出するこ
とによって、画像全体にわたり照合エッジを組合わせる
処理を行なうことなく障害物検出が可能となり、処理時
間の短縮を図るとともに、背景部における偽照合の影響
が軽減され、精度の高い障害物検出が可能となる。

【図面の簡単な説明】

第１図は本発明の一実施例に係る障害物検出装置の概略
構成を示すブロック図、第２図は第１図におけるステレ
オ画像入力部の構成例を示す図、第３図は第１図におけ
るエッジ抽出部の構成例を示す図、第４図は第１図にお
けるエッジ照合部の構成例を示す図、第５図は第１図に
おける通路基準値計算部の構成例を示す図、第６図は第
１図における通路候補領域抽出部の構成例を示す図、第
７図は第１図における障害物検出部の構成例を示す図で
ある。 １……ステレオ画像入力部 ２……エッジ抽出部 ３……縦エッジ選出部 ４……エッジ照合部 ５……縦エッジ照合部 ６……通路基準値計算部 ７……通路候補領域抽出部 ８……照合物検出部

Claims (1)

【特許請求の範囲】
1. 【請求項１】移動体の移動環境の左右一対の画像である
   ステレオ画像を取得するステレオ画像取得手段と、 このステレオ画像取得手段にて取得されたステレオ画像
   から各々エッジ画像を抽出し、この抽出されたエッジ画
   像を追跡してエッジ位置、エッジ間の連結関係、各エッ
   ジの端点及び屈曲点の属性情報を登録するエッジ抽出手
   段と、 前記移動体が移動する空間までの障害物検出距離に対応
   する視差を設定する視差設定手段と、 前記エッジ抽出手段にて得られた左右のエッジ画像を前
   記視差設定手段にて設定された視差だけ互いにずらせて
   重ね合わせる視差分シフト手段と、 この視差分シフト手段にて重ね合わされたエッジ画像の
   近傍領域の類似度を計算する類似度計算手段と、 この類似度計算手段にて計算された類似度の大きいエッ
   ジ画像を照合エッジとして抽出する照合エッジ抽出手段
   と、 前記エッジ抽出手段にて抽出されたエッジのうち、前記
   登録された属性情報により横向の寸法差の小さいものを
   選出する縦エッジ選出手段と、 この縦エッジ選出手段にて得られた左右のエッジ画像を
   前記視差設定手段にて設定された視差だけ互いにずらせ
   て重ね合わせる縦エッジ視差分シフト手段と、 この縦エッジ視差分シフト手段にて重ね合わされたエッ
   ジ画像の近傍領域の類似度を計算する縦エッジ類似度計
   算手段と、 この縦エッジ類似度計算手段にて計算された類似度の大
   きいエッジ画像を照合エッジとして抽出する照合縦エッ
   ジ抽出手段と、 前記ステレオ画像の一方の画像上に指定された領域内の
   平均密度値及び濃度分散値を計算して通路基準値を算出
   する通路基準値計算手段と、 前記ステレオ画像の一方の画像上に設定された局所領域
   のうち、前記通路基準値計算手段にて算出された通路基
   準値との差が閾値以下であって、且つエッジの存在しな
   い局所領域を抽出して連結させ、得られた連結領域のう
   ちで最大面積の連結領域を通路候補領域とする通路候補
   領域抽出手段と、 この通路候補領域抽出手段により抽出された通路候補領
   域と前記縦照合エッジ抽出手段により抽出された照合縦
   エッジとの干渉を判定する干渉判定手段と、 この干渉判定手段により干渉すると判定された照合縦エ
   ッジに接続される照合エッジを障害物エッジとして抽出
   することで障害物を検出する連結エッジ抽出手段と、 を備えたことを特徴とする障害物検出装置。