JPH0478924B2

JPH0478924B2 -

Info

Publication number: JPH0478924B2
Application number: JP62179088A
Authority: JP
Inventors: Mutsumi Watanabe
Original assignee: Agency of Industrial Science and Technology
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 1987-07-20
Filing date: 1987-07-20
Publication date: 1992-12-14
Also published as: JPS6423109A

Description

【発明の詳細な説明】

［発明の目的］（産業上の利用分野）この発明は、物体を２方向から撮像し、この２
方向からの画像により物体を立体的に視て（所謂
ステレオ視して）、例えば障害物等の物体の位置
等を検出するために使用されるステレオ視覚装置
に関する。（従来の技術）例えば、原子力発電所の保守および点検等の極
限作業を放射能等に対する安全性を考慮してロボ
ツトに行なわせる場合、ロボツトが移動場所にお
いて障害物等に衝突しないように障害物等の物体
の位置等を検出するためにロボツトに自律的な移
動能力を持たせ、移動場合に存在する物体を三次
元的に、すなわち立体的に観察させ（例えば、雑
誌Proceedings of the IEEE、Vol.71、No.７、
PP.872−884、1983年発行のエイチ・ピー・モラ
ベツク（H.P.Moravec）による「The Standard
Cart and the CMV Rover」参照）、これにより
障害物等を検出し、これを避けて目的地まで移動
することが必要である。このように物体の三次元的位置情報を得る方
法、すなわち物体をステレオ的に視て物体の位置
情報を得る方法として、従来、例えば超音波を使
用する方法やレーザ光パターンを投影する方法等
の多くの方法が提案されているが、一般環境にお
いて利用できること、画像を使用することにより
移動環境全体を画像的または三次元的に認識かつ
理解するという処理の高度化ができるようになつ
てきた等の理由からステレオ視覚法、すなわち２
台のカメラを用いて２方向から物体を撮像し、こ
の２方向からの２つの左右画像における対応点を
求め、この対応点とカメラの配置から三角測量の
原理により物体の三次元位置および物体までの距
離を求めるステレオ視覚法が従来から研究されて
いる（例えば、電子技術総合研究所彙報、第37
巻、第12号、第1101〜1119頁、1974年発行の安
江、白井著による「物体認識のための両眼立体
視」参照）。この従来のステレオ視覚法においては、２つの
左右画像の中の物体中の特徴点（物点）を左右両
画像から検出し、この検出した対応点に対して三
角測量の原理を適用して物点の位置を検出してい
るが、物点を対応付けするようにしているため、
この点が影や雑音の影響を受け、抽出失敗、物体
の重なり、左右カメラの視野の違い等によつて対
応付けを誤り、物体の位置計算が正確にできず、
信頼性が大幅に低下する。このような点を解決するために、従来、DPマ
ツチングを使用して広い範囲の整合性を保つよう
に対応付けを行なう別の方法が提案されている
（例えば、電子通信学会誌、第J68−Ｄ、No.４、第
554〜561頁、1985年４月発行の太田、正井、池田
著による「動的計画法によるステレオ画像の区間
対応法」参照）。（発明が解決しようとする問題点）上述した従来のステレオ視覚法では、影や雑音
の影響によつて必要な画像情報が失われ易いこ
と、物体の重なりやカメラの視野の違い等によつ
て対応付けを誤ると信頼性が大幅に低下すること
等の問題点があり、また別の方法では整合性の指
標の決め型に問題がある。この発明は、上記に鑑みてなされたもので、そ
の目的とするところは、被撮像体の三次元位置を
誤りなく正確かつ確実に検出することができるス
テレオ視覚装置を提供することができる。［発明の構成］（問題点を解決するための手段）上記問題点を解決するため、被撮像体を２方向
から撮像し、この２方向からの第１および第２の
画像により被撮像体を立体的に視て三次元位置を
測定するステレオ視覚装置であつて、この発明
は、上記第１の画像情報から特徴部を検出する特
徴部検出手段と、上記特徴部に対して所定領域の
第１のマスクウインドを形成する第１のマスクウ
インド形成手段と、上記第１の画像に対して測定
距離に対応する視差分だけ上記第１のマスクウイ
ンドに対してずれた位置にマスクウインドを第２
の画像上に形成する第２のマスクウインド形成手
段と、上記第１および第２の画像のそれぞれ対応
するマスクウインド内の類似指標を算出する類似
指標算出手段とを有することを要旨とする。（作用）この発明のステレオ視覚装置においては、被撮
像体を２方向から撮像した第１の画像から特徴部
を検出し、該特徴部に対して所定領域の第１のマ
スクウインドを形成し、該第１のマスクウインド
に対して視差分ずれた第２のマスクウインドを形
成し、第１および第２のマスクウインド内の対応
する第１および第２の画像の類似指標を算出して
いる。（実施例）以下、図面を用いてこの発明の実施例を説明す
る。第１図はこの発明の一実施例に係るステレオ視
覚装置の要部の構成を示すブロツク図である。こ
のステレオ視覚装置は、例えば原子力発電所内の
保守および点検等の極限作業を行なうために原子
力発電所内を移動するロボツトに組み込まれ、ロ
ボツトが移動する方向に存在する障害物等の物体
を検出し、ロボツトが物体に衝突しないように制
御するために使用されているものである。本ステレオ視覚装置は、例えば上記ロボツトに
水平方向に左右に並べて搭載された２台の左右の
カメラを有し、この２台のカメラによりロボツト
が移動する方向に存在する物体、すなわち移動環
境に対する２つの左右画像を撮像し、この撮像し
た左右の画像である移動環境画像情報が第１図の
矢印１で示すようにステレオ画像入力部３に入力
されている。上述した２台のカメラにより撮像されてステレ
オ画像入力部３に入力された移動環境の左右一対
の原画像情報は、いずれか一方の画像、例えば左
画像情報が特徴エツジ抽出部５に供給され、ここ
で後述するように撮像した画像の中で特徴のある
エツジ部分が抽出される。この抽出された特徴エ
ツジ部はマスク発生部７に供給される。このマス
ク発生部７は上記特徴エツジ部に対する左マスク
ウインドを作成し、この左マスクウインドに対応
する左原画像を左ウインドメモリとして記憶す
る。マスク発生部７において左ウインドメモリとし
て記憶された特徴エツジ部の左原画像は、類似指
標計算判定部９に供給され、左ウインドメモリに
対して視差分左にずれた位置を中心にした右マス
クウインドを作成し、この右マスクウインドに対
する右原画像を右ウインドメモリとして記憶す
る。それから、このようにそれぞれ記憶された左
右のウインドメモリ内の画像の類似指標値を算出
し、この類似指標値から障害物等の物体があるか
否かが判定され、矢印１１で示すように障害物有
無情報として出力されるのである。次に、第２図ないし第４図を参照して特徴エツ
ジ抽出部５、マスク発生部７、類似指標計算判定
部９各部の構成の詳細についてそれぞれまず説明
してから、全体の作用を第５図ないし第７図も参
照して説明する。まず、特徴エツジ抽出部５は、第２図に示すよ
うに、画像バス１３およびアドレスバス１５に接
続された第１ないし第５の画像メモリ１７，１
９，２１，２３，２５および同様に画像バス１３
およびアドレスバス１５に接続され、画像バス１
３を介して上記各画像メモリに接続されている
TVカメラ２７、空間フイルタリング回路２９、
２値化回路３３、細線化回路３７、ノイズ除去回
路４１を有するとともに、上記空間フイルタリン
グ回路２９に接続された空間フイルタバンク３
１、２値化回路３３に接続されたしきい値メモリ
３５、細線化回路３７に接続された論理フイルタ
バンク３９、ノイズ除去回路４１に接続されたし
きい値メモリ４３を有して構成される。なお、第
１の画像メモリ１７は、この第２図においては１
つのみ示されているが、この第１の画像メモリ１
７は上記左右の２台のカメラに対応して第１の左
画像メモリ１７Ｌおよび第１の右画像メモリ１７
Ｒからなり、第１の左画像メモリ１７Ｌには左カ
メラで撮像した左原画像情報が記憶され、第１の
右画像メモリ１７Ｒには右カメラで撮像した右原
画像情報が記憶されるようになつている。また、マスク発生部７は、第３図に示すよう
に、上記画像バス１３およびアドレスバス１５に
接続され、第５の画像メモリ２５に上記特徴エツ
ジ抽出部５で記憶された特徴エツジの位置を検出
するエツジ位置検出回路４５、このエツジ位置検
出回路４５で検出した特徴エツジの位置情報を記
憶する特徴エツジ位置メモリ４７、この特徴エツ
ジ位置メモリ４７に記憶された特徴エツジ位置情
報に対するマスクウインド、特に左マスクウイン
ドを作成する左マスクウインド作成回路４９Ｌ、
この左マスクウインド作成回路４９Ｌで作成され
た左マスクウインドに対応する左原画像を第１の
左画像メモリ１７Ｌから読み出して記憶する左ウ
インドメモリ５１Ｌを有する構成である。更に、類似指標計算判定部９は、第４図に示す
ように、上記マスク発生部７を構成する左マスク
ウインド作成回路４９Ｌおよび左ウインドメモリ
５１Ｌにそれぞれ対応して右マスクウインド作成
回路４９Ｒおよび右ウインドメモリ５１Ｒを有す
るとともに、測定する距離Ｌに対応する視差情報
Ｓを上記右マスクウインド作成回路４９Ｒに供給
する視差指定回路５３、上記左ウインドメモリ５
１Ｌおよび右ウインドメモリ５１Ｒから出力され
る左画像および右画像の類似指標値を算出する類
似指標計算回路５５、およびこの類似指標計算回
路５５で算出された類似指標値を記憶する類似指
標メモリ５７を更に有する構成である。以上のように構成される本実施例のステレオ視
覚装置の作用を第５図ないし第７図を参照して説
明する。まず、前期ステレオ画像入力部３を介して左右
の２台のカメラで撮像された左右の原画像情報
は、それぞれ第１の左画像メモリ１７Ｌおよび第
１の右画像メモリ１７Ｒに記憶される。この左右
の原画像情報のうち一方の原画像、例えば第１の
左画像メモリ１７Ｌに記憶されている左の原画像
情報は、第１の左画像メモリ１７Ｌから空間フイ
ルタリング回路２９に供給され、この左の原画像
に写つている物体または移動環境の画像の中のエ
ツジ部の強調処理が行なわれ、このエツジ強調左
画像情報は第２の画像メモリ１９に記憶される。
この空間フイルタリング回路２９において、エツ
ジ強調左画像情報を求める動作は、第１の左画像
メモリ１７Ｌから供給される画像値と空間フイル
タリング回路２９に接続されている空間フイルタ
バンク３１に貯えられている数値列との積和演算
を行なうことにより達成されるものであり、これ
は乗算器および加算器によつて構成される。一例
として、第５図ａに示すような左カメラで撮像し
た左原画像を空間フイルタリングする場合につい
て、例えば空間フイルタとして次に示す重み係数
を持つ３×３空間フイルタを使用して処理した結
果のエツジ強調左画像を第５図ｂに示す。

【表】第５図ａの画像には建物の中の壁、柱、天井の
梁等の構造体が写つているが、第５図ｂにはこの
構造体のエツジ部のみが強調された線のようなエ
ツジ強調左画像が写つており、この第５図ｂのエ
ツジ強調左画像に対応するエツジ強調左画像情報
が第２の画像メモリ１９に記載されるのである。第２の画像メモリ１９に記憶されたエツジ強調
左画像情報は、画像バス１３を介して２値化回路
３３に供給され、しきい値メモリ３５に予め記憶
されているしきい値に基づいて［０、１］の２値
画像に変換され、第３の画像メモリ２１に記憶さ
れる。なお、この場合、２値化するしきい値とし
ては、しきい値メモリ３５に記憶されている固定
値を用いてもよいが、原画像の濃度分布を測定し
て動的にしきい値を定めてもよい。本実施例では
しきい値メモリ３５に記憶されている固定値を使
用している。第５図ｃはこの２値化処理された２
値画像を示しているが、これはしきい値として
100を用いて行なつた場合のものである。第３の画像メモリ２１に記憶されたエツジ強調
左画像の２値画像は、画像バス１３を介して細線
化回路３７に供給され、論理フイルタバンク３９
に記憶されているマスクに従つて２値エツジの線
幅が１画素分になるまで細線処理が施され、この
細線化画像情報は第４の画像メモリ２３に記憶さ
れる。更に、第４の画像メモリ２３に記憶されたエツ
ジの細線化画像情報は、画像バス１３を介してノ
イズ除去回路４１に供給され、エツジの長さ順に
ラベリングされ、しきい値メモリ４３からのしき
い値以下のノイズと考えられうる短いものを除去
し、残つた長いエツジの細線化画像情報を特徴エ
ツジ画像情報として抽出して第５の画像メモリ２
５に記憶する。第５図ｄはこの抽出された特徴エ
ツジ画像を示しているものであり、第５図ｃに示
す２値画像に存在している短いエツジ画像はほと
んど除去され、長い特徴エツジ画像情報のみが示
されている。以上のようにして特徴エツジ抽出部５によつて
第５の画像メモリ２５に記憶された左画像に対す
る特徴エツジ画像情報は、第３図に示すマスク発
生部７において画像バス１３を介してエツジ位置
検出回路４５により走査され、その特徴エツジ群
の開始点座標（Xs、Ys）およびエツジ長ｌを検
出して特徴エツジ位置メモリ４７に記憶する。こ
の特徴エツジ位置メモリ４７に記憶された特徴エ
ツジの開始点座標およびエツジ長は左マスクウイ
ンド作成回路４９Ｌに供給され、これらの情報に
基づいて特徴エツジに対するマスクウインドが作
成され、このマスクウインドに対応する原画像、
すなわち第１の左画像メモリ１７Ｌに記載されて
いる左原画像のうち該マスクウインドに対応する
原画像が高速RAMで構成されている左ウインド
メモリ５１Ｌに記憶される。第６図ａ，ｂは、このマスクウインドおよび該
マスクウインドに対応する原画像を示している図
であるが、第６図ａの線６１で示すように開始点
座標（Xs、Ys）およびエツジ長ｌを有する特徴
エツジ６１に対して矩形６３で示すマスクウイン
ド６３は特徴エツジ６１上で開始点から一定画素
値分下つた点を中心とし、かつエツジ６１を中心
軸として矩形状の領域として形成される。このよ
うに形成されるマスクウインド６３に対して第６
図ｂに示すように対応する左原画像（第１の左画
像メモリ１７Ｌに記憶されている）のマスクウイ
ンド対応原画像６５が第１の左画像メモリ１７Ｌ
から取り出され、左ウインドメモリ５１Ｌに記憶
されるのである。なお、第６図ｂにおいて符号６
７は左カメラが撮像している移動環境の物体、す
なわち上述した構造体等を示しているものであ
る。以上のようにマスク発生部７の処理動作により
左マスクウインド作成回路４９Ｌで左マスクウイ
ンドが形成され、左ウインドメモリ５１Ｌに左の
マスクウインド対応原画像６５が記憶されると、
該左マスクウインドに対応する右マスクウインド
が類似指標計算判定部９の右マスクウインド作成
回路４９Ｒで形成される。この右マスクウインド
は、左マスクウインドに対して、測定する距離Ｌ
に対応する視差Ｓ分だけ左にずれた位置を中心に
形成されているので、右マスクウインド作成回路
４９Ｒはマスク発生部７の特徴エツジ位置メモリ
４７から供給される左マスクウインドの特徴エツ
ジの開始点座標および長さ情報および視差指定回
路５３から供給される視差情報に基づいて右マス
クウインドを形成し、この右マスクウインドに対
応する右原画像、すなわち右マスクウインド対応
原画像情報を第１の右画像メモリ１７Ｒから読み
出し、右ウインドメモリ５１Ｒに記憶する。そして、右ウインドメモリ５１Ｒに記憶された
右マスクウインド対応原画像情報および左ウイン
ドメモリ５１Ｌに記憶されている左マスクウイン
ド対応原画像情報は、類似指標計算回路５５に入
力され、ここで左右のウインドメモリ内の両画像
の類似指標値が算出され、類似指標メモリ５７に
記憶されるのである。そして、類似指標メモリ５
７に記憶された類似指標値を所定のしきい値と比
較することにより障害物が存在するかが適確に判
定され、ロボツトは障害物に衝突することなく移
動することができるのである。なお、上述した視差Ｓと距離Ｌとの間には、左
右一対のカメラの光軸を平行にし、かつ取付高さ
を等しく設定し、また左右カメラの間隔をａ、レ
ンズ中心の撮像面間距離をｌ、画素／距離変換比
をεとすると、次式の関係があり、この関係に基
づいて視差指定回路５３は視差情報Ｓを右マスク
ウインド作成回路４９Ｒに供給することができる
のである。Ｓ＝εal／Ｌ ……(1) また、上記類似指標値ψabは、次式により示さ
れる関数を使用して求められる。 ψab＝〓 {^Aij} 〓〓 {^Bij}｛（Aij−μa）／σ_a−（Bij−μb）／σ_b｝²……
(2) 上式において、 Aij……左入力画像のマスクウインド内の画像の
各画素の濃度値、 μa……左入力画像のマスクウインド内の画像の
平均濃度、 σa……左入力画像のマスクウインド内の画像の
標準偏差、 Bij……右入力画像のマスクウインド内の画像の
各画素の濃度値、 μb……右入力画像のマスクウインド内の画像の
平均濃度、 σb……右入力画像のマスクウインド内の画像の
標準偏差、である。第７図は、上式(2)に基づいて類似指標値を３×
10画素のマスクウインドの水平方向の予測位置に
対して示しているものである。この図からわかる
ように、障害物に存在する位置に左右の両マスク
ウインドの位置が正しく対応した位置で類似指標
値は最小になつていることが確認される。なお、
第７図では、第５図ｄの、で示す各エツジに
対する特性が示されている。なお、上記実施例では、例えばロボツト等によ
り障害物を検出する場合について説明したが、本
発明はこれに限定されるものでなく、物体の位
置、距離、姿勢等を含む三次元的位置を求めるの
に広く適用できるものである。［発明の効果］以上説明したように、この発明によれば、被撮
像体を２方向から撮像した第１の画像から特徴部
を検出し、該特徴部に対して所定領域の第１のマ
スクウインドを形成し、該第１のマスクウインド
に対して視差分ずれた第２のマスクウインドを形
成し、第１および第２のマスクウインド内の対応
する第１および第２の画像の類似指標を算出して
いるので、この類似指標に基づいて第１および第
２の画像の中の正確で適確な対応付けを検出でき
るため、三角測量の原理を利用して被撮像体の三
次元位置を誤りなく正確かつ確実に検出すること
ができる。

【図面の簡単な説明】

第１図はこの発明の一実施例に係るステレオ視
覚装置の構成を示すブロツク図、第２図は第１図
の装置に使用される特徴エツジ抽出部のブロツク
図、第３図は第１図の装置に使用されるマスク発
生部のブロツク図、第４図は第１図の装置に使用
される類似指標計算判定部のブロツク図、第５図
は第１図のステレオ視覚装置で撮像した画像およ
びこの画像を処理した結果の各画像を示す図、第
６図は第３図のマスク発生部で処理される特徴エ
ツジに対するマスクウインドおよび該マスクウイ
ンドに対応する原画像を示す図、第７図は第４図
の類似指標計算判定部で算出された類似指標値を
示すグラフである。３……ステレオ画像入力部、５……特徴エツジ
抽出部、７……マスク発生部、９……類似指標計
算判定部、１７……第１の画像メモリ、１９……
第２の画像メモリ、２１……第３の画像メモリ、
２３……第４の画像メモリ、２５……第５の画像
メモリ、４７……特徴エツジ位置メモリ、４９Ｌ
……左マスクウインド作成回路、４９Ｒ……右マ
スクウインド作成回路、５１Ｌ……左ウインドメ
モリ、５１Ｒ……右ウインドメモリ、５５……類
似指標計算回路。

Claims

【特許請求の範囲】１被撮像体を２方向から撮像し、この２方向か
らの第１および第２の画像により被撮像体を立体
的に見て三次元位置を測定するステレオ視覚装置
であつて、上記第１の画像情報から特徴部を検出
する特徴部検出手段と、上記特徴部に対して所定
領域の第１のマスクウインドを形成する第１のマ
スクウインド形成手段と、上記第１の画像に対し
て測定距離に対応する視差分だけ上記第１のマス
クウインドに対してずれた位置にマスクウインド
を第２の画像上に形成する第２のマスクウインド
形成手段と、上記第１および第２の画像のそれぞ
れ対応するマスクウインド内の類似指標を算出す
る類似指標算出手段とを有することを特徴とする
ステレオ視覚装置。２上記特徴部は、第１の画像情報内に特徴的に
存在するエツジ部であることを特徴とする特許請
求の範囲第１項記載のステレオ視覚装置。３上記第２のマスクウインド形成手段は、上記
被撮像体を２方向から撮像する光軸を平行に設定
し、被撮像体に対する距離をＬ、被撮像体を２方
向から撮像する撮像手段間の距離ａ、該撮像手段
のレンズ中心の撮像面間距離ｌ、画素／距離変換
比をεとするとき、Ｓ＝εal／Ｌなる式に基づいて上記第２のマスクウインドを上
記第１のマスクウインドに対してずらす視差Ｓを
計算する視差計算手段を有することを特徴とする
特許請求の範囲第１項に記載のステレオ視覚装
置。