JPS6359670A

JPS6359670A - 位置ずれ測定装置

Info

Publication number: JPS6359670A
Application number: JP61109577A
Authority: JP
Inventors: Mutsumi Watanabe; 睦渡辺
Original assignee: Agency of Industrial Science and Technology
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 1986-05-15
Filing date: 1986-05-15
Publication date: 1988-03-15
Anticipated expiration: 2009-08-10
Also published as: JPH0661101B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は、例えば移動ロボットに対して設定された走行
軌道からの位置ずれを該移動ロボットに搭載されたステ
レオカメラによる入力されるステレオ画像から効果的に
求め、その走行制御に用いることのでさる実用性の高い
位置ずれ測定装置に関する。

（従来の技術）近時、カメラの軽口・小形化と視覚情報処理技術の発展
に伴い、視覚ｖ１能を備えた移動ロボットの開発が盛ん
に進められている。この種の視覚葭能を向えた移動ロボ
ットは、従来の近接センリな協えた移動ロボットに比較
して移ｖＪ環境のみ２識やその走行経路の自ｖＪ設定等
、高度な能力を持たせることが可能である。これ故、例
えば原子炉発電所における保守点検作業を行なうべく、
その自律走行が要求される分野ｌ＼の適用が期待されて
いる。

さて視覚機能を備えた移動ロボットとしては、例えばカ
メラにより入力された画像と予め設定された移動環境の
特徴モデルとを比較照合してその走行経路を制御するも
のが報告されている。また上記移動環境の特徴モデルを
用いることなく、ステレオ視カメラを用いて入力された
ステレオ画像を３次元処理してその移動経路を設定して
いくもの等が報告されている。

然し乍ら、移動環境の特徴モデルを用いる前者の移動ロ
ボットにあっては、その特徴モデル化の容易な単純環境
に適用可能であるが、複雑な背景画像を含むような環境
下では、例えばその特徴モデル化や入力画像の比較照合
処理等が徒に複雑化する等の問題があった。

一方、ステレオ画像を入力して３次元処理する後者の移
動ロボットでは、予め環境モデルを作成しておく必要が
ないが、その反面、入力されたステレオ画像の各部に対
する対応付は等の複雑な針師処理を必要とする。しかも
様々な環境情報を入力するステレオ画像に対する３次元
計終には多大な９８埋時間を必要とする。この為、該移
動ロボットの高速、且つ円滑な走行制御が困難であると
云う問題があった。

（発明が解決しようとする問題点）本発明は、上述したように従来の移動ロボットに組込ま
れる視覚機能が単純環境にしか適合せず、或いはその処
理に多大な時間を必要とする等、該移動ロボットの円滑
な走行制御を望み得ないことに鑑みて、また同時に移動
ロボットが完全なる自由環境を走行することが極めて希
であることに着目してなされたもので、移動ロボッ１へ
のｍ電機能を用いてその走行制御に必要な情報、つまり
設定された走行軌道からの位置ずれを高速に検出し、そ
の走行制御に有効に利用することを可能とする位ｎずれ
測定表買を提供することを目的としている。

［発明の構成〕（問題点を解決するための手段）本発明は、移動ロボット等の走行体に搭載されたステレ
オカメラにより目標物を含む環境のステレオ画像を入力
し、この入力されたステレオ画像中から予め登録された
複数の目標物をそれぞれ抽出する。そしてこれらの各目
標物の現地点からの３次元位置、つまりステレオ画像を
入力した時め設定された走行軌道を示す位置からの前記
目標物群の３次元位置とをそれぞれ比較し、この比較結
果に従って前記走行体の前記ステレオ画像を入力した地
点と予め定められた地点との位置ずれを計算するように
したことを特徴とするものである。

（作用）本発明によれば、移動ロボットの成る位置で入力された
ステレオ画像から求められる目標物の上記位置く現地点
）からの３次元位置と、上記移動ロボットの予め設定さ
れた地点からの目標物の３次元位置とを比較することに
よってその視点位置の異なりによる目標物の３次元位置
のずれが求められ、この３次元位置のずれに対応して上
記視点位ｙのずれ、つまり予め設定された走行経路に対
する自走式走行ロボットの現在位置のずれを高速に求め
ることが可能となる。従ってこの位置ずれの情報に従っ
て上記移動ロボットの走行経路に対する走行位置補正、
つまりその走行制御を効果的に行なうことが可能となる
。

（実線例）以下、図面を参照して本発明の一実施例につよび位置ず
れ伍計陣部３に大別される。

目標物抽出部１は、移動ロボットが走行する環境の、例
えば作業空白の曲り角や隅部等の目標物を、該移動ロボ
ットに搭載されたステレオカメラにより搬像入力された
ステレオ画１争中から抽出するものである。３次元位置
検出部２は、上記目標物抽出部１にて抽出された目標物
について、前記ステレオ画像を入力した時点の前記移動
ロボットの位置からの３次元位置を前記ステレオ画像に
従ってステレオ計算処理、具体的には三角測量法の原理
に従って針環するものである。そして位置ずれは計算部
３は、上記ステレオ画像から求められた目標物の３次元
位置と、予め設定された地点に対する目標物群の３次元
位置とをそれぞれ比較し、同一の目標物に関する上記３
次元位置のずれ岳から前記ステレオ画像を入力した時点
の前記移動ロボットの位置の、予め設定された地点から
の位置ずれ市を計算するものとなっている。

この位置ずれは計算部３で求められた位置ずれ量が移動
ロボットの移動制御部に与えられ、その走行が制御され
る。

さて第２図は上記目標物抽出部１の構成例を示す図であ
る。移動ロボットに搭載されるステレオカメラは、例え
ば水平方向に所定の距離を隔てて設けられた２台のカメ
ラ、つまり左カメラ５ａと右カメラ５ｂとからなり、制
御部６の制御を受けるスイッチ回路７を介して１シーン
づつ画像入力部８に入力されるようになっている。画像
入力部８はこの記像入力された左右２枚のｉｉ！ｉ像か
らなるステレオ画像を、その内部に準備された画像メモ
リに格納して以下に説明する画像処理に供するものであ
る。

しかして前処理部１１は、上記画像メモリに格納された
ステレオｉｉ！ｊ像に対して、例えば空間フィルタリン
グによるランダムＭ音の除去やシェーディング補正処理
等を行なっている。特徴抽出部１２はこの前処理が施さ
れたステレオ画像に対して、目標物の種類に応じた画像
の特徴を抽出している。

例えば入力されたステレオ画像が第３図（ａ）に例示す
る廊下（通路）を示す環境からなる場合、目標物Ａとし
ては壁と床との交点゛つ柱の角と床との交点等として設
定される。このような２４合には、画像の特徴として線
分を抽出すればＱいがら、その入力画像を微分処理し、
その微分出力を２）！化して第３図（１））に示す如き
線分画像を）ｑれば良い。

このようにして求められる画像の特１！ｌ（Ｎ分画像ン
から、目標物位置検出部１３にて予め設定された目標物
を第３図（Ｃ）に示すように検出する。

この目標物の検出は、例えば第４図に示すような目標物
に関する特徴パターンを準備し、前記Ｍ３図（１））に
示す線分画像に対してマツチング処理を行なうようにす
れば良い。具体的には、第３図（ｂ）に示す線分画像中
から部分画像を切出し、この部分画像が第４図に示す特
徴パターンに適合するか否かを調べる。この処理を上記
部分画像の切出し位置を順次変えながら繰返し行い、パ
ターンがマツチングしたときこれを目標物の検出とし、
且つそのときの部分画像の切出し位置を目標物の検圧位
置とすれば良い。

このようにしてステレオ画像中から検出される目標物の
検出情報が目標物位置メモリ１４に格納される。尚、目
標物は１つに限られるものではなく、？！数伸類あって
も良い。この場合には各目標物毎にその検出位置情報を
目標物位置メモリ１４にそれぞれ格納するようにすれば
良い。

一方、３次元位置検出部２は、例えば第５図に縁上示すように構成される。この３次元位Ｒｆｆｔ−Ｊ部２
（第５図に示すブロック）は、予め３次元位置のわかっ
ている基準目標（マーク）を用いて校正データを作成し
、この佼正データに従って前述した如く検出された目標
物Ａの３次元位置を計算するものとなっている。

即ち、マーク位置検出部２）は前記画像入力部８の画像
メモリに格納された左右２枚のステレオ画像中から予め
設定された基準目標（マーク）をそれぞれ検出している
。このマークは、例えは入力画像中の識別容易な対象物
として複数箇所に亙っで定められる。そして上記左右の
２枚の画像における各マークの位１１￥関係からそのマ
ークの対応付けを行い、校正計粋部２２にて１）述する
３次元位置計算に必要なステレオパラメータを佼正デー
タとして求めている。

つまり上記各マークのステレオ画急における対応関係か
ら、そのステレオ画像における対応点間の３次元位置を
特定するステレオパラメータが求められている。この校
正データ（パラメータンが校正データメモリ２３に格納
される。

ステレオ計ｎ部２４は、このステレオパラメータを用い
て前記目標物メモリ１４に格納された目標物の前記ステ
レオ画像における位置から、画素目標物の３次元位置を
計算するものであり、これによって求められた目標物の
３次元位置が３次元座標メモリ２５に格納される。従っ
てこの３次元座標メモリ２５に格納される前記目標物の
３次元位置は、約２ステレオ画像を入力した時点の移動
ロボットの位置く現地点）を１４準とした３次元位置（
Ｘ、Ｖ、Ｚ）となる。

さて前記位置ずれ計算部３は、例えば第６図に示すよう
に構成される。

目標物モデル座標メモリ３１には、予め設定された移動
ロボットの走行経路上の各地点から見た目標物の３次元
位置データが予め格納されている。

この目標物モデル座標メモリ３１に格納される目標物の
３次元位置データは、例えば移動ロボットを上記走行経
路上を準備走行させ、その時に求められる目標物の３次
元位置データ（Ｘ、Ｙ、Ｚ）等として与えられるもので
ある。

変換行列計ｎ部３２は、上記目標物モデル座標メモリ３
１に予め格納されている目標物の、予め定められた地点
からの３次元位［（Ｘ、Ｙ、’；ｌ＞と、前記３次元座
標メモリ２５に格納された移動ロボットの現地点から見
た目標物の３次元位置（ｘ、ｙ、ｚ）とから、上記窓め
られた地点と現地点との座標変換行列下を計算している
。

即ち、第７図に示すように平面上を動く移動ロボットに
対して定められた走行経路Ｐ上の成る地点をＱとし、上
記移動ロボットが自走して前記ステレオ画像を得た現地
点をＲとした場合、それらの間の平行移動ははＶ　（ｐ
、ｑ、ｒ　）として与えられｂｏまた目標物を撮像入力
するステレオ視カメラの向きがｙｉ＝備走行時と現地点
とで異なることから、そのＺ軸回りの回転角度をθとす
る。

すると、同一の目標物に対して求められた上記３次元位
置の座標間にはなる関係が成立する。但し、 α＝−ｐｃｏｓθ−ｑ　　ｓｉｎθ β＝ｐＳｉｎθ−ｑ　　ｃｏｓθ である。これらの座標値間の関係を示す行列が前記座標
変換行列Ｔである。

変換行列計算部３２は、前記ステレオ画像から求められ
る最低２つの目標物に関する３次元位置情報から上述し
た式を連立させ、これを解いて座標変換行列Ｔを求めて
いる。そして位置ずれ缶出カ部３３は、上記座標変換行
列Ｔから前記窓められた地点Ｑに対する移動ロボットの
現地点Ｒの位装置ずれ倒（ｐ、　ｑ、ｒ、θ）を計算し
、これを移動ロボットの動作制御部３４に出力するもの
となっている。

尚、ステレオ画像から２組以上の目標物が抽出される場
合には、例えば最小２乗法の原理を採用がステレオカメ
ラの視野から外れた場合であっても、少なくとも２組の
目標物が上記視野内に残れば、上ｊホした位置ずれを求
めることが可能なことは云うまでもない。

以上のように本発明によれば、移動ロボットに搭載され
たステレオカメラにより入力されたステレオ画像から、
該移動ロボットの本来の走行位置からの位置ずれ命を非
常に簡易に求めることができる。しかも、数個の目標物
に対するステレオ計算だけによって位置ずれを計算する
ので、従来装置のようにステレオ画像の各部の対応付番
ノや、これらの各部の全てに対するステレオ針師α理が
不要となる。この結果、その計算処理を高速に効率良く
実行することが可能となる。更に目標物として特徴抽出
の容易なものだけを選定することにより、その画像処理
が徒に複雑化することを防ぐことができ、その目標物に
対する計Ｌｌ　２４度の向上、位置ずれ検出に対する信
頼性の向上を図ること等が可０ヒとなる。

故に移動ロボットの走行制御に効果的に適用することが
可能となり、その視覚殿能を十分に発揮のを適宜採用す
ることができる。その他、本発明はその要旨を逸脱しな
い範囲で種々変形して実論することができる。

Ｃ発明の効果〕以上説明したように本発明によれば、移動ロボットの本
走行時にステレオ画像から求められる目標物の３次元位
置と、予め設定された地点から求められる目標物の３次
元位置とを比較し、その位置座標変換行列を求めて上記
ステレオ画像を（ｎだ時点の移動ロボットの現地点の前
記設定された地点からの位置ずれを求めるので、移動ロ
ボットの走１７制陣に必要な情報を簡易に、且つ高速に
精度良く求めることができる。故に移動ロボットの視覚
機能として多大なる効果が奏せられる。

【図面の簡単な説明】

第１図は本発明の一実茄例装置の概略構成図、第２図は
実７Ｊ！！例賃置における目標物抽出部の構成例を示す
図、第３図および第４図は目標物抽出処１里の概念を示
′ｖｊ図、第５図は実施例装置における３次元位置検出
部の構成例を示す図、第６図は実施例狡茸における位置
ずれ農計詐部の構成例を示“を図である。１・・・目標物抽出部、２・・・３次元位置検出部、３
・・・位置ずれ屋Ｓｔ算部、５ａ、　５ｂ・・・ステレ
オカメラ、８・・・画像入力部、１１・・・前処理部、
１２・・・待微抽出部、１３・・・目標物位置検出部、
１４・・・目標物位置メモリ、２）・・・マーク位置検
出部、２２・・・構成み［篩部、２３・・・校正データ
メモリ、２４・・・ステレオ計算部、２５・・・３次元
座標メモリ、３１・・・目標物モデル座標メモリ、３２
・・・変換行列計ｎ部、３３・・・位置ずれ酪出力部。竹立出願人　工業技術院長　等々力　達第１図七第２図第４図第５図／−第７図手　　続　　補　　正　　書　（方式）昭和　６２年　
ｌσ月　９日持言′１庁長官　殿１、事件の表示特願昭６１−１０９５７７号２、発明の名称位置ずれ測定装置３、補正をする者事件との関係　特許出願人住所　　　同　　　上　　　　　　　　　　　　　　゛
氏名　　工業技術院　研究開発宮家電話　０３（５０１）１５１１　　内線４６１１〜２４
、補正命令の日付昭和６２年　９月２２日（発送日）５、補正の対象明細書の図面の簡単な説明の欄６、補正の内容明細書の第１６頁、第９〜１１行目の、「第６図は実施
例装置における位置ずれ量計算部の構成例を示す図であ
る。」との記載を、「第６図は実施例装置における位置ずれ全計算部の構成
例を示す図、第７図は位置ずれの様子を説明するための
図である。」と訂正する。以上

Claims

【特許請求の範囲】

（１）走行体に搭載されたステレオカメラにより目標物
を含む環境のステレオ画像を入力する手段と、入力され
たステレオ画像中から予め登録された複数の目標物をそ
れぞれ抽出する手段と、前記走行体の上記ステレオ画像
を入力した地点からの上記各目標物の３次元位置をステ
レオ計算によつてそれぞれ求める手段と、予め定められ
た地点からの目標物群の３次元位置と上記ステレオ計算
によって求められた前記各目標物の３次元位置とをそれ
ぞれ比較する手段と、この比較結果に従つて前記走行体
の前記ステレオ画像を入力した地点と予め定められた地
点との位置ずれを計算する手段とを具備したことを特徴
とする位置ずれ測定装置。
（２）走行体は移動ロボットであつて、予め定められた
地点は該移動ロボットに対して設定された走行軌道上の
地点を示すものである特許請求の範囲第１項記載の位置
ずれ測定装置。