JPS63186308A - 移動体の誘導方法、および装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、ＴＶカメラ等から入力した画像をもとに生成
される距離情報を用いた移動体の誘導方法、および装置
に関し、特に、移動に伴い変（ヒする距離情報から誘導
に必要な地図を生成する移動体の誘導方法、および装置
に関する。

〔従来の技術〕

産業用ロボット等の視宜装置において、環境の３次元位
置座標情報を取り込む機能は不可欠であり、また、ロボ
ットの目としては、ＴＶカメラから取り入れた明暗情報
に基づいて画像の解釈を行うもの、スリット光源の折れ
曲がり具合から物体の形状を判定するもの、あるいは、
レーザ光線により、対象物体までの測距を行い、その距
離情報に基づいて物本の認識を行うもの等がある。

例えば、″地図作成型視覚システムの情報処理。

日本ロボット学会誌、１．９８４年６月、第１５頁〜第
２３頁″に記載さ小ている方法では、移動体誘導を目的
として外界センサから得られる測距データをもとに地図
を作成している。

この方法は、レーザビーム等の外界センサにより得られ
る測距データをもとに、スプライン関数による測距点間
の補間と、過去からの地形情報（地図）とから、刻々と
正確な地図にするように更新していくものである。

この場合、必要となるのは過去の地形情報に現時点での
測距データを付加するまでの変換量（回転・並進量）で
あり、この方法では、この変換量がエンコーダ等のセン
サにより正しく得られていることも前提としている。

ところが、実際には、この変換量は誤差量が常に付加さ
れるため、時刻がたつにつれ実際の量とかけ離れた値に
なり、蓄積地図が不正確なものになろう 〔発明が解決しようとする問題点〕 上記従来技術では、エンコーダー等による移動体の位置
情報の誤差量について、配慮がなされていなかった。

すなわち、移動体の位置情報が正確に得られるという仮
定のもとに、時刻に伴い得られる測距データと、過去の
蓄積地図情報との対応ができることを利用していた。

このため、得られた地図の精度に間順があった。

本発明の目的は、このような問題点を改善し、エンコー
ダ等の誤差量を含む移動体の位置情報に依存せずに、よ
り正確な移動体の移動量を求め、かつ、時系列的に得ら
れる複数の画像間での対応付けの精度の不安定さに強い
地図生成を行なうことが可能な移動体の誘導方法、およ
び装置を提供することにある。

〔問題点を解決するための手段〕

上記目的を達成するため、本発明の移動体の誘導方法は
、ＴＶカメラから入力される画像をもとに生成される距
離情報と、各時刻における画像間のマツチング結果とを
用いて、移動体の移動量（回転、並進）を最小２乗法に
より求め、かつ複数の画像間での対応を考慮することで
、その精度を向上させ、各時刻での距離情報を蓄積地図
へ付加していくことに特徴がある。

また、本発明の移動体の誘導装置は、ＴＶカメラから現
在時刻に入力した原画像と、一時刻前に入力した原画像
とをマツチングする手段（画像間マｓノチング部）、各
時刻の入力画像をもとに算出した距這情報と、その原画
像のマツチング結果とを用い、最小２乗法により、その
移動体の移動量を算出する手段（移動量算出部）、およ
び、その移動量ど一時刻前の地図情報とを用いて、地図
更新を行う手段（地図更新部）を備えたことに特徴があ
る。

〔作　　用〕

本発明においては、移動体の視点を原点とする３次元座
標位置として得られる距離画像と、現時刻の画像と一時
刻前の画像とのマツチング処理結果と用いて移動量を算
出し、かつ、時系列的に得られる複数の画像間における
対応を考慮することにより地図生成を行なう。

このため、時刻がたつごとに誤差が重んでいくエンコー
ダ等のセンサを用いた従来の地図更新よりも正確な地図
を生成することができる。

〔実施例〕

以下、本発明の一実施例を図面により説明する。

第１図は、本発明の一実施例における移動体誘導装置の
構成図である。

本実施例の移！ＩＪ体誘導装置は、ＴＶカメラ１１、画
像入力部１２、画像間マツチング部１３、距雛画像生成
部１４、移動量算出部１５、地図更新部１Ｇ、地図記憶
部Ｉ７、および移動体誘導用コント・ローラ１８を備え
、各部については、下記のような構成、および機能を有
する。

ＴＶカメう１１は２台備えられて、実環境を取り込み、
また、画像入力部１２は、Ａ／Ｄ変換機。

イメージメモリ等を備える。

距離画像生成部１４は、ＴＶ右カメラ１から入力された
画像をもとに距離情報を算出する。この距離情報は、原
画像の画素の１点１点についての距離情報であり、その
距離情報の２次元配列が距灘画像である。

なお、二の算出方法については、特願昭５９−２３７Ｇ
ＯＱ号に記載されている方法と同様であり、左右のカメ
ラから入力される２枚の画像から距離を生成するつ 画像間マツチング部１３は、時刻毎に入力される画像間
の対応を取る。

移動量算出部１５は、距離画像生成部１４と画像間マコ
ノチング部１３との出力結果を用いて、移動体の移動量
を算出する。

地図更新部１６は、移動量算出部１５が算出した移動量
を用いて、各時刻において距離画賑から得られる距離情
報、つまり、空間位置座標を変換し、地図記憶部１７に
蓄積された地図に付加する。

移動体誘導用コントローラ１８は、生成された地図情報
を用いて移動体の誘導経路等を算出する。

以上のような構成の移動体誘導装置により、移動体の正
確な移動量を得て、地図更新、および蓄積を行い、移動
体を誘導する。

第３図は、本発明の一実施例における移動環境設定の説
明図である。

本実施例の移動体誘導装置において、時刻ｔにおける移
動体の動作環境を設定する場合、（ｉ）が示す平面図の
ように、綱長い、廊下の右奥、および真中に、棚、およ
び障害物となる箱が置かれた空間を動作環境として設定
する。なお、点し　、点Ｔ−−１、および矢線は、それ
ぞれ、現時刻の移動体の位置、一時刻前の位置、および
視線を示す。

また、点し　において得られた原画像は、（１１）のよ
うに示されろう さらに、現時刻における各画素と、一時刻前における各
画素との対応を求め、（山）のように、各画素がどの方
向に移動したかを算出する。

第２図は、本発明の一実施例における地図更新処理フロ
ーチャート、第４図は本発明の一実施例における各時刻
の座標系を示す説明図、第５図は本発明の一実施例の移
動体誘導装置が生成した地図側図である５ 第２図、および第３図のように、時刻ｔにおけるＬＩ！
１図更新処理の過程については、まず、現時刻ｔでＴＶ
右カメラ１から入力した左右画像ＰＬ（ｔ）、およびＰ
Ｒ（ｔ）を用い（２００）、距離情報を距離画像生成部
１４において算出する（２０１）。

なお、この場合の測定基準は入力された左右画像の中、
右画像を中心として算出する。

その算出結果は、各画素が示す実空間上の３次元位置を
、視点を原点とする座標系により表現したものである。

すなわち、原画像ＰＲ（ｔ）内の画素Ｐ（ｉｔ　Ｊ）に
対し、それらの画素の１点１点についての距離情報の２
次元配列である距離画像Ｄ（ｔ）により、その画素が示
す空間座標（ｘ＋　’Ｉｔ　７）を得ることがでさ、Ｐ
　Ｒ（Ｊ：９Ｐ　（ｌ、Ｊ　）ｌ−＋（ｘ、ｙ　ｒ　ｚ
）εＤ（ｔ）と表わされる。

次に、画像間マツチング部１３において、一時刻前を示
す時刻ｔ−１における原画ＰＲ（ｔ−１）と、現時刻ｔ
における原画ＰＲ（ｔ）との対応を求める（２０２）。

すなわち、原画ＰＲ（ｔ−１）の各画素が、現時刻すの
原画ＰＲ（ｔ）内のどの画素に対応しているかを探索す
る処理を行う。

なお、その探索については、″アーティフィシャル・イ
ンテリジェンス１７．１９８１年、第１８５頁〜２０３
頁（Ａｒｔｉｆｉｃｊａｌ　　Ｔｎｔｅｌｌｉｇｅｎｃ
ｅ、Ｖｎｌ。

１７．１９８１．、ｐｐ１８５〜２０３）”に記載され
ているＬｌ　Ｏｒｎ　　ａｎｄ　　Ｓ　ｃｈｕｎｃｋの
オプティカル・フローアルゴリズムを用いる。この方法
では、２つの原画像において、各画素の濃淡情報が一致
する方向を見て、各画素がどの方向に移動したのかを算
出する。

こうして算出されたオプティカル・フローパタンは第３
図（ｉｉｉ　）に示され、各矢印はＰＲ（ｔ−１）の各
画素が、ＰＲ（ｔ）のどの画素位置に対応しているかを
示す。

これらの２つの処理、つまり、距離画像生成と画像間の
マツチングとを実行すると、さらに、移動量算出部１５
において、移動量算出処理を行う（２０３Ｌ この場合、時刻ｔ−１の原画ＰＲ（ｔ−１）内の点Ｐ’
　−”　（＋　ｌ　Ｊ）には、この時刻における視点を
原点とする座標系における３次元位＠　ｐ　’Ｃｒ　−
１（ｘ、　ｙ’＋　ｚ）が対応する。

また、Ｐ’−１（ｉ　ｌ　Ｊ）が時刻ｔの原画ＰＲ（ｔ
）内のどの点に対応しているかは、画像間マツチング処
理の緒果により、その点に対応する点までの移動量が、
例えば、（ｕｌ、　（ｉ、　ｊ　Ｌ　ｖｔ、　ｌ、　ｊ
　））というベクトル量として得られるため、Ｐｔ（ｉ
＋＋＋６　（＋　ｌ　ＪＬｊ＋Ｖ、（＋　；　ｊ））と
いう点であることがわかる さらに、この点ｐｔに対する実空間の位置座標は、この
時刻ｔの視点を原点とする座標系でＰ（ｘｌ、ｙ′、ｙ
′）と得られている。

そこで、この位置情報をもとに移動量（回転量。

＃Ｌ進量）を次のようにＬ７て求める。

すなわち、第４図のように、時刻ｔ−１における座標系
０ｔ−１−Ｘカー１、■、−１、ｚ’ｏ　−１ニ対して
、　Ｘ、　＋　、軸、Ｙ６−１Ｉ！Ｉｔ、　Ｚｂ−ＩＩ
ＩＩの各々に対する回転量をα、β、γとし、並進量を
ΔＸ、Δｙ、ΔＬとすると、微小時間においては、Ｐ　
　−”　＋（Ｑ、ｘ　ｐｔｌ　−”　＋Ｖ）ニよＩＪ　
定＊　ロＡ　カＰ”に対応する点である。

但し、Ｖ＝（ΔＸ、Δｙ、Δｌ）であり、へ＝（α、β
、γ）である。

そこで、未知量Ｑ、およびＶを次のように最小２乗法に
より求める。

まず、この移動量０、およびＶを求める上で、対象とす
る点として、距雇画微算出において精度がよくかつ、オ
プティカル・フローの信頼性が高い部分である点、つま
り、明るさの２次微分値が０である点を用いる。

それらの点で、時刻ｔ−１の対象とする点の集合を、　
（ＰＨ−’　（ｘ、ｙ、ｚ）：　４．＝　１．　　・・
・。

ｎ）とし、対応する時刻セの点の集合を、（Ｐ４（ｘ’
　Ｉｙ’　Ｈｚ’　）：　　＝’ｒ・・・＋ｎ）とする
と、Ｅ＝　ｕ　１＋　ｐ茎−（Ｐ＋に：’＋Ω×ＰＲ−
１＋ｖ）Ｉ２という相 式で示される量Ｅが最小となるときのａ、および■を求
める。

なお、■・Ｕはノルムであり、その式を、Ｐλ（ｘ’　
、ｙ’　、ｙ、’　）、Ｐ４　（Ｘ４　ｖ　ｙｋｌ　７
４　）、Ｑ、＝（α、β、γ）、Ｖ＝（△Ｘ、Δｙ、△
Ｚ）として具体的に表現すると、 Ｅ＝Σ［（ｘ４−（ｘ４＋β・ｖｈ−γ・ｙ＋＋ΔＸ）
）２丸 ＋（ｙに−（隙＋γ・Ｘゑ一α・７遥＋Δｙ））２＋（
イー（唖＋α・ｆ−β・輛＋△ｚ））２］となる。

こうして求めたＱ、およびＶをもとに、過去蓄積地図情
報、つまり、点座標を現在座標系へ変換するか、または
、逆に初期時刻１＝０における座標系をワールド座標系
として、各時刻における点座標を変換する。

すなわち、時刻ｔ−１からむへの変換量Ω、および■の
組をＡｔ−ｔ＝（Ω、Ｖ）とおくと、嗅＝へウ−１−Ｐ
ｆ／！、（危＝１．・・・、ｎ）という関係があること
から、現有時刻ｔにおける地図ＭうをＭｆ、＝Ａｔ、−
１　　・Ｍカー１＋Ｄ（ヒ）として定める。

この式の意味は、時刻ｔ−１の地図Ｍ６−１に記憶され
ている全ての点を、変換ａＡｆ、−１により変換し、時
刻ｔに得られた空間点の集合Ｄ（ｔ）を加えた点の集合
を、現時刻ｔの地図Ｍとすることを示している。

低し、変換量Ａも−０は、ある関値δを定めて、ち ｉｌ　ＰＡ　−Ａｔ、−Ｉ　Ｐ、ｅ、　ｌ　＞δ（ｉ＝
１．　・・・、ｎ）なる対、心意Ｐ！、および、Ｘ−ｔ
を除外するようにして再度求め直すことにより、正確さ
を増すようにしておいてもよい。

さらに、変換量Ａｔの精度を上るため、例えば、移動体
の進行方向（ＴＶ力、メラの向き）を右へ変えるという
ような急激な変化を除き、ｎ回分の画像に渡って対応す
る点の組を用いて、変換量を修正していくこともできろ
う すなわち、あるｆ直δ′を定めて、ＩＩＰ／、　　−Ａ
”ｐｔ−ｎｌｌ〉δ′という条件を満足する対応売 点Ｐえ　、およびｐｔ−ｎを除いて、変換量Ａ来意 兎 を再構成する。

但し、も＝１．・・・・、ｎ′であり、Ａ′ミＡ、−□
。

Ａｔ−２，・・・・＋Ａｔ＋−ｎである。

このようにして、再構成した変換量により、距離画像の
精度、および画像間マツチングの精度に不安定さがあっ
ても、移動体誘導に必要な立体的な地図が、第５図のよ
うに、点の集合として構成され、記憶される（２０４，
２０５）。

〔発明の効果〕

本発明によれば、現時刻の距離画像と、現時刻の原画像
と一時刻前の原画像とのマツチング結果とを用いること
により、移動体の移動量を求めるため、誤差量が常に伴
うエンコーダ等の位置情報を用いた地図生成に比軟して
、より正確な地図を生成することができる、 また、３次元空間座標として得ることができる距離画像
を用いることにより、生成される地図は立体的に記述す
ることができる。

さらに、時刻毎に集まる移動量を複数の画像に渡って修
正し、地図生成を行うことにより、各時刻毎に得られる
距離画像と画像間対応付けの精度との不安定さに強い地
図生成を行うことができる。

【図面の簡単な説明】

第１図は本発明の一実施例における移動体誘導装置の構
成図、第２図は本発明の一実施例における地図更新処理
フローチャート、第３図は本発明の一実施例における移
動環境設定の説明図、第４図は本発明の一実施例におけ
る各時刻の座標系を示す説明図、第５図は本発明の一実
施例の移動体誘導装置が生成した地図同図である。 ＋］：ＴＶカメラ、１２：画像入力部、１３：画像間マ
ツチング部、１４；距離画像生成部、１５：移動量算出
部２１６：地図更新部、１７：地図記憶部、１８：移動
体誘導用コントローラ、ｒ−ヵ。 Ｔ−ｔ、−ｔ：移動体の位置、Ｐ：画素、ｒｔ、β、γ
：回転量、△Ｘ、Δｙ、ΔＺ：並進量、Ｏ，Ｏｆ、、Ｏ
ｇ−１：移動体の視点（原点Ｌ　Ｘｆ、　ｒ　”ｂ　ｒ
　ｚｔ　ｌ　Ｘｔ　−１＋”＋、−１ｔ　Ｚ＋Ｊ−、、
ｘ、ｖ、Ｚ　：座標軸。 第　　１　　図 第　　　２　　　図 第　　　３　　　図 （ｉｉＪ　　　　　　　　　　　　　　　　　　　　　
（ｉｉｌ）第　　　４　　図 ｔｌ

Claims (1)

1. 【特許請求の範囲】 １、移動環境に関する事前知識を持たず、ＴＶカメラか
   らの入力画像をもとに、距離を計測して距離情報を算出
   し、該距離情報をもとに移動環境を地図として生成し、
   該生成地図を蓄積する移動体の誘導方法において、現在
   時刻に入力された原画像と一時刻前に入力された原画像
   とをマッチングし、該マッチング処理結果と一時刻前の
   記憶地図情報とから、該移動体の移動量を、時刻間の距
   離情報に対して最小２乗法を用いて求め、各時刻毎の移
   動量について、複数枚の画像間で対応をとり、地図更新
   を行なうことを特徴とする移動体の誘導方法。 ２、複数のＴＶカメラと、該ＴＶカメラからの入力画像
   をもとに距離を計測して、距離情報を算出する手段と、
   該距離情報をもとに移動環境を地図として生成する処理
   を行う手段と、該生成地図を蓄積する手段とを備え、移
   動環境に関する事前知識を持たない移動体の誘導装置に
   おいて、現在時刻に入力した原画像と、一時刻前に入力
   した原画像とをマッチングする手段、各時刻で得られた
   該距離情報と、該マッチング結果とを用い、上記移動体
   の移動量を、時刻間の距離情報に対し、最小２乗法によ
   り求める手段、および、該移動量と上記蓄積手段に蓄積
   された一時刻前の地図情報とを用いて、地図更新を行う
   手段を備えたことを特徴とする移動体の誘導装置。