JPH07146752A - 環境モデル作成装置 - Google Patents

Abstract

(57)【要約】 【目的】 環境モデルを作成する場合において、机や椅
子等の対象物データの環境内位置情報や、天井、壁及び
柱等、大きな対象物の形状を簡単に得ることができる環
境モデル作成装置を提供する。 【構成】 テレビカメラ、超音波の視覚センサ等からの
視覚情報を用いて、距離、形状表面属性等の３次元属性
情報を測定する３次元属性情報入力部１と、３次元属性
情報入力部１へ入力された３次元属性情報を管理し環境
モデルを形成する環境モデル処理部２と、環境モデル処
理部２に記憶されたモデル記述に基づき環境の人工映像
を作成する映像作成部３と、映像作成部３の人工映像作
成結果と現在位置での視覚情報を比較することにより環
境モデル記述の検証を行なう解析部４と、３次元属性情
報入力部１の入力制御を行なう観測制御部５とからな
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像情報から環境の３
次元形状や表面情報を抽出し、環境のモデルを自動的に
作成する環境モデル作成装置に関する。

【０００２】

【従来の技術】従来、室内等の環境モデルを構築する方
法としては、コンピュータグラフィクス（以下、ＣＧと
いう）のデータのように人間が対話的に作成したり、移
動ロボットの環境マップのように、ロボットが環境内を
動き回って外界センサにより自由空間を検出するものが
あった。

【０００３】人間が環境モデルを対話的に作成する方法
においては、環境内にある対象物の個々の形状及びそれ
らの環境内の位置を実際に測定しなければならない。

【０００４】例えば、オフィス等の環境では、机、椅
子、パーティション等の同じ種類のものが複数配置され
ている場合が多い。そのため、机や椅子等の対象物デー
タを個別に作成したならば、これらのコピーを環境内の
所定の位置に配置すれば環境のＣＧモデルを作成でき
る。

【０００５】しかし、机や椅子等の小型対象物データ
は、スケール等で形状を容易に実測できるが、天井、
柱、壁等の大型対象物データは測定が容易ではない。

【０００６】また、小型対象物データを配置するために
は、部屋の中のどの位置に机が置かれているかといっ
た、小型対象物データの環境内位置情報が必要となる
が、これを測定するためには多大な労力を必要とする。
小型対象物データの環境内位置情報を得るのに、図面を
用いる手法もある。しかし、図面からは、動かせない大
型対象物の位置情報は得られても、頻繁に移動する小型
対象物の位置情報は得ることができない。つまり、図面
には、室内レイアウトを策定した初期の情報しか記載さ
れていないため、その後のレイアウトの変更情報は得ら
れない場合が多い。さらに、図面からは対象物の表面の
色や模様等の情報が直接得られないため、何らかの手段
でそれらを獲得し、データに付加する必要がある。

【０００７】ロボットが動き回って外界のデータを各種
センサにより獲得し、環境のマップを構築していく従来
手法は、対話的に作成する際の労力を軽減することがで
きるが、移動ロボットの誘導が目的のマップであるた
め、自由空間の記述や環境の概略情報を得るに留まって
いる。このため、ＣＧデータのように環境の詳細な形状
や表面情報が必要な場合に適用できない。

【０００８】

【発明が解決しようとする課題】以上のように、環境モ
デルを従来の方法で作成するのは容易ではないが、その
作成できない問題点をまとめると下記のようになる。

【０００９】第１の問題点としては、環境内の対象物デ
ータの切りわけができていないため、個々の対象物にア
クセスできないことにある。例えば、得られる３次元形
状データは、机や椅子といった切りわけのできていな
い、単なる３次元データの塊であるため、机のデータの
みにアクセスして移動等の処理ができない。つまり、Ｃ
Ｇ処理の分野に於いて必要とされる基本的な処理が実現
できるデータを直接得ることができない。

【００１０】第２の問題点としては、得られたデータを
基に、信頼度をより高めるためにはどのように観測すれ
ば良いかということが考慮されなかったことにある。特
に、データ入力装置としてテレビカメラを用いた場合、
観測する対象物が置かれている背景の複雑さが観測の容
易さや信頼度に大きく寄与するが、従来手法ではこの点
の考慮がなく、複雑な背景下でデータを獲得しているた
めに信頼度が上がらないという問題が生じている。これ
は、従来手法が、未観測領域を埋めていくための観測手
順は持っていても、観測データの信頼性を高め、より詳
細なデータを求めるための観測手順を保持していないた
めである。そのため、これを解決するために従来は、入
力されたデータに対し、信頼度（確率的な重み付け）を
付加しながらデータを融合することぐらいしか行なわれ
ていなかった（A. Elfes:"UsingOccupancy Grids for M
obile Robot Perception and Navigation",Computer,Vo
l.22,No.6,pp 46-57(1989) ）。

【００１１】したがって、従来の方法では、環境モデル
を作成する場合において、小型対象物データの環境内位
置情報や、大型対象物の形状を簡単に得ることは困難で
あった。

【００１２】そこで、本発明では、環境モデルを作成す
る場合において、小型対象物データの環境内位置情報
や、大型対象物の形状を簡単に得ることができる環境モ
デル作成装置を提供する。

【００１３】

【課題を解決するための手段】第１の発明の環境モデル
作成装置は、テレビカメラあるいは超音波の視覚センサ
等からの視覚情報を用いて、距離、形状及び表面属性等
の３次元属性情報を測定する３次元属性情報入力部と、
この３次元属性情報入力部より入力された３次元属性情
報と予め記憶された対象物データとから環境モデルを形
成する環境モデル処理部と、この環境モデル処理部に記
憶された環境モデルに基づき環境の人工映像を作成する
映像作成部と、この映像作成部の人工映像作成結果と対
応位置での視覚情報を比較することにより環境モデル記
述の検証を行なう解析部と、前記３次元属性情報入力部
の入力制御を行なう観測制御部とからなるものである。

【００１４】第２の発明の環境モデル作成装置は、テレ
ビカメラあるいは超音波の視覚センサ等からの視覚情報
を用いて、距離、形状及び表面属性等の３次元属性情報
を測定する３次元属性情報入力部と、この３次元属性情
報入力部より入力された３次元属性情報を管理し環境モ
デルを形成する環境モデル処理部と、この環境モデル処
理部に記憶された環境モデルに基づき環境の人工映像を
作成する映像作成部と、この映像作成部の人工映像作成
結果と対応位置での視覚情報を比較することにより環境
モデル記述の検証を行なう解析部と、前記３次元属性情
報入力部より入力された３次元属性情報から対象空間の
外郭データ及び非外郭データを識別し、当外郭データか
ら順に詳細な環境モデルを形成するように、前記３次元
属性情報入力部の入力制御を行なう観測制御部とからな
るものである。

【００１５】

【作 用】第１の発明の環境モデル作成装置について説
明する。

【００１６】３次元属性情報入力部が、テレビカメラ、
超音波の視覚センサ等からの視覚情報を用いて、距離、
形状表面属性等の３次元属性情報を測定する。

【００１７】環境モデル処理部が、前記３次元属性情報
入力部へ入力された３次元属性情報と予め記憶された対
象物データとからを環境モデルを形成する。

【００１８】映像作成部が、前記環境モデル処理部に記
憶されたモデル記述に基づき環境の人工映像を作成す
る。

【００１９】解析部が、前記映像作成部の人工映像作成
結果と現在位置での視覚情報を比較することにより環境
モデル記述の検証を行なう。

【００２０】観測制御部が、前記３次元属性情報入力部
の入力制御を行なう。

【００２１】これにより、視覚情報を入力するだけで、
環境モデル処理部が環境モデルを形成し、小型対象物デ
ータの環境内位置情報や、大型対象物の形状を簡単に得
ることができる。

【００２２】第２の発明の環境モデル作成装置について
説明する。

【００２３】３次元属性情報入力部が、テレビカメラ、
超音波の視覚センサ等からの視覚情報を用いて、距離、
形状表面属性等の３次元属性情報を測定する。

【００２４】環境モデル処理部が、前記３次元属性情報
入力部へ入力された３次元属性情報を管理し環境モデル
を形成する。

【００２５】映像作成部が、前記環境モデル処理部に記
憶されたモデル記述に基づき環境の人工映像を作成す
る。

【００２６】解析部が、前記映像作成部の人工映像作成
結果と現在位置での視覚情報を比較することにより環境
モデル記述の検証を行なう。

【００２７】観測制御部が、３次元属性情報入力部より
入力された３次元属性情報から対象空間の外郭データ及
び非外郭データを識別し、当外郭データから順に詳細な
環境モデルを形成するように、前記３次元属性情報入力
部の入力制御を行なう。

【００２８】これにより、観測する対象物の背景とし
て、表面情報が単純な領域を選ぶことができ、画像から
の対象物の切りわけや、画像間の照合が容易になる。

【００２９】

【実施例】

（ 実 施 例 １ ）以下、本発明の第１の実施例を
図１〜図４に従い説明する。

【００３０】図１は、環境モデル作成装置の概略構成を
示すもので、３次元属性情報入力部１、環境モデル処理
部２、映像作成部３、解析部４、観測制御部５から構成
されている。以下、各部分について説明する。

【００３１】３次元属性情報入力部 ３次元属性情報入力部１は、環境の３次元形状や表面情
報をステレオ視により獲得する。これは、２台のテレビ
カメラ（以下、ステレオカメラという）によりステレオ
画像を入力し、これらステレオ画像をそれぞれ画像メモ
リに蓄積する。そして、２枚の画像メモリに蓄積されて
いるステレオ画像間の対応づけを行ない、ステレオカメ
ラの座標系における環境の３次元座標データを求める。
得られた３次元座標データ、及び画像データは環境モデ
ル処理部２へ送られる。

【００３２】環境モデル処理部 図２に環境モデル処理部２の一構成例を示し、更新部
６、３次元環境データ記憶部７、認識部８、対象物デー
タ設置部９、対象物データ記憶部１０及び環境モデル記
憶部１１よりなる。

【００３３】また、図３に環境モデル処理部２の処理の
流れを示す。以下この流れを参照しつつ各ステップを詳
細に説明する。

【００３４】（ステップ１） 更新部６において、予め環境内に設定しておいた環
境座標系における３次元座標データに、３次元属性情報
入力部１で得られたステレオカメラの座標系における環
境の３次元座標データを変換し、３次元環境データ記憶
部７に登録する。観測を始めた時のステレオカメラの座
標系の環境座標系内の初期位置は、予め測量器により計
測しておく。

【００３５】 更新部６は、３次元環境データ記憶部
７に蓄積されている環境の３次元形状を参照し、次の画
像収集位置を設定する。この場合に、画像収集位置は３
次元環境データ記憶部７に蓄積されている環境の３次元
形状から任意の自由空間位置を選ぶ。そして、観測制御
部５に画像収集位置の環境座標系における位置情報を送
る。

【００３６】 観測制御部５は、この位置に環境モデ
ル作成装置が移動できるようアクチュエータを制御す
る。

【００３７】 環境モデル作成装置の移動後、３次元
属性情報入力部１に画像入力信号を送る。

【００３８】 ３次元属性情報入力部１は、画像メモ
リに蓄えられた画像から再び、新たな位置からの環境の
３次元座標値を求める。

【００３９】 この座標値を更新部６は環境座標系で
の座標値に変換し、３次元環境データ記憶部７に記録さ
れている３次元形状と表面データと統合する。統合は空
間を格子上に区切った占有格子（occupancy grid 図４
参照）において３次元形状と表面データが獲得された環
境座標系の位置を含む格子を随時埋めていくことで実現
する。

【００４０】 この移動、ステレオ画像入力、３次元
座標値算出、統合の処理を繰り返しながら、３次元環境
データ記憶部７における蓄積データを更新していく。

【００４１】（ステップ２）認識部８は、予め対象物デ
ータ記憶部１０に登録しておいた机、椅子、パーティシ
ョン等の環境内対象物の対象物データを用いて、３次元
環境データ記憶部７に納められている環境の３次元形状
と表面データから対象物部分のデータを認識する。

【００４２】 対象物データ記憶部１０に記憶されて
いる環境内対象物の対象物データは以下の通りである。

【００４３】(1) 形状データ 対象物データの表面を三角形のパッチに切り分け、個々
の三角形の頂点座標値及び面の表方向を示す法線ベクト
ルが蓄積されている。座標系は対象物データの周辺に任
意に定める。

【００４４】(2) 表面データ 各三角形パッチに対応する対象物データ表面の画像が、
三角形パッチ上にテクスチャーマッピングして蓄積され
ている。

【００４５】(3) 照合データ 認識部８で用いる照合用データであり、三角形パッチの
法線ベクトル同士が類似している隣接パッチ同士を統合
し、求めた平面の集合が蓄積されている。この平面集合
に含まれていない三角形パッチの集合は曲面に含まれる
というフラグを付加し、蓄積しておく。各平面は、法線
ベクトル、折れ線近似した輪郭線の３次元座標列、面
積、及び平面上の重心位置を対象物データ毎に設定され
た座標系に対し保持している。

【００４６】 認識部８では、３次元環境データ記憶
部７より得られる占有格子データに対し、ハフ変換（ho
ugh 変換）を適用し、平面の集合を求める。得られた平
面の集合Ｐｉに対し、対象物データ記憶部１０に蓄積さ
れている各対象物データＳｉの照合データと類似してい
る平面の組合せを探索する。つまり、各Ｓｉに対し、構
成している個々の平面Ｆｉの面線及び輪郭形状が類似し
ており、かつＦｉ間の３次元的位置関係が類似している
平面の組合せＱｉがＰｉ中で存在するか否かを探索す
る。そして、存在するならば、それを対象物データとし
て認識する。

【００４７】（ステップ３）認識部８では、Ｓｉの各Ｆ
ｉがＱｉの対応する平面と最も重複するようなプリミテ
ィブの座標系と環境座標系との間の回転移動量（θｘ，
θｙ，θｚ）、及び平行移動量（ｄｘ，ｄｙ，ｄｚ）を
求める。そして、対象物データ設置部９に対象物データ
の種類とともに送る。

【００４８】（ステップ４）対象物データ設置部９は、
認識した部分の３次元形状及び表面データと対象物デー
タ記憶部１０に蓄積されている３次元形状及び表面デー
タとを置き換える。

【００４９】すなわち、対象物データ設置部９では、認
識部８より送られてくる回転移動量と平行移動量を用い
て、３次元属性情報入力部１より得られた占有格子デー
タに照合された対象物データのデータを組み込む。占有
格子データの外郭面を三角形パッチで近似した後、照合
がとれた対象物データの形状データ及び表面データを認
識部８より得られる回転移動量及び平行移動量を用いて
座標変換して統合する。

【００５０】（ステップ５）統合された３角形パッチ及
びパッチ上にテクスチャーマッピングされた表面情報を
環境モデル記憶部１１に登録する。

【００５１】映像作成部 映像作成部３は、環境モデル処理部２により得られた環
境モデル記述をコンピュータグラフィックスを利用した
映像に変換し表示する。

【００５２】解 析 部 解析部４は、この人工映像と３次元属性情報入力部１で
得られた現在位置でのカメラ画像を比較することによ
り、３次元距離入力の欠落、誤差による記述の誤り部分
を検出し、環境モデル処理部２に格納された環境モデル
記述の修正を行なう。また、解析部４は、上記比較処理
によりモデルデータが得られていない領域を検出し、新
たな観測指令を３次元属性情報入力部１、または、観測
制御部５に送信し、移動観測の制御を行なう。

【００５３】本実施例では、認識部８において、３次元
環境データ記憶部７より得られた環境の３次元形状と表
面データから対象物データを認識するのに平面の組合せ
を用いているが、対象物データのボリュームを用いて照
合する等、他の手法も適用できる。また、対象物データ
記憶部１０のデータは本実施例で記述したものに限定さ
れることはなく、認識部８においてとられる認識手法に
応じて様々なものを用いることができる。

【００５４】（ 実 施 例 ２ ）次に、本発明の環
境モデル作成装置の第２の実施例を図１及び図５〜図１
９に従い説明する。

【００５５】本実施例の環境モデル作成装置の概略構成
は、第１の実施例と同じもので、３次元属性情報入力部
１、環境モデル処理部２、映像作成部３、解析部４、観
測制御部５から構成されている。以下、各部分を説明す
る。

【００５６】３次元属性情報入力部 図５に奥行きデータをステレオ視により獲得する際の３
次元属性情報入力部１の一構成例を示す。

【００５７】２台のテレビカメラ１０６，１０７は観測
制御部５より送られてくる画像入力信号により画像を同
時に入力し、画像メモリ１０８，１０９へそれぞれ格納
する。奥行き算出部１１０は画像メモリ１０８，１０９
より入力された２枚の画像からステレオ視により奥行き
を算出する。

【００５８】本装置による観測を行なう以前に、人間が
環境内に基準となる環境座標系を設定しておく。そし
て、この環境座標系における本装置の初期位置及び初期
方向を測定しておき、観測制御部５に登録しておく。

【００５９】座標変換部１１１は、観測制御部５より送
られてくる本装置の環境座標系における位置及び方向を
用い、奥行き算出部１１０により算出された奥行きデー
タを座標変換する。図７に示すように本装置の環境座標
系Ｃにおける位置及び方向を（ｘv ，ｙv ，ｚv ）、θ
v とし、奥行き算出部１１０により得られた奥行きデー
タ（ステレオカメラの座標系Ｃ’を基準にして得られて
いる本装置の位置及び方向は、この座標系Ｃ’の原点位
置及びｘ軸との成す角度を用いている）を（ｘs ，ｙs
，ｚs ）とすると、以下の方程式により、環境座標系
を基準とした３次元データ（ｘ，ｙ，ｚ）が得られる。
ただし、本実施例では本装置が動き回る床面は平坦であ
り、ｘ軸及びｙ軸の回転は無視している。

【００６０】ｘ＝ｘｃｏｓθv −ｙｓｉｎθv −ｘv ｙ＝ｘｓｉｎθv ＋ｙｃｏｓθv −ｙv ｚ＝−ｚv観測制御部 図６に観測制御部５の一構成例であり、外郭データ生成
部１１２，蓄積部１１３，表面情報解析部１１４，観測
位置方向算出部１１５，移動制御部１１６及びアクチュ
エータ１１７から構成される。以下、各部分を説明す
る。

【００６１】［蓄積部］蓄積部１１３には、観測空間を
ｘ−ｙ平面に投影し、その平面を均一サイズの格子で区
切った占有格子Ｇが蓄積されている（図９参照）。この
占有格子Ｇの（ｉ，ｊ）番目の格子をｇijとする。ｇij
は２つの状態フラグｆt ，ｆa を保持している。

【００６２】ｆt は、対象フラグであり、格子ｇijが外
郭であるか否かを記述する。ｆa は、領域フラグであ
り、ｇijが外郭領域であるか否かを記述する。この関係
を説明すると下記のようになる。

【００６３】ｆt は、格子ｇijが完全な外郭であるか否
かを設定するものであり、完全な外郭でない場合は１で
あり、完全な外郭である場合は２である。

【００６４】ｆa は、ｇijが外郭領域であるか否かを設
定するものであり、外郭領域でない場合は０であり、外
郭領域である場合は１である。

【００６５】ｆt ＝２であって、完全な外郭の場合と
は、ｇijに外郭があると認識され、かつ、そのｇij以上
の領域に３次元データが存在しない場合をいう。そし
て、このような領域が、外郭領域であり、ｆa ＝１とな
る。

【００６６】ｆt ＝１であって、完全な外郭でない場合
とは、ｇijに外郭があると認識され、かつ、そのｇij以
上の領域に３次元データが存在する場合をいう。そし
て、このような領域が、外郭領域でないとして、ｆa ＝
０となる。

【００６７】［外郭データ生成部］外郭データ生成部１
１２は、３次元属性情報入力部１より得られた環境座標
系を基準とする３次元データから、図８の処理手順に従
って、外郭データ、非外郭データ及び画像データを求
め、これらのデータと蓄積部１１３のデータとを統合す
る。

【００６８】以下、図８に基づいて外郭データ生成部１
１２の処理を説明する。

【００６９】まず、前提として各ｇijのｆt ，ｆa は，
本装置起動時において０に初期化しておく。そして、蓄
積部１１３に登録されている占有格子Ｇをロードする。

【００７０】（ステップ１）３次元属性情報入力部１よ
り得られた各３次元データ（ｘ，ｙ，ｚ）に対し、
（ｘ，ｙ）の値を含むｇijの対象フラグｆt を１とす
る。

【００７１】（ステップ２）ｆt ＝１である各ｇijに対
し、ｆa ＝１であるならｆt を２とする。

【００７２】（ステップ３）ｆt ＝１である各ｇijを図
１０に示すように８隣接でラベリングし、ラベル領域の
集合Ｌを求める。図１０の例の場合、

【数１】 のようにラベル付けされる。

【００７３】（ステップ４）Ｌが空集合か否かを判断し
て、空集合でなければステップ５に進み、空集合であれ
ばステップ１０に進む。

【００７４】（ステップ５）Ｌが空集合でないので、Ｌ
に含まれるラベル領域から任意に１つの領域ｌｉを選択
する。そして、図１１に示すように、本装置の位置Ｐか
らラベル領域ｌｉへ引いた２本の接線ｐ１，ｐ２に囲ま
れる領域の中で、ｌｉよりもｐに対して離れている領域
を求める。この領域を含んでいるすべての占有格子ｇij
の集合を外領域Ａとする。図１２の例の場合、ラベル領
域ｌ１の外領域はＡ１、ラベル領域ｌ２の外領域はＡ２
となる。

【００７５】（ステップ６）外領域Ａに含まれるｇijの
中で、ｆt ＝１である領域、すなわち、３次元データが
存在する領域が含まれているか否かを判断して、含まれ
ていればステップ９に進み、含まれていなければステッ
プ７に進む。

【００７６】（ステップ７）外領域Ａに含まれるｇijの
中で、ｆt ＝１である領域（すなわち、３次元データが
存在する領域）が含まれていないので（図１２の例では
外領域Ａ１）、ラベル領域に含まれるｇijは外郭である
としてｆt に２を代入する。

【００７７】（ステップ８）外領域を含んでいるｇijの
ｆa を１とする。図１２の例では、ｌ１に含まれるｇij
のｆt は、２に設定される。また、Ａ１に含まれるｇij
のｆa は、１に設定される。しかし、Ａ２の領域にはｆ
t ＝１であるｇijが存在するので、ｌ２に含まれるｇij
のｆt は１のままであり、Ａ２に含まれるｇijのｆa も
０のままである。

【００７８】（ステップ９）Ｌの集合から選択したラベ
ル領域ｌｉを除き、ステップ４に戻り、再びラベル領域
を１つ選択し、以上の処理をＬが空集合になるまで繰り
返す。

【００７９】（ステップ１０）Ｌが空集合なので、ｆt
が１または２である各占有格子ｇijに対し、そのｇijが
含む３次元データの中で最大のｚ座標値ｚmax を持つも
のを選ぶ。そして、占有格子Ｇにｚmax を付加した立体
占有格子Ｖ（図１３参照）を作成する。

【００８０】（ステップ１１）画像入力部より得られた
画像情報をＣＧにおけるテクスチャーマッピングの技法
で立体占有格子の側面に貼り付ける。ここで、立体占有
格子の側面とは占有格子Ｇの個々の格子をｚmax だけ上
に伸ばした柱状直方体の側面のことであり、図１３の立
体占有格子の例においてはＳ１，Ｓ２，Ｓ３，Ｓ４であ
る。図１４に示すように、本装置の環境座標系における
位置が既知であるため、本装置に対するカメラの位置・
姿勢及び焦点位置をキャリブレーションにより獲得して
おけば、立体占有格子上の側面に投影される画像部分を
切り出すことができるため、立体占有格子の各側面に切
り出した画像を画像ファイルとして付加しておく。

【００８１】（ステップ１２）以上の処理を行なった
後、外郭データ生成部１１２は、蓄積部１１３のデータ
を新たな立体占有格子Ｖと占有格子Ｇに更新する。

【００８２】［表面情報解析部］表面情報解析部１１４
では、蓄積部１１３の立体占有格子Ｖの側面に付加され
た画像のエッジの密度による領域分割をそれぞれ行な
う。

【００８３】［観測位置方向算出部］観測位置方向算出
部１１５では、観測しようとする対象物の背景画像が単
純なテクスチャー領域を持つような観測位置及び方向を
算出する。図１５に基づいて観測位置方向算出部１１５
の処理の流れを説明する。

【００８４】（ステップ１）占有格子Ｇにｆt ＝１の格
子が存在するか否かを判断し、存在すればステップ２に
進み、存在しなければステップ１４に進んで、観測終了
信号を移動制御部７へ送り終了する。

【００８５】（ステップ２）占有格子Ｇにｆt ＝１の格
子が存在するので、この格子は外郭ではないため、再計
測を行ない、測定精度を高めていく。占有格子Ｇの各ｇ
ijの中で、ｆt ＝１である領域を８隣接でラベル付け
し、その集合をＬ１とする。

【００８６】（ステップ３）占有格子Ｇの各ｇijの中
で、ｆt ＝２である領域を８隣接でラベル付けし、その
集合をＬ２とする。Ｌ２は外郭の領域である。

【００８７】（ステップ４）近接しているＬ１，Ｌ２に
おける領域をそれぞれｌ1i，ｌ2iとする。ここで、近接
しているとは、図１６に示すように、ｌ1i，ｌ2iの間に
ｆt ＝１のｇijが存在しないことである。

【００８８】（ステップ５）図１６に示すように、ｌ2i
に対しｌ1iの重心を中心にした点対称の位置の周辺に探
索領域Ｂを設定する。Ｂは例えば、図１７に示すよう
に、ｌ1iとｌ2iの両端同士を結んだ直線を延長し、交わ
る点Ｃ以下の３角形領域として設定される。

【００８９】（ステップ６）探索領域Ｂが設定できたな
らばステップ７に進み、設定できなければステップ１２
に進む。

【００９０】（ステップ７）探索領域Ｂを設定すると、
ｌ2iに対応する立体占有格子の側面画像に対する表面情
報解析部５の領域分割結果から、エッジの密度の低い領
域を単純テクスチャー領域として求める。

【００９１】（ステップ８）探索領域Ｂ中で本装置の位
置方向を随時変更し、単純テクスチャー領域とｌ1iを本
装置の画像面に投影した際の画像を生成する（図１８参
照）。

【００９２】（ステップ９）この画像中で、図１９に示
すように、ｌ1iの投影画像の上部が単純テクスチャー領
域に含まれている否かを判断し、含まれていればステッ
プ１０に進み、含まれていなければステップ１１に進
む。

【００９３】（ステップ１０）ｌ1iが存在する空間を再
観測空間とし、この時の（ｘ，ｙ，ｚ）、θを移動制御
部１１６へ送る。そして、終了する。

【００９４】（ステップ１１）ｌ1iの投影画像の上部が
単純テクスチャー領域に含まれていないなら、探索領域
Ｂのすべての場所で投影画像の作成を行い、ｌ1iの投影
画像の上部が単純テクスチャー領域に含まれているか否
かを判断し、含まれていればステップ１２に進み、含ま
れていなければステップ８に戻る。

【００９５】（ステップ１２）探索領域Ｂのすべての場
所で投影画像を作成しても投影画像の上部が単純テクス
チャー領域に含まれるようなｌ1iが存在しない場合に
は、ｌ1iをＬ１の集合から除去する。

【００９６】（ステップ１３）Ｌ１が空集合か否かを判
断して、Ｌ１が空集合であるなら観測終了信号を移動制
御部１１６へ送って終了する。Ｌ１が空集合でなければ
近接しているｌ1iとｌ2iの組を選び直して探索領域を設
定し、ステップ４に戻る。

【００９７】［移動制御部］移動制御部１１６では観測
位置方向算出部１１５より入力される位置（ｘ，ｙ，
ｚ）、方向θに本装置が移動できるようアクチュエータ
１１７を制御する。そして、移動した後、３次元属性情
報入力部１に画像入力信号を出す。また、本装置の環境
座標系における現在位置方向として、（ｘ，ｙ，ｚ）、
θの値を３次元属性情報入力部１へ送る。観測位置方向
算出部１１５より、観測終了信号が入力された場合には
移動制御を停止し、観測を終了する。

【００９８】環境モデル処理部 環境モデル処理部２は３次元属性情報入力部１より得ら
れた３次元データや画像から環境モデルを記述する。

【００９９】映像作成部 映像作成部３は、環境モデル処理部２により得られた環
境モデル記述をＣＧを利用した映像に変換し表示する。

【０１００】解析部 解析部４は、この人工映像と３次元属性情報入力部１で
得られた現在位置でのカメラ画像を比較することによ
り、３次元距離入力の欠落、誤差による記述の誤り部分
を検出し、環境モデル処理部２に格納された環境モデル
記述の修正を行なう。また、解析部４は、上記比較処理
によりモデルデータが得られていない領域を検出し、新
たな観測指令を３次元属性情報入力部１、または、観測
制御部５に送信し、移動観測の制御を行なう。

【０１０１】ここでは、３次元属性情報入力部の一構成
例として、カメラが２台の場合を説明したが、カメラの
台数には制限がなく、上述と同様の手法で実現できる。

【０１０２】また、表面情報解析部１１４において、エ
ッジの密度により、画像を領域分割したが、色相やフー
リエ変換によるテクスチャー解析による領域分割手法も
適用することができる。さらに、観測位置方向算出部１
１５における、探索領域Ｂの設定手法や、投影画像を生
成する位置方向の決め方等も、本装置はここで説明した
手法にとらわれることはなく、他の手法も適用できる。

【０１０３】

【発明の効果】第１の発明の環境モデル作成装置であれ
ば、データ入力手段が構築した環境の３次元形状及び表
面情報に代えて、予め記憶されている対象物データが個
別に置換えられるので、登録されている対象物は独立に
アクセスできる。このため、ＣＧ処理において必要とさ
れる基本的な処理の実現に必要な情報を直接得ることが
できる。

【０１０４】第２の発明の環境モデル作成装置であれ
ば、環境の３次元データを獲得する際に、環境の外郭か
ら順番に観測していき、最外郭が入力された後、その内
部の対象物に対し、テクスチャーが単純な領域が背景と
なるような位置方向から画像を入力し、３次元データを
獲得していくため、３次元データの獲得処理が容易とな
り、獲得されるデータの信頼性が高まる。これにより、
信頼性の高い３次元データが獲得できるため、環境モデ
ルの入力ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の環境モデル作成装置を
示すブロック図である。

【図２】環境モデル処理部のブロック図である。

【図３】環境モデル処理部の処理の流れを示すフローチ
ャートである。

【図４】占有格子を説明するための図である。

【図５】第２の実施例の３次元属性情報入力部のブロッ
ク図である。

【図６】第２の実施例の観測制御部の一構成を示すブロ
ック図である。

【図７】環境座標系と本装置のステレオカメラの座標系
を説明するための図である。

【図８】外郭データ生成部の流れを示すフローチャート
である。

【図９】外郭データ生成部の占有格子を説明するための
図である。

【図１０】外郭データ生成部のラベリングを説明するた
めの図である。

【図１１】外郭データ生成部の外領域を説明するための
図である。

【図１２】外郭データ生成部の外郭の決定手法を説明す
るための図である。

【図１３】外郭データ生成部の立体占有格子を説明する
ための図である。

【図１４】外郭データ生成部の画像のマッピングを説明
するための図である。

【図１５】観測位置方向算出部の処理の流れのフローチ
ャートである。

【図１６】観測位置方向算出部の探索領域の設定手法を
説明するための図である。

【図１７】観測位置方向算出部の探索領域の設定手法を
説明するための図である。

【図１８】観測位置方向算出部の画像面への投影を説明
するための図である。

【図１９】観測位置方向算出部の単純テクスチャー領域
との包含関係を説明するための図である。

【符号の説明】

１…３次元属性情報入力部 ２…環境モデル処理部 ３…映像作成部 ４…解析部 ５…観測制御部 ６…更新部 ７…３次元環境データ記憶部 ８…認識部 ９…対象物データ設置部 １０…対象物データ記憶部 １１…環境モデル記憶部 １１０…奥行き算出部 １１１…座標変換部 １１２…外郭データ生成部 １１３…蓄積部 １１４…表面情報解析部 １１５…観測位置方向算出部 １１６…移動制御部 １１７…アクチュエータ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 15/00 7/00 Ｈ０４Ｎ 7/18 Ｋ // Ｇ０１Ｂ 11/24 Ｚ (72)発明者 鈴木 薫 大阪府大阪市北区大淀中一丁目１番30号 梅田スカイビル タワーウエスト 株式会 社東芝関西支社内 (72)発明者 和田 隆 大阪府大阪市北区大淀中一丁目１番30号 梅田スカイビル タワーウエスト 株式会 社東芝関西支社内 (72)発明者 八木 稔 大阪府大阪市北区大淀中一丁目１番30号 梅田スカイビル タワーウエスト 株式会 社東芝関西支社内 (72)発明者 服部 寛 大阪府大阪市北区大淀中一丁目１番30号 梅田スカイビル タワーウエスト 株式会 社東芝関西支社内 (72)発明者 中村 達郎 大阪府大阪市北区大淀中一丁目１番30号 梅田スカイビル タワーウエスト 株式会 社東芝関西支社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】テレビカメラあるいは超音波の視覚センサ
   等からの視覚情報を用いて、距離、形状及び表面属性等
   の３次元属性情報を測定する３次元属性情報入力部と、 この３次元属性情報入力部より入力された３次元属性情
   報と予め記憶された対象物データとから環境モデルを形
   成する環境モデル処理部と、 この環境モデル処理部に記憶された環境モデルに基づき
   環境の人工映像を作成する映像作成部と、 この映像作成部の人工映像作成結果と対応位置での視覚
   情報を比較することにより環境モデル記述の検証を行な
   う解析部と、 前記３次元属性情報入力部の入力制御を行なう観測制御
   部とからなることを特徴とする環境モデル作成装置。
2. 【請求項２】前記環境モデル処理部が、 環境内の対象物に関するデータを予め記憶しておく対象
   物データ記憶部と、 この対象物データ記憶部に記憶されているデータと、前
   記３次元属性情報入力部より得られた環境の形状及び表
   面データとから、対象物データ記憶部に記憶されている
   環境内の対象物を認識すると共に、その認識した対象物
   の環境内位置を求める認識部と、 この認識部により求めた対象物の環境内位置に、前記３
   次元属性情報入力部より得られた環境の形状及び表面デ
   ータの代わりに前記認識部により認識した対象物データ
   を置換える対象物データ設置部と、 この対象物データ設置部により置換えられた対象物デー
   タを記憶する環境モデル記憶部とからなることを特徴と
   する請求項１記載の環境モデル作成装置。
3. 【請求項３】テレビカメラあるいは超音波の視覚センサ
   等からの視覚情報を用いて、距離、形状及び表面属性等
   の３次元属性情報を測定する３次元属性情報入力部と、 この３次元属性情報入力部より入力された３次元属性情
   報を管理し環境モデルを形成する環境モデル処理部と、 この環境モデル処理部に記憶された環境モデルに基づき
   環境の人工映像を作成する映像作成部と、 この映像作成部の人工映像作成結果と対応位置での視覚
   情報を比較することにより環境モデル記述の検証を行な
   う解析部と、 前記３次元属性情報入力部より入力された３次元属性情
   報から対象空間の外郭データ及び非外郭データを識別
   し、当外郭データから順に詳細な環境モデルを形成する
   ように、前記３次元属性情報入力部の入力制御を行なう
   観測制御部とからなることを特徴とする環境モデル作成
   装置。
4. 【請求項４】前記３次元属性情報入力部が、 画像を入力するための画像入力手段と、 この画像入力手段により入力された画像を用いて奥行き
   を獲得する奥行き算出部と、 この奥行き算出部により得られた奥行きデータを、予め
   設定しておいた座標系における座標値に変換し、３次元
   データを獲得する座標変換部とから構成されることを特
   徴とする請求項３記載の環境モデル作成装置。
5. 【請求項５】前記観測制御部が、 前記３次元属性情報入力部からのデータによって対象空
   間の外郭データ、非外郭データ及び画像データを生成す
   る外郭データ生成部と、 この外郭データ生成部より生成した外郭データ、非外郭
   データ及び画像データを蓄積する蓄積部と、 この蓄積部に蓄積された画像データから表面情報を解析
   する表面情報解析部と、 この表面情報解析部によって
   解析された表面情報と、前記蓄積部に蓄積された外郭デ
   ータ及び非外郭データから、観測する対象物の背景が単
   純なものになるよう観測する位置及び方向を算出する観
   測位置方向算出部とから構成されることを特徴とする請
   求項３記載の環境モデル作成装置。