JPH0629695B2 - ステレオ視覚装置 - Google Patents

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） この発明は、物体を２方向から撮像し、この２方向から
の画像により物体を立体的に見て（所謂ステレオ視し
て）物体の位置を求めるステレオ視覚装置に関する。

（従来の技術） 最初に、第１０図を参照してステレオ視の原理について
説明する。ステレオ視は、第１０図に示すように２台の
カメラＣ_ＬおよびＣ_Ｒによって物体Ｂを撮像した２つの
画像Ｉ_Ｌ，Ｉ_Ｒから物体Ｂの同一部分、例えば点Ａに対
応する画像Ｉ_Ｌ，Ｉ_Ｒの中の対応点Ａ_Ｌ，Ａ_Ｒを検出
し、これらの対応点Ａ_Ｌ，Ａ_Ｒの位置とカメラＣ_Ｌ，Ｃ
_Ｒの配置から三角測量の原理により物体Ｂの三次元位置
を計算して求めるものである。

上述した対応点の検出方法として、従来、２つの方法が
ある。

第１の方法は、第１１図に示すように、求めたい対応点
の周囲の小領域Ｓを一方の画像Ｉ_Ｌから取り出し、この
小領域Ｓの画像と他方の画像Ｉ_Ｒの各部分の相関係数を
計算し、この相関の最大値が得られる部分を対応点とし
て検出する方法である。この第１の方法においては、小
領域の画像間の局部的な類似性を利用しているので、小
領域に他と異なる明瞭なパターンがないと、対応付けが
正確に行なえない。

また、第２の方法は、第１２図に示すように、カメラＣ
_Ｌ，Ｃ_Ｒで撮像した左右画像Ｉ_Ｌ，Ｉ_Ｒからエッジ（角
部や稜線部等）を検出し、このエッジから左右の画像Ｉ
_Ｌ，Ｌ_Ｒにおいて対応するエッジＥ_１ＬおよびＥ_１Ｒま
たはエッジＥ_２ＬおよびＥ_２Ｒを検出する方法である。
この第２の方法においては、検出するエッジの単位の大
きさが比較的大きいものであるため、対応付けの誤りが
第１の方法に比較して少ない。

（発明が解決しようとする問題点） 前記第１の方法では、上述したように対応付けを正確に
行なうことができないという問題がある。

また、第２の方法では、曲面を有する物体の場合には、
直方体の稜線に対応するようなエッジ、特に直線的なエ
ッジが存在しないために、適確な対応点を検出すること
ができないという問題がある。更に具体的に第６図に示
すような円柱の場合を例として説明すると、第６図に示
す円柱の左右の画像Ｉ_Ｌ，Ｉ_Ｒにおいて対応するエッジ
と見なされる線分Ｆ_１ＬとＦ_１ＲおよびＦ_２ＬとＦ_２Ｒ
は実際には円柱の同一部分の線分に対応していない。す
なわち、左画像Ｉ_Ｌの線分は右画像Ｉ_Ｒよりも円柱の左
側を見ているものである。これは、左右のカメラＣ_Ｌ，
Ｃ_Ｒで円柱を撮像した場合、撮像した曲面の位置が異な
るにもかかわらず、円柱のように曲面を有する物体にお
いては、画像として同様な形状で表示され、画像上で輪
郭線として同じ位置で表示されていても実際の位置は曲
面上で異なっているためである。従って、上述した線分
Ｆ_１ＬとＦ_１ＲおよびＦ_２ＬとＦ_２Ｒから単純にこれら
の線分を対応するエッジとして識別し、このエッジの画
像上の位置から物体の三次元位置を計算すると誤差が発
生し、正確な対応点を検出できないという問題があるの
である。

この発明は、上記に鑑みてなされたもので、その目的と
するところは、曲面を有する物体でも適確な対応点を検
出し、正確な三次元位置、姿勢を求めることができるス
テレオ視覚装置を提供することにある。

［発明の構成］ （問題点を解決するための手段） 上記問題点を解決するため、円柱からなる被撮像体を該
被撮像体を構成する円形面を斜めに見る異なる位置から
撮像して得られる一対のステレオ画像の中から被撮像体
の同一点に対応する点を検出し、該対応点に対して三角
測量の原理を適用して被撮像体の三次元位置を計測する
ステレオ視覚装置であって、第１図に示すように、前記
一対のステレオ画像に係る情報から当該円柱からなる被
撮像体の輪郭線を算出し、この算出された輪郭線から被
撮像体の形状に応じて固定的に決定され当該一対のステ
レオ画像間で対応付け可能な対応点を含む楕円形状の輪
郭線を抽出する輪郭線情報算出手段８と、この輪郭線情
報算出手段８で抽出された楕円形状の輪郭線に関する情
報から該輪郭線により一意的に決定される上記対応点の
位置を検出する対応点検出手段９とを有することを要旨
とする。

（作用） この発明のステレオ視覚装置においては、輪郭線情報算
出手段８で円柱からなる被撮像体の輪郭線を算出し、こ
の輪郭線から被撮像体の形状に応じて固定的に決定され
当該一対のステレオ画像間で対応付け可能な対応点を含
む楕円形状の輪郭線を抽出し、さらに対応点検出手段９
によって楕円形状の輪郭線に関する情報から該輪郭線に
より一意的に決定される上記対応点の位置を検出してい
る。

（実施例） 以下、図面を用いて、この発明の実施例を説明する。

第２図は、この発明の一実施例に係るステレオ視覚装置
の構成図である。同図に示すステレオ視覚装置は、一例
として円柱１をステレオ視する場合について説明されて
おり、該円柱１の画像を撮像するための左右の２台のカ
メラ２，３を有し、このカメラ２、３で撮像した画像信
号はＡ／Ｄ変換器４によりディジタル画像信号に変換さ
れ、画像メモリ５に記憶される。この画像メモリ５に記
憶されたディジタル画像信号は画像処理部６で処理され
てから、その結果がまた画像メモリ５に記憶されるよう
になっている。また、画像メモリ５にはマイクロコンピ
ュータ回路７が接続されていて、画像処理部６で処理さ
れてから画像メモリ５に記憶された画像信号はこのマイ
クロコンピュータ回路７によって前述した対応点の検
出、該対応点の三次元位置の計算等が行なわれるように
なっている。

上記画像処理部６は、詳細には第３図に示すように、全
体の動作を制御するシステムコントローラ１１を有し、
このシステムコントローラ１１に対してＤＭＡ（ダイレ
クトメモリアクセス）バス１２を介して主メモリ１３、
フロッピィディスクドライブ装置１５が接続され、Ｉ／
Ｏバス１４を介してＣＲＴコンソール１７が接続され、
ＤＭＡバス１２およびＩ／Ｏバス１４の両者に処理部１
９が接続され、Ｉ／Ｏバス１４および処理部１９の内部
バス２２を介して画像入出力部２１が接続されている。

上記処理部１９は、ＤＭＡバス１２、Ｉ／Ｏバス１４お
よび内部バス２２に接続されるインタフェース２３と、
このインタフェース２３に接続されるマイクロプログラ
ムコントローラ２５と、このコントローラ２５に接続さ
れ、マイクロ命令からなるマイクロプログラムを記憶し
ているマイクロプログラムメモリ２７と、内部バス２２
に接続され、演算動作を行なう演算論理ユニット、すな
わちＡＬＵ２９と、内部バス２２に接続されるととも
に、前記画像メモリ５に接続され、該画像メモリ５との
間で画像信号の授受を行なうメモリコントローラ３１
と、内部バス２２に接続されているテーブルメモリ３３
と、このメモリ３３に接続されるヒストグラムカウンタ
３５と、内部バス２２およびテーブルメモリ３３に接続
されているラベリングコントローラ３７と、内部バス２
２に接続されるデータメモリ３９と、このメモリ３９お
よび内部バス２２に接続され、内部バス２２にビットパ
ターンを供給するために接続される局所レジスタ４１
と、内部バス２２および局所レジスタ４１に接続されて
いるコンパレータ４３およびコンボルバ４５と、内部バ
ス２２およびコンボルバ４５に接続されている荷重レジ
スタ４７とを有する。

画像処理部６は、第３図に示すように構成され、第２図
の左右のカメラ２，３によって撮像したステレオ画像の
それぞれについて第４図に示す処理フローを行ない、そ
の結果の処理画像を第２図の画像メモリ５に再度記憶す
る。すなわち、第３図に示す画像処理部６は、まず第２
図の画像メモリ５からのディジタル画像信号をメモリコ
ントローラ３１を介して読み出して受信した後、第４図
に示すように、まずこの画像信号に対して微分処理を行
なう（ステップ１１０）。それから、この微分処理され
た画像信号を２値化し（ステップ１２０）、この２進数
の中の大きい値を検出することで上述したエッジの部分
を取り出す。このエッジは幅を有しているので、細線化
処理を行ない（ステップ１３０）、これによりエッジの
中心線を求めて線の幅が１画素になるようにする。

このように細線化されたエッジ画像をメモリコントロー
ラ３１を介して第２図の画像メモリ５に書き込むのであ
る。この細線化処理されて画像メモリ５に書き込まれた
エッジ画像は、第２図のマイクロコンピュータ回路７に
より第５図に示す処理が行なわれ、対象とする円柱１の
対応点、この場合には後述するように左右のカメラ２，
３で撮像された画像の楕円中心位置を対応点として検出
し、この対応点から三角測量原理に基づいて三次元位置
が計算されるのである。

以下、第５図に示すフローチャートに従って処理動作を
説明するが、その前に本発明のステレオ視覚装置の主要
点および原理について説明する。まず第１に本ステレオ
視覚装置は、カメラ２，３で撮像した左右の画像の対応
点を検出するが、この場合において従来の装置では前述
したように曲線を有する円柱１のような物体に対しては
正確な対応点が検出できなかったのに対して、本ステレ
オ視覚装置ではこのような曲線を有する物体の場合にも
正確な対応点を検出できるようにしているのである。こ
のために第２として本ステレオ視覚装置は、まずエッジ
の各点、特に近接する各点の関連から曲線部分を取り出
し、この曲線部分の連結をまとめて、連結された曲線か
らなるある形状、例えば第２図の円柱１では上下の楕円
部分の形状に対する連立方程式を作成し、この連立方程
式からこの形状、すなわち楕円の係数を求めて、この楕
円の中心位置を計算する。この中心位置は常にどこから
見ても円柱の端面の円の中心という同じ点に対応するも
のであるため、この中心位置を対応点として検出し、こ
の対応点の三次元位置を三角測量原理により計算してい
るのである。

すなわち、要約すると、曲線を有する物体に対しては、
例えば曲線部分の連結から楕円のようなある形状を求め
て物体の図形全体を推定し、この形状から中心点のよう
に見る位置で変化しない仮想的な対応点を求め、この対
応点から三次元位置を計算するのである。

次に、第５図のフローチャートに従って作用を説明す
る。なお、この説明においては、一例として円柱１を対
象とする場合について説明する。

前述したように第２図のカメラ２，３で撮像された円柱
１の画像信号はＡ／Ｄ変換器４を介して画像メモリ５に
記憶され、更に画像処理部６により細線化されたエッジ
画像が画像メモリ５に書き込まれたものに対して、まず
マイクロコンピュータ回路７はこのエッジ画像の各点に
ついて近隣の点とのなす角の余弦を第７図に示すように
求める（ステップ２１０）。すなわち、今ある点Ａ（第
７図）に対しては少し離れた位置、例えば点Ａから５画
素程度離れた位置の線上の２点Ｂ，Ｃを決め、この三角
形△ＡＢＣにおいて角Ａの余弦を次の式で求める。

cos＜Ａ＝（▲▼^２＋▲▼^２−▲▼^２）／
２▲▼・▲▼……(1) 次に、この余弦の値から一定値以上の点を選択し、これ
により各点からなる線が直線であるか、曲線であるかを
弁別し、曲線部分を取り出す（ステップ２２０）。すな
わち、点が直線上にある場合には余弦の値は−１に近い
小さな値であるので、−１よりも少し大きい値をしきい
値として定め、このしきい値よりも大きい余弦の値を有
する点を取り出すことで曲線上の点を取り出すことがで
きる。このように取り出した点から曲線部分を取り出す
わけであるが、曲線部分が完全に抽出できず、例えば第
８図に示すように曲線の一部が欠ける場合がある。しか
しながら、このように曲線が途切れていても、次のステ
ップ２３０，２４０で関連する曲線同志を連結してまと
めることにより、対応点検出を可能にしている。すなわ
ち、上述したように、取り出した曲線部分に関する情報
を画像メモリ５に書き込み、これを画像処理部６のラベ
リングコントローラ等の制御により連結領域に対してラ
ベル付けを行ない、第８図に示すように連結された部分
に同一の番号、例えば６１，６２，６３，６４が与えら
れる。そして、この各ラベル毎にその代表位置、例えば
１つの連結成分に属する点の座標値の平均値を計算し、
この値が近いものを１つにまとめるという方法で近隣の
連結領域のまとめ処理を行なう。第８図の例では、ラベ
ル６１と６２およびラベル６３と６４をそれぞれグルー
プに纏められる（ステップ２３０，２４０）。

次に、グループ分けされた曲線の各グループ毎にあては
まる楕円を求める。楕円の方程式は次式で表される。

ｆ（ｘ，ｙ）＝ａｘ^２＋２ｈｘｙ＋ｂｙ^２＋２ｇｘ＋２
ｆｙ＝１………(1) すなわち、曲線の各グループから曲線上の適当な点を例
えば５点以上選出し、この点の座標値（ｘｉ，ｙｉ）
（ｉ＝１，２，３，………ｎ）から次に示す方程式を形
成する（ステップ２５０）。

次に、最小自乗法によってこの連立方程式から楕円の係
数ａ，２ｈ，ｂ，２ｇ，２ｆを求め、これにより第９図
に示すように楕円Ｄ_１Ｌ，Ｄ_２Ｌ，Ｄ_１Ｒ，Ｄ_２Ｒが決
定されるのである（ステップ２６０）。

以上のようにして求めた楕円の係数から楕円の中心位置
を次式から計算する（ステップ２７０）。

ｘ_０＝（hf-bg）／（ab-h²） ｙ_０＝（hg-af）／（ab-h²） 以上の処理をカメラ２，３で撮像した左右の両画像に対
して行ない、第９図に示すように楕円の中心位置
Ｃ_１Ｌ，Ｃ_２Ｌ，Ｃ_１Ｒ，Ｃ_２Ｒが求められる。このよ
うにして求められた中心位置はどの位置から見ても、す
なわち左右のカメラ２，３から見ても同じ物体上の位置
に対応するので、対応点とすることができる。特に、左
右のカメラ２，３が同じ高さで、その光軸がほぼ平行で
ある場合には、左右の画像の対応点は各画像上でほぼ同
じ高さ、すなわち同じｙ座標値にある。従って、左右の
画像の楕円の中心のｙ座標値を比較し、その値の近いも
の同志を対応点として決定する。（ステップ２８０）。

そして、このようにして決定された対応点からその三次
元位置を三角測量の原理により計算するのである（ステ
ップ２９０）。

なお、本実施例では、対象物として円柱の場合について
説明しているが、これに限定されるものでなく、例えば
円錐、球等にも同様に適用できること勿論である。円錐
の場合には、底面の楕円の中心と頂点を求めて対応付け
を行なえばよいし、また球の場合には、どこから見ても
円であるので、その円の中心を対応付けのための点とす
ればよい。種々の物体を対象とする場合には、以上のよ
うな物体毎に対応付けに用いる点と、その点を決定する
ための図形の種類等のデータを知識として記憶させてお
けばよい。

また、三次元位置を求めようとする物体の種類が予めわ
かっている場合には、これらを記憶しておき、記憶中か
らその物体用のデータ、知識を取り出して利用すればよ
い。

対象物の種類がわからない場合には、入力画像から対象
物が円柱であるか、円錐であるか等の認識を初めに行な
った後、本発明を適用すればよい。

本発明においては、曲面の外形線を使用しないために、
正確な位置測定ができるとともに、楕円全体を推定して
その中心位置で対応付けして画像上の対応点を決めるの
に多数の点のデータを使用しているので、正確な対応付
けができる。従って、曲面を有する物体だけでなく、他
の物体、例えば長方形の面を有する物体等に対して応用
することができ、この場合には、例えば長方形は二次元
画像では平行四辺形に見えるが、その中心位置は常にも
との長方形の中心に対応するので、これを利用すること
により正確で安定した位置測定が可能である。

［発明の効果］ 以上説明したように、この発明によれば、被撮像体の形
状に応じて固定的に決定される対応点を含む輪郭線を算
出し、該輪郭線に関する情報から上記対応点を検出して
いるので、曲面を有する円柱のような被撮像体に対して
も適確に対応点を検出することができるため、誤差を生
じることなく正確で適確な三次元位置を求めることがで
きる。

【図面の簡単な説明】

第１図はこの発明のクレーム対応図、第２図はこの発明
の一実施例に係るステレオ視覚装置の構成図、第３図は
第２図の装置に使用される画像処理部のブロック図、第
４図は第３図の装置の作用を示すフローチャート、第５
図は第２図のステレオ視覚装置の作用を示すフローチャ
ート、第６図は円柱のステレオ画像図、第７図ないし第
９図は第２図のステレオ視覚装置の原理および作用を説
明するための図、第１０図はステレオ視の基本的原理を
説明するための図、第１１図および第１２図は従来のス
テレオ視の動作を説明するための図である。 １…円柱、２，３…カメラ ５…画像メモリ、６…画像処理部 ７…マイクロコンピュータ回路 ８…輪郭線情報算出手段 ９…対応点検出手段

Claims (1)

【特許請求の範囲】
1. 【請求項１】円柱からなる被撮像体を該被撮像体を構成
   する円形面を斜めに見る異なる位置から撮像して得られ
   る一対のステレオ画像の中から被撮像体の同一点に対応
   する点を検出し、該対応点に対して三角測量の原理を適
   用して被撮像体の三次元位置を計測するステレオ視覚装
   置であって、 前記一対のステレオ画像に係る情報から当該円柱からな
   る被撮像体の輪郭線を算出し、この算出された輪郭線か
   ら被撮像体の形状に応じて固定的に決定され当該一対の
   ステレオ画像間で対応付け可能な対応点を含む楕円形状
   の輪郭線を抽出する輪郭線情報算出手段と、 この輪郭線情報算出手段で抽出された楕円形状の輪郭線
   に関する情報から該輪郭線により一意的に決定される上
   記対応点の位置を検出する対応点検出手段と を有することを特徴とするステレオ視覚装置。