JPH0991436A - 画像処理方法及びその装置 - Google Patents

Abstract

(57)【要約】 【課題】画像処理装置において物体の正確な３次元形状
を高速で認識すること。 【解決手段】それぞれ、少なくとも異なる３つの位置か
ら物体を撮像して、基準画像、第１画像、第２画像を得
て、基準画像及び第１画像の各エッジセグメント間で対
応するセグメント及び点を求め、この対応情報に基づき
基準画像中のエッジセグメントより物体のフレーム形状
を第１フレーム形状として算出する。又、基準画像及び
第２画像の各エッジセグメント間で対応するセグメント
及び点を求め、この対応情報に基づき、基準画像中のエ
ッジセグメントより物体のフレーム形状を第２フレーム
形状として算出する。基準画像のエッジセグメントに第
１フレーム形状を復元した後、第１フレーム形状で復元
されなかった基準画像のエッジセグメント部分に第２フ
レーム形状を復元することにより、第１フレーム形状と
第２フレーム形状とを統合する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体を複数の位置
から撮像し、得られる各画像を処理することで物体の形
状を把握するようにした画像処理方法及びその装置に関
する。

【０００２】

【従来の技術】従来、３次元空間中の物体の形状、位置
を得る方法として、例えば、２つの撮像装置により物体
を右方向と左方向とから撮像し、得られた左濃淡画像と
右濃淡画像（以下、この２つの画像を併せて、「左右画
像」と言う）間における明るさの類似性、又は、エッジ
などの形状特徴情報から、左右画像間の対応付けを行
い、三角測量の原理により各点、又は、各領域の奥行き
距離を得る方法、いわゆるステレオ立体視法が知られて
いる。

【０００３】ここで、左右画像間の対応付け、いわゆる
対応点探索では、一般に撮像装置、例えば、ＣＣＤカメ
ラの幾何学的配置から得られるエピポーラライン（射影
直線）拘束を用いて対応候補点を決定することで、探索
効率を向上させている。さらには、相関のウインドサイ
ズを変化させる、エッジの連結性を考慮し対応度を計算
する、又は、３台以上の撮像装置から得られるエピポー
ラ拘束を用いて対応点の曖昧さをより解消しようとす
る、等の方法が試みられている。

【０００４】特に、対象物体の各領域、又は、エッジ点
の距離情報のみならず、３次元の形状情報を得ようとす
る場合には、エッジなどの特徴から線分、２次曲線など
のセグメントを抽出し、左右のセグメント同志の対応を
求め、三角測量により各セグメントの３次元位置を求め
る方法が広く知られている。

【０００５】しかしながら、一組の左右画像からでは、
オクリュージョン、ノイズ、セグメントの途切れなどに
より左右セグメント間で対応が得られなかったり、エピ
ポーラに対して水平な形状のため３次元形状として復元
されなかったりする場合が頻繁に生じる。このため、複
数の視点から得られた画像間で立体視を行い、各視点で
得られた３次元形状を統合することにより、より完全な
３次元形状を復元しようとする方法が提案されている。
ここで、各視点から得られた３次元形状の統合は、各セ
グメント、特に各線分が構成する閉塞領域から平面を推
定し、その面情報を判定することで実現している（例え
ば、特開昭６３−２４４１７４号、特開平３−２６８０
６９号公報）。

【０００６】

【発明が解決しようとする課題】以上に述べた対象物体
を撮像し、その画像情報から物体の３次元形状、位置を
得る従来の方法には、以下の問題点がある。

【０００７】1.積木のような単純の形状とは異なり、よ
り複雑な形状をした一般的な物体（例えば工業部品）に
対しては、左右画像間でエッジの見え方、セグメントの
連結状態、セグメントの形状などが一致しないことが多
く、セグメント間で対応を求める方法では、正しい対応
情報を得ることは困難である。

【０００８】2.また従来の方法では各線分が構成する閉
塞領域から平面を推定し、その面情報を用いて各視点か
ら得られるセグメントの統合を行っているが、一般には
各セグメントが閉塞領域を構成するとは限らず、むしろ
閉塞領域が得られない場合が多いため、このような手法
では推定に多くの曖昧さを含むことになり、結果的に上
記手法によるセグメントの統合は困難である。

【０００９】3.さらに、各視点から得られるセグメント
も、実際には同一対象から得られたセグメントにもかか
わらず、1.に述べた理由及びカメラキャリブレーション
の誤差などにより、長さ、形状種類、位置などが一致し
ないのが一般的であり、各視点から得られたセグメント
の同一性を判断し統合することは難しい。

【００１０】本発明は上記の課題を解決するために成さ
れたものであり、その目的は、画像処理装置において、
物体の正確な３次元形状を認識することである。特に、
左右の画像間で、特徴（例えば、セグメントの位置、形
状、長さなど）が一致していなくとも、正しい対応を求
め、その対応情報と特徴の情報から対象の形状、例え
ば、３次元形状あるいは２次元形状を得ることができる
ようにすることである。又、対象物体からより完全な形
状を復元するために、異なる視点から撮像を行い、それ
ら視点からの特徴を統合する過程において、平面の推定
によるような曖昧さを伴う判定を行わずに正確な物体の
形状を認識することである。さらに、各視点から得られ
る特徴（例えば、セグメントの長さ、形状、位置など）
の同一性が損なわれていても、又、それらの特徴が閉塞
領域又は平面を構成していなくても、信頼性良く特徴の
統合及び形状の復元を可能とすることである。

【００１１】

【課題を解決するための手段】本方法発明は、少なくと
も３つの異なる位置から物体を撮像して得られる基準画
像、第１画像、第２画像とを用いて物体の形状を認識す
る画像処理方法において、次の処理を行うことを特徴と
する。第１に、基準画像と第１画像とから抽出されたエ
ッジセグメントの対応関係を用いて、基準画像中のエッ
ジセグメントより物体のフレーム形状を第１フレーム形
状として算出する。第２に、基準画像と第２画像とから
抽出されたエッジセグメントの対応関係を用いて、前記
基準画像中のエッジセグメントより物体のフレーム形状
を第２フレーム形状として算出する。第３に、基準画像
のエッジセグメントに対応して第１フレーム形状を復元
した後、第１フレーム形状で復元されなかった基準画像
のエッジセグメント部分に対応する前記第２フレーム形
状を復元することにより、第１フレーム形状と第２フレ
ーム形状とを統合する。

【００１２】又、他の方法発明は、第２フレーム形状を
算出する場合に、第１フレーム形状として得られていな
い基準画像のエッジセグメントから第２フレーム形状が
算出され、そのように演算された第１フレーム形状と第
２フレーム形状との単純な加算から物体全体のフレーム
形状を求めるものである。

【００１３】又、装置発明は、基準画像及び第１画像の
各エッジセグメント間で対応するエッジセグメント及び
点を求め、この対応情報に基づき基準画像中のエッジセ
グメントより物体のフレーム形状を第１フレーム形状と
して算出する第１形状演算手段と、基準画像及び第２画
像の各エッジセグメント間で対応するエッジセグメント
及び点を求め、この対応情報に基づき、基準画像中のエ
ッジセグメントより物体のフレーム形状を第２フレーム
形状として算出する第２形状演算手段と、基準画像のエ
ッジセグメントに対応して第１フレーム形状を復元した
後、第１フレーム形状で復元されなかった基準画像のエ
ッジセグメント部分に対応する第２フレーム形状を復元
することにより、第１フレーム形状と第２フレーム形状
とを統合する統合手段とを設けたことを特徴とする。

【００１４】又、他の装置発明は、第２形状演算手段
が、第１フレーム形状として得られていない基準画像の
エッジセグメントから第２フレーム形状を算出するもの
であり、統合手段が第１フレーム形状と第２フレーム形
状との単純な加算から物体全体のフレーム形状を求める
ものである。

【００１５】又、上記の装置に、基準画像を得てエッジ
セグメントを抽出する基準画像入力手段と、第１画像を
得てエッジセグメントを抽出する第１画像入力手段と、
第２画像を得てエッジセグメントを抽出する第２画像入
力手段とを付加しても良い。又、本装置は、オフライン
で得られた画像を処理する装置であっても、物体の撮像
と物体の形状の認識処理とを一連の処理として実行する
装置であっても良い。尚、本発明の画像処理方法及びそ
の装置は、少なくとも異なる３つの位置から物体を撮像
しておれば良く、４つ以上の異なる位置から物体を撮像
するものであっても良い。

【００１６】

【発明の作用及び効果】３次元空間中の物体の形状、位
置を、物体を撮像した画像から得る画像処理方法におい
て、物体のより完全な形状を求めるために、複数の視点
から撮像した画像を用いて処理を行う。その際、図１、
図４に示すように、基準画像、例えば、両眼立体視にお
ける左画像を設定し、その視点は固定し、一方それと組
になる画像、例えば、右画像については、視点を移動さ
せながら、より多くの形状が復元されるよう、複数視点
からの画像を得る。

【００１７】このように、視点を固定した一つの基準画
像を設定して、それと組になる他方の画像の視点を移動
させ、常に基準画像をベースとして対応点探索、形状復
元を行うことで、複雑な処理による統合判定をすること
なく、できるだけ完全な対象物体の形状、例えば、３次
元形状又は２次元形状を画像から求める。

【００１８】例えば、エッジをベースとして両眼立体視
を行った場合、左右の画像からエッジを抽出する。次
に、エッジから線分及び２次曲線のセグメントを得て、
左画像のエッジと右画像のエッジとの間の対応付けを行
う。このときセグメントの情報も利用して信頼性良く対
応点を求めて、その対応点情報とセグメント情報から物
体の３次元のフレーム形状を求める。

【００１９】このとき図１に示すように、まず基準画像
と第１画像との間でセグメントの対応関係と対応点とを
求め、その情報を用いて基準画像中のセグメントから３
次元の第１フレーム形状を求める。同様に、基準画像と
第２画像との間においてセグメントの対応関係と対応点
とを求め、その情報を用いて基準画像中のセグメントか
ら３次元の第２フレーム形状を求める。他の画像につい
ても同様に、第３フレーム形状、第４フレーム形状等が
求められる。

【００２０】次に、上記のようにして求められた複数の
フレーム形状の統合が行われる。即ち、基本画像のエッ
ジセグメントに対応して第１フレーム形状をそのまま採
用することで、物体の３次元形状を復元する。次に、基
本画像のエッジセグメントにおいて、未だ、３次元形状
に復元されていないエッジセグメントだけ、第２フレー
ム形状から抽出して、物体の３次元形状を復元し、さら
に、基本画像のエッジセグメントにおいて、未だ、３次
元形状に復元されていないエッジセグメントだけ、第３
フレーム形状から抽出して、物体の３次元形状を復元す
るという操作を繰り返し実行する。このような統合操作
により、最終的な物体の３次元形状が復元される。

【００２１】又、図４に示すように、順次、第１〜第４
の各フレーム形状を求める時に、既に、フレーム形状が
求められている基本画像のエッジセグメントについて
は、フレーム形状として求めないようにすることもでき
る。この場合には、各フレーム形状を統合して物体の最
終的な３次元形状を求めるとき、統合操作は、各フレー
ム形状の単純な加算で良い。

【００２２】以上の方法によれば、基準画像のセグメン
トを基準として、３次元形状への復元処理が行われ、既
に、３次元形状に復元されているセグメントに対して
は、それ以上の形状復元の処理は行われない。即ち、基
準画像と、ある視点から撮像された画像との関係におい
て、基準画像中の対応するセグメントが３次元形状に復
元されるが、この後の処理、即ち、基準画像と他の視点
から撮像された画像との間でセグメントの対応関係を求
めるとき、既に３次元形状として採用されているセグメ
ントは除外される。よって、不必要な対応関係を演算す
ることもなく、さらに、３次元形状の１つの要素に対応
するセグメントの候補が複数することもないため、これ
らのセグメントの候補を統合するための判定処理を行う
必要もない。従って、実際には３次元形状の異なる要素
に対応するセグメントであるにもかかわらず、それらの
セグメントを対応関係があると判定したり、逆に、対応
関係があるにも係わらず、対応関係がないと判定する等
の従来の画像処理方法では良く発生した問題を解決する
ことができる。又、上記の無駄な演算を行うことがない
ため、処理が単純化し、処理速度も向上する。

【００２３】又、本発明では、基本的にエッジベースの
対応点探索であるため、セグメントの閉塞性や左右の一
致性が保たれていなくても信頼性良く３次元形状が求め
られる。さらには、複数の視点を利用することで、結果
的に３眼視的効果を利用することができ、例えば、基準
画像と第ｉ画像との対応点を求める際に、他の視点の画
像（第ｊ画像）を対応候補選定の検証に用いたり、また
既に基準画像との対応が得られた第ｊ画像との対応点情
報を用いて第ｉ画像の探索領域を設定したりするなどし
て、効率良く、且つ、信頼性良く対応点を求め、形状を
復元することが出来る。ここでは、エッジをベースとし
て線分、楕円からなる３次元形状を復元する例を示した
が、本手法によれば、その他の形状（点や平面など）
や、領域などの３次元復元にも応用できる。さらに、こ
こては３次元形状の復元を示したが、２次元形状の復元
にも適用は容易である。

【００２４】

【発明の実施の形態】以下、本発明を具体的な実施例に
基づいて説明する。図２は、実施例に係る画像処理装置
の構成を示したブロック図である。図示しない物体を異
なるｎ点から撮像するためにｎ台のカメラＣ１〜Ｃｎが
設けられている。各カメラＣ１〜Ｃｎは、それらのカメ
ラＣ１〜Ｃｎから出力される各画像信号を、それぞれ、
記憶する画像メモリ（フレームグラバ）Ｆ１〜Ｆｎに接
続されている。各画像メモリＦ１〜Ｆｎに記憶されてい
る画像データはデータバス３を介してコンピュータ５に
より読み取り可能である。コンピュータ５は入力した画
像データを処理して、物体の３次元形状の認識を行う。
又、各カメラＣ１〜Ｃｎで撮像した画像は、モニタＭ１
〜Ｍｎに、それぞれ、表示することができる。

【００２５】図１は、本実施例装置の実行する物体の３
次元形状の復元処理を示した説明図である。基準となる
位置に配置されたカメラを基準カメラ、基準カメラによ
り撮像された画像を基準画像といい、基準カメラと異な
る視点に配置されたｉ番目のカメラを第ｉカメラとい
い、それからの画像を第ｉ画像という。又、基準画像と
第ｉ画像とを用いて復元された３次元形状を第ｉフレー
ム形状という。さらに、全ての（ｎ−１個）フレーム形
状を統合した３次元形状を最終３次元形状という。尚、
図１では、基準カメラと第１カメラから第４カメラまで
の５台（ｎ＝５）のカメラが使用されており、得られる
画像とフレーム形状は、第１画像から第４画像、第１フ
レーム形状から第４フレーム形状までの４個（ｎ−１）
の画像、形状が得られる。

【００２６】図３は、コンピュータ５の処理手順を示し
たフローチャートである。以下、図３に基づき、図２に
示した最終３次元形状を求めるための処理手順について
説明する。ステップ１００では、基準カメラに撮像の指
令して、基準画像が画像メモリＦ１に入力される。次
に、ステップ１０２で、その基準画像に適当なエッジ抽
出オペレータを作用させて、画像のエッジが抽出され
る。次に、ステップ１０４でそのエッジがセグメント化
され、各セグメントに対して２次元の形状抽出が行われ
る。例えば、あるセグメントに対して、直線及び２次曲
線近似計算を行うことで、線分、楕円弧、円弧等が抽出
される。

【００２７】一方、第１カメラに対しても同様に撮像指
令が与えられ、基準画像と同様な処理が実行される。即
ち、画像入力（ステップ２００）、エッジ抽出（ステッ
プ２０２）、セグメント化及びセグメントの２次元形状
の抽出（ステップ２０４）の各処理が行われる。

【００２８】そして、ステップ２０６において、基準画
像と第１画像との間で対応点探索が実行され、基準画像
から抽出された各セグメントの奥行き距離情報が演算さ
れる。次に、ステップ２０８において、その距離情報と
ステップ１０４で得られた基準画像におけるセグメント
の２次元形状とから、そのセグメントの３次元形状が復
元され、即ち、第１フレーム形状が求められ、メモリの
３次元形状テーブルに登録される。

【００２９】この時、実際の画像においては、ノイズや
オクリュージョンの影響によって基準画像中の一部の２
次元形状しか３次元形状に復元されないことが多い。こ
のため、基準画像からより完全に３次元形状を復元する
ために、次に第１画像とは異なる視点から得られる第２
画像と基準画像とを用いて３次元形状の復元処理が実行
される。

【００３０】第１画像の処理と同様に、画像入力（ステ
ップ３００）、エッジ抽出（ステップ３０２）、セグメ
ント化及び２次元形状抽出（ステップ３０４）が行わ
れ、基準画像との間で対応点探索（ステップ３０６）、
セグメントの３次元形状の復元（ステップ３０８）が実
行される。この３次元形状の復元処理においては、基準
画像において、未だ、３次元形状への復元が行われいな
いセグメントについてのみ実行される。即ち、第２画像
の処理においては、ステップ２０８の第１画像での復元
処理で復元できないセグメントについて実行される。そ
して、３次元形状の復元処理が実行されたセグメント
は、第２フレーム形状として、３次元形状テーブルに追
加登録される。これにより、基準画像と第１画像との間
では復元されなかった基準画像の２次元形状の一部が復
元される。

【００３１】上記と同様な処理が、第３、第４カメラに
よって得られた第３画像、第４画像に関して実行され、
第３フレーム形状、第４フレーム形状が求められる。こ
の時も、同様に、基準画像において、未だ、３次元形状
に復元されていないセグメントに関してのみ実行され
る。尚、さらに多くのｎ個のカメラを用いても、同様な
処理が繰り返し実行されるだけで、より正確に物体の３
次元形状が復元される。

【００３２】以上のように、画像からより完全な形状を
復元するために、異なる視点から得られた３次元形状を
統合する過程において、常に、基準画像の２次元形状セ
グメントを参照することで、統合判定における曖昧性を
除去することができ、さらに、判定処理を必要としない
ため処理の高速化が可能である。さらには、複数の視点
を利用することで、例えば、３眼視により精度良く効率
的に対応点を求めることができる。例えば、基準画像と
第ｉ画像との対応点を求める際に、他の視点の画像（第
ｊ画像）を対応候補選定の検証に用いたり、又、既に、
基準画像との対応が得られた第ｊ画像との対応点情報を
用いて第ｉ画像の探索領域を設定したりするなどして、
探索領域の限定による処理の高速化、誤対応の除去によ
る信頼度の向上が実現できる。

【図面の簡単な説明】

【図１】本発明による画像処理の方法を示した説明図。

【図２】本発明の具体的な実施例の画像処理装置を示し
たブロック図。

【図３】同実施例装置の処理手順を示したフローチャー
ト。

【図４】本発明による画像処理の他の方法を示した説明
図。

【符号の説明】

５…コンピュータ Ｃ１〜Ｃｎ…カメラ Ｆ１〜Ｆｎ…画像メモリ Ｍ１〜Ｍｎ…モニタ

Claims (5)

【特許請求の範囲】
1. 【請求項１】少なくとも３つの異なる位置から物体を撮
   像して得られる基準画像、第１画像、第２画像とを用い
   て前記物体の形状を認識する画像処理方法において、 前記基準画像と第１画像とから抽出されたエッジセグメ
   ントの対応関係を用いて、前記基準画像中のエッジセグ
   メントより物体のフレーム形状を第１フレーム形状とし
   て算出し、 前記基準画像と第２画像とから抽出されたエッジセグメ
   ントの対応関係を用いて、前記基準画像中のエッジセグ
   メントより物体のフレーム形状を第２フレーム形状とし
   て算出し、 前記基準画像のエッジセグメントに対応して前記第１フ
   レーム形状を復元した後、第１フレーム形状で復元され
   なかった基準画像のエッジセグメント部分に対応する前
   記第２フレーム形状を復元することにより、第１フレー
   ム形状と第２フレーム形状とを統合することを特徴とす
   る画像処理方法。
2. 【請求項２】少なくとも３つの異なる位置から物体を撮
   像して得られる基準画像、第１画像、第２画像とを用い
   て前記物体の形状を認識する画像処理方法において、 前記基準画像と第１画像とから抽出されたエッジセグメ
   ントの対応関係を用いて、前記基準画像中のエッジセグ
   メントより物体のフレーム形状を第１フレーム形状とし
   て算出し、 前記基準画像と第２画像とから抽出されたエッジセグメ
   ントの対応関係を用いて、前記基準画像中のエッジセグ
   メントのうち前記第１フレーム形状に対応しないエッジ
   セグメントより物体のフレーム形状を第２フレーム形状
   として算出し、 前記第１フレーム形状と前記第２フレーム形状とを統合
   して物体のフレーム形状とすることを特徴とする画像処
   理方法。
3. 【請求項３】 物体を複数の位置から撮像して得られる
   画像から物体の形状を認識する画像処理装置において、 基準位置より前記物体を撮像して得られる基準画像及び
   前記基準位置と異なる第１の位置より前記物体を撮像し
   て得られる第１画像より抽出されたエッジセグメントに
   おいて、それぞれの画像のエッジセグメント間で対応す
   るエッジセグメント及び点を求め、該対応情報に基づき
   基準画像中のエッジセグメントより物体のフレーム形状
   を第１フレーム形状として算出する第１形状演算手段
   と、 基準位置より前記物体を撮像して得られる基準画像、及
   び、前記基準位置及び前記第１の位置と異なる第２の位
   置より前記物体を撮像して得られる第２画像より抽出さ
   れたエッジセグメントにおいて、それぞれの画像のエッ
   ジセグメント間で対応するエッジセグメント及び点を求
   め、該対応情報に基づき基準画像中のエッジセグメント
   より物体のフレーム形状を第２フレーム形状として算出
   する第２形状演算手段と、 前記基準画像のエッジセグメントに対応して前記第１フ
   レーム形状を復元した後、第１フレーム形状で復元され
   なかった基準画像のエッジセグメント部分に対応する前
   記第２フレーム形状を復元することにより、第１フレー
   ム形状と第２フレーム形状とを統合する統合手段とを有
   することを特徴とする画像処理装置。
4. 【請求項４】 物体を複数の位置から撮像して得られる
   画像から物体の形状を認識する画像処理装置において、 基準位置より前記物体を撮像して得られる基準画像及び
   前記基準位置と異なる第１の位置より前記物体を撮像し
   て得られる第１画像より抽出されたエッジセグメントに
   おいて、それぞれの画像のエッジセグメント間で対応す
   るエッジセグメント及び点を求め、該対応情報に基づき
   基準画像中のエッジセグメントより物体のフレーム形状
   を第１フレーム形状として算出する第１形状演算手段
   と、 基準位置より前記物体を撮像して得られる基準画像、及
   び、前記基準位置及び前記第１の位置と異なる第２の位
   置より前記物体を撮像して得られる第２画像より抽出さ
   れたエッジセグメントのうち前記第１フレーム形状に対
   応しないエッジセグメントより物体のフレーム形状を第
   ２フレーム形状として算出する第２形状演算手段と、 前記第１フレーム形状と前記第２フレーム形状とを統合
   して物体のフレーム形状とする統合手段とを有すること
   を特徴とする画像処理装置。
5. 【請求項５】 画像処理装置は、基準位置より前記物体
   を撮像して得られる基準画像よりエッジセグメントを抽
   出する基準画像入力手段と、 前記基準位置と異なる第１の位置より前記物体を撮像し
   て得られる第１画像よりエッジセグメントを抽出する第
   １画像入力手段と、 前記基準位置及び前記第１の位置と異なる第２の位置よ
   り前記物体を撮像して得られる第２画像よりエッジセグ
   メントを抽出する第２画像入力手段とを有することを特
   徴とする請求項３又は４に記載の画像処理装置。