JP4876742B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、物体の撮像画像から物体の姿勢を推定する画像処理装置及び画像処理プログラムに関するものである。

この種の画像処理装置としては、例えば下記非特許文献１に記載されているように、物体の輪郭を用いて姿勢を推定するものが知られている。
Hendrik P. A. Lensch,et al. "’A Silhouette-Based Algorithm forTexture Registration and Stitching"’, Graphical Models 63.2001,pp.245-262.

しかしながら、上記非特許文献１のように、単に二次元的な情報である物体の輪郭を用いて物体の姿勢を推定すると、物体の誤認識や姿勢の誤推定が起こる場合がある。

そこで本発明の目的は、物体の姿勢推定結果の妥当性を的確に判断することができる画像処理装置及び画像処理プログラムを提供することである。

本発明の画像処理装置は、物体の撮像画像から抽出した物体の輪郭と、複数の視点に応じた物体の輪郭を示すデータが登録されたデータベースとをマッチングすることにより、物体の姿勢を推定する姿勢推定手段と、姿勢推定手段による姿勢推定結果に基づいて物体の三次元形状を三次元座標上に設定する３Ｄ推定手段と、三次元計測を行うことにより、物体の三次元形状を検出する検出手段と、３Ｄ推定手段によって設定された三次元形状と検出手段によって検出された三次元形状とが重なる領域の大きさに応じ、姿勢推定手段による姿勢推定結果の妥当性を判断する判断手段と、を備えることを特徴とする。

単に、物体の輪郭に基づいて物体の姿勢を推定すると、２次元上における推定誤差は少なくても、三次元上の物体の占める領域としては推定誤差が大きい場合がある。本発明では、物体の輪郭に基づいて推定された姿勢推定結果を利用して物体の三次元形状を三次元座標上に設定し、設定した三次元形状を、三次元計測で検出された三次元形状と照合することによって、物体の姿勢推定結果の妥当性を三次元的に判断する。従って、物体の姿勢推定結果の妥当性を的確に判断することができる。

好ましくは、判断手段は、いずれの視点から得られる二次元画像においても同一形状となる領域以外の領域を照合対象領域とし、照合対象領域について、３Ｄ推定手段によって設定された三次元形状と検出手段によって検出された三次元形状とが重なる領域の大きさに応じ、姿勢推定結果の妥当性を判断する。この場合、照合対象に適した特徴のある領域を予め設定して、その領域についての照合を行うことで、物体の姿勢推定結果の妥当性をより的確に判断することができる。

好ましくは、複数の視点から物体を撮像して得られる複数の画像を重ね合わせた画像において、重なり度合いが所定値より低い領域を照合対象領域に選定する選定手段を更に備える。複数の視点から物体を撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域は、その物体において特徴的な領域である。よって、特徴的な領域を照合対象領域に選定することにより、物体の姿勢推定結果の妥当性を十分的確に判断することができる。

本発明の画像処理プログラムは、物体の撮像画像から抽出した物体の輪郭と、複数の視点に応じた物体の輪郭を示すデータが登録されたデータベースとをマッチングすることにより、物体の姿勢を推定する姿勢推定ステップと、姿勢推定ステップにおける姿勢推定結果に基づいて物体の三次元形状を三次元座標上に設定する３Ｄ推定ステップと、三次元計測を行うことにより、物体の三次元形状を検出する検出ステップと、３Ｄ推定ステップにおいて設定された三次元形状と検出ステップにおいて検出された三次元形状とが重なる領域の大きさに応じ、姿勢推定ステップにおける姿勢推定結果の妥当性を判断する判断ステップと、をコンピュータに実行させることを特徴とする。

単に、物体の輪郭に基づいて物体の姿勢を推定すると、２次元上における推定誤差は少なくても、三次元上の物体の占める領域としては推定誤差が大きい場合がある。本発明では、物体の輪郭に基づいて推定された姿勢推定結果を利用して物体の三次元形状を三次元座標上に設定し、設定した三次元形状を、三次元計測で検出された三次元形状と照合することによって、物体の姿勢推定結果の妥当性を三次元的に判断する。従って、物体の姿勢推定結果の妥当性を的確に判断することができる。

好ましくは、判断ステップでは、いずれの視点から得られる二次元画像においても同一形状となる領域以外の領域を照合対象領域とし、照合対象領域について、３Ｄ推定ステップにおいて設定された三次元形状と検出ステップにおいて検出された三次元形状とが重なる領域の大きさに応じ、姿勢推定結果の妥当性を判断する。この場合、照合対象に適した特徴ある領域を予め設定して、その領域についての照合を行うことで、物体の姿勢推定結果の妥当性をより的確に判断することができる。

好ましくは、複数の視点から物体を撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域を照合対象領域に選定する選定ステップを更にコンピュータに実行させる。複数の視点から物体を撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域は、その物体において特徴的な領域である。よって、特徴的な領域を照合対象領域に選定することにより、物体の姿勢推定結果の妥当性を十分的確に判断することができる。

本発明によれば、物体の姿勢推定結果の妥当性を的確に判断することができる。これにより、姿勢推定の推定精度を向上させることができる。

以下、本発明に係わる画像処理装置及び画像処理プログラムの好適な実施形態について、図面を参照して詳細に説明する。

図１は、本発明に係わる画像処理装置の一実施形態の構成を示すブロック図である。本実施形態の画像処理装置１は、例えば認識対象物体として急須やマグカップ等の取っ手付き容器を把持するロボット（図示せず）に搭載されるものである。

同図において、画像処理装置１は、認識対象物体を撮像するカメラ２Ａ，２Ｂと、これらのカメラ２Ａ，２Ｂによる撮像画像を入力し、所定の画像処理を行い、認識対象物体の姿勢を推定する画像処理部３と、この画像処理部３の処理結果を表示するモニタ部４と、画像処理部３による画像処理に使用されるデータベースを蓄積記憶するデータ格納部５とを備えている。

カメラ２Ａ，２Ｂは、例えばＣＣＤカメラであり、ロボットの両眼部（図示せず）に設けられている。つまり、カメラ２Ａ，２Ｂは異なる２つの視点から物体を撮像するように配置されている。

画像処理部３は、物体認識処理に特化した専用のハードウェアとして構成されていても良いし、あるいは、パーソナルコンピュータ等の汎用のコンピュータを用い、このコンピュータにソフトウェアとしての画像処理プログラムを実行させても良い。このとき、画像処理プログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤもしくはＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、画像処理プログラムは、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。

また、画像処理部３の処理結果は、把持制御処理部６に送られる。把持制御処理部６は、画像処理部３で推定された認識対象物体の姿勢に基づいて、認識対象物体を把持するようにロボットハンド（図示せず）を制御する。

図２は、画像処理部３による処理手順の概略を示すフローチャートである。まず、カメラ２Ａ，２Ｂによる認識対象物体の撮像画像を取得する（ステップ１１）。カメラ２Ａ，２Ｂによる撮像画像の一例を図３に示す。図３（ａ）は、ロボットの左眼部に配置されたカメラ２Ａによる撮像画像（左画像）の概略を示し、図３（ｂ）は、ロボットの右眼部に配置されたカメラ２Ｂによる撮像画像（右画像）の概略を示している。本実施形態では、例として、認識対象物体を急須としている。

左画像（図３（ａ））には、ロボットの左眼部から見た姿勢の急須を示す画像として急須画像３１Ｌが示され、同じく牛乳パックを示す画像として牛乳パック画像３２Ｌが示されている。右画像（図３（ｂ））には、ロボットの右眼部から見た姿勢の急須を示す画像として急須画像３１Ｒが示され、同じく牛乳パックを示す画像として牛乳パック画像３２Ｒが示されている。

続いて、ステップ１１で取得した左画像及び右画像について、濃度値が一様とみなせる物体毎の領域に分割する（ステップ１２）。また、ステップ１２の領域分割処理と並行して、２次元の左画像及び右画像から三次元画像を復元する（ステップ１３）。この三次元画像の復元は、例えば両眼視差の考え方を利用して、ある点の左画像及び右画像での位置座標とカメラ２Ａ，２Ｂ間の距離とから当該点の奥行きを計算することにより行う。

続いて、ステップ１２で領域分割された２次元画像とステップ１３で復元された三次元画像とに基づいて、エッジ検出等により物体の輪郭を抽出する（ステップ１４）。本実施形態では、認識対象物体である急須の色と同色の領域を示す輪郭を左右画像それぞれから抽出する。

続いて、ステップ１４で得られた各画像の輪郭の特徴量をそれぞれ抽出する（ステップ１５）。輪郭の特徴量としては、輪郭の位置、回転及び大きさに対して不変な不変量を用いる。例えば、撮像画像においては、輪郭に対して互いに平行な複数の接線を描ける場合がある。この場合、接線間の距離は、輪郭の位置、回転及び大きさに対して不変である。そこで、ここでは、不変量として、勾配角度毎の接線間の距離を用いる。

続いて、ステップ１５で抽出された各画像の輪郭の特徴量を、データ格納部５にデータベースとして記憶されている特徴照合データとマッチングすることにより、各認識対象物体の特徴照合データに対する類似度を算出する（ステップ１６）。特徴照合データとしては、複数の視点に応じた認識対象物体の姿勢に関するデータが登録されている。より具体的には、複数の視点に応じた認識対象物体の輪郭を示すデータと、当該輪郭より抽出された特徴量データとが登録されている。

ステップ１６では、算出した類似度が最も高いデータに対応する物体が、各画像の輪郭によって示される物体に対応すると認識される。本実施形態では、各画像の輪郭は、急須を示すと認識される。なお、マッチング手法としては、例えばＤＰ（Dynamic Programming）マッチング等が採用される。

続いて、左画像の輪郭と右画像の輪郭との信頼度を評価し、左右画像のうち信頼度の高いほうの輪郭を含む画像を選択する（ステップ１７）。信頼度とは、輪郭を用いて物体の姿勢を推定するにあたって、推定の信頼性を予測するためのものである。具体的には、信頼度として輪郭の複雑度及び特徴量の類似度を用いる。

複雑度とは、輪郭の複雑性を定量化して表現したものであり、具体的には、輪郭における勾配角度毎の不変量の次元数総和である。一般に、複雑度が高い輪郭は、認識対象物体の姿勢に関してより多くの情報を有しているので、姿勢を推定するにあたってより信頼性が高い。すなわち、複雑度を用いて信頼性を評価することにより、姿勢を推定するにあたって信頼性の高い輪郭を含む画像を選択することができる。ただし、左右画像において輪郭の複雑度が同等である場合には、特徴量の類似度が高いほうの画像を選択する。

続いて、選択された画像の輪郭の特徴量と、ステップ１６で識別された認識対象物体の種別（本実施形態では、急須。）の特徴照合データにおける各輪郭の特徴量との最大類似度を算出する（ステップ１８）。そして、特徴照合データにおいて最大類似度に対応する輪郭の形状を認識対象物体の初期姿勢に設定する（ステップ１９）。

続いて、まず基準画像の輪郭を用いて、認識対象物体の姿勢を粗推定する（ステップ２０）。すなわち、一方のカメラによって得られた画像を用いて姿勢を推定する（単眼姿勢推定）。粗推定とは、後段で行う詳細推定より粗く行う姿勢の推定である。ステップ２０では、基準画像における輪郭についてＤＴ（Distance Transforms）画像を作成し、データ格納部５に記憶されている輪郭形状データとマッチングすることにより、回転・並進計算を行って認識対象物体の姿勢を粗推定する。

続いて、その粗姿勢推定の妥当性を判断する（ステップ２１）。この妥当性は、例えば姿勢推定によって得られた輪郭と左右画像から抽出した輪郭とを重ね合わせた時の重なり程度から判断する。

ステップ２１において姿勢推定が正しくないと判断されたときは、新たな初期姿勢を設定して、再び認識対象物体の粗姿勢推定を行う。例えば、ステップ１８で算出された最大類似度の次ぎに高い類似度に対応する輪郭の形状を認識対象物体の新たな初期姿勢として設定する（ステップ２２）。そして、上記のステップ２０を再度実行する。

引き続き左画像及び右画像の両方を用いて、認識対象物体の姿勢を詳細に推定する（ステップ２２）。ステップ２２における詳細姿勢推定処理では、左画像及び右画像における輪郭についてＤＴ画像を作成し、データ格納部５に記憶されている輪郭形状データとマッチングすることにより回転・並進計算を行って認識対象物体の姿勢を上記の粗姿勢推定より詳細に推定する（複眼姿勢推定）。

例えば、左画像では、図４（ａ）に示されるように、認識対象物体の姿勢が輪郭３３Ｌとして推定され、右画像では図４（ｂ）に示されるように、認識対象物体の姿勢が輪郭３３Ｒとして推定される。以上ステップ１１〜２２の処理により、認識対象物体の撮像画像から認識対象物体の輪郭を抽出し、抽出した輪郭に基づいて認識物体の姿勢を推定する。

続いて、その姿勢推定結果の妥当性を判断する（ステップ２３）。ステップ２３において姿勢推定結果が正しくないと判断されたときは、上述したステップ２５の処理を実行する。ステップ２３において、姿勢推定結果が正しいと判定されたときは、その姿勢推定結果を把持制御処理部６に送出すると共にモニタ部４に表示させる（ステップ２４）。このようにして、画像処理部３によって認識対象物体の姿勢が推定される。

引き続いて、上記ステップ２３における姿勢推定結果の妥当性の判断について、より詳細に説明する。この詳細姿勢推定の妥当性は、データ格納部５に登録されている重複領域データを利用して判断される。まず、重複領域データについて説明すると共に、重複領域データをデータベースとしてデータ格納部５に登録する方法について説明する。図５は、データ格納部５にデータを登録する手順を示すフローチャートである。

複数の視点から認識対象物体の投影画像を取得し、各視点の投影画像における輝度値の総和を算出する（ステップ４１）。例えば、図６に示すように、急須３４を中心とするように想定した仮想球の球面Ｕ上の複数の視点Ｗから急須３４の投影画像を得る。投影画像とは、急須３４の占める領域とそれ以外の領域とを輝度値の差によって示す画像である。例えば、図７に示す投影画像では、閉曲線で示す輪郭３５の外側の領域の輝度値が低く、輪郭３５の内側の領域（急須３４を示す領域）の輝度値は高くなっている。

球面Ｕ上の複数の視点Ｗから急須３４の投影画像を得ることにより、急須３４の複数の姿勢を示す二次元画像を取得することができる。その後、取得した全ての投影画像を重ね合わせて輝度値を加算する。図８に、重ね合わせた投影画像の一例と示す。輪郭３６〜３８は、３つの投影画像における急須の輪郭を示す。

次に、図８に示すように、投影画像を重ねた二次元画像上において、輝度値の総和が閾値以上の領域Ｓを抽出する（ステップ４２）。この領域Ｓは、全ての視点Ｗから得られる投影画像において、急須３４が占める領域である。この領域Ｓを円Ｃで近似する（ステップ４３）。円Ｃは、領域Ｓを含むように設定される。なお、近似する形状は、円Ｃのような真円に限らず、楕円、矩形、又は領域Ｓを膨張させた形状でもよい。

次に、図９に示すように、全ての視点Ｗに対して円Ｃが投影されるような球Ｖを算出する（ステップ４４）。すなわち、球Ｖは、何れの視点Ｗから得られる二次元画像においても同一形状となる。球面Ｕの中心に位置する認識対象物体において球Ｖからはみ出た領域は、複数の視点から撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域である。この領域は、認識対象物体の形状が特徴的な領域である。例えば、球Ｖからはみ出た領域３５ａは、急須３４の取っ手である。球Ｖからはみ出た領域３５ｂは、急須の注ぎ口である。

続いて、算出した球Ｖの情報を重複領域データとしてデータ格納部５に登録する（ステップ４５）。以上のようにして認識対象物体の重複領域データを算出して、認識対象物体の姿勢推定の前に予めデータ格納部５に登録する。

引き続いて、上記ステップ２３における姿勢推定結果の妥当性の判断手順について説明する。図１０は、姿勢推定結果の妥当性を判断する手順を示すフローチャートである。

まず、図２に示すステップ２２によって得られた姿勢推定結果を示す投影画像に対して、データ格納部５に登録された上述の球Ｖを投影する（ステップ５１）。具体的には、図１１に示すように、姿勢推定結果を示す輪郭６１に球Ｖを投影する。

次に、姿勢推定結果を示す投影画像において球Ｖの領域以外の領域を示す輪郭Ｔを求める（ステップ５２）。具体的には、図１１の輪郭Ｔで囲まれた斜線部分が、姿勢推定結果を示す投影画像において球Ｖの領域以外の領域を示す。つまり、輪郭Ｔによって示される領域が、照合対象領域として選定される。このような照合対象領域（輪郭Ｔ）を、左右画像における姿勢推定結果に対してそれぞれ求める。

続いて、左右画像を用いて、輪郭Ｔによって示される領域の三次元形状を推定する（ステップ５３）。例えば、両眼視差の考え方を利用して、ある点の左画像及び右画像での位置座標とカメラ２Ａ，２Ｂ間の距離とから当該点の奥行きを計算することにより、三次元形状を推定する。この三次元形状（三次元推定形状とする）は、例えば、姿勢推定の誤差と三次元形状に変換する際の誤差とを加味して、輪郭Ｔを用いて算出される結果より大きい形状に設定される。

一方で、認識対象物体の三次元形状を別に検出し、認識対象物体を三次元復元する（ステップ５４）。例えば、ステレオ・レンジファインダによって三次元計測を行うことにより、認識対象物体の三次元形状の検出を行う。なお、三次元形状の検出は、ステレオ・レンジファインダを用いて行うことに限られず、例えば、図２のステップ１３で取得した三次元復元画像を利用してもよい。

続いて、ステップ５３において得られた三次元推定形状とステップ５４において得られた三次元復元結果とを重ねる（ステップ５５）。例えば、図１２に示すように、急須の三次元復元結果６２を三次元座標上に設定し、その三次元座標上に重ねて、輪郭Ｔによって示される領域の三次元推定形状６３を設定する。

続いて、三次元座標上における三次元推定形状と三次元復元結果との重なる領域を算出する（ステップ５６）。例えば、両者の重なり合うVoxel数を算出する。また、三次元座標上に設定された三次元推定形状と三次元復元結果とを示す二次元画面から、三次元推定形状と三次元復元結果とが重なる領域を算出してもよい。

そして、算出した重なり領域の大きさを示す値が閾値以上である場合は、姿勢推定結果が妥当であると判断する（ステップ５７）。算出した重なり領域の大きさを示す値が閾値より小さい場合は、姿勢推定結果が妥当でないと判断し（ステップ５７）、図２に示すステップ２５へ進む。以上説明したように、ステップ５３において得られた三次元推定形状とステップ５４において得られた検出結果とを照合することにより、姿勢推定結果の妥当性を判断する。

以上において、図２に示すステップ１５〜２２は、認識対象物体の撮像画像から抽出した認識対象物体の輪郭に基づいて認識対象物体の姿勢を推定する姿勢推定手段（姿勢推定ステップ）を構成する。図１０に示すステップ５１，５２は、複数の視点から認識対象物体を撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域を照合対象領域に選定する選定手段（選定ステップ）を構成する。図１０に示すステップ５３は、姿勢推定手段による姿勢推定結果に基づいて認識対象物体の三次元形状を推定する３Ｄ推定手段（３Ｄ推定ステップ）を構成する。図１０のステップ５４は、認識対象物体の三次元形状を検出する検出手段（検出ステップ）を構成する。図１０のステップ５５〜５７は、３Ｄ推定手段によって推定された三次元形状と検出手段による検出結果とを照合することにより、姿勢推定手段による姿勢推定結果の妥当性を判断する判断手段（判断ステップ）を構成する。

ところで、姿勢推定結果の妥当性を判断するには、カメラによる撮像画像より抽出した認識対象物体の輪郭又は絵柄と、姿勢推定結果の輪郭又は絵柄とのずれに基づいて判断することが考えられる。しかしながら、姿勢が異なっていても輪郭や絵柄の配置が類似してしまう場合がある。この場合、輪郭同士の差又は絵柄の配置の差は小さくても、姿勢推定結果と実際の認識対象物体の姿勢とが大きくずれることとなる。よって、このように単に二次元的な情報を用いるだけでは、姿勢推定結果の妥当性を的確に判断するのは困難である。

これに対し本実施形態では、認識対象物体の輪郭に基づいて推定された姿勢推定結果を利用して、認識対象物体の三次元推定形状６３を三次元座標上に設定すると共に、認識対象物体の三次元検出結果を利用して、三次元座標上に認識対象物体の三次元復元結果６２を設定する。つまり、三次元復元結果６２と三次元推定形状６３とを三次元座標上に重ね合わせる。続いて、三次元復元結果６２と三次元推定形状６３との重なる領域を算出し、その結果から、認識対象物体の姿勢推定結果の妥当性を判断する。よって、認識対象物体の姿勢推定結果の妥当性を三次元的な情報に基づいて判断することとなり、姿勢推定結果の妥当性を的確に判断することができる。このとき、認識対象物体の特徴的な領域（ここでは取っ手）について、三次元復元結果と三次元推定形状とを三次元座標上に重ね合わせるのが好適である。このように姿勢推定結果の妥当性を的確に判断することにより、姿勢推定結果の妥当性が低い場合に再び姿勢推定を行い、姿勢推定の誤認識を確実に抑制することができる。

上記実施形態は、物体を把持するロボットに適用されるものであるが、本発明の画像処理装置及び画像処理プログラムは、物体を認識して物体の姿勢を推定する他の装置やシステム等にも適用可能である。

本発明に係わる画像処理装置の一実施形態の構成を示すブロック図である。 図１に示す画像処理部による処理手順の概略を示すフローチャートである。 図１に示す２つのカメラで撮像して得られた左画像及び右画像の一例を示す図である。 複眼姿勢推定結果の一例を示す図である。 図１に示すデータ格納部にデータを登録する手順を示すフローチャートである。 カメラの視点位置を示すイメージ図である。 ある視点から得られる投影画像を示す図である。 複数の視点位置の投影画像を加算した画像を示す図である。 図５のステップ４４で算出される球Ｖを示すイメージ図である。 姿勢推定結果の妥当性を判断する手順を示すフローチャートである。 照合対象領域を示す図である。 三次元推定形状と三次元復元結果とを重ねた様子を示すイメージ図である。

符号の説明

１…画像処理装置、２Ａ，２Ｂ…カメラ、３…画像処理部（姿勢推定手段、選定手段、３Ｄ推定手段、検出手段、判断手段）。

Claims (6)

1. 物体の撮像画像から抽出した前記物体の輪郭と、複数の視点に応じた前記物体の輪郭を示すデータが登録されたデータベースとをマッチングすることにより、前記物体の姿勢を推定する姿勢推定手段と、
   前記姿勢推定手段による姿勢推定結果に基づいて前記物体の三次元形状を三次元座標上に設定する３Ｄ推定手段と、
   三次元計測を行うことにより、前記物体の三次元形状を検出する検出手段と、
   前記３Ｄ推定手段によって設定された三次元形状と前記検出手段によって検出された三次元形状とが重なる領域の大きさに応じ、前記姿勢推定手段による前記姿勢推定結果の妥当性を判断する判断手段と、
   を備えることを特徴とする画像処理装置。
2. 前記判断手段は、いずれの視点から得られる二次元画像においても同一形状となる領域以外の領域を照合対象領域とし、前記照合対象領域について、前記３Ｄ推定手段によって設定された三次元形状と前記検出手段によって検出された三次元形状とが重なる領域の大きさに応じ、前記姿勢推定結果の妥当性を判断することを特徴とする請求項１に記載の画像処理装置。
3. 複数の視点から前記物体を撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域を前記照合対象領域に選定する選定手段を更に備えることを特徴とする請求項２に記載の画像処理装置。
4. 物体の撮像画像から抽出した前記物体の輪郭と、複数の視点に応じた前記物体の輪郭を示すデータが登録されたデータベースとをマッチングすることにより、前記物体の姿勢を推定する姿勢推定ステップと、
   前記姿勢推定ステップにおける姿勢推定結果に基づいて前記物体の三次元形状を三次元座標上に設定する３Ｄ推定ステップと、
   三次元計測を行うことにより、前記物体の三次元形状を検出する検出ステップと、
   前記３Ｄ推定ステップにおいて設定された三次元形状と前記検出ステップにおいて検出された三次元形状とが重なる領域の大きさに応じ、前記姿勢推定ステップにおける前記姿勢推定結果の妥当性を判断する判断ステップと、
   をコンピュータに実行させることを特徴とする画像処理プログラム。
5. 前記判断ステップでは、いずれの視点から得られる二次元画像においても同一形状となる領域以外の領域を照合対象領域とし、前記照合対象領域について、前記３Ｄ推定ステップにおいて設定された三次元形状と前記検出ステップにおいて検出された三次元形状とが重なる領域の大きさに応じ、前記姿勢推定結果の妥当性を判断することを特徴とする請求項４に記載の画像処理プログラム。
6. 複数の視点から前記物体を撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域を前記照合対象領域に選定する選定ステップを更にコンピュータに実行させることを特徴とする請求項５に記載の画像処理プログラム。

Images