JP5342977B2

JP5342977B2 - 画像処理方法

Info

Publication number: JP5342977B2
Application number: JP2009224755A
Authority: JP
Inventors: 繁男村上; 俊文井上; 浩之大西
Original assignee: Screen Holdings Co Ltd; Dainippon Screen Manufacturing Co Ltd
Current assignee: Screen Holdings Co Ltd; Dainippon Screen Manufacturing Co Ltd
Priority date: 2009-09-29
Filing date: 2009-09-29
Publication date: 2013-11-13
Anticipated expiration: 2029-09-29
Also published as: JP2011075311A

Description

本発明は、ステレオ相関法において、正反射像を含む可能性のある対象物の２次元画像から正反射部分を判定する画像処理方法に関する。そして本発明は、物品検査、ロボットの視覚、個人認証、監視カメラ、衛星画像解析、医療画像解析、顕微鏡画像解析などに利用できる。

３次元物体の対象物に対して、非接触でその３次元距離データを計測する場合、例えば特開平２−２９８７８号公報（特許文献１）に示されているように、光軸及び座標系（撮像面）が平行な２台のカメラを使用することが提案されている。これは、その２台のカメラで同一対象物を撮像し、各撮像画像の同一領域を構成する画素についてそれぞれ対応付けを行い、その結果から視差を抽出することにより対象物までの距離を演算するようにしたものである。

一方、対象物の３次元形状データを生成する方法として、ステレオ相関法がしばしば用いられる。ステレオ相関法では、複数台のカメラを備えた撮像装置によって対象物を撮影し、視点の異なる複数の２次元画像を得る。それら複数の２次元画像について、相関法または勾配法などを用いて対応点を探索する。探索結果を合成し、３次元再構成を行って３次元形状データを生成する。

更に詳しく、ステレオ相関法は、輝度画像から物体の形状を計測する簡便な３次元計測手法である。基本的な原理は、２台のカメラから対象物体上の同一点を探し、画像中の２次元座標から各カメラからの方向ベクトルを得て三角測量の原理で３次元座標を計算する。計算に用いるカメラの位置と画像中の２次元位置から方向ベクトルに変換する変換式および式のパラメータは、あらかじめキャリブレーションを行って計測しておく。

ステレオ相関法においては、第一のカメラ画像の各画素内に一点を選び、その周囲に近傍の微小領域（以下近傍領域という）のウィンドウを設ける。多くの場合、近傍領域は注目点を中心とする矩形である。次に、第二のカメラにおいても同様に対応点の候補となる点の周辺に同じ形状のウィンドウを設ける。これらのウィンドウ間で輝度分布の類似度を計算する。類似度の評価方法にはさまざまな方法がある。一例として、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）と呼ばれる方法では相対的位置が等しい画素同士の輝度の差の絶対値のウィンドウ全体における総和を計算する。この場合、計算結果が小さいものほど類似度は高くなる。対応点が決定すれば，２台のカメラからそれぞれの画像上の点への方向ベクトルが決まり，対象物体上の点の３次元座標値が計算できる。

しかしながら、カメラ画像上に現れる輝度が乱反射面による散乱光であれば以上の原理で対象物までの距離が計算できるが、表面に光沢がある場合には，鏡面反射による正反射光が画像上に現れる。正確には、ここで観測されているのは光源の像である。対象物の表面の反射特性によって、正反射光と乱反射光は混在して観測されうる。

正反射像は、対象物上の同一点に観測されることは稀で、一般に異なる位置に現れたり、片方の画像にしか存在しなかったりする。両方の画像に存在する場合，これらの正反射像同士が誤って対応点とみなされてしまう。これは、乱反射のみの点に対して正反射を含む点は輝度が高くほぼ一定値であるため、ウィンドウ内の輝度の差分をとると正反射像間の輝度の差分は、本来の対応点である正反射像と乱反射面の輝度の差分より小さくなってしまうためである。この結果，誤って対応付けられた点から計算された３次元座標値は、対象物よりも遠い点になってしまい、正しい計算ができなくなる。

一方、対象物を撮影する際に、照明光の状態によっては対象物で正反射が生じ、その部分が旨く撮影されないことがある。例えば、対象物の表面状態や照明装置、およびカメラの位置関係によって、撮影した画像上に正反射領域が生じる。アート紙やコート紙などの印刷物上の正反射領域では、ほとんど色成分がなく、コントラストも低くなっている。そのため、対応点の探索が困難であり、生成された３次元形状データが不正確となる。

従って，光沢をもった物体を含む対象物に対して、ステレオ相関法を正しく行うためには，対象物表面に現れる正反射像による誤った対応を検出し，さらに可能であれば補正する必要がある。従来の２台のカメラのステレオ視においては、正反射像を判定することができないため、この誤差を誤差としては抽出できない。

既存の正反射像を判定する方法は偏光を利用する方法（特許文献２）、照明の向きを変える方法（特許文献３）などがあるが、特殊な光源やカメラのフィルターを必要とする。また、複数の組の２次元画像を取得し、複数の組の２次元画像から正反射部分のない１組の２次元画像を生成し、この１組の２次元画像に基づいて３次元形状データを生成する方法（特許文献４）があるが、正反射部分の検出が正確に行われているものではない。特許文献５は特殊な装置をもたずに正反射部分を特定しているが、検出された正反射部分を正反射部分かどうか判定しているわけではなく、更に、３台のカメラを必要とするものである。

特開平２−２９８７８号公報特開平４−２５２９１５号公報特開平５−２９６７４４号公報特開２００２−２６００１７号公報特許２９６１１４０号公報

このように、上に述べた従来の方法によっても正反射像の判定をより精度良く行うことは出来ない。そのため、やはり対応点の探索が正確に行われない部分が生じ、正確な３次元形状データを生成することが困難である。

本発明は、ステレオ相関法を用いて光沢をもつ物体の３次元形状を計測する際に問題となる画像中に観測される正反射成分の判定を行う。

本発明は上記課題を解決するために、対象物を照明する照射手段で対象物を照明して撮像した２次元画像データ中において正反射領域に相当する輝度の閾値を示す対象領域を抽出する第一検出工程と、前記第一検出工程によって対象領域が検出された時に、前記照射手段の初期露光時間を所定の割合で短縮した露光時間で対象物を照明して撮像した比較２次元画像データ中において前記閾値を示す領域を抽出する第二検出工程と、前記第二検出工程によって比較２次元画像データ中に前記閾値が検出されなかった時に、前記露光時間の長さにより、その比較２次元画像データの対象領域が正反射領域かを判定する正反射判定工程と、を具備するようにしたものである。

また本発明の請求項１記載の画像処理方法において、前記正反射判定工程は、前記第二検出工程によって比較２次元画像データ中に前記閾値の輝度よりも明るい部分が検出されなかった時に、前記露光時間が前記初期露光時間の２分の１よりも長い場合に、その比較２次元画像データを正反射領域が無い画像と判定するようにしたものである。

本発明の請求項１に係る画像処理方法によれば、正反射の生じやすい対象物についても、正反射領域が判定されることで、正反射領域の無い２次元画像データを特定することができる。その結果、正確な３次元形状データを生成することができる。

また本発明の請求項２に係る画像処理方法によれば、露光時間が初期露光時間の２分の１よりも長い場合に、その比較２次元画像データを正反射領域が無い画像と判定するようにしたもので正反射領域の無い２次元画像データを特定することができる効果を奏する。

本発明の第１の実施形態の３次元形状生成装置１の機能的な構成を示すブロック図である。撮像装置および照明装置の配置の例を示す図である。３次元形状生成装置１の処理フローを示す図である。正反射領域を判定する処理フローを示す図である。第１の実施形態の３次元形状生成装置１を産業用ロボットのアーム部に配置した状態を示す図である。

以下、本発明の実施例を図１乃至図４に基づいて説明する。

図１は本発明に係る第１の実施形態の３次元形状生成装置１の機能的な構成を示すブロック図、図２は像装置および照明装置の配置の例を示す図である。

本発明では、２台のカメラで同時に例えば床面に置かれた対象物Ｑを撮像し、１対のステレオ視対を用意し、そのステレオ視対で距離を計算する。まず個々のステレオ視の画像について正反射成分の領域が存在している可能性を排し、ついでステレオ視対において正反射成分の可能性を排した３次元形状画像データを生成する。

これらの図において、３次元形状生成装置１は、撮像装置Ｍ１、照明装置Ｆ１，Ｆ２、および処理装置１０からなる。撮像装置Ｍ１は、２台のカメラＣ１，Ｃ２を一体的に備える。これらのカメラＣ１，Ｃ２は、光学系を介して結像する対象物Ｑの２次元画像を撮像（撮影）するＣＣＤやＣＭＯＳなどを有する公知のデジタルカメラである。２つのカメラＣ１，Ｃ２は、床面に置かれた対象物Ｑに対して互いに視点が異なるように配置され、互いに視差のある２次元画像データＦＤを取得する。

カメラＣ１，Ｃ２により取得された視差を有する２つの２次元画像データＦＤ１、ＦＤ２に基づいて、処理装置１０において、ステレオ相関法によって３次元形状画像データＤＴが生成される。なお、３つ以上のカメラＣを用い、それらから得られる２つの２次元画像データＦＤに基づいて３次元形状画像データＤＴを生成し、他の１つの２次元画像データＦＤを各点の信頼性データの取得に用いることも可能である。このようにすると、データの欠落部分の評価が容易である。

なお、対象物Ｑの全周の回りを撮像装置Ｍ１によって順次撮影し、それぞれ得られた３次元形状画像データを統合することにより、対象物Ｑについてのより全体的な３次元形状データＤＴを生成することができる。

照明装置Ｆ１，Ｆ２は、対象物Ｑに照明光を照射するもので、本発明の照射手段に相当する。本実施例においては、対象物Ｑの撮像が室内で行なわれるため、照明装置Ｆ１，Ｆ２は、撮像における適正露出が得られる撮像環境を得るために撮像装置Ｍ１による撮像時に光を照射するものである。なお、この照射装置Ｆ１，Ｆ２による光量は撮像環境によって変わるもので、対象物Ｑの撮像が室外で行なわれるときには、天候にもよるが自然光による光量が多い環境では適正露出を得るように照射装置Ｆ１，Ｆ２による光量は少なくとも良い。

次に、各照明装置Ｆ１，Ｆ２は、対象物Ｑに対して互いに異なる角度で照明光を照射する。これら照明装置Ｆ１，Ｆ２は、撮像装置Ｍ１による撮影に際して、１回目は照明装置Ｆ１により、２回目は照明装置Ｆ２により、それぞれ照明が行なわれる動作と、両方を同時に点灯する動作が可能である。撮像装置Ｍ１で得られる２次元画像データＦＤにおいて、正反射領域があった場合でも、いずれの照明装置Ｆ１，Ｆ２がオンしているかによって正反射領域の位置が異なる。これら、撮像装置Ｍ１および照明装置Ｆ１，Ｆ２の動作は、処理装置１０によって制御される。

処理装置１０は、制御部１１、記憶部１２、正反射領域判定部１３、および３次元形状画像生成部１５などを有する。制御部１１には、撮像制御部２１および照明制御部２２が設けられる。撮像制御部２１は、撮像装置Ｍ１を制御する。例えば、撮像装置Ｍ１のシャッタを制御し、例えば適正露出のために露出タイミング、露出時間などを制御する。照明制御部２２は、各照明装置Ｆ１，Ｆ２を制御する。例えば、撮像装置Ｍ１による撮影に際して、照明装置Ｆ１，Ｆ２を順次オンするように切り換える。

その他、制御部１１は処理装置１０の全体を制御する。記憶部１２は、撮像装置Ｍ１から出力される複数組みの２次元画像データＦＤ、その他のデータおよびプログラムを記憶する。また、制御部１１からの指令によって、記憶した２次元画像データＦＤを正反射領域判定部１３に出力する。

正反射領域判定部１３は、２次元画像データＦＤ１、ＦＤ２の中から正反射領域を検出する。その方法として次の方法がある。画像データ中の１画素ごとの輝度値が所定の閾値以上になっている画素または領域を正反射領域として抽出する。例えば、ある２次元画像データＦＤ上の１つのライン上の輝度値が閾値を越えた部分を正反射領域とする。

具体的には、正反射成分とみなす輝度を与えて、それ以上の輝度を持つ部分を正反射領域とする。通常のカメラにおいては撮像素子に入射する光量を積算し、その値をＡ／Ｄ変換によって整数値に変換し画像フォーマットの形式で保持するが、Ａ／Ｄ変換あるいは画像フォーマットの制限により、この際に画素で表現可能な輝度の最大値が存在する。たとえば輝度を８ｂｉｔで表現する画像フォーマットであれば、最大値は２５５となる。したがって、そのようなカメラの使用においては、輝度の閾値を２５５に近い値にすることによって高輝度の点、即ち正反射領域を検出できる。本実施例では、２５５値を示す領域をサチュレーション領域（ＳＡ領域）として、そのサチュレーション領域の有無で正反射領域の有無を設定する。

このような正反射領域判定部１３によって、２次元画像データＦＤ１、ＦＤ２の中の正反射領域を自動的に検出することが可能である。なお、２次元画像データＦＤ１における正反射領域の位置と、２次元画像データＦＤ２における正反射領域の位置とは異なる。照明装置Ｆ１，Ｆ２の位置が異なるためである。

３次元形状画像生成部１５は、２次元画像データＦＤ１、ＦＤ２に基づいて、３次元形状画像データＤＴを生成する。また、複数の３次元形状画像データＤＴを統合して１つの３次元形状画像データＤＴとする。３次元形状画像生成部１３のこのような機能は、従来から公知である。この３次元形状画像データＤＴを生成する基となる２次元画像データＦＤ１、ＦＤ２は正反射領域が無い画像が選択される。

このような処理装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、磁気ディスク装置、光磁気ディスク装置、媒体ドライブ装置、入力装置、ディスプレイ装置、および適当なインタフェースなどを用い、ＣＰＵがプログラムを実行することによって実現することができる。パーソナルコンピュータなどを用いて構成することも可能である。そのようなプログラムは、適当な記録媒体によって供給することが可能であり、また、ネットワークを介して他のサーバからダウンロードすることも可能である。

次に、３次元形状生成装置１の動作の流れを、フローチャートを参照して説明する。図３は３次元形状生成装置１の処理フローを示す図、図４は正反射領域を判定する処理フローを示す図である。３次元形状生成装置１で対象物Ｑの３次元形状画像データＤＴを作成したい場合、操作者は３次元形状生成装置１の図示しない動作スイッチをオンする。そのオンに続いて、３次元形状生成装置１は制御部１１によって自動的に以下の動作を行なう。

図３において、照明装置Ｆ１、Ｆ２の両方を点灯して撮像装置Ｍ１による１回目の撮像を行う（Ｓ１）。この時、照明装置Ｆ１、Ｆ２による初期露光時間Ｔ１と初期照明光量Ｌ１は、対象物Ｑを室内において撮像装置Ｍ１で撮影する際の通常の撮像条件が設定される。即ち、一般的にカメラは対象物を撮影するのに適正露出となるよう公知の自動露出機能を有している。本発明では、撮影装置Ｍ１に自動露出により適正露出が設定されることで、初期露光時間Ｔ１と初期照射光量Ｌ１が設定される。

カメラＣ１、Ｃ２を介して得られた２つの２次元画像データＦＤ１、ＦＤ２を、記憶部１２の所定のメモリ領域に記憶し、正反射領域があるか分析する第一検出工程が実行される（Ｓ２）。即ち、２次元画像データＦＤ１、ＦＤ２中に輝度閾値が２５５のサチュレーション領域があるかが、それぞれの画像に対して正反射領域判定部１３によって分析される。

そして、第一検出工程において２次元画像データＦＤ１とＦＤ２とがともにサチュレーション領域が無いと判断されると、得られた２次元画像データＦＤ１、ＦＤ２はサチュレーション領域が無いことで正反射領域が無いと判断し２次元画像設定が行なわれる（Ｓ４）。その後、その２次元画像データＦＤ１、ＦＤ２を基に、３次元形状画像データＤＴを生成する（Ｓ５）。一方、第一検出工程においてサチュレーション領域が有ると判断されると（Ｓ２）、正反射領域かどうかの判定フローを行う（Ｓ３）。

次に、正反射判定フローに関して図４を参照して説明する。図４は、正反射領域を判定する処理フローを示す図である。判定フローは、照射手段Ｆ１、Ｆ２の初期露光時間Ｔ１に式「（１０−ｎ）／１０」を乗算することで短縮する。即ち、ｎに１が代入されると「０．９」が乗算され、露光時間は初期露光時間Ｔ１が１０％短縮されることとなる。ここで、ｎに５が代入されると同様に、「０．５」が乗算されることで５０％短縮され、露光時間は半分になる。なお、以後の実施形態ではｎにまず「１」が代入される（Ｓ３１）。

ｎに「１」が代入されると、初期露光時間Ｔ１が初期露光時間の９０％の時間に短縮された露光時間Ｔ２を設定し、この露光時間Ｔ２で対象物Ｑを照明して撮像する（Ｓ３２）。その結果、２つの第一の比較２次元画像データを得る。そして、第一の比較２次元画像データ中において閾値以上の領域を抽出してサチュレーション領域の有無を判定する第二検出工程を行う（Ｓ３３）。即ち、第一検出工程（Ｓ２）と同様にサチュレーション領域の有無が第二検出工程で判断される。

ここで、サチュレーション領域が無いと判断されると、露光時間Ｔ２が初期露光時間Ｔ１の半分（２分の１）の５０％短縮時間よりも大きいか、小さいかどうかを判断する（Ｓ３７）。そして、露光時間Ｔ２が初期露光時間Ｔ１の半分の時間より大きい場合は、Ｓ２で抽出されたサチュレーション領域は正反射領域では無いと判断される（Ｓ３８）。

詳細に説明すると、適正露出の露光時間が短くなると反射光量が減るため正反射領域であっても、正反射光量が無くなり正反射領域が無くなるが、本発明の発明者の研究によれば露光時間が短くなる割合が小さい状態、即ち、初期露光時間Ｔ１の半分の時間までの時間短縮では正反射光量が検出できないほど正反射領域からの反射光量が落ちないことが判った。そのため、第一検出工程で抽出されたサチュレーション領域が、露光時間Ｔ２が初期露光時間Ｔ１の半分の時間より大きい状態である第二検出工程でサチュレーション領域が無くなった場合、そのサチュレーション領域が正反射領域であれば無くならないと言える。

言い換えると、露光時間Ｔ２が初期露光時間Ｔ１の半分の時間より大きい状態で無くなるサチュレーション領域は、他の要因でサチュレーション領域として抽出されたものである。即ち、露光時間Ｔ２が標準露光時間Ｔ１と大きな差が無い状態でサチュレーション領域が消失しているので、対象物Ｑの同一箇所は正反射を生じていないと言える。

第二検出工程（Ｓ３３）でサチュレーション領域が有りと判断されると、ｎのカウントが１ずつ増やされることで（Ｓ３４）、１０％ずつ初期露光時間Ｔ１が短縮されて露光時間Ｔ２が設定され、Ｓ３２に戻って同様に撮像が行われる。ｎが９になるまでＳ７までの処理が１０％の時間で処理露光時間Ｔ１が短縮されて繰り返される（Ｓ３５）。

そして、露光時間Ｔ２が初期露光時間Ｔ１の２分の１短縮よりも短くなり、第二検出工程でサチュレーション領域が有りと判断されていた場合、抽出されたサチュレーション領域は正反射領域と判断する（Ｓ３６）。

このように、露光時間を短縮していき、初期露光時間Ｔ１よりかなり短くなった場合に初期露光時間Ｔ１で抽出されていたサチュレーション領域が継続して検出されることでその領域は正反射領域と判断する。即ち、露光時間が２分の１よりも短くなることで照射光量が少なくなってもサチュレーション領域が抽出されるのは、その領域が正反射領域であるため反射光量が多いと言える。この判断の境界である判定レベルを本件発明においては、適正露出を得る初期露光時間に対して２分の１に短縮される露光時間より短いかで設定される。そして、以上の結果から、サチュレーション領域が検出されなかった２次元画像データを記憶する（Ｓ３９）。

なお、上記実施形態では、２次元画像データＦＤ１、ＦＤ２ともに、サチュレーション領域の抽出が同時に起こる場合を説明したが、必ずしもｎの同じカウント値でサチュレーション領域の有無が発生するとは限らない。その場合は、正反射領域判定部１３で２次元画像データＦＤ１、ＦＤ２に対してサチュレーション領域の抽出された画像データであることを示すフラグを個別に記憶するようにして、両方の画像データにおいて正反射領域が無い画像データを得た同じ露光時間による画像データで３次元形状画像データＤＴを生成する基とすればよい。

また、上記実施例では、露光時間Ｔ２が初期露光時間Ｔ１を１０％ずつ短縮しているが、ｎのカウントは１ずつ増やすものに限られず、操作者によって任意に短縮時間の割合は設定されてもよい。例えば、ｎを５ずつ増やすようにしてもよいし、初期露光時間Ｔ１を１％ずつ短縮するように設定してもよい。

次に、本発明に係る第２の実施形態を図５に基づいて説明する。図５は、第１の実施形態の３次元形状生成装置１を産業用ロボットのアーム部に配置した示す図である。産業用ロボット１００は、回転自在のロボット本体１０１と、ロボット本体１０１に装着されたアーム１０２より構成される。

アーム１０２は、伸縮自在の多関節アームより構成され、その先端に装着された対象物を挟むことが可能な挟持動作をするハンド１０３より構成される。そして、このハンド１０３に３次元形状生成装置１の照明装置Ｆ１、Ｆ２と撮像装置Ｍ１がユニットとして装着される。

この産業用ロボット１００によれば、対象物Ｑをハンド１０３で掴む動作の開始にあたって、３次元形状生成装置１が第１の実施形態と同様の正反射領域の判定を行なった上で、２次元画像データを生成する。その２次元画像データに基づいて、３次元形状画像データが形成され、対象物Ｑ体上の点の三次元座標値が計算できる。その結果、アーム１０２の対象物Ｑまでの動作距離が計算されることで正確にハンド１０３が対象物を掴むことが可能となる。

ガラス、金属、プラスチックなど、表面が滑らかで正反射特性をもつ物質が特に工業製品に多くある。これらの製品をロボット等の自動機械で取り扱おうとする場合、正反射面がある物体の計測や認識を自動的に行う必要がある。従来の２次元あるいは３次元の画像による物体の３次元計測および認識技術では、画像中に正反射像があると、それは物体の形状に依存しないため計測が著しく困難になる。そのため、生産ラインの自動化は光沢がない対象物に限られていた。

本発明により光沢のある物体の位置姿勢を計測できるようになれば、生産ラインにおいて対象物を選ばない自動化が可能になる。これは、生産コストの削減と同時に、従来法では自動化が難しかったため労働条件が悪くても人間による作業が必要だった分野においても作業を機械化できることで、労働者を悪条件から解放する効果がある。

上記実施形態では、正反射領域の抽出を２次元画像データＦＤの中から、輝度値が所定の閾値以上になっている画素または領域を正反射領域として抽出する。例えば、ある２次元画像データＦＤ上の１つのライン上の輝度値が閾値を越えた部分を正反射領域としたが、その方法として他に次の方法がある。

サチュレーション領域から注目画素を選択し、注目画素とその周辺の画素との輝度差の絶対値、平均値、分散などが閾値以下である領域、つまりコントラストが低い領域を正反射領域とする。つまり、中央の注目画素の輝度とその周辺の画素の輝度との輝度差を求め、その平均値を求める。平均値が、ある適当な範囲に入っていれば、つまり低い閾値より大きく、高い閾値より小さい場合には、正反射領域ではないと判断する。コントラストが低く、平均値が低い閾値より小さい場合には、正反射領域であると判断する。

上に述べた実施形態において、照明装置Ｆとして、キセノン管、その他の発光素子を用いたフラッシュ装置、ランプを用いた照明装置、マスクシャッタを備えた照明装置など、公知の種々のものを用いることができる。１つの撮影装置Ｍ１を用いたが、複数セットの撮影装置Ｍ１を用いてもよい。

上に述べた実施形態において、撮影装置Ｍ１としてデジタルカメラを用いたが、銀塩式カメラを用いて撮影し、得られた２次元画像データに対してスキャナーを用いてデジタル化してもよい。その他、３次元形状生成装置１の全体または各部の構成、個数、処理内容または処理順序などは、本発明の趣旨に沿って適宜変更することができる。

１３次元形状生成装置
Ｍ１撮像装置
Ｆ１、Ｆ２照明装置
１０処理装置
Ｃ１、Ｃ２カメラ
Ｑ対象物
１１制御部
１２記憶部
１３正反射領域判定部
１５３次元形状画像生成部
２１撮像制御部
２２照明制御部
ＦＤ１、ＦＤ２２次元画像データ
ＤＴ３次元形状データ

Claims

対象物を照明する照射手段で対象物を照明して撮像した２次元画像データ中において正反射領域に相当する輝度の閾値を示す対象領域を抽出する第一検出工程と、
前記第一検出工程によって対象領域が検出された時に、前記照射手段の初期露光時間を所定の割合で短縮した露光時間で対象物を照明して撮像した比較２次元画像データ中において前記閾値を示す領域を抽出する第二検出工程と、
前記第二検出工程によって比較２次元画像データ中に前記閾値が検出されなかった時に、前記露光時間の長さにより、その比較２次元画像データの対象領域が正反射領域かを判定する正反射判定工程と、
を具備する画像処理方法。
請求項１記載の画像処理方法において、前記正反射判定工程は、前記第二検出工程によって比較２次元画像データ中に前記閾値の輝度よりも明るい部分が検出されなかった時に、前記露光時間が前記初期露光時間の２分の１よりも長い場合に、その比較２次元画像データを正反射領域が無い画像と判定することを特徴とする画像処理方法。