JP2017194352A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 光輝感を計測するために適切な幾何条件を決定する。
【解決手段】 第１の光源が照射した被写体を撮像した第１の撮像画像を入力する第１の画像入力手段と、前記第１の撮像画像における各画素について、輝点となる場合の面法線を算出して面法線画像を算出する面法線算出手段と、前記撮像画像を、所定の角度範囲ごとの複数の領域に分割する分割手段と、前記第１の撮像画像を量子化して輝点画像を生成し、前記撮像画像と前記輝点画像に基づいて、前記領域ごとに、該領域の総面積に対する該領域に含まれる輝点の総面積の比率を算出し、前記所定の角度範囲に対応する輝点確率を算出する輝点確率算出手段と、前記輝点確率に基づいて、第２の光源が照明した前記被写体を撮像した場合に、得られる撮像画像において輝点それぞれが分離可能となる前記第２の光源の幾何条件を決定する幾何条件決定手段と、を有することを特徴とする画像処理装置。
【選択図】 図３

Description

本発明は、被写体の光輝感を測定するための画像処理技術に関する。

従来、メタリック材など光輝感を有する塗板の光輝感を計測する方法が知られている。特許文献１には、光輝感をキラキラ感と粒子感のそれぞれを分けて定量的に評価する方法を開示している。特許文献１に開示された方法ではまず光輝材含有塗膜面を光照射し、正反射光が入射しない角度で塗膜面をカメラで撮影する。そして撮影した画像を解析して得られる区画ごとの輝度に基づいて、キラキラ感と粒子感を表す評価値を算出する。

特開２０００−３０４６９６号公報

光輝材含有塗膜面は、観察角度に応じて光輝度となる位置や数が異なる。従って光輝感を計測するために、光輝度となる位置や数が適切に撮像可能な幾何条件で、照射する光源や撮影するカメラを配置する必要がある。しかしながら特許文献１に開示された方法では、必ずしも光輝度を評価するのに適した画像を得ることができない。そこで本発明は、光輝感を計測するために適切な幾何条件で、被写体を撮影することを目的とする。

上記課題を解決するため本発明は、被写体の輝点からなる光輝感を計測する計測装置のための画像処理装置であって、第１の光源が照射した被写体を撮像することにより得られる第１の撮像画像を入力する第１の画像入力手段と、前記第１の撮像画像における各画素について、輝点となる場合の面法線を算出して面法線画像を算出する面法線算出手段と、前記撮像画像を、所定の角度範囲ごとの複数の領域に分割する分割手段と、前記第１の撮像画像を量子化することにより輝点を表す輝点画像を生成し、前記撮像画像および前記輝点画像に基づいて、前記領域ごとに、該領域の総面積に対する該領域に含まれる輝点の総面積の比率を算出し、前記領域ごとの比率を用いて、前記所定の角度範囲に対応する輝点確率を算出する輝点確率算出手段と、前記輝点確率に基づいて、前記第１の光源よりも指向性が強い配光特性を有する第２の光源が照明した前記被写体を撮像した場合に、得られる撮像画像において輝点それぞれが分離可能となる前記第２の光源の幾何条件を決定する幾何条件決定手段と、を有することを特徴とする。

本発明によれば、光輝感を計測するために適切な幾何条件で、被写体を撮影できる。

被写体および被写体を計測する計測装置。 計測装置の構成を示す図。 画像処理部２１５の詳細な論理構成を示すブロック図。 画像処理部２１５が実行する処理のフローチャート。 面法線画像を説明する図。 面法線画像の分割方法を説明する図。 輝点確率算出処理のフローチャート。 幾何条件決定処理のフローチャート。 輝点特徴量算出を説明する図。 輝点画像を説明する図。 平均仰角に対応する輝点面積率を示す図。 第２の照明部２０３の位置を示す図。 撮像画像の一例を示す図。 輝点確率算出３１２が実行する処理のフローチャート。 第２の照明部の位置を説明する図。 面法線範囲の概念を示す図。 輝点確率算出に用いる領域の概念図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下の実施形態において示す構成は、一例に過ぎず、本発明は図示された構成に限定するものではない。

＜第１実施形態＞
第１実施形態では、点光源と平行光源を用いて被写体を照射し、撮影した画像に基づいて光輝感を計測する方法について説明する。図１（ａ）は、被写体１０１である金属片を表面に塗装した塗板を模式的に示す。被写体１０１の表面には、複数の金属片が含まれている。撮像部１０２が例えば被写体１０１と正対する方向に配置されているとする。図１（ａ）に示すように、一部の金属片は、ある照射角度から照射された反射光が、撮像装置１０２の角度に反射する。このとき撮像部１０２が被写体１０１を撮影すると、複数の輝点を有する撮影画像１０３が得られる。本実施形態では、計測対象となる被写体の輝点の数、大きさ、強度を、光輝感を示す特徴量として計測する。ただし、被写体に対して適切な位置で照射、撮影しないと、本来別の輝点として撮影画像に記録されるべき複数の輝点が集合し、１つの輝点として撮像されてしまう。そこで本実施形態ではまず、点光源が照射した被写体プレ撮像した画像に基づいて、平行光源を用いて照射した被写体を撮像する際に、撮像画像において被写体の各々の輝点が分離可能となる平行光源の入射角条件を算出する。

図２は、第１実施形態に適用可能な計測装置の構成を示す図である。撮像部２０１は、レンズ、絞り、シャッタ、光学ローパスフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどのセンサを有する。撮像部２０１は、被写体から反射される反射光の光量を検知し、Ａ／Ｄ変換を経てデータ転送経路であるバス２１５にデジタル画像を出力する。図１（ｂ）は、第１実施形態の計測装置における、撮像部２０１、光源、被写体の位置関係を示す。被写体１０１におけるある点を原点（０，０、０）とする。撮像部２０１は、被写体１０１の上部Ｃ（０，０、ｄ）の位置に配置されている。第１の照明部２０２と第２の照明部２０３は、被写体に光を照射する。前記第２の照明部２０３は、第１の照明部２０２よりも指向性が強い配光特性を有する。ここでは第１の照明部２０２は、点光源であり、図１（ｂ）に示す通りＬ_１（ｄｓｉｎθ_１，０，ｄｃｏｓθ_１）の位置に配置されている。第２の照明部２０３は、２つの平行光源であり、図１（ｂ）に示すように点Ｌ_２（ｄｓｉｎθ_２，０，ｄｃｏｓθ_２）の位置と点Ｌ_３（ｄｓｉｎθ_３，０，ｄｃｏｓθ_３）との配置されている。

ＲＯＭ２０４とＲＡＭ２０５は、撮像や画像処理に必要なプログラム、データ、作業領域などをＣＰＵ２０６に提供する。ＣＰＵ２０６はＲＡＭ２０５をワークメモリとして、ＲＯＭ２０４やＲＡＭ２０５に格納されたプログラムを読み出して実行し、バス２１５を介して各構成を制御する。これにより、後述する様々な処理が実行される。

撮像制御部２０７は、撮像部２０１に対してフォーカスを合わせたり、シャッタを開いたり、絞りを調節するなどを制御する。操作部２０８は、ボタンやモードダイヤルなどが該当する。撮像制御部２０７はＣＰＵ２０６から指示を受けると、撮像部２０１にプレ撮像画像または撮像画像を取得させ、取得した画像を所定のメモリに記憶させる。操作部２０８を介して、ユーザは電源の起動や処理パラメータの設定など各種の指示を入力することができる。表示部２１０は、画像処理部２１５から受け取った撮像画像や文字を表示する。また表示部２１０が、タッチスクリーン機能を有していても良く、その場合は、ユーザ指示を入力する操作部２０８としても機能する。本実施形態では、表示部２１０は液晶ディスプレイを用いる。外部メモリ制御部２１３は、ＰＣ（パーソナルコンピュータ）やその他メディア２１４（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）と接続するためのインターフェースである。

画像処理部２１５は、撮像部２０１から得られたデジタル画像に基づいて、被写体１０１の光輝感を示す光輝感特徴量を算出する。なお本実施形態において画像処理部２１５は、ＣＰＵ２０６が所定のプログラムを実行することで実現する構成である。画像処理部２１５は、算出した光輝感特徴量を示す情報をバス２１５へ出力する。

図３は、画像処理部２１５の詳細な論理構成を示すブロック図である。プレ撮像画像入力部３０６は、点光源下である第１の照明部２０２が照明する被写体を撮像したプレ撮像画像を入力する。入力したプレ撮像画像は、被写体の輝点特徴量を算出するためではなく、被写体を照射する照明の位置を決定するために用いられる。なお、以降プレ撮像画像の撮像をプレ撮像と呼ぶ。光源位置情報入力部３０７は、プレ撮像時の第１の照明部２０２の位置を示す情報を入力する。撮像部位置情報入力部３０８は、プレ撮像時の撮像部２０１の位置を示す撮像部位置情報を入力する。撮像パラメータ入力部３０９は、プレ撮像時の撮像部２０１の撮像パラメータを入力する。

面法線算出部３１０は、光源位置情報、撮像部位置情報、撮像パラメータとに基づいて、プレ撮像画像において輝点となる場合の面法線を算出し、画素毎に面法線方向を示す面法線画像を算出する。算出した面法線画像は領域分割部３１１へ出力する。領域分割部３１１は、面法線画像に基づいて、プレ撮像画像を輝点の面法線方向の仰角θについて所定の閾値Δθごとに分割する。領域分割部３１１は、分割した各領域のみを抽出することで得られる複数の画像を、分割画像として出力する。輝点確率算出部３１２は、プレ撮像画像と、各分割領域データから、各分割領域において輝点が生じる確率を算出する。算出した輝点確率は幾何条件決定部３１３へ出力する。幾何条件決定部３１３は、輝点確率に基づいて第２の照明部２０３（平行光源）が照射した被写体を撮像して得られる画像において、各々の輝点が分離可能となる平行光源の入射角条件を決定する。撮像画像入力部３１４は、第２の照明部２０３を、幾何条件を満たす位置に配置して照射した被写体を撮像した画像を入力する。入力した撮像画は輝点特徴量算出部３１５へ出力する。輝点特徴量算出部３１５は、撮像画像に写る輝点の強度、数、大きさを輝点特徴量として算出する。

図４は、第１実施形態における画像処理部２１５が実行する処理のフローチャートである。図４に示すフローチャートを記述したコンピュータで実行可能なプログラムを、ＣＰＵ２０６がＲＯＭ２０４から読み出してＲＡＭ２０５上に書き込み、該プログラムを実行することによって当該処理が実施される。ステップＳ４０１においてプレ撮像画像入力部３０６は、第１の照明部２０２が照射した被写体を撮像部２０１が撮影した画像を、プレ撮影画像として入力する。入力したプレ撮像画像はＲＯＭ２０４またはＲＡＭ２０５の記憶領域に記憶する。ステップＳ４０２において光源位置情報入力部３０７は、プレ撮像時に被写体を照射していた第１の照明部２０２（点光源）が配置された位置を示す光源位置情報を入力する。ここでは前述の通り、第１の照明部２０２の光源位置情報として、点Ｌ_１（ｄｓｉｎθ_１，０，ｄｃｏｓθ_１）が入力される。光源位置情報入力部２０７は、光源位置情報を所定の記憶領域に記憶する。

ステップＳ４０３において撮像部位置情報入力部３０８は、プレ撮像時の撮像部２０２が配置された位置を示す撮像部位置情報を入力する。本実施形態では、点Ｃ（０，０，ｄ）が撮像部位置情報として入力される。撮像部位置情報入力部３０８は、入力した撮像部位置情報を所定の記憶領域に記憶する。ステップＳ４０４において撮像パラメータ入力部３０９は、プレ撮像時の撮像部２０２のレンズ焦点距離を示す撮像パラメータを入力する。撮像パラメータ入寮部２０９は、入力した撮像パラメータを所定の記憶領域に記憶する。

ステップＳ４０５において面法線幾何条件算出部３１０が、光源位置情報、撮像部位置情報、撮像パラメータに基づいて、プレ撮像画像における輝点の面法線の幾何条件を示す面法線画像を算出する。図５（ａ）に示すように、点光源の入射角と撮像部２０１方向への反射角が等しくなる向きの面法線の金属片が、プレ撮像画像において輝点として写る。プレ撮影画像における画素ｋについて、点光源（第１の照明部２０２）の入射角と反射角が等しくなる面法線の向きｎ_ｋを、以下の式（１）に従い算出する。

Ｗ_ｋは撮像部位置情報と撮像パラメータから算出されるプレ撮像画像データにおける画素ｋの三次元座標である。画素ｋの三次元座標Ｗｋは、ステップＳ４０３で入力した撮像部位置情報と、ステップＳ４０４において入力した撮像パラメータを用いて、公知の射影変換処理により算出する。ｉ_ｋは画素ｋの３次元座標が示す位置における点光源方向を表す大きさ１のベクトルである。ｖ_ｋは画素ｋの３次元座標が示す位置における撮像部２０１方向を表す大きさ１のベクトルである。本実施形態では、光輝材の配向特性が方位角に対して等方的であるとみなし、以下の式（２）を用いて、画素ｋに対応する仰角θを算出する。ここで算出する仰角θは、プレ撮像画像における各画素について、輝点となる場合に、金属片が取り得る面法線方向の幾何条件となる。

撮影画像における各画素について、仰角θを算出した結果を、面法線画像とする。図５（ｂ）は、面法線画像を示す図である。面法線画像は８ｂｉｔのグレースケールで表される画像である。図５（ｂ）は、画素値０を黒、画素値２５５を白で表している。面法線画像において、Ｘ軸上かつ点光源（第１の照明部２０２）と撮像部２０１からの距離が等しい画素位置Ｗ_ｋ０では仰角θ＝０であるため、画素値０である。これは、画素位置Ｗ_ｋ０の面法線ｎ_ｋ０＝（０，０，１）となることを意味する。面法線算出部３１０は、算出した面法線画像を所定の記憶領域に記憶する。

ステップＳ４０６において領域分割部３１１は、面法線画像を、輝点の面法線の所定の角度範囲Δθごとにｍ個の領域に分割する。図６は、面法線画像の分割方法を説明する図である。まずステップＳ４０５において算出した面法線画像における各画素を、Δθ間隔で量子化する。例えば、Δθ＝１°とする。図６（ａ）は、面法線画像を量子化した結果を模式的に示している。量子化した面法線画像に基づいて、図６（ｂ）に示すように量子化値ごとの画像に分離する。なお、各分割画像における画素の画素値は、量子化値ではなく、量子化前の仰角を用いることとする。複数の分割画像を出力する。領域分割部３１１は、算出した複数の分割画像を所定の記憶領域に記憶する。

ステップＳ４０７において輝点確率算出部３１２は、分割画像ごとに輝点が生じる確率を算出する。輝点確率算出処理の詳細は、後述する。輝点確率算出部３１２は、算出した分割画像ごとの輝点確率を所定の記憶領域に記憶する。ステップＳ４０８において幾何条件決定部３１３は、分割画像毎の輝点確率に基づいて、撮影画像において各々の輝点が分離可能となる第２の照明部２０３の入射角条件を幾何条件として決定する。幾何条件決定処理の詳細は、後述する。幾何条件決定部３１３は、算出した幾何条件を第２の照明部２０３へ出力する。

ステップＳ４０９において撮像画像入力部３１４が、ステップＳ４０８で出力した幾何条件を満たす位置に配置した第２の照明部２０３で照射した被写体を撮像部２０１が撮像した撮像画像を入力する。本実施形態では、図１に示すように算出した幾何条件を満たす点Ｌ_３に位置に配置した第２の署名部２０３（平行光源）が照射した被写体を撮像した撮像画像を入力する。入力した撮像画像は所定の記憶領域に記憶する。

ステップＳ４１０において輝点特徴量算出部３１５は、ステップＳ４０９において取得した撮像画像に基づいて、被写体の輝点の強度、数、大きさを輝点特徴量として算出する。図９は、輝点特徴量算出を説明する図である。図９（ａ）は、ステップＳ４０９において取得した撮像画像を示す。輝点特徴量算出部３１５はまず、撮影画像を所定の閾値を用いて２値化し、図９（ｂ）に示すように２値化画像を生成する。なおここでは、閾値は１２８であるとする。図９（ｂ）に示す２値化画像において輝点をラベリング処理する。具体的には、２値化画像において画素値２５５の画素が連結している領域を検出し、検出した領域に対して順に番号を付与する。図９（ｃ）は、各輝点をラベリングした結果を示す。輝点特徴量算出部３１５は、撮影画像における輝点数及び各輝点の面積の平均値を算出する。更に、図９（ａ）に示す撮像画像と図９（ｂ）に示す２値化画像とに基づいて、図９（ｄ）に示すように、輝点でない領域の画素の画素値を０にした画像を生成し、画素値の総和を輝点数で除算することで、輝点の平均強度を算出する。輝点特徴量３１５は、算出した輝点の平均強度、数、平均面積を輝点特徴量として所定の記憶領域に記憶し、処理を終了する。

次に、ステップＳ４０７において輝点確率算出部３１２が実行する輝点確率算出処理の詳細を説明する。図７は、輝点確率算出処理のフローチャートである。ステップＳ７０１において輝点確率算出部３１２は、図６（ｂ）に示す各分割画像において、所定の仰角範囲の画素値を有する領域の面積Ｒ（θ_ｍ）を算出する。ステップＳ４０６において領域分割部３１１が、所定の仰角範囲の画素値を有する画素群毎に分離した。輝点確率算出部３１２は、各分割画像において、対応する所定の仰角範囲の画素値を有する画素群の面積を算出する。具体的には、対応する所定の仰角範囲の画素値を有する画素をカウントし、画素数を面積とみなす。分割領域がＮ個の場合、ｍは１〜Ｎの自然数である。角度θ_ｍは、各分割領域に含まれる各画素の仰角の平均値によって算出された平均仰角である。ここでは輝点確率算出部３１２は算出した領域面積を所定の記憶領域に記憶する。

ステップＳ７０２において輝点確率算出部３１２は、図１０（ａ）に示すプレ撮像画像を所定の閾値（ここでは１２８とする）で２値化処理することで、輝点の位置が明瞭な輝点画像を生成する。図１０（ｂ）は、輝点画像の一例示す。更に、各分割画像において対応する所定の仰角範囲の画素値を有する画素群と同様に、図１０（ｃ）に示すように輝点画像を分割する。輝点の面積の総和を輝点総面積Ｓ（θ_ｍ）として算出する。具体的には、２値化画像において画素値２５５の画素を輝点として検出し、画素値２５５の画素の画素数をカウントすることで、輝点総面積を算出する。輝点確率算出部３１２は、算出した平均仰角毎の輝点総面積Ｓ（θ_ｍ）を所定の記憶領域に記憶する。

ステップＳ７０３において輝点確率算出部３１２は、各面積Ｒ（θ_ｍ）と輝点総面積Ｓ（θ_ｍ）との比率に基づいて、以下の式（３）を用いて、輝点面積率Ｐ（θ_ｍ）を算出する。

図１１は、平均仰角に対応する輝点面積率を示すグラフである。横軸は仰角を、縦軸は輝点面積率である。本実施形態では、図１１に示すように仰角θについてΔθ間隔で輝点面積率がプロットされる。プロットした結果を関数近似することにより、輝点面積率を示す関数Ｐ（θ_ｍ）を算出する。輝点確率算出部３１２は、輝点面積率関数Ｐ（θ_ｍ）を所定の記憶領域に記憶する。

ステップＳ７０４において輝点確率算出部３１２は、被写体１０１表面の粗さを表す微小面法線の分布をモデル化したベックマン分布モデルＤ（θ）を以下の式（４）を入力する。

αは微小面の平均的な傾きであり、表面粗さを表すパラメータである。なお以下の式（５）に示すように、ベックマン分布は被写体のマクロ的な面法線方向Ｎ＝（０，０，１）を天頂方向とした上半球領域Ω_Ｎで積分すると１となるように規格化されている。

従って、ベックマン分布モデルＤ（θ）は仰角θの面法線を有する輝点が生じる確率とみなすことができる。輝点確率算出部３１２は、入力したベックマン分布モデルＤ（θ）を所定の記憶領域に記憶する。

ステップＳ７０５において輝点確率算出部３１２は、以下の式（６）を用いて、輝点面積率関数Ｐ（θ_ｍ）をベックマン分布モデルデータＤ（θ）でフィッティングしたときの表面粗さパラメータαを算出する。

ｔは輝点面積率関数Ｐ（θ_ｍ）を規格化する係数である。輝点確率算出部３１２は、算出した表面粗さパラメータαを輝点確率を示す情報として所定の記憶領域に記憶し、処理を終了する。

以下では、ステップＳ４０８において幾何条件決定部３１３が実行する幾何条件決定処理の詳細を説明する。図８は、幾何条件決定処理のフローチャートである。ステップＳ８０１において幾何条件決定部３１３は、撮影画像において各々の輝点が分離可能となる輝点の面法線方向を決定する。具体的には、以下の式（７）を用いて、各輝点の８連接近傍で同じ面法線を有する輝点が存在する確率が所定の閾値以下となる面法線ｎの仰角θの範囲を算出する。なおここでは、閾値Ｐ_ｔｈは０．１とする。

本実施形態では、輝点確率を表す関数として、ステップＳ４０７において算出した表面粗さパラメータがαのときのベックマン分布モデルＤ_α（θ）を用いている。図１１の斜線部で示すように所定の閾値Ｐ_ｔｈ以下の輝点確率を有する仰角θの範囲はθ＞θ_ｔｈが、各々の輝点が分離可能となる面法線ｎの範囲となる。幾何条件決定部３１３は、算出した面法線ｎの仰角θの範囲を所定の記憶領域に記憶する。

ステップＳ８０２において幾何条件決定部３１３は、平行光源が照明した被写体を撮像した撮影画像において、各々の輝点が分離可能となる幾何条件を決定する。具体的には、ステップＳ８０１で算出した面法線ｎの仰角θの範囲のうち、以下の式（８）を用いて、平行光源の入射角θ_Ｌの範囲を算出する。

本実施形態では、撮像画像における各画素位置に対応する３次元座標が示す位置におけるカメラ方向は画角中央におけるカメラ方向ｖ_ｋ１＝（０，０，１）の一定値であるとする。式（８）、ｖ_ｋ１＝（０，０，１）より、θ_Ｌ＝２θとなるので、第２の照明部２０３は、入射角θ_Ｌの範囲はθ_Ｌ＞２θ_ｔｈが幾何条件となる。前述の通り第２の照明部２０３は、仰角θ_２かである点Ｌ_２と仰角θ_３の点Ｌ_３とに配置された２つの平行光源を有する。図１２に示す通り、仰角２θ_ｔは、θ_２＜２θ_ｔｈ＜θ_３を満たす。そこで第２の照明部２０３を２θ_ｔｈより角度の大きい点Ｌ_３の位置に配置した平行光源に被写体１０１を照射させて、被写体１０１を撮像することで、輝点を適切に撮影画像に移すことができる。幾何条件決定部３１３は、算出した平行光源の入射角θ_Ｌの範囲を示す幾何条件情報を所定の記憶領域に記憶し、処理を終了する。

図１３（ａ）は、第２の照明部２０３のうち点Ｌ_２の位置に配置し平行光源が照明した被写体を撮像した結果得られる撮影画像である。点Ｌ２の位置に配置した平行光源の入射θ２が小さいため、一部の輝点が隣接する輝点とつながって撮像され、輝点の数及び面積の計測精度が低下する。図１３（ｂ）は、第２の照明部２０３のうち点Ｌ_３の位置に配置された平行光源が照明した被写体を撮像した撮影画像である。各々の輝点が分離可能となる配置から照射するため、輝点の数及び面積を精度よく取得することができる。以上の通り本実施形態によれば、点光源（第１の照明部２０２）を用いたプレ撮影の結果に基づいて、平行光源（第２の照明部２０３）を配置すべき幾何条件を決定することにより、被写体の光輝感を高精度に取得することができる。

なお、第１実施形態では、光輝材の配向特性が方位角に対して等方的であるとみなし、面法線画像を仰角についてΔθ間隔で分割した領域を算出した。しかしながら仰角、方位角の両方について分割した領域を算出しても良い。例えば、面法線画像をブロック状に分割すれば良い。

本実施形態では、輝点面積率関数にベックマン分布モデルデータをフィッティングすることで輝点確率を算出したが、特にモデルをベックマン分布モデルに限定するものではない。例えば、輝点面積率を多項式関数でフィッティングし、仰角θについて０°〜９０°の範囲で積分すると１となるように規格化した関数を輝点確率関数として算出しても良い。

本実施形態では、幾何条件情報として、撮像画像の画角中央の画素におけるカメラ方向に対して各々の輝点が分離可能となる平行光源方向を算出したが、各画素におけるカメラ方向に対する平行光源方向を算出しても良い。また、算出した各画素に対する平行光源方向の共通範囲を幾何条件情報として算出しても良い。

また本実施形態では、点光源である第１の照明部２０２を１個、平行光源である第２の照明２０３を２個配置した計測装置を用いて被写体の光輝感を取得したが、特に光源の数や配置する位置を限定するものではない。例えば、１個の点光源と３以上の多数の平行光源を配置した計測装置において、幾何条件を満たす複数の平行光源それぞれが照射した被写体を複数枚撮像し、複数の光源方向に応じた被写体の光輝感を計測しても良い。また、第２の照明部２０３として１個の平行光源を駆動ステージ上に配置し、幾何条件を満たす位置に移動させて被写体の光輝感を計測しても良い。

また本実施形態では、１台の撮像部２０１を用いて被写体の光輝感を計測したが、プレ撮像用の撮像部と撮像用の撮像部２つのカメラを用いて被写体の光輝感を計測しても良い。例えば、プレ撮像時には輝点確率を算出する面法線範囲を広くするために、広角のレンズを備えたカメラで撮像し、撮像時には数十μｍ程度の小さい輝点でも高精度に輝点の面積を取得するために、望遠のレンズを備えたカメラで撮像しても良い。また、１台の撮像部２０１にズームレンズを装着し、プレ撮像時と撮像時に倍率を変更して撮像しても良い。

また本実施形態では、輝点の面法線方向に応じて分割した各領域内の輝点面積率から輝点確率を算出した。しかしながら例えば、分割領域内の各輝点の面積のヒストグラムを算出し、予め算出しておいた分散値と輝点確率とのルックアップテーブルを用いて、ヒストグラムの分散値から輝点確率を算出することもできる。

＜第２実施形態＞
第１実施形態では、点光源は、照射する光の大きさが無い理想的な拡散光源とみなして被写体の光輝感を計測する方法を説明した。第２実施形態では、有限の大きさを有する点光源を第１の照明部２０２として用いる場合について説明する。なお、第１の実施形態と同様の構成については、同一の記号を付し、詳細な説明を省略する。第２実施形態では、ステップＳ４０７における輝点確率算出処理が第１実施形態と異なっている。図１４は、第２実施形態に適用可能な輝点確率算出３１２が実行する処理のフローチャートである。

ステップＳ１４０１において輝点確率算出部３１２は、第１の照明部２０２として用いる点光源の光の大きさを示す情報を入力する。第２実施形態では、図１５に示すようにＸＹ平面に平行な半径ｒの円状の光源を点光源として用いているものとする。輝点確率算出部３１２は、入力した点光源の大きさを示す情報を所定の記憶領域に記憶する。ステップＳ１４０２において輝点確率算出部３１２は、プレ撮像画像を構成する各画素について、点光源から照射された光が被写体上１０１で正反射方向に反射した正反射光が撮像される面法線範囲を算出する。具体的には、余弦定理により以下の式（９）用いて、面法線範囲Δθ_Ｓを算出する。

Ｌ_１−，Ｌ_１＋は、図１５に示すＸＹ平面に垂直かつ画素ｋの三次元座標Ｗ_ｋと光源中心位置Ｌ_１を通る平面αと半径ｒの円状の点光源Ｌ_１との交点である。従って、点Ｗｋ−点Ｌ_１−，点Ｗｋ−点Ｌ_１＋間の距離｜Ｗ_ｋＬ_１−，｜，｜Ｗ_ｋＬ_１＋｜は以下の式（１０）、（１１）により算出できる。

Ｗ_ｋｘ，Ｗ_ｋｙは画素ｋの三次元座標Ｗ_ｋのＸ座標、Ｙ座標である。式（９）〜（１１）を用いて、図１６に示す面法線範囲Δθ_Ｓを算出する。面法線範囲Δθ_Ｓは、８ｂｉｔのグレースケールで表される画像である。面法線範囲において、点光源から照射される光の正反射光が、撮像部２０１に写り込む面法線範囲が大きくなる光源位置Ｌ_１近傍で画素値が大きくなる画像となっている。輝点確率算出部３１２は、算出した正反射が生じる面法線範囲Δθ_Ｓを所定の記憶領域に記憶する。

ステップＳ１４０３において輝点確率算出部３１２は、面法線範囲Δθ_Ｓに対してステップＳ４０６で仰角θを分割した所定の角度範囲Δθより小さい領域を、輝点確率算出に用いる領域として算出する。本実施形態では、図１７に示す光源位置Ｌ_１から離れた領域でΔθＳ＜Δθを満たし、輝点確率算出に用いる領域として算出されている。算出した領域は所定の記憶領域に記憶する。以上の通り、有限の大きさを有する点光源が照射した被写体をプレ撮像する際に、光源の大きさにより輝点面積率の算出精度が低下する領域を除外する。これにより、適切に被写体の輝点を計測できる幾何条件を高精度に算出することができる。本実施例では、半径ｒの円状の面光源を有限の大きさを有する点光源として用いたが、四角形や球状の光源でも良く、特に光源の形状や大きさを限定するものではない。

＜その他の実施形態＞
上述の実施形態では、画像処理部２１５の各構成をＣＰＵにより実行されるソフトウェア処理を例に説明したが、処理部の一部またはすべての専用の処理回路によってハードウェア化することもできる。

３０６ プレ撮像画像入力部
３１０ 面法線幾何条件算出部
３１１ 領域分割部
３１２ 輝点確率算出部
３１３ 幾何条件決定部
３１４ 撮像画像入力部
３１５ 輝点特徴量算出部

Claims (8)

1. 被写体の輝点からなる光輝感を計測する計測装置のための画像処理装置であって、
   第１の光源が照射した被写体を撮像することにより得られる第１の撮像画像を入力する第１の画像入力手段と、
   前記第１の撮像画像における各画素について、輝点となる場合の面法線を算出して面法線画像を算出する面法線算出手段と、
   前記撮像画像を、所定の角度範囲ごとの複数の領域に分割する分割手段と、
   前記第１の撮像画像を量子化することにより輝点を表す輝点画像を生成し、前記撮像画像および前記輝点画像に基づいて、前記領域ごとに、該領域の総面積に対する該領域に含まれる輝点の総面積の比率を算出し、前記領域ごとの比率を用いて、前記所定の角度範囲に対応する輝点確率を算出する輝点確率算出手段と、
   前記輝点確率に基づいて、前記第１の光源よりも指向性が強い配光特性を有する第２の光源が照明した前記被写体を撮像した場合に、得られる撮像画像において輝点それぞれが分離可能となる前記第２の光源の幾何条件を決定する幾何条件決定手段と、を有することを特徴とする画像処理装置。
2. 前記幾何条件決定手段が決定した前記幾何条件に基づいて配置された前記第２の光源が照明した前記被写体を撮像することにより得られた第２の撮像画像を入力する第２の入力手段と、
   前記第２の撮像画像に基づいて、前記被写体の光輝感の特徴を示す輝点特徴量を算出する特徴量算出手段と、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の光源は、点光源であり、前記第２の光源は、平行光源であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記幾何条件決定手段は、各輝点の８連接近傍で同じ面法線を有する輝点が存在する確率が所定の閾値以下となる面法線ｎの仰角θの範囲を算出することにより、前記幾何条件を決定することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 前記輝点確率算出手段は、前記被写体における面法線の分布を表すベックマン分布モデルを用いて、前記輝点確率を算出することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至５の何れか一項に記載された画像処理装置として機能させることを特徴とするプログラム。
7. 請求項１乃至４の何れか一項に記載の画像処理装置と、
   被写体を所定の位置から撮像する撮像部、
   第１の光源および、前記第１の光源とは異なる第２の光源とを有する計測装置。
8. 被写体の輝点からなる光輝感を計測する計測装置のための画像処理方法であって、
   第１の光源が照射した被写体を撮像することにより得られる第１の撮像画像を入力し、
   前記第１の撮像画像における各画素について、輝点となる場合の面法線を算出して面法線画像を算出し、
   前記撮像画像を、所定の角度範囲ごとの複数の領域に分割し、
   前記第１の撮像画像を量子化することにより輝点を表す輝点画像を生成し、前記撮像画像および前記輝点画像に基づいて、前記領域ごとに、該領域の総面積に対する該領域に含まれる輝点の総面積の比率を算出し、前記領域ごとの比率を用いて、前記所定の角度範囲に対応する輝点確率を算出し、
   前記輝点確率に基づいて、前記第１の光源よりも指向性が強い配光特性を有する第２の光源が照明した前記被写体を撮像した場合に、得られる撮像画像において輝点それぞれが分離可能となる前記第２の光源の幾何条件を決定することを特徴とする画像処理方法。