JP7500325B2 - 撮像制御装置、評価システム、撮像制御方法及びプログラム - Google Patents

Description

本発明は、物体の見えを評価するための技術に関する。

従来、物体の見えの評価において、物体の形状や撮像時の照明角度などの条件を考慮した評価を行う技術が知られている。特許文献１は、基準色立体物に対して撮像時の照明条件が関連付けられた複数のプロファイルを作成し、複数のプロファイルから選択したプロファイルを用いて被写体の撮像画像の色変換を行うことを開示している。

特開２０１５－０４６１４２号公報

特許文献１においては、複数の幾何条件それぞれについて基準物を撮像し、撮像により得られた撮像画像を基に色変換に係るプロファイルを複数作成することになる。このため、物体の色評価のために行う撮像および撮像画像に対する処理にかかるコストが高いという課題がある。

本発明は、撮像条件を考慮した対象物の見えの評価を行うための処理にかかるコストを低減するための処理を提供することを目的とする。

上記目的を達成するために本発明の一形態は、対象物体の見えの評価に用いられる色情報を取得するために、評価の基準となる基準物体を撮像する撮像手段を制御する撮像制御装置であって、前記対象物体における評価領域の面の向きに関するデータを取得する第１取得手段と、前記面の向きに関するデータに基づいて、前記評価領域の面の向きと、前記基準物体の面の向きと、の差が所定の閾値未満になるまで前記基準物体を撮像するよう前記撮像手段を制御し、前記差が所定の閾値未満である場合の、前記基準物体の色情報を取得する第２取得手段と、前記基準物体の色情報を、前記対象物体の見えを評価する評価手段に出力する出力手段と、を有することを特徴とする。

本発明によれば、撮像条件を考慮した対象物の見えの評価を行うための処理にかかるコストを低減することができる。

色評価システムの構成を示す図 色評価システムの機能構成を示すブロック図 色評価システムにおける処理を示すフローチャート 物体の三次元形状を算出する方法を説明する図 物体の形状データを生成する処理を示すフローチャート 物体に貼られたマーカーに関する情報を有するメタデータの例を示す図 基準物体の色情報を取得する処理を示すフローチャート 物体の色評価を行う位置を指定するためのＵＩの例を示す図 基準板の三次元形状を算出する方法を説明する図 色評価システムの機能構成を示すブロック図 色評価システムにおける処理を示すフローチャート 物体のＣＡＤデータの例を説明する図 色評価システムの機能構成を示すブロック図 色評価システムにおける処理を示すフローチャート 基準板を撮像するための処理を示すフローチャート 基準板の三次元形状を算出する方法を説明する図 色評価システムの機能構成を示すブロック図 色評価システムにおける処理を示すフローチャート 基準板を撮像するための処理を示すフローチャート ＵＩの表示例を示す図 色評価システムの機能構成を示すブロック図 色評価システムにおける処理を示すフローチャート 基準板を撮像するための処理を示すフローチャート 基準板撮像画像データ保持部が保持するテーブルの例を示す図 色評価システムの機能構成を示すブロック図 色評価システムにおける処理を示すフローチャート 物体と基準板とを同じ画角内で撮像する様子を説明する図 物体のマーカー領域を指定するＵＩの例を示す図

以下、図面を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態は、本発明を限定するものではない。また、本実施形態において説明されている特徴の組み合わせの総てが本発明の課題の解決に必須のものとは限らない。

［第１実施形態］
第１実施形態は、対象物体の撮像時と同じ撮像条件（照明、撮像装置と対象物体との位置関係など）で得られる基準板の面の向きと対象物体の面の向きとの差が所定の閾値未満になった場合に基準板の撮像画像を取得する。そして、取得した撮像画像に基づいて対象物体の色評価を行う。なお、本実施形態で得られる色評価は、例えば、撮像装置のキャリブレーションや撮像対象物の色調整に用いられる。

＜色評価システムの構成＞
図１（ａ）は、第１実施形態に係る色評価システムの構成を示す図である。本実施形態の色評価システムは、撮像制御装置１と、撮像装置２と、色評価装置３と、を有して構成される。

撮像装置２は、レンズとＣＭＯＳなどのエリアセンサを備え、撮像した画像に基づき、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各８ビット、計２４ビットの色値を画素ごとに有する画像データを生成する。なお、撮像装置２は、撮像対象物の色情報の２次元分布を取得できるカメラであればどのようなものであってもよく、色数やビット深度、画素数などは上述した形態に限定されない。光源５は、物体４に光を照射する。

図１（ｂ）は、撮像制御装置１のハードウェア構成を示すブロック図である。撮像制御装置１は、例えばコンピュータであり、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、汎用Ｉ／Ｆ（インターフェース）１０４、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０５、ＶＣ（ビデオカード）１０６を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１７などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０７を介して各構成要素を制御する。なお、図３などで後述するフローチャートに示す処理は、ＲＯＭ１０２やＨＤＤ１７などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。汎用Ｉ／Ｆ１０４には、シリアルバス１２を介して、マウスやキーボードなどの入力デバイス１３やプリンタ１４が接続される。ＳＡＴＡ Ｉ／Ｆ１０５には、シリアルバス１６を介して、ＨＤＤ１７や各種記録メディアの読み書きを行う汎用ドライブ１８が接続される。ＣＰＵ１０１は、ＨＤＤ１７や汎用ドライブ１８にマウントされた各種記録メディアを、各種データの格納場所として使用する。ＶＣ１０６には、ディスプレイ１５が接続される。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ１５に表示し（すなわち、表示制御を行い）、入力デバイス１３を介して得られたユーザの指示を表す入力情報を受信する。

色評価装置３は、撮像制御装置１と同様の構成を有し、ＣＰＵ、ＲＡＭ、ＲＯＭ、汎用Ｉ／Ｆ、ＳＡＴＡ Ｉ／Ｆ、ビデオカードを有して構成される。

なお、以上説明した撮像制御装置１と色評価装置３を１つの装置として構成することもでき、そのような装置が色評価システムあるいは色評価装置を構成する。

＜色評価システムの機能構成＞
図２は、第１実施形態に係る色評価システムを構成する、主に機能要素を示すブロック図である。本実施形態の色評価システムは、図１（ａ）でそれぞれ上述した、撮像制御装置１と色評価装置３を有して構成される。撮像制御装置１による機能要素は、撮像画像データ取得部２０１、形状データ生成部２０２、および撮像制御部２０３であり、色評価装置３による機能要素は、色評価部３０１および評価結果表示部３０２である。

撮像画像データ取得部２０１は、撮像装置２で撮像された、色評価の対象となる物体４の撮像画像データを取得する。形状データ生成部２０２は、撮像画像データ取得部２０１で取得した物体４の撮像画像データに基づいて、物体４の三次元形状を表す形状データを算出する。撮像制御部２０３は、形状データ生成部２０２で算出された形状データに基づいて、撮像装置２を制御して基準物体を撮像するようにし、撮像画像データ取得部２０１を介して基準物体の撮像画像データを取得する。本実施形態における基準物体は、物体４と同じ素材の基準板である。

色評価部３０１は、撮像装置２で撮像された物体４の撮像画像データと、撮像制御部２０３で撮像装置２を制御して取得した基準物体の撮像画像データと、に基づいて、物体４の表面の色を評価する。評価結果表示部３０２は、色評価部３０１による色の評価結果をディスプレイ１５に表示する。すなわち、評価結果の表示制御を行う。

＜色評価システムにおける処理＞
図３は、第１実施形態に係る色評価システムで実行される処理を示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表し、「ステップ」の記載は省略する。その他のフローチャートについても同様である。

最初にＳ２１０で、撮像画像データ取得部２０１は撮像装置２が物体４を撮像して得られた撮像画像データを取得する。そして、Ｓ２２０で、形状データ生成部２０２は、撮像画像データ取得部２０１で取得した撮像画像データに基づき、物体４の三次元形状を表す形状データを生成する。このＳ２２０における処理の詳細は図４、図５（ａ）および（ｂ）、図６（ａ）および（ｂ）にて後述する。

次にＳ２３０で、撮像制御部２０３は、基準物体の色情報を取得する。具体的には、撮像制御部２０３は、撮像装置２を制御して基準物体を撮像し、その撮像で得られた撮像画像データから形状データ生成部２０２によって生成された基準物体の形状データを取得する。そして撮像制御部２０３は、物体４および基準物体の形状データに基づいて、物体４の色評価を行いたい位置（評価領域）の面の向きと基準板の面の向きとの差が所定の閾値未満となるまで撮像装置２に基準物体を撮像させる。撮像制御部２０３は、面の向きの差が閾値未満となった場合に撮像装置２に撮像を止めさせ、面の向きの差が閾値未満となった場合の基準物体の撮像画像データ（色情報）を取得する。この撮像では、Ｓ２１０で撮像画像データを取得したときと同じ撮像条件下で撮像する。Ｓ２３０における処理の詳細は図７、図８および図９にて後述する。

さらにＳ２４０で、色評価部３０１は、物体４の撮像画像データと、撮像制御部２０３によって取得した基準物体の撮像画像データと、に基づいて、物体４の表面の色を評価する。この評価は、その詳細が後述されるように、両データの色差などを求めそれを評価値とするものである。

最後にＳ２５０で、評価結果表示部３０２は、色評価部３０１における色の評価結果をディスプレイ１５に表示する。

＜Ｓ２２０の処理：形状データ生成＞
この処理によって物体４の三次元形状を表す形状データを生成する。図４は、第１実施形態に係る、物体４の三次元形状を算出する方法を説明する図である。図４に示すように、色評価の対象となる物体４にはマーカー６が貼り付けられている。マーカー６はパターン領域４１と評価領域４２とが設けられている。評価領域４２は、マーカー６において切り抜かれた領域である。そのため、マーカー６を物体４に貼り付けると評価領域４２の部分で物体４の表面が露出する。この領域によって物体４の表面の色の評価を行うことができる。Ｓ２２０では、マーカー６が貼り付けられた物体４を撮像することによって得られた撮像画像データを用いて物体４の三次元形状を算出する。

図５（ａ）および（ｂ）は、第１実施形態に係る、色評価の対象となる物体４の形状データを生成する処理を示すフローチャートである。このうち、図５（ｂ）は、図５（ａ）に示すＳ２２４の処理の詳細を示すフローチャートである。

図５（ａ）において、先ず、Ｓ２２１で、形状データ生成部２０２は、撮像画像データ取得部２０１が取得した撮像画像データを読み込む。次に、Ｓ２２２で、形状データ生成部２０２は、マーカー６についての情報を有するメタデータを読み込む。

図６は、このメタデータの例を示す図である。図６の左側は、メタデータとして記録される内容を示している。領域６０１は、マーカー６を平面に展開したとき、つまり図６の紙面上における、パターン領域４１の中心点の三次元座標（Ｘ，Ｙ，Ｚ）が記録された領域である。図に示す例は、パターン領域４１－１１の座標が（０．０，０．０，０．０）、パターン領域４１－１２の座標値が（１０．０，０．０，０．０）、パターン領域４１－１３の座標値が（２０．０，０．０，０．０）、・・・であることを示している。また、図に示す例は、パターン領域４１－１１～パターン領域４１－２６の１２行にわたって座標（Ｘ，Ｙ，Ｚ）が記録されている。上記説明から分かるように、これらの座標は、左上のパターン領域４１－１１の中心点を原点（０．０，０．０，０．０）とした場合の、原点との相対的な位置が記録されている。領域６０２は、マーカー６の画像における各パターン領域４１の中心点の２次元座標（ｕ，ｖ）が記録されている。図に示す例は、パターン領域４１－１１の座標値が（１００，１００）、パターン領域４１－１２の座標が（２００，１００）、パターン領域４１－１３の座標が（３００，１００）、・・・であることを示している。また、図に示す例は、パターン領域４１－１１～４１－２６の１２行にわたって座標（ｕ，ｖ）が記録されている。上記説明から分かるように、２次元座標（ｕ，ｖ）は、マーカー画像の画素単位の２次元座標が１２行にわたって記録されている。領域６０３は、ポリゴン情報が記録された領域である。図に示す例のポリゴンは、４つのパターン領域４１－１ｋ、４１－２ｋ、４１－２ｋ＋１、４１－１ｋ＋１の各中心点を頂点として有する矩形である。そして、ポリゴン情報は、矩形を構成する各頂点の情報である。具体的に、ポリゴン情報は、各行に、反時計まわりに矩形の外周を回る順で４頂点分の、領域６０１の行の番号及び領域６０２の行番号が記録された情報である。例えば、頂点４１－１１、４１－２１、４１－２２、４１－１２の矩形の場合、頂点４１－１１は領域６０１で１行目、領域６０２で１行目、頂点４１－２１は領域６０１で７行目、領域６０２で７行目、にそれぞれ記録される。また、頂点４１－２２は領域６０１で８行目、領域６０２で８行目、頂点４１－１２は領域６０１で２行目、領域６０２で２行目、にそれぞれ記録される。これにより、この矩形は、１／１、７／７、８／８、２／２、と記録される。

再び図５（ａ）を参照すると、次のＳ２２３において、形状データ生成部２０２は、物体４を撮像して得られる画像データに基づいて、各パターン領域４１の中心座標を算出する。具体的には、撮像画像データの画素値を２値化する。この２値化処理では、所定の閾値以上の画素値を有する画素を白、所定の閾値未満の画素値を有する画素を黒とする。２値化処理後の撮像画像において公知のキャニー法を用いてエッジ位置を抽出し、８つの近傍画素にエッジ位置がある画素を同一の輪郭とみなしてグループ化し輪郭抽出を行う。抽出した複数の輪郭グループの中から、円または楕円となる輪郭の候補を挙げる。そして、輪郭の候補として挙げられた円または楕円の輪郭によって囲まれる面積を算出し、算出した各輪郭の面積と予め設定されたパターン領域４１の複数の輪郭を抽出し、各輪郭の中心座標値を算出する。また、各輪郭の中心座標値の相対的な位置関係が、領域６０２に記載されている座標の相対的な位置関係と一致するように各輪郭の中心座標をソートする。これにより、領域６０３で定義される矩形と、矩形に対応するパターン領域４１の中心座標と、の対応をとることができる。

次に、Ｓ２２４において、形状データ生成部２０２は、各パターン領域４１の中心座標に基づいて、物体４の表面における法線ベクトルを算出し、算出した法線ベクトルを表す形状データを生成する。

図５（ｂ）は、Ｓ２２４の形状データ生成処理を示すフローチャートである。

先ず、Ｓ２２４１で、形状データ生成部２０２は、メタデータから矩形の頂点の三次元座標値（Ｘ，Ｙ，Ｚ）を読み込む。具体的には、メタデータにおいて、領域６０３に示したポリゴン情報から一行分を読み取り、ポリゴン情報が示す矩形の各頂点に対応する各座標値を領域６０１から読み取る。次に、Ｓ２２４２で、形状データ生成部２０２は、Ｓ２２３で撮像画像データから算出したパターン領域４１の中心座標を、Ｓ２２４１で読み取った矩形の各頂点に対応する座標値として読み取る。パターン領域４１の中心座標の順は、Ｓ２２３において、領域６０２に記録されている座標値の順と一致するようにソートされている。そのため、Ｓ２２４２においては、Ｓ２２４１と同様に領域６０３に記録されている頂点の番号に対応する中心座標を抽出すればよい。

次にＳ２２４３において、形状データ生成部２０２は、下記式（１）において示す、係数ｒ₁₁～ｒ₃₃からなる回転行列Ｒと、係数ｔ₁～ｔ₃からなる並進ベクトルｔとを推定する。この処理により、矩形の平面に対する撮像装置２の位置および姿勢を算出することができる。

ここで、ｆ_x、ｆ_yは、撮像装置２の位置を原点とする三次元空間におけるｘ方向及びｙ方向の撮像装置２の焦点距離である。ｃ_x、ｃ_zはｘ方向及びｚ方向の撮像装置２の主点位置である。ｆ_x、ｆ_y、ｃ_x、ｃ_zは、予め決められた値としてＨＤＤ１７おいて保持されている。また、式（１）における座標（ｕ，ｖ）は、Ｓ２２４２で読み取った撮像画像におけるパターン領域４１の中心座標である。式（１）における座標（Ｘ，Ｙ，Ｚ）は、座標（ｕ，ｖ）に対応する、Ｓ２２４１で読み取ったメタデータに記録されている三次元座標である。ｓはスケーリングファクターであり、式（１）の右辺の計算によって得られる三次元ベクトルの３行目の要素が１となるように、その逆数を取った値である。以上の座標（ｕ，ｖ）および座標（ｕ，ｖ）に対応する座標（Ｘ，Ｙ，Ｚ）の３組以上を用いて回転行列及び並進ベクトルを推定する。

次に、Ｓ２２４４において、形状データ生成部２０２は、撮像装置２の位置を原点とする矩形の各頂点の三次元座標（ｘ，ｙ，ｚ）と、各頂点を含む平面に対する法線ベクトルとを算出する。まず、下記式（２）において、各頂点の三次元座標（ｘ，ｙ，ｚ）を算出する。

ここで、ＲはＳ２２４３で算出した回転行列であり、ｔはＳ２２４３で算出した並進ベクトルである。座標（Ｘ，Ｙ，Ｚ）は、Ｓ２２４１で読み取ったメタデータにおける各頂点の三次元座標である。次に、形状データ生成部２０２は、矩形における１つの頂点の座標（ｘ，ｙ，ｚ）を原点として、他の２つの頂点の座標（ｘ，ｙ，ｚ）のベクトルを算出する。そして、算出した２つのベクトルの外積としてのベクトルが示す方向の単位ベクトルを、矩形の表面に対する法線ベクトルとして算出する。なお、各頂点の座標（Ｘ，Ｙ，Ｚ）のＺ値が同じ場合は、回転行列Ｒの３列目のｒ₁₃、ｒ₂₃、ｒ₃₃を成分とする単位ベクトルを法線ベクトルとしてもよい。

形状データ生成部２０２は、上述したＳ２２４１～Ｓ２２４４の処理を総ての矩形領域に対して行い、撮像装置２の位置を原点とする各矩形の頂点の三次元座標（ｘ，ｙ，ｚ）を取得する。得られた座標は、物体４が曲面であっても、各矩形が平面とみなせる間隔で頂点が配置されている場合であれば、物体４の三次元座標値であるとみなすことができる。

Ｓ２２４５において、形状データ生成部２０２は、パターン領域４１の中心の三次元座標（ｘ，ｙ，ｚ）を決定する。上記Ｓ２２４１～Ｓ２２４４の処理によって算出した各矩形の頂点に対応するパターン領域４１は、図６に示すように隣接する矩形間で重複している。一方で、回転行列Ｒ、並進ベクトルｔが矩形ごとに異なるため、パターン領域４１が重複する複数の頂点に対して、頂点が属する矩形ごとに異なる頂点座標が得られている。そこで、Ｓ２２４５では、形状データ生成部２０２は、重複のために複数得られた頂点座標から、それらに対応する１つのパターン領域４１に対して１つの三次元座標（ｘ，ｙ，ｚ）を再計算する。具体的には、まず、各矩形において、隣接する矩形と対応するパターン領域４１が重複する頂点を含み、矩形の法線ベクトルを法線とする平面を算出する。次に、重複していない頂点の座標と撮像装置２の位置である原点とを通る直線を算出し、その直線と算出した平面との交点を新たな重複しない頂点の座標とする。このように座標を再計算することによって、各矩形の法線ベクトルを維持することが可能となる。なお、重複する頂点の座標（ｘ，ｙ，ｚ）の平均値を、対応するパターン領域４１の中心の三次元座標値としてもよい。

Ｓ２２４６において、形状データ生成部２０２は、矩形ごとに算出した法線ベクトルを、各画素について記録した形状データを生成する。ここでは、矩形内はすべて同じ法線ベクトルであるとして、各画素に法線ベクトル（ｎ_x，ｎ_y，ｎ_z）を記録する。なお、本実施形態における色の評価は評価領域４２に対して行われるため、形状データが表す法線ベクトルは、評価領域４２における画素にのみ記録されていればよい。

＜Ｓ２３０の処理：基準物体の色情報を取得＞
Ｓ２３０（図３）では、撮像制御部２０３は、形状データ生成部２０２によって生成された物体４の形状データに基づいて物体４において色評価を行いたい位置を特定し、その位置に対応する基準物体の色情報を取得する。そして、この色情報に基づいて物体４の色評価を行う。詳しくは、Ｓ２１０で物体４の撮像画像データを取得したときと同じ撮像条件下で基準物体の撮像を行う。このとき、物体４の形状データにおいて色評価を行いたい位置が指定されている。その後、撮像装置２は基準物体を所定の時間間隔で撮像し、指定されている位置の物体４の面の向きと、基準物体の面の向きの差が所定の閾値未満になった場合にのみ、その時の撮像画像データをメモリに保持する。撮像の間、基準物体は、人またはロボットアームなどにより面の向きが様々に変化されている。

図７は、Ｓ２３０の基準物体の色情報を取得する処理を示すフローチャートである。

先ずＳ２３１において、撮像制御部２０３は、物体４の形状データにおいて物体４の色評価を行いたい画素位置（ｕ_c，ｖ_c）の法線（ｎ_cx，ｎ_cy，ｎ_cz）を取得する。画素位置（ｕ_c，ｖ_c）の指定は、図８に示すＵＩを介したユーザの指示入力に基づいた値を用いてもよいし、予め決められた値を用いてもよい。図８に示すＵＩは一例であり、図８において画素位置（ｕ_c，ｖ_c）８１をポインタ８２によって指定する。法線（ｎ_cx，ｎ_cy，ｎ_cz）は、形状データ生成部２０２で生成された物体４の形状データから画素位置（ｕ_c，ｖ_c）に対応する法線として取得する。

Ｓ２３２では、撮像制御部２０３は撮像装置２によって基準板７を撮像するよう制御する。そして、Ｓ２３３で、撮像制御部２０３は、Ｓ２３２で撮像して得られた撮像画像データから撮像画像データ取得部２０１、形状データ生成部２０２を介して基準板７の形状データを取得し、基準板７の法線（ｎ_bx，ｎ_by，ｎ_bz）を算出する。

この法線算出では、先ず、形状データ生成部２０２が、Ｓ２３２で撮像して得られた基準板７の撮像画像データに基づき基準板７の三次元形状を算出する。図９は、第１実施形態に係る基準板７の三次元形状を算出する方法を説明する図である。図９において、基準板７には、物体４の形状データを得るときと同様、マーカー６が貼り付けられている。マーカー６にはパターン領域４１と評価領域４２とが設けられている。評価領域４２はマーカー６において切り抜かれた領域である。マーカー６を用いた基準板７の三次元形状の算出は、物体４の三次元形状を算出するＳ２２０（図３）の処理と同様に形状データ生成部２０２が行い、各画素について法線が規定されている基準板７の形状データを生成する。本実施形態では、撮像制御部２０３は、形状データ生成部２０２で生成された基準板７の形状データを取得し、その形状データに基づき算出された評価領域４２における画素ごとの法線の平均を基準板７の法線（ｎ_bx，ｎ_by，ｎ_bz）とする。

図７を再び参照すると、次にＳ２３４で、撮像制御部２０３は、Ｓ２３１で取得した物体４の法線（ｎ_cx，ｎ_cy，ｎ_cz）と、Ｓ２３３で算出した基準板７の法線（ｎ_bx，ｎ_by，ｎ_bz）を比較する。そして、比較の結果である差が所定の閾値Ｔ未満であった場合Ｓ２３５を実行し、差が閾値以上の場合Ｓ２３２へ戻り、基準板７の面の向きを変えてそれ以降の処理を繰り返す。

Ｓ２３４において、物体４の法線（ｎ_cx，ｎ_cy，ｎ_cz）と、基準板７の法線（ｎ_bx，ｎ_by，ｎ_bz）の差は２つのベクトル間の角度差として式（３）を用いて算出する。

ここでｄｏｔ（・，・）はベクトル間の内積を表す。閾値Ｔはあらかじめ決められた値でも良いし、別途ユーザから指定したものでも良い。本実施形態では、閾値Ｔ＝１度として処理を行う。

Ｓ２３５では、撮像制御部２０３は、以上のようにして取得される基準板７の撮像画像データをメモリに保持する。この撮像画像データには、基準板７の画素ごとに色情報が含まれている。

＜Ｓ２４０の処理：色評価＞
Ｓ２４０では、色評価部３０１が、物体４の撮像画像データにおける評価位置（ｕ_c，ｖ_c）に対応する位置の各画素の色情報と、その評価位置と同じ法線の向きで撮像された基準板７の色情報と、に基づいて色の評価値を算出する。具体的には、先ず、下記式（４）～式（８）を用いて、ＸＹＺ値をＬ^*ａ^*ｂ^*値を変換する。すなわち、物体４の撮像画像データにおける色情報を（Ｘｃ，Ｙｃ，Ｚｃ）とし、基準板７の色情報を（Ｘｂ，Ｙｂ，Ｚｂ）とし、基準白色のＸＹＺ値を（Ｘｗ，Ｙｗ，Ｚｗ）とする。基準白色のＸＹＺ値には、予め設定されている値を用いる。そして、式（４）～式（８）を用いて（Ｘｃ，Ｙｃ，Ｚｃ）、（Ｘｂ，Ｙｂ，Ｚｂ）をそれぞれ（Ｘ，Ｙ，Ｚ）に代入した場合の、（Ｌ^*ｃ，ａ^*ｃ，ｂ^*ｃ）、（Ｌ^*ｂ，ａ^*ｂ，ｂ^*ｂ）をそれぞれ算出する。

算出した（Ｌ^*ｃ，ａ^*ｃ，ｂ^*ｃ）、（Ｌ^*ｂ，ａ^*ｂ，ｂ^*ｂ）を用いて、色差ΔＥ、明度差ΔＬ^*、Δａ^*、Δｂ^*、彩度差ΔＣのいずれかを評価値として算出する。評価値の算出は、以下の式（９）を用いる。本実施形態では、色差ΔＥを評価値とするように予め設定されているものとする。

なお、上述した色差ΔＥ、明度差ΔＬ^*、Δａ^*、Δｂ^*、彩度差ΔＣを組み合わせた値を評価値としてもよい。また、ディスプレイ１５に評価値の候補を表示させて、評価値をユーザに選択させてもよい。

以上説明したように、本実施形態の色評価システムは、物体の色評価を行いたい位置の法線と、基準板の法線との差が所定の閾値未満になる条件においてのみ撮像画像を取得する。さらに、撮像画像に基づいて物体と基準板の色評価を行う。これにより、予め複数の幾何条件それぞれに対応するプロファイルを作成することなく、幾何条件を考慮した色評価を行うことが可能となる。

［第２実施形態］
上述した第１実施形態では、物体４および基準板７に対してマーカーを貼り付けることでそれぞれの形状データを取得した。しかし、物体４の設計値やＣＡＤデータがある場合には、物体４の形状取得においてマーカーを使用しなくてもよい。第２実施形態では、上記ＣＡＤデータなどによって形状が既知である物体に対し、マーカーを使用せずに形状データを取得し、それに基づいて色評価を行う。以下では、本実施形態と第１実施形態とで異なる部分を主に説明する。

＜色評価システムの機能構成＞
図１０は、第２実施形態に係る色評価システムの機能構成を示すブロック図である。本実施形態の色評価システムは、撮像制御装置１と色評価装置３を有し、撮像制御装置１は、撮像画像データ取得部２０１、形状データ生成部２０２、撮像制御部２０３、ＣＡＤデータ保持部１００１、パターンマッチング部１００２を有する。また、色評価装置３は、色評価部３０１と評価結果表示部３０２を有する。撮像画像データ取得部２０１、形状データ生成部２０２、撮像制御部２０３、色評価部３０１、評価結果表示部３０２は第１実施形態と同様の要素であるためそれらの説明を省略する。

ＣＡＤデータ保持部１００１は、物体４の概略形状を表すＣＡＤデータを保持している。また、パターンマッチング部１００２は、撮像画像データとＣＡＤデータとに基づいてパターンマッチングを行い、物体４の形状データを生成する。

＜色評価システムにおける処理＞
図１１は、第２実施形態に係る色評価システムにおける処理を示すフローチャートである。Ｓ２１０は第１実施形態と同じ処理であるため、その説明を省略する。

Ｓ２１０の後、Ｓ１０２０において、パターンマッチング部１００２は、ＣＡＤデータ保持部１００１から物体４のＣＡＤデータを取得する。図１２は、第２実施形態に係る物体４のＣＡＤデータの例を説明する図である。図１２に示す例では、物体４はＣＡＤデータにおいて複数のポリゴンから構成され、ＣＡＤデータにはポリゴンの各頂点の三次元座標が記録されている。パターンマッチング部１００２は、このＣＡＤデータと撮像画像データとに基づいてパターンマッチングを行い、形状データを生成する。具体的には、まず、ＣＡＤデータに基づいて、物体４を仮想の位置および姿勢で撮像した画像をシミュレートする。撮像画像データが表す撮像画像とシミュレートされた画像との特徴量が一致するか否かを判定する処理を、物体４の仮想の位置および姿勢を変えながら繰り返し行う。そして、特徴量が一致する仮想の位置および姿勢におけるシミュレーション結果に基づいて、物体４の三次元座標と撮像画像の各画素との対応関係を算出する。算出された対応関係に基づいて、撮像画像の各画素に対応する法線ベクトルを算出し、各画素に法線ベクトルが規定された形状データを生成する。法線ベクトルは、ポリゴンの法線を頂点の三次元座標から算出することによって得られる。基準板７の各画素について法線が規定されている形状データは、形状データ生成部２０２により第１実施形態と同じ処理（Ｓ２２０）を行うことにより生成される。

次のＳ２３０、Ｓ２４０、Ｓ２５０は、第１実施形態と同じ処理であるため、それらの説明を省略する。

以上説明したように、本実施形態における撮像制御装置は、ＣＡＤデータに基づいて生成した形状データを用いて物体４の法線を取得し、物体の色の評価を行った。これにより、物体４に対してマーカーを使用することなく、幾何条件を考慮した色評価を行うことができる。

［第３実施形態］
第１実施形態では、物体４及び基準板７にマーカーを張り付けて撮像して得られた撮像画像データを用いて形状データの取得を行った。第２実施形態では、一方の物体４はＣＡＤデータを用いて、他方の基準板７のみにマーカーを張り付けて撮像して得られた撮像画像データを用いて形状データの取得を行った。しかし、基準板７においても、形状が予め既知である場合はマーカーを使用しなくてもよい。第３実施形態は、基準板７の形状が既知である場合に、物体４に対してのみマーカーを使用することで物体４の色評価を行う形態に関する。以下では、本実施形態と、第１実施形態および第２実施形態と異なる部分を主に説明する。

＜色評価システムの機能構成＞
図１３は、第３実施形態に係る色評価システムの機能構成を示すブロック図である。本実施形態の色評価システムは、撮像制御装置１と色評価装置３を有し、撮像制御装置１は、撮像画像データ取得部２０１、形状データ生成部２０２、撮像制御部１３０３、ＣＡＤデータ保持部１００１、パターンマッチング部１００２を有する。また、色評価装置３は、色評価部３０１、評価結果表示部３０２を有する。上記構成は、第２実施形態と同様であるためこれらの説明を省略する。

撮像制御部１３０３は、物体４および基準板７の形状データに基づいて撮像装置２を制御して基準板７を撮像し、撮像画像データ取得部２０１を介して基準板７の撮像画像データを取得する。本実施形態の撮像制御部１３０３は、図１４などで後述されるように、ＣＡＤデータ保持部１００１およびパターンマッチング部１００２からＣＡＤデータに基づく基準板７の三次元形状を算出する。なお、物体４の三次元形状については、撮像制御部１３０３は、第１実施形態と同様に形状データ生成部２０２から取得する。

＜色評価システムにおける処理＞
図１４は、第３実施形態に係る色評価システムにおける処理を示すフローチャートである。Ｓ２１０、Ｓ２２０の処理は第１実施形態と同じ処理であるため、それらの説明を省略する。

Ｓ１３３０では、撮像制御部１３０３は、物体４および基準板７の形状データに基づき、物体４の評価領域の面の向きと基準板の面の向きとの差が所定の閾値未満となるまで撮像装置２に基準物体を撮像させる。撮像制御部１３０３は、面の向きの差が閾値未満となった場合に撮像装置２に撮像を止めさせ、面の向きの差が閾値未満となった場合の基準物体の撮像画像データ（色情報）を取得する。この撮像では、Ｓ２１０で撮像画像データを取得したときと同じ撮像条件下で撮像する。Ｓ１３３０の処理の詳細は図１５にて後述する。

図１４におけるＳ２４０、およびＳ２５０の処理は第１実施形態と同じ処理であるため、これらの説明を省略する。

＜Ｓ１３３０の処理：基準板の色情報を取得＞
図１５は、図１４に示すＳ１３３０の処理の詳細を示すフローチャートである。

Ｓ２３１およびＳ２３２は、第１実施形態と同じ処理であるためそれらの説明を省略する。

Ｓ１３３３では、撮像制御部１３０３は、Ｓ２３２で撮像された撮像画像データから、基準板７の法線（ｎ_bx，ｎ_by，ｎ_bz）を算出する。ここでは、先ず、基準板７の三次元形状を算出する。

図１６は、第３実施形態に係る基準板７の三次元形状を算出する方法を説明する図である。図１６に示すように、基準板７には対応するＣＡＤデータ８がＣＡＤデータ保持部１００１に存在する。パターンマッチング部１００２によるＣＡＤデータ８を用いた基準板７の三次元形状の算出は、物体４の三次元形状をＣＡＤデータから取得する第２実施形態のＳ１０２０と同様の処理である。この処理によって、各画素に法線が規定された基準板７の形状データを生成する。ここでは、生成された評価領域４２における画素ごとの法線の平均を算出し、基準板７の法線（ｎ_bx，ｎ_by，ｎ_bz）とする。

Ｓ２３４、Ｓ２３５の処理は第１実施形態と同じ処理であるためそれらの説明を省略する。

以上説明したように、本実施形態における撮像制御装置は、ＣＡＤデータに基づいて生成した形状データを用いて基準板７の法線を取得し、物体４の色の評価を行う。これにより、基準板７に対してマーカーを使用することなく、幾何条件を考慮した色評価を行うことができる。

［第４実施形態］
第１実施形態、第２実施形態、および第３実施形態では、基準板７の面を動かしながら法線の向きを変化させ、物体４の色評価を行いたい位置の法線との差が閾値未満になった場合に撮像画像を保持し、色評価を行った。しかし、基準板７の面の向きを変化させても、色評価を行いたい物体４の法線と基準板７の法線の差が閾値未満にならない場合もある。第４の実施形態は、基準板７の撮像を行う際に、物体４の色評価を行いたい位置の法線と基準板７の法線を合わせるために、基準板７の面の向きを変化させる方向を示す色評価システムに関する。以下、本実施形態が、第１実施形態、第２実施形態、および第３実施形態とで異なる部分を主に説明する。

＜色評価システムの機能構成＞
図１７は、第４実施形態に係る色評価システムの機能構成を示すブロック図である。本実施形態の色評価システムは、撮像制御装置１と色評価装置３を有し、撮像制御装置１は、撮像画像データ取得部２０１、形状データ生成部２０２、および撮像制御部１７０３を有する。また、色評価装置３は、色評価部３０１、評価結果表示部３０２を有する。

撮像画像データ取得部２０１、形状データ生成部２０２、色評価部３０１、および評価結果表示部３０２は第１実施形態と同じであるためそれらの説明を省略する。

撮像制御部１７０３は、形状データ生成部２０２で導出された形状データに基づいて撮像装置２を制御して基準板７を撮像し、撮像画像データ取得部２０１を介して撮像画像データを取得する。本実施形態の撮像制御部１７０３は、図１８、図１９などで後述されるように、基準板７の動かす向きをＵＩによって示しつつ基準板７の三次元形状を算出する。

＜色評価システムにおける処理＞
図１８は、第４実施形態に係る色評価システムにおける処理を示すフローチャートである。

Ｓ２１０、Ｓ２２０の処理は、第１実施形態と同じ処理であるため、それらの説明を省略する。

Ｓ１７３０では、撮像制御部１７０３は、撮像装置２を制御して基準板７を撮像し、その撮像で得られた撮像画像データから形状データ生成部２０２によって生成された基準板７の形状データを取得する。そして撮像制御部１７０３は、物体４および基準物体の形状データに基づいて、物体４の評価領域の面の向きと基準板の面の向きとの差が所定の閾値未満となるまで撮像装置２に基準物体を撮像させる。撮像制御部１７０３は、面の向きの差が閾値未満となった場合に撮像装置２に撮像を止めさせ、面の向きの差が閾値未満となった場合の基準物体の撮像画像データ（色情報）を取得する。この撮像では、Ｓ２１０で撮像画像データを取得したときと同じ撮像条件下で撮像する。Ｓ１７３０の処理の詳細は図１９にて後述する。

Ｓ２４０、Ｓ２５０の処理は第１実施形態と同じ処理であるため、それらの説明を省略する。

＜Ｓ１７３０の処理：基準板の色情報を取得＞
図１９は、図１８に示すＳ１７３０の処理の詳細を示すフローチャートである。

図１９において、Ｓ２３１、Ｓ２３２、Ｓ２３３、Ｓ２３４、およびＳ２３５の処理は、第１実施形態と同じ処理であるためそれらの説明を省略する。

Ｓ１７３６で撮像制御部１７０３は、Ｓ２３１で取得した物体４の法線（ｎ_cx，ｎ_cy，ｎ_cz）とＳ２３３で生成した基準板７の法線（ｎ_bx，ｎ_by，ｎ_bz）の角度の差が閾値Ｔ以上の場合に、基準板７の動かす向きをＵＩに表示してユーザに提示する。これにより、基準板７と物体４の法線との上記差を小さくする。具体的には、球面座標系における天頂角θと、方位角φにおける、物体４の法線（ｎ_cx，ｎ_cy，ｎ_cz）と基準板７の法線（ｎ_bx，ｎ_by，ｎ_bz）の角度の差を計算し、ＵＩに天頂角θ、および方位角φ方向における差を表示する。すなわち、物体４の法線（ｎ_cx，ｎ_cy，ｎ_cz）と基準板７の法線（ｎ_bx，ｎ_by，ｎ_bz）を、下記式（１０）を用いて球面座標系における天頂角θと方角φでの表現に変換する。

ここで、Ｔａｎ^-1（ｘ，ｙ）はｙ／ｘの逆正接を［－π，π］の範囲で返す関数である。また、球面座標系における物体４の法線と基準板７の法線の天頂角差θ_dと方位角差φ_dは、下記式（１１）を用いて求めることができる。

この天頂角差θ_d、および方位角差φ_dをＵＩにて表示し、基準板７の動かす向きをユーザに提示する。図２０は、第４実施形態に係るＵＩの表示例を示す図である。同図に示すように、撮像している基準板７に対して天頂角方向及び方位角方向の差を数値及び矢印で表示する。

以上説明したように、本実施形態における撮像制御装置は、基準板７を動かす向きをユーザに提示することで、物体４と同じ幾何条件となる基準板７の撮像を行う。これにより、物体４と同じ幾何条件となる基準板７の撮像画像データの取得を短時間で行うことができる。

［第５実施形態］
第１実施形態、第２実施形態、第３実施形態、および第４実施形態では、指定された位置に対する色評価を行うものである。これに対し、第５実施形態は、位置を指定するのではなく、評価領域全体に対して色評価を行う形態に関するものである。以下、本実施形態が、第１実施形態、第２実施形態、第３実施形態、および第４実施形態とで異なる部分を主に説明する。

＜色評価システムの機能構成＞
図２１は、第５実施形態に係る色評価システムの機能構成を示すブロック図である。本実施形態の色評価システムは、撮像制御装置１と色評価装置３を有し、撮像制御装置１は、撮像画像データ取得部２０１、形状データ生成部２０２、撮像制御部２１０３、基準板撮像画像データ保持部２１０４を有する。また、色評価装置３は、色評価部２１０５、評価結果表示部３０２を有する。撮像データ取得部２０１、形状データ生成部２０２、および評価結果表示部３０２は、第１実施形態における各部と同じであるためそれらの説明を省略する。

撮像制御部２１０３は、物体４および基準板７の形状データに基づいて撮像装置２を制御して基準板７の撮像を行い、撮像画像データ取得部２０１を介して基準板７の撮像画像データを取得する。基準板撮像画像データ保持部２１０４は、この撮像した基準板７の画像データを保持する。色評価部２１０５は、撮像装置２で撮像された物体４の撮像画像データと、撮像制御部２１０３によって作成された、基準板撮像画像データ保持部２１０４が保持する基準板７の撮像画像データに基づいて、物体４の表面の色を評価する。

＜色評価システムにおける処理＞
図２２は、第５実施形態に係る色評価システムにおける処理を示すフローチャートである。Ｓ２１０、Ｓ２２０、Ｓ２５０の処理は第１実施形態のものと同じ処理であるため、それらの説明を省略する。

Ｓ２１３０で、撮像制御部２１０３は、基準板７の色情報を取得する。具体的には、撮像制御部２１０３は、物体４および基準板７の形状データに基づき、物体４の評価領域の面の向きと基準板の面の向きとの差が所定の閾値未満となるまで撮像装置２に基準物体を撮像させる。撮像制御部２１０３は、面の向きの差が閾値未満となった場合に撮像装置２に撮像を止めさせ、面の向きの差が閾値未満となった場合の基準物体の撮像画像データ（色情報）を取得する。この撮像では、Ｓ２１０で撮像画像データを取得したときと同じ撮像条件下で撮像する。そして、基準板撮像画像データ保持部２１０４は、この撮像された基準板７の撮像画像データを保持する。Ｓ２１３０における処理の詳細は図２３にて後述する。

Ｓ２１４０で、色評価部２１０５は、撮像装置２で撮像された物体４の撮像画像データと、撮像制御部２１０３で撮像装置２を制御して取得し、基準板撮像画像データ保持部２１０４が保持する基準板７の撮像画像データとに基づき、物体４の表面の色を評価する。Ｓ２１４０における処理の詳細は後述する。

＜Ｓ２１３０の処理：基準板の色情報を取得＞
図２３は、図２２に示すＳ２１３０の処理を示すフローチャートである。

Ｓ２１３１において、撮像制御部２１０３は、形状データ生成部２０２によって導出した物体４の形状データを取得する。Ｓ２３２、Ｓ２３３の処理は第１実施形態のものと同じ処理であるためそれらの説明を省略する。

次に、Ｓ２１３４において、撮像制御部２１０３は、Ｓ２３３で取得した基準板７の法線（ｎ_bx，ｎ_by，ｎ_bz）と、物体４の形状データとを比較し、法線間の差が閾値未満の場合はＳ２１３５に進み、閾値以上の場合はＳ２３２に進む。ここで、物体４の形状データは画素ごとにその法線を保持しているが、総ての画素の法線について、基準板７の法線（ｎ_bx，ｎ_by，ｎ_bz）との差を評価し、閾値未満となる画素が１画素以上ある場合にＳ２１３５に進む。

先ずＳ２１３５で、撮像制御部２１０３は、撮像した基準板７の撮像画像データを基準板撮像画像データ保持部２１０４において保持する。図２４は、第５実施形態に係る基準板撮像画像データ保持部２１０４の例を示す図である。基準板撮像画像データ保持部２１０４は、撮像時の基準板７の法線（ｎ_bx，ｎ_by，ｎ_bz）と撮像画像データ格納先の２つ組をテーブルとして保持している。

Ｓ２１３６では、撮像制御部２１０３は、物体４における評価領域の全領域に対して法線差が閾値未満となる基準板７が基準板撮像画像データ保持部において保持されているかを判定する。そして、保持されている場合は処理を終了、保持されていない場合はＳ２３２に戻りそれ以降の処理を繰り返す。

＜Ｓ２１４０の処理＞
以下において、色評価部２１０５は、物体４の撮像画像データと物体４の形状データと、基準板撮像画像データ保持部２１０４が保持する基準板７の撮像画像データとに基づいて、物体４の表面の色を評価する。具体的には、物体４の全画素のそれぞれに対して、物体４の面の法線と、角度差が閾値Ｔ未満となる法線を持つ基準板７の撮像画像データを基準板撮像画像データ保持部２１０４から取得する。そして、走査画素位置における色情報と基準板７の撮像画像データの色情報に基づいて色の評価値を算出する。色の評価値は、第１実施形態におけるＳ２４０と同様の処理によって算出する。

以上説明したように、本実施形態に係る撮像制御装置は、物体の全領域に対して、物体と同じ面の向きとなる基準板の撮像を行う。これにより、物体の指定した位置のみではなく、全領域において、幾何条件を考慮した色評価を行うことができる。

［第６実施形態］
第１実施形態、第２実施形態、第３実施形態、第４実施形態、および第５実施形態では、物体４と基準板７とを別々に撮像することによる物体４の色評価を行った。これに対し、第６実施形態は、物体４の近傍では照明条件がほぼ同一とみなし、物体４と基準板７とを同じ画角内に設置して撮像する形態に関するものである。以下、本実施形態が、第１実施形態、第２実施形態、第３実施形態、第４実施形態、および第５実施形態とで異なる部分を主に説明する。

＜色評価システムの機能構成＞
図２５は、第６実施形態に係る色評価システムの機能構成を示すブロック図である。本実施形態の色評価システムは、撮像制御装置１と色評価装置３を有し、撮像制御装置１は、撮像画像データ取得部２５０１、形状データ生成部２５０２、撮像制御部２５０３を有し、色評価装置３は色評価部３０１及び評価結果表示部３０２を有する。

撮像画像データ取得部２５０１は、色評価の対象となる物体４に対し色評価の基準となる基準板７を近傍に配置し、撮像装置２でそれら物体４を撮像して得られた撮像画像データを取得する。形状データ生成部２５０２は、撮像画像データ取得２５０１で取得した物体４及び基準板７を撮像して得られた撮像画像データに基づいて、物体４の三次元形状を表す形状データを算出する。撮像制御部２５０３は、物体４および基準板７の形状データに基づいて撮像装置２を制御し、撮像画像データ取得部２０１を介して基準板７の撮像画像データを取得する。

色評価部３０１および評価結果表示部３０２は第１実施形態と同様であるため説明を省略する。

＜色評価システムにおける処理＞
図２６は、第６実施形態に係る色評価システムで実行される処理を示すフローチャートである。

最初にＳ２５１０で、撮像画像データ取得部２５０１は、撮像装置２により、物体４と近傍に配置された基準板７を同じ画角内で撮像して得られた撮像データを取得する。
次にＳ２５２０で、形状データ生成部２５０２は、撮像画像データ取得部２５０１で取得した撮像画像データに対して、物体４および基準板７のそれぞれに対応する画像領域を指定する。Ｓ２５２０における処理の詳細は図２７、図２８を用いて後述する。
Ｓ２５３０で、形状データ生成部２５０２は、Ｓ２５２０で指定された物体４に対応する画像領域内におけるマーカーに基づいて物体４の形状データを生成する。形状データの生成は第１実施形態のＳ２２０と同様であるため説明を省略する。

次にＳ２５４０で、撮像制御部２５０３は、撮像装置２を制御し、その撮像で得られた撮像画像データから形状データ生成部２５０２によって生成された基準板７の形状データを取得する。そして撮像制御部２５０３は、物体４および基準板７の形状データに基づいて、物体４の色評価を行いたい位置と面の向きが一致するまで撮像装置２を制御して物体４の近傍にある基準板７を撮像する。具体的にはＳ２５２０において、形状データ生成部２５０２は指定された物体４の画像領域以外におけるマーカーに基づいて基準板７の形状データを算出する。また、撮像制御部２５０３は、物体４の色評価位置の法線と基準板７の法線の差が閾値以下である場合に撮像装置２により撮像を行う。形状データの算出や撮像装置２の制御方法については第１実施形態のＳ２３０と同様であるため説明を省略する。

Ｓ３１０及びＳ３２０は第１実施形態と同様であるため説明を省略する。

＜Ｓ２５２０の処理：形状データを作成するために用いる画像領域の指定＞
Ｓ２５２０で、形状データ生成部２５０２は、撮像画像データ取得部２５０１で取得した撮像データに対して、物体４に対応する画像領域を指定する。図２７は、第６実施形態に係る物体４及び基準板を７近傍に配置して撮像する様子を示す。色評価の対象となる物体４及び基準板７が近傍に配置され、それぞれにマーカー６が貼り付けられている。マーカー６はパターン領域４１と評価領域４２とが設けられており、評価領域４２によって物体４の表面の色評価を行う。図２７の物体配置で撮像して得られた撮像画像には物体４と基準板７を含むため、物体４の形状データ生成に用いる物体４に対応するマーカーの領域指定が必要となる。図２８に示すのは、Ｓ２５１０で撮像画像データ取得部２５０１が取得した撮像画像データに対して、物体４の三次元形状を算出するための画像領域を指定するＵＩ例である。表示されている撮像画像に対し、物体４のマーカー領域２８０１を指定し、物体４の三次元形状算出に用いる領域とする。同様に、基準板７についても基準板７に対応するマーカーの領域指定を行う。

以上説明したように、本実施形態における撮像制御装置１は、物体４の近傍に配置した基準板７の向きに基づいて物体４の色の評価を行う。これにより、色評価の度に物体４と基準板７との入れ替えを行う必要がなくなり、基準板７を物体４の近傍に配置する単純な撮像構成で色評価を行える。

［変形例］
上述した実施形態においては、マーカーが貼り付けられた物体４と基準板７の少なくとも一方の撮像画像を用いて形状データを取得する例を説明したが、どちらもＣＡＤデータから形状データを取得するようにしてもよい。この場合の構成は、図１０、１３に示す構成から撮像画像から形状データを生成するための形状データ生成部２０２を省き、物体４および基準板７の形状データがパターンマッチング部１００２から出力される構成となる。

また、上述した実施形態においては、物体と基準板の幾何条件を考慮した色評価システムないし色評価装置について説明したが、物体と基準板の幾何条件を合わせた見えの評価が必要となる場合にも上述した実施形態を適用することができる。例えば、基準板と比較した物体のテクスチャ評価など、色評価装置をテクスチャ評価装置に置き換えても良い。ここでは、これらの評価装置を見えの評価装置という。

また、上述した実施形態においては物体４と基準板７の撮像条件として、同じ空間における照明を利用することを想定しているが、他の部屋に同一の照明を設定し、物体４と基準板７を別々の部屋で撮像しても良い。その場合、空間内における物体４と撮像装置２の配置を同一条件にし、あらかじめ撮像装置間の色合わせを行っておけばよい。
また、上述した実施形態における撮像制御部は、物体４の評価領域の面の向きと基準板の面の向きとの差が所定の閾値未満となった場合に撮像装置２に撮像を止めさせたが、面の向きの差が所定の閾値未満となっても撮像を停止しなくてもよい。この場合、面の向きの差が閾値未満となった場合の基準物体の色情報が取得できたことをユーザに通知するために、ディスプレイ１５に表示を行ってもよい。

また、第６実施形態において、物体４の形状算出を行う領域をユーザから指定したが、物体４と基準板７のマーカーに異なる色や形状を用いることにより、自動で物体と基準板７の区別を行えるようにしてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、上述した各処理部のうち、形状データ生成部２０２、色評価部３０１等の処理については、その代わりとして、機械学習された学習済みモデルを代わりに用いて処理しても良い。その場合には、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、上記各部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新しても良い。

例えば、形状データ生成部２０２の場合、その入力は色評価の対象となる物体４の撮像画像データであり、出力は形状データである。機械学習では、入力データとしての物体４の撮像画像データにおける複数の評価領域の法線の分布に対する、実際の物体の形状（例えばＣＡＤデータによる形状）を教師データとして用いることができる。また、色評価部３０１の場合、入力は物体４の撮像画像データにおける色情報と、物体の法線との差が所定閾値未満の法線を持つ基準板７の撮像画像データにおける色情報であり、出力は色評価結果、例えば色差である。この場合、機械学習では、物体４の撮像画像データにおける色情報と基準板７の撮像画像データにおける色情報に対して、実際に測定される色差を教師データとして用いることができる。

１ 撮像制御装置
２０１ 撮像画像データ取得部
２０２ 形状データ生成部
２０３ 撮像制御部
１３０３ 撮像制御部
１７０３ 撮像制御部
２１０３ 撮像制御部
２５０１ 撮像画像データ取得部
２５０２ 形状データ生成部
２５０３ 撮像制御部

Claims (15)

1. 対象物体の見えの評価に用いられる色情報を取得するために、評価の基準となる基準物体を撮像する撮像手段を制御する撮像制御装置であって、
   前記対象物体における評価領域の面の向きに関するデータを取得する第１取得手段と、
   前記面の向きに関するデータに基づいて、前記評価領域の面の向きと、前記基準物体の面の向きと、の差が所定の閾値未満になるまで前記基準物体を撮像するよう前記撮像手段を制御し、前記差が所定の閾値未満である場合の、前記基準物体の色情報を取得する第２取得手段と、
   前記基準物体の前記色情報を、前記対象物体の見えを評価する評価手段に出力する出力手段と、
   を有することを特徴とする撮像制御装置。
2. 前記第２取得手段は、前記評価領域の面の向きと、前記基準物体の面の向きと、の差が前記所定の閾値未満になるまで前記基準物体の撮像と前記面の向きの比較とを含む処理を繰り返し行い、前記差が前記所定の閾値未満になった場合に前記処理を終了することを特徴とする請求項１に記載の撮像制御装置。
3. 前記第１取得手段は、前記対象物体を撮像して得られた画像データおよび前記基準物体を撮像して得られた画像データに基づいて、前記対象物体および前記基準物体の面の向きに関するデータを取得することを特徴とする請求項１又は２に記載の撮像制御装置。
4. 前記第１取得手段は、前記対象物体に対応するＣＡＤデータおよび前記基準物体に対応するＣＡＤデータに基づいて、前記対象物体および前記基準物体の面の向きに関するデータを取得し、
   前記第２取得手段は、前記対象物体に対応するＣＡＤデータに基づき前記面の向きに関するデータに対応する前記対象物体を撮像して得られた画像データを取得することを特徴とする請求項１又は２に記載の撮像制御装置。
5. 前記第１取得手段は、前記対象物体および前記基準物体の一方を撮像して得られた画像データおよび前記対象物体および前記基準物体の他方に対応するＣＡＤデータに基づいて、前記対象物体および前記基準物体の面の向きに関するデータを取得し、
   前記第２取得手段は、前記面の向きに関するデータに対応する前記対象物体および前記基準物体の他方を撮像して得られた画像データを取得することを特徴とする請求項１又は２に記載の撮像制御装置。
6. 前記対象物体と前記基準物体とを同じ画角内に設置して撮像して得られた画像データに対して、前記対象物体に対応する画像領域と、前記基準物体に対応する画像領域とを指定する指定手段、
   をさらに有し、
   前記第１取得手段は、前記対象物体に対応する画像領域を、前記対象物体を撮像して得られた画像データとし、前記基準物体に対応する画像領域を、前記基準物体を撮像して得られた画像データとする
   ことを特徴とする請求項３又は５に記載の撮像制御装置。
7. 前記出力手段は、前記対象物体を撮像して得られた画像データを前記評価手段に出力することを特徴とする請求項１ないし６のいずれか一項に記載の撮像制御装置。
8. 前記対象物体および前記基準物体それぞれを撮像して得られた画像データは、前記対象物体と前記基準物体とを同じ画角内で撮像して得られた画像データであることを特徴とする請求項３ないし７のいずれか一項に記載の撮像制御装置。
9. 前記対象物体および前記基準物体それぞれの面の向きに関するデータは、前記対象物体および前記基準物体それぞれの面の法線を示すデータであることを特徴とする請求項１ないし８のいずれか一項に記載の撮像制御装置。
10. 前記対象物体の面の向きに関するデータと前記基準物体の面の向きに関するデータとを比較し、前記面の向きの差が小さい前記基準物体の面の向きを表示するための表示制御手段をさらに有することを特徴とする請求項１ないし９のいずれか一項に記載の撮像制御装置。
11. 前記第２取得手段は、前記対象物体の面の向きに関するデータと前記基準物体の面の向きに関するデータとの比較を前記対象物体の全領域に対して行い、前記面の向きの差が閾値未満となる場合に、前記基準物体を撮像して得られた画像データを取得することを特徴とする請求項１ないし１０のいずれか一項に記載の撮像制御装置。
12. 物体の見えを評価する評価システムであって、
    評価の対象となる対象物体を撮像して得られた画像データに基づいて、前記対象物体の面の向きに関する第１データを取得する第１取得手段と、
    評価の基準となる基準物体を、前記対象物体の撮像と同じ撮像条件で撮像して得られた画像データに基づいて、前記基準物体の面の向きに関する第２データを取得し、前記第２データが示す前記基準物体の面の向きと前記第１データが示す前記対象物体の面の向きとの差が所定の閾値未満である場合に、前記基準物体を撮像して得られた画像データを保持する第２取得手段と、
    前記保持された基準物体を撮像して得られた画像データに基づいて、前記対象物体の見えを評価する評価手段と、
    を有することを特徴とする評価システム。
13. コンピュータを請求項１ないし１１のいずれか一項に記載の撮像制御装置の各手段として機能させるためのプログラム。
14. 対象物体の見えの評価に用いられる色情報を取得するために、評価の基準となる基準物体を撮像する撮像手段を制御する撮像制御方法であって、
    前記対象物体における評価領域の面の向きに関するデータを取得する第１取得工程と、
    前記面の向きに関するデータに基づいて、前記評価領域の面の向きと、前記基準物体の面の向きと、の差が所定の閾値未満になるまで前記基準物体を撮像するよう前記撮像手段を制御し、前記差が所定の閾値未満である場合の、前記基準物体の色情報を取得する第２取得工程と、
    前記基準物体の前記色情報を、前記対象物体の見えを評価する評価手段に出力する出力工程と、
    を有することを特徴とする撮像制御方法。
15. 物体の見えを評価するための評価方法であって、
    評価の対象となる対象物体を撮像して得られた画像データに基づいて、前記対象物体の面の向きに関する第１データを取得する第１取得工程と、
    評価の基準となる基準物体を、前記対象物体の撮像と同じ撮像条件で撮像して得られた画像データに基づいて、前記基準物体の面の向きに関する第２データを取得し、前記第２データが示す前記基準物体の面の向きと前記第１データが示す前記対象物体の面の向きとの差が所定の閾値未満である場合に、前記基準物体を撮像して得られた画像データを保持する第２取得工程と、
    前記保持された基準物体を撮像して得られた画像データに基づいて、前記対象物体の見えを評価する評価工程と、
    を有することを特徴とする評価方法。

Images