JP7687559B2 - 撮像システム - Google Patents

Description

本開示は、撮像システムに関する。

従来、色彩の測定または評価を行うための種々の技術が開発されている。例えば、特許文献１から３は、対象物の色を測定または評価する技術の例を開示している。

特開２０１６－２０６７６０号公報 特開２０１４－１３２２５７号公報 特開２００９－２５８６７号公報

本開示は、例えば布地などの、表面の色彩が均一でない対象物の色を適切に評価することが可能な新規な撮像システムを提供する。

本開示の一態様による撮像システムは、照明装置と、撮像装置と、処理装置と、カラー基準部材と、遮光性の筐体とを備える。前記照明装置は、１つ以上の波長域の光をそれぞれ出射する１つ以上の光源を含む。前記処理装置は、前記照明装置および前記撮像装置を制御し、前記撮像装置から出力される信号を処理する。前記カラー基準部材は、前記１つ以上の光源からそれぞれ出射された光を反射し、反射光が前記撮像装置に入射するように配置されている。前記筐体は、開口部を有し、前記照明装置、前記撮像装置、および前記カラー基準部材を内部に収容する。前記筐体における前記開口部の周囲の部分によって対象物が押さえられた状態で前記対象物の撮像が行われる。前記処理装置は、前記１つ以上の光源に前記光を順次出射させ、前記１つ以上の光源から前記光が出射される度に、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記光に基づく画像データを生成させる。前記処理装置は、前記画像データに基づいて、前記対象物の色を識別するための識別データを生成して出力する。

上記の包括的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、記録媒体、またはこれらの任意の組み合わせによって実現され得る。

本開示の実施形態によれば、例えば布地などの、表面の色彩が均一でない対象物であっても色を適切に評価することが可能になる。

本発明の例示的な実施形態における撮像システムの構成を模式的に示す図である。 本発明の例示的な実施形態における撮像システムの構成の他の例を模式的に示す図である。 透明板の機能を説明するための図である。 処理装置の構成例を示すブロック図である。 撮像によって生成されるＲ、Ｇ、Ｂのそれぞれの画像の一例を示す図である。 信号処理回路によって実行される処理の概要を示すフローチャートである。 ステップＳ１０における色登録処理の流れを示すフローチャートである。 カラー基準板を用いた撮像の様子を模式的に示す図である。 撮像装置によって生成された画像の一例を示す図である。 ステップＳ１６０の処理の具体例を示すフローチャートである。 画素ブロックの抽出処理の例を説明するための図である。 画素ブロックの抽出処理の例を説明するための図である。 Ｌ^＊ａ^＊ｂ^＊色空間上での複数の点の距離の総和の計算を説明するための図である。 Ｌ^＊ａ^＊ｂ^＊色空間上での複数の点の距離の総和の計算を説明するための図である。 Ｌ^＊ａ^＊ｂ^＊色空間上でのｎ個の点から、他の点との距離の総和が相対的に小さいｍ個の点の例を示す図である。 色判定処理の流れを示すフローチャートである。 良否判定の方法の例を示す図である。 統計データに基づく良否判定の例を示す概念図である。 撮像システムの変形例を示す図である。 撮像システムの他の変形例を示す図である。

本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。

従来、色彩の測定や評価には、色彩計を用いた色彩測定、またはスペクトル測定器による分光分析などの方法が用いられてきた。これらの方法は、一般に、小さいスポット（例えば数ｍｍ以下）における色彩を測定する。そのため、表面の色彩が均一ではない対象物の色彩を高い精度で測定することが難しい。例えば、地紋や折り目などがある布地、紙（特に繊維が大きいもの）、絨毯、壁、またはムラのある手塗りの塗料もしくはインクなどの色を高い精度で測定することは難しい。そのような対象物を測定する場合、計測点の位置がわずかに異なるだけで測定値が大きく異なる。そのため、上記のような対象物には、従来の測色方法では安定した測定結果を得ることができなかった。

布地などの不均一な対象物の色彩を測定するためには、ある程度広い面積をカメラのような２次元の情報を取得できる装置で撮影もしくは測定する必要がある。微小な色差を区別できるようにするため、精度の高い撮影が要求される。しかし、そのためには高品質な照明装置および光学系、ならびに外乱光を遮断するためのカバーなどが必要になり、装置全体の規模が大きくなる。

また、２次元の領域の色情報を取得するために一般的に使用されるカラーカメラでは、撮像素子の前にカラーフィルターアレイが配置され、入射する光を、画素ごとにＲ、Ｇ、Ｂの３原色の成分に分離する。しかし、これらのフィルターは必ずしも標準色空間において求められる分光特性を有しておらず、高精度な色分析には適していない場合がある。一方で、これらのフィルターは、通常、撮像素子または光学系に組み入れられており、交換や調整を行うことは容易ではない。

また、ＬＥＤなどの照明装置およびカメラの特性は、時間の経過とともに変化する場合が多く、安定した特性を維持することが難しい。さらに、カメラのレンズの表面、またはＬＥＤなどの照明装置の表面には、時間の経過に伴って汚れや微粒子などが付着することがある。そのような汚れや微粒子は、光－電気間の変換特性に影響を及ぼす可能性がある。

本発明者らは、上記の課題を見出し、上記の課題の少なくとも一部を解決し得る新規な撮像システムを開発するに至った。以下、本開示の実施形態の概要を説明する。

本開示の例示的な実施形態による撮像システムは、照明装置と、撮像装置と、処理装置と、カラー基準部材と、遮光性の筐体とを備える。前記照明装置は、１つ以上の波長域の光をそれぞれ出射する１つ以上の光源を含む。前記処理装置は、前記照明装置および前記撮像装置を制御し、前記撮像装置から出力される信号を処理する。前記カラー基準部材は、前記１つ以上の光源からそれぞれ出射された光を反射し、反射光が前記撮像装置に入射するように配置されている。前記筐体は、開口部を有し、前記照明装置、前記撮像装置、および前記カラー基準部材を内部に収容する。前記筐体における前記開口部の周囲の部分によって対象物が押さえられた状態で前記対象物の撮像が行われる。前記処理装置は、前記１つ以上の光源に前記光を順次出射させ、前記１つ以上の光源から前記光が出射される度に、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記光に基づく画像データを生成させる。前記処理装置は、前記画像データに基づいて、前記対象物の色を識別するための識別データを生成して出力する。

上記の構成によれば、前記遮光性の筐体における前記開口部の周囲の部分によって対象物が押さえられた状態で前記対象物の撮像が行われる。これにより、外部の光を遮断することができるため、より精度の高い色の測定が可能になる。さらに、カラー基準部材を対象物とともに撮像し、その結果得られる画像データに基づいて、対象物の色を識別するための識別データが生成される。このため、後に詳しく説明するように、撮像装置や照明装置の特性が時間の経過に伴って変化した場合でも、その影響を適切に補正することが可能になる。

前記カラー基準部材は、前記開口部を含む面に対して傾斜した反射面を有し得る。そのような構成によれば、対象物からの反射光の影響を抑制し、カラー基準部材を用いた補正処理の精度を高めることができる。

前記撮像システムは、前記対象物を押さえるための透明板を前記開口部に備えていてもよい。前記透明板は、前記撮像装置の側の表面に、光の反射を抑制する凹凸構造を有していてもよい。そのような微細な凹凸構造を有する透明板を配置することにより、対象物の色をより安定して測定することができる。透明板は、すりガラスのような半透明の部材であってもよい。

前記処理装置は、前記画像データにおける前記対象物に相当する領域のデータを、前記画像データにおける前記カラー基準部材に相当する領域のデータに基づいて補正することによって補正画像データを生成し、前記補正画像データに基づいて、前記識別データを生成することができる。

前記処置装置は、例えば以下の（Ａ）から（Ｃ）の処理により、前記識別データを生成することができる。
（Ａ）前記補正画像データから、ｎ個（ｎは３以上の整数）の画素ブロックを抽出し、抽出した前記ｎ個の画素ブロックの各々について、画素値の代表値を決定する。
（Ｂ）前記ｎ個の画素ブロックの各々について、前記画素値の代表値と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記画素値の代表値との差の程度を示す値の総和を計算する。
（Ｃ）前記ｎ個の画素ブロックのうち、前記差の程度を示す値の総和が小さいものから順に選択されたｍ個（ｍは２以上ｎ未満の整数）の画素ブロックにおける前記画素値の代表値に基づく１つの色を示す値を決定し、前記値に基づいて前記識別データを生成する。

上記の処理によれば、波長域ごとに、対象物の色を表す１つの値が決定され、当該値に基づいて、識別データが生成される。このような処理により、対象物の色をより適切に数値化することができる。

上記のステップ（Ｂ）における「差の程度を示す値」は、比較対象の２つの画素ブロックにおける前記画素値の代表値の差そのものであってもよいし、当該画素値の代表値から変換された他の値同士の差であってもよい。上記のステップ（Ｃ）における「１つの色を示す値」は、前記ｍ個の画素ブロックにおける前記画素値の代表値の平均値であってもよいし、当該代表値に基づく計算によって得られる他の値であってもよい。

上記１つ以上の波長域は、１つの波長域であってもよいし、複数の波長域であってもよい。上記１つ以上の波長域が単数の場合、上記の方法により、対象物の濃淡の程度を１つの値で評価することができる。本明細書において、濃淡も色の概念に含まれるものとする。上記１つ以上の波長域が複数である場合、対象物の色彩を複数の値で評価することができる。上記複数の波長域は、例えば赤（Ｒ）、緑（Ｂ）、青（Ｂ）の三原色の波長域を含み得る。ただし、必ずしも三原色の波長域に限定されない。用途によっては、４波長または５波長などのマルチスペクトルの色の評価に上記方法を用いることもできる。本開示における各波長域は、可視光の波長域に限定されず、例えば赤外または紫外などの、不可視光の波長域であってもよい。

上記の方法によれば、画像から抽出されたｎ個の画素ブロックから、互いに色または濃度が近いと推定されるｍ個の画素ブロックが選択される。そして、当該ｍ個の画素ブロックの、上記１つ以上の色のそれぞれの画素値の代表値に基づく１つの色を示す値が、色の識別データとして出力される。このような処理により、色または濃度が均一でない対象物の色を適切に評価することが可能になる。

前記１つ以上の波長域が複数の波長域である場合、前記差の程度を示す値の総和を計算するステップ（Ｂ）は、以下のステップ（Ｂ１）および（Ｂ２）を含み得る。
（Ｂ１）前記ｎ個の画素ブロックの各々について、前記複数の波長域のそれぞれについての画素値の代表値を、前記複数の波長域にそれぞれ対応する複数の色によって構成される第１の色空間とは異なる第２の色空間における複数の値に変換する。
（Ｂ２）前記ｎ個の画素ブロックの各々について、前記複数の値が示す前記第２の色空間上での点と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記複数の値が示す前記第２の色空間上での点との距離の総和を、前記差の程度を示す値の総和として計算する。

前記１つの色を示す値は、前記ｎ個の画素ブロックのうち、前記距離の総和が小さいものから順に選択された前記ｍ個の画素ブロックにおける前記複数の値のそれぞれの代表値であり得る。

上記の方法によれば、対象物の色彩をより適切に評価することができる。

前記１つ以上の光源は、第１の波長域の光を出射する第１の光源と、第２の波長域の光を出射する第２の光源と、第３の波長域の光を出射する第３の光源とを含み得る。その場合、前記処理装置は、例えば以下の動作を実行することができる。
・前記第１の光源に前記第１の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第１の波長域の光に基づく第１の画像データを生成させる。
・前記第２の光源に前記第２の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第２の波長域の光に基づく第２の画像データを生成させる。
・前記第３の光源に前記第３の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第３の波長域の光に基づく第３の画像データを生成させる。
・前記第１の画像データ、前記第２の画像データ、および前記第３の画像データに基づいて、前記識別データを生成して出力する。

上記の構成においては、互いに異なる第１から第３の波長域の光を順次出射し、第１から第３の画像データを順次生成する。第１から第３の画像データを合成することで、例えば表面が平坦でないなど、表面の色彩が不均一な対象物の色彩を示す識別データを安定して得ることができる。

前記カラー基準部材は、前記第１から第３の波長域のそれぞれの光を、同等の反射率で反射するように構成されていてもよい。ある例において、カラー基準部材は、板状の構造を有する。そのような構造のカラー基準部材は、「カラー基準板」と称することができる。

前記第１の波長域は、赤の波長域であり得る。前記第２の波長域は、緑の波長域であり得る。前記第３の波長域は、青の波長域であり得る。本明細書において、赤の波長域は、空気中の波長が６００ｎｍから７００ｎｍの範囲に含まれる波長域を指す。緑の波長域は、空気中の波長が５００ｎｍから６００ｎｍの範囲に含まれる波長域を指す。青の波長域は、空気中の波長が４００ｎｍから５００ｎｍの範囲に含まれる波長域を指す。ただし、これらの波長域に限られず、他の波長域を使用してもよい。可視光の波長域に限られず、赤外または紫外の波長域の光を出射する光源を使用してもよい。なお、本明細書においては、可視光に限らず、赤外線および紫外線も「光」と称する。

前記処理装置は、前記第１の画像データにおける前記対象物に相当する領域のデータに基づき、第１の色データを生成し、前記第２の画像データにおける前記対象物に相当する領域のデータに基づき、第２の色データを生成し、前記第３の画像データにおける前記対象物に相当する領域のデータに基づき、第３の色データを生成し、前記第１の画像データにおける前記カラー基準部材に相当する領域のデータに基づき、前記第１の色データを補正し、前記第２の画像データにおける前記カラー基準部材に相当する領域のデータに基づき、前記第２の色データを補正し、前記第３の画像データにおける前記カラー基準部材に相当する領域のデータに基づき、前記第３の色データを補正し、補正後の前記第１から第３の色データに基づき、前記識別データを生成してもよい。

前記処理装置は、例えば以下の（ａ）から（ｃ）の処理を実行してもよい。
（ａ）前記第１の画像データにおける前記対象物に相当する領域のデータが示す画像から、ｎ個（ｎは３以上の整数）の画素ブロックを抽出し、抽出した前記ｎ個の画素ブロックの各々について、前記第１の波長域の画素値の代表値を決定し、ｎ個の前記代表値を示すデータを前記第１の色データとして生成する。
（ｂ）前記第２の画像データにおける前記対象物に相当する領域のデータが示す画像から、前記ｎ個の画素ブロックに対応する位置にあるｎ個の画素ブロックを抽出し、抽出した前記ｎ個の画素ブロックの各々について、前記第２の波長域の画素値の代表値を決定し、ｎ個の前記代表値を示すデータを前記第２の色データとして生成する。
（ｃ）前記第３の画像データにおける前記対象物に相当する領域のデータが示す画像から、前記ｎ個の画素ブロックに対応する位置にあるｎ個の画素ブロックを抽出し、抽出した前記ｎ個の画素ブロックの各々について、前記第３の波長域の画素値の代表値を決定し、ｎ個の前記代表値を示すデータを前記第３の色データとして生成する。

前記処理装置は、さらに、以下の（ｄ）から（ｇ）の処理を実行してもよい。
（ｄ）補正後の前記第１から第３の色データに基づいて、前記ｎ個の画素ブロックの各々について、前記第１から第３の波長域のそれぞれの画素値の代表値を、前記第１から第３の波長域によって規定される第１の色空間とは異なる第２の色空間における３つの値に変換する。
（ｅ）前記ｎ個の画素ブロックの各々について、前記３つの値が示す前記第２の色空間上での点と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記３つの値が示す前記第２の色空間上での点との距離の総和を計算する。
（ｆ）前記ｎ個の画素ブロックのうち、前記距離の総和が小さいものから順に選択されたｍ個（ｍは２以上ｎ未満の整数）の画素ブロックにおける前記３つの値のそれぞれの代表値を計算する。
（ｇ）前記３つの値のそれぞれの前記代表値を、前記識別データとして出力する。

上記のステップ（ｆ）における第２の色空間における３つの値のそれぞれの代表値は、対象物の色を識別するための識別データとして利用される。上記３つの値のそれぞれの代表値は、例えば、ｍ個の画素ブロックにおける上記３つの値のそれぞれの平均値であり得る。上記の方法によれば、ＲＧＢ画像から抽出されたｎ個の画素ブロックから、互いに色が近いと推定されるｍ個の画素ブロックが選択される。そして、当該ｍ個の画素ブロックの、第２の色空間における３つの値のそれぞれの代表値が、色の識別データとして出力される。このような処理により、色が均一でない対象物の色をより適切に評価することが可能になる。

上記の方法は、例えば、同様の工程によって生産された製品の色の検査に使用され得る。そのような用途においては、まず、予め生産された製品（第１の対象物と称する）について、上記の方法によって識別データが参照用データとして予め記録媒体に記録される。次に、上記製品と同様の工程によって生産された第２の対象物について、上記と同様の方法によって識別データが生成される。生成された識別データと、予め記録された参照用データとを比較することにより、当該対象物の色の良否を判定することができる。

そのような用途において、前記処理装置は、さらに以下の処理を行ってもよい。
（ｈ）前記ｍ個の画素ブロックにおける前記３つの値のそれぞれの代表値（例えば平均値）が示す前記第２の色空間上での点と、予め記録された前記３つの値のそれぞれの参照値が示す前記第２の色空間上での点との距離を計算する。
（ｉ）前記距離に応じて、前記対象物の色の良否を判定し、判定結果を出力する。

ステップ（ｈ）および（ｉ）により、予め記録された第１の対象物の色と、検査対象の第２の対象物の色との近似度に基づいて、第２の対象物の色の良否を判定することができる。色の良否は、例えば、良／不良の２値の値で評価されてもよいし、近似度に応じて３つ以上の値で評価されてもよい。

前記処理装置は、上記の（ｈ）および（ｉ）の処理に代えて、以下の（ｈ’）および（ｉ’）の処理を行ってもよい。
（ｈ’）前記ｍ個の画素ブロックにおける前記３つの値の１つについての前記代表値と、予め記録された前記３つの値の１つについての参照値との差を計算する。
（ｉ’）前記差に応じて、前記対象物の色の良否を判定し、判定結果を出力する。

このような処理により、対象物の色（濃淡を含む）の差を符号付きで表現することができる。例えば、「前記３つの値の１つ」が、輝度を示す場合、輝度の差が符号付きで表現される。このため、対象物の濃淡を適切に評価することができる。

前記第２の色空間における前記３つの値は、例えば、Ｌ^＊ａ^＊ｂ^＊色空間におけるＬ^＊値、ａ^＊値、およびｂ^＊値であり得る。Ｌ^＊ａ^＊ｂ^＊色空間は、人間の視覚を近似するように設計されている。このため、Ｌ^＊ａ^＊ｂ^＊色空間における距離の総和の小さい画素ブロックから順に選択することにより、より人間の視覚に近い数値化が可能となる。なお、色の数値化の目的によっては、必ずしも人間の視覚に近い必要はないため、第２の色空間はＬ^＊ａ^＊ｂ^＊色空間とは異なる色空間であってもよい。

前記処理装置は、前記Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、前記第２の色空間における前記３つの値に変換するときに使用される変換係数を、機械学習によって決定してもよい。

前記Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を決定するステップは、前記Ｒ、Ｇ、Ｂのそれぞれの画素値を平滑化して平均化するステップを含んでいてもよい。

前記１つ以上の光源は、第４の波長域の光を出射する第４の光源をさらに含んでいてもよい。

前記処理装置は、さらに、前記第４の光源に前記第４の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第４の波長域の光に基づく第４の画像データを生成させ、前記第１の画像データ、前記第２の画像データ、前記第３の画像データ、および第４の画像データに基づいて、前記識別データを生成して出力してもよい。

前記第４の波長域は、前記第１から第３の波長域とは異なる。前記第４の波長域は、例えば近赤外の波長域であってもよい。第４の光源を利用することにより、対象物の表面の色彩についてより多くの情報を取得できる。

前記処理装置は、プロセッサと、前記プロセッサによって実行されるコンピュータプログラムを格納するメモリと、を備え得る。前述の各処理は、前記プロセッサが、前記コンピュータプログラムを実行することによって実現され得る。

以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。本明細書においては、同一のまたは類似する構成要素には、同一の参照符号を付している。なお、本願の図面に示される構造物の全体または一部分の形状および大きさは、現実の形状および大きさを制限するものではない。また、以下に説明する実施形態の構成を適宜組み合わせて、他の実施形態を構成してもよい。

（実施形態）
［１．構成］
図１は、本発明の例示的な実施形態における撮像システム１００の構成を模式的に示す図である。撮像システム１００は、対象物２３０の色を識別し、識別結果を出力する。対象物２３０は、例えば、地紋や折り目などがある布地、紙（特に繊維が大きいもの）、絨毯、壁、またはムラのある手塗りの塗料もしくはインクなどの、表面の色が均一ではない物である。なお、対象物２３０は、色が均一ではない物に限定されず、任意の物が対象物２３０になり得る。対象物２３０は、例えば手作業または製造ラインによって量産される製品であり得る。その場合、製品ごとに色のばらつきが生じ得る。このため、生産された対象物２３０ごとに、撮像システム１００を用いた色識別処理が実行され、色の良否の判定が行われる。以下の説明では、一例として、対象物２３０が地紋や折り目などがある布地であるものとする。

本実施形態における撮像システム１００は、処理装置１１０と、照明装置１２０と、撮像装置１４０と、カラー基準板２４０と、遮光性の筐体１７０と、透明板１７６とを備える。処理装置１１０は、照明装置１２０および撮像装置１４０に接続されている。本実施形態では、撮像システム１００は、さらに、ディスプレイ２２０を備える。ディスプレイ２２０は、処理装置１１０に接続され、処理装置１１０が生成した信号に基づく画像を表示する。

照明装置１２０は、１つ以上の波長域の光をそれぞれ出射する１つ以上の光源を備える。図１の例では、照明装置１２０は、互いに異なる３つの波長域の光をそれぞれ出射する３つの光源１２１、１２２、１２３を備えている。第１の光源１２１は、第１の波長域の光を出射する。第２の光源１２２は、第２の波長域の光を出射する。第３の光源１２３は、第３の波長域の光を出射する。本実施形態では、第１の波長域は赤（Ｒ）の波長域であり、第２の波長域は緑（Ｇ）の波長域であり、第３の波長域は青（Ｂ）の波長域である。照明装置１２０における光源１２１、１２２、１２３は、例えば、赤、緑、青の波長域の光をそれぞれ出射する発光ダイオード（ＬＥＤ）によって実現され得る。各光源は、ＬＥＤに限らず、例えば蛍光灯または有機発光素子などの他の種類の光源であってもよい。

図２は、照明装置１２０の他の構成例を示す図である。図２の例では、照明装置１２０は、光源１２１、１２２、１２３の組を２組備えている。光源１２１、１２２、１２３の組は、撮像装置１４０の両側に配置されている。このような光源の配置により、対象物２３０をより均一に照射することができる。なお、図２の例では、図１の例とは異なり、透明板１７６が設けられていない。この例のように、透明板１７６を省略してもよい。

撮像装置１４０は、可視光の波長域に感度を有するイメージセンサと、イメージセンサの撮像面に像を形成するレンズ光学系１４２とを備える。撮像装置１４０は、照明装置１２０から出射され、対象物２３０およびカラー基準板２４０で反射された光を受ける位置に配置されている。撮像装置１４０は、対象物２３０を撮像して画像信号を出力する。本実施形態における撮像装置１４０は、一般的なカラーカメラとは異なり、カラーフィルタアレイを備えていない。Ｒ、Ｇ、Ｂの三原色の光源１２１、１２２、１２３が順次点灯され、その都度撮像が行われる。それにより、Ｒ、Ｇ、Ｂの画像信号が順次生成される。

カラー基準板２４０は、板状の構造を有するカラー基準部材であり、撮像装置１４０によって対象物２３０とともに撮像される。カラー基準板２４０は、３つの光源１２１、１２２、１２３からそれぞれ出射された光を反射し、反射光が撮像装置１４０に入射するように配置されている。カラー基準板２４０の表面の色は既知であり、その色の情報に基づいて、処理装置１１０は、対象物２３０の画像の色を補正する。

筐体１７０は、遮光性の部材であり、例えば円柱状または角柱状の形状を有する。筐体１７０は、開口部１７４を有し、照明装置１２０、撮像装置１４０、およびカラー基準板２４０を内部に収容する。筐体１７０における開口部１７４の周囲の部分によって対象物２３０が押さえられた状態で対象物２３０の撮像が行われる。開口部１７４は、例えば円形、楕円形、矩形、または多角形などの任意の形状を有し得る。筐体１７０は、開口部１７４の周囲に遮光パッキン１７２を有する。筐体１７０と対象物２３０との間に遮光パッキン１７２を設けることにより、測定結果に影響を及ぼす外部の光を遮断することができる。図１の例では、処理装置１１０は、筐体１７０の外部に配置されているが、筐体１７０の内部に配置されていてもよい。

透明板１７６は、対象物１３０を押さえつけるための板状部材であり、開口部１７４に設けられている。対象物１３０が透明板１７６の表面で押さえつけられた状態で撮像が行われる。本実施形態における透明板１７６は、撮像装置１４２側の表面に、光の反射を抑制する凹凸構造が設けられている。凹凸構造は、１次元的または２次元的に配列された複数の凹部および複数の凸部を有する。凹凸構造を設けることにより、より安定した測定が可能になる。

図３は、透明板１７６の機能を説明するための図である。図３の（ａ）は、透明板１７６が設けられていない状態を示している。図３の（ｂ）は、表面に凹凸構造のない透明板１７６が設けられた状態を示している。図３の（ｃ）は、表面に凹凸構造のある透明板１７６が設けられた状態を示している。対象物２３０が布地である場合、図３の（ａ）に示すように表面の繊維の方向が不均一であることがある。そのような場合、測定値が安定しにくい。そこで、図３の（ｂ）に示すように、ガラスなどの透明板１７６で繊維を押さえることにより、繊維の方向を安定化させることができる。しかし、表面が平坦な透明板１７６を用いると、照明装置１２０からの光の反射光が撮像装置１４０に入射し、測定が不安定になるおそれがある。そこで、本実施形態では、図３の（ｃ）に示すように、すりガラスなどの、表面に微細な凹凸のある透明板１７６が用いられている。表面に微細な凹凸のある透明板１７６を用いることにより、照明装置１２０からの光に起因する反射光が拡散し、測定が安定化する。透明板１７６は、半透明の部材であってもよい。

処理装置１１０は、照明装置１２０および撮像装置１４０を制御し、撮像装置１４０から出力される信号を処理するコンピュータである。処理装置１１０は、照明装置１２０が備える１つ以上の光源に光を順次出射させ、当該１つ以上の光源から光が出射される度に、撮像装置１４０に撮像を実行させる。図１の例では、撮像装置１４０は、第１の光源１２１、第２の光源１２２、第３の光源１２３に順次光を出射させ、その都度、撮像装置１４０に撮像を実行させる。これにより、撮像装置１４０は、対象物２３０およびカラー基準板２４０によって反射された光に基づく画像データを生成する。処理装置１１０は、当該画像データに基づいて、対象物２３０の色を識別するための識別データを生成して出力する。

図４は、処理装置１１０の構成例を示すブロック図である。この例における処理装置１１０は、制御回路１１１と、信号処理回路１１２と、入出力インタフェース（ＩＦ）１１６と、メモリ１１４とを備える。制御回路１１１は、照明装置１２０の各光源１２１、１２２、１２３による発光、撮像装置１４０による撮像、および信号処理回路１１２による信号処理のタイミングを制御する。制御回路１１１はまた、信号処理回路１１２によって生成されたデータに基づく画像をディスプレイ２２０に生成させる処理も行う。制御回路１１１は、例えばマイクロコントローラユニットなどの、プロセッサを備える集積回路によって実現され得る。信号処理回路１１２は、撮像装置１４０から出力された画像データに基づき、対象物２３０の色を識別するための識別データを生成して出力する。信号処理回路１１２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサを備える集積回路によって実現され得る。信号処理回路１１２は、撮像装置１４０から出力された画像信号を処理して対象物２３０の色を識別し、識別結果をディスプレイ２２０に出力する。この動作は、信号処理回路１１２がメモリ１１４に格納されたコンピュータプログラムを実行することによって実現される。

図４に示す例では、１台の処理装置１１０が制御回路１１１および信号処理回路１１２を備えている。制御回路１１１の機能を実現する装置と、信号処理回路１１２の機能を実現する装置とが、分散して配置されていてもよい。また、処理装置１１０の機能の少なくとも一部が撮像システム１００から遠く離れた場所に設置されたコンピュータによって実行されてもよい。例えば、インターネットなどのネットワークを介して制御回路１１１に接続されたサーバコンピュータが、信号処理回路１１２の少なくとも一部の機能を実行してもよい。

ディスプレイ２２０は、制御回路１１１からの指示により、色の識別結果を表示する。ディスプレイ２２０は、例えばＣＲＴ、液晶、または有機ＥＬなどのモニターである。ディスプレイ２２０は、筐体１７０に搭載されていてもよい。

本実施形態では、対象物２３０の撮影に、色彩情報を取得しないモノクロカメラである撮像装置１４０が用いられる。Ｒ、Ｇ、Ｂの三原色の複数の光源１２１、１２２、１２３を、同時ではなく順次点灯させながら撮像することで複数の画像が取得される。それらの画像を合成することにより、カラー画像が生成され、色彩情報が得られる。

図５は、本実施形態の撮像システム１００による撮像によって生成されるＲ、Ｇ、Ｂのそれぞれの画像の一例を示す図である。図５は、説明の便宜上、複数の色見本が２次元的に配列されたカラーチャートであるマクベスカラーチェッカー（Macbeth Color Checker）が被写体として用いられた場合の例を示している。このような被写体を撮像した場合、図５に示すように、Ｒ画像、Ｇ画像、およびＢ画像のそれぞれのデータが順次生成される。それらの画像のデータを合成することにより、ＲＧＢのカラー画像のデータが得られる。なお、実際に得られる画像は、図５に示すようなカラーチャートの画像ではなく、例えば布地などの対象物２３０とカラー基準板２４０とを含む画像である。

一般的なカラーカメラに内蔵されたカラーフィルターでは、一度組み込まれたフィルタの分光特性を調整することはできず、またその特性をあらかじめ正確に知ることは困難である。これに対し、ＬＥＤなどの光源は、個別に選択または交換することが容易であり、かつ、分光計などで予めその発光特性を正確に知ることができる。

ここで、用いられる光源は、例えばCIE(国際照明委員会 Commission internationale de l'eclairage)で定められた、赤（R）：700.0[nm]、緑（G）：546.1[nm]、青（B）：435.8[nm]のＬＥＤ光源であり得る。しかし、必ずしもこの分光特性に一致していなくても、予め分光特性が測定できていれば、補正などの調整が容易である。

さらに、複数の光源の照度を独立に調整しながら撮影したり、複数の光源の照度を調整した上で複数の光源を同時に点灯させるなどの方法を用いて、より詳細な色彩情報を取得してもよい。

［２．動作］
図６は、本実施形態の撮像システム１００によって実行される処理の概要を示すフローチャートである。本実施形態においては、対象物２３０の色の良否を判定する処理の事前準備として、対象物２３０の色の登録処理が行われる（ステップＳ１０）。この登録処理では、処理装置１１０は、後述する処理により、対象物２３０の色を示す数値を決定し、当該数値を参照値としてメモリ１１４などの記録媒体に記録する。登録処理が完了した後、色が登録された対象物２３０と同じ種類の対象物２３０の色判定処理（ステップＳ２０）が行われる。各処理の具体例を説明する。

［２－１．色登録処理］
図７は、ステップＳ１０における色登録処理の流れを示すフローチャートである。撮像システム１００は、ステップＳ１１０からＳ１６０の動作を実行することにより、対象物２３０の色を示す識別データ（参照値）を登録する。

ステップＳ１１０において、制御回路１１１は、第１の光源１２１を点灯させ、第２の光源１２２および第３の光源１２３を消灯させた状態で、撮像装置１４０に撮像指示を送り、赤（Ｒ）画像のデータを生成させる。生成されたＲ画像のデータは、メモリ１１４に記録される。

ステップＳ１２０において、制御回路１１１は、第２の光源１２２を点灯させ、第１の光源１２１および第３の光源１２３を消灯させた状態で、撮像装置１４０に撮像指示を送り、緑（Ｇ）画像のデータを生成させる。生成されたＢ画像のデータは、メモリ１１４に記録される。

ステップＳ１３０において、制御回路１１１は、第３の光源１２３を点灯させ、第１の光源１２１および第２の光源１２２を消灯させた状態で、撮像装置１４０に撮像指示を送り、青（Ｂ）画像のデータを生成させる。生成されたＢ画像のデータは、メモリ１１４に記録される。

ステップＳ１４０において、信号処理回路１１２は、生成されたＲ、Ｇ、Ｂの各画像データから、カラー基準板２４０の領域のデータと、対象物２３０の領域のデータとを抽出する。カラー基準板２４０の位置は既知であるため、信号処理回路１１２は、容易にカラー基準板２４０の領域と対象物２３０の領域とを抽出することができる。

ステップＳ１５０において、信号処理回路１１２は、カラー基準板２４０の領域のＲＧＢ画像のデータに基づいて、対象物２３０の領域のＲＧＢ画像のデータを補正する。

ここで、図８Ａおよび図８Ｂを参照しながら、カラー基準板２４０を用いた補正処理の一例を説明する。図８Ａは、カラー基準板２４０を用いた撮像の様子を模式的に示している。図８Ａに示すように、撮像装置１４０で撮影される範囲の一部に、表面の色が既知であるカラー基準板２４０が配置される。カラー基準板２４０は、対象物２３０と同時に撮影される。図８Ａにおいて、点線はカラー基準板２４０で反射されて撮像装置１４０に入射する光の経路の一例を示し、一点鎖線は、対象物２３０で反射されて撮像装置１４０に入射する光の経路の一例を示している。本実施形態では、カラー基準板２４０の表面が対象物２３０の表面に対して傾くように配置されている。これにより、対象物２３０の色の影響を受けにくくすることができる。

基準色の登録時および測定時には、対象物２３０とカラー基準板２４０を同時に撮影し、予めわかっているカラー基準板２４０の色の情報に基づき、対象物２３０の色が補正される。カラー基準板２４０には、例えば、Ｒ、Ｇ、Ｂの各色の光の反射率が概ね同程度のグレー板が用いられ得る。

図８Ｂは、撮像装置１４０によって生成された画像３１０の一例を示している。画像３１０には、対象物の領域２３０ｉと、カラー基準板の領域２４０ｉとが含まれる。信号処理回路１１２は、生成された画像３１０から、対象物の領域２３０ｉと、カラー基準板の領域２４０ｉとを抽出し、カラー基準板の領域２４０ｉのデータに基づき、対象物の領域２３０ｉの領域のデータを補正する。

ここで、カラー補正板の領域２４０ｉにおける赤、緑、青の値の代表値をそれぞれＲｒ、Ｇｒ、Ｂｒとし、対象物の領域２３０ｉにおける赤、緑、青の画素値をそれぞれＲｔ、Ｇｔ、Ｂｔとする。対象物の領域２３０ｉにおける補正後の赤、緑、青の画素値Ｒｃ、Ｇｃ、Ｂｃは、以下の数１の演算によって求められる。

ここで、Ｒｋ、Ｇｋ、Ｂｋは、補正係数であり、例えば１．０等の一定の値に予め設定されている。

信号処理回路１１２は、対象物の領域２３０ｉのＲＧＢ画像の各画素のデータを、数１に基づいて補正する。Ｒｒ、Ｇｒ、Ｂｒの値は、例えば、カラー基準板の領域２４０ｉにおける複数の画素のＲ、Ｇ、Ｂのそれぞれの値の平均値であり得る。

ステップＳ１６０において、信号処理回路１１２は、対象物の領域２３０ｉにおける補正後のＲＧＢ画像のデータから、１つの色を示す識別データ（参照値）を生成して出力する。信号処理回路１１２は、この参照値を、メモリ１１４などの記録媒体に記録する。

図９は、ステップＳ１６０の処理の具体例を示すフローチャートである。ステップＳ１６０は、図９に示すステップＳ１６２からＳ１６７の処理を含む。以下、各ステップの処理を説明する。

ステップＳ１６２において、信号処理回路１１２は、対象物の領域２３０ｉにおける補正後のＲＧＢ画像データから、複数（ｎ個）の画素ブロックを抽出する。抽出される画素ブロックの数ｎは、３以上の任意の数に設定され得る。ある例において、ｎは１００程度の数に設定され得る。

図１０および図１１は、画素ブロックの抽出処理の例を説明するための図である。画素ブロックの抽出処理は、例えば以下のようにして行われ得る。
（１）ＲＧＢ画像の中から、ｎ個（例えば１００個）の点を選択する。図１０は、ＲＧＢ画像から選択されるｎ個の点の例を示している。図１０における＋印は、選択される点を示している。図１０における色の濃い領域２３０ｉは、対象物２３０を示す領域である。ｎ個の点は、図１０に示すように縦方向および横方向のそれぞれについて一定の間隔で選択されてもよいし、ランダムに選択されてもよい。図１０の例において、ｎ個の点の一部は、対象物を示す領域２３０ｉの内部にあり、残りの点は当該領域２３０ｉの外部にある。このように、選択されるｎ個の点の全てが対象物を示す領域２３０ｉの内部にある必要はない。
（２）選択されたｎ個の点のそれぞれを中心に、その周囲の一定の面積（例えば１００画素程度）の画素ブロックを抽出する。図１１は、抽出されたｎ個の画素ブロックの例を示す図である。図１１において、□印の領域が画素ブロックを示している。図１１に示す例では、ｎ個の画素ブロックのいずれも、他の画素ブロックに重なっていないが、画素ブロック間で重なりが生じていてもよい。また、画素ブロックごとに大きさが異なっていてもよい。

再び図９を参照する。

ステップＳ１６３において、信号処理回路１１２は、各画素ブロックの画像を平滑化（または平均化）し、Ｒ、Ｇ、Ｂのそれぞれの色の代表値を決定する。例えば、各画素ブロックのＲ、Ｇ、Ｂそれぞれの画像データを、所定のサイズの平滑化フィルタを用いて平滑化することにより、各色の代表値を決定する。より具体的には、３×３画素または５×５画素などのサイズをもつ平均化フィルタ、加重平均化フィルタ、またはガウシアンフィルタなどの平滑化フィルタを用いて、各画素ブロックの画像データを平滑化できる。平滑化の処理は、複数回行われてもよい。平滑化を行うことにより、各画素ブロックのＲ、Ｇ、Ｂの値が平均化される。信号処理回路１１２は、画素ブロックごとに、Ｒ、Ｇ、Ｂのそれぞれについて、平均化された１つの値を代表値として決定する。なお、平滑化フィルタを用いる代わりに、単純に各画素ブロック内の複数の画素のＲ、Ｇ、Ｂのそれぞれの画素値の平均値を代表値としてもよい。ステップＳ１６３により、複数の画素ブロックの各々について、Ｒ、Ｇ、Ｂの平均化されたデータが得られる。

ステップＳ１６５において、信号処理回路１１２は、ｎ個の画素ブロックの各々について、Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、ＣＩＥ－Ｌ^＊ａ^＊ｂ^＊表色系におけるＬ^＊、ａ^＊、ｂ^＊のデータに変換する。この変換は、例えば、以下のようにして行われる。信号処理回路１１２はまず、Ｒ、Ｇ、ＢのデータをＣＩＥ－ＸＹＺ表色系におけるＸ、Ｙ、Ｚのデータに変換する。この変換は、既知の変換行列を用いて行われる。例えば、赤、緑、青の値をそれぞれＲ、Ｇ、Ｂとして、以下の数２～４の変換式によってＸ、Ｙ、Ｚの値が得られる。

ここで変換係数Ｋ_１１、Ｋ_１２、Ｋ_１３、Ｋ_２１、Ｋ_２２、Ｋ_２３、Ｋ_３１、Ｋ_３２、Ｋ_３３は、撮像システムに依存して適切な値に設定される。

次に、信号処理回路１１２は、Ｘ、Ｙ、Ｚのデータを、以下の数５～７の変換式により、Ｌ^＊、ａ^＊、ｂ^＊のデータに変換する。

ここで、変換係数Ｋｌ、Ｋａ、Ｋｂ、Ｏｌは、撮像システムに依存して適切な値に設定される。Ｘ_０、Ｙ_０、Ｚ_０は、標準光の下での標準白色の三刺激値を表す。

このように、信号処理回路１１２は、各画素ブロックにおけるＲ、Ｇ、Ｂの値を、ＲＧＢ色空間とは異なるＬ^＊ａ^＊ｂ^＊色空間における３つの値Ｌ^＊、ａ^＊、ｂ^＊に変換する。以下、この３つの値をＬ^＊ａ^＊ｂ^＊データと称する。この変換により、色空間内での距離差を、方向によらず人間が知覚する色差に合わせることができる。

ステップＳ１６５において、信号処理回路１１２は、ｎ個の画素ブロックの各々について、Ｌ^＊ａ^＊ｂ^＊データが示すＬ^＊ａ^＊ｂ^＊色空間上での点と、他の全ての画素ブロックにおけるＬ^＊ａ^＊ｂ^＊データが示すＬ^＊ａ^＊ｂ^＊色空間上での点との距離の総和を計算する。この処理について、図１２および図１３を参照して説明する。

図１２および図１３は、ｎ個の画素ブロックのＬ^＊ａ^＊ｂ^＊データが示すＬ^＊ａ^＊ｂ^＊色空間上での複数の点の一例を模式的に示している。この例では簡単のため、ａからｅの５個の点が図示されている。図１２には、点ａと、他の全ての点との距離が矢印で示されている。図１３には、点ｂと、他の全ての点との距離が矢印で示されている。他の点ｃ、ｄ、ｅについても同様に、Ｌ^＊ａ^＊ｂ^＊色空間上での距離が規定される。信号処理回路１１２は、Ｌ^＊ａ^＊ｂ^＊色空間上のｎ個の点のそれぞれについて、他の全ての点との距離の総和を計算する。ｎ個の画素ブロックのうちのｉ番目（ｉは、１以上ｎ以下の整数）の画素ブロックのＬ^＊、ａ^＊、ｂ^＊の値をそれぞれＬ_ｉ、ａ_ｉ、ｂ_ｉとすると、信号処理回路１１２は、以下の数８で表される距離の総和Ｓｉを、全ての画素ブロックについて計算する。

ステップＳ１６６において、信号処理回路１１２は、ｎ個の画素ブロックの中から、ステップＳ１６５において計算した距離の総和が小さいものから順にｍ個（ｍは２以上ｎ未満の整数）の画素ブロックを選択する。ｍは、例えばｎの数十分の１から数分の１程度の数に設定され得る。ｎが例えば１００である場合、ｍは例えば２０程度の数に設定され得る。

図１４は、Ｌ^＊ａ^＊ｂ^＊色空間上でのｎ個の点から、他の点との距離の総和が相対的に小さいｍ個の点３２０の例を示す図である。図１４に示すように、ステップＳ１６６により、他の点との距離の総和が相対的に大きい点が排除され、距離の総和が相対的に小さい一部の点３２０のみが残される。上記の処理により、Ｌ^＊ａ^＊ｂ^＊色空間上で点が密集した部分にあるｍ個の点のデータが採用される。色空間をＬ^＊ａ^＊ｂ^＊とすることで、効果的に近似色のみを抽出することができる。

ステップＳ１６７において、信号処理回路１１２は、選択したｍ個の画素ブロックにおけるＬ^＊、ａ^＊、ｂ^＊のそれぞれの値の平均値を計算し、当該平均値をメモリ１１４に参照値として記録する。なお、平均値に代えて、ｍ個の画素ブロックにおけるＬ^＊、ａ^＊、ｂ^＊の値に基づいて決定される他の代表値を記録してもよい。ここで記録されるＬ^＊、ａ^＊、ｂ^＊の参照値を、それぞれＬ_ｒ、ａ_ｒ、ｂ_ｒとする。

以上の処理により、対象物２３０の色の登録が完了する。記録された参照値Ｌ_ｒ、ａ_ｒ、ｂ_ｒは、その対象物２３０の基準色を表し、同種の他の対象物２３０の色の判定処理（ステップＳ２０）において参照される。

［２－２．色判定処理］
続いて、図６に示すステップＳ２０の色判定処理を説明する。

図１５は、色判定処理の流れを示すフローチャートである。色判定処理は、ステップＳ２０１からＳ２０９を含む。ステップＳ２０１は、図７を参照して説明したステップＳ１１０からＳ１５０の動作と同じである。ステップＳ２０２からＳ２０７の処理は、それぞれ、図９に示すステップＳ１６２からＳ１６７の処理と同様である。このため、ステップＳ２０１からＳ２０７の処理の詳細な説明は省略する。信号処理回路１１２は、ステップＳ２０１からＳ２０７の処理により、検査対象の対象物２３０の補正後のＲＧＢ画像データから、Ｌ^＊、ａ^＊、ｂ^＊のそれぞれの平均値を計算する。この計算したＬ^＊、ａ^＊、ｂ^＊の平均値を、それぞれ測定値Ｌ_ｍ、ａ_ｍ、ｂ_ｍとする。その後、ステップＳ２０８およびＳ２０９において、測定値Ｌ_ｍ、ａ_ｍ、ｂ_ｍと、予め記録された参照値Ｌ_ｒ、ａ_ｒ、ｂ_ｒとの比較を行い、対象物２３０の色の良否を判定する。以下、ステップＳ２０８およびＳ２０９の処理をより詳細に説明する。

ステップＳ２０８において、信号処理回路１１２は、ステップＳ２０７で計算したＬ^＊、ａ^＊、ｂ^＊のそれぞれの平均値Ｌ_ｍ、ａ_ｍ、ｂ_ｍが示すＬ^＊ａ^＊ｂ^＊色空間上での点と、予め記録されたＬ^＊、ａ^＊、ｂ^＊のそれぞれの参照値Ｌ_ｒ、ａ_ｒ、ｂ_ｒが示すＬ^＊ａ^＊ｂ^＊色空間上での点との距離を計算する。この距離は色差に相当し、ΔＥで表される。色差ΔＥは、以下の式によって計算される。

このように、本明細書において、２つの色の「色差」は、色空間における当該２つの色の距離を意味する。本実施形態のようにＲＧＢからＬ^＊ａ^＊ｂ^＊への変換が行われる場合、Ｌ^＊ａ^＊ｂ^＊色空間における距離ΔＥが色差に該当する。他の変換が行われる場合は、他の色空間における距離が色差として計算される。なお、ΔＥに代えて、（ΔＥ）^２を色差として用いてもよい。

ステップＳ２０９において、信号処理回路１１２は、計算した距離ΔＥに応じて、対象物２３０の色の良否を判定し、判定結果を出力する。判定結果は、ディスプレイ２２０に表示される。ΔＥは一次元の数値であり、各次元の重みが均等になっているため色彩の差を表す数値として優れている。このため、ΔＥは基準色からの差異の測定および合否の判定に便利である。ΔＥの値のみをディスプレイ２２０に表示してもよい。しかし、この数値を基にいくつかの閾値を設けることで、合否判定またはクラス分けなどを行うことができる。例えば、ΔＥが閾値未満であれば「合格」、閾値以上であれば「不合格」とすることができる。あるいは、ΔＥが第１の閾値未満であれば「ランクＡ」、第１の閾値以上かつ第２の閾値未満であれば「ランクＢ」、第２の閾値以上第３の閾値未満であれば「ランクＣ」、といったクラス分けを行ってもよい。

図１６は、良否判定の方法の例を示す図である。図１６の（ａ）は、ΔＥと１つの閾値との比較に基づく合否判定の例を示している。図１６の（ｂ）は、ΔＥと複数の閾値との比較に基づくランク判定の例を示している。（ａ）の例では、閾値を１．０とし、ΔＥ＜１．０であれば「合格（ＯＫ）」、ΔＥ≧１．０であれば「不合格（ＮＧ）」と判定される。（ｂ）の例では、３つの閾値０．５、１．０、および１．５が設定され、ΔＥ＜０．５であれば「ランクＡ」、０．５≦ΔＥ＜１．０であれば「ランクＢ」、１．０≦ΔＥ＜１．５であれば「ランクＣ」、ΔＥ＞１．５であれば「不合格（ＮＧ）」と判定される。閾値の数は４つ以上であってもよい。閾値の数が多いほど、より多くのクラスに分類することができる。

上記の例において、各閾値を手動で設定してもよいが、各閾値の決定には様々な条件を考慮する必要があり、容易に決定できない場合がある。一方、本実施形態では、基準色を測定して登録する処理において、多くの点のデータが得られている。そのため、標準偏差などの統計データから、被測定物の色の許容差をあらかじめ知ることができる。したがって、標準偏差などの統計データに基づいて、各閾値を決定することができる。それにより、より適切な良否判定が可能になる。

図１７は、統計データに基づく良否判定の例を示す概念図である。図１７には、ステップＳ１６４またはＳ２０４において得られた統計データ（すなわちｎ個のＬ^＊ａ^＊ｂ^＊データ）から決定された、Ｌ^＊ａ^＊ｂ^＊色空間中の２つの球３３０、３４０が例示されている。内側の球３３０は、例えばＬ^＊、ａ^＊、ｂ^＊のいずれかの統計データの標準偏差σを半径とする球であり得る。外側の球３４０は、例えばＬ^＊、ａ^＊、ｂ^＊のいずれかの統計データの標準偏差σの１．３倍を半径とする球であり得る。測定値Ｌ_ｍ、ａ_ｍ、ｂ_ｍが示す点が内側の球３３０の内部にあれば「高ランク品」、内側の球３３０の外部で且つ外側の球３４０の内部にあれば「低ランク品」、外側の球３４０の外部にあれば「不良品」といった判定が可能である。図１７の例では、２つの球３３０、３４０がＬ^＊ａ^＊ｂ^＊色空間中に規定されるが、１つまたは３つ以上の球または他の立体（例えば楕円体）が規定されてもよい。１つの立体が規定される場合、測定データの点が、当該立体の内部にあれば「良品」、外部にあれば「不良品」と判定できる。また、３つ以上の立体が規定される場合、４つ以上のクラスに被測定物を分類することができる。

色彩を管理するうえで、その濃度が問題になる場合が多い。例えば、染料の希釈の程度や塗付の厚さなどに起因して色むらが生じる場合、濃度を評価することが重要である。このような場合、上記のΔＥの表示では、基準に対して濃度が濃いのか、薄いのかが判断できない。そこで、信号処理回路１１２は、先に測定した基準色Ｌ_ｒ、ａ_ｒ、ｂ_ｒと、測定色Ｌ_ｍ、ａ_ｍ、ｂ_ｍとに基づき、ΔＬ＝（Ｌ_ｍ－Ｌ_ｒ）を算出してもよい。ΔＬは、色彩の明度を表すパラメータであるので、濃度が濃いものよりも、濃度が薄いもののほうが大きな値となる。このため、濃度の濃淡を容易に判断できる。

このような計算方式では、基準色よりも対象物の色が濃い（すなわち明度が低い）場合は負の値になり、対象物の色が薄い（すなわち明度が高い）場合は正の値になる。染料の濃度や塗付の厚さなどを対象とした場合、この表現は感覚と異なる。このため、信号処理回路１１２は、ΔＬ′＝（Ｌ_ｒ－Ｌ_ｍ）に基づいて濃度を評価してもよい。ΔＬ´を用いることにより、基準色よりも対象物の色が濃い（すなわち明度が低い）場合は正の値になり、対象物の色が薄い（すなわち明度が高い）場合は負の値になり、感覚と一致した表現が可能になる。ΔＥおよびΔＬ’を表示することで、対象物の色の差異と濃淡の差異がわかり、合否判定もしくはランク分け、および前工程へのフィードバックが容易になる。このように、信号処理回路１１２は、ｍ個の画素ブロックにおける３つの値Ｌ^＊、ａ^＊、ｂ^＊の１つであるＬ^＊についての代表値Ｌｍと、予め記録された３つの値Ｌ^＊、ａ^＊、ｂ^＊の１つであるＬ^＊についての参照値Ｌｒとの差を計算し、当該差に応じて、対象物の色の良否を判定し、判定結果を出力する。

本実施形態では、信号処理回路１１２は、ＲＧＢ値からＸＹＺ値への変換を行い、さらにＬ^＊ａ^＊ｂ^＊値への変換を行い、計測されたＬ^＊ａ^＊ｂ^＊値と、予め登録されたＬ^＊ａ^＊ｂ^＊値とから計算される距離（すなわち色差）を計算する。しかし、Ｌ^＊ａ^＊ｂ^＊値への変換に限らず、他の色空間における値への変換を行ってもよい。例えば、ＸＹＺまたはＬ^＊ｕ^＊ｖ^＊などへの変換を行い、前述と同様の処理を適用してもよい。その場合、当該他の色空間における距離を色差として扱えばよい。

［３．効果］
以上のように、本実施形態によれば、撮像システム１００は、照明装置１２０と、撮像装置１４０と、処理装置１１０と、カラー基準部材２４０と、遮光性の筐体１７０とを備える。照明装置１２０は、１つ以上の波長域の光をそれぞれ出射する１つ以上の光源を含む。処理装置１１０は、照明装置１２０および撮像装置１４０を制御し、撮像装置１４０から出力される信号を処理する。カラー基準部材２４０は、１つ以上の光源からそれぞれ出射された光を反射し、反射光が撮像装置１４０に入射するように配置される。筐体１７０は、開口部を有し、照明装置１２０、撮像装置１４０、およびカラー基準部材２４０を内部に収容する。筐体１７０における開口部の周囲の部分によって対象物２３０が押さえられた状態で対象物の撮像が行われる。処理装置１１０は、１つ以上の光源に光を順次出射させ、１つ以上の光源から光が出射される度に、撮像装置１４０に、対象物２３０およびカラー基準部材２４０によって反射された光に基づく画像データを生成させる。処理装置１１０は、当該画像データに基づいて、対象物２３０の色を識別するための識別データを生成して出力する。

処理装置１１０における信号処理回路１１２は、対象物２３０の色の登録処理と、色判定処理とを行う。登録処理において、信号処理回路１１２は、撮像装置１４０から取得したＲＧＢ画像データが示す画像から、ｎ個の画素ブロックを決定し、画素ブロックごとにＲ、Ｇ、Ｂのそれぞれの画素値の代表値（例えば平均値）を決定する。そして、各画素ブロックについて、Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、ＲＧＢ色空間とは異なる第２の色空間（例えばＬ^＊ａ^＊ｂ^＊色空間）における３つの値（例えばＬ^＊、ａ^＊、ｂ^＊値）に変換する。さらに、各画素ブロックについて、当該３つの値が示す第２の色空間上での点と、ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての当該３つの値が示す第２の色空間上での点との距離の総和を計算する。ｎ個の画素ブロックのうち、距離の総和が小さいものから順に選択されたｍ個の画素ブロックにおける上記３つの値のそれぞれの代表値（例えば平均値）を計算して参照値として出力する。以上の処理が、色の登録が必要な全ての対象物について実行され得る。色判定処理において、信号処理回路１１２は、被測定物である対象物についても上記と同様の方法で、第２の色空間における３つの値のそれぞれの代表値を測定値として計算する。そして、測定値が示す前記第２の色空間上での点と、予め記録された参照値が示す第２の色空間上での点との距離を計算する。信号処理回路は、当該距離に応じて、対象物の色の良否を判定し、判定結果を出力する。

以上の処理によれば、ｎ個の画素ブロックのうち、距離の総和が小さいものから順に選択されたｍ個の画素ブロックにおける上記３つの値のそれぞれの代表値が計算される。これにより、ｎ個の画素ブロックのうち、色が類似する一部の画素ブロックのみが選択され、当該一部の画素ブロックのデータのみに基づいて上記３つの値の代表値が決定される。このような処理により、例えば地紋や折り目などがある布地や紙（特に繊維が大きいもの）などの、表面の色彩が均一ではない対象物の色の識別または評価をより正確に行うことができる。

従来の色彩測定では、測定結果がＸＹＺ表色系またはＬａｂ表色系などの３次元以上の標準表色系で表現される場合が多かった。しかし、そのような表現は一般的に理解しにくく、対象物の色の評価が難しい。例えば製造現場の検査工程において製造物の色を測定し、測定結果に基づいて製造物の合否の判定を行う場合、従来の方法では合否の判定が難しく、また製造工程へのフィードバックも難しい。本実施形態によれば、対象物の色の良否の判定結果が、例えば「合格」、「不合格」、または、「ランクＡ」、「ランクＢ」、「ランクＣ」といったわかり易い態様で表示される。このため、製造物の色の評価を容易に行うことができ、例えば製造工程へのフィードバックが容易になる。

また、本実施形態によれば、Ｒ、Ｇ、Ｂのそれぞれの画素値の代表値を、第２の色空間における３つの値に変換するときに使用される変換係数を、機械学習によって決定する。これにより、色の識別性能を大幅に向上させることができる。

従来、精度が要求される色彩測定では、予め規定されたカラーフィルタを有するカメラ、または照明を使用することが要求される。例えばＲ、Ｇ、Ｂの３原色の撮影では、それぞれの色の波長が規定されており、国際照明委員会（Ｃｏｍｍｉｓｓｉｏｎ ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ’ｅｃｌａｉｒａｇｅ：ＣＩＥ）では、赤（Ｒ）：７００．０［ｎｍ］、緑（Ｇ）：５４６．１［ｎｍ］、青（Ｂ）：４３５．８［ｎｍ］と定められている。本来であれば、これらの前提条件のもとにＲＧＢからＸＹＺへの変換や、ＸＹＺからＬ^＊ａ^＊ｂ^＊への変換が行われる。

本技術では、色彩の絶対値評価を目的としていないので、正確にこれらの規格に合わせる必然性はない。しかし、幅広い色彩の対象物を均一の感度で測定するためには、これらの標準的な波長による測定が望ましいといえる。

一方で、一般的に使用されるＬＥＤやカメラなどの物理デバイスが、必ずしも規定値どおりの特性を持っているとは限らない。規定値に近いものは一般的に大型で高価になりやすく、特に限定されたコストやサイズの中では、理想的な理論値に近づけることは難しい。既知の色を実デバイスで撮影し、その結果に基づいて、変換式の各係数を補正する方法も考えられるが、パラメータが多く、多彩な色に合わせこむことは難しい。このため、代表的な色や使用頻度の高い色に限って行われている場合が多い。

これに対し、本実施形態の方法では、誤差逆伝搬法などの機械学習アルゴリズムを利用して、各変換式の各係数が最適化される。このため、実際に使用されるデバイスに依存せずに最適な係数を決定することができる。

［４．変形例］
次に、上記の実施形態の変形例を説明する。

上記の実施形態では、画像として、対象物を撮像することによって生成された、各々がＲ、Ｇ、Ｂの３つの色にそれぞれ対応する３つの画素値を有する複数の画素を含むＲＧＢ画像が用いられる。しかし、画像は、ＲＧＢ画像に限らず、単色、２色、または４色以上の画像であってもよい。例えば、図１８に示すように、照明装置１２０は、Ｒ、Ｇ、Ｂの波長域の光をそれぞれ出射する光源１２１、１２２、１２３に加えて、赤外光を出射する光源１２４を備えていてもよい。また、図１９に示すように、照明装置１２０が、１つの波長域の光を出射する１つの光源１２５を備えていてもよい。

上記の実施形態では、各画素ブロックにおける各色の画素値の代表値が、Ｒ、Ｇ、Ｂによって構成される第１の色空間とは異なる第２の色空間（例えばＬ^＊ａ^＊ｂ^＊色空間など）に変換される。しかし、そのような変換処理を省略してもよい。その場合であっても、各画素ブロックについて、１つ以上の色のそれぞれの画素値の代表値と、ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての当該１つ以上の色のそれぞれの画素値の代表値との差の程度を示す値の総和が計算される。そして、ｎ個の画素ブロックのうち、当該差の程度を示す値の総和が小さいものから順に選択されたｍ個（ｍは２以上ｎ未満の整数）の画素ブロックにおける１つ以上の色のそれぞれの画素値の代表値に基づく１つの色を示す値が決定される。このような処理により、対象物の色または濃度を適切に評価することができる。

本開示の技術は、対象物の色を識別する用途に利用することができる。例えば、表面の色が不均一な製造物の色の検査に利用することができる。

１００ 撮像システム
１１０ 処理装置
１１１ 制御回路
１１２ 信号処理回路
１１４ メモリ
１１６ 入出力インタフェース
１２０ 照明装置
１２１ 第１の光源
１２２ 第２の光源
１２３ 第３の光源
１４２ レンズ光学系
１７０ 筐体
１７２ 遮光パッキン
１７４ 開口部
１８０ ギャップ
２２０ ディスプレイ
２３０ 対象物
２４０ カラー基準板

Claims (10)

1. 互いに異なる複数の波長域の光をそれぞれ出射する複数の光源を含む照明装置と、
   撮像装置と、
   前記照明装置および前記撮像装置を制御し、前記撮像装置から出力される信号を処理する処理装置と、
   前記複数の光源からそれぞれ出射された光を反射し、反射光が前記撮像装置に入射するように配置されたカラー基準部材と、
   開口部を有し、前記照明装置、前記撮像装置、および前記カラー基準部材を内部に収容する遮光性の筐体と、
   前記開口部に位置し、対象物を押さえるための透明板であって、前記撮像装置側の表面に、光の反射を抑制する凹凸構造を有する透明板と、
   を備え、
   前記筐体における前記開口部の周囲の部分によって前記対象物が押さえられた状態で前記対象物の撮像が行われ、
   前記処理装置は、
   前記複数の光源に前記光を順次出射させ、
   前記複数の光源から前記光が出射される度に、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された光に基づく画像データを生成させ、
   前記複数の光源にそれぞれ対応する前記複数の波長域のそれぞれの前記画像データに基づいて、前記対象物の色を識別するための識別データを生成して出力し、
   前記複数の光源は、
   第１の波長域の光を出射する第１の光源と、
   第２の波長域の光を出射する第２の光源と、
   第３の波長域の光を出射する第３の光源と、
   を含み、
   前記カラー基準部材は、前記第１から第３の波長域のそれぞれの光を、同等の反射率で反射し、
   前記処理装置は、
   前記第１の光源に前記第１の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第１の波長域の光に基づく第１の画像データを生成させ、
   前記第２の光源に前記第２の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第２の波長域の光に基づく第２の画像データを生成させ、
   前記第３の光源に前記第３の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第３の波長域の光に基づく第３の画像データを生成させ、
   前記第１の画像データ、前記第２の画像データ、および前記第３の画像データのそれぞれの画像データにおける前記対象物に相当する領域のデータを、前記画像データにおける前記カラー基準部材に相当する領域のデータに基づいて補正することによって補正画像データを生成し、
   前記補正画像データから、ｎ個（ｎは３以上の整数）の画素ブロックを抽出し、
   抽出した前記ｎ個の画素ブロックの各々について、画素値の代表値を決定し、
   前記ｎ個の画素ブロックの各々について、前記画素値の代表値と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記画素値の代表値との差の程度を示す値の総和を計算し、
   前記ｎ個の画素ブロックのうち、前記差の程度を示す値の総和が小さいものから順に選択されたｍ個（ｍは２以上ｎ未満の整数）の画素ブロックにおける前記画素値の代表値を平均化した値に基づいて１つの色を示す値を決定し、前記値に基づいて前記識別データを生成する、
   撮像システム。
2. 前記カラー基準部材は、前記開口部を含む面に対して傾斜した反射面を有する、請求項１に記載の撮像システム。
3. 前記撮像装置は、色彩情報を取得しないモノクロカメラである、
   請求項１または２に記載の撮像システム。
4. 第１の波長域は、赤の波長域であり、
   第２の波長域は、緑の波長域であり、
   第３の波長域は、青の波長域である、
   請求項１から３のいずれかに記載の撮像システム。
5. 前記処理装置は、
   前記第１の画像データにおける前記対象物に相当する領域のデータに基づき、第１の色データを生成し、
   前記第２の画像データにおける前記対象物に相当する領域のデータに基づき、第２の色データを生成し、
   前記第３の画像データにおける前記対象物に相当する領域のデータに基づき、第３の色データを生成し、
   前記第１の画像データにおける前記カラー基準部材に相当する領域のデータに基づき、前記第１の色データを補正し、
   前記第２の画像データにおける前記カラー基準部材に相当する領域のデータに基づき、前記第２の色データを補正し、
   前記第３の画像データにおける前記カラー基準部材に相当する領域のデータに基づき、前記第３の色データを補正し、
   補正後の前記第１から第３の色データに基づき、前記識別データを生成する、
   請求項１から４のいずれかに記載の撮像システム。
6. 前記処理装置は、
   前記第１の画像データにおける前記対象物に相当する領域のデータが示す画像から、ｎ個（ｎは３以上の整数）の画素ブロックを抽出し、抽出した前記ｎ個の画素ブロックの各々について、前記第１の波長域の画素値の代表値を決定し、ｎ個の前記代表値を示すデータを前記第１の色データとして生成し、
   前記第２の画像データにおける前記対象物に相当する領域のデータが示す画像から、前記ｎ個の画素ブロックに対応する位置にあるｎ個の画素ブロックを抽出し、抽出した前記ｎ個の画素ブロックの各々について、前記第２の波長域の画素値の代表値を決定し、ｎ個の前記代表値を示すデータを前記第２の色データとして生成し、
   前記第３の画像データにおける前記対象物に相当する領域のデータが示す画像から、前記ｎ個の画素ブロックに対応する位置にあるｎ個の画素ブロックを抽出し、抽出した前記ｎ個の画素ブロックの各々について、前記第３の波長域の画素値の代表値を決定し、ｎ個の前記代表値を示すデータを前記第３の色データとして生成する、
   請求項５に記載の撮像システム。
7. 前記処理装置は、
   補正後の前記第１から第３の色データに基づいて、前記ｎ個の画素ブロックの各々について、前記第１から第３の波長域のそれぞれの画素値の代表値を、前記第１から第３の波長域によって規定される第１の色空間とは異なる第２の色空間における３つの値に変換し、
   前記ｎ個の画素ブロックの各々について、前記３つの値が示す前記第２の色空間上での点と、前記ｎ個の画素ブロックに含まれる他の全ての画素ブロックについての前記３つの値が示す前記第２の色空間上での点との距離の総和を計算し、
   前記ｎ個の画素ブロックのうち、前記距離の総和が小さいものから順に選択されたｍ個（ｍは２以上ｎ未満の整数）の画素ブロックにおける前記３つの値のそれぞれの代表値を計算し、
   前記３つの値のそれぞれの前記代表値を、前記識別データとして出力する、
   請求項６に記載の撮像システム。
8. 前記処理装置は、さらに、
   前記ｍ個の画素ブロックにおける前記３つの値のそれぞれの代表値が示す前記第２の色空間上での点と、予め記録された前記３つの値のそれぞれの参照値が示す前記第２の色空間上での点との距離を計算し、
   前記距離に応じて、前記対象物の色の良否を判定し、判定結果を出力する、
   請求項７に記載の撮像システム。
9. 前記処理装置は、さらに、
   前記ｍ個の画素ブロックにおける前記３つの値の１つについての前記代表値と、予め記録された前記３つの値の１つについての参照値との差を計算し、
   前記差に応じて、前記対象物の色の良否を判定し、判定結果を出力する、
   請求項７に記載の撮像システム。
10. 前記複数の光源は、第４の波長域の光を出射する第４の光源をさらに含み、
    前記処理装置は、
    さらに、前記第４の光源に前記第４の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第４の波長域の光に基づく第４の画像データを生成させ、
    前記第１の画像データ、前記第２の画像データ、前記第３の画像データ、および第４の画像データに基づいて、前記識別データを生成して出力する、
    請求項１から９のいずれかに記載の撮像システム。

Images