JP6829529B2 - 物体の反射率を決定するための方法及び関連するデバイス - Google Patents

Description

本発明は、物体の反射率を決定するための方法、及び物体の反射率を決定するためのデバイスに関する。

文献（特許文献１）は、光の流れの形態で表現されるカラー光源を放射することができる手段及び電子カラー画像センサを含むデバイスを使用して、物体の少なくとも１つのポイントにおける均等拡散反射率を測定するための方法について説明している。また、文献（特許文献１）は、物体の少なくとも１つのポイントにおける均等拡散反射率を測定するために、色の光の流れの形態のカラー光源を放射することができる手段及び電子カラー画像センサを含むデバイスであって、物体は、色を放射することができる前記手段の照射フィールドに位置し、電子カラー画像センサの視野内に位置するゾーンに配置され、一定で未知の周辺の外部の光の流れの形態の外部の光源にさらされる、デバイスについて説明している。

物体の反射率を決定するために、回折分光計又は二重平行光受容体分光計などの専門的な高精度デバイスを使用することが知られている。

しかしながら、そのようなデバイスは高価であり、また非専門的なオペレータにとって使用が難しい。

国際公開第２０１３／１２０９５６Ａ１号

従って、信頼性が高くかつ実装し易い、反射率を決定するための方法が必要である。

この目的のため、物体の反射率を決定するための方法であって、
− 未知で可変の照射を有する外部の光源を使用して、物体に照射するステップと、
− 物体に照射する少なくとも１つの光のフラッシュを放射するステップであって、光のフラッシュの各々は、放射源によって放射されて、波長範囲内の既知の照射を有する、ステップと、
− 物体によって反射された波を収集して、センサ上で少なくとも１つの画像を形成するステップと、
− 幾つかの未知数を伴う方程式を得るステップであって、方程式は形成された画像から得られ、物体の反射率及び外部の光源の照射が方程式の２つの未知数である、ステップと、
− 方程式を解くステップと
を含み、
方程式を解くステップは、
− 方程式の解の定義点を計算するステップと、
− 計算された定義点を補間関数によって補間するステップと、
− 方程式を解くために、以下の近似：
・各画像が別個の光のフラッシュの放射から導出されるとする第１の近似、
・補間関数が方程式の安定点を決定するとする第２の近似、
・光のフラッシュの放射の時点の外部の光源の照射はその前の時点の外部の光源の照射と等しいとする第３の近似
の少なくとも１つを使用するステップと
を含む、方法が提案される。

物体の反射率ρを決定するためのこのような方法は、実行し易いものであり、可変の外部の光源を用いる場合でも、物体の実際の反射率ρの信頼できるモデルを得ることを可能にする。このような実装形態により、方法の精度を保持しながら計算時間を低減することができる。

特定の実施形態によれば、物体の反射率を決定するための方法は、単独と見なされるか又は技術的に可能な任意の組み合わせ従って、以下の特徴の１つ又は複数を含む。
− 放射源及びセンサは同じ装置上に配置される。
− 複数の光のフラッシュが放射され、フラッシュの各々が最大波長照射を有し、収集するステップは、放射された光のフラッシュの各々に対して実行され、また少なくとも２つの光のフラッシュは、少なくとも２０ナノメートルだけ離れた最大照射を有する。
− 収集するステップは同じ光のフラッシュに対して数回実行され、得られた方程式は方程式の過剰決定系であり、解くステップは、複数の反射率関数を得るために、第１の近似を使用することによって複数の決定された方程式系に対して実行され、当該方法は、複数の反射率関数の平均を計算することにより、物体の反射率を計算するステップをさらに含む。
− 方程式を解くステップ中に第２の近似が使用され、補間関数は、具体的には３次スプラインにおける有限数の補間点によってシールされた基底関数の重み付け組み合わせであり、各補間点が方程式の安定点である。
− 複数の光のフラッシュが放射され、フラッシュの各々が最大波長照射を有し、収集するステップは、放射された光のフラッシュの各々に対して実行される。補間点は、少なくとも以下の特性：補間点の数がフラッシュの数と等しいことを検証する。
− 第３の近似が用いられ、この方法は、放射源によって放射されるフラッシュが存在しない場合、センサ上で少なくとも１つの画像を形成するために、物体によって反射された波を収集することによって参照画像を得るステップを含む。
− 方程式を解くステップは、簡易化された方程式を得るために参照方程式を減算するための演算を含み、参照方程式は、参照画像から得られる。
− この方法は、
・外部の光源の照射の変動時間間隔を推定するステップと、
・第１の近似を有効な状態に維持するために、推定した変動時間間隔から、参照画像を得るステップを反復する頻度を決定するステップと
をさらに含む。
− 当該方法は、光の流れの形態で表現されるカラー光源を放射することができる手段及び電子カラー画像センサを含むデバイスを使用して、物体の少なくとも１つのポイントにおける均等拡散反射率ρ ^ＯＢＪ（λ）を測定するための方法において、
・着色光の流れの形態のカラー光源を放射することができる前記手段の照射フィールド内に位置し、前記電子カラー画像センサの視野内に位置するゾーンに前記物体を配置するステップであって、前記物体は、未知で一定の周辺の外部の光の流れＩ^ｅｘｔ（λ）の形態の外部の光源にもさらされ、λは、一連のＮ個の光源Ｓ^{ＳＯＵＲＣＥ}（λ）_ｉの前記手段による放射の波長を指定し（ここで、Ｎは、１より大きい自然整数であり、ｉは、１〜Ｎで様々であり、λは、波長である）、Ｓ^{ＳＯＵＲＣＥ}（λ）_ｉは、着色光の流れを放射することができる前記手段の入力パラメータの関数として知られている、ステップと、前記電子カラー画像センサにより、前記物体の少なくとも１つのポイントにおいて、センサに入る反射された光の流れを捕捉するステップであって、前記光の流れがＥ^{ｃａｐｔｅｕｒ}（λ）_ｉであり、Ｎが厳密に２より大きい自然整数であり、ｉが１〜Ｎで様々であり、λが波長である、ステップと、光波の加法的な性質に起因して、物体（３０）の少なくとも１つのポイントにおける均等拡散反射率ρ ^ＯＢＪ（λ）の定義により、
Ｅ^{ｃａｐｔｅｕｒ}（λ）_ｉ＝ρ ^ＯＢＪ（λ）^＊（Ｉ^ｅｘｔ（λ）＋Ｓ^{ＳＯＵＲＣＥ}（λ）_ｉ）
のようにＮ個の方程式「Ｅ_ｉ」を得るステップと、
・前記デバイスを介して、
− 選択された測色ベースで各感度を示すために参照ｂ_ｊを使用することにより、放射源スペクトルとセンサスペクトルとの交差上で各方程式Ｅ_ｉを積分することであって、各方程式Ｅ_ｉは、従って、「Ｅ_ｉ積分」方程式の組：

を生成する、積分することにより、
− ディジタル画像センサからの出力パラメータを使用して、積分方程式Ｅ_ｉの左項に対応する数値を計算することにより、
− ２つの未知の連続関数ρ ^ＯＢＪ（λ）及びＩ^ｅｘｔ（λ）の連続性質を保持するために少なくとも１つの補間関数ｓ（λ）によって結び付けられた有限数の補間点（λ_ｉ，ｙ_ｉ）を使用して、前記未知の連続関数ρ ^ＯＢＪ（λ）及びＩ^ｅｘｔ（λ）を表現することであって、λ_ｉは、放射源スペクトルとセンサスペクトルとの交差上で選択された波長であり、所定の精度で補間点の数を最小化するために選択された方法の入力パラメータである、表現することにより、
− 積分方程式Ｅ_ｉから生じた最小二||Ａ^＊Ｘ−Ｂ||_２の系を最小化する関数ρ ^ＯＢＪ（λ）及びＩ^ｅｘｔ（λ）のパラメータｙ_ｉを求めることにより、
Ｎ個の方程式Ｅ_ｉの系を解くことにより、２つの未知の連続関数ρ ^ＯＢＪ（λ）及びＩ^ｅｘｔ（λ）を決定するステップと
を含むことを特徴とする方法である。
− 当該方法は、外部の光源Ｉ^ｅｘｔ（λ）の値を決定するためのステップをさらに含む。
− 当該方法は、所定の光源に対して物体の少なくとも１つのポイントにおける均等拡散反射率関数ρ ^ＯＢＪ（λ）をＣＩＥ ＸＹＺ座標に転写するためのステップをさらに含む。
− 物体の少なくとも１つのポイントにおける均等拡散反射率ρ ^ＯＢＪ（λ）及び外部の光源Ｉ^ｅｘｔ（λ）の値を決定するため、フラッシュの数は、補間点の数とほぼ同じ程度の大きさのものである。
− 当該方法は、幾つかのスペクトルバンドにおける、物体の少なくとも１つのポイントにおける均等拡散反射率ρ ^ＯＢＪ（λ）及び外部の光源Ｉ^ｅｘｔ（λ）の値を決定するためのステップを含む。
− 当該方法は、物体の分光写真を撮り、色順応（ホワイトバランス調整）を自由に実行するために実装される。
− 当該方法は、以下の群：材料、固体、液体、気体、塗料、壁紙、グラフィックス、織物、プラスチック、木材、金属、土壌、鉱物、植物及び食物に含まれる要素の色を測定するために実装される。
− 当該方法は、人間、及び以下の群：皮膚、吹き出物、ほくろ、頭皮、毛髪、化粧及び歯に含まれる少なくとも１つの要素の有機体に対する医療又は美容の目的で色を測定するために実装される。
− 当該方法は、１つ又は複数の次元を有するカラーバーコードの使用のために実装される。
− 当該方法は、色盲及び／又は盲目の人を支援することを目的として実装される。

また、本説明は、物体の反射率を決定するためのデバイスであって、物体は、未知で可変の照射を有する外部の光源によって照射され、
当該前記デバイスは、
− 物体に照射する少なくとも１つの光のフラッシュを放射することができる放射源であって、光のフラッシュの各々は、波長範囲内の既知の照射を有する放射源によって放射される、放射源と、
− 物体によって反射された波を収集することによって、少なくとも１つの画像を形成することができるセンサと、
− 以下のステップ：
・幾つかの未知数を伴う方程式を得るステップであって、方程式は、形成された画像から得られ、物体（４）の反射率及び外部の光源（６）の照射が方程式の２つの未知数である、ステップと、
・方程式を解くステップと
を実行することができる処理ユニット（１４）と
を含み、
方程式を解くステップは、
− 方程式の解の定義点を計算するステップと、
− 計算された定義点を補間関数によって補間するステップと、
− 方程式を解くために、以下の近似：
・各画像が別個の光のフラッシュの放射から導出されるとする第１の近似、
・補間関数が方程式の安定点を決定するとする第２の近似、
・光のフラッシュの放射の時点の外部の光源の照射は、その前の時点の外部の光源の照射と等しいとする第３の近似
の少なくとも１つを使用するステップと
を含む、デバイスにも関する。

特定の実施形態によれば、物体の反射率を決定するためのデバイスは、単独と見なされるか又は技術的に可能な任意の組合せに従って以下の特徴の１つ又は複数を含む。
− センサ及び放射源は同じ装置上に配置される。
− 放射源は、発光画面、又は、発光ダイオードのセットである。
− センサは、写真用カメラ、カメラ、マルチチャネル撮像装置及びハイパースペクトル撮像装置からなる群から選択される。
− 装置はスマートフォンである。
− 当該デバイスは、カラーフラッシュを放射するための光源のセットと、対象物体によって反射された光を捕捉するための電子画像センサとを実装する。
− 当該デバイスは、内蔵又はリムーバブルフラッシュを備えたフォトグラフィックカメラ又はカメラである。
− 当該デバイスは、カラーフラッシュの放射及び知覚を通過させるための導波路を実装する。
− 当該デバイスは、物体の分光写真を撮り、色順応（ホワイトバランス調整）を自由に実行するために実装される。
− 当該デバイスは、以下の群：材料、固体、液体、気体、塗料、壁紙、グラフィックス、織物、プラスチック、木材、金属、土壌、鉱物、植物及び食物に含まれる要素の色を測定するために実装される。
− 当該デバイスは、人間、及び以下の群：皮膚、吹き出物、ほくろ、頭皮、毛髪、化粧及び歯に含まれる少なくとも１つの要素の有機体に対する医療又は美容の目的で色を測定するために実装される。
− 当該デバイスは、１つ又は複数の次元を有するカラーバーコードの使用のために実装される。
− 当該デバイスは、色盲及び／又は盲目の人を支援することを目的として実装される。
− デバイスは、物体の少なくとも１つのポイントにおける均等拡散反射率ρ ^ＯＢＪ（λ）を測定するために、色の光の流れの形態のカラー光源を放射することができる手段及び電子カラー画像センサをさらに含み、物体は、色を放射することができる前記手段の照射フィールド内に位置し、電子カラー画像センサの視野内に位置するゾーンに配置され、Ｉ^ｅｘｔ（λ）で示される一定で未知の周辺の外部の光の流れの形態の外部の光源にさらされる。また、デバイスは、
・一連のＮ個の光源Ｓ^{ＳＯＵＲＣＥ}（λ）_ｉを放射する手段（ここで、Ｎは、１より大きい自然整数であり、ｉは、１〜Ｎで様々であり、λは、波長である）であって、Ｓ^{ＳＯＵＲＣＥ}（λ）_ｉは、着色光の流れを放射することができる前記手段の入力パラメータの関数として知られている、手段と、前記電子カラー画像センサにより、前記物体の少なくとも１つのポイントにおいて、センサに入る反射された光の流れを捕捉する手段であって、前記光の流れはＥ^{ｃａｐｔｅｕｒ}（λ）_ｉであり、Ｎは厳密に２より大きい自然整数であり、ｉは１〜Ｎで様々であり、λは波長である、手段と、光波の加法的な性質に起因して、物体の少なくとも１つのポイントにおける均等拡散反射率ρ ^ＯＢＪ（λ）の定義により、
Ｅ^{ｃａｐｔｅｕｒ}（λ）_ｉ＝ρ ^ＯＢＪ（λ）^＊（Ｉ^ｅｘｔ（λ）＋Ｓ^{ＳＯＵＲＣＥ}（λ）_ｉ）
のようにＮ個の方程式「Ｅ_ｉ」を得る手段と、
・以下：
− 選択された測色ベースで各感度を示すために参照ｂ_ｊを使用することにより、放射源スペクトルとセンサスペクトルとの交差上で各方程式Ｅ_ｉを積分することであって、各方程式Ｅ_ｉは、従って、「Ｅ_ｉ積分」方程式の組：

を生成する、積分することにより、
− ディジタル画像センサからの出力パラメータを使用して、積分方程式Ｅ_ｉの左項に対応する数値を計算することにより、
− ２つの未知の連続関数ρ ^ＯＢＪ（λ）及びＩ^ｅｘｔ（λ）の連続性質を保持するために少なくとも１つの補間関数ｓ（λ）によって結び付けられた有限数の補間点（λ_ｉ，ｙ_ｉ）を使用して、前記未知の連続関数ρ ^ＯＢＪ（λ）及びＩ^ｅｘｔ（λ）を表現することであって、λ_ｉは、放射源スペクトルとセンサスペクトルとの交差上で選択された波長であり、所定の精度で補間点の数を最小化するために選択された方法の入力パラメータである、表現することにより、
− 積分方程式Ｅ_ｉから生じた最小二乗||Ａ^＊Ｘ−Ｂ||_２の系を最小化する関数ρ ^ＯＢＪ（λ）及びＩ^ｅｘｔ（λ）のパラメータｙ_ｉを求めることにより、
Ｎ個の方程式Ｅ_ｉの系を解くことにより、２つの未知の連続関数ρ ^ＯＢＪ（λ）及びＩ^ｅｘｔ（λ）を決定する手段と
を含む。

本発明の他の特徴及び利点は、図面を参照して単なる例として提供される本発明の実施形態の以下の説明を読むことで明らかになる。

物体の反射率を決定するためのデバイスの図である。 物体の反射率を決定するための方法の実装形態の第１の例のフローチャートである。 幾つかの光フラッシュのスペクトルのグラフ表現である。 物体の反射率を決定するための方法の実装形態の第２の例のフローチャートである。 幾つかの決定における、実際の反射率に対する決定された反射率の誤差のグラフ表現である。 実際の反射率に対する決定された反射率の誤差のグラフ表現である。 幾つかの決定された反射率及び実際の反射率のグラフ表現である。 従来技術の方法を実行することによって決定された反射率及び実際の反射率のグラフ表現である。 決定方法の実装形態の例に対する決定された反射率及び実際の反射率のグラフ表現である。 物体の反射率を決定するための方法の実装形態の第３の例のフローチャートである。

図１には、物体４の反射率を決定するためのデバイス１と、物体４と、外部の光源６とが示されている。

物体４の反射率を決定するためのデバイス１は、放射源１０と、センサ１２と、処理ユニット１４とを含んでいる。

決定デバイス１は、物体４の反射率を決定するための方法を実行することができ、その実施形態の例は、図２に示されている。

によって示される物体の実際の反射率は、λで示される波長の関数

である。

反射率は、色の意味において、物体４の色に関する情報を提供する。物体４の反射率は、物体４の反射表面の材料に左右される。

物体４の反射率は、物体４が受けた照射と物体４が反射した輝度との比率として定義される。

輝度は、表面の明度の視覚に対応する特性である。物体４が受けた輝度は、物体４が受けた光の強度を物体４の可視表面の面積で除した商として定義される。物体４が反射した輝度は、物体４が反射した光の強度を物体４の可視表面の面積で除した商として定義される。可視表面は、観察方向に垂直な物体４のエリアの投影である。

物体４への照射は、物体４が受けた輝度及び観察幾何学から知られる。

決定方法では、物体４の表面は、ランバート面と考えられる。ランバート面は、輝度が観察方向と無関係の表面である。物体４の表面の鏡面反射成分（すなわち、その光沢がある外観）は、無視できるか、又は光源１０、物体４及びセンサ１２間の適切な幾何学的配置のために、デバイス１によって収集されないものと仮定される。

物体４への照射は、表面単位が受けた光の流れに対応する。

反射率の決定は、規格によれば、波長の範囲にわたる物体４の実際の反射率

にできる限り近い決定された反射率（ρで示される）を見出すことからなる。波長の範囲は、決定デバイス１の放射源１０及びセンサ１２に左右される。例えば、反射率は、可視領域の波長の範囲にわたって決定される。

残りの説明において、決定された反射率はρで示される。

決定方法によって決定された反射率ρは、以下で説明されるように、有利には、波長の範囲にわたる実際の反射率

に近い。

実際の反射率

に対する、決定された反射率ρの誤差Ｆは、実際の反射率

と、決定された反射率ρとの間の標準偏差から定義された波長の関数である。

決定された反射率ρが全ての波長に対して実際の反射率

と等しい場合、誤差Ｆは零関数である。これは、誤差Ｆが高いほど、決定された反射率ρと、実際の反射率

との間の偏差が大きいことを示している。

反射率ρを決定するための方法と、物体４の反射率ρを決定するためのデバイス１とは、いかなる物体４の反射率ρをも決定することにおいて、適用可能であることが理解される。

例えば、物体４は、患者の皮膚の一部、カラーバーコード、塗料、ファンデーションなどの化粧品又は同様のものである。

物体４は、物体４の未知数の照射源を含む環境に配置される。物体４を排除する放射源のセットは、物体４の反射率を決定するための方法中に変えることができる。その上、物体４に照射する決定デバイス１の放射源１０とは別の異なる放射源からの照射は、物体４の反射率を決定するための方法中に変動させることができる。

例えば、光が当たる窓に配置された物体４は、未知で可変の光の流れを伴う、窓を通過する昼光による照射及び店内の電球による照射を受ける。

物体４に照射する決定デバイス１の放射源１０とは別の放射源のセットは、Ｉで示される、時間の関数としての未知で可変の照射を有する外部の光源６で表される。

外部の光源６の照射Ｉは、物体４に照射するデバイス１０の放射源とは別の物体４の照射源の変動のセットに左右される。

特定の条件下では、外部の光源６の照射Ｉは固定される。

各時点において、物体４は、外部の光源６による照射を受け、任意選択的に、放射源１０による照射を受ける。物体４が受ける照射は、決定デバイス１の放射源１０からの照射と、外部の光源６からの照射との総和である。

各時点ｔにおいて、外部の光源６による照射を受け、任意選択的に、放射源１０による照射を受ける物体４は、物体４の実際の反射率

に応じて、波２０を反射する。

図１に示される決定デバイス１の実施形態では、センサ１２及び放射源１０は、同じ装置１６上に配置される。

例えば、装置１６は、タッチセンサ式のタブレット、携帯電話、スマートフォン、又は同様のものである。

放射源１０は、物体４に照射する少なくとも１つの光のフラッシュ１８を放射することができる。

例えば、放射源１０は、発光画面、又は、電球のセットである。例えば、電球のセットは、発光ダイオード（ＬＥＤ）のセットである。

光のフラッシュ１８は、短い時間間隔中に放射される光の流れである。例えば、放射時間間隔は、１ｍｓ（ミリ秒）〜２ｓ（秒）で構成される。放射時間間隔は、放射源１０及びセンサ１２の特性に左右される。

光のフラッシュ１８の光の流れは、放射源１０に応じて、波長の関数としての放射強度を有する。

放射源１０は、可視領域においてフラッシュ１８の各々を放射することができる。これは、フラッシュ１８の各々に対して、放射強度が、３８０ｎｍ（ナノメートル）〜８００ｎｍで構成される少なくとも１つの波長について、人間の目による知覚の閾値を上回ることを意味する。代替として又は加えて、放射源１０は、赤外線領域において、具体的には８００ｎｍ〜１０００ｎｍで構成される波長で放射することができる。

放射源１０によって放射された各光のフラッシュ１８ｉは、Ｅ_ｉで示される物体４への照射を有し、波長に左右される。各フラッシュｉに対して、波長の範囲内の照射Ｅ_ｉは、放射源１０の既知の特性である。放射源１０の特性は、メモリに保存される。

放射源１０の特性は、決定方法を実行する前に決定される。

波長の範囲は、最小波長値λ_ｍｉｎ及び最大波長値λ_ｍａｘによって区切られる。波長の範囲の各波長は、最小波長値λ_ｍｉｎ〜最大波長値λ_ｍａｘで構成される。波長の範囲は、フラッシュ１８を放射するため及び受けるために使用される放射源１０及びセンサ１２に左右される。

放射源１０は、光のフラッシュ１８を放射することができる。フラッシュｉの照射Ｅ_ｉは、波長の範囲における最大照射を有する。最大照射は、波長の関数としての照射Ｅ_ｉの極大値である。フラッシュｉの最大照射は、λ_ｉで示される波長である。

放射源１０がフラッシュを放射する時点は、放射時点と呼ばれる。フラッシュｉの各放射時点はｔ_ｉで示される。各フラッシュｉの放射時点ｔ_ｉは、メモリに保存されるデータである。

放射源１０は、幾つかのフラッシュ１８を連続して放射することができる。連続したフラッシュｉ、ｊの２つの放射時点ｔ_ｉ及びｔ_ｊ間の時間間隔は、例えば１ｍｓ〜２ｓで構成される。

放射源１０は、異なる色の（すなわち異なるスペクトルを有する）幾つかのフラッシュ１８を放射することができる。放射源１０は、少なくとも２０ナノメートル（ｎｍ）だけ離れた波長λ_ｉ及びλ_ｊの最大照射を有する、光１８の少なくとも２つの放射フラッシュｉ、ｊを放射することができる。

一例では、放射源１０は、４つのフラッシュ（すなわち青色のフラッシュ、赤色のフラッシュ、緑色のフラッシュ及び白色のフラッシュ）を放射することができる。図３では、各曲線１１０、１１２、１１４、１１６は、外部の光源６なしでの、それぞれのフラッシュに対する、波長の関数としての放射源１０による物体４への照射を示している。図３では、第１の曲線１１０に対応する青色のフラッシュ「ｆｌａｓｈ１」は、λ_{ｆｌａｓｈ１}の値において最大照射を有し、１１２で示される第２の曲線に対応する赤色のフラッシュ「ｆｌａｓｈ２」は、λ_{ｆｌａｓｈ２}の値において最大照射を有する。

センサ１２は、少なくとも１つの画像を形成するために、物体４によって反射された波２０を収集することができる。

例えば、センサ１２は、写真用カメラ又はカメラである。

センサ１２は、放射源１０の放射波長範囲内で光の強度を検出することができる。

波長範囲内のセンサ１２の感度は、メモリに格納されるセンサ１２の特性である。センサ１２の特性は、決定方法を実行する前に決定される。

その上、センサ１２の感知部は、放射源１０に向けて方向付けられていない。これにより、放射源１０によって放射される光のフラッシュ１８からの直接光によって反射波２０の収集が妨げられないようにすることができる。

形成された画像は、測色データを含む。形成された画像ｋの各々に対して、画像からのデータはＢ_ｋで示される。

センサ１２が画像を提供する時点は、収集時点と呼ばれる。画像ｋの各収集時点はｔ_ｋで示される。同様に、各画像ｋの収集時点ｔ_ｋは、メモリに保存されるデータである。

センサ１２は、幾つかの画像を連続して収集することができる。センサ１２は、高速である（すなわち、センサ１２は、近い収集時点で画像を形成することができる）。連続したフラッシュ画像ｋ、ｌの２つの収集時点ｔ_ｋ及びｔ_ｌ間の時間間隔は、例えば１ｍｓ〜２ｓで構成される。

図１に示されるデバイス１の実施形態では、処理ユニット１４は、放射源１０及びセンサ１２が配置される装置１６上に配置される。

処理ユニット１４は、例えばプロセッサ及びメモリを含む。

処理ユニット１４は、データを処理することができる。加えて、処理ユニット１４は、それぞれの形成された画像ｋ及び各収集時点ｔ_ｋに対するデータをセンサ１２から受信し、放射された各フラッシュｉの照射Ｅ_ｉに対する放射時点ｔ_ｉにおけるデータを放射源１０から受信することができる。

処理ユニット１４は、形成された画像から、幾つかの未知数を伴う方程式を得ることができる。以下では、得られた方程式は、解くべき方程式（１）と呼ばれる。

物体４の反射率ρ及び外側の光源６の照射Ｉは、両方とも解くべき方程式（１）の未知数である。

その上、処理ユニット１４は、解くべき方程式（１）を解くことを保証することができる。

処理ユニット１４によって解くべき方程式（１）を得ること及び解くべき方程式（１）を解くことについては、説明の続きにおいて説明する。

ここで、図２を参照してデバイス１の操作について説明する。図２は、物体４の反射率ρを決定するための方法の実装形態の第１の例のフローチャートである。

反射率ρを決定するための方法は、以下の５つのステップ：照射ステップ１００、放射ステップ１０２、収集ステップ１０４、得るステップ１０６及び解くステップ１０８を含む。

照射ステップ１００中、ｔで示される各時点において、物体４は、照射Ｉ _ｔ を有する外部の光源６による照射を受ける。

放射ステップ１０２は、デバイス１の放射源１０によって実行される。

放射ステップ１０２中、放射源１０は、放射時点ｔ_ｉにおいて、物体４に照射する光のフラッシュｉを放射する。

好ましい一実施形態では、放射ステップ中、放射源１０は、複数の光のフラッシュ１８を放射し、各フラッシュｉは、異なる放射時点ｔ_ｉに放射される。

各光の放射フラッシュ１８ｉの放射時点ｔ_ｉ及び照射Ｅ_ｉは、処理ユニット１４に送信される。

収集ステップ１０４は、デバイス１のセンサ１２によって実行される。

収集ステップ１０４中、物体４によって反射された波２０は、収集時点においてセンサ１２上で少なくとも１つの画像を形成するために収集される。

好ましい一実施形態では、収集ステップ１０４は、光の放射フラッシュ１８の各々に対して実行される。

収集時点及び形成された画像に対するデータは、処理ユニット１４に送信される。

処理ユニット１４は、放射源１０及びセンサ１２からそれぞれ形成された、フラッシュからの照射に対する、放射時点ｔ_ｉ、収集時点ｔ_ｋ及び画像におけるデータを受信する。

得るステップ１０６中、解くべき方程式（１）が得られる。

得るステップ１０６は、処理ユニット１４によって実行される。

処理ユニット１４は、それぞれの形成された画像を方程式に変換する。

例えば、各画像ｋに対して、処理ユニット１４は、画像ｋの収集時点ｔ_ｋがフラッシュの放射時点に起こるかどうかを判断する。

次いで、２つの事例が可能である。

第１の事例では、画像ｉの収集時点ｔ_ｉがフラッシュの放射時点である場合、フラッシュはｉで示され、処理ユニット１４は、画像ｋから、形成された画像ｉからのデータＢ_ｉを物体４の反射率ρにリンクする第１の方程式（２）を得る。

次いで、第１の方程式（２）は、ランバート面の事例では、以下の形態で記載される。

ただし、上式において、Ｋ_１は第１の定数であり、「^＊」は乗算演算である。また、

は、間隔［λ_ｍｉｎ，λ_ｍａｘ］において変数λの関数ｆを積分するための数学演算である。

第２の事例では、画像ｋの収集時点ｔ_ｋがフラッシュの放射時点でない場合、処理ユニット１４は、画像ｋから、形成された画像ｋからのデータＢ_ｋを物体４の反射率ρにリンクする第２の方程式（３）を得る。

次いで、第２の方程式（３）は、以下の形態で記載される。

次いで、処理ユニット１４は、解くべき方程式（１）を形成するために、少なくとも第１の方程式（２）又は第２の方程式（３）を抽出する。

有利には、解くべき方程式（１）は、幾つかの形成された画像に対して得られた第１の方程式（２）及び／又は第２の方程式（３）から形成される方程式の系である。

方程式（１）は、Ｎ１の第１の方程式（２）及びＮ２の第２の方程式（３）を含む。Ｎ１は、放射時点である収集時点に形成された画像の非ゼロの自然整数である。Ｎ２は、フラッシュ放射なしで収集時点に形成された画像の整数である。

物体４の反射率ρ及び外側の光源６の照射Ｉは、両方とも解くべき方程式（１）の未知数である。

以下では、解くべき方程式（１）は、ランバート面の場合、行列方程式の形態で容易に表せることに留意すべきである。

得るステップ１０６の終了時、解くべき方程式（１）は、処理ユニット１４を使用して得られている。

次いで、解くステップ１０８は、処理ユニット１４によって実行される。

解くステップ１０８は、解くべき方程式（１）を解くことを目的とする。

より具体的には、解くステップ１０８中、目的は、解くべき方程式（１）の解である反射率ρを求めることである。

一般的な事例では、解くべき方程式（１）の解は、観察及び／又はモデリング誤差による影響を強く受ける。

解ρに対する誤差の影響を制限するため、解くステップ１０８中に３つのサブステップを組み合わせることが提案される。

結果的に、図２の実施形態の例によれば、解くステップ１０８は３つのサブステップを含む。

解くステップ１０８の３つのサブステップ１５０、１５２、１５４は、処理ユニット１４によって連続して又は並行して実行される。

第１のサブステップ１５０中、解くべき方程式（１）の解の定義点が計算される。

処理ユニット１４は、計算すべき解の定義点Ｐの数Ｎを決定する。計算すべき解の定義点Ｐの数Ｎは、非ゼロの自然整数である。

計算すべき解の定義点Ｐの各々は、２つの座標（すなわちｘ座標及びｙ座標）を含む。

提案される例によれば、最初にｘ座標が決定され、次いで関連するｙ座標が計算される。

処理ユニット１４はＮ個の計算波長λ_Ｐを決定し、各計算波長は解の定義点のｘ座標である。

通常、例えば、計算すべき解の定義点Ｐの数Ｎは４〜１０で構成される。

例えば、計算波長λ_Ｐは、波長の範囲にわたって均等に分布する。

解の定義点Ｐの各々に対して、処理ユニット１４は、計算波長λ_Ｐと関連付けられた反射率値ρ_Ｐを計算し、反射率値ρ_Ｐは、解くべき方程式（１）を検証する。

解の定義点の各々の計算サブステップ１５０の終了時、処理ユニット１４は、複数の解の定義点Ｐを得る。解の定義点Ｐの各々は、計算波長λ_Ｐと関連付けられた反射率値ρ_Ｐを含み、反射率値ρ_Ｐは、解くべき方程式（１）を検証する。

第２のサブステップ１５２中、解の定義点Ｐの補間は、補間関数を使用して処理ユニット１４によって実行される。

第２のサブステップ１５２を実行するため、第１のサブステップ中に見出された解の定義点Ｐ、解くべき方程式（１）及び補間基準が使用される。

補間基準は、検討すべき補間関数のタイプを定義する。

一例によれば、補間基準は、補間関数の定義点が通過しなければならない解くべき方程式（１）の周りの空間を区切る。

別の例によれば、補間基準は、使用する補間関数を制限する。

従って、特定の一事例では、補間関数は、有限数ｎ_ｐの基底関数φ_ｋの重み付け組み合わせの形態で記載される。

例えば、反射率ρの補間関数は、以下の形態で記載される。

ただし、係数ａ_ｋは、基底関数φ_ｋと関連付けられた重みである。

第２のサブステップ１５２中、処理ユニット１４は、重みａ_ｋの値及び基底関数φ_ｋの形態を決定する。

例えば、補間基準によれば、処理ユニット１４は、解の定義点Ｐの各々を補間点として定義する。

或いは、第２のサブステップ１５２中、他の補間基準が使用される。

例えば、一補間基準によれば、基底関数φ_ｋは、シールされた３次スプラインである。３次スプラインは、区間によって定義される３次多項式である。関数の各区間は、２つの補間点によって区切られた波長の各間隔の３次多項式関数である。

計算された定義点に対する第２のサブステップ１５２の終了時、処理ユニット１４は、補間基準を検証する補間関数を得る。

本出願人は、解くべき方程式（１）を解くためのこの手法が非最適な解を招く場合があることを指摘している。

この問題を補うため、第１のサブステップ１５０又は第２のサブステップ１５２と同時に、第３のサブステップ１５４が実行される。

この第３のサブステップ１５４中、第１の近似及び第２の近似の中から少なくとも１つの近似が使用される。代替として又は加えて、この第３のサブステップ１５４中、処理ユニット１４によって第３の近似が使用される。

第１の近似によれば、各画像は、別個の光のフラッシュ１８の放射から導出される。

第２の近似によれば、補間関数は、解くべき方程式（１）の安定点を決定する。

第３の近似によれば、光のフラッシュ１８の放射の時点の外部の光源６の照射は、その前の時点の外部の光源６の照射と等しい。

解くステップ１０８の終了時、処理ユニット１４は、決定された反射率ρを得る。

近似の選択は、本出願人が複数の考えられる近似をテストすることによって行われる。これらの近似は、反射率を決定するための方法を信頼性が高く且つ実行し易いものにするという利点を有する。

これにより、各事例において、同じ計算時間に対してより優れた決定された反射率ρが得られる。

近似の各々に対する特定の実装形態モードを以下で概説する。

図４は、第１の近似が実行される際の反射率ρを決定するための方法の特定の一実装形態を示すフローチャートである。

図２による方法の実装形態に対するものと同じステップが実行される。

収集ステップ１０４は、同じ光のフラッシュ中に数回実行される。

第２の近似を使用することにより、各画像は異なるフラッシュからのものであると考えられる。

その結果、得るステップ１０６では、解くべき方程式（１）は、未知数より多くの方程式を含む。従って、解くべき方程式（１）は過剰決定される。

次いで、解くべき方程式（１）から複数の解くべきサブ方程式が抽出される。解くべきサブ方程式の各々は、過剰決定系を形成する。

解くステップ１０８では、各サブ方程式を解く。

これにより、解である複数の反射率ρ_{ｓｏｌｕｔｉｏｎ}が得られ、その各々により、解くべき方程式（１）を検証する。

反射率ρを決定するため、解くステップ１０８の第４のサブステップ１８０中、解である複数の反射率ρ_{ｓｏｌｕｔｉｏｎ}の平均が計算される。

例えば、平均の計算は、算術平均計算によって実行される。

別の例によれば、平均の計算は、２次平均計算によって実行される。

そのような実施形態は、追加のフラッシュを伴わないために実行し易い。具体的には、そのような方法は、精度を向上しながら同じ速度で実行される。

ここで、第２の近似が実行される際の反射率ρを決定するための方法の特定の一実装形態について説明する。

この例では、方程式の安定点における補間点の数を低減することが提案される。

第２の近似によれば、方程式の安定点は、補間関数によって決定される。

好ましくは、補間点は、波長の間隔にわたって分布し、波長の間隔は、スマートフォンの事例では、例えば３８０ナノメートル〜７８０ナノメートルで構成される。

この第２の近似は、図５〜７によって示される本出願人による作業の結果である。

誤差Ｆのディジタルシミュレーションは、反射率ρを決定するための幾つかのシミュレーションに対して行われた。

各シミュレーションでは、異なる雑音値が各画像データ及びフラッシュの各々の照射に追加される。例えば、追加された雑音は、白色ガウス雑音である。雑音は、放射源１０又はセンサ１２における異なる欠陥のモデルである。

図５は、ρ（λ）の補間関数に対して選択された補間点の数による波長λの関数としての誤差関数Ｆを示している。各曲線２００、２０２、２０４、２０６、２０８は、それぞれ９、８、７、６又は５つの補間点に対して得られている。

図５の解析は、特定の波長が他の波長より雑音による影響が大きいこと、及び補間点の数が高い（すなわち補間関数が基本関数を多く含む）ほど、解くべき方程式（１）が不安定性による影響を強く受けることを示している。

図６は、５つの補間点に対する波長の関数としての誤差関数Ｆを示している。スケールは、図５のスケールと比べて誤差関数Ｆの詳細を示すために修正されている。誤差関数Ｆは、４つの最小値２２０を有し、最小値２２０は、解くべき方程式（１）の安定点である。関数Ｆを最小化する波長に対して見出された反射率ρは、雑音による影響が少ない。

従って、その例では補間点の数は４に等しい。

有利には、補間点の数はフラッシュ１８の数に等しい。

図７では、実線の各曲線２３０は、異なる雑音シミュレーションで計算された１００の反射率ρに対する波長の関数としての反射率ρを表している。点線の曲線２３４は、他の手段によって知られている実際の反射率を表している。安定点２２０は、実際の反射率ρと、計算された反射率ρとの偏差が安定点２２０からの偏差ほど著しくない点である。

これらのシミュレーションは、第２の近似の重要性を示している。

実施形態の全てにおいて、物体の反射率ρを決定するための方法は、可変の外部の光源を用いる場合でも、物体の実際の反射率ρの信頼できるモデルを得ることを可能にする。「信頼できる」とは、補間によって決定された反射率ρが、放射源１０及びセンサ１２からの雑音に関連する誤差にほとんど左右されないことを意味する。

図８及び図９は、本出願人が決定方法を実行する利点を示している。図８及び図９では、点線の曲線２４０は、他の手段によって知られている実際の反射率

を表している。

図８では、実線の曲線２４２は、第１の近似も第２の近似も使用しない方法の実装形態で決定された反射率を表している。図９では、実線の曲線２４４は、本発明による決定方法の実装形態で決定された反射率を表している。図８及び図９の解析は、決定方法から決定された反射率が、第１の近似も第２の近似も使用しない方法から決定された反射率より、実際の反射率

に近いことを示している。

第３の近似は、解くべき方程式（１）の未知数の数を低減することを可能にする。

これにより、同じ計算時間でより優れた決定された反射率ρが得られる。本出願人にとっての課題は、決定された反射率ρの精度を損なうことなく、計算時間を減少する近似を選択することにあった。

第３の近似の特定の一実装形態を以下で概説する。

図１０は、反射率ρを決定するための方法の特定の一実装形態を示すフローチャートである。

図２による方法の実装形態に対するものと同じステップが実行される。

その上、方法は、３つの追加ステップを含む。

第１の追加ステップ１６０によれば、参照画像は、放射源１０によるフラッシュ放射なしでセンサ１２によって得られる。

以前に説明しているものと同様に、参照画像のデータを物体４のスペクトル挙動にリンクする方程式を推測することが可能である。そのような方程式は、参照方程式（４）と呼ばれる。

次いで、第３の近似を以下の通り使用することができる。第３の近似によれば、光のフラッシュ１８の放射の時点の外部の光源６の照射は、その前の時点の外部の光源６の照射と等しい。

参照方程式（４）は、外部の光源６からの照射へのアクセスを提供する。次いで、参照方程式（４）を減算するための演算を通じて、解くべき方程式（１）を解くことをより簡単にする。

この演算により、解くべき方程式（１）から１つの未知数（すなわち外部の光源６の照射）が排除され、それにより簡易化された方程式が得られる。

次いで、簡易化された方程式に対して、第１のサブステップ１５０及び第２のサブステップ１５２が実行される。

また、図１０に示される実施形態では、第２の追加ステップ１７０及び第３の追加ステップ１７２も実行される。

第２の追加ステップ１７０中、外部の光源６の照射に対する変動時間間隔が推定される。

そのような推定は、例えば、センサ１２によって得られた一連の画像を比較することによって得られる。

第３の追加ステップ１７２中、参照画像が推定変動時間間隔で得られていることを保証するために、参照画像取得頻度が決定される。

例えば、画像取得頻度は、決定された変動時間間隔の数値関係によって推測される。

そのような関係は、例えば比例関係である。

別の例によれば、そのような関係は、安全マージンの設定に至る線形関係である。

そのような実施形態は、追加の画像を得るのに十分であるために実行し易い。具体的には、追加の機器は使用されない。

実施形態の全てにおいて、物体の反射率ρを決定するための方法は、可変の外部の光源を用いる場合でも、物体の実際の反射率ρの信頼できるモデルを得ることを可能にする。「信頼できる」とは、補間によって決定された反射率ρが、放射源１０及びセンサ１２からの雑音に関連する誤差にほとんど左右されないことを意味する。

一代替形態では、センサ１２及び放射源１０は、異なる装置１６上に配置される。

一代替形態では、センサ１２及び放射源１０は、同じ装置１６上に配置され、処理ユニット１４は、装置１６から離れて位置する。

その上、方法は、センサ１２の各画像ポイントに対する観察表面の反射率を決定することを可能にすることに留意すべきである。

Claims (13)

1. 物体（４）の反射率を決定するための方法であって、
   − 不特定の照射を有する外部の光源（６）を使用して、前記物体（４）に照射するステップと、
   − 前記物体（４）に照射する少なくとも１つの光のフラッシュ（１８）を放射するステップであって、該光のフラッシュ（１８）の各々は、放射源（１０）によって放射されて、波長範囲内の既知の照射を有する、ステップと、
   − 前記物体（４）によって反射された波（２０）を収集して、センサ（１２）上で少なくとも１つの画像を形成するステップと、
   − 幾つかの未知数を伴う方程式を得るステップであって、該方程式は形成された画像から得られ、前記物体（４）の反射率及び前記外部の光源（６）の照射が前記方程式の２つの未知数である、ステップと、
   − 前記方程式を解くステップと
   を含み、
   前記方程式を解くステップは、
   − 前記方程式の解の定義点を計算するステップと、
   − 計算された定義点を補間関数によって補間するステップと、
   − 前記方程式を解くために、以下の近似：
   ・各画像が別個の光のフラッシュの放射から導出されるとする第１の近似、
   ・前記補間関数が前記方程式の安定点を決定するとする第２の近似、
   ・光のフラッシュの放射の時点の外部の光源の照射は、前記光のフラッシュの放射の時点以前の外部の光源の照射と等しいとする第３の近似
   の少なくとも１つを使用するステップと
   を含む、物体（４）の反射率を決定するための方法。
2. 前記放射源（１０）及び前記センサ（１２）は、同じ装置（１６）上に配置される、請求項１に記載の方法。
3. 複数の光のフラッシュ（１８）が放射され、
   フラッシュ（１８）の各々は最大波長照射を有し、
   前記収集するステップは、放射された光のフラッシュ（１８）の各々に対して実行され、
   少なくとも２つの光のフラッシュ（１８）は、少なくとも２０ナノメートルだけ離れた最大照射を有する、請求項１又は２に記載の方法。
4. 前記収集するステップは、同じ光のフラッシュ（１８）に対して数回実行され、
   前記得られた方程式は、方程式の過剰決定系であり、
   前記解くステップは、複数の反射率関数を得るために、前記第１の近似を使用することによって、複数の決定された方程式系に対して実行され、
   前記方法は、前記複数の反射率関数の平均を計算することによって、前記物体（４）の反射率を計算するステップをさらに含む、請求項１〜３のいずれか一項に記載の方法。
5. 前記方程式を解くステップ中に、前記第２の近似が使用され、
   前記補間関数は、具体的には３次スプラインにおける有限数の補間点によってシールされた基底関数の重み付け組み合わせであり、
   各補間点は、前記方程式の安定点である、請求項１〜４のいずれか一項に記載の方法。
6. 複数の光のフラッシュ（１８）が放射され、
   フラッシュ（１８）の各々は、最大波長照射を有し、
   前記収集するステップは、放射された光のフラッシュ（１８）の各々に対して実行され、
   前記補間点は、少なくとも以下の特性：
   − 補間点の数がフラッシュ（１８）の数と等しいこと
   を検証する、請求項５に記載の方法。
7. 前記第３の近似は、前記方程式を解くステップ中で用いられ、
   当該方法は、前記放射源によって放射されるフラッシュが存在しない場合、センサ（１２）上で少なくとも１つの画像を形成するために、前記物体（４）によって反射された波（２０）を収集することによって参照画像を得るステップを含む、請求項１〜３のいずれか一項に記載の方法。
8. 前記方程式を解くステップは、簡易化された方程式を得るために参照方程式を減算するための演算を含み、前記参照方程式は、前記参照画像から得られる、請求項７に記載の方法。
9. 当該方法は、
   ・前記外部の光源（６）の照射の変動時間間隔を推定するステップと、
   ・前記第１の近似を有効な状態に維持するために、推定した変動時間間隔から、参照画像を得るステップを反復する頻度を決定するステップと
   をさらに含む、請求項７又は８に記載の方法。
10. 不特定の照射を有する外部の光源（６）によって照射される物体（４）の反射率を決定するためのデバイス（１）であって、
    前記デバイスは、
    − 前記物体（４）に照射する少なくとも１つの光のフラッシュ（１８）を放射することができる放射源（１０）であって、光のフラッシュ（１８）の各々は、波長範囲内の既知の照射を有する放射源（１０）によって放射される、放射源（１０）と、
    − 前記物体（４）によって反射された波（２０）を収集することによって、少なくとも１つの画像を形成することができるセンサ（１２）と、
    − 以下のステップ：
    ・幾つかの未知数を伴う方程式を得るステップであって、該方程式は、形成された画像から得られ、前記物体（４）の反射率及び前記外部の光源（６）の照射が前記方程式の２つの未知数である、ステップと、
    ・前記方程式を解くステップと
    を実行することができる処理ユニット（１４）と
    を含み、
    前記方程式を解くステップは、
    − 前記方程式の解の定義点を計算するステップと、
    − 計算された定義点を補間関数によって補間するステップと、
    − 前記方程式を解くために、以下の近似：
    ・各画像が別個の光のフラッシュ（１８）の放射から導出されるとする第１の近似、
    ・前記補間関数が前記方程式の安定点を決定するとする第２の近似、
    ・光のフラッシュの放射の時点の外部の光源の照射は、前記光のフラッシュの放射の時点の以前の外部の光源の照射と等しいとする第３の近似
    の少なくとも１つを使用するステップと
    を含む、物体（４）の反射率を決定するためのデバイス（１）。
11. 前記センサ（１２）及び前記放射源（１０）は、同じ装置（１６）上に配置される、請求項１０に記載のデバイス。
12. 前記放射源（１０）は、発光画面、又は、発光ダイオードのセットである、請求項１０又は１１に記載のデバイス。
13. 前記センサ（１２）は、写真撮影装置、カメラ、マルチチャネル撮像装置及びハイパースペクトル撮像装置からなる群から選択される、請求項１０〜１２のいずれか一項に記載のデバイス。

Images