JP6885509B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、衛星搭載プラットフォーム上のセンサによって観測された画像において、雲の影下にある画像内の画素を検出および補正するための、画像処理装置、画像処理方法、および画像処理プログラムに関する。

衛星画像は、地球表面を監視することなど、極めて重要な用途に用いられる。しかしながら、画像の撮像中に雲が存在する場合、これが、画像の信頼性に大きな影響を与える。雲は画像内に現れるだけでなく、地面に影を落として、真の地面情報を遮蔽する（被覆する）。

衛星画像の場合、地面への入射太陽放射は、２つの構成要素、具体的には、直接太陽放射および拡散太陽放射を有する。雲などの物体は、直接太陽放射を減衰させることによって、影を落とす。したがって、影の下の領域は、完全な放射を受けない。結果として、そのような領域は、暗く見え、真の地面情報を遮蔽する。これらの影を除去して真の地面情報を取得することが必要である（このような技術は影分離として知られる）。

非特許文献１は、影画素を補正するために直接太陽放射の減衰率を推定する、空撮および衛星画像のための影分離法を開示している。図１９は、この方法を使用する装置のブロック図を示す。この装置は、前処理部０１、整合フィルタ導出部０２、減衰率推定部０３、影除去部０４、および出力部０５を含む。前処理部０１は、次のプロセスにおいて処理対象から除外する水域および雲画素を検出する。この検出は、スペクトル状態に基づく。整合フィルタ導出部０２は、計算される整合フィルタベクトルを、対象の影反射に合うように式（１）を用いて調整する。

Ｖ_ｍｆは、整合フィルタベクトルである
ｒ_Ｔは、整合フィルタが合わせられる標的反射である
Ｃは、非雲および非水の画素の共分散行列である

は、非雲および非水画素の平均ベクトルである。

この方法は、式（１）においてｒ_Ｔを０に設定して影を検出する。結果として生じるフィルタ（Ｖ_ｓｈ）は、次元ｋ_ｆ×１の列ベクトルであり、式中、ｋ_ｆは、共分散行列および平均ベクトルを計算するために考慮される波長域の数である。減衰率推定部０３は、フィルタＶ_ｓｈをすべての非雲および非水域画素に適用して、それぞれの画素内の影存在量を得る。この方法は、算出値が、それぞれの画素についての直接太陽放射の減衰率の相対的尺度であると仮定する。算出値は、各画像に依存した値域内での正数および負数の任意の値となる。したがって、減衰率推定部０３は、「０」が直接照明なし（完全な影）を示し、「１」が完全直接照明（影なし）を示すように、影存在量値を範囲［０，１］（０から１まで）にスケーリングする。非特許文献１内の方法は、画像内の他の暗い物体と区別できるように、中核となる一つの影を、実際の影と設定する。影除去部０４は、まず、画像二値化法により、影によって実際に被覆された画素を検出する。影除去部０４は、ヒストグラムスライス技法に基づいて、減衰率推定部０３によって得られた影存在量値のしきい値を定める。このしきい値を使用して検出された画素が、中核となる影領域を形成する。さらに、影除去部０４は、中核影領域を空間的に拡大させる。次いで、影除去部０４は、減衰率推定部０３によって決定された減衰率を用いることにより雲影形成の物理モデルに基づいて、中核影領域内の画素を補正する。出力部０５は、出力をディスプレイ（図１９には示されない）に送信する。

加えて、関連技術が、特許文献１〜特許文献３、非特許文献２〜非特許文献４に開示されている。

特開第２００２−１２２６６７号公報 特開第２００５−１５７５６１号公報 特開第２０１３−１６５１７６号公報

Richter, R. and Muller, A., "De-shadowing of satellite/airborne imagery," International Journal of Remote Sensing (Volume:26, Issue:3, August2005), Page(s):3137-3148 Xu, M., Pickering, M., Plaza, A.J. and Jia, X., "Thin Cloud Removal Based on Signal Transmission Principles and Spectral Mixture Analysis," IEEE Transactions on Geoscience and Remote Sensing (Volume: 54, Issue:3, March2016), Page(s):1659-1669 Khlopenkov, K. V., and Trishchenko, A. P., "SPARC: New cloud, snow, and cloud shadow detection scheme for historical1-km AVHHR data over Canada," Journal of Atmospheric and Oceanic technology (Volume: 24, Issue:3, March 2007), Page(s):322-343 Luo, Y., Trishchenko, A., Khlopenkov, K., "Developing clear-sky, cloud and cloud shadow mask for producing clear-sky composites at 250-meter spatial resolution for the seven MODIS land bands over Canada and North America", Remote Sensing of Environment, vol. 112, issue 12, pp. 4167-4185, December,2008

非特許文献１に開示される方法は、影検出ならびに影除去のための手法を提供する。しかしながら、この方法は、影形成中に発生する実際の現象を表す物理モデルに基づかない整合フィルタリングの方法によって、直接太陽放射の減衰率を推定する。雲に起因して影が形成されるとき、雲の光学特性が重要な役割を果たす。しかしながら、非特許文献１の方法は、減衰率を導出するために雲光学特性のモデルを考慮しない。したがって、推定減衰率が実際の減衰率とは異なる可能性がある。そのため、この方法は、放射測定的に正しい出力を保証することができない。

本発明は、上に説明された問題を解決するために開発された。本発明の目的の１つは、雲影によって被覆された画素を正確に検出し、画像内の雲影の影響を除去することができる、画像処理装置、画像処理方法、および画像処理プログラムを提供することである。

上記の問題を解消するために、本発明の第１の観点は、１つまたは複数の雲によって引き起こされる影響の検出および補正のための画像処理装置である。本装置は、各画素について、入力画像内の前記１つまたは複数の雲の透過率を計算するための雲透過率計算手段と、対応する１つまたは複数の影の位置を検出するために、前記各画素について前記入力画像における地面から各雲までの高度を推定する雲高度推定手段と、各画素について、計算された前記雲の透過率に平均化フィルタを適用することによって直接太陽放射の減衰率を計算するための減衰率推定手段と、計算された前記減衰率および前記位置を用いることにより雲影形成の物理モデルに基づいて、前記１つまたは複数の影によって影響を受けた画素を補正し、補正された前記画素を含む画像を出力することによって、前記１つまたは複数の影を除去するための影除去手段と、を備える。

本発明の第２の観点は、１つまたは複数の雲によって引き起こされる影響の検出および補正のための画像処理方法である。当該方法は、各画素について、入力画像内の前記１つまたは複数の雲の透過率を計算することと、対応する１つまたは複数の影の位置を検出するために、前記各画素について前記入力画像における地面から各雲までの高度を推定することと、各画素について、計算された前記雲の透過率に平均化フィルタを適用することによって直接太陽放射の減衰率を計算することと、計算された前記減衰率および前記位置を用いることにより雲影形成の物理モデルに基づいて、前記１つまたは複数の影によって影響を受けた画素を補正し、補正された前記画素を含む画像を出力することによって、前記１つまたは複数の影を除去することと、を含む

本発明の第３の観点は、１つまたは複数の雲によって引き起こされる影響をコンピュータに検出および補正させるための画像処理プログラムである。当該プログラムは、各画素について、入力画像内の前記１つまたは複数の雲の透過率を計算することと、対応する１つまたは複数の影の位置を検出するために、前記各画素について前記入力画像における地面から各雲までの高度を推定することと、各画素について、計算された前記雲の透過率に平均化フィルタを適用することによって直接太陽放射の減衰率を計算することと、計算された前記減衰率および前記位置を用いることにより雲影形成の物理モデルに基づいて、前記１つまたは複数の影によって影響を受けた画素を補正し、補正された前記画素を含む画像を出力することによって、前記１つまたは複数の影を除去することと、を含む。

本発明の目的は、当該プログラムが記憶されるコンピュータ可読記憶媒体によっても達成され得る。

本発明によると、雲影によって被覆された画素を正確に検出し、画像内の雲影の効果を除去することができる、画像処理装置、画像処理方法、および画像処理プログラムが提供される。

図１は、本発明に従う第１の実施形態例のブロック図である。 図２は、雲データ記憶装置内の表の例である。 図３は、Ｒ×Ｃ透過率行列の例である。 図４は、例示的な雲透過率値を描写する、図３内の透過率行列のサブセットである。 図５は、単純な平均化フィルタの例である。 図６は、図４内の画素Ｐの近傍画素を示す行列である。 図７は、図４に示されるサブセットについて透過率行列を平均化することによって得られる減衰率の行列を示す。 図８は、本発明に従う第１の実施形態例の手順のフローチャートである。 図９は、図８内のステップＳ１の手順についてのフローチャートである。 図１０は、図９内のステップＳ１１の手順についてのフローチャートである。 図１１は、本発明に従う第２の実施形態例のブロック図である。 図１２は、本発明に従う第２の実施形態例のフローチャートである。 図１３は、図１２内のステップＳ２０１の手順についてのフローチャートである。 図１４は、図１２内のステップＳ２０３の手順についてのフローチャートである。 図１５は、図１２内のステップＳ２０５の手順についてのフローチャートである。 図１６は、雲影形成の例示的な物理モデルの描写である。 図１７は、本発明に従う第３の実施形態例の図である。 図１８は、本発明に従う実施形態において使用される例示的なコンピュータ構成を示す。 図１９は、非特許文献１に記載される方法のブロック図である。

図中において、各要素は単純化および明瞭化のために示され、必ずしも縮尺通りに描かれていないことがあるが、これは当業者であれば理解可能である。例えば、雲の影の形成の物理モデルを示す図のいくつかの要素の寸法は、本願の各実施形態の理解を助けるために、他の要素に対して誇張されている場合がある。

衛星搭載プラットフォーム上のセンサによって観測される衛星画像は、地球表面に関する膨大な量の情報を提供する。多くの衛星搭載プラットフォームは、マルチスペクトルまたはハイパースペクトル画像を観測することができるセンサを有する。マルチスペクトルまたはハイパースペクトル画像は、ＲＧＢ画像の波長域よりもはるかに多い波長域で地球表面から反射されたエネルギーを記録する。観測された反射エネルギーは、地面上の物体を特徴付ける。しかしながら、観測画像内の情報の質は、観測時の大気の状態、観測の幾何などに依存する。衛星画像は、多くの場合、大気内のもや、霧、または雲による影響を受ける。大気内の雲被覆は、実践的な用途における画像の信頼できる使用に対して最も大きな影響を与える。地表の約３分の２が、年間を通して雲に被覆され、このことが雲のないシーンを得ることを困難にする。上方反射信号の遮蔽に加えて、雲は、地面に達する日射を妨げ、それにより地面に影を落とし、真の地面情報を遮蔽する。土地利用土地被覆（ＬＵＬＣ：Ｌａｎｄ Ｕｓｅ Ｌａｎｄ Ｃｏｖｅｒ）分類などの高レベル分析の用途で、雲影を有する画像が処理される場合、誤った結果が得られることになる。したがって、雲影によって被覆された画像内の部分の検出は、重要な前処理タスクである。雲影の検出後、それらを除去することは、影の下の真の地面情報を取得するという追加の利益をもたらす。地上への入射太陽放射は、２つの構成要素、詳細には、直接太陽放射および拡散太陽放射を有する。影は、雲などの遮蔽物による直接太陽放射の減衰に起因して生じる。しかしながら、影付きの部分においても、入射拡散太陽放射に起因する一部の反射が観測される。この観測された反射は、陰付きの部分における真の地面反射の取得を可能にする。

非特許文献１内の方法は、影の除去に対する手法を提供する。しかしながら、この方法は、水域画素における影の検出および除去が非常に不安定である。加えて、この方法における複雑な計算は、増大なコンピュータリソースを必要とする。この方法の主な制限は、影除去のための遮蔽物に関する情報を無視することから生じる。物理モデルを考えると、遮蔽物の光学特性は、その影を特徴付けるのに重要である。雲影の場合、雲影除去の精度は、遮蔽雲の光学特性の推定が正確に実施される場合には改善されることになる。

本発明者らの実施形態の主たる考えは、雲影除去のために雲透過率値を使用することである。影除去のために雲透過率を使用する手法は、影形成の間に起きている実際の現象（以後、「物理モデル」と呼ぶ）に基づく。

図１６は、雲影形成の例示的な物理モデルを示す。太陽から発せられる放射は、大気を透過し（一部は雲によって吸収される）、地面によって反射され、衛星側に向かって再び大気を透過する。衛星システムは、この反射光を受け取る。雲影形成の間に起こる現象を説明するために、図１６は、太陽照射の例示的な光線を描写する。ここでは、光線の１つを、光線αと呼ぶ。光線αは、太陽から生じ、地面に向かって進む。この経路上で、光線αは雲に遭遇する。光線αの一部分は、雲の上部から反射され、衛星画像内に画素（ｘ_ｃ，ｙ_ｃ）を作成する。この画像内の位置座標は、ｘ軸およびｙ軸によって示される。光線αの残りの部分は、雲を通り抜けて、多重反射（雲内部反射）などの複雑な現象を経る。他の光線の一部は、大気内に拡散される。これらのプロセスの後、光線αは、地面に達し、地点「Ａ」において反射される。反射された光線αは、地点「Ａ」における地表物体の情報を含む。この光線αは、大気を上方向に再び通り抜けて、衛星に達する。この光線αが雲に起因して減衰されるため、地点「Ａ」は、完全な照明を受け取らず、したがって、この光線が、衛星画像内に影付きの画素（ｘ_ｓ，ｙ_ｓ）を形成する。

図１６では、雲によって被覆された画素について受信された放射輝度は、地面からの反射エネルギーおよび雲表面の上側（地球側と反対の宇宙側）からの反射エネルギーを有する。画素について、雲透過率は、画素を成分分離することによって推定され得る（詳細は非特許文献２を参照されたい）。画素を成分分離することによって得られるこの透過率は、雲上側の地点における透過率である。しかしながら、地面に達する前に、放射は、雲の内部プロセスによって影響を受ける。これらの内部プロセスは、近傍画素についての雲上側反射に影響を与える。したがって、座標（ｘ_ｃ，ｙ_ｃ）によって記される画素における雲に起因する直接太陽放射の減衰は、（ｘ_ｃ，ｙ_ｃ）だけでなく、その近隣画素においても同様に雲透過率を考慮することによって推定され得る。

図１６に示される大気現象を考えると、影画素についての真の地面反射は、以下に示される式（２）によって取得され得る。式（２）において定数を除くすべての項は、特定の波長内にある。

式中、ｒは、特定の波長における影画素（ｘ_ｓ，ｙ_ｓ）についての真の地面反射である。Ｉ_ＤＮは、特定の波長の場合のその画素における、衛星センサによって記録されたデジタル数字である。ｃ_０およびｃ_１は、それぞれ、デジタル数字を放射輝度へ変換するための、特定の波長についてのオフセットおよび利得である。ｄは、天文単位での、画像を観測する時点での地球と太陽との間の距離である。Ｌ_ｐは、特定の波長の場合のその画素における大気経路放射輝度である。ｔ_ｖは、地面からセンサまでの経路上での大気透過率である。Ｅ_ｄｉｒは、特定の波長の場合の直接太陽放射である。Ｅ_ｄｉｆは、特定の波長の場合の拡散太陽放射である。Ａ_ｓは、太陽天頂角である。ｔ_ｓは、直接太陽放射が、影を発生させる雲などの遮蔽物に起因して減衰される減衰率である。式（２）において、Ｌ_ｐ、Ｅ_ｄｉｒ、Ｅ_ｄｉｆ、ｔ_ｖの値は、確立された大気モデルによって得られ得る。したがって、影画素についての真の地面反射は、式（２）内に正確な減衰率ｔ_ｓを代入することによって決定される。

図１６に描写される大気現象および式（２）におけるそれらの数学的定式化は、例示的な状況を示す。実際には、より複雑なまたはより単純な大気現象が、同様の光線について考えられ得る。

太陽から地面までの経路上の透過率は、他の気体分子、例えばＣＯ_２、水分子、雲、もやなどの、その経路に対する様々な因子によって影響を受ける。本発明者らの実施形態において、本発明者らは、この透過率が雲によってのみ影響を受け、他の因子には起因しないと仮定した。したがって、雲以外の大気の部分における太陽から地面までの経路上での透過率は、何の影響も及ぼさない。

以下に説明される実施形態は、入力画像から減衰率を推定することによって影画素を正確に検出して補正するための方法を説明する。

上で述べた問題を解決することができる本発明の各実施形態を、図面を参照して以下に説明する。以下の詳細な説明は、本質的に単なる例示にすぎず、本発明または本発明の用途および使用を制限することは意図されない。さらには、本発明の先行する背景技術において提示されたいかなる理論または以下の詳細な説明にも拘束されることも意図しない。

＜第１の実施形態例＞
＜＜画像処理装置＞＞
雲を抜ける通路を除き、太陽から地面までの経路上の大気透過率を１つと見なすと、直接太陽放射（ｔ_ｓ）の減衰は、その経路に沿った雲の透過率によって決定されることになる。遮蔽雲の透過率を推定し、それを影除去に用いることにより、補正の精度を向上させることができる。第１の実施形態において、遮蔽雲の透過率から直接太陽放射（ｔ_ｓ）の減衰率を推定して正確な影除去結果を得る画像処理装置が説明される。

図１を参照すると、第１の実施形態例の画像処理装置１００は、入力部１０、雲データ記憶装置１１、雲透過率計算部１２、雲分類部１３、雲高度推定部１４、影検出部１５、減衰率推定部１６、大気モデル化部１７、影除去部１８、および出力部１９を含む。

雲データ記憶装置１１は、雲に関するドメイン知識を記憶する。ここでは、ドメイン知識は、専門分野の知識を意味する。つまり、雲に関するドメイン知識は、雲のタイプ（クラス）、それらの典型的な地上高度、およびそれらのスペクトルシグネチャなど、専門的な雲情報を意味する。雲データ記憶装置１１は、異なるクラス（種類）の雲のスペクトルシグネチャおよび例を、雲クラスおよびそれらの典型的な地上高度のルックアップテーブルと一緒に記憶する。このテーブルは、ドメイン知識を有する専門家、または例となる画像から知識を学習してテーブルを生成することができるアプリケーションによって作成され得る。図２は、例示的な雲データ記憶装置１１を示す。テーブルの項目は、「雲タイプ」、「雲タイプラベル」、「雲高度」、および「帯域１、…、帯域７」（以後、単に「帯域」と呼ぶ）を含む。「雲タイプラベル」は、巻雲、高積雲など、雲の種類を指す。「雲高度」は、各雲タイプの典型的な地上高度を指す。「帯域」は、いくつかの波長域（１〜７）における特定の雲タイプの典型的な反射を指す。雲データ記憶装置１１内の情報は、雲分類部１３および雲高度推定部１４にとって利用可能なものである。

入力部１０は、衛星システムなどの他の外部デバイスから画像（マルチスペクトル画像）を入力する。入力部１０は、ハイパースペクトル画像を受け入れることもできる。

雲透過率計算部１２は、入力部１０から入力画像を受信し、既存の方法を使用することによって、画像内に現れる雲の透過率の推定を計算する。例えば、非特許文献２は、画素について、雲被覆の透過率が、画素内の雲の存在量に基づいて推定されるという方法を開示する。非特許文献２の方法に説明されるように、雲の透過率（Ｃ_ｔ）は、
Ｃ_ｔ＝１−ｇ （３）
として与えられ、式中、「ｇ」は、雲の相対厚さ係数である。係数ｇは、厚い雲に対する雲の相対厚さに従って０〜１まで変化する。ｇ＝１の場合、これは厚い雲を意味する。これらの雲は、透過率が０である不透明の雲である。本方法は、雲をエンドメンバと仮定し、画素を成分分離して、ｇで近似される雲存在量（画素内の相対的比率）を得る。エンドメンバは、画像内の純粋な土地被覆クラスを表す。土地被覆クラス（エンドメンバ）の選択は、用途に依存する。例えば、変化検出用途では、エンドメンバは、植生、水などである一方、植生モニタリングにおいては、エンドメンバは、スギまたはヒノキであり得る。非特許文献２内のモデルは、ｇを決定するために線形分離技法を適用する。成分分離のため、雲透過率計算部１２は、雲スペクトルを抽出する。複数の雲クラスが画像内に存在する場合、雲透過率計算部１２は、複数の雲スペクトルを抽出する。

画像内の各画素について、雲透過率計算部１２は、画素を成分分離して雲存在量を得て、式（３）によって雲透過率（Ｃ_ｔ）を計算する。非ゼロの雲存在量を有する画素は、雲によって影響を受ける画素（以後、「雲画素」と称される）である。ＲおよびＣが、それぞれ、入力画像内の行および列である場合、Ｒ×Ｃ透過行列は、図３に示されるようなものである。図３では、Ｐ_１１、…、Ｐ_ＲＣは、値の各々を記憶するための行列要素を表す。

雲透過率計算部１２は、行列内にすべての画素についての雲存在量値を設定し、それを雲分類部１３に送信する。雲透過率計算部１２はまた、行列内に雲透過率値を設定し、それを減衰率推定部１６に送信する。図４は、図３に示されるＲ×Ｃ透過行列のサブセット例を示す。画素Ｐおよび近傍領域は、図４内のＰ_ａｒｅａなどのようになる。

雲分類部１３は、入力部１０から入力画像を、また雲透過率計算部１２からすべての画素についての雲存在量値を受信する。雲分類部１３は、入力画像内の各雲画素を、巻積雲、巻層雲、高積雲、層積雲、および層雲などの雲クラスのうちの１つに分類する。雲分類部１３は、分類のために、雲データ記憶装置１１から受信された異なる雲クラスのスペクトルシグネチャおよび例を、入力画像内の画素スペクトルと比較する。入力画像は、複数の雲クラスを含んでもよい。雲分類部１３は、各画素に雲タイプラベルをラベル付けし、このラベル行列を雲高度推定部１４に送信する。

雲高度推定部１４は、雲画素についての雲タイプラベルを受信し、各雲画素の地面からの高度を決定する。雲高度推定部１４は、雲データ記憶装置１１から受信されたルックアップテーブルを使用することによって、各雲画素の高度を推定する。ルックアップテーブルは、雲タイプ（クラス）に対する大気高度のエントリを有する。雲高度推定部１４は、雲画素についての推定高度からなる行列を影検出部１５に送信する。

影検出部１５は、雲画素についての推定高度からなる行列を雲高度推定部１４から受信する。影検出部１５は、照明源（太陽）およびセンサ（衛星上）の幾何モデル（図１６を参照されたい）に基づいて、各雲画素に対応する影画素を位置特定する。幾何モデルは、非特許文献４から採用される。本発明の文脈において、本発明者らは、直下観察衛星を仮定した。その結果、画像平面と画像画素の地表投影を含む地面における平面とは、正確に平行に配置されている。画像内の画素およびその地表投影は、ｘ軸およびｙ軸について同じ座標を有する。非特許文献４内の幾何モデルを直下観察衛星条件と共に使用すると、衛星画像平面上の影画素の位置は、座標（ｘｓ，ｙｓ）として得ることができる。各値は、

として得ることができる。式中、（ｘ_ｓ，ｙ_ｓ）は、雲画素（ｘ_ｃ，ｙ_ｃ）によって形成される影画素を示す。ｈ_ｃは、雲の地上高度である。Ａ_ｓは、太陽天頂角である。Ｂ_ｓは太陽方位角であり、真北から時計回りに定義される。Ｄは、ｙ軸と真北の間の角度であり、画像が方向とは無関係に撮影されることから真北とｙ軸を含む衛星画像との間の位置関係を示すためにある。影検出部１５は、式（４）内のｈ_ｃについて雲画素（ｘ_ｃ，ｙ_ｃ）の推定高度を代入して、対応する影画素を位置特定する。影検出部１５は、入力画像内の影画素座標およびその対応する雲画素座標のすべての対を影除去部１８に送信する。

減衰率推定部１６は、雲透過率計算部１２から雲透過率値の行列を、また入力部１０から入力画像を受信する。減衰率推定部１６は、入力画像内のすべての画素について直接太陽放射の減衰率の推定値を計算する。雲は、３次元体であり、様々な構成分子を有する。その結果、入射放射線は、雲を抜ける通路に沿って、多重反射、吸収、および拡散を有する。

雲画素（ｘ_ｃ，ｙ_ｃ）に起因する直接太陽放射の減衰が、画素（ｘ_ｃ，ｙ_ｃ）における雲透過率だけでなくその近傍画素における雲透過率も同様に考慮することによって推定され得るということを考慮して、減衰率推定部１６は、受信した雲透過率行列に平均化フィルタを適用する。平均化フィルタは、平均（Ｍｅａｎ）フィルタ、ガウスぼかし（ガウス平滑化）フィルタなど、単純なフィルタまたは特別なフィルタであってもよい。平均化後に入力画像のサイズを維持するため、減衰率推定部１６は、平均化フィルタのサイズに応じて、いくつかの行および列を画像の境界までパディングする。

この実施形態においては、例として、図５に示される単純な３×３平均化フィルタが使用される。平均化フィルタは、中心セル、および中心セルの周りに近傍セルを有する。すべてのセルが、「１／９」を保持し、ｇ（１，１）、ｇ（１，２）、…、ｇ（３，３）などで示される。この平均化処理は、すべての画素に対応するローカルウィンドウ内の画素値の平均計算のためであり、計算された平均は、中心画素内に設定される。図６は、平均化フィルタの範囲内での図４の画素Ｐの近傍画素を示す。すべての画素は、ｆ（１，１）、ｆ（１，２）、…、ｆ（３，３）などで示される。中心画素Ｐの平均Ｐ_ａｖは、各画素値ｆ（１，１）、ｆ（１，２）、…、ｆ（３，３）およびフィルタ値ｇ（１，１）、ｇ（１，２）、…、ｇ（３，３）の乗算の合計である。図６に示される範囲では、平均Ｐ_ａｖは、
Ｐ_ａｖ＝ｆ（１，１）＊ｇ（１，１）＋ｆ（１，２）＊ｇ（１，２）＋、…、＋ｆ（３，２）＊ｇ（３，２）＋ｆ（３，３）＊ｇ（３，３）
＝０．５５／９＋０．６０／９＋０．６４／９＋０．７１／９＋０．７２／９＋０．７４／９＋０．７０／９＋０．６２／９＋０．５２／９
＝（０．５５＋０．６０＋０．６４＋０．７１＋０．７２＋０．７４＋０．７０＋０．６２＋０．５２）／９＝０．６４
などのように計算される。減衰率推定部１６は、各画素について平均Ｐ_ａｖを計算する。すべての画素についての計算の結果として、図７に示されるような行列が、図４の雲透過率値から得られる。図７の行列内の値は、それぞれの画素についての直接太陽放射の減衰率を示す。

減衰率推定部１６は、直接太陽放射の減衰率からなる行列である、平均化された雲透過率行列を影除去部１８に送信する。

大気モデル化部１７は、入力部１０から入力画像を受信し、ＭＯＤＴＲＡＮ（ＭＯＤｅｒａｔｅ ｒｅｓｏｌｕｔｉｏｎ ａｔｍｏｓｐｈｅｒｉｃ ＴＲＡＮｓｍｉｓｓｉｏｎ、登録商標）、ＡＴＣＯＲ（Ａｔｍｏｓｐｈｅｒｉｃ ＆ Ｔｏｐｏｇｒａｐｈｉｃ Ｃｏｒｒｅｃｔｉｏｎ、登録商標）などの確立された大気モデルによって、画像を観測する時点における大気をモデル化する。これらのモデルは、観測の時間、画像の地理的位置、季節的な特質などを考慮し、影を除去するために必要とされる大気パラメータを導出する。例えば、大気モデル化部１７は、式（２）内のＬ_ｐ、Ｅ_ｄｉｒ、Ｅ_ｄｉｆ、ｔ_ｖなどの大気パラメータを得ることができる。

影除去部１８は、影検出部１５から画像平面内の雲画素座標および対応する影画素座標のすべての対を受信する。影除去部１８はまた、減衰率推定部１６から、直接太陽放射の減衰率を、および大気モデル化部１７から、導出された大気パラメータを受信する。雲（ｘ_ｃ，ｙ_ｃ）および影画素（ｘ_ｓ，ｙ_ｓ）の各対について、影除去部１８は、導出された減衰率を用いることによって、雲影形成の物理モデルに基づいて影画素を補正する。例えば、影除去部１８は、式（２）内のｔ_ｓについて画素（ｘ_ｃ，ｙ_ｃ）における直接太陽放射の減衰率を代入して、影画素（ｘ_ｓ，ｙ_ｓ）を補正する。ｔ_ｓと一緒に、影除去部１８は、式（２）内のＬ_ｐ、Ｅ_ｄｉｒ、Ｅ_ｄｉｆ、およびｔ_ｖについて他の大気パラメータの値を代入することができる。

影除去部１８は、影除去のために補正されたマルチスペクトル画像を出力部１９に送信する。

出力部１９は、影除去部１８からの受信した補正画像をディスプレイなどの外部デバイス（図１には示されない）に送信する。
＜＜画像処理装置の動作＞＞

図８は、雲に関する必要なドメイン知識が雲データ記憶装置１１に記憶されると仮定して、画像処理装置１００の動作を描写するフローチャートを示す。

ステップＳ１において、入力部１０によって獲得される画像内の各画素について、雲透過率計算部１２は、雲の透過率（Ｃ_ｔ）を計算する。非ゼロの雲透過率値を有する画素は、雲画素と称される。この動作は、後で詳細に説明される。雲透過率計算部１２は、入力画像内の各画素についての雲の存在量も計算する。雲透過率計算部１２は、雲の透過率を減衰率推定部１６に送信し、雲の存在量を雲分類部１３に送信する。

ステップＳ２において、雲分類部１３は、入力画像内の各雲画素を、そのスペクトル応答と雲データ記憶装置１１に記憶されたルックアップテーブルなどのドメイン知識とを比較することによって、特定の雲クラスに分類する。雲分類部１３は、任意の教師付き分類技法、例えば、最近傍、決定木、スペクトル角マッパー、ｋ近傍、サポートベクタマシン、人工ニューラルネットワーク、畳み込みニューラルネットワーク、および深層ニューラルネットワークを使用することができるが、これらに限定されるものではない。雲分類部１３は、雲データ記憶装置１１から受信したスペクトルシグネチャおよび例を使用して教師付き分類器を訓練することができる。

ステップＳ３において、雲高度推定部１４は、各雲画素の高度を推定することができる。より詳細には、雲高度推定部１４は、雲データ記憶装置１１内のルックアップテーブルを使用することによって、各雲画素の地上高度を決定する。

ステップＳ４において、大気モデル化部１７は、大気パラメータを導出する。より詳細には、大気モデル化部１７は、入力画像を観測する時点の大気をモデル化し、大気パラメータのための値を得る。例えば、大気モデル化部１７は、式（２）のＬ_ｐ、Ｅ_ｄｉｒ、Ｅ_ｄｉｆ、ｔ_ｖなどの大気パラメータを導出するために、ＭＯＤＴＲＡＮ（登録商標）およびＡＴＣＯＲ（登録商標）などの確立された大気モデルを利用することができる。大気モデル化部１７は、大気パラメータを影除去部１８に送信する。

ステップＳ５において、減衰率推定部１６は、雲被覆の透過率（雲透過率）に平均化フィルタを適用する。例えば、減衰率推定部１６は、雲透過率行列をフィルタリングして、雲に起因する直接太陽放射の減衰率を推定する。

ステップＳ６およびＳ７は、すべての雲画素について実行される。ステップＳ６において、雲画素について、影検出部１５は、雲高度推定部１４による推定高度を用いることにより式（４）内の幾何モデルに基づいて対応する影画素を位置特定する。

ステップＳ７において、影除去部１８は、影除去のために、位置特定された影画素を補正する。より詳細には、影除去部１８は、式（２）において、ｔ_ｓについては直接太陽放射の導出された減衰率、およびステップＳ４によって得られた他のパラメータを代入することによって、位置特定された影画素を補正する。

画像処理装置１００の動作はこれで終了である。

次に、上で述べたステップＳ１の動作が詳細に説明される。図９は、ステップＳ１の動作のフローチャートを示す。

まず、ステップＳ１１において、雲透過率計算部１２は、入力マルチスペクトル画像内に存在するすべてのタイプの雲のスペクトルを抽出する。この動作は、後で詳細に説明される。

ステップＳ１２において、雲透過率計算部１２は、入力画像内の雲以外のエンドメンバのスペクトルを抽出する。雲以外のエンドメンバの最大数は、既存の方法における制約に起因してＬより２つ少ない数に自動的に制限される。Ｌは、入力画像内に存在する波長域の数である。

代表画素が、画像内のエンドメンバについて特定される場合、代表画素の平均スペクトルが、エンドメンバスペクトルと見なされ得る。しかしながら、一般的に、そのような代表画素は、容易に利用可能ではない。代替的に、雲透過率計算部１２は、Ｐｉｘｅｌ Ｐｕｒｉｔｙ Ｉｎｄｅｘ、Ｎ−ＦＩＮＤＲ、およびＶｅｒｔｅｘ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ（ＶＣＡ）などの周知の教師なしエンドメンバ抽出アルゴリズムによって抽出を実施することができる。代替的に、雲透過率計算部１２は、スペクトル的に類似した画素をクラスタリングするために教師なしクラスタリングアルゴリズムをまず使用することによって抽出を実施することができる。次いで、雲透過率計算部１２は、それぞれのクラスタを用いてエンドメンバを選択し、雲スペクトルと類似していないスペクトルのみを考慮する。

ステップＳ１３〜Ｓ１５は、画像内のすべての画素について実行される。

ステップＳ１３において、ある画素について、雲透過率計算部１２は、抽出された雲スペクトルの中から雲スペクトルを選択して、画素を成分分離する。この選択は、雲スペクトルおよび画素スペクトルについての空間またはスペクトル近似尺度に基づき得る。このプロセスの目的は、画素スペクトルに混合された可能性が最も高い雲スペクトルを選択することである。

ステップＳ１４において、雲透過率計算部１２は、一画素を成分分離して雲存在量を得る。より詳細には、雲透過率計算部１２は、画素内の雲と共にすべてのエンドメンバの分画存在量を決定する。画素スペクトルについては、雲透過率計算部１２は、逐次最小２乗手法、すなわち完全拘束の線形混合分析によって、エンドメンバスペクトルおよび雲スペクトルの線形混合の係数を決定する。線形混合モデルの係数は、エンドメンバおよび雲の分画存在量である。雲透過率計算部１２は、エンドメンバスペクトルおよび雲スペクトルがそれぞれの計算された分画存在量によってスケーリングされ、線形に追加される場合に、所与のスペクトルが得られるように、所与のスペクトルを分離する。上の説明に基づいて、雲透過率計算部１２は、雲の分画存在量、すなわち、ｇ（雲の相対厚さ因子）を得る。

雲存在量を計算した後、ステップＳ１５において、雲透過率計算部１２は、式（３）によって、各画素について雲透過率を計算する。

ステップＳ１の特定の動作の説明はここで終了である。

次に、上で述べたステップＳ１１の動作が詳細に説明される。図１０は、ステップＳ１１における動作のフローチャートを示す。
まず、ステップＳ１０１において、雲透過率計算部１２は、式（５）によって、受信したマルチスペクトル画像（Ｉ）をグレースケール強度画像（Ｉ_ｍ）に変換する。式中、ｉ＝１、…、Ｒであり、ｊ＝１、…、Ｃである（ｋは、入力画像内の波長域に対応する変数である）。

ステップＳ１０２において、雲透過率計算部１２は、雲によって影響を受けた可能性のある画素を検出するためにテクスチャ尺度（テクスチャ平均）を計算する。画像のテクスチャは、濃度共起行列（ＧＬＣＭ）によって評価され得る。エントロピー、コントラスト、分散、および平均など、異なる数量がＧＬＣＭから導出され得る。最も好ましい尺度は、ＧＬＣＭ平均である。グレースケール強度画像から、雲透過率計算部１２は、画像内の各画素についてローカルウィンドウ内でＧＬＣＭを使用したテクスチャ平均（ＧＬＣＭ平均値）を計算する。ステップＳ１０２の詳細な説明は次に続く。

ある画素について、ローカルウィンドウ内で、ＧＬＣＭを導出するために、雲透過率計算部１２は、共起行列を生成し、この行列の要素は、ある特定の変位δ＝（ｓ，θ）におけるウィンドウ内での強度レベルｉおよびｊの発生の周波数Ｐ_δ（ｉ，ｊ）（ｉ＝０、１．．．Ｑ−１、ｊ＝０、１．．．Ｑ−１）である。Ｑは、量子化強度レベルの最大値である。ｓは、強度レベルｉを有する画素とｊを有する画素との間の距離であり、θは、画像内の強度レベルｉおよびｊを繋ぐ線の、水平軸に対する配向である。特徴値は、導出されたＧＬＣＭ行列から計算され、画像の特徴情報（テクスチャなど）は、これらの値によって特徴づけられる。

ＧＬＣＭを決定するには、入力強度レベルの量子化が、多くのゼロを有する疎なＧＬＣＭを避けるために推奨される。量子化レベル（Ｑ）は、２から入力画像内の強度レベルまで変化し得る。最も好ましいのは、８レベル量子化である。ｉおよびｊは、ウィンドウ内のＱレベル量子化強度レベルに対応する。

など、導出されたＧＬＣＭから、ＧＬＣＭ平均（Ｇ_ｍｅａｎ）が計算され、式中、Ｐ（ｉ，ｊ）は、導出されたＧＬＣＭ内の強度レベルｉおよびｊの値を示す。これは、強度レベルｉおよび強度レベルｊの対が、どれくらいの頻度でウィンドウ内の特定の距離において特定の配向で発生したかを示す。例えば、導出されたＧＬＣＭ内の（７，２）における要素は、強度レベル７および２が、何回、画素周辺の量子化ローカルウィンドウ内で一緒に発生したかを示す。

配向は、水平（０°）、垂直（９０°）、対角線１（４５°）、または対角線２（１３５°）と見なされ得る。最も好ましい配向は、強度レベル間に単位距離を有する水平（０°）配向である。

ステップＳ１０３において、雲透過率計算部１２は、すべての画素のＧＬＣＭ平均値を範囲［０，２５５］までスケーリングする。

ステップＳ１０４において、雲透過率計算部１２は、既定のしきい値よりも大きいＧＬＣＭを有する画素を、雲によって影響を受けた可能性のある画素として選択する。画像に対する平均的なＧＬＣＭ平均は、画像の大半のためのしきい値として役立つ。

ステップＳ１０５において、雲透過率計算部１２は、ステップＳ１０４において選択された画素についてＧＬＣＭ平均値のヒストグラムを導出する。

ステップＳ１０６において、雲透過率計算部１２は、ヒストグラム内の各ＧＬＣＭ平均レベルの極大値（ピーク）のピーク度測度を、

として計算する。式中、「Ｖ_ａ」は、ピーク前の最も近い谷の高さであり、「Ｖ_ｂ」は、ピーク後の最も近い谷の高さであり、Ｐは、ピークの高さであり、Ｑは、ピークの隣接する谷同士の距離として見られる、ピークの広がりである。所与の問題の文脈において、ＧＬＣＭ平均値のヒストグラムは、多くのレベルでゼロを有する疎である。したがって、ピーク度測度を計算する場合、隣接する非ゼロの谷が考慮される。

ステップＳ１０７において、雲透過率計算部１２は、ピーク度測度が既定のしきい値よりも大きいヒストグラム内のＧＬＣＭ平均レベルを選択する。

ステップＳ１０８およびＳ１０９は、すべての選択されたＧＬＣＭ平均レベルについて実行される。

ステップＳ１０８において、選択されたＧＬＣＭ平均レベルについて、雲透過率計算部１２は、選択されたＧＬＣＭ平均レベルに等しいＧＬＣＭ平均を有するすべての画素の平均スペクトルを計算する。ステップＳ１０９において、雲透過率計算部１２は、計算された平均スペクトルを、入力画像内に存在する雲スペクトルとして判定する。ステップ１０９における動作の最終出力は、入力画像内に存在する雲スペクトルのセットである。

雲透過率計算部１２の特定の動作およびステップＳ１１はここで終了である。

本発明に従う第１の実施形態例のプロセスにおいて上に説明されるステップの一部には代替案が存在し得る。

例えば、図８内のステップＳ１のプロセスにおいて、雲透過率計算部１２は、天空のスペクトル特性によって重みが決められる一方で、式（５）の代わりに重み付け平均処理によって、図１０のステップＳ１０１において入力マルチスペクトル画像からグレースケール強度画像を導出することができる。
＜第１の実施形態例の効果＞

本発明に従う第１の実施形態例の画像処理装置１００は、雲影に被覆された画素を正確に検出し、画像内の雲影の効果を除去することができる。その理由は、雲透過率計算部１２が、雲影除去のために雲透過率値を計算し、減衰率推定部１６が、影形成の物理モデルを考慮し、遮蔽雲の光学特性（雲透過率）から直接太陽放射の減衰率を推定するからである。加えて、雲影は、雲データ記憶装置１１内のドメイン知識を使用して影検出部１５によって正確に位置特定される。減衰率推定部１６におけるプロセスは、非特許文献１の方法を演算的に複雑にする共分散行列の計算を回避する。加えて、画像処理装置１００は、影除去のために水域画素を検出する必要がなく、このことは、先行技術の非特許文献１における方法が水域画素の排除に非常に不安定であることから、有利である。頻繁に発生することだが、図１９の前処理部０１が水域画素を正確に検出することができない場合、本方法は、影画素とみなした過補正を実施する。この問題は、画像処理装置１００におけるプロセスが水域画素の除去を必要としないため、画像処理装置１００によって軽減される。組み合わせた結果として、画像処理装置１００は、雲の影をより高い精度で検出および補正することができる。

＜第２の実施形態例＞
第１の実施形態例において、画像処理装置１００は、雲影で被覆された画素を検出し、それらを補正して、遮蔽雲の光学特性を使用することにより真の地面反射を正確に取得することができる。検出および補正の精度は、入力画像自体から入力画像内の雲の高度を推定することによってさらに向上され得る。画像内で、雲によって投じられた影画素を、雲の光学特性に基づいて補正するには、影画素と遮蔽雲の画素との正確な対応を確立することが必要不可欠である。この対応は、遮蔽雲の高度の推定が正しい場合にのみ正確である。第２の実施形態では、ドメイン知識なしに画像自体から画像内の遮蔽雲の高度を見出すことができる画像処理装置が説明される。
＜＜画像処理装置＞＞

図１１は、本発明に従う第２の実施形態例の画像処理装置２００の構成を示すブロック図である。画像処理装置２００は、入力部１０、雲マップ検出部２１、雲オブジェクト検出部２２、影マップ検出部２３、影オブジェクト検出部２４、雲高度推定部２５、影オブジェクト拡大部２６、雲透過率計算部１２、減衰率推定部１６、大気モデル化部１７、影除去部１８ａ、および出力部１９を含む。

雲マップ検出部２１は、入力部１０から受信される入力画像内の雲画素を、空間およびスペクトル特性に基づいて検出し、具体的には、雲は、画像内の幅広い領域を均質のテクスチャで被覆し、可視から中赤外帯域まで幅広い波長にわたって高反射を示す。雲マップ検出部２１は、ＧＬＣＭ平均を用いることによりテクスチャ尺度でこれらの特性を評価することができる。代替的に、雲マップ検出部２１は、単位長さあたりのエッジ、空間変動などの尺度に基づいて強度レベル平坦性を特定することができる。

雲マップ検出部２１は、強度レベル勾配値に基づいて、強度レベルの急な変化のない領域を検出するようにフィルタを設計することができる。勾配値は、Ｐｒｅｗｉｔｔ、Ｓｏｂｅｌ、Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ、またはＣａｎｎｙエッジ検出器などのフィルタ関数の適用によって計算され得る。代替的に、標準偏差が、強度勾配の尺度として使用され得る。さらには、雲マップ検出部２１は、形状のフィルタ、および／または特定の土地被覆クラスのスペクトル反射特性に基づいた特定の土地被覆クラスのためのフィルタを用いることができる。

雲とは異なり、人工物体は、明確な定まった形状を有する。雲マップ検出部２１は、入力画像内の物体の形状を決定し、推定雲マップから定まった形状を有する物体を除去する。

定まった形状の除去に加えて、雲マップ検出部２１は、入力画像内の植生、雪、水、市街地などの特定の土地被覆クラスを評価することができる。評価のため、雲マップ検出部２１は、スペクトル指標、例えば、限定されるものではないが、正規化差分植生指標、正規化差分雪指標、正規化市街地差分指標、正規化差分水指標、正規化差分泥指標、および正規化燃焼率を用いることができる。

雲マップ検出部２１は、雲画素を検出するために、上に述べられた特性およびフィルタの組み合わせを用いる。雲マップ検出部２１は、雲画素に関する情報を含む雲マップを作成する。例えば、雲マップは、各画素が雲画素のセットに属する確率で構成される行列であり得るか、または、雲マップは、検出された雲画素には値「１」およびその他には値「０」を用いる２値行列であり得る。雲マップ検出部２１は、雲マップを雲オブジェクト検出部２２に送信する。

雲オブジェクト検出部２２は、雲マップ検出部２１から雲マップを受信し、マップ内で連結した画素を見出す。連結した画素のグループが、画像内でオブジェクトを形成する。雲マップ内の各オブジェクトは、入力画像内の雲に対応する。雲オブジェクト検出部２２のプロセスの目的は、入力画像内の雲を個々のオブジェクトとして特定することである。

雲オブジェクト検出部２２では、連結した画素を見出すために、画素の４近傍連結評価または８近傍連結評価を使用してもよい。画素連結性は、画素と近傍画素との関連性を示す。４近傍画素は、個々の画素における近傍画素であり領域境界に接触する画素を取り出す。これらの画素は、水平および垂直に連結される。８連結画素は、個々の画素における近傍画素であり領域の角や境界に接触する画素を取り出す。これらの画素は、水平、垂直、および対角線上に連結される。最も好ましい連結評価は、画素の８近傍連結評価である。

代替的に、雲オブジェクト検出部２２は、各雲オブジェクトのシードを規定した後に領域拡張技法によって雲オブジェクトを見出すことができる。

雲オブジェクト検出部２２は、見出した雲オブジェクトの各々にラベルを割り当てる。雲オブジェクト検出部２２は、雲マップ内のすべての雲画素に、それらが属する雲オブジェクトのラベルをラベル付けする。雲オブジェクト検出部２２はラベル付けされた雲オブジェクトマップを雲高度推定部２５に送信する。

影マップ検出部２３は、入力部１０から入力画像を受信し、雲影によって被覆される画素を検出する。雲に起因して形成される影は、遮蔽雲と類似の空間特性、例えば、形状、テクスチャ、および変動を呈する。結果として、雲マップ検出部２１について説明される特性およびフィルタが、影マップを検出するために同様に適用され得る。しかしながら、影領域におけるスペクトル応答は低い。

グレースケール強度画像において、影画素は暗く見える一方、雲画素は明るく見える。したがって、影マップ検出部２３は、入力マルチスペクトル画像から得られたグレースケール強度画像の補数を算出する。この補数算出処理は、暗いオブジェクトを明るくし、明るいオブジェクトを暗くする。次いで、影マップ検出部２３は、雲マップ検出部２１と類似した処理を実施して、影の下の画素（以後、「影画素」と称される）を検出することができる。

影画素を検出した後、影マップ検出部２３は、影画素に関する情報を含む影マップを作成する。例えば、影マップは、各画素が影画素のセットに属する確率で構成される行列であり得るか、または、影マップは、検出された影画素には値「１」およびその他には値「０」を用いる２値行列であり得る。影マップ検出部２３は、影マップを影オブジェクト検出部２４に送信する。

影オブジェクト検出部２４は、影マップ検出部２３から影マップを受信する。影オブジェクト検出部２４の動作は、雲オブジェクト検出部２２に類似する。双方が、マップを入力として受信し、入力内に連結したオブジェクトを見出す。影オブジェクト検出部２４および雲オブジェクト検出部２２の入力の差は、前者が影マップであり、後者が雲マップであることである。

影オブジェクト検出部２４は、影マップ内のすべての影画素に、それらが属する影オブジェクトのラベルをラベル付けする。影オブジェクト検出部２４は、ラベル付けされた影オブジェクトマップを雲高度推定部２５に送信する。

雲高度推定部２５は、雲オブジェクト検出部２２から雲オブジェクトマップを、影マップ検出部２３から影マップを、および影オブジェクト検出部２４から影オブジェクトマップを受信する。雲高度推定部２５は、上の入力に基づいて、すべての雲オブジェクトについて推定される高度を計算する。

雲高度推定部２５は、影が、画像のある特定の方向に形成されること、および雲影が、遮蔽雲と類似の形状を有することに基づいて、雲−影の対を見出す。雲高度推定部２５は、可能性のある雲高度の範囲の最小から最大まで単位ステップで雲高度を増分し、式（４）内の幾何モデルに基づいて影の推定位置を見出す。

雲高度推定部２５は、雲オブジェクトを各推定位置へとシフトし、シフトされた雲オブジェクトと影マップとの重複を計算する。雲高度推定部２５は、重複が最大である位置を、雲の一致した影の位置として選択する。雲高度推定部２５は、一致した影が見出される高度を、その影の遮蔽雲の高度として判定する。

雲高度推定部２５は、一致した影が属する影オブジェクトを見出し、その影オブジェクトの遮蔽雲の見出された高度を記憶する。雲高度推定部２５は、一致した影オブジェクトマップを影オブジェクト拡大部２６に送信する。

一致した影オブジェクトマップは、雲オブジェクトのうちのいずれか１つと一致していることが見出された影オブジェクトを有する。加えて、雲高度推定部２５は、遮蔽雲オブジェクトの推定高度を影除去部１８ａに送信する。

影オブジェクト拡大部２６は、雲高度推定部２５から一致した影オブジェクトマップを受信する。影オブジェクト拡大部２６は、マップ内の影オブジェクトの領域を、影領域境界を含むように空間的に拡大（増大）する。影オブジェクト拡大部２６は、モルフォロジー膨張処理を用いることができる。

影除去部１８ａは、入力画像、影オブジェクト拡大部２６から補正されるべき影オブジェクトマップ、雲高度推定部２５から遮蔽雲の高度推定、減衰率推定部１６から直接太陽放射の減衰率、および大気モデル化部１７から大気パラメータを受信する。

影オブジェクト内の各画素について、影除去部１８ａは、式（４）内のｈ_ｃに対して遮蔽雲の（影オブジェクトの）推定高度を代入することによって、対応する雲画素を見出す。見出した雲画素の減衰率を使用して、影画素は、式（１）内のモデルなどの雲影形成の物理モデルに基づいて補正される。

他の部は、第１の実施形態例と同じである。
＜＜画像処理装置の動作＞＞

図１２は、画像処理装置２００の動作を描写するフローチャートを示す。

はじめに、ステップＳ２０１において、雲マップ検出部２１は、入力部１０から入力画像を受信し、雲マップを得るために入力画像内の雲（雲画素）によって影響を受けた画素を検出する。この動作は、後で詳細に説明される。

ステップＳ２０２において、雲オブジェクト検出部２２は、画像内の個々の雲オブジェクトを得るために、８連結性の画素を使用して、連結した領域を雲マップ内の雲オブジェクトとして見出し、各雲画素に、それが属する雲オブジェクトのラベルでラベル付けする。単一のラベル付けされていない雲画素から開始して、雲オブジェクト検出部２２は、画素の８連結の近傍を１つのオブジェクトへと含める。この包含プロセスは、オブジェクト内の画素のすべての８連結のラベル付けされていない近傍が同じオブジェクト内に含まれるまで継続する。包含プロセスの完了後、１つの雲オブジェクトが見出される。次いで、次のラベル付けされていない雲画素が、画像内の次の雲オブジェクトを規定し、このプロセスは、すべての雲画素がそれらの雲オブジェクトラベルを受信するまで継続する。

ステップＳ２０３において、影マップ検出部２３は、影マップを得るために、入力画像内の雲影（影画素）によって被覆された画素を検出する。この動作は、後で詳細に説明される。

ステップＳ２０４において、影オブジェクト検出部２４は、個々の影オブジェクトを得るために、影マップ内の影オブジェクトとして、連結した領域を見出す。ステップＳ２０４の動作は、ステップＳ２０２の動作と同じである。

ステップＳ２０５において、雲高度推定部２５は、すべての雲オブジェクトの高度を見出し、それらの対応する影を位置特定する。この動作は、後で詳細に説明される。

ステップＳ２０６の動作は、図８内のステップＳ４の動作と同じである。ステップＳ２０７の動作は、図８内のステップＳ１の動作と同じである。ステップＳ２０８の動作は、図８内のステップＳ５の動作と同じである。ステップＳ２０９からＳ２１１は、すべての影オブジェクトについて実行される。

ステップＳ２０９において、影オブジェクト拡大部２６は、グレースケールのモルフォロジー膨張処理によって影オブジェクトの領域境界を含むように空間的に影オブジェクトの領域を拡大（増大）する。モルフォロジー膨張処理は、入力画像内の明るい形状を拡大する。グレースケールのモルフォロジー膨張処理は、以下に示されるように規定される。

式中、Ｉは、入力グレースケール強度画像であり、Ｈは、構造要素であり、（ｕ，ｖ）は、画像Ｉ内の画素座標であり、（ｉ，ｊ）は、構造要素Ｈ内の座標である。構造要素は、モルフォロジー膨張処理を実施するための所与の画像を調査するために使用される形状である。任意の好適な構造要素が使用され得る。本実施形態では、ディスク形状の構造要素が用いられる。

ステップＳ２１０およびＳ２１１は、影オブジェクト内のすべての画素について実行される。入力画像内に複数の影オブジェクトが存在する場合、ステップＳ２１０およびＳ２１１は、影オブジェクトの数だけ繰り返される。

ステップＳ２１０において、影画素について、影除去部１８ａは、対応する雲画素を位置特定する。より詳細には、影除去部１８ａは、その画素が属する影オブジェクトを確認する。影除去部１８ａは、対応する雲画素およびその減衰率を見出すために、影オブジェクトに対応する遮蔽雲について推定された高度を式（４）内のｈ_ｃとして代用する。

ステップＳ２１１において、影除去部１８ａは、影除去のために影オブジェクトの画素（影画素）を補正する。より詳細には、影除去部１８ａは、影画素を補正するために、減衰率ｔ_ｓに対してステップＳ２１０で得られた減衰率ｈ_ｃ、および、式（１）内のステップＳ２０６で得られた他の大気パラメータを代入する。

画像処理装置２００の動作はこれで終了である。

次に、上で述べたステップＳ２０１の動作が詳細に説明される。図１３は、ステップＳ２０１における動作のフローチャートを示す。

ステップＳ２０１１の動作は、図１０のステップＳ１０１の動作と同じである。

ステップＳ２０１２において、雲マップ検出部２１は、暗いオブジェクトをより暗く、明るいオブジェクトをより明るくするようにコントラストストレッチング処理を実施する。コントラストストレッチングは、背景からの雲の区別を改善する。

ステップＳ２０１３〜Ｓ２０１５の動作は、それぞれ、図１０内のステップＳ１０２〜Ｓ１０４の動作と同じである。

図１２内のステップＳ２０１の動作はこれで終了である。

次に、上で述べた図１２内のステップＳ２０３が詳細に説明される。図１４は、ステップＳ２０３における動作のフローチャートを示す。

ステップＳ２０３１の動作は、図１０内のステップＳ１０１の動作と同じである。

ステップＳ２０３２において、影マップ検出部２３は、暗いオブジェクトを明るくし、明るいオブジェクトを暗くするようにグレースケール強度画像を補数計算する。例えば、画像内の強度レベルをその画像についての最大可能強度レベルから減算することにより、画像の補足を与えることができる。

ステップＳ２０３３〜Ｓ２０３５の動作は、それぞれ、図１０内のステップＳ１０２〜Ｓ１０４の動作と同じである。

図１２内のステップＳ２０３の動作はこれで終了である。

次に、上で述べた図１２内のステップＳ２０５が詳細に説明される。図１５は、ステップＳ２０５における動作のフローチャートを示す。雲の最小および最大範囲は、地球大気内に存在する雲の一般的な高度を考慮して事前に設定される。例えば、空中に、より低い雲は、約３ｋｍから現われ、上層の雲は、最大で約１５ｋｍ上に現れる。

ステップＳ２０５１およびＳ２０６０は、すべての影オブジェクトについて実行される。

ステップＳ２０５１において、雲高度推定部２５は、雲高度の範囲の最小までの雲高度（ｈ）を暫定的な値として、および雲高度（ｈ）によって決定される影オブジェクトと影マップとの最大重複率（ｍａｘ＿ｏｖｅｒｌａｐ）を示す最大重複を０に設定する。ｍａｘ＿ｏｖｅｒｌａｐの値は、最大重複を見出すように反復の間ずっと繰り返し更新されている。反復の度に、現在の反復における重複が、現在のｍａｘ＿ｏｖｅｒｌａｐ値よりも大きい場合、アルゴリズムは、ｍａｘ＿ｏｖｅｒｌａｐを現在の反復における重複値と置き換える。

ステップＳ２０５２において、雲高度推定部２５は、雲高度（ｈ）が、雲高度の範囲の最大以上であるかどうかを確認する。

雲高度（ｈ）が雲高度の範囲の最大以上である場合、プロセスは、ステップＳ２０５８へと進み、そうでない場合は、プロセスは、ステップＳ２０５３へと進む。

ステップＳ２０５３において、雲オブジェクトについて、雲高度推定部２５は、雲高度（ｈ）の現在の値をｈ_ｃとして使用することにより式（４）内の幾何モデルに基づいて、影オブジェクトを位置特定する。位置特定された影オブジェクトと影マップとの重複の割合は、以下に示されるように計算される。

式中、Ｐ_ｏは、重複の割合であり、Ｎ_ｃは、位置特定された影オブジェクトと影マップとで共通する画素の数であり、Ｎ_Ｔは、位置特定された影オブジェクト内の画素の総数（対応する雲オブジェクトと同じ）である。「ｈ」の値が雲（雲オブジェクトに対応する）の実際の高度と一致する場合、位置特定された影オブジェクトの形状およびマップも、ほぼ完全に重複する。したがって、雲オブジェクトの高度を徐々に増大することによって、雲高度推定部２５は、位置特定された影オブジェクトと影マップとが完全またはほぼ完全に重複する高度を、雲が実際に存在する高度として見出すことができる。

ステップＳ２０５５において、雲高度推定部２５は、計算された重複の割合（Ｐ_ｏ）がｍａｘ＿ｏｖｅｒｌａｐ以上であるかどうかを確認する。

計算された重複の割合（Ｐ_ｏ）がｍａｘ＿ｏｖｅｒｌａｐよりも大きい場合、ｍａｘ＿ｏｖｅｒｌａｐは、計算された重複の割合（Ｐ_ｏ）によって置き換えられ、ｈの値は、ステップＳ２０５６において雲オブジェクトｈ_ｃの高度として保持される。

計算された重複の割合（Ｐ_ｏ）がｍａｘ＿ｏｖｅｒｌａｐよりも小さい場合、雲高度推定部２５は、ステップＳ２０５７においてｈを、ｈ＝ｈプラス１０メートルなど、単位ステップだけ増分し、ステップＳ２０５２に戻る。

ステップＳ２０５２において、雲高度（ｈ）が雲高度の範囲の最大以上である場合、ステップＳ２０５８において、雲高度推定部２５は、最後に記憶されたｈ_ｃを雲オブジェクトの高度として、ｈ_ｃについての位置特定された影を一致した影として判定する。

ステップＳ２０５９において、雲高度推定部２５は、多数決によって、一致した影が属する影オブジェクトを見出す。雲高度推定部２５は、一致した影内の最大数の画素が属する影オブジェクトを選択する。

ステップＳ２０６０において、雲高度推定部２５は、見出した影オブジェクトの高度ｈ_ｃを遮蔽雲の高度として記憶する。

雲の高度を見出すための上に説明される手順は、雲高度の可能性のあるすべての値を確認することにより総当たり手法をとる。

雲高度推定部２５の特定の動作および図１２内のステップＳ２０５はここで終了である。

本発明に従う第２の実施形態例のプロセスにおいて上に説明されるステップの一部には代替案が存在し得る。

例えば、図１２内のステップＳ２０１およびＳ２０３のプロセスにおいて、影マップ検出部２３は、天空のスペクトル特性によって重みが決められる一方で、式（５）の代わりに重み付け平均処理によって、図１３のステップＳ２０１１において入力マルチスペクトル画像からグレースケール強度画像を導出することができる。

図１２内のステップＳ２０１のプロセスにおいて、図１３内のステップＳ２０１２は、ステップＳ２０１３において量子化レベルを適切に調節することによってスキップされてもよい。

図１２内のステップＳ２０３のプロセスにおいて、図１４内のステップＳ２０３２は、ステップＳ２０３５においてプロセスを適切に調整することによってスキップされてもよい。画像の補足がステップＳ２０３２において行われない場合、影マップ検出部２３は、均質なテクスチャを有する暗い画素を影画素として見出すことができる。

図１２内のステップＳ２０５のプロセスにおいて、総当たり手法をとるのではなく、雲高度推定部２５は、雲クラスおよびそれらの典型的な高度に関するドメイン知識による検索のために雲高度の最小値および最大値を設定することができる。さらに、特定の波長域が画像内に存在する場合、雲高度の初期値は、非特許文献３に説明される方法によって推定され得る。
＜第２の実施形態の効果＞

本発明に従う第２の実施形態の画像処理装置２００は、入力画像内の雲影についての遮蔽雲の高度を入力画像自体から見出す。画像処理装置１００は、雲記憶装置に記憶された雲クラスおよびその典型的な高度に基づいて遮蔽雲の高度を決定する。しかしながら、ドメイン知識は、雲クラスについての潜在的な高度の範囲を提供するだけであり、正確な高度は提供することができない。したがって、影を不正確に位置特定する可能性がある。

対照的に、第２の実施形態の画像処理装置２００は、入力画像自体から遮蔽雲の高度を決定する。これは、影の正しい位置および雲と影との正しい相関を確実にする。したがって、検出および雲影の除去の精度は、さらに向上される。

＜第３の実施形態例＞
本発明に従う第３の実施形態の画像処理装置３００は、第１および第２の実施形態例に従う画像処理装置の最小構成を含む。

図１７は、本発明に従う第３の実施形態例の画像処理装置３００の構成を示すブロック図である。１つまたは複数の雲によって引き起こされる影響の検出および補正のための画像処理装置３００は、雲透過率計算部３１、雲高度推定部３２、減衰率推定部３３、および影除去部３４を含む。

雲透過率計算部３１は、各画素について、入力画像内の１つまたは複数の雲の透過率を計算する。

雲高度推定部３２は、対応する１つまたは複数の影の位置を検出するために、各画素について入力画像における地面から各雲までの高度の推定値を決定する。

減衰率推定部３３は、各画素について、計算された雲透過率に平均化フィルタを適用することによって直接太陽放射の減衰率を計算する。

影除去部３４は、計算された減衰率を用いることにより雲影形成の物理モデルに基づいて、１つまたは複数の影によって影響を受けた画素を補正し、補正された画素を含む画像を出力する。

本発明に従う第３の実施形態例の効果は、雲影に被覆された画素を正確に検出し、入力画像内の雲影の効果を除去することができる。この理由は、雲透過率計算部３１が、各画素について、入力画像内の雲の透過率を計算し、減衰率推定部３３が、雲透過率に平均化フィルタを適用することによって直接太陽放射の減衰率を計算し、影除去部３４が、減衰率を用いることにより雲影形成の物理モデルに基づいて画素を補正するなど、雲影除去に雲透過率を利用することである。
＜情報処理装置の構成＞

図１８は、例として、本発明の実施形態例に関連する画像処理装置を実装することができる情報処理装置９００（コンピュータ）の構成を例証する。言い換えると、図１８は、図１、図１１、および図１７のデバイスを実装することができるコンピュータ（情報処理装置）の構成を例証しており、上記実施形態例における個々の機能が実装され得るハードウェア環境を表す。

図１８に例証される情報処理装置９００は、以下の構成要素を含む：
− ＣＰＵ９０１（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ）、
− ＲＯＭ９０２（Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）、
− ＲＡＭ９０３（Ｒａｎｄｏｍ＿Ａｃｃｅｓｓ＿Ｍｅｍｏｒｙ）、
− ハードディスク９０４（ストレージデバイス）、
− 外部デバイスへの通信インターフェース９０５；
− ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ＿Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）などの記憶媒体９０７に記憶されたデータを読みこむことまたはそれに書き込むことができるリーダ／ライタ９０８、および
−入力／出力インターフェース９０９。

情報処理装置９００は、これらの構成要素がバス９０６（通信線）を介して接続される汎用コンピュータである。

例として上記実施形態例を用いて説明される本発明は、図１８に例証される情報処理装置９００に、これらの実施形態例の説明において参照されるブロック図（図１、図１１、および図１７）またはフローチャート（図８〜図１０および図１２〜図１５）に例証される機能を実行することができるコンピュータプログラムを搭載し、次いでコンピュータプログラムをそのようなハードウェア内のＣＰＵ９０１内に読み出し、それを解釈し、それを実行することによって達成される。装置に設けられたコンピュータプログラムは、揮発性の読み出し可能および書き込み可能な記憶装置（ＲＡＭ９０３）、またはハードディスク９０４などの不揮発性のストレージデバイスに記憶され得る。

加えて、上に説明されるケースでは、そのようなハードウェアにコンピュータプログラムを提供するために基本手順がここでは使用され得る。これらの手順は、例えば、ＣＤ−ＲＯＭなどの様々な記憶媒体９０７のいずれかにより装置にコンピュータプログラムをインストールすること、またはそれをインターネットなどの通信線により外部ソースからダウンロードすることを含む。これらのケースでは、本発明は、そのようなコンピュータプログラムを形成するコードからなる、またはコードを記憶する記憶媒体９０７からなると捉えられ得る。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
＜付記＞

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
１つまたは複数の雲によって引き起こされる影響の検出および補正のための画像処理装置であって、
各画素について、入力画像内の前記１つまたは複数の雲の透過率を計算するための雲透過率計算手段と、
対応する１つまたは複数の影の位置を検出するために、前記各画素について前記入力画像における地面から各雲までの高度を推定する雲高度推定手段と、
各画素について、計算された前記雲の透過率に平均化フィルタを適用することによって直接太陽放射の減衰率を計算するための減衰率推定手段と、
計算された前記減衰率および前記位置を用いることにより雲影形成の物理モデルに基づいて、前記１つまたは複数の影によって影響を受けた画素を補正し、補正された前記画素を含む画像を出力することによって、前記１つまたは複数の影を除去するための影除去手段と
を備える、画像処理装置。
（付記２）
各雲クラスの高度を含む、雲クラスを分類するための雲情報を記憶するための雲データ記憶装置と、
前記雲データ記憶装置に記憶された前記雲情報に基づいて、雲によって影響を受けた前記各画素を雲クラスのうちの１つに分類するための雲分類手段と
をさらに備え、
前記雲高度推定手段が、前記雲データ記憶装置に記憶された前記雲クラスの各々に対応する前記高度を推定する、
付記１に記載の画像処理装置。
（付記３）
前記雲高度推定手段によって得られた前記各雲の高度を用いることにより幾何モデルに基づいて、前記入力画像内の雲画素に対応する前記入力画像上の影画素を検出するための影検出手段をさらに備える、
付記１または２に記載の画像処理装置。
（付記４）
各雲の空間およびスペクトル特性に基づいて、前記入力画像内の前記１つまたは複数の雲によって影響を受けた可能性のある画素を含む雲マップを検出するための雲マップ検出手段と、
前記雲マップ内の前記１つまたは複数の雲によって影響を受けた可能性のある前記画素に対応する１つまたは複数の雲オブジェクトを検出するための雲オブジェクト検出手段と
をさらに備える、付記１に記載の画像処理装置。
（付記５）
各影の空間およびスペクトル特性に基づいて、雲に対応する影によって被覆された画素を含む影マップを検出するための影マップ検出手段と、
推定された前記各雲の高度を用いることにより幾何モデルに基づいて、前記影マップ内の前記影によって被覆された前記画素に対応する影オブジェクトを検出するための影オブジェクト検出手段と
をさらに備える、付記１または４に記載の画像処理装置。
（付記６）
前記影オブジェクトの領域境界を含めるために構造要素を適用し影オブジェクトの領域を空間的に拡大する影オブジェクト拡大手段をさらに備える、
付記１、４および５のいずれか一項に記載の画像処理装置。
（付記７）
１つまたは複数の雲によって引き起こされる影響の検出および補正のための画像処理方法であって、
各画素について、入力画像内の前記１つまたは複数の雲の透過率を計算することと、
対応する１つまたは複数の影の位置を検出するために、前記各画素について前記入力画像における地面から各雲までの高度を推定することと、
各画素について、計算された前記雲の透過率に平均化フィルタを適用することによって直接太陽放射の減衰率を計算することと、
計算された前記減衰率および前記位置を用いることにより雲影形成の物理モデルに基づいて、前記１つまたは複数の影によって影響を受けた画素を補正し、補正された前記画素を含む画像を出力することによって、前記１つまたは複数の影を除去することと
を含む方法。
（付記８）
雲データ記憶装置に記憶された、各雲クラスの高度を含む雲情報に基づいて、雲によって影響を受けた前記各画素を雲クラスのうちの１つに分類することをさらに含み、
高度を推定することにおいて、前記高度が、前記雲データ記憶装置に記憶された前記雲クラスの各々に対応する、
付記７に記載の方法。
（付記９）
前記雲高度推定手段によって得られた前記各雲の高度を用いることにより幾何モデルに基づいて、前記入力画像内の雲画素に対応する前記入力画像上の影画素を検出することをさらに含む、
付記７または８に記載の方法。
（付記１０）
各雲の空間およびスペクトル特性に基づいて、前記入力画像内の前記１つまたは複数の雲によって影響を受けた可能性のある画素を含む雲マップを検出することと、
前記雲マップ内の前記１つまたは複数の雲によって影響を受けた可能性のある前記画素に対応する１つまたは複数の雲オブジェクトを検出することと
をさらに含む、付記７に記載の方法。
（付記１１）
各影の空間およびスペクトル特性に基づいて、雲に対応する影によって被覆された画素を含む影マップを検出することと、
推定された前記各雲の高度を用いることにより幾何モデルに基づいて、前記影マップ内の前記影によって被覆された前記画素に対応する影オブジェクトを検出することと
をさらに含む、付記７または１０に記載の方法。
（付記１２）
前記影オブジェクトの領域境界を含めるために構造要素を適用し影オブジェクトの領域を空間的に拡大することをさらに含む、
付記７、１０および１１のいずれか一項に記載の方法。
（付記１３）
１つまたは複数の雲によって引き起こされる影響をコンピュータに検出および補正させるための画像処理プログラムを記憶するコンピュータ可読記憶媒体であって、前記プログラムが、
各画素について、入力画像内の前記１つまたは複数の雲の透過率を計算することと、
対応する１つまたは複数の影の位置を検出するために、前記各画素について前記入力画像における地面から各雲までの高度を推定することと、
各画素について、計算された前記雲の透過率に平均化フィルタを適用することによって直接太陽放射の減衰率を計算することと、
計算された前記減衰率および前記位置を用いることにより雲影形成の物理モデルに基づいて、前記１つまたは複数の影によって影響を受けた画素を補正し、補正された前記画素を含む画像を出力することによって、前記１つまたは複数の影を除去することと、を含む
コンピュータ可読記憶媒体。
（付記１４）
前記プログラムが、
雲データ記憶装置に記憶された、各雲クラスの高度を含む雲情報に基づいて、雲によって影響を受けた前記各画素を雲クラスのうちの１つに分類することをさらに含み、
高度を推定することにおいて、前記高度が、前記雲データ記憶装置に記憶された前記雲クラスの各々に対応する、
付記１３に記載の記憶媒体。
（付記１５）
前記プログラムが、
前記雲高度推定手段によって得られた前記各雲の高度を用いることにより幾何モデルに基づいて、前記入力画像内の雲画素に対応する前記入力画像上の影画素を検出することをさらに含む、
付記１３または１４に記載の記憶媒体。
（付記１６）
前記プログラムが、
各雲の空間およびスペクトル特性に基づいて、前記入力画像内の前記１つまたは複数の雲によって影響を受けた可能性のある画素を含む雲マップを検出することと、
前記雲マップ内の前記１つまたは複数の雲によって影響を受けた可能性のある前記画素に対応する１つまたは複数の雲オブジェクトを検出することと
をさらに含む、付記１３に記載の記憶媒体。
（付記１７）
前記プログラムが、
各影の空間およびスペクトル特性に基づいて、雲に対応する影によって被覆された画素を含む影マップを検出することと、
推定された前記各雲の高度を用いることにより幾何モデルに基づいて、前記影マップ内の前記影によって被覆された前記画素に対応する影オブジェクトを検出することと
をさらに含む、付記１３または１６に記載の記憶媒体。
（付記１８）
前記プログラムが、
前記影オブジェクトの領域境界を含めるために構造要素を適用し影オブジェクトの領域を空間的に拡大することをさらに含む、
付記１３、１６および１７のいずれか一項に記載の記憶媒体。

本発明は、先進レベルの衛星画像処理動作前に、衛星による画像を観測することにおける環境効果を補償するための事前処理ツールとして適用され得る。

１ 前処理部
２ 整合フィルタ導出部
３ 減衰率推定部
４ 影除去部
５ 出力部
１０ 入力部
１１ 雲データ記憶装置
１２ 雲透過率計算部
１３ 雲分類部
１４ 雲高度推定部
１５ 影検出部
１６ 減衰率推定部
１７ 大気モデル化部
１８，１８ａ 影除去部
１９ 出力部
２１ 雲マップ検出部
２２ 雲オブジェクト検出部
２３ 影マップ検出部
２４ 影オブジェクト検出部
２５ 雲高度推定部
２６ 影オブジェクト拡大部
３１ 雲透過率計算部
３２ 雲高度推定部
３３ 減衰率推定部
３４ 影除去部
１００ 画像処理装置
２００ 画像処理装置
３００ 画像処理装置
９００ 情報処理装置
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ ハードディスク
９０５ 通信インターフェース
９０６ バス
９０７ 記憶媒体
９０８ リーダ／ライタ
９０９ 入力／出力インターフェース

Claims (8)

1. １つまたは複数の雲によって引き起こされる影響の検出および補正のための画像処理装置であって、
   各画素について、入力画像内の前記１つまたは複数の雲の透過率を計算するための雲透過率計算手段と、
   対応する１つまたは複数の影の位置を検出するために、前記各画素について前記入力画像における地面から各雲までの高度の推定する雲高度推定手段と、
   各画素について、計算された前記雲の透過率に平均化フィルタを適用することによって直接太陽放射の減衰率を計算するための減衰率推定手段と、
   計算された前記減衰率および前記位置を用いることにより雲影形成の物理モデルに基づいて、前記１つまたは複数の影によって影響を受けた画素を補正し、補正された前記画素を含む画像を出力することによって、前記１つまたは複数の影を除去するための影除去手段と
   を備える、画像処理装置。
2. 各雲クラスの高度を含む、雲クラスを分類するための雲情報を記憶するための雲データ記憶装置と、
   前記雲データ記憶装置に記憶された前記雲情報に基づいて、雲によって影響を受けた前記各画素を雲クラスのうちの１つに分類するための雲分類手段と
   をさらに備え、
   前記雲高度推定手段が、前記雲データ記憶装置に記憶された前記雲クラスの各々に対応する前記高度を推定する、請求項１に記載の画像処理装置。
3. 前記雲高度推定手段によって得られた前記各雲の高度を用いることにより幾何モデルに基づいて、前記入力画像内の雲画素に対応する前記入力画像上の影画素を検出するための影検出手段をさらに備える、請求項１または２に記載の画像処理装置。
4. 各雲の空間およびスペクトル特性に基づいて、前記入力画像内の前記１つまたは複数の雲によって影響を受けた可能性のある画素を含む雲マップを検出するための雲マップ検出手段と、
   前記雲マップ内の前記１つまたは複数の雲によって影響を受けた可能性のある前記画素に対応する１つまたは複数の雲オブジェクトを検出するための雲オブジェクト検出手段と
   をさらに備える、請求項１に記載の画像処理装置。
5. 各影の空間およびスペクトル特性に基づいて、雲に対応する影によって被覆された画素を含む影マップを検出するための影マップ検出手段と、
   推定された前記各雲の高度を用いることにより幾何モデルに基づいて、前記影マップ内の前記影によって被覆された前記画素に対応する影オブジェクトを検出するための影オブジェクト検出手段と
   をさらに備える、請求項１または４に記載の画像処理装置。
6. 前記影オブジェクトの領域境界を含めるために構造要素を適用し影オブジェクトの領域を空間的に拡大する影オブジェクト拡大手段をさらに備える、請求項５に記載の画像処理装置。
7. １つまたは複数の雲によって引き起こされる影響の検出および補正のための画像処理方法であって、
   各画素について、入力画像内の前記１つまたは複数の雲の透過率を計算することと、
   対応する１つまたは複数の影の位置を検出するために、前記各画素について前記入力画像における地面から各雲までの高度を推定することと、
   各画素について、計算された前記雲の透過率に平均化フィルタを適用することによって直接太陽放射の減衰率を計算することと、
   計算された前記減衰率および前記位置を用いることにより雲影形成の物理モデルに基づいて、前記１つまたは複数の影によって影響を受けた画素を補正し、補正された前記画素を含む画像を出力することによって、前記１つまたは複数の影を除去することと
   を含む画像処理方法。
8. １つまたは複数の雲によって引き起こされる影響をコンピュータに検出および補正させるための画像処理プログラムであって、
   各画素について、入力画像内の前記１つまたは複数の雲の透過率を計算することと、
   対応する１つまたは複数の影の位置を検出するために、前記各画素について前記入力画像における地面から各雲までの高度を推定することと、
   各画素について、計算された前記雲の透過率に平均化フィルタを適用することによって直接太陽放射の減衰率を計算することと、
   計算された前記減衰率および前記位置を用いることにより雲影形成の物理モデルに基づいて、前記１つまたは複数の影によって影響を受けた画素を補正し、補正された前記画素を含む画像を出力することによって、前記１つまたは複数の影を除去することと、を含む
   画像処理プログラム。

Images