JP6818585B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。

デジタルカメラ等の撮像装置においては、入射光が撮像素子（イメージセンサ）に露光される前に、写りに影響を及ぼす赤外線や紫外線をカットするフィルタや、高い空間周波数を遮りモアレを軽減するローパスフィルタ等から構成されるフィルタが用いられている。昨今ではこのフィルタからローパスフィルタを取り除くことにより解像感の向上を狙った撮像装置も提供されている。しかしながら、その場合、空間周波数の高い被写体が入力されると色モアレが発生してしまう場合がある。

この色モアレの発生問題に対し、画像の小領域に対して、その領域の特徴を表わす特異値を複数抽出し、その特異値の中から比較的寄与率が低いものの影響を抑える手法が提案されている（非特許文献１を参照。）。寄与率が最も高い特異値は、その小領域の主要な特徴を表わしており、それに対し寄与率の低い特異値はその主要な特徴からの揺らぎを示しており、当該寄与率の低い特異値を補正することにより小領域内の線形性を上げることができる。色モアレに関しては画像の線形性を損なっている要因であるため、画像中に発生してしまった色モアレを低減することができる。

しかしながら、提案技術により色モアレを強く低減すると画像のディテールも失われてしまう一方、画像のディテールを残すために色モアレ低減を弱くかけると色モアレが残ってしまう場合がある。そこで、被写体形状に基づき色モアレが発生しやすいか否かを判別し、色モアレが発生しやすければ色モアレ低減の強度を上げる技術が提示されている（特許文献１を参照。）。

特開２０１４−５３８３０号公報

Shunsuke Ono, Isao Yamada,A CONVEX REGULARIZER FOR REDUCING COLOR ARTIFACT IN COLOR IMAGE RECOVERY.CVPR, pages 1775-1781, 2013.

色モアレの発生しやすさは被写体形状によるところが大きいが、色モアレが実際にどの程度見えに影響するかは、現像処理におけるパラメータ設定も影響する。

そこで、本発明は、色モアレの低減処理において、現像時のパラメータに応じて色モアレ低減処理の強度を変更可能とする技術を提供する。

上記課題を解決するための本発明は、画像処理装置であって、
画像の現像処理を行なう現像手段と、
前記現像処理が行なわれた画像の一部の領域に含まれる画素値について、特異値分解を行なって特異値を取得する取得手段と、
前記特異値を、前記現像処理におけるパラメータの値に応じて補正する補正手段と、
補正された前記特異値を用いて、前記一部の領域の補正された画素値を算出する算出手段とを備え、
前記補正手段は、前記パラメータの値に応じて設定される係数により、前記特異値を修正した後、所定値を減ずることにより前記補正を行なう。

本発明によれば現像パラメータに応じた色モアレ補正強度を変更すること可能にした画像処理装置を提供することができる。

発明の実施形態に対応する画像処理装置及び情報処理装置の構成例を示すブロック図。 発明の実施形態に対応する撮像装置の構成例を示すブロック図。 撮像装置における色補間処理の例を示す説明図。 発明の実施形態に対応する画像処理の一例を示すフローチャート。 発明の実施形態に対応する色モアレ低減処理の一例を示すフローチャート。 発明の実施形態に対応する特異値分解を用いたモアレ低減処理の説明図。 発明の実施形態２及び３に対応する特異値の傾向を例示する図。 ＩＳＯ感度とノイズ量との関係を示すグラフ。

以下に、本発明の実施形態を、添付の図面に基づいて詳細に説明する。各実施形態では、現像パラメータに応じて色モアレ低減処理の強度を変更する実施形態の例を説明する。

［実施形態１］
以下、添付の図面を参照して、発明の第１の実施形態を説明する。図１（Ａ）は、実施形態１に対応する画像処理装置を実現する一例である撮像装置１００Ａの構成を示すブロック図である。撮像装置１００Ａは、例えばデジタルカメラ、デジタルビデオカメラとして実現することができる。また、それ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、携帯型メディアプレーヤなどの任意の情報処理端末或いは撮像装置として実現することもできる。

図１（Ａ）において、光学系１０１Ａは、レンズ群、シャッタ、絞りから構成され、ＣＰＵ１０３Ａにより動作が制御される。被写体からの光は、光学系１０１Ａを通って撮像素子１０２Ａ上に結像する。撮像素子１０２Ａは、光学系１０１Ａを通って結像した光を画像信号に変換する。ＣＰＵ１０３Ａは、入力された信号やプログラムに従って、各種の演算や、撮像装置１００を構成する各部分の制御を行う。

一次記憶部１０４Ａは、一時的なデータを記憶し、ＣＰＵ１０３Ａの作業用に使われる。一時記憶部１０４Ａは、例えばＲＡＭとして構成される。二次記憶部１０５Ａは、撮像装置１００Ａを制御するためのプログラム（ファームウェア）や各種の設定情報を記憶する。二次記憶部１０５Ａは、例えばＲＯＭ、或いは、ハードディスクとして構成される。記憶媒体１０６Ａは、光学系１０１Ａによって結像され、撮像素子１０２Ａによって電気信号に変換され、ＣＰＵ１０３Ａによって処理された画像データなどを記憶する。なお、撮影後に記憶媒体１０６Ａは撮像装置１００Ａから取り外すことが可能であり、外部のパーソナルコンピュータなどに装着して記録されたデータを読み出すことが可能である。つまり、撮像装置１００Ａは記憶媒体１０６Ａへのアクセス機能を有し、記憶媒体１０６Ａへのデータの読み書きが行えればよい。表示部１０７Ａは、液晶ディスプレイ等により構成され、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示などを行う。操作部１０８Ａは、使用者の操作を受け付けるためのものである。操作部１０８Ａには、例えばボタンやレバー、タッチパネルなどを用いることが可能である。

通信部１０９Ａは、外部装置と接続し制御コマンドやデータの送受信を行う。接続を確立し、データ通信するためのプロトコルとしては、例えばＰＴＰ（Picture Transfer Protocol）が用いられる。なお、通信部１０９Ａは、例えばＵＳＢ（Universal Serial Bus）ケーブルなどの有線接続により通信を行ってもよい。また、無線ＬＡＮなどの無線接続により通信を行ってもよい。また、外部装置と直接接続してもよいし、サーバを経由し、インターネットなどのネットワークを介して外部装置と接続してもよい。

図１（Ａ）は、デジタルカメラ等として機能する場合を考慮して光学系１０１Ａ、撮像素子１０２Ａを含む構成を示した。しかし、発明の実施形態として、画像を生成し、記録することが可能な情報処理装置、画像処理装置、或いは、画像記録装置等として、光学系１０１Ａ、撮像部１０２Ａを有しない構成で実現してもよい。そこで、図１（Ｂ）に、本実施形態の画像処理装置を情報処理装置１００Ｂとして構成する場合の構成例を示す。

図１（Ｂ）において、表示部１０７Ｂは、撮影画像の表示や対話的な操作のための文字表示などを行う。操作部１０８Ｂは、使用者の操作を受け付けるためのものである。操作部１０８Ｂは例えばキーボードやポインティング装置などを用いることが可能である。ＣＰＵ１０３Ｂは、入力された信号やプログラムに従って、各種の演算や、情報処理装置１００Ｂを構成する各部分の制御を行う。一次記憶部１０４Ｂは、一時的なデータを記憶し、ＣＰＵ１０３Ｂの作業用に使われる。一時記憶部１０４Ｂは、例えばＲＡＭとして構成される。二次記憶部１０５Ｂは、画像処理を行うためのプログラムや各種の設定情報を記憶する。二次記憶部１０５Ｂは、例えばＲＯＭ、或いは、ハードディスクとして構成される。通信部１０９Ｂは、外部装置と接続し制御コマンドやデータの送受信を行う。通信部１０９Ｂの形態は通信部１０９Ａと同じような形態を選択することも可能である。

上記の通り、本実施形態に対応する画像処理装置は、撮像装置１００Ａや情報処理装置１００Ｂとして構成が可能であり、以下では、これらを総称して画像処理装置１００と呼び、個々の構成要素についても、説明の簡単のために、例えばＣＰＵ１０３のようにＡまたはＢの符号を省略する。

次に、図２を参照して、画像処理装置１００の構成例及び、画像処理装置１００における画像生成の過程を説明する。図２は、画像処理装置１００を撮像装置１００Ａとして構成した場合の具体的な構成例を示す。

カメラに入射される光２０１はレンズ２０２を通過し、絞り２０３で光量調節を行われ、シャッタ（不図示）が開いている時間だけセンサ２０５に露光されることになる。また、光２０１はセンサ２０５に露光される前に、写りに影響を及ぼす赤外線や紫外線をカットするフィルタや、高い空間周波数を遮りモアレを軽減するローパスフィルタ等から構成されるフィルタ２０４を通過する。センサ２０５で露光された光は、電荷量として蓄積され、ＣＤＳ・ＡＧＣ回路２０６で雑音除去やゲイン増幅がなされ、Ａ／Ｄ変換器２０７でデジタルデータに変換される。

デジタルデータに変換された画像に対し現像処理が施される。当該画像には、ホワイトバランス２０８でＲＧＢの各色成分についてゲインの調整を行われ、色補間処理２０９で図３（Ａ）のように、例えばＲＧＢ３つのカラープレーンが生成される。そして、ＲＧＢ３プレーンとなった画像データは、ノイズリダクション２１０により、画像に生じるノイズを軽減される。ノイズが軽減された画像データは次に、マスキング処理２１１でＲＧＢの色の色相に関する調整を行われ、ガンマ変換２１２でディスプレイ等に表示する為に必要な処理が施される。こうして作成された画像データを元にＪＰＥＧ変換２１３でＪＰＥＧへの圧縮等を行い、最終的な画像２１４が生成される。

次に、図２の構成により生成される画像データにおいて発生するモアレについて説明する。図２の構成において、解像度を向上させるためにフィルタ２０４からローパスフィルタを除去すると、空間周波数の高い被写体が入力されると色モアレが発生してしまう場合がある。

図３（Ｂ）、（Ｃ）は色モアレの発生要因の例を示したものである。図３（Ｂ）、（Ｃ）では図中に示すように、斜め方向に白と黒の線が露光されている状態を示している。このような被写体に色補間処理２０９を施すと、例えば図３（Ｂ）では、ＲとＢは一面高い値であるのに対し、Ｇが一面低い値だと認識してしまうことにより、白と黒の線であるものがマゼンタとなってしまう。また、図３（Ｃ）では、ＲとＢは一面低い値であるのに対し、Ｇが一面高い値だと認識してしまうことにより、白と黒の線であるものが緑となってしまう。このようにして色モアレが発生してしまう場合がある。

また、このような色モアレの強度は、ホワイトバランス２０８からマスキング処理２１１等を含む現像処理において設定される現像パラメータが影響する。例えば、ホワイトバランス処理２０８において、ＲやＢにかかるゲインを上げると、色モアレも強調されてしまうため、色モアレの目立ち方も合わせて強くなってくる。また、マスキング処理２１１において、彩度を強調するような処理を行った場合も、同様に色モアレが強調され、色モアレの目立ち方が強くなってくる。そのため、このような現像パラメータを考慮しないで同程度の色モアレ低減処理を行ってしまうと、補正不足となってしまう場合がある。

このような現像パラメータ（例えば、ホワイトバランスゲイン、彩度強調、ノイズリダクション用の設定パラメータを含む）を取得する方法は種々存在する。例えば、画像処理装置１００のような場合には、前述したように、二次記憶部１０５に記憶された各種の設定情報を取得することによって可能である。または、記憶媒体１０６にＣＰＵ１０３が画像を記録する際に予め現像パラメータをヘッダ情報として記載しておき、ＣＰＵ１０３が記憶媒体１０６から記録した画像を読み込む際にそのヘッダ情報を参照することによっても実現可能である。

また、ヘッダ情報が未知のファイルが入力された場合においても、例えばＪＥＩＴＡ規格で規定されるＥｘｉｆ情報を参照することにより実現することが可能である。例えば、彩度情報に関して、Ｅｘｉｆ情報に記載されている撮影彩度の情報を利用することが挙げられる。また、ノイズリダクションの強度に関しては、Ｅｘｉｆ情報から取得したＩＳＯ感度情報と、画像のノイズ量との関係性から推測することが可能である。

この場合、例えば図８のようにＩＳＯ感度とノイズ量の関係性に対する標準的な関係を示した標準ライン８０１を定義し、実際のＩＳＯ感度とノイズ量の関係がこのラインからどの程度乖離しているかにより、ノイズリダクション強度を推定することが可能である。また、ホワイトバランスゲインに関しては、Ｅｘｉｆ情報に記載されている光源情報やフラッシュ発光の情報からホワイトバランスゲインを見積もることも可能となる。このようにして、撮影時パラメータを取得、または推定することができる。

以下、色モアレを低減するための本実施形態に対応する画像処理を具体的に説明する。本実施形態に対応する具体的な画像処理例を示すに当たり、図４のフローチャートを参照して現像パラメータに応じて色モアレ低減処理の強度を変更する例を示す。図４のフローチャートは、ＣＰＵ１０３が二次記憶装置１０５に格納された対応プログラムを実行することにより実現できる。

まず、Ｓ４０１において、ＣＰＵ１０３は処理対象の画像を取得する。当該画像取得は、例えば、撮像素子１０２Ａで生成された画像信号に基づく画像を取得することであってもよいし、或いは、記憶媒体１０６に記録された画像を取得することであってもよい。次に、Ｓ４０２において、ＣＰＵ１０３は現像パラメータを取得する。現像パラメータとしては、例えば二次記憶部１０５に記憶された各種の設定情報を取得することができる。または、ステップＳ４０１で取得した画像から現像パラメータを取得してもよい。次に、Ｓ４０３において、ＣＰＵ１０３は色モアレ低減パラメータを決定し、続くステップＳ４０４において実際の色モアレ低減を行う。

ここで、ステップＳ４０４での色モアレ低減処理の説明にあたり、まず、基礎となる色モアレ低減処理（非特許文献１）に関して図５及び図６を参照して説明する。

まず、図５において、Ｓ５０１においてＣＰＵ１０３は、処理対象の画像のうちから一部の領域を選択する。図６の例においては、処理対象画像６０１から小領域６０２が選択されている。Ｓ５０２において、ＣＰＵ１０３は、選択した小領域内の画素値を用いて行列を作成する。図６の例では、１０ピクセル×１０ピクセルの小領域６０２から各画素のＲＧＢ値を取得し、各行に各ピクセルの画素値、各列にＲ、Ｇ、Ｂそれぞれを配置することにより、１００行３列の行列Ｘ６０３を作成することができる。続くＳ５０３では、画素値行列に対して特異値分解処理を行なう。特異値分解処理とは、任意のｍ×ｎ行列Ａを、Ａ＝Ｕ×Ｓ×Ｖとなる行列式に分解する処理をいう。ここで、Ｕはｍ×ｍの直交行列であり、Ｖはｎ×ｎの直交行列である。また、Ｓはｍ×ｎの非対角成分が０、対角成分が非負で大きさの順に並んだ行列である。このときＳの対角成分で非０値を特異値と呼ぶ。

本実施形態では、図６の行列Ｘ６０３、行列Ｕ６０４、行列Ｓ６０５、行列Ｖ６０６により、Ｘ＝Ｕ×Ｓ×Ｖ^tと表される。Ｘ６０３は１００行３列の行列、Ｕ６０４は１００行１００列の直交行列、Ｓ６０５は対角成分に３つの特異値を有する１００行３列の対角行列（特異値以外の成分は全て０）、Ｖは３行３列の直交行列を表わす。（Ｖ^tはＶの転置行列を表わす）。ここで行列Ｓ６０５に現れる３つの特異値に関し、最大値（第１特異値）は小領域６０２のリニアな特徴を表し、数値のより小さいもの（第２、第３特異値）はノイズ成分や色モアレ成分等の非リニアな特徴が表わされることとなる。

そこで、Ｓ６０４においてＣＰＵ１０３は、これら比較的数値の少ない特異値の寄与率を減らすことにより、小領域６０２のリニア性を向上させる。例えば、行列Ｓ６０５から、第２・第３特異値の数値から所定値を減算して得られた行列Ｓ_＿ｏｕｔ６０８を生成する。その後、Ｓ６０５においてＣＰＵ１０３は、行列Ｕ（６０４＝６０７）と行列Ｖ（６０６＝６０９）とかけ合わせることで、リニア性を向上させた画素値の行列６１０を取得することができる。このようなリニア性が向上した画素値においては色モアレ成分が低減されたものとなる。

上記処理においては、例えば、Ｓの３つの特異値σ_１、σ_２、σ_３に対するそれぞれの軽減量をｗ_１、ｗ_２、ｗ_３とし、
σ_{ｉ＿ｏｕｔ}＝ＭＡＸ（σ_ｉ−ｗ_ｉ，０） 式（１）
（ｉ＝１，２，３）
とすることにより、リニア性を向上させ、色モアレを低減させることが可能となる。（ここで、ＭＡＸ（ａ，ｂ）は、ａとｂのうち、数値の大きいものを選択する。）このようにして、画像中から色モアレを低減させることが可能となる。

しかしながら、このような特異値の補正処理では、前述したように現像パラメータによっては色モアレが補正不足となる場合がある。例えば図２のマスキング処理２１１で行われるような現像パラメータを変化させた場合を考える。このような現像パラメータには、例えば画像中の彩度を強調するパラメータが含まれる。これは例えば自然風景を鮮やかに仕上げる等の目的で使用される場合がある。しかし、このパラメータを強めて現像した場合、色モアレに関しても強調されることとなってしまう。このとき、前述の第１特異値に現れるような、画像のリニアな特性は大きくは変わらないまま、色モアレが強調されることとなる。そのため、前述の特異値のうち、２・３番目に寄与率の大きいσ_２やσ_３の値が大きくなる傾向にある。この時のＳの対角成分をσ_２ｓ、σ_３ｓとした時、彩度を強調しない場合の特異値に対する増加割合を示す係数をｎ_２、ｎ_３とすると、例えば以下のようになる。

σ_ｉｓ＝σ_ｉ×ｎ_ｉ 式（２）
（ｉ＝２，３）、（ｎ_ｉ＞１）
このような場合に前述の式（１）と同様の軽減率ｗ_１〜ｗ_３を設定すると
σ_{ｉｓ＿ｏｕｔ}＝σ_ｉｓ−ｗ_ｉ＝（σ_ｉ×ｎ_ｉ）−ｗ_ｉ＝σ_ｉ−ｗ_ｉ＋（ｎ_ｉ−１）σ_ｉ
＝σ_{ｉ＿ｏｕｔ}＋（ｎ_ｉ−１）σ_ｉ 式（３）
（ｉ＝２，３）
のようになり、本来の狙いσ_{ｉ＿ｏｕｔ}よりも（ｎ_ｉ−１）σ_ｉの分だけ大きい値となってしまう。そこで、本実施形態においては、ＣＰＵ１０３はＳ４０３において、現像パラメータに応じて色モアレ低減パラメータを修正（変更）することにより、色モアレ低減を行う。

例えば、式（２）に対して
σ_{ｉ＿ｏｕｔ}＝ＭＡＸ（σ_ｉ÷ｎ_ｉ−ｗ_ｉ，０） 式（４）
式（４）において、係数ｎ_ｉの値は彩度を変化させた場合の変化量に応じて決定され、色モアレ低減処理の強度を、彩度を強調していない時のものに近づけることが可能となる。なお、この時の係数ｎ_ｉは、例えば実測等により求めておいてもよい。また、例えば現像時パラメータの各値に応じて、係数ｎ_ｉの値をテーブル化しておき、使用された現像パラメータの値に応じた係数を選択することができる。また、複数の現像パラメータがある場合には、組み合わせに応じて係数を決定することができる。このようにして色モアレ低減がなされた画像に関して、ＣＰＵ１０３は記憶媒体１０６等に生成された画像を記録し、処理を終了する。

本実施形態によれば、現像処理において用いられる現像パラメータの値に応じて色モアレ低減パラメータを修正することにより、現像パラメータが変化した場合にも適した色モアレ低減処理を行うことが可能となる。

［実施形態２］
上述の実施形態１においては、色モアレ低減手法として、特異値σ_１〜σ_３に対し一律の軽減量を適用する手法を説明した。これに対し本実施形態では、色モアレ低減パラメータの変化のさせ方の他の例に関して説明する。

ある被写体を撮影した画像について、例えば、色モアレの発生していない領域（「ベタ部」という）、色モアレの発生している領域（「偽色部」という）、エッジを含む領域（「エッジ部」という）に分類することができる。このときの各領域における特異値の傾向を、図７を参照して説明する。

まず、第１特異値については、似たような被写体であれば画像のリニアな特性は大きくは変わらないため、図７（Ａ）のように、ベタ部、偽色部、エッジ部共にほぼ似た値を取る傾向にある。これに対し、第２、第３特異値については、ベタ部では他に対して比較的低い値を取り、エッジ部では偽色部よりも高い値を取る傾向にあるため、図７（Ｂ）のような傾向となる。そこで、これに対し、図７（Ｂ）中に示すような閾値Ｘ、閾値Ｙを定め、閾値ＸとＹとで特定される所定範囲に第２、第３特異値が属すると判定される場合に、当該値を色モアレとして除去対象とすることも可能である。これは、例えば以下の式で実現することが可能となる。

σ_{ｉ＿ｏｕｔ}＝σ_ｉ（if σ_ｉ＜＝Ｘ）
Ｘ（if Ｘ＜σ_ｉ＜Ｙ） 式（５）
σ_ｉ（if Ｙ＜＝σ_ｉ）
（ｉ＝２，３）
本実施形態では、第２、第３特異値が偽色部と推定される所定範囲に属する数値を有すると判定された場合、当該値を特定の値に変更する。当該特定の値は、例えば、所定範囲を値の小さい側に外れた値であってもよいし、所定範囲内の例えば最小値であってもよいが、特定の値の決定方法はこれらに限られない。式（５）の場合、ベタ部相当の値まで減らし、そうでない場合はそのまま維持することを意味している。このような場合において実施形態１で説明した色モアレ低減処理を行う場合、現像パラメータの各値に応じて、閾値Ｘ、閾値Ｙをシフトして、所定範囲を変更すればよい。これは、実施形態１と同様に現像処理を行なうことにより、第２、第３特異値の値が大きくなる傾向にあるので、当該増加率に応じて閾値をシフトさせるものである。例えば、以下の式（６）に従い現像パラメータに応じて色モアレ低減パラメータをコントロールすることができる。

Ｘ＝Ｘ×ｎ'_ｉ、Ｙ＝Ｙ×ｎ'_ｉ 式（６）
なお、この時の係数ｎ'_ｉに関しても、例えば実測等により求めることが可能である。また、実施形態１と同様に係数ｎ'_ｉの値をテーブル化しておき、使用された現像パラメータの値に応じた係数ｎ'_ｉを選択することができる。また、複数の現像パラメータがある場合には、組み合わせに応じて係数ｎ'_ｉの値を決定することができる。

本実施形態においても、現像処理において用いられる現像パラメータの値に応じて色モアレ低減パラメータを修正することにより、現像パラメータが変化した場合にも適した色モアレ低減処理を行うことが可能となる。特に、補正対象の特異値を特定するための閾値を現像パラメータの値に応じて修正することで、偽色部を的確に選択して補正することができる。

［実施形態３］
上記の実施形態においては、現像時の彩度強調のパラメータに応じて色モアレ低減パラメータを変化させる手法を提示した。しかし、本発明においてはそれに限られるものではなく、例えば彩度を弱めて現像した場合や、その他にもノイズ除去処理（ノイズリダクション）を強め・弱めにかけた場合、また、ホワイトバランスのゲインが高い・低い場合等が挙げられる。

まず、彩度を弱めて現像した場合に関しては、実施形態１の各式においてｎ_ｉ＜１と読み替えることにより実施可能となる。なお、この場合は、式（３）における（ｎ_ｉ−１）σ_ｉが負の値となるため、本来の狙いσ_{ｉ＿ｏｕｔ}よりもさらに小さい値となってしまうため、過補正となってしまう。そこで、本実施形態では式（２）とは異なり、σ_ｉをｎ_ｉで割ることにする。

σ_{ｉ＿ｏｕｔ}＝ＭＡＸ（σ_ｉ÷ｎ_ｉ−ｗ_ｉ，０） 式（７）
（ｎ_ｉ＜１）
即ち、彩度を強めて現像した場合においては強調された色モアレに対する低減処理の強度が不足しないようにし、彩度を弱めて現像した場合においては、弱められた色モアレ、及び通常領域に対して過補正とならないようにすることが可能となる。

次に、ノイズリダクションを強めにかけた場合、例えばεフィルタ等によりエッジを残してノイズリダクションを行うと、実施形態２で示した図７（Ｂ）の関係性は図７（Ｃ）のようになる傾向にある。つまり、ベタ部やベタ部に近い偽色部に関してはノイズリダクションにより、特異値の値は下がるが、エッジ部やエッジ部に近い偽色部に関しては大きくは変わらない。そのため、通常時と同様に、ＸからＹの範囲内にある特異値にのみ補正を行った場合は、Ｘ_ｎからＸの範囲にある偽色部が消え無くなってしまう。そこで、例えばノイズリダクションが強くかかっている場合には、閾値Ｘ、Ｙに関して
Ｘ_ｎ＝Ｘ×ｎ_ｘ、Ｙ_ｎ＝Ｙ×ｎ_ｙ 式（８）
（ｎ_ｙ＜ｎ_ｘ＜１）
といったように変更することにより、通常時相当に補正をかけることが可能となる。逆にノイズリダクションが弱い場合に関しては図７（Ｄ）に示すような傾向になり、Ｘ＝Ｘ_ｎの範囲にあるベタ部を余計に消してしまう。そこで、彩度の時と同様にｎ_ｘ、ｎ_ｙに関して１より大きい数値（（１＜ｎ_ｙ＜ｎ_ｘ））と置き換えることによって対応可能である。この時、Ｘｎのシフトの度合いが大きく、Ｙｎのシフトの度合いが小さい。

また、ホワイトバランスの場合、色成分毎にゲインが異なる場合があり、例えば光源によってはＲにかかるゲインが高かったりＢにかかるゲインが高かったりということが起こる場合がある。これに対し、例えばＲとＢのうち、ホワイトバランスゲインの大きいほうの値に応じて、彩度強調の際と同様に式（４）を適用することにより、ホワイトバランスゲインによって強調された色モアレを補正することができる。また、例えばＲのホワイトバランスゲインが大きく、Ｂのホワイトバランスゲインが小さいような時には、式（４）に対してそれぞれのゲインに応じたｎ_Ｒ、ｎ_Ｂを設定し、まず
σ_{ｉ＿ｏｕｔ}＝ＭＡＸ（σ_ｉ÷ｎ_Ｒ−ｗ_ｉ，０） 式（９）
の軽減率で算出した特異値を元に計算した結果からはＲのみを採用し、
σ_{ｉ＿ｏｕｔ}＝ＭＡＸ（σ_ｉ÷ｎ_Ｂ−ｗ_ｉ，０） 式（１０）
の軽減率で算出した特異値を元に計算した結果からはＧ、Ｂのみを採用するといったような手法により、それぞれ適した色モアレ軽減を行うといったことも可能となる。

このようにして、彩度強調やノイズリダクション、ホワイトバランスゲイン等の現像パラメータに応じて適した色モアレ低減のパラメータを算出することが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１０１：光学系、１０２：撮像素子、１０３：ＣＰＵ

Claims (14)

1. 画像の現像処理を行なう現像手段と、
   前記現像処理が行なわれた画像の一部の領域に含まれる画素値について、特異値分解を行なって特異値を取得する取得手段と、
   前記特異値を、前記現像処理におけるパラメータの値に応じて補正する補正手段と、
   補正された前記特異値を用いて、前記一部の領域の補正された画素値を算出する算出手段と
   を備え、
   前記補正手段は、前記パラメータの値に応じて設定される係数により、前記特異値を修正した後、所定値を減ずることにより前記補正を行なうことを特徴とする画像処理装置。
2. 前記補正手段は、前記特異値のうち、最大値を有する第１の特異値を除いた他の特異値の値を補正することを特徴とする請求項１に記載の画像処理装置。
3. 画像の現像処理を行なう現像手段と、
   前記現像処理が行なわれた画像の一部の領域に含まれる画素値について、特異値分解を行なって特異値を取得する取得手段と、
   前記特異値を、前記現像処理におけるパラメータの値に応じて補正する補正手段と、
   補正された前記特異値を用いて、前記一部の領域の補正された画素値を算出する算出手段と
   を備え、
   前記補正手段は、前記特異値のうち、最大値を有する第１の特異値を除いた他の特異値の値を補正するものであって、前記他の特異値の値が、所定範囲に属するか否かを判定し、前記所定範囲に属すると判定された場合に前記他の特異値を特定の値に補正することを特徴とする画像処理装置。
4. 前記補正手段は、前記所定範囲を、前記パラメータの値に応じて変更することを特徴とする請求項３に記載の画像処理装置。
5. 前記補正手段は、前記所定範囲を規定する値うち、値の小さい側の変更の度合いを、値が大きい側の変更の度合いよりも大きくすることを特徴とする請求項４に記載の画像処理装置。
6. 画像の現像処理を行なう現像手段と、
   前記現像処理が行なわれた画像の一部の領域に含まれる画素値について、特異値分解を行なって特異値を取得する取得手段と、
   前記特異値を、前記現像処理におけるパラメータの値に応じて補正する補正手段と、
   補正された前記特異値を用いて、前記一部の領域の補正された画素値を算出する算出手段と
   を備え、
   前記補正手段は、前記特異値のうち、最大値を有する第１の特異値を除いた他の特異値の値を補正するものであって、前記現像処理における画像の色成分毎のパラメータの値に応じて、該色成分毎に前記他の特異値を補正し、
   前記算出手段は、各色成分の前記一部の領域の補正された画素値を、対応する色成分の前記補正された特異値を用いて算出することを特徴とする画像処理装置。
7. 前記現像処理は、ホワイトバランス処理、色補間処理、ノイズ除去処理、及び、マスキング処理のうちの少なくともいずれかを含むことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記画像を取得する画像取得手段を更に備えることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記特異値分解とは、第１の行列を、直交行列である第２の行列、非対角成分がゼロであって対角成分が負ではない値である第３の行列、および、直交行列である第４の行列、に分解する処理であることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 画像の現像処理を行なう現像工程と、
    前記現像処理が行なわれた画像の一部の領域に含まれる画素値について、特異値分解を行なって特異値を取得する取得工程と、
    前記特異値を、前記現像処理におけるパラメータの値に応じて補正する補正工程と、
    補正された前記特異値を用いて、前記一部の領域の補正された画素値を算出する算出工程と
    を含み、
    前記補正工程は、前記パラメータの値に応じて設定される係数により、前記特異値を修正した後、所定値を減ずることにより前記補正を行なうことを特徴とする画像処理方法。
11. 画像の現像処理を行なう現像工程と、
    前記現像処理が行なわれた画像の一部の領域に含まれる画素値について、特異値分解を行なって特異値を取得する取得工程と、
    前記特異値を、前記現像処理におけるパラメータの値に応じて補正する補正工程と、
    補正された前記特異値を用いて、前記一部の領域の補正された画素値を算出する算出工程と
    を含み、
    前記補正工程は、前記特異値のうち、最大値を有する第１の特異値を除いた他の特異値の値を補正するものであって、前記他の特異値の値が、所定範囲に属するか否かを判定し、前記所定範囲に属すると判定された場合に前記他の特異値を特定の値に補正することを特徴とする画像処理方法。
12. 画像の現像処理を行なう現像工程と、
    前記現像処理が行なわれた画像の一部の領域に含まれる画素値について、特異値分解を行なって特異値を取得する取得工程と、
    前記特異値を、前記現像処理におけるパラメータの値に応じて補正する補正工程と、
    補正された前記特異値を用いて、前記一部の領域の補正された画素値を算出する算出工程と
    を含み、
    前記補正工程は、前記特異値のうち、最大値を有する第１の特異値を除いた他の特異値の値を補正するものであって、前記現像処理における画像の色成分毎のパラメータの値に応じて、該色成分毎に前記他の特異値を補正し、
    前記算出工程は、各色成分の前記一部の領域の補正された画素値を、対応する色成分の前記補正された特異値を用いて算出することを特徴とする画像処理方法。
13. 前記特異値分解とは、第１の行列を、直交行列である第２の行列、非対角成分がゼロであって対角成分が負ではない値である第３の行列、および、直交行列である第４の行列、に分解する処理であることを特徴とする請求項１０から１２のいずれか１項に記載の画像処理方法。
14. コンピュータを請求項１から９のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。

Images