JP3944151B2 - 画像処理方法、画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、結像光に応じた第１の画像成分と非結像光に応じた第２の画像成分とを含む画像データの処理技術に関し、さらに詳しくは、第２の画像成分を目立ちにくくするための画像処理技術に関するものである。

光の回折現象を利用した回折光学素子は、従来の屈折光学素子に比べて色収差が全く逆に発生する。つまり分散が負の値を持つ。従って、回折光学素子を用いて光学系を構成することにより、屈折光学素子のみで光学系を構成する場合に比べて、色収差を良好に補正しつつ、光学系の小型・軽量化を実現することができる。

但し、回折光学素子への入射光によって生成される複数次数の回折光のうち、光学系の結像に用いる次数は1つのみで、その他の次数成分の回折光は不要回折光となり、像面上でフレアとなって現れ、画質劣化の要因となる。

この問題に対して、図１０に示すように、それぞれ回折面２０１ａ，２０２ａを有する回折光学素子２０１，２０２を積層することによって、これまでの単層型の回折光学素子よりも不要な回折次数光（以下、不要回折光という）の回折効率を大幅に低減する技術が提案されている。このような積層型の回折光学素子（ＤＯレンズ）２００によれば、色収差を良好に補正しつつ、高い結像性能を有し、かつコンパクトなカメラレンズを実現できる。

ところが、不要回折光の回折効率が十分低減されたＤＯレンズでも、非常に強い輝度を有する被写体を撮影した場合には、その強い光量に引き上げられて不要回折光の光量も大きくなる。このため、不要回折光によるフレア像が大きな画質劣化要因となる。

このような画質劣化に対して、デジタル画像処理によってこのような劣化を低減あるいは補正しようとする試みがいくつかなされている。特許文献１および２では、回折面を含む光学系を用いたデジタル撮像システムにおいて、この結像光学系の点像分布強度を用いて、回折面で発生した不要回折光に基づくフレア成分を算出し、これを撮影画像から減算処理することで、不要回折光によるフレア画像を補正する技術が提案されている。
特開平９−２３８３５７号公報（段落００２１〜００２７、図６等） 特開平１１−１２２５３９号公報（段落００３４〜００４３、図６等）

一般に、ＤＯレンズにおいて結像に用いる回折次数の光（以下、結像回折光という）は、不要回折光の回折効率よりも十分大きく、不要回折光がフレアとなって画質に悪影響を及ぼすことは少ない。

ところが、デジタルカメラに用いられる撮像素子の画素信号の輝度値が飽和するほど高輝度の被写体を撮影した場合には、不要回折光がフレアとなって像面上に現れる。このような場合、上記特許文献１，２にて提案された手法では、撮像素子の画素信号の輝度値が飽和しているため、正確にフレア画像成分を算出することはできない。

しかも、フレアを引き起こすハイライトは、図１（ａ）に示すように理想的な点光源とは限らず、図１（ｂ）のように２次元的分布を持ち、その分布も撮影環境によって異なるため、フレア画像成分を正確に推定することが難しい。

さらに、上記特許文献１，２にて提案されているように、求められたフレア画像成分を撮影画像から減算するだけでは、減算された領域のエッジ部分の輝度値が不連続になり、視覚的に不自然な画像になってしまう。

本発明は、特に高輝度被写体を撮影した画像データにおいて、非結像光に応じた画像成分を良好に補正することができるようにした画像処理プログラム、画像処理装置および撮像システムを提供することを目的としている。

上記の目的を達成するために、本発明では、結像光に応じた第１の画像成分と非結像光に応じた第２の画像成分とを含む画像データの処理をコンピュータに実行させる画像処理プログラムであって、画像データを取得するステップと、画像データに対して、第２の画像成分の視認性を低減させるための補正処理を行うステップとを有する。ここで、補正処理として色変換処理を行う。そして、補正処理を行うステップにおいて、画像データに対して、第２の画像成分を抽出するためのエッジ処理を行い、画像データからエッジ処理が行われたエッジ画像データを減算して減算画像データを得て、さらに色変換処理として、第２の画像成分の色相と減算画像データの色相とを略一致させるよう、色相を変更する色相変換処理を行う。

また、本発明では、結像光に応じた第１の画像成分と非結像光に応じた第２の画像成分とを含む画像データを処理する画像処理装置であって、画像データを取得する画像取得手段と、画像データに対して、第２の画像成分の視認性を低減させるための補正処理を行う補正手段とを有する。ここで、補正手段は色変換処理を行う。そして、補正手段は、画像データに対して、第２の画像成分を抽出するためのエッジ処理を行い、画像データからエッジ処理が行われたエッジ画像データを減算して減算画像データを得て、さらに色変換処理として、第２の画像成分の色相と減算画像データの色相とを略一致させるよう、色相を変更する色相変換処理を行う。

ここで、色変換処理は、色相変換処理、彩度劣化処理および色相・彩度の平滑化処理を含む。

ここで、色変換処理は、画像データの全体に対して行ってもよいし、画像データ中の第２の画像成分の領域として特定された領域に対して行ってもよい。

また、本発明は、第１の画像成分が特定の回折次数の光に応じた画像であり、第２の画像成分が特定の回折次数以外の回折次数の光に応じた画像である場合に特に有用である。

本発明によれば、色変換処理によって第２の画像成分の視認性を低減させるので、第２の画像成分が目立ちにくく、かつ単に第２の画像成分を減算する場合に比べて視覚的に自然な（違和感のない）画像を得ることができる。

そして、色変換処理として、第２の画像成分の色相と上記減算画像データの色相とを略一致させるよう色相変換処理を行うことにより、第１の画像成分に対する第２の画像成分の色付きを低減させることができる。

また、色変換処理として、さらに彩度劣化処理を行うことにより、色相変換処理だけでは第２の画像成分の色付きが十分に低減できない場合でも、これをより低減させることができる。

また、色変換処理として、さらに色相、彩度の平滑化処理を行うことにより、より視覚的に自然な画像を得ることができる。

そして、本発明を、回折作用により分離された回折光により形成された像に応じた第１および第２の画像成分を含む画像データに対して適用することにより、不要な回折光に応じたフレア画像を目立ちにくくすることができる。

以下、本発明の実施例について図面を参照しながら説明する。

図２には、本発明の実施例１である撮像システムとしてのデジタルスチルカメラのシステムブロック図を示す。図２に示すように、このデジタルカメラは、撮影光学系２と撮像素子３とによって構成される撮像部１を有する。また、デジタル信号処理部５と画像劣化補正処理部６と画像処理部７とによって構成される電気信号処理部４も有する。さらに、これらすべてのシステム構成要素の駆動および制御のための命令を出力する、ＣＰＵ等により構成されたコントローラ９と、メモリ部１０とを有する。メモリ部１０には、予め積層回折光学素子の結像特性データが格納されている。また、カメラに対して着脱可能な出力画像メモリ８も有する。

システム全体の構成を、データの流れに沿って順に説明する。

撮影光学系２は、図１０に示したような積層型回折光学素子２００を含む。この撮影光学系２によって形成された被写体像は、撮像素子３の受光面にて結像する。撮像素子３に入射した光は直ちに光電変換され、電気信号が出力される。撮像素子３から出力された電気信号は、コントローラ９の指示に応じて、電気信号処理部４の中のデジタル信号処理部５へと転送される。

デジタル信号処理部（画像取得手段）５は、コントローラ９の指示に応じて、転送されてきた電気信号をＡ／Ｄ変換してデジタルデータに変換する。さらに、画素補間処理によって、Ｒ，Ｇ，Ｂの表色ごとの全画素分の画像データ（原画像データ）を生成する。

生成された画像データは、画像劣化補正処理部６に転送される。画像劣化補正処理部６は、コントローラ９の指示に応じて、転送されてきた原画像データに対して以下に説明する色変換処理を行う。

画像劣化補正処理部６は、図３に示すように、色相変換処理部６ａと、彩度劣化処理部６ｂと、色相・彩度平滑化処理部６ｃとから構成される。

ここで、回折光学素子にて発生した不要回折光によるフレア像の一般的な性質について説明する。撮像光学系の光軸上に発生するフレア像は、像面上に結像する１次の回折光とは異なる回折次数を有し、像面上に結像しない光、例えば０次および２次の回折光によって形成される。

フレア像は、図４（ａ）に示すように、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の色成分ごとに像面上での径が異なる。さらに、回折次数が高いほど径の大きいぼけ像を形成する。このとき、０、２次の回折光の輝度断面図を、１次回折光の結像位置を中心に模式的に示すと図４（ｂ）のようになる。この図からわかるように、中心の結像光から外側へ離れていくに従って、黄、赤の色滲みが発生する。この色滲みは、通常の明るさを持つ被写体の撮影時には、不要回折光の回折効率が十分に抑えられているため視覚的に目立つことはないが、非常に強い輝度の（ハイライトを含む）被写体の撮影時には、その強い光量に引き上げられて色滲みが視覚的に目立つようになる。

この不要回折光による色滲みを、色変換処理を行うことによって視覚的に補正するのが本発明の基本的な考え方である。本実施例では、色変換処理を、色相変換処理、彩度劣化処理および色相・彩度平滑化処理の順で行う。これらの処理はそれぞれ、色相変換処理部６ａ、彩度劣化処理部６ｂおよび色相・彩度平滑化処理部６ｃが担当する。すなわち、本実施例は、この色変換処理を含めた画像処理全体をハードウェアにより行う例を示している。

色相変換処理は、フレア画像（第２の画像成分）の発生領域の色滲みを、色相を変換してフレア画像領域近辺の背景画像（第１の画像成分）の色に合わせこむ（略一致させる）ことで、視覚的に目立たないようにする処理である。

但し、色相変換後もフレア画像の色づきを完全に落とすのは困難であるので、彩度劣化処理により彩度を落とし、さらに色相・彩度平滑化処理を施して、視覚的にフレア画像の色づきを抑える。

以下、画像劣化補正処理部６におけるフレア補正処理の手順を、図５のフローチャートを用いつつ説明する。

ステップ１０１において、デジタル信号処理部５で生成された原画像データは、色相変換処理部６ａへ転送される。なお、以下の説明において、原画像データを「撮影画像」と称する場合もある。

ステップ１０２において、色相変換処理部６ａでは、ＲＧＢの３つのチャンネルのうちＲチャンネルの原画像データに対してエッジ処理を行う。具体的には、原画像データの全体を対象に、ある注目画素を設定する。また、該注目画素から上下左右４方向における該注目画素に隣接する画素から所定画素数分の画素群を設定する。そして、注目画素の輝度値と上記画素群の平均輝度値との差分をとる。「所定画素数」は、メモリ部１０に格納されている回折光学素子の結像特性データから求められたフレア画像の半径に対応するよう設定される。

そして、この処理を原画像データ全体の各画素に対して順次実行する。この処理によって、積層型回折光学素子で生じた不要回折光に応じたフレア画像を背景画像に対して浮かび上がらせる（抽出する）ことができる。この浮かび上がらせたフレア画像を、本実施例では、擬似フレア画像（エッジ画像）と称する。

擬似フレア画像の各画素の輝度値を撮影画像において対応する各画素の輝度値から減算すれば、擬似的にフレアが除去された画像、すなわち疑似フレア減算画像が得られる。この擬似フレア減算画像は、単純にフレア画像を見積もって撮影画像から減算しただけなので、輝度値の平均化と減算の影響により、フレア画像のエッジ部近辺で輝度値や解像度が不連続となり、鑑賞用画像としては好ましくない場合が多い。

従って、本実施例では、ステップ１０４において、擬似フレア減算画像をそのまま最終的なフレア補正画像としては用いることはせず、これを色相変換のための参照画像として使用する。即ち、擬似フレア減算画像の各画素の色相値と略一致するように撮影画像（原画像データ）全体の各対応画素の色相値を変換する。

上記処理のように擬似的にフレアが存在しない画像（擬似フレア減算画像）を目安にして、撮影画像の色相値を、元来フレアが存在しないときの撮影画像の背景色（背景画像の色相）に合わせることで、フレア画像の色味を低減することができる。

この色相変換処理について、画像の輝度断面図を用いて模式的に示したのが図６である。図６（ａ）に示すような輝度分布を持つ撮影画像から、図６（ｂ）に示すような輝度分布を持つ疑似フレア画像を減算することにより、図６（ｃ）に示すような輝度分布を持った疑似フレア減算画像を得る。そして、撮影画像の色相値を疑似フレア減算画像の色相値に略一致させることにより、疑似フレア減算画像に比べて鑑賞用画像として好ましい画像を得ることができる。なお、色相変換処理による各画素の色相値の変化量は、メモリ部１０に格納される。

但し、色相変換処理を行っても、まだ色滲みが十分には低減しきれずに視覚的に目立つ場合がある。この場合は、次にステップ１０５において、彩度劣化処理を行う。色相値が変換された画像データは、彩度劣化処理部６ｂへ転送される。そして、彩度劣化処理部６ｂは、メモリ部１０にアクセスして、色相変換処理における各画素の色相値の変化量、対象画素の彩度値および輝度値を参照して、画像全体について、画素単位で画像補正に適切な彩度劣化量を計算する。

ここでは、例えば、色相変換の結果を彩度劣化処理に反映させ、色相値が大きく変化したフレア画像領域の画素は彩度劣化量を多めに、色相値がほとんど変化していない背景画像領域の画素の彩度劣化量は少なめ（実質的にゼロ）に設定される。つまり、主としてフレア画像領域に対する彩度劣化処理が行われることになる。

この彩度劣化処理によって、フレア画像における彩度の高い鮮明な色滲みが視覚的に目立たなくなる。なお、彩度劣化処理による各画素の彩度劣化量は、メモリ部１０に格納される。

上記色相変換処理および彩度劣化処理により、画像構成によっては色相や彩度が不連続となり、不自然な画像になる可能性もある。このため、本実施例では、ステップ１０６において、さらに色相および彩度の平滑化処理を行う。また、色相変換処理および彩度劣化処理を行った後にも残っている色滲みを、平滑化処理によって分散させることができ、色滲みをより目立たなくすることができる。

色相変換処理および彩度劣化処理が行われた画像データは、色相・彩度平滑化処理部６ｃへ転送される。色相・彩度平滑化処理部６ｃは、転送されてきた画像の全体に対して色相および彩度の平滑化処理を行う。ここでも、色相・彩度平滑化処理部６ｃはメモリ部１０を参照して、色相変換処理における各画素の色相値の変化量と彩度劣化処理における彩度劣化量、さらには輝度値をもとにして、任意の分布をもつ最適な平滑化処理パラメータを決定し、平滑化処理を実行する。即ち、色相変換処理および彩度劣化処理の結果を反映させることで、フレア画像領域と背景画像領域とで平滑化処理を調節できる。

こうして平滑化処理まで行われることにより、不要回折光に応じたフレア画像の視認性が抑えられ、かつ色相・彩度が連続的に滑らかに変化して補正処理の痕跡も目立たない良質な画像を得ることができる。

以上のように色相変換処理、彩度劣化処理および色相・彩度平滑化処理が行われた画像データは、画像処理部７へと転送され、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等の最終的な画像処理が施される。

画像処理部７によって画像処理された画像データは、出力画像として出力画像メモリ８へと転送され、記録される。出力画像メモリ８としては、半導体メモリ、磁気ディスク、光ディスク等の各種記憶媒体を使用することができる。

本実施例では、不要回折光に応じたフレア画像の発生領域を特定せずにフレア補正処理を行う場合について説明した。上記色相変換処理における差分処理によって得られた疑似フレア減算画像では、フレア画像領域が浮かび上がるが、フレア画像領域以外の領域（背景画像領域）では、該領域のエッジ部分が強調される以外は潰れてしまう。従って、この疑似フレア減算画像を元々の撮影画像から減算しても、実質的に減算されるのはフレア画像領域である。このため、疑似フレア減算画像の色相値に元々の撮影画像の色相値を一致させても、色相値に実質的に変動があるのはフレア画像領域だけである。つまり、フレア画像領域の色相値のみが変換され、背景画像領域の色相値はほとんど変化しない。

また、彩度劣化処理においては、主にこの色相値の変化量をもとに彩度劣化量が決定されるので、色相変化の大きいフレア画像領域の彩度は大きく劣化（減少）されるが、色相変化のほとんどない背景画像領域の彩度はほとんど劣化されない。同様に、主に色相変化量と彩度劣化量をもとに処理が実行される色相・彩度平滑化処理においても、フレア画像領域は平滑化処理がなされるが、背景画像領域はおいては実質的な処理はなされず、撮影画像に対しても変化がほとんどない。以上の理由によって、フレア画像領域を検出しなくても、背景画像領域に実質的な影響を与えることなく、フレア補正を行うことができる。

また、本実施例では、色相変換処理、彩度劣化処理および色相・彩度平滑化処理をこの順で行ってフレア補正を行う場合について説明したが、処理の順序を変えてもよい。また、３つの処理のうちある処理を終えた時点で、フレア画像が十分低減され、視覚的に問題とならないと判断されるならば、その時点で補正処理を終了してもよい。

そして、以上説明した画像劣化補正処理機能を搭載したデジタルスチルカメラを用いれば、ハイライトを有する被写体の撮影時に、撮影光学系に含まれる回折光学素子によって発生する不要回折光に起因したフレア画像の視認性を低減し、高画質の画像を得ることができる。

本発明の実施例２である撮像システムとしてのデジタルスチルカメラについて説明する。システムの基本的構成は、実施例１において図２を用いて説明したものと同じである。即ち、積層型回折光学素子を含む撮影光学系２および撮像素子３によって構成される撮像部１と、デジタル信号処理部５，画像劣化補正処理部６および画像処理部７によって構成される電気信号処理部４と、これらすべてのシステム構成要素の駆動および制御のための命令を出力するコントローラ９と、メモリ部１０とを有する。メモリ部１０には、予め回折光学素子の結像特性データが格納されている。また、カメラに対して着脱可能な出力画像メモリ８も有する。該システムにおける基本的な命令、データの流れは、実施例１と同じである。

但し、本実施例では、画像劣化補正処理部６の構成が実施例１とは異なり、図７に示すように、実施例１の構成に対して、画像劣化領域検出部６ｄが追加されている。

以下、画像劣化補正処理部６におけるフレア補正処理の手順を、図８のフローチャートを用いつつ説明する。

ステップ３０１において、撮像素子３からの電気信号に基づいてデジタル信号処理部５で生成されたＲＧＢの表色ごとの原画像データ（撮影画像）は、画像劣化領域検出部６ｄへ転送される。

ステップ３０２において、画像劣化領域検出部６ｄでは、実施例１と同様の撮影画像の差分処理を行い、積層型回折光学素子により発生した不要回折光に応じたフレア画像が背景画像に対して浮かび上がった擬似フレア画像（エッジ画像）を得る。

次に、ステップ３０３では、画像劣化領域検出部６ｄは、表色ごとの原画像データにおける輝度飽和画素（撮像素子３における画素が持つダイナミックレンジの上限値以上の輝度信号値を有する画素又は画素信号）を検出する。また、メモリ部１０にアクセスして、撮影光学系２に含まれる積層型回折光学素子の結像特性データを読み出す。

次に、ステップ３０４では、画像劣化領域検出部６ｄは、輝度飽和画素を中心として、回折光学素子の結像特性データからフレア領域をコンボリュ−ションし、フレア画像の発生領域を推定する。この計算によって推定されたフレア画像を計算フレア画像と称する。

そして、ステップ３０５では、計算フレア画像の色相と、上記差分処理によって得られた疑似フレア画像の色相とを比較する。この際、疑似フレア画像の色相値が、計算フレア画像の色相値に対してある閾値以上の値であるときに、その疑似フレア画像は真のフレア画像であるとして、フレア画像の発生領域として特定する。特定されたフレア画像領域はメモリ部１０に格納される。また、フレア画像領域が特定されると、撮影画像と擬似フレア画像のデータは色相変換処理部６ａに転送される。

色相変換処理部６ａでは、実施例１と同様に、撮影画像から擬似フレア画像を減算して、疑似フレア減算画像を得る。そして、撮影画像のうち、ステップ３０５にて特定されたフレア画像領域およびそのエッジ部近傍の色相値を、疑似フレア減算画像の色相値に合わせ込む（略一致させる）。色相値が変換された画像は、彩度劣化処理部６ｂへと転送される。

次に、ステップ３０８では、彩度劣化処理部６ｂは、色相値が変換された画像のうち、特定されたフレア画像領域とそのエッジ部近傍に対してのみ、メモリ部１０に格納された画素ごとの彩度値や輝度値のデータおよび結像特性データに基づいて、画素位置に応じた彩度劣化処理を行う。そして、彩度劣化処理が行われた画像データは、色相・彩度平滑化処理部６ｃに転送される。

ステップ３０９では、色相・彩度平滑化処理部６ｃは、彩度劣化された画像のうち、特定されたフレア画像領域とそのエッジ部近傍に対してのみ、色相および彩度の平滑化処理を行う。この際、メモリ部１０に格納された各画素の輝度値、色相値、彩度値および結像特性データに基づいて、最終的に得られる画像が鑑賞用として自然に見えるための最適な色相分布および彩度分布を持つこととなるように平滑化処理パラメータが決定される。

こうして、特定されたフレア画像領域およびそのエッジ部近傍に対して色相変換処理、彩度劣化処理および色相・彩度平滑化処理が行われた画像（フレア補正画像）は、ステップ３１０において画像処理部７へと転送され、ここでホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等の最終的な現像処理が施された後、出力画像として出力画像メモリ８へと転送され、記録される。

なお、上記説明では、撮影光学系２のレンズ繰り出し量、ズームステート、Ｆナンバーおよび画角やホワイトバランス調整量などのカメラパラメータを考慮したフレア画像領域の特定処理を行っていないが、これらを考慮することも可能である。

この場合、予め、カメラパラメータに応じた回折光学素子の結像特性データと、該結像特性に対応した、色変換処理における最適な補正パラメータとを算出等してメモリ部１０に格納しておき、撮影時に、コントローラ９によって検出されたカメラパラメータに対応した最適補正パラメータを参照することによって、フレア画像領域を推定（特定）するようにすればよい。

また、彩度劣化処理や色相・彩度平滑化処理においては、メモリ部１０にアクセスして、色相変換処理による色相値の変化量、彩度劣化処理による彩度の変化量とともに、カメラパラメータに応じた最適補正パラメータを参照して、これらの処理を行うようにしてもよい。

また、メモリ部１０に上記データのすべてが格納されているときには、色相変換処理における差分処理時に、メモリ部１０に格納された回折光学素子の結像特性データのうち、カメラパラメータに対応した結像特性データを読み出し、浮かび上がらせたフレア画像の色相・彩度・輝度値と比較することにより、そのフレア画像が、０、２次の回折光によるフレア画像か、さらに高次の−１、３次の回折光によるフレア画像か、それ以上の高次の回折光によるフレア画像かを分析することが可能である。これにより、フレアの発生要因である回折光の次数に応じて、上記彩度劣化処理および色相・彩度平滑化処理での補正パラメータを決定することができる。

以上説明したような画像劣化補正処理機能を実装したデジタルカメラを用いれば、ハイライトを有する被写体の撮影時において、回折光学素子により発生した不要回折光に起因したフレア画像を良好に補正し、高画質の画像を得ることができる。

次に、本発明の実施例３である画像処理プログラムについて説明する。この画像処理プログラムは、ＣＤ−ＲＯＭ等のメディアで配布されるアプリケーションソフトウェアであり、コンピュータに格納されたＯＳ（オペレーションシステム）上で動作する。

図９には、コンピュータ１１の構成を示す。コンピュータ１１は、ＣＰＵ１３と、ＨＤＤ（ハードディスク）１４と、ＲＯＭ１５と、ＲＡＭ１６と、画像入力部１７とを有し、これらの構成要素からなるハードウェア１２を起動させて、ＯＳ２０上で本画像処理プログラムとしてのアプリケーションソフトウェア２１を動作させる。ＯＳ２０は、モニタドライバ２２を制御して、アプリケーションソフトウェア２１で生成された画像を表示させる。

メモリ１８は、フラッシュメモリ等により代表される記憶媒体であり、図１０に示したような積層型回折光学素子を含む撮影光学系を備えたデジタルスチルカメラ等の撮像システムで撮影されたＲＡＷ画像データが１又は複数保存されている。また、フラッシュメモリ１８には、ＲＡＷ画像データに対応した、撮影時のレンズやカメラの機種や、レンズ繰り出し量、ズームステート、Ｆナンバー、画角、ホワイトバランス調整量などのカメラパラメータが保存されている。

コンピュータ１１上で本アプリケーションソフトウェア２１を立ち上げ、アプリケーションソフトウェア２１のユーザーインターフェイスから、画像処理を実行したいＲＡＷ画像データをメモリ１８から選択すると、該選択されたＲＡＷ画像データは、アプリケーションソフトウェア２１からＯＳ２０を経た命令に応じて動作する画像入力部１７にてメモリ１８から読み出される。また、これに伴い、該選択されたＲＡＷ画像データに付随したカメラパラメータも読み出される。読み出されたＲＡＷ画像データおよびカメラパラメータは、ＲＡＭ１６に格納され、また、選択されたＲＡＷ画像データは、アプリケーションソフトウェア２１を介してモニタ１９に表示される。

本アプリケーションソフトウェア２１（画像処理プログラム）は、ＲＡＷ画像データから回折光学素子からの不要回折光に応じたフレア画像成分を、色変換により視覚的に低減する補正処理を行った後に、モニタ１９等の表示系によって鑑賞可能な画像に現像処理を施すものである。

以下、上記アプリケーションソフトウェア２１の動作について説明する。該アプリケーションソフトウェア２１上のユーザーインターフェイスを介して、処理の実行命令が入力されると、ＣＰＵ１３は、ＲＡＭ１６に格納された、選択されたＲＡＷ画像データと、これに対応したカメラパラメータとを読み出して、ＲＡＷ画像データに対する画像補正を行う。処理の大筋の手順および内容は、実施例１にて図５を用いて説明したものとほぼ同じであり、ここでは図５を参照しつつ説明する。また、以下の説明において、ＲＡＷ画像データを単にＲＡＷ画像と称する場合もある。

本アプリケーションソフトウェア２１には、予め様々なレンズやカメラの機種のカメラパラメータに応じた結像特性データが格納されている。従って、ＲＡＭ１６から読み出した機種とカメラパラメータから、対応した結像特性データを参照することができる。そして、アプリケーションソフトウェア２１は、この結像特性データを用いて、ＲＧＢ各チャンネルにおける、像面上の各画角に応じたフレア像領域の水平および垂直方向の幅を読み出し、各チャンネルのフレア像の水平および垂直方向のそれぞれにおける平均幅を算出する。

また、ある注目画素に対して、その画素位置が含まれる画角に対応した、水平・垂直方向のそれぞれにおけるフレア像の幅の平均輝度値を求め、水平・垂直方向のそれぞれで差分をとる。

これらの処理を、ＲＡＭ１６からＲＡＷ画像を読み出した後（ステップ１０１参照：画像データの取得ステップ）、このＲＡＷ画像の全体に対して順次行い、不要回折光によって生じた、画角に応じた非対称のフレア画像を浮かび上がらせた差分画像（実施例１にいう疑似フレア画像に相当する）を得る（ステップ１０２参照）。

そして、この差分画像をＲＡＷ画像データから減算し、減算済み画像（実施例１にいう疑似フレア減算画像に相当する）の色相値と一致するように、ＲＡＷ画像（撮影画像）の色相値を変換する（ステップ１０３，１０４参照）。

次に、この色相変換処理を経たＲＡＷ画像データに対して彩度劣化処理を行う（ステップ１０５参照）。具体的には、ある注目画素の彩度と、上記減算済み画像の彩度とを比較し、且つレンズおよびカメラ機種と撮影条件による画角特性に応じた結像特性とを考慮して、彩度劣化処理を施す際の最適なパラメータを計算する。そして、このパラメータを用いて彩度劣化処理を実行する。

次に、彩度劣化処理されたＲＡＷ画像データに対して、色相・彩度平滑化処理を行う（ステップ１０６参照）。具体的には、各画素の属する画角に応じた結像特性と、画素の彩度、色相値さらには輝度値等の画像データとを参照して、最適な平滑化処理となるようにパラメータが計算される。そして、このパラメータに基づいて色相・彩度平滑化処理を実行する。

こうして色相変換処理、彩度劣化処理および色相・彩度平滑化処理が行われることによって、不要回折光によるフレア画像成分が低減されたＲＡＷ画像データに対して、次に、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等の最終的な現像処理を施す（ステップ１０７参照）。

現像処理された画像データは、画像フォーマットに則った圧縮方法により圧縮される。圧縮された画像は、本アプリケーションソフトウェア２１を介してモニタ１９に表示される。また、現像・圧縮処理がなされた画像は、コンピュータのＨＤＤ１４やメモリ１８などに保存することができる。

以上説明したように、本実施例のアプリケーションソフトウェアを用いれば、回折光学素子を含む撮影光学系を備えた撮像システムで撮影した、ハイライトを有する被写体の画像データにおいて、不要回折光に応じたフレアによる画像劣化を良好に補正でき、高画質な画像を得ることができる。

なお、本アプリケーションソフトウェアに、レンズ及びカメラ機種のカメラパラメータに応じた回折光学素子の結像特性を格納しておくとともに、色変換処理（色相変換処理、彩度劣化処理および色相・彩度平滑化処理）におけるカメラパラメータ等を考慮した最適補正パラメータを予め算出して格納しておき、補正処理の際に随時用いてもよい。

また、本アプリケーションソフトウェアで、ＲＡＷ画像データ中の輝度飽和画素を検出し、実施例２のように輝度飽和画素を基準としたコンボリューションによってフレア画像領域を推定し、推定されたフレア画像領域とそのエッジ部近傍に対してのみ色相変換処理、彩度劣化処理、色相・彩度平滑化処理を施すことによって、フレア画像を補正してもよい。

また、彩度劣化処理において、色相変換処理での色相変化量をパラメータにとり、また、色相・彩度平滑化処理において、該色相変化量と彩度劣化処理での彩度劣化量とをパラメータにとって、上記各処理の補正パラメータを決定してもよい。

なお、本発明を実施し得る形態としてはさらに以下のようなものが挙げられる。

（１）回折面を含む結像光学系、結像した像を電気信号に変換するための撮像素子、該撮像素子から得られる電気信号を表示系で鑑賞可能な映像信号に変換する電気信号処理部を具備する撮像システムにおいて、撮像された電子画像に回折面が原因となって生じた画質劣化を、色変換処理により低減する手段を前記電気信号処理部中に具備することで補正することを特徴とする撮像システム又は画像処理装置。

（２）前記回折面が原因となって生じた画質劣化要因が、前記回折面を含む結像光学系において、結像に不要な回折次数による回折光であることを特徴とする（１）に記載の撮像システム又は画像処理装置。

（３）前記色変換処理において、前記電子画像中の不要回折次数光の発生領域に対して、もしくは前記電子画像全体に対して色変換を行う処理であることを特徴とする（１）に記載の撮像システム又は画像処理装置。

（４）前記色変換による画像劣化補正において、前記回折面を含む結像光学系の結像特性データ、もしくは前記結像特性データに応じて計算される、前記色変換処理における補正パラメータを用いることを特徴とする（１）又は（３）に記載の撮像システム又は画像処理装置。

（５）前記結像光学系の結像特性データもしくは前記補正パラメータが、カメラパラメータに応じて取得されたものであることを特徴とする（４）に記載の撮像システム。

（６）前記カメラパラメータが、前記結像光学系のレンズ繰り出し量、ズームステート、Fナンバー、画角、ホワイトバランス調整量のいずれか、もしくはその組み合わせであることを特徴とする（５）に記載の撮像システム又は画像処理装置。

（７）前記撮像システム又は画像処理装置が、前記カメラパラメータ、或いは前記回折面を含む結像光学系の結像特性データ、もしくは前記補正パラメータを保持するメモリ部を有し、前記電気信号処理部がメモリ部にアクセスして、前記カメラパラメータもしくは前記結像特性データもしくは前記補正パラメータを参照することが可能であることを特徴とする（１）， （４）又は（６）に記載の撮像システム又は画像処理装置。

（８）前記色変換処理において、前記画質劣化を補正する手段として、色相変換処理を伴うことを特徴とする（３）に記載の撮像システム又は画像処理装置。

（９）前記色変換処理において、前記画質劣化を補正する手段として、彩度劣化処理を伴うことを特徴とする（３）に記載の撮像システム又は画像処理装置。

（１０）前記色変換処理において、前記画質劣化を補正する手段として、色相や彩度の平滑化処理を伴うことを特徴とする（３）に記載の撮像システム又は画像処理装置。

（１１）前記色相変換において、前記電子画像から前記不要回折次数光の発生強度分布を減算した画像に、前記電子画像の画像全体もしくは前記不要回折次数光発生領域の色相を一致させる、あるいは前記減算した画像の色相値をパラメータとして用いることを特徴とする（８）に記載の撮像システム又は画像処理装置。

（１２）前記色相変換処理において、前記結像光学系の結像特性データに応じて、前記電子画像の注目領域に対して周辺領域の平均値との差分をとる処理によって、前記不要回折次数光の発生強度分布を得ることを特徴とする（１１）に記載の撮像システム又は画像処理装置。

（１３）前記差分をとる処理において、前記電子画像全体、或いは一部分の領域の各画素に対して順次処理を行うことを特徴とする（１２）に記載の撮像システム又は画像処理装置。

（１４）前記差分をとる処理において、ある注目画素に対して、周囲の任意の方向について、任意の画素数分の平均値との差分をとることを特徴とする（１２）又は（１３）に記載の撮像システム又は画像処理装置。

（１５）前記差分をとる処理において、前記任意の画素数分が、フレア像の直径、或いは半径程度、もしくはフレア発生領域の色滲みによる幅程度であることを特徴とする（１４）に記載の撮像システム又は画像処理装置。

（１６）前記差分をとる処理において、ある注目画素に対する前記任意の方向が、水平画素方向、或いは垂直画素方向、或いは動径方向とそれと垂直な方向のいずれか、もしくはそれらの組み合わせであることを特徴とする（１４）に記載の撮像システム。

（１７）前記彩度劣化処理において、前記不要回折次数光の発生領域を含む画像領域に対して、もしくは前記電子画像全体に対して彩度劣化処理を行うことを特徴とする（９）に記載の撮像システム又は画像処理装置。

（１８）前記彩度劣化処理において、彩度劣化を一様に、もしくは画像データに応じて、任意の分布を与えて処理することを特徴とする（９）に記載の撮像システム又は画像処理装置。

（１９）前記色相・彩度平滑化処理において、前記電子画像中の不要回折次数光の発生領域内部、もしくは発生領域エッジ部近傍、もしくはその両方に対して、もしくは画像全体に対して、色相あるいは彩度の平滑化処理を行うことを特徴とする（１０）に記載の撮像システム又は画像処理装置。

（２０）前記色相・彩度平滑化処理において、前記不要回折次数光の発生領域と領域エッジ部近傍とで任意の分布をもつ平滑化パラメータを用いて平滑化処理を行うことを特徴とする（１９）に記載の撮像システム又は画像処理装置。

（２１）前記色相・彩度平滑化処理において、前記不要回折次数光の色相、或いは彩度、或いは画像データ、或いはそれらの組み合わせをもとに前記平滑化パラメータを算出することを特徴とする（２０）に記載の撮像システム又は画像処理装置。

（２２）前記色相・彩度平滑化処理において、前記結像光学系の結像特性データ、もしくは前記補正パラメータを参照して平滑化パラメータを決定することを特徴とする（２０）又は（２１）に記載の撮像システム又は画像処理装置。

（２３）前記色変換処理において、前記色相変換処理、前記彩度劣化処理、前記色相・彩度平滑化処理の順に処理を行うことを特徴とする（３）に記載の撮像システム又は画像処理装置。

（２４）前記彩度劣化処理及び前記色相・彩度平滑化処理において、前記色相変換における変化量をパラメータとして、前記彩度劣化処理及び前記色相・彩度平滑化処理のパラメータを決定することを特徴とする（８）から（９）のいずれか１つに記載の撮像システム又は画像処理装置。

（２５）前記彩度劣化処理及び前記色相・彩度平滑化処理において、前記結像光学系の結像特性データ、或いは前記補正パラメータを参照して、もしくは前記色相変換における変化量、或いは前記電子画像中の画像データに応じて、もしくはそれらの組み合わせによって処理パラメータを決定し、処理することを特徴とする（２４）に記載の撮像システム又は画像処理装置。

（２６）前記色相変換における変化量が、色相値の絶対値の変動量を表す、もしくは色相値の画素位置による分布特性を表す、あるいはその両方を表すことを特徴とする（２４）又は（２５）に記載の撮像システム又は画像処理装置。

（２７）前記電子画像中に前記不要回折次数光によるフレアが存在しないとき、前記彩度劣化処理、前記色相・彩度平滑化処理は実行しないことを特徴とする（３）、（７）又は（８）に記載の撮像システム又は画像処理装置。

（２８）前記差分をとる処理によって、フレア発生強度分布がある色相値以下の値をもつならば、フレアは存在しないとすることを特徴とする（２７）に記載の撮像システム又は画像処理装置。

（２９）回折面を含む結像光学系を介して撮像された撮影画像が、Ａ／Ｄ変換による処理を経て電子化されて得られた電子画像中に、前記結像光学系の回折面が原因となって生じた画質劣化を、色変換処理により低減する手段によって補正することを特徴とする画像処理手法。

（３０）前記色変換処理において、前記電子画像中の画質劣化領域に対して、もしくは前記電子画像全体に対して色変換を行う処理であることを特徴とする（２９）に記載の画像処理手法。

（ａ），（ｂ）はフレア画像を引き起こすハイライトの強度分布を模式的に示した図である。 本発明の実施例１である撮像システムの構成を示すブロック図である。 実施例１における画像劣化補正処理部の構成を示すブロック図である。 （ａ）は軸上点における不要回折光の波長に応じた径の大きさを平面的に示した図、（ｂ）は（ａ）の図の輝度断面図である。 実施例１の画像劣化補正処理部の動作を示すフローチャートである。 （ａ）〜（ｃ）は、実施例１で行われる色相変換処理の概念図である。 本発明の実施例２である撮像システムの画像劣化補正処理部の構成を示すブロック図である。 実施例２の画像劣化補正処理部の動作を示すフローチャートである。 本発明の実施例３であるコンピュータの構成を示すブロック図である。 積層型回折光学素子を示す概略図である。

符号の説明

１ 撮像部
２ 撮影光学系
３ 撮像素子
４ 電気信号処理部
５ デジタル信号処理部
６ 画像劣化補正処理部
６ａ 色相変換処理部
６ｂ 彩度劣化処理部
６ｃ 色相・彩度平滑化処理部
６ｄ 画像劣化領域検出部
７ 画像処理部
８ 出力画像メモリ
９ コントローラ
１０ メモリ部
１１ コンピュータ
１２ ハードウェア
１３ ＣＰＵ
１４ ＨＤＤ
１５ ＲＯＭ
１６ ＲＡＭ
１７ 画像入力部
１８ メモリ
１９ モニタ
２０ ＯＳ
２１ アプリケーションソフトウェア
２２ モニタドライバ

Claims (12)

1. 結像光に応じた第１の画像成分と非結像光に応じた第２の画像成分とを含む画像データの処理を行う画像処理方法であって、
   前記画像データを取得するステップと、
   前記画像データに対して、前記第２の画像成分の視認性を低減させるための補正処理を行うステップとを有し、
   前記補正処理として、色変換処理を行い、
   前記補正処理を行うステップにおいて、前記画像データに対して、前記第２の画像成分を抽出するためのエッジ処理を行い、前記画像データから前記エッジ処理が行われたエッジ画像データを減算して減算画像データを得て、さらに前記色変換処理として、前記第２の画像成分の色相と該減算画像データの色相とを略一致させるよう、色相を変更する色相変換処理を行うことを特徴とする画像処理方法。
2. 前記色変換処理として、さらに、彩度を減じる彩度劣化処理を行うことを特徴とする請求項１に記載の画像処理方法。
3. 前記彩度劣化処理において、前記色相変換処理における色相変換量に応じて彩度劣化量を設定することを特徴とする請求項２に記載の画像処理方法。
4. 前記色変換処理として、さらに、色相および彩度のうち少なくとも一方の平滑化処理を行うことを特徴とする請求項１から３のいずれか１つに記載の画像処理方法。
5. 前記平滑化処理において、前記色相変換処理における色相変換量および前記彩度劣化処理における彩度劣化量のうち少なくとも一方に応じて処理パラメータを設定することを特徴とする請求項４に記載の画像処理方法。
6. 結像光に応じた第１の画像成分と非結像光に応じた第２の画像成分とを含む画像データを処理する画像処理装置であって、
   前記画像データを取得する画像取得手段と、
   前記画像データに対して、前記第２の画像成分の視認性を低減させるための補正処理を行う補正手段とを有し、
   前記補正手段は、前記補正処理として、色変換処理を行い、
   前記補正手段は、前記画像データに対して、前記第２の画像成分を抽出するためのエッジ処理を行い、前記画像データから前記エッジ処理が行われたエッジ画像データを減算して減算画像データを得て、さらに前記色変換処理として、前記第２の画像成分の色相と該減算画像データの色相とを略一致させるよう、色相を変更する色相変換処理を行うことを特徴とする画像処理装置。
7. 前記補正手段は、前記色変換処理として、さらに、彩度を減じる彩度劣化処理を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記彩度劣化処理において、前記色相変換処理における色相変換量に応じて彩度劣化量を設定することを特徴とする請求項７に記載の画像処理装置。
9. 前記補正手段は、前記色変換処理として、さらに、色相および彩度のうち少なくとも一方の平滑化処理を行うことを特徴とする請求項６から８のいずれか１つに記載の画像処理装置。
10. 前記平滑化処理において、前記色相変換処理における色相変換量および前記彩度劣化処理における彩度劣化量のうち少なくとも一方に応じて処理パラメータを設定することを特徴とする請求項９に記載の画像処理装置。
11. 回折面を含む光学系と、
    該光学系により形成された光学像を光電変換する撮像素子と、
    前記撮像素子を用いて取得した画像データを処理する請求項６から１０のいずれか１つに記載の画像処理装置と、
    前記画像処理装置により処理された画像データを出力する出力手段とを有することを特徴とする撮像システム。
12. 請求項１から５のいずれか１つに記載の画像処理方法をコンピュータに実行させるプログラムであることを特徴とする画像処理プログラム。
    

Images