JP5268533B2 - 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Description

本発明は、画像に含まれるぼけ成分と歪曲成分を低減する画像処理技術に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。

画像のぼけ成分を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像のぼけ成分を補正（低減）する処理を画像回復処理と称する。

画像回復処理の概要は以下の通りである。ぼけ成分を含む劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、例えばウィーナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化は、例えば、上記のぼけ成分の補正により画像の色成分ごとのぼけ量が均一になれば補正されたことになる。

ここで、光学伝達関数（ＯＴＦ）は、光学系の焦点距離（ズーム状態）や絞り径等の光学系の状態に応じて変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。

また、画像には、歪曲成分が含まれる場合もある。歪曲とは、一般的には、画像が周辺部ほど大きく伸張又は収縮するという幾何学的な歪みであり、光学系の歪曲収差が原因である。

特許文献１には、歪曲収差による画像の幾何学的歪みを補正する方法として、撮像時のズーム状態や撮像距離等の撮像状態の情報を取得し、予め用意してある撮像状態に応じた歪曲収差データを参照して幾何学的歪みを補正する技術が開示されている。歪曲収差データは、像高に依存する関数である。
特開２００６−２７０９１８号公報

光学系の諸収差により劣化した画像を良好に補正して高画質な画像を得るためには、上述したぼけ成分と歪曲成分を低減する処理を行う必要がある。しかしながら、これらの処理を行うソフトウェアやそれを実装した撮像装置では、ユーザーにストレスを感じさせないために処理速度を高速にしなければならない。

また、特許文献１にて開示された補正技術では、撮像状態に対応する歪曲収差データを用いて画像の歪曲成分を低減することはできるが、画像のぼけ成分を低減することができない。特許文献１にて開示された歪曲成分の補正方法と、従来の画像回復フィルタを用いた画像回復処理とを順次行うことで、歪曲成分だけでなくぼけ成分を低減することは可能である。ただし、処理工程が増え、処理速度が低下する。

本発明は、画像のぼけ成分と歪曲成分を高速に補正することができるようにした画像処理方法、画像処理装置、撮像装置及び画像処理プログラムを提供する。

本発明の一側面としての画像処理方法は、画像を取得するステップと、光学系の収差情報に基づいてフィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて該画像に対する画像回復処理を行う画像回復ステップとを有する。そして、画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置が該画像回復フィルタの中心セルの位置に対して光学系の歪曲収差量に応じたずれ量を有しており、画像のぼけ成分とともに歪曲成分を低減するフィルタであり、また、画像回復フィルタは、光が光学系に入射してから撮像により画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成されることを特徴とする。

また、本発明の他の一側面としての画像処理装置は、光学系の収差情報に基づいてフィルタ値が２次元分布を持つように作成された画像回復フィルタを記憶する記憶手段と、画像回復フィルタを用いて画像に対する画像回復処理を行う画像回復手段とを有する。そして、画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置が該画像回復フィルタの中心セルに対して光学系の歪曲収差量に応じたずれ量を有しており、画像のぼけ成分とともに歪曲成分を低減するフィルタであり、また、画像回復フィルタは、光が光学系に入射してから撮像により画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成されることを特徴とする。

なお、光学系により形成された被写体像を光電変換して画像を取得する撮像系と、該画像を処理する上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。
また、本発明の他の一側面としての画像処理プログラムは、コンピュータに、画像を取得するステップと、光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて画像に対する画像回復処理を行う画像回復ステップと、を実行させる。そして、画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置が該画像回復フィルタの中心セルの位置に対して光学系の歪曲収差量に応じたずれ量を有しており、画像のぼけ成分とともに歪曲成分を低減するフィルタであり、また、画像回復フィルタは、光が光学系に入射してから撮像により画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成されることを特徴とする。

本発明によれば、画像回復フィルタがぼけ成分とともに歪曲成分を低減するように作成されているので、画像回復処理によってぼけ成分と歪曲成分とを同時に低減することができる。したがって、ぼけ成分と歪曲成分とを高速な処理によって低減することができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である画像処理装置を備えた（画像処理方法を使用する）デジタルカメラやビデオカメラ等の撮像装置の構成を示している。

不図示の被写体からの光束は、撮像光学系１０１によって、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。

撮像光学系１０１は、不図示の変倍レンズ、絞り１０１ａ及びフォーカスレンズ１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。

撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。

画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する画像生成部１０４ａを有する。また、画像処理部１０４は、この入力画像に対して画像回復処理を行う画像回復処理部（画像回復手段）１０４ｂを有する。撮像素子１０２から画像生成部１０４ａまでが撮像系に相当する。

画像回復処理部１０４ｂは、状態検知部１０７から撮像光学系１０１の状態（以下、撮像状態という）の情報を得る。撮像状態とは、例えば、撮像光学系１０１の焦点距離（ズーム位置）、絞り開口径（絞り値、Ｆナンバー）、フォーカスレンズ位置（被写体距離）である。なお、状態検知部１０７は、システムコントローラ１１０から撮像状態の情報を得てもよいし、撮像光学系１０１を制御する撮像光学系制御部１０６から得てもよい。

そして、画像回復処理部１０４ｂは、撮像状態に応じた画像回復フィルタを記憶部（記憶手段）１０８から選択し、入力画像に対して画像回復処理を行う。状態検知部１０７、画像回復処理部１０４ｂ及び記憶部１０８により、撮像装置内で画像処理装置が構成される。

図２には、画像回復処理部１０４ｂ（以下の説明では、画像処理部１０４という）で行われる画像回復に関する処理（画像処理方法）のフローチャートを示している。画像処理部１０４は、画像処理用コンピュータにより構成され、コンピュータプログラムに従って該処理を実行する。

ステップＳ１では、画像処理部１０４は、撮像素子１０２からの出力信号に基づいて生成された画像（以下、入力画像という）を画像回復処理の対象として取得する。次に、ステップＳ２では、画像処理部１０４は、状態検知部１０７から撮像状態情報を取得する。ここでは、撮像状態を、ズーム位置、絞り開口径、及び被写体距離の３つとする。

次に、ステップＳ３では、画像処理部１０４は、記憶部１０８に記憶された画像回復フィルタの中から、ステップＳ２で取得した撮像状態に対応する画像回復フィルタを選択する。

ここで、記憶部１０８には、画像回復フィルタの数（データ数）を低減するために、離散的に選択された撮像状態に対する画像回復フィルタのみが記憶（格納）されている。このため、ステップＳ２で取得した撮像状態に対応する又は該撮像状態にきわめて近い撮像状態に対応する画像回復フィルタが記憶部１０８に格納されていない場合は、その撮像状態にできるだけ近い画像回復フィルタを選択する。そして、その画像回復フィルタを、以下のステップＳ４〜Ｓ６で、ステップＳ２で取得した撮像状態に最適化するように補正することで、実際に使用する画像回復フィルタを作成する。

図３には、記憶部１０８に記憶された、離散的に選択された撮像状態に対する画像回復フィルタを模式的に示す。記憶部１０８に記憶された画像回復フィルタは、前述したように、ズーム位置（状態Ａ）、絞り開口径（状態Ｂ）及び被写体距離（状態Ｃ）の３つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０８に記憶されている画像回復フィルタを示す。

なお、図３では、画像回復フィルタを各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、ズーム位置、絞り開口径及び被写体距離に限らず、その数も３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成してその中に画像回復フィルタを離散的に配置してもよい。

このように離散的に配置された画像回復フィルタから、実際に使用する画像回復フィルタを作成する方法については後述する。

ここで、画像回復フィルタの例を図４に示す。画像回復フィルタでは、撮像光学系１０１の収差量に応じてセル（タップ）数が決められる。図４に示す画像回復フィルタは、２１×２１セルを有する２次元フィルタである。各セルが画像の１画素に対応する。

画像回復フィルタを、１００以上のセルに分割した２次元フィルタとすることで、撮像光学系１０１による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても良好な画像回復結果を得ることができる。また、このような実空間での画像回復フィルタを、入力画像に対してコンボリューション処理することで、フーリエ変換を行うことなく画像を回復することができる。

また、各セルは、撮像光学系１０１の球面収差、コマ収差、軸上色収差、軸外色フレア等の収差情報に応じて、図５に示すような値を有するように設定される。図５には、画像回復フィルタの１つの断面でのセル値（フィルタ値）を示している。画像回復フィルタは、フィルタ値が２次元分布を持つように作成されている。また、図５の例では、画像の中心から外れた位置での、コマ収差のような非対称性をもった収差を回復するフィルタとなっている。

画像回復フィルタは、撮像光学系１０１等の光学伝達関数（ＯＴＦ）を計算若しくは計測し、その逆関数を逆フーリエ変換することで作成される。一般的にはノイズの影響を考慮する必要があるため、ウィーナーフィルタや関連する回復フィルタの作成方法を選択して用いることができる。

また、ここにいう光学伝達関数は、撮像光学系１０１のみならず、撮像素子１０２の出力信号から画像処理部１０４にて入力画像が生成されるまでの、光学伝達関数を劣化させる要因を含めることが望ましい。すなわち、画像回復フィルタを、光が撮像光学系１０１に入射してから撮像素子１０２による撮像によって入力画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成するようにするとよい。

撮像光学系１０１以外で光学伝達関数を劣化させる要因としては以下のようなものがある。例えば、撮像素子１０２の前面に配置されるローパスフィルタ（図示せず）は、光学伝達関数の周波数特性に対して高周波成分を抑制する。また、同様に撮像素子１０２の前面に配置される赤外線カットフィルタは、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響する。さらに、撮像素子１０２の画素開口の形状や開口率も周波数特性に影響する。他にも、被写体を照らす光源の分光特性や、各種波長フィルタの分光特性も光学伝達関数を劣化させる要因として挙げられる。したがって、これらを考慮した広義の光学伝達関数に基づいて画像回復フィルタを作成することが望ましい。

なお、撮像光学系１０１は、撮像装置の一部として設けられてもよいし、撮像装置に対して着脱可能な交換式のものであってもよい。

また、入力画像がＲＧＢ形式のカラー画像である場合は、Ｒ，Ｇ，Ｂの各色成分に対応した３つの画像回復フィルタを作成するとよい。撮像光学系１０１には色収差があり、色成分ごとにぼけ方が異なるため、色成分ごとに最適な画像回復フィルタを得るためには、その特性を色収差に基づいて異ならせるべきだからである。つまり、図５に示したセル値の２次元分布が、色成分ごとに異なる３つの画像回復フィルタを作成するとよい。

なお、画像回復フィルタの縦横のセル数（セル配列）に関しては、図４に示すような正方配列である必要はなく、コンボリューション処理時にセル配列を考慮するようにすれば、任意に変更することができる。

また、図５の例では、画像回復フィルタにおいてセル値（フィルタ値）の絶対値が最大であるセル（以下、最大値セルという）の位置を、画像回復フィルタの中心セルの位置からずらしている。図４において、黒く塗りつぶしたセルが最大値セルであり、×を付したセルが中心セルである。

このような画像回復フィルタを用いて入力画像に対してコンボリューション処理を行うと、フィルタ内のセル値の分布によってぼけ成分が低減（補正）される。しかも、最大値セルが中心セルに対してずれていることにより、ぼけ成分を補正した後の画像が、中心セルに対する最大値セルのずれ量に応じてシフトする。この中心セルに対する最大値セルのずれ量を、撮像光学系１０１の歪曲収差量に基づいて設定することで、入力画像に含まれる歪曲成分も低減（補正）することができる。すなわち、本実施例で用いる画像回復フィルタは、入力画像に含まれるぼけ成分とともに歪曲成分を低減できるフィルタである。

したがって、この画像回復フィルタを用いて後述する画像回復処理を行うことで、入力画像に含まれるぼけ成分と歪曲成分の補正を同時に行うことができる。

画像回復フィルタの具体的な選択及び作成（補正）方法について説明する。図３において、大きな白丸で示した撮像状態が、ステップＳ２で取得した実際の撮像状態であるとする。実際の撮像状態又はそのきわめて近くに、記憶部１０８に記憶（格納）された画像回復フィルタ（以下、格納フィルタという）が存在する場合には、その格納フィルタを選択して画像回復処理に用いる。実際の撮像状態又はそのきわめて近くに、格納フィルタが存在しない場合には、以下の方法により画像回復フィルタを選択又は作成（補正）する。

まず、前述したステップＳ３において、画像処理部１０４は、実際の撮像状態と複数の格納フィルタに対応する撮像状態との間の撮像状態空間内での距離をそれぞれ算出する。そして、算出した距離のうち最も短い距離にある撮像状態に対応する格納フィルタを選択する。

このような格納フィルタを選択することで、実際の撮像状態と該格納フィルタに対応する撮像状態との相違量（以下、状態相違量という）が最も小さくなる。このため、該格納フィルタに対する補正量を少なくすることができ、実際の撮像状態に対応する画像回復フィルタにより近い画像回復フィルタを作成することができる。

図３において、小さな白丸で示した撮像状態に対応する格納フィルタが選択されたものとする。なお、図３には、撮像状態空間を概念的に示しているが、実際の各格納フィルタのデータには、座標値の情報が必要である。このため、格納フィルタ自体に座標値情報を持たせたり、予めアドレス（座標）が決まった多次元の配列空間に各格納フィルタのデータを配置したりすればよい。

次に、ステップＳ４では、画像処理部１０４は、ステップＳ３で選択した格納フィルタに対応する撮像状態と実際の撮像状態との状態相違量ΔＡ，ΔＢ，ΔＣを算出する。そして、ステップＳ５では、これらの状態相違量ΔＡ，ΔＢ，ΔＣに基づいて、状態補正係数を算出する。さらに、画像処理部１０４は、ステップＳ６において、該状態補正係数を用いて、ステップＳ３で選択した格納フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを作成することができる。

本実施例における画像回復フィルタは、前述したように、ぼけ成分を低減するぼけ補正機能と歪曲成分を低減するための画像シフト機能を有する。このため、各格納フィルタでも、予め最大値セルの位置を中心セルに対してシフトさせている。

ただし、格納フィルタとして、ぼけ成分を補正するためのセル値の分布データのみを持つものを用意し、歪曲成分を補正するための最大値セルのシフト量（ずれ量）のデータを撮像状態に応じて別途用意してもよい。この場合、撮像状態空間上に用意する格納フィルタでは、最大値セルがシフト量を持たない（最大値セルが中心セルに一致する）ため、図６のように、フィルタのサイズ（セル数）を小さくすることができる。

また、この場合の最大値セルのシフト量のデータは、記憶部１０８に予め格納しておけばよい。最大値セルのシフト量のデータを、像高に応じた関数として記憶部１０８に格納しておけば、記憶部１０８に必要な容量も少なくすることができる。

そして、実際に画像回復処理を行う前段階で、図６の格納フィルタと最大値セルのシフト量データとを用いて、図５に示すような画像回復フィルタを作成すればよい。

次に、ステップＳ７では、画像処理部１０４は、選択又は作成された画像回復フィルタを用いて、ステップＳ１で取得した入力画像に対して画像回復処理を行う。すなわち、上記画像回復フィルタを用いて入力画像に対するコンボリューション処理を行うことで、撮像光学系１０１の収差に起因する画像のぼけ成分と歪曲成分を低減（又は除去）することができる。

このとき、前述したように、最大値セルのシフト量を倍率色収差に応じて異ならせたＲ，Ｇ，Ｂの色成分ごとの画像回復フィルタを用いた画像回復処理を行うことで、入力画像の倍率色収差成分（色ずれ成分）も低減（補正）することができる。また、画像回復フィルタの最大値セルに相対的なフィルタ内のセル値分布を色収差（色フレア）に応じて異ならせたＲ，Ｇ，Ｂの色成分ごとの画像回復フィルタを用いた画像回復処理を行うことで、入力画像の色にじみ成分も低減（補正）することができる。

なお、ステップＳ２〜ステップＳ６での画像回復フィルタの選択及び補正処理は、撮像装置と別の装置（パーソナルコンピュータ等）で行ってもよい。この場合、該別の装置で得られた画像回復フィルタを、撮像装置の記憶部１０８に格納（インストール）する処理を行えばよい。

本実施例の画像回復フィルタを用いた画像回復処理の効果を、図７を用いて説明する。ここでは、Ｒ，Ｇ，Ｂのうち１つの色成分についての効果を示すが、入力画像に色にじみ成分がある場合には、前述したように色成分ごとの画像回復フィルタを用いた画像回復処理を行えばよい。

図７の（ａ）は、撮像光学系１０１の収差の影響がなければ矩形のプロファイルを持つはずの被写体像が、撮像光学系１０１の収差によってぼけ像として劣化し、さらに撮像光学系１０１の歪曲収差により本来の位置Ｐからずれている入力画像を示している。

（ｂ）は、画像シフト機能を持たない従来の画像回復フィルタを用いて、（ａ）に示す入力画像に対する画像回復処理を行った場合の回復画像を示している。この回復画像において、被写体像は本来の矩形プロファイルを持つように補正されたが、歪曲成分が補正されていないために、本来の位置Ｐからずれたままである。

（ｃ）は、（ｂ）に示す回復画像に対して、さらに歪曲補正としての画像シフト処理を行うことにより、歪曲成分が補正されて被写体像が本来の位置Ｐに位置するように補正された画像を示している。

一方、ぼけ補正機能と画像シフト機能を併せ持つ本実施例の画像回復フィルタを用いて、（ａ）に示す入力画像に対して画像回復処理を行うと、（ｂ１）に示すように、被写体像が本来の矩形プロファイルを持つように補正される。さらに、これと同時に、被写体像の位置が本来の位置Ｐにシフトされる。

このように、本実施例によれば、従来では互いに別の処理として行う必要があったぼけ成分の補正処理（画像回復処理）と歪曲成分の補正処理（画像シフト処理）を、１つ（一度）の画像回復処理の中で行うことができる。

図１において、画像処理部１０４で画像回復処理が行われた出力画像は、半導体メモリや光ディスク等の画像記録媒体１０９に所定のフォーマットで保存される。この出力画像は、画像回復処理によって鮮鋭化され、かつ歪曲成分が低減された高画質の画像である。

また、出力画像は、表示部１０５に表示されたり、撮像装置の外部（プリンタやデータベース）に出力されたりする。

上述した撮像素子１０２での光電変換、画像処理部１０４での画像処理、画像記録媒体１０９への記録、及び表示部１０５への画像表示といった一連の動作の制御は、システムコントローラ１１０によって行われる。また、撮像光学系１０１のズーム駆動やフォーカス駆動は、システムコントローラ１１０の指示により撮像光学系制御部１０６が制御する。

なお、撮像光学系１０１の中心像高の横倍率が最大像高の横倍率よりも１．２５倍以上大きくなるように撮像光学系１０１を設計するとよい。これにより、撮像光学系１０１のうち最も被写体側に位置する前玉レンズの径を小さくしたり、像面湾曲の補正を行ったりすることができる。

また、前述した最大値セルの中心セルに対するシフト量は、撮像光学系１０１の歪曲収差量に応じて決まるので、画像回復フィルタのサイズ（セル数）も歪曲収差量に応じて変更してもよい。

図８には、歪曲成分によって樽型に歪んだ入力画像を実線で模式的に示している。また、この入力画像における歪曲量と対角端部の画像シフト量（移動画素数）を表１に示す。歪曲成分を補正すると、画像の周辺部では被写体像をシフトするとともに拡大する必要があるため、不足した画素は補間処理を行う。

また、前述した光学伝達関数（ＯＴＦ）は、同じ撮像状態であっても画角（像高）に応じて変化するので、上述した画像回復処理は、画像における像高に応じて分割された領域ごとに画像回復フィルタを変更して行うことが望ましい。画像回復フィルタを画像上で走査しながらコンボリューション処理を行い、分割領域ごとに画像回復フィルタを順次変更すればよい。

また、画像回復処理の対象とする入力画像における画素の信号値に応じて画像回復フィルタを補正することで、入力画像の暗い領域で顕著となるノイズの増加を抑制することができる。入力画像の暗い領域では、明るい領域に比べて、画像信号に対してノイズ成分が相対的に大きいため、画像回復処理によってノイズを強調してしまうおそれがある。このため、暗い領域に対しては、画像回復フィルタの各セルの値を補正して画像回復効果を低下させることで、ノイズの増大を抑制することができる。信号値がある閾値以下の画素又は領域については画像回復処理を行わないようにしてもよい。

また、画像回復処理後の回復画像に補正誤差がある場合には、この補正誤差を補正するための別の画像処理を行ってもよい。これにより、実際の撮像状態と画像回復処理に用いた画像回復フィルタに対応する撮像状態との誤差に起因する回復画像における残留収差成分をさらに低減することができる。

また、入力画像内に飽和輝度領域が存在する場合に、その周辺部では収差成分が顕著に現れる。しかし、画像回復処理を行う際に、輝度値が飽和している画素については本来の輝度値が分からず、良好な補正が行えないおそれがある。この場合には、画像回復処理後の回復画像から残留している収差成分を検出して適応的に補正処理を行うことで、さらなる高画質化が達成できる。この適応的な補正処理は、本実施例での画像回復処理によってぼけ成分及び歪曲成分が低減された回復画像に最終的に残留した収差を補正するので、画像回復処理よりも後の段階で行うことが望ましい。

本実施例では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像回復処理を行って、その結果得られた画像を出力する。

次に、本発明の実施例２について説明する。本実施例の画像処理方法も、図１に示した撮像装置と同様の撮像装置にて実施される。このため、本実施例において、実施例１と共通する又は同様の機能を有する構成要素には、実施例１と同符号を付す。なお、本実施例の処理を、パーソナルコンピュータ（画像処理装置）で行ってもよい。

本実施例では、実施例１でも触れたように、画像回復処理により画像のぼけ成分と歪曲成分に加えて、色ずれ成分をも補正する場合について説明する。画像の色ずれ成分は、撮像光学系１０１の倍率色収差、すなわち色成分ごとに結像倍率が異なることに起因して発生する。前述した色にじみ成分は、色成分ごとのぼけ方の違いであり、広義のぼけ成分に含めることができるので、本実施例が補正対象とする色ずれ成分とは切り離して考える。

色成分ごとの画像回復フィルタの例を図９に示す。図９中において（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタは、それぞれＲ，Ｇ，Ｂ用の画像回復フィルタである。これらの画像回復フィルタは、実施例１で説明したように、ぼけ成分と歪曲成分を同時に補正するフィルタであるが、倍率色収差に対応する色ずれ成分の補正機能は有していない。

また、（Ｒ１），（Ｇ１），（Ｂ１）で示す画像回復フィルタも、それぞれＲ，Ｇ，Ｂ用の画像回復フィルタである。ただし、これらの画像回復フィルタは、ぼけ成分と歪曲成分の同時補正機能に加えて、色ずれ成分の補正を行う機能も有する。

各画像回復フィルタ内で黒いセルが最大値セルであり、×を付したセルが中心セルである。

（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタは、色成分ごとに光学伝達関数（ＯＴＦ）が異なることからフィルタ特性は異なるが、最大値セルの位置（中心セルに対するシフト量）は互いに同じである。

一方、（Ｒ１），（Ｇ１），（Ｂ１）で示す画像回復フィルタは、フィルタ特性が異なっているのに加えて、最大値セルの位置（中心セルに対するシフト量）が互いに異なっている。これら最大値セルの位置の相対ずれ量は、倍率色収差量に応じた量である。さらに言えば、それぞれの色成分用の画像回復フィルタ（Ｒ１），（Ｇ１），（Ｂ１）における最大値セルの位置の中心セルの位置に対するシフト量は、撮像光学系１０１における像高に依存した歪曲収差量と倍率色収差量とに応じた値に設定される。

なお、図９では、２１×２１セルの画像回復フィルタを示したが、収差量が大きい場合には、５０×５０セルや１００×１００セルのように、収差量に応じてセル数を増加させてもよい。

（Ｒ１），（Ｇ１），（Ｂ１）で示す画像回復フィルタにおいて、フィルタ内のセル値の分布を色ごとに異ならせることで色ごとのぼけ成分（色にじみ成分）を補正できる。さらに、この分布の位置をずらす（最大値セルの位置を中心セルの位置からシフトさせ、かつそのシフト量を異ならせる）ことで歪曲成分と色ずれ成分を補正することができる。

次に、（Ｒ１），（Ｇ１），（Ｂ１）で示す画像回復フィルタの効果を、図１０を用いて説明する。図１０において、（ａ）は撮像光学系１０１の収差の影響がなければ矩形のプロファイルを持つはずの被写体像が、撮像光学系１０１の収差によってぼけ像として劣化し、さらに撮像光学系１０１の歪曲収差により本来の位置Ｐからずれている入力画像を示している。

実線、破線及び一点鎖線はそれぞれ、Ｇ成分、Ｒ成分及びＢ成分を表しており、（ａ）では、倍率色収差によってＲＧＢ間で色ずれが発生している。

（ｂ）は、画像シフト機能を持たない従来の画像回復フィルタを用いて、（ａ）に示す入力画像に対する画像回復処理を行った場合の回復画像を示している。この回復画像において、Ｒ，Ｇ，Ｂの被写体像は本来の矩形プロファイルを持つように補正されたが、歪曲成分と色ずれ成分が補正されていないために、本来の位置Ｐからずれたままである。

（ｃ）は、（ｂ）に示す回復画像に対して、さらに歪曲補正としての画像シフト処理を色成分ごとに異なるシフト量で行うことにより、歪曲成分と色ずれ成分が補正されてＲ，Ｇ，Ｂの被写体像が本来の位置Ｐに位置するように補正された画像を示している。

一方、ぼけ補正機能と色成分ごとの画像シフト機能とを併せ持つ本実施例の画像回復フィルタを用いて、（ａ）に示す入力画像に対して画像回復処理を行うと、（ｂ１）に示すように、Ｒ，Ｇ，Ｂの被写体像は本来の矩形プロファイルを持つように補正される。また、これと同時に、Ｒ，Ｇ，Ｂの被写体像の位置も本来の位置Ｐにシフトされる。

このように、本実施例によれば、従来では互いに別の処理として行う必要があったぼけ成分の補正処理（画像回復処理）と、歪曲成分の補正処理（画像シフト処理）と、色ずれ成分の補正処理とを、１つ（一度）の画像回復処理の中で行うことができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１の撮像装置で行われる処理を示すフローチャート。 実施例１において記憶部に格納される画像回復フィルタが配置される撮像状態空間の模式図。 実施例１の撮像装置で用いられる画像回復フィルタの説明図。 上記画像回復フィルタのセル値の分布を示す図。 実施例１において記憶部に格納される画像回復フィルタの別の例を示す図。 実施例１における画像回復処理の効果の説明図。 歪曲収差の説明図。 本発明の実施例２において用いられる画像回復フィルタの説明図。 実施例２における画像回復処理の効果の説明図。

符号の説明

１０１ 撮像光学系
１０１ａ 絞り
１０１ｂ フォーカスレンズ
１０２ 撮像素子
１０４ 画像処理部
１０５ 表示部
１０６ 撮像光学系制御部
１０７ 状態検知部
１０８ 記憶部
１１０ システムコントローラ

Claims (7)

1. 光学系を用いた撮像により得られた画像を処理する画像処理方法であって、
   前記画像を取得するステップと、
   前記光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて前記画像に対する画像回復処理を行う画像回復ステップとを有し、
   前記画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置が該画像回復フィルタの中心セルの位置に対して前記光学系の歪曲収差量に応じたずれ量を有しており、前記画像のぼけ成分とともに歪曲成分を低減するフィルタであり、
   前記画像回復フィルタは、光が前記光学系に入射してから前記撮像により前記画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成されることを特徴とする画像処理方法。
2. 前記画像回復ステップにおいて、前記撮像に際しての撮像状態を示す情報を取得し、該撮像状態情報に応じた前記画像回復フィルタを選択又は作成して用いることを特徴とする請求項１に記載の画像処理方法。
3. 前記画像回復ステップにおいて、前記画像に対して前記画像回復フィルタを用いたコンボリューション処理を行うことを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記画像回復フィルタとして、色ごとに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを有し、
   前記各画像回復フィルタにおける前記フィルタ値の絶対値が最大であるセルの位置の前記中心セルの位置に対するずれ量が、像高に依存する前記歪曲収差量と倍率色収差量とに応じたずれ量であることを特徴とする請求項１から３のいずれか１つに記載の画像処理方法。
5. 光学系を用いた撮像により得られた画像を処理する画像処理装置であって、
   前記光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを記憶する記憶手段と、
   前記画像回復フィルタを用いて前記画像に対する画像回復処理を行う画像回復手段とを有し、
   前記画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置が該画像回復フィルタの中心セルに対して前記光学系の歪曲収差量に応じたずれ量を有しており、前記画像のぼけ成分とともに歪曲成分を低減するフィルタであり、
   前記画像回復フィルタは、光が前記光学系に入射してから前記撮像により前記画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成されることを特徴とする画像処理装置。
6. 光学系により形成された被写体像を光電変換して画像を取得する撮像系と、
   該画像を処理する請求項５に記載の画像処理装置とを有することを特徴とする撮像装置。
7. 光学系を用いた撮像により得られた画像を処理するコンピュータに、
   前記画像を取得するステップと、
   前記光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて前記画像に対する画像回復処理を行う画像回復ステップと、を実行させる画像処理プログラムであって、
   前記画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置が該画像回復フィルタの中心セルの位置に対して前記光学系の歪曲収差量に応じたずれ量を有しており、前記画像のぼけ成分とともに歪曲成分を低減するフィルタであり、
   前記画像回復フィルタは、光が前記光学系に入射してから前記撮像により前記画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成されることを特徴とする画像処理プログラム。