JP2017010092A - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】ぼけ画像における信号変化が少ない領域からぼけを推定する際、推定精度の低下を抑制可能な画像処理装置を提供する。【解決手段】画像処理装置は、ぼけ画像を取得する取得手段と、ぼけ画像における少なくとも一部の第１のぼけ推定領域を取得し、推定ぼけを生成する生成手段とを有し、生成手段は、第１のぼけ推定領域における信号変化の量に基づいて、第２のぼけ推定領域を決定し、第２のぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、信号に関する情報と補正信号に関する情報とに基づいてぼけを推定する推定処理と、を反復する反復演算処理を行って推定ぼけを生成する。【選択図】図１

Description

本発明は、単一のぼけ画像から、ぼけ画像に作用している劣化成分であるぼけを推定する画像処理方法に関する。

近年、表示装置の高精細化に伴い、撮影画像の高画質化が望まれている。撮影画像においては、撮影に用いられる光学系の収差や回折、または、撮影時の手ぶれなどの劣化要因により、被写体空間の情報が失われている。このため従来から、これらの要因に基づく撮影画像の劣化を補正し、より高画質な画像を得る手法が提案されている。そのような手法として、例えば、ＷｉｅｎｅｒフィルタやＲｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法などが挙げられる。しかし、これらの手法では、画像に作用している劣化成分（ぼけ）が既知でない場合、高い補正効果を得ることができない。

一方、従来から、手ぶれにより劣化した一枚の画像から手ぶれ成分を推定する手法が提案されている。特許文献１には、手ぶれにより劣化した一枚の画像から、既知である自然画像の強度勾配分布に関する統計情報を用いることにより、手ぶれ成分を推定する手法が開示されている。ここで自然画像とは、近代の人間が生活する上で自然と目にするような画像という意味である。このため自然画像は、樹木や動物などが写った画像に限定されるものではなく、人間、建築物、電子機器などが写った画像も含まれる。自然画像の性質として、信号の強度勾配に関するヒストグラム（強度勾配ヒストグラム）は、勾配の強さに応じて裾の重い分布（Ｈｅａｖｙ Ｔａｉｌｅｄ Ｄｉｓｔｒｉｂｕｔｉｏｎ）に従うことが知られている。特許文献１には、手ぶれが補正された画像の強度勾配ヒストグラムが、裾の重い分布に従うように制約をかけることにより、手ぶれ画像のみから手ぶれ補正画像を推定する手法が開示されている。そして、その手ぶれ補正画像と手ぶれ画像との比較結果に基づいて、ぶれ成分が推定される。このときのぶれ成分の推定精度は、手ぶれ画像内にエッジが多く含まれているほど上昇する。

米国特許第７６１６８２６号明細書

しかしながら、ぼけ画像内のエッジ量は、写っている被写体の構造に依存する。このため、常に推定に充分なエッジ量が画像内に存在しているとは限らない。特に、画像内の領域に応じてぼけの形状が変化する（Ｓｈｉｆｔ−ｖａｒｉａｎｔと呼ばれる）場合、ぼけ画像内の特定の部分領域のみを用いてぼけの推定を行う必要があるため、エッジ量が不足しやすい。エッジやテクスチャなどの信号変化が少ない領域においては、ぼけの推定精度が極端に低下する。このような領域に対して特許文献１の推定手法を用いると、推定された手ぶれ成分には大きな誤差が生じる。これは、手ぶれ以外の回折、収差、デフォーカス、または、擾乱（これらの劣化要因を総称して、「ぼけ」と呼ぶ）においても同様である。

そこで本発明は、ぼけ画像における信号変化が少ない領域からぼけを推定する際、推定精度の低下を抑制可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、ぼけ画像を取得する取得手段と、前記ぼけ画像における少なくとも一部の第１のぼけ推定領域を取得し、推定ぼけを生成する生成手段とを有し、前記生成手段は、前記第１のぼけ推定領域における信号変化の量に基づいて、第２のぼけ推定領域を決定し、前記第２のぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいてぼけを推定する推定処理と、を反復する反復演算処理を行って前記推定ぼけを生成する。

本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、前記画像信号に基づいてぼけ画像を取得する取得手段と、前記ぼけ画像における少なくとも一部の第１のぼけ推定領域を取得し、推定ぼけを生成する生成手段とを有し、前記生成手段は、前記第１のぼけ推定領域における信号変化の量に基づいて、第２のぼけ推定領域を決定し、前記第２のぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいてぼけを推定する推定処理と、を反復する反復演算処理を行って前記推定ぼけを生成する。

本発明の他の側面としての画像処理方法は、ぼけ画像を取得するステップと、前記ぼけ画像における少なくとも一部の第１のぼけ推定領域を取得し、推定ぼけを生成するステップとを有し、前記推定ぼけを生成するステップにおいて、前記第１のぼけ推定領域における信号変化の量に基づいて、第２のぼけ推定領域を決定し、前記第２のぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいてぼけを推定する推定処理と、を反復する反復演算処理を行って前記推定ぼけを生成する。

本発明の他の側面としてのプログラムは、コンピュータに、前記画像処理方法を実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、ぼけ画像における信号変化が少ない領域からぼけを推定する際、推定精度の低下を抑制可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１、３における画像処理方法を示すフローチャートである。 実施例１における画像処理システムのブロック図である。 実施例１、２における画像処理システムの外観図である。 実施例１、３における推定ぼけの生成方法を示すフローチャートである。 実施例１〜３において、第１のぼけ推定領域と第２のぼけ推定領域との関係を示す図である。 実施例１〜３において、デフォーカスを推定する際の第１のぼけ推定領域と第２のぼけ推定領域との関係を示す図である。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理方法を示すフローチャートである。 実施例３における撮像システムのブロック図である。 実施例３における撮像システムの外観図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

本実施形態において、被写体空間の情報を劣化させる要因を「ぼけ」と総称するが、ぼけの要因としては、回折、収差、デフォーカス、ぶれ、および、擾乱が含まれる。本実施形態を説明する前に、これらのぼけの要因について詳述する。

回折とは、画像を撮影した撮像装置の光学系で発生する、回折に起因する劣化である。これは、光学系の開口径が有限であるために生じる。

収差とは、光学系で発生する理想波面からのずれに起因する劣化である。光学系の設計値により発生する収差を設計収差、光学系の製造誤差や環境変化により発生する収差を誤差収差と呼ぶ。環境変化とは、温度、湿度、気圧などの変化を示し、これらの変化に応じて光学系の性能も変化する。単に収差という場合、設計収差および誤差収差の両方が含まれる。

デフォーカスとは、光学系の焦点と被写体とが合致しないことに起因する劣化である。デフォーカスが画像の全体に及ぶものをピントずれ、デフォーカスが画像の一部のみであるものをデフォーカスぼけと呼ぶ。具体的は、デフォーカスぼけとは、画像内に異なる距離の主要被写体と背景とが存在し、主要被写体に合焦していた場合において、背景の情報を劣化させている成分をいう。この劣化の大きさは、背景がどれだけ主要被写体から奥行き方向に離れているかに依存して変化する。デフォーカスぼけは、例えば、画像内の主要被写体を際立たせる表現方法として用いられる。単にデフォーカスという場合、ピントずれとデフォーカスぼけとの両方が含まれる。

ぶれとは、撮影の際、露光中に被写体と撮像装置との間の相対関係（位置および角度）が変化することにより生じる劣化である。ぶれのうち、画像の全体を劣化させるものを手ぶれ、画像の一部が劣化するものを被写体ぶれと呼ぶ。単にぶれという場合、手ぶれおよび被写体ぶれの両方が含まれる。

擾乱とは、撮影中に被写体と撮像装置との間に存在する物質が揺らぐことにより生じる劣化である。例えば、大気の揺らぎや水中撮影における水の揺らぎが挙げられる。短秒露光中に擾乱が発生している場合、ぼけ画像では被写体空間の直線が揺らめいた曲線になる。この曲がりを補正するため、擾乱成分の異なる複数のフレーム（または連写）画像を合成することがある。しかし、このような合成処理では、エッジの曲がりを補正することができても、周波数成分の劣化は残存する。ここで取り扱うぼけ画像は、１回の露光中に擾乱に伴う周波数成分の劣化が起きた画像（長秒露光画像）だけでなく、前述のような複数フレーム（または連写）の画像を合成した画像を含む。

本実施形態において、点像強度分布はＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と記す。また本実施形態において、１次元（モノクロ）画像に対する処理について説明するが、多次元（例えばＲＧＢ）画像にも同様に適用可能であり、ＲＧＢの各チャンネルで処理を行えばよい。チャンネル間における差がない、または無視できる程度のぼけでは、チャンネル数を減らして（ＲＧＢをモノクロ化するなど）、処理しても構わない。各チャンネルが異なる波長を取得している場合、チャンネル間における差がないぼけとしては、ぶれが挙げられる。

一方、収差、回折、デフォーカス、および、擾乱は、波長に依存してぼけが変化する。ここでデフォーカスは、ピント位置から大きく離れていても、軸上色収差の影響で波長によってぼけの広がりが変わる。しかし、これらの波長依存性を有するぼけに対しても、撮影に用いる撮像素子のサンプリング周波数に対して、チャンネル間の性能差が充分に小さければ、チャンネル間の差が無視できると考えてよい。ただし、これらチャンネル間における差が無視できるぼけを推定する場合、前述のチャンネル数を減らす処理を行うよりも、複数のチャンネルのままで１つのぼけを推定することが望ましい。ぼけの推定は、画像の信号勾配に関する情報を用いて行うため、その情報が多いほど推定精度が向上する。すなわち、チャンネル数を減らさずに複数の画像で推定したほうが、信号勾配の情報が増加する（ただし、各チャンネルの画像がそれぞれの比例倍に一致する場合、信号勾配の情報は増加しない）ため、ぼけをより高精度に推定することができる。また本実施形態では、チャンネルが異なる波長を撮影する例を挙げているが、それ以外のパラメータ（偏光など）でも同様に考えればよい。

ここで、具体的な実施例を説明する前に、本実施形態の簡単な概要について説明する。ぼけ推定の際には、ぼけ画像からぼけを推定するためのぼけ推定領域を取得し、ぼけ推定領域内の信号勾配と、信号勾配のぼけが補正された補正信号勾配とを比較することにより、推定ぼけを生成する。このとき、ぼけ推定領域内に信号変化（エッジやテクスチャなど）の量（信号変化量）が少ないと、推定ぼけの推定精度が低下してしまう。そこでまず、ぼけ画像から第１のぼけ推定領域を取得し、第１のぼけ推定領域内に含まれる信号変化の量に着目する。この信号変化量が少ない場合、推定精度が低下してしまうため、第１のぼけ推定領域よりも信号変化量が多い第２のぼけ推定領域を取得する。第１のぼけ推定領域と第２のぼけ推定領域は、位置と形状の少なくとも一方が互いに異なる。信号変化量が多い第２のぼけ推定領域をぼけ推定に用いることにより、ぼけの推定精度を向上させることができる。

ここで、ぼけがぼけ画像における位置に応じて変化する場合（Ｓｈｉｆｔ−ｖａｒｉａｎｔの場合）、ぼけ推定に用いる領域を変化させたことにより、推定ぼけは、第１のぼけ推定領域における本来のぼけとは異なる。Ｓｈｉｆｔ−ｖａｒｉａｎｔなぼけとしては、ヴィネッティングが無視できない場合の回折、収差、デフォーカス、回転または深度方向の位置変化を伴うぶれ、および、擾乱がある。しかし、このようなＳｈｉｆｔ−ｖａｒｉａｎｔなぼけの殆どは、ぼけ画像上の位置変化に対して連続的にぼけが変化するという性質がある。このため、第２のぼけ推定領域が第１のぼけ推定領域と近い場合、推定ぼけに関しては大きな差異は生じない。この差異は、信号変化量が不足している場合に発生する推定誤差に比べて小さいため、第２のぼけ推定領域を用いることにより、結果的に推定ぼけの誤差は低減される。

なお、仮に第１のぼけ推定領域における信号変化量がぼけ推定に充分である場合、第１のぼけ推定領域をそのまま第２の推定領域として設定すればよい。このため、第２のぼけ推定領域における信号変化量は、常に第１のぼけ推定領域における信号変化量よりも大きいか、または等しい。

まず、図２および図３を参照して、本発明の実施例１における画像処理システムについて説明する。図２は、本実施例における画像処理システム１００のブロック図である。図３は、画像処理システム１００の外観図である。

画像処理システム１００は、撮像装置１０１、記録媒体１０２、表示装置１０３、出力装置１０４、および、画像処理装置１０５を備えて構成される。画像処理装置１０５は、通信部１０６、記憶部１０７、および、ぼけ補正部１０８（画像処理部）を有する。ぼけ補正部１０８は、取得部１０８１（取得手段）、生成部１０８２（生成手段）、および、補正部１０８３（補正手段）を有する。ぼけ補正部１０８の各部は、後述のように本実施例の画像処理方法を実行する。なお、撮像装置１０１の内部に画像処理装置１０５（ぼけ補正部１０８）を備えるように構成してもよい。

撮像装置１０１は、光学系１０１１（撮像光学系）および撮像素子１０１２を有する。光学系１０１１は、被写体空間からの光線を撮像素子１０１２上に結像させる。撮像素子１０１２は、複数の画素を有し、光学系１０１１を介して形成された光学像（被写体像）を光電変換して画像信号を出力する。撮像装置１０１は、撮像素子１０１２から出力された画像信号に基づいて撮影画像（ぼけ画像）を生成する。撮像装置１０１により得られたぼけ画像は、通信部１０６を介して画像処理装置１０５へ出力される。ぼけ画像に関しては、前述のような複数の種類のぼけの少なくとも一つが作用することにより、被写体空間の情報が劣化している。

記憶部１０７は、画像処理装置１０５に入力されたぼけ画像、および、ぼけ画像を撮影した際の撮影条件に関する情報を記憶する。ここで撮影条件とは、撮影時における撮像装置１０１の焦点距離、絞り、シャッタースピード、ＩＳＯ感度などである。ぼけ補正部１０８は、ぼけ画像に基づいて特定のぼけ成分を推定して補正し、ぼけ補正画像を生成する。ぼけ補正画像は、通信部１０６を介して、表示装置１０３、記録媒体１０２、および、出力装置１０４のいずれか一つまたは複数に出力される。表示装置１０３は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置１０３を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体１０２は、半導体メモリ、ハードディスク、ネットワーク上のサーバなどである。出力装置１０４は、プリンタなどである。画像処理装置１０５は、必要に応じて、現像処理やその他の画像処理を行う機能を有してもよい。

本実施例の画像処理方法を実現するため、ソフトウエア（画像処理プログラム）を、ネットワークまたはＣＤ−ＲＯＭなどの記憶媒体を介して、画像処理装置１０５に供給することもできる。この際、画像処理プログラムは、画像処理装置１０５のコンピュータ（又は、ＣＰＵやＭＰＵなど）によって読み出され、ぼけ補正部１０８の機能を実行する。

ぼけ補正部１０８は、図１および図４のフローチャートで示される画像処理を実行する。その画像処理に関する説明を行う前に、ぼけ推定領域（ぼけ画像の少なくとも一部）における信号勾配のぼけを補正する方法（補正処理）、および、ぼけを推定する方法（推定処理）に関して説明する。なお本実施例において、信号勾配とは、ぼけ推定領域における信号に関する情報であり、画像そのもの（画像の輝度分布）に関する情報またはそのｎ次微分（ｎは０を含む整数）に関する情報（微分値に関する情報）を含む。

本実施例において、ぼけ（劣化成分）はＰＳＦの形で表現されるが、これに限定されるものではなく、例えばＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の形で表現しても構わない。まず、適当なＰＳＦの初期値（Ｇａｕｓｓ分布や１次元のラインなど）を与え、そのＰＳＦで第２のぼけ推定領域における信号勾配のぼけを補正し、補正信号勾配を生成する。続いて、信号勾配と補正信号勾配とに基づいてＰＳＦを推定する。推定されたＰＳＦを用いて、再度、第２のぼけ推定領域の信号勾配を補正して新たな補正信号勾配を生成し、ＰＳＦを推定する。これを反復すること（ループ処理）により、ぼけ画像（より正確には、ぼけ画像の少なくとも一部である第２のぼけ推定領域）のみからぼけを推定することができる。

次に、信号勾配のぼけ補正方法（補正処理）について、具体的に説明する。第２のぼけ推定領域とぼけの関係は、以下の式（１）のように表される。

式（１）において、ｂ-_ｉはｉ番目のループ処理における第２のぼけ推定領域の信号分布、ｋ_ｉはぼけ、ａ_ｉはぼけｋ_ｉによる劣化がない信号分布、ｎ_ｉはノイズである。「＊」はコンボリューション演算を表す。

以下の式（２）のように表される最適化問題を解くことにより、ｉ番目のループ処理におけるａ_ｉの推定値ｄ-_ｉ（補正信号分布に相当）を推定する。

式（２）において、Ｌは損失関数、Φはｄ_ｉに対する正則化項であり、それぞれの具体的な例については後述する。損失関数Ｌは、解をモデル（ここでは式（１）を指す）へフィッティングさせる効果を持つ。正則化項Φは、解を尤もらしい値へ収束させる効果を有する。正則化項には、事前知識と呼ばれる解（ａ_ｉ）が持つべき性質を用いる。また、正則化項は損失関数のみを考えた際に起こる過剰なフィッティング（ノイズｎ_ｉの影響をｄ_ｉへ反映させてしまうこと）を防ぐ役割を有する。なお、第２のぼけ推定領域を複数のチャンネル（例えばＲＧＢ）から取得している場合、各チャンネルに対して式（２）を解く。

本実施例では、式（２）を解くことにより、補正信号勾配を求めるが、その他の手法を用いてもよい。例えば、Ｗｉｅｎｅｒフィルタなどの逆フィルタを用いた手法、または、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法などの超解像手法を用いることができる。さらに、逆フィルタや超解像手法と合わせて、ショックフィルタなどの先鋭化フィルタを適用して補正信号勾配を生成してもよい。さらに、先鋭化フィルタを併用する際には、バイラテラルフィルタやガイデッドフィルタなどのエッジの解像感を保つ平滑化フィルタを用いて、ノイズやリンギングを抑制することが好ましい。

次に、式（２）中の損失関数Ｌおよび正則化項Φの具体例について説明する。損失関数Ｌとしては、以下の式（３）のように示される関数が考えられる。

式（３）において、以下の式（４）のように表される記号はｐ次平均ノルムを表し、ｐ＝２の場合にはユークリッドノルムを示す。

正則化項Φの例としては、以下の式（５）のように示される１次平均ノルムがある。

式（５）において、λは正則化項Φの重みを表すパラメータ、Ψは画像に対する基底変換を表す関数であり、その例としてウェーブレット変換や離散コサイン変換などがある。式（５）の正則化項Φは、画像がウェーブレット変換や離散コサイン変換などの基底変換を施されることで、信号成分がスパース（疎）になる、すなわち、より少ない数の信号で表すことができるという性質に基づく。これに関しては、例えば、「Ｒｉｃｈａｒｄ Ｇ．Ｂａｒａｎｉｕｋ，“Ｃｏｍｐｒｅｓｓｉｖｅ Ｓｅｎｓｉｎｇ”，ＩＥＥＥ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ ＭＡＧＡＺＩＮＥ ［１１８］ ＪＵＬＹ ２００７」に説明されている。また、その他の正則化項の例として、Ｔｉｋｈｏｎｏｖ正則化項やＴＶ（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）ノルム正則化項などを用いてもよい。

最適化問題である式（２）で表される推定式を解くには、繰り返し演算を用いた手法を利用し、例えばＴｉｋｈｏｎｏｖ正則化項を採用した場合は、共役勾配法などを使用すればよい。また、式（５）またはＴＶノルム正則化項を採用する場合、ＴｗＩＳＴ（Ｔｗｏ−ｓｔｅｐ Ｉｔｅｒａｔｉｖｅ Ｓｈｒｉｎｋａｇｅ／Ｔｈｒｅｓｈｏｌｄｉｎｇ）などを用いるとよい。ＴｗＩＳＴに関しては、「Ｊ．Ｍ．Ｂｉｏｕｃａｓ−Ｄｉａｓ，ｅｔ ａｌ．，“Ａ ｎｅｗ ＴｗＩＳＴ：ｔｗｏ−ｓｔｅｐ ｉｔｅｒａｔｉｖｅ ｓｈｒｉｎｋａｇｅ／ｔｈｒｅｓｈｏｌｄｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｉｍａｇｅ ｒｅｓｔｏｒａｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１６，Ｄｅｃ．２００７」に説明されている。

また、これらの繰り返し演算を行う際、繰り返しの度に正則化の重みなどのパラメータを更新してもよい。なお、式（１）、（２）は、画像（信号分布）に対して記載されているが、画像の微分に関しても同様に成り立つ。このため、画像に代えて、画像の微分（両者を含めて信号勾配と表現する）に対してぼけ補正を行ってもよい。

次に、ぼけの推定方法（推定処理）について具体的に説明する。ＰＳＦに関しても、式（２）と同様に、以下の式（６）を用いて推定することができる。

なお、第２のぼけ推定領域を複数のチャンネルから取得している（チャンネルによるぼけの変化がない、または無視できる）場合、式（６）は以下の式（６ａ）に示されるように変形される。

式（６ａ）において、Ｈは第２のぼけ推定領域に含まれるチャンネルの総数、ｄ_ｉ，ｈはｈ番目のチャンネルにおけるｄ_ｉ、ｖ_ｈは重みを示す。信号勾配の補正の場合、式（２）を各チャンネルに対して解けばよいが、ぼけ推定では式（６ａ）のように全チャンネルで纏められた形になる。これは、推定する対象が、式（２）では各チャンネルで異なるのに対し、式（６ａ）では共通している（同一のＰＳＦである）ためである。

式（６）、（６ａ）の損失関数Ｌとして、以下の式（７）が考えられる。

式（７）において、∂_ｊは微分演算子を表す。∂_０（ｊ＝０）は恒等演算子であり、∂_ｘ、∂_ｙはそれぞれ、画像の横方向と縦方向の微分を表す。さらに高次の微分は、例えば∂_ｘｘや∂_ｘｙｙのように表される。なお、ぼけ推定領域の信号勾配とは、これら全てのｊ（ｊ＝０，ｘ，ｙ，ｘｘ，ｘｙ，ｙｙ，ｙｘ，ｘｘｘ，……）を含むが、本実施例ではｊ＝ｘ，ｙのみを考える。ｕ_ｊは重みである。

式（６）の正則化項Φとしては、推定するＰＳＦの性質に沿ったものを用いることができる。例えば、ＰＳＦがデフォーカスのように潰れた形になる場合、以下の式（８）のように表されるＴＶノルム正則化を用いることが好ましい。

式（８）において、ζは正則化項の重みである。

また、ＰＳＦがぶれのようにライン状の形になる場合、以下の式（９）のように表される１次平均ノルム正則化を用いることが好ましい。

また、ＰＳＦの形に依存せず、ある程度の精度が確保され、かつ、高速に解ける正則化項として、Ｔｉｋｈｏｎｏｖ正則化を用いてもよい。

次に、本実施例の画像処理方法に関して説明する。本実施例では、第１のぼけ推定領域内の信号変化（エッジ、テクスチャ、または、グラデーション）の量（信号変化量）に応じて、第２のぼけ推定領域を取得する。第１のぼけ推定領域における信号変化量が、ぼけ推定を行うのに充分な量である場合、第１のぼけ推定領域をそのまま第２のぼけ推定領域とする。一方、第１のぼけ推定領域における信号変化量が不足している場合、すなわちぼけ推定を行うのに不充分な量である場合、第１のぼけ推定領域よりも信号変化量が多い第２のぼけ推定領域を取得する。この際、第２のぼけ推定領域は、第１のぼけ推定領域に対して、その位置と形状（形と大きさの両方を含む）の少なくとも一方が異なる。ただし、第２のぼけ推定領域は、第２のぼけ推定領域内に作用しているぼけが、第１のぼけ推定領域内に作用しているぼけからあまり変化しないように（実質的に変化しないように）取得される。このような第２のぼけ推定領域に対して、補正信号勾配の生成（補正処理）とぼけの推定（推定処理）とを行うことにより、第１のぼけ推定領域に対応する推定ぼけを得る。

ここで、ぼけを推定するぼけ推定領域内における信号変化の量が、ぼけの推定精度に及ぼす効果について詳述する。式（１）から分かるように、ぼけ推定の際の推定対象であるぼけｋ_ｉは、１次方程式で表現されている。この１次方程式は、ぼけ推定領域ｂ_ｉの画素数だけ存在するため、ｋ_ｉの推定は、ｂ_ｉの画素数個ある連立方程式を解く問題に相当する。このため、未知数の数よりも独立な１次方程式の数が多ければ、解は一意的に決定されることになる。しかし、一般的に、未知数の数より独立な１次方程式の数が多くなることはない。これは、ぼけｋ_ｉだけでなく、ノイズｎ_ｉも未知であることによる（ぼけを求める際には、ａ_ｉに推定したｄ_ｉの値を代入するため、ａ_ｉは既知となる）。すなわち、未知数の数は、ぼけｋ_ｉの成分数と、ノイズｎ_ｉの成分数（ｂ_ｉの画素数と等しい）との和に相当し、常に１次方程式の数（ｂ_ｉの画素数）より多い。このため、ぼけｋ_ｉを求めるには、推定処理が必要となる。

ここで、ノイズｎ_ｉの影響を抑え、高精度にぼけｋ_ｉを求める方法について考える。まず、式（１）を、未知数ｋ_ｉ（数はｋ_ｉの成分数）の連立１次方程式（数はｂ_ｉの画素数）それぞれに、ノイズが含まれていると考える。ただし、ｂ-_ｉの画素数がｋ_ｉの成分数より多いとする。仮に、ノイズが含まれていない場合、連立１次方程式の数が未知数の数よりも多いため、１次方程式の中には必ず従属関係となるものが存在する。すなわち、同一の方程式が複数存在することになる。しかし、実際にはノイズが存在するため、それらの方程式はノイズの分だけずれを生じている。一方、ノイズは、原信号が同じで異なるノイズの値を有する信号を平均化することにより、抑制可能である。このため、ノイズの出方が異なる従属な１次方程式が多ければ、平均化の効果によりノイズの影響を抑えたぼけ推定が可能になる。この平均化によるノイズ抑制効果が充分に作用している場合、式（６）、（６ａ）の正則化項Φを０にしてもよい。

また、ぼけｋ_ｉを高精度に推定するには、更なる条件が必要となる。それは、ノイズを除いた連立１次方程式中で、独立な方程式の数ができるだけ多いことである。ぼけｋ_ｉの成分数（つまり未知数の数）よりも独立な方程式の数が少なすぎると、推定は充分な精度を得られない。連立１次方程式の係数は、補正信号勾配ｄ_ｉであるから、独立な方程式の数が多くなるためには、補正信号勾配ｄ_ｉが様々な組み合わせを持っている必要がある。換言すると、ぼけ推定領域内において、様々な方向または強度の信号変化（エッジ、テクスチャ、または、グラデーション）が存在している程、推定精度が向上する。例えば、ぼけ推定領域ｂ_ｉおよび補正信号勾配ｄ_ｉの信号値が一定（画像で言うと、完全な平坦部）であると仮定すると、式（１）の連立１次方程式は（ノイズを除いて）全て同じとなるため、ぼけｋ_ｉを推定することができない。

以上の議論を纏めると、ぼけ推定領域内において様々な方向や強度を持つ信号変化が多く存在し、かつ、同じ信号変化でありながらノイズの出方が異なるものが複数存在すると、ぼけの推定精度が向上する。これを実現するため、本実施例では、第１のぼけ推定領域における信号変化（信号変化量）が少ない場合、ぼけ画像内における第１のぼけ推定領域とはその位置または形状が異なる第２のぼけ推定領域を取得する。第２のぼけ推定領域は、第１のぼけ推定領域よりもエッジなどの信号変化を多く含む。さらに、第２のぼけ推定領域の面積が第１のぼけ推定領域の面積よりも大きい場合、１次方程式（ノイズの出方が異なる方程式）の数が増えるため、ノイズ抑制効果も得ることができる。ただし、前述のように、ぼけがＳｈｉｆｔ−ｖａｒｉａｎｔな場合、ぼけ推定領域が変化することにより、推定されたぼけは本来のぼけとやや異なる（ただし、信号変化量が不足している場合の推定精度の低下よりは誤差が小さい）。このため、第１のぼけ推定領域内における信号変化量が少ない場合のみ、位置または形状の異なる第２のぼけ推定領域を取得する。一方、それ以外の場合（第１のぼけ推定領域内に充分な信号変化量がある場合）、第１のぼけ推定領域そのものを第２のぼけ推定領域とする。

次に、図１を参照して、ぼけ補正部１０８で行われる画像処理に関して説明する。図１は、本実施例の画像処理方法を示すフローチャートである。図１の各ステップは、ぼけ補正部１０８の取得部１０８１、生成部１０８２、および、補正部１０８３により実行される。

まずステップＳ１０１において、ぼけ補正部１０８の取得部１０８１は、ぼけ画像（撮影画像）を取得する。続いてステップＳ１０２において、ぼけ補正部１０８の生成部１０８２は、ぼけ画像における信号変化の量（信号変化量）に関する分布情報を取得する。信号変化の量に関する分布情報とは、ぼけ画像内のどの位置または領域にエッジなどの信号変化が存在し、その強度がどの程度かを示す情報である。信号変化の量に関する分布情報を取得する方法として、ぼけ画像（輝度分布）の微分値を取得する方法がある。微分値の絶対値が大きいほど、大きな信号変化が発生している位置を示し、その位置がぼけ推定領域に含まれる場合に推定の精度が向上する。

続いてステップＳ１０３において、生成部１０８２は、ぼけ画像内から第１のぼけ推定領域を取得する。第１のぼけ推定領域は、ぼけを推定しようとする領域である。第１のぼけ推定領域は、ユーザが指定した領域または自動的に取得されるものであってもよい。本実施例では、ぼけがＳｈｉｆｔ−ｖａｒｉａｎｔの場合を取り扱う。この際、第１のぼけ推定領域は、例えば、ぼけ画像を複数の部分領域に分割し、分割した複数の部分領域のうちの１つの部分領域を選択することにより取得される。一方、ぼけ画像の全体においてぼけが一定の場合（Ｓｈｉｆｔ−ｉｎｖａｒｉａｎｔと呼ぶ）、第１のぼけ推定領域として、ぼけ画像の全体の領域が設定される。ただしこの場合、第１のぼけ推定領域よりも信号変化量の多い第２のぼけ推定領域を、ぼけ画像から取得することはできない。このため本実施例では、Ｓｈｉｆｔ−ｖａｒｉａｎｔなぼけを対象として説明する。

続いてステップＳ１０４において、生成部１０８２は、第２のぼけ推定領域を取得する。第２のぼけ推定領域は、実際にぼけを算出（推定）する領域であり、第２のぼけ推定領域において得られた推定ぼけが第１のぼけ推定領域に作用しているぼけとして出力される。ぼけ推定の際、第２のぼけ推定領域内においては、同じぼけが作用しているものと仮定する。第２のぼけ推定領域は、第１のぼけ推定領域における信号変化量に基づいて決定される。第１のぼけ推定領域内における信号変化量がぼけ推定に充分である場合、第１のぼけ推定領域をそのまま第２のぼけ推定領域とする。一方、第１のぼけ推定領域内における信号変化量がぼけ推定に不充分である場合、信号変化量が多くなるように、第１のぼけ推定領域とは位置または形状が異なる第２のぼけ推定領域を取得する。信号変化量がぼけ推定に充分であるか否かは、例えば、予め設定された閾値（第１の閾値）よりも信号変化量が大きいか否かにより判定可能である。この閾値は、推定するぼけの成分数（未知数の数）などから決定することが好ましい。第１のぼけ推定領域における信号変化量は、例えば、ステップＳ１０２にて算出された信号変化量に関する分布情報を用いればよい。この分布情報のうち、第１のぼけ推定領域に相当する部分の値だけを抽出する。この分布情報の値（信号変化量）と閾値（第１の閾値）とを比較するには、信号変化量を分布情報からスカラー値に変換する必要がある。以下、その例について説明するが、本実施例はこれらに限定されるものではない。

最も簡単な手法は、第１のぼけ推定領域における微分値の二乗（絶対値でもよい）の総和をとることである。好ましくは、微分値の二乗、または絶対値を量子化し、その後にそれらの総和を取る。量子化せずに総和をとる場合、信号変化が多く存在するのか、非常に大きな信号変化が少量だけ存在するのかを明確に区別することはできない。前者の場合、エッジやテクスチャなどの方向や強度にバリエーションが多く存在する。一方、後者の場合、そのようなバリエーションが少ない。エッジやテクスチャなどのバリエーションが少ないと、式（１）により表される連立１次方程式の中で独立な方程式の数が小さくなるため、ぼけの推定精度は低下する。このため、第１のぼけ推定領域内で信号変化が複数の領域に存在するのか、または、非常に大きな信号変化が少量だけ存在するのかを区別可能であることが好ましい。量子化を行うことにより、この区別を実現することができる。例えば、微分量の二乗（または絶対値）が、所定の閾値（第３の閾値）よりも大きい場合には１、所定の閾値よりも小さい場合（平坦部の場合）には０というように、二値化してから総和を取る。これにより、エッジやテクスチャが多いのか否かを区別することができる。ここでは量子化として二値化による手法を用いているが、それより多いビット数で量子化しても構わない。

第１のぼけ推定領域よりも信号変化量の多い第２のぼけ推定領域は、例えば、図５に示されるように取得する。図５は、第１のぼけ推定領域と第２のぼけ推定領域との関係を示す図である。図５（Ａ）は、ぼけ画像２０１において、第１のぼけ推定領域２０２とは位置の異なる第２のぼけ推定領域２０３ａを取得している様子を示している。ぼけ画像２０１におけるどの位置から第２のぼけ推定領域２０３ａを取得すればより多くの信号変化量が得られるかに関しては、図１のステップＳ１０２にて取得したぼけ画像の信号変化量に関する分布情報に基づいて判定可能である。ただし、第２のぼけ推定領域に作用しているぼけが第１のぼけ推定領域のぼけと大きく異なると、推定ぼけの精度は低下してしまう。このため、第１のぼけ推定領域および第２のぼけ推定領域におけるぼけが概ね同じになるように、第２のぼけ推定領域を取得する。殆どのぼけは、ぼけ画像上の位置に応じて連続的に変化する。このため、第２のぼけ推定領域は、第１のぼけ推定領域の面積の半分以上を含むように取得されることが好ましい。これにより、ぼけ画像中の位置変化によるぼけの変化を抑制することができる。このことから、第２のぼけ推定領域を決定する際に用いる信号変化の量に関する分布情報は、ステップＳ１０２のようにぼけ画像の全体から取得する必要はなく、第１のぼけ推定領域の周辺のみに関して取得すればよい。

図５（Ｂ）は、ぼけ画像２０１において、第１のぼけ推定領域２０２とは異なる形状（形と大きさの両方）を有する第２のぼけ推定領域２０３ｂを取得している様子を示している。第２のぼけ推定領域２０３ｂをどのような形状にすればより多くの信号変化量が得られるかに関しては、ステップＳ１０２にて取得したぼけ画像の信号変化の量に関する分布情報から判定可能である。前述のように、ぼけ推定領域が大きい（一次方程式の数が多い）ほど、ぼけ推定の精度低下を抑制することができる。このため、図５（Ｂ）に示されるように、第２のぼけ推定領域２０３ｂは、その面積が第１のぼけ推定領域２０２の面積よりも大きくなるように取得されることが好ましい。この際、第１のぼけ推定領域および第２のぼけ推定領域におけるぼけが概ね同じになるように、第２のぼけ推定領域が第１のぼけ推定領域を全て含むように取得することがより好ましい。さらに好ましくは、第２のぼけ推定領域の中心と第１のぼけ推定領域の中心とが互いに一致する。これにより、第１のぼけ推定領域と第２のぼけ推定領域におけるぼけの乖離を抑制することができる。

なお、図５（Ａ）、（Ｂ）においては、位置と形状が異なる場合をそれぞれ個別に示しているが、第２のぼけ推定領域は、位置および形状の両方に関して、第１のぼけ推定領域と異なっていてもよい。また、第１のぼけ推定領域および第２のぼけ推定領域の位置や形状は、図５（Ａ）、（Ｂ）に示されるものに限定されるものではない。

次に、Ｓｈｉｆｔ−ｖａｒｉａｎｔなぼけのうち、ぼけ画像中の位置変化による連続性が小さいデフォーカスにおける第２のぼけ推定領域について説明する。デフォーカスのぼけは、被写体空間の奥行き（デプス）方向に対して連続的に変化するが、一般的に、撮影画角内の被写体群に関しては連続的にデプスが変化しない。特に、異なるデプスに存在する被写体同士の境目は、不連続性が大きい。このため、デフォーカスを推定する際には、被写体空間のデプス情報（距離情報）を取得し、それを用いて第２のぼけ推定領域を決定することが好ましい。デプス情報は、多眼カメラ等の多視点撮像系やＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ、または、レーザなどを用いた測距部を撮像装置１０１に設けることにより取得可能である。

ここで、図６を参照して、第２のぼけ推定領域の取得方法に関して説明する。図６は、デフォーカスを推定する際の第１のぼけ推定領域と第２のぼけ推定領域との関係を示す図である。図６において、デプス情報２０４は、ぼけ画像に対応する被写体空間のデプスの分布を濃淡で表している。なお図６では、デプス情報２０４中に第１のぼけ推定領域２０２および第２のぼけ推定領域２０３ｃが描画されているが、両者は、実際にはぼけ画像から取得される。デプス情報２０４は、第２のぼけ推定領域２０３ｃの位置および形状を決定するために用いられる。図６に示されるように第１のぼけ推定領域２０２が設定されている場合、第２のぼけ推定領域２０３ｃを、第１のぼけ推定領域２０２とデプスが近い領域のみを含むように設定する。大きくデプスが変化する領域（被写体の境目を含む）を除外することにより、第１のぼけ推定領域および第２のぼけ推定領域におけるぼけの変化を低減することができる。

また、デフォーカスのぼけ形状は、撮像装置１０１内の光学系１０１１の瞳に応じて決定される。図６では、光学系１０１１のヴィネッティングの影響を考慮して、第２のぼけ推定領域２０３ｃを第１のぼけ推定領域２０２周辺のみに限定している。しかし、光学系１０１１のヴィネッティングの影響が無視できる場合、デフォーカスのぼけはデプスに応じてのみ変化する。この場合、第１のぼけ推定領域と近いデプスの領域の全てを第２のぼけ推定領域と設定することができる。または、第１のぼけ推定領域と近いデプスであれば、その領域を全く含まないように第２のぼけ推定領域を設定しても構わない。

なお、推定する対象のぼけがデフォーカスであるか否かを判定する方法として、例えば以下の方法がある。まず、ユーザ自身が推定対象をデフォーカスに指定する場合である。また、自動判定には、ぼけ画像の周波数特性や撮像装置１０１の撮影条件に関する情報が用いられる。Ｆ値が非常に大きい場合、ユーザはパンフォーカス画像を意図していると考えられるため、デフォーカスぼけを推定する。また、ぼけ画像の高周波成分が等方的に欠落している場合、ピントずれが発生していると判定することができる。

続いて、図１のステップＳ１０５において、生成部１０８２は、第２のぼけ推定領域から推定ぼけを生成する。ステップＳ１０５の詳細は、図４のフローチャートに示されており、その説明に関しては後述する。

続いてステップＳ１０６において、生成部１０８２は、ぼけ画像における所定の領域（例えば、ぼけ画像の全体）に対して、推定ぼけの生成が完了したか否かを判定する。推定ぼけの生成が完了している場合、ステップＳ１０７へ進む。一方、推定ぼけの生成が完了していない場合、ステップＳ１０３へ戻る。そして生成部１０８２は、ぼけ画像における所定の領域内から、推定ぼけが生成されていない部分領域を新たな第１のぼけ推定領域として取得する。

続いてステップＳ１０７において、生成部１０８２は、生成された推定ぼけを出力する。第１のぼけ推定領域として、複数のぼけ推定領域が存在する場合、複数の推定ぼけが存在するため、それらの全てを出力する。本実施例において、推定ぼけはＰＳＦのデータである。ただし、本実施例はこれに限定されるものではなく、ＯＴＦ、ＰＳＦもしくはＯＴＦを所定の基底でフィッティングした係数データ、または、ＰＳＦもしくはＯＴＦを画像データに変換した画像などの形で出力してもよい。

続いてステップＳ１０８において、ぼけ補正部１０８の補正部１０８３は、出力された推定ぼけを用いてぼけ画像のぼけを補正する。補正には、例えば、Ｗｉｅｎｅｒフィルタなどの逆フィルタを用いた手法や、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法などの超解像手法を用いることができる。複数の推定ぼけが存在する場合、補正部１０８３は、対応するそれぞれの推定ぼけが得られた第１のぼけ推定領域に対して、推定ぼけを用いて補正を行う。また、全ての推定ぼけが出力される前に、ステップＳ１０５にて生成された推定ぼけを用いて、逐次、第１のぼけ推定領域のぼけを補正し、最後にそれらを合わせることで、ぼけ補正画像を生成してもよい。

次に、図４を参照して、推定ぼけの生成処理（ステップＳ１０５）について詳述する。図４は、推定ぼけの生成方法を示すフローチャートである。図４の各ステップは、ぼけ補正部１０８の生成部１０８２により実行される。

まず、ステップＳ２０１において、生成部１０８２は、第２のぼけ推定領域のデノイジングを行う。第２のぼけ推定領域のデノイジングは、第２のぼけ推定領域にノイズが存在していることによる、ぼけの推定精度の劣化を低減するために行われる。なお、ステップＳ２０１に代えて、図１のステップＳ１０３の前に、ぼけ画像の全体をデノイジングするステップを挿入してもよい。デノイジング手法としては、バイラテラルフィルタやＮＬＭ（Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ）フィルタなどを用いる手法がある。

好ましくは、生成部１０８２は、以下の手法で第２のぼけ推定領域（または、ぼけ画像）をデノイジングする。まず、生成部１０８２は、第２のぼけ推定領域を周波数分解して、周波数分解ぼけ推定領域を生成する。そして生成部１０８２は、第２のぼけ推定領域のノイズ量に基づいて、周波数分解ぼけ推定領域をデノイジングする。次に、生成部１０８２は、周波数分解ぼけ推定領域を再合成することにより、ノイズ低減されたぼけ第２のぼけ推定領域を取得する。一般に、デノイジング処理は、画像からノイズを低減するとともに、画像をぼかすという問題がある。第２のぼけ推定領域がデノイジングによってぼけると、後の推定処理を行う際に、画像を元来劣化させているぼけと、デノイジングによるぼけが混在したＰＳＦを推定してしまうことになる。このため、画像に与えるぼけが小さいデノイジング手法を用いることが好ましい。このような手法として、画像の周波数分解を利用したデノイジング処理を適用する。ここでは、周波数分解としてウェーブレット変換を用いた例を説明する。なお、この詳細については、「Ｄｏｎｏｈｏ Ｄ．Ｌ．，“Ｄｅ−ｎｏｉｓｉｎｇ ｂｙ ｓｏｆｔ−ｔｈｒｅｓｈｏｌｄｉｎｇ”，ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｉｎｆ． Ｔｈｅｏｒｙ，４１，３，ｐｐ．６１３−６２７」に記載されている。

ウェーブレット変換とは、局在する小さな波（ウェーブレット）を用いて画像の位置ごとに周波数解析を行い、信号を高周波成分と低周波成分に分解していく変換である。画像のウェーブレット変換では、画像の水平方向に対してウェーブレット変換を行って低周波成分と高周波成分に分解し、さらに分解して得られた低周波成分と高周波成分の垂直方向に対してウェーブレット変換を行う。ウェーブレット変換により、画像は４分割され、周波数帯域が互いに異なる４つのサブバンド画像に周波数分解される。このとき、左上の低周波帯域成分（スケーリング係数）のサブバンド画像をＬＬ１とし、右下の高周波帯域成分（ウェーブレット係数）のサブバンド画像をＨＨ１とする。また、右上（ＨＬ１）と左下（ＬＨ１）のサブバンド画像はそれぞれ、水平方向に高周波帯域成分をとって垂直方向に低周波帯域成分を取り出したものと、水平方向に低周波帯域成分をとって垂直方向に高周波帯域成分を取り出したものである。

さらに、サブバンド画像ＬＬ１をウェーブレット変換すると、画像サイズを半分にして、サブバンド画像ＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２に分解することができ、分解して得られたサブバンド画像ＬＬに対して変換レベル回数だけ分解することができる。

ウェーブレット変換を用いてノイズ低減処理を行う方法として、スレッショルディングが知られている。これは、設定したしきい値より小さい量の成分をノイズとみなし、そのノイズを低減する方法である。ウェーブレット空間上でのしきい値処理は、サブバンド画像ＬＬ以外のサブバンド画像に対して行われ、以下の式（１０）に示されるように、しきい値以下の絶対値を有するウェーブレット係数ｗ_{ｓｕｂｂａｎｄ}（ｘ，ｙ）を０に置き換えてデノイジングを行う。

式（１０）において、ｘ、ｙはそれぞれ、画像の縦と横の座標であり、ρ_{ｓｕｂｂａｎｄ}は重みパラメータ、σはノイズの標準偏差である。第２のぼけ推定領域に含まれるノイズ量σは、第２のぼけ推定領域から測定または推定することにより求められる。ノイズが実空間および周波数空間において一様なホワイトガウシアンノイズである場合、第２のぼけ推定領域のノイズを、以下の式（１１）に示されるようなＭＡＤ（Ｍｅｄｉａｎ Ａｂｓｏｌｕｔｅ Ｄｅｖｉａｔｉｏｎ）から推定する手法が知られている。

ＭＡＤは、第２のぼけ推定領域をウェーブレット変換して得られたサブバンド画像ＨＨ１におけるウェーブレット係数ｗ_ＨＨ１のメディアン（中央値）を用いて求められる。標準偏差とＭＡＤとは、以下の式（１２）に示される関係であることから、ノイズ成分の標準偏差を推定することができる。

なお、式（１１）、（１２）に代えて、撮影条件（撮影の際におけるＩＳＯ感度）に基づいてノイズ量σを取得してもよい。

続いてステップＳ２０２において、生成部１０８２は、第２のぼけ推定領域の解像度を低下させ、低解像ぼけ推定領域を生成する。第２のぼけ推定領域の解像度を低下させることにより、推定するぼけの解像度も同様に低下する。その結果、後述するぼけ推定の収束性が向上し、かつ、推定結果が最適解とは異なる局所解へ落ち込む可能性を低減することができる。第２のぼけ推定領域の解像度を下げる割合は、ダウンサンプリングパラメータに応じて決定される。ステップＳ２０２は、ループ処理（反復演算）によって複数回実行されるが、初回の実行時には、所定のダウンサンプリングパラメータが用いられる。２回目以降の実行の際には、後述のステップＳ２０８にて設定されたダウンサンプリングパラメータを用いて、低解像ぼけ推定領域を生成する。ループを反復する度に、解像度の低下量は小さくなり、低解像ぼけ推定領域の解像度は、第２のぼけ推定領域に徐々に近づく。すなわち、最初は低解像のぼけを推定し、その推定結果を新たな初期値として、解像度を少しずつ上げながら推定を繰り返す。これにより、局所解を回避して最適なぼけを推定することができる。なお、低解像ぼけ推定領域の解像度は、第２のぼけ推定領域の解像度以下であり、両者の解像度が一致することもある。

続いてステップＳ２０３において、生成部１０８２は、低解像ぼけ推定領域における信号勾配（信号に関する情報）のぼけを補正して、補正信号勾配（補正信号に関する情報）を生成する（補正処理）。補正信号勾配の生成には、前述のように、式（２）を用いた最適化やその他の超解像、逆フィルタなどを用いる。ぼけ補正に用いるＰＳＦは、前のループにおけるステップＳ２０４にて推定された結果（ぼけ）を用いる。ループの初回においては、適当な形状のＰＳＦ（Ｇａｕｓｓ分布や１次元のラインなど）を用いる。続いてステップＳ２０４において、生成部１０８２は、低解像ぼけ推定領域の信号勾配と補正信号勾配とに基づいて、ぼけを推定する（ぼけの推定処理）。ぼけの推定には、式（６）または式（６ａ）による最適化などを用いる。

続いてステップＳ２０５において、生成部１０８２は、ステップＳ２０４（第２の推定処理）にて推定されたぼけ（第２のぼけ）と、前ループのステップＳ２０４（第１の推定処理）にて推定されたぼけ（第１のぼけ）とを比較する。具体的には、生成部１０８２は、第１のぼけと第２のぼけとの差異が所定値（第２の閾値）以下であるか否かを判定する。この差異が所定値以下である場合、ステップＳ２０７へ進む。一方、この差異が所定値よりも大きい場合、ステップＳ２０６へ進む。ステップＳ２０２にて説明したとおり、本実施例においては、第２のぼけ推定領域内の解像度を変更しながら、補正信号勾配の生成（補正処理）とぼけの推定（推定処理）をループさせる。ループ初期の低解像ぼけ推定領域は、画素数が少ないため、ぼけの推定結果は収束しやすい。一方、ループを繰り返して低解像ぼけ推定領域の画素数が多くなると、結果は収束しにくくなる。さらにエッジなどの信号変化が不足していると、推定したぼけは正しい値から大きく外れてしまう。これを回避するため、生成部１０８２は、現在のループで推定したぼけと前のループのぼけの差異を評価する。ここでは、現ループと前ループにおけるぼけのいずれか一方をバイリニア補間により、他方と同じ成分数にリサイズし、各成分の二乗和を取って差異を評価する。ただし本実施例は、これに限定されるものではなく、他の手法を用いてもよい。両方のぼけの差異が所定値よりも大きい場合、現ループにおいてぼけ推定に必要な信号変化の情報が不足して推定精度が低下していると考えられる。このため生成部１０８２は、ステップＳ２０６にて第２のぼけ推定領域を広げ、再度、ぼけ推定を行う。ループ初回においては、前のループの推定ぼけが存在しないため、ステップＳ２０５を実行することなくステップＳ２０７へ進む。

ステップＳ２０６において、生成部１０８２は、第２のぼけ推定領域の面積を大きくする。この理由は、前述のとおりである。そしてステップＳ２０２に戻り、生成部１０８２は、新たな第２のぼけ推定領域において低解像ぼけ推定領域を生成し、補正信号勾配を生成する。この際、面積を大きくした第２のぼけ推定領域にもステップＳ２０１にて説明したデノイジングを行うことが好ましい。

ステップＳ２０７において、生成部１０８２は、反復（ループ）演算が完了したか否か、すなわち第２のぼけ推定領域と低解像ぼけ推定領域との解像度差が所定値よりも小さいか否か、を判定する。この判定は、第２のぼけ推定領域の解像度と低解像ぼけ推定領域の解像度とを比較することにより行われる。両者の解像度差が所定値よりも小さい場合、反復演算を終了する。そして、ステップＳ２０４にて推定されたぼけを最終的な推定ぼけとして、ステップＳ２０９へ進む。両者の解像度差が所定値よりも小さいか否かは、両者の解像度差の絶対値が所定値よりも小さいか否かに限定されるものではなく、両者の画素数差の絶対値が所定値よりも小さいか否か、または、両者の画素数の比が所定値よりも１に近いか否かなどで判定してもよい。所定の条件を満たさない場合（例えば、両者の解像度差の絶対値が所定値よりも大きい場合）、推定されたぼけの解像度がまだ不充分であるため、ステップＳ２０８へ進み、反復演算を行う。

ステップＳ２０８において、生成部１０８２は、ステップＳ２０２にて用いられるダウンサンプリングパラメータを設定する。ステップＳ２０２〜Ｓ２０６を反復する過程で解像度を上げていくため、ここでは前のループよりもダウンサンプリングの度合いを弱めるように（解像度低下量を下げるように）パラメータを設定する。また、反復演算では、前ループのステップＳ２０４にて推定されたぼけを新たな初期解として用いるが、その際、ぼけの解像度を上げる必要がある。解像度の向上には、バイリニア補間やバイキュービック補間を用いることが好ましい。

ステップＳ２０９において、生成部１０８２は、ステップＳ２０４にて推定されたぼけ（推定ぼけ）のデノイジングを行う。式（１）に示されるように、ぼけ画像（第２のぼけ推定領域）にはノイズが存在するため、その影響を受けて推定ＰＳＦにもノイズが発生する。このため、生成部１０８２はデノイジング処理を行う。デノイジング処理を行う際は、スレッショルディング処理、孤立点を除去するオープニング処理、または、平滑化フィルタや前述の周波数分解を用いたデノイジング処理などを用いることが好ましい。

本実施例によれば、ぼけ画像の信号変化が少ない領域からぼけを推定する際、推定精度の低下を抑制可能な画像処理システムを提供することができる。

次に、図７を参照して、本発明の実施例２における画像処理システムについて説明する。図７は、本実施例における画像処理システム３００のブロック図である。

本実施例の画像処理システム３００は、ぼけ補正部１０８を有する画像処理装置１０５に代えて、推定ぼけ生成部３０８を有する画像処理装置３０５を備えている点で、実施例１の画像処理システム１００とは異なる。本実施例の画像処理システム３００は、実施例１の画像処理システム１００よりも簡易な処理により、ぼけ推定を行うことが可能である。推定ぼけ生成部３０８は、撮像装置１０１にて撮像されたぼけ画像からぼけ成分を推定して出力する。画像処理システム３００のそれ以外の部位は、実施例１の画像処理システム１００と同様であるため、それらの説明は省略する。

次に、図８を参照して、推定ぼけ生成部３０８で行われる画像処理に関して説明する。図８は、本実施例の画像処理方法を示すフローチャートである。図８の各ステップは、推定ぼけ生成部３０８の取得部３０８１（取得手段）および生成部３０８２（生成手段）により実行される。

まずステップＳ３０１において、推定ぼけ生成部３０８の取得部３０８１は、ぼけ画像を取得する。なおステップＳ３０１は、図１を参照して説明した実施例１のステップＳ１０１と同様である。続いてステップＳ３０２において、推定ぼけ生成部３０８の生成部３０８２は、ぼけ画像から、第１のぼけ推定領域、および、第１のぼけ推定領域における信号変化の量（信号変化量）を取得する。信号変化の量についての具体的な説明は、実施例１におけるステップＳ１０４と同様である。

続いてステップＳ３０３において、生成部３０８２は、ぼけ画像から第２のぼけ推定領域を取得する。ステップＳ３０２にて取得した信号変化量が閾値（第１の閾値）以上である場合、生成部３０８２は、第１のぼけ推定領域を第２のぼけ推定領域とする。一方、信号変化量が閾値よりも小さい場合、生成部３０８２は、第１のぼけ推定領域よりも面積の大きい第２のぼけ推定領域を取得する。本実施例において、第２のぼけ推定領域は、その中心位置が常に第１のぼけ推定領域の中心位置と同じであり、第１のぼけ推定領域と比較してその面積が所定値だけ比例倍された領域である。これは、図５（Ｂ）に示される第２のぼけ推定領域２０３ｂのように、第２のぼけ推定領域を取得するということである。

続いてステップＳ３０４において、生成部３０８２は、第２のぼけ推定領域の信号勾配（信号に関する情報）を補正して、補正信号勾配（補正信号に関する情報）を生成する（補正処理）。この補正処理は、実施例１のステップＳ２０３における補正処理と同様である。続いてステップＳ３０５において、生成部３０８２は、第２のぼけ推定領域における信号勾配と、ステップＳ３０４にて生成された補正信号勾配とに基づいて、ぼけを推定する（ぼけの推定処理）。この推定処理は、実施例１のステップＳ２０４における推定処理と同様である。

続いてステップＳ３０６において、生成部３０８２は、ステップＳ３０５にて推定したぼけが収束したか否かを判定する。ぼけが収束した場合、ステップＳ３０７へ進む。一方、ぼけが収束していない場合、ステップＳ３０４へ戻る。ステップＳ３０４へ戻った場合、生成部３０８２は、ステップＳ３０５にて推定したぼけを用いて、ステップＳ３０４において新たに補正信号勾配を生成する。推定したぼけが収束したか否かの判定方法は、例えば、補正信号勾配を推定したぼけで劣化させた値と、第２のぼけ推定領域の信号勾配との差、またはそれらの比を求め、所定値と比べればよい。または、ステップＳ３０５にて共役勾配法などの繰り返し演算でぼけを推定している場合、この繰り返し演算によるぼけの更新量が所定値よりも小さいか否かにより判定してもよい。ぼけが収束した場合、生成部３０８２は、ステップＳ３０５にて推定されたぼけを第１のぼけ推定領域における最終的な推定ぼけとする。

続いてステップＳ３０７において、生成部３０８２は、ぼけ画像における所定の領域（例えば、ぼけ画像の全体）に対して、推定ぼけの生成が完了したか否かを判定する。推定ぼけの生成が完了している場合、ステップＳ３０８へ進む。一方、推定ぼけの生成が完了していない場合、ステップＳ３０２へ戻る。なおステップＳ３０７は、実施例１のステップＳ１０６と同様である。

ステップＳ３０８において、生成部３０８２は、生成された推定ぼけを出力する。ぼけ画像における所定の領域内に複数の第１のぼけ推定領域が含まれる場合、生成部３０８２は複数の推定ぼけを出力する。このとき、複数の推定ぼけを求める途中で逐次出力しても構わない。出力された推定ぼけは、ぼけ画像の補正、撮影した光学系の光学性能測定、または、撮影の際の手ぶれの解析などに用いることができる。

本実施例によれば、ぼけ画像の信号変化が少ない領域からぼけを推定する際、推定精度の低下を抑制可能な画像処理システムを提供することができる。

次に、図９および図１０を参照して、本発明の実施例３における撮像システムについて説明する。図９は、本実施例における撮像システム４００のブロック図である。図１０は、撮像システム４００の外観図である。

撮像システム４００は、撮像装置４０１、ネットワーク４０２、および、サーバ４０３（画像処理装置）により構成される。撮像装置４０１とサーバ４０３とは無線で接続されており、撮像装置４０１からの画像はサーバ４０３へ転送され、サーバ４０３がぼけの推定および補正を行う。

サーバ４０３は、通信部４０４、記憶部４０５、および、ぼけ補正部４０６（画像処理部）を有する。サーバ４０３の通信部４０４は、ネットワーク４０２を介して撮像装置４０１と接続されている。本実施例において、撮像装置４０１とサーバ４０３とは無線で接続されているが、これに限定されるものではなく、有線で接続されてもよい。サーバ４０３の通信部４０４は、撮像装置４０１からぼけ画像を受信するように構成されている。撮像装置４０１により撮影が行われると、ぼけ画像（入力画像または撮影画像）は、自動的または手動でサーバ４０３に入力され、記憶部４０５およびぼけ補正部４０６に送られる。記憶部４０５は、ぼけ画像およびそのぼけ画像を撮影した撮影条件に関する情報を記憶する。ぼけ補正部４０６は、ぼけ画像に基づいてぼけ（推定ぼけ）を推定する。そしてぼけ補正部４０６は、推定ぼけに基づいて、ぼけ補正画像を生成する。ぼけ補正画像は、記憶部４０５に記憶されるか、または、通信部４０４を介して撮像装置４０１へ送られる。

本実施例の画像処理方法を実現するため、ソフトウエア（画像処理プログラム）を、ネットワーク、またはＣＤ−ＲＯＭなどの記憶媒体を介して、サーバ４０３に供給することもできる。この際、画像処理プログラムは、サーバ４０３のコンピュータ（またはＣＰＵやＭＰＵなど）により読み出されて、サーバ４０３の機能を実行する。

なお、ぼけ補正部４０６で行われる処理は、図１および図４を参照して説明した実施例１の画像処理方法と同様であるため、その説明は省略する。本実施例によれば、ぼけ画像における信号変化の量が少ない領域からぼけを推定する際、推定精度の低下を抑制可能な撮像システムを提供することができる。

このように各実施例において、画像処理装置（画像処理装置１０５、３０５、サーバ４０３）は、取得手段（取得部１０８１、３０８１）および生成手段（生成部１０８２、３０８２）を有する。取得手段は、ぼけ画像（撮影画像または入力画像）を取得する。生成手段は、ぼけ画像における少なくとも一部の第１のぼけ推定領域を取得し、推定ぼけを生成する。また生成手段は、第１のぼけ推定領域における信号変化の量に基づいて、第２のぼけ推定領域を決定する。そして生成手段は、第２のぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、信号に関する情報と補正信号に関する情報とに基づいてぼけを推定する推定処理と、を反復する反復演算処理を行う。これにより、生成手段は推定ぼけを生成する。

好ましくは、第２のぼけ推定領域における信号変化の量は、第１のぼけ推定領域における信号変化の量以上である。また好ましくは、生成手段は、第１のぼけ推定領域における信号変化の量が第１の閾値よりも大きい場合、第１のぼけ推定領域を第２のぼけ推定領域として決定する。また生成手段は、第１のぼけ推定領域における信号変化の量が第１の閾値よりも小さい場合、第１のぼけ推定領域よりも信号変化の量が大きい第２のぼけ推定領域を決定する。より好ましくは、生成手段は、第１のぼけ推定領域における信号変化の量が第１の閾値よりも小さい場合、第１のぼけ推定領域とは異なる位置または形状の第２のぼけ推定領域を決定する。また好ましくは、生成手段は、第１のぼけ推定領域における信号変化の量が第１の閾値よりも小さい場合、第１のぼけ推定領域よりも面積が大きい第２のぼけ推定領域を決定する。また好ましくは、第２のぼけ推定領域は、第１のぼけ推定領域の半分以上を含む。より好ましくは、第２のぼけ推定領域は、第１のぼけ推定領域の全てを含む。また好ましくは、生成手段は、被写体空間の距離情報を取得し、被写体空間の距離情報に基づいて第２のぼけ推定領域を決定する。

好ましくは、生成手段は、反復演算処理の推定処理として、第１の推定処理および第１の推定処理よりも後に第２の推定処理を行う。また生成手段は、第１の推定処理において推定された第１のぼけと、第２の推定処理において推定された第２のぼけとの差異を判定する。そして生成手段は、差異が第２の閾値よりも大きい場合、第２のぼけ推定領域の面積を大きくして、再度、推定処理を行う（Ｓ２０５、Ｓ２０６）。

好ましくは、生成手段は、第２のぼけ推定領域の解像度を低下させて低解像ぼけ推定領域を生成する。また生成手段は、低解像ぼけ推定領域において、信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、信号に関する情報と補正信号に関する情報とに基づいてぼけを推定する推定処理とを反復する反復演算処理を行う。これにより、生成手段は推定ぼけを生成する。また生成手段は、反復演算処理の過程において、低解像ぼけ推定領域の解像度を第２のぼけ推定領域の解像度に近づける（Ｓ２０８）。

好ましくは、生成手段は、第２のぼけ推定領域に含まれるノイズ量を取得し、第２のぼけ推定領域を周波数分解して周波数分解ぼけ推定領域を生成する。そして生成手段は、ノイズ量に基づいて周波数分解ぼけ推定領域に対するデノイジング処理を行い、デノイジング処理後の周波数分解ぼけ推定領域を再合成する（Ｓ２０１）。

好ましくは、画像処理装置は、推定ぼけを用いてぼけ画像の少なくとも一部を補正する補正手段（補正部１０８３）を有する。また好ましくは、第１のぼけ推定領域における信号変化の量は、第１のぼけ推定領域における輝度分布の微分値の絶対値和または二乗和に相当する量である。また好ましくは、信号に関する情報は、第２のぼけ推定領域における輝度分布または輝度分布の微分値に関する情報である。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、ぼけ画像における信号変化が少ない領域からぼけを推定する際、推定精度の低下を抑制可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０５、３０５ 画像処理装置
１０８１、３０８１ 取得部（取得手段）
１０８２、３０８２ 生成部（生成手段）

Claims (18)

1. ぼけ画像を取得する取得手段と、
   前記ぼけ画像における少なくとも一部の第１のぼけ推定領域を取得し、推定ぼけを生成する生成手段と、を有し、
   前記生成手段は、
   前記第１のぼけ推定領域における信号変化の量に基づいて、第２のぼけ推定領域を決定し、
   前記第２のぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいてぼけを推定する推定処理と、を反復する反復演算処理を行って前記推定ぼけを生成する、ことを特徴とする画像処理装置。
2. 前記第２のぼけ推定領域における信号変化の量は、前記第１のぼけ推定領域における前記信号変化の量以上であることを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、
   前記第１のぼけ推定領域における前記信号変化の量が第１の閾値よりも大きい場合、該第１のぼけ推定領域を前記第２のぼけ推定領域として決定し、
   前記第１のぼけ推定領域における前記信号変化の量が前記第１の閾値よりも小さい場合、該第１のぼけ推定領域よりも信号変化の量が大きい前記第２のぼけ推定領域を決定する、ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段は、前記第１のぼけ推定領域における前記信号変化の量が前記第１の閾値よりも小さい場合、該第１のぼけ推定領域とは異なる位置または形状の前記第２のぼけ推定領域を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記第１のぼけ推定領域における前記信号変化の量が前記第１の閾値よりも小さい場合、該第１のぼけ推定領域よりも面積が大きい前記第２のぼけ推定領域を決定することを特徴とする請求項３に記載の画像処理装置。
6. 前記第２のぼけ推定領域は、前記第１のぼけ推定領域の半分以上を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第２のぼけ推定領域は、前記第１のぼけ推定領域の全てを含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記生成手段は、
   被写体空間の距離情報を取得し、
   前記被写体空間の距離情報に基づいて前記第２のぼけ推定領域を決定する、ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、
   前記反復演算処理の前記推定処理として、第１の推定処理および該第１の推定処理よりも後に第２の推定処理を行い、
   前記第１の推定処理において推定された第１のぼけと、前記第２の推定処理において推定された第２のぼけとの差異を判定し、
   前記差異が第２の閾値よりも大きい場合、前記第２のぼけ推定領域の面積を大きくして、再度、前記推定処理を行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
10. 前記生成手段は、
    前記第２のぼけ推定領域の解像度を低下させて低解像ぼけ推定領域を生成し、
    前記低解像ぼけ推定領域において、前記信号に関する情報に含まれるぼけを補正して前記補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいてぼけを推定する推定処理とを反復する反復演算処理を行って前記推定ぼけを生成し、
    前記反復演算処理の過程において、前記低解像ぼけ推定領域の解像度を前記第２のぼけ推定領域の前記解像度に近づける、ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記生成手段は、
    前記第２のぼけ推定領域に含まれるノイズ量を取得し、
    前記第２のぼけ推定領域を周波数分解して周波数分解ぼけ推定領域を生成し、
    前記ノイズ量に基づいて、前記周波数分解ぼけ推定領域に対するデノイジング処理を行い、
    デノイジング処理後の周波数分解ぼけ推定領域を再合成する、ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記推定ぼけを用いて前記ぼけ画像の少なくとも一部を補正する補正手段を更に有することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記第１のぼけ推定領域における前記信号変化の量は、前記第１のぼけ推定領域における輝度分布の微分値の絶対値和または二乗和に相当する量であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記信号に関する情報は、前記第２のぼけ推定領域における輝度分布または該輝度分布の微分値に関する情報であることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、
    前記画像信号に基づいてぼけ画像を取得する取得手段と、
    前記ぼけ画像における少なくとも一部の第１のぼけ推定領域を取得し、推定ぼけを生成する生成手段と、を有し、
    前記生成手段は、
    前記第１のぼけ推定領域における信号変化の量に基づいて、第２のぼけ推定領域を決定し、
    前記第２のぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいてぼけを推定する推定処理と、を反復する反復演算処理を行って前記推定ぼけを生成する、ことを特徴とする撮像装置。
16. ぼけ画像を取得するステップと、
    前記ぼけ画像における少なくとも一部の第１のぼけ推定領域を取得し、推定ぼけを生成するステップと、を有し、
    前記推定ぼけを生成するステップにおいて、
    前記第１のぼけ推定領域における信号変化の量に基づいて、第２のぼけ推定領域を決定し、
    前記第２のぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいてぼけを推定する推定処理と、を反復する反復演算処理を行って前記推定ぼけを生成する、ことを特徴とする画像処理方法。
17. ぼけ画像を取得するステップと、
    前記ぼけ画像における少なくとも一部の第１のぼけ推定領域を取得し、推定ぼけを生成するステップと、をコンピュータに実行させるように構成された画像処理プログラムであって、
    前記推定ぼけを生成するステップにおいて、
    前記第１のぼけ推定領域における信号変化の量に基づいて、第２のぼけ推定領域を決定し、
    前記第２のぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいてぼけを推定する推定処理と、を反復する反復演算処理を行って前記推定ぼけを生成する、ことを特徴とする画像処理プログラム。
18. 請求項１７に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。