JP5468404B2 - 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 - Google Patents

Description

この発明は、リンギング除去のための画像処理装置および画像処理方法に関する。

デジタルカメラで画像を撮像すると、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、あるいはＣＭＯＳの読み出し回路の特性や伝送路の特性により画像にノイズが加わることがある。また、撮像時にフォーカスが合っていないこと（焦点外れ：ｏｕｔ−ｏｆ−ｆｏｃｕｓ）による画像のぼやけ（ブラー：ｂｌｕｒ）や、手振れ（ｃａｍｅｒａ ｓｈａｋｅ）などによる画像のぼやけが発生する。このように撮像画像には、撮像画像固有の特性によるノイズに、撮影時の人為的な操作を起因とするぼやけが加わることにより、画像が劣化することになる。これらの「ぼやけ」のうち、撮影（露光）中におけるカメラの運動による画像のぼやけを「ブレ（ｍｏｔｉｏｎ ｂｌｕｒ）」と称し、焦点外れによるぼやけ（ｏｕｔ−ｏｆ−ｆｏｃｕｓ ｂｌｕｒ）と区別することにする。

近年、特に高感度撮影の需要が増大していることにより、ぼやけによって劣化した画像（以下、「劣化画像」という）を元の画像（以下、「理想画像」という）にできるだけ近い画像に復元することが必要となる。高感度撮影に要求される、明るくノイズやぼやけのない画像を実現するために、大別して感度をあげるという考え方と、露光時間を長くするという考え方がある。

しかしながら、感度を高めるとノイズも増幅してしまう、そのため、信号がノイズに埋もれてしまい、ノイズが大半を占める画像になることが多い。一方で露光時間を長くすることで、その場で生じる光を多く蓄積し、ノイズの少ない画像が得られる。この場合、信号がノイズで埋もれることはないが、手振れによって画像にブレが生じるという問題がある。

そこで、従来、２通りの考え方で露光時間を長くする場合の対処法がとられていた。一つは、レンズシフトやセンサシフトといった光学式手振れ補正である。他方は、得られた画像からブレの方向／大きさを求め、そこから信号処理によって画像を復元するという方法（信号処理による復元方法）である。信号処理による復元方法は、例えば特許文献１、特許文献２、非特許文献１〜５などに開示されている。

特開２００６-１２９２３６号公報 特表２００９-５２２８２５号公報

Qi Shan, Jiaya Jia, and Aseem Agarwala，"High-quality Motion Deblurring from ａ Single Image"，SIGGRAPH 2008 米司・田中・奥富共著,「直線的手ぶれ画像復元のためのｐｓｆパラメータ推定手法」，情報処理学会研究報告，第２００５巻,第３８号，ｐ．４７−５２，２００５年 J. Bioucas-Dias, Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors", IEEE Trans. Image Proc., vol. 4, pp. 937-951, April 2006. Levin, "Blind Motion Deblurring Using Image Statistics", Advances in Neural Information Processing Systems (NIPS), Dec 2006 Rob Fergus et al., "Removing camera shake from a single image", Barun Singh Aaron Hertzmann"，SIGGRAPH 2006

光学式手振れ補正は、補正範囲に限界があるため、従来よりも暗い環境で十分な光量を集める場合、稼動範囲が大きくなければならない。しかし、大きくなると移動の際の時間遅れが生じ、また、大型化にはサイズの物理的な限界がある。

また、信号処理によって、劣化画像から理想画像を復元する方法では、復元された画像にリンギングなどのノイズが発生してしまうという問題がある。「リンギング（ｒｉｎｇｉｎｇ）」とは、画像において輝度などが一様な部分（平坦部）が平坦に見えないノイズである。

図１（ａ）は、輝度がステップ状に変化する画像（エッジ付近の理想画像）を示す平面図であり、図１（ｂ）は、その輝度分布を模式的に示すグラフである。図２（ａ）は、図１（ａ）の画像をカメラで撮影することによって得られた劣化画像（ぼやけ画像：ｂｌｕｒｒｅｄ ｉｍａｇｅ）を示す平面図であり、図２（ｂ）は、その輝度分布を模式的に示すグラフである。これは、カメラ撮影に際して、水平横方向に手振れが生じたものとする。図２（ａ）の劣化画像は、手振れによるぼやけ（ブレ）が発生したため、エッジのシャープネスが失われている。図３（ａ）は、図２（ａ）の劣化画像を信号処理によって復元した画像を示す平面図であり、図３（ｂ）は、復元画像の輝度分布を模式的に示すグラフである。図３（ａ）の復元画像には、輝度が周期的に変化する部分が存在している。このような輝度変化が「リンギング」と称されるノイズである。

特許文献１に示される方法では、エッジ近辺で発生するリンギングをおさえるように、エッジ近辺では復元された結果を利用せず、ぼやけ画像のデータを利用している。この方法では、画面内のエッジの強度に基づいて、ぼやけ画像のデータを利用する重みを決めている。しかしながら、手振れの量が決まらなければ、エッジの強度を決めることができない。エッジの強度が決まらなければ、ぼやけ画像のデータを利用する重みを決めることができない。そのため、リンギングを除去できないという問題があった。

本発明は、上記課題を解決するためになされたものであり、人間の知覚特性を考慮して、画像の平坦部におけるリンギングを低減させる画像処理を行う撮像装置を提供することにある。

本発明の撮像装置は、撮像面上に配列された複数の光感知セルを備える撮像素子と、第１の状態において前記撮像面上に焦点が合っている第１の像を形成し、第２の状態において前記撮像面上に焦点が合っていない第２の像を形成する光学系と、前記撮像素子から得られる信号を処理する画像処理部と、を備え、前記画像処理部は、前記第２の状態において前記撮像素子によって取得された画像から、手振れによるぼやけを減少させた復元画像を生成する。

ある好ましい実施形態において、前記第２の状態における焦点外れぼやけを規定する点広がり関数を記録するメモリを備え、前記画像処理部は、撮像時における焦点外れぼやけを規定する点広がり関数を前記メモリから読み出し、復元画像の生成に用いる。

ある好ましい実施形態において、前記光学系は、結像レンズと、前記撮像素子上に設けられたマイクロレンズのアレイとを含み、前記マイクロレンズは、焦点距離が変化する非固体レンズである。

ある好ましい実施形態において、前記光学系は、焦点距離が変化する非固体レンズを含む。

ある好ましい実施形態において、表示部を更に備え、前記第１の状態において前記撮像素子によって取得された画像を前記表示部に表示する。

本発明のプログラムは、撮像面上に配列された複数の光感知セルを備える撮像素子と、前記撮像面上に像を形成する光学系と、前記撮像素子から得られる信号を処理する画像処理部とを備える撮像装置の動作を制御するプログラムであって、前記光学系により、前記撮像面上に焦点が合っている第１の像を形成させるステップと、前記光学系により、前記撮像面上に焦点が合っていない第２の像を形成させるステップと、前記画像処理部により、前記第２の状態において前記撮像素子によって取得された画像から、手振れによるぼやけを減少させた復元画像を生成するステップとを実行させる。

本発明の撮像素子は、撮像面上に配列された複数の光感知セルと、前記撮像素子上に設けられたマイクロレンズのアレイとを備える撮像素子であって、前記マイクロレンズは、焦点距離が変化する非固体レンズである。

この発明によれば、特に画像の平坦部分におけるリンギングを低減させることが可能となる。

（ａ）は、輝度がステップ状に変化する画像（エッジ付近の理想画像）を示す平面図であり、（ｂ）は、その輝度分布を模式的に示すグラフである。 （ａ）は、図１（ａ）の画像をカメラで撮影することによって得られた劣化画像（ぼやけ画像：ｂｌｕｒｒｅｄ ｉｍａｇｅ）を示す平面図であり、（ｂ）は、その輝度分布を模式的に示すグラフである。 （ａ）は、図２（ａ）の劣化画像を信号処理によって復元した画像を示す平面図であり、（ｂ）は、復元画像の輝度分布を模式的に示すグラフである。 （ａ）は、特定の画素がゼロで無い輝度を有し、他の画素がゼロの輝度を有する画像（点像）を模式的に示す図であり、（ｂ）は、焦点外れによるぼやけの点広がり関数ＰＳＦを示す図であり、（ｃ）は、（ａ）の画像に対して、焦点外れによるぼやけの点広がり関数ＰＳＦの畳み込みを行うことにより得られる画像を示す図である。 （ａ）は、結像レンズによる焦点が合っている場合の光線図であり、（ｂ）は、焦点が外れている場合の光線図である。 本実施形態における撮像装置の概略構成を示すブロック図である。 撮像部１００における撮像素子１０および撮影レンズ２０の概略構成を模式的に示す図である。 撮像素子１０の撮像面１０ａの模式的な上面図である。 （ａ）および（ｂ）は、撮像素子１００の一部の断面構成を模式的に示す図である。 （ａ）は、背景が黒く、小さな輝点を中心に有するパターンを示す図であり、（ｂ）は、焦点ぼやけ（直径ｂ）とマイクロレンズに印加する電圧との関係を示すグラフである。 図６に示す画像処理部２２０の構成例を示すブロックである。 本発明の実施形態で実行する復元処理の例を示すフローチャートである。

本発明の実施形態を説明する前に、本発明の基本的原理を説明する。

本明細書では、撮像面に形成される画像の輝度分布をｉ（ｘ，ｙ）で表すことにする。座標（ｘ，ｙ）は、撮像面の画素（光感知セル）の位置を示す二次元座標である。画像が例えば行列状に配列されたＭ×Ｎ個の画素からなる場合において、ｘおよびｙが、それぞれ、０≦ｘ≦Ｍ−１、０≦ｙ≦Ｎ−１の関係を満足する整数であるとすると、画像を構成する個々の画素の位置を座標（ｘ，ｙ）によって特定することができる。ここでは、座標の原点（０、０）を画像の左上隅に置き、ｘ軸は垂直方向、ｙ軸は水平方向に延びるものとする。ただし、座標の取り方は、任意である。

ぼやけ（ｂｌｕｒ）のない画像（理想画像または元画像）の輝度分布をｓ（ｘ，ｙ）とし、ぼやけを規定するＰＳＦ、すなわち「点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）」をｆ（ｘ，ｙ）とすると、以下の式１が成立する。

ここで、記号「＊」は、畳み込み演算（コンボリューション）を示している。式１は、一般に、以下の式２で表される。

画像が、Ｍ×Ｎ個の画素からなる場合、上記の式２は、以下の式３で表すことができる。

ぼやけの点広がり関数ＰＳＦである関数ｆ（ｘ，ｙ）が既知であると、カメラ撮影によって得られた画像ｉ（ｘ，ｙ）に対する逆畳み込み演算（デコンボリューション）により、ぼやけの無い画像ｓ（ｘ，ｙ）を復元することができる。また、ｆ（ｘ，ｙ）が既知でない場合は、画像からｆ（ｘ，ｙ）を推定した上でｓ（ｘ，ｙ）を求める必要がある。

一般に、２つの関数の畳み込みのフーリエ変換は、各関数のフーリエ変換の積によって表される。このため、ｉ（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｆ（ｘ，ｙ）のフーリエ変換を、それぞれ、Ｉ（ｕ，ｖ）、Ｓ（ｕ，ｖ）、Ｆ（ｕ，ｖ）で表すと、式１から、以下の式４が導かれる。なお、（ｕ，ｖ）は、周波数空間における座標であり、それぞれ、実画像におけるｘ方向およびｙ方向の空間周波数に対応している。

ここで、記号「・」は、周波数空間における関数の「積」を示している。式（４）を変形すると、以下の式５が得られる。

この式５は、カメラ撮影によって得られた画像ｉ（ｘ，ｙ）のフーリエ変換Ｉ（ｕ，ｖ）を、点広がり関数ＰＳＦであるｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）で除算して得られた関数が、理想画像ｓ（ｘ，ｙ）のフーリエ変換Ｓ（ｕ，ｖ）に相当することを示している。すなわち、Ｉ（ｕ，ｖ）およびｆ（ｘ，ｙ）が求まれば、Ｓ（ｕ，ｖ）を決定できる。Ｉ（ｕ，ｖ）は、カメラ撮影によって得られた画像（劣化画像）をフーリエ変換したものであるため、手振れの点広がり関数ＰＳＦを表すｆ（ｘ，ｙ）が求まれば、信号処理によって劣化画像から画像を復元する（真の画像に近づける）ことが可能になる。

手振れの点広がり関数ＰＳＦを表すｆ（ｘ，ｙ）は、撮影（露光）中における手振れの軌道に依存する。言い換えると、手振れの軌道はカメラ撮影毎に異なるため、ｆ（ｘ，ｙ）もカメラ撮影毎に変化する。ｆ（ｘ，ｙ）は、カメラ撮影によって得られた１枚または複数枚の画像から推定することも可能であるが、撮影（露光）中におけるカメラの動き（手振れ軌跡）をセンサによって検出して推定することも可能である。しかし、ｆ（ｘ，ｙ）は、推定または測定によって得られるものに過ぎず、何らかの誤差を含む。このため、理想画像ｓ（ｘ，ｙ）を完全に復元することは困難である。

非特許文献２は、短い露光時間中における手振れの軌道を「等速直線運動」と仮定することにより、その点広がり関数ＰＳＦのフーリエ変換をｓｉｎｃ関数で近似することを開示している。手振れの幅をＷ、手振れの方向をｘ軸方向とすると、式５の分母であるＦ（ｕ，ｖ）は、以下の式６で示される。

式６の右辺は、ｓｉｎｃ（ジンク）関数であり、その振幅は一定周期毎にゼロ（０）となる。この周期は、手振れの幅Ｗの逆数（１／Ｗ）である。なお、手振れの方向がｘ軸に対してθの角度を向く場合、Ｆ（ｕ、ｖ）は、式６の関数を角度θだけ回転させたものとなる。現実の手振れは、複雑な軌道を描くため、「等速直線運動」の仮定が充分に成立しない場合がある。

本発明者は、式５の分母であるＦ（ｕ，ｖ）が低周波数領域で周期的にゼロとなることが、画像の平坦部におけるリンギングの主たる発生原因であることに着目し、本発明を完成した。ここで、「低周波数領域」とは、周波数空間において原点に近い領域であり、画像において輝度分布の空間周波数が相対的に低い領域である。このような低周波数領域は、画像の平坦部（輝度変化が少ない部分）に相当する。

本発明では、低周波数領域でＦ（ｕ，ｖ）がゼロにならないような撮像を実現することにより、手振れなどを原因とする劣化画像を復元するに際して画像の平坦部（低空間周波数領域）におけるリンギングを低減することが可能になる。人の目には、画像の平坦部におけるリンギングが目立つため、平坦部でのリンギングを低減すれば、画像の質は格段に向上する。

本発明の好ましい実施形態では、カメラ撮影に際して、焦点外れによるぼやけを意図的に画像に付与する。本明細書では、手振れによるぼやけの点広がり関数ＰＳＦをｆ₁（ｘ，ｙ）で表し、焦点外れによるぼやけの点広がり関数ＰＳＦをｆ₂（ｘ，ｙ）で表す。この場合、式１、式４、式５は、それぞれ、以下の式７、式８、式９に変形される。

ここで、Ｆ₁（ｕ，ｖ）およびＦ₂（ｕ，ｖ）は、それぞれ、ｆ₁（ｘ，ｙ）およびｆ₂（ｘ，ｙ）のフーリエ変換である。

本発明の好ましい実施形態において、画像に意図的に付与した焦点外れによるぼやけの点広がり関数ＰＳＦ、すなわちｆ₂（ｘ，ｙ）は、既知である。一般に、焦点外れによるぼやけの点広がり関数ＰＳＦは、ピルボックス（ｐｉｌｌｂｏｘ）関数やガウス関数（Ｇａｕｓｓｉａｎ）によって表現され得る。このような関数のフーリエ変換は、焦点外れの程度を適切に調整する限り、周波数ゼロの近傍、すなわち低周波数領域ではゼロにはならない。

本発明の実施形態では、低周波数領域でゼロにならない関数Ｆ₂（ｕ，ｖ）をＦ₁（ｕ，ｖ）に加算することにより、少なくとも低周波数領域で式９の分母がゼロにならないようにする。その結果、画像の「平坦部」におけるリンギングノイズを低減し、それによって、リンギングが目立たない高質な画像の復元を実現する。以下、焦点外れを生じさせることにより、画像の「平坦部」においてリンギングを低減できる理由を説明する。

図４（ａ）は、特定の画素がゼロで無い輝度を有し、他の画素がゼロの輝度を有する画像（点像）を模式的に示す図である。図４（ｂ）は、焦点外れによるぼやけの点広がり関数ＰＳＦを示す図であり、図４（ｂ）の左側のグラフはピルボックス関数の一例を示し、右側のグラフはガウス関数の一例を示している。図４（ｃ）は、図４（ａ）の画像に対して、焦点外れによるぼやけの点広がり関数ＰＳＦの畳み込みを行うことにより得られる画像を示す図である。図４（ｃ）の画像では、焦点外れによるぼやけが生じている。このぼやけは、手振れによるぼやけとは異なり、中心から対称に広がる輝度の分布を有している。ぼやけの程度は、厳密には点広がり関数ＰＳＦによって規定されるが、概略的には、点像の広がりの大きさ（直径または半径）によって評価され得る。

次に、焦点外れのぼやけについて詳細を説明する。

図５（ａ）は、結像レンズによる焦点が合っている場合の光線図であり、図５（ｂ）は、焦点が外れている場合の光線図である。図５（ａ）の例では、レンズから距離Ａだけ離れた点Ｓが、レンズから距離Ｂだけ離れた撮像面上に点ｓの像を形成している。

図５（ａ）では、距離Ｂはレンズの焦点距離Ｃに一致している。一方、図５（ｂ）では、距離Ｂはレンズの焦点距離Ｃに一致していないため、撮像面上における像はぼやけており、その輝度分布は直径ｂの広がりを有している。

ぼやけの広がりの大きさ（直径ｂ）は、以下の式１０で近似的に示すことができる。

ここで、γはレンズの開口径である。

式１０からわかるように、ｂの大きさは、撮像時におけるレンズと被写体との距離Ａ、レンズと撮像面との距離Ｂ、焦点距離Ｃ、レンズ開口径γに依存して変化し得る。

撮像面上における点像の輝度分布は、焦点外れのぼやけを示す点広がり関数ＰＳＦに応じて、例えばピルボックス関数またはガウス関数で近似的に表現することができる。

この点広がり関数ＰＳＦをピルボックス関数で近似した場合、ＰＳＦすなわちｆ₂（ｘ，ｙ）は、以下の式１１で表される。

ここで、ｃｉｒｃ（Ｘ）は、Ｘの絶対値が１／２以下のときに１の値を持ち、それ以外は０の値を持つ円形関数である。一方、焦点外れによるぼやけの点広がり関数ＰＳＦをガウス関数で近似した場合、ｆ₂（ｘ，ｙ）は、以下の式１２で表される。

σは、ガウス分布の標準偏差であり、例えば、点像のぼやけの広がり（半径ｂ／２）程度の値と置くことができる。このように、焦点外れによるぼやけのＰＳＦ、すなわちｆ₂（ｘ，ｙ）は、図５（ｂ）に示す撮像面上の像から測定によって求めることができる。なお、点広がり関数ＰＳＦは、結像レンズの収差が小さいほど、ピルボックス関数で良く近似することができる。

本発明の実施形態では、後述するように、レンズの焦点距離を可変としている。その結果、１つの撮像装置において、焦点外れのぼやけを示す点広がり関数ＰＳＦ、すなわちｆ₂（ｘ，ｙ）を調整可能にしている。そして、撮像装置による撮影に際して、そのときの焦点外れによるぼやけを規定するｆ₂（ｘ，ｙ）は、本発明の好ましい実施形態では「既知」である。

ピルボックス関数のフーリエ変換は０次の第１種ベッセル関数Ｊ₀であり、ガウス関数のフーリエ変換はガウス関数である。このような関数Ｆ₂（ｕ，ｖ）は、いずれも、（ｕ，ｖ）＝（０，０）で最大となり、低周波数領域で相対的に大きな値を有している。また、ベッセル関数は特定の周波数でゼロとなるが、ガウス関数はゼロにならない。このため、低周波数領域において、Ｆ₁（ｕ，ｖ）およびＦ₂（ｕ，ｖ）が同一周波数でゼロにならず、Ｆ₁（ｕ，ｖ）＋Ｆ₂（ｕ，ｖ）はゼロ以外の値を有している。

以上の説明から明らかなように、本発明によれば、少なくとも低周波数領域で式９の分母がゼロにならないようできる。その結果、画像の「平坦部」におけるリンギングノイズを低減し、それによって、リンギングが目立たない高質な画像の復元を実現できる。

以下、本発明による撮像装置の第１の実施形態を説明する。

図６は、本実施形態における撮像装置の概略構成を示すブロック図である。

本実施形態の撮像装置は、デジタル式の電子カメラであるが、これに限定されない。本実施形態の撮像装置は、図６に例示するように、撮像部１００と、各種信号処理を行う信号処理部２００と、撮像によって取得した画像を表示する撮像表示部３００と、画像のデータを記録する記録部４００と、各部を制御するシステム制御部５００とを備える。本実施形態の撮像装置が公知の撮像装置と異なる主な点は、撮像部１００の構成および信号処理部２００の動作にある。したがって、以下の説明では、主として撮像部１００および信号処理部２００を詳しく説明する。

本実施形態における撮像部１００は、撮像面１０ａ上に配列された複数の光感知セル（フォトダイオード）を備える撮像素子（イメージセンサ）１０と、絞り機能を有するシャッタ１５と、撮像素子１０の撮像面１０ａ上に像を形成するため撮影レンズ２０とを有している。撮像素子１０の典型例は、ＣＣＤまたはＣＭＯＳセンサである。撮像素子１０の撮像面１０ａに対向する位置には、マイクロレンズ１４のアレイが設けられている。撮影レンズ２０は、公知の構成を有しており、現実には複数のレンズから構成されたレンズユニットであり得る。シャッタ１５および撮影レンズ２０は、不図示の機構によって駆動され、光学ズーミング、自動露光（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ），オートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）に必要な動作が実行される。

更に、撮像部１００は、撮像素子１０を駆動する撮像素子駆動部３０およびマイクロレンズ駆動部４０を備えている。撮像素子駆動部３０は、例えばＣＣＤドライバなどの半導体集積回路から構成され得る。撮像素子駆動部３０は、撮像素子１０を駆動することにより、撮像素子１０からアナログ信号（光電変換信号）を読み出してデジタル信号に変換する。マイクロレンズ駆動部４０は、マイクロレンズ１４ａを駆動することにより、撮像面１０ａ上で形成される像の焦点ぼやけを調整する。

本実施形態における信号処理部２００は、画像処理部（イメージプロセッサ）２２０、メモリ２４０、インターフェース（ＩＦ）部２６０を備えている。信号処理部２００は、液晶表示パネルなどの表示部３００、および、メモリカードなどの記録媒体４００に接続されている。

画像処理部２２０は、色調補正、解像度変更、データ圧縮などの各種信号処理を行うほか、本発明による劣化画像の復元処理を実行する。画像処理部２２０は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などハードウェアと、画像処理を実行するためのソフトウェアとの組合せによって好適に実現される。メモリ２４０は、ＤＲＡＭなどによって構成される。このメモリ２４０は、撮像部１００から得られた画像データを記録するとともに、画像処理部２２０によって各種の画像処理を受けた画像データや、圧縮された画像データを一時的に記録する。画像データは、アナログ信号に変換された後、表示部３００によって表示され、あるいは、デジタル信号のままインターフェース部２６０を介して記録媒体４００に記録される。画像データは、不図示の通信装置を介して、無線または有線で他の装置（不図示）に送信されてもよい。

上記の構成要素は、不図示の中央演算処理ユニット（ＣＰＵ）およびフラッシュメモリを含むシステム制御部５００によって制御される。なお、本実施形態の撮像装置は、光学ファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。

次に図７から図９を参照しながら、撮像部１００の構成をより詳しく説明する。

図７は、撮像部１００における撮像素子１０および撮影レンズ２０の概略構成を模式的に示している。図７の撮像素子１０は、撮像面１０ａを有しており、撮像面１０ａ上には複数の光感知セルが配列されている。図８は、撮像面１０ａの模式的な上面図である。この例では、複数の光感知セル１が行列状に配列されている。光感知セル１の配列形態は、図示されている例に限られず、個々の光感知セルの平面形状も正方形に限定されない。なお、カラーの画像信号を生成するため、典型的には、原色カラーフィルタまたは補色カラーフィルタが個々の光感知セル１の上に配置されている。ただし、３つの撮像素子を備え、例えばＲＧＢの３色に光を分離した後、それぞれの色の光を別々の撮像素子に入射させる構成を採用しても良い。

図９は、撮像素子１００の一部の断面構成を模式的に示している。図９では、６個の光感知セルの断面が示されている。図９からわかるように、撮像素子１００は、半導体チップ１１の表面に形成された光電変換領域１２のアレイと、半導体チップの表面を覆う絶縁層１３と、個々の光電変換領域１２に対向するマイクロレンズ１４のアレイと、マイクロレンズ１４を駆動する電極１５とを備えている。本実施形態の例では、９個（３行３列）の光感知セルに対して１つのマイクロレンズ１４が割り当てられている。個々のマイクロレンズ１４がカバーする光感知セルの数は、上記の例に限定されない。

マイクロレンズ１４は、セル内に設けられた比重の等しいオイル部分１４ａおよび水溶液部分１４ｂを備える「液体レンズ」である。マイクロレンズ１４は、オイル部分１４ａと水溶液部分１４ｂの界面（液−液界面）の曲率が電極１５の電位に応じて変化する構造を有している。具体的には、電極１５の電圧に応じて発生した静電力により、水溶液部分１４ｂが電極１５に引き寄せられ、オイル部分１４ａを湾曲させる。図９（ａ）は、電圧印加によって界面の曲率が小さくなり、有限の焦点距離を持つ状態を示している。一方、図９（ｂ）は、界面の曲率が非常に大きく（実質的に無限大となり）、レンズ効果を発揮していない状態を示している。電極１５の電位は、図６に示すマイクロレンズ駆動部４０によって制御される。

このようなマイクロレンズ１４は、焦点距離が可変であれば、上記の液体レンズに限定されない。例えば「液晶レンズ」を用いても良い。液晶は、複屈折性および誘電率異方性を有する液体であるため、印加電圧に応じて所定方向の屈折率を調整することが可能である。液晶レンズは、印加電圧に応じて屈折率が変化し、それによって焦点距離を変化させるレンズである。このような液晶レンズによっても、焦点距離可変のマイクロレンズ１４を実現することが可能である。

本実施形態の撮像素子１００によれば、例えば図９（ｂ）に示す状態で焦点の合った像を撮像面上に形成した後、マイクロレンズ１４の働きにより、焦点を意図的に外した像に変化させることが可能になる。なお、焦点の合った像は、通常のオートフォーカス技術により、容易に形成される。

意図的に焦点を外した状態で撮像を行うとき、露光中の手振れによって画像にブレ（ｍｏｔｉｏｎ ｂｌｕｒ）が発生したと仮定する。このようにして得られた画像のぼやけの点広がり関数ＰＳＦは、前述したように、ｆ₁（ｘ，ｙ）およびｆ₂（ｘ，ｙ）を足し合わせたものである。

マイクロレンズ１４の形状は、マイクロレンズ１４に印加される電圧に依存するため、焦点外れによるぼやけのＰＳＦ、すなわち、ｆ₂（ｘ，ｙ）は、マイクロレンズ１４に印加される電圧の関数である。

以下、ｆ₂（ｘ，ｙ）の求め方を説明する。

まず、図１０（ａ）に示すように背景が黒く、小さな輝点を中心に有するパターンを撮影する。このとき、マイクロレンズ１４に電圧は印加せず、図６に示す通常の撮影レンズ２０で焦点が合った状態にする。

次に、撮像装置の撮影パラメータ（絞り、露光時間、焦点など）を固定した状態で、マイクロレンズ１４に与える電圧のみを変化させる。これにより、像にぼやけが発生するため、撮像面上に結像した点が円状に広がる。こうして、マイクロレンズ１４に印加する電圧と点像の広がり（直径ｂ：焦点ぼやけ）との関係を求めることができる。図１０（ｂ）は、焦点ぼやけ（直径ｂ）の電圧依存性を示すグラフである。図１０（ｂ）に示すように、電圧が上昇するにつれ、焦点ぼやけの程度は大きくなる。これは、電圧の上昇に伴って、マイクロレンズ１４による焦点外れの程度が大きくなるためである。

焦点外れによるぼやけのＰＳＦを、円柱状に点が広がるピルボックス関数で近似する場合、撮像面１０ａにおける点像の広がり（直径ｂ）が円柱の直径に相当する。このため、点像の広がりを測定すれば、焦点外れのぼやけを示すＰＳＦ（ピルボックス関数）を決定することができる。点像の広がりは、撮像面１０ａにおける画素数で表現することができ、撮像素子１００によって容易に検出することができる。

なお、レンズの形状によっては、収差などにより、点像の面内輝度がガウス分布を示す場合がある。そのような場合は、焦点外れによるぼやけのＰＳＦをガウス関数で近似することが好ましい。撮像面上に広がった点像の輝度分布は、撮像素子１００によって測定されるため、その輝度分布から、対応するガウス関数のσを決定することができる。

このようにして焦点外れのぼやけを規定するＰＳＦ（ｆ₂（ｘ，ｙ））とマイクロレンズ１４に印加する電圧との関係が、予め測定によって決定され、撮像装置が内蔵するメモリのテーブルなどに格納される。このＰＳＦ（ｆ₂（ｘ，ｙ））は、撮影レンズ２０の焦点距離や絞りの開口径などの撮影パラメータにも依存する。すなわち、被写体までの距離が変わると撮影レンズ２０の焦点距離が変化し、また、開口径が変わると被写界深度が変化する。したがって、撮影パラメータの値の可能な組み言わせに関連付けて、多数のＰＳＦ（ｆ₂（ｘ，ｙ））を測定し、メモリに記録させておくことが好ましい。そうすることにより、現実の撮影時において、撮影パラメータに応じた焦点外れのＰＳＦ（ｆ₂（ｘ，ｙ））を求めることができる。

次に、ユーザが本実施形態の撮像装置によって撮像を行うときの動作を説明する。

まず、通常のデジタルカメラによる撮像を行うように、ユーザは被写体に撮像装置を向け、シャッタボタンを半押しすると、自動焦点動作により被写体に焦点が合う。このとき、マイクロレンズ１４には電圧が印加されず、図９（ｂ）に示す状態にある。

ユーザがシャッタボタンを深く押し込むと、撮像素子１０の全てのマイクロレンズ１４に電圧が印加されるとともに、「露光」が開始される。このとき、撮像素子１０の撮像面には焦点外れによってぼやけの発生した像が形成される。また、露光中にユーザによって撮像装置が不安定に動いた場合、撮像素子１０の撮像面上を像が移動するため、手振れによるぼやけが加算されることになる。

信号処理部２００は、撮像部１００によって取得された信号を受け取る。こうして得られた画像は、式７の左辺にあるｉ（ｘ、ｙ）で表される劣化画像である。信号処理部２００における画像処理部２２０は、ｉ（ｘ、ｙ）からｓ（ｘ，ｙ）を復元するための処理を行う。この復元処理のアルゴリズムは、特に限定されず、公知の画像復元処理のいずれであってもよい。

以下、図１１および図１２を参照しながら、本実施形態で実行し得る復元処理の一例を説明する。図１１は、図６に示す画像処理部２２０の構成例を示すブロックであり、図１２は、復元処理の例を示すフローチャートである。

まず、図１１を参照する。図１１に示す画像処理部２２０は、初期ＰＳＦ設定部２２２、画像復元部２２４、ＰＳＦ設定部２２６、およびパラメータ更新部２２８を備え、劣化画像の入力を得て復元結果を出力する。初期ＰＳＦ推定部２２２は、画像復元部２２４による処理に必要な初期ＰＳＦを設定する。この初期ＰＳＦは、カメラの運動（軌跡）をジャイロセンサなどのセンサによって検出し、その軌跡に基づいて決定しても良いし、使用者が手動で入力してもよい。なお、画像処理に要する時間を短縮するという観点から、初期ＰＳＦは真のＰＳＦに近いことが好ましい。このため、センサによって検出したカメラの軌跡から定まるＰＳＦに対して焦点外れのＰＳＦを加算したＰＳＦを初期ＰＳＦに設定することが好ましい。

画像復元部２２４は、初期ＰＳＦに基づいて劣化画像から復元画像を得る。ＰＳＦ推定部２２６は、劣化画像、および、画像復元部２２４で得た復元画像に基づいてＰＳＦの推定を行う。パラメータ更新部２２８は、ＰＳＦ推定部２２６によって得られたＰＳＦ（推定されたＰＳＦ）で初期ＰＳＦ（前回の画像復元に用いたＰＳＦ）を更新する。更新されたＰＳＦは、画像復元部２２４に与えられ、上記の処理が繰り返し実行される。

図１１に示す構成は、画像処理部２２０の機能ブロックの例であり、画像処理部２２０は、他の機能ブロックに分割され得る。画像処理部は、例えば公知のハードウェアに画像処理のソフトウェアを組み込むことによっても好適に実現される。

次に、図１２を参照しながら復元処理の概略手順を説明する。

まず、ステップＳ１において、劣化画像の読み出しを行う。具体的には、復元処理のベースとなる劣化画像を、画像処理部２２０が図６のメモリ２４０から取得する。劣化画像は、図６の撮像部１００によって取得された画像であり、本実施形態では、意図的な焦点外れによるぼやけが付与されている。一般には、使用者による撮像部１００の振れ（運動）により、手振れによるぼやけ（ブレ）も劣化画像に付与される。

ステップＳ２において、初期ＰＳＦ設定部２２２は初期ＰＳＦを設定する。ステップＳ３において、画像復元部２２４は、ステップＳ１で取得した劣化画像とステップＳ２で設定した初期ＰＳＦとを用いて画像復元処理を実行する。この画像復元処理は、図１１の画像復元部２２４において、公知の復元アルゴリズムによって実行することができる。画像復元部２２４は、得られた復元画像をいったんメモリ２４０に記録する。ステップＳ４では、ＰＳＦ推定部２２６が復元画像からＰＳＦの推定を行い、パラメータ更新部２２８が、推定されたＰＳＦによって前のＰＳＦを更新する。

ステップＳ５において、更新前後のＰＳＦ、および、更新前後の復元画像の変化が所定の閾値よりも小さいか否かを判定し、小さい場合は処理が収束したと判断する。ステップＳ６では、復元結果をメモリ２４０に格納する。

以下、ステップＳ２〜Ｓ３で行うＰＳＦ推定および画像復元の詳細を説明する。

ここでは、非特許文献１に開示されている信号処理法による場合を説明する。非特許文献１の信号処理法による場合、まず初期ＰＳＦを与える必要がある。この初期ＰＳＦは、手動あるいは、手振れ検知装置（ジャイロセンサなどの外部デバイス）によって与えられる。この初期ＰＳＦに基づいて、第１の画像復元が行われる。この段階のＰＳＦは、必ずしも真のＰＳＦ（正解）に一致しているものではないが、復元される結果は、劣化画像に比べると原画像に近づいたものとなる。

続いて、第１の画像復元の結果である第１の復元画像からＰＳＦの推定を行う。第１の復元画像が劣化画像よりも原画像に近づいているため、推定されるＰＳＦは正解に近づく。ここで推定したＰＳＦを用いて、すなわち、初期ＰＳＦを次のＰＳＦで更新して、第２の画像復元を行う。この処理をＰＳＦの変化、および、画像復元結果の変化がなくなるまで繰り返し行うことにより、ＰＳＦ推定と画像復元を同時に行う。

以下、画像復元処理の更に具体的な方法を述べる。

まず、画像復元に先立って、初期ＰＳＦ設定部２２２により、初期ＰＳＦを与える。非特許文献１に開示されている方法では、初期ＰＳＦを手動で与えているが、本実施形態では、ジャイロセンサによって取得した動き情報に基づいてＰＳＦの初期値を設定する。

画像復元部２２４は、与えられたＰＳＦ（最初は初期値、次からは更新値）と劣化画像により、画像の復元を行う。この処理に使用する評価式Ｅ_Lを式１３に示す。

ここで、Ｉは劣化画像、Ｌはブレおよびぼやけのない画像Ｌ、ｆは点広がり関数ＰＳＦである。変数ｗｋ、λ１、λ２は手動で設定される「重み」である。Θは、どのような微分を画像に施すかを規定する演算子のセットである。具体的には、０回微分、１回微分（ｘ、ｙ方向それぞれ）、２回微分（ｘ方向に二回、ｙ方向に二回、ｘとｙ方向に１回ずつ）の合計６個の微分パラメータを持つ。ｄ*は、微分演算子である。ｄ*を用いてΘを表現すると、Θ＝｛ｄ⁰、ｄ_x、ｄ_y、ｄ_xx、ｄ_xy、ｄ_yy｝となる。ｄ*により、輝度情報とエッジ情報の両方を用いた処理を行うことが可能になり、輝度だけでは得られない情報も得ることができる。Ｍは、２次元のマスクであり、画像中の平坦な領域、すなわち局所的なスムーズな領域（Ω）に含まれる画素では「１」の要素、それ以外の画素では「０」の要素を有している。||・||_pは、ｐノルム演算子である。Φ（ｘ）は、自然に観察される画像中の輝度勾配ｘとその分布密度（対数表示）との関係を近似的に示す関数である。

式１３の右辺における第１項は、復元画像Ｌと点拡がり関数ｆとの畳み込みを行って得られる画像と劣化画像Ｉとの差（距離）を示す項である。画像に対して６個の微分パラメータによる演算を施すことにより、輝度以外の情報に基づいて画像の近似度を評価できる。

式１３の右辺における第２項は、画像内の輝度勾配の性質（「ｈｅａｖｙ ｔａｉｌ」と呼ばれる）を示す項である。Φ（ｄ_xＬ）、Φ（ｄ_yＬ）は、復元画像の輝度勾配をヒストグラム化したときに、勾配が０付近に出現確率の急激なピークが現れ、勾配が大きくなるにつれ出現確率が小さくなるという、統計的性質を持つ。第２項では、ｘ方向の勾配とｙ方向の勾配のそれぞれに対して、上記の統計的性質を示す分布からの距離を算出している。この統計的性質は、非特許文献３〜５に開示されている方法でも利用されている。

式１３の右辺における第３項は、マスクＭと微分劣化画像と微分復元画像を用いて、平坦度の評価を行う項である。平坦な領域では、劣化画像と復元画像との間で輝度の勾配値が近い値を持つ。そのため、ｘ、ｙ方向の勾配値の誤差を評価値として用いる。

式１３の右辺を最小化するＬを求めることにより、復元画像Ｌを求めることができる（Ｌの最適化）。Ｌの最適化の具体的な計算方法は、非特許文献１に開示されている。

次に、復元画像Ｌが得られた後に行う、ＰＳＦ推定部２２６による処理を詳しく説明する。

ＰＳＦ推定は、画像復元部２２４で得られた復元画像Ｌと劣化画像Ｉとを用いて点拡がり関数ｆを推定する問題である。ｆは、以下の式１４の右辺を最小化するようにｆを決定することにより、点拡がり関数ｆを求めることができる（ｆの最適化）。

式１４の右辺における第１項は、式１３の右辺における第１項に相当し、復元画像Ｌと点拡がり関数ｆとの畳み込みが劣化画像Ｉに近いか否かを示す評価基準を与える。式１４の右辺における第２項は、点拡がり関数ｆの１ノルムである。第２項は、スパースコーディングと呼ばれる考え方に基づく項である。点拡がり関数ｆの行例における大部分の要素が０（動きがない）であることから、この最適化項が用いられる。本実施形態では、非特許文献１と同様に「ｉｎｔｅｒｉｏｒ ｐｏｉｎｔ ｍｅｔｈｏｄ」による最適化を行い、全体最適化を実現できる。

なお、画像復元の手順は、上記の例に限定されない。例えば、リチャードソンルーシ（ＬＲ）法やウィーナフィルタ法を用いても良い。

本実施形態における画像復元で重要な点は、意図的に与える焦点はずれによるぼやけの点拡がり関数ＰＳＦを既知とすることにある。動きの情報は、ジャイロセンサによって取得できるため、焦点はずれが生じても、その点広がり関数ＰＳＦが既知であれば、ＬＲ法などの従来から知られている簡便な手法を適用して画像の復元を実現することができる。このため、信号処理にかかる負担を軽減させることが可能になる。

本実施形態では、手振れによるぼやけを規定するＰＳＦをも推定の対象とするブラインド・デコンボリューションによって画像の復元を行ったが、本発明はこれに限定されない。撮像装置に取り付けられたジャイロセンサによって「手振れ軌跡」を高い精度で検出できれば、検出した手振れ軌跡に基づいて得られたＰＳＦを画像復元処理のための単なる初期値として用いるだけではなく、手触れによるぼやけを規定する最終的なＰＳＦとして用いても良い。この場合、焦点外れによるぼやけを規定するＰＳＦも既知であり、ぼやけの点広がり関数がすべて既知となるため、推定すべきは復元画像のみとなる。

このように本実施形態によれば、復元方法の種類によらず、劣化画像に意図的な焦点外れによるぼやけが付加されるため、手振れによるぼやけ（ブレ）で劣化した画像を復元した場合でも、画像の平坦部でリンギングが目立たないという効果が得られる。

なお、焦点距離を可変とする構成は、本実施形態における構成に限定されない。撮影レンズによって焦点の合った像を形成した後、撮影レンズの焦点位置をずらすため、露光中にオートフォーカス制御のループに意図的なオフセットを与えるようにしてもよい。また、一様な液晶層を一対の基板間に封入した液晶セルを光路中に挿入しておき、液晶層に電圧を印加する状態と印加しない状態との間でスイッチングを行ってもよい。このような構成を採用しても、露光中に撮影レンズの焦点位置をシフトさせ、焦点外れによるぼやけを付与することができる。

本発明の撮像装置は、平坦部でリンギングの少ない画像を復元できるため、電子スチルカメラなどとして利用可能である。

１０ 撮像素子
２０ 撮影レンズ
１５ 絞り機能を有するシャッタ
３０ 撮像素子駆動部
４０ マイクロレンズ駆動部
１００ 撮像部
２００ 信号処理部
２２０ 画像処理部
２４０ メモリ
２６０ インターフェース（ＩＦ）
３００ 表示部
４００ 記録媒体
５００ システム制御部

Claims (5)

1. 撮像面上に配列された複数の光感知セルを備える撮像素子と、
   焦点外れぼやけを規定する点広がり関数を記録するメモリと、
   撮影時に、まず第１の状態において前記撮像面上に焦点が合っている第１の像を形成し、次に第２の状態において前記焦点外れぼやけを規定する点広がり関数によって規定される焦点外れぼやけを形成するように前記撮像面上に焦点が合っていない第２の像を形成する光学系と、
   前記撮像素子から得られる信号を処理する画像処理部と、
   を備え、
   前記画像処理部は、
   前記焦点外れぼやけを規定する点広がり関数を前記メモリから読み出し、手振れによるぼやけを規定する点広がり関数と前記焦点外れぼやけを規定する点広がり関数の和を復元画像の生成に用いることにより、前記第２の状態において前記撮像素子によって取得された画像から、手振れによるぼやけを減少させた復元画像を生成するように構成されており、
   前記第２の状態において前記撮像素子によって取得された画像のフーリエ変換をＩ（ｕ，ｖ）、前記手振れによるぼやけを規定する点広がり関数のフーリエ変換をＦ ₁ （ｕ，ｖ）、前記焦点外れぼやけを規定する点広がり関数のフーリエ変換をＦ ₂ （ｕ，ｖ）とするとき、前記画像処理部は、以下の式９によって得られるＳ（ｕ，ｖ）の逆フーリエ変換であるｓ（ｘ，ｙ）によって表現される前記復元画像を生成する、
   

   

   撮像装置。
2. 前記光学系は、結像レンズと、前記撮像素子上に設けられたマイクロレンズのアレイとを含み、前記マイクロレンズは、焦点距離が変化する非固体レンズである、請求項１に記載の撮像装置。
3. 前記光学系は、焦点距離が変化する非固体レンズを含む、請求項１に記載の撮像装置。
4. 表示部を更に備え、
   前記第１の状態において前記撮像素子によって取得された画像を前記表示部に表示する、請求項１から３のいずれかに記載の撮像装置。
5. 請求項１に記載の撮像装置の動作を制御するプログラムであって、
   前記光学系により、前記撮像面上に焦点が合っている第１の像を形成させるステップと、
   前記光学系により、前記焦点外れぼやけを規定する点広がり関数によって規定される焦点外れぼやけを形成するように前記撮像面上に焦点が合っていない第２の像を形成させるステップと、
   前記画像処理部により、前記手振れによるぼやけを規定する点広がり関数と前記焦点外れぼやけを規定する点広がり関数を前記メモリから読み出し、これらの点広がり関数の和を復元画像の生成に用いることにより、前記第２の状態において前記撮像素子によって取得された画像から、手振れによるぼやけを減少させた復元画像を生成するステップと
   を実行し、
   前記画像処理部による前記ステップは、
   前記第２の状態において前記撮像素子によって取得された画像のフーリエ変換をＩ（ｕ，ｖ）、前記手振れによるぼやけを規定する点広がり関数のフーリエ変換をＦ ₁ （ｕ，ｖ）、前記焦点外れぼやけを規定する点広がり関数のフーリエ変換をＦ ₂ （ｕ，ｖ）とするとき、以下の式９によって得られるＳ（ｕ，ｖ）の逆フーリエ変換であるｓ（ｘ，ｙ）によって表現される前記復元画像を生成する、
   

   

   プログラム。

Images