JP2009089082A

JP2009089082A - 画像復元装置およびその方法

Info

Publication number: JP2009089082A
Application number: JP2007256753A
Authority: JP
Inventors: Kazumasa Akimoto; 和昌穐本
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2007-09-28
Filing date: 2007-09-28
Publication date: 2009-04-23

Abstract

【課題】復元の処理量の増大を抑止しつつ、所定配列の撮像素子による画像に対してデコンボリューションを的確にかけ、画像復元を実現可能な画像復元装置およびその方法を提供する。
【解決手段】画像処理装置２３０は、撮像素子２２０により得られた画像データに対して、光学系の点広がり関数（ＰＳＦ）に応じた画像復元フィルタリングに基づいた処理を行い、フィルタリング処理が施されたデータに対して画像処理を行う機能と、を有し、画像復元フィルタリングは、画素単位で配置された光学的カラーフィルタの色およびまたは並びの種類別に行い、画像復元フィルタリングで用いる復元フィルタは、光学系２１０の点広がり関数（ＰＳＦ）に応じた画像復元フィルタに画素単位で配置された光学的カラーフィルタの配列に応じた変換用フィルタを掛け合わせて形成されている。
【選択図】図３

Description

本発明は、撮像素子を用いた画像復元装置およびその方法に関するものである。

近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面はフィルムに変わって固体撮像素子であるＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ），ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。

このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、情報コード読取装置（バーコードリーダ）、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。

図３１は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。

撮像レンズ装置１においては、図３１に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図３２（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。

ところで、Ｆ値が明るいレンズは合焦位置からデフォーカスすると急激に変調伝達関数（ＭＴＦ：ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）が下がってしまう。その結果、ＭＴＦが０まで下がりそこから高い周波数で再び値を持ついわゆるバウンドが発生する。
そして、このバウンド点以上は位相がずれているので解像はつぶれてしまう。
Ｆ値を絞るとデフォーカスさせた時のＭＴＦの変化が低く抑えられるのでバウンドしないデフォーカス範囲を広くすることができる。これがＦ値を絞ることで被写界深度をかせぐ方法である。

また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
この手法を用いれば、Ｆ値は明るいままで、被写界深度を伸ばすことができる。
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson. ＵＳＰ６，０２１，００５ＵＳＰ６，６４２，５０４ＵＳＰ６，５２５，３０２ＵＳＰ６，０６９，７３８特開２００３−２３５７９４号公報

上述したように、深度拡張光学系を用い、デジタル復元処理を行うことで、深度を拡張する技術が知られている。
復元処理には、光学系の点広がり関数（ＰＳＦ）からセンサの画素サイズに合わせて導き出したデコンボリューションフィルタを用いる。

ところが、従来の技術では、カラー画像を処理する場合、ＲＧＢもしくはＹＵＶなどの３枚の画像に対して、画像処理を行う。そのため、モノクロの１枚の画像を処理するのと比較して、復元の処理量が３倍になってしまうという不利益がある。

市場で最も普及しているベイヤー（ＢＡＹＥＲ）配列のカラーセンサを使用する場合、ベイヤー配列のデータの状態で復元処理を行えば、ベイヤー配列をＲ・Ｇ・Ｂの３枚の画像に補完し、それぞれの画像に対して復元処理する場合に比較して、復元処理の量を１／３にできる。
しかし、ベイヤー配列であるため、光学系のＰＳＦからセンサの画素サイズに合わせて導き出したデコンボリューションフィルタをそのままかけあわせることはできない。

本発明は、復元の処理量の増大を抑止しつつ、所定配列の撮像素子による画像に対して、ベイヤー配列の補間処理をする以前に、的確な復元フィルタ（デコンボリューションフィルタ）をかけ、画像復元を実行可能な画像復元装置およびその方法を提供することにある。

本発明の第１の観点の画像復元装置は、光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、前記撮像素子の受光面に、画素単位で配置された光学的カラーフィルタと、前記撮像素子により得られた画像データに対して、前記光学系の点広がり関数（ＰＳＦ）に応じた画像復元フィルタリングに基づいた処理を行うフィルタリング手段と、前記フィルタリング処理が施されたデータに対して画像処理を行う画像処理手段と、を有し、前記画像復元フィルタリングは、前記画素単位で配置された光学的カラーフィルタの色およびまたは並びの種類別に行われる。

好適には、前記画像復元フィルタリングで用いる復元フィルタは、前記光学系の点広がり関数（ＰＳＦ）に応じた画像復元フィルタに前記画素単位で配置された光学的カラーフィルタの配列に応じた変換用フィルタを掛け合わせて形成されている。

好適には、前記フィルタリング手段は、画像データを各色画像に分けて対応する変換用フィルタを掛け合わせ後、もとの画素配列に戻す処理を行う。

好適には、前記復元フィルタが格納される記憶手段を有し、前記光学系の個体毎または要求される前記光学系と被写体との距離毎に前記復元フィルタの値を変更可能である。

好適には、前記複数の復元フィルタは下記に示すフィルタゲインＦＧの値が略等しくなるようにＷｉｅｎｅｒフィルタの係数を変えて生成された。
ＦＧ＝（１／ａ＊ΣΣfilt(u,v)＾２）＾０.５
ａはフィルタの全要素数

好適には、前記複数の復元フィルタは、前記光学系のピントの中心となる被写体距離に応じたものに比べて、当該ピントの中心から離れた被写体距離に応じたものになるほどフィルタゲインが高く設定されている。

本発明の第２の観点は、光波面変調素子を含む光学系を通過した被写体像を撮像素子で撮像して得られた画像を復元する画像復元方法であって、前記撮像素子の受光面に、光学的カラーフィルタを画素単位で配置し、前記撮像素子により得られた画像データに対して、前記画素単位で配置された光学的カラーフィルタの色およびまたは並びの種類別に、前記光学系の点広がり関数（ＰＳＦ）に応じた画像復元フィルタリングに基づいた処理を行う。

本発明によれば、復元の処理量の増大を抑止しつつ、所定配列の撮像素子による画像に対してデコンボリューションフィルタを的確にかけ、画像復元を実現することができる。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明の実施形態に係る撮像装置の構成例を示すブロックである。

撮像装置２００は、図１に示すように、光学系２１０、撮像素子２２０、フィルタ手段としての機能を含む画像処理装置２３０、を有する。

光学系２１０は、位相変調素子等の光波面変調素子を含み、被写体物体ＯＢＪである情報コード１２１を撮影した像を撮像素子２２０に供給する。
光学系２１０は、たとえば固定焦点レンズが用いられている。

撮像素子２２０は、光学系２１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号として、ＡＤ変換部２３１を介して画像処理装置２３０に出力するＣＣＤやＣＭＯＳセンサからなる。
撮像素子２２０は、画素がいわゆるベイヤー配列として配置され、受光面に、画素単位で配置された光学的カラーフィルタが配置されている。
図１においては、撮像素子２２０を一例としてＣＣＤとして記載している。

図２は、本実施形態に係る光波面変調素子を含む光学系２１０の構成例を模式的に示す図である。

図２の光学系２１０は、物体側ＯＢＪＳに配置された物体側レンズ２１１と、撮像素子２２０に結像させるための結像レンズ２１２と、物体側レンズ２１１と結像レンズ２１２間に配置され、結像レンズ２１２による撮像素子２２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板からなる光波面変調素子（波面形成用光学素子）群２１３を有する。

なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディング等により厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ、あるいはレンズ面上に形成される位相面として形成される状態）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
また、本実施形態においては、光波面変調素子である位相板を用いて規則的に分散した画像を形成する場合について説明したが、通常の光学系として用いるレンズで光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後述する位相板に起因する分散に対応するのではなく、光学系に起因する分散に対応することとなる。

図２の光学系２１０は、光学位相板２１３ａを挿入した例である。
図で示された位相板２１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子２２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板２１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
前述したように、この規則的に分散した画像をデジタル処理により、光学系２１０を移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：ＤｅｐｔｈＥｘｐａｎｔｉｏｎＯｐｔｉｃａｌｓｙｓｔｅｍ）といい、この処理を画像処理装置２３０において行う。

画像処理装置２３０は、前段の不図示のＡＦＥからくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段の制御装置２４０に出力する。
画像処理装置２３０は、光学系２１０と被写体との距離に応じた複数の点広がり関数（ＰＳＦ）毎に予め用意した複数の画像復元フィルタを用いて、撮像素子２２０から出力される画像データに対して、画像復元フィルタによるフィルタリングを行う機能を有する。
光学系２１０と被写体との距離としては、たとえば無限遠、１ｍ、０．３ｍ等の距離が選択され、画像復元フィルタは、これらの距離に応じた複数の点広がり関数（ＰＳＦ）毎に予め用意される。

画像処理装置２３０は、内蔵または外部に設けた、たとえば不揮発性メモリからなる記憶部を有し、この記憶部に画像復元フィルタが格納される。
記憶部に格納された画像復元フィルタは、光学系２１０の個体毎または要求される被写体距離毎に画像復元フィルタの値を変更可能に構成される。

また、複数の画像復元フィルタは下記に示すフィルタゲインＦＧの値が略等しくなるようにＷｉｅｎｅｒフィルタの係数を変えて生成されている。

［数１］
ＦＧ＝（１／ａ＊ΣΣfilt(u,v)＾２）＾０.５
ａはフィルタの全要素数

さらに、複数の画像復元フィルタは、光学系２１０のピントの中心となる被写体距離に応じたものに比べて、ピントの中心から離れた被写体距離に応じたものになるほどフィルタゲインが高く設定されている。

図３（Ａ）〜（Ｃ）は、フィルタゲインＦＧとＭＴＦのＲＭＳとの関係を示す図である。
図３（Ａ）に示すように、フィルタ処理前においては、図３（Ａ）に示すように、ベストピント位置でＭＴＦの頂点が有り、デフォーカス量が増えるほどＭＴＦは低くなっている。
そこで、フィルタ処理後にデフォーカス側のＭＴＦを高くし、ベストピント側との差を小さくしてＭＴＦが一様となるように、フィルタ処理を行う。
このため、図３（Ｃ）に示すように、光学系２１０のピントの中心となる被写体距離に応じたものに比べて、ピントの中心から離れた被写体距離に応じたものになるほどフィルタゲインが高く設定されている。
図３（Ｃ）の様な特性を持つフィルタ処理を施すことにより、図３（Ｂ）に示すようなＭＴＦのＲＭＳを得ることができる。

なお、図４（Ａ），（Ｂ）に示すように、フィルタゲインＦＧを高くするとＭＴＦを高くすることができるが、これに伴いノイズ量も多くなる。
すなわち、復元フィルタだけに着目した場合、復元レベルを変えることが復元画像の解像やノイズに関係してくる。すなわち、強い復元フィルタを用いた場合、解像が上がると同時にノイズも増加する。情報コードを判定する際にある程度のノイズは訂正処理等で回避できるが限界がある（この対応した構成、機能について後で説明する）。同時に、解像に関してもある一定の解像を持っていれば判定することは可能である。

また、本実施形態の撮像装置２００は、ＲＧＢのカラー画像を撮像して復元する機能を有している。
そして、画像処理装置２３０は、撮像素子２２０により得られた画像データに対して、光学系の点広がり関数（ＰＳＦ）に応じた画像復元フィルタリングに基づいた処理を行い、フィルタリング処理が施されたデータに対して画像処理を行う機能と、を有し、画像復元フィルタリングは、画素単位で配置された光学的カラーフィルタの色およびまたは並びの種類別に行う。
そして、画像復元フィルタリングで用いる復元フィルタは、光学系２１０の点広がり関数（ＰＳＦ）に応じた画像復元フィルタに画素単位で配置された光学的カラーフィルタの配列に応じた変換用フィルタを掛け合わせて形成されている。
そして、本実施形態において、画像処理装置２３０は、撮像素子２２０で撮像した画像データをボケ復元処理してからベイヤー配列の補間処理を行う。

図５は、本実施形態に係る画像処理装置２３０のより具体的な構成を示すブロック図である。

この画像処理装置２３０は、アナログデジタル（Ａ／Ｄ）変換器２３１、ボケ復元処理部２３２、デコンボリューションフィルタ部２３３、補間処理部２３４、メモリ２３５，２３６、および画像出力部２３７を有している。

ボケ復元処理部２３２は、Ａ／Ｄ変換器２３１でデジタル信号に変換された画像データに対して、以下に説明するような処理で予め作成されたベイヤー配列に対応した変換用フィルタとしてのデコンボリューションフィルタを用いて各ＲＧｒＧｂＢに対するフィルタリング処理を施して復元処理を行う。

補間処理部２３４は、ボケ復元処理部２３２で復元された画像データに対して所定の、たとえばカラー補間、ホワイトバランス、圧縮、ファイリング等の処理を行い、メモリ２３６への格納や画像出力部２３７を介して制御装置２４０への画像出力等を行う。

以下、本実施形態に係るカラー画像データに対するボケ復元処理を具体的に説明する。

本実施形態においては、光学系２１０のＰＳＦから撮像素子２２０（センサ）の画素サイズに合わせて導き出したデコンボリューションフィルタを、画質を損なわずに、ベイヤー配列データに対して直接処理できるデコンボリューションフィルタに変換する。
これにより、ＲＧＢやＹＵＶ等の３枚の画像に画素補間してから、画像復元処理をする場合に比較して、復元処理の量を１／３に削減できる。
また、ベイヤー配列の補間処理をする前に、深度拡張復元処理を行うため、ベイヤー配列データを出力するカメラセンサモジュールなどに深度拡張復元処理機能を追加することが可能になる。

図６は、ベイヤー配列データ用デコンボリューションを使用した復元処理の流れを示す図である。

図６に示すように、ベイヤー配列にかけるデコンボリューションフィルタＤＦＫＲ，ＤＦＬＧｒ，ＤＦＬＢ，ＤＦＬＧｂは、Ｒ・Ｇｒ・Ｂ・Ｇｂの画素別画像に対して掛け合わせる。
仮にＲの画素のみを抜き出した画像を考えた場合、撮像素子２２０（センサ）の全ピクセル(画素)に対して、縦横に１／２の画素情報が間引かれた状態であるため、空間周波数はセンサ本来の空間周波数の倍の周波数になる。
そのため、光学系２１０のＰＳＦから、センサの画素サイズに合わせて導き出したデコンボリューションフィルタＤＦＫＲ，ＤＦＬＧｒ，ＤＦＬＢ，ＤＦＬＧｂは、画像の空間周波数に合わせて修正する必要がある。

最も簡単に空間周波数を合わせるには、デコンボリューションフィルタの縦横の２ラインに１ラインを間引いてしまうことである。
しかしこの場合には、間引いた分の情報量が損なわれてしまい、画像復元が正しく行われない。そのため、本発明では、間引く要素を間引かれない要素に畳み込み、情報量が損なわれないようにする。

図７は、本実施形態に係る畳み込みフィルタ(変換用フィルタ)の例を示す図である。
ここで、ａ、ｂは変数となっており、以下の関係を示す。

［数１］
２×ａ＋４×ｂ＝１
ｂ＜ａ

図８は、この条件を満たす変換用フィルタの一例となっている。

改めて、光学系のＰＳＦから、センサの画素サイズに合わせて導き出したデコンボリューションフィルタを、ベイヤー配列データ用のデコンボリューションフィルタに変換する処理の流れを図９および図１０に示す。

図９は、ベイヤー配列データ用デコンボリューション作成の流れを示す図である。
図１０は、ベイヤー配列データ用デコンボリューション作成処理のフローチャートである。

光学系のＰＳＦから、センサの画素サイズに合わせて導き出したデコンボリューションフィルタに対して、図７の変換フィルタの畳み込み演算を行う（ＳＴ１、ＳＴ２）。
デコンボリューションフィルタは、Ｒ・Ｇｒ・Ｂ・Ｇｂ用にそれぞれ必要となるが、全て共通のデータを用いても構わない。
演算出力に対して、縦横の２ラインに１ラインを間引く。この際に、奇数ラインを間引くか、偶数ラインを間引くかは、フィルタのピーク値がどこに位置しているかで決める（ＳＴ３〜ＳＴ５）。
ピーク値が偶数ラインに位置していれば、奇数ラインを間引き、奇数ラインに位置していれば、偶数ラインを間引く（ＳＴ６〜ＳＴ８）。
以上の処理によりベイヤー配列データ用のデコンボリューションフィルタが作成される。

また、図１１は、ベイヤー配列データ用のデコンボリューションフィルタの使用方法を示すフローチャートである。
ベイヤー配列データ用のデコンボリューションフィルタの使用方法を、図６および図１１に関連付けて説明する。

ベイヤー配列データをＲ・Ｇｒ・Ｂ・Ｇｂの画像に分ける（ＳＴ１１）。
それぞれの画像に対して、ベイヤー配列データ用デコンボリューションフィルタをかける（ＳＴ１２）。
もとのベイヤー配列の並びに戻す（ＳＴ１３）。
ベイヤーデータの補間を行い、ＲＧＢの画像に変換する（ＳＴ１４）。なお、補間方法は任意である。
なお、ステップＳＴ１１とＳＴ１３の処理は、信号処理系の仕様により、省略が可能である。

以下、一例として、図１２および図１３に関連付けた変換フィルタの作成過程を示す。

＜変換フィルタの作成過程＞
従来方法では、ベイヤー補間した画像に、センサの画素サイズに合わせて導き出したデコンボリューションフィルタを掛け合わせる。以下はその方法となる。
撮像素子（センサ）２２０からの出力画像（ベイヤー配列）からＲ画素のみを抽出したデータ（図１２）に対して、存在しないデータを以下の式で補間する。

［数２］
・斜め4方にR画素が存在する画素
R0202=(1/4)*(R0101+R0103+R0301+R0303)
・上下にR画素が存在する画素
R0203=a*(R0103+R0303)+b*(R0101+R0301+R0105+R0305)
・左右にＲ画素が存在する画素
R0302= a*(R0301+R0303)+b*(R0101+R0103+R0501+R0503)
a、bは任意の変数、２×ａ＋４×ｂ＝１、ｂ＜ａとする

上記の式で存在しない画素を全て補間し、図１２の太枠のデータに、センサの画素サイズに合わせて導き出したデコンボリューションフィルタを畳み込む。
そうして計算した、復元後のR0707のデータは以下になる（一部省略）

［数３］
復元後のR0707=
H11*R0303+
H12*(a*R0303+a*R0305+b*R0103+b*R0105+b*R0503+b*R0505)+
H13*R0305+
H14*(a*R0305+a*R0307+b*R0105+b*R0107+b*R0505+b*R0507) +
H15*R0307+
H16*(a*R0307+a*R0309+b*R0107+b*R0109+b*R0507+b*R0509) +
H17*R0309+
H18*(a*R0309+a*R0311+b*R0109+b*R0111+b*R0509+b*R0511) +
H19*R0311+
H21*(a*R0303+a*R0503+b*R0301+b*R0501+b*R0305+b*R0505)+
H22*((1/4)*R0303+(1/4)*R0305+(1/4)*R0503+(1/4)*R0505))
H23*(a*R0305+a*R0505+b*R0303+b*R0503+b*R0307+b*R0507)+
H24*((1/4)*R0305+(1/4)*R0307+(1/4)*R0505+(1/4)*R0507))
H25*(a*R0307+a*R0507+b*R0305+b*R0505+b*R0309+b*R0509)+
H26*((1/4)*R0307+(1/4)*R0309+(1/4)*R0507+(1/4)*R0509))
H27*(a*R0309+a*R0509+b*R0307+b*R0507+b*R0311+b*R0511)+
H28*((1/4)*R0309+(1/4)*R0311+(1/4)*R0509+(1/4)*R0511))
H29*(a*R0311+a*R0511+b*R0309+b*R0509+b*R0313+b*R0513)+
H31*R0503+
H32*(a*R0503+a*R0505+b*R0303+b*R0305+b*R0703+b*R0705)+
H33*R0505+
H34*(a*R0505+a*R0507+b*R0305+b*R0307+b*R0705+b*R0707) +
H35*R0507+
H36*(a*R0507+a*R0509+b*R0307+b*R0309+b*R0707+b*R0709) +
H37*R0509+
H38*(a*R0509+a*R0511+b*R0309+b*R0311+b*R0709+b*R0711) +
H39*R0511+
H41*(a*R0503+a*R0703+b*R0501+b*R0701+b*R0505+b*R0705)+
H42*((1/4)*R0503+(1/4)*R0505+(1/4)*R0703+(1/4)*R0705))
H43*(a*R0505+a*R0705+b*R0503+b*R0703+b*R0507+b*R0707)+
H44*((1/4)*R0505+(1/4)*R0507+(1/4)*R0705+(1/4)*R0707))
H45*(a*R0507+a*R0707+b*R0505+b*R0705+b*R0509+b*R0709)+
H46*((1/4)*R0507+(1/4)*R0509+(1/4)*R0707+(1/4)*R0709))
H47*(a*R0509+a*R0709+b*R0507+b*R0707+b*R0511+b*R0711)+
H48*((1/4)*R0509+(1/4)*R0511+(1/4)*R0709+(1/4)*R0711))
H49*(a*R0511+a*R0711+b*R0509+b*R0709+b*R0513+b*R0713)+
・
・（省略）
・
+H91*R1103+
H92*(a*R1103+a*R1105+b*R0903+b*R0905+b*R1303+b*R1305)+
H93*R1105+
H94*(a*R1105+a*R1107+b*R0905+b*R0907+b*R1305+b*R1307) +
H95*R1107+
H96*(a*R1107+a*R1109+b*R0907+b*R0909+b*R1307+b*R1309) +
H97*R1109
H98*(a*R1109+a*R1111+b*R0909+b*R0911+b*R1309+b*R1311) +
H99*R1111

ベイヤー配列に直接かけるデコンボリューションフィルタを作成する場合、補間された画素は、存在しないため、ベイヤー配列に存在するR画素の成分で上記の式まとめると以下の式となる。

［数４］
復元後のR0707=
R0103*(b*H12)+
R0105*(b*H12+b*H14)+
R0107*(b*H14+b*H16)+
R0109*(b*H16+b*H18)+
R0109*(b*H18)+
・
・（省略）
・
R0505*(b*H12+b*H14+b*H21+(1/4)*H22+a*H23+(1/4)*H24+b*H25+a*H32+H33+a*H34+
b*H41+(1/4)*H42 +a*H43+(1/4)*H44+ b*H45+b*H52+b*H54)+
R0507*(b*H14+b*H16+b*H23+(1/4)*H24+a*H25+(1/4)*H26+b*H27+a*H34+H35+a*H36+
b*H43+(1/4)*H44 +a*H45+(1/4)*H46+ b*H47+b*H54+b*H56)+
R0509*(b*H16+b*H18+b*H25+(1/4)*H26+a*H27+(1/4)*H28+b*H29+a*H36+H37+a*H38+
b*H45+(1/4)*H46 +a*H47+(1/4)*H48+ b*H49+b*H56+b*H58)+
・
・（省略）
・
R0705*(b*H32+b*H34+b*H41+(1/4)*H42+a*H43+(1/4)*H44+b*H45+a*H52+H53+a*H54+
b*H61+(1/4)*H62 +a*H63+(1/4)*H64+ b*H65+b*H72+b*H74)+
R0707*(b*H34+b*H36+b*H43+(1/4)*H44+a*H45+(1/4)*H46+b*H47+a*H54+H55+a*H56+
b*H63+(1/4)*H64 +a*H65+(1/4)*H66+ b*H67+b*H74+b*H76)+
R0709*(b*H36+b*H38+b*H45+(1/4)*H46+a*H47+(1/4)*H48+b*H49+a*H56+H57+a*H58+
b*H65+(1/4)*H66 +a*H67+(1/4)*H68+ b*H69+b*H76+b*H78)+
・
・（省略）
・
R0905*(b*H52+b*H54+b*H61+(1/4)*H62+a*H63+(1/4)*H64+b*H65+a*H72+H73+a*H74+
b*H81+(1/4)*H82 +a*H83+(1/4)*H84+ b*H85+b*H92+b*H94)+
R0907*(b*H54+b*H56+b*H63+(1/4)*H64+a*H65+(1/4)*H66+b*H67+a*H74+H75+a*H76+
b*H83+(1/4)*H84 +a*H85+(1/4)*H86+ b*H87+b*H94+b*H96)+
R0909*(b*H56+b*H58+b*H65+(1/4)*H66+a*H67+(1/4)*H68+b*H69+a*H76+H77+a*H78+
b*H85+(1/4)*H86 +a*H87+(1/4)*H88+ b*H89+b*H96+b*H98)+
・
・（省略）
・
R1103*(b*H72)+
R1105*(b*H72+b*H74)+
R1107*(b*H74+b*H76)+
R1109*(b*H76+b*H78)+
R1111*(b*H78)+

ここで、中心エリアのデータR0505、R0507、R0509、R0705、R0707、R0709、R0905、R0907、R0909に着目すると以下の特徴があることがわかる。

［数５］
Rnn*{Hnn+(1/4)*H(n-1)(n-1) +(1/4)*H(n-1)(n+1) +(1/4)*H(n+1)(n-1) +(1/4)*H(n+1)(n+1)+a*H(n-1)n+ a*Hn(n-1)+ a*H(n+1)n+ a*Hn(n+1)
+b*H(n-2)(n-1)+ b*H(n-2)(n+1)+ b*H(n-1)(n-2)+ b*H(n-1)(n+2)+
+b*H(n+1)(n-2)+ b*H(n+1)(n+2)+ b*H(n+2)(n-1)+ b*H(n+2)(n+1)}

この式のRnnにかけられている式が、図７の変換フィルタによる畳み込みを表しており、この変換フィルタをデコンボリューションフィルタに畳み込むことにより、ベイヤー補間前のデータに使用するためのデコンボリューションフィルタが作成されることがわかる。
他の画素についても同様に扱う。

以下、本実施形態のＤＥＯＳの原理、光学系、画像処理装置の構成および機能について具体的に説明する。

まず、ＤＥＯＳの基本原理について説明する。
図１４に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。

[数６]
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。

生成された画像から被写体を求めるためには、次の処理を要する。

[数７]
ｆ＝Ｈ^-１＊ｇ

ここで、Ｈに関するカーネルサイズと演算係数について説明する。
光学切り替え情報をＫＰｎ，ＫＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。

この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。

本実施形態においては、図２に示すように、光学系２１０からの像を撮像素子２２０で受像して、絞り開放時には画像処理装置２３０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子２２０からの分散画像信号より分散のない画像信号を生成するように構成している。

なお、本実施形態において、分散とは、上述したように、位相板２１３ａを挿入することにより、撮像素子２２０上ではピントのどこにも合わない画像を形成し、位相板２１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。

本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。

図１５（Ａ）〜（Ｃ）は、撮像素子２２０の受光面でのスポット像を示している。
図１５（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図１５（Ｂ）が合焦点の場合（Ｂｅｓｔｆｏｃｕｓ）、図１５（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図１５（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置２００Ａにおいては、位相板２１３ａを含む波面形成用光学素子群２１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。

このように、本実施形態の撮像装置２００Ａにおいて形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。

図１６（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）について説明するための図であって、図１６（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図１６（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）からなる画像処理装置２３０の補正処理に任せるため、図１６（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。

画像処理装置２３０は、上述したように、撮像素子２２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。

画像処理装置２３０のＭＴＦ補正処理は、たとえば図１７の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図１７中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図１８中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。

本実施形態においては、図１７に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、図１８に示すようにエッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図１７のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図１８示すようになる。

すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。

このように、実施形態に係る撮像装置２００は、基本的に、１次画像を形成する光学系２１０および撮像素子２２０と、１次画像を高精細な最終画像に形成する画像処理装置２３０からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子２２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置２３０Ａを通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子２２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置２３０で行う。

ここで、本実施形態における撮像装置２００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系２１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。

したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図１５（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置２３０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。

次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。

図１９は、一般的な光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図２０は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図２１は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。

図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像は、コンボリューションフィルタによる処理を行うことによって、ＭＴＦのレスポンスが向上する。

図２０に示した、位相板を持つ光学系のＯＴＦの絶対値（ＭＴＦ）はナイキスト周波数において０．１以上であることが好ましい。
なぜなら、図２１に示した復元後のＯＴＦを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。
したがって、復元前のＭＴＦが０．１以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のＭＴＦが０．１未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。

次に、画像処理装置２３０のボケ画像復元処理について説明する。
図２２は、一般的な光学系のベストフォーカス（ＢｅｓｔＦｏｒｃｕｓ）位置でのＭＴＦ（Modulation Transfer Function：振幅伝達関数）特性図である。
図２３は、本実施形態の光学系のＭＴＦ特性を示す図である。

本実施形態の光学系２１０を通過して撮像素子２２０で得られた撮像画像はボケているため中域〜高域にかけてＭＴＦが低下している。このＭＴＦを演算によって上昇させる。レンズ単体の振幅特性であるＭＴＦに対し、画像処理を含めたトータルの振幅特性はＳＦＲ（Spatial Frequency Response）と呼ばれている。
ボケ画像を発生させるＰＳＦの周波数特性がＭＴＦであるので、これから所望のＳＦＲ特性まで引き上げるゲイン特性に設計してできたものがボケ復元フィルタである。どの程度のゲインにするかはノイズや偽像とのバランスで決めていく。

このボケ復元フィルタを元画像にデジタルフィルタリングする方法は、画像をフーリエ変換し周波数領域でフィルタと周波数毎に積を取る方法と、空間領域でコンボリューション（Convolution）演算（畳み込み演算）を行なう方法がある。ここでは後者での実現方法を説明する。コンボリューション演算は下記の式で表される。

ただし、ｆはフィルタ（ｆｉｌｔｅｒ）カーネルを示している（ここでは計算を容易にするために１８０度回転済みのものを使用している）。
また、Ａは元画像、Ｂはフィルタリングされた画像（ボケ復元画像）を示している。
この式から分かる通り、ｆを画像に重ねて各タップ同士の積和した結果をその重ねた中心座標の値とすることである。

次に、画像処理装置２３０におけるボケ復元処理部２３２の具体的な構成および処理について説明する。
図２４は、本実施形態に係るボケ復元処理部の構成例を示すブロック図である。

ボケ復元処理部２３２は、図２４に示すように、バッファメモリ２３２１、二次元コンボリューション演算部２３２２、記憶手段としてのカーネルデータ格納ＲＯＭ２３２３、およびコンボリューション制御部２３２４を有する。

コンボリューション制御部２３２４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置２４０により制御される。

また、カーネルデータ格納ＲＯＭ２３２３には、図２５に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、制御装置２４０によって予め設定された距離情報に応じてフィルタ処理に用いるカーネルデータを、コンボリューション制御部２３２４を通じて選択的に制御する。

また、図２５の例では、カーネルデータＡは距離情報が無限遠、カーネルデータＢは距離情報が１ｍ、カーネルデータＣは距離情報が０．３ｍに対応したデータとなっている。

図２６は、制御装置２４０の距離情報により切り替え処理のフローチャートである。
まず、距離情報が設定されコンボリューション制御部２３２４に供給される（ＳＴ１０１）。
コンボリューション制御部２３２４においては、供給された情報から、カーネルサイズ、数値演算係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子２２０で撮像され、二次元コンボリューション演算部２３１２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、補間処理部２３４を経て、演算され変換されたデータが制御装置２４０に転送される（ＳＴ１０３）。

以下にボケ復元処理部２３２の信号処理装置とカーネルデータ格納ＲＯＭについてさらに具体的な例について説明する。

図２７は、信号処理装置とカーネルデータ格納ＲＯＭについての構成例を示す図である。
図２７の例は取得情報に応じたフィルタカーネルを予め用意した場合のブロック図である。

距離情報を設定し、コンボリューション制御部２３２４を通じてカーネルデータを選択制御する。二次元コンボリューション演算部２３２２においては、カーネルデータを用いてコンボリューション処理を施す。

図２８は、信号処理装置とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。
図２８の例は、信号処理装置の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして距離情報に応じたノイズ低減フィルタ処理ＳＴ１１１を予め用意した場合のブロック図である。

距離情報を設定し、コンボリューション制御部２３２４を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部２３２２においては、前記ノイズ低減フィルタ処理ＳＴ１１１を施した後、カーネルデータを用いてコンボリューション処理（ＯＴＦ復元フィルタ処理）ＳＴ１１３を施す。
インターポーレーション処理を行ってから、再度ノイズ低減フィルタ処理ＳＴ１１４を行う。
なお、再度のノイズ低減フィルタ処理ＳＴ１１４は省略することも可能である。

図２９は、信号処理装置とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。
図２９の例は、距離情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。

距離情報を設定し、コンボリューション制御部２３２４を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部２３２２は、ノイズ低減フィルタ処理ＳＴ１２１の後に、前記ＯＴＦ復元フィルタを用いてコンボリューション処理ＳＴ１２３を施す。
インターポーレーション処理を行ってから、再度ノイズ低減フィルタ処理ＳＴ１２４を行う。
なお、ノイズ低減フィルタ処理ＳＴ１２１、ＳＴ１２４は、いずれか一方のみでもよい。

図３０は、信号処理装置とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図３０の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして距離情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ低減フィルタ処理ＳＴ１３４は省略することも可能である。
情報コードの種類(特性)を取得し、コンボリューション制御部２３２４を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部２３２２においては、ノイズ低減フィルタ処理ＳＴ１３１を施した後、カーネルデータを用いてコンボリューション処理ＳＴ１３３を施す。
インターポーレーション処理を行ってから、再度、距離情報に応じたノイズ低減フィルタ処理ＳＴ１３４を行う。
なお、ノイズ低減フィルタ処理ＳＴ１３１は省略することも可能である。
以上説明した各フィルタの選択方法は、モノクロの情報コード読み取りにおいても有効である。

以上説明したように、本実施形態によれば、画像処理装置２３０は、撮像素子２２０により得られた画像データに対して、光学系の点広がり関数（ＰＳＦ）に応じた画像復元フィルタリングに基づいた処理を行い、フィルタリング処理が施されたデータに対して画像処理を行う機能を有し、画像復元フィルタリングは、画素単位で配置された光学的カラーフィルタの色およびまたは並びの種類別に行い、画像復元フィルタリングで用いる復元フィルタは、光学系２１０の点広がり関数（ＰＳＦ）に応じて、画素サイズに合わせて導きだした画像復元フィルタに対して、変換フィルタを掛け合わすことにより、画質を損なうことなく、ベイヤー配列に直接処理できる画像復元フィルタに変換されている。
これにより、ＲＧＢやＹＵＶ等の３枚の画像に画素補間してから、画像復元処理をする場合に比較して、復元処理の量を１／３に削減できる。
また、ベイヤー配列の補間処理をする前に、深度拡張復元処理を行うため、ベイヤー配列データを出力するカメラセンサモジュールなどに深度拡張復元処理機能を追加することが可能になる。

また、本実施形態においては、結像レンズ２１２による撮像素子２２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子２２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置２３０Ａとを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系２１０Ａの構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。

ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。

しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。

以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。

なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。

図１の情報コード読取装置に適用される撮像装置の構成例を示すブロックである。本実施形態に係る光波面変調素子を含む光学系の構成例を模式的に示す図である。フィルタゲインとＭＴＦのＲＭＳとの関係を示す図である。フィルタゲインを高くするとＭＴＦを高くすることができるが、これに伴いノイズ量も多くなることを示す図である。本実施形態に係る画像処理装置２３０のより具体的な構成を示すブロック図である。ベイヤー配列データ用デコンボリューションを使用した復元処理の流れを示す図である。本実施形態に係る畳み込みフィルタ(変換用フィルタ)の例を示す図である。条件を満たす変換用フィルタの一例を示す図である。ベイヤー配列データ用デコンボリューション作成の流れを示す図である。ベイヤー配列データ用デコンボリューション作成処理のフローチャートである。ベイヤー配列データ用のデコンボリューションフィルタの使用方法を示すフローチャートである。変換フィルタの作成過程を説明するための図である。変換フィルタの作成過程を説明するための図である。ＤＥＯＳの原理を説明するための図である。本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。一般的な光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。一般的な光学系のベストフォーカス（ＢｅｓｔＦｏｒｃｕｓ）位置でのＭＴＦ（Modulation Transfer Function 振幅伝達関数）特性図である。本実施形態の光学系のＭＴＦ特性を示す図である。本実施形態に係るボケ復元処理部の構成例を示すブロック図である。カーネルデータＲＯＭの格納データの一例を示す図である。距離情報に応じた画像処理の概要を示すフローチャートである。信号処理装置とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。信号処理装置とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。信号処理装置とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。信号処理装置とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。図３１の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。

符号の説明

２００・・・撮像装置、２１０，２１０Ａ・・・光学系、２２０・・・撮像素子、２３０・・・画像処理装置、２３１・・・アナログデジタル（Ａ／Ｄ）変換器、２３２・・・ボケ復元処理部、２３３・・・デコンボリューションフィルタ部、２３４・・・補間処理部、２４０・・・制御装置、２１１・・・物体側レンズ、２１２・・・結像レンズ、２１３・・・波面形成用光学素子、２１３ａ・・・位相板（光波面変調素子）、２３２２・・・二次元コンボリューション演算部、２３２３・・・カーネルデータＲＯＭ、２３２４・・・コンボリューション制御部。

Claims

光波面変調素子を含む光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記撮像素子の受光面に、画素単位で配置された光学的カラーフィルタと、
前記撮像素子により得られた画像データに対して、前記光学系の点広がり関数（ＰＳＦ）に応じた画像復元フィルタリングに基づいた処理を行うフィルタリング手段と、
前記フィルタリング処理が施されたデータに対して画像処理を行う画像処理手段と、を有し、
前記画像復元フィルタリングは、前記画素単位で配置された光学的カラーフィルタの色およびまたは並びの種類別に行われる
画像復元装置。
前記画像復元フィルタリングで用いる復元フィルタは、前記光学系の点広がり関数（ＰＳＦ）に応じた画像復元フィルタに前記画素単位で配置された光学的カラーフィルタの配列に応じた変換用フィルタを掛け合わせて形成されている
請求項１記載の画像復元装置。
前記フィルタリング手段は、
画像データを各色画像に分けて対応する変換用フィルタを掛け合わせ後、もとの画素配列に戻す処理を行う
請求項１または２記載の画像復元装置。
前記復元フィルタが格納される記憶手段を有し、
前記光学系の個体毎または要求される前記光学系と被写体との距離毎に前記復元フィルタの値を変更可能である
請求項１から３のいずれか一に記載の画像復元装置。
前記複数の復元フィルタは下記に示すフィルタゲインＦＧの値が略等しくなるようにＷｉｅｎｅｒフィルタの係数を変えて生成された
請求項１から４のいずれか一に記載の画像復元装置。
ＦＧ＝（１／ａ＊ΣΣfilt(u,v)＾２）＾０.５
ａはフィルタの全要素数
前記複数の復元フィルタは、
前記光学系のピントの中心となる被写体距離に応じたものに比べて、当該ピントの中心から離れた被写体距離に応じたものになるほどフィルタゲインが高く設定されている
請求項１から５のいずれか一に記載の画像復元装置。
光波面変調素子を含む光学系を通過した被写体像を撮像素子で撮像して得られた画像を復元する画像復元方法であって、
前記撮像素子の受光面に、光学的カラーフィルタを画素単位で配置し、
前記撮像素子により得られた画像データに対して、前記画素単位で配置された光学的カラーフィルタの色およびまたは並びの種類別に、前記光学系の点広がり関数（ＰＳＦ）に応じた画像復元フィルタリングに基づいた処理を行う
画像復元方法。