JP2014107594A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】左右の視差画像のそれぞれにおいては、水平方向と垂直方向でボケが非対称になる。その結果、自然なボケが得られないという問題がある。
【解決手段】撮像素子は、１つの光学系の入射光束に対して、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、左方向の視点を生み出す開口マスクを備えた左視差画素と、右方向の視点を生み出す開口マスクを備えた右視差画素の少なくとも３種類の画素を持つ画素配列からなり、視差なし画素の開口マスクの垂直開口幅が水平開口幅より狭い。
【選択図】図８

Description

本発明は、撮像素子および撮像装置に関する。

単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。当該撮像装置においては、撮像素子に配列された全ての画素の右半分または左半分は遮光部材により遮光されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００３−７９９４号公報
［特許文献２］ 特開２０１１−１９７２７８号公報

撮像素子は、遮光部材により遮光されている画素（視差画素）に加えて、遮光部材により遮光されていない画素（視差なし画素）を含む場合がある。左右に視差を生じさせる場合には、視差画素においては、遮光部材により制限された入射光束を受光する受光領域の水平方向の幅は、垂直方向の幅より短い場合が多い。一方、視差なし画素においては、遮光部材により制限されていない入射光束を受光する受光領域の水平方向の幅は、垂直方向の幅と同一である場合が多い。このように視差画素と視差なし画素とで受光領域の形状が異なる場合には、左右の視差画像と視差なし画像とでボケの出かたが異なるという問題がある。

本発明の第１の態様における撮像素子は、１つの光学系の入射光束に対して、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、左方向の視点を生み出す開口マスクを備えた左視差画素と、右方向の視点を生み出す開口マスクを備えた右視差画素の少なくとも３種類の画素を持つ画素配列からなる撮像素子であって、視差なし画素の開口マスクの垂直開口幅が水平開口幅より狭い。

本発明の第２の態様における撮像素子は、１つの光学系の入射光束に対して、基準方向の視点を生み出すマイクロレンズと開口マスクを備えた視差なし画素と、左方向の視点を生み出すマイクロレンズと開口マスクを備えた左視差画素と、右方向の視点を生み出すマイクロレンズと開口マスクを備えた右視差画素の少なくとも３種類の画素を持つ画素配列からなる撮像素子であって、視差なし画素のマイクロレンズの集光特性を垂直方向が水平方向より少なくなるように非等方な形に変形する。

本発明の第３の態様における撮像装置は、上記の撮像素子と、光路途中に円形の絞りを備える１つの光学系とを備える。

本発明の第４の態様における撮像素子は、被写体光束を受光する第１受光領域が、画素中心に対して第１軸方向に偏位した位置に設定された偏位画素と、被写体光束を受光する第２受光領域が、画素中心に対して偏位していない位置に設定された非偏位画素とを備え、第１受光領域における第１軸方向の第１領域幅は、第１軸方向に直交する第２軸方向の第２領域幅よりも短く、第２受光領域における第１軸方向の第１領域幅は、第２軸方向の第２領域幅より長い。

本発明の第５の態様における撮像素子は、第１マイクロレンズにより集光された被写体光束を受光する第１受光領域が、画素中心に対して第１軸方向に偏位した位置に設定された偏位画素と、第２マイクロレンズにより集光された被写体光束を受光する第２受光領域が、画素中心に対して偏位していない位置に設定された非偏位画素とを備え、第１受光領域における第１軸方向の第１領域幅は、第１軸方向に直交する第２軸方向の第２領域幅よりも短く、第２マイクロレンズの第１軸方向に対応する方向の入射光量は、第１軸方向に直交する第２軸方向に対応する方向の入射光量より多い。

本発明の第６の態様における撮像装置は、上記の撮像素子と、撮像素子に導く被写体光束を調整する円形絞りを有する１つの光学系とを備える。

本発明の実施形態に係るデジタルカメラの構成を説明する図である。 視差なし画素におけるデフォーカスの概念を説明する図である。 視差画素におけるデフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 視差画素の種類が２つである場合における開口部の開口形状を説明する図である。 ボケの非対称性を説明するための図である。 視差画像および視差なし画像と、被写界深度との関係を示す図である。 視差なし画素の構成を説明する図である。 撮像素子１００の構成を説明するための図である。 撮像素子１００の構成を説明するための図である。 画素配列の比較例を示す図である。 画素配列の一例を示す図である。 画素配列のバリエーションを示す図である。 画素配列のバリエーションを示す図である。 開口マスクのバリエーションを説明するための図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、基準方向の視点として中央視点による視差のない視差なし画像も、視差画像と共に生成できる。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。絞り２２は円形絞りであり、光軸２１に沿って瞳近傍に配置されている。

撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。また、撮像素子１００は、視差画素と視差なし画素を含む。視差画素は、被写体光束を受光する受光領域が画素中心に対してＸ軸方向に偏位した位置に設定される画素である。受光領域が偏位している点に着目すると、視差画素を偏位画素ということもできる。一方、視差なし画素は、受光領域が画素中心に対して偏位していない位置に設定される画素である。受光領域が偏位していない点に着目すると、視差なし画素を非偏位画素ということもできる。なお、左視点の視差画素を視差Ｌｔ画素、右視点の視差画素を視差Ｒｔ画素、視差なし画素をＮ画素と記す場合もある。また、左視点の視差画像を視差Ｌｔ画像、右視点の視差画像を視差Ｒｔ画像、視差なし画像をＮ画像と記す場合もある。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。

画像処理部２０５は、他にも選択された画像フォーマットにしたがって画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

制御部２０１は、デジタルカメラ１０を統合的に制御する。例えば、設定された絞り値に応じて絞り２２の開口を調整し、ＡＦ評価値に応じて撮影レンズ２０を光軸方向に進退させる。また、撮影レンズ２０の位置を検出して、撮影レンズ２０の焦点距離、フォーカスレンズ位置を把握する。さらに、駆動部２０４に対してタイミング制御信号を送信し、撮像素子１００から出力される画像信号が画像処理部２０５で画像データに処理されるまでの一連の撮像制御を管理する。

操作部２０８は、ユーザの操作を受け付けて制御部２０１へ指示を伝達する受付部の一部として機能する。操作部２０８は、撮影開始指示を受け付けるシャッタボタン等、複数の操作部材を含む。

＜視差画素とボケ特性＞
次に、視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する図である。図２は、視差なし画素におけるデフォーカスの概念を説明する図である。図２（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。

一方、図２（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。

図２（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。

図２（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。

図３は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。

図３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図３（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ボケ量は増す。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。

また、図３（ｃ）に示すように、さらに物点が焦点位置からずれると、図３（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ボケ量は増す。また、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ボケ量と視差量が増すと言える。

図３（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図３（ｃ）の状態とは逆に、視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Ｌｔ画素が示す光強度分布のピークは、視差Ｒｔ画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。

図２で説明した光強度分布の変化と、図３で説明した光強度分布の変化をそれぞれグラフ化すると、図４のように表される。図４は、視差なし画素と視差画素の光強度分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。

なお、上述のように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合も、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示すので、図において、撮像素子受光面に近づく方向にずれた場合の光強度分布の変化を省略している。撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークについても、撮像素子受光面から遠ざかる方向に物点がずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークと同様であるので、省略している。

図４（ａ）は、図２で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図２（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図２（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図２（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。

図４（ｂ）は、図３で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図３（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図３（ｂ）に対して同等のデフォーカス状態である図２（ｂ）の分布曲線１８０２と相似形状を示す。

分布曲線１８０７と分布曲線１８０８は、それぞれ図３（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図３（ｃ）に対して同等のデフォーカス状態である図２（ｃ）の分布曲線１８０３と相似形状を示す。なお、図３（ｄ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布は、図３（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布の位置を入れ替えた関係になるので、それぞれ分布曲線１８０８と分布曲線１８０７に相当する。

図５は、視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。図５（ａ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素（Ｎ画素）の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図５（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。本実施形態においては、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。ここでは、半開口の開口部において、紙面横方向（水平方向）と紙面縦方向（垂直方向）との比は、１：２である。開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、中心線３２２に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。

図５（ｂ）は、図５（ａ）で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図中において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。また、曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。曲線Ｎは視差なし画素に対応しており、図５（ｂ）の合成分布曲線１８０６と相似形状を示す。また、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りとしての機能を発揮する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素が捉える被写体像のボケ幅は、図５（ｂ）の合成分布曲線１８０６で示される、視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となる。

図５（ｃ）は、図５（ａ）で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。図５（ｃ）の曲線Ｌｔ、曲線Ｒｔは、開口部１０４ｎを有する視差なし画素が捉える被写体像のボケ幅が視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となるという関係を維持しつつ、図５（ｂ）の曲線Ｌｔ、曲線Ｒｔに対して位置関係が逆転している。

＜被写界深度と非対称ボケ＞
次に、被写界深度とボケの非対称性との関係について説明する。図５（ｂ）、（ｃ）からも明らかなように、非合焦域では、視差画素が捉える被写体像のボケ幅は、視差なし画素が捉える被写体像のボケ幅よりも狭い。これは、図５（ａ）の視差画素の開口マスクによって実質的にレンズの入射光束が右半分と左半分に絞られていることを意味する。換言すると、単一のレンズ瞳に左右２つの仮想瞳が生じているといえる。すなわち、視差画素の開口マスクにおける開口面積は、レンズの絞りの効果と同等の役割を果たす。

一般に、レンズを絞ると被写界深度の深い画像が撮像される。視差画素における開口マスクの開口は、水平方向に短く垂直方向に長い。したがって、縦線などの水平方向に周波数成分を持つ被写体に対しては深い被写界深度の画像が撮像されるのに対し、横線などの垂直方向に周波数成分を持つ被写体に対しては浅い被写界深度の画像が撮像される。

図６は、ボケの非対称性を説明するための図である。例えば、図６（ａ）のような正方形のパッチの被写体を撮像すると、合焦域では、図６（ａ）のような被写体像が得られる。図６（ｂ）では、左視差画素と右視差画素が捉えた被写体像を合わせて示している。非合焦域では、図６（ｂ）に示すような水平方向のボケが少ない、縦線が横線よりもシャープに見える被写体像が撮像される。すなわち、視差画素における開口マスクの開口が水平方向と垂直方向で非対称性なので、被写体像の水平方向と垂直方向でボケが非対称性になっている。これは、ボケの非等方性ということもできる。

図６（ｂ）の左目用の被写体像と右目用の被写体像を重ね合わせて表示し、３Ｄ画像から２Ｄ画像を得たとすると、２Ｄ画像には水平方向のシャープなボケに起因した２線ボケのような、あまり好ましくないボケが生じることもある（図６（ｃ））。

図７は、視差画像および視差なし画像と、被写界深度との関係を示す図である。具体的には、図７は、撮像素子１００の画素ピッチをａ［ｍｍ］として、周波数がｆ［本／ｍｍ］にあるような被写体像の縞模様チャートを撮像したときの縦線縞模様チャートとそれを９０°回転して撮像したときの横線縞模様チャートのＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性の被写体距離依存性を示す図である。縦軸は、ＭＴＦを示し、横軸は、デジタルカメラ１０からの距離ｄを示す。ＭＴＦ分布は、合焦位置の光軸付近のＭＴＦを１とした場合に、縞模様チャートを合焦位置から前後させるとどのように減衰するかを表す。図７（ａ）は、視差なし画像（Ｎ画像）における一定周波数の被写体像の被写体距離に関する縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布を示す。

図７（ａ）に示すように、視差なし画像では、縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布は一致している。図７（ｂ）は、視差画像（視差Ｌｔ画像および視差Ｒｔ画像）における一定周波数の被写体像の被写体距離に関する縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布を示す。図７（ｂ）に示す横線縞模様チャートのＭＴＦ分布は、図７（ａ）に示す横線縞模様チャートのＭＴＦ分布に一致する。一方、図７（ｂ）に示す縦線縞模様チャートのＭＴＦ分布は、図７（ａ）に示す縦線縞模様チャートのＭＴＦ分布に比べてコントラストの高い区間が広く分布し、被写界深度が深いことが読み取れる。換言すると、縞模様チャートを合焦位置から前後させると、視差画像では、横線縞模様チャートと横線縞模様チャートとでコントラストが異なっている。これが先ほど図６で示したボケの非対称性を生み出している。図７では、視差なし画像と視差画像との間の被写界深度の違いを示したが、視差画像内の垂直方向と水平方向との間の被写界深度の違いと捉えることもできる。

＜視差画素の開口形状と視差なし画素の開口形状＞
上述したように、視差画素においては、開口マスクの開口部の水平方向の開口幅（すなわち受光領域の水平方向の領域幅）は、垂直方向の開口幅（すなわち受光領域の垂直方向の領域幅）の１／２になっている。したがって、水平方向の被写界深度は深く、結果としてボケがつきにくい。一方、垂直方向の被写界深度は浅く、結果としてボケがつきやすい。視差なし画素においては、開口部の水平方向と垂直方向の比は、１：１である。水平方向と垂直方向とで被写界深度に差は生じない。以上のことから、視差画素と視差なし画素では、開口マスクの開口部の形状が異なる、すなわち受光領域の形状が異なることにより、ボケの出かたが異なることがわかる。本実施形態においては、光学系を何ら変更することなく、視差画像で生じる被写界深度の非対称性によるボケの非対称性を低減する。視差画素の他に視差なし画素が混在している画素配列の場合には、視差なし画素に工夫を加えることにより、ボケの非対称性を低減できる。すなわち、視差なし画素の集光特性を水平方向と垂直方向の間で非対称にし、かつ、視差画素の非対称性とは逆の方向に非対称化することによって、画像全体として中和する効果を狙う。視差画素に入射する光束の非対称性と視差なし画素に入射する光束の非対称性を、撮像素子が捉えた画像信号として吐き出し、画像処理によって混合することによって中和される。したがって、撮像素子単独の設計変更のみでボケの対称化が図れる。

視差画像のボケのアンバランスを低減する方法として２つの方法が考えられる。２つの方法について図８を用いて説明する。図８は、視差なし画素の構成を説明する図である。１つ目の方法は、図８（ａ）に示すように、視差なし画素の開口部１０４ｎの開口形状を水平方向が長辺、垂直方向が短辺となるようにとることである。これにより、視差なし画素の受光領域における水平方向の領域幅は、垂直方向の領域幅より長くなる。ここで、開口部１０４ｎの開口形状が横長形状となるものの、開口部１０４ｎは画素中心に対して偏位していない位置に設定されている。したがって、開口形状が横長形状となる開口部１０４ｎを有する画素は視差なし画素である。長辺ａと短辺ｂの比を、視差画素の開口マスクの開口部における開口の非対称性を相殺するために、下記の通りとする。
ａ：ｂ＝１：１−ｖ
ここで、ｖは視差画素の開口形状の関数として表されるパラメータである。より詳細には、開口部１０４ｎの垂直方向において全開口からの縮小幅を示すパラメータである。また、詳しくは後述するが、ｖは視差画素の密度の関数としても表される。

２つ目の方法は、図８（ｂ）に示すように、視差なし画素の開口部１０４ｎの開口形状は全開口のまま、マイクロレンズ１０１の集光特性を変化させることである。具体的には、垂直方向の集光特性が水平方向の集光特性より悪くなるように、すなわち水平方向が長軸、垂直方向が短軸となるようにマイクロレンズ１０１を変形し、垂直方向のほうが水平方向よりも実質的に開口を狭めた効果を得る。換言すると、水平方向の入射光量が垂直方向の入射光量より多くなるようマイクロレンズ１０１を形成する。マイクロレンズ１０１を上視すると、通常の円形から楕円形に変形したことになる。長軸径をａ、短軸径をｂとすると、楕円形状を表す式は下記になる。

視差なし画素の開口マスクの開口形状を非対称にする場合に、どのように開口部の長辺ａと短辺ｂの比を決定すべきか説明する。本実施形態においては、視差画像のボケのアンバランスの改善と、視差なし画像のボケのバランスの悪化とのバランスを考慮して、視差なし画素の開口形状を設定する。ここで、後述する視差変調によって視差画像を生成するにあたり、視差なし画像のボケは最終的に生成される高解像度の視差画像のボケに反映される。したがって、本実施形態においては、視差画素と視差なし画素の密度比に応じて視差なし画素の開口形状を設定するとよい。例えば、視差なし画素が視差画素に対して支配的であれば、視差画像のボケは最終的に生成される高解像度の視差画像全体に対する影響が小さいので、視差なし画素が視差画素に対して支配的になるほど、視差なし画素の開口部の長軸と短軸の比を１に近づける。すなわち、全開口に近づける。これにより、視差なし画像のボケのバランスの悪化を小幅に留めつつ、視差画像のボケのアンバランスを改善できる。

逆に、視差画素が視差なし画素に対して支配的であれば、視差画像のボケは最終的に生成される高解像度の視差画像全体に対する影響が大きいので、視差画素が視差なし画素に対して支配的になるほど、視差なし画素の開口部の長軸と短軸の比を一定の限界値２：１に近づける。すなわち、意味のある範囲で開口部を閉じる。つまり、視差画素を９０°回転させた矩形形状が限界点である。これにより、視差画像のボケのアンバランスを大幅に改善しつつ、視差なし画像のボケのバランスの悪化を抑制できる。

以上のように、視差画素と視差なし画素の密度比に基づいて視差なし画素の開口形状を設定することにより、視差変調処理により視差画像を生成するにあたって、ボケのアンバランスが改善された視差画像を得ることができる。その結果、より自然なボケの視差画像を得ることができる。なお、ここでは、視差なし画素の開口マスクの開口形状を非対称化する場合について説明したが、マイクロレンズの集光特性を非対称化する場合に付いても同様のことがいえる。

次に、撮像素子１００の構成の一例について説明する。図９は、撮像素子１００の構成を説明するための図である。図９は、視差なし画素の開口マスクの開口形状を非対称化する構成について示す。図９（ａ）は、複数の画素が画素領域にマトリックス状に配列されている様子を示す。図９（ｂ）、（ｃ）は、撮像素子１００の一部を拡大した様子を概念的に表している。特に図９（ｂ）は、Ｘ軸方向に隣接する３つの画素の断面図（Ａ−Ａ断面）を示す。図９（ｃ）は、Ｙ軸方向に隣接する３つの画素の断面図（Ｂ−Ｂ断面）を示す。図９（ｂ）、（ｃ）では、視差Ｌｔ画素、視差なし画素、視差Ｒｔ画素が隣接して配列されているとして説明する。なお、ここでは、視差Ｌｔ画素に対応する開口部を開口部１０４ｌ、視差Ｒｔ画素に対応する開口部を開口部１０４ｒ、視差なし画素に対応する開口部を開口部１０４ｎと記し、特にこれらを区別しない場合には単に開口部１０４と記す。

図９（ｂ）、（ｃ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられ、二次元的に繰り返し配列された開口部１０４を有する開口マスク１０３が、配線層１０５に接して設けられている。

開口部１０４ｌおよび開口部１０４ｒは、対応する光電変換素子１０８ごとに画素中心に対してＸ軸方向に偏位されて、相対的な位置が厳密に定められている。開口部１０４ｌおよび開口部１０４ｒにより、対応する光電変換素子１０８が被写体光束を受光する受光領域が設定される。これにより、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、開口部１０４ｎは、画素中心に対して偏位していない。開口部１０４ｎにより、対応する光電変換素子１０８が被写体光束を受光する受光領域が設定される。開口部１０４ｎが画素中心に対して偏位していないので、光電変換素子１０８が受光する被写体光束に視差が生じない。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列してもよいし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成してもよい。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列するとよい。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭの補色フィルタの組合せであってもよい。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１の形状は、視差Ｌｔ画素、視差Ｒｔ画素、視差なし画素のそれぞれにおいて同一である。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されてもよい。

なお、集光効率、光電変換効率がよいイメージセンサの場合は、マイクロレンズ１０１を設けなくてもよい。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。なお、白黒画像信号を出力すればよい場合にはカラーフィルタ１０２は設けない。

また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、開口マスク１０３の機能を配線１０６が担ってもよい。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。

また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されてもよい。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ_２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。さらに、なお、光電変換素子１０８そのものの水平方向の領域幅と垂直方向の領域幅の比が異なるよう当該光電変換素子１０８を形成することにより、水平方向の領域幅と垂直方向の領域幅とが異なる受光領域を形成することもできる。

図１０は、撮像素子１００の構成を説明するための図である。図１０は、視差なし画素のマイクロレンズの集光特性を非対称化する構成について示す。図１０（ａ）は、複数の画素が画素領域にマトリックス状に配列されている様子を示す。図１０（ｂ）、（ｃ）は、撮像素子１００の一部を拡大した様子を概念的に表している。図１０（ｂ）は、Ｘ軸方向に隣接する３つの画素の断面図（Ａ−Ａ断面）を示す。図１０（ｃ）は、Ｙ軸方向に隣接する３つの画素の断面図（Ｂ−Ｂ断面）を示す。ここでは、視差なし画素の構成に着目して説明する。視差画素の構成は、図９に示す撮像素子と同様である。

図１０（ｂ）、（ｃ）に示すように、視差なし画素のマイクロレンズ１０１ｎの集光特性を非対称化する場合には、対応する光電変換素子１０８上には、全開口の開口マスク１０３が存在する。図１０（ｂ）に示すように、視差なし画素のマイクロレンズ１０１ｎのＸ軸方向の開口幅は、開口部１０４ｎのＸ軸方向の開口幅より広い。したがって、対応する光電変換素子１０８は、Ｘ軸方向の全体に亘って被写体光束を受光できる。一方、図１０（ｃ）に示すように、視差なし画素のマイクロレンズ１０１ｎのＹ軸方向の開口幅は、開口部１０４ｎのＹ軸方向の幅より狭い。したがって、対応する光電変換素子１０８は、Ｙ軸方向の全体に亘って被写体光束を受光することはできず、マイクロレンズ１０１ｎのＹ軸方向の開口幅に対応する領域でのみ被写体光束を受光できる。マイクロレンズ１０１ｎの作用により、光電変換素子１０８においてＹ軸方向の開口幅がＸ軸方向の開口幅より狭い受光領域が設定される。

＜視差画素と視差なし画素の密度比、および視差なし画素の開口形状＞
図１１は、画素配列の比較例を示す図である。図１１に示す撮像素子３００は、図の太線で示す２×２画素のパターン３１０を基本格子とする。パターン３１０において、左上の画素および右下の画素に視差Ｌｔ画素が割り当てられている。左下の画素および右上の画素に視差Ｒｔ画素が割り当てられている。ここでは、撮像素子３００は、モノクロセンサである。図１１に示す撮像素子３００の配列は、Ｎ：Ｌｔ：Ｒｔ＝０：１：１である。つまり、図１１に示す撮像素子３００は、視差画素のみが配列された撮像素子である。

続いて、視差画素と視差なし画素が混在する撮像素子の画素配列について図１２〜図１４を用いて説明する。図１２〜図１４では、視差なし画素の開口部の開口形状を調整する場合について示している。なお、マイクロレンズを変形する場合には、視差なし画素の開口マスクとして全開口の開口マスクを用いればよい。図１２は、本実施形態の画素配列の一例を示す図である。図１２に示す撮像素子１００は、図の太線で示す２×２画素のパターン１１０を基本格子とする。パターン１１０において、左上の画素および右下の画素に視差なし画素が割り当てられている。また、左下の画素に視差Ｌｔ画素が割り当てられ、右上の画素に視差Ｒｔ画素が割り当てられている。ここでは、撮像素子１００は、モノクロセンサである。図１２に示す撮像素子１００の配列は、Ｎ：Ｌｔ：Ｒｔ＝２：１：１である。

図１３は、本実施形態の画素配列のバリエーションを示す図である。図１３に示す撮像素子１００は、隣接する８画素×８画素のパターン１１０を基本格子とする。パターン１１０は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。

パターン１１０内の画素をＰ_ＩＪで表す。例えば、左上画素はＰ_１１であり、右上画素はＰ_８１である。図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_７２…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_６３…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_４４…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_８４…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_３６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_７６…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_６７…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_４８…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_８８…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。ここでは、撮像素子１００は、カラーセンサである。図１３に示す撮像素子１００の配列は、Ｎ：Ｌｔ：Ｒｔ＝６：１：１である。

図１４は、本実施形態の画素配列のバリエーションを示す図である。図１４に示す撮像素子１００は、隣接する８画素×８画素のパターン１１０を基本格子とする。パターン１１０は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。また、図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。ここでは、撮像素子１００は、カラーセンサである。図１４に示す撮像素子１００の配列は、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１である。

図１３においては、撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分され、パターン１１０には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素が少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素のそれぞれが、パターン１１０内においてできるだけ等方性を有して配置されるとよい。なお、視差画素および視差なし画素が混合して配置されているので、一見ランダムに配置されるように見える。等方性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。

以上のそれぞれの配列において、視差なし画素の開口部の開口形状は、如何なる長方形状（矩形形状）をとればよいか説明する。それぞれの配列において視差画素の密度が異なるので、非対称ボケの影響度合いも異なると推察される。非対称ボケの影響度合いは、後の各実施形態で説明する画像処理を通して、中間的に生成される２Ｄ画像におけるボケで測定するものとする。なぜならば、後述する視差変調という画像処理を通して最終的に生成される３Ｄ画像は、右目用画像と左目用画像を単純に重ね合わせて表示すると中間的に生成された２Ｄ画像と同じ状態に見えるからである。

全画素数に占める視差画素の総数の割合（視差画素の密度）がδで表される場合に、視差なし画素の開口部における垂直方向の変形割合ｖをδの関数として表す。ただし、視差画素の密度は、互いに同数の左視差画素と右視差画素の和であり、視差なし画素と左視差画素と右視差画素の密度比が下記の（式１）で表されるとする。

Ｎ：Ｌｔ：Ｒｔ＝１−δ ： δ／２ ： δ／２ （式１）
上述した中間的に生成される２Ｄ画像を生成するにあたって、以下の実施形態で述べる画像処理では、視差なし画素の画素値と視差画素の画素値を密度比に応じて混合する処理を行う。これにより、全ての画素でサンプリングした空間情報を最大限に生かすことができる。実際には、画像処理部２０５は、撮像素子１００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。プレーンデータとは、同一に特徴付けられた画素グループごとに分離して寄せ集められた画像データである。画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺の視差なし画素の画素値を用いて補間処理により算出する。これにより、空格子が埋められたＮ画像を生成する。

同様に、画像処理部２０５は、撮像素子１００の全出力値から左視差画素の画素値以外の画素値を除去して空格子とする。そして、空格子となった画素値を、周辺の左視差画素の画素値を用いて補間処理により算出する。これにより、空格子が埋められたＬｔ画像を生成する。さらに画像処理部２０５は、撮像素子１００の全出力値から右視差画素の画素値以外の画素値を除去して空格子とする。そして、空格子となった画素値を、周辺の右視差画素の画素値を用いて補間処理により算出する。これにより、空格子が埋められたＲｔ画像を生成する。その後、Ｌｔ画像とＲｔ画像の平均画像を生成すると、当該平均画像も別な空間情報を備えた視差なし画像を表している。したがって、Ｎ画像と、Ｌｔ画像とＲｔ画像の平均画像の２種類の視差なし画像を混合して、新たに１つに統合した視差なし画像Ｎ'を生成する。これを各画素位置上で行う。ここでは、視差画素密度に応じた相乗平均をとる例を示す。これは後述するローカル・ゲインバランス補正と呼ばれる処理ステップで行う。

これを模式的に表すと密度比δの関数で表すことができる（式２）。

（式２）
中間２Ｄ画像を視差画素の密度の関数として生成するので、δの極限値、すなわち、δ→１の場合には視差画素のみで作成した画像となり、δ→０の場合には視差なし画素のみで作成した画像となる。この極限状態で、視差なし画素の開口部の開口形状ａ：ｂが如何なる値を採るべきかを考察すると、δの関数として表す場合の出発点の境界条件が与えられる。

δ→１の場合には視差画素のみで構成されるので、視差なし画素が存在しない。したがって、視差なし画素による補正はできない。δ→０の場合には視差なし画素のみで構成されるので、通常の２Ｄ専用センサと同等になり、視差なし画素の開口形状を変形する必要はない。したがって、ｖ＝０である。これは他が如何なる条件になろうとも常に成り立っていなければならない。したがって、ｖ＝０∝δと置くことができる。つまり、δが０の近傍において、ｖはδに比例する。δ＝０の場合にはｖ＝０となる。

次に、視差画素が半開口の状態から、水平方向に開口を広げた場合に、視差画素の開口形状の関数として視差なし画素の開口形状の変形割合ｖを表す場合について説明する。図１５は、視差画素の開口マスクの開口形状を説明する図である。視差Ｌｔ画素の開口部１０４ｌは、中心線３２２から右側に幅ｕだけ延伸している。一方、視差Ｒｔ画素の開口部１０４ｒは、中心線３２２から左側に幅ｕだけ延伸している。視差画素の開口部は、（式３）で表すことができる。

水平開口幅：垂直開口幅＝（（１／２）＋ｕ）：１ （式３）
この場合においても、まず初めに極限状態が如何なる境界条件を与えるかを考察する。視差画素の開口が全開口にまで広がる極限ｕ→１／２を想定する。この場合には、視差画素は視差なし画素として扱うことができるので、全てが視差なし画素となる。したがって、視差画素の密度に関係なく任意のδに対して、常に視差なし画素を変形する必要はない。つまり、ｖ＝０となる。これは他が如何なる条件を採ろうとも常に成り立っていなければならないので、ｖ＝０∝（（１／２）−ｕ）と置くことができる。

以上をまとめると、（式４）、（式５）、（式６）となる。
δ＝１の場合 補正不能 （式４）
δ＝０の場合 常にｖ＝０∝δ （式５）
任意のδに対して、ｕ＝１／２の場合 常にｖ＝０∝（（１／２）−ｕ） （式６）
以上から、（式７）を導くことができる。
ｖ∝δ（（１／２）−ｕ） （式７）

ｖがδと（（１／２）−ｕ）と比例関係にあることがわかったので、次にその比例係数を決めて絶対量を表現する。絶対量を表現するにあたって、視差画素が半開口の状態ｕ＝０で構成される単純な場合を考察するのがよい。更に、視差画素の密度がδ＝１／２である図１２に示されるＮ：Ｌｔ：Ｒｔ＝２：１：１の配列を考える。図１２の一方のＮ画素がＬｔ画素の非対称ボケを補正し、他方のＮ画素がＲｔ画素の非対称ボケを補正する役割を担うと仮定すると、Ｎ：Ｌｔ：Ｒｔ＝１−δ ： δ／２ ： δ／２であるので一般的に（式８）に示す関係が導かれる。
ｖ＝δ／２ （式８）
図１２〜図１４で示す画素配列の場合に、視差なし画素の変形割合ｖは如何なる値を採るかを以下に示す。

図１２に示したように、Ｎ：Ｌｔ：Ｒｔ＝２：１：１、すなわちδ＝１／２の場合には、（式９）となる。
Ｖ＝１／４ （式９）
図１３に示したように、Ｎ：Ｌｔ：Ｒｔ＝６：１：１、すなわちδ＝１／４の場合には、（式１０）となる。
Ｖ＝１／８ （式１０）
図１４に示したように、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１、すなわちδ＝１／８の場合には、（式１１）となる。
Ｖ＝１／１６ （式１１）

上記（式７）においてｕ＝０の場合に（式８）が成り立つので、比例定数は１であることがわかる。一般式として（式１２）を導出できる。
ｖ＝δ×（（１／２）−ｕ） （式１２）
したがって、視差なし画素の開口マスクにおける矩形形状の長辺と短辺の比ａ：ｂ、あるいはマイクロレンズの楕円形状の長軸径と短軸径の比ａ：ｂは次のように表すことができる。
ａ：ｂ＝１：１−δ×（（１／２）−ｕ） （式１３）
（式１３）は、ｕが負の領域についても成り立つ。つまり、｜ｕ｜＜１／２である。また、０＜δ＜１である。

ｕ＝０の場合において、図１２〜図１４で示す画素配列の場合のａとｂの比を示す。
図１２に示したように、Ｎ：Ｌｔ：Ｒｔ＝２：１：１、すなわちδ＝１／２の場合には、（式１４）となる。
ａ：ｂ＝１：１−１／４＝４：３ （式１４）
図１３に示したように、Ｎ：Ｌｔ：Ｒｔ＝６：１：１、すなわちδ＝１／４の場合には、（式１５）となる。
ａ：ｂ＝１：１−１／８＝８：７ （式１５）
図１４に示したように、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１、すなわちδ＝１／８の場合には、（式１６）となる。
ａ：ｂ＝１：１−１／１６＝１６：１５ （式１６）

＜実施形態１＞
ここでは、撮像素子１００の配列として図１２で示した配列を採用する。すなわち、撮像素子１００はモノクロセンサであり、撮像素子１００の配列は、Ｎ：Ｌｔ：Ｒｔ＝２：１：１である。視差なし画素の構成は、次のどちらか１つを採る。すなわち、開口部の長辺と短辺の比がａ：ｂ＝４：３である開口マスクを用いるか、長軸径と短軸径の比がａ：ｂ＝４：３となる楕円形状に集光特性を変形したマイクロレンズを用いるか、のいずれかである。以下にそうして撮像された画像データを現像する画像処理を示す。画像処理の手順は、およそ以下の通りである。

１）視差多重化モザイク画像データ入力
２）視差モザイク画像のグローバル・ゲインバランス補正
３）仮の視差画像の生成
４）左右の局所照度分布補正による視差なし基準画像の生成
（ローカル・ゲインバランス補正）
５）実際の視差画像の生成
６）出力空間への変換
以下、順に説明する。

１）視差多重化モザイク画像データ入力
図１２の視差が多重化された単板式モノクロのモザイク画像をＭ（ｘ，ｙ）で表す。階調はＡ／Ｄ変換によって出力された線形階調であるものとする。

便宜的にモザイク画像Ｍ（ｘ，ｙ）の内、視差なし画素の信号面をＮ_{ｍｏｓａｉｃ}（ｘ，ｙ）、左視差画素の信号面をＬｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）、右視差画素の信号面をＲｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）、と表すことにする。

こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をＭ'（ｘ，ｙ）として出力する。

３）仮の視差画像の生成
空間周波数解像度の低い分解能である仮の左視差画像と、空間周波数解像度の低い分解能である仮の右視差画像を生成する。左視差画素ばかりを集めた信号面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めた信号面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、Ｌｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）からＬｔ（ｘ，ｙ）を、Ｒｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）からＲｔ（ｘ，ｙ）を、Ｎ_{ｍｏｓａｉｃ}（ｘ，ｙ）からＮ（ｘ，ｙ）を生成する。仮の視差なし画像をＮ（ｘ，ｙ）、仮の左視差画像をＬｔ（ｘ，ｙ）、仮の右視差画像をＲｔ（ｘ，ｙ）と表す。なお、仮の視差なし画像Ｎ（ｘ，ｙ）を生成する場合には、信号面内での方向判定を導入して高精細に行うのがよい。

４）左右の照度分布補正による視差なし基準画像の生成
（ローカル・ゲインバランス補正）
次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間でさらに照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをＮ（ｘ，ｙ）と書くことにする。

このように左視点の画像と右視点の画像の平均値をさらに視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、モノクロ面のデータを書き換え、視差なしモノクロ面の画像Ｎ（ｘ，ｙ）を出力する。

５）実際の視差画像の生成
ステップ３で生成した解像力の低い仮の左視差画像Ｌｔ（ｘ，ｙ）とステップ５で中間処理として生成した解像力の高い視差なしのモノクロ画像Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い左視差のモノクロ画像Ｌｔ'（ｘ，ｙ）を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差画像Ｒｔ（ｘ，ｙ）とステップ５で中間処理として生成した解像力の高い視差なしのモノクロ画像Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い右視差のカラー画像Ｒｔ'（ｘ，ｙ）を生成する。

視差なしのモノクロ画像は、全開口のボケ幅と一致する被写体像を形成している。したがって、比を一定に保つ視差変調の分母には、左視点像と右視点像の相加平均による全開口のボケ幅を持った像を基準点にとり、視差変調後の左右の画像が再度、半開口のボケ幅をもつ像となるように変調を加える。

６）出力色空間への変換
こうして得られた高解像な視差なしの中間モノクロ画像Ｎ（ｘ，ｙ）と高解像の左視差のモノクロ画像Ｌｔ'（ｘ，ｙ）、高解像の右視差のモノクロ画像Ｒｔ'（ｘ，ｙ）のそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。

＜実施形態２＞
ここでは、撮像素子１００の配列として図１４で示した配列を採用する。すなわち、撮像素子１００はカラーセンサであり、撮像素子１００の配列は、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１である。視差なし画素の構成は、次のどちらか１つを採る。すなわち、開口部の長辺と短辺の比がａ：ｂ＝１６：１５となる開口マスクを用いるか、長軸と短軸の比がａ：ｂ＝１６：１５となる楕円形状に集光特性を変形したマイクロレンズを用いるか、のいずれかである。以下にそうして撮像された画像データを現像する画像処理を示す。画像処理の手順は、およそ以下の通りである。

１）色・視差多重化モザイク画像データ入力
２）色・視差モザイク画像のグローバル・ゲインバランス補正
３）仮の視差画像の生成
４）左右の局所照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
５）視差なし基準画像の生成
６）実際の視差画像の生成
７）出力色空間への変換
以下、順に説明する。

１）色・視差多重化モザイク画像データ入力
図１４の色と視差の多重化された単板式モザイク画像をＭ（ｘ，ｙ）で表す。階調はＡ／Ｄ変換によって出力された線形階調であるものとする。

便宜的にモザイク画像Ｍ（ｘ，ｙ）の内、Ｒ成分の視差なし画素の信号面をＲ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｒ成分の左視差画素の信号面をＲ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｒ成分の右視差画素の信号面をＲ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｇ成分の左視差画素の信号面をＧ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｇ成分の視差なし画素の信号面をＧ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｇ成分の右視差画素の信号面をＧ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｂ成分の視差なし画素の信号面をＢ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｂ成分の左視差画素の信号面をＢ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｂ成分の右視差画素の信号面をＢ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）と表すことにする。

こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をＭ'（ｘ，ｙ）として出力する。

３）仮の視差画像の生成
空間周波数解像度の低い分解能である仮の左視差画像と、空間周波数解像度の低い分解能である仮の右視差画像を生成する。左視差画素ばかりを集めたＧ色面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたＧ色面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めたＧ色面内の単純平均補間を行う。同様の処理をＲ，Ｇ，Ｂの各々について行う。すなわち、Ｒ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＲ_Ｌｔ（ｘ，ｙ）を、Ｒ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＲ_Ｒｔ（ｘ，ｙ）を、Ｒ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＲ_Ｎ（ｘ，ｙ）を、Ｇ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＧ_Ｌｔ（ｘ，ｙ）を、Ｇ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＧ_Ｒｔ（ｘ，ｙ）を、Ｇ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＧ_Ｎ（ｘ，ｙ）を、Ｂ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＢ_Ｌｔ（ｘ，ｙ）を、Ｂ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＢ_Ｒｔ（ｘ，ｙ）を、Ｂ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＢ_Ｎ（ｘ，ｙ）を生成する。

ここで、仮のＲ成分の視差なし画像をＲ_Ｎ（ｘ，ｙ）、仮のＧ成分の視差なし画像をＧ_Ｎ（ｘ，ｙ）、仮のＢ成分の視差なし画像をＢ_Ｎ（ｘ，ｙ）、仮のＲ成分の左視差画像をＲ_Ｌｔ（ｘ，ｙ）、仮のＧ成分の左視差画像をＧ_Ｌｔ（ｘ，ｙ）、仮のＢ成分の左視差画像をＢ_Ｌｔ（ｘ，ｙ）で表す。同様に、仮のＲ成分の右視差画像をＲ_Ｒｔ（ｘ，ｙ）、仮のＧ成分の右視差画像をＧ_Ｒｔ（ｘ，ｙ）、仮のＢ成分の右視差画像をＢ_Ｒｔ（ｘ，ｙ）で表す。なお、仮の視差なし画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）を生成する場合には、信号面内での方向判定を導入して高精細に行うのがよい。

４）左右の照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間でさらに照度を合わせる。以上により、全ての画素でゲイン整合のとれた新しいＢａｙｅｒ面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したＢａｙｅｒ面が出来上がる。これをＭ_Ｎ（ｘ，ｙ）と書くことにする。

なお、視差なし画素の開口マスクは全開口である。したがって、左右間で視差消滅させた被写体像のボケ幅を全開口のボケ幅と一致させる目的で相加平均を用いる。これにより、左右間の視差を消滅させる。

さらに、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作は、両者が既に同じボケ幅の被写体像に揃えられているので、そのボケ幅を保存する必要がある。したがって、この場合には共通に相乗平均をとらなければならない。ここで、視差画素の数は視差なし画素の数より少ない。加えて、視差画像の解像力は、視差なし画像の解像力より低い。したがって、視差なし画素の画素値と左右の視差画素の平均値とに対する重みの配分を均等にすると、得られる画像の解像力は、視差画像の解像力の影響により全体として低下する。よって、視差なし画像の解像力に可能な限り近づける工夫が必要になる。そこで、撮像素子上の画素配列における視差なし画素と視差画素の密度比を考慮に入れて相乗平均をとるとよい。具体的には、実施形態２で用いた視差なし画素（Ｎ）と左視差画素（Ｌｔ）と右視差画素（Ｒｔ）の比は、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１、すなわち、Ｎ：(Ｌｔ＋Ｒｔ)＝７：１であるので、視差なし画素には７／８乗の重みを、視差画素には１／８乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。以下にそれらの具体式を挙げる。

このように左視点の画像と右視点の画像の平均値と、視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、Ｂａｙｅｒ面のデータを書き換え、視差なしＢａｙｅｒ面の画像Ｍ_Ｎ（ｘ，ｙ）を出力する。

５）視差なし基準画像の生成
公知のＢａｙｅｒ補間技術を行う。例として、本出願人と同一発明者のＵＳＰ７９５７５８８（ＷＯ２００６／００６３７３）やＵＳＰ８２５９２１３に示される補間アルゴリズムがある。

６）実際の視差画像の生成
ステップ３で生成した解像力の低い仮の左視差のカラー画像Ｒ_Ｌｔ（ｘ，ｙ）、Ｇ_Ｌｔ（ｘ，ｙ）、Ｂ_Ｌｔ（ｘ，ｙ）とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い左視差のカラー画像Ｒ'_Ｌｔ（ｘ，ｙ）、Ｇ'_Ｌｔ（ｘ，ｙ）、Ｂ'_Ｌｔ（ｘ，ｙ）を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差のカラー画像Ｒ_Ｒｔ（ｘ，ｙ）、Ｇ_Ｒｔ（ｘ，ｙ）、Ｂ_Ｒｔ（ｘ，ｙ）とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い右視差のカラー画像Ｒ'_Ｒｔ（ｘ，ｙ）、Ｇ'_Ｒｔ（ｘ，ｙ）、Ｂ'_Ｒｔ（ｘ，ｙ）を生成する。

視差なし画素の開口マスクは全開口である。したがって、視差変調の方式として相加平均を基準点にとる方式を採用することにより、視差画像のボケ幅を伝達しつつ、Ｎ画像と（Ｌｔ画像+Ｒｔ画像）／２のボケ幅の違いを補正するような視差変調効果を得る。

ここで、例えば高解像な左視差画像Ｒ'_Ｌｔを生成するにあたって、視差変調を行う場合も、撮像素子の画素配列における各視差画素同士の間でのＲＧＢの密度比を考慮に入れた相乗平均をとる。すなわち、左視差画素同士の間ではＲ：Ｇ：Ｂ＝１：２：１であり、右視差画素同士の間でもＲ：Ｇ：Ｂ＝１：２：１であるので、Ｒ成分による視差変調に１／４乗の重みを、Ｇ成分による視差変調に１／２乗の重みを、Ｂ成分による視差変調に１／４乗の重みを与えて、密度の高いＧ成分による視差変調を重視した配分をとる。具体的には、以下の式を用いて高解像な左視差画像Ｒ'_Ｌｔ、Ｇ'_Ｌｔ、Ｂ'_Ｌｔと高解像な右視差画像Ｒ'_Ｒｔ、Ｇ'_Ｒｔ、Ｂ'_Ｒｔを算出する。

７）出力色空間への変換
こうして得られた高解像な視差なしの中間カラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）と高解像の左視差のカラー画像Ｒ_Ｌｔ（ｘ，ｙ）、Ｇ_Ｌｔ（ｘ，ｙ）、Ｂ_Ｌｔ（ｘ，ｙ）、高解像の右視差のカラー画像Ｒ_Ｒｔ（ｘ，ｙ）、Ｇ_Ｒｔ（ｘ，ｙ）、Ｂ_Ｒｔ（ｘ，ｙ）のそれぞれをセンサの分光特性のカメラＲＧＢから標準的なｓＲＧＢ色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。

なお、撮像素子１００の配列として図１３で示した配列、すなわちＮ：Ｌｔ：Ｒｔ＝６：１：１の配列を採用する場合には、視差なし画素の構成は、次のどちらか１つを採る。すなわち、開口部の長辺と短辺の比がａ：ｂ＝８：７となる開口マスクを用いるか、長軸と短軸の比がａ：ｂ＝８：７となる楕円形状に集光特性を変形したマイクロレンズを用いるか、の何れかである。現像処理は実施形態２と同様の手続きを経るので説明は省略する。ただし、ローカル・ゲインバランス補正の場合のＮ画像とＬｔ画像とＲｔ画像の混合割合が、視差画素の密度の変化に伴って変える必要がある。

以上の実施形態では、左右に視差をつける例を示したが、撮像素子と光学系を同時に９０度回転すれば、上下視差の撮像系の実施形態となる。４５度回転すれば斜め視差の撮像系の実施形態となる。

特許文献２に示されるような、画素が正方形ではないハニカム構造であっても、Ｎ画素とＬｔ画素とＲｔ画素が混在する配列では同様の考え方が成り立つ。すなわち、左右に視差がつくように視差画素が構成されている場合は、左右視差の実施形態と同様にＮ画素を水平方向と垂直方向との間で視差画素と逆方向に変形する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、２２ 絞り、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０４ｌ 開口部、１０４ｒ 開口部、１０４ｎ 開口部、１０５ 配線層、１０６ 配線、１０８ 光電変換素子、１０９ 基板、１１０ パターン、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２２０ メモリカード、３００ 撮像素子、３１０ パターン、３２２ 中心線、１８０１ 分布曲線、１８０２ 分布曲線、１８０３ 分布曲線、１８０４ 分布曲線、１８０５ 分布曲線、１８０６ 合成分布曲線、１８０７ 分布曲線、１８０８ 分布曲線、１８０９ 合成分布曲線

Claims (17)

1. １つの光学系の入射光束に対して、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、左方向の視点を生み出す開口マスクを備えた左視差画素と、右方向の視点を生み出す開口マスクを備えた右視差画素の少なくとも３種類の画素を持つ画素配列からなる撮像素子であって、
   前記視差なし画素の開口マスクの垂直開口幅が水平開口幅より狭い撮像素子。
2. 前記左視差画素と前記右視差画素がそれぞれ互いに重ならない領域の半開口のマスクを備え、前記視差なし画素が前記半開口の領域を互いに重ね合わせた領域の全開口マスクを備え、
   前記視差なし画素と前記左視差画素と前記右視差画素との間の密度比が（１−δ）：δ／２：δ／２で表される時、
   前記視差なし画素の水平開口幅ａと垂直開口幅ｂの間の開口比を
   ａ：ｂ＝１：（１−（δ／２）），０＜ δ＜１
   に設定する請求項１に記載の撮像素子。
3. 前記視差なし画素の水平と垂直の間の開口比を、前記視差画素と視差なし画素との間の密度比の他に、前記視差画素の開口マスクの形状にも応じて設定する請求項１に記載の撮像素子。
4. 前記左視差画素と前記右視差画素がそれぞれ互いに重ならない半開口の領域と一部で重なる領域の開口マスク（垂直開口幅：水平開口幅＝１：（１／２）＋ｕ）を備え、
   前記視差なし画素と前記左視差画素と前記右視差画素との間の密度比が（１−δ）：δ／２：δ／２で表される時、
   前記視差なし画素の水平開口幅ａと垂直開口幅ｂの間の開口比を
   ａ：ｂ＝１：１−δ×（（１／２）−ｕ），０＜ δ＜１， ｜ｕ｜＜１／２
   に設定する請求項３に記載の撮像素子。
5. １つの光学系の入射光束に対して、基準方向の視点を生み出すマイクロレンズと開口マスクを備えた視差なし画素と、左方向の視点を生み出すマイクロレンズと開口マスクを備えた左視差画素と、右方向の視点を生み出すマイクロレンズと開口マスクを備えた右視差画素の少なくとも３種類の画素を持つ画素配列からなる撮像素子であって、
   前記視差なし画素のマイクロレンズの集光特性を垂直方向が水平方向より少なくなるように非等方な形に変形する撮像素子。
6. 前記左視差画素と前記右視差画素がそれぞれ互いに重ならない領域の半開口のマスクを備え、前記視差なし画素が前記半開口の領域を互いに重ね合わせた領域の全開口マスクを備え、
   前記視差なし画素と前記左視差画素と前記右視差画素との間の密度比が（１−δ）：δ／２：δ／２で表される時、
   前記視差なし画素のマイクロレンズの水平方向の入射光量ａと垂直方向の入射光量ｂの間の比を
   ａ：ｂ＝１：（１−（δ／２）），０＜ δ＜１
   に設定する請求項５に記載の撮像素子。
7. 前記視差なし画素のマイクロレンズの水平と垂直の間の偏平率を、前記視差画素と視差なし画素との間の密度比の他に、前記視差画素の開口マスクの形状にも応じて設定する請求項５に記載の撮像素子。
8. 前記左視差画素と前記右視差画素がそれぞれ互いに重ならない半開口の領域と一部で重なる領域の開口マスク（垂直開口幅：水平開口幅＝１：（１／２）＋ｕ）を備え、
   前記視差なし画素と前記左視差画素と前記右視差画素との間の密度比が（１−δ）：δ／２：δ／２で表される時、
   前記視差なし画素のマイクロレンズの水平方向の入射光量ａと垂直方向の入射光量ｂの間の比を
   ａ：ｂ＝１：１−δ×（（１／２）−ｕ），０＜ δ＜１， ｜ｕ｜＜１／２
   に設定する請求項７に記載の撮像素子。
9. 請求項１から８のいずれか１項に記載の撮像素子と、
   光路途中に円形の絞りを備える１つの光学系と
   を備える撮像装置。
10. 被写体光束を受光する第１受光領域が、画素中心に対して第１軸方向に偏位した位置に設定された偏位画素と、
    前記被写体光束を受光する第２受光領域が、前記画素中心に対して偏位していない位置に設定された非偏位画素とを備え、
    前記第１受光領域における前記第１軸方向の第１領域幅は、前記第１軸方向に直交する第２軸方向の第２領域幅よりも短く、前記第２受光領域における前記第１軸方向の第１領域幅は、前記第２軸方向の第２領域幅より長い
    撮像素子。
11. 前記偏位画素と前記非偏位画素の密度比がδ：１−δ（ただし、０＜δ＜１）で表される場合に、
    ａ：ｂ＝１：（１−（δ／２））（ａ：第２受光領域の第１領域幅、ｂ：第２受光領域の第２領域幅）
    の関係を満たす請求項１０に記載の撮像素子。
12. 前記偏位画素と前記非偏位画素の密度比がδ：１−δ（ただし、０＜δ＜１）で表され、かつ、前記第１受光領域における前記第２領域幅と前記第１領域幅の比が１：（１／２）＋ｕ（ただし、｜ｕ｜＜１／２）で表される場合に、
    ａ：ｂ＝１：（１−δ×（（１／２）−ｕ））（ａ：第２受光領域の第１領域幅、ｂ：第２受光領域の第２領域幅）
    の関係を満たす請求項１０に記載の撮像素子。
13. 前記偏位画素および前記非偏位画素は、開口部の形状が互いに異なる開口マスクを有し、当該開口マスクにより前記第１受光領域および前記第２受光領域が設定される請求項１０から１２のいずれか１項に記載の撮像素子。
14. 第１マイクロレンズにより集光された被写体光束を受光する第１受光領域が、画素中心に対して第１軸方向に偏位した位置に設定された偏位画素と、
    第２マイクロレンズにより集光された被写体光束を受光する第２受光領域が、前記画素中心に対して偏位していない位置に設定された非偏位画素とを備え、
    前記第１受光領域における前記第１軸方向の第１領域幅は、前記第１軸方向に直交する第２軸方向の第２領域幅よりも短く、前記第２マイクロレンズの前記第１軸方向に対応する方向の入射光量は、前記第１軸方向に直交する第２軸方向に対応する方向の入射光量より多い
    撮像素子。
15. 前記偏位画素と前記非偏位画素の密度比がδ：１−δ（ただし、０＜δ＜１）で表される場合に、
    ａ：ｂ＝１：（１−（δ／２））（ａ：第２マイクロレンズの第１軸方向の入射光量、ｂ：第２マイクロレンズの第２軸方向の入射光量）
    を満たす請求項１４に記載の撮像素子。
16. 前記偏位画素と前記非偏位画素の密度比がδ：１−δ（ただし、０＜δ＜１）で表され、かつ、前記第１受光領域における前記第２領域幅と前記第１領域幅の比が１：（１／２）＋ｕ（ただし、｜ｕ｜＜１／２）で表される場合に、
    ａ：ｂ＝１：（１−δ×（（１／２）−ｕ））（ａ：第２マイクロレンズの第１軸方向の入射光量、ｂ：第２マイクロレンズの第２軸方向の入射光量）
    を満たす請求項１４に記載の撮像素子。
17. 請求項１０から１６のいずれか１項に記載の撮像素子と、
    前記撮像素子に導く被写体光束を調整する円形絞りを有する１つの光学系と
    を備える撮像装置。

Images