JPWO2016009707A1 - 複眼撮像装置 - Google Patents

Abstract

画質を向上させる。複眼撮像装置は、複数の個眼光学系と、撮像素子と、信号処理部とを具備する複眼撮像装置である。複眼撮像装置が具備する複数の個眼光学系は、被写体に対向して２次元状に配置される。また、複眼撮像装置が具備する撮像素子は、個眼光学系により集光される光を受光して画像信号を生成する複数の画素を個眼単位で備えるものである。また、複眼撮像装置が具備する信号処理部は、複眼撮像装置が具備する撮像素子により生成された画像信号に基づいて被写体に対応する画像を生成するものである。

Description

本技術は、複眼撮像装置に関する。詳しくは、画像データを生成する複眼撮像装置に関する。

従来、被写体を撮像して画像データを生成する撮像装置が存在する。例えば、１つの光学系を備えるデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が広く普及している。

また、例えば、複数の光学系を備える複眼撮像装置が提案されている（例えば、特許文献１参照。）。

特開２００１−６１１０９号公報

上述の従来技術では、複数の光学系に対応する複数の個眼のそれぞれにより画像信号（画像データ）が生成される。また、複数の個眼のそれぞれにより生成される画像信号（画像データ）を用いて出力画像が生成される。

このように、複数の個眼のそれぞれにより生成される画像信号（画像データ）を用いて出力画像が生成されるため、この出力画像の画質を高めることが重要である。

本技術はこのような状況に鑑みて生み出されたものであり、画質を向上させることを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、被写体に対向して２次元状に配置される複数の個眼光学系と、上記個眼光学系により集光される光を受光して画像信号を生成する複数の画素を個眼単位で備える撮像素子と、上記撮像素子により生成された画像信号に基づいて上記被写体に対応する画像を生成する信号処理部とを具備する複眼撮像装置である。これにより、複数の画素を個眼単位で備える撮像素子により生成された画像信号に基づいて、被写体に対応する画像を生成するという作用をもたらす。

また、この第１の側面において、上記個眼光学系の光軸の位置をずらすことにより空間画素ずらしを行うようにしてもよい。これにより、個眼光学系の光軸の位置をずらすことにより空間画素ずらしを行うという作用をもたらす。

また、この第１の側面において、上記信号処理部は、上記個眼光学系の倍率色収差による焦点面上の周辺部における色に応じて生じる像のずれを補正するようにしてもよい。これにより、個眼光学系の倍率色収差による焦点面上の周辺部における色に応じて生じる像のずれを補正するという作用をもたらす。

また、この第１の側面において、上記複数の個眼光学系のうちの少なくとも１つの光学特性を他の個眼光学系と異なるようにするようにしてもよい。これにより、複数の個眼光学系のうちの少なくとも１つの光学特性を他の個眼光学系と異なるようにした複眼撮像装置を用いるという作用をもたらす。

また、この第１の側面において、上記撮像素子の周辺部における個眼光学系のＦ値を他の個眼光学系のＦ値よりも小さくするようにしてもよい。これにより、撮像素子の周辺部における個眼光学系のＦ値を他の個眼光学系のＦ値よりも小さくした複眼撮像装置を用いるという作用をもたらす。

また、この第１の側面において、上記複眼撮像装置は、ＷＬＣＭ（Wafer Level Camera Module）および積層型複眼撮像装置により構成され、上記個眼の数を閾値を基準として多くするようにしてもよい。これにより、個眼の数を閾値を基準として多くした複眼撮像装置を用いるという作用をもたらす。

また、この第１の側面において、上記複数の個眼のうちで使用されない個眼の駆動の停止と、当該個眼に設置されるＡＤＣ（Analog to Digital Converter）のオフとのうちの少なくとも１つを行う制御部をさらに具備するようにしてもよい。これにより、個眼の駆動の停止とＡＤＣのオフとのうちの少なくとも１つを行うという作用をもたらす。

また、この第１の側面において、上記複数の個眼のうちの少なくとも１つに距離センサを備えるようにしてもよい。これにより、複数の個眼のうちの少なくとも１つに備えられる距離センサを用いるという作用をもたらす。

また、この第１の側面において、上記複数の個眼のうちの少なくとも１つを、偏光角度が他の個眼と異なる個眼とするようにしてもよい。これにより、複数の個眼のうちの少なくとも１つを、偏光角度が他の個眼と異なる個眼とした複眼撮像装置を用いるという作用をもたらす。

また、この第１の側面において、上記複数の個眼のうちの少なくとも１つを、分光感度が他の個眼と異なる個眼とするようにしてもよい。これにより、複数の個眼のうちの少なくとも１つを、分光感度が他の個眼と異なる個眼とした複眼撮像装置を用いるという作用をもたらす。

また、この第１の側面において、上記複数の個眼のうちの少なくとも１つを他の個眼と異なる材料とするようにしてもよい。これにより、複数の個眼のうちの少なくとも１つを他の個眼と異なる材料とした複眼撮像装置を用いるという作用をもたらす。

また、この第１の側面において、上記撮像素子は、個片化されたチップを並べて疑似１チップ化され、ＭＬＡ（Multi Lens Array）を付加して作製されるようにしてもよい。これにより、個片化されたチップを並べて疑似１チップ化され、ＭＬＡを付加して作製される撮像素子を用いるという作用をもたらす。

また、この第１の側面において、上記撮像素子は、タイリングで作製されるようにしてもよい。これにより、タイリングで作製される撮像素子を用いるという作用をもたらす。

また、この第１の側面において、上記撮像素子は、光の入射方向において同一画素で異なる色情報を取得するための複数の層からなるようにしてもよい。これにより、光の入射方向において同一画素で異なる色情報を取得するための複数の層からなる撮像素子を用いて画像を生成するという作用をもたらす。

また、この第１の側面において、上記個眼毎の像距離（レンズから結像面までの距離）を調整するための像距離調整部をさらに具備するようにしてもよい。これにより、個眼毎の像距離を調整するという作用をもたらす。

また、この第１の側面において、上記個眼毎に合焦状態を変更するようにしてもよい。これにより、個眼毎に合焦状態を変更するという作用をもたらす。

また、この第１の側面において、上記個眼毎に異なる焦点距離を設定するようにしてもよい。これにより、個眼毎に異なる焦点距離を設定するという作用をもたらす。

また、この第１の側面において、上記個眼光学系の光学特性に関する光学特性情報を保持する保持部をさらに具備し、上記信号処理部は、上記保持されている光学特性情報を用いて信号処理を行うことにより上記被写体に対応する画像を生成するようにしてもよい。これにより、保持されている光学特性情報を用いて信号処理を行うことにより被写体に対応する画像を生成するという作用をもたらす。

また、この第１の側面において、上記信号処理部は、上記撮像素子により生成された画像信号のうち、時間応答補正処理が行われる前の画像信号と、上記時間応答補正が行われた後の画像信号との双方を用いて画像を生成するようにしてもよい。これにより、撮像素子により生成された画像信号のうち、時間応答補正処理が行われる前の画像信号と、時間応答補正が行われた後の画像信号との双方を用いて画像を生成するという作用をもたらす。

また、この第１の側面において、上記信号処理部は、上記撮像素子により生成された画像信号について上記撮像素子による光電変換の時間応答特性により生じる差異を補正するようにしてもよい。これにより、撮像素子により生成された画像信号について、撮像素子による光電変換の時間応答特性により生じる差異を補正するという作用をもたらす。

本技術によれば、画質を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の基礎となる複眼撮像装置１０の構成例を示す図である。 本技術の基礎となる複眼撮像装置により生成される複眼画像による再構成画像の導出例を示す図である。 本技術の基礎となる複眼撮像装置により生成される複眼画像による距離情報の抽出例を示す図である。 本技術の基礎となるイメージセンサの上面および断面を簡略化して示す図である。 本技術の基礎となるイメージセンサの上面および断面を簡略化して示す図である。 本技術の基礎となるイメージセンサの上面および断面を簡略化して示す図である。 本技術の基礎となるイメージセンサの上面および断面を簡略化して示す図である。 本技術の基礎となるイメージセンサの上面および断面を簡略化して示す図である。 本技術の第１の実施の形態における複眼撮像装置１００の機能構成例を示すブロック図である。 本技術の第１の実施の形態における複眼撮像部１１０が備えるイメージセンサを簡略的に示す図である。 本技術の第１の実施の形態における複眼撮像部１１０が備えるイメージセンサを簡略的に示す図である。 本技術の第１の実施の形態における複眼撮像部１１０が備えるイメージセンサを簡略的に示す図である。 本技術の第２の実施の形態における複眼撮像装置が備えるイメージセンサを簡略的に示す図である。 本技術の第２の実施の形態における複眼撮像装置が備えるイメージセンサを簡略的に示す図である。 本技術の第２の実施の形態における複眼撮像装置が備えるイメージセンサを簡略的に示す図である。 本技術の第２の実施の形態における複眼撮像装置が備えるイメージセンサを簡略的に示す図である。 本技術の第２の実施の形態における複眼撮像装置が備えるイメージセンサを簡略的に示す図である。 本技術の第３の実施の形態における複眼撮像部１１０の断面を示す図である。 本技術の第４の実施の形態における複眼撮像部１１０の断面を示す図である。 本技術の第４の実施の形態における複眼撮像部１１０の断面を示す図である。 本技術の第４の実施の形態における複眼撮像部１１０の断面を示す図である。 本技術の第５の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第５の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第５の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第５の実施の形態における複眼撮像装置による画像処理例を模式的に示す図である。 本技術の第６の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第６の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第６の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第６の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第７の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第８の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第８の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第８の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第９の実施の形態における複眼撮像装置の構成例を示す図である。 本技術の第１０の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第１０の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第１０の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第１０の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第１０の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第１１の実施の形態における複眼撮像部１１０の構成例を示す図である。 本技術の第１３の実施の形態における複眼撮像部１１０に用いられるグローバルシャッタ方式のＣＭＯＳイメージセンサ４００の構成例を示す図である。 本技術の第１４の実施の形態における複眼撮像部１１０に用いられる裏面照射型ＣＭＯＳイメージセンサの構成例を示す図である。 本技術の第１５の実施の形態における複眼撮像部１１０に用いられる積層型イメージセンサの構成例を示す図である。 本技術の第１６の実施の形態における距離センサを備えるイメージセンサの一例を示す断面図である。 本技術の第１７の実施の形態における偏光子アレイ４５１を備えるイメージセンサの一例を示す分解斜視図である。 本技術の第１８の実施の形態における複眼撮像部１１０に分光感度が異なる個眼を備える場合の例を示す。 本技術の第１９の実施の形態における複眼撮像部１１０に可視光以外の感度を有するセンサを備える場合の例を示す。 本技術の第１９の実施の形態における複眼撮像部１１０を構成する光電変換材料の一例を示す図である。 本技術の第２０の実施の形態における複眼撮像部１１０の断面を示す図である。 本技術の第２１の実施の形態における複眼撮像部１１０の外観を示す上面図である。 本技術の第２２の実施の形態における複眼撮像部１１０の外観を示す上面図である。 本技術の第２５の実施の形態における複眼撮像装置６００の外観を示す上面図である。 本技術の第２６の実施の形態における複眼撮像装置６１０の断面を示す断面図である。 本技術の第２７の実施の形態における複眼撮像装置６２０を示す断面図である。 本技術の第２８の実施の形態における複眼撮像装置６３０を示す上面図である。 本技術の第２９の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第２９の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第２９の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３０の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３０の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３０の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３０の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３０の実施の形態における複眼撮像部１１０から出力される画像信号の出力波形を示す図である。 本技術の第３０の実施の形態における複眼撮像部１１０から出力される画像信号の出力波形を示す図である。 本技術の第３０の実施の形態における複眼撮像部１１０に用いられる積層型イメージセンサの構成例を示す図である。 本技術の第３１の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３１の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３１の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３１の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３１の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３２の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３２の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３３の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３３の実施の形態における複眼撮像部１１０の断面を示す断面図である。 本技術の第３５の実施の形態における複眼撮像部１１０から出力される画像信号の出力波形を示す図である。 本技術の第３６の実施の形態における複眼撮像部１１０から出力される画像信号の出力波形を示す図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（色フィルタ（光学フィルタ）毎に画素の実効開口を変更する例）
２．第２の実施の形態（個眼の光軸の位置をずらすことにより空間画素ずらしを行う例）
３．第３の実施の形態（個眼レンズの倍率色収差を信号処理で補正する例）
４．第４の実施の形態（個眼レンズの軸上色収差による焦点距離の差異に応じて個眼の光学設計をする例）
５．第５の実施の形態（１つの個眼を複数のサブ個眼で構成する例）
６．第６の実施の形態（複数の個眼レンズのうちの少なくとも１つの光学特性や構造を異なるように構成する例）
７．第７の実施の形態（個眼毎に瞳補正を行う例）
８．第８の実施の形態（スペースに余裕のある周辺の光学系のＦ値を小さくすることによりシェーディング特性を向上させる例）
９．第９の実施の形態（ＷＬＣＭ（Wafer Level Camera Module）および積層型複眼撮像装置において個眼の数を増加させることにより感度を高める例）
１０．第１０の実施の形態（ＷＬＣＭにおいて感度の異なる個眼を配置して感度およびダイナミックレンジ（Dynamic Range）を高める例）
１１．第１１の実施の形態（複眼撮像部から複数の読み出し方法により読み出しを行う例）
１２．第１２の実施の形態（個眼の駆動やＡＤＣ（Analog to Digital Converter）をオフして消費電力を低減させる例）
１３．第１３の実施の形態（グローバルシャッタ方式のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いる例）
１４．第１４の実施の形態（裏面照射型ＣＭＯＳイメージセンサを用いる例）
１５．第１５の実施の形態（積層型イメージセンサを用いる例）
１６．第１６の実施の形態（距離センサを個眼に配置する例）
１７．第１７の実施の形態（偏光角度が異なる個眼を設ける例）
１８．第１８の実施の形態（分光感度が異なる個眼を設ける例）
１９．第１９の実施の形態（可視光以外の感度を有するセンサからなる個眼を設ける例）
２０．第２０の実施の形態（ＷＬＣＭの視差を利用して距離情報を算出する例）
２１．第２１の実施の形態（複数の個眼のうちの少なくとも１つを他と異なる材料とする例）
２２．第２２の実施の形態（個片化したイメージセンサ（撮像素子）のチップを並べて疑似１チップ化してマルチレンズアレイ（ＭＬＡ）等を付加して複眼撮像部を作製する例）
２３．第２３の実施の形態（タイリングで複眼撮像部を作製する例）
２４．第２４の実施の形態（タイリング、薄肉化、再配線、積層接続で複眼撮像部を作製する例）
２５．第２５の実施の形態（複数の複眼撮像部を並べて撮像する撮像装置の例）
２６．第２６の実施の形態（個眼、または、複数の複眼撮像部を並べる面や角度を変えて複眼撮像装置を作製する例）
２７．第２７の実施の形態（薄肉化した複眼撮像装置を基準面に貼り付けることにより、 複眼撮像装置を湾曲させる、または、個眼の基準面を変え、個眼の光軸を変える例）
２８．第２８の実施の形態（個眼（または、複数の複眼撮像部）が接続されている場合に、その個眼（または、複数の複眼撮像部）同士の相対位置のずれ、傾き、ねじれの大きさを検出する例）
２９．第２９の実施の形態（撮像素子の受光面を個眼毎に凹部形状とする例）
３０．第３０の実施の形態（光の入射方向において同一画素で異なる色情報を取得するための複数の層からなる撮像素子の例）
３１．第３１の実施の形態（個眼毎の像距離を調整するための像距離調整部を備える複眼撮像装置の例）
３２．第３２の実施の形態（個眼毎に合焦状態を変更する複眼撮像装置の例）
３３．第３３の実施の形態（個眼毎に異なる焦点距離を設定する複眼撮像装置の例）
３４．第３４の実施の形態（個眼光学系の光学特性に関する情報（光学特性情報）を保持して信号処理に用いる複眼撮像装置の例）
３５．第３５の実施の形態（時間応答補正前後の両信号を利用する複眼撮像装置の例）
３６．第３６の実施の形態（光電変換の時間応答特性差異を補正する複眼撮像装置の例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の基礎となる複眼撮像装置１０の構成例を示す図である。また、図１では、複眼撮像装置１０との比較例として単眼撮像装置２０の構成例を示す。すなわち、図１のａには、複眼撮像装置１０の構成例を示し、図１のｂには、単眼撮像装置２０の構成例を示す。なお、図１のａおよびｂでは、説明の容易のため、各構成を簡略化して示す。

図１のａに示す複眼撮像装置１０は、１つのカメラに複数の個眼レンズ１１乃至１４が備えられているカメラである。複数の個眼レンズ１１乃至１４のそれぞれにより集光された光がイメージセンサ（撮像素子）１５により受光される。そして、イメージセンサ１５により光電変換された画像信号が、信号処理部１６により信号処理される。この信号処理により、複数の個眼レンズ１１乃至１４のそれぞれにより集光された光に基づく、１つの画像が生成されて出力される。

図１のｂに示す単眼撮像装置２０は、１つのカメラに１つのレンズ２１が備えられているカメラである。レンズ２１により集光された光がイメージセンサ２２により受光される。そして、イメージセンサ２２により光電変換された画像信号が、信号処理部２３により信号処理される。この信号処理により、レンズ２１により集光された光に基づく、１つの画像が生成されて出力される。

ここで、複眼撮像装置１０の主な特長は、単眼撮像装置２０よりもレンズ（個眼レンズ）の表面からイメージセンサまでの距離を短くすることができることである。このため、例えば、カメラの厚さを薄くすることができる。また、複数の個眼による視差等を利用してカメラから被写体までの距離情報を抽出することができる。また、個眼により得られた画像情報について、複眼撮像装置１０の構造に基づいた信号処理を施すことにより、個眼の解像度よりも高い解像度を得ることができる。

複眼撮像装置１０におけるこれらの特長の中で、個眼により得られた画像情報を、複眼撮像装置１０の構造に基づく信号処理を施すことにより、個眼の解像度よりも高い解像度を得る手法に関しては、図２を参照して詳細に説明する。

［複眼画像による再構成画像の導出例］
図２は、本技術の基礎となる複眼撮像装置により生成される複眼画像による再構成画像の導出例を示す図である。図２では、垂直方向において３つの個眼レンズ１７乃至１９が設置されている複眼撮像装置の例を示す。

例えば、次の式を用いてｘ０を算出することができる。
ｘ０＝｛（ｉｘ／ｒ ｒｅｓｏｌｕｔｉｏｎ）×ｒ ｈｅｉｇｈｔ｝＋（ｒ ｂｏｔｔｏｍ×ｘｓ）＝｛（ｘｃ−ｘ０）×ｆｓ／ｄ｝＋ｘｃ

この式を用いて求められたｘ０を用いて、複眼画像による再構成画像を導出することができる。

［複眼画像による距離情報の抽出例］
図３は、本技術の基礎となる複眼撮像装置により生成される複眼画像による距離情報の抽出例を示す図である。

例えば、複数の個眼による視差等を利用して複眼撮像装置から被写体までの距離情報を抽出することができる。例えば、９つの個眼を用いて撮像動作を行うモードＡと、２つの個眼を用いて撮像動作を行うモードＢとのそれぞれにより生成された画像データを用いる。

そして、モードＡにより生成された画像データと、モードＢにより生成された画像データとについて、複数の仮想距離を設定し、再構成画像を生成する。続いて、これらの画像データについて差分演算を行い、最少となる仮想距離を抽出し、その仮想距離に基づいて距離情報を求めることができる。

［実効開口の計算例］
次に、イメージセンサの実効開口および実効開口率について図面を参照して説明する。

実効開口は、画素において実効的に入射光を取り入れることができる面積を意味する。例えば、表面型イメージセンサにおいては、画素にあるフォトダイオードの開口面積が小さくても、オンチップレンズを付けることにより、画素面積と同程度の実効開口を得ることができる。また、例えば、裏面型イメージセンサに関しては、オンチップレンズが無い場合でも、実効開口を画素面積と同程度にすることができる。

図４乃至図８は、本技術の基礎となるイメージセンサの上面および断面を簡略化して示す図である。図４乃至図８のａには、イメージセンサの上面図を示し、図４乃至図８のｂには、イメージセンサの断面図を示す。

図４乃至図８のａにおいて、２次元上に配置されている複数の矩形は画素を表す。また、図４乃至図８のｂにおいて、点線の複数の矩形は画素を表す。また、図５のｂ、図８のｂにおいて、黒塗りの複数の矩形は遮光膜（例えば、４１、４４）を表す。また、図６乃至図８のｂにおいて、複数の半円形はオンチップレンズ（例えば、４２、４３、４５）を表す。

また、ｐｘは、画素の水平方向の長さを示す。また、ｐｙは、画素の垂直方向の長さを示す。また、Ｗは、実効開口の水平方向の長さを示す。また、Ｈは、実効開口の垂直方向の長さを示す。この場合に、実効開口面積Ｓａは、Ｓａ＝Ｗ×Ｈで求めることができ、画素面積Ｓｐは、Ｓｐ＝ｐｘ×ｐｙで求めることができる。

また、実効開口率は、実効開口面積および画素面積の比を意味する。図４に示すように、画素および実効開口の形状を矩形で表すことができる場合には、実効開口率Ｇは、次の式により表される。
Ｇ＝Ｓａ／Ｓｐ＝（Ｗ×Ｈ）／（Ｐｘ×Ｐｙ）

ここで、図４には、裏面イメージセンサのように画素開口率が１００％のイメージセンサの一例を示す。

また、図５には、混色抑制のために裏面イメージセンサに画素間遮光膜（遮光膜４１）を設けることにより画素開口率が１００％よりも小さくなるイメージセンサの一例を示す。

また、図６には、混色抑制のために裏面イメージセンサにオンチップレンズ４２を設け、画素開口率１００％を保持するイメージセンサの一例を示す。

また、図７には、混色抑制等のために裏面イメージセンサに画素面積よりも小さなオンチップレンズ４３を設けることにより画素開口率が１００％よりも小さくなるイメージセンサの一例を示す。

また、図８には、混色抑制等のために裏面イメージセンサに画素間遮光膜（遮光膜４４）を設け、さらに、画素面積よりも小さなオンチップレンズ４５を設けることにより画素開口率が１００％よりも小さくなるイメージセンサの一例を示す。

＜１．第１の実施の形態＞
本技術の第１の実施の形態では、色フィルタ（光学フィルタ）毎に画素の実効開口を変更する例を示す。

［複眼撮像装置の構成例］
図９は、本技術の第１の実施の形態における複眼撮像装置１００の機能構成例を示すブロック図である。

複眼撮像装置１００は、複眼撮像部１１０と、信号処理部１２０と、制御部１３０と、表示部１４０と、記憶部１５０と、操作受付部１６０と、無線通信部１７０とを備える。なお、図９では、複眼撮像装置１００が、表示部１４０、操作受付部１６０および無線通信部１７０を備える例を示すが、これらのうちの少なくとも１つを省略して複眼撮像装置１００を構成するようにしてもよい。また、例えば、外部機器とのデータのやりとりを行うインターフェースを複眼撮像装置１００に設けるようにしてもよい。この場合には、例えば、複眼撮像装置１００は、そのインターフェースを介して接続される外部機器（例えば、表示装置）から情報を出力（例えば、画像表示）させることができる。また、例えば、複眼撮像装置１００は、そのインターフェースを介して接続される外部機器（例えば、入力装置）において入力された情報（ユーザによる操作入力の情報）を取得することができる。また、例えば、複眼撮像装置１００は、そのインターフェースを介して接続される外部機器（例えば、無線通信装置）により、無線通信を利用して他の装置との情報（例えば、画像情報）のやりとりを行うことができる。

複眼撮像部１１０は、制御部１３０の制御に基づいて、被写体を撮像して画像信号（画像データ）を生成するものであり、生成された画像信号を信号処理部１２０に出力する。例えば、複眼撮像部１１０は、複数の個眼光学系（個眼レンズ）と、撮像素子（イメージセンサ）と、色フィルタとを備える。ここで、個眼光学系（個眼レンズ）は、被写体に対向して２次元状に配置されるものである。また、撮像素子（イメージセンサ）は、個眼光学系により集光される光を受光して画像信号を生成する複数の画素を個眼単位で備えるものである。また、色フィルタは、個眼毎に設置されるものである。なお、複眼撮像部１１０の構成については、本技術の第１の実施の形態および他の実施の形態において詳細に説明する。

信号処理部１２０は、制御部１３０の制御に基づいて、複眼撮像部１１０により生成された画像信号（画像データ）について所定の信号処理を施すものであり、信号処理が施された画像データを表示部１４０または記憶部１５０に出力する。すなわち、信号処理部１２０は、複眼撮像部１１０により生成された画像信号（画像データ）に基づいて、被写体に対応する画像を生成する。

制御部１３０は、制御プログラムに基づいて、複眼撮像装置１００の各部を制御するものである。

表示部１４０は、信号処理部１２０により信号処理が施された画像データに基づく画像を表示するものである。

記憶部１５０は、信号処理部１２０により信号処理が施された画像データを記憶するものである。

操作受付部１６０は、ユーザ操作を受け付ける操作受付部であり、受け付けられたユーザ操作に応じた制御信号を制御部１３０に出力する。

無線通信部１７０は、制御部１３０の制御に基づいて、無線通信を利用して、他の装置との間で各情報（例えば、画像データ）の送受信を行うものである。ここで、無線通信として、例えば、無線ＬＡＮ（Local Area Network）を用いることができる。この無線ＬＡＮとして、例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）を用いることができる。また、無線通信として、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、赤外線、携帯電話用電波等の無線通信を用いることができる。

［色フィルタ毎に画素の実効開口を変更する例］
図１０乃至図１２は、本技術の第１の実施の形態における複眼撮像部１１０が備えるイメージセンサを簡略的に示す図である。なお、図１０乃至図１２では、複眼撮像部１１０が備えるイメージセンサの上面図を示す。

図１０乃至図１２では、複数（３×３）の個眼により構成されるイメージセンサの例を示す。また、図１０乃至図１２では、複数の個眼を特定するための行番号１乃至３と列番号１乃至３とをイメージセンサの周りに付して示す。

また、図１０乃至図１２では、各画素を点線の矩形で表し、実効開口を実線の矩形で表す。すなわち、各画素を表す点線の矩形内に、実効開口を表す実線の矩形を示す。また、図１０乃至図１２では、各個眼上に、個眼レンズを表す円を示す。

なお、本技術の実施の形態では、説明の容易のため、各個眼（または、サブ個眼（図２２乃至図２４に示す））には１つの個眼レンズのみを配置する例を示す。ただし、各個眼（または、サブ個眼）には複数のレンズから構成される光学系を配置するようにしてもよい。

［赤色フィルタ、緑色フィルタ、青色フィルタを用いる例］
図１０、図１１では、赤色フィルタ、緑色フィルタ、青色フィルタを用いる例を示す。

［青色フィルタの実効開口を最大とし、緑色フィルタの実効開口を最小とする例］
図１０では、複数（３×３）の個眼により構成される矩形状のイメージセンサに、緑色フィルタ２０１乃至２０５、赤色フィルタ２０６および２０７、青色フィルタ２０８および２０９が配置される例を示す。具体的には、矩形状のイメージセンサにおける対角線上に緑色フィルタ２０１乃至２０５が配置され、赤色フィルタ２０６および２０７のラインと、青色フィルタ２０８および２０９のラインとが直交するように配置される例を示す。なお、図１０では、説明の容易のため、各個眼上における白抜きの矩形内に各フィルタの名称を示す。

図１０では、青色フィルタ２０８および２０９の実効開口を最大とし、赤色フィルタ２０６および２０７の実効開口を次に大きい値とし、緑色フィルタ２０１乃至２０５の実効開口を最小とする例を示す。

また、図１０では、各色の色フィルタが、イメージセンサにオンチップされている場合、または、イメージセンサに近接している場合の例を示す。また、図１０では、各色の色フィルタが、個眼レンズや絞りに近接している場合の例を示す。

［赤色フィルタの実効開口を最大とし、青色フィルタの実効開口を最小とする例］
図１１では、複数（３×３）の個眼により構成される矩形状のイメージセンサにおける対角線上に青色フィルタ２１１乃至２１５が配置され、赤色フィルタ２１８および２１９のラインと、緑色フィルタ２１６および２１７のラインとが直交するように配置される例を示す。

図１１では、赤色フィルタ２１８および２１９の実効開口を最大とし、緑色フィルタ２１６および２１７の実効開口を次に大きい値とし、青色フィルタ２１１乃至２１５の実効開口を最小とする例を示す。

また、図１１では、各色の色フィルタが、イメージセンサにオンチップされている場合、または、イメージセンサに近接している場合の例を示す。また、図１１では、各色の色フィルタが、個眼レンズや絞りに近接している場合の例を示す。

［シアンフィルタ、マゼンタフィルタ、イエローフィルタ、グリーンフィルタを用いる例］
図１２では、シアンフィルタ、マゼンタフィルタ、イエローフィルタ、グリーンフィルタを用いる例を示す。

［マゼンタフィルタの実効開口を最大とし、イエローフィルタの実効開口を最小とする例］
図１２では、複数（３×３）の個眼により構成される矩形状のイメージセンサにおいて、Ｖ字状のマゼンタフィルタ２２１乃至２２３およびＶ字状のグリーンフィルタ２２４乃至２２６が対向するように配置される例を示す。また、イエローフィルタ２２９が中心に配置され、同一ライン上にシアンフィルタ２２７、２２８およびイエローフィルタ２２９が交互に配置される例を示す。

図１２では、マゼンタフィルタ２２１乃至２２３の実効開口を最大とし、グリーンフィルタ２２４乃至２２６の実効開口を２番目に大きい値とし、シアンフィルタ２２７、２２８の実効開口を３番目に大きい値とし、イエローフィルタ２２９の実効開口を最小とする例を示す。

また、図１２では、各色の色フィルタが、イメージセンサにオンチップされている場合、または、イメージセンサに近接している場合の例を示す。また、図１２では、各色の色フィルタが、個眼レンズや絞りに近接している場合の例を示す。

［視差を補正するための画像処理例］
ここで、イメージセンサにおける色フィルタ毎に画素の実効開口を変える場合に、視差を補正するための画像処理方法の一例について説明する。

上述したように、複眼撮像装置１００は、複数の個眼からなる構造であるため、被写体の距離に応じて、個眼間に視差が生じる場合がある。このように、個眼間に視差が生じている場合に、視差の補正を行わずに複眼撮像装置の出力信号として出力すると、視差を有する個眼数に相当する枚数の画像がダブったような画像となり、不自然な画像となる。

そこで、これらの個眼から得られる視差を有するローデータ（Ｒａｗ Ｄａｔａ）について信号処理を施して視差を補正することにより自然な画像情報とすることができる。また、この自然な画像情報を、複眼撮像装置により得られる画像とすることができる。

最初に、画素出力の差を求める例を示す。例えば、ｉ行ｊ列の個眼におけるｋ行ｌ列の画素出力と、Ｉ行Ｊ列の個眼におけるｋ行ｌ列の画素出力との差δｉｊｋｌは、次の式１で表される。言い換えると、δｉｊｋｌは、ｉ行ｊ列の個眼におけるｋ行ｌ列の画素出力と、他の個眼（Ｉ行Ｊ列の個眼）におけるｋ行ｌ列の画素出力との差を示す。
δｉｊｋｌ＝Ｓｉｊｋｌ−ＳＩＪｋｌ … 式１

ここで、Ｓｉｊｋｌは、各個眼の出力信号を示す。また、ｉは、イメージセンサにおける個眼の行番号を示す。また、ｊは、イメージセンサにおける個眼の列番号を示す。また、ｋは、個眼における画素の行番号を示す。また、ｌは、個眼における画素の列番号を示す。また、Ｉは、出力画像における個眼の行番号を示す。また、Ｊは、出力画像における個眼の列番号を示す。

例えば、視差が無い場合や、視差を無視することができる大きさの場合には、δｉｊｋｌは、ゼロの値、または、極めてゼロに近い数値になる。一方、視差がある場合には、δｉｊｋｌは、ゼロではなく、有限の数値になる。

次に、視差の補正を行う例を示す。

ｉ行ｊ列の個眼におけるｋ行ｌ列の画素から、ε行、ζ列だけ離れた画素の出力信号Ｓｉｊ（ｋ＋ε）（Ｌ＋ζ）と、Ｉ行Ｊ列の個眼におけるｋ行ｌ列の画素出力ＳＩＪｋｌとの差δｉｊｋｌは、次の式２で表される。
δｉｊｋｌ＝Ｓｉｊ（ｋ＋ε）（Ｌ＋ζ）−ＳＩＪｋｌ … 式２

この式２を用いて求められるδｉｊｋｌが最小となるεとζを求める。そして、ｉ行ｊ列の個眼における（ｋ＋ε）行（ｌ＋ζ）列の画素出力をｉ行ｊ列の個眼におけるｋ行ｌ列の画素出力として、置換する。また、ｉ行ｊ列の個眼における（ｋ＋ε）行（ｌ＋ζ）列の画素出力は、Ｉ行Ｊ列の個眼における（ｋ＋ε）行（ｌ＋ζ）列の画素出力に置換する。すなわち、εは、個眼における画素行番号の補正数を示す。また、ζは、個眼における画素列番号の補正数を示す。

このような視差補正を行うことにより、複眼撮像装置からの信号処理後の画像を、ダブった画像が無い自然な画像とすることができる。

なお、本技術の第１の実施の形態では、色フィルタ（光学フィルタ）として、Ｒ、Ｇ、Ｂ等の可視光原色フィルタ、Ｙｅ（黄色）、Ｃｙ（シアン）、Ｍｇ（マゼンタ）等の可視光補色フィルタを用いる例を示した。ただし、他の色フィルタ（光学フィルタ）を用いる場合についても本技術の第１の実施の形態を適用することができる。例えば、Ｗ（白）、Ｃ（クリア）等の可視光全域フィルタ、Ｉｒ（赤外）等の可視光以外の色フィルタ（光学フィルタ）についても本技術の第１の実施の形態を適用することができる。

ここで、複眼撮像装置の実効画素開口率を、全ての光学フィルタについて同様に設計する場合を想定する。このように、複眼撮像装置の実効画素開口率を全ての光学フィルタについて同様とすると、画素のアパーチャ効果のＭＴＦ（空間周波数特性）が、全ての光学フィルタにおいて同様となる。そして、空間画素ずらしによるＭＴＦの高域特性向上の程度が、この全て同様のＭＴＦ特性によって制約を受ける。具体的には、アパーチャ効果によるＭＴＦのＮｕｌｌ Ｐｏｉｎｔが全ての光学フィルタにおいて同様であるため、このＮｕｌｌ Ｐｏｉｎｔ近傍の空間周波数の改善が困難となるとなるおそれがある。

また、複眼撮像装置の実効画素開口率を全ての光学フィルタについて同様とすると、最も感度の大きな光学フィルタの画素の信号電荷によって撮像素子全体の飽和電荷量が設定されてしまうおそれがある。これにより、撮像素子特性としてのダイナミックレンジが狭くなるおそれがある。

そこで、本技術の第１の実施の形態では、色フィルタ毎に画素の実効開口を変更する。これにより、解像度を向上させることができる。また、撮像素子特性としてのダイナミックレンジを広くすることができる。

＜２．第２の実施の形態＞
本技術の第２の実施の形態では、個眼の光軸の位置をずらすことにより空間画素ずらしを行う例を示す。

［個眼の光軸の位置をずらすことにより空間画素ずらしを行う例］
図１３乃至図１７は、本技術の第２の実施の形態における複眼撮像装置が備えるイメージセンサを簡略的に示す図である。なお、図１３乃至図１７では、図１０乃至図１２と同様に、各画素を矩形で簡略的に示し、個眼レンズを円で簡略化して示す。また、図１３乃至図１７では、図１０乃至図１２と同様に、複数（３×３）の個眼により構成される矩形状のイメージセンサの例を示す。

［赤色フィルタ、緑色フィルタ、青色フィルタを用いる例］
図１３乃至図１７では、赤色フィルタ、緑色フィルタ、青色フィルタを用いる例を示す。また、図１３乃至図１７では、図１０と同様に、緑色フィルタ、赤色フィルタ、青色フィルタが配置される例を示す。

［全色を斜め方向（同一方向）に半画素ずらす例］
図１３では、全色の色フィルタを斜め方向（同一方向）に半画素ずらす例を示す。

また、図１３では、各色の色フィルタが、イメージセンサにオンチップされている場合、または、イメージセンサに近接している場合の例を示す。また、各色の色フィルタが、個眼レンズや絞りに近接している場合の例を示す。

例えば、各色フィルタのうちの一部の色フィルタの個眼の光軸を斜め方向に半画素ずらす。この場合に、ずらす方向は、各色について同一方向とする。例えば、図１３では、４つの個眼の光軸を、矢印２３１乃至２３４に示す方向にずらす例を示す。

［全色を斜め方向（異なる方向）に半画素ずらす例］
図１４では、全色の色フィルタを斜め方向（異なる方向）に半画素ずらす例を示す。

また、図１４では、各色の色フィルタが、イメージセンサにオンチップされている場合、または、イメージセンサに近接している場合の例を示す。また、各色の色フィルタが、個眼レンズや絞りに近接している場合の例を示す。

例えば、各色フィルタのうちの一部の色フィルタの個眼の光軸を斜め方向に半画素ずらす。この場合に、緑色フィルタの個眼の光軸は、相反する方向にずらし、赤色フィルタおよび青色フィルタの個眼の光軸については、同一方向にずらす。例えば、図１４では、緑色フィルタの一部と、赤色フィルタおよび青色フィルタとの個眼の光軸を、矢印２４１乃至２４４に示す方向（同一方向）にずらす。また、図１４では、緑色フィルタの一部の個眼の光軸を、矢印２４５、２４６に示す方向（反対方向）にずらす。

［全色を斜め方向（同一方向）にずらす例］
図１５では、全色の色フィルタを斜め方向（同一方向）にずらす例を示す。

また、図１５では、各色の色フィルタが、イメージセンサにオンチップされている場合、または、イメージセンサに近接している場合の例を示す。また、各色の色フィルタが、個眼レンズや絞りに近接している場合の例を示す。

例えば、各色フィルタのうちの一部の色フィルタの個眼の光軸を斜め方向に半画素ずらす。また、各色フィルタのうちの一部の色フィルタの個眼の光軸を斜め方向に１／３画素または２／３画素ずらす。例えば、緑色フィルタの個眼の光軸を斜め方向に１／３画素および２／３画素ずらし、赤色フィルタおよび青色フィルタの個眼の光軸を斜め方向に半画素ずらす。例えば、図１５では、緑色フィルタの一部の個眼の光軸を、矢印２５１、２５２に示す方向に１／３画素ずらす。また、緑色フィルタの一部の個眼の光軸を、矢印２５３、２５４に示す方向に２／３画素ずらす。また、赤色フィルタおよび青色フィルタの個眼の光軸を、矢印２５５、２５６に示す方向に半画素ずらす。

［全色を斜め方向（同一方向）にずらす例］
図１６では、全色の色フィルタを斜め方向（同一方向）にずらす例を示す。

また、図１６では、各色の色フィルタが、イメージセンサにオンチップされている場合、または、イメージセンサに近接している場合の例を示す。また、各色の色フィルタが、個眼レンズや絞りに近接している場合の例を示す。

例えば、各色フィルタのうちの一部の色フィルタの個眼の光軸を斜め方向に半画素ずらす。また、各色フィルタのうちの一部の色フィルタの個眼の光軸を斜め方向に１／５画素、２／５画素、３／５画素および４／５画素ずらす。例えば、緑色フィルタの個眼の光軸を斜め方向に１／５画素、２／５画素、３／５画素および４／５画素ずらし、赤色フィルタおよび青色フィルタの個眼の光軸を斜め方向に半画素ずらす。例えば、図１６では、緑色フィルタの一部の個眼の光軸を矢印２６１に示す方向に１／５画素ずらす。また、緑色フィルタの一部の個眼の光軸を矢印２６２に示す方向に２／５画素ずらす。また、緑色フィルタの一部の個眼の光軸を矢印２６３に示す方向に３／５画素ずらす。また、緑色フィルタの一部の個眼の光軸を矢印２６４に示す方向に４／５画素ずらす。また、赤色フィルタおよび青色フィルタの個眼の光軸を矢印２６５、２６６に示す方向に半画素ずらす。

［全色を各方向にずらす例］
図１７では、全色の色フィルタを水平方向、垂直方向および斜め方向に半画素ずらす例を示す。

また、図１７では、各色の色フィルタが、イメージセンサにオンチップされている場合、または、イメージセンサに近接している場合の例を示す。また、各色の色フィルタが、個眼レンズや絞りに近接している場合の例を示す。

例えば、緑色フィルタの一部の個眼の光軸を相反するように垂直方向に半画素ずらし、緑色フィルタの一部の個眼の光軸を相反するように水平方向に半画素ずらし、赤色フィルタおよび青色フィルタの個眼の光軸を斜め方向に半画素ずらす。例えば、図１７では、緑色フィルタの一部の個眼の光軸を、矢印２７１に示す方向（垂直方向）に半画素ずらす。また、緑色フィルタの一部の個眼の光軸を、矢印２７２に示す方向（矢印２７１に示す方向の反対方向）に半画素ずらす。また、緑色フィルタの一部の個眼の光軸を、矢印２７３に示す方向（水平方向）に半画素ずらす。また、緑色フィルタの一部の個眼の光軸を、矢印２７４に示す方向（矢印２７３に示す方向の反対方向）に半画素ずらす。また、赤色フィルタおよび青色フィルタの個眼の光軸を矢印２７５、２７６に示す方向に半画素ずらす。

このように、本技術の第２の実施の形態では、個眼の光軸の位置をずらすことにより空間画素ずらしを行う。これにより、解像度を向上させることができる。

＜３．第３の実施の形態＞
本技術の第３の実施の形態では、個眼レンズの倍率色収差を信号処理で補正する例を示す。

［倍率色収差の信号処理による補正例］
最初に、倍率色収差を信号処理で補正する補正方法について説明する。

図１８は、本技術の第３の実施の形態における複眼撮像部１１０の断面を示す図である。図１８では、個眼レンズ、色フィルタおよびイメージセンサの関係を簡略化して示す。

ここで、個眼レンズ２８４乃至２８６の倍率色収差による撮像面での各色の倍率を、次のように定義する。
ＮＲ：赤色の像面倍率
ＮＧ：緑色の像面倍率
ＮＢ：青色の像面倍率

また、図１８において、赤色フィルタ２８１の個眼における被写体の点Ａ（２８０）の結像位置をＸＲとする。また、緑色フィルタ２８２の個眼における被写体の点Ａ（２８０）の結像位置をＸＧとする。また、青色フィルタ２８３の個眼における被写体の点Ａ（２８０）の結像位置をＸＢとする。

図１８に示すように、結像位置ＸＲ、ＸＧおよびＸＢは、個眼レンズ２８４乃至２８６の倍率色収差により全て異なる位置となる。

ここで、個眼レンズ２８４乃至２８６の倍率色収差は、設計値、または、測定値により予め把握することが可能であるため、ＮＲ、ＮＧ、ＮＢは、既知である。そこで、次の式に示すように、結像位置ＸＲ、ＸＢを補正することができる。
Ｘ'Ｒ＝（ＮＧ／ＮＲ）ＸＲ
Ｘ'Ｂ＝（ＮＧ／ＮＢ）ＸＢ

信号処理部１２０は、上述した式を用いた信号処理による補正を行うことにより、倍率色収差を抑圧、または、無くすことができる。すなわち、信号処理部１２０は、個眼レンズの倍率色収差による焦点面上の周辺部における色に応じて生じる像のずれを補正する。

例えば、個眼レンズの倍率色収差や軸上色収差等のような、色収差を少なくするように、個眼レンズの色収差特性が良くなるように個眼レンズの設計を行う場合を想定する。この場合には、個眼レンズ構造が複雑になるとともに、個眼レンズのコストが高くなる。

そこで、本技術の第３の実施の形態では、個眼レンズの倍率色収差による焦点面上の周辺部における色によりずれる像はそのままにして個眼レンズを設計、構成し、色の違いによる像のずれについては信号処理により補正する。これにより、個眼レンズ構造を簡素化することができ、個眼レンズのコストを低減させることができる。

＜４．第４の実施の形態＞
本技術の第４の実施の形態では、個眼レンズの軸上色収差による焦点距離の差異に応じて個眼の光学設計をする例を示す。

［個眼の光学設計例］
図１９乃至図２１は、本技術の第４の実施の形態における複眼撮像部１１０の断面を示す図である。図１９乃至図２１では、個眼レンズ、色フィルタおよびイメージセンサの関係を簡略化して示す。なお、図１９乃至図２１では、イメージセンサを構成する画素を、点線の矩形で示す。

図１９には、個眼レンズに軸上色収差があるが、この補正をしていない場合の個眼レンズ２９４乃至２９６およびイメージセンサの関係を示す。

図１９に示すように、個眼レンズ２９４乃至２９６の軸上色収差により、色（すなわち、光の波長）に応じて焦点距離が変わる。このため、図１９に示す複眼撮像装置では、全ての色について同時に合焦をすることができない。そこで、全ての色について同時に合焦をすることができる個眼の光学設計例を、図２０および図２１に示す。

図２０には、個眼レンズ２９４乃至２９６およびイメージセンサ間に、光路長を変更する材料３０１、３０２を設置する例を示す。

例えば、個眼レンズ２９４乃至２９６およびイメージセンサ間に、光路長を変更する材料３０１、３０２を色毎に厚みを変えて挿入する。これにより、個眼レンズ２９４乃至２９６の軸上色収差に関して、個眼レンズ単体についてはあまり補正を行わず、複眼撮像装置全体として軸上色収差を改善させることができる。例えば、緑色フィルタ２９２の個眼に設置する材料３０１の厚みよりも、青色フィルタ２９３の個眼に設置する材料３０２の厚みを大きくする。

図２１には、個眼レンズ２９４乃至２９６およびイメージセンサ間の距離を変更する例を示す。

例えば、個眼レンズ２９４乃至２９６およびイメージセンサ間の距離を色毎に変更する。例えば、赤色フィルタ２９１の個眼における個眼レンズ２９４およびイメージセンサ間の距離よりも、緑色フィルタ２９２の個眼における個眼レンズ２９５およびイメージセンサ間の距離を短くする。また、例えば、緑色フィルタ２９２の個眼における個眼レンズ２９５およびイメージセンサ間の距離よりも、青色フィルタ２９３の個眼における個眼レンズ２９６およびイメージセンサ間の距離を短くする。

これにより、個眼レンズの軸上色収差に関して、個眼レンズ単体についてはあまり補正を行わず、複眼撮像装置全体として軸上色収差を改善させることができる。

ここで、通常の単眼撮像装置の個眼レンズは、倍率色収差、および、軸上色収差ができるだけ少なくなるように作られている。このため、個眼レンズの材料として、例えば、クラウングラスとフリントグラスの２つの個眼レンズ同士を張り合わせて１つの個眼レンズのように構成する必要があり、個眼レンズの枚数を増やすことが必要となる。このため、個眼レンズのコストが高くなるとともに、個眼レンズ全体が厚くなってしまう。

これに対して、本技術の第３の実施の形態における複眼撮像装置では、個眼レンズの倍率色収差や軸上色収差については、個眼レンズにおいて過度補正をすることなく、倍率色収差を信号処理で補正することができる。また、本技術の第４の実施の形態における複眼撮像装置では、軸上色収差に応じた個眼の光学設計をすることができる。これらにより、個眼レンズそのものを低コストとすることができ、個眼レンズの厚さを薄くすることができる。

＜５．第５の実施の形態＞
本技術の第５の実施の形態では、１つの個眼を複数のサブ個眼で構成する例を示す。

［１つの個眼を複数のサブ個眼とする複眼撮像部の構成例］
図２２乃至図２４は、本技術の第５の実施の形態における複眼撮像部１１０の構成例を示す図である。また、図２２乃至図２４では、各色の色フィルタが、個眼レンズや絞りに近接している場合の例を示す。

図２２には、１つの個眼を４つのサブ個眼で構成する例を示す。なお、図２２乃至図２４では、色フィルタの種類を個眼レンズの形態で表す。具体的には、緑色フィルタの個眼に配置される個眼レンズを白塗りの丸で表し、赤色フィルタの個眼に配置される個眼レンズを黒塗りの丸で表し、青色フィルタの個眼に配置される個眼レンズを、内部に斜線を付した丸で表す。

図２２に示すように、各個眼が、４つのサブ個眼で構成されている。なお、色フィルタの配置については、図１０等に示す例と同様である。また、サブ個眼は、例えば、１つの個眼レンズおよびイメージセンサで構成されている単位であるものとする。

図２３には、１つの個眼を９つのサブ個眼で構成する例を示す。なお、色フィルタの配置については、図２２に示す例と同様である。また、１つの個眼を９つのサブ個眼で構成する点以外についても、図２２に示す例と略同様である。

図２４には、１つの個眼を９つのサブ個眼で構成し、かつ、各個眼内の色フィルタを変更する例を示す。このように、１つの個眼内のサブ個眼の色フィルタを変更することができる。この場合に、個眼内における色フィルタの配置については、図２２に示す複眼撮像部１１０の全体の配置と同様とすることができる。

また、１つの個眼を４、または、これ以外の数（例えば、１６）のサブ個眼で構成する場合についても、各個眼内の色フィルタを変更するようにしてもよい。

［個眼をサブ個眼で構成する場合の画像処理例］
ここで、上述したように、個眼をサブ個眼で構成する場合の画像処理方法の一例について説明する。

上述したように、個眼を一つの個眼レンズではなく、複数の個眼レンズを用いて（すなわち、サブ個眼を用いて）構成することが可能である。特に、個眼全体で実現しようとしている画角よりも、サブ個眼の画角を小さくすることにより、サブ個眼の光学系の設計、製造の負担を軽減することができる。

図２５は、本技術の第５の実施の形態における複眼撮像装置による画像処理例を模式的に示す図である。具体的には、Ｆｒａｕｎｈｏｆｅｒによる画像処理の一例を示す。すなわち、個眼の画角を狭くし、個眼毎に撮像領域をシフトさせて撮像し、これらの各個眼から得られるローデータ（Ｒａｗ ｄａｔａ）画像を繋ぎ合わせて出力画像を得る画像処理例を示す。

ＦｒａｕｎｈｏｆｅｒによるＳｔｉｔｃｈｉｎｇ処理は、サブ個眼という概念ではなく、全ての個眼の撮像領域を少しずつ変えていく処理である。

図２５に示す複眼撮像部は、開口部１８１と、マイクロレンズアレイ１８２と、遮光部１８３と、イメージセンサ１８４と、撮像領域１８５とを備える。そして、被写体１８０からの光が撮像領域１８５に入射される。このように、撮像領域１８５に入射された光が光電変換されて画像信号（画像データ）１８６が生成される。これらの画像信号（画像データ）１８６を繋ぎ合わせて出力画像１８７を得ることができる。

これに対し、上述したように、サブ個眼を設置する場合には、サブ個眼からなる個眼を一つの単位とし、その個眼の光学系を他の個眼にも適用することができる。すなわち、同一（または、ほぼ同様）の撮像領域を有するサブ個眼が、一つの複眼撮像装置の中に、複数存在することを意味する。このサブ個眼構造は、個眼単位で光学系の繰り返しが可能となるため、複眼撮像装置の光学系設計と製造が容易になる。

また、上述したように、サブ個眼で構成する場合における画像処理方法は、基本的には、Ｆｒａｕｎｈｏｆｅｒによる画像処理と同様とすることができる。すなわち、図２５に示すように、隣り合うサブ個眼の同一出力となる画素に対して、それぞれのサブ個眼の出力を繋いでいくように画像処理が行われる。このように画像処理を施すことにより、複眼撮像装置からの信号処理後の出力画像を、被写体と同様に撮像領域が広い一つの画像とすることができる。

このため、例えば、画角を広くとったような場合でも、個眼の光学系の構造設計や製造の負担を軽減することができ、コストを低減させることができる。

＜６．第６の実施の形態＞
本技術の第６の実施の形態では、複数の個眼レンズのうちの少なくとも１つの光学特性や構造を異なるように構成する例を示す。

［複数の個眼レンズのうちの少なくとも１つの光学特性や構造が異なる構成例］
図２６乃至図２９は、本技術の第６の実施の形態における複眼撮像部１１０の構成例を示す図である。

図２６には、複眼撮像部１１０のイメージセンサ３００の周辺部に配置されている個眼の光学特性と中央部個眼の光学特性とを異なる構成とする例を示す。

具体的には、中央部個眼については、個眼レンズ３０２の主光線の入射角を０度（または、略０度）とする最適設計を行う。一方、イメージセンサ３００の周辺部に配置されている個眼については、個眼レンズ３０１、３０３の主光線の入射角が０度以外（または、第１個眼光学系の入射角とは異なる角度）とする最適設計を行う。

このように、図２６では、異なる最適設計を行った個眼光学系が混在しているマルチレンズアレイ（ＭＬＡ）を有する複眼撮像部１１０の例を示す。

図２７には、複眼撮像部１１０のイメージセンサ３００の周辺部に配置されている個眼の光学特性と中央部個眼の光学特性とを異なる構成とする例を示す。

具体的には、図２６と同様に、中央部個眼については、個眼レンズ３０２の主光線の入射角を０度とする最適設計を行う。一方、イメージセンサ３００の周辺部に配置されている個眼については、個眼レンズ３０１、３０３の主光線の入射角が０度以外とする最適設計を行う。さらに、図２７では、個眼毎の色特性にマルチレンズアレイの光学特性を最適化する。

このように、図２７では、異なる最適設計を行った個眼光学系が混在しているマルチレンズアレイ（ＭＬＡ）を有する複眼撮像部１１０の例を示す。

また、図２７では、各色の色フィルタ３０４乃至３０６が、イメージセンサ３００にオンチップされている場合、または、イメージセンサ３００に近接している場合の例を示す。

図２８および図２９には、複眼撮像部１１０のイメージセンサ３００の周辺部に配置されている個眼の光学特性と中央部個眼の光学特性とを異なる構成とする例を示す。なお、図２８には、断面図を示し、図２９には、上面図を示す。

具体的には、図２６と同様に、個眼の中央のサブ個眼については、個眼レンズ３１２、３１５、３１８の主光線の入射角を０度とする最適設計を行う。一方、個眼の周辺部に配置されているサブ個眼については、個眼レンズ３１１、３１３、３１４、３１６、３１７、３１９の主光線の入射角が０度以外とする最適設計を行う。このように、図２８および図２９では、サブ個眼の光学特性および個眼レンズ位置を、通常の個眼の光学特性と異なる構成とする。

このように、図２８および図２９では、異なる最適設計を行った個眼光学系が混在しているマルチレンズアレイ（ＭＬＡ）を有する複眼撮像部１１０の例を示す。

また、図２８および図２９では、各色の色フィルタが、個眼レンズや絞りに近接している場合の例を示す。

ここで、個眼レンズの光学特性を結像領域全体に亘って同じにする場合を想定する。この場合には、個眼レンズのコストが増加し、個眼レンズが厚く大型になる。

そこで、本技術の第６の実施の形態では、主光線の入射角を０度とする最適設計を行った個眼光学系と、主光線の入射角を０度以外とする最適設計（特に、画角の周辺部のような領域における最適設計）を行った個眼光学系とを混在させる。これにより、個眼の個眼レンズの作製が容易となり、個眼レンズの低コスト化、および、個眼レンズの薄型化が可能になる。

さらに、画角の周辺部のような領域における最適設計を行った個眼光学系により、画角の周辺部の色再現性および解像度特性を向上させることができる。また、周辺解像度を向上させることができる。

＜７．第７の実施の形態＞
本技術の第７の実施の形態では、個眼毎に瞳補正を行う例を示す。

［個眼毎に瞳補正を行う例］
図３０は、本技術の第７の実施の形態における複眼撮像部１１０の構成例を示す図である。図３０には、個眼毎に瞳補正を行う複眼撮像部１１０の断面図を示す。

例えば、各個眼のイメージセンサ３２０を構成する画素上に、瞳補正を行うためのオンチップレンズ３２４乃至３２６を配置する。

このように、各個眼のイメージセンサ３２０を構成する画素上にオンチップレンズ３２４乃至３２６を配置することにより、個眼毎に、いわゆる、瞳補正を行うことができる。このため、個眼におけるシェーディング特性を改善することができ、全体画像のシェーディング特性を改善することができる。また、全体画像の周辺部のＳ／Ｎ（Signal to Noise ratio）を良好にすることができる。

＜８．第８の実施の形態＞
本技術の第８の実施の形態では、スペースに余裕のある周辺の光学系のＦ値を小さくすることによりシェーディング特性を向上させる例を示す。

［スペースに余裕のある周辺の光学系のＦ値を小さくする例］
図３１乃至図３３は、本技術の第８の実施の形態における複眼撮像部１１０の構成例を示す図である。図３１には、複眼撮像部１１０の上面図を示し、図３２および図３３には、複眼撮像部１１０の断面図を示す。

図３１乃至図３３では、個眼のイメージセンサ３３０および個眼レンズ３３１乃至３３９が３×３に配置される場合の例を示す。複眼撮像部１１０の周辺には、スペースに余裕がある。このため、複眼撮像部１１０の周辺の光学系のＦ値を小さくするため、個眼レンズ３３１乃至３３９の形状を、図３１乃至図３３に示す形状（複眼撮像部１１０の矩形からはみ出すような形状）とする。これにより、シェーディング特性を向上させることができる。

図３２には、複眼撮像部１１０の周辺部に配置されている個眼の光軸の個眼撮像領域における位置関係と、中央部の個眼の光軸の個眼撮像領域における位置関係とをほぼ同様の関係とする例を示す。

図３３には、複眼撮像装置の周辺部に配置されている個眼の光軸の個眼撮像領域における位置関係と、中央部の個眼の光軸の個眼撮像領域における位置関係とを大きく異なる関係とする例を示す。

このように、マルチレンズアレイ（ＭＬＡ）に含まれている個眼光学系の特性を同一特性で設計、製造せずに、スペースに余裕のある周辺の個眼光学系のＦ値を小さくする。これにより、１つの個眼光学系に生じるシェーディング特性を改善することができる。

＜９．第９の実施の形態＞
本技術の第９の実施の形態では、ＷＬＣＭ（Wafer Level Camera Module）および積層型複眼撮像装置において個眼の数を増加させることにより感度を高める例を示す。

［個眼の数を増加させる場合の構成例］
図３４は、本技術の第９の実施の形態における複眼撮像装置の構成例を示す図である。図３４には、個眼の数を８１（９×９）とする場合の例を示す。

ここで、例えば、大学の研究レベルにおいて、単体カメラを複数台アレイ状に配置し、複数の単眼カメラ全体の機能や画質を向上させる試みがある。また、複数のカメラモジュールをアレイ状に配置し、複数のカメラモジュール全体の機能や画質を向上させる試みがある。

これらの手法は、複数の単眼カメラ、または、複数のカメラモジュールの相対位置精度をイメージセンサの画素サイズ程度までに高めることは困難であることが想定される。

そのため、空間画素ずらしによる解像度向上、画素単位における同期加算による信号対雑音比（Ｓ／Ｎ）の向上を実現することは困難であることが想定される。

これに対し、ＷＬＣＭは、半導体製造のアライメント精度での個眼位置精度を実現することができるため、画素サイズ程度の相対位置精度を得ることができる。このため、空間画素ずらしによる解像度向上、画素単位における同期加算による信号対雑音比（Ｓ／Ｎ）の向上を実現することが可能となる。

＜１０．第１０の実施の形態＞
本技術の第１０の実施の形態では、ＷＬＣＭにおいて感度の異なる個眼を配置して感度およびダイナミックレンジ（Dynamic Range）を高める例を示す。

［ＷＬＣＭにおいて感度の異なる個眼を配置する場合の構成例］
図３５乃至図３９は、本技術の第１０の実施の形態における複眼撮像部１１０の構成例を示す図である。

図３５乃至図３８では、複数（９×９）の個眼により構成されるイメージセンサの例を示す。また、図３９では、複数（３×３）の個眼により構成されるイメージセンサの例を示す。

図３５には、高感度個眼および低感度個眼が交互に一列に配置されている場合の例を示す。図３６には、高感度個眼および低感度個眼が交互に一列に配置されているイメージセンサにおいて色フィルタを配置する場合の例を示す。

なお、図３６乃至図３９では、個眼の感度を丸の大きさで示す。具体的には、高感度個眼を大きい丸で示し、低感度個眼を小さい丸で示す。また、図３６、図３８では、色フィルタの種類を画素の形態で表す。具体的には、緑色フィルタの個眼に対応する矩形を白塗りで表し、赤色フィルタの個眼に対応する矩形を黒塗りで表し、青色フィルタの個眼に対応する矩形を、内部に斜線を付して表す。

図３７には、高感度個眼および低感度個眼が市松状に配置されている場合の例を示す。図３８には、高感度個眼および低感度個眼が市松状に配置されているイメージセンサにおいて色フィルタを配置する場合の例を示す。

図３９には、図３５乃至図３８に示す配置以外の配置例を示す。なお、図３９では、色フィルタの種類を個眼レンズの形態で表す。具体的には、緑色フィルタの個眼に配置される個眼レンズを白塗りの丸で表し、赤色フィルタの個眼に配置される個眼レンズを黒塗りの丸で表し、青色フィルタの個眼に配置される個眼レンズを、内部に斜線を付した丸で表す。

例えば、従来のウエハレベルカメラモジュールは、１つのカメラモジュールの感度特性で撮像装置としての感度が決まっていた。これに対して、本技術の第１０の実施の形態では、ＷＬＣＭにおいて感度の異なる個眼を配置することにより、感度およびダイナミックレンジを高めることができる。

また、従来の複眼撮像装置は、複数の個眼出力信号を加算または信号処理することにより個眼の感度よりも最終出力信号の感度を高めることができると想定される。しかしながら、イメージセンサ（撮像素子）とＭＬＡ等の組み立て工程が半導体プロセスとは別行程で行われるため、複眼撮像装置全体を小型にすること（特に、厚みを薄くすること）が困難であることが想定される。

また、従来の複眼撮像装置は、個眼の絞りの大きさを複数用意することにより個眼の感度特性を複数設定し、これら感度の異なる複数の個眼の出力信号を信号処理することにより、最終出力信号のダイナミックレンジを広くすることができるものが提案されている。しかしながら、イメージセンサ（撮像素子）とＭＬＡ等の組み立て工程が半導体プロセスとは別行程で行われるため、複眼撮像装置全体を小型にすること（特に、厚みを薄くすること）が困難であることが想定される。

そこで、本技術の第１０の実施の形態では、ＷＬＣＭにおいて感度の異なる個眼を配置することにより、複眼撮像装置全体を小型にすることができ、感度およびダイナミックレンジを高めることができる。

＜１１．第１１の実施の形態＞
本技術の第１１の実施の形態では、複眼撮像部から複数の読み出し方法により読み出しを行う例を示す。

［ライブビューおよび高画質モードの複数の読み出しを行う場合の構成例］
図４０は、本技術の第１１の実施の形態における複眼撮像部１１０の構成例を示す図である。図４０では、複数（３×３）の個眼により構成されるイメージセンサの例を示す。

例えば、ライブビューの表示時には、制御部１３０（図９に示す）は、図４０に示す９つの個眼のうち、（２，１）、（２，２）、（３，２）の３つの個眼からの画像データのみを読み出して出力させる。

ここで、（ｘ，ｙ）は、複眼撮像部１１０を構成する個眼の位置を示す情報であり、ｘは、行番号を示し、ｙは、列番号を示す。

また、高画質モードが設定されている場合には、制御部１３０は、図４０に示す９つの個眼のうちの全ての個眼から画像データを読み出して出力させる。

このように、制御部１３０は、撮像モードに応じて、複眼撮像部１１０を構成するイメージセンサからの読み出し方法を変更する制御を行う。

ここで、複眼撮像装置を用いて動画撮影を行う場合には、動画を撮りながら、撮った画像をモニターで再生し、撮影されている画像を確認する必要が生じる。

全ての個眼を信号処理して、高画質の画像を出力しようとすると、信号処理によるレイテンシが生じ、動いている被写体を撮影する場合や、カメラを動かして撮影する場合に、被写体の動きと、モニターに現れる画像との時間的なずれが生じるため、撮影に支障が出る。

このような事態を回避するため、複眼撮像装置に、ライブビューモードと高画質モードとの複数の読み出し手法を取り入れる。この手法は、個眼毎の出力信号を選択可能なように、イメージセンサとシステムを予め設計しておくことによって可能となる。

モニター（例えば、図９に示す表示部１４０）に出力する画像は、できるだけ少ない数の個眼の画像を使用して信号処理の負荷を減らし、レイテンシを最小限にする。また、高画質で記録が必要な場合には、並行して、高画質モードの記録を行っておく。ただし、高画質での記録が必要でない場合には、必要最小限の個眼の画像を記録する。

このように、複数の個眼の中で、その時の状況に応じた読み出し、記録を行うことにより、レイテンシを最少化し、消費電力を低減することができる。すなわち、リアルタイム性の向上（レイテンシの改善）を行うことができる。

また、従来の複眼撮像装置は、最終出力信号を得るまでに時間がかかるため、動画像を得ようとすると、電子ビューファインダに出力される画像に遅延が生じる。このため、動いている被写体を撮像することが極めて困難である。そこで、本技術の第１１の実施の形態では、複数の個眼の中で、その時の状況に応じた読み出し、記録を行うことにより、レイテンシを最少化し、動いている被写体を適切に撮像することができる。

ここで、例えば、複眼撮像装置が表示部を備えない場合も想定される。この場合には、他の情報処理装置（例えば、携帯型の情報処理装置（例えば、スマートフォン、タブレット端末、携帯電話）のディスプレイを使用して、撮影している画像を確認することが考えられる。

例えば、他の装置との間で無線通信を行うための無線通信部（例えば、図９に示す無線通信部１７０）を複眼撮像装置に設ける。そして、複眼撮像装置で撮影をしながら、必要最小限の情報（画像データ）を無線通信部により他の装置に送信し、他の装置の表示部に、撮影している画像を表示させる。これにより、複眼撮像装置にモニターが無い場合や、モニターがあっても複眼撮像装置が手元に無いような場合でも、他の装置の表示部を使用して、撮影している画像を確認することができる。

このように、必要最小限の情報（画像データ）を無線通信部により他の装置に送信する場合には、上述したライブビューの表示時における読み出し方法により、読み出された画像を送信する送信方法が有効である。

＜１２．第１２の実施の形態＞
本技術の第１２の実施の形態では、個眼の駆動やＡＤＣ（Analog to Digital Converter）をオフして消費電力を低減させる例を示す。なお、本技術の第１２の実施の形態では、図４０を参照して説明する。

例えば、ライブビューの表示時には、制御部１３０（図９に示す）は、図４０に示す９つの個眼のうち、（２，１）、（２，２）、（３，２）の３つの個眼のみを駆動させる。この場合に、他の個眼については、オフや、他の個眼内のＡＤＣをオフさせる等のスタンバイモードにする。

このように、制御部１３０は、複数の個眼のうちで使用されない個眼の駆動の停止と、その個眼に設置されるＡＤＣのオフとのうちの少なくとも１つを行うように制御することができる。

ここで、従来の複眼撮像装置は、個眼を駆動し、最終出力信号を得るため、消費電力が大きくなり、携帯機器としてのバッテリーの持続時間が短くなってしまうおそれがある。そこで、本技術の第１２の実施の形態では、使用しない個眼の駆動や個眼内のＡＤＣをオフして低消費電力化を実現することができる。

＜１３．第１３の実施の形態＞
本技術の第１３の実施の形態では、グローバルシャッタ方式のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いる例を示す。

図４１は、本技術の第１３の実施の形態における複眼撮像部１１０に用いられるグローバルシャッタ方式のＣＭＯＳイメージセンサ４００の構成例を示す図である。

例えば、同一チップ上に形成されたローリングシャッタ方式のイメージセンサを使用する場合を想定する。この場合には、複数の個眼の撮像信号の蓄積開始から蓄積終了までの時間が異なる。このため、動いている被写体を撮影する場合には、各個眼の出力信号に画像ずれが生じ、最終出力信号を得ることが困難となることが想定される。同様に、複眼撮像装置のぶれ等が生じた場合についても、各個眼の出力信号に画像ずれが生じ、最終出力信号を得ることが困難となることが想定される。

そこで、本技術の第１３の実施の形態では、グローバルシャッタ方式のＣＭＯＳイメージセンサ４００を用いる。これにより、動いている被写体を撮影する場合や、複眼撮像装置のぶれ等が生じたような場合でも、各個眼の出力信号の画像ずれを防止し、適切な最終出力信号を得ることができる。すなわち、動被写体のアーチファクト改善（または、除去）をすることができる。

＜１４．第１４の実施の形態＞
本技術の第１４の実施の形態では、裏面照射型ＣＭＯＳイメージセンサを用いる例を示す。

図４２は、本技術の第１４の実施の形態における複眼撮像部１１０に用いられる裏面照射型ＣＭＯＳイメージセンサの構成例を示す図である。また、図４２には、比較例として表面照射型ＣＭＯＳイメージセンサの構成例を示す。すなわち、図４２のａには、裏面照射型ＣＭＯＳイメージセンサを示し、図４２のｂには、表面照射型ＣＭＯＳイメージセンサを示す。

図４２のａに示す裏面照射型ＣＭＯＳイメージセンサは、オンチップレンズ４１１と、カラーフィルタ４１２と、受光面４１３と、基板４１４と、フォトダイオード４１５とを備える。また、図４２のｂに示す表面照射型ＣＭＯＳイメージセンサは、オンチップレンズ４２１と、カラーフィルタ４２２と、配線４２３と、受光面４２４と、基板４２５と、フォトダイオード４２６とを備える。また、図４２のａおよびｂにおいて、矢印は、入射光を示す。

図４２のｂに示すように、表面照射型撮像素子を用いた複眼撮像装置は、配線４２３の層が画素の上部にあるため、画素に入射する光の一部が遮られ、感度が低下するおそれがある。また、焦点面の周辺部の画像は、画素への入射角が大きくなり、中央部と比較すると遮光される光の割合が増加し、画像としてシェーディングが悪化するおそれがある。すなわち、斜めの入射光となる領域では、中央部と比較すると遮光される光の割合が増加し、画像としてシェーディングが悪化するおそれがある。

また、表面照射型撮像素子を用いた複眼撮像装置は、各個眼の出力を同時刻とする（または、時間差を少なくする）ことが困難である。

そこで、図４２のａに示す裏面照射型ＣＭＯＳイメージセンサを用いることにより、感度を高めることができる。また、シェーディングを高めることができる。また、各個眼の出力を同時刻とする（または、時間差を少なくする）ことができる。

＜１５．第１５の実施の形態＞
本技術の第１５の実施の形態では、積層型イメージセンサを用いる例を示す。また、本技術の第１５の実施の形態では、積層型イメージセンサを使用して個眼の並列出力を行う例を示す。

図４３は、本技術の第１５の実施の形態における複眼撮像部１１０に用いられる積層型イメージセンサの構成例を示す図である。また、図４３のａには、積層型イメージセンサ（裏面照射型ＣＭＯＳイメージセンサ）の斜視図を示し、図４３のｂには、積層型イメージセンサ（裏面照射型ＣＭＯＳイメージセンサ）の側面図を示す。

図４３に示す積層型イメージセンサ（裏面照射型ＣＭＯＳイメージセンサ）は、画素と回路とが積層化されているイメージセンサである。

ここで、単層のイメージセンサ（撮像素子）のチップで構成されている複眼撮像装置を想定する。この複眼撮像装置では、各個眼の出力を同時刻とする（または、時間差を少なくする）ことが困難であることが想定される。

また、各個眼の出力を同時刻にしようとする（または、時間差を少なくしようとする）と、各個眼毎に出力回路が必要となり、撮像領域ではない回路領域が各個眼の間に必要となり、イメージセンサ（撮像素子）のチップサイズが大きくなる。

また、イメージセンサ（撮像素子）のチップに設けられる回路領域は、先端の微細トランジスタを使用することが困難であるため、回路領域の面積が大きくなり、イメージセンサ（撮像素子）のチップサイズがさらに大きくなる。

そこで、図４３に示す裏面照射型ＣＭＯＳイメージセンサを用いることにより、各個眼の出力を同時刻とする（または、時間差を少なくする）ことができる。また、イメージセンサ（撮像素子）のチップサイズを小さくすることができる。

＜１６．第１６の実施の形態＞
本技術の第１６の実施の形態では、距離センサを個眼に配置する例を示す。

図４４は、本技術の第１６の実施の形態における距離センサを備えるイメージセンサの一例を示す断面図である。

図４４に示すイメージセンサは、レンチキュラーレンズ（lenticular lens（beam splitter））４３１と、ＤＭＬ（focus enhancer）４３２と、メタル４３３と、フォトダイオード４３４とを備える。また、フォトダイオード４３４は、右瞳４３６、４３８、左瞳４３５、４３７により構成される。また、１対の右瞳および左瞳（例えば、右瞳４３６および左瞳４３７）によりペアが構成される。

そして、左瞳領域からの光４３９と右瞳領域からの光４４０とを、ペアとなる右瞳４３６および左瞳４３７が受光して光電変換が行われる。制御部１３０（図９に示す）は、その結果に基づいて、被写体までの距離を算出する。

これにより、例えば、視差を利用した距離算出を行う場合に、精度の高い距離情報を取得することができる。

＜１７．第１７の実施の形態＞
本技術の第１７の実施の形態では、偏光角度が異なる個眼を設ける例を示す。

図４５は、本技術の第１７の実施の形態における偏光子アレイ４５１を備えるイメージセンサの一例を示す分解斜視図である。なお、各個眼に対応する偏光子内の矢印は、偏光角度の方向を示す。

図４５に示すように、個眼４５２毎に偏光角度が異なる偏光子アレイ４５１をイメージセンサに備えるようにする。

これにより、被写体の偏光情報と画像情報との両方を同時に取得することができる。

＜１８．第１８の実施の形態＞
本技術の第１８の実施の形態では、分光感度が異なる個眼を設ける例を示す。

図４６は、本技術の第１８の実施の形態における複眼撮像部１１０に分光感度が異なる個眼を備える場合の例を示す。図４６のａには、複眼撮像部１１０の上面図を示し、図４６のｂには、波長特性を示す。

例えば、図４６のａに示す個眼のうち、斜め方向の個眼のライン４６１乃至４７７を同一の分光感度とすることができる。また、例えば、斜め方向の個眼のライン４６１と、斜め方向の個眼のライン４７０とは、同一の分光感度とすることができる。同様に、斜め方向の個眼のライン４６２乃至４６８のそれぞれと、斜め方向の個眼のライン４７１乃至４７７のそれぞれとについても、同一の分光感度とすることができる。なお、図４６のａでは、同一の分光感度の個眼については、同一の表示態様として示す。

また、図４６のｂに示す波長特性のうち、波長の短い方から順に、斜め方向の個眼のライン４６１乃至４７７に割り当てることができる。

これにより、被写体の多くの分光特性を取得することができ、分光特性と画像情報との両方を取得することができる。すなわち、マルチスペクトル情報と画像情報との両方を取得することができる。

＜１９．第１９の実施の形態＞
本技術の第１９の実施の形態では、可視光以外の感度を有するセンサからなる個眼を設ける例を示す。

図４７は、本技術の第１９の実施の形態における複眼撮像部１１０に可視光以外の感度を有するセンサを備える場合の例を示す。

図４７のａには、光の種類を横軸に表す。図４７のｂには、可視光以外の感度を有するセンサを備える複眼撮像部１１０の上面図を示す。なお、図４７のｂでは、同一の感度の個眼については、同一の表示態様として示す。

図４８は、本技術の第１９の実施の形態における複眼撮像部１１０を構成する光電変換材料の一例を示す図である。図４８では、可視光以外の感度を有するセンサに関する光電変換材料の一例を示す。

図４８に示す光電変換材料を用いることにより、可視光以外の感度を有するセンサを備える複眼撮像部１１０を実現することができる。

これにより、被写体の可視光以外の情報を取得することができ、可視光以外の情報と画像情報との両方を取得することができる。

また、本技術の第１６乃至第１９の実施の形態を組み合わせることにより、距離情報、偏光情報、マルチスペクトル情報、可視光外情報等の複合情報を同時に取得するようにしてもよい。

＜２０．第２０の実施の形態＞
本技術の第２０の実施の形態では、ＷＬＣＭの視差を利用して距離情報を算出する例を示す。

［距離情報の算出例］
図４９は、本技術の第２０の実施の形態における複眼撮像部１１０の断面を示す図である。

最初に、複眼撮像部１１０の最も左端と、最も右端との個眼における同一アドレスの画素出力信号の差分値Ｄｉｋｌを、次の式３を用いて求める。
Ｄｉｋｌ＝Ｓｉ１ｋｌ−ＳｉＮｋｌ … 式３

ここで、Ｓｉｊｋｌは、各個眼の出力信号を示す値である。

また、ｉは、個眼の行番号を示す値である。また、ｊは、個眼の列番号を示す値である。また、ｋは、個眼における画素の行番号を示す値である。また、ｌは、個眼における画素の列番号を示す値である。

式３において、Ｓｉ１ｋｌは、例えば、複眼撮像装置の最も左端の個眼における被写体Ａの結像情報（出力信号）を示す値である。また、ＳｉＮｋｌは、複眼撮像装置の最も右端の個眼における被写体Ａの結像情報（出力信号）を示す値である。

なお、被写体が視差に比較して充分遠方にあるときには、差分値Ｄｉｋｌは０となる。また、被写体の位置が複眼撮像部１１０の視差が生じる程度に近い場合には、差分値Ｄｉｋｌは０以外の値となる。

そこで、次の式４のように、個眼の画素位置をａだけずらした画素の情報の差分をとり、その差分値が最少になるａを求める。
Ｄｉｋｌ＝Ｓｉ１ｋ（ｌ−ａ）−ＳｉＮｋｌ（ｌ＋ａ） … 式４

このようにして求められたａを用いることにより、次の式５により、複眼撮像部１１０（イメージセンサ）から被写体までの距離Ｄｏを、三角測量の原理に基づいて求めることができる。
Ｄｏ＝Ｌ｛（Ｗｓ／ａＷｐ）＋１｝ … 式５

ここで、Ｗｐは、画素ピッチを示す値である。また、Ｗｓは、個眼ピッチを示す値である。また、Ｌは、複眼撮像部１１０における個眼レンズ５０１乃至５０３および撮像面５０４間の距離を示す値である。

ここで、例えば、従来は、イメージセンサ（撮像素子）と、ＭＬＡ等との組み立て工程が半導体プロセスとは別行程で行われるため、視差を利用して距離情報を算出する際の精度が悪くなる。また、精度を上げようとすると複眼撮像装置全体が大きくなり、特に、厚みを薄くすることが困難である。これに対して、本技術の第２０の実施の形態では、視差を利用して距離情報の算出精度を高めることができ、複眼撮像装置全体の厚みを薄くすることができる。

＜２１．第２１の実施の形態＞
本技術の第２１の実施の形態では、複数の個眼のうちの少なくとも１つを他と異なる材料とする例を示す。

［複眼撮像部の構成例］
図５０は、本技術の第２１の実施の形態における複眼撮像部１１０の外観を示す上面図である。

例えば、図５０に示す複眼撮像部１１０のうち、（２，２）の個眼（図５０ではグレーで示す）をＩｎＧａＡｓで作製したイメージセンサ（撮像素子）とすることができる。また、他の個眼（８つの個眼）については、シリコンを使用したイメージセンサ（撮像素子）とすることができる。

ここで、従来の複眼撮像装置は、同じ材料からなるイメージセンサ（撮像素子）で構成されている。このため、イメージセンサ（撮像素子）の特性では、取得することができない情報を得ることはできないおそれがある。例えば、可視光と遠赤外の情報を複眼撮像装置で取得することはできない。

そこで、本技術の第２１の実施の形態では、複数の個眼のうちの少なくとも１つを他と異なる材料とすることにより、取得することができない情報を低減させることができる。

＜２２．第２２の実施の形態＞
本技術の第２２の実施の形態では、個片化したイメージセンサ（撮像素子）のチップを並べて疑似１チップ化してマルチレンズアレイ（ＭＬＡ）等を付加して複眼撮像部を作製する例を示す。

［複眼撮像部の構成例］
図５１は、本技術の第２２の実施の形態における複眼撮像部１１０の外観を示す上面図である。

図５１に示すように、個片化したイメージセンサ（撮像素子）のチップを並べて疑似１チップ化してマルチレンズアレイ（ＭＬＡ）等を付加して複眼撮像部１１０を作製することができる。

＜２３．第２３の実施の形態＞
本技術の第２３の実施の形態では、タイリングで複眼撮像部を作製する例を示す。なお、タイリングで作製された複眼撮像部の外観構成については、図５１と同様であるため、ここでの図示を省略する。

例えば、ガラス、樹脂、シリコン、または、これらを複数種類使用したタイリング技術により複眼撮像装置を生成することができる。

ここで、タイリング技術は、例えば、異種チップ、または、同種複数チップを疑似Ｗａｆｅｒ化する技術である。

＜２４．第２４の実施の形態＞
本技術の第２４の実施の形態では、タイリング、薄肉化、再配線、積層接続で複眼撮像部を作製する例を示す。なお、タイリング、薄肉化、再配線、積層接続で作製された複眼撮像部の外観構成については、図５１と同様であるため、ここでの図示を省略する。

ここで、従来の複眼撮像装置として、例えば、独立したカメラやカメラモジュールを複数使用したもの、または、１つのイメージセンサ（撮像素子）とＭＬＡを組み合わせて構成したものが存在する。

独立したカメラやカメラモジュールを複数使用した複眼撮像装置は、カメラやカメラモジュール間の特性差により、使用したカメラの台数に見合う複眼撮像装置としての目標特性を得るのが困難である。

また、１つのイメージセンサ（撮像素子）とＭＬＡを組み合わせて構成した複眼撮像装置は、個眼間の遮蔽側壁や遮蔽楯側壁等によるフレアを抑制するための個眼間チップスペースの確保により、撮像素子チップの面積が大きくなる。このため、撮像特性を向上しようとすると、コスト増になる。

そこで、本技術の第２２乃至第２４の実施の形態に示すように、複眼撮像部１１０を作製することにより、適切な複眼撮像装置を作製することができる。これにより、複眼撮像装置のコストダウン、複眼撮像装置の薄型化、小型化を行うことができる。

＜２５．第２５の実施の形態＞
本技術の第２５の実施の形態では、複数の複眼撮像部を並べて撮像する撮像装置の例を示す。

［撮像装置の構成例］
図５２は、本技術の第２５の実施の形態における複眼撮像装置６００の外観を示す上面図である。

複眼撮像装置６００は、複数の複眼撮像部６０１乃至６０３をタイリングで作製した撮像装置である。また、複眼撮像装置６００は、複数の複眼撮像部６０１乃至６０３を並べて撮像する撮像装置である。

なお、図５２では、３つの複眼撮像部６０１乃至６０３を並べて配置する例を示すが、２、または、４以上の複眼撮像部を並べて配置するようにしてもよい。

ここで、複眼撮像装置の感度を高めようとして個眼の数を多くすると複眼撮像装置の面積が大きくなり１つの複眼撮像装置を作製することが困難であるも想定される。そこで、本技術の第２５の実施の形態に示すように、複数の複眼撮像部６０１乃至６０３をタイリングで作製することにより、適切な複眼撮像装置を作製することができる。

＜２６．第２６の実施の形態＞
本技術の第２６の実施の形態では、個眼、または、複数の複眼撮像部を並べる面や角度を変えて複眼撮像装置を作製する例を示す。

［撮像装置の構成例］
図５３は、本技術の第２６の実施の形態における複眼撮像装置６１０の断面を示す断面図である。

複眼撮像装置６１０は、複数の複眼撮像部６１１乃至６１３を並べる面や角度を変えて作製した複眼撮像装置である。例えば、図５３に示すように、複数の複眼撮像部６１１乃至６１３を基準面６１４上の角度を変えて並べて配置することができる。

すなわち、複数の複眼撮像部を並べる基準面を同一平面や同一角度ではなく、複数の複眼撮像部に応じて、それらを並べる面や角度を変えて撮像装置を作製することができる。

なお、図５３では、３つの複眼撮像部６１１乃至６１３を並べて配置する例を示すが、複数の個眼を並べて配置する場合についても同様とすることができる。また、２、または、４以上の複眼撮像部（または、複眼）を並べて配置するようにしてもよい。

ここで、並べる面は、曲面の意味も含む。また、タイリングで作製する場合についても同様とすることができる。

なお、従来の複眼撮像装置は、個眼を並べる基準面が同一平面、同一角度であるため、個眼の光軸を中心とした領域の画像を用いて複眼撮像装置としての画角を広くとることが困難であることが想定される。そこで、本技術の第２６の実施の形態では、複数の複眼撮像部を並べる面や角度を変えて複眼撮像装置を作製する。これにより、複眼撮像装置としての画角を広くとることができる。すなわち、画角の拡大、各情報の取得範囲の拡大を実現することができる。

＜２７．第２７の実施の形態＞
本技術の第２７の実施の形態では、薄肉化した複眼撮像装置を基準面に貼り付けることにより、 複眼撮像装置を湾曲させる、または、個眼の基準面を変え、個眼の光軸を変える例を示す。

［撮像装置の構成例］
図５４は、本技術の第２７の実施の形態における複眼撮像装置６２０を示す断面図である。

複眼撮像装置６２０は、薄肉化した複数の複眼撮像部６２１乃至６２３を基準面６２４に貼り付けることにより、 複眼撮像装置を湾曲させる、または、個眼の基準面を変え、個眼の光軸を変える複眼撮像装置である。

＜２８．第２８の実施の形態＞
本技術の第２８の実施の形態では、個眼（または、複数の複眼撮像部）が接続されている場合に、その個眼（または、複数の複眼撮像部）同士の相対位置のずれ、傾き、ねじれの大きさを検出する例を示す。例えば、個眼（または、複数の複眼撮像部）をフレキシブルな材料で接続し、個眼（または、複数の複眼撮像部）間にセンサ（例えば、圧力センサ）を設置する。そして、そのセンサの出力信号に基づいて、個眼（または、複数の複眼撮像部）同士の相対位置のずれ、傾き、ねじれの大きさを判定することができる。

［撮像装置の構成例］
図５５は、本技術の第２８の実施の形態における複眼撮像装置６３０を示す上面図である。

複眼撮像装置６３０は、複数の複眼撮像部６３１乃至６３３と、センサ６３４、６３５とを備える。なお、センサ６３４、６３５は、請求の範囲に記載の検出部の一例である。

センサ６３４、６３５は、個眼（または、複数の複眼撮像部）同士の相対位置のずれ、傾き、ねじれの大きさを検出するセンサである。例えば、センサ６３４、６３５として、圧力センサ（例えば、有機材料を使用した圧力センサ）を用いることができる。この有機材料を使用した圧力センサは、例えば、圧力によって、センサ部の抵抗が変化し、アクセスされたＦＥＴ（Field Effect Transistor）の電流が変化するセンサである。

この有機材料を使用した圧力センサを用いる場合には、ＦＥＴの電流の変化を検出することにより、個眼（または、複数の複眼撮像部）同士の相対位置のずれ、傾き、ねじれの大きさを検出することができる。

また、個眼（または、複数の複眼撮像部）同士の相対位置のずれ、傾き、ねじれの大きさを検出することができた場合には、個眼毎の出力画像の相関性を計算し、画像のＳｔｉｔｃｈｉｎｇを行うことにより、連続した画角の広い画像を得ることができる。

ここで、従来の複眼撮像装置は、個眼（または、複数の複眼撮像部）の位置が固定されていて、個眼同士の相対位置、傾き、ねじれ具合を変えることが不可能である。これに対し、本技術の第２８の実施の形態では、個眼（または、複数の複眼撮像部）間にセンサ（例えば、圧力センサ）を設置する。これにより、個眼（または、複数の複眼撮像部）同士の相対位置のずれ、傾き、ねじれの大きさを検出することができ、これらの値を用いることができる。また、複眼撮像装置の使いやすさを向上させることができる。

＜２９．第２９の実施の形態＞
本技術の第２９の実施の形態では、撮像素子の受光面を個眼毎に凹部形状とする例を示す。すなわち、個眼の撮像面を平面ではなく湾曲した形状とする例を示す。

［複眼撮像部の構成例］
図５６乃至図５８は、本技術の第２９の実施の形態における複眼撮像部１１０の断面を示す断面図である。図５６には、個眼の湾曲面の面積を最大にした場合の例を簡略化して示す。図５７には、各個眼の境界付近を平面形状とした場合の例を簡略化して示す。図５８には、各個眼の境界付近を滑らかな曲面とした場合の例を簡略化して示す。

図５６には、個眼レンズ６４１乃至６４３と、個眼の撮像面６４４乃至６４６との関係を示す。図５６に示すように、個眼の撮像面のうち、略全ての撮像面を湾曲した形状とすることができる。例えば、隣接する個眼の撮像面の境界（例えば、個眼の撮像面６４４および６４５の境界）までの略全ての撮像面を湾曲した形状とすることができる。なお、個眼の撮像面６４４乃至６４６における点線の矩形は、画素を示すものとする。ただし、図５６では、説明の容易のため、少ない数の画素を簡略化して示す。また、図５７および図５８についても同様とする。

ここで、湾曲した形状は、例えば、光の入射側の反対側が凹部となる形状である。例えば、最も単純な例として、球面をそれと交わる平面で切りとった部分（すなわち、球冠）を凹部の形状（湾曲した形状）とすることができる。また、凹部の形状として最も効果が得られる例の一つとして、受光面を個眼毎にレンズの像面湾曲特性に合わせた形状とすることができる。例えば、撮像特性を最もよくするものの一つとして、レンズの像面湾曲特性によるレンズの焦点面に基づいて、湾曲した形状を決定することができる。また、例えば、比較的レンズに近い被写体の撮像特性を良くする場合などのために、個眼レンズから結像面までの距離（すなわち、像距離）に基づいて、湾曲した形状を決定することができる。また、例えば、回転放物面を利用した椀形の形状（例えば、パラボラ（放物線、放物線型）形状）とすることができる。

図５７には、個眼レンズ６４７乃至６４９と、個眼の撮像面６５０乃至６５２との関係を示す。図５７に示すように、個眼の撮像面のうち、個眼の撮像面の境界付近を平面形状（光軸方向と略直交する平面）とし、他の領域を湾曲した形状とすることができる。例えば、隣接する個眼の撮像面の境界付近（例えば、個眼の撮像面６５０および６５１の境界付近）を平面形状とすることができる。

図５８には、個眼レンズ６５３乃至６５５と、個眼の撮像面６５６乃至６５８との関係を示す。図５８に示すように、個眼の撮像面のうち、個眼の撮像面の境界付近を滑らかな曲面形状とし、他の領域を湾曲した形状とすることができる。例えば、隣接する個眼の撮像面の境界付近（例えば、個眼の撮像面６５６および６５７の境界付近）を曲面形状とすることができる。

ここで、本技術の第１乃至第２８に示す複眼撮像装置を構成する個眼の撮像面は平面である。このように、個眼の撮像面が平面である場合には、収差の補正等を行うため、レンズが厚くなったり、レンズの数が増加したりするため、複眼撮像装置の厚さが厚くなる。特に、広角の場合には、レンズの厚さや数がさらに増加し、複眼撮像装置の厚さがさらに厚くなることもある。このため、レンズの厚さや数の増加による複眼撮像装置のコストが増加する。

そこで、本技術の第２９の実施の形態では、個眼の撮像面を平面ではなく湾曲した形状とする。これにより、レンズの枚数を削減することができる。また、レンズの厚さを薄くすることができる。また、複眼撮像装置の厚みを薄くすることができる。また、レンズのコストを低減することができる。また、明暗が生じ難いため、シェーディング特性を向上させることができる。

なお、図５６乃至図５８では、境界付近を異なる３種類の形状とする例を示したが、境界付近を他の形状とするようにしてもよい。

＜３０．第３０の実施の形態＞
本技術の第３０の実施の形態では、光の入射方向において同一画素で異なる色情報を取得するための複数の層からなる撮像素子の例を示す。すなわち、縦分光の撮像素子を用いる複眼撮像装置の例を示す。

ここで、光がシリコンを透過する場合には、波長に応じてその特性が異なる。例えば、シリコンの受光面側から順に短い波長（例えば、Ｂ（Blue））の光が吸収され、深くなるに応じて長い波長（例えば、Ｒ（Red））が吸収される。そこで、本技術の第３０の実施の形態では、その特性を利用して、フォトダイオード毎に、Ｂ（Blue）、Ｇ（Green）、Ｒ（Red）の順に分光して光信号を取得する例を示す。なお、縦分光は、例えば、光軸方向の分光、撮像素子の奥行方向の分光、撮像素子の厚み方向の分光、光の入射方向の分光等と言い換えることができる。

［複眼撮像部の構成例］
図５９乃至図６２は、本技術の第３０の実施の形態における複眼撮像部１１０の断面を示す断面図である。

図５９には、光の入射側からＢ、Ｇ、Ｒの順に分光する場合の例を示す。図６０には、光の入射側からＧ、Ｂ、Ｒの順に分光する場合の例を示す。

図６１には、光の入射側からＢ、Ｇ、Ｒの順に分光し、かつ、撮像面を湾曲させた場合の例を示す。図６１では、各個眼の境界面を滑らかな曲面にした場合の例（図５８に対応する例）を示す。

図６２には、光の入射側からＧ、Ｂ、Ｒの順に分光し、かつ、撮像面を湾曲させた場合の例を示す。図６２では、各個眼の境界面を滑らかな曲面にした場合の例（図５８に対応する例）を示す。

図５９には、個眼レンズ６６１乃至６６３と、第１層（Ｂ層）６６４と、第２層（Ｇ層）６６５と、第３層（Ｒ層）６６６との関係を示す。

上述したように、光がシリコンを透過する場合には、波長に応じてその特性が異なる。そこで、その特性を利用して、第１層（Ｂ層）６６４、第２層（Ｇ層）６６５、第３層（Ｒ層）６６６を縦方向に配置して、同一位置（同一画素）の異なる色情報を分離するようにする。すなわち、３層（第１層（Ｂ層）６６４、第２層（Ｇ層）６６５、第３層（Ｒ層）６６６）のセンサを用いるようにする。また、第１層（Ｂ層）６６４、第２層（Ｇ層）６６５、第３層（Ｒ層）６６６は、個眼毎に配置されるものとする。

ここで、最上層の第１層（Ｂ層）６６４は、ＲＧＢの全ての光の強さに反応する層であり、波長が短いＢを吸収し、ＲＧを透過する。このため、中間層の第２層（Ｇ層）６６５には、波長が短いＢの光は到達しない。なお、図５９では、内部をグレーとした矩形で第１層（Ｂ層）６６４を表す。

また、中間層の第２層（Ｇ層）６６５は、波長が短いＢ以外のＲＧの光の強さに反応する層であり、Ｇを吸収し、Ｒを透過する。このため、最下層の第３層（Ｒ層）６６６には、ＧＢの光は到達しない。なお、図５９では、内部を白とした矩形で第２層（Ｇ層）６６５を表す。

また、最下層の第３層（Ｒ層）６６６は、第１層（Ｂ層）６６４および第２層（Ｇ層）６６５に吸収されたＧＢ以外のＲの光の強さに反応する層である。なお、図５９では、内部に斜線を付した矩形で第３層（Ｒ層）６６６を表す。

このように、取得されたＲＧＢの各値を用いて信号処理が行われる。例えば、信号処理部１２０（図９）は、中間層の第２層（Ｇ層）６６５で取得されたＲＧの値から、最下層の第３層（Ｒ層）６６６で取得されたＲの値にシリコンの光吸収特性とデバイス構造特性とに基づく係数を掛けて算出した値を引くことにより、Ｇの値を求めることができる。また、例えば、信号処理部１２０（図９）は、最上層の第１層（Ｂ層）６６４で取得されたＲＧＢの値から、中間層の第２層（Ｇ層）６６５で取得されたＲＧの値にシリコンの光吸収特性とデバイス構造特性とに基づく係数を掛けて算出した値を引くことにより、Ｂの値を求めることができる。このように、画素毎に受光した光のエネルギーを略１００％光電変換に利用することができるため、画質をさらに向上させることができる。

なお、３層（第１層（Ｂ層）６６４、第２層（Ｇ層）６６５、第３層（Ｒ層）６６６）における点線の矩形は、画素を示すものとする。ただし、図５９では、説明の容易のため、少ない数の画素を簡略化して示す。また、図６０乃至図６２についても同様とする。

図６０には、個眼レンズ６６７乃至６６９と、第１層（Ｇ層）６７０と、第２層（Ｂ層）６７１と、第３層（Ｒ層）６７２との関係を示す。なお、図６０は、図５９に示す例において、Ｇ層およびＢ層の位置を入れ替えた点以外は、図５９と略同様である。このように色分離の順番を変えることは、例えば、光電変換膜にシリコン以外の材料を用いることなどで可能になる。

図６１には、個眼レンズ６７３乃至６７５と、第１層（Ｂ層）６７６と、第２層（Ｇ層）６７７と、第３層（Ｒ層）６７８との関係を示す。図６１には、３層（第１層（Ｂ層）６７６、第２層（Ｇ層）６７７、第３層（Ｒ層）６７８）の撮像面を個眼毎に湾曲させる例を示す。すなわち、３層の配置を図５９に示す例に対応させ、湾曲の形状を図５８に示す例に対応させる場合の例を示す。

図６２には、個眼レンズ６７９乃至６８１と、第１層（Ｇ層）６８２と、第２層（Ｂ層）６８３と、第３層（Ｒ層）６８４との関係を示す。図６２には、３層（第１層（Ｇ層）６８２、第２層（Ｂ層）６８３、第３層（Ｒ層）６８４）の撮像面を個眼毎に湾曲させる例を示す。すなわち、３層の配置を図６０に示す例に対応させ、湾曲の形状を図５８に示す例に対応させる場合の例を示す。

なお、図６１および図６２では、各個眼の境界面を滑らかな曲面にする例（図５８に対応する例）を示すが、他の例（例えば、図５６、図５７に示す例）を適用するようにしてもよい。

図６３および図６４は、本技術の第３０の実施の形態における複眼撮像部１１０から出力される画像信号の出力波形を示す図である。図６３および図６４に示すグラフにおいて、縦軸は、光信号の入力値および画像信号の出力値を示し、横軸は、時間軸を示す。

図６３には、入出力波形の例を示す。すなわち、光信号の入力波形と、画像信号の出力波形との関係を示す。具体的には、光の入力に対する画像信号の出力の一部に遅延が発生する場合の例を示す。

図６３のａには、信号処理による補正を行わない場合における光信号の入力波形と、画像信号の出力波形との関係を示す。

例えば、図５９乃至図６２に示すように、光軸方向において、３層を重ねて配置する場合には、光電変換層の特性に差異がある。このように、光電変換層の特性に差異がある場合には、光信号の入力に対する画像信号の応答が遅延することも想定される。例えば、光の入力値をＶｉｎとし、この光の入力値Ｖｉｎに対するＧ、Ｂ、Ｒの各画像信号の出力値を、それぞれＶＧ、ＶＢ、ＶＲとする。この場合に、例えば、図６３のａに示すように、光の入力値Ｖｉｎに対して、画像信号の出力値ＶＢ、ＶＲは、同時（または、略同時）に応答するが、画像信号の出力値ＶＧには応答が遅延することがある。この場合における画像信号の出力値ＶＧの遅延時間をＤ１とする。

このような場合には、適切な信号処理を行うことにより、図６３のｂに示すように、画像信号の出力値ＶＢ、ＶＲ、ＶＧの応答時間を揃えることができる。例えば、画像信号の出力値ＶＢ、ＶＲを、遅延が生じている画像信号の出力値ＶＧに合わせるように、画像信号の出力値ＶＢ、ＶＲのタイミングを変更（遅延時間Ｄ１だけ遅延させる）するための信号処理を行う。

図６４には、入出力波形の例を示す。すなわち、光信号の入力波形と、画像信号の出力波形との関係を示す。具体的には、光の入力に対する画像信号の出力の一部に遅延が発生し、さらに、高い周波数が減衰する場合の例を示す。

例えば、図６４のａに示すように、光の入力値Ｖｉｎに対して、画像信号の出力値ＶＢ、ＶＲは、同時（または、略同時）に応答するが、画像信号の出力値ＶＧには応答が遅延し、さらに、高い周波数が減衰することがある。この場合における画像信号の出力値ＶＧの遅延時間をＤ２とする。

このような場合にも、適切な信号処理を行うことにより、図６４のｂに示すように、画像信号の出力値の波形を揃えることができる。例えば、遅延が生じている画像信号の出力値ＶＧの波形を補正し、かつ、画像処理の出力値ＶＢ、ＶＲを、遅延が生じている画像処理の出力値ＶＧに基づいて補正するようにする。例えば、画像信号の出力値ＶＢ、ＶＲのタイミングを、遅延が生じている画像処理の出力値ＶＧに合うように、遅延時間Ｄ３だけ遅延させる。すなわち、画像処理の出力値ＶＧ、ＶＢ、ＶＲの波形、タイミングを変更するための信号処理を行う。

このように、光電変換層の特性に差異がある場合には、信号処理部１２０が信号処理による補正を行うことにより、適切な画像を出力することができる。これにより、画質を向上させることができる。

ここで、光電変換層の特性に差異がある場合には、この光電変換層の特性の差異を補正するための情報（補正情報）を予め取得しておき、その補正情報を用いることも想定される。例えば、複眼撮像装置１００が、その補正情報を保持しておき、この保持されている補正情報に基づいて、信号処理部１２０が信号処理による補正を行うことにより、目的に応じた信号を出力することができる。そこで、図６５では、その補正情報を保持して用いる例を示す。

図６５は、本技術の第３０の実施の形態における複眼撮像部１１０に用いられる積層型イメージセンサの構成例を示す図である。また、図６５のａには、積層型イメージセンサ（裏面照射型ＣＭＯＳイメージセンサ）の斜視図を示し、図６５のｂには、積層型イメージセンサ（裏面照射型ＣＭＯＳイメージセンサ）の側面図を示す。

なお、図６５に示す積層型イメージセンサ（裏面照射型ＣＭＯＳイメージセンサ）は、図４３に示す積層型イメージセンサ（裏面照射型ＣＭＯＳイメージセンサ）の回路６９１に不揮発性メモリ６９２を設けたものである。また、不揮発性メモリ６９２を設けた点以外は、図４３に示す例と同様である。

このように、補正情報を保持するための不揮発性メモリ６９２を新たに設けて用いることができる。なお、図６５では、不揮発性メモリ６９２を設ける例を示したが、他の保持部に補正情報を保持させて用いるようにしてもよい。また、外部メモリに補正情報を保持させて用いるようにしてもよい。

このように、補正情報を積層やマルチチップ構成の複眼撮像部に保持させ、この補正情報に基づいて適切な信号処理を行い、目的に応じた信号を出力することができる。

ここで、本技術の第１乃至第２９の実施の形態では、水平方向の分光の撮像素子を用いる複眼撮像装置１００の例を示した。例えば、水平方向の分光の撮像素子を用いる場合には、入射光を水平方向に分光するための色フィルタが必要である。この色フィルタにより透過されない光が発生し、この透過されない光のエネルギーが光電変換に寄与されず、複眼撮像装置としての感度が低くなるおそれがあるため、その感度を高めることが重要である。

そこで、本技術の第３０の実施の形態では、縦分光の撮像素子を用いるようにする。これにより、入射光のエネルギーを無駄なく光電変換に利用することができる。また、複眼撮像装置を高感度にすることができる。また、動いている被写体の色ずれを改善することができる。また、複眼撮像装置の内部で信号処理されるため、個体間のバラツキを極めて少なくすることができる。また、ユーザは、光電変換材料の特性差異による違和感を受けずに複眼撮像装置を使用することができる。

＜３１．第３１の実施の形態＞
本技術の第３１の実施の形態では、個眼毎の像距離を調整するための像距離調整部を備える複眼撮像装置の例を示す。具体的には、アクチュエータ機能を有する複眼撮像装置の例を示す。なお、像距離は、レンズから結像面までの距離である。

［複眼撮像部の構成例］
図６６乃至図７０は、本技術の第３１の実施の形態における複眼撮像部１１０の断面を示す断面図である。

図６６には、アクチュエータを備える複眼撮像装置の例を示す。図６７には、アクチュエータを備え、撮像面が湾曲している場合の例を示す。また、図６７では、各個眼の境界面を滑らかな曲面にした場合の例（図５８に対応する例）を示す。

図６８には、光の入射側からＧ、Ｂ、Ｒの順に縦分光する場合の例（図６０に対応する例）を示す。図６９には、光の入射側からＧ、Ｂ、Ｒの順に縦分光し、かつ、撮像面を湾曲させた場合の例を示す。また、図６９では、各個眼の境界面を滑らかな曲面にした場合の例（図６２に対応する例）を示す。

図６６には、アクチュエータ７００と、可動部材７０１乃至７０４と、個眼レンズ７０５乃至７０７と、各個眼の撮像素子７０８との関係を示す。

アクチュエータ７００は、各個眼の撮像素子７０８を備える基板に設けられる像距離調整素子である。また、アクチュエータ７００は、制御部１３０（図９に示す）により制御される。また、可動部材７０１乃至７０４は、個眼レンズ７０１乃至７０３を支持し、アクチュエータ７００の移動に応じて、個眼レンズ７０１乃至７０３を光軸方向に移動させる可能部材である。

このように、アクチュエータ７００は、個眼レンズ７０１乃至７０３を移動させて、各個眼の合焦位置を調整する。

ここで、アクチュエータ７００として、例えば、緩急を伴う伸縮の繰り返しを行うことにより個眼レンズ７０５乃至７０７を移動させることが可能な圧電素子を用いることができる。この圧電素子として、例えば、電圧を加えると変位が生じる素子（ピエゾ素子）を用いることができる。

なお、各個眼の撮像素子７０８における点線の矩形は、画素を示すものとする。ただし、図６６では、説明の容易のため、少ない数の画素を簡略化して示す。また、図６７乃至図６９についても同様とする。

図６７には、アクチュエータ７０９と、可動部材７１０乃至７１３と、個眼レンズ７１４乃至７１６と、各個眼の撮像素子７１７との関係を示す。なお、図６７に示す例は、各個眼の境界面を滑らかな曲面にした点以外は、図６６に示す例と略同様である。

図６８には、アクチュエータ７１８と、可動部材７１９乃至７２２と、個眼レンズ７２３乃至７２５と、各個眼の撮像素子７２６との関係を示す。なお、図６８に示す例は、光の入射側からＧ、Ｂ、Ｒの順に縦分光する撮像素子を用いる点以外は、図６６に示す例と略同様である。

図６９には、アクチュエータ７２７と、可動部材７２８乃至７３１と、個眼レンズ７３２乃至７３４と、各個眼の撮像素子７３５との関係を示す。なお、図６９に示す例は、光の入射側からＧ、Ｂ、Ｒの順に縦分光する撮像素子を用いる点と、撮像面を湾曲させる点以外は、図６６に示す例と略同様である。

ここで、アクチュエータを用いて各個眼の合焦位置を調整するための情報（合焦位置情報）を予め取得しておき、その合焦位置情報を用いることも想定される。例えば、複眼撮像装置１００が、その合焦位置情報を保持しておき、この保持されている合焦位置情報に基づいて、制御部１３０（図９に示す）がアクチュエータを制御することができる。

例えば、図６５に示す不揮発性メモリ６９２に合焦位置情報を保持して用いることができる。

このように、合焦位置情報を保持して用いることにより、個体間の位置精度に冗長性を持たせることができる撮像素子を実現することができる。これにより、複眼撮像装置の性能を向上させることができる。また、この性能向上のためのコストを削減することができる。また、被写体に応じた合焦に至るまでの時間を短縮することもできる。また、複眼撮像装置固有の情報（合焦位置情報）の紛失を防止することができる。

なお、この例では、図６５に示す不揮発性メモリ６９２に合焦位置情報を保持させて用いる例を示したが、他の保持部に合焦位置情報を保持させて用いるようにしてもよい。また、外部メモリに合焦位置情報を保持させて用いるようにしてもよい。

図７０には、複数のアクチュエータを備える複眼撮像装置の例を示す。すなわち、アクチュエータを個眼毎に設ける例を示す。具体的には、図７０には、アクチュエータ７３６乃至７３８と、可動部材７３９乃至７４４と、個眼レンズ７４５乃至７４７と、各個眼の撮像素子７４８との関係を示す。

このように、個眼毎にアクチュエータ７３６乃至７３８を設けることにより、各個眼の製造時の位置精度のバラツキまで冗長性を持たせることができる。また、個眼毎に焦点位置を合わせる対象を変えることができる。すなわち、合焦位置を個眼毎に調整することが可能となる。

ここで、固定焦点の複眼撮像装置は、近距離から無限遠までを含めた合焦範囲が狭い。特に、焦点距離が長く、Ｆ値が小さなレンズを使用する場合には、近距離から無限遠までを含めた合焦範囲がさらに狭くなる。

そこで、本技術の第３１の実施の形態では、像距離を調整するためのアクチュエータ機能を備えるようにする。

これにより、近距離から無限遠までを含めた合焦範囲を広くすることができる。特に、焦点距離が長く、Ｆ値が小さなレンズを使用する場合でも、近距離から無限遠までを含めた合焦範囲を広くすることができる。

なお、アクチュエータ７００、７０９、７１８、７２７、７３６乃至７３８は、請求の範囲に記載の像距離調整部の一例である。

＜３２．第３２の実施の形態＞
本技術の第３２の実施の形態では、個眼毎に合焦状態を変更する複眼撮像装置の例を示す。

［複眼撮像部の構成例］
図７１および図７２は、本技術の第３２の実施の形態における複眼撮像部１１０の断面を示す断面図である。

図７１には、アクチュエータを備え、個眼毎に合焦状態を変える複眼撮像装置の例を示す。具体的には、図７１には、アクチュエータ７５０と、可動部材７５１乃至７５４と、個眼レンズ７５５乃至７５７と、各個眼の撮像素子７５８との関係を示す。なお、図７１に示す例は、個眼毎に合焦状態を変える点以外は、図６６に示す例と略同様である。

すなわち、図７１では、個眼毎に合焦状態が異なる個眼レンズ７５５乃至７５７を用いるようにする。これにより、個眼レンズ７５５乃至７５７を介して各個眼の撮像素子７５８に入射される光（図７１では、点線で示す。）の合焦位置が異なるようになる。

図７２には、個眼毎にアクチュエータを備え、個眼毎に合焦状態を変える複眼撮像装置の例を示す。すなわち、複数のアクチュエータを備える例を示す。具体的には、図７２には、アクチュエータ７５９乃至７６１と、可動部材７６２乃至７６７と、個眼レンズ７６８乃至７７０と、各個眼の撮像素子７７１との関係を示す。なお、図７２に示す例は、個眼毎に合焦状態を変える点以外は、図７０に示す例と略同様である。

ここで、個眼の合焦状態が一様である複眼撮像装置を用いて撮影を行う場合には、近距離から無限遠までの範囲において、ピントが合わない距離に存在する被写体が全てボケた画像として撮像される。

これに対して、本技術の第３２の実施の形態では、個眼毎に合焦状態を変えるため、近距離から無限遠までの範囲において、個眼に応じて最もピントが合っている画像が存在する確率が高まる。これにより、完全なピンぼけの状態を回避することができる。

また、複数のアクチュエータを個眼毎に備えることにより、状況に応じて最適な個眼毎のピント合わせを設定することができる。これにより、ピント合わせに対する自由度を高めることができる。

＜３３．第３３の実施の形態＞
本技術の第３３の実施の形態では、個眼毎に異なる焦点距離を設定する複眼撮像装置の例を示す。

［複眼撮像部の構成例］
図７３および図７４は、本技術の第３３の実施の形態における複眼撮像部１１０の断面を示す断面図である。

図７３には、個眼毎に合焦距離を変える複眼撮像装置の例を示す。具体的には、図７３には、個眼レンズ７７５乃至７７７と、各個眼の撮像素子７７８との関係を示す。

すなわち、図７３では、個眼毎に合焦距離が異なる個眼レンズ７７５乃至７７７を、各合焦位置に応じた高さ（光軸方向の長さ）に設置するようにする。

図７４には、個眼毎にアクチュエータを備え、個眼毎に合焦距離を変える複眼撮像装置の例を示す。すなわち、複数のアクチュエータを備える例を示す。具体的には、図７４には、アクチュエータ７８０乃至７８２と、可動部材７８３乃至７８８と、個眼レンズ７８９乃至７９１と、各個眼の撮像素子７９２との関係を示す。なお、図７４に示す例は、個眼毎に合焦距離を変える点以外は、図７０に示す例と略同様である。

ここで、個眼の合焦距離が一様である複眼撮像装置を用いて撮影を行う場合には、広角から望遠までを含めた画角の広い画像を得ることが困難であることが想定される。

これに対して、本技術の第３３の実施の形態では、個眼毎に合焦距離を変えるため、広角から望遠までを含めた画角の広い画像を得ることができる。

また、個眼毎の複数のアクチュエータを備えることにより、状況に応じて最適な個眼毎のピント合わせを設定することができる。これにより、ピント合わせに対する自由度を高めることができる。

これらにより、中央部の解像度が高く、周辺部の解像度は低く、画角が広い等の画像を生成することができる。

＜３４．第３４の実施の形態＞
本技術の第３４の実施の形態では、個眼光学系の光学特性に関する情報（光学特性情報）を保持して信号処理に用いる複眼撮像装置の例を示す。

各個眼の出力信号Ｓ ｉｊｋｌと被写体情報Ｂ ｉｊｑｒとの関係を式６乃至式１１に示す。すなわち、式６乃至式１１では、複眼撮像装置１００が信号処理に用いる光学特性の一例と光学特性を用いる場合の計算例とを示す。

ここで、関数ｆは、光学特性を表す関数である。なお、関数ｆは、既知、または、取得可能な情報である。また、関数ｆの逆関数をｇとする。

また、ｉは、個眼の行番号を示し、ｊは、個眼の列番号を示す。また、ｋは、個眼における画素の行番号を示し、ｌは、個眼における画素の列番号を示す。

また、ｑは、被写体の垂直方向番号を示し、ｒは、被写体の水平方向番号を示す。

また、ａ ｉｊｋｌｑｒは、光学特性を示す係数である。また、Ｍは、垂直画素数を示し、Ｎは、水平画素数を示す。

上述したように、関数ｆ（光学特性を表す関数）は既知（または、取得可能な情報）であるため、関数ｆの逆関数ｇを求め、イメージセンサのローデータを処理することにより、被写体情報を精度良く求めることができる。

具体的には、例えば、光学特性を表す係数ａを要素とする行列の逆行列を求める。そして、式１１に示すように、その逆行列の要素ｂとイメージセンサのローデータとの演算により、被写体情報を精度良く求めることができる。

これらの光学特性（または、光学特性の逆特性）に関する情報（光学特性情報）を積層やマルチチップ構成の複眼撮像装置に保持する。そして、信号処理部１２０は、その保持されている光学特性情報に基づいて、イメージセンサから出力されるローデータについて信号処理を施し、目的に応じた信号を出力することができる。これにより、画質を向上させることができる。

例えば、図６５に示す不揮発性メモリ６９２に光学特性情報を保持して用いることができる。また、他の保持部に光学特性情報を保持させて用いるようにしてもよく、外部メモリに光学特性情報を保持させて用いるようにしてもよい。なお、不揮発性メモリ６９２は、請求の範囲に記載の保持部の一例である。

このように、製造過程におけるバラツキを反映されることにより、個体間の画質のバラツキを少なくすることができる。すなわち、個体間の画質のバラツキを少なくすることができるため、製造工程における管理値をロバストにすることができ、製造コストを下げることができる。また、複眼撮像装置により生成される画像を、高画質で安定させることができる。

また、複眼撮像装置の内部で信号処理されるため、ユーザは、特性差異による違和感を受けずに複眼撮像装置を使用することができる。

＜３５．第３５の実施の形態＞
本技術の第３５の実施の形態では、時間応答補正前後の両信号を利用する複眼撮像装置の例を示す。

図７５は、本技術の第３５の実施の形態における複眼撮像部１１０から出力される画像信号の出力波形を示す図である。図７５に示すグラフにおいて、縦軸は、光信号の入力値および画像信号の出力値を示し、横軸は、時間軸を示す。

図７５のａには、信号処理部１２０により時間応答補正が行われる前の入出力波形の例を示す。図７５のｂには、信号処理部１２０により時間応答補正が行われた後の入出力波形の例を示す。

例えば、表示部１４０（図９に示す）への出力（モニタ出力）には、図７５のａに示す時間応答補正前のＶＧ、ＶＢ、ＶＲを使用し、レイテンシ（遅延）を最小にする。一方、記憶部１５０（図９に示す）への記録用には、図７５のｂに示す時間応答補正後のＶＧ、ＶＢ、ＶＲを使用して、高画質の信号を記録するようにする。

このように、信号処理部１２０（図９に示す）は、撮像素子により生成された画像信号のうち、時間応答補正処理が行われる前の画像信号と、時間応答補正が行われた後の画像信号との双方を用いて画像を生成する。具体的には、信号処理部１２０は、時間応答補正処理が行われる前の画像信号に基づいて表示対象画像を生成し、時間応答補正が行われた後の画像信号に基づいて記録対象画像を生成する。

例えば、光の波長帯に応じて異なる光電変換材料を使用する場合には、光の入力に対する光電変換材料の応答速度に差異が生じる可能性がある。この差異を少なくするための信号処理（時間応答補正処理）を行うと、複眼撮像装置からの出力信号にレイテンシが発生する。このため、そのレイテンシが発生した画像をモニタ表示すると、被写体の動きに対してカメラの追従が遅れ、動いている被写体を撮像することが困難になるおそれがある。

そこで、本技術の第３５の実施の形態では、二つの信号（時間応答補正前の信号、時間応答補正後の信号）を利用する。これにより、複眼撮像装置からの出力信号にレイテンシが発生した場合でも、適切な画像をモニタ表示することができる。これにより、被写体の動きに対してカメラの追従を適切に行うことができる。また、動いている被写体を撮像することを容易にすることができる。また、適切な画像をモニタ表示するとともに、記録データについては、高画質な画像情報とすることができる。

＜３６．第３６の実施の形態＞
本技術の第３６の実施の形態では、光電変換の時間応答特性差異を補正する複眼撮像装置の例を示す。

図７６は、本技術の第３６の実施の形態における複眼撮像部１１０から出力される画像信号の出力波形を示す図である。図７６に示すグラフにおいて、縦軸は、光信号の入力値および画像信号の出力値を示し、横軸は、時間軸を示す。

図７６のａには、信号処理部１２０による信号処理前の入出力波形の例を示す。図７６のｂには、信号処理部１２０による信号処理後の入出力波形の例を示す。

例えば、図７６のａに示すように、光信号の入力値Ｖｉｎに対して、画像信号の出力値ＶＢ、ＶＲは、略同時に応答するが、画像信号の出力値ＶＧは応答が遅延し、さらに、高い周波数が減衰することが想定される。このような場合には、図７６のｂに示すように、適切な信号処理を行い、波形を揃え、画質を向上させることができる。

このように、信号処理部１２０（図９に示す）は、撮像素子により生成された画像信号について、撮像素子による光電変換の時間応答特性により生じる差異を補正する。

例えば、光の波長帯に応じて異なる光電変換材料を使用する場合には、光の入力に対する光電変換材料の応答速度に差異が生じる可能性がある。この応答速度の差異により、複眼撮像装置から出力される画像信号の画質が悪化するおそれがある。

そこで、本技術の第３６の実施の形態では、光電変換の時間応答特性差異を補正する。例えば、光の波長帯に応じて異なる光電変換材料を使用する場合等において、光の入力に対する光電変換材料の応答速度に差異が生じることも想定される。このような場合でも、信号処理による補正を行うことにより、複眼撮像装置から出力される画像信号の画質を向上させることができる。

このように、本技術の実施の形態によれば、複眼撮像装置の解像度を向上させることができる。また、複眼撮像装置の光学系を薄型化することができる。また、複眼撮像装置の光学系をコストダウンすることができる。また、複眼撮像装置を薄型化することができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

なお、本技術は以下のような構成もとることができる。
（１）
被写体に対向して２次元状に配置される複数の個眼光学系と、
前記個眼光学系により集光される光を受光して画像信号を生成する複数の画素を個眼単位で備える撮像素子と、
前記撮像素子により生成された画像信号に基づいて前記被写体に対応する画像を生成する信号処理部と
を具備する複眼撮像装置。
（２）
前記個眼光学系の光軸の位置をずらすことにより空間画素ずらしを行う前記（１）に記載の複眼撮像装置。
（３）
前記信号処理部は、前記個眼光学系の倍率色収差による焦点面上の周辺部における色に応じて生じる像のずれを補正する前記（１）または（２）に記載の複眼撮像装置。
（４）
前記複数の個眼光学系のうちの少なくとも１つの光学特性を他の個眼光学系と異なるようにする前記（１）から（３）のいずれかに記載の複眼撮像装置。
（５）
前記撮像素子の周辺部における個眼光学系のＦ値を他の個眼光学系のＦ値よりも小さくする前記（１）から（４）のいずれかに記載の複眼撮像装置。
（６）
前記複眼撮像装置は、ＷＬＣＭ（Wafer Level Camera Module）および積層型複眼撮像装置により構成され、
前記個眼の数を閾値を基準として多くする
前記（１）から（５）のいずれかに記載の複眼撮像装置。
（７）
前記複数の個眼のうちで使用されない個眼の駆動の停止と、当該個眼に設置されるＡＤＣ（Analog to Digital Converter）のオフとのうちの少なくとも１つを行う制御部をさらに具備する前記（１）から（６）のいずれかに記載の複眼撮像装置。
（８）
前記複数の個眼のうちの少なくとも１つに距離センサを備える前記（１）から（７）のいずれかに記載の複眼撮像装置。
（９）
前記複数の個眼のうちの少なくとも１つを、偏光角度が他の個眼と異なる個眼とする前記（１）から（８）のいずれかに記載の複眼撮像装置。
（１０）
前記複数の個眼のうちの少なくとも１つを、分光感度が他の個眼と異なる個眼とする前記（１）から（９）のいずれかに記載の複眼撮像装置。
（１１）
前記複数の個眼のうちの少なくとも１つを他の個眼と異なる材料とする前記（１）から（１０）のいずれかに記載の複眼撮像装置。
（１２）
前記撮像素子は、個片化されたチップを並べて疑似１チップ化され、ＭＬＡ（Multi Lens Array）を付加して作製される前記（１）から（１１）のいずれかに記載の複眼撮像装置。
（１３）
前記撮像素子は、タイリングで作製される前記（１）から（１１）のいずれかに記載の複眼撮像装置。
（１４）
前記撮像素子は、光の入射方向において同一画素で異なる色情報を取得するための複数の層からなる前記（１）から（１３）のいずれかに記載の複眼撮像装置。
（１５）
前記個眼毎の像距離を調整するための像距離調整部をさらに具備する前記（１）から（１４）のいずれかに記載の複眼撮像装置。
（１６）
前記個眼毎に合焦状態を変更する前記（１）から（１５）のいずれかに記載の複眼撮像装置。
（１７）
前記個眼毎に異なる焦点距離を設定する前記（１）から（１６）のいずれかに記載の複眼撮像装置。
（１８）
前記個眼光学系の光学特性に関する光学特性情報を保持する保持部をさらに具備し、
前記信号処理部は、前記保持されている光学特性情報を用いて信号処理を行うことにより前記被写体に対応する画像を生成する
前記（１）から（１７）のいずれかに記載の複眼撮像装置。
（１９）
前記信号処理部は、前記撮像素子により生成された画像信号のうち、時間応答補正処理が行われる前の画像信号と、前記時間応答補正が行われた後の画像信号との双方を用いて画像を生成する前記（１）から（１８）のいずれかに記載の複眼撮像装置。
（２０）
前記信号処理部は、前記撮像素子により生成された画像信号について前記撮像素子による光電変換の時間応答特性により生じる差異を補正する前記（１）から（１９）のいずれかに記載の複眼撮像装置。
（２１）
被写体に対向して２次元状に配置される複数の個眼光学系と、
前記個眼光学系により集光される光を受光して画像信号を生成する複数の画素を個眼単位で備える撮像素子と、
前記個眼毎に設置される色フィルタと、
前記撮像素子により生成された画像信号に基づいて前記被写体に対応する画像を生成する信号処理部とを具備し、
前記色フィルタ毎に画素の実効開口を変更する
複眼撮像装置。
（２２）
被写体に対向して２次元状に配置される複数の個眼光学系と、前記個眼光学系により集光される光を受光して画像信号を生成する複数の画素を個眼単位で備える撮像素子と、前記撮像素子により生成された画像信号に基づいて前記被写体に対応する画像を生成する信号処理部とを備える複数の複眼撮像部が並べて配置される複眼撮像装置。
（２３）
前記複数の複眼撮像部は、タイリングで作製される前記（２２）に記載の複眼撮像装置。
（２４）
前記複数の複眼撮像部を並べて設置する設置面の角度を前記複眼撮像部毎に変更する前記（２２）または（２３）に記載の複眼撮像装置。
（２５）
前記複数の複眼撮像部が湾曲するように並べて設置する前記（２２）から（２４）のいずれかに記載の複眼撮像装置。
（２６）
前記複数の複眼撮像部を並べて設置し、
前記複数の複眼撮像部のうちの隣接する複眼撮像部間の相対位置のずれと傾きとねじれとのうちの少なくとも１つを検出する検出部をさらに具備する
前記（２２）から（２５）のいずれかに記載の複眼撮像装置。
（２７）
前記個眼毎に瞳補正が行われる前記（１）から（２６）のいずれかに記載の複眼撮像装置。
（２８）
前記個眼光学系の色収差による焦点距離の差異に応じて前記個眼の光学設計が行われる前記（１）から（２７）のいずれかに記載の複眼撮像装置。
（２９）
前記個眼は、複数のサブ個眼で構成される前記（１）から（２８）のいずれかに記載の複眼撮像装置。
（３０）
前記複数の個眼光学系のうちの少なくとも１つの構造を他の個眼光学系と異なるようにする前記（１）から（２９）のいずれかに記載の複眼撮像装置。
（３１）
前記個眼光学系は、主光線の入射角を略０度とする第１個眼光学系と、主光線の入射角を０度以外、かつ、前記第１個眼光学系の入射角とは異なる角度とする第２個眼光学系とを含む前記（１）から（３０）のいずれかに記載の複眼撮像装置。
（３２）
前記第２個眼光学系は、前記撮像素子の周辺部の領域に配置される個眼光学系である前記（３１）に記載の複眼撮像装置。
（３３）
前記複眼撮像装置は、ＷＬＣＭにより構成され、
前記ＷＬＣＭにおいて感度の異なる前記複数の個眼が配置される
前記（１）から（３２）のいずれかに記載の複眼撮像装置。
（３４）
撮像モードに応じて前記撮像素子からの読み出し方法を変更する制御を行う制御部をさらに具備する前記（１）から（３３）のいずれかに記載の複眼撮像装置。
（３５）
前記撮像素子は、グローバルシャッタ方式のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである前記（１）から（３４）のいずれかに記載の複眼撮像装置。
（３６）
前記撮像素子は、裏面照射型ＣＭＯＳイメージセンサである前記（１）から（３４）のいずれかに記載の複眼撮像装置。
（３７）
前記撮像素子は、積層型イメージセンサである前記（１）から（３４）のいずれかに記載の複眼撮像装置。
（３８）
前記積層型イメージセンサは、前記複数の個眼の並列出力を行う前記（３７）に記載の複眼撮像装置。
（３９）
前記複数の個眼のうちの少なくとも１つを、可視光以外の感度を有するセンサを備える個眼とする前記（１）から（３８）のいずれかに記載の複眼撮像装置。
（４０）
前記複眼撮像装置は、ＷＬＣＭにより構成され、
前記ＷＬＣＭの視差を利用して距離情報を算出する
前記（１）から（３９）のいずれかに記載の複眼撮像装置。
（４１）
前記撮像素子は、タイリング、薄肉化、再配線、積層接続で作製される前記（１）から（４０）のいずれかに記載の複眼撮像装置。
（４２）
前記撮像素子の受光面を前記個眼毎に凹部形状とする前記（１）から（４１）のいずれかに記載の複眼撮像装置。
（４３）
前記信号処理部は、前記時間応答補正処理が行われる前の画像信号に基づいて表示対象画像を生成し、前記時間応答補正が行われた後の画像信号に基づいて記録対象画像を生成する前記（１９）に記載の複眼撮像装置。

１００ 複眼撮像装置
１１０ 複眼撮像部
１２０ 信号処理部
１３０ 制御部
１４０ 表示部
１５０ 記憶部
１６０ 操作受付部
１７０ 無線通信部

Claims (20)

1. 被写体に対向して２次元状に配置される複数の個眼光学系と、
   前記個眼光学系により集光される光を受光して画像信号を生成する複数の画素を個眼単位で備える撮像素子と、
   前記撮像素子により生成された画像信号に基づいて前記被写体に対応する画像を生成する信号処理部と
   を具備する複眼撮像装置。
2. 前記個眼光学系の光軸の位置をずらすことにより空間画素ずらしを行う請求項１記載の複眼撮像装置。
3. 前記信号処理部は、前記個眼光学系の倍率色収差による焦点面上の周辺部における色に応じて生じる像のずれを補正する請求項１記載の複眼撮像装置。
4. 前記複数の個眼光学系のうちの少なくとも１つの光学特性を他の個眼光学系と異なるようにする請求項１記載の複眼撮像装置。
5. 前記撮像素子の周辺部における個眼光学系のＦ値を他の個眼光学系のＦ値よりも小さくする請求項１記載の複眼撮像装置。
6. 前記複眼撮像装置は、ＷＬＣＭ（Wafer Level Camera Module）および積層型複眼撮像装置により構成され、
   前記個眼の数を閾値を基準として多くする
   請求項１記載の複眼撮像装置。
7. 前記複数の個眼のうちで使用されない個眼の駆動の停止と、当該個眼に設置されるＡＤＣ（Analog to Digital Converter）のオフとのうちの少なくとも１つを行う制御部をさらに具備する請求項１記載の複眼撮像装置。
8. 前記複数の個眼のうちの少なくとも１つに距離センサを備える請求項１記載の複眼撮像装置。
9. 前記複数の個眼のうちの少なくとも１つを、偏光角度が他の個眼と異なる個眼とする請求項１記載の複眼撮像装置。
10. 前記複数の個眼のうちの少なくとも１つを、分光感度が他の個眼と異なる個眼とする請求項１記載の複眼撮像装置。
11. 前記複数の個眼のうちの少なくとも１つを他の個眼と異なる材料とする請求項１記載の複眼撮像装置。
12. 前記撮像素子は、個片化されたチップを並べて疑似１チップ化され、ＭＬＡ（Multi Lens Array）を付加して作製される請求項１記載の複眼撮像装置。
13. 前記撮像素子は、タイリングで作製される請求項１記載の複眼撮像装置。
14. 前記撮像素子は、光の入射方向において同一画素で異なる色情報を取得するための複数の層からなる請求項１記載の複眼撮像装置。
15. 前記個眼毎の像距離を調整するための像距離調整部をさらに具備する請求項１記載の複眼撮像装置。
16. 前記個眼毎に合焦状態を変更する請求項１記載の複眼撮像装置。
17. 前記個眼毎に異なる焦点距離を設定する請求項１記載の複眼撮像装置。
18. 前記個眼光学系の光学特性に関する光学特性情報を保持する保持部をさらに具備し、
    前記信号処理部は、前記保持されている光学特性情報を用いて信号処理を行うことにより前記被写体に対応する画像を生成する
    請求項１記載の複眼撮像装置。
19. 前記信号処理部は、前記撮像素子により生成された画像信号のうち、時間応答補正処理が行われる前の画像信号と、前記時間応答補正が行われた後の画像信号との双方を用いて画像を生成する請求項１記載の複眼撮像装置。
20. 前記信号処理部は、前記撮像素子により生成された画像信号について前記撮像素子による光電変換の時間応答特性により生じる差異を補正する請求項１記載の複眼撮像装置。

Images