JP6607262B2 - 撮像素子および撮像装置 - Google Patents

Description

本発明は、撮像素子および撮像装置に関する。

レンズ光学系の一部に複雑な開口形状を有する異なる複数のマスクを入れ替えて、複数枚のデジタル画像を取得し、高解像度画像やリフォーカス画像を得る技術が知られている（例えば、非特許文献）。しかしながら、複数のマスクを入れ替えて複数回の撮像を行うという煩雑な操作を伴うという問題がある。

Ａ．Ｌｅｖｉｎ，Ｒ．Ｆｅｒｇｕｓ，Ｆ．Ｄｕｒａｎｄ ａｎｄ Ｗ．Ｆｒｅｅｍａｎ "Ｉｍａｇｅ ａｎｄ Ｄｅｐｔｈ ｆｒｏｍ ａ Ｃｏｎｖｅｎｔｉｏｎａｌ Ｃａｍｅｒａ ｗｉｔｈ ａ Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ"，ＳＩＧＧＲＡＰＨ ２００７

第１の態様によれば、撮像素子は、一方の面において第１の方向に設けられた複数の第１電極と、他方の面において前記第１の方向と交差する第２の方向に設けられた複数の第２電極と、複数の前記第１電極と複数の前記第２電極との間に設けられ、光を光電変換して電荷を生成する光電変換部とを有する第１受光部と、前記光電変換部で生成された電荷に基づく信号を出力する出力部と、を有する。

第１の実施の形態によるデジタルカメラの構成例を説明するブロック図である。 撮像部の概要を説明する図である。 撮像部の断面の一部を例示する図である。 第１撮像素子の第１電極および第２電極の配置例を模式的に示す図である。 撮像部における一つの画素の回路構成を例示する図である。 第１撮像素子において、指定される第１電極および第２電極と、光電変換信号を出力する受光部との関係を説明する図である。 撮影処理の流れを説明するフローチャートである。 第２の実施の形態によるデジタルカメラの構成例を説明するブロック図である。 （ａ）は焦点検出処理を行う場合に第１撮像素子上で選択される部分領域を模式的に示す図であり、（ｂ）は第１電極および第２電極の組み合わせを模式的に示す図である。 焦点検出処理の流れを説明するフローチャートである。 変形例における第１電極および第２電極の配置例を模式的に示す図である。

−第１の実施の形態−
図１は、第１の実施の形態による撮像装置の一例であるデジタルカメラ１の要部構成を例示するブロック図である。デジタルカメラ１は、撮影光学系１０と、制御部１１と、撮像部１２と、操作部１３と、液晶モニタ１５と、バッファメモリ１６とを有する。また、デジタルカメラ１には、メモリカード１７が装着されている。

撮影光学系１０は、複数のレンズにより構成され、撮像部１２の撮像面に被写体像を結像させる。なお、図１においては、図示の都合上、撮影光学系１０を１枚のレンズで代表して表す。

制御部１１は、マイクロプロセッサおよびその周辺回路から構成され、不図示のＲＯＭに格納された制御プログラムを実行することにより、デジタルカメラ１の各種の制御を行う。また、制御部１１は、読出し制御部１１１と、画像生成部１１５とを機能として備える。読出し制御部１１１は、後述する第１撮像素子３１からの信号（すなわち光電変換信号）の読出しと、後述する第２撮像素子３２からの信号（すなわち光電変換信号）の読出しとを制御する。画像生成部１１５は、読出し制御部１１１により読出された第１撮像素子３１や第２撮像素子３２からの光電変換信号を用いて種々の画像処理を施すことにより画像データを生成する。以下、画像生成部１１５は、第１生成部１１３と第２生成部１１４とを機能として有するものとして説明を行う。第１生成部１１３は、第１撮像素子３１から読み出された光電変換信号を用いて、種々の画像処理を施すことにより画像データを生成する。第２生成部１１４は、第２撮像素子３２から読み出された光電変換信号を用いて、種々の画像処理を施すことにより画像データを生成する。これらの各機能部は、上記の制御プログラムによりソフトウェア的に実装される。なお、これらの各機能部を電子回路により構成することも可能である。

撮影光学系１０によって撮像部１２上に結像された被写体像は、撮像部１２によって光電変換される。撮像部１２からの出力信号は、不図示のＡ／Ｄ変換部でデジタル画像信号に変換され、バッファメモリ１６に格納される。バッファメモリ１６に格納されたデジタル画像信号は、各種の画像処理が行われた後、液晶モニタ１５に表示されたり、メモリカード１７に格納されたりする。メモリカード１７は、不揮発性のフラッシュメモリ等により構成され、デジタルカメラ１に対して着脱可能である。操作部１３は、レリーズボタンやモード切替ボタンや電源ボタン等の各種の操作ボタンから構成され、撮影者により操作される。操作部１３は、撮影者による上記の各操作ボタンの操作に応じた操作信号を制御部１１へ出力する。

＜撮像部１２の説明＞
図２（ａ）は、撮像部１２の断面の一部と撮影光学系１０との関係を例示する図であり、図２（ｂ）は、図２（ａ）に示す撮像部１２の断面の一部を拡大して例示する図である。撮像部１２は、半導体基板上に形成された第２撮像素子３２と、有機光電膜３１０を用いた第１撮像素子３１と、マイクロレンズＭＬとを有する。第１撮像素子３１と第２撮像素子３２とは、同一光路上に積層配置されている。第１撮像素子３１の入射光側、即ち第２撮像素子３２とは反対側には、複数のマイクロレンズＭＬが二次元状に配置されたマイクロレンズアレイが平坦化膜を挟んで積層される。第１撮像素子３１は、撮影光学系１０の射出瞳と共役関係を有するように、マイクロレンズＭＬに対して配置される。第１撮像素子３１は、所定の色成分（詳しくは後述する）の光を吸収（光電変換）する有機光電膜３１０で構成される。

図３は撮像部１２の概要を例示する斜視図である。なお、図３は、撮像部１２の一部を例示する図であり、図示の都合上、マイクロレンズアレイと第１撮像素子３１とを光路に沿った方向に沿って離れた状態で示す。第１撮像素子３１は、二次元状に配置された複数の第１画素Ｐ１を有し、第１画素Ｐ１とマイクロレンズＭＬとは、それぞれ対応する位置、すなわち同一光路上に設けられる。第２撮像素子３２は、Ｓｉ等により構成されるフォトダイオード（半導体素子）である。第２撮像素子３２は、二次元状に配置された複数の第２画素Ｐ２を有し、第２画素Ｐ２とマイクロレンズＭＬとは、それぞれ対応する位置、すなわち同一光路上に設けられる。したがって、図２においても示すように、各マイクロレンズＭＬのそれぞれについて、第１撮像素子３１の第１画素Ｐ１と第２撮像素子３２の第２画素Ｐ２とが同一光路上に設けられる。これにより、マイクロレンズＭＬを透過した光は、同一光路上に配置された第１撮像素子３１の第１画素Ｐ１で一部が吸収される。第１画素Ｐ１で吸収されなかった光は、第１撮像素子３１を透過して、第１画素Ｐ１と同一光路上に配置された第２撮像素子３２の第２画素Ｐ２に入射し、第２撮像素子３２で光電変換される。

図２に示すように、それぞれの第１画素Ｐ１において、複数の第１電極３１１は有機光電膜３１０の入射光側、即ちマイクロレンズＭＬ側に配置され、複数の第２電極３１２は有機光電膜３１０の出射光側、即ち第２撮像素子３２側に配置される。即ち、第１電極３１１と第２電極３１２とが有機光電膜３１０を挟んで配置されることにより第１撮像素子３１が構成される。第１電極３１１と第２電極３１２とは透明電極である。第１電極３１１と第２電極３１２とは互いに異なる方向に沿って延在する。本実施の形態では、第１電極３１１と第２電極３１２とは互いに直交する。なお、第１電極３１１および第２電極３１２の詳細については、説明を後述する。

本実施の形態では、詳細を後述するように、１つの第１電極３１１と、１つの第２電極３１２と、これら１つの第１電極３１１および第２電極３１２に挟まれる有機光電膜３１０とが、１つの受光部４００を構成する。１つの第１画素Ｐ１は、複数の第１電極３１１と複数の第２電極３１２とを有するので、１つの第１画素Ｐ１において複数の受光部４００が二次元状に配置される。これにより、各第１画素Ｐ１において、撮影光学系１０の射出瞳の異なる部分領域Ｑ１、Ｑ２を通過した光束を、マイクロレンズＭＬを介して複数の受光部４００で受光することができる（図２（ａ）、図４（ａ）参照）。たとえば、撮影光学系１０の部分領域Ｑ１（図２（ａ））を通過した光束を、受光部４００ａ（図４（ａ））で受光し、撮影光学系１０の部分領域Ｑ２（図２（ａ））を通過した光束を、受光部４００ｂ（図４（ａ））で受光する。

なお、１つのマイクロレンズＭＬに対して１つの第２画素Ｐ２が設けられるものに限定されず、複数の第２画素Ｐ２が設けられても良い。たとえば、図２（ｃ）の撮像部１２の断面の一部を拡大して示す図のように、各第２画素Ｐ２は、第１撮像素子３１の各受光部４００に対応する位置、すなわち被写体光の光路上に沿って設けられれば良い。なお、第２画素Ｐ２が第１撮像素子３１の受光部４００に対応する位置に配置されるものに限定されず、複数の第２画素Ｐ２のそれぞれが所定個数の受光部４００を透過した光を受光するように配置されても良い。

本実施の形態では、詳細を後述するように、第１画素Ｐ１の複数の受光部４００のうち光電変換信号を出力する受光部４００を指定することにより、ボケの修復や特定位置にピントが合った画像の生成等のリフォーカス処理に必要となる視差情報を得ることができる。即ち、公知のコーデッドアパーチャを撮影光学系の射出瞳位置に挿入することにより得られる画像データを、第１電極３１１と第２電極３１２とを指定し光電変換信号を出力する受光部４００を電気的に指定することにより取得できる。

撮像部１２に入射した被写体光は、第１撮像素子３１の透明な第１電極３１１を透過して有機光電膜３１０にて光電変換される。すなわち、第１画素Ｐ１に含まれる全ての受光部４００は、被写体からの入射光を受光して光電変換を行う。第１画素Ｐ１の受光部４００のうち、後述するようにして指定された第１電極３１１と指定された第２電極３１２とに挟まれた受光部４００にて光電変換されて生成された光電変換信号は、配線層を介して信号出力端から出力される。第１撮像素子３１で光電変換されなかった光は、第１撮像素子３１を透過して第２撮像素子３２に入射する。第２撮像素子３２は、半導体基板の表面側に入射した光をフォトダイオードにて光電変換し、半導体基板の表面側に形成された配線層を介して光電変換信号を出力する。

なお、第１撮像素子３１で光電変換される色成分と、第２撮像素子３２で光電変換される色成分とが、補色の関係となるようにすることができる。たとえば、Ｍｇ（マジェンタ）の光を光電変換する第１画素Ｐ１は、Ｍｇの補色であるＧ（グリーン）の光を透過して、第２画素Ｐ２がＧの光を光電変換する。Ｙｅ（イエロー）の光を光電変換する第１画素Ｐ１は、Ｙｅの補色であるＢ（ブルー）の光を透過して、第２画素Ｐ２がＢの光を光電変換する。Ｃｙ（シアン）の光を光電変換する第１画素Ｐ１は、Ｃｙの補色であるＲ（レッド）を透過して、第２画素Ｐ２がＲの光を光電変換する。

この場合、奇数行の第１画素Ｐ１としてＭｇとＹｅの光を光電変換する第１画素Ｐ１を交互に配置し、偶数行の第１画素Ｐ１としてＣｙとＭｇの光を光電変換する第１画素Ｐ１を交互に配置する。これにより、撮像部１２では、有機光電膜３１０で構成される第１撮像素子３１が第２撮像素子３２に対してカラーフィルターの役割を果たし、第２撮像素子３２から第１撮像素子３１の補色画像が得られる。したがって、撮像部１２では、第１撮像素子３１からはＣｙ、Ｍｇ、Ｙｅの３色からなるＣＭＹ画像を取得することができ、第２撮像素子３２からはＲ、Ｇ、Ｂの３色からなるＲＧＢ画像を取得することができる。
なお、第１撮像素子３１は有機光電膜３１０を有するものに限定されず、所定の色成分の光を吸収し、他の色成分の光を透過させる特性を有する材料を用いて構成されても良い。

図４は、１つの第１画素Ｐ１が有する第１電極３１１と第２電極３１２とを模式的に示す平面図である。また、以下の説明では、図４における紙面の左右方向を「行方向」、紙面の上下方向を「列方向」と呼ぶ。
図４（ａ）に示すように、第１画素Ｐ１において、列方向に延在する複数の第１電極３１１ａ〜３１１ｈが、行方向に沿って配置される。行方向に延在する複数の第２電極３１２ａ〜３１２ｈが、列方向に沿って配置される。なお、第１電極３１１が行方向に延在し、第２電極３１２が列方向に延在しても良い。また、図４に示す１つの第１画素Ｐ１について設けられる第１電極３１１および第２電極３１２の個数は一例であり、図４に示す個数よりも多くても良いし、少なくても良い。

複数の第１電極３１１のうち少なくとも１つの第１電極３１１が、読出し制御部１１１からの電極指定信号に従って指定され、電圧が印加される。複数の第２電極３１２のうち少なくとも１つの第２電極３１２が、読出し制御部１１１からの電極指定信号に従って指定され、受光部４００で生成された光電変換信号が読み出される。すなわち、有機光電膜３１０のうち、電圧が供給された第１電極３１１と、指定された第２電極３１２とによって挟まれる一部の領域で光電変換された光電変換信号が、第２電極３１２から出力される。読出し制御部１１１は、電圧が印加された第１電極３１１と、第２電極３１２とに挟まれた受光部４００が生成した信号を出力する出力部として機能する。

受光部４００は、上述したように、１つの第１電極３１１と、１つの第２電極３１２と、これら１つの第１電極３１１および第２電極３１２に挟まれる有機光電膜３１０とにより構成される。換言すると、受光部４００の一方の面に第１電極３１１が設けられ、受光部４００の他方の面に第２電極３１２が設けられる。したがって、複数の第１画素Ｐ１は、受光部４００の一方の面に設けられた複数の第１電極３１１と、受光部４００の他方の面に設けられた複数の第２電極３１２とを備える。

なお、図４（ａ）においては、第１電極３１１を、列方向に同一の部材で同一の幅で配置させた。また、第２電極３１２を、行方向に同一で同一の幅で配置させた。しかしこの例に限定されるものではなく、例えば、図４（ｂ）に示すように、列方向に配置された複数の受光部４００に設けられた複数の第１電極３１１を、第１電極３１１とは異なる部材、異なる幅で接続しても良い。同様に、図４（ｃ）に示すように、行方向に配置された複数の第２電極３１２を、第２電極３１２とは異なる部材、異なる幅で接続しても良い。

また、図４（ａ）に示す例では、第１電極３１１ａ〜３１１ｈの行方向の長さ（幅）が互いに等しい場合を示しているが、この例に限定されるものではなく、第１電極３１１ａ〜３１１ｈのうち行方向の長さ（幅）が異なるものが含まれていても良い。換言すると、第１電極３１１のうち少なくとも１つの第１電極３１１が他の第１電極３１１に対して幅が異なっていても良いし、全ての第１電極３１１が互いに異なる幅を有していても良い。同様に、第２電極３１２ａ〜３１２ｈのうち列方向の長さ（幅）が異なるものが含まれていても良い。
また、各第１画素Ｐ１ごとに有機光電膜３１０を設けても良いし、各受光部４００ごとに有機光電膜３１０を設けても良い。第１撮像素子３１で光電変換される色成分と、第２撮像素子３２で光電変換される色成分とが、補色の関係となるようにしない場合には、全ての第１画素Ｐ１に同一部材からなる有機光電膜３１０を設けても良い。

図５は、撮像部１２における１つの第１画素Ｐ１および第２画素Ｐ２の回路構成を例示する図である。第２画素Ｐ２は、フォトダイオードＰＤと、転送トランジスタＴｘと、リセットトランジスタＲ２と、出力トランジスタＳＦ２と、選択トランジスタＳＥＬ２とを有する。フォトダイオードＰＤは、入射光の光量に応じた電荷を蓄積する。転送トランジスタＴｘは、フォトダイオードＰＤに蓄積された電荷を出力トランジスタＳＦ２側の浮遊拡散領域（ＦＤ部）に転送する。出力トランジスタＳＦ２は選択トランジスタＳＥＬ２を介して電流源ＰＷ２とソースホロワを構成し、ＦＤ部に蓄積された電荷に応じた電気信号を出力信号ＯＵＴ２として垂直信号線ＶＬＩＮＥ２に出力する。なお、リセットトランジスタＲ２は、ＦＤ部の電荷を電源電圧Ｖｃｃにリセットする。

また、第１画素Ｐ１は、有機光電膜３１０と、リセットトランジスタＲ１と、出力トランジスタＳＦ１と、選択トランジスタＳＥＬ１と、指定スイッチＳＷ１１〜ＳＷ１ｎと、指定スイッチＳＷ２１〜ＳＷ２ｎとを有する（ｎは２以上の自然数）。指定スイッチＳＷ１１〜ＳＷ１ｎは、それぞれ第１電極３１１ａ〜３１１ｈに応じて設けられ、読出し制御部１１１からの電極指定信号に従って１つがＯＮする。指定スイッチＳＷ２１〜ＳＷ２ｎは、それぞれ第２電極３１２ａ〜３１２ｈに応じて設けられ、読出し制御部１１１からの電極指定信号に従って１つがＯＮする。有機光電膜３１０は、非透過光を光量に応じた電気信号に変換し、選択トランジスタＳＥＬ１を介して電流源ＰＷ１とソースホロワを構成する出力トランジスタＳＦ１を介して出力信号ＯＵＴ１として垂直信号線ＶＬＩＮＥ１に出力する。なお、リセットトランジスタＲ１は、有機光電膜３１０の出力信号をリファレンス電圧Ｖｒｅｆにリセットする。また、有機光電膜３１０の動作用として高電圧Ｖｐｃが与えられている。各トランジスタはＭＯＳＦＥＴで構成される。
なお、電源電圧Ｖｃｃとリファレンス電圧Ｖｒｅｆとは同一であってもよい。すなわち、リセットトランジスタＲ１および出力トランジスタＳＦ１を同じ電圧で動作させても良い。

第２撮像素子３２に係る回路の動作について説明する。まず、選択信号φＳＥＬ２が“Ｈｉｇｈ”になると、選択トランジスタＳＥＬ２がオンする。次に、リセット信号φＲ２が“Ｈｉｇｈ”になると、ＦＤ部で電源電圧Ｖｃｃにリセットされ、出力信号ＯＵＴ２もリセットレベルになる。そして、リセット信号φＲ２が“Ｌｏｗ”になった後、転送信号φＴｘが“Ｈｉｇｈ”になり、フォトダイオードＰＤに蓄積された電荷がＦＤ部に転送され、電荷量に応じた出力信号ＯＵＴ２が垂直信号線ＶＬＩＮＥ２から出力される。垂直信号線ＶＬＩＮＥ２に読み出された各第２画素Ｐ２の出力信号ＯＵＴ２は、不図示の水平出力回路に行毎に一時的に保持された後、撮像部１２から出力される。このようにして、撮像部１２の第２撮像素子３２の各第２画素Ｐ２から信号が読み出される。

第１撮像素子３１に係る回路の動作について説明する。まず、選択信号φＳＥＬ１が“Ｈｉｇｈ”になると、選択トランジスタＳＥＬ１がオンする。次にリセット信号φＲ１が“Ｈｉｇｈ”になり、出力信号ＯＵＴ１もリセットレベルになる。そして、リセット信号φＲ１が“Ｌｏｗ”になった直後から有機光電膜３１０の電荷蓄積が開始され、電荷量に応じて出力信号ＯＵＴ１が変化する。そして、出力信号ＯＵＴ１が不図示の水平出力回路に行毎に一時的に保持された後、撮像部１２から出力される。このようにして、撮像部１２の第１撮像素子３１の各第１画素Ｐ１から信号が読み出される。
以上のような回路構成を有することにより、撮像部１２の第１撮像素子３１からは、上述したように、任意の部分領域に含まれる受光部４００から光電変換信号を出力させることができる。

図６を参照して、指定される第１電極３１１と第２電極３１２とにより、光電変換信号が出力される受光部４００について説明する。例えば、図５（ａ）に示す回路によって、第１電極３１１ａと第２電極３１２ａとが指定されると、受光部４０１１が選択され、受光部４０１１で光電変換された光電変換信号が出力される。また、第１電極３１１ａと第２電極３１２ａおよび３１２ｄとが指定されると、受光部４０１１および４０１４が選択され、受光部４０１１および４０１２で光電変換された光電変換信号が出力される。

本実施の形態では、指定する第１電極３１１と第２電極３１２との組み合わせに応じて、ボケの修復や特定位置にピントが合った画像の生成等のリフォーカス処理に必要となる視差情報を得ることができる。即ち、公知のコーデッドアパーチャを撮影光学系の射出瞳位置に挿入することにより得られる画像データを、第１電極３１１と第２電極３１２とを指定し光電変換信号を出力する受光部４００を電気的に指定することにより取得できる。たとえば、図６（ｂ）に示すような、公知のコーデッドアパーチャ５００として撮影光学系１０の射出瞳の位置に挿抜される二次元状のコード開口を通過した光に対応する光電変換信号を第１電極３１１と第２電極３１２とによって再現することができる。なお、図６（ｂ）におけるコーデッドアパーチャ５００では、斜線を付した領域５０１が遮光部、斜線を付していない領域５０２が透光部である。図６（ｂ）に示すコーデッドアパーチャ５００を第１撮像素子３１上で再現するために、図６（ｃ）に示すように、第１撮像素子３１上において、領域５０２に相当する受光部４００で光電変換された光電変換信号が出力されるように、第１電極３１１および第２電極３１２が指定され、第１電極３１１に電圧が印加される。なお、図６（ｃ）においては、図示の都合上、領域５０２に相当する受光部４０１２、４０１７、４０２３、４０２４、４０２７、４０３７、４０４１、４０４３、４０４４、４０５２、４０５３、４０５４、４０６２、４０６３、４０６５、４０６７、４０７１、４０７４、４０７５および４０７７に斜線を付して示す。この場合、次のようにして第１電極３１１および第２電極３１２が指定されて、第１電極３１１に電圧が印加されることによって、受光部４００から光電変換信号が出力される。

まず、第２電極３１２ａに対して第１電極３１１ｂおよび３１１ｇが指定され、全受光部４００で光電変換により生成された光電変換信号のうち、受光部４０１２および４０１７で光電変換された光電変換信号が出力される。続いて、第２電極３１２ｂに対して第１電極３１１ｃ、３１１ｄおよび３１１ｇが指定され電圧が印加されて、受光部４０２３、４０２４および４０２７で光電変換された光電変換信号が出力される。以後、行方向の第２電極３１２が順次指定されるごとに、領域５０２に対応する位置に応じた列方向の第１電極３１１が指定されて電圧が印加され、受光部４００で光電変換された光電変換信号が出力される。換言すると、第２電極３１２が順次指定されるごとに、第１電極３１１のそれぞれに対する指定（すなわち電圧の印加）または非指定（すなわち電圧の非印加）が行われることにより、領域５０２に対応する組み合わせが設定される。そして、指定され電圧が印加された第１電極３１１と、指定された第２電極３１２とを有する受光部４００から光電変換信号が出力される。これにより、各第１画素Ｐ１において、指定する第１電極３１１と第２電極３１２との組み合わせに応じて、第１撮像素子３１の任意の受光部４００に入射した光に対応する光電変換信号を出力させることができる。

上述したように、第１撮像素子３１は、マイクロレンズＭＬに対して撮影光学系１０の射出瞳と共役の関係を有するので、指定する第１電極３１１と第２電極３１２との組み合わせに応じて第１撮像素子３１の各第１画素Ｐ１から出力される光電変換信号は、射出瞳位置における視差情報を含む。即ち、射出瞳位置にコード開口の異なる複数種のコーデッドアパーチャを挿入するごとに得られる光電変換信号と同等の視差情報を含む光電変換信号を、コーデッドアパーチャを挿抜することなく、第１電極３１１と第２電極３１２との組み合わせを種々異ならせることによって得ることができる。
なお、上述したように、第１撮像素子３１の各第１画素Ｐ１において受光されない光は透過される。従って、第１電極３１１や第２電極３１２が指定されているか否かに関わらず、有機光電膜３１０で吸収されず、光電変換されなかった光は、有機光電膜３１０を透過して第２撮像素子３２に入射する。

上述した処理は撮影動作の際に、読出し制御部１１１が、第１撮像素子３１の一部の部分領域に含まれる受光部４００から光電変換信号が出力されるように第１電極３１１および第２電極３１２の組み合わせを設定することにより行われる。第１電極３１１および第２電極３１２の組み合わせを異ならせ、異なる組み合わせ毎に生成される画像データを合成することにより、被写体空間において深さ方向に異なる位置から入射する点像を、第１撮像素子３１の受光面上で結像させた場合と同等の作用を得る。

この場合、図６（ｂ）に示すようなコーデッドアパーチャ５００に相当するような第１電極３１１と第２電極３１２との組み合わせに関する情報（以後、パターン情報と呼ぶ）が予め所定の記憶領域に記憶されている。パターン情報は、複数のコード開口の形状に応じて複数種が用意されている。読出し制御部１１１は、撮影動作の開始の際に、複数のパターン情報の中から読み出した１つのパターン情報に従って、第１電極３１１と第２電極３１２との組み合わせを設定し、電極指定信号を出力する。例えば、パターン情報が図６（ｂ）に対応する場合には、読出し制御部１１１は、図６（ｃ）にて斜線を付して示した受光部４００から光電変換信号が出力されるように電極指定信号を出力する。従って、第１撮像素子３１の各第１画素Ｐ１について、図６（ｂ）の領域５０２に対応する領域に含まれる受光部４００に入射した光に応じた光電変換信号が得られる。第１生成部１１３は、この光電変換信号を用いて、撮影光学系１０における所定の結像面での像の画像データを生成する。

以後、同様にして、読出し制御部１１１は、異なるパターン情報ごとに第１電極３１１と第２電極３１２との組み合わせを設定して、第１撮像素子３１から光電変換信号を読み出させる。第１生成部１１３は、異なる第１電極３１１と第２電極３１２との組み合わせに応じて光電変換信号が出力されるごとに画像データを生成することにより、撮影光学系１０における異なる結像面ごとの像の画像データを生成する。第１生成部１１３は、生成した異なる結像面ごとの像の画像データを合成することにより、リフォーカス処理が可能な画像データを生成し、メモリカード１７等の記憶媒体に記憶させる。

撮影動作時には、各第１画素Ｐ１において有機光電膜３１０の全領域を透過した光が第２撮像素子３２の全領域に入射する。撮影動作の際には、第２撮像素子３２は各第２画素Ｐ２の全領域に入射した光に応じた光電変換信号を生成する。すなわち第２撮像素子３２は、撮影光学系１０によって投射された被写体像を撮像する。第２生成部１１４は生成された光電変換信号に対して画像処理を施して画像データを生成する。すなわち、第２生成部１１４は、第２撮像素子３２からの信号に基づいて、撮影光学系１０における一つの結像面を有する画像データを生成する。第２生成部１１４は、第２撮像素子３２からの光電変換信号から生成した画像データをメモリカード１７等の記憶媒体に記憶させる。

なお、第１生成部１１３が第１撮像素子３１からの光電変換信号を用いて画像データを生成するものに限定されず、第１撮像素子３１および第２撮像素子３２からの光電変換信号を用いて画像データを生成しても良い。この場合、第１生成部１１３は、上記と同様にして第１撮像素子３１からの光電変換信号を用いて画像データを生成する。さらに、第１生成部１１３は、第２生成部１１４によって第２撮像素子３２からの光電変換信号を用いて生成された画像データから、第１撮像素子３１からの光電変換信号を用いて生成した画像データを差し引いて、新たな画像データを生成する。この結果、例えば図６（ｂ）に示すパターン情報に対応する画像データが第１撮像素子３１からの光電変換信号を用いて生成された場合、遮光部５０１と透過部５０２とが入れ替わった逆パターンのコード開口に対応する画像データを生成することができる。

図７に示すフローチャートを用いて、第１撮像素子３１からの光電変換信号を用いて異なる複数の結像面ごとの画像データを取得する処理について説明する。図７のフローチャートに示す各処理は、制御部１１が実行する制御プログラムに含まれる。撮影者により所定の焦点検出操作（例えばレリーズボタンを全押しする操作等）が行われると、制御部１１は、図７に示す処理を開始する。

ステップＳ１１では、パターン情報を読み出して、第１電極３１１と第２電極３１２との組み合わせを設定してステップＳ１２へ進む。リフォーカスのために撮像を行う場合には、複数の組み合わせを設定する。ステップＳ１２では、設定した組み合わせに応じて、第１電極３１１と第２電極３１２とへ電極指定信号を出力してステップＳ１３へ進む。ステップＳ１３では、指定された第１電極３１１と第２電極３１２との組み合わせに従って第１撮像素子３１から光電変換信号を読み出させ、読み出された光電変換信号を用いて画像データを生成してステップＳ１４へ進む。ステップＳ１４では、リフォーカスのために撮像する場合は、第１電極３１１および第２電極３１２の全ての組み合わせが実行されたか否かを判定する。全ての組み合わせが実行された場合には、ステップＳ１４が肯定判定されてステップＳ１５へ進む。全ての組み合わせが実行されていない場合には、ステップＳ１４が否定判定されてステップＳ１１へ戻る。なお、リフォーカスのために必要な画像データの個数は、ユーザによって設定可能に構成されていても良く、全てのパターン情報に対して画像データが生成されなくても良い。ステップＳ１５では、生成された画像データを合成して、記録媒体（不図示）に記録して処理を終了する。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）第１撮像素子３１は、マイクロレンズＭＬごとに配置された複数の受光部４００を有する。受光部４００は、受光した光束を光電変換する有機光電膜３１０と、有機光電膜３１０の一方の面に設けられた第１電極３１１と、有機光電膜３１０の他方の面に設けられた第２電極３１２とを有する。第１電極３１１は、マイクロレンズＭＬごとに列方向に複数配置され、第２電極３１２は、マイクロレンズＭＬごとに行方向に複数配置される。したがって、撮影光学系１０の所定の結像面における像の画像データを生成するために第１撮像素子３１の部分領域から光電変換信号を得る目的のために、コーデッドアパーチャを挿抜する必要が無くなり、利便性を向上させることができる。

（２）読出し制御部１１１は、第１撮像素子３１に対して、複数の第１電極３１１のうちの少なくとも１つの第１電極３１１と、複数の第２電極３１２のうちの少なくとも１つの第２電極３１２とからなる組み合わせを設定し、組み合わせに対応する領域に含まれる受光部４００から光電変換信号を出力させる。読出し制御部１１１は、異なる複数の組み合わせを設定するごとに、組み合わせに対応する領域に含まれる受光部４００から光電変換信号を出力させ、第１生成部１１３は、組み合わせごとに読み出された光電変換信号を用いて、撮影光学系１０の複数の異なる結像面ごとにおける画像データを生成する。したがって、第１電極３１１と第２電極３１２との組み合わせを複数設定し、設定した組み合わせごとに画像データを生成することにより、複数種のコーデッドアパーチャの挿抜を繰り返した場合と同様に撮影光学系１０の異なる結像面ごとにおける画像データを生成できるので、利便性が向上する。さらに、複数種のコーデッドアパーチャの挿抜を繰り返す際に要する時間を短縮できるので、特に動きのある被写体を撮影する場合であっても、大きく位置等がずれた画像データが生成されることを防ぐことができる。

（３）マイクロレンズＭＬごとに配置され、第１撮像素子３１を透過した光束を受光して光電変換信号を出力する第２撮像素子３２を備え、第２生成部１１４は、第２撮像素子３２からの光電変換信号を用いて画像データを生成する。したがって、第１撮像素子３１を用いて、撮影光学系１０の異なる結像面ごとにおける像の画像データを生成しながら、第２撮像素子３２を用いて、通常の撮影動作を行うことができる。さらに、第１生成部１１３は、第２生成部１１４によって生成された画像データから、第１撮像素子３１からの光電変換信号を用いて生成した画像データを差し引いて、新たな画像データを生成することができる。これにより、１フレームの撮影で、異なる２つの結像面ごとの画像データを生成することができるので、撮影時間の短縮に寄与する。

（４）複数の画素Ｐ１は、入射光を受光する受光部４００の一方の面に設けられた複数の第１電極３１１と、受光部４００の他方の面に設けられた複数の第２電極３１２とを有する。読出し制御部１１１は、電圧が印加された第１電極３１１と、第２電極３１２とに挟まれた受光部４００が入射光を受光して生成した信号を出力する。読出し制御部１１１により第１電極３１１と第２電極３１２とに対して印加する電圧が制御されることで、第１撮像素子３１は、ある結像面における像の画像データを生成するための信号を生成することが可能になる。これにより、リフォーカス処理のための画像データを生成する目的のために、コーデッドアパーチャを挿抜する必要が無くなり、利便性を向上させることができる。

（５）デジタルカメラ１は、第１撮像素子３１と、第１撮像素子３１を透過した光を受光する第２撮像素子３２と、第１撮像素子３１からの信号に基づいて複数の異なる結像面の画像データを生成する画像生成部１１５とを備える。画像生成部１１５は、第２撮像素子３２からの信号に基づいて１つの結像面を有する画像データを生成する。これにより、第１撮像素子３１を用いてリフォーカス処理が可能となる異なる結像面の画像データを生成しながら、第２撮像素子３２を用いて通常の撮影動作を行うことができる。

−第２の実施の形態−
図面を参照して、本発明の第２の実施の形態について説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、第１撮像素子３１および第２撮像素子３２から読み出された光電変換信号を用いて焦点検出処理を可能に構成されている。
図８のブロック図に示すように、デジタルカメラ１の制御部１１は、焦点検出部１１２を機能として備える。焦点検出部１１２は、第１撮像素子３１および第２撮像素子３２から読み出された光電変換信号に基づいて、周知の瞳分割位相差方式による焦点検出処理を行い、撮影光学系１０の焦点状態を調節する。

以下、第２の実施の形態において、焦点検出処理を行う場合の処理について説明する。制御部１１の読出し制御部１１１は、第１撮像素子３１の複数の第１電極３１１と複数の第２電極３１２との中から指定する第１電極３１１と第２電極３１２との組み合わせを設定する。
図９に、焦点検出処理を行う場合に、第１撮像素子３１の各第１画素Ｐ１において、光電変換信号が出力される領域と、第１電極３１１および第２電極３１２の組み合わせとを模式的に示す。
図９（ａ）は、第１撮像素子３１のうち、光電変換信号が出力される第１画素Ｐ１の部分領域ｒ１を模式的に示す図である。図示のように、一例として、読出し制御部１１１は、第１撮像素子３１の第１画素Ｐ１のうち右側の半分の領域を部分領域ｒ１とするために、第１電極３１１と第２電極３１２との組み合わせを設定する。この場合、図９（ｂ）に示すように、読出し制御部１１１は、第１電極３１１ｅ〜３１１ｈと、第２電極３１２ａ〜３１２ｈとを指定する。従って、第１撮像素子３１のうち第１電極３１１ｅ〜３１１ｈと、第２電極３１２ａ〜３１２ｈとの組み合わせに応じた領域、即ち部分領域ｒ１に含まれる受光部４００から光電変換信号が出力される。換言すると、第１撮像素子３１の各第１画素Ｐ１について右側の半分の部分領域ｒ１に入射した光に応じた光電変換信号が出力される。第１生成部１１３は、第１撮像素子３１から出力された上記の光電変換信号から第１画像データを生成する。

読出し制御部１１１は、第２撮像素子３２から光電変換信号を出力させる。この場合、第１画素Ｐ１の全領域を透過した光が第２撮像素子３２の第２画素Ｐ２の全領域に入射する。これにより、第２撮像素子３２については各第２画素Ｐ２において全領域に入射した光に応じた光電変換信号が出力される。第２生成部１１４は、第２撮像素子３２の各第２画素Ｐ２からの光電変換信号を用いて第２画像データを生成する。制御部１１の焦点検出部１１２は、第１生成部１１３で生成された第１画像データと、第２生成部１１４で生成された第２画像データとを用いて、各画素Ｐについて左側の半分の領域に入射した光に応じた画像データを生成する。この場合、一例として、焦点検出部１１２は、第２撮像素子３２から出力された光電変換信号に基づく第２画像データから第１撮像素子３１から出力された光電変換信号に基づく第１画像データを差し引く。即ち、焦点検出部１１２は、第２画素Ｐ２の全領域に対応する第２画像データから、第１画素Ｐ１の右側の半分の領域に対応する第１画像データを減じることにより、第１画素Ｐ１の左側の半分の領域、即ち図９（ａ）の領域ｒ２に対応する第３画像データを生成する。

上述したように、第１撮像素子３１は、マイクロレンズＭＬに対して撮影光学系１０と共役の関係を有するので、第１画像データと第３画像データとは異なる射出瞳を通過した光に対応する信号となる。焦点検出部１１２は、第１画像データを第１の焦点検出データとして用い、生成した第３画像データを第２の焦点検出データとして用いることにより、瞳分割位相差方式による焦点検出処理を実行し、撮影光学系１０の焦点調節状態を示すデフォーカス量を算出する。なお、瞳分割位相差方式による焦点検出処理については周知技術であるため、詳細な説明は省略する。

図１０に示すフローチャートを用いて、制御部１１により実行される焦点検出処理について説明する。図１０のフローチャートに示す各処理は、制御部１１が実行する制御プログラムに含まれる。撮影者により所定の焦点検出操作（例えばレリーズボタンを半押しする操作等）が行われると、制御部１１は、図１０に示す焦点検出処理を開始する。

ステップＳ１では、各第１画素Ｐ１の右側の半分の領域を部分領域ｒ１とするために、第１電極３１１と第２電極３１２との組み合わせを決定してステップＳ２へ進む。ステップＳ２では、撮像部１２に被写体像を撮像させる、すなわち第１撮像素子３１および第２撮像素子３２から光電変換信号を出力させてステップＳ３へ進む。このとき、第１撮像素子３１に対しては、ステップＳ１で指定された第１電極３１１および第２電極３１２に対して電極指定信号を出力することによって、第１撮像素子３１の各第１画素Ｐ１の部分領域ｒ１に含まれる受光部４００から光電変換信号を出力させる。第１生成部１１３は第１撮像素子３１の各第１画素Ｐ１からの光電変換信号を用いて第１画像データを生成し、第２生成部１１４は第２撮像素子３２の各第２画素Ｐ２からの光電変換信号を用いて第２画像データを生成する。

ステップＳ３においては、第２画像データと第１画像データとを用いて、第３画像データを生成してステップＳ４へ進む。ステップＳ４では、第１画像データと第３画像データとを用いて、瞳分割位相差方式によりデフォーカス量を算出し、算出したデフォーカス量に基づいてレンズ駆動部（不図示）を制御して、撮影光学系１０のフォーカスレンズを合焦位置へ移動させてステップＳ５へ進む。ステップＳ５では、焦点検出処理の終了が指示されたか否かを判定する。焦点検出処理の終了が指示された場合にはステップＳ５を肯定判定して、制御部１１は焦点検出処理を終了する。焦点検出処理の終了が指示されていない場合には、ステップＳ５を否定判定して、制御部１１は、ステップＳ１へ戻る。

なお、以上の説明では、第１撮像素子３１の各第１画素Ｐ１の右側を部分領域ｒ１としたが、この例に限定されない。部分領域ｒ１の位置は、例えば、第１撮像素子３１の各第１画素Ｐ１の左側であっても良いし、上部であっても良いし、下部であっても良い。
なお、第２の実施の形態においても、撮影動作の際には、第１の実施の形態の場合と同様にして、第１電極３１１および第２電極３１２とを指定することにより、撮影光学系１０における異なる結像面ごとの像の画像データを生成する。

以上で説明した第２の実施の形態によれば、第１の実施の形態により得られる作用効果に加えて、次の作用効果が得られる。
焦点検出部１１２は、読出し制御部１１１によって設定された組み合わせで読み出された第１撮像素子３１からの光電変換信号に基づく第１画像データを第２撮像素子３２から出力された光電変換信号に基づく第２画像データから差し引いて生成した第３画像データと、第１画像データとを用いて、撮影光学系１０の焦点調節状態を検出する。したがって、焦点検出用の画素を設けることなく、瞳分割式位相差方式による焦点調節が可能となる一対の焦点検出データを得ることができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（１）第１電極３１１と第２電極３１２とがそれぞれ直交するように設けられるものに限定されない。例えば、図１１に示すように、列方向に延在し行方向に沿って配置された第１電極３１１に対して、第２電極３１２が斜め方向に交差するものでも良い。

（２）デジタルカメラ１の撮像部１２が第１撮像素子３１と第２撮像素子３２とを有するものに代えて、第１撮像素子３１のみを有しても良い。この場合も、読出し制御部１１１は、第１電極３１１および第２電極３１２の組み合わせを制御して、第１撮像素子３１の各第１画素Ｐ１の部分領域に含まれる受光部４００に入射した光を光電変換させて光電変換信号を出力させることができる。例えば、焦点検出処理を行う場合には、読出し制御部１１１は、図９（ａ）、（ｂ）に示すように第１撮像素子３１の各第１画素Ｐ１の右側の半分の領域ｒ１から光電変換信号が出力されるように、第１電極３１１および第２電極３１２を指定する。第１生成部１１３は、この光電変換信号から第１画像データを生成する。次フレームの画像を取得する際に、読出し制御部１１１は、第１撮像素子３１の各第１画素Ｐ１の左側の半分の領域ｒ２から光電変換信号が出力されるように第１電極３１１および第２電極３１２を指定する。第１生成部１１３は、この光電変換信号を用いて第２画像データを生成する。そして、焦点検出部１１２は、この第１画像データと第２画像データとを用いて、瞳分割位相差方式により焦点検出処理を実行し、撮影光学系１０の焦点調節状態を示すデフォーカス量を算出することができる。
また、リフォーカスのために距離情報を得る場合についても、読出し制御部１１１は、第１電極３１１と第２電極３１２との組み合わせを制御することにより、被写体空間において深さ方向に異なる位置から入射する点像を第１撮像素子３１の受光面上で結像させることができる。

（３）上述の第１および第２実施の形態および変形例で説明した撮像装置は、スマートフォン、タブレット、ＰＣに内蔵のカメラ、車載カメラ、無人航空機（ドローン、ラジコン機等）に搭載される電子カメラ等に適用されてもよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１６年第２７３１号（２０１６年１月８日出願）

１…デジタルカメラ、１０…撮影光学系、１１…制御部、１２…撮像部、
３１…第１撮像素子、３２…第２撮像素子、１１１…読出し制御部、
１１２…焦点検出部、１１３…第１生成部、１１４…第２生成部、
１１５…画像生成部、３１０…有機光電膜、３１１…第１電極、
３１２…第２電極、４００…受光部

Claims (8)

1. 一方の面において第１の方向に設けられた複数の第１電極と、他方の面において前記第１の方向と交差する第２の方向に設けられた複数の第２電極と、複数の前記第１電極と複数の前記第２電極との間に設けられ、光を光電変換して電荷を生成する光電変換部とを有する第１受光部と、
   前記光電変換部で生成された電荷に基づく信号を出力する出力部と、を有する撮像素子。
2. 請求項１に記載の撮像素子において、
   前記第１受光部は、複数の前記光電変換部を有し、
   複数の前記第１電極は、複数の前記光電変換部ごとに前記第１の方向に設けられ、
   複数の前記第２電極は、複数の前記光電変換部ごとに前記第２の方向に設けられる撮像素子。
3. 請求項１または２に記載の撮像素子と、
   前記撮像素子の前記出力部から出力された信号に基づいて、複数の画像データを生成する画像生成部と、を有する撮像装置。
4. 請求項３に記載の撮像装置において、
   前記画像生成部は、光学系の異なる撮像面ごとに前記画像データを生成する撮像装置。
5. 請求項３または４に記載の撮像装置において、
   複数の前記第１電極のうちの少なくとも１つの第１電極と、複数の前記第２電極のうちの少なくとも１つの第２電極とから異なる組み合わせを設定する設定部を有し、
   前記出力部は、前記設定部で設定された異なる組み合わせごとに、前記光電変換部で生成された電荷に基づく信号を出力し、
   前記画像生成部は、前記出力部から出力された信号に基づいて、複数の前記画像データを生成する撮像装置。
6. 請求項５に記載の撮像装置において、
   前記設定部は、複数の前記第１電極それぞれに電圧を印加するごとに、複数の前記第２電極のそれぞれに指定または非指定を行うことによって組み合わせを設定し、
   前記出力部は、前記第１電極に電圧を印加するごとに、電圧が印加された前記第１電極と、指定された前記第２電極との間にある前記光電変換部で生成された電荷に基づく信号を出力する撮像装置。
7. 請求項３乃至６の何れか一項に記載の撮像装置において、
   前記第１受光部を透過した光を受光する第２受光部を有し、
   前記画像生成部は、前記第２受光部からの信号に基づいて、画像データを生成する撮像装置。
8. 請求項７に記載の撮像装置において、
   前記第１受光部からの信号に基づいて生成された画像データと、前記第２受光部からの信号に基づいて生成された画像データとを用いて、光学系の焦点検出を行う焦点検出部を有する撮像装置。

Images