JP5582935B2 - 撮像モジュール - Google Patents

Description

本発明は、撮像モジュールおよび撮像装置に関する。

色収差に関して例えば下記非特許文献１および特許文献１−４に記載の技術が知られている。
非特許文献１ F. Guichard, H. P. Nguyen, R. Tessieres, M. Pyanet, I. Tarchouna, and F. Cao., "Extended depth-of-field using sharpness transport across color channels", Proceedings of SPIE Novel Optical System Design and Optimization XI, vol. 7061, pp. 706 105-70 612, 2088.
特許文献１ 特表２００４−５３５０３３号公報
特許文献２ 国際公開第２００６／０９５１１０号
特許文献３ 特表２００８−５３２４４９号公報
特許文献４ 特開平５−０４８８３３号公報

軸上色収差を考慮しつつ深い焦点深度を得るには高度なレンズ設計を要するという課題があった。

上記課題を解決するために、本発明の一態様においては、撮像モジュールであって、第１波長域の光を結像する第１光学系と、第２波長域の光を結像し、第１光学系とは焦点位置が異なる第２光学系と、被写体からの光を第１光学系を通じて受光する複数の受光素子を有する第１受光部と、被写体からの光を第２光学系を通じて受光する複数の受光素子を有する第２受光部と、第１受光部により撮像された被写体の第１画像と、第２受光部により撮像された被写体の第２画像とを合成した合成画像を生成する画像処理部とを備え、画像処理部は、第１画像および第２画像のうち被写体に対してより合焦した合焦画像から抽出したエッジ成分を、第１波長域および第２波長域にわたる輝度成分として有する合成画像を生成する。

画像処理部は、予め定められた値より高い空間周波数の空間周波数成分を合焦画像から抽出し、抽出した空間周波数成分を、第１画像および第２画像のうちの他の画像に合成することにより、合成画像を生成してよい。

画像処理部は、画像領域毎に合焦画像を選択し、選択した合焦画像から抽出したエッジ成分を、画像領域毎に他の画像に合成することにより、合成画像を生成してよい。画像処理部は、第１画像および第２画像からそれぞれ抽出された空間周波数成分に基づいて、合焦画像を選択してよい。

第１光学系は、被写体からの光を結像する第１レンズを有し、第１受光部は、被写体からの光のうち第１波長域の光を通過する第１波長フィルタを有し、第２光学系は、被写体からの光を結像する第２レンズを有し、第２受光部は、被写体からの光のうち第２波長域の光を通過する第２波長フィルタを有してよい。

第１レンズは軸上色収差を有し、第２レンズは、第１レンズと略同一の結像特性を有してよい。

第３波長域の光を結像し、第１光学系および第２光学系のいずれとも焦点位置が異なる第３光学系と、被写体からの光を第３光学系を通じて受光する複数の受光素子を有する第３受光部とをさらに備え、画像処理部は、第１画像、第２画像および第３受光部が撮像した第３画像のうち被写体に対して最も合焦した画像から抽出したエッジ成分を、第１波長域、第２波長域および第３波長域にわたる輝度成分として有する合成画像を生成してよい。

第１受光部、第２受光部および第３受光部がそれぞれ有する複数の受光素子は同一基板上に設けられてよい。

第１光学系は複数設けられ、複数の第１光学系は、互いに焦点位置が異なり、第１受光部は、複数の第１光学系に対応して複数設けられ、画像処理部は、複数の第１受光部により撮像された複数の第１画像、第２画像および第３画像のうち被写体に対して最も合焦した画像から抽出したエッジ成分を、第１波長域、第２波長域および第３波長域にわたる輝度成分として有する合成画像を生成してよい。第１波長域は、Ｇの波長域であってよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像装置１００のブロック構成の一例を模式的に示す図である。 撮像モジュールのブロック構成の一例を模式的に示す図である。 画像処理部３４０による画像処理の一例を模式的に示す図である。 高周波成分の加算処理の一例を模式的に示す図である。 画像領域毎の画像処理の一例を模式的に示す図である。 他の構成に係る撮像装置６００の一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、撮像装置１００のブロック構成の一例を模式的に示す。本実施形態に係る撮像装置１００は、実効的に深い被写界深度を持つ撮像装置を提供することを目的とする。撮像装置１００は、第１撮像系１０１、第２撮像系１０２、第３撮像系１０３、画像信号生成部１７０および記録部１８０を備える。第１撮像系１０１、第２撮像系１０２、第３撮像系１０３、および、画像信号生成部１７０は、撮像装置１００に組み込まれる撮像モジュールとして機能してよい。

第１撮像系１０１は、緑に属する波長域の光であるＧ光で被写体を撮像する。第２撮像系１０２は、青に属する波長域の光であるＢ光で被写体を撮像する。第３撮像系１０３は、赤に属する波長域の光であるＲ光で被写体を撮像する。Ｇ光、Ｂ光およびＲ光は、それぞれ第１波長域の光、第２波長域の光および第３波長域の光の一例とする。このように、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３は、互いに撮像光軸の位置が異なり、互いに異なる波長域で被写体を撮像する。

第１撮像系１０１は、Ｇ光を結像する第１光学系１１５、および、被写体からの光を第１光学系１１５を通じて受光する第１受光部１１９を有する。第１光学系１１５は、被写体からの光を結像する第１レンズ１１０、および、第１光学系１１５を通過する光の量を調整する第１絞り部１１２を持つ。第１受光部１１９は、被写第１レンズ１１０により結像された被写体光のうちＧ光を受光して、被写体を撮像する。

第２撮像系１０２および第３撮像系１０３も、第１撮像系１０１が有する光学要素と類似の機能を持つ光学要素を有する。具体的には、第２撮像系１０２は、Ｂ光を結像する第２光学系１２５、および、被写体からの光を第２光学系１２５を通じて受光する第２受光部１２９を有する。第２光学系１２５は、第２レンズ１２０および第２絞り部１２２を持つ。第３撮像系１０３は、Ｂ光を結像する第３光学系１３５、および、被写体からの光を第３光学系１３５を通じて受光する第３受光部１３９を有する。第３光学系１３５は、第３レンズ１３０および第３絞り部１３２を持つ。

第２レンズ１２０および第３レンズ１３０は、第１レンズ１１０に対応する光学要素であり、第２絞り部１２２および第３絞り部１３２は、第１絞り部１１２に対応する光学要素である。第２光学系１２５及び第３光学系１３５は、それぞれ青に属する波長域および赤に属する波長域に対して光学設計されている。特に、第２光学系１２５は、第１光学系１１５とは焦点位置が異なる。また、第３光学系１３５は、第１光学系１１５および第２光学系１２５のいずれとも焦点位置が異なる。具体的には、特定の物点からのＧ光、Ｂ光およびＲ光について、第１光学系１１５によるＧ光の結像位置と、第２光学系１２５によるＢ光の結像位置と、第３光学系１３５によるＲ光の結像位置とが、互いに異なる。例えば、軸上色収差を有するレンズを第１レンズ１１０として用い、第１レンズ１１０と略同一の結像特性を有するレンズを第２レンズ１２０として用いるだけでも、波長域の違いによって結像位置が異なることとなる。

第２受光部１２９および第３受光部１３９は、第１受光部１１９に対応する光学要素である。第２受光部１２９および第３受光部１３９は、それぞれＢ光およびＲ光で被写体を撮像する点を除き、第１受光部１１９と略同様の機能を持つ。

第１撮像系１０１、第２撮像系１０２および第３撮像系１０３は、同一被写体をそれぞれ対応する波長域の光で撮像して、それぞれＧ成分画像、Ｂ成分画像およびＲ成分画像を生成する。画像信号生成部１７０は、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３から、それぞれＧ成分画像、Ｂ成分画像およびＲ成分画像を示す撮像信号を取得する。

画像信号生成部１７０は、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３から取得したＧ成分画像、Ｂ成分画像およびＲ成分画像の中から、被写体に最も合焦した画像である合焦画像を選択する。そして、画像信号生成部１７０は、合焦画像からエッジ成分を抽出する。画像信号生成部１７０は、抽出したエッジ成分を他の２つの画像のエッジ成分として重畳することによって、合焦していない他の２つの画像のエッジ成分を復元する。画像信号生成部１７０は、エッジ成分を重畳して得られた２つの画像の画像信号と、合焦画像を示す画像信号とを色合成して、出力画像を示す画像信号を生成する。

記録部１８０は、画像信号生成部１７０が生成した画像信号を記録する。記録部１８０は、画像信号生成部１７０から供給された画像信号が示す画像を、不揮発性メモリに記録してよい。当該不揮発性メモリは、記録部１８０が有してよい。また、当該不揮発性メモリは、撮像装置１００に対して着脱可能に設けられた外部メモリであってよい。記録部１８０は、撮像装置１００の外部に画像を出力してもよい。

撮像装置１００によれば、特定の光学系で合焦した画像を得ることができた場合には、当該画像のエッジ成分を用いて、他の画像のエッジ成分を強調することができる。このため、広い範囲の波長域にわたってエッジの効いた出力画像を生成することができる。したがって、撮像装置１００によると、第１光学系１１５、第２光学系１２５および第３光学系１３５のうちのいずれか一の光学系の被写体深度内に位置する被写体を、撮像装置１００の被写界深度内の被写体とみなすことができる。このため、撮像装置１００によれば、各光学系の個々の被写界深度よりも遙かに深い被写界深度を実効的に得ることができる。

一の結像レンズを用いて深い被写界深度を確保しつつ広い波長域にわたり軸上色収差を良好に補正するためには、高度な光学設計を要する。また、一の結像レンズを用いて波長域間で焦点位置を異ならせる場合も、各波長域光を良好に結像させつつ軸上色収差を意図的に制御しなければならず、極めて高度な光学設計を要する。一方、撮像装置１００によれば、対応する特定の波長域について各光学系を設計すればよい。このように、撮像装置１００によれば、色収差に関する高度な光学設計をせずとも、良好な結像特性を持ち、かつ、意図された合焦距離を持つ光学系を設計することができる。このため、高度な光学設計をすることなく、被写界深度を実効的に深くすることができる。

なお、撮像装置１００は、カメラ機能付きの携帯電話、デジタルカメラなどの撮像機器であってよい。第１撮像系１０１、第２撮像系１０２、第３撮像系１０３および画像信号生成部１７０を有する撮像モジュールは、これらの撮像機器用のカメラモジュールとして提供することができる。

図２は、撮像装置１００が有する撮像モジュールのブロック構成の一例を模式的に示す。ここでは、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３のブロック構成が、画像信号生成部１７０のブロック構成とともに模式的に示される。

画像信号生成部１７０は、読み出し部３１０および画像処理部３４０を有する。第１レンズ１１０、第２レンズ１２０および第３レンズ１３０は、互いに平行な光軸を持つ。すなわち、第１撮像系１０１、第２撮像系１０２、および、第３撮像系１０３の撮像光軸は、互いに平行であり、各撮像系は、撮像光軸に垂直な面内で、互いに撮像光軸の位置を異ならせて設けられる。第１撮像系１０１が有する第１受光部１１９、第２撮像系１０２が有する第２受光部１２９、および、第３撮像系１０３が有する第３受光部１３９は、受光部３０９として一体に設けられる。

第１受光部１１９は、第１カラーフィルタアレイ１１６および第１受光素子アレイ１１８を含む。第２受光部１２９は、第２カラーフィルタアレイ１２６および第２受光素子アレイ１２８を含む。第３受光部１３９は、第３カラーフィルタアレイ１３６および第３受光素子アレイ１３８を含む。

第１撮像系１０１が持つ光学構成について説明する。第１レンズ１１０は結像レンズである。第１光学系１１５を通過する光は、第１絞り部１１２の開口部を通過するものに制限される。

第１カラーフィルタアレイ１１６は、緑の波長域の光を選択的に透過する複数のカラーフィルタを含む。第１カラーフィルタアレイ１１６は、被写体からの光のうち第１波長域の光を通過する第１波長フィルタの一例とする。第１受光素子アレイ１１８は、被写体からの光を第１光学系１１５を通じて受光する複数の受光素子を含む。第１受光素子アレイ１１８ａが含む複数の受光素子は、第１カラーフィルタアレイ１１６ａが含む複数のカラーフィルタに対応して設けられる。各受光素子は、第１カラーフィルタアレイ１１６に入射した被写体光のうち、対応するカラーフィルタを透過した光を受光する。各受光素子は、受光した光の量に応じた強度の撮像信号を出力する。このように、第１受光素子アレイ１１８は、第１レンズ１１０により結像された被写体光により撮像する複数の受光素子を有する。

第２撮像系１０２および第３撮像系１０３が持つ光学構成について説明する。第２レンズ１２０および第３レンズ１３０は、それぞれ結像レンズである。第２光学系１２５を通過する光は、第２絞り部１２２の開口部を通過するものに制限される。第３光学系１３５を通過する光は、第３絞り部１３２の開口部を通過するものに制限される。

第２カラーフィルタアレイ１２６は、青の波長域の光を選択的に透過する複数のカラーフィルタを含む。第２カラーフィルタアレイ１２６は、被写体からの光のうち第２波長域の光を通過する第２波長フィルタの一例とする。第３カラーフィルタアレイ１３６は、赤の波長域の光を選択的に透過する複数のカラーフィルタを含む。第３カラーフィルタアレイ１３６は、被写体からの光のうち第３波長域の光を通過する第３波長フィルタの一例とする。

第２受光部１２９は、被写体からの光を第２光学系１２５を通じて受光する複数の受光素子を有する。具体的には、第２受光素子アレイ１２８は、第２カラーフィルタアレイ１２６を通じて被写体光を受光する。その他の点では、第２受光素子アレイ１２８は第１受光素子アレイ１１８と略同一の光学構成を持つので、説明を省略する。第３受光部１３９は、被写体からの光を第３光学系１３５を通じて受光する複数の受光素子を有する。具体的には、第３受光素子アレイ１３８は、第３カラーフィルタアレイ１３６を通じて被写体光を受光する。その他の点では、第３受光素子アレイ１３８は第１受光素子アレイ１１８と略同一の光学構成を持つので、説明を省略する。

受光部３０９の光学構成について説明する。第１受光部１１９、第２受光部１２９および第３受光部１３９がそれぞれ有する複数の受光素子は、同一平面上に設けられる。例えば、第１受光素子アレイ１１８が有する複数の受光素子、第２受光素子アレイ１２８が有する複数の受光素子、および、第３受光素子アレイ１３８が有する複数の受光素子は、同一基板上に形成される。例えば、各受光素子は、同一プロセスで同一基板の一面に同時に形成される。また、第１カラーフィルタアレイ１１６、第２カラーフィルタアレイ１２６、および、第３カラーフィルタアレイ１３６が有する複数のカラーフィルタも、対応する受光素子の上部に同一プロセスで同時に形成される。これにより、第１受光部１１９、第２受光部１２９および第３受光部１３９を一体に含む１つの受光部３０９が製造される。第１受光部１１９の撮像面、第２受光部１２９の撮像面、および第３受光部１３９の撮像面は、当該受光部３０９が持つ撮像面の部分領域となる。このように、第１受光部１１９、第２受光部１２９および第３受光部１３９がそれぞれ有する複数の受光素子は、同一基板上に設けられる。そして、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３は、基板上の対応する領域に形成された複数の受光素子で被写体を撮像する。なお、第１受光部１１９、第２受光部１２９および第３受光部１３９は、互いに別個に製造して組み付けられてもよい。

各撮像系が備える複数の受光素子は実質的に同時に露光される。各受光素子が露光されると、読み出し部３１０は、当該複数の受光素子から、撮像信号を読み出す。読み出し部３１０は、複数の受光素子と同一基板上に形成された読み出し回路を有してよい。当該読み出し回路は、各撮像系に対して１つ設けられ、１つの読み出し回路が、各撮像系が備える複数の受光素子から、撮像信号を順次に読み出してよい。なお、当該読み出し回路は、各撮像系に対してそれぞれ別個に設けられてもよい。

各撮像系が備える複数の受光素子は、ＭＯＳ型撮像素子を形成してよい。各受光素子が同一プロセスで同一基板の一面に形成されＭＯＳ型撮像素子として実装されている場合、読み出し部３１０は、各撮像系が備える光学系毎に、部分的に読み出しをすることができる。各撮像系が含む複数の受光素子は、ＭＯＳ型撮像素子の他、ＣＣＤ型撮像素子などの固体撮像素子として実装されてよい。

読み出し部３１０が各撮像系が備える受光素子から読み出した撮像信号は、画像処理部３４０に供給される。画像処理部３４０は、第１受光部１１９により撮像された被写体の画像であるＧ成分画像と、第２受光部１２９により撮像された被写体の画像であるＢ成分画像と、第３受光部１３９により撮像された被写体の画像であるＲ成分画像に対して、上述したエッジ合成処理を施す。そして、画像処理部３４０は、Ｇ成分画像と、Ｂ成分画像と、Ｒ成分画像とを合成した合成画像を生成して、記録部１８０に出力する。画像処理部３４０による各波長成分画像に対する具体的な画像処理については、後述する。

図３は、画像処理部３４０による画像処理の一例を模式的に示す。ここでは、撮像装置１００から特定の距離に位置する被写体を取り上げて説明する。本被写体からのＧ光は、第１レンズ１１０によって第１受光部１１９の位置に結像されるとする。

説明を分かり易くすることを目的として、第１レンズ１１０、第２レンズ１２０および第３レンズ１３０は、同一波長域の光に対して略同一の結像特性を持つとする。第１レンズ１１０が有する第１受光素子アレイ１１８は、第１カラーフィルタアレイ１１６が透過したＧ光を選択的に受光することができるが、Ｒ光およびＢ光のいずれも実質的には受光しない。このため、第１受光部１１９の第１受光素子アレイ１１８が生成するＧ成分画像は、鮮明な被写体像を示す。

第２レンズ１２０は、被写体からのＢ光を第２受光部１２９より手前の位置に結像する。第２受光部１２９が有する第２受光素子アレイ１２８は、第２カラーフィルタアレイ１２６が透過したＢ光を選択的に受光することができるが、Ｇ光およびＲ光のいずれも実質的には受光しない。このため、第２受光部１２９の第２受光素子アレイ１２８が生成するＢ成分画像は、Ｇ成分画像と比較すると不鮮明な被写体像を示す。

第３レンズ１３０は、被写体からのＧ光を第３受光部１３９より遠方に結像する。第３受光部１３９が有する第３受光素子アレイ１３８は、第３カラーフィルタアレイ１３６が透過したＲ光を選択的に受光することができるが、Ｇ光およびＢ光のいずれも実質的には受光しない。このため、第３受光部１３９の第３受光素子アレイ１３８が生成するＲ成分画像は、Ｇ成分画像と比較すると不鮮明な被写体像を示す。

この場合、画像処理部３４０は、Ｇ成分画像を合焦画像として選択する。Ｇ成分画像はＢ成分画像およびＲ成分画像よりも鮮明な被写体像を提供できるので、画像処理部３４０は、Ｇ成分画像を、Ｇ成分画像Ｇ'として生成する。

画像処理部３４０は、合焦画像のエッジ成分を用いてＢ成分画像Ｂ'およびＲ成分画像Ｒ'を生成する。具体的には、画像処理部３４０は、合焦画像であるＧ画像成分からハイパスフィルタＨで高周波成分を抽出する。Ｇ成分画像の画像信号、Ｂ成分画像の画像信号およびＲ成分画像の画像信号につき、画像信号Ｃに対するハイパスフィルタ処理をＨ（Ｃ）で表すとすれば、抽出された高周波成分はＨ（Ｇ）で表される。画像処理部３４０は、Ｂ＋Ｈ（Ｇ）の加算によって、Ｂ成分画像Ｂ'を生成する。また、画像処理部３４０は、Ｒ＋Ｈ（Ｇ）の加算によって、Ｒ成分画像Ｒ'を生成する。このように、画像処理部３４０は、合焦画像から抽出したエッジ成分を、Ｂ成分画像に合成することにより、Ｂ成分の画像であるＢ成分画像Ｂ'を生成する。また、画像処理部３４０は、合焦画像から抽出したエッジ成分を、Ｒ成分画像に合成することにより、Ｒ成分の画像であるＲ成分画像Ｒ'を生成する。

そして、画像処理部３４０は、Ｇ成分画像Ｇ'の画像信号、Ｂ成分画像Ｂ'の画像信号およびＲ成分画像Ｒ'の画像信号を輝度信号Ｙおよび色信号Ｃに変換する。画像処理部３４０は、輝度信号Ｙおよび色信号Ｃを記録部１８０に出力する。輝度信号Ｙには、合焦画像から抽出したエッジ成分を輝度成分として含む。このように、画像処理部３４０は、Ｇ成分画像、Ｂ成分画像およびＲ成分画像のうち最も合焦した合焦画像から抽出したエッジ成分を、Ｂの波長域、Ｇの波長域およびＲの波長域にわたる輝度成分として有する合成画像を生成する。

ここでは画像処理部３４０がＲＧＢの画像信号を輝度信号Ｙおよび色信号Ｃに変換して出力するとしたが、画像処理部３４０は、Ｇ成分画像Ｇ'の画像信号、Ｂ成分画像Ｂ'の画像信号およびＲ成分画像Ｒ'の画像信号を、ＲＧＢ信号として出力してよい。ＲＧＢ信号から輝度信号を定義することができるので、当該ＲＧＢ信号も、Ｂの波長域、Ｇの波長域およびＲの波長域にわたる輝度成分として有する合成画像の画像信号に相当する。すなわち、合成画像は、Ｒ成分画像Ｒ'、Ｇ成分画像Ｇ'およびＢ成分画像Ｂ'の集合を含む概念である。

本図の例では、被写体からのＧ光が、第１レンズ１１０によって第１受光部１１９に焦点を結ぶとした。より撮像装置１００に近い位置の被写体、特に、Ｂ光が第２受光部１２９の位置に焦点を結ぶ被写体については、最も強い高周波成分を持つ被写体像はＢ成分画像から得ることができる。したがって、画像処理部３４０は、Ｂ成分画像を合焦画像として選択して、Ｂ成分画像をＢ成分画像Ｂ'として生成する。そして、画像処理部３４０は、Ｇ＋Ｈ（Ｂ）の加算によって、Ｇ成分画像Ｇ'を生成する。また、画像処理部３４０は、Ｒ＋Ｈ（Ｂ）の加算によって、Ｒ成分画像Ｒ'を生成する。

より撮像装置１００から離れた位置の被写体、特に、Ｒ光が第３受光部１３９の位置に焦点を結ぶ被写体については、最も強い高周波成分を持つ被写体像はＲ成分画像から得ることができる。したがって、画像処理部３４０は、Ｒ成分画像を合焦画像として選択して、Ｒ成分画像をＲ成分画像Ｒ'として生成する。そして、画像処理部３４０は、Ｇ＋Ｈ（Ｒ）の加算によって、Ｇ成分画像Ｇ'を生成する。また、画像処理部３４０は、Ｂ＋Ｈ（Ｒ）の加算によって、Ｂ成分画像Ｂ'を生成する。

撮像装置１００によれば、Ｂ光が第２受光部１２９の位置に焦点を結ぶ被写体、Ｇ光が第１受光部１１９の位置に焦点を結ぶ被写体、および、Ｒ光が第３受光部１３９の位置に焦点を結ぶ被写体を、鮮明な被写体像として提供することができる。第１レンズ１１０の被写界深度の前端を、第２レンズ１２０の被写界深度の後端と一致させ、第１レンズ１１０の被写界深度の後端を、第３レンズ１３０の被写界深度の前端と一致させるように各レンズの被写界深度および合焦距離を設計すれば、第２レンズ１２０の前端から第３レンズ１３０の後端までを、撮像装置１００の被写界深度とみなすことができる。また、第１レンズ１１０、第２レンズ１２０および第３レンズ１３０を、それぞれＧの波長域、Ｂの波長域およびＲの波長域を考慮して設計すればよい。このため、Ｂ〜Ｒにわたる波長域を考慮して色収差設計をする場合と比較すれば、被写界深度および合焦距離を上述のように調整することは極めて容易である。したがって、撮像装置１００によれば、高度な光学設計を要せずとも、各光学系の個々の被写界深度よりも遙かに深い被写界深度を得ることができる。

図４は、画像処理部３４０による高周波成分の加算処理の一例を模式的に示す。ここでも図３に関連して説明したように、Ｇ光が第１受光部１１９に焦点を結ぶ被写体を取り上げる。画像処理部３４０は、Ｇ成分画像、Ｂ成分画像およびＲ成分画像から、それぞれ予め定められた値より高い空間周波数領域の周波数成分を抽出する。第１レンズ１１０によって被写体からのＧ光が第１受光部１１９に結像される場合、図示されるように、Ｇ成分画像から最も強い信号強度の高周波成分を得られる。Ｂ成分画像およびＲ成分画像からは、Ｇ成分画像から抽出される高周波成分の信号強度よりも弱い強度の高周波成分が抽出される。

画像処理部３４０は、Ｇ成分画像、Ｂ成分画像およびＲ成分画像のうち、予め定められた値より高い空間周波数領域で最も強い強度の周波数成分が抽出されるＧ成分画像を、合焦画像として選択する。そして、画像処理部３４０は、Ｇ成分画像から抽出した高周波成分を、空間周波数領域でＢ画像成分に合成することにより、Ｇ成分画像Ｇ'を生成する。また、画像処理部３４０は、Ｇ成分画像から抽出した高周波成分を、空間周波数領域でＲ画像成分に合成することにより、Ｒ成分画像Ｒ'を生成する。

このように、画像処理部３４０は、Ｇ成分画像、Ｂ成分画像およびＲ成分画像からそれぞれ抽出された空間周波数成分に基づいて、合焦画像を選択する。具体的には、画像処理部３４０は、Ｇ成分画像、Ｂ成分画像およびＲ成分画像のうち、予め定められた値より高い空間周波数においてより強い強度の空間周波数成分が抽出された画像を、合焦画像としてより優先して選択する。そして、画像処理部３４０は、予め定められた値より高い空間周波数の空間周波数成分を合焦画像から抽出し、抽出した空間周波数成分を、第１画像および第２画像のうちの他の画像に合成することにより、合成画像を生成する。

なお、Ｇ成分画像、Ｂ成分画像およびＲ成分画像の信号強度は、被写体が持つ色に応じて異なる場合がある。したがって、合焦画像を選択する場合に、画像処理部３４０は、空間周波数成分を規格化して、規格化した空間周波数成分に基づき、予め定められた値より高い空間周波数においてより強い強度の空間周波数成分が抽出された画像を、合焦画像としてより優先して選択する。例えば、画像処理部３４０は、空間周波数を抽出する画素ブロックの平均輝度値で波長域毎に空間周波数成分を規格化してよい。これにより、合焦画像をより正確に選択することができる。

図５は、画像処理部３４０による画像領域毎の画像処理の一例を模式的に示す。ここでは、撮像装置１００に最も近い位置に存在する近距離被写体と、最も撮像装置１００から遠い位置に存在する遠距離被写体と、近距離被写体および遠距離被写体の中間に位置する中距離被写体とを取り上げる。説明を分かり易くすべく、近距離被写体からのＢ光は第２レンズ１２０によって第２受光部１２９の位置に焦点を結ぶとする。そして、中距離被写体からのＧ光および遠距離被写体からのＲ光は、それぞれ第１受光部１１９および第３受光部１３９の位置に焦点を結ぶとする。

近距離被写体の像は、Ｂ成分画像５２０、Ｇ成分画像５１０およびＲ成分画像５３０に、それぞれ近距離被写体像５２２、近距離被写体像５１２および近距離被写体像５３２として含まれる。このうち、Ｂ成分画像５２０に含まれる近距離被写体像５２２が、最も鮮明な像となる。したがって、画像処理部３４０は、近距離被写体像が存在する画像領域の合焦画像として、Ｂ成分画像５２０を選択する。そして、画像処理部３４０は、Ｇ波長域の深度拡大画像５６０を生成する場合に、近距離被写体像５２２から抽出した高周波成分を近距離被写体像５１２に合成することにより、近距離被写体像が存在する画像領域の画像である近距離被写体像５６２を生成する。具体的には、画像処理部３４０は、Ｇ＋Ｈ（Ｂ）の処理により、近距離被写体像５６２を生成する。また、画像処理部３４０は、Ｒ波長域の深度拡大画像５８０を生成する場合に、当該高周波成分を近距離被写体像５３２に合成することにより、近距離被写体像５８２を生成する。具体的には、画像処理部３４０は、Ｒ＋Ｈ（Ｂ）の処理により、近距離被写体像５８２を生成する。また、画像処理部３４０は、近距離被写体像５２２を、Ｂ成分の深度拡大画像５７０の近距離被写体像５７２として生成する。

中距離被写体の像は、Ｂ成分画像５２０、Ｇ成分画像５１０およびＲ成分画像５３０に、それぞれ中距離被写体像５２４、中距離被写体像５１４および中距離被写体像５３４として含まれる。このうち、Ｇ成分画像５１０に含まれる中距離被写体像５１４が、最も鮮明な像となる。したがって、画像処理部３４０は、中距離被写体像が存在する画像領域の合焦画像として、Ｇ成分画像５１０を選択する。そして、画像処理部３４０は、Ｂ波長域の深度拡大画像５７０を生成する場合に、中距離被写体像５１４から抽出した高周波成分を中距離被写体像５２４に合成することにより、中距離被写体像が存在する画像領域の画像である中距離被写体像５７４を生成する。具体的には、画像処理部３４０は、Ｂ＋Ｈ（Ｇ）の処理により、中距離被写体像５７４を生成する。また、画像処理部３４０は、Ｒ波長域の深度拡大画像５８０を生成する場合に、当該高周波成分を中距離被写体像５３４に合成することにより、中距離被写体像５８４を生成する。具体的には、画像処理部３４０は、Ｒ＋Ｈ（Ｇ）の処理により、中距離被写体像５８４を生成する。また、画像処理部３４０は、中距離被写体像５１４を、深度拡大画像５６０の中距離被写体像５６４として生成する。

遠距離被写体の像は、Ｂ成分画像５２０、Ｇ成分画像５１０およびＲ成分画像５３０に、それぞれ遠距離被写体像５２６、遠距離被写体像５１６および遠距離被写体像５３６として含まれる。このうち、Ｒ成分画像５３０に含まれる遠距離被写体像５３６が、最も鮮明な像となる。したがって、画像処理部３４０は、遠距離被写体像が存在する画像領域の合焦画像として、Ｒ成分画像５３０を選択する。そして、画像処理部３４０は、Ｂ波長域の深度拡大画像５７０を生成する場合に、遠距離被写体像５３６から抽出した高周波成分を遠距離被写体像５２６に合成することにより、遠距離被写体像が存在する画像領域の画像である遠距離被写体像５７６を生成する。具体的には、画像処理部３４０は、Ｂ＋Ｈ（Ｒ）の処理により、遠距離被写体像５７６を生成する。また、画像処理部３４０は、Ｇ波長域の深度拡大画像５６０を生成する場合に、当該高周波成分を遠距離被写体像５１６に合成することにより、遠距離被写体像５６６を生成する。具体的には、画像処理部３４０は、Ｇ＋Ｈ（Ｒ）の処理により、遠距離被写体像５６６を生成する。また、画像処理部３４０は、遠距離被写体像５３６を、深度拡大画像５８０の遠距離被写体像５８６として生成する。

このように、画像処理部３４０は、画像領域毎に合焦画像を選択し、選択した合焦画像から抽出したエッジ成分を、画像領域毎に他の画像に合成することにより、合成画像を生成する。これにより、撮像装置１００は、深度拡大画像５６０、深度拡大画像５７０および深度拡大画像５８０のいずれにおいても、鮮明な近距離被写体像、中距離被写体像および遠距離被写体像を得ることができる。以上に説明したように、画像処理部３４０は、Ｇ成分画像、Ｂ成分画像および画像のうち被写体に対して最も合焦した画像から抽出したエッジ成分を、Ｇ波長域、Ｂの波長域およびＲの波長域にわたる輝度成分として有する合成画像を生成することができる。

以上において、画像処理部３４０は、最も合焦した色成分画像から抽出した高周波成分を、他の画像に合成するとした。画像処理部３４０は、２以上の画像からそれぞれ抽出した高周波成分を、他の画像に合成してもよい。例えば、画像処理部３４０は、Ｂ'成分を、Ｂ'＝Ｂ＋ａ_Ｂ，ＲＨ_Ｂ，Ｒ（Ｒ）＋ａ_Ｂ，ＧＨ_Ｂ，Ｇ（Ｇ）＋ａ_Ｂ，ＢＨ_Ｂ，Ｂ（Ｂ）の処理によって生成してよい。ここでａ_Ｂ，ｉは、Ｂ成分の深度拡大画像を生成する場合の、ｉで識別される色成分（ただし、ｉ＝Ｒ、Ｇ、Ｂ）に対する重みづけ係数であり、Ｈ_Ｂ，ｉは、Ｂ成分の深度拡大画像を生成する場合の、ｉで識別される色成分に適用すべきハイパスフィルタを示す。Ｂ'成分だけでなく、Ｇ'成分およびＲ'成分の生成処理を包括的に示せば、Ｃ' _ｉ＝Ｃ_ｉ＋ａ_ｉ，ＲＨ_ｉ，Ｒ（Ｃ_Ｒ）＋ａ_ｉ，ＧＨ_ｉ，Ｇ（Ｃ_Ｇ）＋ａ_ｉ，ＢＨ_ｉ，Ｂ（Ｃ_Ｂ）で表すことができる。Ｃ _ｉは、ｉで識別される色成分であり、Ｃ _Ｒ、Ｃ _ＧおよびＣ_Ｂは、上述したＲ信号、Ｇ信号およびＢ信号に該当する。このように、画像処理部３４０は、合成対象の波長域に応じた異なる重みづけで、各波長域の深度拡大画像を生成してよい。

以上の説明では、可視光に属するＲ、ＧおよびＢの３つの波長域を異なる３つのレンズで撮像する場合の撮像装置１００の機能構成を説明した。他の態様において、２つの波長域を異なる２つのレンズを通じて撮像する構成を採用することができる。この構成でも画像処理部３４０は、以上に説明した処理と同様の処理により、合成画像を生成することができる。例えば、当該２つの波長域を第１波長域および第２波長域と呼べば、画像処理部３４０は、第１波長域の画像および第１波長域の画像のうち被写体に対してより合焦した合焦画像から抽出したエッジ成分を、第１波長域および第２波長域にわたる輝度成分として有する合成画像を生成すればよい。更なる他の態様において、４以上の波長域を異なるレンズを通じて撮像する構成を採用することができる。いずれの態様の撮像装置も、図１から図５にかけて説明した撮像装置１００と同様の機能構成で実現することができるので、説明を省略する。

図６は、他の構成に係る撮像装置６００の一例を示す。撮像装置６００は、第１撮像系１０１ａおよび第１撮像系１０１ｂ、第２撮像系１０２ａおよび第２撮像系１０２ｂ、第３撮像系１０３ａおよび第３撮像系１０３ｂ、画像信号生成部１７０および記録部１８０を備える。第１撮像系１０１ａ、第２撮像系１０２ａおよび第３撮像系１０３ａは、それぞれ図１から図５に関連して説明した第１撮像系１０１、第２撮像系１０２および第３撮像系１０３と同じ撮像系であるとする。このため、詳細な説明は省略する。

第１撮像系１０１ｂは、第１撮像系１０１ａと同様、Ｇ光により被写体を撮像する。第１撮像系１０１ｂは、第１光学系１１５ｂおよび第１受光部１１９ｂを有する。第１受光部１１９ｂは、第１受光部１１９ａと略同一の光学要素を有するので、説明を省略する。第１光学系１１５ｂは、第１レンズ１１０ｂおよび第１絞り部１１２ｂを含む。ここで、第１光学系１１５ｂは、第１レンズ１１０ａとは焦点位置が異なる。具体的には、第１レンズ１１０ｂによるＧ光の焦点位置が、第１レンズ１１０ａによるＧ光の焦点位置とは異なる。

第２撮像系１０２ｂは、第２撮像系１０２ａと同様、Ｂ光により被写体を撮像する。第２撮像系１０２ｂは、第２光学系１２５ｂおよび第２受光部１２９ｂを有する。第２受光部１２９ｂは、第２受光部１２９ａと略同一の光学要素を有するので、説明を省略する。第２光学系１２５ｂは、第２レンズ１２０ｂおよび第２絞り部１２２ｂを含む。ここで、第２光学系１２５ｂは、第２レンズ１２０ａとは焦点位置が異なる。具体的には、第２レンズ１２０ｂによるＢ光の焦点位置が、第２レンズ１２０ａによるＢ光の焦点位置とは異なる。

第３撮像系１０３ｂは、第３撮像系１０３ａと同様、Ｒ光により被写体を撮像する。第３撮像系１０３ｂは、第３光学系１３５ｂおよび第３受光部１３９ｂを有する。第３受光部１３９ｂは、第３受光部１３９ａと略同一の光学要素を有するので、説明を省略する。第３光学系１３５ｂは、第３レンズ１３０ｂおよび第３絞り部１３２ｂを含む。ここで、第３光学系１３５ｂは、第３レンズ１３０ａとは焦点位置が異なる。具体的には、第３レンズ１３０ｂによるＲ光の焦点位置が、第３レンズ１３０ａによるＲ光の焦点位置とは異なる。

そして、第１レンズ１１０ｂによるＧ光の焦点位置、第１レンズ１１０ａによるＧ光の焦点位置、第２レンズ１２０ｂによるＢ光の焦点位置、第２レンズ１２０ａによるＢ光の焦点位置、第３レンズ１３０ｂによるＲ光の焦点位置および第３レンズ１３０ａによるＲ光の焦点位置は、互いに異なる。そして、画像処理部３４０は、第１受光部１１９ａおよびｂにより撮像された２の画像、第２受光部１２９ａおよびｂにより撮像された２の画像、第３受光部１３９ａおよびｂにより撮像された２の画像のうち、被写体に対して最も合焦した画像から抽出したエッジ成分を、第１波長域、第２波長域および第３波長域にわたる輝度成分として有する合成画像を生成する。画像処理部３４０の具体的な合成処理については図１から図５に関連して説明した処理と同様であるので、説明を省略する。

本光学構成の撮像装置６００によれば、同一波長域につき２つの撮像系を備えるので、被写界深度をより拡大することができる。また、同一波長域の光につき２の画像を得ることができる。このため、画像処理部３４０は、合焦画像から抽出したエッジ成分を特定波長域の光で撮像された画像に合成する場合に、特定波長域の光で撮像された２の画像のうち、より合焦している画像に当該エッジ成分を合成してよい。このため、各色成分につき、より鮮明な被写体像を得ることができる場合がある。

本図の例では、３の波長域のそれぞれについて２の撮像系を有するとした。他にも、１の波長域につき２の撮像系を有する構成を採用して、他の波長域については１の撮像系を有する構成を採用することができる。例えば、撮像装置６００が、第１撮像系１０１ａ、第１撮像系１０１ｂ、第２撮像系１０２ａおよび第３撮像系１０３ａの撮像系を備える構成を採用することができる。また、同一波長域について３以上の撮像系を備える構成を採用することもできる。

以上に説明したように、互いに焦点位置が異なる第１光学系１１５を複数設け、複数の第１光学系１１５に対応して第１受光部１１９を複数設ける構成を採用することができる。この構成においても、画像処理部３４０は、複数の第１受光部１１９により撮像された複数の画像、ならびに他の受光部により撮像された１以上の画像のうち被写体に対して最も合焦した画像から抽出したエッジ成分を、第１波長域、第２波長域および第３波長域にわたる輝度成分として有する合成画像を生成すればよい。

なお、以上に説明した撮像装置１００および撮像装置６００の各部の機能は、コンピュータおよびプログラムによって実現することができる。例えば、コンピュータが備えるプロセッサが、プログラムによって提供される命令に従って動作し周辺デバイスを制御することで、コンピュータは、画像信号生成部１７０の各部および記録部１８０として機能することができる。当該プログラムは、ＣＤ−ＲＯＭ、半導体メモリ、ハードディスク等の記録媒体に記録されてよい。コンピュータに、当該記録媒体に記録されたプログラムを読み込ませることで、コンピュータにプログラムを提供することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像装置
１０１ 第１撮像系
１０２ 第２撮像系
１０３ 第３撮像系
１１０ 第１レンズ
１１２ 第１絞り部
１１５ 第１光学系
１１６ 第１カラーフィルタアレイ
１１８ 第１受光素子アレイ
１１９ 第１受光部
１２０ 第２レンズ
１２２ 第２絞り部
１２５ 第２光学系
１２６ 第２カラーフィルタアレイ
１２８ 第２受光素子アレイ
１２９ 第２受光部
１３０ 第３レンズ
１３２ 第３絞り部
１３５ 第３光学系
１３６ 第３カラーフィルタアレイ
１３８ 第３受光素子アレイ
１３９ 第３受光部
１７０ 画像信号生成部
１８０ 記録部
３０９ 受光部
３１０ 読み出し部
３４０ 画像処理部
５１０ Ｇ成分画像
５１２、５２２、５３２、５６２、５７２、５８２ 近距離被写体像
５１４、５２４、５３４、５６４、５７４、５８４ 中距離被写体像
５１６、５２６、５３６、５６６、５７６、５８６ 遠距離被写体像
５２０ Ｂ成分画像
５３０ Ｒ成分画像
５６０、５７０、５８０ 深度拡大画像
６００ 撮像装置

Claims (10)

1. 第１波長域の光を結像する第１光学系と、
   第２波長域の光を結像し、前記第１光学系とは焦点位置が異なる第２光学系と、
   被写体からの光を前記第１光学系を通じて受光する複数の受光素子を有する第１受光部と、
   前記被写体からの光を前記第２光学系を通じて受光する複数の受光素子を有する第２受光部と、
   前記第１受光部により撮像された前記被写体の第１画像と、前記第２受光部により撮像された前記被写体の第２画像とを合成した合成画像を生成する画像処理部と
   を備え、
   前記画像処理部は、前記第１画像および前記第２画像のうち前記被写体に対してより合焦した画像を合焦画像として選択して、選択した前記合焦画像から抽出したエッジ成分を、前記第１波長域および前記第２波長域にわたる輝度成分として有する前記合成画像を生成する
   撮像モジュール。
2. 前記画像処理部は、予め定められた値より高い空間周波数の空間周波数成分を前記第１画像および前記第２画像のそれぞれから抽出し、抽出した前記空間周波数成分のうち最も強い信号強度の空間周波数成分を選択して、選択した前記最も強い信号強度の空間周波数成分を、前記第１画像および前記第２画像のうち前記最も強い信号強度の空間周波数成分が抽出された画像である前記合焦画像以外の画像の空間周波数成分として、空間周波数領域で合成することにより、前記合成画像を生成する
   請求項１に記載の撮像モジュール。
3. 前記画像処理部は、画像領域毎に前記合焦画像を選択し、選択した合焦画像から抽出したエッジ成分を、前記合焦画像以外の画像に画像領域毎に合成することにより、前記合成画像を生成する
   請求項１または２に記載の撮像モジュール。
4. 前記第１光学系は、前記被写体からの光を結像する第１レンズを有し、前記第１受光部は、前記被写体からの光のうち前記第１波長域の光を通過する第１波長フィルタを有し、
   前記第２光学系は、前記被写体からの光を結像する第２レンズを有し、前記第２受光部は、前記被写体からの光のうち前記第２波長域の光を通過する第２波長フィルタを有する
   請求項１から３のいずれか一項に記載の撮像モジュール。
5. 前記第１レンズは軸上色収差を有し、
   前記第２レンズは、前記第１レンズと略同一の結像特性を有する
   請求項４に記載の撮像モジュール。
6. 第３波長域の光を結像し、前記第１光学系および前記第２光学系のいずれとも焦点位置が異なる第３光学系と、
   被写体からの光を前記第３光学系を通じて受光する複数の受光素子を有する第３受光部と
   をさらに備え、
   前記画像処理部は、前記第１画像、前記第２画像および前記第３受光部が撮像した第３画像のうち前記被写体に対して最も合焦した画像を前記合焦画像として選択して、選択した前記合焦画像から抽出したエッジ成分を、前記第１波長域、前記第２波長域および前記第３波長域にわたる輝度成分として有する前記合成画像を生成する
   請求項１から５のいずれか一項に記載の撮像モジュール。
7. 前記第１受光部、前記第２受光部および前記第３受光部がそれぞれ有する前記複数の受光素子は同一基板上に設けられる
   請求項６に記載の撮像モジュール。
8. 前記第１光学系は複数設けられ、複数の前記第１光学系は、互いに焦点位置が異なり、
   前記第１受光部は、前記複数の第１光学系に対応して複数設けられ、
   前記画像処理部は、複数の前記第１受光部により撮像された複数の前記第１画像、前記第２画像および前記第３画像のうち前記被写体に対して最も合焦した画像を前記合焦画像として選択して、選択した前記合焦画像から抽出したエッジ成分を、前記第１波長域、前記第２波長域および前記第３波長域にわたる輝度成分として有する前記合成画像を生成する
   請求項６または７に記載の撮像モジュール。
9. 前記第１波長域は、Ｇの波長域である
   請求項８に記載の撮像モジュール。
10. 請求項１から９のいずれか一項に記載の撮像モジュールを備え、前記撮像モジュールにより被写体を撮像する撮像装置。

Images