JP2012182731A - 撮像装置 - Google Patents

Abstract

【課題】画角内の輝度差が大きい場合であっても正確なデプスマップを得られる撮像装置を提供する。
【解決手段】所定の焦点面の近傍に二次元状に配置された複数の正レンズと、複数の正レンズの各々に対応して当該正レンズの後側に配置された複数の受光素子を有する第１の撮像素子と、複数の正レンズの各々について、前記第１の撮像素子の出力から、当該正レンズに像が結ばれた被写体までの距離を表す値を算出する距離算出手段と、第１の撮像素子に複数回の撮像をそれぞれ異なる電荷蓄積時間で連続して行わせる制御手段と、前記第１の撮像素子により連続して行われた複数回の撮像の各々についてデプスマップを作成するデプスマップ作成手段と、デプスマップ作成手段により作成された複数回の撮像にそれぞれ対応する複数のデプスマップを合成して合成デプスマップを作成する合成手段と、を備える撮像装置。
【選択図】図１

Description

本発明は、撮像装置に関する。

複数の正レンズと各正レンズの後側にそれぞれ複数配置された受光素子を用いて、被写体像のデプスマップを作成する撮像装置が知られている。ここでデプスマップとは、被写体までの距離を表す値を二次元状に配列したデータであり、換言すれば、被写体までの距離の分布を表すデータである。例えば特許文献１には、マイクロレンズの後側に配置された撮像画素の出力から左右視差または上下視差によるデプスマップを作成する撮像装置が記載されている。

特開２００９−１６５１１５号公報

特許文献１に記載された撮像装置には、画角内の輝度差が大きい場合に正確なデプスマップを得ることができないという問題があった。

請求項１に係る発明は、被写体像が結像される所定の焦点面の近傍に二次元状に配置された複数の正レンズと、複数の正レンズの各々に対応して当該正レンズの後側に配置された複数の受光素子を有する第１の撮像素子と、複数の正レンズの各々について、第１の撮像素子の出力から、当該正レンズに像が結ばれた被写体までの距離を表す値を算出する距離算出手段と、第１の撮像素子に複数回の撮像をそれぞれ異なる電荷蓄積時間で連続して行わせる制御手段と、距離算出手段により算出された複数の距離を表す値を当該値に対応する正レンズの位置に応じて二次元状に配列したデータであるデプスマップを、第１の撮像素子により連続して行われた複数回の撮像の各々について作成するデプスマップ作成手段と、デプスマップ作成手段により作成された複数回の撮像にそれぞれ対応する複数のデプスマップを合成して合成デプスマップを作成する合成手段と、を備えることを特徴とする撮像装置である。

本発明によれば、画角内の輝度差が大きい場合であっても正確なデプスマップを得ることができる。

本発明の第１の実施の形態による撮像装置の構成を示す図である。 マイクロレンズアレイ１２および副撮像素子１３の拡大図である。 撮像装置１の撮像シーケンスを示すタイムチャートである。 デフォーカス量の算出方法を説明するための模式図である。 制御回路４０によるデプスマップ作成処理を示すフローチャートである。 横由来デプスマップ作成処理を説明するための模式図である。 横由来デプスマップおよび縦由来デプスマップの作成範囲を示す模式図である。 第４の横由来デプスマップの作成処理を説明する図である。 仮デプスマップから本デプスマップを作成する処理を説明するための図である。 第２の実施の形態に係る撮像装置の構成を示す模式図である。 マイクロレンズアレイ１２および副撮像素子１３の変形例を示す図である。

（第１の実施の形態）
本発明の第１の実施の形態に係る撮像装置について説明する。第１の実施の形態に係る撮像装置は、被写体像を撮像して画像データを作成すると共に、当該画像データと同一の解像度を有するデプスマップ（後述）を作成する。そして、これら画像データとデプスマップとを関連付けて不図示の記憶媒体（例えばメモリカードやハードディスクドライブなど）に記憶する。

図１は、本発明の第１の実施の形態による撮像装置の構成を示す図であり、図２はマイクロレンズアレイ１２および副撮像素子１３の拡大図である。撮像装置１は被写体像を所定の焦点面に結像させる撮影レンズ１１を備えている。撮像装置１は更に、被写体光を二方向に分岐させるペリクルミラー２１を備えており、分岐された被写体光の一方は主撮像素子２３に、他方は副撮像素子１３に向かう。ペリクルミラー２１と副撮像素子１３との間にはマイクロレンズアレイ１２が設けられている。通常、マイクロレンズアレイ１２と副撮像素子１３との間隔はマイクロレンズアレイ１２を構成するマイクロレンズＭＬの焦点位置近傍に副撮像素子１３の受光面があるように定められるが、図１および図２では説明のため実際よりも広く描いている。

マイクロレンズアレイ１２は、正レンズであるマイクロレンズＭＬを複数有しており、これら複数のマイクロレンズＭＬは二次元状に配列されている。副撮像素子１３のマイクロレンズアレイ１２に相対する撮像面には、複数の受光素子が二次元状に配列されている。これらの受光素子は一定数毎にグループ化され、各々のグループ（受光素子配列３０）が各マイクロレンズＭＬに対応する。以下、このグループを受光素子配列と呼ぶ。本実施形態では、５行５列に配列された２５個の受光素子から成る受光素子配列３０が、各々のマイクロレンズＭＬに対応する１つのグループとなっている。

なお、図２に示すマイクロレンズアレイ１２は、便宜上２５個のマイクロレンズＭＬを有するかのように描写されているが、実際にはより多くのマイクロレンズＭＬを有している。同様に、副撮像素子１３が有する受光素子配列３０も、実際には図２に示す数より多い。

受光素子配列３０を構成する個々の受光素子は、撮影レンズ１１の射出瞳とほぼ共役な位置に配置されている。その結果、受光素子配列３０を構成する個々の受光素子は当該受光素子配列３０に対応するマイクロレンズＭＬを介して、撮影レンズ１１の射出瞳の異なる領域からの光束をそれぞれ受光する。なお、あるマイクロレンズＭＬに入射した被写体光が、当該マイクロレンズＭＬに対応する受光素子配列３０に隣接する他の受光素子配列３０に迷光として入射することがある。このような迷光を防止するため、各マイクロレンズＭＬの間の境界部に遮光マスクを設けたり、マイクロレンズアレイ１２と副撮像素子１３との間に各受光素子配列３０を仕切る仕切部材を設けたりすることが望ましい。図１および図２ではこのような部材の図示を省略している。

撮影レンズ１１とマイクロレンズアレイ１２の前側主面との位置関係は、撮影レンズ１１と主撮像素子２３の撮像面（受光面）との位置関係と光学的に等価である。主撮像素子２３および副撮像素子１３の撮像面には、不図示の光学的ローパスフィルターや赤外線カットフィルター等が設けられている。なお、図１において撮影レンズ１１は１枚のレンズとして模式的に示しているが、これらを複数のレンズで構成するものとしてもよい。

撮像装置１は以上で述べた各部を制御する制御回路４０を更に備えている。制御回路４０はマイクロプロセッサやその周辺回路等から構成されており、図示しない記憶媒体（例えばフラッシュメモリなど）に予め記憶されている制御プログラムを読み込んで実行することにより、上述した各部を制御する。なお制御回路４０を、この制御プログラムと同等の機能を有する電子回路により構成することも可能である。

制御回路４０は、例えばユーザが不図示のレリーズボタンを押下することにより、主撮像素子２３に撮像を行わせる。そして、この撮像により主撮像素子２３から出力された画像信号に種々の画像処理を実行して画像データを作成し、不図示の記憶媒体に画像データを記憶する。

図３は、撮像装置１の撮像シーケンスを示すタイムチャートである。図３に示すように、制御回路４０は主撮像素子２３により撮像が行われるとき、並行して副撮像素子１３による３回の撮像を行う。この３回の撮像において、制御回路４０は副撮像素子１３の受光素子の露光時間（電荷蓄積時間）をそれぞれ異なる時間に設定する。例えば図３において、１回目の撮像Ｒ１の露光時間は、２回目の撮像Ｒ２の露光時間よりも短くなっている。また、３回目の撮像Ｒ３の露光時間は、１回目の撮像Ｒ１の露光時間よりも更に短いものとなっている。

これら３回の撮像が完了すると、制御回路４０は撮像の結果として副撮像素子１３からそれぞれ出力される３つの受光信号に基づいて、上述の画像データに対応するデプスマップ（後に詳述）を作成する。そして、画像データとデプスマップとを関連付けて不図示の記憶媒体に記憶する。

以下、デプスマップの詳細と、制御回路４０が３回の撮像の結果として得られた３つの受光信号からデプスマップを作成する手順と、について説明する。

（デプスマップの説明）
デプスマップとは、画像データを多数の領域に分割したときこれら各領域に対応する被写体部分までの距離を表す値を、画像データに対応させて二次元状に複数配列したデータである。つまりデプスマップは各被写体部分の奥行き（depth）を画像データ全体にマッピングしたデータであり、換言すれば、被写体までの距離の分布情報である。本実施形態のデプスマップは、マイクロレンズアレイ１２を構成する各々のマイクロレンズＭＬについて、当該マイクロレンズＭＬの前後に像が結ばれた被写体までの距離を表す値であるデフォーカス量を、当該マイクロレンズＭＬの位置に応じて二次元状に配列したデータをデプスマップと呼ぶ。ここでデフォーカス量とは、被写体像の結像位置と所定の基準面（焦点検出面）との変位を表す数値である。被写体までの距離は、デフォーカス量と撮影レンズ１１の焦点距離並びに焦点調節面情報により決まることは光学上明らかである。

（デフォーカス量の算出方法の説明）
デプスマップ作成処理に先立ち、まずマイクロレンズアレイ１２および副撮像素子１３によるデフォーカス量の算出方法について説明する。

図４は、デフォーカス量の算出方法を説明するための模式図である。この図４は、被写体光がマイクロレンズアレイ１２および副撮像素子１３に入射する様子を模式的に示した図であり、図２に示したマイクロレンズアレイ１２および副撮像素子１３を図２に示したＸ平面で切断した断面図となっている。図４に示す通り、マイクロレンズアレイ１２および副撮像素子１３は、各受光素子配列３０が有する受光素子のマイクロレンズＭＬによる像が、各マイクロレンズＭＬの頂点より被写体側の結像面５ｂに結ぶように配置されている。５ｂの位置は撮影レンズ１１の射出瞳と一致するのが理想的だが、この位置からずれていても、射出瞳面上におけるのボケ像が分離十分に小さければよい。このように構成された副撮像素子１３から出力される受光信号に対し、以下に説明する演算を行うことで、デフォーカス量を算出することができる。

まず、連続する受光素子配列３０から相対的に同じ位置の受光素子を選択した第１受光素子列を規定する。例えば、各受光素子配列３０において左端から２番目の受光素子ｃを選択した第１受光素子列Ｃを考える。同様に、これとは異なる位置の受光素子を各受光素子配列３０から選択した第２受光素子列を規定する。例えば、各受光素子配列３０において左端から４番目の受光素子ｄを選択した第２受光素子列Ｄを考える。そして、第１受光素子列の出力と第２受光素子列の出力とのズレを比較することにより、デフォーカス量を算出する。

具体的には、まず上述した第１受光素子列Ｃを構成する各受光素子の出力をＡ／Ｄ変換したデータである第１信号列｛ａ（ｉ）｝＝ａ（１），ａ（２），…を作成する。次に、上述した第２受光素子列Ｄを構成する各受光素子の出力をＡ／Ｄ変換したデータである第２信号列｛ｂ（ｉ）｝＝ｂ（１），ｂ（２），…を作成する。これらの各信号列は、副撮像素子１３から出力された受光信号から得ることができる。次に、このようにして得られた第１信号列｛ａ（ｉ）｝と第２信号列｛ｂ（ｉ）｝とから周知の方法で像ずれ演算を行い、この演算結果に基づいてデフォーカス量を算出する。

２つの信号列からデフォーカス量を算出する方法はよく知られており、例えば特開昭６０−３７５１３号公報および特開昭６１−２４３４１６号公報に記載の方法を用いることができる。より具体的には、第１信号列｛ａ（ｉ）｝と第２信号列｛ｂ（ｉ）｝（ｉ＝１，２，…）とから、これらの信号列の相関量Ｃ（Ｎ）を次式（１）により求める。

ここでＮは第１信号列｛ａ（ｉ）｝と第２信号列｛ｂ（ｉ）｝とのずれ量を表す数であり、シフト数と呼ぶ。またｐ１およびｐ２は各信号列の所定範囲を表す。ここで、シフト数を一定範囲（例えば−１０〜＋１０）において（例えば１ずつ）変化させながら各シフト数に対応する相関量Ｃ（Ｎ）を求め、この一定範囲における相関量Ｃ（Ｎ）の極小値をＣ０、また極小値を与えるシフト数をＮ０とする。次に、こうして得られた大ざっぱなシフト数Ｎ０から、より精緻なシフト数Ｎａを、次式（２）〜（６）により求める。

Ｃｒ＝Ｃ（Ｎ０−１） …（２）
Ｃｆ＝Ｃ（Ｎ０＋１） …（３）
ＤＬ＝（Ｃｒ−Ｃｆ）／２ …（４）
Ｅ＝ＭＡＸ｛Ｃｆ−Ｃ０，Ｃｒ−Ｃ０｝ …（５）
Ｎａ＝Ｎ０＋ＤＬ／Ｅ …（６）

このようにして算出されたＮａに焦点検出面の位置に応じた補正量（定数ｃｏｎｓｔ）を加えることにより、焦点検出面上での像ずれ量Δｎ＝Ｎａ＋ｃｏｎｓｔを算出する。最終的なデフォーカス量Ｄｆは、この像ずれ量Δｎと検出開角に依存した定数Ｋｆとを用いた次式（７）により算出することができる。

Ｄｆ＝Ｋｆ×Δｎ …（７）

以上のような演算を行うことにより、所定範囲ｉ＝ｐ１からｉ＝ｐ２に対応する被写体像に対するデフォーカス量を算出することができる。また、このデフォーカス量Ｄｆに付随する信頼性パラメータＰを、次式（８）および（９）により算出しておく。

Ｃｅｘ＝Ｃ０−｜ＤＬ｜ …（８）
Ｐ＝Ｃｅｘ／Ｅ …（９）

この信頼性パラメータＰは、デフォーカス量Ｄｆの信頼性を表しており、Ｐが０に近いほど対応するデフォーカス量Ｄｆの信頼性が高いことを意味する。なお、上式（９）により算出されるＰではなく、例えば上式（８）により算出されるＣｅｘや、上式（５）により算出されるＥなどを信頼性パラメータとして用いてもよい。Ｃｅｘを信頼性パラメータとして用いる場合は、Ｃｅｘが小さいほど信頼性が高いものとして扱えばよい。また、Ｅを信頼性パラメータとして用いる場合は、Ｅが大きいほど信頼性が高いものとすればよい。

（デプスマップの作成手順の説明）
以下の説明では、便宜上、副撮像素子１３を用いて連続して行われる３回の撮像を、第１撮像、第２撮像、および第３撮像と称する。図３に示したタイムチャートの通り、露光時間は第２撮像Ｒ２が最も長く、第３撮像Ｒ３が最も短い。また、これらの撮像により副撮像素子１３から出力される３つの受光信号を順に第１受光信号、第２受光信号、および第３受光信号と称する。つまり、第１撮像に対応して第１受光信号が、第２撮像に対応して第２受光信号が、第３撮像に対応して第３受光信号が、それぞれ副撮像素子１３から出力される。

図５は、制御回路４０によるデプスマップ作成処理を示すフローチャートである。図５に示す処理はすべて制御回路４０により実行される。まずステップＳ１０において、副撮像素子１３に第１撮像を行わせて第１受光信号を出力させる。ステップＳ２０では、副撮像素子１３に第２撮像を行わせて第２受光信号を出力させる。ステップＳ３０では、副撮像素子１３に第３撮像を行わせて第３受光信号を出力させる。

ステップＳ４０では、第１受光信号に基づいて横由来デプスマップ作成処理を実行し、第１の横由来デプスマップを作成する。ステップＳ５０では、第１受光信号に基づいて縦由来デプスマップ作成処理を実行し、第１の縦由来デプスマップを作成する。ステップＳ６０では、第２受光信号に基づいて横由来デプスマップ作成処理を実行し、第２の横由来デプスマップを作成する。ステップＳ７０では、第２受光信号に基づいて縦由来デプスマップ作成処理を実行し、第２の縦由来デプスマップを作成する。ステップＳ８０では、第３受光信号に基づいて横由来デプスマップ作成処理を実行し、第３の横由来デプスマップを作成する。ステップＳ９０では、第３受光信号に基づいて縦由来デプスマップ作成処理を実行し、第３の縦由来デプスマップを作成する。

ステップＳ１００では、ステップＳ４０、ステップＳ６０、ステップＳ８０でそれぞれ作成された３つの横由来デプスマップを合成して第４の横由来デプスマップを作成する。具体的には、各々のデプスマップに付随した信頼性パラメータを各点毎に比較して、信頼性パラメータが最も高いと判定されたデプスマップの当該点におけるマップの値を当該点のデフォーカス値として採用し、採用したデフォーカス値を並べて第４の横由来デプスマップを作成する。

ステップＳ１１０では、ステップＳ１００と同様に３つの縦由来デプスマップを合成して第４の縦由来デプスマップを作成する。すなわち、ステップＳ５０、ステップＳ７０、ステップＳ９０でそれぞれ作成された３つの縦由来デプスマップについて、各々のデプスマップに付随した信頼性パラメータを各点毎に比較する。そして、信頼性パラメータが最も高いと判定されたデプスマップの当該点におけるマップの値を当該点のデフォーカス値として採用し、採用したデフォーカス値を並べて第４の縦由来デプスマップを作成する。

ステップＳ１２０では、ステップＳ１００で作成した第４の横由来デプスマップと、ステップＳ１１０で作成した第４の縦由来デプスマップと、から仮デプスマップを作成する。この仮デプスマップは、マイクロレンズアレイ１２が有するマイクロレンズＭＬの数に応じた解像度のデータである。ステップＳ１３０では、ステップＳ１２０で作成した仮デプスマップと主撮像素子２３により撮像された画像データとから、当該画像データの解像度に合致する本デプスマップを作成する。この本デプスマップが、主撮像素子２３により撮像された画像データと共に用いられる、最終的なデプスマップである。

（横由来デプスマップ作成処理の説明）
図４のステップＳ４０、ステップＳ６０、およびステップＳ８０において制御回路４０により実行される横由来デプスマップ作成処理について説明する。以下の説明では、マイクロレンズアレイ１２が横にＫ個、縦にＭ個のマイクロレンズＭＬから構成されているものとする。

図６は、横由来デプスマップ作成処理を説明するための模式図である。横由来デプスマップ作成処理を開始するに当たって、制御回路４０はまずマイクロレンズアレイ１２を図６（ａ）に示すように横一列ごとのグループ５０に区切る。これにより、Ｍ個のグループ５０が作成される。制御回路４０は、このようにして作成された各グループ５０に対して、以下で説明する処理を実行する。なお図６では、このようにして区切られたグループ５０を構成するマイクロレンズＭＬに対して左から順に、１から始まる説明のための番号を割り当てている。

次に制御回路４０は、図６（ｂ）に示すように、当該グループ５０の左端より、像ずらし代分（本実施形態では３としている）だけ右方からマイクロレンズＭＬを所定数だけ選択する。本実施形態では、この所定数は５である。すなわち、制御回路４０はグループ５０の左端から３番目より５つのマイクロレンズＭＬ（３番目のマイクロレンズＭＬから７番目のマイクロレンズＭＬまで）を選択する。制御回路４０はこのようにして選択された５つのマイクロレンズＭＬに対して上述したデフォーカス演算を行い、デフォーカス量Ｄｆを算出する。算出されたデフォーカス量Ｄｆは、このとき選択された５つのマイクロレンズＭＬのうち中央に位置するマイクロレンズＭＬ（５番目のマイクロレンズＭＬ）に関連付けられる。制御回路４０はその後、図６（ｃ）に示すように、左から４番目のマイクロレンズＭＬから、左から８番目のマイクロレンズＭＬまで、５つのマイクロレンズＭＬを選択し、同様にデフォーカス量Ｄｆを算出する。そして、上述した場合と同様に、中央のマイクロレンズＭＬ（６番目のマイクロレンズＭＬ）に関連付ける。このように制御回路４０は、対象とするマイクロレンズＭＬを１つずつ右へずらしながら、当該グループ５０に対して上述の選択とデフォーカス量Ｄｆの算出とを繰り返す。

以上の処理をＭ個のグループ５０について実行することにより、図７（ａ）に示すように、マイクロレンズアレイ１２を構成する全てのマイクロレンズＭＬのうち、網掛けの範囲を除く範囲５６の各マイクロレンズＭＬに対し、デフォーカス量Ｄｆが関連付けられることとなる。横由来デプスマップは、こうして各マイクロレンズＭＬに関連付けられたデフォーカス量Ｄｆを、マイクロレンズＭＬの位置に基づいて二次元状に配列したデータである。なお、網掛けの範囲の各マイクロレンズＭＬに対応するデフォーカス量Ｄｆは、例えば隣接するマイクロレンズＭＬに対応するデフォーカス量Ｄｆなどから外挿することが可能である。従って、最終的に作成される横由来デプスマップに含まれるデフォーカス量の数は、マイクロレンズアレイ１２を構成するマイクロレンズＭＬの数に等しくなる。

なお、図４のステップＳ５０、ステップＳ７０、およびステップＳ９０において制御回路４０により実行される縦由来デプスマップ作成処理は、上述した横由来デプスマップ作成処理を縦方向に対して同様に実行する処理であるので説明を省略する。この縦由来デプスマップ作成処理により、図７（ｂ）に示すように、マイクロレンズアレイ１２を構成する全てのマイクロレンズＭＬのうち、網掛けの範囲を除く範囲５７の各マイクロレンズＭＬに対し、デフォーカス量Ｄｆが関連付けられることとなる。縦由来デプスマップは、こうして各マイクロレンズＭＬに関連付けられたデフォーカス量Ｄｆを二次元状に配列したデータである。

なお制御回路４０は、デフォーカス演算の結果、例えば信頼性パラメータＰが著しく大きいなどの原因で、デフォーカス量を正しく算出できなかった場合には、当該デフォーカス量を周囲（上下左右）のマイクロレンズＭＬのデフォーカス量から内挿して求め、横由来デプスマップおよび縦由来デプスマップを作成する。

（第４の横由来デプスマップを作成する処理の説明）
図４のステップＳ１００において制御回路４０により実行される、第１〜第３の横由来デプスマップを合成して第４の横由来デプスマップを作成する処理について説明する。

図８は、第４の横由来デプスマップの作成処理を説明する図である。図８（ａ）は第１の横由来デプスマップ６１とその信頼性マップ６２とを示している。信頼性マップ６２は、第１の横由来デプスマップ６１を構成する各デフォーカス量について算出された信頼性パラメータＰを、各デフォーカス量と同様に配列したものである。なお、説明を簡単にするため、図８（ａ）に示した信頼性マップ６２を構成する各数値は、上述した信頼性パラメータＰを０〜５の整数に正規化したものとしている。正規化した整数は、信頼性パラメータＰが０に近いほど大きくなるようにしている。つまり、図８（ａ）に示す信頼性を表す整数は、大きいほど対応するデフォーカス量の信頼性が高いことを意味する。以下、図８の説明では、この正規化された整数を信頼性パラメータと呼ぶ。

図８（ｂ）は図８（ａ）と同様に第２の横由来デプスマップ７１とその信頼性マップ７２を、図８（ｃ）は図８（ａ）と同様に第３の横由来デプスマップ８１とその信頼性マップ８２を、それぞれ示した図である。また、図８（ｄ）は図８（ａ）〜（ｃ）に示した３つの横由来デプスマップから作成される第４の横由来デプスマップを示す図である。なお、図８では説明を簡単にするため、各デプスマップを５行５列の大きさとしている。以下の説明では、各点の位置を（横座標値，縦座標値）の形式で示す。例えば、デフォーカス量ａ４２の位置を（４，２）のようにして示す。

制御回路４０は、第１〜第３の横由来デプスマップにおいて、各点の信頼性パラメータを比較する。そして、最も信頼性パラメータが大きい（信頼性が高い）デフォーカス量を、第４の横由来デプスマップにおける当該位置のデフォーカス量として採用する。例えば（１，１）の点では、第１〜第３の横由来デプスマップの信頼性パラメータはそれぞれ４，３，０である。従って制御回路４０は、最も信頼性パラメータが大きいデフォーカス量ａ１１を、当該位置のデフォーカス量として採用する。なお制御回路４０は、信頼性パラメータが０であるデフォーカス量は、信頼性が不十分であるとして一切採用しない。

例えば（１，４）や（４，５）のように、信頼性パラメータが最も大きいデフォーカス量が２つ以上ある場合、制御回路４０は予め定められた優先順位に従って、採用するデフォーカス量を決定する。本実施形態では第１の横由来デプスマップを最も優先し、次いで第２の横由来デプスマップ、第３の横由来デプスマップの順にデフォーカス量を決定する。従って、例えば（１，４）のデフォーカス量はａ１４となる。また、信頼性パラメータが全て０であるような点のデフォーカス量は、周囲の点のデフォーカス量から内挿した値を採用する。例えば（２，２）の信頼性パラメータは、第１〜第３の横由来デプスマップ全てにおいて０となっている。つまり、どの横由来デプスマップのデフォーカス量も十分な信頼性がない。そこで制御回路４０は、（２，２）のデフォーカス量を周囲の点のデフォーカス量から内挿することにより求める。

なお、図４のステップＳ１１０において制御回路４０により実行される、第１〜第３の縦由来デプスマップに基づいて第４の縦由来デプスマップを作成する処理は、上述した第４の横由来デプスマップを作成する処理と同様であるので説明を省略する。

（仮デプスマップを作成する処理の説明）
図４のステップＳ１２０において制御回路４０により実行される、第４の横由来デプスマップと第４の縦由来デプスマップとに基づいて仮デプスマップを作成する処理について説明する。

制御回路４０は第４の横由来デプスマップと第４の縦由来デプスマップとの両方にデフォーカス量が含まれている各点について、横由来デプスマップ上のデフォーカス量と、縦由来デプスマップ上のデフォーカス量とを比較し、大きい方（被写体が遠いことを表す方）のデフォーカス量を仮デプスマップにおけるデフォーカス量として採用する。このように、より大きいデフォーカス量を優先するのは、近距離の被写体と遠距離の被写体との境界近傍におけるデフォーカス量が、近距離の被写体の影響を受けやすい、という理由による。

（本デプスマップを作成する処理の説明）
図４のステップＳ１３０において制御回路４０により実行される、画像データと仮デプスマップとに基づいて本デプスマップを作成する処理について説明する。本実施形態において、主撮像素子２３の出力から作成される画像データの解像度（画素数）は、仮デプスマップの解像度（デフォーカス量の数）よりも大きい。これは、画像データの解像度が主撮像素子２３の受光素子数に応じて決まるのに対し、仮デプスマップの解像度はマイクロレンズアレイ１２のマイクロレンズ数に応じて決まるためである。実際に画像データとデプスマップとを組み合わせて利用する場合には、このような解像度の違いを解消する必要がある。そこで制御回路４０は、以下の処理を実行することにより、仮デプスマップの解像度を画像データの解像度に合わせて拡大した本デプスマップを作成する。

図９は、仮デプスマップから本デプスマップを作成する処理を説明するための図である。以下、仮デプスマップに含まれるデフォーカス量の数が画像データの画素数に対して５分の１であるとして説明を行う。

図９（ａ）は、仮デプスマップに含まれる一部のデフォーカス量を抜き出して示した図であり、縦軸がデフォーカス量の大小（被写体の遠近）を、横軸が画像データにおける当該デフォーカス量の位置をそれぞれ表している。各デフォーカス量は黒い点ｄ１〜ｄ４で示されており、この黒い点ｄ１〜ｄ４が図の上方向であるほど、当該位置の被写体が撮影レンズ１１に近い場所に存在することを意味している。

図９（ａ）は仮デプスマップから一例として４つのデフォーカス量を含む一部分を抜き出して示している。これらの各デフォーカス量は画像データの画素よりも疎であり、デフォーカス量が割り当てられていない画素が各デフォーカス量の間に４つ存在している。制御回路４０は、まず既存のデフォーカス量（黒い点ｄ１〜ｄ４で示されているデフォーカス量）から、それらのデフォーカス量の間のデフォーカス量を、例えば線型補間や多項式補間などの周知の演算方法により内挿する。この内挿の様子を行った結果の一例を図９（ｂ）に示す。図９（ｂ）において、白い点で示されているのが、内挿されたデフォーカス量である。

次に制御回路４０は、画像データに含まれる各画素に対して周知のエッジ検出演算を行う。そして、エッジが検出された箇所において被写体の遠近が変化していると仮定し、図９（ｂ）に示す内挿結果を修正する。図９（ｃ）に、隣り合う画素の輝度の変化に基づくエッジ検出を行った場合の例を示す。図９（ｃ）の下部に描画されている、網掛けされた点ｐが、画像データに含まれる各画素の輝度値を表している。

図９（ｃ）において、隣り合う点ｐ１と点ｐ２において、輝度が大きく変化している。そこで制御回路４０は、点ｐ１と点ｐ２との間においてエッジを検出する。制御回路４０はエッジが検出されたことに応じて、図９（ｃ）の上部に実線で示すように、破線で示した図９（ｂ）の内挿結果を修正する。具体的には、当該エッジ部分の左右に位置する２つの黒い点ｄ２，ｄ３（それぞれ仮デプスマップに含まれるデフォーカス量を表している）のうち、被写体に近い方の黒い点ｄ２が、エッジ部分まで一定であるものとする。そして、この修正結果に基づいて、エッジ部分から被写体に遠い方の黒い点ｄ３と更に１つ先の黒い点ｄ４までの内挿をやり直す。このような修正を行うのは、上述したように、近距離の被写体と遠距離の被写体との境界におけるデフォーカス量が近距離の被写体の影響を受けやすいためである。

最終的に作成される本デプスマップの様子を図９（ｄ）に示す。このように作成された本デプスマップの解像度は、主撮像素子２３から得られた画像データと同一である。制御回路４０は本デプスマップを、例えば各デフォーカス量の大小をピクセルの濃淡に置き換えたモノクロ画像として、周知のＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式などで不図示の記憶媒体に記憶する。

上述した第１の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）マイクロレンズアレイ１２は二次元状に配置された複数のマイクロレンズＭＬを有し、所定の焦点面の近傍に配置される。副撮像素子１３は、複数のマイクロレンズＭＬの各々に対応して当該マイクロレンズＭＬの後側に配置された受光素子配列３０を有する。制御回路４０は、副撮像素子１３に複数回の撮像をそれぞれ異なる電荷蓄積時間で連続して行わせる。そして、複数のマイクロレンズＭＬの各々について、副撮像素子１３の出力から、当該マイクロレンズＭＬに像が結ばれた被写体までの距離を表す値を算出し、この値を二次元状に配列して横由来デプスマップおよび縦由来デプスマップを作成する。制御回路４０はこれを副撮像素子１３により連続して行われた複数回の撮像の各々について繰り返し、第１〜第３の横由来デプスマップおよび第１〜第３の縦由来デプスマップを作成する。その後に制御回路４０は、第１〜第３の横由来デプスマップを合成して第４の横由来デプスマップを作成すると共に、第１〜第３の縦由来デプスマップを合成して第４の縦由来デプスマップを作成する。このようにしたので、画角内の輝度差が大きい場合であっても正確なデプスマップを得ることができる。

（２）制御回路４０は、複数の距離を表す値の各々について、当該値の信頼性パラメータを算出する。そして、第１〜第３の横由来（縦由来）デプスマップをそれぞれ構成する複数の距離を表す値のうち、信頼性パラメータが相対的に高い値を選択して第４の横由来（縦由来）デプスマップを作成する。このようにしたので、画角内の輝度差が大きい場合であっても正確なデプスマップを得ることができる。

（３）制御回路４０は、デフォーカス量を配列してデプスマップを作成する。このようにしたので、デフォーカス量の算出と並行して信頼性パラメータの算出を行うことができる。

（４）制御回路４０は、被写体像を撮像し画像信号を出力する主撮像素子２３による撮像と同期して、副撮像素子に複数回の撮像を連続して行わせる。このようにしたので、高解像度の画像とデプスマップとを同時に得ることが可能となる。

（５）制御回路４０は、主撮像素子２３から得られた画像データを解析した結果に基づき本デプスマップを作成する。このようにしたので、より画像データに適合するデプスマップを得ることが可能となる。

（第２の実施の形態）
第２の実施の形態に係る撮像装置は、第１の実施の形態に係る撮像装置１と同様の構成を備える。なお、以下の説明では、第１の実施の形態に係る撮像装置１と同一の回路および装置については第１の実施の形態と同一の符号を付し、説明を省略する。

図１０は、第２の実施の形態に係る撮像装置の構成を示す模式図である。この撮像装置は、ペリクルミラー２１により被写体光を分岐させる構成（図１に示した構成）の代わりに、被写体光が入射する２つの撮影レンズ１１ａ、１１ｂを有している。そして、撮影レンズ１１ａを透過した被写体光は主撮像素子２３に入射し、撮影レンズ１１ｂを透過した被写体光はマイクロレンズアレイ１２および副撮像素子１３に入射するように構成されている。

上述した第２の実施の形態による撮像装置によれば、第１の実施の形態による撮像装置１に比べて、各撮像素子に入射する被写体光の光量が増加し、よりよい撮像結果を得ることができる。

なお、撮影レンズを１つにしたままで、図１に示すペリクルミラー２１をクイックリターンミラーにすることもできる。このような構成にした場合、まずミラーアップを行って主撮像素子２３による撮像を行い、その後にミラーダウンおよび副撮像素子１３による撮像を行えばよい。このような構成にした場合であっても、第２の実施の形態と同様に、各撮像素子に入射する被写体光の光量を増加させることができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
上述した各実施の形態では、仮デプスマップから本デプスマップを作成するに際し、画像データにエッジ検出を施した結果を利用していた。最終的なデプスマップを形成するための画像データの利用方法は、このようなものに限定されない。例えば、主撮像素子２３から得られた画像データに周知の２Ｄ３Ｄ変換技術（単一の画像から立体画像を生成する技術）を用いて上記の画像データを立体に変換したデータを作成し、このデータを用いてデプスマップを作成してもよい。このような２Ｄ３Ｄ変換技術には、例えば特開２００２−１２３８４２号公報に記載されたものを利用することが可能である。

（変形例２）
上述した各実施の形態において、横由来デプスマップと縦由来デプスマップの作成およびそれらの合成は省略することが可能である。すなわち、初めから横由来デプスマップまたは縦由来デプスマップのいずれか一方のみを作成し、第４の横由来デプスマップまたは第４の縦由来デプスマップのいずれか一方を仮デプスマップとすることができる。また、横由来デプスマップおよび縦由来デプスマップを作成する際の、各グループ５０の向きは、横方向や縦方向以外の方向であってもよい。例えば、斜め方向に並んだマイクロレンズＭＬの列を選択してグループ５０としてもよい。

（変形例３）
副撮像素子１３による複数回の撮像は２回以上であれば何回であってもよい。また、露光時間の長短は順序を問わない。第１の実施の形態では２回目の撮像の露光時間が最も長く、３回目の撮像の露光時間が最も短いが、これらを入れ替えることも可能である。

（変形例４）
マイクロレンズアレイ１２を構成する各マイクロレンズＭＬの向きや配列は上述した実施の形態のものに限定されない。例えば図１１に示すように、マイクロレンズＭＬが千鳥配列となっていてもよい。また、図２に示すように、第１の実施の形態に係る副撮像素子１３では各々の受光素子配列３０がそれぞれ独立に存在している。すなわち、各々の受光素子配列３０が明確に区切られている。このようにするのではなく、図１１に示すように、副撮像素子１３の撮像面上に受光素子が連続的に存在するようにしてもよい。

（変形例５）
上述した各実施の形態において作成されるデプスマップは、デフォーカス量を配列したデータであった。本発明が対象とするデプスマップは、このような形式のデプスマップに限定されず、被写体の遠近を表す値であればどのようなデータでも利用することができる。

（変形例６）
主撮像素子２３により撮像される被写体範囲よりも、副撮像素子１３により撮像される被写体範囲を広めにしてもよい。このようにすることで、デプスマップの周辺部を作成するための外挿が不要になる。

（変形例７）
制御回路４０によるデプスマップの作成処理を、撮像装置１の外部に存在する装置に実行させる構成としてもよい。例えば主撮像素子２３から得られた画像データと副撮像素子１３による複数回の撮像の結果とをそのまま記憶媒体等に書き出すようにし、撮像装置１の外部に、これを読み込んで上述したデプスマップの作成処理を実行する装置を設けることができる。同様に、デプスマップの作成処理を途中まで実行し、その結果の中間データを外部の装置に受け渡すことも可能である。

（変形例８）
マイクロレンズアレイ１２と副撮像素子１３とを用いて、任意の焦点面にピントがあった画像や任意の絞り値を再現した画像を合成する技術が知られている。上述した各実施形態における撮像装置に、このような画像の合成機能を付加してもよい。その他、副撮像素子１３による撮像の結果から異なる視点の複数の画像を合成するステレオカメラや、レンチキュラー式表示装置用の多視点画像を合成する装置として利用することも可能である。

（変形例９）
撮影画像（主撮像素子２３から得られた画像データ）の再生時に、副撮像素子１３からの出力を用いて合成した多視点画像を表示装置に表示させるよう、上述した撮像装置１を構成してもよい。この場合の表示装置は撮像装置１に内蔵させてもよいし、外部に設けてもよい。このようにすることで、ユーザがデプスマップを作成した後に、当該デプスマップから合成できる立体像をよりよく想定することができるようになる。

（変形例１０）
図８に示した仮デプスマップの作成方法や図９に示した本デプスマップの作成方法は一例であり、本発明はこのような実施形態に限定されない。例えば、複数のデプスマップに含まれるデフォーカス量の単純平均を取って仮デプスマップを作成することも可能である。また、仮デプスマップから内挿を行った結果（図９（ｂ）に示すデータ）をそのまま本デプスマップとしてもよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１…撮像装置、１１…撮影レンズ、１２…マイクロレンズアレイ、１３…副撮像素子、２１…ペリクルミラー、２３…主撮像素子、４０…制御回路

Claims (6)

1. 被写体像が結像される所定の焦点面の近傍に二次元状に配置された複数の正レンズと、
   前記複数の正レンズの各々に対応して当該正レンズの後側に配置された複数の受光素子を有する第１の撮像素子と、
   前記複数の正レンズの各々について、前記第１の撮像素子の出力から、当該正レンズに像が結ばれた被写体までの距離を表す値を算出する距離算出手段と、
   前記第１の撮像素子に複数回の撮像をそれぞれ異なる電荷蓄積時間で連続して行わせる制御手段と、
   前記距離算出手段により算出された複数の距離を表す値を当該値に対応する正レンズの位置に応じて二次元状に配列したデータであるデプスマップを、前記第１の撮像素子により連続して行われた複数回の撮像の各々について作成するデプスマップ作成手段と、
   前記デプスマップ作成手段により作成された複数回の撮像にそれぞれ対応する複数の前記デプスマップを合成して合成デプスマップを作成する合成手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記距離算出手段により算出された複数の距離を表す値の各々について、当該値の信頼度を算出する信頼度算出手段を更に備え、
   前記合成手段は、前記複数のデプスマップをそれぞれ構成する複数の距離を表す値のうち、前記信頼度算出手段により算出された前記信頼度が相対的に高い値を選択して前記合成デプスマップを作成することを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記距離を表す値はデフォーカス量であることを特徴とする撮像装置。
4. 請求項１〜３のいずれか一項に記載の撮像装置において、
   前記所定の焦点面とは異なる面に結像された前記被写体像を撮像し画像信号を出力する第２の撮像素子を更に備え、
   前記制御手段は、前記第２の撮像素子による撮像と同期して、前記第１の撮像素子に複数回の撮像を連続して行わせることを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記合成手段は、前記第２の撮像素子から出力された前記画像信号を解析した結果に基づき前記合成デプスマップを作成することを特徴とする撮像装置。
6. 請求項４または５に記載の撮像装置において、
   被写体光を２つの光束に分岐させ、一方の光束を前記複数の正レンズに、他方の光束を前記第２の撮像素子にそれぞれ向かわせる分岐手段を更に備えることを特徴とする撮像装置。