JP2011237215A - デプスマップ出力装置 - Google Patents

Abstract

【課題】被写体の遠近が急激に変化する箇所においても、被写体までの正確な距離を算出することが可能なデプスマップ出力装置を提供する。
【解決手段】被写体像を所定の結像面に結像させる撮影レンズ１１と、結像面の近傍に二次元状に配列されたマイクロレンズＭＬを有するマイクロレンズアレイ１２と、複数のマイクロレンズＭＬの各々に対応して配置される受光素子配列３０と、横方向に配列された複数の横レンズ列を選択しその各々について、当該横レンズ列を構成するマイクロレンズＭＬの各々に対応する受光素子配列３０の出力を演算し、当該横レンズ列の中央部のマイクロレンズＭＬのデフォーカス量すると共に、当該デフォーカス量を二次元状に配列したデータである横由来デプスマップを作成し、同様に縦方向について縦由来デプスマップを作成し、横由来デプスマップと縦由来デプスマップとを合成し最終的なデプスマップを出力する合成処理を実行する制御回路４０とを備えるステレオ撮像装置１。
【選択図】図１

Description

本発明は、被写体までの距離の分布情報であるデプスマップを出力するデプスマップ出力装置に関する。

撮影光学系の射出瞳の異なる領域からの光束を個別に扱えるよう構成された撮像装置が知られている（例えば、特許文献１）。このような撮像装置は、マイクロレンズアレイを構成する各々のマイクロレンズの後方に、複数の画素から成る画素配列を配置する構成を採る。このような構成とすることにより、射出瞳の異なる領域からの光束がそれぞれ異なる画素に入射するので、これらの光束を個別に扱うことが可能である。これらの光束を個別に扱うことにより、例えば一度の撮像のみで任意の撮影距離に位置する被写体に焦点が合った画像データを合成することが可能となる。また別の例として、一度の撮像によって視差を有する複数の画像を得ることも可能である。

他方、特許文献２には、変形例４として、被写体までの距離の分布情報であるデプスマップを作成する撮像装置が記載されている。この撮像装置は、前述の特許文献１に記載されている撮像装置と同様の手法により、左視点画像と右視点画像を作成する。その後、公知のステレオマッチング処理により２つの画像の位相差を算出し、この位相差に基づいてデプスマップを作成する。

特開２００７−４４７１号公報 特開２００９−１６５１１５号公報

特許文献２に記載の撮像装置には、被写体の遠近が変化する箇所（例えば近接被写体と背景との境目）の付近において、被写体までの正確な距離を算出できないという問題があった。

請求項１に係る発明は、被写体像を所定の結像面に結像させる結像光学系と、結像面の近傍に二次元状に配列された複数の正レンズと、複数の正レンズの各々に対応して当該正レンズの後側に少なくとも３つずつ配置される複数の受光素子であって、少なくとも３つの受光素子のうち少なくとも２つの受光素子は第１方向に並んで配置され、少なくとも３つの受光素子のうち少なくとも２つの受光素子は第１方向とは異なる第２方向に並んで配置される複数の受光素子と、複数の正レンズから、第１方向に配列された複数の第１正レンズ列を選択する第１選択手段と、第１選択手段により選択された複数の第１正レンズ列の各々について、当該第１正レンズ列を構成する正レンズの各々に対応する第１方向に並んだ少なくとも２つずつの受光素子の出力を演算し、当該第１正レンズ列の中央部の正レンズに像が結ばれた被写体までの距離を表す値を算出する第１距離算出手段と、第１距離算出手段により算出された複数の距離を表す値を、当該値に対応する正レンズの位置に応じて二次元状に配列したデータである第１のデプスマップを作成する第１デプスマップ作成手段と、複数の正レンズから、第２方向に配列された複数の第２正レンズ列を選択する第２選択手段と、第２選択手段により選択された複数の第２正レンズ列の各々について、当該第２正レンズ列を構成する正レンズの各々に対応する第２方向に並んだ少なくとも２つずつの受光素子の出力を演算し、当該第２正レンズ列の中央部の正レンズに像が結ばれた被写体までの距離を表す値を算出する第２距離算出手段と、第２距離算出手段により算出された複数の距離を表す値を、当該値に対応する正レンズの位置に応じて二次元状に配列したデータである第２のデプスマップを作成する第２デプスマップ作成手段と、第１のデプスマップと第２のデプスマップとを合成し第３のデプスマップを出力する合成処理を実行するデプスマップ出力手段とを備え、複数の正レンズの各々に対応する、第１方向に並んだ少なくとも２つずつの受光素子と第２方向に並んだ少なくとも２つずつの受光素子とは、当該正レンズを介して、結像光学系の射出瞳の異なる領域からの光束をそれぞれ受光することを特徴とするデプスマップ出力装置である。

本発明によれば、被写体の遠近が変化する箇所の付近においても、被写体までの正確な距離を表す値を算出することができる。

本発明の第１の実施の形態によるステレオ撮像装置の構成を示す図である。 制御回路４０による横選択機能を説明するための模式図である。 デフォーカス量の算出に用いる信号列を説明する図である。 位相差を演算する様子を示す図である。 横由来距離算出機能および縦由来距離算出機能によりデフォーカス量が算出されるマイクロレンズＭＬを示す図である。 最終的に出力されるデプスマップの範囲を示す図である。 横由来デプスマップにおけるデフォーカス量について説明する図である。

（第１の実施の形態）
図１は、本発明の第１の実施の形態によるステレオ撮像装置の構成を示す図である。ステレオ撮像装置１は、被写体を撮像する左側撮像ユニット１００および右側撮像ユニット２００と、これら２つの撮像ユニットを制御するマイクロプロセッサ等より成る制御回路４０とを備える。

左側撮像ユニット１００は、撮影レンズ１１と、撮影レンズの背後に配置されたマイクロレンズアレイ１２と、マイクロレンズアレイ１２の後側に配置された撮像素子１３とを備える。通常、マイクロレンズアレイ１２と撮像素子１３との間隔はマイクロレンズアレイ１２を構成するマイクロレンズＭＬの焦点位置近傍に撮像素子１３の受光面があるように定められるが、図１では説明のため実際よりも広く描いている。

マイクロレンズアレイ１２は、二次元状に配列された複数のマイクロレンズＭＬを有する。撮像素子１３のマイクロレンズアレイ１２に相対する撮像面には、複数の受光素子が二次元状に配列されている。これらの受光素子は一定数毎にグループ化され、各々のグループ（受光素子配列３０）が各マイクロレンズＭＬに対応する。以下、このグループを受光素子配列と呼ぶ。本実施形態では、５行５列に配列された２５個の受光素子から成る受光素子配列３０が、各々のマイクロレンズＭＬに対応する１つのグループとなっている。

受光素子配列３０を構成する個々の受光素子は、撮影レンズ１１の射出瞳とほぼ共役な位置に配置されている。その結果、受光素子配列３０を構成する個々の受光素子は当該受光素子配列３０に対応するマイクロレンズＭＬを介して、撮影レンズ１１の射出瞳の異なる領域からの光束をそれぞれ受光する。なお、あるマイクロレンズＭＬに入射した被写体光が、当該マイクロレンズＭＬに対応する受光素子配列３０に隣接する他の受光素子配列３０に迷光として入射することがある。このような迷光を防止するため、各マイクロレンズＭＬの間の境界部に遮光マスクを設けたり、マイクロレンズアレイ１２と撮像素子１３との間に各受光素子配列３０を仕切る仕切部材を設けたりすることが望ましい。図１ではこのような部材の図示を省略している。

撮像素子１３には、撮像制御回路１４および映像回路１５が接続されている。撮像制御回路１４は、撮像素子１３を駆動して、露光時間、光電変換などの制御を行う。映像回路１５は、撮像素子１３が出力する電気信号の増幅およびアナログ−デジタル変換を行い、デジタル信号を制御回路４０に出力する。制御回路４０はこのデジタル信号に基づいて、被写体像を表す画像データを作成する。なお、後述の任意焦点撮影モード等において、制御回路４０により作成される画像データの分解能は、マイクロレンズアレイ１２におけるマイクロレンズＭＬの数による制限を受ける。例えば、マイクロレンズアレイ１２が横にＫ個、縦にＭ個のマイクロレンズＭＬから構成されている場合、制御回路４０により作成される画像データの画素数は、最大でＫ×Ｍとなる。

右側撮像ユニット２００は、撮影レンズ２１と、撮影レンズ２１の背後に配置された撮像素子２３とを備える。撮像素子２３を構成する個々の受光素子は撮像素子１３の受光素子と同一の大きさとなっている。右側撮像ユニット２００は左側撮像ユニット１００とは異なり、複数の受光素子に対応するマイクロレンズＭＬを有さない。また、左側撮像ユニット１００の撮影レンズ１１とマイクロレンズアレイ１２の前側主面との位置関係は、右側撮像ユニット２００の撮影レンズ２１と撮像素子２３の撮像面（受光面）との位置関係と光学的に等価である。

撮像素子２３には左側撮像ユニット１００の撮像素子１３と同様に、撮像制御回路２４および映像回路２５が接続されている。撮像制御回路２４は、撮像素子２３を駆動して、露光時間、光電変換などの制御を行う。映像回路２５は、撮像素子２３が出力する電気信号の増幅およびアナログ−デジタル変換を行い、デジタル信号を制御回路４０に出力する。制御回路４０はこのデジタル信号に基づいて、被写体像を表す画像データを作成することが可能である。なお、本実施形態では、左側撮像ユニット１００から出力されるデジタル信号から合成される画像データよりも、右側撮像ユニット２００から出力されるデジタル信号に基づいて作成される画像データの方が、画素数が多くなる。これは、前者の画像データの分解能がマイクロレンズＭＬの個数による制限を受けるのに対し、後者の画像データにはこのような制限がないためである。

撮影レンズ１１および撮影レンズ２１は、光学的に同等の構成を有する。撮像素子１３および撮像素子２３の撮像面には、不図示の光学的ローパスフィルターや赤外線カットフィルター等が設けられている。なお、図１において撮影レンズ１１および撮影レンズ２１は１枚のレンズとして模式的に示しているが、これらを複数のレンズで構成するものとしてもよい。

以上で説明した左側撮像ユニット１００と右側撮像ユニット２００は、撮影レンズ１１および撮影レンズ２１の光軸が大人の平均的目幅よりやや短い６０ｍｍだけ離れるように配置される。すなわち、図１における基線長Ｓは６０ｍｍである。

制御回路４０は、左側撮像ユニット１００の撮像制御回路１４および映像回路１５と、右側撮像ユニット２００の撮像制御回路２４および映像回路２５とに接続されており、これらの回路の制御を行う。制御回路４０は更に、横選択機能と、横由来距離算出機能と、横由来デプスマップ作成機能と、縦選択機能と、縦由来距離算出機能と、縦由来デプスマップ作成機能と、デプスマップ合成機能と、の各機能を有する。これらの各機能については後に詳述する。

（ステレオ撮像装置の動作モードの説明）
ステレオ撮像装置１は、例えばキーパッド等の不図示の入力装置を備える。ユーザはこの入力装置により、制御回路４０に４種類の指示信号を送信することが可能である。４種類の指示信号とは、通常撮影指示信号、任意焦点撮影指示信号、ステレオ撮影指示信号、およびデプスマップ作成指示信号である。いずれかの種類の指示信号を受信した制御回路４０は、当該指示信号に応じて左側撮像ユニット１００および右側撮像ユニット２００を制御する。

通常撮影指示信号を受信した制御回路４０は、通常撮影モードによる動作を開始する。このモードでは、制御回路４０は右側撮像ユニット２００または左側撮像ユニット１００を制御し、当該撮像ユニットから出力されるデジタル信号（画像信号）を受信する。そして、この画像信号に対して公知の画像処理を適用することにより、１つの画像データを作成する。制御回路４０はこのようにして作成された画像データを、例えばメモリーカード等の不図示の記憶媒体に記憶させたり、液晶モニタ等の不図示の表示装置に表示させたりする。このモードにおいて左側撮像ユニット１００から得られた画像データは、後に特許文献１に記載された公知の処理をパーソナルコンピュータ等に実行させることにより、任意の焦点面に対応する画像データを合成させるのに適している。

任意焦点撮影指示信号を受信した制御回路４０は、任意焦点撮影モードによる動作を開始する。このモードでは、制御回路４０は左側撮像ユニット１００を制御し、当該撮像ユニットから出力されるデジタル信号を受信する。そして、このデジタル信号に対し、例えば特許文献１などに記載された公知の処理を適用することで、任意の絞り値および任意の焦点面に対応する画像データを作成する。制御回路４０はこのようにして作成された画像データを通常撮影モードの場合と同様に、記憶媒体に記憶させたり表示装置に表示させたりする。

ステレオ撮影指示信号を受信した制御回路４０は、ステレオ撮影モードによる動作を開始する。このモードでは、制御回路４０は左側撮像ユニット１００および右側撮像ユニット２００の両方を制御し、２つの撮像ユニットからそれぞれ出力されるデジタル信号を受信して２つの画像データを作成する。この２つの画像データは、視差を有する一対のステレオ画像データとなっている。制御回路４０は、右側撮像ユニット２００が出力したデジタル信号から通常撮影モードと同様に画像データを作成する。他方、左側撮像ユニット１００が出力したデジタル信号から作成される画像データは、各受光素子配列３０につき１つの受光素子の出力を抽出し、それを並べることにより形成される。その際、各受光素子配列３０からは、受光素子配列３０の中央部よりも右側撮像ユニット２００の方向に近い受光素子の出力を抽出する。このように抽出することで、左側撮像ユニット１００と右側撮像ユニット２００との間隔Ｓよりも広い基線長のステレオ画像データが得られる。このステレオ画像データは、例えばスキャンバックライト方式の立体表示装置に表示させることにより、ユーザに立体視を行わせることが可能なデータである。

なお、こうして左側撮像ユニット１００の出力に基づいて作成される画像データは、右側撮像ユニット２００の出力に基づいて作成される画像データよりも画素数が少ない。制御回路４０は前者に補間処理を適用したり後者に間引き処理を適用したりすることにより、これら２つの画像データの解像度を合致させる。

デプスマップ作成指示信号を受信した制御回路４０は、デプスマップ作成モードによる動作を開始する。このモードでは、制御回路４０は左側撮像ユニット１００のみを制御し、当該撮像ユニットから出力されるデジタル信号を受信する。そして、任意焦点撮影モードの場合と同様に画像データを作成した後に、デプスマップ（後述）を作成する。制御回路４０は上記の画像データおよびデプスマップを、例えば記憶媒体に記憶させたり表示装置に表示させたりする。

（デプスマップの説明）
制御回路４０は、左側撮像ユニット１００から出力されるデジタル信号を用いて、デプスマップを作成する。デプスマップとは、被写体までの距離の分布情報である。本実施形態では、マイクロレンズアレイ１２を構成する各々のマイクロレンズＭＬについて、当該マイクロレンズＭＬの前後に像が結ばれた被写体までの距離を表す値であるデフォーカス量を、当該マイクロレンズＭＬの位置に応じて二次元状に配列したデータをデプスマップと呼ぶ。被写体までの距離は、デフォーカス量と撮影レンズ１１の焦点距離並びに焦点調節面情報により決まることは光学上明らかである。ここでデフォーカス量とは、被写体像の結像位置と所定の基準面（焦点検出面）との変位を表す数値である。

デプスマップは、制御回路４０が有する横選択機能と、横由来距離算出機能と、横由来デプスマップ作成機能と、縦選択機能と、縦由来距離算出機能と、縦由来デプスマップ作成機能と、デプスマップ合成機能と、の各機能により作成される。以下では、これらの各機能について説明する。

（横選択機能の説明）
図２は、制御回路４０による横選択機能を説明するための模式図である。以下の説明では、マイクロレンズアレイ１２が横にＫ個、縦にＭ個のマイクロレンズＭＬから構成されているものとする。横選択機能とは、マイクロレンズアレイ１２を構成するこれら複数のマイクロレンズＭＬから、横方向に配列された複数の横レンズ列を選択する機能である。

横選択機能においては、まずマイクロレンズアレイ１２が制御回路４０により図２（ａ）に示すように横一列ごとのグループ５０に区切られる。これにより、Ｍ個のグループ５０が作成される。なお図２では、このようにして区切られたグループ５０を構成するマイクロレンズＭＬに対して、説明のため左から順に１から始まる番号を割り当てている。

次に制御回路４０は、図２（ｂ）に示すように、当該グループ５０の左端より、後述のＮの最小値によって決まるずらし代分右方からマイクロレンズＭＬを所定数だけ抽出する。本実施形態では、この所定数は５である。すなわち、制御回路４０はグループ５０の左端から３番目より５つのマイクロレンズＭＬ（３番目のマイクロレンズＭＬから７番目のマイクロレンズＭＬまで）を抽出する。横選択機能では、このようにして抽出された５つのマイクロレンズＭＬが、１つの横レンズ列５０ａとして選択される。制御回路４０はその後、図２（ｃ）に示すように、左から４番目のマイクロレンズＭＬから、左から７番目のマイクロレンズＭＬまで、５つのマイクロレンズＭＬを抽出し、新たな横レンズ列５０ｂとして選択する。制御回路４０は、対象とするマイクロレンズＭＬを１つずつ右へずらしながらこれを繰り返し、グループ５０から複数の横レンズ列を横レンズ列同士で一部のマイクロレンズＭＬが重複し合うように選択する。

なお、制御回路４０は縦選択機能についても同様に、縦方向に配列された複数の縦レンズ列を選択する。横選択機能と縦選択機能との違いは、マイクロレンズＭＬおよび受光素子の配列方向が横方向か縦方向かの違いのみである。

（横由来距離算出機能の説明）
横由来距離算出機能は、横選択機能により選択された複数の横レンズ列の各々について、当該横レンズ列の中央部のマイクロレンズＭＬに像が結ばれた被写体までの距離を表す値を算出する機能である。前述の通り、本実施形態では被写体までの距離を表す値としてデフォーカス量を用いるので、横由来距離算出機能により算出されるのはデフォーカス量である。

なお本実施形態では、実際の結像位置が焦点検出面より被写体側である場合にデフォーカス量が正になるよう、デフォーカス量の算出手順を定める。従って、被写体がステレオ撮像装置１から遠ざかる方向が、デフォーカス量が増大する方向である。

図３は、デフォーカス量の算出に用いる信号列を説明する図である。なお、図３においてマイクロレンズＭＬに付された番号は、マイクロレンズアレイ１２の横一列において左端のマイクロレンズＭＬから順に付された番号である。横由来距離算出機能において、制御回路４０はまず、各々の横レンズ列５０に対応する２つの信号列を作成する。これら２つの信号列は、受光素子配列３０に含まれる受光素子のうち特定の受光素子の出力を用いて作成される。本実施形態の制御回路４０は、図３に示す受光素子配列３０のうち、中央左側の受光素子ａと、中央右側の受光素子ｂと、の各出力を用いて２つの信号列を作成する。

制御回路４０は、横レンズ列５０に含まれるマイクロレンズＭＬに対応する受光素子配列３０から、上記の特定の受光素子の出力を抽出する。例えば図３では、横レンズ列５０を構成する５つのマイクロレンズＭＬの各々から、受光素子ａの出力と受光素子ｂの出力とを抽出している。制御回路４０は、このようにして抽出された受光素子ａの出力をマイクロレンズＭＬの並び通りに配列し、第１信号列５１を作成する。制御回路４０は同様にして受光素子ｂの出力を配列し、第２信号列５２を作成する。以下の説明では、ｎ番のマイクロレンズＭＬに対応する受光素子ａの出力をａ（ｎ）、受光素子ｂの出力をｂ（ｎ）で表す。すなわち、第１信号列５１はａ（３）からａ（７）の各信号値から構成され、第２信号列５２はｂ（３）からｂ（７）の各信号値から構成される。

制御回路４０は、以上のように各横レンズ列について作成された第１信号列５１と、当該横レンズ列の周囲に位置する横レンズ列について作成された第２信号列５２等との位相差を演算することにより、デフォーカス量を算出する。具体的なデフォーカスの算出方法は、例えば特開昭６０−３７５１３号公報に記載されている公知の方法を用いる。

図４は、位相差を演算する様子を示す図である。図４に示す横レンズ列５０ａについてデフォーカス量を求める際、制御回路４０はまず横レンズ列５０ａに対応する第１信号列５１と、同一の横レンズ列５０ａに対応する第２信号列５２との相関値を算出する。次に、１つ右隣の横レンズ列に対応する第２信号列５３との相関値、２つ右隣の横レンズ列に対応する第２信号列５４との相関値、などを、横レンズ列５０ａの左右の一定範囲に位置する複数の横レンズ列の各々について算出する。横レンズ列５０ａより左方の横レンズ列に対応する信号列についても同様に算出する。デフォーカス量を算出する対象である横レンズ列と、相関値の演算対象となる横レンズ列との位置のずれをシフト数と呼ぶ。デフォーカス量の算出の際、制御回路４０はシフト数Ｎを所定範囲（例えば−５〜＋５）で変化させながら、次式（１）で定義される相関値Ｃ（Ｎ）を算出する。すなわち、相関値Ｃ（−５）、Ｃ（−４）、Ｃ（−３）、…、Ｃ（３）、Ｃ（４）、Ｃ（５）を算出する。ただし、図４では簡易のためシフト数Ｎを−２から＋２の範囲で変化させる例を表している。ここでｐＬは第１信号列５１の左端の信号値に対応するマイクロレンズＭＬの番号、ｑＬは第１信号列５１の右端の信号値に対応するマイクロレンズＭＬの番号である。

このようにして算出された相関値Ｃ（Ｎ）のうち、極小値をＣ０と呼ぶ。また、Ｃ（Ｎ）＝Ｃ０となるＮ、すなわち相関値が極小となるシフト数をＮ０と呼ぶ。制御回路４０はこのシフト数Ｎ０から、次式（２）で更に精密なシフト数Ｎａを算出する。ここでＣｒはＣ（Ｎ０−１）、ＣｆはＣ（Ｎ０＋１）である。

制御回路４０は、式（２）で求められたシフト数Ｎａに焦点検出面の位置に応じた所定の補正量ｃｏｎｓｔを加え、焦点検出面での像ずれ量Δｎを算出する。最終的なデフォーカス量Ｄｆは、上記の像ずれ量Δｎに、検出開角に依存した定数Ｋｆを乗ずることで算出することができる。すなわち、デフォーカス量Ｄｆ＝Δｎ×Ｋｆである。

ここで、式（２）は常に信頼できるシフト数Ｎａを算出するわけではない。すなわち、式（２）による計算結果が、信頼性の低いシフト数Ｎａとなる場合がある。そこで制御回路４０は、シフト数Ｎａの算出後、次式（３）によりシフト数Ｎａの信頼性を表す信頼性パラメータＲを計算する。信頼性パラメータＲは、シフト数Ｎａの信頼性が高いほど小さくなる。制御回路４０は、信頼性パラメータＲが所定値より大きい場合、当該横レンズ列からはデフォーカス量を算出することが不可能であると判断する。

以上において算出されたデフォーカス量は、デフォーカス量の算出対象となった横レンズ列の中央に位置するマイクロレンズＭＬの位置に対するデフォーカス量である。制御回路４０は横選択機能において選択された全ての横レンズ列に対して、以上で説明した手順でデフォーカス量を算出する。これにより、マイクロレンズアレイ１２に含まれる全てのマイクロレンズＭＬのうち、左右両端付近のマイクロレンズＭＬを除くマイクロレンズＭＬについて、そのデフォーカス量が算出される。

図５は、横由来距離算出機能および縦由来距離算出機能によりデフォーカス量が算出されるマイクロレンズＭＬを示す図である。図５において斜線で示す範囲については、デフォーカス量の算出が行われない。従って、図５（ａ）にマイクロレンズＭＬの左右両端を除く範囲５６についてデフォーカス量が算出されることとなる。

なお、制御回路４０は縦由来距離算出機能についても同様に、縦選択機能により選択された複数の縦レンズ列の各々について、当該縦レンズ列の中央部のマイクロレンズＭＬに像が結ばれた被写体までの距離を算出する。図５（ｂ）に示す範囲５７が、縦由来距離算出機能によりデフォーカス量が算出される範囲である。横由来距離算出機能と縦由来距離算出機能との違いは、マイクロレンズＭＬ並びに用いられる受光素子の配列方向が横方向か縦方向かの違いのみである。

（横由来デプスマップ作成機能の説明）
横由来デプスマップ作成機能は、横由来距離算出機能により算出された各マイクロレンズに対応する被写体までの距離を表す値であるデフォーカス量を、当該距離に対応するマイクロレンズＭＬの位置に応じて二次元状に配列し横由来デプスマップを作成する機能である。制御回路４０は、各マイクロレンズＭＬにおけるデフォーカス量を、マイクロレンズアレイ１２上の位置通りに配列することにより、横由来デプスマップを作成する。なお、制御回路４０は縦由来デプスマップ作成機能についても同様に、縦由来距離算出機能により算出された複数のデフォーカス量を二次元状に配列することにより、縦由来デプスマップを作成する。

なお制御回路４０は、デフォーカス量を算出することが不可能であると判定されていた場合には、当該デフォーカス量を周囲（上下左右）のマイクロレンズＭＬのデフォーカス量から内挿して求め、横由来デプスマップおよび縦由来デプスマップを作成する。

（デプスマップ合成機能の説明）
デプスマップ合成機能は、横由来デプスマップと縦由来デプスマップとを合成し最終的なデプスマップを出力する合成処理を実行する機能である。具体的には、制御回路４０は横由来デプスマップと縦由来デプスマップとの両方にデフォーカス量が含まれている各マイクロレンズＭＬについて、横由来デプスマップ上のデフォーカス量と、縦由来デプスマップ上のデフォーカス量とを比較し、大きい方のデフォーカス量を最終的なデプスマップにおけるデフォーカス量として採用する。

図６は、最終的に出力されるデプスマップの範囲を示す図である。図６に示すように、制御回路４０はマイクロレンズアレイ１２のうち上下左右の端部を除いた範囲５８内のマイクロレンズＭＬについてのデフォーカス量を配列したデプスマップを出力する。上記のような合成を行うのは、近距離の被写体と遠距離の被写体との境界におけるデフォーカス量が、近距離の被写体の影響を受けやすい、という理由による。この点について以下に説明する。

図７は、横由来デプスマップにおけるデフォーカス量について説明する図である。図７（ａ）に示す撮影画像６０には、各受光素子配列３０の境界線を重ねている。撮影画像６０において網掛けされた領域は、遠くの被写体が撮像されていることを表す。ここで、最下端の各受光素子配列３０より成る部分列６１において、受光素子配列ＰＰ（６）やＰＰ（１２）は、近くの被写体と遠くの被写体との境界に位置している。

ここで、ＰＰ（５）は遠くの被写体に対応しているため、この箇所におけるデフォーカス量は大きくなることが望ましい。しかしながら、図７（ｂ）に示すように、デフォーカス量の算出は左右のマイクロレンズＭＬに対応する受光素子の出力を含む形で行われる。すなわち、ＰＰ（５）のデフォーカス量を算出するにあたり、式（１）において、この例ではａ（３）からａ（７）を用いる。ただしここにａ（ｎ）はＰＰ（ｎ）から抽出した出力である。従って、このデフォーカス量に対して信号値ａ（６）などが影響を及ぼすことになる。その結果、実際に算出されるデフォーカス量は理想値よりも小さくなる。理想的なデフォーカス量と実際に算出されるデフォーカス量とのグラフを図７（ｃ）に示す。実際に算出されるデフォーカス量６３（図７（ｃ）の実線のグラフ）は、遠くの被写体と近くの被写体との境界付近において、理想的なデフォーカス量６２（図７（ｃ）の点線のグラフ）に比べ小さくなる傾向がある。

制御回路４０が横由来デプスマップと縦由来デプスマップとを合成することにより最終的なデプスマップを作成するのは、遠くの被写体と近くの被写体との境界付近におけるこのような不具合を解消するためである。すなわち、遠くの被写体と近くの被写体とが横方向に隣接する箇所であっても、縦方向には隣接していない場合であれば、上述のような境界における問題を解消することが可能である。縦方向に隣接し、横方向に隣接していない場合についても同様である。

上述した第１の実施の形態によるステレオ撮像装置によれば、次の作用効果が得られる。
（１）制御回路４０は、マイクロレンズアレイ１２に含まれる複数のマイクロレンズＭＬから横方向に配列された複数の横レンズ列を選択し、選択された横レンズ列の各々について当該横レンズ列を構成するマイクロレンズＭＬの各々に対応する受光素子の出力を演算し、当該横レンズ列の中央部のマイクロレンズＭＬの前後に像が結ばれた被写体までの距離を表す値を算出すると共に、これらの値を二次元状に配置して横由来デプスマップを作成する。そして、同様に縦方向について縦由来デプスマップを作成した後、横由来デプスマップと縦由来デプスマップとを合成し最終的なデプスマップを出力する。このようにしたので、被写体の遠近が変化する箇所の付近においても、被写体までの正確な距離を表す値を算出することができる。

（第２の実施の形態）
第２の実施の形態に係るステレオ撮像装置は、図１に示す第１の実施の形態に係るステレオ撮像装置１と同一の構成を備える。これに加えて制御回路４０は、左側撮像ユニット１００において作成されたデプスマップから、右側撮像ユニット２００により作成された撮影画像に対応するデプスマップを作成する機能を有する。以下、この機能について説明する。

デプスマップ作成指示信号を受信した本実施形態の制御回路４０は、左側撮像ユニット１００を用いて撮影画像およびデプスマップを作成すると同時に、右側撮像ユニット２００を用いて撮影画像を作成する。このとき、撮影レンズ１１および撮影レンズ２１は被写界の同一の面にピントが合った状態にしておく。制御回路４０は、撮像が行われた時の焦点調節面の情報を、撮影レンズ１１および撮影レンズ２１に取り付けられた不図示のエンコーダ等により検知しておく。ここで、焦点調節面の情報とは、撮影レンズ１１および撮影レンズ２１のピントが合わせられている被写体距離のことであり、例えば１ｍや３ｍといった情報である。

制御回路４０はその後、第１の実施の形態の場合と同様に、左側撮像ユニット１００を用いて撮影画像およびデプスマップを作成する。その後制御回路４０は、作成されたデプスマップと前述の焦点調節面の情報とから、デプスマップを構成する各点毎に被写体までの距離を算出する。例えば撮影レンズ１１の焦点距離が５０ｍｍであり、被写体距離が１ｍであった場合、撮影レンズ１１から１ｍ前方に位置する被写体において、デフォーカス量が０となる。また、例えばデフォーカス量が０．５ｍｍであった場合、被写体距離は１．２５ｍと計算される。同様に、他のデフォーカス量の場合でも、その値に応じて、被写体までの距離を算出することが可能である。

これと並行して、制御回路４０は右側撮像ユニット２００を用いた撮影画像も作成しておく。以下、左側撮像ユニット１００を用いて作成された撮影画像を左側撮影画像、右側撮像ユニット２００を用いて作成された撮影画像を右側撮影画像と呼ぶ。

その後制御回路４０は、上述の処理により算出された各点毎の被写体までの距離に基づいて、左側撮影画像の各点が右側撮影画像においてどれだけ横方向に移動しているかを算出する。なお、左側撮像ユニット１００と右側撮像ユニットとの位置関係から、左側撮影画像の各点が右側撮影画像において左右にのみ移動し、上下には移動しないことは自明である。また、このときの移動量は、ステレオ撮像装置１から遠くに位置する被写体の画素ほど小さくなり、ステレオ撮像装置１に近い被写体の画素ほど大きくなる。

制御回路４０は最後に、上述の処理により求めた横方向の移動量に応じて、デプスマップ上の各点を横方向に移動させる。すなわち、左側撮影画像における特定の点に対応するデフォーカス量を、より左側の点に対応するデフォーカス量とする。このとき、１つの点に複数のデフォーカス量が対応した場合には、より小さいデフォーカス量を優先させる。また、いずれのデフォーカス量も対応しなくなった点には、右側の隣接点におけるデフォーカス量から推定したデフォーカス量を対応させる。この推定値は、例えば推定の対象となる点より右側におけるデフォーカス量の分布から外挿することにより推定される。

なおこの時、「いずれのデフォーカス量も対応しなくなった点」とは、左側撮像ユニット１００において前側の被写体の影になっていた部分と考えられる。すなわち、前側の被写体より奥に被写体があった部分ということになる。

以上のようにして制御回路４０は、左側撮像ユニット１００に基づいて作成したデプスマップから、右側撮像ユニット２００に対応するデプスマップを作成する。ここで作成される新たなデプスマップは、右側撮影画像の分解能よりも小さい。従って、作成されたデプスマップを実際に利用する際には、デプスマップを右側撮影画像に合わせて拡大するか、あるいは右側撮影画像をデプスマップに合わせて縮小する必要がある。デプスマップの拡大には、公知の画像拡大技術を利用すればよい。

上述した第２の実施の形態によるステレオ撮像装置によれば、次の作用効果が得られる。
（１）制御回路４０は、左側撮像ユニット１００を用いて作成された左側撮影画像と、右側撮像ユニット２００を用いて作成された右側撮影画像との視差に起因するずれ量に基づいて、左側撮像ユニット１００に対応するデプスマップを補正し、右側撮影画像に対応するデプスマップを作成する。このようにしたので、左側撮影画像よりも画素数の高い右側撮影画像に対応するより正確なデプスマップを利用することが可能となり、利便性が向上する。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
図１に示すように、第１の実施の形態に係る撮像素子１３では各々の受光素子配列３０がそれぞれ独立に存在している。すなわち、各々の受光素子配列３０が明確に区切られている。このようにするのではなく、撮像素子２３のように、撮像素子１３の撮像面上に受光素子が連続的に存在するようにしてもよい。すなわち、撮像素子１３を、撮像素子２３と同様の構成としてもよい。

（変形例２）
本発明において、各々のマイクロレンズＭＬに対し受光素子が２方向に沿って各々少なくとも２つずつ配置されていれば、デプスマップ作成処理を行うことができる。従って、受光素子配列３０が３つの受光素子から成る構成の装置に対しても、本発明を適用することが可能である。また、第１の実施の形態では各々の受光素子配列３０が５列５行の受光素子から構成されるとしたが、受光素子配列３０を構成する受光素子は３つ以上であれば何個であってもよい。

（変形例３）
デフォーカス量の算出に用いる第１信号列および第２信号列は、図３に示す受光素子ａや受光素子ｂ以外の受光素子の出力から作成してもよい。また、受光素子配列毎に複数の受光素子の出力を演算した値から信号列を作成してもよい。例えば複数の受光素子の出力の平均値を演算したり、所定の重みにより加重平均を演算したりしてもよい。

（変形例４）
第１信号列と第２信号列との相関値Ｃ（Ｎ）を、式（１）ではなく次式（４）により算出してもよい。ここで関数Ｆｌｏｏｒ（ｘ）は、ｘ以下の最大の整数を返す、いわゆる床関数である。

（変形例５）
第１の実施の形態では、横レンズ列および縦レンズ列は常に一定数のマイクロレンズＭＬから構成されていた。これを、一部のレンズ列がより少数のマイクロレンズＭＬから構成されるようにしてもよい。具体的には、制御回路４０がまず各マイクロレンズＭＬにつき対応する受光素子配列３０から受光素子の出力を１つずつ抽出する。そして、抽出された出力を二次元状に配列した中間画像データを作成する。この中間画像データに横方向微分フィルターを適用することにより、横方向における被写体像の光量の変化率が算出される。同様に縦方向微分フィルターを適用すれば、縦方向における被写体像の光量の変化率が算出される。制御回路４０は、横選択機能および縦選択機能において、それぞれ対応する方向における被写体像の光量の変化率を参照し、変化率が所定のしきい値よりも大きい箇所とその周囲の箇所において選択されるレンズ列が、通常よりも少ないマイクロレンズＭＬから構成されるようにレンズ列を選択する。このようにすることで、遠くの被写体と近くの被写体との境界が斜め方向に存在する場合であっても、図７で説明したような、近くの隣接被写体の悪影響を軽減し、より正確なデフォーカス量を算出することが可能になる。

（変形例６）
デプスマップ合成機能において、制御回路４０がデフォーカス量の大小以外の要素を参照するようにしてもよい。例えば横由来デプスマップと縦由来デプスマップとの相関の強さ等を加味した合成処理を実行するようにしてもよい。

（変形例７）
２つの撮像ユニットを横方向ではなく縦方向に並べてもよい。また、２つの撮像ユニット間の距離は上述の実施形態で例示した数値に限定されない。

（変形例８）
デフォーカス量の信頼性パラメータＲは、上式（３）以外の式により算出してもよい。例えば、上式（３）の右辺の分母を信頼性パラメータＲとしてもよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１ ステレオ撮像装置
１１、２１ 撮影レンズ
１２ マイクロレンズアレイ
１３、２３ 撮像素子
１４、２４ 撮像制御回路
１５、２５ 映像回路
３０ 受光素子配列
４０ 制御回路
１００ 左側撮像ユニット
２００ 右側撮像ユニット
ＭＬ マイクロレンズ

Claims (7)

1. 被写体像を所定の結像面に結像させる結像光学系と、
   前記結像面の近傍に二次元状に配列された複数の正レンズと、
   前記複数の正レンズの各々に対応して当該正レンズの後側に少なくとも３つずつ配置される複数の受光素子であって、前記少なくとも３つの受光素子のうち少なくとも２つの受光素子は第１方向に並んで配置され、前記少なくとも３つの受光素子のうち少なくとも２つの受光素子は前記第１方向とは異なる第２方向に並んで配置される複数の受光素子と、
   前記複数の正レンズから、前記第１方向に配列された複数の第１正レンズ列を選択する第１選択手段と、
   前記第１選択手段により選択された前記複数の第１正レンズ列の各々について、当該第１正レンズ列を構成する正レンズの各々に対応する前記第１方向に並んだ少なくとも２つずつの受光素子の出力を演算し、当該第１正レンズ列の中央部の正レンズに像が結ばれた被写体までの距離を表す値を算出する第１距離算出手段と、
   前記第１距離算出手段により算出された複数の距離を表す値を、当該値に対応する正レンズの位置に応じて二次元状に配列したデータである第１のデプスマップを作成する第１デプスマップ作成手段と、
   前記複数の正レンズから、前記第２方向に配列された複数の第２正レンズ列を選択する第２選択手段と、
   前記第２選択手段により選択された前記複数の第２正レンズ列の各々について、当該第２正レンズ列を構成する正レンズの各々に対応する前記第２方向に並んだ少なくとも２つずつの受光素子の出力を演算し、当該第２正レンズ列の中央部の正レンズに像が結ばれた被写体までの距離を表す値を算出する第２距離算出手段と、
   前記第２距離算出手段により算出された複数の距離を表す値を、当該値に対応する正レンズの位置に応じて二次元状に配列したデータである第２のデプスマップを作成する第２デプスマップ作成手段と、
   前記第１のデプスマップと前記第２のデプスマップとを合成し第３のデプスマップを出力する合成処理を実行するデプスマップ出力手段とを備え、
   前記複数の正レンズの各々に対応する、前記第１方向に並んだ少なくとも２つずつの受光素子と前記第２方向に並んだ少なくとも２つずつの受光素子とは、当該正レンズを介して、前記結像光学系の射出瞳の異なる領域からの光束をそれぞれ受光することを特徴とするデプスマップ出力装置。
2. 請求項１に記載のデプスマップ出力装置において、
   前記デプスマップ出力手段により実行される合成処理は、同一の被写体に関する前記第１のデプスマップ上の値が表す距離と前記第２のデプスマップ上の値が表す距離とが等しい場合にはいずれか一方の距離を出力し、等しくない場合には大きい方の距離を表す値を出力する処理であることを特徴とするデプスマップ出力装置。
3. 請求項１または２に記載のデプスマップ出力装置において、
   前記第１距離算出手段は、前記複数の第１正レンズ列の各々について、当該第１正レンズ列を構成する正レンズの各々に対応する前記第１方向に並んだ少なくとも２つずつの受光素子の出力から２つの信号列を作成し、前記第１正レンズ列同士の当該２つの信号列の位相差を演算することにより前記被写体までの距離を表す値を算出し、
   前記第２距離算出手段は、前記複数の第２正レンズ列の各々について、当該第２正レンズ列を構成する正レンズの各々に対応する前記第２方向に並んだ少なくとも２つずつの受光素子の出力から２つの信号列を作成し、前記第２正レンズ列同士の当該２つの信号列の位相差を演算することにより前記被写体までの距離を表す値を算出することを特徴とするデプスマップ出力装置。
4. 請求項１〜３のいずれか一項に記載のデプスマップ出力装置において、
   前記第１選択手段は、前記第１方向に沿って１列に配列された前記複数の正レンズから、前記複数の第１正レンズ列を第１正レンズ列同士で一部の正レンズが重複し合うように選択し、
   前記第２選択手段は、前記第２方向に沿って１列に配列された前記複数の正レンズから、前記複数の第２正レンズ列を第２正レンズ列同士で一部の正レンズが重複し合うように選択することを特徴とするデプスマップ出力装置。
5. 請求項１〜４のいずれか一項に記載のデプスマップ出力装置において、
   前記複数の正レンズの各々に対応する前記受光素子のうち少なくとも１つの受光素子の出力に基づいて、前記第１方向における前記被写体像の光量分布を算出する第１光量分布算出手段と、
   前記複数の正レンズの各々に対応する前記受光素子のうち少なくとも１つの受光素子の出力に基づいて、前記第２方向における前記被写体像の光量分布を算出する第２光量分布算出手段とを更に備え、
   前記第１選択手段は、前記第１方向における光量分布に基づいて前記複数の第１正レンズ列を選択し、
   前記第２選択手段は、前記第２方向における光量分布に基づいて前記複数の第２正レンズ列を選択することを特徴とするデプスマップ出力装置。
6. 請求項５に記載のデプスマップ出力装置において、
   前記第１選択手段は、前記第１方向における光量分布において光量の変化率が所定のしきい値より大きい箇所では、そうでない箇所において選択される第１正レンズ列より少ない数の正レンズから構成される第１正レンズ列を選択し、
   前記第２選択手段は、前記第２方向における光量分布において光量の変化率が所定のしきい値より大きい箇所では、そうでない箇所において選択される第２正レンズ列より少ない数の正レンズから構成される第２正レンズ列を選択することを特徴とするデプスマップ出力装置。
7. 請求項１〜６のいずれか一項に記載のデプスマップ出力装置において、
   被写体像を撮像し第１の撮影画像を出力する撮像ユニットと、
   前記複数の受光素子の出力に基づいて、前記第１の撮影画像に対して視差を有する第２の撮影画像を出力する撮影画像出力手段と、
   前記視差に起因する前記第１の撮影画像と前記第２の撮影画像とのずれ量に基づいて前記第３のデプスマップを補正し、前記第１の撮影画像に対応する第４のデプスマップを作成するデプスマップ補正手段とを更に備えることを特徴とするデプスマップ出力装置。