JP2014106970A - プレノプティック撮像システムおよび較正方法 - Google Patents

Abstract

【課題】プレノプティック撮像システムについての較正を提供する。
【解決手段】較正は好ましくは、プロセッサによって自動的に実行される。ある手法では、プロセッサがプレノプティック撮像システムによって取り込まれたプレノプティック画像にアクセスする。プレノプティック画像が解析されて、プレノプティック撮像システムのスーパーピクセルについての参照点、たとえばスーパーピクセルの中心が決定される。参照点は、検出器アレイに対する各スーパーピクセルの位置を決定するために使われる。
【選択図】図２Ａ

Description

本発明は概括的にはプレノプティック撮像システムに関し、より詳細にはプレノプティック撮像システムの較正に関する。

プレノプティック撮像システムに対する注目が近年高まっている。プレノプティック撮像システムは、取り込まれたプレノプティック像のデジタル処理に基づいて対象の異なる焦点または視点を再計算するために使うことができる。プレノプティック撮像システムは、主結像モジュールのひとみ面内の複数モード・フィルタ・アレイを使って、複数モード撮像における用途をも見出す。各フィルタはセンサーにおいて撮像され、事実上、フィルタ・アレイの各撮像モダリティについて対象の多重化された像を生成する。プレノプティック撮像システムの他の応用は、変動被写界深度撮像および高ダイナミックレンジ撮像を含む。

しかしながら、プレノプティック撮像システムの構造は通常の撮像システムの構造とは異なっており、よって異なる較正および処理手順を必要とする。プレノプティック画像の処理においていくつかの課題がみつかっている。第一に、マイクロレンズ・アレイの整列は決して完璧ではなく、マイクロレンズ・アレイの回転の効果は完全に観察可能である。この回転は、画像再構成について大量の困難を導入する。データ点が規則的なサンプリング格子上に当てはまらないからである。第二に、モジュール式システム・アーキテクチャについては、異なる応用に基づいて異なる検出器アレイおよびマイクロレンズ・アレイを使うことができる。小レンズの中心、各小レンズの下のピクセルなどといったパラメータの手動決定は難しく、時間がかかる。第三に、異なる応用については異なる対物レンズが使われることができる。画像再構成に必要なパラメータは、プレノプティック画像データが異なる対物レンズを用いてまたは異なる焦点設定において撮影されるときには異なってくる。

よって、プレノプティック撮像システムのための較正技法が必要とされている。

本発明は、プレノプティック撮像システムのための較正を提供することによって、従来技術の限界を克服する。較正は好ましくはプロセッサによって自動的に実行される。ある手法では、プロセッサは、好ましくは参照対象に応答して、プレノプティック撮像システムの検出器アレイによって取り込まれたプレノプティック画像にアクセスする。プレノプティック画像が解析されて、プレノプティック撮像システムのスーパーピクセルについての参照点が決定される、たとえばスーパーピクセルの中心が決定される。次いで、参照点は、検出器アレイに対する各スーパーピクセルの位置を決定するために使われる。

本発明の他の側面は、上記の方法に対応する装置およびシステムならびに以上の応用を含む。

本発明は、付属の図面とともに参酌されるときの本発明の以下の詳細な説明および付属の請求項からより容易に明白となるであろう他の利点および特徴をもつ。
本発明に基づくプレノプティック撮像システムの図である。 ひとみ面への検出器の投影を示す図である。 図１Ａの細部である。 図１Ａのシステムの動作をさらに例解する図である。 完璧に整列されたコンポーネントによるプレノプティック撮像を示す図である。 整列不良のあるマイクロ結像アレイの効果を示す図である。 整列不良のあるマイクロ結像アレイの効果を示す図である。 整列不良のあるひとみの効果を示す図である。 整列不良のあるひとみの効果を示す図である。 プレノプティック撮像システムを較正するためのある方法の流れ図である。 プレノプティック撮像システムを較正するためのもう一つの方法の流れ図である。 Ａ〜Ｃは、参照プレノプティック画像を二値化する大津の方法の使用を示す図である。Ｄは、形態学的フィルタリングの使用を示す図である。 マイクロレンズ間の計算された距離のヒストグラムである。 Ａ〜Ｃは、重心位置の推定の洗練を示す図である。 フィルタ・モジュールのスケーリングのための記号法を示す図である。 図面は単に例解の目的で本発明の実施形態を描いている。当業者は、以下の議論から、本願で記載される本発明の原理から外れることなく、ここに示される構造および方法の代替的な実施形態が用いられてもよいことを容易に認識するであろう。

図１Ａ〜図１Ｄは、本発明に基づくプレノプティック撮像システムの図である。本システムは対象１５０のプレノプティック画像を捕捉する。プレノプティック撮像システムは、像形成光学モジュール１０５を含む。光学モジュール１０５は図１では単一のレンズ要素によって表されているが、光学モジュール１０５は複数の要素および／または非レンズ要素（たとえば鏡）を含むこともできることは理解される。光学モジュール１０５は対象１５０の通常の光学像１６０を形成する。光学モジュール１０５は、主結像モジュール、サブシステムまたはシステムとも称されることがある。光学像１６０は光学モジュール１０５の像平面１２５のところに形成される。光学モジュール１０５はひとみ１１７およびひとみ面１１５によって特徴付けされる。ひとみ面１１５は図１では、前記単一のレンズ要素と共位置の物理的な開口絞りによって表されている。より複雑な光学モジュール１０５では、ひとみ１１７およびひとみ面１１５は光学モジュール内の光学要素のどれとも共位置である必要はない。

通常の撮像システムでは、光学像１６０を捕捉するために、検出器アレイが像平面１２５に位置される。しかしながら、これは図１のプレノプティック撮像システムについては当てはまらない。この特定の例では、フィルタ・モジュール１１０もひとみ面１１５のところに（またはその共役の一つのところに）位置される。このフィルタ・モジュールは、そのフィルタリング特性が位置の関数として変化するという点で不均一である。以下の例では、フィルタ・モジュール１１０は、種々のフィルタ１１１を含むフィルタ・アレイである。たとえば、フィルタ１１１は、異なる波長応答、異なる偏光応答または異なる輝度応答を有していてもよい。しかしながら、フィルタ・モジュールは、フィルタ・アレイであることは必須ではない。たとえば連続的に変わる応答をもつフィルタであってもよい。フィルタ・アレイは、この例では、例解の目的で使われている。フィルタ・モジュールが任意的であることも理解しておくべきである。

第二に、マイクロ結像素子１２１のアレイ１２０が像平面１２５のところに位置されている。図１では、マイクロ結像素子１２１はマイクロレンズとして示されている。他の要素、たとえばピンホールのアレイが使われることもできる。検出器アレイ１３０は、マイクロ結像アレイ１２０の背後（すなわち光学的に下流）に位置される。より具体的には、検出器アレイ１３０は、ひとみ面１１５に対する共役平面１３５のところに位置される。すなわち、各マイクロ結像素子１２１は、ひとみ面１１５の像を、共役面１３５のところに作り出し、その像が検出器アレイ１３０によって捕捉される。

マイクロレンズの場合、各マイクロレンズ１２１は、検出器平面１３５のところに（フィルタ・モジュールを含む）ひとみの像１７０を形成する。ひとみの像は、検出器アレイ１３０内の検出器１３１のサブセットによって捕捉される。各マイクロレンズ１２１はその独自の像１７０を形成する。このように、検出器平面１３５において形成される全体的なプレノプティック像は、像１７０のアレイを含む。各マイクロレンズ１２１について一つの像がある。このアレイにされた結像は、事実上、検出器アレイをスーパーピクセル１３３に細分する。各スーパーピクセルが複数の検出器１３１を含む。各マイクロレンズ１２１は、ひとみを、対応するスーパーピクセル１３３上に結像し、各ひとみ像がその後対応するスーパーピクセル内の諸検出器によって捕捉される。

逆に、図１Ｂを参照するに、個々の各検出器１３１は、マイクロレンズ１２１を通じてひとみ面１１５内かつフィルタ・モジュール１１０上の対応する位置１１９に投影されることができる。その特定の検出器１３１について、マイクロレンズ１２１は対応する位置１１９からの光を集める。図１Ｂは、検出器１３１Ａの、中心のマイクロレンズを通じた位置１１９Ａへの投影と、検出器１３１Ｂの位置１１９Ｂへの投影とを示している。検出器の投影１１９は好ましくは、実際の検出器サイズ１３１に対して少なくとも１０倍拡大される。

さらなる詳細のために図１Ｃを参照するに、各マイクロレンズ１２１は（ひとみ内にはいる）フィルタ・アレイ１１０をスーパーピクセル１３３上に結像する。各フィルタ１１１は、フィルタ・アレイ１１０の一部のみをカバーし、よって各フィルタ１１１の像１７１はスーパーピクセル１３３の一部のみをカバーする。その部分は、図１Ｃの詳細において示されるように、サブピクセル１３２と称される。すなわち、各マイクロレンズ１２１はフィルタ１１１からの光を、対応するサブピクセル１３２に差し向ける。各サブピクセル１３２は、一つまたは複数の検出器を含むことができる。

各検出器１３１は、一つのフィルタ１１１から、一つのマイクロレンズ１２１を通過する光を集める。マイクロレンズ・アレイ１２０は、対象１５０に対して共役平面に位置されている。よって、対象１５０とマイクロレンズ・アレイ１２０との間に結像関係もある。したがって、マイクロレンズに入射する光は、対象全体からではなく対象の一部から発する光である。よって、各検出器１３１は（マイクロレンズの広がりによって決定されるところの）対象の対応する部分からの光が、対応するフィルタ１１１によってフィルタリングされたものを集める。

図１Ｄは、この概念をより詳細に示している。明確のため、主レンズ１０５は省略されている。この例では、対象１５０は三つの部分対象１５１Ａ、Ｂ、Ｃに分割されている。同様に、フィルタ・アレイ１１０の照らされる部分は、四つのフィルタ１１１ｗ、ｘ、ｙ、ｚを含む。対象１５０は、マイクロレンズ・アレイ１２０上に結像される。より具体的には、部分対象１５１Ｂはマイクロレンズ１２１Ｂ上に結像される。これは、部分対象１５１Ｂを出るすべての光線がひとみを通過（そしてひとみのどこを通過するかに依存して異なるフィルタ１１１を通過）し、マイクロレンズ１２１Ｂに到達することを意味する。同様に、部分対象１５１Ａはマイクロレンズ１２１Ａ上に結像され、部分対象１５１Ｃはマイクロレンズ１２１Ｃ上に結像される。

さらに、マイクロレンズ１２１Ｂは、フィルタ・アレイ１１０全体（少なくともひとみ内にはいる部分）を部分アレイ１３３Ｂ上に結像する。よって、フィルタ１１１ｗはマイクロレンズ１２１Ｂによってサブピクセル１３２Ｂ（ｗ）上に結像され、フィルタ１１１ｘはサブピクセル１３２Ｂ（ｘ）上に結像され、他のフィルタ／サブピクセル対についておよび他のマイクロレンズ１２１についても同様である。完全にサブピクセル１３２Ｂ（ｗ）内にはいる検出器１３１について、それらの検出器は、フィルタ１１１ｗを通過する部分対象１５１Ｂからくる光を検出する。同じことは、他のサブピクセル１３２Ａ（ｗ）〜１３２Ｃ（ｚ）についても成り立つ。

本撮像システムは、検出器によって収集される光線が（通常の撮像システムにおけるように）対象平面におけるその位置の関数であるだけでなく、ひとみ平面におけるその位置の関数でもあるので、「ライトフィールド」撮像システムである。

再び図１Ａを参照するに、プロセッサ１８０は検出器アレイ１３０からのデータを収集し、それをしかるべく処理する。単純な例として、デジタル処理ユニット１８０は、フィルタ１１１ｗによってフィルタリングされた対象全体の像を形成するために、データを並べ替えて、サブピクセル１３２Ａ（ｗ），１３２Ｂ（ｗ）および１３２Ｃ（ｗ）からのデータをまとめてもよい。同じことは、フィルタ１１１ｘ、ｙ、ｚについてもできる。捕捉されたライトフィールドは、ひとみ面および対象両方に関する情報を含むので、他の型の処理が実行されることもできる。

しかしながら、プレノプティック像の処理は、ひとみ１１７（フィルタ・モジュール１１０を含む）、マイクロ結像アレイ１２０および検出器アレイ１３０の間の整列不良に敏感である。先の例では、サブピクセル１３２Ａ（ｗ）、１３２Ｂ（ｗ）および１３２Ｃ（ｗ）を処理するために、どの個々の検出器がサブピクセル１３２Ａ（ｗ）に、１３２Ｂ（ｗ）に、１３２Ｃ（ｗ）に対応するかがわかっているべきである。

図２Ａ〜図２Ｅは、種々の型の整列不良を例解している。図２Ａは、ひとみ１１７およびマイクロ結像アレイ１２０が完璧に検出器アレイ１３０と整列されているときのプレノプティック撮像を例解する図である。この例では、ひとみ１１７は円形であり、四つの領域Ａ〜Ｄに分割される。たとえば、四領域フィルタ・モジュールと関連して用いられる円形レンズである。マイクロ結像アレイ１２０はマイクロレンズ１２１の３×３のアレイである。マイクロ結像アレイ１２０は、各マイクロレンズについてのクリアーな開口に加え、各マイクロレンズの中心によって定義される。マイクロレンズは完璧に整列されており、よってそれらの中心は、破線で示されるような正方形格子上に載る。結果として得られるプレノプティック像１７５は、ひとみの複数の像１７０の３×３アレイである（明確のため、拡大および反転は無視している）。各像１７０の中心は、マイクロレンズの中心を定義する正方形格子によって決定される正方形格子上に載る。図２Ａにおける太いｘ軸およびｙ軸は、検出器アレイを基準にして定義される局所座標系を示している。プレノプティック像１７５については、太いｘおよびｙ軸は、検出器アレイを基準にしてプレノプティック像１７５の位置を示す。プレノプティック像１７５の検出器アレイ１３０との整列が、どの検出器がどのスーパーピクセルおよびサブピクセルに対応するかを決定する。図２Ａでは、プレノプティック像１７５は検出器アレイと完璧に整列されている。図２Ｂ〜図２Ｅは、種々の型の整列不良を示している。これらの図において、太いｘ軸およびｙ軸は、各成分のもとの整列された位置を示す。

図２Ｂ〜図２Ｃは、整列不良のあるマイクロ結像アレイ１２０の効果を示す図である。図２Ｂでは、マイクロレンズ１２１はその公称位置から並進している。これは、アレイ全体の並進またはアレイの全体としての伸張または縮小といったグローバルな効果に起因することもある。また、レンズ間の間隔の変動のようなローカルな効果に起因することもある。原因が何であれ、並進は、図２Ａの完璧な正方形格子を歪める。マイクロレンズの新しい中心が新たな格子を定義する。この格子における変化は、プレノプティック像を定義する格子における対応する変化につながる。プレノプティック像中の諸像１７０は、新たな格子によって定義される中心に並進されている。このことは、図２Ｂのプレノプティック像１７５に示されている。

図２Ｃでは、マイクロレンズ１２０は回転している。これは、プレノプティック像中の各像１７０の位置を定義する正方形格子を回転させる。しかしながら、各像１７０自身は回転されない（マイクロレンズ自身が回転対称であるとして）。すなわち、各像１７０は、根底にある正方形格子の回転に起因して、新たな位置に並進される。これは、図２Ｂの特殊なケースであり、各マイクロレンズの並進がアレイの全体的な回転によって定義されている。図２Ｂ〜図２Ｃは単に例である。他の型のマイクロレンズ・アレイ整列不良も可能である。たとえば、個々のマイクロレンズまたはマイクロレンズ・アレイにおける傾斜、回転または形状変動が可能である。

図２Ｄ〜図２Ｅは、整列不良のあるひとみの効果を示す図である。ひとみの整列不良が像１７０に反映されるのは、各像１７０がひとみの像だからである。図２Ｄでは、ひとみは回転されている。その結果、たとえ各像１７０の位置がもとの正方形格子上に留まったとしても、プレノプティック像における各像１７０の対応する回転が生じる。図２Ｅでは、フィルタ・モジュール内の個々のフィルタがわずかに位置を外れているが、他の点ではフィルタ・モジュールは検出器アレイと完璧に整列している。この整列不良の結果、各像１７０には対応する変化が生じる。

図２Ｂ〜図２Ｅの整列不良のそれぞれは、どの検出器がどのスーパーピクセルおよびサブピクセルに貢献するかを変えることを注意しておく。一般に、プレノプティック像を処理して正しい結果が得られるよう、検出器アレイをプレノプティック像に正確にマッピングすることが重要である。多くの状況において、このマッピングは好ましくは較正プロセスを通じて行われる。

図３は、プレノプティック撮像システムを較正する一つの方法の流れ図である。この手法では、参照プレノプティック画像がプレノプティック撮像システムによって捕捉される（３１０）。たとえば、プレノプティック撮像システムは一様に照明される。捕捉されたプレノプティック画像は解析され、プレノプティック撮像システム内のスーパーピクセルについて参照点が決定される（３２０）。これらの参照点は次いで、検出器アレイに対するスーパーピクセルの位置を決定する（３３０）ために使われる。これは好ましくは、スーパーピクセルごとになされる。すなわち、各スーパーピクセルの位置が決定され、諸スーパーピクセルが規則的な格子にはいることは要求されない。この手法は、たとえば図２Ｂに示されるようなレンズ間間隔の変動を考慮に入れることができる。参照点の例は、スーパーピクセルの中心およびスーパーピクセルのコーナーを含む。

図４は、この手法の具体例を示している。スーパーピクセルは、検出器平面１３５上での各マイクロレンズ１２１を通じて見られるひとみ１１７の像である。各スーパーピクセルの重心を位置特定するため、較正画像、この場合は白色ターゲットのプレノプティック画像がまず取得される（４１０）。この参照画像が、各スーパーピクセルを位置特定するために使われる。この例では、捕捉された参照画像は、閾値に基づいて白黒の二値画像に変換される（４２２）。閾値は、ユーザーによって決定されることができ、あるいは大津の方法のようなアルゴリズムを使って自動的に決定されることができる。二値画像は、さらなる処理のためのマスクとして使われる。大津の方法を使った閾値処理後の結果の例が図５Ａ〜図５Ｃに示されている。図５Ａは、中間階調の参照画像を示す。図５Ｂは、中間階調値のヒストグラムおよび大津の方法によって決定された閾値を示す。図５Ｃは、二値化後の参照画像を示す。ここで、白は1、黒は0を表す。スーパーピクセルが併合されていることを注意しておく。

スーパーピクセルは次いで、形態学的フィルタリングのような種々のセグメンテーション・アルゴリズムを適用することによって局在化されることができる。形態学的〔モルフォロジカル〕フィルタリング４２４を使う例が図５Ｄに示されている。図５Ｄでは、収縮〔エロージョン〕フィルタがまず図５Ｃの二値マスクに適用される。これは異なるスーパーピクセルを分離する。スーパーピクセルの重心を含む連結した諸成分を抽出するもう一つの方法は、分水嶺変換（watershed transform）である。この方法は、スーパーピクセルの重心を含む連結した諸成分を抽出するために参照画像に適用されることができ、スーパーピクセルの境界付近での強度の低下のため連結した諸スーパーピクセルを分離する。局在化後、各スーパーピクセルの重心が、それぞれのローカルな連続領域について推定される（４２６）。

重心位置の推定のためのもう一つの方法は、フーリエ変換解析を介してのものである。その場合、センサー・データのフーリエ変換が実行され、小レンズ・ピッチ・サンプリングの周波数に対応するピークが同定される。これらの同定された小レンズ・ピッチ周波数から二値マスクが、まずピッチ周波数係数のフーリエ変換を実行し、白色ターゲットについてのセンサー・データと同様の格子パターンを創り出すことによって、生成される。これが次いで二値化されて、中心点が上記の方法と同様に同定される。

スーパーピクセル重心の位置特定４２０後、マイクロレンズ・アレイに関係したさまざまな物理的パラメータが計算される（４３０）。光学軸のまわりの関心領域がまず定義される（４３２）。光学軸のまわりの領域が選ばれるのは、存在する歪みがより少ないからである。この関心領域内の抽出された各重心について、その四つの最近接重心が同定され、各重心と近隣の重心との間の距離が計算される。次いでスーパーピクセルの直径または（フィルタ・パーティションの円形でない開口形状、たとえば六角形開口の場合）スーパーピクセルの外接円の直径が、計算された距離の統計的分布に基づいて推定されることができる（４３４）。図６は、計算された距離のヒストグラムを示している。この例において、最もよくある距離（18ピクセル）が小レンズの直径として推定される。

次いで、四つの近隣の重心に対する等しい距離をもつ重心が同定される。この重心とその四つの近傍との間の相対位置が、マイクロレンズ・アレイの回転角を初期に推定する（４３６）ために使われる。小レンズ直径推定と同様に、回転角も、各重心とその四つの最近接重心とに基づいて計算される角度の統計に基づいて推定されることができる。推定される回転角は、次式で定義される回転されたデカルト座標系を与える：
ここで、αは推定された回転角である。

回転角を推定する代替的な方法は、FFT領域におけるピークから推定することである。上記の最近接物方法が、FFT領域における小レンズ・ピッチ・サンプリングに対応するピークの位置に適用されることができる。

これらのステップの完了後には、以下のパラメータが推定されたことになる。
・検出器アレイに対するマイクロレンズ・アレイの回転角α。これは、もとの(x,y)座標系に対する回転された(x',y')座標系を定義する。
・諸マイクロレンズの推定される直径（すべての小レンズはこの例では同じ直径であると想定される）
・各スーパーピクセルの中心の位置。これらはもともとは(x,y)座標系において推定されたが、式(1)に従って回転された(x',y')座標系に変換されることができる。

このように、各スーパーピクセルは、その中心の位置、すべてのスーパーピクセルにあてはまる一般的な小レンズ直径および回転された(x',y')座標系を定義する回転角αによって定義される。これは単に一例である。他のパラメータが推定されることもできる。たとえば、各スーパーピクセルのサイズおよび／または形状が、個々の各スーパーピクセルについて別個に推定されることができる。

それぞれの（または大半の）スーパーピクセルについての位置を推定することの一つの利点は、スーパーピクセル間での変動が考慮にいられることができるということである。もう一つの利点は、この手法が「デッド・センサー・ピクセル」、「デッド小レンズ」または他の型のローカルな欠陥に比較的敏感でないということである。ある特定のスーパーピクセル中心が決定できない、あるいはかなりの不確定性をもってしか決定できない場合、そのことは他のスーパーピクセルの較正に大きくは影響しない。対照的に、若干数のスーパーピクセルの位置のみを抽出して次いでそれら若干数のサンプルに基づいてスーパーピクセルの大半の位置を外挿するグローバルな手法は、サンプルにおける誤りに対する感受性がより高くなり、スーパーピクセル間での変動を考慮に入れることもできない。上記の手法のもう一つの利点は、傾斜整列不良に対して敏感でないということである。マイクロレンズ・アレイが検出器アレイに対して傾いていて、いくつかのマイクロレンズが他よりも検出器に近い場合でも、上記の手法はスーパーピクセルの位置を推定するために使うことができる。

センサー・ノイズ、センサー・ピクセル化（pixelation）および他の因子は、パラメータ推定における誤差につながることがあり、よって、場合によっては、もとのスーパーピクセル推定がさらに洗練される（４４０）。ある手法では、重心位置および回転角の両方が初期に推定され、較正プロファイルに保存されている。初期に推定された重心はまず回転された座標に投影される。次いで重心位置および回転角は、最小二乗推定および最大尤度推定のような線形回帰技法に基づいて、さらに洗練されることができる（４４０）。
y'＝α+βx' (2)
によって定義されるように、回転された(x',y')座標における各行および各列に沿って諸重心について直線が当てはめされる。ここで、パラメータαおよびβは最小化
f(α,β)＝argmin{y' _c−α−βx'_c}
を使って解かれる。重心位置は当てはめされた回帰直線に基づいて調整されることができる。洗練は、停止基準が満たされるまで逐次反復的に実行される。停止基準は、ユーザー定義される反復回数または現在と前回の推定結果の最小の差であることができる。これは、可能な洗練プロセス４４０のほんの一例である。

図７は、一つの行に沿った重心洗練の例を示している。図７Ａは、洗練前の重心位置推定を示している。もとの(x,y)座標系および回転された(x',y')座標系の両方を示している。図７Ｂは、重心のもとの推定値を、もとの(x,y)座標に投影してグラフにしたものである。図７Ｂに示される直線は、線形回帰に基づいて当てはめされた線である。そして図７Ｃは洗練後の重心投影をグラフにしたものである。この例では、最小二乗推定が推定結果を洗練するために使われる。当該センサー領域を横断する歪みが有意である場合、洗練は、画像全体をいくつかの小さな領域に分割することによって局所的に実行されることができる。

場合によっては、パラメータ洗練は、「在野の」ユーザーによって実行されることができる。たとえば、プレノプティック撮像システムはモジュール式に設計されてもよい。種々の主要レンズが、マイクロレンズ・アレイおよび検出器アレイを含むプレノプティック・バックエンドに取り付けられ、取り外されることができる。あるいはまた、主要撮像レンズ、マイクロ結像アレイおよび検出器アレイの種々の組み合わせが混合され、マッチングされてもよい。

いくつかの場合には、回転角はあらかじめ決定されたパラメータとして使われ、重心位置およびスーパーピクセルの直径またはスーパーピクセルの外接円の直径だけが再計算される。たとえば、回転角は初期に、製造の間に較正されて、較正プロファイルに記憶されてもよい。プレノプティック撮像システムが、主撮像レンズが交換できるという意味でモジュール式であるが、マイクロ結像アレイおよび検出器アレイは一緒に留まる一体のユニットであるとする。主撮像レンズが交換されるとき、ユーザーは、スーパーピクセル位置、形状およびサイズを再較正してもよいが、回転値については較正プロファイルからのものを使う。

他方、本モジュール式システムが、マイクロレンズ・アレイと検出器アレイとの間のリレー・システムを含み、異なるコンポーネントの交換を許す場合、リレーがプレノプティック・センサーとともにマウントされるときに、マイクロレンズ・アレイと検出器アレイの間の回転整列不良が起こりうる。その場合、回転角も、リレーとセンサーの新たな組み合わせが使われるたびに回転角も再計算されることができる。

図４に戻ると、小レンズ・パラメータの決定は、事実上、スーパーピクセル位置を決定する。その後、主レンズひとみ１１７が、推定される重心位置、小レンズの直径およびマイクロレンズ・アレイの回転角に基づいて（すなわち、スーパーピクセルの推定された位置に基づいて）、検出器平面１３５上に投影される。これは、各スーパーピクセル上に投影されたひとみのフットプリントを決定されるために、あるいは各スーパーピクセル上に投影されたフィルタ位置を決定するために使うことができる。

ひとみ特徴を検出器平面上に投影するために種々の手法が使用できる。一つの可能な手法は、幾何光学および開口（フィルタを含む）の幾何形状に基づく。図８に示される例では、２×２のレイアウトをもつフィルタ・アレイがひとみ面内に置かれる。幾何光学に基づき、プレノプティック配位について次の関係が見出せる。
ここで、fは小レンズの焦点距離、z_fはマイクロレンズ・アレイと出射ひとみによって生成されるフィルタ・アレイの虚像との間の距離、z_nはマイクロレンズ・アレイとセンサー平面との間の距離である。小レンズの倍率は
M＝z_n/z_f (5)
である。すると、検出器平面へのフィルタの投影は
l₁＝M×L₁ (6)
l₂＝M×L₂ (7)
となる。ここで、l₁およびl₂は検出器平面上に投影されたフィルタの寸法であり、L₁およびL₂はひとみ面内でのフィルタの寸法である。

開口の形状特徴を投影するもう一つの手法は、非円形開口を用いてまたはひとみ面内のフィルタを用いて捕捉された参照画像上に仮想の円形開口を投影することによる。次いで、多視点または複数モダリティ画像を抽出するための関心領域を特定するために、いくつかの画像処理アルゴリズムが投影された各円形開口内でローカルに適用されることができる。

いくつかの場合には、ひとみ整列不良（図２Ｄ〜２Ｅに示されるようなもの）は較正される必要がない。特に、通常、ひとみはプレノプティック像上ではかなり縮小されているからである。ひとみ整列不良が重要なところでは、種々の手法を使って較正できる。ある手法では、ひとみ（たとえば、クリアーな開口の形、ひとみ内のフィルタ・アレイの幾何形状）が、直接測定に基づいて推定され、次いでひとみの幾何形状が各スーパーピクセル上に投影される。もう一つの手法は、フィルタ・パターン（または他のひとみ特性）を、スーパーピクセル画像と相関させることである。そうすれば、ひとみの幾何形状は相関に基づいて推定される。

詳細な説明は多くの個別的事項を含むが、それは本発明の範囲を限定するものではなく、本発明の単に種々の例および側面を例解するものと解釈すべきである。本発明の範囲は上記で詳細に論じていない他の実施形態をも含むことは理解しておくべきである。

たとえば、反射系および反射屈折系を含めさまざまな型の光学モジュールを使うことができる。いくつかの応用では、光学モジュールは好ましくはテレセントリックである。最後に、「光」および「光学」といった用語は電磁スペクトルの可視または純粋に光学的な領域に限定されることを意図されてはおらず、紫外および赤外といった領域をも含む（だがこれらに限定されない）ことが意図されている。

付属の請求項において定義される本発明の精神および範囲から外れることなく、当業者に明白なさまざまな他の修正、変更および変形が本稿に開示される本発明の方法および装置の配置、動作および詳細においてなされうる。したがって、本発明の範囲は付属の請求項およびその法的等価物によって決定されるべきである。

１０５ 像形成光学モジュール
１１０ フィルタ・モジュール
１１１ フィルタ
１１５ ひとみ面
１１７ ひとみ
１１９ ひとみ面内かつフィルタ・モジュール上の位置
１２０ マイクロ結像素子のアレイ
１２１ マイクロ結像素子
１２５ 像平面
１３０ 検出器アレイ
１３１ 検出器
１３２ サブピクセル
１３３ スーパーピクセル
１３５ 検出器平面
１５０ 対象
１５１ 部分対象
１６０ 光学像
１７０ 各マイクロレンズに対応する、ひとみの像
１８０ プロセッサ
１７１ 各フィルタの像
１７５ プレノプティック像
３１０ 参照プレノプティック画像を捕捉
３２０ 参照点を決定
３３０ スーパーピクセルの位置を決定
４１０ 参照画像を取得
４２０ スーパーピクセル重心の位置特定
４２２ 白黒に変換
４２４ 形態学的〔モルフォロジカル〕フィルタ
４２６ 重心を推定
４３０ マイクロレンズ・アレイに関係したさまざまな物理的パラメータを計算
４３２ 関心領域を定義
４３４ レンズ間の間隔を推定
４３６ 回転を推定
４４０ パラメータを洗練
４５０ ひとみを投影

Claims (20)

1. プレノプティック撮像システムを較正する方法であって、プロセッサが：
   前記プレノプティック撮像システムの検出器アレイによって取り込まれたプレノプティック画像にアクセスする段階と；
   前記プレノプティック画像を解析して、前記プレノプティック撮像システムのスーパーピクセルについての参照点を決定する段階と；
   前記参照点から、前記検出器アレイに対する各スーパーピクセルの位置を決定する段階とを実行することを含む、
   方法。
2. 前記スーパーピクセルの前記参照点が前記スーパーピクセルの中心である、請求項１記載の方法。
3. 前記スーパーピクセルは長方形アレイに配列されており、前記スーパーピクセルについての前記参照点は前記長方形アレイ内の要素のコーナーである、請求項１記載の方法。
4. 前記プレノプティック画像を解析する段階が、前記スーパーピクセルについての重心を抽出することを含む、請求項１記載の方法。
5. 前記プレノプティック画像を解析する段階が：
   前記プレノプティック画像を二値化する段階と；
   二値化されたプレノプティック画像を形態学的フィルタリングする段階とを含む、
   請求項１記載の方法。
6. 前記プレノプティック画像を二値化する段階が、二値化のために適応的な閾値を使う、請求項５記載の方法。
7. 前記スーパーピクセルがアレイに配列されており、当該方法がさらに、前記プロセッサが、前記プレノプティック画像を解析して、前記検出器アレイに対する前記アレイの回転の角度を決定する段階を実行することを含む、請求項１記載の方法。
8. 前記回転の角度を決定する段階が：
   前記プレノプティック画像のFFTを取り；
   前記FFTから前記回転の角度を決定することを含む、
   請求項７記載の方法。
9. 前記プロセッサがさらに：
   前記スーパーピクセルの決定された位置をさらに洗練する段階を含む、
   請求項１記載の方法。
10. 前記プロセッサがさらに：
    ひとみを、前記検出器アレイに対する各スーパーピクセルの位置に基づいて前記検出器アレイの複数の位置に投影する段階を実行することを含む、
    請求項１記載の方法。
11. 前記ひとみを前記検出器アレイの複数の位置に投影する段階が、前記検出器アレイの複数の位置に前記ひとみのフットプリントを投影することを含む、請求項１０記載の方法。
12. 前記ひとみが複数のフィルタを有し、前記ひとみを前記検出器アレイの複数の位置に投影する段階が、前記検出器アレイの複数の位置に前記複数のフィルタを投影することを含む、請求項１０記載の方法。
13. 前記ひとみを前記検出器アレイの複数の位置に投影する段階が：
    スーパーピクセル間の間隔に基づいてスーパーピクセルについてのスケーリング因子を計算し；
    前記検出器アレイ上に投影するときに前記ひとみをスケーリングすることを含む、
    請求項１０記載の方法。
14. 前記プロセッサが：
    前記検出器アレイに対する前記スーパーピクセルの位置に対応する較正プロファイルを記憶する段階を実行することをさらに含む、
    請求項１記載の方法。
15. 前記参照点から各スーパーピクセルの位置を決定する段階が：
    前記プレノプティック撮像システムの製造の際に決定された較正プロファイルにアクセスし；
    前記較正プロファイルに基づいて、前記検出器アレイに対する各スーパーピクセルの位置を推定し；
    前記参照点から、前記スーパーピクセルの推定された位置をさらに洗練することを含む、
    請求項１記載の方法。
16. 前記スーパーピクセルはアレイに配列されており、前記較正プロファイルは前記検出器アレイに対する前記アレイの回転の角度を含む、請求項１５記載の方法。
17. 自動較正するプレノプティック撮像システムであって：
    ひとみ面および像平面によって特徴付けされる像形成光学モジュールと；
    前記像平面またはその共役面に位置するマイクロ結像素子のアレイと；
    前記ひとみ面の共役面に位置する検出器アレイと；
    前記検出器アレイに結合されたプロセッサであって：
    前記検出器アレイによって取り込まれたプレノプティック画像にアクセスする段階と；
    前記プレノプティック画像を解析して、当該プレノプティック撮像システムのスーパーピクセルについての参照点を決定する段階と；
    前記参照点から、前記検出器アレイに対する各スーパーピクセルの位置を決定する段階とを実行するプロセッサとを有する、
    プレノプティック撮像システム。
18. 前記スーパーピクセルの前記参照点が前記スーパーピクセルの中心である、請求項１７記載のプレノプティック撮像システム。
19. 前記プレノプティック画像を解析する段階が、前記スーパーピクセルについての重心を抽出することを含む、請求項１７記載のプレノプティック撮像システム。
20. 前記プロセッサがさらに：
    ひとみを、前記検出器アレイに対する各スーパーピクセルの位置に基づいて前記検出器アレイの複数の位置に投影する段階を実行する、
    請求項１７記載のプレノプティック撮像システム。