JP2012185498A - 開口符号化多重画像化システムのためのフィルタ・モジュールの設計 - Google Patents

Abstract

【課題】多重画像化システムで用いられるフィルタ・モジュールを設計するための、コンピュータにより実施される方法を提供することにより従来技術（RGB画像化装置、バイヤー・パターン）の制限を克服する。
【解決手段】「開口多重」画像化システム１１０は、対象１５０の多重化画像をキャプチャするセンサ１８０を有する。フィルタ・モジュール１２５は、センサの共役面にほぼ位置付けられ、多重化画像の開口符号化を提供する。フィルタ・モジュールは、以下の通り設計される。画像化システムにより画像化されるべき対象のモデルが受信され、フィルタ・モジュールの設計候補も受信される。設計候補は、フィルタ・モジュールをフィルタ・セルに空間区分する候補を有し、画像化システムによる多重化画像の構成がシミュレートされる。性能メトリックが計算され、フィルタ・セルの空間区分の候補は、計算された性能メトリックに基づき修正される。
【選択図】図１Ａ

Description

本発明は、概して、同一の対象の複数の画像、例えば対象の異なるスペクトル又は偏光成分の画像を同時にキャプチャできる画像化システムに関する。

同一の対象の複数の画像を同時にキャプチャするのに有用な多くのアプリケーションがある。これらの画像は、異なる方法でフィルタされ、対象に関する異なる情報を提供してもよい。例えば、多スペクトル及びハイパースペクトルでは、スペクトル情報を得るために異なる波長フィルタが用いられうる。そして、この情報は次にスペクトル分析又は物質の識別又は分子若しくは蛍光体でラベル付けされた他のアイテムの測定のために用いられてもよい。

市販のセンサ・アレイは同時に１つの画像をキャプチャするよう設計されているので、これらの複数の画像を得ることは難しい。伝統的に複数の画像は、単に時分割多重化（例えば、時間的に次々に画像をキャプチャする）により、又は２以上の画像化システム若しくは検出器アレイを並列に用いることにより、得られた。

例えば、スペクトル画像化アプリケーションは、単一の画像カメラをフィルタ・ホイールと一緒に用いうる。フィルタ・ホイールは、関心のある波長帯に対応する波長フィルタを有する。どの時点においても、１つの波長フィルタのみが画像化経路内に位置付けられ、カメラはフィルタされた画像をキャプチャする。フィルタ・ホイールは、波長フィルタを次から次へと切り替えるために回転し、カメラは該波長フィルタで次々に画像をキャプチャする。従って、多スペクトル画像化は、時分割多重化方法で実施される。しかしながら、結果として生じるシステムは大規模であり複雑である。

代替の手法は、プリズム又は格子のような分散素子に基づく。この手法では、分散素子は異なる波長を空間的に分けるために用いられる。光は、標準的に、検出器アレイの１つの次元に沿って分散される。他の次元は、対象の１つの空間的次元をキャプチャするために用いられる。しかしながら、対象の第２の空間次元をキャプチャすることは難しい。屡々、時分割多重化は、例えば走査により第２の空間次元をキャプチャするために導入される。

更に別の手法は、複数のカメラ又は画像化システムを並列に用いることである。各カメラは、異なるスペクトル・フィルタに取り付けられ、カメラ・バンクはフィルタされた画像を同時にキャプチャする。しかしながら、これは、必要なハードウェアの量が有意に増大するので、全体のコスト及び複雑性を増大させてしまう。更に、大きいカメラ・システムは視差問題を導入しうる。

幾つかのアプリケーションでは、フィルタを各センサ素子に個々に取り付けることが可能である。例えば、従来のＲＧＢ画像化装置は、赤、緑及び青色フィルタが各個々の検出器に取り付けられた検出器アレイに基づきうる。バイヤー・パターンは、これらのマイクロフィルタを検出器アレイに配置するための１つの一般的なパターンである。しかしながら、この手法の欠点は、製造コスト及び複雑性の増大である。マイクロフィルタと検出器とは１対１に対応するので、及びマイクロフィルタは検出器に取り付けられるので、マイクロフィルタは検出器と同一の大きさであり、小さい。多くの異なるマイクロフィルタは、従ってアレイに配置され、下にある検出器に揃えられる。これは、特に多数の異なる種類のマイクロフィルタが必要な場合に難しい。別の欠点は、柔軟性の欠如である。マイクロフィルタ・アレイが検出器アレイに取り付けられると、マイクロフィルタ・アレイを偏光することは困難である。

従って、多スペクトル及び偏光画像化システムを含む、より良い多重画像化システム、及び該システムを設計する手法が必要である。

本発明は、多重画像化システムで用いられるフィルタ・モジュールを設計するための、コンピュータにより実施される方法を提供することにより従来技術の制限を克服する。

一態様では、「開口多重」画像化システムは、対象の多重化画像をキャプチャするセンサを有する。フィルタ・モジュールは、センサの共役面にほぼ位置付けられ、多重化画像の開口符号化を提供する。開口多重画像化システムは、所定のタスクを実行する。フィルタ・モジュールは、以下の通り設計される。画像化システムにより画像化されるべき対象のモデルが受信される。フィルタ・モジュールの設計候補も受信される。設計候補は、フィルタ・モジュールをフィルタ・セルに空間区分する候補を有する。画像化システムによる多重化画像の構成がシミュレートされる。性能メトリックが計算される。性能メトリックは、シミュレートされた多重化画像の関数であり、所定のタスクを示すように選択される。フィルタ・セルの空間区分の候補は、計算された性能メトリックに基づき修正される。

他の態様は、フィルタ・モジュールの空間区分の異なる配置、及び所望のタスクに依存する異なる性能メトリックを有する。１つの設計手法では、異なるフィルタ・セル間のクロストークが低減される。例えば、フィルタ・セルが波長フィルタである場合に、スペクトル・クロストークが低減される。

本発明の他の態様は、これらの方法を実施する装置及びシステム、及びこれらの方法を用いて設計された装置及びシステムも有する。

本特許又は出願のファイルは、少なくとも１つのカラーで作成された図面を有する。カラーの図面を有する本特許又は特許出願の出版物の複製は、当局により要求に応じて及び必要な料金の支払いにより提供される。

本発明は、添付の図面と関連して以下の発明の詳細な説明及び添付の特許請求の範囲から直ちに明らかになる他の利点及び特徴を有する。

本発明による例である開口多重画像化システムを示す図である。 本発明による例である開口多重画像化システムを示す図である。 本発明による例である開口多重画像化システムを設計する方法のフロー図である。 フィルタ・モジュールのための異なる空間区分を示す。 フィルタ・モジュールのための異なる空間区分を示す。 フィルタ・モジュールのための異なる空間区分を示す。 フィルタ・モジュールのための異なる空間区分を示す。 フィルタ・モジュールのための異なる空間区分を示す。 フィルタ・モジュールのための異なる空間区分を示す。 フィルタ・モジュールのための異なる空間区分を示す。 フィルタ・モジュールのための異なる空間区分を示す。 フィルタ・モジュールのための異なる空間区分を示す。 フィルタ・モジュール内の赤、緑及び青色フィルタのセルの異なる構成を示す。 フィルタ・モジュール内の赤、緑及び青色フィルタのセルの異なる構成を示す。 フィルタ・モジュール内の赤、緑及び青色フィルタのセルの異なる構成を示す。 ＢＧＲ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＢＧＲ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＢＧＲ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＢＧＲ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＢＧＲ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＢＧＲ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＢＧＲ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＢＧＲ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＢＧＲ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＲＧＢ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＲＧＢ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＲＧＢ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＲＧＢ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＲＧＢ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 ＲＧＢ環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。 （Ａ）皮膚、（Ｂ）検出器、及び（Ｃ）４つのフィルタ・セルの例である設計問題に対するスペクトル応答を示す。 （Ａ）皮膚、（Ｂ）検出器、及び（Ｃ）４つのフィルタ・セルの例である設計問題に対するスペクトル応答を示す。 （Ａ）皮膚、（Ｂ）検出器、及び（Ｃ）４つのフィルタ・セルの例である設計問題に対するスペクトル応答を示す。 図１１の設計問題に対するフィルタ・モジュールの空間区分を示す。

図は本発明の実施形態を説明のみを目的として図示する。当業者は、本願明細書に示された構造及び方法の代替の実施形態が本願明細書に記載された発明の原理から逸脱することなく用いられてもよいことを以下の議論から直ちに認識するだろう。

図及び以下の説明は、説明のみのために好適な実施形態を参照する。以下の議論から、本願明細書に開示された構造及び方法の代替の実施形態は特許請求の範囲で請求された原理から逸脱することなく用いられてもよい変形の代替として直ちに認識されることに留意すべきである。

＜システム概要＞
図１Ａ及び１Ｂは、本発明による例である開口多重画像化システム１１０を示す図である。用語「開口多重」を以下に説明する。システム１１０は、光学画像化グループ１１２及び画像形成要素１１５のアレイ１１４を有する。アレイ１１４は、マイクロ画像化アレイとして表されてもよい。便宜上、光学画像化グループ１１２は、単一の対物レンズとして図１Ａに示されるが、複数の要素を有しうると理解されるべきである。対物レンズ１１２は、像平面ＩＰで対象１５０の光学画像１５５を形成する。マイクロ画像化アレイ１１４は像平面ＩＰに置かれる。システムは、全体として、空間的に多重化されたインターリーブされた光学画像１７０をセンサ平面ＳＰで形成する。マイクロ画像化アレイ１１４の例は、マイクロレンズ・アレイ、ピンホールのアレイ、マイクロミラー・アレイ、チェッカーボード格子及び導波管／チャネル・アレイを含む。センサ・アレイ１８０は図１Ａに示される。

フィルタ・モジュール１２５は、センサ平面ＳＰの共役面ＳＰ’に位置付けられる。実際の物理的位置は、光学画像グループ１１２の前、後又は中間であってもよい。フィルタ・モジュールは、多数の空間的に多重化されたフィルタ・セル１２７Ａ−Ｄを有する。この例では、図１Ａの下部に示されるように、フィルタ・モジュール１２５は、フィルタ・セル１２７の方形アレイを有する。

図１Ａの下部は、より詳細を提供する。この図では、対象１５０は、１−９でラベル付けされた３×３アレイの領域に分割される。フィルタ・モジュール１２５は、個々のフィルタ・セル１２７Ａ−Ｄの２×２方形アレイである。例えば、各フィルタ・セル１２７Ａ−Ｄは異なるスペクトル応答を有しうる。センサ・アレイ１８０は６×６方形アレイとして示される。

図１Ｂは、空間的に多重化された光学画像１７０Ａ−Ｄがセンサ・アレイ１８０でどのように生成されインターリーブされるかを概念的に示す。対象１５０は、フィルタ・セル１２７Ａによりキャプチャされフィルタされた場合、光学画像１５５Ａを生成しうる。光学画像１５５Ａを対象のフィルタされていない画像と区別するために、３×３の領域は添え字Ａでラベル付けされる。つまり、１Ａ−９Ａである。同様に、フィルタ・セル１２７Ｂ、Ｃ、Ｄによりフィルタされた対象１５０は、１Ｂ−９Ｂ、１Ｃ−９Ｃ、及び１Ｄ−９Ｄでラベル付けされた３×３の領域を有する、対応する光学画像１５５Ｂ、Ｃ、Ｄを生成しうる。これらの４つの光学画像１５５Ａ−Ｄのそれぞれは、フィルタ・モジュール１２５内の異なるフィルタ・セル１２７Ａ−Ｄによりフィルタされるが、画像化システム１１０により全て同時に生成される。

図１Ｂに示されるように、４つの光学画像１５５Ａ−Ｄは、センサ平面にインターリーブされて形成される。例として画像１５５Ａを用いると、光学画像１５５Ａからの３×３領域１Ａ−９Ａは、光学画像１７０内の３×３ブロック内で隣接していない。むしろ、４つの異なる光学画像からの領域１Ａ、１Ｂ、１Ｃ及び１Ｄが、光学画像１７０の左上に２×２形式で配置される（画像１７０の反転は明確性のために無視される）。領域２−９は同様に配置される。従って、光学画像１７０Ａを作り出す領域１Ａ−９Ａは、合成光学画像１７０全体に広がり、他の光学画像１７０Ｂ−Ｄの部分により分離される。別の方法では、センサが個々のセンサ要素の方形アレイである場合、アレイ全体は、センサ要素の方形サブアレイ１７１（１）―（９）に分割されうる（図１Ｂには１つのサブアレイ１７１（１）のみが示される）。各領域１−９では、各フィルタされた画像からの対応する領域の全てがサブアレイに画像化される。例えば、領域１Ａ、１Ｂ、１Ｃ及び１Ｄは全てサブアレイ１７１（１）に画像化される。フィルタ・モジュール１２５及びセンサ組立体１８０は共役面に置かれるので、アレイ１１４内の各画像化要素１１５は、センサ平面ＳＰにフィルタ・モジュール１２５の画像を形成することに留意する。複数の画像化要素１１５があるので、フィルタ・モジュール１２５の複数の画像１７１が形成される。

図１は基礎をなす概念を説明するために簡略化されていることに留意すべきである。例えば、対象１５０は、全体の画像化機能をより簡単に説明するために人為的にアレイに分割された。本発明はアレイにされた対象に限定されない。別の例として、最も実用的なシステムは、有意に大きいアレイを、特にセンサ組立体で及び場合によってはフィルタ・モジュールでも用いる。更に、センサ平面にある６×６領域とセンサ・アレイ内の下にあるセンサ要素とは１：１の関係である必要はない。各領域は、例えば複数のセンサ要素に対応しうる。最後の例として、対象内の１でラベル付けされた領域、つまりフィルタされた画像１５５Ａ内の１Ａ及び合成画像１７０内の１Ａは、厳密に互いの画像である必要はない。幾つかの設計では、画像１７０内の領域１Ａは、対象１５０内の領域１からのフィルタされたエネルギを殆どキャプチャしうるが、実際には領域１の画像でなくてもよい。従って、画像１７０の領域１Ａ内のセンサ要素により集められたエネルギは、該領域における対象の幾何学的再現を表すのではなく、対象１５０の領域１内の画像（又は画像の特定の変換）の積算又はサンプリングであってもよい。更に、視差、口径食、回折及び光伝搬のような影響は、如何なる画像形成にも影響を与えない。

図１に示される手法は幾つかの利点を有する。第１に、複数の光学画像１７０Ａ−Ｄはセンサ平面で同時にキャプチャされる。第２に、各キャプチャされた画像は、フィルタ・モジュール１２５内のフィルタ・セル１２７Ａ−Ｄによりフィルタされ、各フィルタ・セル１２７は異なるフィルタリング機能を実施するよう設計されてもよい。更に、フィルタ・モジュール１２５は実際のセンサ平面ＳＰではなく共役面ＳＰ’に置かれるので、及びこれはフィルタ・モジュールがセンサ平面において要求されるものと比べて遙かに大きいことを意味するので、耐性及び他の機械的要件は緩和される。これは、フィルタ・モジュールがセンサ平面に置かれた場合（例えば、センサ組立体に取り付けられた場合）に比べて、フィルタ・モジュールの走査を容易にする。

＜設計手法の概要＞
用語「開口多重」は、センサ１８０において（インターリーブされて）複数の画像１７０が空間的に多重化されるという事実、及び各画像１７０が異なるフィルタ・セル１２７Ａ−Ｄによりフィルタされるが、フィルタリングは実際のセンサ平面ではなく共役センサ平面（つまり、開口）において適用されるという事実を表す。従って、システム１１０は「開口多重」画像化システムである。開口平面で生じるフィルタリングは、屡々開口符号化と称される。

開口符号化の１つの欠点は、共役面ＳＰ’が、通常、センサ平面ＳＰで完全に画像化されないことである。歪み、視差及び収差（幾何及び色の両方）のような影響は、センサ平面における隣接する多重化画像間でクロストークを生じうる。図１Ｂを参照すると、不完全な画像化は、画像１Ａ及び１Ｂを少なくとも境界で一緒に融合させうる。全体的な影響は、センサ１８０によりキャプチャされ融合された画像は、もはやフィルタＡのみにより又はフィルタＢのみによりフィルタされた対象を表さず、フィルタＡ及びＢの特定の組合せによりフィルタされたものであることである。このフィルタＡ及びＢの間のクロストークは、通常望ましくない。

従って、フィルタ・モジュールを設計するときに、システムの特性を考慮することが望ましい。図２は、これらのシステム特性を考慮した開口多重画像化システムを設計する方法のフロー図である。この手法では、フィルタ・モジュールの記述２１０は２つの部分を有する。つまり、フィルタ・モジュールを個々のフィルタ・セルに空間的に区分すること、及び各フィルタ・セルの光学特性（例えば、特定のスペクトル・フィルタ応答又は偏光フィルタ応答）である。図２の方法の目的は、空間区分及び場合によっては個々の光学特性も設計することである。

フィルタ・モジュール２１０の設計の候補が与えられると、コンピュータ・システムは画像化システムによる全体の画像形成をシミュレートする２２０。これは、通常、全ての光学機器を通じた伝搬、検出器の動作及び後続の処理のモデル化を含む。モデル化は、異なるフィルタ・セル間のクロストークを予測するのに十分な程、正確であるべきである。結果として生じたシミュレートされた画像は、性能メトリックを計算するために用いられる２３０。性能メトリックは、画像化システムの所望のタスクに従い選択される。段階２２０及び２３０は、通常、画像化されるべき対象のモデル、画像化システムの他の部分の記述、及び場合によっては目前にあるタスクに関する追加情報も用いる。フィルタ・モジュール２１０は、計算された性能メトリックに基づき修正される２４０。この周期を繰り返すことにより、フィルタ・モジュールの設計を改善する。

図３Ａ−４Ｂは、種々の区分及びパラメータ化を示す。図３Ａでは、フィルタ・モジュールは、方形フィルタ・セルのアレイに区分される。方形フィルタ・セルは自身の境界により定められる。区分は、図中の矢印により示されるように境界を移動することにより修正されうる。明確化のため、少数の矢印のみが図中に示される。フィルタ・セルは全て方形であるが、同一の大きさである必要がないことに留意する。図３Ｂでは、フィルタ・モジュールは、円形の環状フィルタ・セルの同心アレイに区分される。この区分は、フィルタ・セル間の境界によっても定められる。境界は、この例では円である。図３Ｃは、フィルタ・セルが正方形のフィルタ・セルである変形例である。図３Ｄでは、フィルタ・モジュールは、セクタに成形されたフィルタ・セルの極性のあるアレイに区分される。再び、フィルタ・セルは自身の境界により定められる。境界線の外側は、方形として示されるが、他の形状（例えば、円形）であってもよい。１つの変形例では、元の位置も変更されうる。図３Ｅは、セクタに基づく区分を示す。ここでは、原点はフィルタ・モジュールの中心からずれている。図３Ｆは、環状及びセクタ境界を組合せ、環状のセクタ形状を有するフィルタ・セルを生成している。環状の境界及び／又はセクタ境界は、修正されうる。図３Ｇは、セクタ境界が各環について独立して移動しうることを除き同様である。

図３Ａ乃至３Ｇは、空間区分がフィルタ・セル間の境界を移動することにより修正される全ての例である。これは、隣接するフィルタ／セルが互いに突き合わせられていると仮定している。これは必須ではない。図４Ａは、方形フィルタ・セルの区分を示す。ここでは、各フィルタ・セルの境界は、隣接するフィルタ・セルの境界から離されて調整されうる。これは、図４Ａの斜線領域で示されるように、フィルタ・セル間のデッドスペース又は保護帯を生成するために用いられうる。デッドゾーンは、有利なことにセンサにおけるクロストークを低減するために用いられうる。図４Ｂは、環状フィルタ・セルを用いた類似の例である。

フィルタ・モジュールのフィルタ・セルへの空間区分は、他の方法でもパラメータ化されうる。例えば、パラメータ化は、フィルタ・モジュール内のフィルタ・セルの位置及び／又は大きさの修正を許容するよう設計されうる。全体的な修正が行われてもよく、例えばフィルタ・モジュール全体を拡大縮小してもよい。フィルタ・セルの数は可変であってもよい。

幾つかの例では、フィルタ・セルの光学特性は、推測的に決定されてもよい。このような場合には、空間区分はフィルタ・モジュールを設計する際の主要なタスクである。例えば、特定のスペクトル応答が望ましい場合である（例えば、対象のＲ、Ｇ、Ｂ成分を検出する、異なる成分は業界標準により定められる）。他の例では、フィルタ・セルの光学特性は、空間区分化に加えて繰り返されてよい。画像化システムの残りの部分についても同様である。つまり、幾つかの例では、画像化システムの残りの部分（又は画像化システム内の特定の構成要素）は、性能メトリックに基づき繰り返されてもよい。

上述のように、個々のフィルタ・セルは、異なる形状及び大きさ、つまり長方形、ディスク・セグメント、リング、リング・セグメントを有しうる。どれを選択するかはアプリケーションの要件に部分的に依存する。例えば、環で符号化された開口マスクは、拡張された焦点深度要件に対して幾つかの利点を有する。正方形への区分は、隣接する画像化要素間のクロストークを最小限に保つためにマイクロ画像化アレイ１１４において小さい点広がり関数を必要とするアプリケーションで幾つかの利点を有する。

＜光伝搬＞
この章は、図２の段階２２０の一部の特定の実施、特に光のセンサへの伝搬のモデル化を記載する。図１Ａを参照すると、主レンズ・システム１１２は、焦点長Ｆ及び焦点直径Ｄを有する。マイクロ画像化アレイ１１４はマイクロレンズ・アレイであり、各マイクロレンズは焦点長ｆ及び焦点直径ｄを有する。主レンズ１１２からマイクロ画像化アレイ１１４までの距離はｚ_１であり、マイクロレンズ・アレイ１１４とセンサ１８０との間の距離はｚ_２である。開口平面ＳＰ’内の座標はｕ，ｖにより表され、マイクロレンズ平面ＩＰ内の座標はｘ，ｙにより表され、、センサ平面ＳＰ内の座標はη，ξにより表される。

フィルタ・モジュールは、フィルタ・モジュールの重なり合わないフィルタ・セルのセットへの区分
により記述される。各セルｃ_ｉ，ｉ＝１，．．．，Ｍは、スペクトル応答関数ρ_ｉ（λ）を有し、λは波長パラメータである。

先ず、スペクトル応答ρ^＊を有するフィルタ・モジュール内のこれらのフィルタ・セルを通過する光をモデル化する。これは、開口符号マスクを定めることによりモデル化されうる。開口符号マスクは、２値関数であり、スペクトル応答ρ^＊を有するこれらのセルを通過する光のみを伝達する。このマスクは、次の開口透過関数により与えられる。
ここで、ｕ，ｖは開口平面内の空間座標である。主レンズ及びマイクロレンズを通過してセンサへ向かう波面は、Ｕ_{ｓｅｎｓｏｒ}｛ｔ_ρ｝により表される。主レンズを通過してマイクロレンズ平面（ＭＬＡ平面）へ向かう波面は、Ｕ_ＭＬＡ｛ｔ_ρ｝により表される。

ＭＬＡ平面におけるクロストークは次のように特徴付けられうる。主レンズを通過する光は、理想的にはＭＬＡ平面で焦点が合う。レンズの光行差及び色収差により、この理想的な場合は達成されない。特定の波長の点広がり関数（ＰＳＦ）は、他の波長のＰＳＦよりも長い幅を有し、他のマイクロレンズにも漏洩し、ＭＬＡ平面でクロストークを生じうる。軸上のマイクロレンズにより伝達されセンサに入射するＰＳＦエネルギのスループットは、次のように計算される。

センサにおけるスペクトルのクロストークは次のように特徴付けられうる。センサの開口マスクの画像は、マイクロレンズの倍率因子により拡大縮小された単純に同一の画像ではない。色収差、回折の影響、及びレンズ収差は、画像を歪ませ、開口マスク内で重なり合わないセル同士をセンサ画像内で重なり合わせる。このような重なり合いは、センサ平面でスペクトルのクロストークを引き起こす。従って、セル領域全体ではなく、削減されたセル領域が、フィルタされるべき対象のスペクトル情報を有してもよい。システムの性能を測定するために、クロストークにより影響を受けないスーパーピクセルＳ内のセンサのスペクトル情報を測定する。この目的を達成するために、先ず、次のようにセンサの２つのセル画像間で重なり合う領域を定める。
無駄になったピクセルのセットは次式で表される。
ここで、Ｓは直径ｄのスーパーピクセル内の全てのピクセルを有するセットである。Δ_１及びΔ_２の領域を評価することは、単一のフィルタ応答のみを通過した光に晒されたピクセルのうちのどれだけ多くがスーパーピクセル内にあるかの指標を与える。

所与のアプリケーションでは、フィルタへの特定の分散に従いスペクトル情報をキャプチャすることが望ましい。例えば、バイヤー・パターンでは、緑は人間の視覚システム固有の特性に合っているので、緑は赤及び青に比べて２倍のフィルタを有する。検出又は分類タスクのような他のアプリケーションでは、異なる分散、例えば光スペクトルの青及び赤領域の信号間で際立ったパワーが要求されるために、赤よりも青でより高い応答を有することを望むかも知れない。

一般的なモデルとして、応答ρ_１，．．．，ρ_Ｍを有するＭ個のスペクトル・フィルタに対してα_ｍ，ｍ＝１，．．．，Ｍ、０＜α_ｍ≦１且つΣα_ｍ＝１の離散値により与えられる目標分布を仮定する。.センサ上の場所（η，ξ）で集められた光は、次式により記述される。
ここで、τ（λ）は検出器のスペクトル感度である。軸上の空間位置に対してセンサ測定値から計算される最終的なスペクトル情報は、次式の通りである。
μは積分測度である。一例では、μはルベーグ測度である。目標分布｛α_ｍ｝に合わせるため、センサで集められた情報は次式を満たすべきである。

キャプチャされたスペクトル情報の分布と目標分布との間の相違は、距離メトリックにより示される。

＜幾何光学＞
光線伝達行列を用い、幾何光学を用いて伝搬Ｕの近似を引き出しうる。光線は、光軸から距離ｘ_１で入力平面を横切り同時に光軸と角度θ_１を成す方向に進むとき、システムに入射する。更に光軸に沿った特定の距離では、光線は出力平面を横切り、このとき、光軸からの距離ｘ_２で角度θ_２を成す。これらの量は次式により関連付けられる。
薄いレンズの近似を用いて、この例であるシステムの光線伝達行列を次式のように定めうる。

レンズの焦点長は、レンズを通過する光の波長に依存する。通常、レンズの仕様は、基準波長に対して１つの数として焦点長を与える。他の波長では、焦点特性は少し異なり、画像平面で色収差を生じる。これは、ｆ_λ及びＦ_λがλに依存するので、光線伝達行列Ｕがλに依存することを意味する。

主レンズＤの直径及び特定の基準波長の焦点長Ｆに依存して、該波長で主レンズを通過する全ての光線がマイクロレンズに衝突しなくてもよい。主レンズ・システムの光線伝達行列は次式で与えられるので、
次式の半径のディスク内の主レンズに衝突する平面波からの光線のみが、直径ｄのマイクロレンズに衝突する。

この幾何モデルが与えられると、式（３）及び（４）のＵ_{ｓｅｎｓｏｒ}について式（９）からのＵを減算することにより、重なり合う無駄な領域の観点からセンサにおけるスペクトル・クロストークを特定しうる。

＜バイヤー・フィルタリングの例＞
次に、図３Ｂに示されるようにフィルタ・モジュールが区分された場合に、バイヤー・フィルタリングを実行するよう設計されたシステムを検討する。区分は、内径及び外径ｒ_ｉ，１，ｒ_ｏ，１，ｒ_ｉ，２，ｒ_ｏ，２，ｒ_ｉ，３，ｒ_ｏ，３を有するリングを形成する３つのフィルタ・セルｃ_１、ｃ_２、ｃ_３を有する。ここでｒ_ｉ，１＝０、ｒ_ｏ，１＝ｒ_ｉ，２且つｒ_ｏ，２＝ｒ_ｉ，３である。フィルタ・セルのスペクトル応答はそれぞれρ_１、ρ_２、ρ_３であり、それぞれ中心波長λ_１、λ_２、λ_３により特徴付けられる。各中心波長λ_ｉについて、マイクロレンズ及び主レンズの焦点長ｆ_ｉ及びＦ_ｉを計算しうる。

基準波長λ_ｉ及び平面入射波について、センサに画像化された半径ｒのディスクの空間的広がりは、次式により与えられる。
対応する中心波長のリング半径の画像から、画像化されたリング間の重なり合う無駄な領域を計算しうる。

図５Ａ乃至５Ｃは、フィルタ・モジュール内の赤、緑及び青色フィルタの３つの可能な配置を示す。図５Ａでは、青色フィルタは中央にある。図５Ｂ及び５Ｃは、赤色フィルタが中心にある２つの可能な構成である。これらの構成はそれぞれＢＧＲ、ＲＧＢ及びＲＢＧとして表される。フィルタ・セルは、Ｇフィルタ・セルがＲ又はＧフィルタ・セルの何れかの面積の２倍を有するように大きさを定められ、標準的なバイヤー構成と一致する。中心波長は、λ_Ｂ＝４５０、λ_Ｇ＝５５０、λ_Ｒ＝６５０として選択される。ｚ_１＝５０ｍｍ及びｚ_２＝１．６２５ｍｍに設定する。これは、それぞれ、λ＝５８８における主レンズ及びマイクロレンズの焦点長Ｆ及びｆに等しい。レンズ直径比ｄ／Ｄ＝０．０３２５である。

これらの数値に対し、マイクロレンズによる各フィルタ・セルのセンサへの画像化をシミュレートするために、幾何光学を用いる。

表１は各フィルタ・セルの画像の半径を示す。

表１： 図５のフィルタ・セルの画像の半径
ＢＧＲの列は、ＢＧＲ構成（図５Ａに示される）の場合の結果を示す。表１に示されるように、中心の青色フィルタはｒ_ｏ，１＝０．０１６４を有するディスクに画像化する。中央の環状の緑色フィルタは、内径ｒ_ｉ，２＝０．０１６３及び外径内径ｒ_ｏ，２＝０．０２８２を有する環に画像化する。青色フィルタの画像はｒ_ｏ，１＝０．０１６４で終了するが緑色フィルタの画像はｒ_ｉ，２＝０．０１６３で開始するので、青色フィルタ及び緑色フィルタの画像は重なり合うことに留意する。同様に、ＢＧＲ構成では、緑色フィルタと赤色フィルタの画像も重なり合う。他の２つの構成では、フィルタ・セルの境界でデッドゾーン又は重なり合いが存在する。

次に、青、緑及び赤色フィルタに対し、１：２：１の領域カバレッジに関する制約を与える。この構成は、スーパーピクセル内の死角及び重なり合う領域の量を最小にする。また、１：２：１の領域カバレッジ条件の精度も考慮する。これを行う１つの費用関数は次式の通りである。
α１＝０．２５、α２＝０．５、α３＝０．２５のときのＣＢａｙｅｒの値は、表２に示される。各列は、赤、緑及び青色フィルタ・セルの異なる順序付けである。

表２： フィルタ・セルの異なる順序付けの費用関数

ここで、２つの配置ＢＲＧ及びＲＢＧが、使用不可能なピクセルが最も少なく、６個の異なる配置の中で最良の目標分布１：２：１を維持していることが分かる。この例では、光軸に平行な主レンズに入射する全ての光線がマイクロレンズに衝突することに留意する。これは、一般的に真である必要はない。高い色収差を有するレンズ又は小さいマイクロレンズでは、異なる波長の光に対して、焦点長の変動が増大し、光線がレンズを出てマイクロレンズに衝突しない可能性が増大する。

＜波面収差＞
回折の影響及びレンズ収差を波伝搬の計算に含め、開口及びマイクロレンズをセンサへと通過する波面を記述するため、J.W.Goodman, Introduction to Fourier Optics, McGraw-Hill, New York, １９８６で紹介された演算子記法を用いてフレネル近似により回折積分を求める。焦点長Ｆ及び開口伝達関数
を有するレンズを通過する平面波は、次式で与えられる。
距離ｚにわたる波面Ｕの自由空間伝搬は、次式で与えられる。

従って、この例であるレンズ・システムでは、平面波面のセンサへの伝搬は、次式で与えられる。
ここで、ｔ_ｄは直径ｄのクリア開口の開口伝達関数である。この伝搬は入ってくる平面波を想定する。これは、軸上の点源から来る光が、フィルタ・マスクの挿入面でテレセントリック絞りを有する主レンズへ伝搬していく場合をモデル化している。一般化は、軸外の物点からの及び非テレセントリック主レンズ・システムを通じて伝搬する光を含む。

上述の量Δ_１、Δ_２及びＩ（ρ_ｍ）は、式（２）で導入された波伝搬のＵ_{ｓｅｎｓｏｒ}の表現を用いて計算されうる。

図６Ａ乃至６Ｃは、ＯＰＤ−ＲＭＳ＝０．０１を有する収差主レンズのＭＬＡ平面におけるＰＳＦクロストークを示す。フィルタ・モジュールは、フィルタ・モジュールに対してＢＧＲ構成を用いる（図５Ａ）。主レンズの直径Ｄ＝４ｃｍ、マイクロレンズの直径Ｄ_ＭＬＡ＝１３０ミクロン、ｚ_１＝５０ｍｍ及びｚ_２＝１．６５０ｍｍである。図６Ａは、青色フィルタ・セルを通じて進む光により生成された、ＭＬＡ平面における強度分布を示す。図６Ｂ及び６Ｃは、それぞれ緑及び赤色フィルタ・セルを通じて進む光により生成された、ＭＬＡ平面における強度分布を示す。図７Ａ乃至７Ｃは、無収差マイクロレンズと仮定して、この同一であるがセンサ平面へ伝搬した光を示す。図７Ａは、青色フィルタ・セルを通じて進む光により生成された、センサ平面における光分布を示す。同様に、図７Ｂ及び７Ｃは、それぞれ緑及び赤色フィルタ・セルを通じて進む光により生成された、センサ平面における光分布を示す。図８Ａ乃至８Ｃは、図７Ａ乃至７Ｃと同じであるが、ＯＰＤ−ＲＭＳ＝０．０５を有する収差マイクロレンズを仮定している。回折効果は明白である。図６乃至８中の色は、波長ではなく相対強度を示すために用いられた疑似色であることに留意する。

図９及び１０は、類似の図であるが、ＲＢＧ構成（図５Ｃ）を用いている。図９Ａ乃至９Ｃは図６Ａ乃至６Ｃに対応し、ＯＰＤ−ＲＭＳ＝０．０１を有する収差主レンズのＭＬＡ平面における光分布を示す。図９Ａは青色フィルタの場合、図９Ｂは緑色フィルタの場合、図９Ｃは赤色フィルタの場合である。フィルタ・モジュール内のフィルタ・セルの順序は異なるが、波長は図６乃至８と同じ順序で現れ比較を容易にする。図１０Ａ乃至１０Ｃは図８Ａ乃至８Ｃに対応し、ＯＰＤ−ＲＭＳ＝０．０５を有する収差マイクロレンズを仮定した、センサ平面における光分布を示す。無収差マイクロレンズの場合は、本願明細書で提示されない。幾何の場合と同様に、ＢＧＲパターンより優れているＲＢＧパターンは、緑色フィルタを外側に赤色フィルタを内側に配置し、結果としてセンサにおいて少ないクロストークしか生じない。

＜最適化に関する詳細＞
フィルタ・モジュールの空間区分の設計は、最適化問題として説明されうる。つまり、特定の性能メトリックが与えられた場合に、空間区分を形成するフィルタ・セルのパラメータを最適化する。図３Ｇの区分を例として検討する。各フィルタ・セルはリング・セグメントである。リング・セグメントは、内径ｒ_０、幅δ（従って、外径はｒ_０+δである）、角度オフセットφ_０及び角度の広がりφ（従って、リング・セグメントはφ_０からφ_０＋φまで延在する）により定められる。区分Ｐ_Ｒは、ディスクをＮ個の入れ子リングＲ_ｎに分割する。各リングＲ_ｎは、ｒ_{０，ｎ，ｍ}、δ_ｎ、φ_ｎ，ｍ及びφ_{０，ｎ，ｍ}によりパラメータ化されたＭ（ｎ）個のリング・セグメントｃ_ｎ，ｍに分割される。各リング・セグメント（つまり、フィルタ・セル）はスペクトル応答関数ρ_ｎ，ｍ（λ）を有する。区分Ｐ_Ｒの例では、最適なリングの幅及び最適なリング・セグメントの角度の広がりを、アプリケーション固有の費用関数Ｃを最小化することに従って決定することが望ましい。この問題に答えるため、以下の条件付き最適化問題を設定する。
最小化：Ｃ（ｘ） （１８）
条件：ｇ（ｘ）≦０、ｈ（ｘ）≦０
最適化変数：
ここで、
ここで、ｇは線形制約関数、ｈは例えばセル領域の下限を計算するために用いられうる非線形制約関数である。

区分Ｐ_Ｒの例では、線形制約は次のようになる。

変数オフセットｖ＝（ｖ_１，ｖ_２）を有する固定半径区分の配置では、最適化問題は次のようになる。
最小化：Ｃ（Ｐ_ｘ） （２０）
条件：０≦ｘ_１≦Ｒ
０≦ｘ_２≦Ｒ
ｈ（ｘ）≦０
最適化変数：

これらの例の費用関数は、ＭＬＡ平面におけるクロストークに加え、センサにおけるスペクトル・クロストーク及び異なるスペクトル・フィルタにわたってキャプチャされた情報の分布も考慮するよう設計される。これらの指標は、特定領域にわたる波伝搬及び積分に基づくので、それらは極めて非線形であり非凸形である。従って、一般的に、最適化問題を凸形であると仮定できず、非凸形の制約の最適化問題に適用される解法を用いることが望ましい。

費用関数についての１つの選択肢は、幾何光学近似を適用するバイヤー・パターンの評価に用いられる費用関数を式（１４）から次式のように一般化することである。
ここで、｛α_ｍ｝_{ｍ＝１，．．．，Ｍ}は目標分布である。

費用関数についての別の選択肢は、マイクロレンズの光スループットによりセンサでキャプチャされる情報を重み付けすることを含む。
又は、量Δ_１及びΔ_２により評価される、センサ上の使用不可能ピクセルの量を考慮することである。
代替の費用関数は次の通りである。
ここで、重み０≦ｗ_ｉ≦１、且つΣ_ｉｗ_ｉ＝１である。

最適化問題（１８）は、非線形制約関数ｈを有する。この関数は、センサ上の最小分解可能スポット・サイズ及びマイクロレンズの倍率因子に依存するフィルタ・セルの大きさの下限を計算しうる。開口平面上のマイクロレンズを通じて投影された、センサ上の最小分解可能スポット・サイズの大きさの円は、Δｕと表される。

マイクロレンズ・システムの最小分解可能スポット・サイズΔｓ_λは、レイリーの基準を適用することにより次のように記述される。
ここで、ＮＡ_ＭＬＡはマイクロレンズ・システムの開口数である。結果として、マイクロレンズの焦点長は、最小分解可能スポット・サイズが少なくとも１つのセンサ・ピクセルに及ぶように設定されるべきである。
ここで、最小化はｊにわたる。

最小分解可能スポット・サイズを開口平面に投影するために、マイクロレンズの倍率Ｍを考慮すると、結果として生じるフィルタ・アレイ内のフィルタ・セルｃ_ｉのサイズδｕ（ｉ）は、セルのスペクトル応答に依存し、次式を満たす。

フィルタ・セルが直径ｄの環である場合、制約関数ｈを次のように設定する。
ここで、γはスカラ＞０であり、アプリケーションの仕様が与えられた場合に最小フィルタ・セグメント・サイズを調整可能にするために導入される。

フィルタ・セルがリング・セグメントである場合、セグメントの最小セグメント・サイズは、内接円、つまりセグメントの内側に描ける最大の円の半径により概算され、ｍｉｎ（δ_ｎ／２，（ｒ_ｎ＋δ_ｎ／２）ｓｉｎφ_ｎ，ｍ）である。また、制約関数ｈは次式の通りである。
ここで、γ∈Ｒはスカラであり、アプリケーションの仕様が与えられた場合に最小フィルタ・セグメント・サイズを調整可能にするために導入される。

区分が上述のようにパラメータ化される場合、最適化問題は条件付き最適化により解決されうる。代替として、区分が固定された大きさだが柔軟なスペクトル応答を有するセルの集まりである場合、二分探索法のような組合せ最適化方法が用いられうる。

＜具体例＞
３つの具体的な例であるアプリケーションを記載する。第１の例は、バイヤー・パターン型フィルタで写真情報をキャプチャすることである。第２のアプリケーションでは、フィルタ・モジュールは、異なるキャプチャされたスペクトル画像に対して等しい信号対雑音比のように設計される。第３のアプリケーションは、雑音中の信号を検出する。３つの全てのアプリケーションは、同一の設計パラメータを用いる。つまり、主レンズの直径Ｄ＝４０ｍｍ、主レンズの焦点長＝５０ｍｍ、マイクロレンズの直径ｄ＝１３０ミクロン、及びマイクロレンズの焦点長＝１．６５０ｍｍである。

＜写真アプリケーション＞
図５Ｃに示されたＲＢＧバイヤー・パターンを用いるフィルタ・モジュールを検討する。この場合、リング・セグメントは完全な環（リング）であり、区分のパラメータ記述はＮ＝３、Ｍ（１）＝Ｍ（２）＝Ｍ（３）＝１；φ_１，１＝φ_２，１＝φ_３，１＝２π、φ_{０，１，１}＝φ_{０，２，１}＝φ_{０，３，１}＝０である。これは、２つの最適化変数δ_１、δ_２のみを有することを意味する。３つのＲＧＢフィルタのスペクトル応答をシミュレートするために、ρ_１＝４５０ｎｍ、ρ_２＝５５０ｎｍ、ρ_３＝６５０ｎｍを選択する。

環の幅δ_１、δ_２を最適化するために、式（２３）から費用関数Ｃ_３を用いる。最適化のための計算は、Ｍａｔｌａｂ最適化ルーチンｆｍｉｎｃｏｎを用いて実行される。フィルタ・セルの大きさに関する非線形性の制約は、γ＝２について式（２７）の制約を用いる。表３は、最適化の結果を示す。列「ＲＢＧ １：２：１」は最適化されていない区分であり、環の幅は開口平面のＲ、Ｇ及びＢに対して１：２：１の面積比を完全に実施するように選択される。列「最適化されたＲＢＧ」は上述のように最適化された区分を示す。

表３： １：２：１区分と最適化された区分との比較

最適化された区分では、最適化されない場合に比べて、内側の赤色リングの幅は減少され、中間の青の幅は増大される。最適化されていない区分はフィルタ・モジュールにおいて正確に１：２：１の領域カバレッジを有するが、最適化された区分は、センサ平面において良好に近似された１：２：１の領域カバレッジ特性を有する。調整されたリング直径を有する最適化された区分は、最適化されていない場合に比べて、Ｂ及びＧ帯のクロストークを低減すると同時に、センサにおいて１：２：１比の良好な近似を達成する（表の最後の３行）。

＜ＳＮＲの均一化＞
検出器の応答は、標準的に該検出器の波長範囲にわたり一定ではない。殆どのシリコン検出器は、緑色領域よりも青色領域のほうが感度が低い。従って、ＲＧＢ画像の青色チャネルは、緑色チャネルよりも屡々雑音が多い。このような感度の損失及び関連する雑音の増大を補償するために、キャプチャされた情報の信号対雑音比が一定になるようにフィルタ・モジュールを設計しうる。このために、σ（ｎ）を強度Ｊ（ρ_ｎ）のピクセル毎の変動として定め、一定であり、全ての（ｓ，ｔ）∈Ａ_ｎ、Ａ_ｎはセンサ平面における領域であり、応答ρ_ｎによりフィルタされた信号のスペクトル応答を受けるピクセルを有するとする。ピクセル毎のＳＮＲは次式のように定められる。
ここで、
はρ_ｎからの応答を得るスーパーピクセル内の全てのピクセルにわたる平均を表す。スーパーピクセルのＳＮＲは次式のように定められる。
ここで、｜Ａ_ｎ｜は領域Ａ_ｎ内に含まれるピクセルの数を表す。

次に、放射状フィルタ区分のパラメータを次のように計算する。
一般的な最適化の枠組みは、以下の通りである。

幾何無収差モデルに対して最適化の枠組みを分析する。この例では、点源が与えられると、全てのｓ，ｔ∈ＡｎについてＪ_{ｓｅｎｓｏｒ}（ρ_ｎ）（ｓ，ｔ）＝一定である。従って、次式の通りである。
ここで、（ｓ_ｎ，０，ｔ_ｎ，０）はＡ_ｎの内側の基準点である。領域Ａ_ｎにわたりＪ_{ｓｅｎｓｏｒ}（ρ_ｎ）を積分することにより得られる情報は次の通りである。
ここで、Ａ_０はスーパーピクセル内の開口の画像の領域であり、０＜β_ｎ≦１、ａｒｅａ（Ａ_ｎ）＝β_ｎａｒｅａ（Ａ_０）である。開口が等しい大きさの４つのフィルタ・セルに区分される場合、各セグメントｎ＝１，．．．，４についてβ_ｎ＝１／４である。

開口ディスク全体のセグメントを有する区分、つまりＮ＝１、δ_１＝Ｒと仮定すると、０＜β_ｎ＜１且つΣ_ｎβ_ｎ＝１を有する目標分布｛β_１，．．．β_２｝を探す。従って、次の通りである。

全てのｎ＝１，．．．，Ｎに対してσ（ｎ）が一定である特別な場合には、上述の最適化問題に対する解は次式で与えられる。

例として、雑音中の人間の皮膚反射スペクトルの信号について等しいＳＮＲのフィルタ・モジュールを設計することを検討する。物体の線源スペクトル放射輝度ｙ（λ）が与えられると、センサのピクセルで測定される該信号の強度は、次のように表される。

図１１Ａ乃至１１Ｃは、それぞれ皮膚ｙ、検出器τ、及び４つのフィルタ・セルρ_１，．．．，ρ_４のスペクトル応答を示す。スペクトル応答は、中心波長λ_１＝４５０ｎｍ、λ_２＝５４０ｎｍ、λ_３＝５５７ｎｍ及びλ_４＝６５０ｎｍを有するインパルス応答としてモデル化される。雑音の相関行列Ｃが同一の行列である、つまりｎ＝１；：：：；４についてρ（ｎ）＝１と仮定する。レンズのパラメータは、表３で与えられたのと同じである。最適化されたフィルタ区分のパラメータ化は、式（３５）を用いて計算される。結果として得るフィルタ・モジュールは図１２に示される。数値は、φ_１，１＝（．５０７４）２π、φ_１，２＝（．２８２０）２π、φ_１，３＝（．１５９７）２π、φ_１，４＝（．０５０８）２πである。

＜整合フィルタを用いたＳＮＲの最大化＞
この例では、所与のスペクトル・シグニチャ及び雑音分布に対して、フィルタ・セルが整合フィルタをもたらすという目標が与えられた場合に、フィルタ区分をどのように最適化するかという問題を解決する。Ｎ個のスペクトル・フィルタにより得られる測定値は、次式によりモデル化される。ｘ（ｎ）＝ｘ（ｎ）＋ｗ（ｎ） （３７）
ここで、ｚは既知のスペクトル・シグニチャ、ｗはｎ＝１，．．．，Ｎ、Ｎ＝サンプル数のときの雑音である。ｗは、相関行列Ｃとしてガウス雑音ｗ〜Ｎ（０，Ｃ）であると仮定する。最適線形整合フィルタは次式で与えられる。
また、最適線形整合フィルタはＦＩＲフィルタの出力でＳＮＲを最大化する。スペクトル検出タスクで用いられる種々の整合フィルタは、二次の制約整合フィルタ
及び強靱な整合フィルタ
を有する。
ここで、負荷率δ_ｈ及び
（外1）
である。

整合フィルタｈの係数をセンサ平面におけるスペクトル情報の目標分布として解釈する。上述の枠組みを用いて、α＝ｈ／Σｈ_ｎを設定することにより、上述の最適化の枠組みを整合フィルタ分布の最適化に適用しうる。

以下の結果は、前の章に記載した検出実験で用いられたのと同じ試験データに基づく。

信号ｚは、スーパーピクセルから抽出された情報である。つまり、ｙ＝ｈ^τｚ＝［Ｉ（ρ_ｎ）］である。また、雑音は共分散行列Ｃ＝ｄｉａｇ［σ（ｎ）］^２を有するガウス分布であるとする。

幾何無収差モデルでは、ｚはｚ＝Ｊ_{ｓｅｎｓｏｒ}（ρ_ｎ）（ｓ_ｎ，０，ｔ_ｎ，ｏ）に減少し、ｈのフィルタ・タップは量｜Ａ_ｎ｜を表す。図１１Ａ乃至１１Ｃに示された皮膚信号、フィルタ応答及び検出器応答では、測定データはｚ＝［０．９４２７，１．２６４６，１．６８０３，２．９７８３］になる。Ｃ＝ｄｉａｇ［１，１，１，１］の場合、式（３８）からの整合フィルタは、ｈ＝［０．０６６５，０．０８９２，０．１１８５，０．２１００］である。フィルタ・エントリの制約を要約して２πに適合するように正規化した後、整合フィルタに対応する角度の広がりはφ_１＝０．８６２７、φ_２＝１．１５７３、φ_３＝１．５３７７、φ_４＝２．７２５５である。対照的に、Ｃ＝ｄｉａｇ［０．５^２，１，１，０．８^２］の共分散では、整合フィルタはｈ＝［０．１７２７，０．０５７９，００７６９，０．２１３１］であり、φ_１＝２．０８３９、φ_２＝０．６９８９、φ_３＝０．９２８６、φ_４＝２．５７１８を有するフィルタ区分をもたらす。

レンズ収差と共に回折効果を有する回折モデルでは、上述の最適化の枠組みを、整合フィルタｈ＝［０．０６６５，０．０８９２，０．１１８５，０．２１００］に対応するＣ＝ｄｉａｇ［１，１，１，１］から得た目標分布α＝［０．１３７３，０．１８４２，０．２４４７，０．４３３７］に適用する。得られた最適化された結果は表４に示される。最適化されない場合の費用関数の値は０．２５４９である。最適化さた結果の費用関数の値は０．２２８０である。最適化された空間区分は、最適化されていないフィルタ・パターンを回転したものである。更なる詳細は表４に示される。

表４： 最適化された整合フィルタと最適化されていない整合フィルタとの比較

＜検出アプリケーション＞
この例では、システムが検出タスクのために設計されている場合に、フィルタ区分をどのように最適化するかという問題を解決する。ガウス雑音中の信号の検出問題は、次式で表される。
ここで、ｚは決定論信号、ｗは雑音、ｘ（ｎ）は観測結果、ｎ＝１，．．．，Ｎ、Ｎ＝サンプル数である。ｗは、相関行列Ｃとしてガウス雑音ｗ〜Ｎ（０，Ｃ）であると仮定する。この検出問題では、試験関数は次の通りである。
Ｔ（ｘ）＝ｘ^ＴＣ^−１ｚ （４１）
次の偏向率を有する。
ｄ^２＝ｚ^ＴＣ^−１ｚ （４２）
分類性能は最大偏向率に対して最適化される。

我々のシステムでは、信号ｚは、スーパーピクセル内の所与のスペクトル応答ρ_ｎが与えられた場合に、区分セルの画像により覆われた領域Ａ_ｎにわたり積分された検知されたスペクトル・データである。
ｚ（ｎ）＝Ｉ（ρ_ｎ），ｎ＝１，．．．，Ｎ （４３）
ここで、Ｉ（ρ_ｎ）は、スペクトル応答ρ_ｎの検出器データから計算された情報である。雑音は、積分領域Ａ_ｎにわたり積分されたピクセル雑音である。ピクセル雑音がガウス分布Ｎ（０，Ｃｐ）であると見なされる場合、スーパーピクセル測定について得られた雑音は、分布Ｎ（０，Ｃ）である。ここで、Ｃは次の変数の相関行列であり、
（ｗｋ（ｋ））は多変量ガウス分布Ｎ（０，Ｃｐ）である。最適化の枠組みは、以下のように記載される。

以上の記載は多くの詳細を含むが、これらは本発明の範囲を制限しない。これらは単に本発明の異なる例及び態様の説明と考えられる。本発明の範囲は、上述の詳細に記載されていない他の実施形態を含むことが理解される。例えば、他の実施形態は、例えば信号及び雑音がガウス分布としてモデル化されるとき、バッタチャリャ距離のような分類性能を評価する費用関数を含んでもよい。代替の分類性能測定は、ハイパースペクトル画像化アプリケーションの帯域選択で用いられる構造化バックグラウンド・モデルを有してもよい。別の実施形態では、費用関数は、人間の視覚システムのＲＧＢ性能と関連して、光学的バックグラウンド中の単一分子の検出性能を評価してもよい。このようなアプリケーションは、領域のＲＧＢ画像及び蛍光信号応答が１つの画像化経路でキャプチャされるべき場合に、蛍光画像化で生じる。

フィルタ区分の配置は、マルチモーダル検出と一緒に画像に再び焦点を合わせることを可能にするよう変更されうる。このようなアプリケーションの費用関数は、再び焦点を合わされた各画像の鮮明さを試験するための鮮明さのメトリックのようなメトリックを各画像化モダリティの重み付けと結合しうる。画像解像度、再焦点平面の数、複数の画像化モダリティ（フィルタ区分）の間の適切なトレードオフを保証するメトリックもありうる。クロストークのような回折効果の不利益もありうる。

当業者に明らかな種々の他の修正、変更、及び変形が、添付の特許請求の範囲に定められた本発明の精神及び範囲から逸脱することなく、本願明細書に開示された本発明の方法及び装置の配置、動作及び詳細について行われてもよい。従って、本発明の範囲は、添付の特許請求の範囲及びその法的等価物により定められるべきである。

１１０ 開口多重画像化システム
１１２ 光学画像化グループ
１１４ マイクロ画像化アレイ
１１５ 画像形成要素
１２５ フィルタ・モジュール
１２７Ａ−Ｄ フィルタ・セル
１５０ 対象
１５５、１５５Ａ−Ｄ 光学画像
１７０ 合成光学画像
１７０Ａ−Ｄ 光学画像
１８０ センサ組立体
ＳＰ センサ平面
ＳＰ’ 共役面
ＩＰ マイクロレンズ平面

Claims (20)

1. コンピュータにより実施される方法であって、
   開口多重画像化システムで用いるためのフィルタ・モジュールを設計し、
   前記開口多重画像化システムは、所定のタスクを実行し、
   前記開口多重画像化システムは、対象の多重化画像をキャプチャするセンサを有し、
   前記フィルタ・モジュールは、前記センサの共役面内にほぼ位置付けられ、前記多重化画像の開口符号化を提供し、
   当該方法は、コンピュータ・システムが、
   前記画像化システムにより画像化されるべき対象のモデルを受ける段階、
   前記フィルタ・モジュールの設計の候補を受ける段階であって、該フィルタ・モジュールの設計の候補は、前記フィルタ・モジュール内のフィルタ・セルの空間区分の候補を有する、段階、
   前記対象の多重化画像を形成する前記画像化システムをシミュレートする段階であって、各多重化画像は前記フィルタ・モジュールの候補により開口符号化される、段階、
   前記シミュレートされた多重化画像に応じて、性能メトリックを計算する段階であって、該性能メトリックは前記所定のタスクを示す、段階、
   前記計算された性能メトリックに基づき、前記フィルタ・セルの空間区分の候補を修正する段階、
   を実行する、
   ことを特徴とする方法。
2. 前記フィルタ・セルの空間区分は、方形フィルタ・セルのアレイであり、
   前記空間区分の候補を修正する段階は、フィルタ・セル間の行及び／又は列の境界を修正する段階を有する、
   ことを特徴とする請求項１に記載の方法。
3. 前記フィルタ・セルの空間区分は、環状フィルタ・セルの同心アレイであり、
   前記空間区分の候補を修正する段階は、フィルタ・セル間の境界を修正する段階を有する、
   ことを特徴とする請求項１に記載の方法。
4. 前記フィルタ・セルの空間区分は、セクタに成形されたフィルタ・セルの極性のあるアレイであり、
   前記空間区分の候補を修正する段階は、フィルタ・セル間の境界を修正する段階を有する、
   ことを特徴とする請求項１に記載の方法。
5. 前記極性のあるアレイは、中心がずれており、
   前記空間区分の候補を修正する段階は、前記極性のあるアレイの原点の位置を修正する段階を更に有する、
   ことを特徴とする請求項４に記載の方法。
6. 前記フィルタ・セルの空間区分は、環状セクタ形状を有するフィルタ・セルの同心アレイであり、
   前記空間区分の候補を修正する段階は、フィルタ・セル間の半径及び／又は角度を形成する境界を修正する段階を有する、
   ことを特徴とする請求項１に記載の方法。
7. 前記空間区分の候補を修正する段階は、前記フィルタ・モジュール内のフィルタ・セルの位置を修正する段階を有する、
   ことを特徴とする請求項１に記載の方法。
8. 前記空間区分の候補を修正する段階は、前記フィルタ・モジュール内のフィルタ・セルの大きさを修正する段階を有する、
   ことを特徴とする請求項１に記載の方法。
9. 前記空間区分の候補を修正する段階は、前記空間区分の候補の大きさを拡大縮小する段階を有する、
   ことを特徴とする請求項１に記載の方法。
10. 前記空間区分の候補を修正する段階は、前記フィルタ・モジュール内のフィルタ・セルの総数を変更する段階を有する、
    ことを特徴とする請求項１に記載の方法。
11. 前記フィルタ・モジュールは、フィルタ・セル間の保護帯を更に有し、
    前記空間区分の候補を修正する段階は、前記保護帯の大きさ及び／又は位置を修正する段階を有する、
    ことを特徴とする請求項１に記載の方法。
12. 各フィルタ・セルは、光学特性により特徴付けられ、
    当該方法は、
    前記計算された性能メトリックに基づき、少なくとも１つのフィルタ・セルの前記光学特性を修正する段階、
    を更に有する請求項１に記載の方法。
13. 前記光学特性はスペクトル・フィルタ応答である、
    ことを特徴とする請求項１２に記載の方法。
14. 前記光学特性は偏光フィルタ応答である、
    ことを特徴とする請求項１２に記載の方法。
15. 前記性能メトリックを改良することは、隣接する多重化画像の前記開口符号化間のクロストークを低減する、
    ことを特徴とする請求項１に記載の方法。
16. 異なるフィルタ・セルは、異なるスペクトル・フィルタ応答により特徴付けられ、
    前記性能メトリックは、隣接する多重化画像間のスペクトル・クロストークを低減する、
    ことを特徴とする請求項１４に記載の方法。
17. 前記計算された性能メトリックに基づき、前記フィルタ・モジュールの設計の候補を修正する段階と共に、前記画像化システムの設計を修正する段階、
    を更に有する請求項１に記載の方法。
18. 前記所定のタスクは、該所定のタスクのスペクトル特性に基づく物質の検出である、
    ことを特徴とする請求項１に記載の方法。
19. 前記所定のタスクは、雑音中の対象の存在の検出である、
    ことを特徴とする請求項１に記載の方法。
20. ソフトウェア命令を有する有形コンピュータ可読媒体であって、
    コンピュータ・システムで実行されると、該コンピュータ・システムに、
    画像化システムにより画像化されるべき対象のモデルを受ける段階、
    フィルタ・モジュールの設計の候補を受ける段階であって、該フィルタ・モジュールの設計の候補は前記フィルタ・モジュール内のフィルタ・セルの空間区分の候補を有する、段階、
    前記対象の多重化画像を形成する前記画像化システムをシミュレートする段階であって、各多重化画像は前記フィルタ・モジュールの候補により開口符号化される、段階、
    前記シミュレートされた多重化画像に応じて性能メトリックを計算する段階であって、該性能メトリックは前記所定のタスクを表す、段階、
    前記計算された性能メトリックに基づき、前記フィルタ・セルの空間区分の候補を修正する段階、
    を実行させる、
    ことを特徴とする有形コンピュータ可読媒体。