WO2024142683A1 - 光検出装置、光検出システム、およびフィルタアレイ - Google Patents

Abstract

光検出装置は、Ｎ個の画素を備える光検出装置であって、前記Ｎ個の画素の各々は、光学フィルタと、前記光学フィルタを透過した光を検出する光検出素子とを含み、前記光検出素子から出力される信号には、対象波長域に含まれる４つ以上の波長バンドの情報が重畳されており、前記Ｎ個の画素のうち、第ｉの画素（ｉ＝１、２、・・・、Ｎ）に含まれる前記光学フィルタの透過率の波長依存性と、前記第ｉの画素に含まれる前記光検出素子の検出感度の波長依存性とに基づく、前記第ｉの画素の実効感度の、前記対象波長域における平均値をμ_ｉとし、μ_１～μ_Ｎのうち、最低値をμ_ｍｉｎとすると、μ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）＞０．５である。

Description

光検出装置、光検出システム、およびフィルタアレイ

　本開示は、光検出装置、光検出システム、およびフィルタアレイに関する。

　圧縮センシングは、観測対象のデータ分布が、周波数空間のようなある空間においてスパース（疎）であると仮定することにより、観測されたデータよりも多くのデータを復元する技術である。圧縮センシングは、例えば、少数の観測データからより多くの情報を含む画像を復元する撮像装置に適用され得る。圧縮センシングが適用された撮像装置は、対象物のスペクトル情報が圧縮された画像から、演算によって復元画像を生成する。その結果、例えば画像の高解像化、多波長化、撮像時間の短縮、または高感度化などの種々の効果を得ることが可能になる。

　特許文献１は、各々が狭帯域である複数の波長バンドの画像を取得するハイパースペクトルカメラに圧縮センシング技術を適用した例を開示している。特許文献１に開示された技術によれば、高解像度かつ多波長の画像を生成するハイパースペクトルカメラを実現することができる。

米国特許第９５９９５１１号明細書

　本開示は、ハイパースペクトルカメラに利用でき、ノイズの影響を低減することが可能な光検出装置を提供する。

　本開示の一態様に係る光検出装置は、Ｎ個の画素を備える光検出装置であって、前記Ｎ個の画素の各々は、光学フィルタと、前記光学フィルタを透過した光を検出する光検出素子とを含み、前記光検出素子から出力される信号には、対象波長域に含まれる４つ以上の波長バンドの情報が重畳されており、前記Ｎ個の画素のうち、第ｉの画素（ｉ＝１、２、・・・、Ｎ）に含まれる前記光学フィルタの透過率の波長依存性と、前記第ｉの画素に含まれる前記光検出素子の検出感度の波長依存性とに基づく、前記第ｉの画素の実効感度の前記対象波長域における平均値をμ_ｉとし、μ_１～μ_Ｎのうち、最低値をμ_ｍｉｎとすると、

である。

　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ‐Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

　本開示の技術によれば、ハイパースペクトルカメラに利用でき、ノイズの影響を低減することが可能な光検出装置を実現できる。

図１Ａは、光検出システムの構成例を模式的に示す図である。 図１Ｂは、光検出システムの他の構成例を模式的に示す図である。 図１Ｃは、光検出システムのさらに他の構成例を模式的に示す図である。 図１Ｄは、光検出システムのさらに他の構成例を模式的に示す図である。 図２Ａは、フィルタアレイの例を模式的に示す図である。 図２Ｂは、対象波長域に含まれる複数の波長バンドの各々の光についての透過率の空間分布の一例を示す図である。 図２Ｃは、図２Ａに示すフィルタアレイに含まれる領域Ａ１の分光透過率の例を示す図である。 図２Ｄは、図２Ａに示すフィルタアレイに含まれる領域Ａ２の分光透過率の例を示す図である。 図３Ａは、対象波長域と、それに含まれる複数の波長バンドとの関係の例を説明するための図である。 図３Ｂは、対象波長域と、それに含まれる複数の波長バンドとの関係の他の例を説明するための図である。 図４Ａは、フィルタアレイのある領域における分光透過率の特性を説明するための図である。 図４Ｂは、図４Ａに示す分光透過率を、波長バンドごとに平均化した結果を示す図である。 図５は、ノイズが０％および２％である場合の、圧縮画像と、ある波長バンドについての復元画像の誤差マップとを示す図である。 図６は、ノイズが２％である場合の、圧縮画像内の各画素の輝度値と、ハイパースペクトル画像内の対応する画素における復元誤差の増加量との関係を示すグラフである。 図７は、圧縮画像における輝度値とノイズ量との関係の測定結果を示すグラフである。 図８は、圧縮画像に実測したノイズを重畳した場合の、圧縮画像内の各画素の輝度値と、ハイパースペクトル画像内の対応する画素における復元誤差の増加量との関係を示すグラフである。 図９Ａは、対象物が白板である場合の、異なるμ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）についての圧縮画像の例を示す図である。 図９Ｂは、異なるμ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）についての圧縮画像の輝度値から得られるヒストグラムの例を示すグラフである。 図１０Ａは、対象物の例を模式的に示す図である。 図１０Ｂは、フィルタアレイの例を模式的に示す図である。 図１０Ｃは、圧縮画像の例を模式的に示す図である。 図１１は、汎用性のあるフィルタアレイの例を模式的に示す図である。 図１２は、フィルタアレイの製造方法の例を概略的に示すフローチャートである。 図１３Ａは、複数の波長バンドの各々の光についての圧縮画像の輝度値の空間パターンを模式的に示す図である。 図１３Ｂは、第ｋの波長バンドの光についての圧縮画像の輝度値から得られるヒストグラムの例を模式的に示す図である。 図１４は、ランダムノイズが重畳された圧縮画像の例を模式的に示す図である。 図１５Ａは、あるフィルタアレイに含まれるフィルタの透過スペクトルの例を示す図である。 図１５Ｂは、圧縮画像にランダムノイズが重畳された場合の、５つの波長バンドについての正解画像と復元画像との間のＭＳＥの平均値を示す図である。 図１６は、σ_ｋ＝０．０８である場合の、複数の波長バンドについての正解画像と復元画像との間のＭＳＥの平均値と、Ｍ_ｋ＝μ_ｋ-σ_ｋとの関係を示す図である。 図１７Ａは、σ_ｋ＝０．０５である場合の、複数の波長バンドについての正解画像と復元画像との間のＭＳＥの平均値と、Ｍ_ｋ＝μ_ｋ-σ_ｋとの関係を示す図である。 図１７Ｂは、σ_ｋ＝０．０７である場合の、複数の波長バンドについての正解画像と復元画像との間のＭＳＥの平均値と、Ｍ_ｋ＝μ_ｋ-σ_ｋとの関係を示す図である。 図１７Ｃは、σ_ｋ＝０．１である場合の、複数の波長バンドについての正解画像と復元画像との間のＭＳＥの平均値と、Ｍ_ｋ＝μ_ｋ-σ_ｋとの関係を示す図である。 図１８Ａは、フィルタアレイの第１の例を模式的に示す図である。 図１８Ｂは、フィルタアレイの第２の例を模式的に示す図である。 図１９Ａは、複数の光学フィルタと複数の光検出器の例を示す。 図１９Ｂは、複数の光学フィルタと複数の光検出器の例を示す。 図１９Ｃは、光学フィルタｆ_ｉが被写体からの光Ｉinを受取ると光学フィルタｆ_ｉは光Ｉout_ｉを出力すること、及び、光検出器ｄ_ｉが光Ｉout_ｉを検出すると信号ｓ_ｉを出力することを示す。

　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成（ｒｅｃｏｎｆｉｇｕｒａｔｉｏｎ）またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。

　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。

　本開示において、「光」とは、可視光（波長が約４００ｎｍ～約７００ｎｍ）だけでなく、紫外線（波長が約１０ｎｍ～約４００ｎｍ）および赤外線（波長が約７００ｎｍ～約１ｍｍ）を含む電磁波を意味する。

　以下、本開示の例示的な実施形態を説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。

　本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。

　スパース性とは、観測対象を特徴づける要素が、周波数空間のようなある空間においては疎ら（スパース）に存在しているという性質である。スパース性は、自然界において広く見られる。スパース性を利用することにより、必要な情報を効率的に観測することが可能になる。スパース性を利用したセンシング技術は、圧縮センシング技術と呼ばれる。圧縮センシング技術を利用することにより、高効率なデバイスおよびシステムの構築が可能である。

　圧縮センシング技術の具体的な応用例として、例えば、特許文献１に開示されているような波長分解能を向上させたハイパースペクトルカメラが提案されている。当該ハイパースペクトルカメラは、例えば、空間および／または波長について不規則な光透過特性を有する光学フィルタを備える。そのような光学フィルタを「符号化マスク」とも称する。符号化マスクは、イメージセンサに入射する光の光路上に配置され、対象物から入射する光を、領域によって異なる光透過特性で透過させる。符号化マスクによるこの過程を「符号化」と称する。符号化マスクを介して取得された対象物の画像には、対象物のスペクトル情報が圧縮されている。当該画像を「圧縮画像」と称する。符号化マスクの光透過性を示すマスク情報は、復元テーブルとして予め記憶装置に記憶されている。

　ハイパースペクトルカメラに含まれる処理装置は、圧縮画像および復元テーブルに基づいて復元処理を行う。復元処理により、より高解像度の画像情報、またはより多くの波長の画像情報などの、圧縮画像よりも多くの情報を有する復元画像が生成される。復元テーブルは、例えば、符号化マスクの光応答特性の空間分布を示すデータであり得る。そのような復元テーブルに基づく復元処理により、１つの圧縮画像から、対象波長域に含まれる複数の波長バンドにそれぞれ対応する複数の復元画像を生成することができる。

　実際には、上記の圧縮画像に、読み出しノイズ、光ショットノイズ、および固定パターンノイズなどの様々なノイズが重畳され得る。ノイズは、復元画像の生成において、復元誤差を増加させる。

　ハイパースペクトルカメラに利用できる本開示の実施形態による光検出装置は、この課題を解決することができる。当該光検出装置は、各々が光学フィルタと光検出素子とを含むＮ個の画素を備える。各画素に含まれる光学フィルタおよび光検出素子を適切に設計することにより、ノイズが復元画像に及ぼす影響を低減することができる。

　（実施形態）
　以下では、まず、圧縮画像から復元画像を生成する光検出システムを説明する。次に、光検出システムに含まれる、ノイズの影響を低減できる光検出装置の例１および２を説明する。

　［１．光検出システム］
　図１Ａは、光検出システムの構成例を模式的に示す図である。図１Ａに示す光検出システム３００は、光検出装置１００と、画像処理装置２００とを備える。光検出装置１００は、特許文献１に開示された光検出装置と同様の構成を備える。光検出装置１００は、光学系１４０と、フィルタアレイ１１０と、イメージセンサ１６０とを備える。光学系１４０およびフィルタアレイ１１０は、被写体である対象物７０から入射する光の光路上に配置される。図１Ａの例におけるフィルタアレイ１１０は、光学系１４０とイメージセンサ１６０との間に配置されている。

　図１Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、任意の物体であり得る。イメージセンサ１６０は、複数の波長バンドの情報が２次元のモノクロ画像として圧縮された圧縮画像１０のデータを生成する。画像処理装置２００は、イメージセンサ１６０が生成した圧縮画像１０のデータに基づいて、所定の対象波長域に含まれる複数の波長バンドのそれぞれについての画像データを生成する。この生成される複数の波長バンドの画像データを、「ハイパースペクトル画像データ」と称することがある。ここで、対象波長域に含まれる波長バンドの数をＭ（Ｍは４以上の整数）とする。以下の説明において、生成される複数の波長バンドの画像データを、復元画像２０Ｗ_１、復元画像２０Ｗ_２、・・・、復元画像２０Ｗ_Ｍと称し、これらを「ハイパースペクトル画像２０」と総称することがある。本明細書において、画像を示すデータまたは信号、すなわち、各画素の輝度値を表すデータまたは信号の集合を、単に「画像」とも称する。

　本実施形態におけるフィルタアレイ１１０は、行および列状に配列された透光性を有する複数の光学フィルタのアレイである。以下では、光学フィルタを単に「フィルタ」と称する。複数のフィルタは、分光透過率、すなわち透過率の波長依存性が互いに異なる複数種類のフィルタを含む。フィルタの種類は、例えば３種類または４種類以上であり得る。４種類以上の場合、フィルタの種類は、例えば、４種類、９種類、１６種類、または２５種類であり得る。フィルタアレイ１１０は、入射光の強度を波長ごとに変調して出力する。フィルタアレイ１１０によるこの過程を「符号化」と称し、フィルタアレイ１１０を「符号化素子」または「符号化マスク」とも称する。

　図１Ａに示す例において、フィルタアレイ１１０は、イメージセンサ１６０の近傍または直上に配置されている。ここで「近傍」とは、光学系１４０からの光の像がある程度鮮明な状態でフィルタアレイ１１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１１０およびイメージセンサ１６０は一体化されていてもよい。

　光学系１４０は、少なくとも１つのレンズを含む。図１Ａでは、光学系１４０が１つのレンズとして示されているが、光学系１４０は複数のレンズの組み合わせであってもよい。光学系１４０は、フィルタアレイ１１０を介して、イメージセンサ１６０の撮像面上に像を形成する。

　フィルタアレイ１１０は、イメージセンサ１６０から離れて配置されていてもよい。図１Ｂから図１Ｄは、フィルタアレイ１１０がイメージセンサ１６０から離れて配置されている光検出装置１００の構成例を示す図である。図１Ｂの例では、フィルタアレイ１１０が、光学系１４０とイメージセンサ１６０との間で、かつイメージセンサ１６０から離れた位置に配置されている。図１Ｃの例では、フィルタアレイ１１０が対象物７０と光学系１４０との間に配置されている。図１Ｄの例では、光検出装置１００が２つの光学系１４０Ａおよび１４０Ｂを備え、それらの間にフィルタアレイ１１０が配置されている。これらの例のように、フィルタアレイ１１０とイメージセンサ１６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。

　イメージセンサ１６０は、２次元的に配列された複数の光検出素子を有するモノクロタイプの光検出装置である。イメージセンサ１６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ１６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、赤色の光を透過するフィルタ、緑色の光を透過するフィルタ、および青色の光を透過するフィルタを有するセンサを用いてもよい。あるいは、これらのフィルタに加えて赤外光または白色光を透過するフィルタを有するセンサを用いてもよい。これらのセンサを使用することにより、波長に関する情報量を増やすことができ、ハイパースペクトル画像２０の復元精度を向上させることが可能になる。対象波長域は任意に決定してもよく、可視の波長域に限らず、紫外、近赤外、中赤外、または遠赤外の波長範囲であってもよい。

　画像処理装置２００は、１つ以上の処理回路と、メモリ等の１つ以上の記憶媒体とを備えるコンピュータであり得る。画像処理装置２００、より具体的には１つ以上の処理回路は、圧縮画像１０に基づいて、復元画像２０Ｗ_１、復元画像２０Ｗ_２、・・・、復元画像２０Ｗ_Ｍのデータを生成する。

　図２Ａは、フィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０は、２次元的に配列された複数の領域を有する。本明細書では、当該領域を、「セル」と称することがある。各領域には、個別に設定された分光透過率を有するフィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。

　図２Ａに示す例において、フィルタアレイ１１０は、６行８列に配列された４８個の矩形領域を有する。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ１６０の光検出素子の数と同程度であってもよい。フィルタアレイ１１０に含まれる領域数は、例えば数十から数千万の範囲で用途に応じて決定される。

　図２Ｂは、対象波長域に含まれる波長バンドＷ_１、波長バンドＷ_２、・・・、波長バンドＷ_Ｍの各々の光についての透過率の空間分布の一例を示す図である。図２Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図２Ｂに示すように、波長バンドによって透過率の空間分布が異なっている。

　図２Ｃおよび図２Ｄは、それぞれ、図２Ａに示すフィルタアレイ１１０に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率および領域Ａ２の分光透過率は互いに異なる。このように、フィルタアレイ１１０の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１１０では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１１０は、分光透過率が互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１１０に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｍと同じか、それ以上であり得る。フィルタアレイ１１０は、半数以上の領域の分光透過率が異なるように設計されていてもよい。

　図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる波長バンドＷ_１、波長バンドＷ_２、・・・、波長バンドＷ_Ｍとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外または遠赤外などの波長域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、赤外線および紫外線を含む放射全般を「光」と称する。

　図３Ａに示す例では、Ｍを４以上の任意の整数として、対象波長域ＷをＭ等分したそれぞれの波長域を波長バンドＷ_１、波長バンドＷ_２、・・・、波長バンドＷ_Ｍとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図３Ｂに示す例では、波長バンドによって帯域幅が異なり、かつ隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドの決め方は任意である。

　図４Ａは、フィルタアレイ１１０のある領域における分光透過率の特性を説明するための図である。図４Ａに示す例では、分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値Ｐ１からＰ５、および複数の極小値を有する。図４Ａに示す例では、対象波長域Ｗ内での透過率の最大値が１、最小値が０となるように正規化されている。図４Ａに示す例では、波長バンドＷ_２および波長バンドＷ_Ｍ－１などの波長バンドにおいて、分光透過率が極大値を有している。このように、各領域の分光透過率は、対象波長域Ｗに含まれる複数の波長バンドのうち、少なくとも２つの波長域において極大値を有するように設計され得る。図４Ａの例では、極大値Ｐ１、極大値Ｐ３、極大値Ｐ４および極大値Ｐ５は０．５以上である。

　このように、各領域の透過率は、波長によって異なる。したがって、フィルタアレイ１１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｍ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＭ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｍを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。

　図４Ｂは、一例として、図４Ａに示す分光透過率を、波長バンドＷ_１、波長バンドＷ_２、・・・、波長バンドＷ_Ｍごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１、極大値Ｐ３、および極大値Ｐ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３および極大値Ｐ５をとる２つの波長域において、透過率が０．８を超えている。

　図２Ａから図２Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。

　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域Ｗに含まれるすべての波長バンドＷ_１から波長バンドＷ_Ｍの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（checkerboard）状に配置され得る。すなわち、フィルタアレイ１１０における複数の領域の２つの配列方向において、透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。

　このようなフィルタアレイ１１０の波長ごとの透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、画像処理装置２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。

　フィルタアレイ１１０は、例えば、多層膜、有機材料、回折格子構造、金属を含む微細構造、またはメタサーフェスを用いて構成され得る。多層膜としては、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造は、プラズモン効果による分光を利用して作製され得る。メタサーフェスは、入射光の波長よりも小さいサイズで誘電体材料を微細加工することによって作製され得る。当該構造では、入射光に対する屈折率が空間的に変調される。あるいは、フィルタアレイ１１０を用いずに、イメージセンサ１６０に含まれる複数の光検出素子を直接加工することにより、入射光を符号化してもよい。

　上記のことから、光検出装置１００は、光応答特性が互いに異なる複数の受光領域を有すると言うことができる。光検出装置１００が、複数のフィルタを含むフィルタアレイ１１０を備え、当該複数のフィルタが互いに不規則に異なる光透過特性を有する場合、複数の受光領域は、フィルタアレイ１１０が近傍または直上に配置されたイメージセンサ１６０によって実現され得る。この場合、複数の受光領域の光応答特性は、それぞれ、フィルタアレイ１１０に含まれる複数のフィルタの光透過特性に基づいて決定される。

　あるいは、光検出装置１００がフィルタアレイ１１０を備えない場合、複数の受光領域は、例えば、光応答特性が互いに不規則に異なるように複数の画素が直接加工されたイメージセンサ１６０によって実現され得る。この場合、複数の受光領域の光応答特性は、それぞれ、イメージセンサ１６０に含まれる複数の画素の光応答特性に基づいて決定される。

　上記の多層膜、有機材料、回折格子構造、金属を含む微細構造、またはメタサーフェスは、２次元平面内において分光透過率が位置に応じて異なるように変調された構成であれば、入射光の符号化が可能である、したがって、上記の多層膜、有機材料、回折格子構造、金属を含む微細構造、またはメタサーフェスは、複数のフィルタがアレイ状に配置された構成である必要はない。

　次に、画像処理装置２００による信号処理の例を説明する。画像処理装置２００は、イメージセンサ１６０から出力された圧縮画像１０、およびフィルタアレイ１１０の波長ごとの透過率の空間分布特性に基づいて、多波長のハイパースペクトル画像２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得される赤色、緑色、および青色の３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、「バンド数」と称する。用途によっては、バンド数は１００を超えていてもよい。

　求めたいデータはハイパースペクトル画像２０のデータであり、そのデータをｆとする。波長バンドの数をＭとすると、ｆは、各バンドの画像データｆ_１、画像データｆ_２、・・・、画像データｆ_Ｍを統合したデータである。ここで、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｍとし、ｙ方向の画素数をｎとすると、画像データｆ_１、画像データｆ_２、・・・、画像データｆ_Ｍの各々は、ｎ×ｍ画素の２次元データである。したがって、データｆは要素数ｎ×ｍ×Ｍの３次元データである。この３次元データを、「ハイパースペクトル画像データ」または「ハイパースペクトルデータキューブ」と称する。一方、フィルタアレイ１１０によって符号化および多重化されて取得される圧縮画像１０のデータｇの要素数はｎ×ｍである。データｇは、以下の式（１）によって表すことができる。

　ここで、ｆ_１、ｆ_２、・・・、ｆ_Ｎの各々は、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、ｎ×ｍ×Ｍ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換されて表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ_１、ｆ_２、・・・、ｆ_Ｍを波長バンドごとに異なる符号化情報（以下、「マスク情報」とも称する。）で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｍ列の行列である。

　ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｍが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、画像処理装置２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。

　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。式（２）における括弧内の関数を評価関数と呼ぶ。画像処理装置２００は、再帰的な反復演算によって解を収束させ、評価関数を最小にするｆを、最終的な解ｆ’として算出することができる。

　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。

　なお、図１Ｂおよび図１Ｃの構成においては、フィルタアレイ１１０によって符号化された像は、イメージセンサ１６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述の行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の画素値への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。フィルタアレイ１１０が配置される位置は任意であるが、フィルタアレイ１１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。

　以上の処理により、フィルタアレイ１１０およびイメージセンサ１６０によって取得された圧縮画像１０から、ハイパースペクトル画像２０を復元することができる。ハイパースペクトル画像２０の復元方法の詳細は、特許文献１に開示されている。特許文献１の開示内容の全体を本明細書に援用する。

　［２．ノイズの影響を低減できる光検出装置１００の例１］
　実際には、対象物７０を撮像する際に、圧縮画像１０にノイズが重畳され得る。以下では、ノイズの影響を低減できる光検出装置１００の例１を説明する。

　［２．１．ノイズがハイパースペクトル画像２０に及ぼす影響］
　まず、図５を参照して、ノイズがハイパースペクトル画像２０に及ぼす影響を説明する。図５は、ノイズが０％および２％である場合の、圧縮画像１０と、ハイパースペクトル画像２０の誤差マップとを示す図である。対象物７０は蝶である。図５には、左上および左下に、それぞれ、０％および２％のノイズが重畳された圧縮画像１０が示されている。図５には、さらに、右上および右下に、それぞれ、０％および２％のノイズが重畳された圧縮画像１０から復元されたハイパースペクトル画像２０の誤差マップが示されている。誤差マップは、対象波長域に含まれる複数の波長バンドについての復元画像と正解画像との間の復元誤差を平均化した値の空間分布に相当する。図５に示す誤差マップでは、白いほど誤差が大きく、黒いほど誤差が小さい。

　ここで、圧縮画像にａ％のノイズを重畳するとは、圧縮画像１２０内の複数の輝度値の各々に、（１００－ａ）／１００以上（１００＋ａ）／１００以下の範囲の中からランダムに選択された数値を乗算することを意味する。図５に示す例では、誤差マップ内のある画素における復元誤差として、復元画像内の当該ある画素の輝度値と、正解画像内の当該ある画素の輝度値との間の平均２乗誤差（Ｍｅａｎ　Ｓｑｕａｒｅｄ　Ｅｒｒｏｒ：ＭＳＥ）が用いられている。ＭＳＥは、以下の式（３）を用いて計算される。

　ｍおよびｎは、それぞれ、横方向および縦方向の画素数である。Ｉ_ｉ、ｊは、正解画像内の位置（ｉ、ｊ）の画素の輝度値である。Ｉ’_ｉ、ｊは、復元画像内の位置（ｉ、ｊ）の画素の輝度値である。

　図５の右上に示すように、ノイズが０％である場合でも、復元演算の過程で復元誤差が生じる。図５の右下に示すように、ノイズが２％である場合、ノイズが０％である場合と比較して、復元誤差が全体的に増加していることがわかる。このように、ノイズは復元画像の復元誤差を増加させる。

　本実施形態による光検出装置１００によれば、圧縮画像１０にノイズが重畳しても、ノイズによる復元誤差の増加を低減することができる。

　［２．２．ノイズによる復元誤差の増加］
　次に、図６を参照して、ノイズによって復元誤差がどの程度増加するかを説明する。図６は、ノイズが２％である場合の、圧縮画像１０内の各画素の輝度値と、ハイパースペクトル画像２０内の対応する画素における復元誤差の増加量との関係を示すグラフである。ハイパースペクトル画像２０内のある画素における復元誤差は、対象波長域に含まれる波長バンドについての復元画像内のある画素における復元誤差の平均値を意味する。圧縮画像１０は、図５の左下の圧縮画像である。圧縮画像１０は、２次元的に配列された５１２×５１２の画素を含む。輝度値は８ビット階調によって表され、輝度値の最小値は０であり、最大値は２５５である。各画素における復元誤差の増加量ΔＭＳＥは、復元誤差ＭＳＥ’から復元誤差ＭＳＥ_０を減算した値に相当する。復元誤差ＭＳＥ’は、ノイズが重畳された圧縮画像１０から復元されたハイパースペクトル画像２０内の各画素における復元誤差である。復元誤差ＭＳＥ_０は、ノイズが重畳されていない圧縮画像１０から復元されたハイパースペクトル画像２０内の対応する画素における復元誤差である。図６に示す例において、復元誤差ＭＳＥ’は図５の右下の誤差マップから得られ、復元誤差ＭＳＥ_０は図５の右上の誤差マップから得られる。図６に示すように、輝度値が小さくなるほど、ΔＭＳＥが増加することがわかる。これは、輝度値が小さいほど、ノイズがハイパースペクトル画像２０に及ぼす影響が大きくなることを意味する。

　図６に示す例では、光量に依存しないノイズが扱われた。実際に圧縮画像１０に重畳されるノイズは、光量に依存しない読み出しノイズだけでなく、例えば、光量の平方根に比例する光ショットノイズおよび光量に比例する固定パターンノイズも含む。したがって、ノイズは光量に依存する。輝度値は光量を反映する。

　図７は、圧縮画像１０における輝度値とノイズとの関係の測定結果を示すグラフである。対象物７０は、図７の内挿図に示すように、時計、地球儀、カラーチャート、トランプ、造花、および鳥の置物である。１２８０×７２０画素を含む圧縮画像１０が１００フレーム分取得された。１フレームは１／５０秒である。図７に示すグラフの横軸および縦軸は、それぞれ、全フレームについての圧縮画像内の各画素の輝度値の平均値および標準偏差を表す。輝度値の時間的な揺らぎがノイズに相当する。当該ノイズは、イメージセンサ１６０に起因するノイズである。したがって、フィルタアレイ１１０の有無は重要ではない。

　図７に示すように、ノイズに光量を考慮した場合、輝度値が小さいほどノイズは大きくなる。図６に示すように、ノイズが一定であっても輝度値が小さいほどΔＭＳＥは増加する。図６に示す結果と、図７に示す結果とを組み合わせると、輝度値が小さいほどΔＭＳＥはさらに増加する。

　［２．３．ノイズによる復元誤差の増加を低減する条件］
　次に、図８を参照して、ノイズによる復元誤差の増加を低減する条件を説明する。図８は、圧縮画像１０に実測したノイズを重畳した場合の、圧縮画像１０内の各画素の輝度値と、ハイパースペクトル画像２０内の対応する画素における復元誤差の増加量との関係を示すグラフである。対象物７０は白板である。対象波長域が可視領域である場合、白板は、対象波長域内の光を、波長バンドに関係なく、ほぼ同じ反射率で反射する。反射率の波長依存性が低ければ、対象物７０は白板である必要はない。圧縮画像１０は、平均輝度値が１２８になる条件の下で取得された。白飛びおよび黒つぶれが最も生じにくく、広いダイナミックレンジが取れる当該条件は、汎用的に選択され得る。図８に関する以下の説明において、最低の輝度値および最高の輝度値がどのような値であるかに関係なく、圧縮画像１０は、平均輝度値がイメージセンサの取得できる輝度範囲の中央値（８ビット階調である場合には１２８）になるように取得される。

　図８に示すように、輝度値が小さいほどΔＭＳＥは急峻に増加する。ΔＭＳＥが１０％以下になるのは、輝度値が６４以上である場合である。したがって、各画素の輝度値が６４以上になるようにフィルタアレイ１１０およびイメージセンサ１６０を設計することにより、ΔＭＳＥを１０％以下にすることができる。６４の輝度値は、上記の平均輝度値の５０％に相当する。

　ΔＭＳＥが７．５％以下になるのは、輝度値が８７以上である場合である。したがって、各画素の輝度値が８７以上になるようにフィルタアレイ１１０およびイメージセンサ１６０を設計することにより、ΔＭＳＥを７．５％以下にすることができる。８７の輝度値は、上記の平均輝度値の６８％に相当する。

　ΔＭＳＥが５％以下になるのは、輝度値が９６以上である場合である。したがって、各画素の輝度値が９６以上になるようにフィルタアレイ１１０およびイメージセンサ１６０を設計することにより、ΔＭＳＥを５％以下にすることができる。９６の輝度値は、上記の平均輝度値の７５％に相当する。

　輝度値が１２８の場合、ΔＭＳＥは約４％となる。

　本実施形態による光検出装置１００は、Ｎ個の画素を備えると言うことができる。Ｎ個の画素の各々は、フィルタと、当該フィルタを透過した光を検出する光検出素子とを含む。光検出素子から出力される信号には、対象波長域に含まれる４つ以上の波長バンドの情報が重畳されている。

　Ｎ個の画素のうち、第ｉの画素（ｉ＝１、２、・・・、Ｎ）の実効感度の対象波長域における平均値をμ_ｉとする。μ_ｉは、第ｉの画素に含まれるフィルタの透過率の波長依存性を示すＴ_ｉ（λ_ｋ）と、第ｉの画素に含まれる光検出素子の検出感度の波長依存性を示すＩ（λ_ｋ）とに基づいて得られる（ｋ＝１、２，・・・、Ｍ）。μ_ｉは、以下の式（４）によって表される。

　イメージセンサ１６０に含まれる複数の光検出素子は、波長バンドＷ_ｋに対応する波長を有する光に関してほぼ同じ検出感度を有する。つまり、第１の画素に含まれる光検出素子の波長バンドＷ_ｋに対応する波長を有する光の検出感度Ｉ_１（λ_ｋ）、～、第Ｎの画素に含まれる光検出素子の波長バンドＷ_ｋに対応する波長を有する光の検出感度Ｉ_Ｎ（λ_ｋ）のそれぞれは、検出感度Ｉ（λ_ｋ）にほぼ等しい。Ｉ_１（λ_ｋ）＝・・・＝Ｉ_Ｎ（λ_ｋ）＝Ｉ（λ_ｋ）であってもよい。Ｔ_ｉ（λ_ｋ）Ｉ（λ_ｋ）は、第ｉの画素の実効感度の波長依存性を表す。第ｉの画素の実効感度の波長依存性はＴ_ｉ（λ_ｋ）Ｉ_ｉ（λ_ｋ）であってもよい。

　μ_ｉは、対象物７０が白板である場合の、圧縮画像１０内の第ｉの画素の輝度値に相当する。したがって、図８を参照した上記の議論から、μ_１～μ_Ｎのうち、最低値をμ_ｍｉｎとすると、光検出装置１００に含まれるＮ個の画素が以下の式（５）を満たす場合、ΔＭＳＥを１０％以下にすることができる。式（５）の右辺の０．５は、最も低い輝度値である６４を平均輝度値である１２８によって除算した値に相当する。

　同様に、光検出装置１００に含まれるＮ個の画素が以下の式（６）を満たす場合、ΔＭＳＥを７．５％以下にすることができる。式（６）の右辺の０．６８は、最も低い輝度値である８７を平均輝度値である１２８によって除算した値に相当する。

　光検出装置１００に含まれるＮ個の画素が以下の式（７）を満たす場合、ΔＭＳＥを５％以下にすることができる。式（７）の右辺の０．７５は、最も低い輝度値である９６を平均輝度値である１２８によって除算した値に相当する。

　図９Ａは、対象物７０が白板である場合の、異なるμ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）についての圧縮画像１０の例を示す図である。この白板を撮像して圧縮画像１０を取得する光検出装置１００は、異なるμ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）を有するＮ個の画素を含む。フィルタアレイ１１０のマスク情報は、μ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）＝０．３１、０．５２、０．７６、および１になるようにシミュレーション上で生成された。このシミュレーションにおいて、マスク情報は、平均輝度値が１２８であり、画素数の輝度値についての分布が正規分布になるように設計された。図９Ａに示す色は、白いほど明るいことを意味し、黒いほど暗いことを意味する。図９Ａに示すように、μ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）が小さいほど輝度値のばらつきは大きくなり、μ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）が１に近づくほど輝度値のばらつきは小さくなる。

　図９Ｂは、異なるμ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）についての圧縮画像１０の輝度値から得られるヒストグラムの例を示すグラフである。図９Ｂに示す薄い灰色、濃い灰色、および黒色の広がりを有する分布は、それぞれ、μ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）＝０．３１、０．５２、および０．７６である場合の分布を表す。図９Ｂに示す中央の黒い縦線は、μ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）＝１である場合の分布を表す。

　μ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）＝０．３１である場合、μ_ｍｉｎ＝４０であり、（Σ_ｉμ_ｉ／Ｎ）＝１２８である。この場合、μ_ｍｉｎ＜６４であるので、ΔＭＳＥは１０％を超える。

　これに対して、μ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）＝０．５２である場合、μ_ｍｉｎ＝６７であり、（Σ_ｉμ_ｉ／Ｎ）＝１２８である。この場合、μ_ｍｉｎ≧６４であるので、ΔＭＳＥを１０％以下にすることができる。

　μ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）＝０．７６である場合、μ_ｍｉｎ＝９７であり、（Σ_ｉμ_ｉ／Ｎ）＝１２８である。この場合、μ_ｍｉｎ≧９６であるので、ΔＭＳＥを５％以下にすることができる。

　μ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）＝１である場合、μ_ｍｉｎ＝１２８であり、（Σ_ｉμ_ｉ／Ｎ）＝１２８である。この場合、ΔＭＳＥをおよそ４％にすることができる。

　以上のことから、光検出装置１００に含まれるＮ個の画素が式（５）を満たす場合、ノイズによる復元誤差の増加を効果的に低減することができる。式（５）よりも式（６）の方がより効果的であり、式（７）の方がさらに効果的である。上記の例では、実効感度の平均値である（Σ_ｉμ_ｉ／Ｎ）が１２８に対応する場合を想定しているが、これは例示であり、（Σ_ｉμ_ｉ／Ｎ）に対応する輝度値は異なっていてもよい。（Σ_ｉμ_ｉ／Ｎ）に対応する輝度値は光源の明るさ、露光時間、およびゲインなどの撮影条件で変化する。式（５）～式（７）では、カメラの設計指標を示すためにμ_ｍｉｎを（Σ_ｉμ_ｉ／Ｎ）によって除算した値が用いられており、（Σ_ｉμ_ｉ／Ｎ）に対応する輝度値が１２８と異なる場合でも適用できる。

　図９Ａおよび図９Ｂを参照して説明したように、光検出装置１００に含まれるＮ個の画素が式（５）～式（７）を満たすか否かは、白板を撮像して圧縮画像１０を取得し、圧縮画像１０内の複数の画素からそれぞれ得られる複数の輝度値を調べることによって判定することができる。前述したように、μ_ｉは、対象物７０が白板である場合の、圧縮画像１０内の第ｉの画素の輝度値に相当するからである。圧縮画像１０の取得は、μ_ｍｉｎ／（Σ_ｉμ_ｉ／Ｎ）を算出できるように暗すぎない環境で行われうる。圧縮画像１０の取得では、白板の代わりに、極端な明暗差を生じさせず、反射光の強度が空間にも波長にも大きく依存しない物体を用いてもよい。

　フィルタの分光透過率Ｔ（λ）および光検出素子の検出感度の波長依存性Ｉ（λ）が既知であれば、Ｔ（λ）およびＩ（λ）に基づいて、μ_ｉを算出してもよい。フィルタアレイ１１０をイメージセンサ１６０から取り外せる場合、Ｔ（λ）およびＩ（λ）を別々に取得することができる。フィルタアレイ１１０をイメージセンサ１６０から取り外すことが容易ではない場合でも、イメージセンサ１６０と同じ型番のイメージセンサからＩ（λ）を取得することができる。したがって、対象波長域に含まれる複数の波長バンドの各々の光をフィルタアレイ１１０およびイメージセンサ１６０を用いて検出し、その結果から得られるＴ（λ）×Ｉ（λ）と、既知のＩ（λ）とに基づいて、Ｔ（λ）を推定することができる。

　第ｉの画素の実効感度の対象波長域における平均値ではなく、第ｉ画素に含まれる光学フィルタの透過率の対象波長域における平均値を上記のμ_ｉとして扱ってもよい。その場合、式（４）においてＩ（λ）が１に置き換えられる。フィルタアレイ１１０がＮ個のフィルタを備え、Ｎ個のフィルタが式（５）を満たす場合、ノイズによる復元誤差の増加を効果的に低減することができる。式（５）よりも式（６）の方がより効果的であり、式（７）の方がさらに効果的である。

　なお、本実施形態による光検出装置１００に含まれるＮ個の画素は、フィルタアレイ１１０の周縁に配置されたフィルタ、およびイメージセンサ１６０の周縁に配置された光検出素子を含まなくてもよい。対象物７０は圧縮画像１０の中央付近に映ることが多いので、フィルタアレイ１１０の周縁に配置されたフィルタ、およびイメージセンサ１６０の周縁に配置された光検出素子は、例えば圧縮画像１０の取得にとってそれほど重要ではないからである。フィルタアレイ１１０の周縁は、フィルタアレイ１１０の全領域と、全領域を縮小した縮小領域とをそれらの中心を合わせて重ねた場合に、重ならない領域である。縮小領域は、例えば、フィルタアレイ１１０の全領域を９０％に縮小した領域である。縮小領域は、フィルタアレイ１１０の全領域を５０％に縮小した領域であってもよく、７０％に縮小した領域であってもよい。イメージセンサ１６０の周縁についても同様である。

　［２．４．対象物７０に対して汎用性のあるフィルタアレイ１１０］
　次に、対象物７０に対して汎用性のあるフィルタアレイ１１０を説明する。図１０Ａから図１０Ｃは、それぞれ、対象物７０、フィルタアレイ１１０、および圧縮画像１０の例を模式的に示す図である。図１０Ａに示す色は、白いほど明るいことを意味し、黒いほど暗いことを意味する。図１０Ｂに示す色は、白いほど透過率が高いことを意味し、黒いほど透過率が低いことを意味する。

　三角形の形状を有する対象物７０は、図１０Ａに示すように、明るい部分と暗い部分との両方を有する。図１０Ｂに示すフィルタアレイ１１０は、対象物７０の明るい部分が結像する部分に低い透過率を有し、対象物７０の暗い部分が結像する部分に高い透過率を有する。図１０Ａに示す対象物７０を、図１０Ｂに示すフィルタアレイ１１０を介して撮像することにより、図１０Ｃに示す圧縮画像１０が取得される。図１０Ｃに示す圧縮画像１０内の複数の画素からそれぞれ得られる複数の輝度値は均一であるので、式（５）～式（７）において、μ_ｍｉｎ＝Σ_ｉμ_ｉ／Ｎである。すなわち、式（５）～式（７）の左辺は１になり、ノイズによる復元誤差の増加を効果的に低減することができる。

　しかし、図１０Ｂに示すフィルタアレイ１１０は、図１０Ａに示す対象物７０に対して有効ではあるものの、他の対象物に対しては必ずしも有効ではなく、汎用性に乏しい。これに対して、以下のフィルタアレイ１１０は様々な対象物７０に対して汎用性を有する。

　図１１は、汎用性のあるフィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０に含まれる複数のフィルタは、透過率の波長依存性、すなわち透過スペクトルが互いに異なる複数種類のフィルタを含む。複数種類のフィルタは不規則に配置される。図１１に示す色の違いは、フィルタの種類を表す。図１１に示す矩形によって囲まれた曲線は、複数種類のフィルタのうち、２種類のフィルタの透過スペクトルの例を表す。図１１に示す例において、複数のフィルタは６行８列に配置されるが、フィルタの数に制限はない。図１１に示す例においてフィルタの種類は３種類であるが、前述したように４種類以上であってもよい。

　フィルタの透過スペクトルは、対象波長域において複数のピークを示す。複数のピークのうち、高低差が最も大きいピークを基準とすると、残りのピークの高さは、基準のピークの高さの０．５倍以上である。各ピークは極大値を有し、各ピークの両側には極小値が存在する。各ピークの高さは、極大値と、大きい方の極小値との差を意味する。各ピークにおいて、透過率は極大値から極小値まで滑らかに変化する。ただし、極大値から極小値までの間に存在し得る微小なノイズは考慮されない。フィルタが共振構造を有する場合、複数のピークは共振構造に起因する。

　平面視でイメージセンサ１６０に重なる複数のフィルタのすべてにおいて、透過率の対象波長域における平均値が同じである場合、フィルタアレイ１１０は様々な対象物７０に対して汎用性を有する。その場合、対象物７０が明るい部分と暗い部分との両方を有していても、圧縮画像１０内の複数の画素からそれぞれ得られる複数の輝度値のばらつきは低減される。したがって、一部の画素の輝度値が極端に低くなる可能性を低減できる。

　なお、透過率の対象波長域における平均値は、厳密に同じである必要はない。透過率の対象波長域における平均値について、最大値と最小値との差の絶対値を最大値および最小値の平均値によって除算した相対誤差が５％以内であれば、「同じ」として扱われる。

　フィルタアレイ１１０およびイメージセンサ１６０は、例えば、以下のように設計され得る。フィルタアレイ１１０に含まれるフィルタのピッチは、イメージセンサ１６０に含まれる光検出素子のピッチに一致する。さらに、平面視で、各フィルタの全体は、対応する光検出素子の全体にほぼ重なる。

　これに対して、フィルタアレイ１１０に含まれるフィルタのピッチが、イメージセンサ１６０に含まれる光検出素子のピッチと一致しない場合がある。あるいは、フィルタアレイ１１０に含まれるフィルタのピッチが、イメージセンサ１６０に含まれる光検出素子のピッチと一致していても、平面視において、フィルタアレイ１１０とイメージセンサ１６０との間に位置ずれが生じる場合がある。これらの場合、平面視で、２つ以上のフィルタが、ある光検出器に部分的に重なる。

　イメージセンサ１６０に含まれるある光検出素子に結像する光は、当該光検出素子に部分的に重なる２つ以上のフィルタがそれぞれ有する２つ以上の透過スペクトルを反映する。したがって、上記の場合、当該２つ以上のフィルタのうち、光検出素子に重なる部分を、仮想的な１つのフィルタとして扱ってもよい。仮想的な１つのフィルタの透過スペクトルは、上記の２つ以上の透過スペクトルに基づいて算出することができる。例えば、２つ以上のフィルタの各々が光検出素子に重なる部分の面積を、光検出素子の全体の面積によって除算することにより、２つ以上のフィルタにそれぞれ対応する２つ以上の重みが算出される。仮想的な１つのフィルタの透過スペクトルは、２つ以上の透過スペクトルに２つ以上の重みをそれぞれ乗算し、それらを加算することによって算出され得る。

　［２．５．フィルタアレイ１１０の製造方法］
　次に、図１２を参照して、フィルタアレイ１１０の製造方法を説明する。図１２は、フィルタアレイ１１０の製造方法の例を概略的に示すフローチャートである。フィルタアレイ１１０の製造方法は、図１２に示すステップＳ１０１～Ｓ１０７の工程を含む。フィルタアレイ１１０の製造方法は、例えば、工場の製造ラインにおいて機械によって実施され得る。あるいは、フィルタアレイ１１０の製造方法は、人によって実施されてもよい。

　別途用意された記憶装置には、ノイズが重畳される前の圧縮画像１０、マスク情報、およびノイズが重畳される前の圧縮画像１０からマスク情報を用いて生成されたハイパースペクトル画像２０が記憶されている。フィルタアレイ１１０の製造方法は、上記の記憶装置ならびに図１Ａから図１Ｄに示すイメージセンサ１６０および画像処理装置２００を用いて実施される。

　以下に、各ステップを説明する。

　＜ステップＳ１０１＞
　イメージセンサ１６０によって画像が複数のフレーム分取得される。フレーム数は、例えば、１０００であり得る。

　＜ステップＳ１０２＞
　ステップＳ１０１において取得された複数のフレームにそれぞれ対応する複数の画像から、図７に示すように、輝度値に対するノイズの情報が取得される。

　＜ステップＳ１０３＞
　ステップＳ１０２において取得されたノイズが、記憶装置に記憶された上記の圧縮画像１０に重畳される。

　＜ステップＳ１０４＞
　画像処理装置２２０により、ノイズが重畳された圧縮画像１０から、記憶装置に記憶された上記のマスク情報を用いてハイパースペクトル画像２０が生成される。

　＜ステップＳ１０５＞
　ステップＳ１０４において生成されたハイパースペクトル画像２０と、記憶装置に記憶された上記のハイパースペクトル画像２０とに基づいて、図８に示すように、輝度値と、復元誤差の増加量との関係が推定される。

　＜ステップＳ１０６＞
　ステップＳ１０６において推定された上記の関係に基づいて、図８に示すように、復元誤差の増加量が所定値以下になるように、フィルタアレイ１１０に含まれるＮ個のフィルタにおいて、透過率の対象波長域における平均値が満たすべき最低値が決定される。所定値は、例えば、１０％、７．５％、または５％であり得る。このようにして、フィルタアレイ１１０の透過特性が決定される。

　＜ステップＳ１０７＞
　ステップＳ１０６において決定した透過特性に基づいて、フィルタアレイ１１０が製造される。

　上記の工程により、フィルタアレイ１１０を製造することができる。そのようなフィルタアレイ１１０は、ノイズによる復元誤差の増加を低減することができる。

　［３．ノイズの影響を低減できる光検出装置１００の例２］
　以下では、ノイズをランダムノイズに限定して、ノイズの影響を低減できる光検出装置１００の例２を説明する。光検出装置１００は、前述したＮ個の画素を備える。

　［３．１．圧縮画像１０の特徴量］
　ここでは、図１３Ａおよび図１３Ｂを参照して、ランダムノイズの議論に用いられる、本実施形態による光検出装置１００の特徴量を説明する。図１３Ａは、複数の波長バンドの各々の光についての圧縮画像１０の輝度値の空間パターンを模式的に示す図である。当該空間パターンは、モザイクパターンとして表現されている。図１３Ａに示すように、波長バンドによって、圧縮画像１０の輝度値の分布が異なる。図１３Ｂは、対象波長域に含まれる４つ以上の波長バンドのうち、第ｋ（ｋは１以上Ｍ以下の整数）の波長バンドの光についての圧縮画像１０の輝度値から得られるヒストグラムの例を模式的に示す図である。第ｋの波長バンドの光は、第ｋの波長バンドに含まれる波長を有する光を意味する。図１３Ｂに示す例において、横軸は輝度値を表し、縦軸はその輝度値を有する画素の数を表す。図１３Ｂに示すヒストグラムから、特徴量として、第ｋの波長バンドの光についての圧縮画像１０の輝度値の平均値μ_ｋおよび有限の標準偏差σ_ｋが得られる。第ｋの波長バンドの光がＮ個の画素の各々に入射する場合、μ_ｋは、Ｎ個の画素の各々に含まれる光検出素子から出力された信号の強度によって得られるＮ個の信号強度の平均値であり、σ_ｋは、当該Ｎ個の信号強度の標準偏差である。

　図１３Ｂに示すヒストグラムがガウス分布を有する場合、輝度値がμ_ｋ－σ_ｋ以上μ_ｋ＋σ_ｋ以下の範囲内に含まれるフィルタの数は、全体の約６８％を占める。透過率がμ_ｊ－２σ_ｋ以上μ_ｋ＋２σ_ｋ以下の範囲内に含まれるフィルタの数は、全体の約９５％を占める。図１３Ｂに示すように、μ_ｋ-２σ_ｋの値が大きければ、高い輝度値を有する画素の数が増加する。σ_ｋが大きければ、フィルタ同士の分別が容易である。

　上記のヒストグラムは、８ビットまたは１６ビットなどの所定の階調数で光強度を検出するイメージセンサ１６０を用いて計測することによって得ることができる。なお、実際の光検出装置１００では、図１３Ｂとは異なる形状のヒストグラムが取得され得る。透過率の波長依存性がフィルタによって異なることから、ヒストグラムの形状は波長バンドごとに異なる。したがって、ある波長バンドの光についての圧縮画像１０の輝度値の平均値および標準偏差も、当該波長バンドによって異なる。

　以下の説明において、輝度値のヒストグラムの階調数は８ビットであるものとする。輝度値が８ビット以外の階調数で検出されたとしても、輝度値を８ビットの階調数に変換して輝度値のヒストグラムを求めることができる。

　［３．２．ランダムノイズが復元画像に及ぼす影響］
　次に、図１４から図１５Ｂを参照して、ランダムノイズが復元画像に及ぼす影響を説明する。図１４は、ランダムノイズが重畳された圧縮画像１０の例を模式的に示す図である。図１４に示すように、ノイズ重畳後の圧縮画像は、ノイズ重畳前の圧縮画像と比較して不鮮明になり得る。

　図１５Ａは、あるフィルタアレイに含まれるフィルタの透過スペクトルの例を示す図である。図１５Ａに示す例において、対象波長域Ｗは、４５０ｎｍ以上８５０ｎｍ以下の範囲である。対象波長域Ｗは、各バンド幅が８０ｎｍである５個の波長バンドを含む。図１５Ａに示す例において、透過スペクトルは、８本の鋭いピークを有する。透過率の最大値は約１であり、最小値は約０．０２である。互いに隣接する２つのピークの間での透過率は十分に低い。このような透過スペクトルを有するフィルタは、対象波長域Ｗ内の反射率が高い２つの反射層、およびそれらの間の干渉層を含む共振構造によって実現される。干渉層の屈折率および／または厚さを変化させることにより、透過スペクトルは長波長側または短波長側にシフトする。当該フィルタアレイは、そのようにして透過スペクトルがシフトした複数種類のフィルタを含む。当該フィルタアレイは、２次元的に配列された１００万個のフィルタを備える。当該１００万個のフィルタは、不規則に配列された１６種類のフィルタを含む。

　図１５Ｂは、上記のフィルタアレイを用いて取得された圧縮画像にランダムノイズが重畳された場合の、５つの波長バンドについての正解画像と復元画像との間のＭＳＥの平均値を示す図である。ランダムノイズは、中心がμ_{ｎｏｉｓｅ}＝０であり、標準偏差がσ_{ｎｏｉｓｅ}であるガウス分布に従い発生されている。各画素に加算されるランダムノイズの分散Ｎ_{ｎｏｉｓｅ}は、以下の式（８）を用いて計算される。

　ここで、ｇ_{ｎｏｉｓｅ}は各画素に重畳されるノイズの値であり、正の値も負の値も取り得る。図１５Ｂに示す例では、σ_{ｎｏｉｓｅ}＝０、５、および１０である。σ_{ｎｏｉｓｅ}＝０は、ランダムノイズが存在しないことを意味する。σ_{ｎｏｉｓｅ}が増加すると、ランダムノイズは増加する。

　図１５Ｂに示すように、σ_{ｎｏｉｓｅ}が増加するにつれて、５個すべての波長バンドでのＭＳＥの平均値が増加することがわかる。ランダムノイズが存在しない場合、図１５Ａに示すような、透過率の最大値および最小値のコントラスト比が大きい透過スペクトルを有するフィルタは、波長バンド間のＳＮ比を向上させることができる。すなわち、図１３Ａに示す、波長バンド間での透過率の空間分布の差異が明確になる。他方で、当該フィルタを含むフィルタアレイは、ランダムノイズの影響を受けやすい。その結果、ハイパースペクトルカメラの波長分解能が低下し得る。

　［３．３．ランダムノイズの影響を低減できる光検出装置１００］
　図１３Ｂに示すμ_ｋ-２σ_ｋの値が大きい光検出装置１００は、高いノイズ耐性を有する。そのような光検出装置１００では、輝度値が高いからである。図１３Ｂに示すσ_ｋが大きい光検出装置１００もまた、高いノイズ耐性を有する。そのような光検出装置１００では、画素間の輝度値の分散が大きく画素同士の分別が容易であるため、復元画像の復元精度が向上するからである。以上のことから、μ_ｋ-２σ_ｋおよびσ_ｋの和であるＭ_ｋ＝μ_ｋ-σ_ｋをノイズ耐性の指標として、本実施形態による光検出装置１００を説明する。以下では、説明を簡単にするために、すべての波長バンドにおいてＭ_ｋ＝μ_ｋ-σ_ｋは同じであるものとする。本実施形態による光検出装置１００において、フィルタアレイ１１０は、不規則に配列された複数種類のフィルタを含む。

　図１６は、複数の波長バンドの各々についてσ_ｋ＝０．０８である場合の、複数の波長バンドについての正解画像と復元画像との間のＭＳＥの平均値と、Ｍ_ｋ＝μ_ｋ-σ_ｋとの関係を示す図である。図１６に示す例において、ランダムノイズの標準偏差はσ_{ｎｏｉｓｅ}＝０、２、３、４、および５である。圧縮画像１０の輝度値はＭ_ｋに依存する。Ｍ_ｋの値が小さいほど、圧縮画像１０の輝度値は減少し、Ｍ_ｋの値が大きいほど、圧縮画像１０の輝度値は増加する。フィルタアレイ１１０に含まれる複数のフィルタのうち、大部分の透過率が低く、一部の透過率が高い場合、圧縮画像１０の輝度値のヒストグラムは非対称になり得る。その結果、Ｍ_ｋは負の値にもなり得る。

　σ_{ｎｏｉｓｅ}＝０の場合、圧縮画像１０にランダムノイズは重畳されていない。この場合、Ｍ_ｋ≦０．４５では、ＭＳＥが低く抑えられる。図１５Ａに示すように、フィルタにおける透過率のコントラスト比が高い場合、フィルタアレイ１１０の平均的な透過光量は少なく、輝度値が低くなるので、Ｍ_ｋの値は小さい。そのようなフィルタアレイ１１０を備える光検出装置１００は、波長バンド間のＳＮ比を向上させる。その結果、復元誤差の発生を抑制することができる。これに対して、Ｍ_ｋ＞０．４５では、ＭＳＥの平均値がＭ_ｋの増加に伴って増加する。フィルタにおける透過率のコントラスト比が低い場合、フィルタアレイ１１０の平均的な透過光量は多く、輝度値が高くなるので、Ｍ_ｋの値は大きい。そのようなフィルタアレイ１１０を備える光検出装置１００は、波長バンド間のＳＮ比を低下させる。その結果、復元誤差は増加する。

　σ_{ｎｏｉｓｅ}＞０の場合、Ｍ_ｋ＜０．２では、実線の楕円によって囲まれた領域に示すように、ＭＳＥの平均値が、σ_{ｎｏｉｓｅ}の増加に伴って大きく増加する。これに対して、Ｍ_ｋ＝０．４２付近では、破線の楕円によって囲まれた領域に示すように、ＭＳＥがσ_{ｎｏｉｓｅ}の増加に伴って増加するものの、その増加は抑制される。Ｍ_ｋ＞０．４５では、σ_{ｎｏｉｓｅ}が小さくても、ＭＳＥの平均値は、Ｍ_ｋの増加に伴って増加する。図１６に示すように、σ_{ｎｏｉｓｅ}＝５の場合、ＭＳＥの平均値が不連続的に急増することがある。上記の特性をまとめると、以下の通りである。
・（Ｍ_ｋが小さい場合）波長バンド間のＳＮ比は高い。したがって、σ_{ｎｏｉｓｅ}が小さいとき、復元画像の復元精度は高い。σ_{ｎｏｉｓｅ}が増加すると、フィルタアレイ１１０の少ない透過光量と比較して、ランダムノイズの量が無視できなくなる。その結果、復元誤差が増加し、復元画像の復元精度が大きく低下する。
・（Ｍ_ｋが大きすぎる場合）波長バンド間のＳＮ比は低い。したがって、σ_{ｎｏｉｓｅ}が小さくても、復元画像の復元精度は低い。
・（Ｍ_ｋが適度に大きい場合）σ_{ｎｏｉｓｅ}が小さいとき、復元画像の復元精度は高い。σ_{ｎｏｉｓｅ}が増加しても、フィルタアレイ１１０の透過光量と比較して、ランダムノイズの量はそれほど大きくはならない。その結果、復元誤差の増加が低減され、復元画像の復元精度の低下が抑制される。

　図１７Ａから図１７Ｃは、それぞれ、複数の波長バンドの各々についてσ_ｋ＝０．０５、０．０７、および０．１である場合の、複数の波長バンドについての正解画像と復元画像との間のＭＳＥの平均値と、Ｍ_ｋ＝μ_ｋ-σ_ｋとの関係を示す図である。図１７Ａから図１７Ｃに示すように、Ｍ_ｋが適度に大きい場合、σ_{ｎｏｉｓｅ}が増加しても、復元画像の復元精度の低下が抑制される。そのようなＭ_ｋは約０．３以上約０．５以下の範囲にある。実際には、ランダムノイズによる復元誤差に加えて、読み出しノイズのような他のノイズによる復元誤差が数％程度存在する。これらの合算された復元誤差が５％を超えると、復元画像の復元精度の低さが視認され得る。したがって、許容されるランダムノイズによる復元誤差は、例えば３％以下であり得る。８ビット階調において、３％の復元誤差はＭＳＥ＝５６である。図１７Ａから図１７Ｃに示す例において、実際のランダムノイズに近いσ_{ｎｏｉｓｅ}＝５の場合、ＭＳＥの平均値が５６を下回るときのＭ_ｋの下限は、Ｍ_ｋ＝０．１である。

　以上のことから、対象波長域に含まれる４つ以上の波長バンドの各々についてＭ_ｋ≧０．１が満たされる場合、光検出装置１００は、ランダムノイズに対してノイズ耐性を有する。なお、Ｍ_ｋは、すべての波長バンドにおいて同じである必要はない。Ｍ_ｋは、一部の波長バンドにおいて同じであってもよいし、すべての波長バンドにおいて異なっていてもよい。

　本実施形態による光検出装置１００は、Ｍ_ｋ≧０．１以外にも以下の特性を有してもよい。
・複数の波長バンドの各々についてσ_ｋ≧０．０５である。この場合、画素同士の分別が容易であることから、復元画像の復元精度を向上させることができる。
・複数の波長バンドの各々についてμ_ｋ≧０．２である。この場合、図１６から図１７Ｃに示す０．０５≦σ_ｋ≦０．１についてＭ_ｋ≧０．１が満たされる。
・複数の波長バンドについて最大のＭ_ｋおよび最小のＭ_ｋをそれぞれＭ_ｍａｘおよびＭ_ｍｉｎとすると、Ｍ_ｍａｘ／Ｍ_ｍｉｎ≦３である。この場合、複数の波長バンド間での復元画像の復元精度がばらつくことを抑制することができる。

　［４．フィルタアレイ１１０の構造］
　ノイズの影響を低減できる本実施形態による光検出装置１００の例１および２において、フィルタアレイ１１０は、複数のフィルタを含む。複数のフィルタのうち、少なくとも１つのフィルタの透過スペクトルは、対象波長域において複数のピークを示す。当該少なくとも１つのフィルタが共振構造を有する場合、複数のピークは共振構造に起因する。

　図１８Ａは、フィルタアレイ１１０の第１の例を模式的に示す図である。図１８Ａに示すフィルタアレイ１１０は、２次元的に配列された複数のフィルタ１１２を備える。各フィルタ１１２は共振構造を有する。当該共振構造は、第１表面２２ｓ１および第２表面２２ｓ２を有する干渉層２２と、第１表面２２ｓ１に設けられた第１反射層２４ａと、第２表面２２ｓ２に設けられた第２反射層２４ｂとを備える。干渉層２２は半導体または誘電体物質であり得る。第１反射層２４ａおよび第２反射層２４ｂは、例えば誘電体多層膜であり得る。このように干渉層２２の両側に第１反射層２４ａおよび第２反射層２４ｂを備える共振構造では、波長バンド間のＳＮ比が高い一方、透過光量は少ない。

　図１８Ｂは、フィルタアレイ１１０の第２の例を模式的に示す図である。図１８Ｂに示すフィルタアレイ１１０は、２次元的に配列された複数のフィルタ１１４を備える。各フィルタ１１４は共振構造を有する。当該共振構造は、第１表面２２ｓ１および第２表面２２ｓ２を有する干渉層２２と、第１表面２２ｓ１に設けられた反射層２４とを備える。第２表面２２ｓ２には反射層が設けられていない。このように干渉層２２の片側に反射層２４を備える共振構造では、透過光量が多い一方、波長バンド間のＳＮ比は低い。図１８Ａおよび図１８Ｂに示す共振構造のどちらを選択するかは、用途および目的に応じて決定され得る。

　干渉層の両側に反射層を備える共振構造の詳細は、例えば、米国特許出願公開第２０２１／０３４１６５７号明細書に開示されている。干渉層の片側に反射層を備える共振構造の詳細は、国際公開第２０２１／２４１１７１号に開示されている。米国特許出願公開第２０２１／０３４１６５７号明細書および国際公開第２０２１／２４１１７１号の開示内容の全体を本明細書に援用する。

　図１Ａから図１Ｄに示す光検出システム３００が、ノイズの影響を低減できる前述の光検出装置１００を備える場合、画像処理装置２００に含まれる処理回路は、圧縮画像１０の情報と、マスク情報とに基づいて、４つ以上の波長バンドにそれぞれ対応する４つ以上の復元画像を生成する。圧縮画像１０の情報は、Ｎ個の画素の各々に含まれる光検出素子から出力された信号によって得られる。波長バンドごとの透過率の空間分布を示すマスク情報は、Ｎ個の画素の各々に含まれる前記光学フィルタの透過スペクトルから得られる。ノイズの影響を低減できる前述の光検出装置１００を用いることにより、４つ以上の復元画像において、ノイズによる復元誤差の増加を低減することができる。

　なお、前述した光検出装置１００の例１および２において、Ｎ個の画素の各々はフィルタおよび光検出素子を含むが、Ｎ個の画素の各々は、フィルタを含まずに、入射光を符号化するように直接加工された光検出素子を含んでもよい。その場合、光検出装置１００の例１において、前述のμ_iは、第ｉの画素に含まれる加工された光検出素子の検出感度の波長依存性に基づく第ｉの画素の感度の対象波長域における平均値に相当する。

　また、光検出装置１００の例２において、対象波長域に含まれる４つ以上の波長バンドのうち、第ｋの波長バンド（ｋ＝１、２、・・・、Ｎ）の光がＮ個の画素の各々に入射した場合、前述のμ_ｋおよびσ_ｋは以下の通りである。μ_ｋは、Ｎ個の画素の各々に含まれる加工された光検出素子から出力された信号の強度によって得られるＮ個の信号強度の平均値である。σ_ｋは、当該Ｎ個の信号強度の標準偏差である。

　(その他１)
　本開示は上記した実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施したものも本開示に含まれてもよい。本開示の実施の形態の変形例は下記に示すようなものであってもよい。

　（項目１）
　光学フィルタｆ_ｉと、
　前記光学フィルタｆ_ｉから出力された被写体の第ｉ情報を含む光を検出し、前記第ｉ情報に対応する信号ｓ_ｉを出力する光検出器ｄ_ｉを含み、ｉ＝１、・・・、Ｎであり、Ｎは２以上の整数であり、
　前記第ｉ情報は、波長バンドＷ_１に対応する前記被写体の情報Ｉ_ｉ,１、～、波長バンドＷ_Ｍに対応する前記被写体の情報Ｉ_ｉ,Ｍを含み（前記Ｍは４以上の整数）、
　前記波長バンドＷ_１、～、前記波長バンドＷ_Ｍは互いに異なり、

　であり、
　前記Ｔ_ｉ,Ｗｋは、前記光学フィルタｆ_ｉの前記波長バンドＷ_ｋの光透過率、
　前記Ｉ_Ｗｋは、前記光検出器ｄ_１、～、前記光検出器ｄ_Ｎそれぞれの波長バンドＷ_ｋに対応する光Ｉ_Ｗｋの検出感度、
　前記μ_ｍｉｎは、前記μ_１、・・・、前記μ_Ｎのうちの最小値であり、前記光学フィルタｆ_ｉは前記光検出器ｄ_ｉに直接接触し、または、前記光学フィルタｆ_ｉと前記光検出器ｄ_ｉの間にレンズとフィルタの両方が配置されることなく前記光学フィルタｆ_ｉと前記光検出器ｄ_ｉの距離はゼロより大きい、
　光検出装置。

　（項目２）
　前記項目１に記載の光検出装置は、
　前記光学フィルタｆ_ｉは前記被写体からの光Ｉin_ｉを受け取り、
　前記光Ｉin_ｉは、前記波長バンドＷ_１に対応する光Ｉin_ｉ,Ｗ１、～、前記波長バンドＷ_Ｍに対応する光Ｉin_ｉ,ＷＭを含み、
　前記光学フィルタｆ_ｉが光Ｉin_ｉを受取ると、前記光学フィルタｆ_ｉは光Ｉout_ｉを出力し、
　前記光Ｉout_ｉは、前記波長バンドＷ_１に対応する光Ｉout_ｉ,Ｗ１、～、前記波長バンドＷ_Ｍに対応する光Iout_ｉ,ＷＭを含み、
　前記透過率Ｔ_ｉ,Ｗ1は（前記光Ｉout_ｉ,Ｗ１の強さ）/（前記Ｉin_ｉ,Ｗ１の強さ）、～、前記透過率Ｔ_ｉ,ＷＭは（光Iout_ｉ,ＷＭの強さ）/（光Ｉin_ｉ,ＷＭの強さ）
　である。

　（項目１、２の説明）
　図１９Ａは複数の光学フィルタと複数の光検出器の例を示す。光学フィルタｆ_１は光検出器ｄ_ｉに直接接触し、～、光学フィルタｆ_ｉは光検出器ｄ_ｉに直接接触し、～、光学フィルタｆ_Ｎは光検出器ｄ_Ｎに直接接触する。

　図１９Ｂは複数の光学フィルタと複数の光検出器の例を示す。光学フィルタｆ_１と光検出器ｄ_１の間にレンズとフィルタの両方が配置されることなく、光学フィルタｆ_１と光検出器ｄ_１の距離はゼロより大きく、～、光学フィルタｆ_ｉと光検出器ｄ_ｉの間にレンズとフィルタの両方が配置されることなく、光学フィルタｆ_ｉと光検出器ｄ_ｉの距離はゼロより大きく、～、光学フィルタｆ_Ｎと光検出器ｄ_Ｎの間にレンズとフィルタの両方が配置されることなく、光学フィルタｆ_Ｎと光検出器ｄ_Ｎの距離はゼロより大きい。

　図１９Ｃは、光学フィルタｆ_ｉが被写体からの光Ｉinを受取ると光学フィルタｆ_ｉは光Ｉout_ｉを出力すること、及び、光検出器ｄ_ｉが光Ｉout_ｉを検出すると信号ｓ_ｉを出力することを示す。図１９Ｃにおいて、光学フィルタｆ_ｉは光検出器ｄ_ｉに直接接触してもよい。

　上述した項目１における「波長バンドＷ_ｋに対応する光Ｉ_Ｗｋ」は、「波長バンドＷ_ｋの最小波長から前記波長バンドＷ_１の最大波長までの波長を有する光Ｉ_Ｗｋ」であってもよい。

　上述した項目２における「前記波長バンドＷ_１に対応する光Ｉin_ｉ,Ｗ１、～、前記波長バンドＷ_Ｍに対応する光Ｉin_ｉ,ＷＭ」は、「前記波長バンドＷ_１の最小波長から前記波長バンドＷ_１の最大波長までの波長を有する光Ｉin_ｉ,Ｗ１、～、前記波長バンドＷ_Ｍの最小波長から前記波長バンドＷ_Ｍの最大波長までの波長を有する光Ｉin_ｉ,ＷＭ」であってもよい。

　上述した項目２における「前記波長バンドＷ_１に対応する光Ｉout_ｉ,Ｗ１、～、前記波長バンドＷ_Ｍに対応する光Iout_ｉ,ＷＭ」は、「前記波長バンドＷ_１の最小波長から前記波長バンドＷ_１の最大波長までの波長を有する光Ｉout_ｉ,Ｗ１、～、前記波長バンドのＷ_Ｍの最小波長から前記波長バンドＷ_Ｍの最大波長までの波長を有する光Ｉout_ｉ,ＷＭ」であってもよい。

　（その他２）
　本開示において、「ハイパースペクトル画像を再構成する」は、「ハイパースペクトル画像を生成する」を意味してもよい。

　本開示の技術は、例えば、多波長または高解像度の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステムにも応用できる。

　［付記］
　以上の実施の形態の記載により、以下の技術が開示される。

　（技術１）
　Ｎ個の画素を備える光検出装置であって、
　前記Ｎ個の画素の各々は、光学フィルタと、前記光学フィルタを透過した光を検出する光検出素子とを含み、
　前記光検出素子から出力される信号には、対象波長域に含まれる４つ以上の波長バンドの情報が重畳されており、
　前記Ｎ個の画素のうち、第ｉの画素（ｉ＝１、２、・・・、Ｎ）に含まれる前記光学フィルタの透過率の波長依存性と、前記第ｉの画素に含まれる前記光検出素子の検出感度の波長依存性とに基づく、前記第ｉの画素の実効感度の前記対象波長域における平均値をμ_ｉとし、μ_１～μ_Ｎのうち、最低値をμ_ｍｉｎとすると、

である、
　光検出装置。

　この光検出装置は、ハイパースペクトルカメラに利用でき、ノイズの影響を低減することができる。

　（技術２）

である、
　技術１に記載の光検出装置。

　この光検出装置は、ハイパースペクトルカメラに利用でき、ノイズの影響をより低減することができる。

　（技術３）
　前記Ｎ個の画素は、透過スペクトルが互いに異なる複数種類のフィルタを含み、前記複数種類のフィルタは不規則に配置され、
　前記Ｎ個の画素のすべてにおいて、実効感度の前記対象波長域における平均値は同じである、
　技術１または２に記載の光検出装置。

　この光検出装置は、様々な対象物に対して汎用性を有する。

　（技術４）
　前記光学フィルタの透過スペクトルは、前記対象波長域において複数のピークを示す、
　技術１から３のいずれかに記載の光検出装置。

　この光検出装置では、対象物からの光を効果的に符号化することができる。

　（技術５）
　Ｎ個の画素を備える光検出装置であって、
　前記Ｎ個の画素の各々は、光学フィルタと、前記光学フィルタを透過した光を検出する光検出素子とを含み、
　前記光検出素子から出力される信号には、対象波長域に含まれる４つ以上の波長バンドの情報が重畳されており、
　前記４つ以上の波長バンドのうち、第ｋの波長バンド（ｋ＝１、２、・・・、Ｎ）の光が前記Ｎ個の画素の各々に入射した場合、前記Ｎ個の画素の各々に含まれる前記光検出素子から出力された信号の強度によって得られるＮ個の信号強度の平均値をμ_ｋとし、前記Ｎ個の信号強度の標準偏差をσ_ｋとし、Ｍ_ｋ＝μ_ｋ―σ_ｋとすると、
　前記４つ以上の波長バンドの各々について、Ｍ_ｋ≧０．１である、
　光検出装置。

　この光検出装置は、ハイパースペクトルカメラに利用でき、ノイズの影響を低減することができる。

　（技術６）
　前記Ｎ個の波長バンドの各々について、σ_ｋ≧０．０５である、
　技術５に記載の光検出装置。

　この光検出装置では、フィルタ同士の分別が容易であることから、ハイパースペクトル画像の復元精度を向上させることができる。

　（技術７）
前記Ｎ個の波長バンドの各々について、μ_ｋ≧０．２である、
　技術５または６に記載の光検出装置。

　この光検出装置では、透過率を増加させることにより、ノイズ耐性を向上させることができる。

　（技術８）
　前記Ｎ個の波長バンドについて、最大のＭ_ｋをＭ_ｍａｘとし、最小のＭ_ｋをＭ_ｍｉｎとすると、
　Ｍ_ｍａｘ／Ｍ_ｍｉｎ≦３である、
　技術５から７のいずれかに記載の光検出装置。

　この光検出装置では、複数の波長バンド間での分離画像の復元精度がばらつくことを抑制することができる。

　（技術９）
　技術１から８のいずれかに記載の光検出装置と、
　処理回路と、
を備え、
　前記処理回路は、Ｎ個の画素の各々に含まれる前記光検出素子から出力された信号によって得られる画像情報と、Ｎ個の画素の各々に含まれる前記光学フィルタの透過スペクトルから得られる波長ごとの透過率の空間分布を示すマスク情報とに基づいて、前記４つ以上の波長バンドにそれぞれ対応する４つ以上の画像を生成する、
　光検出システム。

　この光検出システムでは、ノイズの影響が低減されたハイパースペクトル画像を生成することができる。

　（技術１０）
　対象波長域に含まれる４つ以上の波長バンドにそれぞれ対応する４つ以上の画像を生成する光検出装置に用いられるＮ個の光学フィルタを備えるフィルタアレイであって、
　前記Ｎ個の光学フィルタのうち、第ｉ画素（ｉ＝１、２、・・・、Ｎ）に含まれる光学フィルタの透過率の前記対象波長域における平均値をμ_ｉとし、μ_１～μ_Ｎのうち、最低値をμ_ｍｉｎとしたとき、

である、
　フィルタアレイ。

　このフィルタアレイは、ハイパースペクトルカメラに利用でき、ノイズの影響を低減することができる。

　（技術１１）
　イメージセンサによって画像を複数のフレーム分取得する工程と、
　前記複数のフレームにそれぞれ対応する複数の画像から、輝度値に対するノイズの情報を取得する工程と、
　前記ノイズが重畳された圧縮画像から生成された復元画像と、前記ノイズが重畳される前の圧縮画像から生成された復元画像とに基づいて、輝度値と復元誤差の増加量との関係を推定する工程と、
　推定した前記関係に基づいて、フィルタアレイの透過特性を決定する工程と、
　決定した前記透過特性に基づいて、フィルタアレイを製造する工程と、
を含む、
　フィルタアレイの製造方法。

　この製造方法により、ハイパースペクトルカメラに利用でき、ノイズの影響を低減することが可能なフィルタアレイを製造することができる。

　　１０　　　　圧縮画像
　　２０、２０Ｗ_１、２０Ｗ_２、・・・、２０Ｗ_Ｎ　　　　復元画像
　　７０　　　　対象物
　　１００　　　光検出装置
　　１１０　　　フィルタアレイ
　　１１２、１１４　　フィルタ
　　１４０、１４０Ａ、１４０Ｂ　　　光学系
　　１６０　　　イメージセンサ
　　２００　　　画像処理装置
　　３００　　　光検出システム

Claims (10)

1. 　Ｎ個の画素を備える光検出装置であって、
   　前記Ｎ個の画素の各々は、光学フィルタと、前記光学フィルタを透過した光を検出する光検出素子とを含み、
   　前記光検出素子から出力される信号には、対象波長域に含まれる４つ以上の波長バンドの情報が重畳されており、
   　前記Ｎ個の画素のうち、第ｉの画素（ｉ＝１、２、・・・、Ｎ）に含まれる前記光学フィルタの透過率の波長依存性と、前記第ｉの画素に含まれる前記光検出素子の検出感度の波長依存性とに基づく、前記第ｉの画素の実効感度の前記対象波長域における平均値をμ_ｉとし、μ_１～μ_Ｎのうち、最低値をμ_ｍｉｎとすると、
   

   

   である、
   　光検出装置。
2. 

   である、
   　請求項１に記載の光検出装置。
3. 　前記Ｎ個の画素は、透過スペクトルが互いに異なる複数種類のフィルタを含み、前記複数種類のフィルタは不規則に配置され、
   　前記Ｎ個の画素のすべてにおいて、実効感度の前記対象波長域における平均値は同じである、
   　請求項１または２に記載の光検出装置。
4. 　前記光学フィルタの透過スペクトルは、前記対象波長域において複数のピークを示す、
   　請求項１または２に記載の光検出装置。
5. 　Ｎ個の画素を備える光検出装置であって、
   　前記Ｎ個の画素の各々は、光学フィルタと、前記光学フィルタを透過した光を検出する光検出素子とを含み、
   　前記光検出素子から出力される信号には、対象波長域に含まれる４つ以上の波長バンドの情報が重畳されており、
   　前記４つ以上の波長バンドのうち、第ｋの波長バンド（ｋ＝１、２、・・・、Ｎ）の光が前記Ｎ個の画素の各々に入射した場合、前記Ｎ個の画素の各々に含まれる前記光検出素子から出力された信号の強度によって得られるＮ個の信号強度の平均値をμ_ｋとし、前記Ｎ個の信号強度の標準偏差をσ_ｋとし、Ｍ_ｋ＝μ_ｋ－σ_ｋとすると、
   　前記４つ以上の波長バンドの各々について、Ｍ_ｋ≧０．１である、
   　光検出装置。
6. 　前記Ｎ個の波長バンドの各々について、σ_ｋ≧０．０５である、
   　請求項５に記載の光検出装置。
7. 前記Ｎ個の波長バンドの各々について、μ_ｋ≧０．２である、
   　請求項５または６に記載の光検出装置。
8. 　前記Ｎ個の波長バンドについて、最大のＭ_ｋをＭ_ｍａｘとし、最小のＭ_ｋをＭ_ｍｉｎとすると、
   　Ｍ_ｍａｘ／Ｍ_ｍｉｎ≦３である、
   　請求項５または６に記載の光検出装置。
9. 　請求項１または５に記載の光検出装置と、
   　処理回路と、
   を備え、
   　前記処理回路は、Ｎ個の画素の各々に含まれる前記光検出素子から出力された信号によって得られる画像情報と、Ｎ個の画素の各々に含まれる前記光学フィルタの透過スペクトルから得られる波長ごとの透過率の空間分布を示すマスク情報とに基づいて、前記４つ以上の波長バンドにそれぞれ対応する４つ以上の画像を生成する、
   　光検出システム。
10. 　対象波長域に含まれる４つ以上の波長バンドにそれぞれ対応する４つ以上の画像を生成する光検出装置に用いられるＮ個の光学フィルタを備えるフィルタアレイであって、
    　前記Ｎ個の光学フィルタのうち、第ｉ画素（ｉ＝１、２、・・・、Ｎ）に含まれる光学フィルタの透過率の前記対象波長域における平均値をμ_ｉとし、μ_１～μ_Ｎのうち、最低値をμ_ｍｉｎとしたとき、
    

    

    である、
    　フィルタアレイ。

Images