JP2018107731A - 画像生成装置及び撮像装置 - Google Patents

Abstract

【課題】解像度の低下を抑制して適切な画像を生成することが可能な画像生成装置を提供する。
【解決手段】画像生成装置としての撮像システムは、複数種類のカラーフィルタ２０２ａ〜２０２ｃを有するランダムカラーフィルタアレイ２０２と、ランダムカラーフィルタアレイ２０２を透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部と、そのデジタルデータとランダムカラーフィルタアレイ２０２の変調情報とを用いて画像を生成するカラー画像生成回路１０５とを備え、ランダムカラーフィルタアレイ２０２における少なくとも２つのカラーフィルタは、フォトダイオード２０３ａの前に位置し、ランダムカラーフィルタアレイ２０２における最も小さい大きさを有するカラーフィルタは、フォトダイオード２０３ａよりも小さい。
【選択図】図４

Description

本開示は、圧縮センシング技術を用いた画像生成装置等に関する。

カラー画像を撮像するためには、光の３原色に相当する赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３つの異なる波長域の情報を取得する必要がある。３つのイメージセンサでＲ、Ｇ及びＢの情報を取得するカラー撮像装置も存在する。しかし、多くのカラー撮像装置は、小型化及び低コスト化のために１つのイメージセンサしか搭載していない。そのため、多くのカラー撮像装置は、１つのイメージセンサでＲ、Ｇ及びＢの情報を取得する。

従来、画素毎にＲ、Ｇ及びＢのうち１つの波長域の情報を取得し、デモザイキングと呼ばれる処理を行うことで、画素毎にＲ、Ｇ及びＢの３つの波長域の情報を取得する手法が知られている。

図３２は、広く利用されているベイヤー配列を示した模式図である（例えば、特許文献１）。ベイヤー配列では、人間の視覚特性に近いＧの画素が全体の画素の１／２を占め、Ｒ及びＢの画素がそれぞれ全体の画素の１／４を占める。そして、デモザイキング処理によって、すべての画素に対してＲ、Ｇ及びＢの３つの波長域の情報が取得される。

一方、特許文献２では、ランダムな色パターンで光フィルタ要素を配置し、サンプルデータ集合に対して圧縮センシング技術を適用することでデモザイキングを行う技術が開示されている。

米国特許第５６２９７３４号明細書 特表２０１３−５１１９２４号公報

Ｒｕｄｉｎ Ｌ． Ｉ．， Ｏｓｈｅｒ Ｓ． Ｊ．， ａｎｄ Ｆａｔｅｍｉ Ｅ．： Ｎｏｎｌｉｎｅａｒ ｔｏｔａｌ ｖａｒｉａｔｉｏｎ ｂａｓｅｄ ｎｏｉｓｅ ｒｅｍｏｖａｌ ａｌｇｏｒｉｔｈｍｓ． Ｐｈｙｓｉｃａ Ｄ， ｖｏｌ． ６０， ｐｐ． ２５９−２６８， １９９２． Ｓｈｕｎｓｕｋｅ Ｏｎｏ， Ｉｓａｏ Ｙａｍａｄａ， "Ｄｅｃｏｒｒｅｌａｔｅｄ Ｖｅｃｔｏｒｉａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ"， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１４． Ｊ． Ｍａ， "Ｉｍｐｒｏｖｅｄ Ｉｔｅｒａｔｉｖｅ Ｃｕｒｖｅｌｅｔ Ｔｈｒｅｓｈｏｌｄｉｎｇ ｆｏｒ Ｃｏｍｐｒｅｓｓｅｄ Ｓｅｎｓｉｎｇ ａｎｄ Ｍｅａｓｕｒｅｍｅｎｔ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ＆ Ｍｅａｓｕｒｅｍｅｎｔ， ｖｏｌ． ６０， ｎｏ． １， ｐｐ． １２６−１３６， ２０１１． Ｍ． Ａｈａｒｏｎ， Ｍ． Ｅｌａｄ， ａｎｄ Ａ． Ｍ． Ｂｒｕｃｋｓｔｅｉｎ， "Ｋ−ＳＶＤ： Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｄｅｓｉｇｎｉｎｇ Ｏｖｅｒｃｏｍｐｌｅｔｅ Ｄｉｃｔｉｏｎａｒｉｅｓ ｆｏｒ Ｓｐａｒｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ． ５４， ｎｏ． １１， ｐｐ． ４３１１−４３２２， ２００６． Ｄ．Ｋｉｋｕ， Ｙ．Ｍｏｎｎｏ， Ｍ．Ｔａｎａｋａ ａｎｄ Ｍ．Ｏｋｕｔｏｍｉ， "Ｍｉｎｉｍｉｚｅｄ−Ｌａｐｌａｃｉａｎ ｒｅｓｉｄｕａｌ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｏｒ ｃｏｌｏｒ ｉｍａｇｅ ｄｅｍｏｓａｉｃｋｉｎｇ"， ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ （ＥＩ）， ２０１４． Ｍａｎｙａ Ｖ．Ａｆｏｎｓｏ，Ｊｏｓe Ｍ．Ｂｉｏｕｃａｓ−Ｄｉａｓ，ａｎｄ Ｍaｒｉｏ Ａ．Ｔ． Ｆｉｇｕｅｉｒｅｄｏ，"Ｆａｓｔ Ｉｍａｇｅ Ｒｅｃｏｖｅｒｙ Ｕｓｉｎｇ Ｖａｒｉａｂｌｅ Ｓｐｌｉｔｔｉｎｇ ａｎｄ Ｃｏｎｓｔｒａｉｎｅｄ Ｏｐｔｉｍｉｚａｔｉｏｎ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ＶＯＬ．１９， ＮＯ．９，ｐｐ．２３４５−２３５６，２０１０．

しかしながら、特許文献１及び２の手法では、イメージセンサの各画素において、Ｒ、Ｇ及びＢのうち１つの波長域の情報しか取得されない。そのため、デモザイキング後のカラー画像の解像度が低下し、偽色と呼ばれるアーチファクトが発生し得る。

本開示は、非限定的ではない例示的な一態様として、解像度の低下を抑制して適切な画像を生成することが可能な画像生成装置を提供する。また、本開示は、適切な画像を生成するために用いられる撮像装置を提供する。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

本開示の一態様に係る画像生成装置は、複数種類の光学フィルタを有するランダム光学フィルタアレイと、ここで、前記複数種類の光学フィルタがランダムに配置されており、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、前記ランダム光学フィルタアレイにおける少なくとも２つの光学フィルタは、前記フォトダイオードの前に位置し、前記ランダム光学フィルタアレイにおける最も小さい大きさを有する光学フィルタは、前記フォトダイオードよりも小さい。

また、本開示の一態様に係る撮像装置は、複数種類の光学フィルタを有するランダム光学フィルタアレイと、ここで、前記複数種類の光学フィルタがランダムに配置されており、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、前記ランダム光学フィルタアレイにおける少なくとも２つの光学フィルタは、前記フォトダイオードの前に位置し、前記ランダム光学フィルタアレイにおける最も小さい大きさを有する光学フィルタは、前記フォトダイオードよりも小さい。

上述の一般的かつ特定の態様は、システム、方法及びコンピュータプログラムを用いて実装されてもよいし、システム、方法及びコンピュータプログラムの組み合わせを用いて実現されてもよい。

本開示の一態様に係る画像生成装置等によれば、解像度の低下が抑制され、適切な画像が生成され得る。

図１は、実施の形態１に係る撮像システムの構成を示す模式図である。 図２は、撮像システムにおける波長変調部及び変調画像取得部の構成の詳細を示す図である。 図３は、撮像システムにおけるランダムカラーフィルタアレイの構成を示す模式図である。 図４は、ランダムカラーフィルタアレイを含む撮像システムの模式図である。 図５は、実施の形態に係る３種類のフィルタの波長特性としての透過率を示す図である。 図６は、３種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の２次元平面上の配置を示す模式図である。 図７は、３種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の断面を示す模式図である。 図８は、図６に示すランダムカラーフィルタアレイで実現した２８通りの波長特性としての透過率を示す図である。 図９は、実施の形態に係る４種類のフィルタの波長特性としての透過率を示す図である。 図１０は、４種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の２次元平面上の配置を示す模式図である。 図１１は、４種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の断面を示す模式図である。 図１２は、図１０に示すランダムカラーフィルタアレイで実現した８４通りの波長特性としての透過率を示す図である。 図１３は、３種類のフィルタの９個を透過した光が１つのフォトダイオード２０３ａで受光される形態のランダムカラーフィルタアレイ及び撮像素子の２次元平面上の配置を示す模式図である。 図１４は、図１３に示すランダムカラーフィルタアレイで実現した５５通りの波長特性としての透過率を示す図である。 図１５は、４種類のフィルタの９個を透過した光が１つのフォトダイオード２０３ａで受光される形態のランダムカラーフィルタアレイ及び撮像素子の２次元平面上の配置を示す模式図である。 図１６は、図１５に示すランダムカラーフィルタアレイで実現した２２０通りの波長特性としての透過率を示す図である。 図１７は、３種類の補色フィルタの波長特性としての透過率を示す図である。 図１８は、実施の形態１に係る撮像システムにおける画像生成装置の主要な処理の手順を示すフローチャートである。 図１９は、撮像素子の画素数がＮ＝１６である場合の変調画像と生成画像とを示す模式図である。 図２０は、各種手法で生成されたＲ画像を示す図である。 図２１は、各種手法で生成されたＧ画像を示す図である。 図２２は、各種手法で生成されたＢ画像を示す図である。 図２３は、各種手法で生成されたカラー画像を示す図である。 図２４は、各種手法で生成されたＧ画像を示す図である。 図２５は、図２４の（ａ）〜（ｃ）の画像の一部の領域を拡大した画像の一例である。 図２６は、ランダムカラーフィルタアレイとフォトダイオードの配列との位相をずらした配置の一例を示す模式図である。 図２７Ａは、２次元平面に投影した配置において複数のフォトダイオードと重なるカラーフィルタを含むランダムカラーフィルタアレイの一例を示す模式図である。 図２７Ｂは、図２７Ａとは別のランダムカラーフィルタアレイの一例を示す模式図である。 図２８は、実施の形態２に係る撮像システムの構成を示す模式図である。 図２９は、実施の形態２に係る撮像システムにおける画像生成装置の主要な処理の手順を示すフローチャートである。 図３０は、撮像素子の画素数がＮ＝１６である場合の生成画像（マルチバンド画像）を示す模式図である。 図３１は、３種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の２次元平面上の配置を示す模式図である。 図３２は、ベイヤー配列を示す模式図である。

（本開示の基礎となる知見）
特許文献１及び２に記載の技術では、１つの画素において、Ｒ（赤）、Ｇ（緑）及びＢ（青）のいずれかの情報しか取得されない。このため、取得される情報は必ずしも十分ではなく、解像度の高い適切な画像が生成されない可能性がある。

これに対して、例えばＲ、Ｇ及びＢの各波長帯域の情報を混合して各画素に与え、その混合を画素群に対してランダムに行うことで、各画素からより多くの情報が得られ、得られた情報から圧縮センシング技術によって適切な画像が生成され得る。例えば、主としてＲの波長帯域を透過するＲフィルタ、主としてＧの波長帯域を透過するＧフィルタ、主としてＢの波長帯域を透過するＢフィルタの合計３種類のカラーフィルタ等といった、少ない種類の光学フィルタを用いて、画素群に対して疑似的にランダムな情報の混合を実現することが有用となる。例えば、撮像素子が受光する光の光路上に、比較的少ない種類の各光学フィルタをランダムに配置して構成されるランダム光学フィルタアレイを設置して撮像することで、解像度が高い適切な画像の生成が可能となり得る。以上の知見に基づき、以下、本開示に係る画像生成装置等を説明する。

本開示の一態様に係る画像生成装置は、複数種類の光学フィルタを有するランダム光学フィルタアレイと、ここで、前記複数種類の光学フィルタがランダムに配置されており、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、前記ランダム光学フィルタアレイにおける少なくとも２つの光学フィルタは、前記フォトダイオードの前に位置し、前記ランダム光学フィルタアレイにおける最も小さい大きさを有する光学フィルタは、前記フォトダイオードよりも小さい。ここでのランダムは、疑似的なランダムを含む。同じ種類の光学フィルタ同士は、光の波長と光透過率との関係に係る波長特性が同じであり、互いに異なる種類の光学フィルタ同士は、光の波長と光透過率との関係に係る波長特性が相違する。また、複数の光学フィルタは、フォトダイオードの前、つまりフォトダイオードの受光領域である受光面の前方に位置し、例えばレンズ等の光学系部材を通過した光が受光面に至るまでの光路上に配置される。ランダム光学フィルタアレイの変調情報は、光学フィルタを略平面において複数配置してなるランダム光学フィルタアレイにおける光透過率に関する情報であり、その平面上の位置及び光の波長に応じてその光透過率は変化し得る。

これにより、光の波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタがランダムに配置されたランダム光学フィルタアレイを介して、各画素としてのフォトダイオードが十分な情報を取得することができるので、解像度の低下が抑制され、適切な画像が生成され得る。

また、例えば、前記光学フィルタは、カラーフィルタであり、前記ランダム光学フィルタアレイは、ランダムカラーフィルタアレイであり、前記生成回路が生成する前記画像は、カラー画像であることとしてもよい。

これにより、例えばＲフィルタ、Ｇフィルタ及びＢフィルタ等のカラーフィルタの複数組のそれぞれを透過した光がフォトダイオードで加算され、変調情報に基づいて例えば圧縮センシング技術で、解像度が高い適切なカラー画像が生成され得る。

また、例えば、前記フォトダイオードの前方から見て、前記少なくとも２つの光学フィルタそれぞれは、互いに異なる位置で前記フォトダイオードと重なることとしてもよい。

これにより、フォトダイオードの受光面に平行な２次元平面上に投影した配置においてフォトダイオードに重畳される各位置の２以上の光学フィルタを透過した光をそのフォトダイオードが受光し得るので、画素単位で取得される光の情報量が従来のベイヤー配列等より多くなる。このため、解像度の高い適切な画像が生成され得る。また、２以上の光学フィルタは完全に重複する位置ではなく互いに異なる位置でフォトダイオードに重なるように配置されるので、フォトダイオードで受光する光の量の低下が抑制され得る。

また、例えば、前記ランダム光学フィルタアレイにおける光学フィルタの個数は、前記フォトダイオードの個数より６倍以上多いこととしてもよい。

これにより、実用上十分なランダムさ（ランダム性）を有するランダム光学フィルタアレイが実現され得るので、圧縮センシングにより適切な画像の生成が可能となり得る。

また、例えば、前記複数種類の光学フィルタは、第１種の光学フィルタと、第２種の光学フィルタと、第３種の光学フィルタとを有し、前記第１種の光学フィルタと、前記第２種の光学フィルタと、前記第３種の光学フィルタとは、互いに異なる波長特性を有することとしてもよい。

これにより、例えばＲフィルタ、Ｇフィルタ及びＢフィルタ等の３種類の光学フィルタを用いて比較的容易に有用なランダム光学フィルタアレイを構成し得る。

また、例えば、前記フォトダイオードは、第１の波長帯域と、第２の波長帯域と、第３の波長帯域とを含む光を受光し、前記第１の波長帯域における前記第１種の光学フィルタの光透過率と、前記第１の波長帯域における前記第２種の光学フィルタの光透過率と、前記第１の波長帯域における前記第３種の光学フィルタの光透過率とは異なり、前記第２の波長帯域における前記第１種の光学フィルタの光透過率と、前記第２の波長帯域における前記第２種の光学フィルタの光透過率と、前記第２の波長帯域における前記第３種の光学フィルタの光透過率とは異なり、前記第３の波長帯域における前記第１種の光学フィルタの光透過率と、前記第３の波長帯域における前記第２種の光学フィルタの光透過率と、前記第３の波長帯域における前記第３種の光学フィルタの光透過率とは異なることとしてもよい。

これにより、例えばＲ、Ｇ及びＢそれぞれの波長帯域等といった各波長帯域において光透過率が相互に異なる３種類の光学フィルタを用いて比較的容易に有用なランダム光学フィルタアレイを構成し得る。

また、例えば、前記生成回路が生成する前記画像は、マルチバンド画像であることとしてもよい。

これにより、解像度の高いマルチバンド画像が生成され得る。なお、例えば、ランダム光学フィルタアレイを、可視光以外の波長帯域の光を透過する光学フィルタを含めて構成してもよい。

また、例えば、前記生成回路は、圧縮センシング技術を用いて前記画像を生成することとしてもよい。

この圧縮センシングにより、適切に画像が生成され得る。

また、本開示の一態様に係る撮像装置は、複数種類の光学フィルタを有するランダム光学フィルタアレイと、ここで、前記複数種類の光学フィルタがランダムに配置されており、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、前記ランダム光学フィルタアレイにおける少なくとも２つの光学フィルタは、前記フォトダイオードの前に位置し、前記ランダム光学フィルタアレイにおける最も小さい大きさを有する光学フィルタは、前記フォトダイオードよりも小さい。

これにより、光の波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタがランダムに配置されたランダム光学フィルタアレイを介して、各画素としてのフォトダイオードが十分な情報を取得することができるようになる。このため、各画素の情報を用いて解像度が比較的高い適切な画像が生成され得る。

なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組み合わせが含まれる。

以下、図面を参照しながら、本開示における画像生成装置に係る撮像システムの実施の形態について説明する。ここで示す実施の形態は、いずれも一例に過ぎない。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ及びステップの順序等は、一例であって、限定的なものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。

（実施の形態１）
図１は、本実施の形態に係る撮像システム１０の構成を示す。撮像システム１０は、撮像装置１１と画像生成装置１２とを備える。

撮像装置１１は、波長変調部１０１と、変調画像取得部１０２と、送信回路１０３とを有する。一方、画像生成装置１２は、受信回路１０４と、カラー画像生成回路１０５と、出力Ｉ／Ｆ（インタフェース）装置１０６とを有する。撮像装置１１と画像生成装置１２とは、一体化していてもよい。もちろん、撮像装置１１と画像生成装置１２とが一体化している場合、送信回路１０３及び受信回路１０４は省略し得る。

（撮像装置１１）
まず、図２を参照しながら撮像装置１１を説明する。

図２は、波長変調部１０１及び変調画像取得部１０２の構成の詳細を示す。

図２に示されるように、波長変調部１０１は、結像光学系２０１及びランダムカラーフィルタアレイ２０２に対応する。また、変調画像取得部１０２は、撮像素子２０３に対応する。

（結像光学系２０１）
結像光学系２０１は、少なくとも、１枚又は複数枚のレンズと、レンズ位置調整機構とを有する（いずれも図示せず）。１枚又は複数枚のレンズは被写体からの光を集めて、光信号を結像する。光信号は被写体の像を示す。レンズ位置調整機構は、例えば、レンズによる結像位置を調整するためのアクチュエータ及びアクチュエータの駆動量を制御する制御回路（コントローラ）である。なお、１枚又は複数枚のレンズの焦点が固定されている場合には、レンズ位置調整機構は不要である。また、ピンホールカメラのように、レンズを利用せずに光信号を結像させてもよい。

結像光学系２０１は光学系と呼んでもよい。

（撮像素子２０３）
図３は、ランダムカラーフィルタアレイ２０２及び撮像素子２０３の構成の詳細の一例を示す。

撮像素子２０３は、複数のフォトダイオード２０３ａと、少なくとも１つのＡＤ変換部２０３ｂとを含んで構成される。

フォトダイオード２０３ａにより、結像光学系２０１が結像した光信号を受け付け、ＡＤ変換部２０３ｂにより、電気信号に変換する。電気信号は、画素毎の変調された画像である変調画像を示す。即ち、撮像素子２０３は、変調画像を撮像する。撮像素子２０３は、レンズの焦点距離に配置される。

撮像素子２０３は光学系で集光された光を受光して、電気信号を出力する複数の画素を含む。画素は、フォトダイオード２０３ａに対応する。撮像素子２０３の複数のフォトダイオード２０３ａと複数の電気信号とは１対１に対応する。

（ランダムカラーフィルタアレイ２０２）
ランダムカラーフィルタアレイ２０２は、複数種類のカラーフィルタ２０２ａ〜２０２ｃを有する。ランダムカラーフィルタアレイ２０２は、例えば、複数のカラーフィルタ２０２ａ〜２０２ｃが、略平面上の互いに異なる位置であり、かつランダムに配置（例えば複数種類のカラーフィルタからカラーフィルタをランダムに選択して配置）されているカラーフィルタの集合体である。ランダムカラーフィルタアレイ２０２は、フォトダイオード２０３ａの前、つまり、結像光学系２０１から入射した光が撮像素子２０３に至る光路上（例えば入射光がフォトダイオード２０３ａの受光面に至る手前）に配置される。

カラーフィルタ２０２ａと、カラーフィルタ２０２ｂと、カラーフィルタ２０２ｃとは互いに種類（つまり、光の波長と透過率との関係に係る波長特性）の異なるカラーフィルタである。一例としては、１つの種類のカラーフィルタ２０２ａは、主としてＲの波長帯域を透過するＲフィルタであり、別の１つの種類のカラーフィルタ２０２ｂは、主としてＧの波長帯域を透過するＧフィルタであり、また別の１つの種類のカラーフィルタ２０２ｃは、主としてＢの波長帯域を透過するＢフィルタである。

図３の例において、ランダムカラーフィルタアレイ２０２は、１つのフォトダイオード２０３ａ毎に、３種類のカラーフィルタ２０２ａ〜２０２ｃからなる集合からランダムに選択された６つのカラーフィルタを有する。なお、各フォトダイオード２０３ａに対する各カラーフィルタ２０２ａ〜２０２ｃの配置の詳細（つまり６つのカラーフィルタの集合における個々のカラーフィルタの配置）については、図６、図７等を用いて後述する。

典型的には、ランダムカラーフィルタアレイ２０２は、撮像素子２０３の前面つまり受光面に接して配置される。なお、ランダムカラーフィルタアレイ２０２は、撮像素子２０３の前に、前面から所定の間隔を空けて配置されてもよい。

ランダムカラーフィルタアレイ２０２は、撮像素子２０３に入射する複数の波長帯域の光をフィルタリングするために用いられ、ランダムカラーフィルタアレイ２０２を透過して撮像した画像を変調画像と呼ぶ。ランダムカラーフィルタアレイ２０２は、複数の波長帯域の光が透過する任意の位置において、異なる光透過率を有している。ここで言う「位置」は、一定の面積を有する微小領域の位置を意味している。略平面形状の各カラーフィルタ２０２ａ〜２０２ｃで構成されるランダムカラーフィルタアレイ２０２が略平面形状であるとしてその平面上の各微小領域の位置毎に、光透過率は相違し得る。このような位置毎の光透過率は、ランダムカラーフィルタアレイ２０２を構成する複数種類のカラーフィルタ２０２ａ〜２０２ｃの波長特性と、ランダムカラーフィルタアレイ２０２の配置によって決まり、変調情報と呼ぶ。各微小領域の面積は、例えば撮像素子２０３の各フォトダイオード２０３ａの受光面積と等しくてもよいし、その受光面積より小さくてもよい。なお、光透過率は透過する波長（波長帯域）によっても異なり得る。

複数のフォトダイオード２０３ａとランダムカラーフィルタアレイ２０２に係る上述の複数の微小領域の位置とは、１対１で対応してもよいし、１対複数で対応してもよい。

ランダムカラーフィルタアレイ２０２の更なる詳細は後に説明する。

（送信回路１０３）
送信回路１０３は、撮像素子２０３が撮像した変調画像と、ランダムカラーフィルタアレイ２０２に対応して設定された変調情報とを、画像生成装置１２に送信する。送信は、有線通信及び無線通信のいずれで行われてもよい。

なお、本実施の形態では、撮像システム１０が、送信回路１０３及び受信回路１０４を備え、概ねリアルタイムで変調画像及び変調情報を送受信して処理を行うことが想定されている。しかしながら、撮像システム１０は、変調画像及び変調情報を保存する記憶装置（例えばハードディスクドライブ）を備え、非リアルタイムで処理を行ってもよい。

（画像生成装置１２）
再び図１を参照し、画像生成装置１２の受信回路１０４、カラー画像生成回路１０５及び出力インタフェース装置１０６をそれぞれ説明する。

（受信回路１０４）
受信回路１０４は、撮像装置１１から出力された変調画像と変調情報とを受け取る。受信回路１０４と送信回路１０３との間の通信は、有線通信でも無線通信でもよい。なお、送信回路１０３が変調画像及び変調情報を有線通信で送信したとしても、有線通信を無線通信に変換する機器を経由することにより、受信回路１０４がこれらの情報を無線で受信してもよい。その逆も同様である。

（カラー画像生成回路１０５）
カラー画像生成回路１０５は、受信回路１０４が受信した変調画像及び変調情報を利用してカラー画像を生成する。カラー画像を生成する処理（カラー画像生成処理）の詳細については後述する。カラー画像生成回路１０５は、生成されたカラー画像を出力インタフェース装置１０６に送る。

（出力インタフェース装置１０６）
出力インタフェース装置１０６は、映像出力端子等である。出力インタフェース装置１０６は、カラー画像を、デジタル信号として又はアナログ信号として画像生成装置１２の外部に出力する。

（ランダムカラーフィルタアレイ２０２の詳細）
次に、図４〜図７を参照しながら、ランダムカラーフィルタアレイ２０２をより詳細に説明する。

図４は、ランダムカラーフィルタアレイ２０２を含む撮像システム１０の模式図である。

上述したように、ランダムカラーフィルタアレイ２０２は波長特性として、位置に応じて、かつ、波長帯域に応じて、異なり得る光透過率を有している。つまり、複数の波長帯域の光が透過する任意の複数の位置それぞれでは、各波長帯域の光透過率の組み合わせが互いに異なっている。このような光学特性を実現するために、本実施の形態のランダムカラーフィルタアレイ２０２は、光の波長帯域に応じた光透過率の互いに異なる複数種類のカラーフィルタ２０２ａ〜２０２ｃを有し、１つのフォトダイオード２０３ａに対応するように、複数種類のカラーフィルタ２０２ａ〜２０２ｃのうちからランダムに選択した複数のカラーフィルタを配置している。そのため、ランダムカラーフィルタアレイ２０２を構成するカラーフィルタの個数は、撮像素子２０３を構成するフォトダイオード２０３ａの個数よりも多くなる。また、ランダムカラーフィルタアレイ２０２において各位置に配置されたカラーフィルタの種類は相違し得る。なお、図４に例示するように、ランダムカラーフィルタアレイ２０２は、例えば、フォトダイオード２０３ａの前方から見て（つまり入射光の光路で上流の結像光学系２０１の方から見て）、複数のカラーフィルタそれぞれを、互いに異なる位置でフォトダイオード２０３ａと重なるように配置している。フォトダイオード２０３ａの前方から見て、各カラーフィルタは、相互に一部重なり合ってもよいが、図４の例のように、相互に重ならないことで、フォトダイオード２０３ａが受光する光量の低減が抑制され得る。

なお、図４では、１つのフォトダイオード２０３ａに対応付けて、３種類のカラーフィルタ２０２ａ〜２０２ｃを組み合わせた３つのカラーフィルタを記載しているが、これは一例に過ぎず、組み合わされるカラーフィルタの数及び種類数はいずれも、３に限られない。

図５は、３種類のカラーフィルタ２０２ａ〜２０２ｃの各波長特性としての光透過率を示す図である。同図において、フィルタ１は、カラーフィルタ２０２ａであり、フィルタ２は、カラーフィルタ２０２ｂであり、フィルタ３は、カラーフィルタ２０２ｃである。

フィルタの波長特性は、フィルタに入射した光が、波長に応じて、どの程度、反射、透過及び吸収されるかを示す。反射光、透過光及び吸収光の総和は入射光に等しい。透過光と入射光との比率は、「透過率」と呼ばれる。この透過率を、光透過率とも称する。吸収光と入射光との比率は「吸収率」と呼ばれる。吸収率は、入射光の光量から反射光の光量と透過光の光量とを減算し、さらに入射光の光量で除算することでも求められる。図５では、各フィルタにおける光透過率と光の波長との関係を示している。

図６及び図７は、３種類のカラーフィルタ２０２ａ〜２０２ｃで構成したランダムカラーフィルタアレイ２０２の模式図である。図６は、ランダムカラーフィルタアレイ２０２の各カラーフィルタ、及び、撮像素子２０３の各フォトダイオード２０３ａの２次元平面上の配置を示す。この２次元平面は、例えば撮像素子２０３の受光面に平行な平面である。図７は、ランダムカラーフィルタアレイ２０２及び撮像素子２０３の断面を示す。図６等では、カラーフィルタ２０２ａ、２０２ｂ及び２０２ｃをそれぞれ、Ｒ、Ｇ、Ｂで表している。

本実施の形態では、３種類のカラーフィルタ２０２ａ、２０２ｂ、２０２ｃから選択された６個のカラーフィルタを透過した光が、１つのフォトダイオード２０３ａで受光される。図６に示すように、３種類のカラーフィルタ２０２ａ〜２０２ｃから、重複を許して６個のカラーフィルタを選択する組み合わせは、３Ｈ６＝２８通りである。

ここで、波長λについての、カラーフィルタ２０２ａの光透過率をＣ１（λ）、カラーフィルタ２０２ｂの光透過率をＣ２（λ）、カラーフィルタ２０２ｃの光透過率をＣ３（λ）とする。また、位置（ｕ，ｖ）の画素に係るフォトダイオード２０３ａに対応するカラーフィルタの数をＮＰ（ｕ，ｖ）、そのうち、カラーフィルタ２０２ａの数をＮＲ（ｕ，ｖ）、カラーフィルタ２０２ｂの数をＮＧ（ｕ，ｖ）、カラーフィルタ２０２ｃの数をＮＢ（ｕ，ｖ）とすると、ランダムカラーフィルタアレイ２０２のある位置（ｕ，ｖ）における波長特性としての光透過率ＣＡ（λ，ｕ，ｖ）は、次式で表現される。

ＣＡ（λ，ｕ，ｖ）＝｛ＮＲ（ｕ，ｖ）・Ｃ１（λ）＋ＮＧ（ｕ，ｖ）・Ｃ２（λ）＋ＮＢ（ｕ，ｖ）・Ｃ３（λ）｝／ＮＰ（ｕ，ｖ） ・・・（式１）

ここで、ＮＲ（ｕ，ｖ）＋ＮＧ（ｕ，ｖ）＋ＮＢ（ｕ，ｖ）＝ＮＰ（ｕ，ｖ）である。また、ＮＰ（ｕ，ｖ）＝６である。

図８は、上述のランダムカラーフィルタアレイ２０２で実現した２８通りの波長特性としての、波長に応じた光透過率を示す。

このように、本実施の形態におけるランダムカラーフィルタアレイ２０２は、３種類のカラーフィルタ２０２ａ〜２０２ｃしか利用しないが、１つのフォトダイオード２０３ａに対してその３種類のうちから選択した６個のフィルタを対応させることで、２８通りの波長特性を画素毎に与えることができるため、ある程度十分なランダムさを有するランダムカラーフィルタアレイ（つまりある程度十分なランダムさでのランダムサンプリングを可能とする光学フィルタアレイ）を実現している。

（ランダムカラーフィルタアレイ２０２の変形例１）
以上の説明では、ランダムカラーフィルタアレイ２０２を構成するフィルタは３種類のカラーフィルタ２０２ａ〜２０２ｃとしたが、フィルタを４種類以上にしてもよく、互いに波長特性として光透過率の異なる光学フィルタとして機能するものであれば、必ずしもカラーフィルタでなくてもよい。以下、上述のランダムカラーフィルタアレイ２０２として、４種類のフィルタを利用する形態（変形例１）について、説明する。

図９は、４種類のフィルタの各波長特性としての光透過率を示す図である。同図において、フィルタ１〜３は、カラーフィルタ２０２ａ〜２０２ｃであり、フィルタ４は、全域を透過するフィルタである。このフィルタ４は、ランダムカラーフィルタアレイを生成する際、フィルタとしての部材を入れないことで実現可能である。このように部材を入れない部分を設けることで、全域を透過するフィルタを、ランダムカラーフィルタアレイ２０２に含ませると、コストを抑えることができる。ここでは、ランダムカラーフィルタアレイ２０２における、この全域を透過するフィルタを、便宜上カラーフィルタと称して説明を続ける。

図１０及び図１１は、４種類のフィルタで構成したランダムカラーフィルタアレイ２０２の模式図である。図１０は、ランダムカラーフィルタアレイ２０２の各フィルタ、及び、撮像素子２０３の各フォトダイオード２０３ａの２次元平面上の配置を示す。図１０において全域を透過するカラーフィルタ２０２ｄをＷで表している。図１１は、ランダムカラーフィルタアレイ２０２及び撮像素子２０３の断面を示す。図１１等では、カラーフィルタ２０２ｄをＷで表している。

本変形例では、４種類のカラーフィルタ２０２ａ、２０２ｂ、２０２ｃ、２０２ｄから選択された６個のフィルタを透過した光が、１つのフォトダイオード２０３ａで受光される。カラーフィルタ２０２ｄは、全域を透過するフィルタである。図１０に示すように、４種類のフィルタから、重複を許して６個のフィルタを選択する組み合わせは、４Ｈ６＝８４通りである。

ここで、波長λについての、カラーフィルタ２０２ａの光透過率をＣ１（λ）、カラーフィルタ２０２ｂの光透過率をＣ２（λ）、カラーフィルタ２０２ｃの光透過率をＣ３（λ）、カラーフィルタ２０２ｄの光透過率をＣ４（λ）とする。また、位置（ｕ，ｖ）の画素に係るフォトダイオード２０３ａに対応するカラーフィルタの数をＮＰ（ｕ，ｖ）、そのうち、カラーフィルタ２０２ａの数をＮＲ（ｕ，ｖ）、カラーフィルタ２０２ｂの数をＮＧ（ｕ，ｖ）、カラーフィルタ２０２ｃの数をＮＢ（ｕ，ｖ）、カラーフィルタ２０２ｄの数をＮＷ（ｕ，ｖ）とすると、ランダムカラーフィルタアレイ２０２のある位置（ｕ，ｖ）における波長特性としての光透過率ＣＡ（λ，ｕ，ｖ）は、次式で表現される。

ＣＡ（λ，ｕ，ｖ）＝｛ＮＲ（ｕ，ｖ）・Ｃ１（λ）＋ＮＧ（ｕ，ｖ）・Ｃ２（λ）＋ＮＢ（ｕ，ｖ）・Ｃ３（λ）＋ＮＷ（ｕ，ｖ）・Ｃ４（λ）｝／ＮＰ（ｕ，ｖ） ・・・（式２）

ここで、ＮＲ（ｕ，ｖ）＋ＮＧ（ｕ，ｖ）＋ＮＢ（ｕ，ｖ）＋ＮＷ（ｕ，ｖ）＝ＮＰ（ｕ，ｖ）である。また、ＮＰ（ｕ，ｖ）＝６である。

図１２は、本変形例に係るランダムカラーフィルタアレイ２０２で実現した８４通りの波長特性としての、波長に応じた光透過率を示す。

このように、本変形例に係るランダムカラーフィルタアレイ２０２は、４種類のカラーフィルタ２０２ａ〜２０２ｄしか利用しないが、１つのフォトダイオード２０３ａに対してその４種類のうちから選択した６個のフィルタを対応させることで、８４通りの波長特性を画素毎に与えることができるため、ある程度十分なランダムさを有するランダムカラーフィルタアレイを実現している。

（ランダムカラーフィルタアレイ２０２の変形例２）
また、以上の説明では、ランダムカラーフィルタアレイ２０２が、３種類以上のフィルタのうちから、選択した６個のフィルタを透過した光が１つのフォトダイオード２０３ａで受光されるように構成されることを示したが、１つのフォトダイオード２０３ａで受光される光が透過するフィルタの個数は７個以上でもよい。以下、ランダムカラーフィルタアレイ２０２を、３種類のフィルタの９個を透過した光が１つのフォトダイオード２０３ａで受光されるように構成した形態（変形例２）について、説明する。

図１３は、３種類のフィルタの９個を透過した光が１つのフォトダイオード２０３ａで受光される形態におけるランダムカラーフィルタアレイ２０２の各フィルタ、及び、撮像素子２０３の各フォトダイオード２０３ａの２次元平面上の配置を示す。

図１３に示すように、３種類のフィルタから、重複を許して９個のフィルタを選択する組み合わせは、３Ｈ９＝５５通りである。

本変形例に係るランダムカラーフィルタアレイ２０２のある位置（ｕ，ｖ）における波長特性としての光透過率ＣＡ（λ，ｕ，ｖ）は、上述の式１で表現される。但し、ＮＰ（ｕ，ｖ）＝９である。

図１４は、本変形例に係るランダムカラーフィルタアレイ２０２で実現した５５通りの波長特性としての、波長に応じた光透過率を示す。

このように、本変形例に係るランダムカラーフィルタアレイ２０２は、３種類のカラーフィルタしか利用しないが、１つのフォトダイオード２０３ａに対してその３種類のうちから選択した９個のフィルタを対応させることで、５５通りの波長特性を画素毎に与えることができるため、ある程度十分なランダムさを有するランダムカラーフィルタアレイを実現している。

（ランダムカラーフィルタアレイ２０２の変形例３）
また、ランダムカラーフィルタアレイ２０２を、４種類以上のフィルタ２０２ａ、２０２ｂ、２０２ｃ、２０２ｄのうちから選択した７個以上のフィルタを透過した光が１つのフォトダイオード２０３ａで受光されるように構成してもよい。以下、ランダムカラーフィルタアレイ２０２を、４種類のフィルタの９個を透過した光が１つのフォトダイオード２０３ａで受光されるように構成した形態（変形例３）について、説明する。

図１５は、４種類のフィルタの９個を透過した光が１つのフォトダイオード２０３ａで受光される形態におけるランダムカラーフィルタアレイ２０２の各フィルタ、及び、撮像素子２０３の各フォトダイオード２０３ａの２次元平面上の配置を示す。

図１５に示すように、４種類のフィルタから、重複を許して９個のフィルタを選択する組み合わせは、４Ｈ９＝２２０通りである。

本変形例に係るランダムカラーフィルタアレイ２０２のある位置（ｕ，ｖ）における波長特性としての光透過率ＣＡ（λ，ｕ，ｖ）は、上述の式２で表現される。但し、ＮＰ（ｕ，ｖ）＝９である。

図１６は、本変形例に係るランダムカラーフィルタアレイ２０２で実現した２２０通りの波長特性としての、波長に応じた光透過率を示す。

このように、本変形例に係るランダムカラーフィルタアレイ２０２は、４種類のフィルタしか利用しないが、１つのフォトダイオード２０３ａに対してその４種類のうちから選択した９個のフィルタを対応させることで、２２０通りの波長特性を画素毎に与えることができるため、ある程度十分なランダムさを有するランダムカラーフィルタアレイを実現している。

（ランダムカラーフィルタアレイ２０２の変形例４）
また、上述の実施の形態で、ランダムカラーフィルタアレイ２０２を構成する３種類のカラーフィルタ２０２ａ〜２０２ｃは、それぞれ、Ｒ（赤）フィルタ、Ｇ（緑）フィルタ、Ｂ（青）フィルタであることとしたが、フィルタ特性は、これに限らない。ここでは、ランダムカラーフィルタアレイ２０２に補色フィルタを含ませた形態について説明する。

例えば、ランダムカラーフィルタアレイ２０２において、Ｒフィルタ、Ｇフィルタ或いはＢフィルタという原色フィルタに比べて透過帯域の広い補色フィルタ（例えばマゼンタ、シアン、黄色のフィルタ）を利用する。

図１７は、３種類の補色フィルタの各波長特性としての光透過率を示す図である。同図において、フィルタ１は、例えばマゼンタのフィルタであり、フィルタ２は、例えばシアンのフィルタであり、フィルタ３は、例えば黄色のフィルタである。

このような補色フィルタを利用することで、透過帯域が広がるため、ノイズを低減した画像を取得することができる。

もちろん、ランダムカラーフィルタアレイ２０２を構成するフィルタとして、Ｒ、Ｇ、Ｂのカラーフィルタつまり原色フィルタと、波長帯域の全域を透過するフィルタと、補色フィルタとを組み合わせるようにしてもよい。例えば、図９と図１７とで示した各フィルタを組み合わせてランダムカラーフィルタアレイ２０２を構成してもよい。この場合には、７種類のフィルタの６個を透過した光が１つのフォトダイオード２０３ａで受光されるようにランダムカラーフィルタアレイ２０２が構成される。７種類のフィルタから、重複を許して６個のフィルタを選択する組み合わせは、７Ｈ６＝９２４通りである。この場合のランダムカラーフィルタアレイ２０２は、７種類のフィルタしか利用しないが、１つのフォトダイオード２０３ａに対して７種類のうちから選択した６個のフィルタを対応させることで、９２４通りの波長特性を画素毎に与えることができるため、ある程度十分なランダムさを有するランダムカラーフィルタアレイを実現している。

同様に、図５と図１７とで示した各フィルタを組み合わせてランダムカラーフィルタアレイ２０２を構成してもよい。この場合には、６種類のフィルタの６個を透過した光が１つのフォトダイオード２０３ａで受光されるようにランダムカラーフィルタアレイ２０２が構成される。６種類のフィルタから、重複を許して６個のフィルタを選択する組み合わせは、６Ｈ６＝４６２通りである。この場合のランダムカラーフィルタアレイ２０２は、６種類のフィルタしか利用しないが、１つのフォトダイオード２０３ａに対して６種類のうちから選択した６個のフィルタを対応させることで、４６２通りの波長特性を画素毎に与えることができるため、ある程度十分なランダムさを有するランダムカラーフィルタアレイを実現している。

（画像生成装置１２の処理）
次に、図１８に即して画像生成装置１２（図１参照）における処理について説明する。

図１８は、画像生成装置１２の主要な処理の手順を示すフローチャートである。

画像生成装置１２の受信回路１０４は、撮像装置１１の送信回路１０３が送信した変調画像と変調情報とを受信する（ステップＳ１０１）。

次に、カラー画像生成回路１０５は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、カラー画像を生成する（ステップＳ１０２）。

次に、出力インタフェース装置１０６は、カラー画像生成回路１０５が生成したカラー画像を、ディスプレイに表示したり人検出等の画像処理に利用したりするために出力する（ステップＳ１０３）。

（カラー画像生成処理）
以下、ステップＳ１０２でのカラー画像生成回路１０５によるカラー画像生成処理について、より詳しく説明する。

カラー画像生成処理は、撮像された変調画像をｙ、生成されるカラーＲＧＢ画像である生成画像をｘとした場合、以下のように定式化できる。

ここで、行列Ａは、変調情報を示すサンプリング行列である。サンプリング行列Ａは、変調画像ｙと、生成画像ｘとの関係を示している。また、例えば、画素数がＮである場合、変調画像ｙはＮ行１列の行列で表現され、生成画像ｘは３Ｎ行１列の行列で表現され、サンプリング行列ＡはＮ行３Ｎ列の行列で表現される。

以下、サンプリング行列Ａの取得方法を説明する。ここでは、マクベスカラーチェッカーによるカラーキャリブレーションを利用する手法を説明する。マクベスカラーチェッカーは、マンセルカラーシステムに基づいた、２４色の色見本である。マクベスカラーチェッカーにおいて、各色見本のＸＹＺ値及びｓＲＧＢ値が規定されている。

例えば、各色見本ｊ（ｊ＝１，２，３，…，２４）のｓＲＧＢ値は、Ｒ’（ｊ）、Ｇ’（ｊ）及びＢ’（ｊ）で表現される。また、この各色見本ｊを本実施の形態の撮像装置１１で撮像することで、各画素ｉ（ｉ＝１，２，３，…，Ｎ）で変調画像の画素信号Ｉ（ｊ，ｉ）が取得される。この場合、以下の関係式が成り立つ。

ｃ（１，ｉ）・Ｒ（ｊ）＋ｃ（２，ｉ）・Ｇ（ｊ）＋ｃ（３，ｉ）・Ｂ（ｊ）＝Ｉ（ｊ，ｉ） ・・・（式４）

但し、ｃ（ｘ，ｉ）（ｘ＝１，２，３）は、サンプリング行列Ａのｉ行（３（ｉ−１）＋ｘ）列の要素である。サンプリング行列Ａのｉ行（３（ｉ−１）＋ｘ）列以外の要素は０である。また、Ｒ（ｊ）、Ｇ（ｊ）及びＢ（ｊ）は、Ｒ’（ｊ）、Ｇ’（ｊ）及びＢ’（ｊ）をリニアに変換することによって得られる。具体的には以下のような計算によって得られる。

式４の関係から、３つの未知数ｃ（１，ｉ）、ｃ（２，ｉ）及びｃ（３，ｉ）に対し、２４の方程式が導出される。従って、最小二乗法により、ｃ（１，ｉ）、ｃ（２，ｉ）及びｃ（３，ｉ）を導出することが可能である。この処理を、すべての画素ｉに対して行うことにより、サンプリング行列Ａを取得することが可能である。

次に、カラー画像生成回路１０５においてサンプリング行列Ａ及び変調画像ｙから生成画像ｘを取得する方法を説明する。説明を簡略化するために、撮像素子２０３の画素数がＮ＝１６である場合について説明する。

図１９は、撮像素子２０３の画素数がＮ＝１６である場合の変調画像ｙとこの変調画像ｙに基づいて生成される生成画像（カラーＲＧＢ画像）ｘのＲ画像ｒ、Ｇ画像ｇ、Ｂ画像ｂを示す模式図である。この図において、（ａ）は変調画像ｙ、（ｂ）は変調画像ｙに基づいて生成されたカラーＲＧＢ画像の赤（Ｒ）チャネルであるＲ画像ｒ、（ｃ）は変調画像ｙに基づいて生成されたカラー画像の緑（Ｇ）チャネルであるＧ画像ｇ、（ｄ）は変調画像ｙに基づいて生成されたカラー画像の青（Ｂ）チャネルであるＢ画像ｂを示している。変調画像ｙと生成画像ｘとは、次式で表される。

この式６から明らかなように、式３において、未知数であるｘの要素数が４８であり、観測数であるｙの要素数が１６である。つまり、未知数に対して方程式の数が少ない。そのため、式３は、不良設定問題となっている。

撮像システム１０は、この不良設定問題を解くために、圧縮センシング技術を利用する。圧縮センシング技術とは、信号のセンシング時に加算処理（符号化）することによりデータ量を圧縮し、圧縮したデータを利用して復元処理を行うことで元の信号を復号（復元）する技術である。圧縮センシング処理では、不良設定問題を解くために、事前知識が利用される。

自然画像に対する事前知識として、画像上の近傍位置間における輝度変化の絶対値和であるトータル・バリエーション（Total Variation）（例えば、非特許文献１及び非特許文献２）が利用されてもよい。また、ウェーブレット（Wavelet）変換、ＤＣＴ変換、カーブレット（Curvelet）変換等の線形変換において多くの係数が０になるというスパース性（例えば、非特許文献３）が利用されてもよい。また、上述の線形変換の変換係数を学習によって取得するディクショナリ・ラーニング（Dictionary Learning）（例えば、非特許文献４）等が利用されてもよい。

ここでは、トータル・バリエーションの一種に分類される手法である、デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Decorrelated Vectorial Total Variation）について説明する。この手法は、カラー画像の輝度成分と色差成分の勾配とを分離して計算することにより、偽色と呼ばれるアーチファクトの発生を抑制する。これは、以下の評価関数を最小化することで実現される。

この評価関数は、以下の３つの項から成り立っている。

１．データフィデリティ（Data Fidelity）項：｜｜Ａｘ−ｙ｜｜^２ _２：式３を満たすための拘束項。
２．ダイナミックレンジ（Dynamic Range）項：最小値ｍｉｎを演算するためのｘの範囲（［０，２５５］^３×Ｎ）：画素値が０以上２５５以下であるための拘束項。
３．デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Decorrelated Vectorial Total Variation）項：Ｊ（ｘ）：カラー画像の輝度成分と色差成分との勾配を分離したトータル・バリエーション（Total Variation）項。

ここで、｜｜Ａｘ−ｙ｜｜^２ _２は、Ａｘ−ｙの２乗和（Ｌ２ノルムの２乗）を示す。また、Ｊ（ｘ）は、画像全体における輝度成分及び色差成分に関する近傍画素間の差分に対応し、以下の式８〜式１２で表現される。なお、式８〜式１２において、Ｒは実数、Ｒ_＋は非負の実数を示す。

図２０〜図２２は、本実施の形態におけるカラー画像生成回路１０５が生成したカラー画像の一例を色毎に示す。図２０はＲ画像を示し、図２１はＧ画像を示し、図２２はＢ画像を示す。本願発明者らは実際にカラー画像を生成し比較したが、図２０〜図２２では、各画像が、その画像の輝度値に応じた濃淡により図示されている。

これらの図において、（ａ）は３板式カメラで撮像した正解画像（正解カラー画像）を示す。（ｂ）は一般的なデモザイキング手法であって特許文献１に記載のＡＣＰＩ（Adaptive Color Plane Interpolation）法によるデモザイキング画像を示す。（ｃ）は非特許文献５に記載のＭＬＲＩ（Minimized-Laplacian Residual Interpolation）法によるデモザイキング画像を示す。（ｄ）は本実施の形態におけるカラー画像生成回路１０５により、デ・コリレイテッド・ベクトリアル・トータル・バリエーションを用いて、生成した生成画像（復元画像）を示している。

以下では、例として図２０を参照して説明するが、図２１及び図２２にも同様の説明が適用され得る。

図２０の（ａ）の中央部には、格子状のパターンを有する窓が示されている。

図２０の（ｂ）及び（ｃ）には、図３２に示した従来のベイヤー配列を用いて撮像した画像が利用されている。本願発明者らは検証を行い、図２０の（ｂ）に示すＡＣＰＩ法によるデモザイキング画像では、エッジ近傍に偽色と呼ばれるアーチファクトが存在することを確認した。具体的には、窓のエッジ部分に実際に偽色の存在を確認した。本願発明者らは、このような偽色は、図２０の（ｄ）に示す本実施の形態による復元画像には存在していないことも確認した。

図２０の（ｃ）に示すＭＬＲＩ法によるデモザイキング画像では、窓の格子状のパターン等の高周波成分が復元できていない。一方、本実施の形態におけるカラー画像生成回路１０５は、従来技術に比べ、アーチファクトもなく、高周波領域まで復元できていることをこれらの画像は示している。

図２３は、全ての色を含むカラー画像の一例である。図２３では、各画像が、その画像の輝度値（つまり色毎の係数を乗じてＲ、Ｇ及びＢの各成分値を加算することで算定した輝度値）に応じた濃淡により図示されている。窓の格子状のパターンを一見すると明らかなように、本実施の形態による生成画像（復元画像）が正解画像に最も近い。

なお、撮像素子２０３で受光した信号が飽和している場合、式３は成り立たず、式７におけるデータフィデリティ項は、生成画像の画質である復元画質を低下させる原因となってしまう。そこで、カラー画像生成回路１０５は、飽和している画素に対しては、式７におけるデータフィデリティ項を変更することで、復元画質を向上させる。これは、式７における第２項を以下のように変更すればよい。

ここで、式１３の第２項は、飽和した画素に対するデータフィデリティ項であり、飽和拘束と呼ぶ。

また、
は、撮像された変調画像ｙの飽和していない画素を示す。

また、
は、撮像された変調画像ｙの飽和している画素を示す。

また、
は、サンプリング行列Ａのｉ行目を転置したベクトルを示す。

また、
である。これは、推定値ｘにサンプリング行列Ａを乗算した値が飽和している場合、即ちｙ_ｉ以上の場合には０を、その他の場合には∞の値を返す関数である。ここで、式１４の近接作用素は、
で表現される。そのため、ＡＤＭＭ（Alternating Direction Method of Multipliers）等の凸最適化の手法を利用することで、解くことができる（非特許文献６参照）。

図２４及び図２５は、各種手法で生成されたＧ画像を示す。本願発明者らは実際にカラー画像を生成し比較したが、図２４及び図２５では、各画像が、Ｇ画像の輝度値に応じた濃淡により図示されている。

図２４及び図２５において、（ａ）は３板式カメラで撮像した正解画像を示す。（ｂ）及び（ｃ）は、カラー画像生成回路１０５が生成した生成画像（復元画像）を示す。詳細には、（ｂ）は、式７の評価関数で復元した画像、つまり飽和拘束なしの復元画像を示し、（ｃ）は式７の評価関数における第２項を式１３に変更して復元した画像、つまり飽和拘束ありの復元画像を示している。また、図２５の（ａ）〜（ｃ）は、それぞれ、図２４の（ａ）〜（ｃ）の画像の、図２４の（ｄ）で矩形枠で囲んで示す「拡大対象の領域」に相当する範囲を拡大した画像を示す。

図２４の（ａ）の一部の画素は、輝度値が高く、観測した変調画像の一部の画素は飽和している。そのため、図２４の（ｂ）及び図２５の（ｂ）に示すように、飽和拘束なしの復元画像では、データフィデリティ項が正確に機能せず、ごま塩ノイズのようなアーチファクトが生じている。一方、図２４の（ｃ）及び図２５の（ｃ）に示す、飽和拘束を利用して復元画質を向上させた復元画像では、このようなアーチファクトが生じていないことを確認した。この図２５の（ｃ）に示す本実施の形態による生成画像（復元画像）は、（ａ）の正解画像と非常に近い。

以上のように、本実施の形態の撮像システム１０では、ランダムカラーフィルタアレイ２０２を利用して撮像を行い、圧縮センシング技術に飽和画素による拘束を導入してカラー画像生成処理を行うことにより、アーチファクトを低減し、高精細のカラー画像を取得することができる。即ち、撮像システム１０では、撮像に１つの撮像素子（イメージセンサ）しか用いないが、図２５の（ａ）及び（ｃ）に示すように、３板式カメラで撮像した画像に近い高画質の画像を得ることが可能である。

（ランダムカラーフィルタアレイ２０２と撮像素子２０３との位置関係に係る変形例）
以上の説明では、ランダムカラーフィルタアレイ２０２を構成する複数（例えば６個、９個等）のカラーフィルタが、撮像素子２０３における１つのフォトダイオード２０３ａに対応して配置される例を示したが、そのカラーフィルタの個数と１つのフォトダイオード２０３ａとの対応関係は必ずしも一定である必要はない。また、ランダムカラーフィルタアレイ２０２を構成するカラーフィルタの個数が、撮像素子２０３におけるフォトダイオード２０３ａの個数よりも多くなる例を示したが、そのカラーフィルタの個数は必ずしもフォトダイオード２０３ａの個数より多くなくてもよい。

例えば、ランダムカラーフィルタアレイ２０２におけるカラーフィルタ群の配置と、撮像素子２０３におけるフォトダイオード２０３ａ群の配置との位相をずらして配置するようにしてもよい。図２６に、このようにランダムカラーフィルタアレイ２０２とフォトダイオード２０３ａの配列との位相をずらした配置の一例を示す。

図２６に示すランダムカラーフィルタアレイ２０２では、カラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの位置関係が揃わないように、いくつかのカラーフィルタ２０２ａ〜２０２ｃは、複数のフォトダイオード２０３ａにかぶさるように配置されている。即ち、図２６の例では、ランダムカラーフィルタアレイ２０２は、複数のフォトダイオード２０３ａを２次元状に配列した２次元平面上に投影した配置において、複数のフォトダイオード２０３ａと重なるカラーフィルタ２０２ａ〜２０２ｃを含む。

ここで、位置（ｕ，ｖ）の画素に係るフォトダイオード２０３ａの面積をＳＰ（ｕ，ｖ）、そのうち、カラーフィルタ２０２ａが配置されている面積をＳＲ（ｕ，ｖ）、カラーフィルタ２０２ｂが配置されている面積をＳＧ（ｕ，ｖ）、カラーフィルタ２０２ｃが配置されている面積をＳＢ（ｕ，ｖ）とすると、位置（ｕ，ｖ）における波長特性としての光透過率ＣＡ（λ，ｕ，ｖ）は、次式で表現される。なお、波長λについての、カラーフィルタ２０２ａの光透過率をＣ１（λ）、カラーフィルタ２０２ｂの光透過率をＣ２（λ）、カラーフィルタ２０２ｃの光透過率をＣ３（λ）とする。

ＣＡ（λ，ｕ，ｖ）＝｛ＳＲ（ｕ，ｖ）・Ｃ１（λ）＋ＳＧ（ｕ，ｖ）・Ｃ２（λ）＋ＳＢ（ｕ，ｖ）・Ｃ３（λ）｝／ＳＰ（ｕ，ｖ） ・・・（式１６）

ここで、ＳＲ（ｕ，ｖ）＋ＳＧ（ｕ，ｖ）＋ＳＢ（ｕ，ｖ）≦ＳＰ（ｕ，ｖ）である。

このように、カラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの配置の位相が一致しないようにランダムカラーフィルタアレイ２０２を構成する場合、カラーフィルタ２０２ａ〜２０２ｃは、必ずしもフォトダイオード２０３ａより小さいものである必要はなく、例えば、カラーフィルタ２０２ａ〜２０２ｃは、フォトダイオード２０３ａの大きさと概略等しいほどに大きくてもよい。

このようなカラーフィルタ２０２ａ〜２０２ｃの大きさが、フォトダイオード２０３ａの大きさと概略等しいほどに大きいランダムカラーフィルタアレイ２０２の例を、図２７Ａ及び図２７Ｂに示す。図２７Ａ及び図２７Ｂの例では、ランダムカラーフィルタアレイ２０２は、２次元平面に投影した配置において複数のフォトダイオード２０３ａと重なるカラーフィルタを含んでいる。図２７Ｂは、撮像素子２０３の全てのフォトダイオード２０３ａの範囲より、ランダムカラーフィルタアレイ２０２が大きい例を示している。図２７Ａ或いは図２７Ｂのように、カラーフィルタ２０２ａ〜２０２ｃそれぞれと、フォトダイオード２０３ａとの範囲が完全に一致しないように配置すると、位置（ｕ，ｖ）における波長特性としての光透過率ＣＡ（λ，ｕ，ｖ）は、式１６で表現される。

上述した各種構成のランダムカラーフィルタアレイ２０２を利用して撮像を行う撮像システム１０によれば、圧縮センシング技術によってカラー画像生成処理が行われることにより、アーチファクトが低減された、高精細のカラー画像を取得することができる。

（実施の形態２）
図２８は、本実施の形態に係る撮像システム１０の構成を示す。本実施の形態に係る撮像システム１０の構成要素のうち、実施の形態１で示した撮像システム１０と同じ構成要素については、図２８において図１と同一の符号を付しており、ここでは説明を適宜省略する。本実施の形態に係る撮像システム１０は、画像生成装置１２において、実施の形態１で示したカラー画像生成回路１０５の代わりに、マルチバンド画像生成回路１０７を備える。この撮像システム１０は、３原色のＲＧＢカラー画像に限られないマルチバンド画像を生成し得る。マルチバンド画像は、光の波長帯域を４以上の領域に分割した信号で表現する画像である。その波長帯域は可視光に限られず、近赤外、赤外、紫外等の波長帯域であってもよく、マルチバンド画像は、例えば近赤外光画像、赤外光画像、紫外光画像等であり得る。

マルチバンド画像生成回路１０７は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、マルチバンド画像を生成する。マルチバンド画像生成回路１０７は、生成されたマルチバンド画像を出力インタフェース装置１０６に送る。

本実施の形態に係る出力インタフェース装置１０６は、マルチバンド画像を、デジタル信号として又はアナログ信号として画像生成装置１２の外部に出力する。出力インタフェース装置１０６は、明るいシーンでは可視光のカラー画像を出力し、暗いシーンでは近赤外光画像を出力するよう、出力画像を切り替えるようにしてもよい。

また、本実施の形態に係る撮像システム１０の波長変調部１０１（図２８参照）におけるランダムカラーフィルタアレイ２０２は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ等のカラーフィルタの他に、例えば主として近赤外光を透過するフィルタ等を含む複数種類の光学フィルタの配列として構成されるランダム光学フィルタアレイであることとしてもよい。例えば、マルチバンド画像として近赤外光画像を取得する場合において、ランダム光学フィルタアレイには、近赤外光を透過するフィルタを含ませ得る。

以下、図２９に即して本実施の形態に係る画像生成装置１２（図２８参照）における処理について説明する。

図２９は、本実施の形態における画像生成装置１２の主要な処理の手順を示すフローチャートである。同図において、図１８と同じ要素には、同一の符号を付している。

画像生成装置１２の受信回路１０４は、送信回路１０３が送信した変調画像と変調情報を受信する（ステップＳ１０１）。

次にマルチバンド画像生成回路１０７は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、マルチバンド画像を生成するマルチバンド画像生成処理を行う（ステップＳ１０４）。

次に、出力インタフェース装置１０６は、マルチバンド画像生成回路１０７が生成したマルチバンド画像を、ディスプレイに表示したり人検出等の画像処理に利用したりするために出力する（ステップＳ１０５）。

（マルチバンド画像生成処理）
以下、ステップＳ１０４でのマルチバンド画像生成処理について、より詳しく説明する。

マルチバンド画像の生成処理は、撮像された変調画像をｙ’、生成されるＭバンドのマルチバンド画像をｘ’とした場合（Ｍは４以上の整数）、以下のように定式化できる。

ここで、行列Ａは、変調情報を示すサンプリング行列である。

説明を簡略化するために、撮像素子２０３の画素数がＮ＝１６（図１９参照）であるとすると、この変調画像ｙ’と、この変調画像ｙ’に基づいて生成されるマルチバンド画像である生成画像ｘ’とは、次式で表される。生成画像ｘ’を、Ｍ個のチャネルそれぞれの画像に分けて表すと図３０に示すようになる。

この式１８から明らかなように、式１７において未知数であるｘ’の要素数が１６Ｍであり、観測数であるｙ’の要素数が１６である。つまり、未知数に対して方程式の数が少ない。そのため、式１７は、不良設定問題となっている。しかし、実施の形態１で示したように、圧縮センシング技術を利用することでこの不良設定問題を解くことができる。本実施の形態の撮像によりマルチバンド画像を生成する撮像システム１０についても、実施の形態１で示した各種技術を適用し得る。

以上のように、本実施の形態の撮像システム１０は、ランダムカラーフィルタアレイ２０２或いはランダム光学フィルタアレイを利用して撮像を行い、圧縮センシング技術によってマルチバンド画像生成処理を行うことにより、アーチファクトを低減し、高精細のマルチバンド画像を取得することができる。

（他の実施の形態）
以上のように、本開示に係る技術の例示として実施の形態１、２を説明した。しかしながら、本開示に係る技術は、これらの実施の形態に限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。即ち、本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施した形態、互いに異なる実施の形態における構成要素を組み合わせて構築される形態等は、本開示に係る技術の一実施態様に含まれる。例えば、以下のような変形例も本開示に係る技術の一実施態様に含まれる。

上記実施の形態では、撮像システム１０が撮像装置１１と画像生成装置１２とを備える例を示したが、本開示に係る画像生成装置は、上述した撮像装置１１を包含したものであってもよく、つまり、上述した撮像システム１０で構成されてもよい。

上記実施の形態では、カラー画像或いはマルチバンド画像を生成する撮像システム１０を示したが、撮像システム１０は、光の任意の波長帯域を２つ以上の領域に分割した信号で表現する画像を生成することとしてもよく、例えば、撮像システム１０が、赤外光領域を３つの領域に分割した信号で表現する画像を生成することとしてもよい。

また、上述した結像光学系２０１は、結像のためにレンズを用いるものに限られず、例えば反射鏡等を用いるものであってもよい。

また、上記の実施の形態で示した撮像システム１０の各構成要素（特に、各回路等）は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェア（プログラム）を実行することによって実現されてもよい。各構成要素は、マイクロプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記憶媒体（或いは記録媒体）に記録されたプログラムを読み出して実行することによって、実現されてもよい。

また、撮像装置１１に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。同様に、画像生成装置１２に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。また、例えば、上記実施の形態における特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、上記実施の形態における各種処理の実行順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

以上説明したように本開示に係る画像生成装置は、複数種類の光学フィルタ（例えばカラーフィルタ２０２ａ〜２０２ｄ、或いは、補色フィルタ、可視光以外を主として透過するフィルタ等）を有するランダム光学フィルタアレイ（例えばランダムカラーフィルタアレイ２０２）と、ここで、前記複数種類の光学フィルタがランダムに配置されており、ランダム光学フィルタアレイを透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部２０３ｂと、そのデジタルデータとランダム光学フィルタアレイの変調情報とを用いて画像を生成する生成回路（例えばカラー画像生成回路１０５、マルチバンド画像生成回路１０７等）とを備え、ランダム光学フィルタアレイにおける少なくとも２つの光学フィルタは、フォトダイオード２０３ａの前（例えば結像光学系２０１を通過した光がフォトダイオード２０３ａの受光領域に至るまでの光路上等といった、受光領域の前方）に位置し、ランダム光学フィルタアレイにおける最も小さい大きさを有する光学フィルタは、フォトダイオード２０３ａよりも小さい。これにより、光の波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタがランダムに配置されたランダム光学フィルタアレイを介して、各画素としてのフォトダイオード２０３ａが十分な情報を取得することができるので、解像度の低下が抑制され、適切な画像が生成され得る。ところで、カラーフィルタアレイは、一般的にカラーレジスト塗布で作成するため、図６のように個々のカラーフィルタ２０２ａ〜２０２ｃは分離しておらず、図３１のように、隣接した同じ種類のカラーフィルタは大きなサイズとなる。この場合、最も小さい大きさを有する光学フィルタとは、このカラーフィルタアレイの最小構成要素の大きさを示す。具体的には、図３１では右上隅のカラーフィルタ２０２ａの大きさが、最も小さい大きさを有する光学フィルタの大きさとなる。

また、例えば、光学フィルタは、カラーフィルタ２０２ａ〜２０２ｃであり、ランダム光学フィルタアレイは、ランダムカラーフィルタアレイ２０２であり、生成回路は、カラー画像生成回路１０５であることとしてもよい。

また、例えば、フォトダイオード２０３ａの前方から見て、少なくとも２つの光学フィルタ（例えばカラーフィルタ２０２ａ〜２０２ｄ等）それぞれは、互いに異なる位置でフォトダイオード２０３ａと重なることとしてもよい。

また、例えば、ランダム光学フィルタアレイにおける光学フィルタ（例えばカラーフィルタ２０２ａ〜２０２ｄ等）の個数（例えば配列された光学フィルタの配置位置毎の数）は、フォトダイオード２０３ａの個数より６倍以上多いこととしてもよい。

また、例えば、上述の複数種類の光学フィルタは、第１種の光学フィルタ（例えばカラーフィルタ２０２ａ）と、第２種の光学フィルタ（例えばカラーフィルタ２０２ｂ）と、第３種の光学フィルタ（例えばカラーフィルタ２０２ｃ）とを有し、第１種の光学フィルタと、第２種の光学フィルタと、第３種の光学フィルタとは、互いに異なる波長特性を有することとしてもよい。

また、例えば、フォトダイオード２０３ａは、第１の波長帯域と、第２の波長帯域と、第３の波長帯域とを含む光を受光し、第１の波長帯域における第１種の光学フィルタの光透過率と、第１の波長帯域における第２種の光学フィルタの光透過率と、第１の波長帯域における第３種の光学フィルタの光透過率とは異なり、第２の波長帯域における第１種の光学フィルタの光透過率と、第２の波長帯域における第２種の光学フィルタの光透過率と、第２の波長帯域における第３種の光学フィルタの光透過率とは異なり、第３の波長帯域における第１種の光学フィルタの光透過率と、第３の波長帯域における第２種の光学フィルタの光透過率と、第３の波長帯域における第３種の光学フィルタの光透過率とは異なることとしてもよい。

また、例えば、生成回路は、マルチバンド画像生成回路１０７であることとしてもよい。

また、例えば、生成回路（例えばカラー画像生成回路１０５、マルチバンド画像生成回路１０７等）は、圧縮センシング技術を用いて画像を生成することとしてもよい。

また、本開示に係る撮像装置は、複数種類の光学フィルタ（例えばカラーフィルタ２０２ａ〜２０２ｄ等）を有するランダム光学フィルタアレイ（例えばランダムカラーフィルタアレイ２０２）と、ここで前記複数種類の光学フィルタがランダムに配置されており、ランダム光学フィルタアレイを透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部２０３ｂとを備え、ランダム光学フィルタアレイにおける少なくとも２つの光学フィルタは、フォトダイオード２０３ａの上に位置し、ランダム光学フィルタアレイにおける最も小さい大きさを有する光学フィルタは、フォトダイオード２０３ａよりも小さい。これにより、光の波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタがランダムに配置されたランダム光学フィルタアレイを介して、各画素としてのフォトダイオード２０３ａが十分な情報を取得し得る。

本開示に係る撮像システムは、各種カメラに適用可能である。

１０ 撮像システム
１１ 撮像装置
１２ 画像生成装置
１０１ 波長変調部
１０２ 変調画像取得部
１０３ 送信回路
１０４ 受信回路
１０５ カラー画像生成回路
１０６ 出力Ｉ／Ｆ（インタフェース）装置
１０７ マルチバンド画像生成回路
２０１ 結像光学系
２０２ ランダムカラーフィルタアレイ
２０２ａ、２０２ｂ、２０２ｃ、２０２ｄ カラーフィルタ
２０３ 撮像素子
２０３ａ フォトダイオード
２０３ｂ ＡＤ変換部

Claims (9)

1. 複数種類の光学フィルタを有するランダム光学フィルタアレイと、
   ここで、前記複数種類の光学フィルタがランダムに配置されており、
   前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、
   前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、
   前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、
   前記ランダム光学フィルタアレイにおける少なくとも２つの光学フィルタは、前記フォトダイオードの前に位置し、
   前記ランダム光学フィルタアレイにおける最も小さい大きさを有する光学フィルタは、前記フォトダイオードよりも小さい
   画像生成装置。
2. 前記光学フィルタは、カラーフィルタであり、
   前記ランダム光学フィルタアレイは、ランダムカラーフィルタアレイであり、
   前記生成回路が生成する前記画像は、カラー画像である
   請求項１に記載の画像生成装置。
3. 前記フォトダイオードの前方から見て、前記少なくとも２つの光学フィルタそれぞれは、互いに異なる位置で前記フォトダイオードと重なる
   請求項１又は２に記載の画像生成装置。
4. 前記ランダム光学フィルタアレイにおける光学フィルタの個数は、前記フォトダイオードの個数より６倍以上多い
   請求項１〜３のいずれか一項に記載の画像生成装置。
5. 前記複数種類の光学フィルタは、第１種の光学フィルタと、第２種の光学フィルタと、第３種の光学フィルタとを有し、
   前記第１種の光学フィルタと、前記第２種の光学フィルタと、前記第３種の光学フィルタとは、互いに異なる波長特性を有する
   請求項１〜４のいずれか一項に記載の画像生成装置。
6. 前記フォトダイオードは、第１の波長帯域と、第２の波長帯域と、第３の波長帯域とを含む光を受光し、
   前記第１の波長帯域における前記第１種の光学フィルタの光透過率と、前記第１の波長帯域における前記第２種の光学フィルタの光透過率と、前記第１の波長帯域における前記第３種の光学フィルタの光透過率とは異なり、
   前記第２の波長帯域における前記第１種の光学フィルタの光透過率と、前記第２の波長帯域における前記第２種の光学フィルタの光透過率と、前記第２の波長帯域における前記第３種の光学フィルタの光透過率とは異なり、
   前記第３の波長帯域における前記第１種の光学フィルタの光透過率と、前記第３の波長帯域における前記第２種の光学フィルタの光透過率と、前記第３の波長帯域における前記第３種の光学フィルタの光透過率とは異なる
   請求項５に記載の画像生成装置。
7. 前記生成回路が生成する前記画像は、マルチバンド画像である
   請求項１に記載の画像生成装置。
8. 前記生成回路は、圧縮センシング技術を用いて前記画像を生成する
   請求項１〜７のいずれか一項に記載の画像生成装置。
9. 複数種類の光学フィルタを有するランダム光学フィルタアレイと、
   ここで、前記複数種類の光学フィルタがランダムに配置されており、
   前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、
   前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、
   前記ランダム光学フィルタアレイにおける少なくとも２つの光学フィルタは、前記フォトダイオードの前に位置し、
   前記ランダム光学フィルタアレイにおける最も小さい大きさを有する光学フィルタは、前記フォトダイオードよりも小さい
   撮像装置。