JP2017139742A - 撮像装置、撮像システム、撮像方法及びプログラム - Google Patents

Abstract

【課題】解像度の低下や偽色の発生を抑制しつつ、伝送圧縮効率を向上させる撮像装置等を提供する。【解決手段】撮像装置１は、被写体１１１からの光を集光する結像光学系１０１と、複数の画素を有し、集光された光を受光して電気信号に変換する撮像素子１０３と、結像光学系１０１及び撮像素子１０３の間に配置され、異なる光透過率特性を有する複数のカラーフィルタを含むフィルターユニット１０２と、電気信号を符号化する送信データ圧縮回路１０４と、を備え、フィルターユニット１０２全体の光透過率特性は、撮像素子１０３の画素単位でランダムに異なり、送信データ圧縮回路１０４は、撮像素子１０３の複数の画素の中の各画素に対応するフィルターユニット１０２全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、各画素の電気信号を重み付けして符号化する、ものである。【選択図】図２

Description

本開示は、圧縮センシング技術を用いた撮像装置、撮像システム、撮像方法及びプログラムに関する。

カラー画像の撮像には、光の三原色に相当する赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３つの異なる波長情報が必要となる。一方、撮像装置は、一つの撮像素子によりカラー画像を撮像する。従来技術では、撮像装置は、単一のカラーフィルタを使用して、一つの撮像素子によりカラー画像を撮像する。本特許では、可視光のうち特定の波長域を通過させ特定の波長域を阻止するフィルタ、および、可視光のすべての波長域を通過させるフィルタをカラーフィルタとよぶ。前記単一のカラーフィルタは、撮像素子の各画素に対応する領域を有する。前記各画素に対応する領域は、赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過する。前記単一のカラーフィルタにおける赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の分布パターンとしては図２０に示すベイヤー配列が広く利用されてきた。ベイヤー配列では、人間の視覚特性に近いＧ画素を全体の画素の１／２、Ｒ画素およびＢ画素をそれぞれ全体の画素の１／４となるようにカラーフィルタが配置されている。撮像装置は、前記単一のカラーフィルタを使用して、撮像素子の画素毎に赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長情報を取得する。そして、カラー画像生成装置は、前記撮像装置から受信した波長情報をデモザイキングという処理により、カラー画像に復元する。

特許文献１は、上記のベイヤー配列のカラーフィルタを備えた撮像システムを開示する（コラム２の５２行目から５７行目）。特許文献１の撮像システムの入力部は、撮像素子の各画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれかの一つの波長情報しか取得できない。そのため、特許文献１の撮像システムのデータ補間及び記録部は、デジタル信号プロセッサーにおいてカラー画像を復元する際に、波長情報のデータ補間を行う（コラム１の５４行目から６０行目、コラム４の１５行目から３３行目）。しかし、前記データ補間により取得していない色の情報を、別の色情報から擬似的に補間するため、偽色が発生し得る。

特許文献２は、単一のカラーフィルタを使用した画像処理システムを開示する。前記単一のカラーフィルタでは、撮像素子の各画素に対応する領域において赤（Ｒ）、緑（Ｇ）又は青（Ｂ）がランダムなパターンで分布している（段落００３２、段落００４２、図１３）。このため、撮像素子の各画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれかの一つの波長情報しか取得できない。特許文献２の画像処理システムの光変換器は、画像センサで得られた原画像の光特性を変換してサンプリングすることにより、サンプルデータ集合を生成する（段落００２７から００２８）。そして、特許文献２の画像処理システムのデータ処理装置は、サンプルデータ集合に対して圧縮センシング技術を適用してカラー画像の復元を行う（段落００３０）。特許文献２でも、特許文献１と同様に、取得していない色の情報を、別の色情報から擬似的に補間する必要があるため、偽色が発生し得る。

米国特許第５６２９７３４号明細書 特表２０１３−５１１９２４号公報

Ｒｕｄｉｎ Ｌ． Ｉ．， Ｏｓｈｅｒ Ｓ． Ｊ．， ａｎｄ Ｆａｔｅｍｉ Ｅ．： Ｎｏｎｌｉｎｅａｒ ｔｏｔａｌ ｖａｒｉａｔｉｏｎ ｂａｓｅｄ ｎｏｉｓｅ ｒｅｍｏｖａｌ ａｌｇｏｒｉｔｈｍｓ． Ｐｈｙｓｉｃａ Ｄ， ｖｏｌ． ６０， ｐｐ． ２５９-２６８， １９９２ Ｓｈｕｎｓｕｋｅ Ｏｎｏ， Ｉｓａｏ Ｙａｍａｄａ， "Ｄｅｃｏｒｒｅｌａｔｅｄ Ｖｅｃｔｏｒｉａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ"， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１４ Ｊ． Ｍａ， "Ｉｍｐｒｏｖｅｄ Ｉｔｅｒａｔｉｖｅ Ｃｕｒｖｅｌｅｔ Ｔｈｒｅｓｈｏｌｄｉｎｇ ｆｏｒ Ｃｏｍｐｒｅｓｓｅｄ Ｓｅｎｓｉｎｇ ａｎｄ Ｍｅａｓｕｒｅｍｅｎｔ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ＆ Ｍｅａｓｕｒｅｍｅｎｔ， ｖｏｌ． ６０， ｎｏ． １， ｐｐ． １２６−１３６， ２０１１ Ｍ． Ａｈａｒｏｎ， Ｍ． Ｅｌａｄ， ａｎｄ Ａ． Ｍ． Ｂｒｕｃｋｓｔｅｉｎ， "Ｋ−ＳＶＤ： Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｄｅｓｉｇｎｉｎｇ Ｏｖｅｒｃｏｍｐｌｅｔｅ Ｄｉｃｔｉｏｎａｒｉｅｓ ｆｏｒ Ｓｐａｒｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ． ５４， ｎｏ． １１， ｐｐ． ４３１１−４３２２， ２００６ Ｄ．Ｋｉｋｕ， Ｙ．Ｍｏｎｎｏ， Ｍ．Ｔａｎａｋａ ａｎｄ Ｍ．Ｏｋｕｔｏｍｉ， "Ｍｉｎｉｍｉｚｅｄ−Ｌａｐｌａｃｉａｎ ｒｅｓｉｄｕａｌ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｏｒ ｃｏｌｏｒ ｉｍａｇｅ ｄｅｍｏｓａｉｃｋｉｎｇ"， ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ （ＥＩ）， ２０１４．

前述の従来技術では、上記のように更なる改善が必要とされていた。

本開示の一態様の撮像装置は、
被写体からの光を集光する結像光学系と、
複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタと、
前記電気信号を符号化する送信データ圧縮回路と、を備え、
前記複数のカラーフィルタの全体の光透過率特性は、前記撮像素子の画素単位でランダムに異なり、
前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する、
撮像装置である。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。

本開示によれば、更なる改善を実現できる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

第１の画素に対応する複数のカラーフィルタの個々の光透過率特性及び全体の光透過率特性の一例を示す図である。 第１の画素とは異なる第２の画素に対応する複数のカラーフィルタの個々の光透過率特性及び全体の光透過率特性の一例を示す図である。 赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に対応する全波長域において光透過率が等しい、仮想のカラーフィルタの光透過率特性の一例を示す図である。 図１Ｃに示す光透過率特性を用いて図１Ａに示す前記複数のカラーフィルタの全体の光透過率特性を積和演算して得られた積分値を面積で示した図である。 本開示の第１の実施の形態に係る撮像装置を示す概略ブロック図である。 カラーフィルタ１０２ａ、カラーフィルタ１０２ｂ及びカラーフィルタ１０２ｃの第一群の光透過率特性を例示的に示す図である。 厚み０％から１００％まで一様分布となるように各画素の厚みを設定した各カラーフィルタの一例を示す模式図である。 厚み５０％を平均とした正規分布（ガウス分布）となるように各画素の厚みを設定した各カラーフィルタの一例を示す模式図である。 比視感度を表した波長特性の一例を示す図である。 赤（Ｒ）及び青（Ｂ）に対応する波長域においては光透過率が０であり、緑（Ｇ）に対応する波長域のみ光透過率が０超である、仮想のカラーフィルタの光透過率特性の一例を示す図である。 レッド特性とブルー特性との差分特性を表した波長特性の一例を示す図である。 本開示の第１の実施の形態に係る撮像システムに用いられる画像生成装置を示す概略ブロック図である。 本開示の第１の実施の形態に係る撮像装置及び画像生成装置の間の処理を示すシーケンス図である。 変調情報および符号化電気信号を伝送するための伝送フォーマットを例示的に示す模式図である。 本開示の第１の実施の形態に係る撮像装置における電気信号の符号化処理を示すフローチャートである。 重み付けした電気信号を符号化する処理を説明するために用いられる、ラスタスキャンの順序を示す模式図である。 本開示の第１の実施の形態に係る撮像システムに用いられる画像生成装置における電気信号の復号化処理を示すフローチャートである。 撮像素子の画素数をＮ＝１６とした場合の変調画像及び生成画像を例示的に示す模式図である。 本開示の第１の実施の形態における撮像システムに用いられるカラー画像生成回路が生成したＲチャネル画像の一例である。 本開示の第１の実施の形態における撮像システムに用いられるカラー画像生成回路が生成したＧチャネル画像の一例である。 本開示の第１の実施の形態における撮像システムに用いられるカラー画像生成回路が生成したＢチャネル画像の一例である。 本開示の第１の実施の形態における撮像システムに用いられるカラー画像生成回路が生成したカラー画像の一例である。 本開示の第２の実施の形態における、厚みが０ｍｍの領域を含む複数のカラーフィルタに加えて空間光変調器を備えた撮像装置を示す概略ブロック図である。 本開示の第３の実施の形態における、各カラーフィルタの厚みが画素単位で異なる複数のカラーフィルタに加えて空間光変調器を備えた撮像装置を示す概略ブロック図である。 ベイヤー配列を示す模式図である。

（本開示に係る一態様を想到するに至った経緯）
まず、図１Ａから図１Ｄを参照しながら、本開示の一態様の着眼点について説明する。

図１Ａは、前記撮像素子の第１の画素に対応する複数のカラーフィルタ１から３の個々の光透過率特性及び前記撮像素子の第１の画素に対応する前記複数のカラーフィルタ１から３の全体の光透過率特性を示す図である。図１Ｂは、前記第１の画素とは異なる第２の画素に対応する前記複数のカラーフィルタ１から３の個々の光透過率特性及び前記撮像素子の第２の画素に対応する前記複数のカラーフィルタ１から３の全体の光透過率特性を示す図である。なお、第１画素に対応するカラーフィルタ１の厚さと第２画素に対応するカラーフィルタ１の厚さは異なり、かつ、第１画素に対応するカラーフィルタ２の厚さと第２画素に対応するカラーフィルタ２の厚さは異なり、かつ、第１画素に対応するカラーフィルタ３の厚さと第２画素に対応するカラーフィルタ３の厚さは異なる。また、「撮像素子の第１の画素に対応する複数のカラーフィルタ１から３の全体の光透過率特性」とは、例えば「光が撮像素子の第１の画素に対応する複数のカラーフィルタ１、カラーフィルタ２、カラーフィルタ３を透過した場合の光透過率特性」である。ここで、図１Ａが示す前記第１の画素に対応する前記複数のカラーフィルタ１から３の全体の光透過率特性は、全波長域におけるいずれかの波長域において、図１Ｂが示す前記第２の画素に対応する前記複数のカラーフィルタ１から３の全体の光透過率特性と異なる。即ち、本態様では、前記複数のカラーフィルタ１から３の全体の光透過率特性は画素単位及び波長単位でランダムに異なっている。

同様に、図１Ａが示す前記第１の画素に対応する前記複数のカラーフィルタ１から３の中の各々の光透過率特性は、全波長域におけるいずれかの波長域において、図１Ｂが示す前記第２の画素に対応する前記複数のカラーフィルタ１から３の中の各々の光透過率特性と異なる。即ち、本態様では、前記複数のカラーフィルタ１から３の光透過率特性は画素単位及び波長単位でランダムに異なっている。上述のように、前記複数のカラーフィルタ１から３の全体の光透過率特性が画素単位及び波長単位でランダムに異なっているのは、このような光透過率特性を有する前記複数のカラーフィルタ１から３を組み合わせているからである。図１Ａは前記第１の画素に対応し、図１Ｂは前記第２の画素に対応するが、これらは一例であり、前記第１の画素及び前記第２の画素以外の他の画素においても前記複数のカラーフィルタ１から３の全体の光透過率特性は画素単位及び波長単位でランダムに異なっている。

このように、前記複数のカラーフィルタ１から３の全体の光透過率特性のランダム性を画素単位及び波長単位で高めているのは、本態様の撮像装置から前記符号化された電気信号を入力した画像生成装置において、圧縮センシング技術を用いて元のカラー画像を再現する際に、前記ランダム性が高いほど元のカラー画像をより正確に再現することが可能となるからである。

続いて、前記被写体からの光は、前記複数のカラーフィルタ１から３を透過し、前記撮像素子において受光される。そして、前記受光された光の光強度は、前記撮像素子において前記電気信号に変換される。

ここで、特許文献１及び２の従来技術は、本態様とは異なり、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを用いる。そのため、前記単一のカラーフィルタの中でＲの波長域の光を透過させる画素間では光透過率特性は等しい。同様に、前記単一のカラーフィルタの中でＧの波長域の光を透過させる画素間、及び、前記単一のカラーフィルタの中でＢの波長域の光を透過させる画素間でも光透過率特性は等しい。また、被写体が自然物の場合、前記被写体からの光の強度は一般的には急激に変化しないと仮定できる。その結果、前記単一のカラーフィルタの中の赤（Ｒ）と同一の波長域を透過した光を受光した近傍の画素同士の光強度の差分は、前記透過するカラーフィルタの光透過率特性が等しく、且つ、近傍の光同士では光強度が急激に変化しないため、小さくなる。同様に、緑（Ｇ）と同一の波長域を透過した光を受光した近傍の画素同士の光強度の差分、又は、青（Ｂ）と同一の波長域を透過した光を受光した近傍の画素同士の光強度の差分も、それぞれ、緑（Ｇ）又は青（Ｂ）の各々の光透過率特性が等しく、且つ、近傍の光同士では光強度が急激に変化しないため、小さくなる。このことを利用して、従来技術は、赤（Ｒ）、緑（Ｇ）又は青（Ｂ）の波長域毎に電気信号の差分を計算し、圧縮している。このように、従来技術では、前記カラーフィルタの光透過率特性の単位で電気信号を圧縮し、圧縮効率を上げようとしていると考えられる。

これに対して、本態様の撮像装置では、まず、カラー画像の再現性を高めるため、前記撮像素子の各画素に対応させて前記複数のカラーフィルタ１から３を設けている。ここで、前記複数のカラーフィルタ１から３の全体の光透過率特性は、画素単位でランダムに異なっている。このため、前記被写体からの光を前記複数のカラーフィルタ１から３に透過させることにより、前記被写体からの光の光強度は画素単位でランダムに変化する。従って、前述の従来技術のように、前記カラーフィルタの光透過率特性の単位で電気信号を圧縮することはできない。従って、カラー画像の再現性を高めつつ、圧縮効率を向上させ、伝送効率を改善するための工夫が必要となる。

そこで、次に、本発明者は、前記撮像素子の前記複数の画素の中の各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の前記電気信号を重み付けすることを想到した。これにより、前記各画素に対応する前記電気信号を前記各画素間で共通な波長特性を基準とした値に変換している。

前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を用いて、前記複数のカラーフィルタを透過した各画素に対応する前記電気信号に前記重み付けする、ことの技術的意義を説明する。

ここで、前記各画素間で共通な波長特性とは、前記重み付けの際に前記撮像素子のいずれの画素に対しても共通して用いられる基準としての波長特性であり、各波長域と光透過率等の値との関係で示される。

例えば、前記各画素間で共通な波長特性として、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に対応する全波長域において光透過率が等しい光透過率特性を用いることが考えられる。ここで、「赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に対応する全波長域において光透過率が等しい」とは「赤色光の波長域における光透過率、緑色光の波長域における光透過率、青色光の波長域における光透過率が等しい」であることを意味してもよい。図１Ｃは、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に対応する全波長域において光透過率が等しい、仮想のカラーフィルタの光透過率特性の一例を示す図である。図１Ｃでは、横軸は波長を表し、縦軸は光透過率を表し、例えば、４５０ｎｍから６５０ｎｍの波長域において光透過率が「１」となっている。より具体的には、赤（Ｒ）の波長域（例えば、６１０ｎｍ〜６５０ｎｍ）の一部、緑（Ｇ）の波長域（例えば、５００ｎｍ〜５６０ｎｍ）、及び、青（Ｂ）の波長域（例えば、４５０ｎｍ〜４８０ｎｍ）の各々において光透過率が「１」となっている。

また、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合は、各画素に対応する位置における前記複数のカラーフィルタの全体の波長特性と前記各画素間で共通な波長特性との積和演算で計算される。

例えば、図１Ａに示す前記第１の画素に対応する前記複数のカラーフィルタの全体の光透過率特性と図１Ｃに示す前記各画素間で共通な波長特性との積和は、上記のように図１Ｃでは、例えば、４５０ｎｍから６５０ｎｍの波長域において光透過率が「１」であるため、４５０ｎｍから６５０ｎｍ波長の領域内で図１Ａに示す前記複数のカラーフィルタの全体の光透過率特性を積分した値となる。図１Ｄは、図１Ｃに示す光透過率特性を用いて図１Ａに示す前記複数のカラーフィルタの全体の光透過率特性を積和演算して得られた積分値を面積で示した図である。図１Ｄにおいて、前記積分値は斜線部の面積に対応する。

上述したことを前提に、まず、各画素に対応する前記複数のカラーフィルタの全体の光透過率特性のすべてに対して、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合を算出する。

具体的には、例えば、前記各画素間で共通な波長特性として図１Ｃに示す波長特性を用いる場合、図１Ａに示す前記第１の画素に対応する前記複数のカラーフィルタの全体の光透過率特性に対しては、図１Ａに示す前記第１の画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、図１Ｃに示す前記各画素間で共通な波長特性に対する割合が算出される。また、図１Ｂに示す前記第２の画素に対応する前記複数のカラーフィルタの全体の光透過率特性に対しては、図１Ｂに示す前記第２の画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、図１Ｃに示す前記各画素間で共通な波長特性に対する割合が算出される。同様に、前記第１の画素及び前記第２の画素以外の各画素に対応する前記複数のカラーフィルタの全体の光透過率特性に対しても、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、図１Ｃに示す前記各画素間で共通な波長特性に対する割合が算出される。

「第１画素に対応にする複数のカラーフィルタの全体の光透過率特性の、各画素間で共通な波長特性に対する割合」とは、例えば、「図１Ｄに示す斜線部の面積」である。ただし、「第１画素に対応にする複数のカラーフィルタの全体の光透過率特性」とは、図１Ａにおいて「全体、つまり実線の太字」で表された特性であり、「各画素間で共通な波長特性」は図１Ｃで示された特性である。

これにより、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性という前記各画素に個別の特性を、前記各画素間で共通な波長特性という前記各画素に共通の特性との関係で相対的に把握することができる。

しかし、これだけでは不十分である。なぜなら、前記各画素に対応する前記電気信号は、依然として、画素単位でランダムに異なる前記複数のカラーフィルタの全体の光透過率特性を基準として取得された電気信号のままだからである。そのため、本態様では、前記各画素に個別の特性を基準として取得された電気信号を、前記各画素間で共通な波長特性という前記各画素に共通の特性を基準とした値に変換している。

即ち、本態様では、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を算出している。ここで、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合は、前記各画素間で共通な波長特性に対して、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性が占める割合を示す。従って、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数は、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性に対して、前記各画素間で共通な波長特性が占める割合を示す。このため、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性を基準として取得された前記電気信号に対して、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を掛けること、即ち、前記重み付けをすることにより、前記各画素間で共通な波長特性を基準とした値に前記各画素に対応する前記電気信号を変換することができる。

具体的には、例えば、前記各画素間で共通な波長特性として図１Ｃに示す光透過率特性を用いる場合、図１Ａ及び図１Ｂに例示的に示すように、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性をランダムに異ならせて、取得された前記各画素に対応する前記電気信号に対して、前記重み付けをすることにより、図１Ｃに示す前記各画素間で共通な波長特性を基準とした値に前記各画素に対応する前記電気信号を変換することができる。

これにより、前記重み付けされた電気信号は、前記各画素間で共通な波長特性を有するカラーフィルタを使用して得られる電気信号と近似する。即ち、本態様では、前記重み付けにより、画素単位で異なる前記複数のカラーフィルタの全体の光透過率特性が、すべての画素に対応する位置において等しい波長特性、即ち、前記各画素間で共通な波長特性に変換されたと実質的に見なすことができる。このように、前記各画素に対応する前記重み付けした電気信号は、いずれも前記各画素間で共通な波長特性を基準とした値又はそれに近似した値となる。このため、光透過率特性が等しい画素間で電気信号の差分を計算し、圧縮率を高める従来技術と同程度の圧縮率を実現できる。この結果、本態様によると、前記重み付けした電気信号の差分を取ることにより、カラー画像の再現性を高めつつ、それによる伝送効率の低下を回避することができる。

以上により、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせた複数のカラーフィルタを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

以上の考察により、本発明者らは、以下に開示する各態様を想到するに至った。

（本開示の実施の形態の概要）
本開示の一態様の撮像装置は、
被写体からの光を集光する結像光学系と、
複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、異なる第一群の光透過率特性を有する複数のカラーフィルタを含むフィルターユニットと、
前記電気信号を符号化する送信データ圧縮回路と、を備え、
前記フィルターユニット全体の光透過率特性は、前記撮像素子の画素単位でランダムに異なり、
前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する、ものである。

本開示の一態様によると、異なる第一群の光透過率特性を有する複数のカラーフィルタを含むフィルターユニットを設ける。従来のベイヤー配列などの画素毎に相互に異なる単一のカラーフィルタを使用した場合は、カラー画像を再現する際に取得していない色の情報を別の色情報からデータ補間するため、これに起因して偽色が発生する。一方で、本態様では、被写体からすべての色情報を含んだ光を受光するので、解像度の低下を防止しつつ偽色の発生を防止できる。

また、前記フィルターユニット全体の光透過率特性は、前記撮像素子の画素単位でランダムに異なる。これは、前記フィルターユニットに含まれている前記複数のカラーフィルタの波長単位の光透過率特性を、前記撮像素子の前記複数の画素の各々に対応する位置においてランダムに異ならせているからである。この結果、前記複数のカラーフィルタを含む前記フィルターユニット全体の光透過率特性は、画素単位だけでなく波長単位でもランダムに異なることとなる。これにより、前記被写体からの光の光透過率特性を、画素単位及び波長単位で相乗的にランダムに異ならせている。このようにランダム性を高めているのは、本態様の撮像装置から前記符号化された電気信号を入力した画像生成装置において、前記ランダム性が高いほど元のカラー画像をより正確に再現することが可能となるからである。具体的には、前記画像生成装置において圧縮センシング技術を用いてカラー画像を生成するが、圧縮センシング技術では、データをサンプリングする際によりランダムな状態でサンプリングすることで、復元したデータと元のデータとの差異がより小さくなる。この点に鑑みて、上記のように前記ランダム性を画素単位及び波長単位で相乗的に高めている。

さらに、前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する。これにより、前記重み付けされた電気信号は、前記各画素間で共通な波長特性を有するカラーフィルタを使用して得られる電気信号と近似する。このように、前記各画素に対応する前記重み付けした電気信号は、いずれも前記各画素間で共通な波長特性を基準とした値である。このため、光透過率特性が等しい画素間で電気信号の差分を計算し、圧縮率を高める従来技術と同程度の圧縮率を実現できる。これにより、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせたフィルターユニットを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

一方で、本態様の撮像装置から前記符号化された電気信号を入力した画像生成装置において、前記撮像素子の前記複数の画素の中の各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を入手していれば、前記符号化された電気信号を元の重み付けされていない電気信号に再現できる。その結果、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせたフィルターユニットを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

（実施の形態）
以下本開示の各実施の形態について、図面を参照しながら説明する。なお、各図面において、同じ構成要素については同じ符号が用いられている。

（第１の実施の形態）
（全体構成）
図２は、本開示の第１の実施の形態に係る撮像装置を示す概略ブロック図を示す。図２に示すように、撮像装置１は、結像光学系１０１、フィルターユニット１０２、撮像素子１０３、送信データ圧縮回路１０４及び送信回路１０５を備えている。撮像装置１は、被写体１１１からの光を受光する。「被写体１１１からの光」とは、被写体１１１から反射された光、又は、被写体１１１から発光された光を意味する。

（結像光学系１０１）
結像光学系１０１は、少なくとも、レンズと、レンズ位置調整機構とを有する。図２において、レンズは、被写体１１１からの光を集光して、被写体１１１の像を撮像素子１０３において結像する。結像光学系１０１は、１枚のレンズを有していてもよいし、複数のレンズを有していてもよい。

レンズ位置調整機構は、図示しないが、レンズの結像位置を調整するための機構である。レンズ位置調整機構として、例えば、レンズ位置を調整するアクチュエータ及びアクチュエータの駆動量を制御する制御回路（コントローラ）を用いることができる。

（フィルターユニット１０２）
図２に示すように、フィルターユニット１０２は、異なる光透過率特性を有する複数のカラーフィルタ、即ち、カラーフィルタ１０２ａ、カラーフィルタ１０２ｂ及びカラーフィルタ１０２ｃを含む。なお、フィルターユニット１０２は、カラーフィルタ１０２ａ、カラーフィルタ１０２ｂ及びカラーフィルタ１０２ｃ以外の光学要素を含んでいてもよい。フィルターユニット１０２は、結像光学系１０１から入射した光が撮像素子１０３に至るまでの光路上に配置される。典型的には、フィルターユニット１０２は、撮像素子１０３の前面に接して配置される。なお、ここで「撮像素子１０３の前面」とは、撮像素子１０３の上面、又は撮像素子１０３の受光面としても規定されうる。

フィルターユニット１０２は、撮像素子１０３に入射する光を波長的にも空間的にもランダムに受光するために用いられる。カラーフィルタ１０２ａから１０２ｃは、例えば、色材の三原色に対応する３枚のカラーフィルタ、即ち、シアン（Ｃ）の波長域に対応するカラーフィルタ、マゼンダ（Ｍ）の波長域に対応するカラーフィルタ、及び、イエロー（Ｙ）の波長域に対応するカラーフィルタに対応している。

また、図２に示すように、カラーフィルタ１０２ａから１０２ｃはそれぞれカットフィルムを有している。ここで、カットフィルムとは、１層あたり所定の光吸収率特性を有する材質を任意の厚さに積層して構成されるフィルムをいう。

カラーフィルタ１０２ａから１０２ｃの各々の厚さは、図２に示すように、均一ではない。ここで、「厚さ」は、各カラーフィルタを透過する光の光軸に平行な方向に沿う、各カラーフィルタのカットフィルムの長さに対応する。このように、カラーフィルタ１０２ａから１０２ｃの各々の厚さを画素単位でランダムに異ならせることにより、フィルターユニット１０２全体の光透過率特性は画素単位及び波長単位でランダムに異なることになる。これは、画像生成装置（図７）においてカラー画像の再現性を高めるためである。

このように、本実施態様は、まず、第一フェーズとして、フィルターユニット１０２全体の光透過率特性を画素単位及び波長単位でランダムに異ならせ、被写体１１１からの光をフィルターユニット１０２に透過させることにより、被写体１１１からの光の光強度を画素単位でランダムに変化させている。これにより、画像生成装置（図７）においてカラー画像の再現性を高めることができる。

なお、図２では、３枚のカラーフィルタを組み合わせたフィルターユニット１０２を記載しているが、これは一例である。組み合わせるカラーフィルタの数は３枚に限られない。フィルターユニット１０２の更なる詳細は後に説明する。

（撮像素子１０３）
図２において、撮像素子１０３は、複数の画素を有し、結像光学系１０１が集光した光を複数の各画素において受光し、電気信号に変換する。電気信号は画素毎に取得される。以下、撮像素子１０３において取得された電気信号を「変調画像」とも表記しうる。撮像素子１０３は、レンズの焦点距離に配置される。

（送信データ圧縮回路１０４）
図２において、送信データ圧縮回路１０４は、入力部１０６、メモリ１０７及び制御部１０８を備えている。入力部１０６は、撮像素子１０３が取得した各画素の電気信号を撮像素子１０３から受け取る。

図２において、メモリ１０７は、各画素に対応するフィルターユニット１０２全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数（以下、「重み」と表記しうる）を保持している。この「重み」を示す情報を「変調情報」とする。前記変調情報の更なる詳細は後に説明する。

図２において、制御部１０８は、重み付け部１０９と符号化部１１０とを備える。重み付け部１０９は、変調情報を用いて、前記電気信号を重み付けする。符号化部１１０は、前記重み付けされた電気信号を符号化することでデータ圧縮を行う。

このように、本実施態様は、第二フェーズとして、各画素に対応する電気信号の値を、前記重み付けすることによって、前記各画素間で共通な波長特性を有するカラーフィルタを使用して得られる電気信号と近似する。これにより、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせたフィルターユニット１０２を使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

尚、上記の重み付け及び符号化の更なる詳細は後（図１０）に説明する。

（送信回路１０５）
図２において、送信回路１０５は、変調情報と、送信データ圧縮回路１０４が符号化した符号化電気信号とを、撮像装置１の外部の画像生成装置（図７）に送信する。送信は有線および無線のいずれでもよい。なお、本実施の形態では、撮像装置１と画像生成装置（図７）間で、概ねリアルタイムで変調情報及び符号化電気信号が送受信されて処理が行われていることを想定している。しかしながら、変調情報を保持するメモリ１０７以外に、符号化電気信号を保存する記憶装置（例えば、ハードディスクドライブ）をさらに設けることにより、非リアルタイムで処理を行っていてもよい。

次に、図２から５を参照しながら、フィルターユニット１０２をより詳細に説明する。

図３は、カラーフィルタ１０２ａ、カラーフィルタ１０２ｂ及びカラーフィルタ１０２ｃの光透過率特性を例示的に示す図である。図３に示すように、カラーフィルタ１０２ａから１０２ｃは異なる光透過率特性を有する。ここで、異なる光透過率特性とは、波長域毎に光透過率が異なることをいう。

また、図３に示すように、カラーフィルタ１０２ａから１０２ｃの各々の光透過率特性は、いずれかの波長において、各カラーフィルタの厚さが変化しても変化しない、即ち、光吸収率が０％であるとしている。具体的には、例えば、図３では、カラーフィルタ１０２ａが光透過率１００％となる波長域は波長４５０ｎｍ前後であり、カラーフィルタ１０２ｂが光透過率１００％となる波長域は波長６４０ｎｍ前後であり、カラーフィルタ１０２ｃが光透過率１００％となる波長域は波長５８０ｎｍ前後である。また、カラーフィルタ１０２ａから１０２ｃの各々の光透過率は、１００％、即ち、光吸収率が０％となっている。

なお、いずれかの波長において、光吸収率が「０％」であることは理想的である。しかし、カットフィルムは、その光吸収率が数％程度であっても、本実施形態のカットフィルムとして機能し得る。例えば、現実に光吸収率が０から２％の範囲内であれば、光吸収率は０％であるとして取り扱うことができる。同様に、いずれかの波長において、光透過率が「１００％」であることは理想的である。しかし、光透過率が９８％以上１００％以下の範囲内であれば、光透過率は１００％であるとして取り扱うことができる。

なお、図２において、カラーフィルタ１０２ａから１０２ｃは順に積層して構成されている。例えば、カラーフィルタ１０２ｃを例に説明すると、カラーフィルタ１０２ｂを積層する際の支持のため、カラーフィルタ１０２ｃのカットフィルムが存在しない箇所に、カラーフィルタ１０２ｃの光透過率または光吸収率に実質的に影響を与えない光学部材を充填してもよい。他のカラーフィルタ１０２ａ及びカラーフィルタ１０２ｂについても同様である。よって、各カットフィルムの光学特性が、カラーフィルタ１０２ａから１０２ｃの各々の光学特性を決定する。

次に、フィルターユニット１０２の光透過率特性と、カラーフィルタ１０２ａから１０２ｃの各々の光透過率特性及びカットフィルムの厚さとの関係について説明する。波長λに関する、カラーフィルタ１０２ａのカットフィルムの光透過率特性をＣ１（λ）、カラーフィルタ１０２ｂのカットフィルムの光透過率特性をＣ２（λ）、カラーフィルタ１０２ｃのカットフィルムの光透過率特性をＣ３（λ）とする。また、画素位置（ｕ，ｖ）に対応するカラーフィルタ１０２ａのカットフィルムの厚さをＴ１（ｕ，ｖ）、カラーフィルタ１０２ｂのカットフィルムの厚さをＴ２（ｕ，ｖ）、カラーフィルタ１０２ｃのカットフィルムの厚さをＴ３（ｕ，ｖ）とする。この場合、画素位置（ｕ，ｖ）に対応するフィルターユニット１０２全体の光透過率特性ｘ（λ, ｕ，ｖ）は、次式で表現される。なお、記載の簡潔化のため、カットフィルムの厚さを、便宜的に「カラーフィルタの厚さ」と記述する。

ただし、Φ（Ｃ（λ），Ｔ（ｕ，ｖ））は、カラーフィルタの光透過率特性Ｃ（λ）とカラーフィルタの厚さＴ（ｕ，ｖ）から決まる、波長λの光透過率を示す関数である。また、Φ（Ｃ（λ），Ｔ（ｕ，ｖ））は、Ｃ（λ）に含まれる光吸収率が０、または、Ｔ（ｕ，ｖ）が０のときに固定値をとる関数である。具体的には、通常、カラーフィルタの厚さが増えると、光透過率は低下するが、カラーフィルタの光吸収率が０の場合はカラーフィルタの厚さにかかわらず光透過率が固定値となる。また、カラーフィルタを設置しない（Ｔ（ｕ，ｖ）＝０）の場合も光透過率が固定値になる。

数１から、カラーフィルタ１０２ａから１０２ｃの厚さを画素単位でランダムに異ならせることにより、画素単位及び波長単位で光透過率特性がランダムに異なるフィルターユニット１０２を実現することができる。ここで、「画素単位及び波長単位で光透過率特性がランダムに異なる」とは、撮像素子１０３の第１の複数の画素に対応する領域及び第１の複数の画素に対応する領域とは異なる第２の複数の画素に対応する領域間における光透過率の相関係数の絶対値が、画素単位及び波長単位のいずれにおいても１未満であることを意味する。前記相関係数の絶対値は、０〜０．２程度であってもよい。

ここで、カラーフィルタ１０２ａから１０２ｃの各々の厚さは、厚さ０％（フィルタを配置しない）から最大厚さ１００％まで一様分布となるように設定する。ここで、「厚み０％から１００％まで一様分布」とは、厚み０％から１００％までの出現数が等しい分布を意味する。図４は、厚み０％から１００％まで一様分布となるように各画素の厚みを設定した各カラーフィルタの一例を示す模式図である。図４（ａ）は、撮像素子１０３の各画素に対応する位置におけるカラーフィルタ１０２ａの厚みの一例を示す模式図である。図４（ｂ）は、撮像素子１０３の各画素に対応する位置におけるカラーフィルタ１０２ｂの厚みの一例を示す模式図である。図４（ｃ）は、撮像素子１０３の各画素に対応する位置におけるカラーフィルタ１０２ｃの厚みの一例を示す模式図である。図４（ａ）から図４（ｃ）に示すように、撮像素子１０３の各画素に対応する位置における各カラーフィルタの厚みは、画素単位でランダムに異なっている。このように、一様分布に従う乱数、即ち、一様乱数に基づいて、撮像素子１０３の各画素に対応する位置における各カラーフィルタの厚みを設定することで、数１に従い、画素単位及び波長単位で光透過率特性がランダムに異なるフィルターユニット１０２を実現することができる。

ここで、特許文献２の従来技術は、赤（Ｒ）、緑（Ｇ）又は青（Ｂ）の各領域がランダムに配置され、かつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを用いる。そのため、前記単一のカラーフィルタの中でＲの波長域の光を透過させる画素間では光透過率特性は等しい。同様に、前記単一のカラーフィルタの中でＧの波長域の光を透過させる画素間、及び、前記単一のカラーフィルタの中でＢの波長域の光を透過させる画素間でも光透過率特性は等しい。従って、特許文献２の従来技術では、画素単位では光透過率特性はランダムに異なるが、波長単位では光透過率特性がランダムに異ならない。

一方、本態様の実施形態では、上述のようにフィルターユニット１０２を構成することで、画素単位だけでなく、波長単位にも一様乱数によるランダムサンプリングを実現することができる。

尚、各カラーフィルタの厚さの設定には、一様分布以外の分布を用いてもよい。例えば、厚さ５０％を平均とした正規分布（ガウス分布）で設定してもかまわない。図５は、厚み５０％を平均とした正規分布（ガウス分布）となるように各画素の厚みを設定した各カラーフィルタの一例を示す模式図である。図５（ａ）は、撮像素子１０３の各画素に対応する位置におけるカラーフィルタ１０２ａの厚みの一例を示す模式図である。図５（ｂ）は、撮像素子１０３の各画素に対応する位置におけるカラーフィルタ１０２ｂの厚みの一例を示す模式図である。図５（ｃ）は、撮像素子１０３の各画素に対応する位置におけるカラーフィルタ１０２ｃの厚みの一例を示す模式図である。図５（ａ）から図５（ｃ）に示すように、撮像素子１０３の各画素に対応する位置における各カラーフィルタの厚みは、画素単位でランダムに異なっている。このように、正規分布に従う乱数、即ち、正規乱数に基づいて、撮像素子１０３の各画素に対応する位置における各カラーフィルタの厚みを設定することで、数１に従い、画素単位及び波長単位で光透過率特性がランダムに異なるフィルターユニット１０２を実現することができる。これにより、画素単位及び波長単位で正規乱数によるランダムサンプリングを実現することができる。

次に、電気信号の重み付けの際に基準となる各画素間で共通な波長特性に関して、図１Ｃに示す赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に対応する全波長域において光透過率が等しい光透過率特性以外の例を説明する。

図６Ａは、前記各画素間で共通な波長特性の一例として比視感度を表した波長特性を示す図である。比視感度とは、人間の目が光の波長ごとの明るさを感じる強さを数値で表したものである。前記波長特性においては、図６Ａに示すように、緑（Ｇ）に対応する５５０ｎｍ近傍の波長域において光強度が大きい。

図６Ｂは、赤（Ｒ）及び青（Ｂ）に対応する波長域においては光透過率が０であり、緑（Ｇ）に対応する波長域のみ光透過率が０超である、仮想のカラーフィルタの光透過率特性の一例を示す図である。即ち、前記光透過率特性は、緑（Ｇ）に対応する波長域のバンドパスフィルタが有する光透過率特性と同一である。前記光透過率特性においては、図６Ｃに示すように、緑（Ｇ）に対応する５５０ｎｍ近傍の波長域において、光透過率が１であり、それ以外の波長域においては、光透過率が０である。

図６Ｃは、レッド特性とブルー特性との差分特性を表した波長特性の一例を示す図である。前記波長特性は、レッド特性とブルー特性との差分、即ち、色差を示すものである。前記波長特性においては、図６Ｃに示すように、約５７０ｎｍ以下の波長域においては値が０より大きく、一方、約５７０ｎｍ以上の波長域においては値が０より小さい。

なお、図１Ｃ、及び図６Ａから図６Ｃに示す波長特性は例に過ぎず、各画素間で共通な波長特性はこれらに限られない。

次に、図７を参照しつつ、本開示の一実施の形態に係る撮像システムに用いられる画像生成装置に関して説明する。

図７は、本開示の第１の実施の形態に係る撮像システムに用いられる画像生成装置２を示す概略ブロック図である。図７に示すように、画像生成装置２は、受信回路２０１、受信データ復号回路２０２、カラー画像生成回路２０３および出力インターフェース装置２０４を備えている。

（受信回路２０１）
受信回路２０１は、撮像装置１から出力された変調情報と符号化電気信号とを受け取る。受信回路２０１と送信回路１０５との間の通信は、有線でも無線でも構わない。なお、送信回路１０５が変調情報と符号化電気信号を有線で送信したとしても、有線通信を無線通信に変換する機器を経由することにより、受信回路２０１がこれらの情報を無線で受信してもよい。その逆も同様である。

（受信データ復号回路２０２）
図７に示すように、受信データ復号回路２０２は、メモリ２０５、制御部２０６及び出力部２０７を備えている。メモリ２０５は、受信回路２０１から受け取った変調情報を保持する。

図７に示すように、制御部２０６は、復号化部２０８と重み付け除去部２０９とを備えている。復号化部２０８は、符号化電気信号を復号化する（第三フェーズ）。重み付け除去部２０９は、メモリ２０５から取得した変調情報を利用して、復号化された電気信号から重み付けを除去する（第四フェーズ）。ここで、前記第三フェーズは撮像装置１における前記第二フェーズに対応し、前記第四フェーズは撮像装置１における前記第一フェーズに対応する。即ち、前記第三フェーズにおいて得られた復号化された電気信号は、重み付けされた電気信号、即ち、前記各画素間で共通な波長特性を有するカラーフィルタを使用して得られる電気信号に近似した値に対応する。そのため、このままでは、カラー画像の再現性を高めることはできない。次に、前記第四フェーズにおいて、重み付け除去部２０９が前記変調情報を用いて前記復号化された電気信号から重み付けを除去することで、被写体１１１からの光がフィルターユニット１０２を透過した後の値を得ることができる。

その結果、撮像装置１から符号化電気信号を入力した画像生成装置２において、変調情報を入手していれば、復号化後の電気信号を元の重み付けされていない電気信号に再現できる。このように、たとえ、画像生成装置２が、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせたフィルターユニット１０２を使用して前記電気信号を撮像装置１から取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

尚、上記の復号化及び重み付け除去の更なる詳細は後（図１２）に説明する。

出力部２０７は、重み付けが除去された電気信号、即ち、変調画像をカラー画像生成回路２０３に送信する。

（カラー画像生成回路２０３）
図７において、カラー画像生成回路２０３は、受信データ復号回路２０２から取得した変調画像に基づいてカラー画像を生成する。また、カラー画像生成回路２０３は、生成されたカラー画像を出力インターフェース装置２０４に送る。カラー画像生成回路２０３の更なる詳細は後に説明する。

（出力インターフェース装置２０４）
出力インターフェース装置２０４は、映像出力端子である。出力インターフェース装置２０４は、カラー画像を、デジタル信号として、又は、アナログ信号として画像生成装置２の外部に出力する。

以上のように構成された本開示の第１実施形態における撮像装置１及び画像生成装置２を含む撮像システムについて、以下、その動作を説明する。

図８は、本開示の一実施の形態に係る撮像装置１及び画像生成装置２の間の処理シーケンスを示すシーケンス図である。

図９は、変調情報および符号化電気信号を伝送するための伝送フォーマットを例示的に示す模式図である。図９(ａ)は、変調情報が記述された伝送フォーマットを例示的に示す模式図である。また、図９（ｂ）は、符号化電気信号が記述された伝送フォーマットを例示的に示す模式図である。

まず、撮像装置１の撮像素子１０３は、結像光学系１０１が集光した光を複数の各画素において受光し、電気信号に変換する（Ｓ８０１）。

撮像装置１の送信データ圧縮回路１０４は、メモリ１０７から取得した変調情報を用いて前記電気信号を重み付けする（Ｓ８０２）。

撮像装置１の送信データ圧縮回路１０４は、前記重み付けされた電気信号を符号化する（Ｓ８０３）。

撮像装置１の送信回路１０５は、画像生成装置２に接続される１回目の通信では、前記変調情報を図９（ａ）で表された伝送フォーマットを用いて画像生成装置２に送信し、及び、前記符号化された電気信号を図９（ｂ）で表された伝送フォーマットを用いて画像生成装置２に送信する（Ｓ８０４）。ここで、撮像装置１は、前記変調情報の代わりに、前記変調情報を指定する指定情報を送信してもよい。この場合、画像生成装置２が予め前記変調情報を保持していれば、撮像装置１は、撮像装置１に対応する変調情報を指定できる。

画像生成装置２の受信回路２０１は、送信回路１０５から送信された前記変調情報及び前記符号化電気信号を受信する（Ｓ８０５）。

画像生成装置２のメモリ２０５は、前記変調情報を保持する（Ｓ８０６）。尚、上述のように、送信回路１０５が前記指定情報を送信した場合は、画像生成装置２のメモリ２０５は、前記指定情報を保持する（Ｓ８０６）。

画像生成装置２の復号化部２０８は、前記符号化電気信号を復号化する（Ｓ８０７）。尚、Ｓ８０７は、Ｓ８０６と並行して行ってもよいし、Ｓ８０６より先に行ってもよい。

画像生成装置２の重み付け除去部２０９は、メモリ２０５から取得した前記変調情報を用いて前記復号化された電気信号から重みを除去する（Ｓ８０８）。

また、Ｓ８０１、Ｓ８０２及びＳ８０３と同様に、撮像装置１は、結像光学系１０１が集光した光を電気信号に変換し（Ｓ８０９）、前記変調情報を用いて前記電気信号を重み付けし（Ｓ８１０）、前記重み付けされた電気信号を符号化する（Ｓ８１１）。

ここで、撮像装置１の送信回路１０５は、画像生成装置２に接続される２回目の通信では、前記変調情報を出力せず、前記符号化された電気信号を図９（ｂ）で表された伝送フォーマットを用いて画像生成装置２に送信する（Ｓ８１２）。前記変調情報は、撮像装置１において固有の固定値である。従って、送信回路１０５は、画像生成装置２に接続される２回目以降の通信では、画像生成装置２に前記変調情報を毎回送る必要はない。同様に、画像生成装置２に接続される１回目の通信において送信回路１０５が前記指定情報を送信した場合は、送信回路１０５は、画像生成装置２に接続される２回目以降の通信において、画像生成装置２に前記指定情報を毎回送る必要はない。

次に、画像生成装置２は、送信回路１０５から送信された前記符号化電気信号を受信する（Ｓ８１３）。ここではＳ８０５と異なり、画像生成装置２は、前記変調情報は受信しない。これは、前記変調情報は、Ｓ８０６において、画像生成装置２のメモリ２０５に保持されているからである。続いて、前記符号化電気信号を復号化し（Ｓ８１４）、メモリ２０５から取得した前記変調情報を用いて前記復号化された電気信号から重みを除去する（Ｓ８１５）。

次に、図１０及び図１１を参照しながら、送信データ圧縮回路１０４の動作をより詳細に説明する。図１０は、本開示の第１の実施の形態に係る撮像装置１における電気信号の符号化処理を示すフローチャートである。

図１０において、まず、送信データ圧縮回路１０４の入力部は、撮像素子１０３において取得された電気信号を取得する（Ｓ１００１）。

送信データ圧縮回路１０４の重み付け部１０９は、メモリ１０７から変調情報を取得する（Ｓ１００２）。前記変調情報は、上述のように、各画素に対応するフィルターユニット１０２全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数、即ち、「重み」を表す情報である。より具体的には、前記変調情報は、画素位置（ｕ，ｖ）におけるフィルターユニット１０２全体の光透過率特性ｘ（λ, ｕ，ｖ）と各画素間で共通な波長特性との積和演算の逆数として計算される値である。前記各画素間で共通な波長特性をＴ（λ）とすると、前記変調情報ｗ（ｕ,ｖ）は、次式で計算できる。

ここで、フィルターユニット１０２全体の光透過率特性ｘ（λ, ｕ，ｖ）を第二群の光透過率特性である赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の線形和で表現することを考える。ここで、「光透過率特性である赤（Ｒ）、緑（Ｇ）及び青（Ｂ）」とは「仮想的に決定した赤色光の光透過率、仮想的に決定した緑色光の光透過率、仮想的に決定した青色光の光透過率」であることを意味してもよい。画素（ｕ,ｖ）に対応するフィルターユニット１０２全体のＲの波長域に対応する光透過率特性の寄与度をＴＲ（ｕ,ｖ）、画素（ｕ,ｖ）に対応するフィルターユニット１０２全体のＧの波長域に対応する光透過率特性の寄与度をＴＧ（ｕ,ｖ）、画素（ｕ,ｖ）に対応するフィルターユニット１０２全体のＢの波長域に対応する光透過率特性の寄与度をＴＢ（ｕ,ｖ）とすると、上記の数２は次式で表すことができる。

ただし、Ｒ（λ）は赤色光の光透過率特性，Ｇ（λ）は緑色光の光透過率特性及びＢ（λ）は青色光の光透過率特性を示している。Ｒ（λ）、Ｇ（λ）、Ｂ（λ）各々はこの装置、方法、システムを開発する開発者が仮想的に決定してもよい。例えば、
・Ｒ（λ）＝光透過率が１（６１０ｎｍ≦λ≦６５０ｎｍ）、光透過率が０（λ＜６１０ｎｍ、λ＞６５０ｎｍ）
・Ｇ（λ）＝光透過率が１（５００ｎｍ≦λ≦５６０ｎｍ）、光透過率が０（λ＜５００ｎｍ、λ＞５６０ｎｍ）
・Ｂ（λ）＝光透過率が１（４５０ｎｍ≦λ≦４８０ｎｍ）、光透過率が０（λ＜４５０ｎｍ、λ＞４８０ｎｍ）
であってもよい。

また、α_R，α_G及びα_Bは、各画素間で共通な波長特性の種類に応じて定まる定数である。例えば、各画素間で共通な波長特性が、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に対応する全波長域において光透過率が等しいものである場合、α_R，α_G及びα_Bは、以下の数４に示す値となる。

この場合、前記変調情報ｗ（ｕ,ｖ）は、数４に示す係数を数３に示す式に代入して得られた値である。

また、各画素間で共通な波長特性が、比視感度を示す波長特性である場合、α_R，α_G及びα_Bは、以下の数５に示す値となる。

この場合、前記変調情報ｗ（ｕ,ｖ）は、数５に示す係数を数３に示す式に代入して得られた値である。

また、各画素間で共通な波長特性が、赤（Ｒ）及び青（Ｂ）に対応する波長域においては光透過率が０であり、緑（Ｇ）に対応する波長域のみ光透過率が０超のものである場合、α_R，α_G及びα_Bは、以下の数６に示す値となる。

この場合、前記変調情報ｗ（ｕ,ｖ）は、数６に示す係数を数３に示す式に代入して得られた値である。

また、各画素間で共通な波長特性が各画素間で共通なレッド特性とブルー特性との差分特性を示すものである場合、α_R，α_G及びα_Bは、以下の数７に示す値となる。

この場合、前記変調情報ｗ（ｕ、ｖ）は、数７に示す係数を数３に示す式に代入して得られた値である。

続いてＳ１００３に進む。Ｓ１００３では、送信データ圧縮回路１０４の重み付け部１０９は、上述のように得られた前記変調情報ｗ（ｕ,ｖ）を用いて前記電気信号を重み付けする。画素（ｕ,ｖ）に対応する前記電気信号をｙ（ｕ,ｖ）とすると、画素（ｕ,ｖ）に対応する重み付けした前記電気信号ｄ（ｕ,ｖ）は次式で表現される。

ここで、Ｓ１００３は、本実施態様の第二フェーズに対応する。このように、各画素に対応する電気信号の値ｙ（ｕ,ｖ）を、前記変調情報ｗ（ｕ,ｖ）を用いて前記重み付けすることによって得られた、重み付けした前記電気信号ｄ（ｕ,ｖ）は、前記各画素間で共通な波長特性Ｔ（λ）を有するカラーフィルタを使用して得られる電気信号と近似する。

即ち、まず、前記変調情報ｗ（ｕ,ｖ）を算出することにより、前記各画素に対応するフィルターユニット１０２全体の光透過率特性ｘ（λ, ｕ，ｖ）という前記各画素に個別の特性を、前記各画素間で共通な波長特性Ｔ（λ）という前記各画素に共通の特性との関係で相対的に把握することができる。ここで、数２の右辺の分母に対応する、画素位置（ｕ，ｖ）に対応するフィルターユニット１０２全体の光透過率特性ｘ（λ, ｕ，ｖ）と各画素間で共通な波長特性との積和は、前記各画素間で共通な波長特性Ｔ（λ）に対して、前記各画素に対応するフィルターユニット１０２全体の光透過率特性ｘ（λ, ｕ，ｖ）が占める割合を示す。数２に示すように、前記変調情報ｗ（ｕ,ｖ）は前記割合の逆数である。従って、前記変調情報ｗ（ｕ,ｖ）は、前記各画素に対応するフィルターユニット１０２全体の光透過率特性ｘ（λ, ｕ，ｖ）に対して、前記各画素間で共通な波長特性Ｔ（λ）が占める割合を示す。

このため、次に数８に示すように、前記各画素に対応するフィルターユニット１０２全体の光透過率特性ｘ（λ, ｕ，ｖ）を基準として取得された前記電気信号ｙ（ｕ,ｖ）に対して、前記変調情報ｗ（ｕ,ｖ）を掛けること、即ち、前記重み付けをすることにより、前記各画素に個別の特性ｘ（λ, ｕ，ｖ）を基準として取得された電気信号ｙ（ｕ,ｖ）を、前記各画素間で共通な波長特性Ｔ（λ）という前記各画素に共通の特性を基準とした値ｄ（ｕ,ｖ）に変換することができる。このように、前記各画素に対応する前記重み付けした電気信号ｄ（ｕ,ｖ）は、いずれも前記各画素間で共通な波長特性Ｔ（λ）を基準とした値である。このため、光透過率特性が等しい画素間で電気信号の差分を計算し、圧縮率を高める従来技術と同程度の圧縮率を実現できる。

これにより、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせたフィルターユニット１０２を使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

次に、送信データ圧縮回路１０４の符号化部１１０は、ラスタスキャンの順序に従って、各画素に対応する前記重み付けした電気信号を順次符号化する（Ｓ１００４からＳ１００７）。

ここで、図１１を用いてラスタスキャンについて説明する。図１１は、前記重み付けした電気信号を符号化する処理を説明するために用いられる、ラスタスキャンの順序を示す模式図である。尚、図１１において、説明を簡略化するために、撮像素子１０３の画素数はＮ＝１６であるとしている。まず、図１１のｖ＝１において、左端の画素（ｕ,ｖ）＝（１,１）から順次一つずつ右端の画素（ｕ,ｖ）＝（４,１）に至るまで画素が選択される。次に、同様にｖ＝２においても、左端の画素（ｕ,ｖ）＝（２,１）から順次一つずつ右端の画素（ｕ,ｖ）＝（４,２）に至るまで画素が選択される。そして、同様にｖ＝３とその次のｖ＝４においても左端の画素から順次一つずつ右端の画素に至るまで選択される。よって、最後に選択される画素は（ｕ,ｖ）＝（４,４）の画素である。このような順序にて、送信データ圧縮回路１０４の符号化部１１０は、各画素に対応する前記重み付けした電気信号を順次符号化する。

Ｓ１００４に戻り、送信データ圧縮回路１０４の符号化部１１０は、前記重み付けした電気信号の圧縮方法を選択するために、まず、着目画素に対して近傍画素が存在するか判断する。ここで、「近傍画素」とは、着目画素の左隣の画素を意味する。例えば、図１１では、左端の画素である（ｕ,ｖ）＝（１,１）, （１,２）, （１,３）及び（１,４）には近傍画素が存在しない。一方、それ以外の画素には近傍画素が存在する。

着目画素に対して近傍画素が存在しない場合（Ｓ１００４において「Ｎｏ」の場合）、即ち、撮像素子１０３の左端の画素の場合、送信データ圧縮回路１０４の符号化部１１０は、着目画素に対応する前記重み付けした電気信号自体を符号化する（Ｓ１００５）。前記符号化は、エントロピー符号又はハフマン符号によって行えばよい。

一方、着目画素に対して近傍画素が存在する場合（Ｓ１００４において「Ｙｅｓ」の場合）、送信データ圧縮回路１０４の符号化部１１０は、着目画素に対応する前記重み付けした電気信号と近傍画素に対応する前記重み付けした電気信号との差分（以下、「差分信号」という）を計算する（Ｓ１００６）。Ｓ１００６において、前記差分信号ｄ（ｕ,ｖ）は、例えば、以下のように計算される。

符号化部１１０は、前記差分信号を符号化する（Ｓ１００７）。前記符号化は、エントロピー符号又はハフマン符号によって行えばよい。以下、前記符号化された差分信号を符号化電気信号とも表記しうる。

送信データ圧縮回路１０４は、前記変調情報と前記符号化電気信号とを送信回路１０５から画像生成装置２に送信させる（Ｓ１００８）。

以上のように、第１の実施態様の撮像装置１によると、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせたフィルターユニット１０２を使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

次に、図１２を参照しながら、画像生成装置２の動作をより詳細に説明する。

図１２は、本開示の第１の実施の形態に係る撮像システムに用いられる画像生成装置２における電気信号の復号化処理を示すフローチャートである。

画像生成装置２の受信回路２０１は、送信回路１０５から送信された前記変調情報及び前記符号化電気信号を受信する（Ｓ１２０１）。前記受信は、無線又は有線の通信回線（ネットワーク）を介して行われる。

画像生成装置２のメモリ２０５は、前記変調情報を保持する（Ｓ１２０２）。

画像生成装置２の復号化部２０８は、前記復号化電気信号が前記重み付けした電気信号を符号化したものか、もしくは、前記差分信号を符号化したものかを判断する（Ｓ１２０３）。このことは、着目画素が撮像素子１０３の左端の画素（ｕ＝１）に対応するものか否かによって判断できる。

前記復号化電気信号が前記差分信号を符号化したものではない場合（Ｓ１２０３において「Ｎｏ」の場合）、画像生成装置２の復号化部２０８は、前記符号化電気信号を復号化する（Ｓ１２０４）。Ｓ１２０４は、本実施態様の第三フェーズに対応する。前記復号化電気信号は、数８に示す重み付けした電気信号ｄ（ｕ,ｖ）である。従って、前記復号化電気信号ｄ（ｕ,ｖ）は、重み付けされた電気信号、即ち、前記各画素間で共通な波長特性を有するカラーフィルタを使用して得られる電気信号に近似した値に対応する。そのため、このままでは、カラー画像の再現性を高めることはできない。

そこで、画像生成装置２の重み付け除去部２０９は、前記復号化電気信号から重みを除去する（Ｓ１２０５）。これは、次式で計算される。Ｓ１２０５は、本実施態様の第四フェーズに対応する。前記第四フェーズにおいて、重み付け除去部２０９は、Ｓ１２０２においてメモリ２０５に保持された前記変調情報ｗ（ｕ,ｖ）を用いて前記復号化電気信号ｄ（ｕ,ｖ）から重み付けを除去する。これにより、被写体１１１からの光がフィルターユニット１０２を透過した後の値を得ることができる。

一方、前記復号化電気信号が前記差分信号を符号化したものである場合（Ｓ１２０３において「Ｙｅｓ」の場合）、画像生成装置２の復号化部２０８は、前記符号化電気信号を復号化する（Ｓ１２０６）。Ｓ１２０６は、本実施態様の第三フェーズに対応する。前記復号化電気信号は、数９に示す差分信号ｄ（ｕ,ｖ）である。従って、前記復号化電気信号は、即ち、前記各画素間で共通な波長特性を有するカラーフィルタを使用して得られる電気信号に近似した値の差分に対応する。そのため、このままでは、カラー画像の再現性を高めることはできない。そこで、以下の、画像生成装置２の重み付け除去部２０９は、Ｓ１２０７及びＳ１２０８の処理を行う。

画像生成装置２の重み付け除去部２０９は、前記復号化された電気信号、即ち、差分信号から、重み付けした電気信号を算出する（Ｓ１２０７）。これは、次式で計算される。

画像生成装置２の重み付け除去部２０９は、前記重み付けした電気信号から重みを除去する（Ｓ１２０８）。これは、次式で計算される。Ｓ１２０８は第四フェーズに対応する。前記第四フェーズにおいて、重み付け除去部２０９は、Ｓ１２０２においてメモリ２０５に保持された前記変調情報ｗ（ｕ,ｖ）を用いて前記復号化電気信号ｄ（ｕ,ｖ）から重み付けを除去する。これにより、被写体１１１からの光がフィルターユニット１０２を透過した後の値を得ることができる。

画像生成装置２の出力部２０７は、前記重み付けを除去した電気信号、即ち、変調画像を画像生成装置２のカラー画像生成回路２０３に出力する（Ｓ１２０９）。

以上のように、撮像装置１から符号化電気信号を入力した画像生成装置２において、変調情報ｗ（ｕ,ｖ）を入手していれば、復号化後の電気信号を元の重み付けされていない電気信号ｙ（ｕ,ｖ）に再現できる。このように、たとえ、画像生成装置２が、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせたフィルターユニット１０２を使用して前記電気信号を撮像装置１から取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

以上のＳ１２０９までの処理で得られた、元の重み付けされていない電気信号ｙ（ｕ,ｖ）、即ち、変調画像は、モノクロ画像である。

次に、カラー画像生成回路２０３は、モノクロ画像である前記変調画像からカラー画像を生成する（Ｓ１２１０）。ここで、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３つの波長情報からなるカラー画像の情報量は、モノクロ画像の情報量の３倍である。カラー画像生成回路２０３は、圧縮センシング技術を利用して、少ない情報からカラー画像を生成する。

カラー画像の生成処理は、前記変調画像をｙ、生成されるカラー画像をｘとすると、以下のように定式化できる。

ここで、行列Ａは、各画素に対応するフィルターユニット１０２全体の波長単位の光透過率特性によって決まるサンプリング行列である。サンプリング行列Ａは、前記変調画像ｙと、生成されるカラー画像ｘとの関係を示している。ここで、生成されるカラー画像ｘは特定の複数の波長特性を有する。このことに着目すると、数１３は、フィルターユニット１０２全体の光透過率特性が、前記特定の複数の光透過率特性の線形和で表現されることを示している。また、フィルターユニット１０２全体は、画素単位でランダムな光透過率特性を持っているため、行列Ａの各要素はランダムに異なる。即ち、行列Ａは、生成されるカラー画像ｘに対するランダム射影となる。ランダム射影は、圧縮センシングにおいて、復元性能の高いサンプリング方法である。カラー画像生成回路２０３は、圧縮センシング技術を利用しているため、このようなフィルターユニット１０２を利用することで、カラー画像の再現性を高めることができる。

以下、サンプリング行列Ａの取得方法を説明する。ここでは、マクベスカラーチェッカーによるカラーキャリブレーションを利用する手法を説明する。マクベスカラーチェッカーは、マンセルカラーシステムに基づいた、２４色の色見本である。マクベスカラーチェッカーにおいては、各色見本のＸＹＺ値やｓＲＧＢ値が既定されている。

ここで、この２４色の色見本ｊを本実施形態の撮像装置１で撮影した、ある画素ｉ （ｉ＝１，２，３，…，Ｎ）において受光した光の光強度をＩ（ｊ， ｉ） （ｊ＝１，２，３，…，２４）とし、各色見本のｓＲＧＢ値をＲ’（ｊ）， Ｇ’（ｊ）， Ｂ’（ｊ）とすると、以下の関係式が成り立つ。
（数１４）

ｃ（１，ｉ）・Ｒ（ｊ） ＋ ｃ（２，ｉ）・Ｇ（ｊ） ＋ ｃ（３，ｉ）・Ｂ（ｊ） ＝ Ｉ（ｊ，ｉ）， ｊ＝１，２，…，２４．

ただし、ｃ（ｘ，ｉ） （ｘ＝１，２，３）はサンプリング行列Ａのｉ行（３（ｉ−１）＋ｘ）列の要素である。サンプリング行列Ａ のｉ行（３（ｉ−１）＋ｘ）列（ｉ＝１，２，３，…，Ｎ、ｊ＝１，２，３，…，２４）以外の要素は０である。また、Ｒ（ｊ）， Ｇ（ｊ）， Ｂ（ｊ）は、Ｒ’（ｊ）， Ｇ’（ｊ）， Ｂ’（ｊ）をリニアに変換することによって得られる。具体的には以下のような計算によって得られる。

数１５は、未知数３に対し、方程式の数が２４であるため、最小二乗法により解くことができる。この処理を、すべての画素に対して行うことにより、サンプリング行列Ａを取得することが可能である。

説明を簡略化するために、撮像素子１０３の画素数はＮ＝１６であるとする。図１３は、撮像素子の画素数をＮ＝１６とした場合の変調画像及び生成画像を例示的に示す模式図である。図１３（ａ）は、撮像素子の画素数をＮ＝１６とした場合の変調画像を例示的に示す模式図である。図１３（ｂ）は、撮像素子の画素数をＮ＝１６とした場合の、生成されたカラー画像の赤（Ｒ）チャネルである生成Ｒ画像を例示的に示す模式図である。図１３（ｃ）は、撮像素子の画素数をＮ＝１６とした場合の、生成されたカラー画像の緑（Ｇ）チャネルである生成Ｇ画像を例示的に示す模式図である。図１３（ｄ）は、撮像素子の画素数をＮ＝１６とした場合の、生成されたカラー画像の青（Ｂ）チャネルである生成Ｂ画像を例示的に示す模式図である。数１３において、ｙおよびｘは以下のように表される。

数１６から明らかなように、数１３では、未知数であるｘの要素数が４８に対して、観測数であるｙの要素数が１６と少ない。このため、数１３は不良設定問題となっている。

カラー画像生成回路２０３は、この不良設定問題を解くために、圧縮センシング技術を利用する。圧縮センシング技術とは、信号のセンシング時に加算処理（符号化）することによりデータ量を圧縮し、圧縮したデータを利用して後で復元処理を行うことで元の信号を復号化する技術である。圧縮センシング処理は、不良設定問題を解くために、事前知識を利用する。圧縮センシング処理は、自然画像に対する事前知識として、画像上における近傍との輝度変化の絶対値和であるトータル・バリエーション（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）（例えば、非特許文献１、非特許文献２）や、ウェーブレット（Ｗａｖｅｌｅｔ）変換やＤＣＴ変換、カーブレット（Ｃｕｒｖｅｌｅｔ）変換などの線形変換において多くの係数が０になるというスパース性（例えば、非特許文献３）、もしくは、上述の線形変換の変換係数を学習によって取得するディクショナリ・ラーニング（Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ）（例えば、非特許文献４）などを利用することができる。

ここでは、トータル・バリエーションの一種に分類される手法である、デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Ｄｅｃｏｒｒｅｌａｔｅｄ Ｖｅｃｔｏｒｉａｌ Ｔｏｔａｌ Ｖａｒｉｄａｔｉｏｎ）について説明する。この手法は、カラー画像の輝度成分と色差成分の勾配を分離して計算することにより、偽色の発生を抑制するものである。これは、以下の評価関数を最小化することで実現する。

数１７の評価関数は、以下の３つの項から成り立っている。
１．Ｄａｔａ Ｆｉｄｅｌｉｔｙ項｜｜Ａｘ−ｙ｜｜² ₂：数１３を満たすための拘束項
２．Ｄｙｎａｍｉｃ Ｒａｎｇｅ項：（ｘが［０，２５５］３×Ｎ）：画素値が０以上２５５以下であるための拘束項
３．Ｄｅｃｏｒｒｅｌａｔｅｄ Ｖｅｃｔｏｒｉａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ項Ｊ（ｘ）：カラー画像の輝度成分と色差成分の勾配を分離したＴｏｔａｌ Ｖａｒｉａｔｉｏｎ項

ここで、以下の式が成り立つ。

Ｒは実数、Ｒ＋は非負の実数である。

以上のようにして、カラー画像生成回路２０３は、前記変調画像からカラー画像を生成する。

画像生成装置２の出力インターフェース（Ｉ／Ｆ）装置２０４は、カラー画像生成回路２０３が生成したカラー画像を画像生成装置２の外部、例えば、ディスプレイに出力する（Ｓ１２１１）。

最後に、本開示の第１の実施の形態における撮像システムによって生成されたカラー画像のサンプルを示す。

図１４から図１６は、本開示の第１の実施の形態における撮像システムに用いられるカラー画像生成回路２０３が生成した色ごとのカラー画像の一例である。本願発明者は実際にカラー画像を生成し比較したが、図１４から図１６は各画像の輝度値を利用して図示している。

図１４は、本開示の第１の実施の形態における撮像システムに用いられるカラー画像生成回路２０３が生成したＲチャネル画像の一例である。図１５は、本開示の第１の実施の形態における撮像システムに用いられるカラー画像生成回路２０３が生成したＧチャネル画像の一例である。図１６は、本開示の第１の実施の形態における撮像システムに用いられるカラー画像生成回路２０３が生成したＢチャネル画像の一例である。図１４から図１６において、それぞれ、（ａ）は３板式カメラで撮影した正解カラー画像、（ｂ）は一般的なデモザイキング手法である特許文献１に記載のＡｄａｐｔｉｖｅ Ｃｏｌｏｒ Ｐｌａｎｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ法（ＡＣＰＩ法）によるデモザイキング画像、（ｃ）は非特許文献５に記載のＭｉｎｉｍｉｚｅｄ−Ｌａｐｌａｃｉａｎ Ｒｅｓｉｄｕａｌ Ｉｎｔｅｒｐｏｌａｔｉｏｎ法（ＭＬＲＩ法）によるデモザイキング画像及び（ｄ）は第１の実施の形態における撮像システムに用いられるカラー画像生成回路２０３が生成した復元画像を示している。

以下では例として図１４を参照して説明するが、図１５および図１６にも同様の説明が適用され得る。

図１４（ａ）の画像の中央部には、格子状のパターンを有する窓が示されている。図１４（ｂ）及び（ｃ）の各画像は、図２０に示す従来のベイヤー配列のカラーフィルタを用いて撮影された画像である。本発明者は検証を行い、図１４（ｂ）に示すＡＣＰＩによるデモザイキング画像では、エッジ近傍に偽色が存在することを確認した。具体的には、本発明者は、窓のエッジ部分に実際に偽色の存在を確認した。本発明者は、図１４（ｄ）に示す本実施形態による復元画像にはこのような偽色が存在していないことも確認した。

また、図１４（ｃ）に示すＭＬＲＩ法によるデモザイキング画像では、窓の格子状のパターンなどに対応する高周波成分が復元できていない。一方、図１４（ｄ）に示す本実施形態による復元画像では、従来技術に比べ、偽色もなく、高周波成分まで復元できていることがわかる。

図１７は、全ての色を含むカラー画像の一例である。図１７は、当該カラー画像の輝度値を利用して示されている。窓の格子状のパターンを一見すると明らかなように、本実施の形態による復元画像が正解画像に最も近いと言える。

（第２の実施の形態）
次に、図１８を参照して第２の実施の形態について説明する。図１８は、本開示の第２の実施の形態における撮像装置１を示す概略ブロック図である。第２の実施の形態の撮像装置１において、第１の実施の形態と異なり、フィルターユニット１０２は、０ｍｍの厚みの領域を有する複数のカラーフィルタ（１０２ａから１０２ｃ）及び、空間光変調器１１２を備えている。ここで、空間光変調器１１２は、空間的・時間的に光透過率特性を変調させる光学素子のことである。空間光変調器１１２の光透過率特性は、撮像素子１０３の画素単位にランダムに異ならせることが可能である。尚、図１８において図２と同一の構成要素については、同一の符号を付し、説明を省略する。

図１８に示すように、撮像素子１０３と複数のカラーフィルタ（１０２ａから１０２ｃ）との間に、複数のカラーフィルタ（１０２ａから１０２ｃ）を透過した光の明度を変調させる空間光変調器１１２を設けている。また、カラーフィルタ１０２ａから１０２ｃの各々には、撮像素子１０３の画素単位でカラーフィルタの厚みが０ｍｍである箇所が存在する。また、カラーフィルタ１０２ａから１０２ｃの各々の厚みは、前記カラーフィルタの厚みが０ｍｍである箇所を除くと、一定である。

ここで、各画素に対応する位置における各カラーフィルタの厚みが０ｍｍであるかどうかによって、決まった値をとる関数Ｍを次のように定義する。画素（ｕ，ｖ）に対応する位置において、カラーフィルタ１０２ａの厚みが０ｍｍでない場合はＭ１（ｕ，ｖ）＝１、カラーフィルタ１０２ａの厚みが０ｍｍである場合はＭ１（ｕ，ｖ）＝０とする。同様に、画素（ｕ，ｖ）に対応する位置において、カラーフィルタ１０２ｂの厚みが０ｍｍでない場合はＭ２（ｕ，ｖ）＝１、カラーフィルタ２の厚みが０ｍｍである場合はＭ２（ｕ，ｖ）＝０とする。画素（ｕ，ｖ）に対応する位置において、カラーフィルタ１０２ｃの厚みが０ｍｍでない場合はＭ３（ｕ，ｖ）＝１、カラーフィルタ３の厚みが０ｍｍである場合はＭ３（ｕ，ｖ）＝０とする。さらに、画素（ｕ，ｖ）に対応する位置における空間光変調器１１２の光透過率特性をＳ（ｕ，ｖ）とする。この場合、画素位置（ｕ，ｖ）に対応する位置における複数のカラーフィルタ（１０２ａから１０２ｃ）及び空間光変調器１１２の全体の光透過率特性、即ち、フィルターユニット１０２全体の光透過率特性ｘ（λ, ｕ，ｖ）は、次式で表現される。

ただし、Ｐは、各カラーフィルタの厚みが０ｍｍであるかどうかによって光透過率特性を決定する関数であり、次式で表現される。

数１９及び数２０に示すように、複数のカラーフィルタ（１０２ａから１０２ｃ）の波長単位の光透過率特性Ｃ１（λ）、Ｃ２（λ）及びＣ３（λ）を画素位置に依存しないようにして複数のカラーフィルタ（１０２ａから１０２ｃ）の構造を簡素化したとしても、空間光変調器１１２を介在させて、フィルターユニット１０２全体の光透過率特性ｘ（λ, ｕ，ｖ）を、撮像素子１０３の画素単位にランダムに異ならせることができる。そのため、複数のカラーフィルタ（１０２ａから１０２ｃ）の構造を簡素化することにより、前記各画素に対応する光透過率特性のパターン数が制限される場合でも、空間光変調器１１２を用いることで、前記各画素に対応する光透過率特性のパターンを増加させることができる。例えば、上記のように、３つのカラーフィルタを利用すると、複数のカラーフィルタ（１０２ａから１０２ｃ）の全体の光透過率特性を８種類作り出すことができる。これに、空間光変調器１１２を加えることで、上述の８種類をさらに増大させることができる。その結果、複数のカラーフィルタ（１０２ａから１０２ｃ）の構造を簡素化した場合でも、復元画像の再現品質を向上させることができる。

（第３の実施の形態）
次に、図１９を参照して第３の実施の形態について説明する。図１９は、本開示の第３の実施の形態における撮像装置１を示す概略ブロック図である。第３の実施の形態の撮像装置１において、第１の実施の形態と異なり、フィルターユニット１０２は、複数のカラーフィルタ（１０２ａから１０２ｃ）以外にも空間光変調器１１２を備えている。尚、図１９において図２および図１８と同一の構成要素については、同一の符号を付し、説明を省略する。

図１９に示すように、撮像素子１０３と複数のカラーフィルタ（１０２ａから１０２ｃ）との間に、複数のカラーフィルタ（１０２ａから１０２ｃ）を透過した光の明度を変調させる空間光変調器１１２を設けている。この場合、画素位置（ｕ，ｖ）に対応する位置における光透過率特性ｘ（λ, ｕ，ｖ）は、次式で表現される。

数２１において、複数のカラーフィルタ（１０２ａから１０２ｃ）の全体の光透過率特性、即ち、Φ（Ｃ１（λ），Ｔ１（ｕ，ｖ））・Φ（Ｃ２（λ），Ｔ２（ｕ，ｖ））・Φ（Ｃ３（λ），Ｔ３（ｕ，ｖ））は、画素単位にランダムに異なる。さらに、空間光変調器１１２の光透過率特性Ｓ（ｕ，ｖ）は画素単位にランダムに異なる。この結果、複数のカラーフィルタ（１０２ａから１０２ｃ）及び空間光変調器１１２の全体の光透過率特性、即ち、フィルターユニット１０２全体の光透過率特性ｘ（λ, ｕ，ｖ）を、相乗的にランダムな状態で画素単位に相互に異ならせることができる。加えて、複数のカラーフィルタ（１０２ａから１０２ｃ）の波長単位の光透過率特性Φ（Ｃ１（λ），Ｔ１（ｕ，ｖ））、Φ（Ｃ２（λ），Ｔ２（ｕ，ｖ））及びΦ（Ｃ３（λ），Ｔ３（ｕ，ｖ））は、画素単位にランダムに異なる。このように、画素単位及び波長単位で相乗的にランダムに異ならせたことにより、画像生成装置２において圧縮センシング技術を用いてカラー画像を生成する際に元のカラー画像をより正確に再現できる。

さらに、複数の画像を撮像する場合、撮像フレーム毎に空間光変調器１１２の光透過率特性Ｓ（ｕ，ｖ）を撮像素子１０３の画素単位で変化させることによって、フィルターユニット１０２全体の光透過率特性ｘ（λ, ｕ，ｖ）を撮像フレーム単位でもランダムに異ならせることができる。これにより、ランダム性がさらに高まる結果、前記画像生成装置において圧縮センシング技術を用いてカラー画像を生成する際に元のカラー画像をより一層正確に再現できる。

以上、一つまたは複数の態様に係る撮像装置システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

（本開示の実施の形態の概要）
本開示の一態様の撮像装置は、
被写体からの光を集光する結像光学系と、
複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、異なる第一群の光透過率特性を有する複数のカラーフィルタを含むフィルターユニットと、
前記電気信号を符号化する送信データ圧縮回路と、を備え、
前記フィルターユニット全体の光透過率特性は、前記撮像素子の画素単位でランダムに異なり、
前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する、ものである。

本開示の一態様によると、異なる光透過率特性を有する複数のカラーフィルタを含むフィルターユニットを設ける。従来のベイヤー配列などの画素毎に相互に異なる単一のカラーフィルタを使用した場合は、カラー画像を再現する際に取得していない色の情報を別の色情報からデータ補間するため、これに起因して偽色が発生する。一方で、本態様では、被写体からすべての色情報を含んだ光を受光するので、解像度の低下を防止しつつ偽色の発生を防止できる。

また、前記フィルターユニット全体の光透過率特性は、前記撮像素子の画素単位でランダムに異なる。これは、前記フィルターユニットに含まれている複数のカラーフィルタの波長単位の光透過率特性を、前記撮像素子の前記複数の画素の各々に対応する位置においてランダムに異ならせているからである。この結果、前記複数のカラーフィルタを含む前記フィルターユニット全体の光透過率特性は、画素単位だけでなく波長単位でもランダムに異なることとなる。これにより、前記被写体からの光の光透過率を、画素単位及び波長単位で相乗的にランダムに異ならせている。このようにランダム性を高めているのは、本態様の撮像装置から前記符号化された電気信号を入力した画像生成装置において、前記ランダム性が高いほど元のカラー画像をより正確に再現することが可能となるからである。具体的には、前記画像生成装置において圧縮センシング技術を用いてカラー画像を生成するが、圧縮センシング技術では、データをサンプリングする際によりランダムな状態でサンプリングすることで、復元したデータと元のデータとの差異がより小さくなる。この点に鑑みて、上記のように前記ランダム性を画素単位及び波長単位で相乗的に高めている。

さらに、前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する。これにより、前記重み付けされた電気信号は、前記各画素間で共通な波長特性を有するカラーフィルタを使用して得られる電気信号と近似する。このように、前記各画素に対応する前記重み付けした電気信号は、いずれも前記各画素間で共通な波長特性を基準とした値である。このため、光透過率特性が等しい画素間で電気信号の差分を計算し、圧縮率を高める従来技術と同程度の圧縮率を実現できる。これにより、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせたフィルターユニットを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

一方で、本態様の撮像装置から前記符号化された電気信号を入力した画像生成装置において、前記撮像素子の前記複数の画素の中の各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を入手していれば、前記符号化された電気信号を元の重み付けされていない電気信号に再現できる。その結果、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせたフィルターユニットを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

また、上記態様において、例えば、前記フィルターユニット全体の光透過率特性は、前記第一群とは異なる第二群の異なる光透過率特性の線形和で表現されるものであってもよい。

上記態様によると、前記フィルターユニットとして、前記フィルターユニット全体の光透過率特性は、前記第一群とは異なる第二群の異なる光透過率特性の線形和で表現されるものを用いることができる。ここで、第二群の異なる光透過率特性は、再現するカラー画像それぞれの光透過率特性である。これにより、たとえ、カラー画像の再現性を高めるために、画素単位で光透過率特性をランダムに異ならせたフィルターユニットを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

本開示の別の一態様の撮像装置は、
被写体からの光を集光する結像光学系と、
複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタと、
前記電気信号を符号化する送信データ圧縮回路と、を備え、
前記複数のカラーフィルタの全体の光透過率特性は、前記撮像素子の画素単位でランダムに異なり、
前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する、ものである。

本開示の一態様によると、異なる光透過率特性を有する複数のカラーフィルタを設ける。従来のベイヤー配列などの画素毎に相互に異なる単一のカラーフィルタを使用した場合は、カラー画像を再現する際に取得していない色の情報を別の色情報からデータ補間するため、これに起因して偽色が発生する。一方で、本態様では、被写体からすべての色情報を含んだ光を受光するので、解像度の低下を防止しつつ偽色の発生を防止できる。

また、前記複数のカラーフィルタの全体の光透過率特性は、前記撮像素子の画素単位でランダムに異なる。これは、前記複数のカラーフィルタの波長単位の光透過率特性を前記撮像素子の前記複数の画素の各々に対応する位置においてランダムに異ならせているからである。この結果、前記複数のカラーフィルタの全体の光透過率特性は、画素単位だけでなく波長単位でもランダムに異なることとなる。これにより、前記被写体からの光の光透過率特性を、画素単位及び波長単位で相乗的にランダムに異ならせている。このようにランダム性を高めているのは、本態様の撮像装置から前記符号化された電気信号を入力した画像生成装置において、前記ランダム性が高いほど元のカラー画像をより正確に再現することが可能となるからである。具体的には、前記画像生成装置において圧縮センシング技術を用いてカラー画像を生成するが、圧縮センシング技術では、データをサンプリングする際によりランダムな状態でサンプリングすることで、復元したデータと元のデータとの差異がより小さくなる。この点に鑑みて、上記のように前記ランダム性を画素単位及び波長単位で相乗的に高めている。

さらに、前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する。これにより、前記重み付けされた電気信号は、前記各画素間で共通な波長特性を有するカラーフィルタを使用して得られる電気信号と近似する。このように、前記各画素に対応する前記重み付けした電気信号は、いずれも前記各画素間で共通な波長特性を基準とした値である。このため、光透過率特性が等しい画素間で電気信号の差分を計算し、圧縮率を高める従来技術と同程度の圧縮率を実現できる。これにより、たとえ、カラー画像の再現性を高めるために、画素単位で光透過率特性をランダムに異ならせた複数のカラーフィルタを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

一方で、本態様の撮像装置から前記符号化された電気信号を入力した画像生成装置において、前記撮像素子の前記複数の画素の中の各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を入手していれば、前記符号化された電気信号を元の重み付けされていない電気信号に再現できる。その結果、たとえ、カラー画像の再現性を高めるために、画素単位で光透過率特性をランダムに異ならせた複数のカラーフィルタを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

また、上記態様において、例えば、前記複数のカラーフィルタの波長単位の光透過率特性は、前記撮像素子の前記複数の画素の各々に対応する位置においてランダムに異なってもよい。

上記態様によると、前記複数のカラーフィルタの全体の光透過率特性は、前記撮像素子の画素単位でランダムに異なる。また、前記複数のカラーフィルタの波長単位の光透過率特性は、前記撮像素子の前記複数の画素の各々に対応する位置においてランダムに異なる。これにより、前記被写体からの光の光透過率特性を、画素単位及び波長単位で相乗的にランダムに異ならせている。このため、本態様の撮像装置から前記符号化された電気信号を入力した画像生成装置において、圧縮センシングを用いて元のカラー画像を再現する際に、元のカラー画像をより正確に再現することが可能となる。

また、上記態様において、例えば、前記各画素間で共通な波長特性は、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に対応する全波長域において光透過率が等しいものであってもよい。

上記態様によると、前記波長特性は、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の各成分の光透過率が均等な光透過率特性である。前記各画素間で共通な波長特性を基準とした前記重み付けにより、前記電気信号は、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に対応する全波長域において光透過率が等しい光透過率特性を基準とした値に変換される。即ち、前記重み付けされた電気信号は、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に対応する全波長域において光透過率が等しい光透過率特性を有するカラーフィルタを使用して得られる電気信号と近似する。これにより、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

また、上記態様において、例えば、前記各画素間で共通な波長特性は、比視感度を示すものであってもよい。

ここで、比視感度とは、人間の目が光の波長ごとの明るさを感じる強さを数値で表したものである。

上記態様によると、前記各画素間で共通な波長特性を基準とした前記重み付けにより、前記電気信号は、比視感度を基準とした値に変換される。即ち、前記重み付けされた電気信号は、比視感度を示す波長特性を有するカラーフィルタを使用して得られる電気信号と近似する。これにより、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

また、上記態様において、例えば、前記各画素間で共通な波長特性は、比視感度に近似したものであってもよい。

上記態様によると、前記比視感度を示す波長特性の代わりに前記比視感度に近似した波長特性を、前記各画素間で共通な波長特性として用いることができる。これにより、前記比視感度を示す波長特性に厳密に拘る必要がなくなり、前記各画素間で共通な波長特性の選択肢を増やすことができる。

また、上記態様において、例えば、前記各画素間で共通な波長特性は、赤（Ｒ）及び青（Ｂ）に対応する波長域においては光透過率が０であり、緑（Ｇ）に対応する波長域のみ光透過率が０超のものであってもよい。

ここで、人間の目には、赤（Ｒ）、緑（Ｇ）及び緑（Ｇ）の内、緑（Ｇ）に対する感度が最も高い。

上記態様によると、赤（Ｒ）及び青（Ｂ）に対応する波長域においては光透過率が０であり、緑（Ｇ）に対応する波長域においては光透過率が０超である光透過率特性を前記各画素間で共通な波長特性として用いる。その結果、前記各画素間で共通な波長特性を基準とした前記重み付けにより、前記電気信号は、緑（Ｇ）の波長域を基準とした値に変換される。即ち、前記重み付けされた電気信号は、赤（Ｒ）及び青（Ｂ）に対応する波長域においては光透過率が０であり、緑（Ｇ）に対応する波長域のみ光透過率が０超である光透過率特性を有するカラーフィルタを使用して得られる電気信号と近似する。これにより、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

また、上記態様において、例えば、前記各画素間で共通な波長特性は、各画素間で共通なレッド特性とブルー特性との差分特性を示すものであってもよい。

上記態様によると、前記波長特性を基準とした前記重み付けにより、前記電気信号は、レッド特性とブルー特性との差分特性、即ち、色差を基準とした値に変換される。即ち、前記重み付けされた電気信号は、色差を示す波長特性を有するカラーフィルタを使用して得られる電気信号と近似する。これにより、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

また、上記態様において、例えば、前記各画素の符号化された電気信号を、前記各画素の符号化された電気信号を復号化する画像生成装置に出力する送信回路を備えてもよい。

上記態様によると、前記撮像装置は、前記送信回路を介して前記画像生成装置に、前記各画素の符号化された電気信号を出力できる。

また、上記態様において、例えば、前記送信回路は、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を示す変調情報を、前記画像生成装置に出力するようにしてもよい。

上記態様によると、前記画像生成装置は、本態様の撮像装置から前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を示す変調情報を入手できる。そのため、前記画像生成装置は、前記符号化された各画素の電気信号になされた重み付けを再現できる。

また、上記態様において、例えば、前記送信回路は、前記画像生成装置に接続される１回目の通信では、前記変調情報と前記１回目の通信に対応する各画素の符号化された電気信号とを出力し、２回目以降の通信では、前記変調情報を出力することなく前記２回目以降の各通信に対応する各画素の符号化された電気信号を出力するようにしてもよい。

上記態様によると、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数は、前記撮像装置において固有の固定値である。従って、前記撮像装置は前記画像生成装置に前記変調情報を毎回送る必要はない。

そのため、前記撮像装置は前記画像生成装置に接続される１回目の通信において前記画像生成装置に前記変調情報を出力すれば、その後、前記画像生成装置は前記変調情報を保持する。

これにより、前記画像生成装置は、前記符号化された各画素の電気信号になされた重み付けを、前記保持している前記変調情報を用いて再現できる。

また、上記態様において、例えば、前記画像生成装置において、前記符号化された電気信号は復号化され、前記変調情報を用いて前記復号化された電気信号から前記重み付けは除去されるようにしてもよい。

上記態様によると、前記画像生成装置は、前記符号化された各画素の電気信号の重み付けを再現できる。そのため、前記変調情報を用いて前記復号化された電気信号から前記重み付けを除去することで、元の重み付けされていない電気信号に再現できる。その結果、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせた複数のカラーフィルタを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

また、上記態様において、例えば、前記送信回路は、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を指定する指定情報を、前記画像生成装置に出力するようにしてもよい。

上記態様によると、前記画像生成装置は、本態様の撮像装置から前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を指定する指定情報を入手できる。そのため、前記画像生成装置は、前記符号化された各画素の電気信号の重み付けを再現できる。

ここで、前記指定情報は、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を示す変調情報そのものではない。前記画像生成装置において、複数種の撮像装置に適用できる場合、予め、前記複数種の撮像装置の各々に対応する変調情報を、保持しておくこともできる。

この場合、前記撮像装置は、前記画像生成装置に前記変調情報そのものを出力する必要はなく、前記画像生成装置において保持されている、前記撮像装置に対応する変調情報を指定すればよい。

また、上記態様において、例えば、前記送信回路は、前記画像生成装置に接続される１回目の通信では、前記指定情報と前記１回目の通信に対応する各画素の符号化された電気信号とを出力し、２回目以降の通信では、前記指定情報を出力することなく前記２回目以降の各通信に対応する各画素の符号化された電気信号を出力するようにしてもよい。

上記態様によると、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数は、前記撮像装置において固有の固定値である。従って、前記撮像装置は前記画像生成装置に前記変調情報を指定する前記指定情報を毎回送る必要はない。

そのため、前記撮像装置は前記画像生成装置に接続される１回目の通信において前記画像生成装置に前記指定情報を出力すれば、その後、前記画像生成装置は前記指定情報を保持する。前記指定情報に基づいて、前記画像生成装置は、保持している前記変調情報を指定できる。これにより、前記画像生成装置は、前記符号化された各画素の電気信号になされた重み付けを、前記保持している前記変調情報を用いて再現できる。

また、上記態様において、例えば、
前記画像生成装置において、
複数種の撮像装置の各々に含まれる撮像素子の各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を示す変調情報が保持され、
前記符号化された電気信号は復号化され、
前記指定情報に基づき、前記符号化された電気信号を出力した前記撮像装置に対応する変調情報が、前記保持された変調情報の中から選択され、
前記選択された変調情報を用いて前記復号化された電気信号から前記重み付けは除去されるようにしてもよい。

上記態様によると、前記画像生成装置は、前記符号化された各画素の電気信号の重み付けを再現できる。そのため、前記変調情報を用いて前記復号化された電気信号から前記重み付けを除去することで、元の重み付けされていない電気信号に再現できる。その結果、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせた複数のカラーフィルタを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

前記複数のカラーフィルタは、シアン（Ｃ）の波長域に対応する第１カラーフィルタ、マゼンダ（Ｍ）の波長域に対応する第２カラーフィルタ、及び、イエロー（Ｙ）の波長域に対応する第３カラーフィルタを含んでいてもよい。

上記態様によると、前記被写体からの光を、前記第１カラーフィルタ、第２カラーフィルタ、及び、第３カラーフィルタを介して受光する。全ての画素の前記電気信号は、色材の３原色を用いて前記被写体の原色を反映させたものであり、すべての色情報を含んでいる。そのため、解像度の低下を防止しつつ偽色の発生を防止できる。

本開示の別の一態様の撮像装置は、
被写体からの光を集光する結像光学系と、
複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタと、
前記撮像素子と前記複数のカラーフィルタとの間に配置され前記複数のカラーフィルタを透過した光の光透過率特性を変調させる空間光変調器と、
前記電気信号を符号化する送信データ圧縮回路と、を備え、
前記空間光変調器の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
前記複数のカラーフィルタ及び空間光変調器の全体の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記複数のカラーフィルタ及び空間光変調器の全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する、ものである。

本開示の一態様によると、異なる光透過率特性を有する複数のカラーフィルタを設ける。従来のベイヤー配列などの画素毎に相互に異なる単一のカラーフィルタを使用した場合は、カラー画像を再現する際に取得していない色の情報を別の色情報からデータ補間するため、これに起因して偽色が発生する。一方で本態様では、被写体からすべての色情報を含んだ光を受光するので、解像度の低下を防止しつつ偽色の発生を防止できる。

また、前記撮像素子と前記複数のカラーフィルタとの間に、前記複数のカラーフィルタを透過した光の明度を変調させる空間光変調器を設けている。これにより、前記複数のカラーフィルタの波長単位の光透過率特性をほぼ同じにして前記複数のカラーフィルタの構造を簡素化したとしても、前記空間光変調器を介在させて、前記複数のカラーフィルタ及び空間光変調器の全体の光透過率特性を、前記撮像素子の画素単位にランダムに異ならせることができる。そのため、前記複数のカラーフィルタの構造を簡素化することにより、前記各画素に対応する光透過率特性のパターン数が制限される場合でも、前記空間光変調器を用いることで、前記各画素に対応する光透過率特性のパターンを増加させることができる。その結果、前記複数のカラーフィルタの構造を簡素化した場合でも、復元画像の再現品質を向上させることができる。

さらに、上記態様によると、前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記複数のカラーフィルタ及び空間光変調器の全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する。これにより、前記重み付けされた電気信号は、前記各画素間で共通な波長特性を有するカラーフィルタを使用して得られる電気信号と近似する。このように、前記各画素に対応する前記重み付けした電気信号は、いずれも前記各画素間で共通な波長特性を基準とした値である。このため、光透過率特性が等しい画素間で電気信号の差分を計算し、圧縮率を高める従来技術と同程度の圧縮率を実現できる。これにより、たとえ、カラー画像の再現性を高めるために、前記複数のカラーフィルタ及び空間光変調器の全体の光透過率特性を前記撮像素子の画素単位にランダムに異ならせて、前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

また、上記態様において、例えば、前記複数のカラーフィルタの各々は、厚みが０ｍｍの領域を含んでいてもよい。

上記態様によると、前記複数のカラーフィルタの各々に、厚みが０ｍｍの領域を含めることで、前記複数のカラーフィルタの全体の光透過率特性を画素単位で異ならせることができる。

この場合、例えば、３つのカラーフィルタを利用すると、前記複数のカラーフィルタの全体の光透過率特性を８種類作り出すことができる。これに、前記空間光変調器を加えることで、上述の８種類をさらに増大させることができる。

これにより、前記複数のカラーフィルタの構造を簡素化した場合でも、復元画像の再現品質を向上させることができる。

本開示の別の一態様の撮像装置は、
被写体からの光を集光する結像光学系と、
複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタと、
前記撮像素子と前記複数のカラーフィルタとの間に配置され前記複数のカラーフィルタを透過した光の光透過率特性を変調させる空間光変調器と、
前記電気信号を符号化する送信データ圧縮回路と、を備え、
前記複数のカラーフィルタの全体の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
前記複数のカラーフィルタの波長単位の光透過率特性は、前記撮像素子の前記複数の画素の各々に対応する位置においてランダムに異なり、
前記空間光変調器の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記複数のカラーフィルタ及び空間光変調器の全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する、ものである。

本開示の一態様によると、異なる光透過率特性を有する複数のカラーフィルタを設ける。従来のベイヤー配列などの画素毎に相互に異なる単一のカラーフィルタを使用した場合は、カラー画像を再現する際に取得していない色の情報を別の色情報からデータ補間するため、これに起因して偽色が発生する。一方で本態様では、被写体からすべての色情報を含んだ光を受光するので、解像度の低下を防止しつつ偽色の発生を防止できる。

また、前記複数のカラーフィルタの全体の光透過率特性は、前記撮像素子の画素単位にランダムに異なる。さらに、前記撮像素子と前記複数のカラーフィルタとの間に、前記複数のカラーフィルタを透過した光の明度を変調させる空間光変調器を設けており、前記空間光変調器の光透過率特性は、前記撮像素子の画素単位にランダムに異なる。これにより、前記複数のカラーフィルタおよび前記空間光変調器の全体の光透過率特性を、相乗的にランダムな状態で前記撮像素子の画素単位に相互に異ならせることができる。加えて、前記複数のカラーフィルタの波長単位の光透過率特性は、前記撮像素子の前記複数の画素の各々に対応する位置においてランダムに異なる。このように、画素単位及び波長単位で相乗的にランダムに異ならせたことにより、前記画像生成装置において圧縮センシング技術を用いてカラー画像を生成する際に元のカラー画像をより正確に再現できる。

さらに、複数の画像を撮像する場合、撮像フレーム毎に前記空間光変調器の光透過率特性を前記撮像素子の画素単位で変化させることによって、前記複数のカラーフィルタおよび前記空間光変調器の全体の光透過率特性を撮像フレーム単位でもランダムに異ならせることができる。これにより、ランダム性がさらに高まる結果、前記画像生成装置において圧縮センシング技術を用いてカラー画像を生成する際に元のカラー画像をより一層正確に再現できる。

また、上記態様によると、前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記複数のカラーフィルタ及び空間光変調器の全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する。これにより、前記重み付けされた電気信号は、前記各画素間で共通な波長特性を有するカラーフィルタを使用して得られる電気信号と近似する。このように、前記各画素に対応する前記重み付けした電気信号は、いずれも前記各画素間で共通な波長特性を基準とした値である。このため、波長特性が等しい画素間で電気信号の差分を計算し、圧縮率を高める従来技術と同程度の圧縮率を実現できる。これにより、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせた複数のカラーフィルタを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

本開示の別の一態様の撮像システムは、
撮像装置と画像生成装置とを含み、
前記撮像装置は、
被写体からの光を集光する結像光学系と、
複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタを含むフィルターユニットと、
前記電気信号を符号化する送信データ圧縮回路と、
前記画像生成装置と接続された送信回路と、を備え、
前記フィルターユニット全体の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化し、
前記送信回路は、前記各画素の符号化された電気信号を前記画像生成装置に出力し、
前記画像生成装置は、
前記各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を示す変調情報を記憶するメモリと、
前記各画素の符号化された電気信号を受信する受信回路と、
前記各画素の符号化された電気信号を復号化し、前記各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて前記復号化された電気信号から前記重み付けを除去する受信データ復号回路と、を備えたものである。

本開示の一態様によると、前記撮像システムは、本態様の撮像装置から前記符号化された電気信号を入力した画像生成装置において、前記各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を入手していれば、前記符号化された電気信号を元の重み付けされていない電気信号に再現できる。その結果、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせたフィルターユニットを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

本開示の別の一態様の撮像方法は、
被写体からの光を集光する結像光学系と、
複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタを含むフィルターユニットと、
前記電気信号を符号化する送信データ圧縮回路と、を備えた撮像装置を用いた撮像方法であって、
前記フィルターユニット全体の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
前記送信データ圧縮回路において、
前記撮像素子の前記複数の画素の中の各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を保持し、
前記撮像素子から前記各画素の電気信号を入力し、
前記各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて前記各画素の電気信号を重み付けして符号化する、ものである。

本開示の一態様によると、前記撮像方法では、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせたフィルターユニットを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

本開示の別の一態様のプログラムは、
被写体からの光を集光する結像光学系と、
複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタを含むフィルターユニットと、
前記電気信号を符号化する送信データ圧縮回路と、を備えた撮像装置において実行されるプログラムであって、
前記フィルターユニット全体の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
前記撮像装置のコンピュータに対して、
前記撮像素子の前記複数の画素の中の各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を保持させる処理と、
前記撮像素子から前記各画素の電気信号を入力させる処理と、
前記各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて前記各画素の電気信号を重み付けして符号化させる処理と、を実行させる、ものである。

本開示の一態様によると、前記プログラムを用いることで、たとえ、カラー画像の再現性を高めるために、画素単位及び波長単位の光透過率特性をランダムに異ならせたフィルターユニットを使用して前記電気信号を取得した場合であっても、解像度の低下及び偽色の発生を防止しつつ、一つの画素に対して赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のいずれか一つの波長域の光を透過させる単一のカラーフィルタを使用する従来技術と同程度にまで伝送圧縮効率を向上させることができる。

本開示の例示的な実施形態にかかる撮像システムによれば、画質を向上させながら、伝送データを削減するために有用である。

１ 撮像装置
２ 画像生成装置
１０１ 結像光学系
１０２ フィルターユニット
１０３ 撮像素子
１０４ 送信データ圧縮回路
１０５ 送信回路
１０６ 入力部
１０７ メモリ
１０８ 制御部
１０９ 重み付け部
１１０ 符号化部
１１１ 被写体
１１２ 空間光変調器
２０１ 受信回路
２０２ 受信データ復号回路
２０３ カラー画像生成回路
２０４ 出力インターフェース装置
２０５ メモリ
２０６ 制御部
２０７ 出力部
２０８ 復号化部
２０９ 重み付け除去部

Claims (21)

1. 被写体からの光を集光する結像光学系と、
   複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
   前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタと、
   前記電気信号を符号化する送信データ圧縮回路と、を備え、
   前記複数のカラーフィルタの全体の光透過率特性は、前記撮像素子の画素単位でランダムに異なり、
   前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する、
   撮像装置。
2. 前記複数のカラーフィルタの波長単位の光透過率特性は、前記撮像素子の前記複数の画素の各々に対応する位置においてランダムに異なる、
   請求項１記載の撮像装置。
3. 前記各画素間で共通な波長特性は、比視感度を示すものである、
   請求項１から２のいずれか１項に記載の撮像装置。
4. 前記各画素間で共通な波長特性は、比視感度に近似したものである、
   請求項１から２のいずれか１項に記載の撮像装置。
5. 前記各画素間で共通な波長特性は、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に対応する全波長域において光透過率が等しいものである、
   請求項１から２のいずれか１項に記載の撮像装置。
6. 前記各画素間で共通な波長特性は、赤（Ｒ）及び青（Ｂ）に対応する波長域においては光透過率が０であり、緑（Ｇ）に対応する波長域のみ光透過率が０超のものである、
   請求項１から２のいずれか１項に記載の撮像装置。
7. 前記各画素間で共通な波長特性は、各画素間で共通なレッド特性とブルー特性との差分特性を示すものである、
   請求項１から２のいずれか１項に記載の撮像装置。
8. 前記各画素の符号化された電気信号を復号化する画像生成装置に出力する送信回路を備えた、
   請求項１から２のいずれか１項に記載の撮像装置。
9. 前記送信回路は、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を示す変調情報を、前記画像生成装置に出力する、
   請求項８記載の撮像装置。
10. 前記送信回路は、前記画像生成装置に接続される１回目の通信では、前記変調情報と前記１回目の通信に対応する各画素の符号化された電気信号とを出力し、２回目以降の通信では、前記変調情報を出力することなく前記２回目以降の各通信に対応する各画素の符号化された電気信号を出力する、
    請求項９記載の撮像装置。
11. 前記画像生成装置において、
    前記符号化された電気信号は復号化され、
    前記変調情報を用いて前記復号化された電気信号から前記重み付けは除去される、
    請求項９から１０のいずれか１項に記載の撮像装置。
12. 前記送信回路は、前記各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を指定する指定情報を、前記画像生成装置に出力する、
    請求項８記載の撮像装置。
13. 前記送信回路は、前記画像生成装置に接続される１回目の通信では、前記指定情報と前記１回目の通信に対応する各画素の符号化された電気信号とを出力し、２回目以降の通信では、前記指定情報を出力することなく前記２回目以降の各通信に対応する各画素の符号化された電気信号を出力する、
    請求項１２記載の撮像装置。
14. 前記画像生成装置において、
    複数種の撮像装置の各々に含まれる撮像素子の各画素に対応する前記複数のカラーフィルタの全体の光透過率特性の、前記各画素間で共通な波長特性に対する割合の逆数を示す変調情報が保持され、
    前記符号化された電気信号は復号化され、
    前記指定情報に基づき、前記符号化された電気信号を出力した前記撮像装置に対応する変調情報が、前記保持された変調情報の中から選択され、
    前記選択された変調情報を用いて前記復号化された電気信号から前記重み付けは除去される、
    請求項１２から１３のいずれか１項に記載の撮像装置。
15. 前記複数のカラーフィルタは、
    シアン（Ｃ）の波長域に対応する第１カラーフィルタ、マゼンダ（Ｍ）の波長域に対応する第２カラーフィルタ、及び、イエロー（Ｙ）の波長域に対応する第３カラーフィルタを含む、
    請求項１から１４のいずれか１項に記載の撮像装置。
16. 被写体からの光を集光する結像光学系と、
    複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
    前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタと、
    前記撮像素子と前記複数のカラーフィルタとの間に配置され前記複数のカラーフィルタを透過した光の光透過率特性を変調させる空間光変調器と、
    前記電気信号を符号化する送信データ圧縮回路と、を備え、
    前記空間光変調器の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
    前記複数のカラーフィルタ及び空間光変調器の全体の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
    前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記複数のカラーフィルタ及び空間光変調器の全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する、
    撮像装置。
17. 前記複数のカラーフィルタの各々は、厚みが０ｍｍの領域を含む、
    請求項１６記載の撮像装置。
18. 被写体からの光を集光する結像光学系と、
    複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
    前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタと、
    前記撮像素子と前記複数のカラーフィルタとの間に配置され前記複数のカラーフィルタを透過した光の光透過率特性を変調させる空間光変調器と、
    前記電気信号を符号化する送信データ圧縮回路と、を備え、
    前記複数のカラーフィルタの全体の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
    前記複数のカラーフィルタの波長単位の光透過率特性は、前記撮像素子の前記複数の画素の各々に対応する位置においてランダムに異なり、
    前記空間光変調器の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
    前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記複数のカラーフィルタ及び空間光変調器の全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化する、
    撮像装置。
19. 撮像装置と画像生成装置とを含む撮像システムであって、
    前記撮像装置は、
    被写体からの光を集光する結像光学系と、
    複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
    前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタを含むフィルターユニットと、
    前記電気信号を符号化する送信データ圧縮回路と、
    前記画像生成装置と接続された送信回路と、を備え、
    前記フィルターユニット全体の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
    前記送信データ圧縮回路は、前記撮像素子の前記複数の画素の中の各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて、前記各画素の電気信号を重み付けして符号化し、
    前記送信回路は、前記各画素の符号化された電気信号を前記画像生成装置に出力し、
    前記画像生成装置は、
    前記各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を示す変調情報を記憶するメモリと、
    前記各画素の符号化された電気信号を受信する受信回路と、
    前記各画素の符号化された電気信号を復号化し、前記各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて前記復号化された電気信号から前記重み付けを除去する受信データ復号回路と、を備えた
    撮像システム。
20. 被写体からの光を集光する結像光学系と、
    複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
    前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタを含むフィルターユニットと、
    前記電気信号を符号化する送信データ圧縮回路と、を備えた撮像装置を用いた撮像方法であって、
    前記フィルターユニット全体の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
    前記送信データ圧縮回路において、
    前記撮像素子の前記複数の画素の中の各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を保持し、
    前記撮像素子から前記各画素の電気信号を入力し、
    前記各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて前記各画素の電気信号を重み付けして符号化する、
    撮像方法。
21. 被写体からの光を集光する結像光学系と、
    複数の画素を有し、前記集光された光を受光して電気信号に変換する撮像素子と、
    前記結像光学系及び前記撮像素子の間に配置され、異なる光透過率特性を有する複数のカラーフィルタを含むフィルターユニットと、
    前記電気信号を符号化する送信データ圧縮回路と、を備えた撮像装置において実行されるプログラムであって、
    前記フィルターユニット全体の光透過率特性は、前記撮像素子の画素単位にランダムに異なり、
    前記撮像装置のコンピュータに対して、
    前記撮像素子の前記複数の画素の中の各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を保持させる処理と、
    前記撮像素子から前記各画素の電気信号を入力させる処理と、
    前記各画素に対応する前記フィルターユニット全体の光透過率特性の、各画素間で共通な波長特性に対する割合の逆数を用いて前記各画素の電気信号を重み付けして符号化させる処理と、を実行させる、
    プログラム。

Images