JP5572954B2 - 撮像素子及び該撮像素子を備えた画像撮像装置 - Google Patents

Description

本発明は、デジタルカメラ等に用いられる撮像素子、及びその撮像素子を備えた画像撮像装置に関する。

従来より、車のバックモニタなどの用途に向け、高感度のカラー画像が取得可能な撮像装置が知られているが、近年では、高感度でかつ路面上の濡れ状態を判断するために偏光画像が撮影可能といった多機能な撮像装置が望まれている。

従来では、カラー画像や、偏光画像を取得する場合、撮像素子の画素毎にカラーフィルタを設けたり（例えば、特許文献１参照）、または微少な偏光子を配置したり（例えば、特許文献２参照）して、得られた画像をデモザインキングする方法が一般的であった。

しかし、例えば、原色系のＲＧＢカラーフィルタを用いた場合、単純には各画素毎に取り込める光の量は、フィルタなしと比較して１／３に減少する。また、偏光子の場合にも、各画素に対して、Ｐ偏光及びＳ偏光のどちらかの１／２しか取り込めないため、フィルタなしと比較した場合、光量は１／２に減少し、原理的に感度が低くなってしまうという問題があった。さらに、フィルタなしと比較して輝度情報の解像度が低下するため、人間の眼で見た場合に、解像度が低く見えてしまうという問題もあった。

これらの問題点に対して、例えば、カラー画像を得るためのフィルタアレイとして、前述の通り、人間の眼の解像度の感度は色信号よりも輝度信号が高くなるのを利用して、カラーフィルタアレイに輝度情報を取得するフィルタなし画素を付加することが提案されている（例えば、特許文献３参照）。

しかしながら、上記従来技術では、輝度情報と色情報を合成する際に、輝度情報に比べ色情報のサンプリング周期があまりに低いと、色情報に発生したエリアシングノイズにより画質が劣化するため、フィルタなしの画素の割合を大きくできない。

また、フィルタなし画素と、フィルタあり画素の受光量の差が大きく、先にフィルタなし画素のみが飽和してしまい、正常な色再現ができなくなるといった問題点があった。

本発明の課題は、解像度及び感度が高く、しかも、フィルタなしの画素の割合を大きくできるとともに、正常な色再現が可能な撮像素子、及び該撮像素子を備えた画像撮像装置を提供することにある。

上記課題を解決するために、請求項１に記載の発明は、撮像素子本体の受光部上の特定の画素に対して、特定の光を集光させる機能を有するローパスフィルタが設けられ、前記ローパスフィルタは、特定の光を、当該特定の光の波長の成分を抽出して集光させ、前記特定の光の波長の成分と異なる光を、前記特定の画素を含む複数の画素に略均等に受光させるように構成されていることを特徴とする撮像素子である。

請求項２に記載の発明は、撮像素子本体の受光部上の特定の画素に対して、特定の光を集光させる機能を有するローパスフィルタが設けられ、前記ローパスフィルタは、前記特定の光の偏光方向により影響を受ける偏光依存性を有することを特徴とする撮像素子である。

請求項３に記載の発明は、請求項２において、前記ローパスフィルタは、前記偏光依存性として、特定の偏光成分のみを透過させる特性を有することを特徴とする撮像素子である。

請求項４に記載の発明は、請求項２において、前記ローパスフィルタは、特定の光の波長の成分を抽出するある特異な画素に集光される光量が、前記ある特異な画素に隣接し、同じ特性を持つ特異な画素との１周期分に入射される前記特定の光の波長の成分の光量の平均値よりも大きくなるＬＰＦ特性を有することを特徴とする撮像素子である。

請求項５に記載の発明は、レンズ系と、該レンズ系を介して被撮影画像を撮像する撮像素子と、該撮像素子での撮像結果を画像データとして処理する制御部とを備えた画像撮像装置であって、前記撮像素子として、請求項２又は３に記載の撮像素子が設けられ、前記制御部は、前記撮像素子での撮像結果を、前記特定の画素からなる第一の画像と、前記特定の画素以外の画素からなる第二の画像とに分離する分離処理を実行することを特徴としている。

請求項６に記載の発明は、請求項５において、前記第一の画像は色情報に関する画像であり、前記第二の画像は輝度情報に関する画像であることを特徴としている。

請求項７に記載の発明は、請求項５において、前記第一の画像は偏光情報に関する画像であり、前記第二の画像は輝度情報に関する画像であることを特徴としている。

請求項８に記載の発明は、請求項５において、前記制御部は、前記分離処理に加えて、前記第一の画像を拡大して第四の画像を生成する画像拡大処理と、前記第二の画像と前記第四の画像を合成して第三の画像を生成する画像合成処理とを実行することを特徴としている。

請求項９に記載の発明は、請求項８において、前記制御部は、前記画像拡大処理及び前記画像合成処理に加えて、前記第二の画像及び前記第三の画像より色情報と輝度情報を変換し、ＲＧＢの輝度値を有する第五の画像を生成する画像変換処理を実行することを特徴としている。

請求項１０に記載の発明は、請求項５において、前記制御部は、前記分離処理に加えて、前記第一の画像を縮小して第四の画像を生成する画像縮小処理と、前記第二の画像と前記第四の画像を合成して第三の画像を生成する画像合成処理とを実行することを特徴としている。

請求項１１に記載の発明は、請求項５において、前記制御部は、前記分離処理に加えて、前記第一の画像を拡大して第四の画像を生成する画像拡大処理と、前記第一の画像をＬＰＦ処理することにより、当該第一の画像から高周波成分を取り除いて第六の画像を生成するＬＰＦ処理と、前記第四の画像と前記第六の画像を合成して第三の画像を生成する画像合成処理とを実行することを特徴としている。

請求項１２に記載の発明は、請求項１１において、前記制御部は、前記画像拡大処理、前記ＬＰＦ処理及び前記画像合成処理に加えて、前記第二の画像及び前記第三の画像より色情報と輝度情報を変換し、ＲＧＢの輝度値を有する第五の画像を生成する画像変換処理を実行することを特徴としている。

請求項１３に記載の発明は、請求項１１において、前記ＬＰＦ処理は、特定の画素の配列する周期に対して小さい範囲の画素の輝度値を平均化することを特徴としている。

請求項１４に記載の発明は、請求項１１において、前記ＬＰＦ処理は、画像縮小処理と画像拡大処理を有することを特徴としている。

請求項１５に記載の発明は、請求項８〜１２のいずれか一項において、前記第三の画像は、色情報に関する画像であることを特徴としている。

本発明によれば、撮像素子本体の受光部上の特定の画素に対して、特定の光を集光させる機能を有するローパスフィルタが設けられ、ローパスフィルタは、特定の光を、当該特定の光の波長の成分を抽出して集光させ、特定の光の波長の成分と異なる光を、特定の画素を含む複数の画素に略均等に受光させるように構成されているので、撮像素子の解像度と感度を高くすることが可能となる。しかも、フィルタなしの画素の割合を大きくできるとともに、正常な色再現が可能な撮像素子を実現することができる。

本発明に係る撮像素子を含む撮像光学系の概略構成図である。 実施例１を示しており、（ａ）はレンズ側から見たローパスフィルタの斜視図、（ｂ）は撮像素子本体側から見たローパスフィルタの斜視図、（ｃ）はローパスフィルタの断面である。 ローパスフィルタのレンズ側回折面における作用を示しており、（ａ）は波長４５０ｎｍや波長５５０ｎｍの光が入射した場合を説明する図、（ｂ）は波長６５０ｎｍの光が入射した場合を説明する図である。 ローパスフィルタのレンズ側回折面における、回折格子の０次光透過率及び１次光回折効率と、凹凸形状の溝深さとの関係を示す図である。 ローパスフィルタの撮像素子側回折面における作用を示しており、（ａ）は波長４５０ｎｍや波長５５０ｎｍの光が入射した場合を説明する図、（ｂ）は波長６５０ｎｍの光が入射した場合を説明する図である。 ローパスフィルタの撮像素子側回折面における、回折格子の０次光透過率及び１次光回折効率と、凹凸形状の溝深さとの関係を示す図である。 ６＊６周期のフィルタアレイの構造について説明する図である。 撮像素子で撮影した画像を処理するフローを示した図である。 撮像素子で撮影した画像を処理するフローを示した図である。 撮像素子で撮影した画像を処理するフローを示した図である 撮像素子で撮影した画像を処理するフローを示した図である。 実施例２を示しており、１６＊１６周期のフィルタアレイの構造について説明する図である。 複屈折媒質に光ビームが入射した場合、透過するビームの進行経路を示した図である。 （ａ）はビームが入射される回折格子を表した図、（ｂ）は（ａ）のＢ−Ｂ線に沿った断面図、（ｃ）及び（ｄ）は光ビームの偏光方向による透過状態を表した図である。 実施例２によるローパスフィルタの断面図である。 ローパスフィルタの斜視図である。 ローパスフィルタの作用を示しており、（ａ）は異常光線が入射した場合を説明する図、（ｂ）は常光線が入射した場合を説明する図である。 回折格子の常光線の０次光透過率及び１次光回折効率と、凹凸形状の溝深さとの関係を示す図である。 回折構造が対向配置されたローパスフィルタの断面図である。 波長よりも短い周期構造を有するローパスフィルタの斜視図である。 実施例２における、６＊６周期のフィルタアレイの構造について説明する図である。 撮像素子で撮影した画像を処理するフローを示した図である。 撮像素子で撮影した画像を処理するフローを示した図である。 撮像素子で撮影した画像を処理するフローを示した図である。 撮像素子で撮影した画像を処理するフローを示した図である （ａ）は車載カメラで撮影した画像の一例を示す図、（ｂ）は撮影結果を処理する方法を説明した図である。

以下、本発明の実施例を図面に従って説明する。

図１に本発明に係る撮像素子を含む撮像光学系の構成図である。図１において、左方は物体側であり、右方は像面側である。１１は１枚或いは複数枚よりなるレンズ系、１２はFナンバが１〜３程度となるような開口絞り、１３は１枚或いは複数枚よりなるレンズ系である。レンズ系１１は開口絞り１２よりも物体側に配置され、また、レンズ系１３は開口絞り１２よりも像面側に配置されている。レンズ系１１、開口絞り１２及びレンズ系１３は光軸Ｌ上にそれぞれ配置されている。

また、光軸Ｌ上には、レンズ系１３に近い側から順に、ローパスフィルタ１４と撮像素子本体１５がそれぞれ配置されている。なお、本実施例では、撮像素子としては、撮像素子本体１５だけの場合と、撮像素子本体１５にローパスフィルタ１４が一体化された場合とをそれぞれ意味している。

次、撮像素子本体１５及びローパスフィルタ１４の詳細構造について説明する。

〈撮像素子本体１５〉
撮像素子本体１５としては、公知のＣＣＤやＣＭＯＳのモノクロセンサが用いられている。撮像素子本体１５は、その用途に応じたパッケージ１５ｃで保護されており、レンズ側の面はカバーガラス１５ａで封止されている。そして、カバーガラス１５ａで封止されたパッケージ１５ｃの中央部分に、実際の受光部１５ｂが設けられている。受光部１５ｂは、画素サイズが数ｕｍで、画素数として数十万から最近では１千万画素クラスのものが使われている。なお、パッケージ１５ｃとしては、車載カメラや屋外での監視カメラなどの用途であれば耐熱性の高いものが選択され、携帯機器などの用途であれば小型化できるパッケージが選択される。

〈ローパスフィルタ１４〉
ローパスフィルタ１４は、ガラス平板或いは樹脂基板の両面に回折構造が形成されている。
図２（ａ）は、レンズ側から見たときの、ローパスフィルタ１４の一端部を示す斜視図である。ローパスフィルタ１４は、一端面（レンズ系１３に近い側の面）が複数の領域２１ａ，２１ｂ，・・・に分割されている。各領域２１ａ，２１ｂ，・・・は面積が同一である。各領域２１ａ，２１ｂ，・・・は、ローパスフィルタ１４を透過した光が、撮像素子本体１５の受光部１５ｂ上の複数画素（例えば、４画素×４画素＝１６画素相当）に集光させるのに寄与している。

各領域２１ａ，２１ｂ，・・・には、同心円状の回折領域２２ａ，２２ｂ，・・・が形成されている。回折領域２２ａは光軸２３ａを中心にした複数本の輪帯からなっており、また、回折領域２２ｂは光軸２３ｂを中心にした複数本の輪帯からなっている。輪帯の間隔（ピッチ）は中心部と周辺では異なっている。このような変調を加えることにより、回折領域２２ａ，２２ｂはレンズ機能を有することになる。またピッチが細かいほど、より集光能力の高いレンズとなる。

図２（ｂ）は、撮像素子本体側から見たときの、ローパスフィルタ１４の一端部を示す斜視図である。ローパスフィルタ１４は、他端面（撮像素子本体１５に近い側の面）が複数の領域２４ａ，２４ｂ，・・・に分割されている。各領域２４ａ，２４ｂ，・・・は面積が同一である。各領域２４ａ，２４ｂ，・・・は、ローパスフィルタ１４を透過した光が、撮像素子本体１５の受光部１５ｂ上の複数画素（例えば、４画素×４画素＝１６画素相当）に集光するのに寄与している。また、各領域２４ａ，２４ｂ，・・・は、各領域２１ａ，２１ｂ，・・・に略対向する位置に配置されている。

各領域２４ａ，２４ｂ，・・・には、同心円状の回折領域２５ａ，２５ｂ，・・・が形成されている。回折領域２５ａには光軸２６ａを中心にした複数本の輪帯が設けられ、また、回折領域２５ｂには光軸２６ｂを中心にした複数本の輪帯が設けられている。

図２（ｃ）は、ローパスフィルタ１４の断面を示しており、図２（ａ）において矢印Ａ方向から見たときの図である。回折構造の断面形状はともに矩形形状であるが、各回折領域の光軸２３ａ，２６ａは若干上下にずれている。また回折領域２２ａと回折領域２５ａの有効径は互いに異なっており、そのピッチの変調度合い、溝深さも異なっている。このようにローパスフィルタ１４の一端面と他端面の形状を異ならせることにより、領域２１ａ，２１ｂ，・・・及び領域２４ａ，２４ｂ，・・・を通過した光は、受光面（撮像素子本体１５の受光部１５ｂ）上で波長の異なる２つの点に集光することとなる。

ローパスフィルタ１４の作製方法としては、フォトリソグラフィ技術を応用する方法と、ダイヤモンドバイトなどで精密切削する方法がある。また形状を金型に雛形を形成しておき、射出成形又はいわゆる２Ｐ法で透明材料から複数の回折光学素子を複製することもできる。

〈ローパスフィルタの一端面（レンズ系に近い側の面）〉
ローパスフィルタ１４の両端面のうち、一端面（レンズ系１３に近い側の面）の各回折領域２２ａ，２２ｂ，・・・は、主として波長６５０ｎｍの光に対して空間的なローパスフィルタとして機能する。ここでは、領域２１ａを代表にとって説明する。領域２１ａに形成されている回折領域２２ａは、図３（ａ）に示すように、波長４５０ｎｍや波長５５０ｎｍの光が入射した場合には、実質上０次の回折光を出射し、すなわち不感帯透過して、撮像素子本体１５の受光部１５ｂの一部分である受光領域３１ａに集光する。受光領域３１ａは１６画素分の領域に相当する。一方、波長６５０ｎｍの光が入射した場合には、図３（ｂ）に示すように、１次の回折光として受光部１５ｂ上の１画素３２ａに集光する。よって、ローパスフィルタ１４の一端面は、波長４５０ｎｍと波長５５０ｎｍの光に対しては単なる透過素子として機能し、波長６５０ｎｍの光に対しては回折素子として機能する。

〈回折領域２２ａ等の溝深さ〉
上記のような波長選択性は回折構造の溝深さにより選択可能である。回折格子断面における凹凸形状の周期的な位相差を、選択的に透過させたい波長（４５０ｎｍ，５５０ｎｍ）の２π倍とすることで、４５０ｎｍ，５５０ｎｍの光に対する０次透過率を高くすることができる。図４は、断面凹凸の形状の回折格子の０次光透過率及び１次光回折効率と、凹凸形状の溝深さとの関係を、波長４５０ｎｍ，５５０ｎｍ，６５０ｎｍについて示す図である。材質は石英（屈折率１.４５）とした。

図４から分かるように、深さ５.８８μｍ付近では、波長４５０ｎｍ，５５０ｎｍの０次光透過率が９０％以上で、波長６５０ｎｍの１次光が６％程度である。例えば、回折領域２２ａの溝深さを上記配分となるように設定することにより、領域２１ａを通過する波長６５０ｎｍの平均（６％の１６画素分、９６％）の光が、図３（ｂ）の画素３２ａに集光する。一方、受光領域３１ａのうち画素３２ａ以外の画素には、波長４５０ｎｍ，５５０ｎｍ，６５０ｎｍの光が略均等に受光する。

〈ローパスフィルタの他端面（撮像素子本体に近い側の面）〉
ローパスフィルタ１４の他端面（撮像素子本体に近い側の面）の各回折領域２５ａ，２５ｂ，・・・は、主として波長５５０ｎｍの光に対して空間的なローパスフィルタとして機能する。ここでは、領域２４ａを代表にとって説明する。領域２４ａに形成されている回折領域２５ａは、図５（ａ）に示すように、波長４５０ｎｍや波長６５０ｎｍの光が入射した場合には、実質上０次の回折光を出射し、すなわち不感帯透過して、撮像素子本体１５の受光部１５ｂの一部分である受光領域３１ａに集光する。受光領域３１ａは１６画素分の領域に相当する。一方、波長５５０ｎｍの光が入射した場合には、図５（ｂ）に示すように、１次の回折光として撮像素子の受光部１５ｂ上の１画素３２ｂに集光する。よって、ローパスフィルタ１４の他端面は、波長４５０ｎｍと６５０ｎｍの光に対しては単なる透過素子として機能し、波長５５０ｎｍの光に対しては回折素子として機能する。なお、本実施例では、回折領域２５ａの光軸２６ａは、回折領域２２ａの光軸２３ａに対して斜め１画素ずれた位置に集光するようにずれて設定されている。

〈回折領域２５ａ等の溝深さ〉
上記のような波長選択性は回折構造の溝深さにより選択可能である。回折格子断面における凹凸形状の周期的な位相差を、選択的に透過させたい波長（４５０ｎｍ，６５０ｎｍ）の２π倍とすることで、４５０ｎｍ，６５０ｎｍの光に対する０次透過率を高くすることができる。図６は、断面凹凸の形状の回折格子の０次光透過率及び１次光回折効率と、凹凸形状の溝深さとの関係を、波長４５０ｎｍ，５５０ｎｍ，６５０ｎｍについて示す図である。材質は石英（屈折率１.４５）とした。

図６から分かるように、深さ５.８１μｍ付近では、波長４５０ｎｍ，６５０ｎｍの０次光透過率が９０％以上で、波長５５０ｎｍの１次光が７％程度である。例えば、回折領域２５ａの溝深さを上記配分となるように設定することにより、領域２５ａを通過する波長５５０ｎｍの平均（７％の１６画素分、約１００％）の光が、図５（ｂ）の画素３２ｂに集光する。一方、受光領域３１ａのうち画素３２ｂ以外の画素には、波長４５０ｎｍ，５５０ｎｍ，６５０ｎｍの光が略均等に受光する。

以上のような波長選択性を有するローパスフィルタ１４を光学系に介在させることによって、例えば、ローパスフィルタ１４の表裏の領域２１ａと２４ａを通過した光は、撮像素子本体１５の受光領域３１ａ上の画素３２ａに波長６５０ｎｍの光が集光し、画素３２ｂに波長５５０ｎｍの光が集光することとなる。そして、画素３２ａ，３２ｂ以外の画素には、波長４５０ｎｍ，５５０ｎｍ，６５０ｎｍの光が略均等入射する。このような受光状態となることによって、前述の再構成処理によりカラー画像をモノクロ撮像を用いて形成することが可能となる。

本実施例においては、波長４５０ｎｍ，５５０ｎｍ，６５０ｎｍの３波長を選択的に選んで記載したが、波長はこれに限定されるものではなく、例えば、波長４７０ｎｍ，５２０ｎｍ，６００ｎｍのような組合せであってもよい。また、各波長は一位の値ではなく、帯域を有するものであってもよい。例えば、各波長範囲として２０ｎｍ程度のバンド幅を有するものであってもよい。また、３つの組合せでなく、近赤外帯域（波長８５０ｎｍ程度）を加えたものであってもよい。

各領域２１ａ，２１ｂ，２４ａ，２４ｂ及び回折領域２２ａ，２２ｂ，２５ａ，２５ｂのサイズ（対応画素数）は場所によって異なっていてもよい。すなわち、撮像レンズもしくは開口絞りの光軸中心と周辺領域（軸外領域）で、領域２１ａ，２１ｂ，２４ａ，２４ｂのサイズを変化させてもよい。

回折格子の断面形状として矩形形状の断面で説明したが、階段状の構造であってもよい。また、回折次数として０次光と１次光に限定されるものでなく、２次光やさらに高次の回折光を用いてもよい。また表裏の回折領域の光軸２３ａ，２６ａ及び光軸２３ｂ，２６ｂはそれぞれ同軸であってもよい。この場合、回折領域２２ａ，２５ａ及び回折領域２２ｂ，２５ｂの集光位置が各々ずれるような位相差関数を設定すればよい。さらにローパスフィルタ１４の両端面に回折構造を有する場合について説明したが、一側の端面だけであってもよい。この場合、波長選択性は回折次数の違いなどを利用すればよく、例えば、波長６５０ｎｍの光を＋１次回折光で集光させ、波長５５０ｎｍの光は−１次光で波長６５０ｎｍとは異なる画素に集光するように設定すればよい。

また、回折領域は同心円状のパタンに限定されるものでなく線形パタンであってもよい。そのときは、撮像素子面上では回折光は点ではなく線上のものとなる。このような線上のパタンに合わせて画像の再構成を行えばよい。

さらに、レンズ系１３と撮像素子本体１５の間にローパスフィルタ１４を、撮像素子本体１５から分離させて配置する構成としたが、これに限定されるものではない。例えば、撮像素子本体１５のカバーガラス１５ａの代わりに、ローパスフィルタを設けてもよい。これにより、部品点数の削減が図れる。もしくは、ローパスフィルタをレンズ系１３のレンズ面上に形成してもよい。さらには、撮像素子本体１５の受光部１５ｂと一体加工したものであってもよい。この場合、素子の位置ずれの影響などが軽減でき安定した特性が得られる。

以下、撮像素子のフィルタアレイの構造について説明する。図７に示すように、撮像素子には、６＊６画素のアレイ周期で中央に赤の波長の成分を抽出する機能を有する画素と、青の波長の成分を抽出する機能を有する画素とが配置されている。ここでは、赤の波長の成分を抽出する機能を有する画素を赤フィルタ、青の波長の成分を抽出する機能を有する画素を青フィルタと呼ぶが、実際にある波長のみを透過するフィルタが存在する場合に限るわけではなく、先に述べた回折素子などによりその機能を有している場合も含む。

赤フィルタ及び青フィルタの画素以外の他の画素は、フィルタが作用しない画素である（ここでは、輝度情報を取得する画素なので、以下Ｙ画素と呼ぶ）。重要な点はＲ（赤）画素とＢ（青）画素は空間的なＬＰＦの効果も合わせ持っており、この６＊６のアレイに入射される赤強度の平均値と、青輝度の平均値が得られるようになっている。このＬＰＦ（ローパスフィルタ）の効果が無い場合には、以下の処理を行ったとしても色信号に非常に大きなエリアシングノイズが発生し、画質を大きく損なってしまうという課題が生じる。

フィルタありの画素には空間的ＬＰＦの効果を付加し、それを考慮した合成処理を行うことにより上記課題を解決するが、その場合の処理系を図８に示す。

撮像素子からの信号をまずはＹ画素である第二の画像と、Ｒ画素とＢ画素からなる第一の画像に分離する特異な画素の分離処理を行う。その際、画像合成処理の前段でＹ画素からなる第二の画像の欠陥部は周辺のＹ画素から補間され、撮像画素の画素数と同じサイズとする。その後、Ｒ画素、Ｂ画素からなる第一の画像は第二の画像と同じサイズになるように画像拡大処理が施され、画像合成処理により第三の画像を構成するＣb，Ｃr信号（色差）信号が得られる。

次に、第二の画像と第三の画像を合成し第五の画像を生成する画像合成処理が実行される。画像合成処理における変換式には例えば以下の式が用いられる。
Ｃb_out＝０.５６４＊（Ｂ_in−Ｙ_in）
Ｃr_out＝０.７１３＊（Ｒ_in−Ｙ_in）
ここで、Y_inは入力された第二の画像、Ｂ_inとＲ_inはそれぞれ入力された第四の画像のＢ画素とＲ画素の信号であり、Ｃb_out，Ｃr_outはそれぞれ出力である第三の画像の輝度信号と色信号である。

画像変換処理により第二の画像であるＹ（輝度）信号が合成され、上記のカラーフィルタアレイから得た撮像素子の信号より、第五の信号であるＹＣbＣr信号で示されるカラー画像が得られる。

ここで、図９に示すような処理を実行すると、エリアシングノイズを抑えた高品質な画像を得ることができる。

すなわち、図９においては、第二の画像のＬＰＦ処理を行って第六の画像を得るＬＰＦ処理が追加されている。ＬＰＦとしては、本実施例では６＊６のフィルタアレイなので、６＊６の画素を平滑化するフィルタなどを用いると良い。

また、ＬＰＦとして、図１０に示すように、画像の拡大処理及び縮小処理を用いると、より高品質に画像の構成が可能である。ここで、縮小した画像サイズは第一の画像と同じサイズ（つまり、撮像素子の特異な画素の画素数）とし、拡大した画像のサイズは第四の画像と同じサイズとすることが望ましい。なお、図１１は、図１０に示した処理を具体的な形で示したものである。

次に、空間的ＬＰＦ機能を有するカラーフィルタを持つ撮像素子を用いて撮影した場合と、空間的ＬＰＦ機能を有しないカラーフィルタを持つ撮像素子を用いて撮影した場合とについて、撮像画像の画質の相違点について説明する。

表１（以下、写真１という）は空間的ＬＰＦ機能を有する場合の撮像画像であり、表２（以下、写真２という）は空間的ＬＰＦ機能を有しない場合の撮像画像である。

写真１の場合は、色のにじみが小さく、ほとんどの画素にカラーフィルタを持たないため感度が高く、また解像度が高い画像が得られている。これに対し、写真２の場合は、色のにじみが大きく、また画像の解像度も低い。

なお、比較のために従来から用いられているベイヤ配列のカラーフィルタを有する撮像素子を用いて撮影した画像を表３（以下、写真３という）に示す。写真３では、特に、文字の部分を見ると、解像度が写真１に比べて劣っていることが分かる。

写真１では、写真２及び写真３と比較して、感度が高く、また解像度も優れていることが分かる。

上記の例ではカラーフィルタとして、ＲとＢを用いたがもちろんそれ以外の組み合わせでも良く、ＧとＢや、ＲとＧとＢや、ＩＲ（赤外）とＢなど多数の組み合わせが考えられる。

ここで、参考までにＣＺＰ(Circular Zone Plate)を用いた場合の比較について、表４（以下、写真４という）、表５（以下、写真５という）、表６（以下、写真６という）を用いて説明する。

写真４は入力のＣＺＰ画像であり、写真５は本実施例の撮像素子（つまり空間的ＬＰＦ機能を有するカラーフィルタを持つ撮像素子）を用いて撮影した場合の画像であり、写真６はベイヤ配列のカラーフィルタを用いた撮像素子で撮影した場合の画像である。写真５は、写真６と比べて、偽色の発生がなく、また解像度も高いことが分かる。

本実施例では、フィルタアレイの周期に６＊６を用いて、光学的ＬＰＦではそれぞれの画素のＲ成分を１／３６だけＲ画素に集める構成としたが、例えば、白色光では単純に言うと全光量に対してＲ成分は１／３である。つまり、白い被写体に対してはＲ画素の輝度値は、Ｙ画素の輝度値の１／３となる。そのため、Ｒ画素のＳ／Ｎが悪化する課題があった。この課題を解決する方法としては、光学的ＬＰＦではそれぞれの画素のＲ成分を３／３６、つまり１／１２だけＲ画素に集める構成とすれば良い。もちろんＢ画素についても同様である。

また、より感度が必要な場合に６＊６以上の周期のフィルタアレイを用いることも考えられる。例えば、図１２のような１６＊１６周期のフィルタアレイを用いた場合、色情報の解像度が落ちるため、出力画像に色にじみが発生しやすい。

その場合には、処理におけるＬＰＦ処理を１／１６に縮小、１６倍に拡大ではなく、フィルタアレイ周期よりも小さな係数、つまり１／８に縮小、８倍に拡大とする方が望ましい結果が得られる。

１／１６に拡大、１６倍に拡大というＬＰＦ処理を行った場合の結果を表７（以下、写真７という）に示す。

１／８に拡大、８倍に拡大というＬＰＦ処理を行った場合の結果を表８（以下、写真８という）に示す。

写真８の方が、写真７よりも、色のにじみが少なく高品質な画像が得られている。つまり、フィルタアレイのサイズよりも小さいサイズのＬＰＦ処理を行うことで、より高品質な画像が得られることになる。

次に、実施例２について説明する。実施例１では波長選択型のローパスフィルタを用いていたが、本実施例では偏光選択型のローパスフィルタを用いている。

本実施例においては、ローパスフィルタ１４として、偏光選択性を有する回折格子が形成されている。先ず、図１３を参照しながら、複屈折媒質に対する偏光されたビームの透過特性を検討する。図１３は、一般的な複屈折媒質に光ビームが入射した場合の透過するビームの進行経路を表した図である。複屈折媒質に光ビームが入射すると、その入射したビームの偏光によってビームの進行経路が変化する。すなわち、図１３に示すように、複屈折媒質に対して紙面平行方向に偏光されたビームは、複屈折媒質透過時にはビーム経路が変化しない。このビームを常光線と言う。一方、複屈折媒質に対して紙面垂直方向に偏光されたビームは複屈折媒質透過時にビーム経路が変化する。このビームを異常光線と言う。

〈偏光選択性回折格子〉
このような複屈折媒質を利用した偏光選択性回折格子について説明する。図１４（ａ）は本実施例における回折格子のうちビームが入射される面を表した図であり、図１４（ｂ）は図１４（ａ）のＢ−Ｂ線に沿った断面図である。

図１４（ｂ）に示した回折格子は、等方性媒質８１と、複屈折媒質８２と、これら等方性媒質８１及び複屈折媒質８２を挟むようにして配置されたガラス８３とからなっている。複屈折媒質８２は、円形を成した複数の輪帯が同心円状に配置され（図１４（ａ））、各輪帯は断面形状が矩形に形成されて、Ｂ−Ｂ線に沿った断面では複屈折媒質８２は凹凸状に形成されている。等方性媒質８１は複屈折媒質８２と相補的な形状であり、複屈折媒質８２の凹凸状に形成された面に密着している。

図１４（ａ）と図１４（ｂ）を参照して、偏光選択性回折格子を利用した集光機能について説明する。図１４（ｃ）及び（ｄ）は入射される光ビームの偏光方向による透過状態を表した図である。図１４（ｂ）に示したように、複屈折媒質８２は入射されるビームの偏光方向に従ってｎｏとｎｅの屈折率を持つ。ここで、ｎｏは常光線に対する屈折率（正常屈折率）を表し、ｎｅは異常光線に対する屈折率（異常屈折率）を表している。

等方性媒質の屈折率ｎ１とｎｅが等しくなるように、等方性媒質８１と複屈折媒質８２を選択して偏光性選択性回折格子を製作した場合について検討する。ビームの偏光方向を異常光線の偏光方向と等しくして入射させると、等方性媒質８１と複屈折媒質８２での屈折率が同じであるから、ビームは何の影響もなく透過する。一方、直交する方向（常光線の偏光方向）に偏光されたビームとすると、等方性媒質８１と複屈折媒質８２で互いに異なる屈折率となる。したがって、回折格子の等方性媒質８１と複屈折媒質８２の境界面の形状によって回折が起きて進行経路が変わる。図１４（ｃ）及び（ｄ）に示したように、入射光の偏光に応じて不感帯と集光が選択される。

〈ローパスフィルタ１４〉
本実施例におけるローパスフィルタ１４は、以上のような偏光選択性の回折格子の構成及び機能を活用したものである。すなわち、ローパスフィルタ１４は、図１５に示すような断面構造を有するものであって、ガラス平板或いは樹脂基板９１上に複屈折媒質を用いて回折構造９２が形成されている。そして、相補的に等方性媒質９３が充填され、さらにガラス平板或いは樹脂基板９４で封止されている。この封止用のガラス平板９４側に光を入射される。

図１６は、レンズ側から見たときの、ローパスフィルタ１４の一端部を示す斜視図である。図では、簡単のためガラス平板９４及び等方性媒質９３は省略されている。ローパスフィルタ１４は複数の領域１０１ａ，１０１ｂ，・・・に分割されている。各領域１０１ａ，１０１ｂ，・・・は面積が同一である。各領域１０１ａ，１０１ｂ，・・・は、ローパスフィルタ１４を透過した光が、受光部上の複数画素（例えば、４画素×４画素＝１６画素相当）に集光するのに寄与している。

各領域１０１ａ，１０１ｂ，・・・には、同心円状の回折領域１０２ａ，１０２ｂ，・・・が形成されている。回折領域１０２ａは光軸１０３ａを中心に複数本の輪帯からなる。また、回折領域１０２ｂは光軸１０３ｂを中心に複数本の輪帯からなる。輪帯の間隔（ピッチ）は中心部と周辺で異なっている。このような変調を加えることにより、各回折領域はレンズ機能を有することが可能となる。またピッチが細かいほど、より集光するレンズとなる。

このようなローパスフィルタ１４の回折構造の作製方法としては、フォトリソグラフィ技術を応用する方法と、ダイヤモンドバイトなどで精密切削する方法がある。また形状を金型に雛形を形成しておき、射出成形又はいわゆる２Ｐ法で透明材料から複数の回折光学素子を複製することもできる。

〈ローパスフィルタの回折領域〉
ローパスフィルタ１４の各回折領域１０２ａ，１０２ｂ，・・・は主として、常光線の偏光方向の光に対して空間的なローパスフィルタとして機能する。ここでは、領域１０１ａを代表にとって説明する。領域１０１ａに形成された回折領域１０２ａは、図１７（ａ）に示すように、異常光線の偏光方向の光が入射した場合には、実質上０次の回折光を出射し、すなわち不感帯透過し、撮像素子本体１５の受光部１５ｂ（図１参照）の一部分である受光領域１１１ａに集光する。受光領域１１１ａは１６画素分の領域に相当する。一方、常光線の光が入射した場合には、図１７（ｂ）に示すように、１次の回折光として受光部１５ｂのある１画素１１２ａに集光する。よって、異常光線の光については単なる透過素子として機能し、常光線の光に対しては回折素子として機能する。

〈回折領域２５ａの溝深さ〉
上記のような偏光選択性は、ｎｏ（常光線に対する屈折率）、ｎｅ（異常光線に対する屈折率）、等方性媒質の屈折率ｎ１と、回折構造の溝深さにより選択可能である。先ず、ｎｅ＝ｎ１となるようなｎｅおよびｎ１を選択することにより異常光線については不感帯とすることができる。

図１８は、断面凹凸の形状の回折格子の常光線の０次光透過率、１次光回折効率と、凹凸形状の溝深さとの関係について示す図である。ｎｏ＝１.７５，ｎｅ＝１.４５とした。深さ１.８６μｍ付近では、０次光透過率が９０％以上で、１次光が７％程度である。例えば、回折領域の溝深さをこのような配分となるように設定することにより、図１７（ｂ）の画素１１２ａのみに常光線の光が集中し、それは領域１１１ａを通過する常光線の平均相当の光が集光することとなる。一方、領域１２１ａの画素１１２ａ以外の画素には、常光線、異常光線の光がほぼ均等に受光する。

以上のような偏光選択性を有するローパスフィルタ１４を介在させることによって、例えば、ローパスフィルタ１４の領域１０１ａを通過した光は、撮像素子本体１５の受光領域１１１ａの画素１１２ａに常光線の光が集光することとなる。そして、それ以外の画素に関しては異常光線の光が均等入射する。このような受光状態により、前述の再構成処理により偏光画像をモノクロ撮像を用いて形成することが可能となる。

本実施例においては回折構造を形成する面は１面の場合について説明したが、２面設けてもよい。すなわち、図１９に示すように、複屈折材質による回折構造９２が設けられた平板９１と、回折構造９２’が設けられた平板９１’とを対向配置し、その間に等方性媒質９３を充填させたものであってもよい。そして、実施例１のように各回折面の集光位置をずらしてやることにより、常光線、異常光線をそれぞれ集光させるような設定にしてもよい。

また、各領域のサイズ（対応画素数）は場所によって異なってもよい。すなわち、撮像レンズもしくは開口絞りの光軸中心と周辺領域（軸外領域）で領域１０１ａのサイズを変化させてもよい。

回折格子の断面形状として矩形形状の断面で説明したが、階段状の構造であってもよい。また、回折次数として０次光と１次光に限定されるものでなく、２次光やさらに高次の回折光を用いてもよい。

また、回折領域は同心円状のパタンに限定されるものでなく線形パタンであってもよい。そのときは、撮像素子面上では回折光は点ではなく線上のものとなる。このような線上のパタンに合わせて画像の再構成を行えばよい。

また、レンズ系１３と撮像素子本体１５の間にローパスフィルタ１４を、撮像素子本体１５から分離させて配置する構成としたが、これに限定されるものではない。例えば、撮像素子本体１５のカバーガラス１５ａの代わりに、ローパスフィルタを設けてもよい。

さらに、偏光選択型の回折格子としては、上記のような等方性材質と複屈折材質の組合せを利用したものに限定されるものでなく、サブ波長構造を用いたものであってもよい。すなわち、図２０に示すように、平板９１上に形成された波長より広いピッチを有する回折構造９２に、波長よりも短い周期構造（周期＝λ）を重畳させることにより、偏光選択性を持たせることができる。このような方法を用いれば、簡素な構造で偏光選択性回折格子が実現できるため、ローパスフィルタの低コスト化、薄型化が可能となる。

以下、撮像素子のフィルタアレイの構造について説明する。撮像素子には、図２１に示すように、６＊６画素のアレイ周期で中央にＰ偏光の光を透過するフィルタと、Ｓ偏光の光を透過するフィルタが配置されている。他はフィルタが作用しない画素である（ここでは、輝度情報を取得する画素なので、Ｙ画素と呼ぶ）。重要な点は、このＳ偏光のフィルタとＰ偏光のフィルタは空間的なＬＰＦの効果も合わせ持っており、この６＊６のアレイに入射されるＳ偏光の強度の平均値と、Ｐ偏光の輝度の平均値が得られるようになっている。このＬＰＦの効果が無い場合には、以下の処理を行ったとしても偏光情報に非常に大きなエリアシングノイズが発生し、情報量を大きく損なってしまう。なお、実際にある偏光のみを透過するフィルタが存在する場合に限るわけではなく、先に述べた回折素子や、ＳＷＳなどによりその機能を有している場合も含んでいる。

本実施例における処理として、図２２に示すように、撮像素子からの信号をＳ偏光画素である第二の画像と、Ｐ偏光画素からなる第一の画像とに分離する特異な画素の分離処理が実行される。その際、画像合成処理の前段でＹ画素からなる第二の画像の欠陥部は周辺のＹ画素から補間され、撮像画素の画素数（上記の例では６４０＊４８０）と同じサイズとする。その後、Ｓ偏光画素、Ｐ偏光画素からなる第一の画像は第二の画像と同じサイズになるように画像拡大処理が施され、画像合成処理により第三の画像を構成する輝度情報と、それと対応する偏光情報が得られる。

一般的に偏光情報を車のスリップ防止のための路面濡れ検知などに用いる場合には、偏光情報は輝度情報と同じ解像度である必要はないが、画像を表示する、または路面検知処理を行う都合上輝度情報に関しては高解像度が必要となる。その場合に本実施例の方法では、高解像度な輝度情報と、低解像度だがエリアシングノイズのない偏光情報を一つの撮像装置で取得可能であり非常に好適である。

画像合成処理としては、単純に同じ画素数の輝度情報と偏光情報をパッキングして後段の装置に渡しても良いし、例えば偏光情報は色差情報に割り当てて、カラーで偏光情報を表示するようにしても良い。

図２３は、第一の画像から第三の画像までを実際のデータに割り当てた一例を示している。また、先に挙げたフィルタアレイを用いた場合には、より具体的には図２４に示すような処理フローとなる。

また、輝度情報の解像度が必要ない場合には、図２５に示すような方法も適している。すなわち、撮像素子からの信号をまずはＳ偏光画素である第二の画像と、Ｐ偏光画素からなる第一の画像に分離する特異な画素の分離処理を行う。その際、画像合成処理の前段でＹ画素からなる第二の画像の欠陥部は周辺のＹ画素から補間され、撮像画素の画素数（上記の例では６４０＊４８０）と同じサイズとする。その後、輝度情報である第二の画像は、第一の画像であるＳ偏光画素、Ｐ偏光画素の画像と同じサイズになるように画像縮小処理が施され、第四の画像が作成される。その後、第四の画像と第一の画像は画像合成処理により第三の画像を構成する輝度情報と、それと対応する偏光情報が得られる。

次に、例えば、車載のカメラなどでは、図２６（ａ）に示すように、画面上部は信号機の色を見るために色検知が必要で、画面下部の道路部では偏光を用いて地面の濡れ検出などをしたい場合がある。

その場合には、図２６（ｂ）に示すように、一つの撮像素子の上部をカラー画像取得用に実施例１で示したフィルタアレイと処理系として、下部を請求項１の構成のように、領域に分けて異なるフィルタアレイの組み合わせを行っても良い。

１１，１３ レンズ系
１４ ローパスフィルタ
１５ 撮像素子本体
１５ｂ 受光部
２１ａ，２１ｂ 領域
２２ａ，２２ｂ 回折領域
２３ａ，２３ｂ 光軸領域
２４ａ，２４ｂ 領域
２５ａ，２５ｂ 回折領域
２６ａ，２６ｂ 光軸
３１ａ 受光領域
３２ａ 画素

特開２０００‐２７８５０３号公報 特開２００７‐８６７２０号公報 特許第４１４４６３０号公報

Claims (15)

1. 撮像素子本体の受光部上の特定の画素に対して、特定の光を集光させる機能を有するローパスフィルタが設けられ、
   前記ローパスフィルタは、特定の光を、当該特定の光の波長の成分を抽出して集光させ、前記特定の光の波長の成分と異なる光を、前記特定の画素を含む複数の画素に略均等に受光させるように構成されていることを特徴とする撮像素子。
2. 撮像素子本体の受光部上の特定の画素に対して、特定の光を集光させる機能を有するローパスフィルタが設けられ、
   前記ローパスフィルタは、前記特定の光の偏光方向により影響を受ける偏光依存性を有することを特徴とする撮像素子。
3. 前記ローパスフィルタは、前記偏光依存性として、特定の偏光成分のみを透過させる特性を有することを特徴とする請求項２に記載の撮像素子。
4. 前記ローパスフィルタは、特定の光の波長の成分を抽出するある特異な画素に集光される光量が、前記ある特異な画素に隣接し、同じ特性を持つ特異な画素との１周期分に入射される前記特定の光の波長の成分の光量の平均値よりも大きくなるＬＰＦ特性を有することを特徴とする請求項２に記載の撮像素子。
5. レンズ系と、該レンズ系を介して被撮影画像を撮像する撮像素子と、該撮像素子での撮像結果を画像データとして処理する制御部とを備えた画像撮像装置であって、
   前記撮像素子として、請求項２又は３に記載の撮像素子が設けられ、
   前記制御部は、前記撮像素子での撮像結果を、前記特定の画素からなる第一の画像と、前記特定の画素以外の画素からなる第二の画像とに分離する分離処理を実行することを特徴とする画像撮像装置。
6. 前記第一の画像は色情報に関する画像であり、前記第二の画像は輝度情報に関する画像であることを特徴とする請求項５に記載の画像撮像装置。
7. 前記第一の画像は偏光情報に関する画像であり、前記第二の画像は輝度情報に関する画像であることを特徴とする請求項５に記載の画像撮像装置。
8. 前記制御部は、前記分離処理に加えて、前記第一の画像を拡大して第四の画像を生成する画像拡大処理と、前記第二の画像と前記第四の画像を合成して第三の画像を生成する画像合成処理とを実行することを特徴とする請求項５に記載の画像撮像装置。
9. 前記制御部は、前記画像拡大処理及び前記画像合成処理に加えて、前記第二の画像及び前記第三の画像より色情報と輝度情報を変換し、ＲＧＢの輝度値を有する第五の画像を生成する画像変換処理を実行することを特徴とする請求項８に記載の画像撮像装置。
10. 前記制御部は、前記分離処理に加えて、前記第一の画像を縮小して第四の画像を生成する画像縮小処理と、前記第二の画像と前記第四の画像を合成して第三の画像を生成する画像合成処理とを実行することを特徴とする請求項５に記載の画像撮像装置。
11. 前記制御部は、前記分離処理に加えて、前記第一の画像を拡大して第四の画像を生成する画像拡大処理と、前記第一の画像をＬＰＦ処理することにより、当該第一の画像から高周波成分を取り除いて第六の画像を生成するＬＰＦ処理と、前記第四の画像と前記第六の画像を合成して第三の画像を生成する画像合成処理とを実行することを特徴とする請求項５に記載の画像撮像装置。
12. 前記制御部は、前記画像拡大処理、前記ＬＰＦ処理及び前記画像合成処理に加えて、前記第二の画像及び前記第三の画像より色情報と輝度情報を変換し、ＲＧＢの輝度値を有する第五の画像を生成する画像変換処理を実行することを特徴とする請求項１１に記載の画像撮像装置。
13. 前記ＬＰＦ処理は、特定の画素の配列する周期に対して小さい範囲の画素の輝度値を平均化することを特徴とする請求項１１に記載の画像撮像装置。
14. 前記ＬＰＦ処理は、画像縮小処理と画像拡大処理を有することを特徴とする請求項１１に記載の画像撮像装置。
15. 前記第三の画像は、色情報に関する画像であることを特徴とする請求項８〜１２のいずれか一項に記載の画像撮像装置。