JP4984634B2 - 物理情報取得方法および物理情報取得装置 - Google Patents

物理情報取得方法および物理情報取得装置 Download PDF

Info

Publication number
JP4984634B2
JP4984634B2 JP2006133412A JP2006133412A JP4984634B2 JP 4984634 B2 JP4984634 B2 JP 4984634B2 JP 2006133412 A JP2006133412 A JP 2006133412A JP 2006133412 A JP2006133412 A JP 2006133412A JP 4984634 B2 JP4984634 B2 JP 4984634B2
Authority
JP
Japan
Prior art keywords
component
unit
signal
wavelength region
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006133412A
Other languages
English (en)
Other versions
JP2007053731A5 (ja
JP2007053731A (ja
Inventor
淳 戸田
玄太 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006133412A priority Critical patent/JP4984634B2/ja
Priority to TW095126541A priority patent/TW200720637A/zh
Priority to US11/458,871 priority patent/US7755016B2/en
Priority to TW099130894A priority patent/TW201100766A/zh
Priority to CN2006101357581A priority patent/CN1971927B/zh
Priority to KR1020060068576A priority patent/KR101244147B1/ko
Priority to CN201210171533.7A priority patent/CN102665083B/zh
Publication of JP2007053731A publication Critical patent/JP2007053731A/ja
Publication of JP2007053731A5 publication Critical patent/JP2007053731A5/ja
Priority to US12/604,891 priority patent/US8035069B2/en
Priority to US13/232,597 priority patent/US8519319B2/en
Application granted granted Critical
Publication of JP4984634B2 publication Critical patent/JP4984634B2/ja
Priority to US13/926,893 priority patent/US8981278B2/en
Priority to US14/603,180 priority patent/US9591239B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/182—Colour image sensors
    • H10F39/1825—Multicolour image sensors having stacked structure, e.g. NPN, NPNPN or multiple quantum well [MQW] structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Blocking Light For Cameras (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Description

本発明は、物理情報取得方法および物理情報取得装置並びに半導体装置に関する。より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な物理量分布検知の半導体装置を利用した固体撮像装置などへの適用に好適な信号取得技術に関する。特に主要波長領域（典型例は可視光領域）に漏れ込む不要波長（典型例は可視光に対しての赤外光や紫外光）領域成分の影響を排除する仕組みに関する。
光や放射線などの外部から入力される電磁波などの物理量変化に対して感応性をする単位構成要素（たとえば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。
たとえば、映像機器の分野では、物理量の一例である光（電磁波の一例）の変化を検知するＣＣＤ（Charge Coupled Device ）型あるいはＭＯＳ（Metal Oxide Semiconductor ）やＣＭＯＳ（Complementary Metal-oxide Semiconductor ）型の固体撮像装置が使われている。これらは、単位構成要素（固体撮像装置にあっては画素）によって電気信号に変換された物理量分布を電気信号として読み出す。
たとえば、固体撮像装置は、デバイス部の撮像部（画素部）に設けられている光電変換素子（受光素子；フォトセンサ）であるフォトダイオードにて、光や放射線などの外部から入力される電磁波を検知して信号電荷を生成・蓄積し、この蓄積された信号電荷（光電子）を、画像情報として読み出す。
また最近では、可視光による像と赤外光による像を撮像する仕組みが提案されている（たとえば特許文献１〜９を参照）。たとえば赤外線の発光点を予め用意してそれを追跡することで、可視光の像の中にある赤外光の発光点の位置を検出することができる。また可視光のない、たとえば夜間においても赤外光を照射して撮像することで鮮明な像を得ることができる。さらに、可視光に加えて赤外光を取り入れることで感度を向上させることができる。
米国特許第５９６５８７５号 特開２００４−１０３９６４号公報 特開平１０−２１０４８６号公報 特開２００２−３６９０４９号公報 特開平０６−１２１３２５号公報 特開平０９−１６６４９３号公報 特開平０９−１３０６７８号公報 特開２０００−５９７９８号公報 特開２００３−７０００９号公報
特許文献１，２に記載の仕組みは、半導体の深さ方向における波長による吸収係数の違いを利用した単板式のものである。
また特許文献３〜５に記載の仕組みは、入力光学系に波長分離用のミラーやプリズムなどの波長分解光学系を使い、可視光と赤外光を個別の撮像素子で受光する多板式のものである。
また特許文献６に記載の仕組みは、入力光学系に回転式の波長分解光学系を使い、可視光と赤外光を同一の撮像素子で受光する単板式のものである。たとえば、赤外光カットフィルタの挿入／抜出を回転機構的に行ない、赤外光カットフィルタを挿入している場合は近赤外光および赤外光の影響のない可視光カラー画像を、赤外光カットフィルタを抜き出している場合は可視光および近赤外光の光強度を加算した画像を出力する。
また特許文献７に記載の仕組みは、入力光学系に波長分解機能を持つ絞り光学系を使い、可視光と赤外光を同一の撮像素子で受光するものである。
また特許文献８に記載の仕組みは、近赤外光および可視光に感度を有する撮像素子の上に、近赤外光を透過するカラーフィルタを配置しつつ、赤外カットフィルタの位置を、撮像素子への入射光が赤外カットフィルタを通る位置と通らない位置との間で調整する調整手段を設け、赤外カットフィルタの位置を切り替えることで、近赤外光による撮影用と可視光による撮影用とに共用する際に、撮像素子の近赤外光領域の感度と可視光領域の感度との両方を有効に活用する仕組みとしている。
また特許文献９に記載の仕組みは、赤外光の影響を排除するために色差信号や輝度信号の値に対する赤外光の影響度合に応じて色差信号および／または輝度信号の値を減少させる補正を行なうようにしている。一例として、色フィルタがマゼンタ、緑、シアン、黄の各補色フィルタの場合に、色差信号Ｒ−Ｙやマゼンタおよび黄の各色出力信号に対して補正を行なうようにしている。
図１０２は、特許文献１，２に記載のセンサの仕組みを説明する図であって、図１０２（Ａ）は半導体層の光吸収スペクトル特性を示す図、図１０２（Ｂ）は、デバイスの断面構造の模式図である。
この仕組みにおいては、Ｓｉ（シリコン）半導体の光の吸収係数が図１０２（Ａ）に示すように青，緑，赤，赤外光の順に小さくなる、すなわち入射光Ｌ１に含まれる青色光、緑色光、赤色光、および赤外光に関しては、半導体の深さ方向において波長による場所依存性を呈することを利用して、図１０２（Ｂ）に示すように、Ｓｉ半導体の表面から深さ方向に可視光（青，緑，赤）および赤外光の各色光を検出するための層を順次設けている。
しかしながら、波長による吸収係数の違いを利用した特許文献２に記載の仕組みでは、理論上検知できる光量が低下しないが、青色光を検知する層では赤色光や緑色光が通過するときにある程度吸収を受けるためにそれらの光が青色光として検知されてしまう。このために、青の信号が本来ない場合でも緑や赤の信号が入ることで青にも信号が入り偽信号が生じてしまうことになるので、十分な色再現性を得られない。
これを避けるためには、３原色全体で計算による信号処理で補正を行なう必要があり、計算に必要な回路を別途必要となるので、その分だけ回路構成が複雑・大規模になり、またコスト的に高くなる。さらに、たとえば３原色のうちどれか１色が飽和するとその飽和した光の本来の値が判らなくなることで計算に狂いが生じ、結果として本来の色とは異なるように信号を処理することになる。
また、図１０２（Ａ）に示すように、殆どの半導体は赤外光に対して吸収感度を有する。したがって、たとえばＳｉ半導体を用いた固体撮像装置（イメージセンサ）などにおいては通常、減色フィルタの一例としてガラス製の赤外光カットフィルタをセンサの前に入れる必要がある。
よって、赤外光のみ、あるいは可視光と赤外光を信号として受け取って撮像するためには、赤外光カットフィルタを外すか、赤外光のカットする割合を低くする必要がある。
ところが、このようにすると、赤外光が可視光に混じって光電変換素子に入射することになるので、可視光の像の色合いが本来のものとは異なることになる。したがって、可視光の像と赤外光のみ（または赤外光と可視光の混合）を同時に分けて各々適切な画像を得ることが困難である。
また上述の課題とは別に、通常の固体撮像装置のように赤外光カットフィルタを用いることによって、可視光も幾らかカットされるので感度が落ちることになる。また赤外光カットフィルタを用いることによってコストが高くなる。
また特許文献３〜５に記載の仕組みは、波長分離用のミラーやプリズムなどの波長分解光学系のため入力光学系が大がかりとなる。
また特許文献６，９に記載の仕組みは、赤外光カットフィルタの挿入／抜出機構のため、装置が大がかりとなるし、赤外光カットフィルタの操作は自動的に行なえない。
また特許文献７に記載の仕組みは、波長分解機能を持つ絞り光学系のため、装置が大がかりとなる。加えて、赤外線画像と可視光線画像の両方を同時に得ることができるものの、イメージセンサからは、この可視光線画像および赤外線画像を合成した電気信号しか出力できず、可視光線画像のみあるいは赤外線画像のみを出力することができない。
また特許文献８に記載の仕組みは、色差信号や輝度信号に対して補正を行なうが、その補正はあくまでも見積もりによるものであり、補正精度が悪い。
本発明は、上記事情に鑑みてなされたものであり、可視光領域などの主要波長領域に漏れ込む赤外光や紫外光などの不要波長領域成分の影響を排除する新たな仕組みを提供することを目的とする。
本発明に係る仕組みにおいては、先ず、主要成分である第１の波長領域（たとえば可視光領域）の成分とこの第１の波長領域の成分とは異なる第１の波長領域成分に対しては不要成分となる第２の波長領域（たとえば赤外光領域）の成分とを予め分離して第１の検知部で検知するととともに、少なくとも第２の波長領域の成分を含む補正用の波長領域の成分を第２の検知部で検知することにする。好ましくは、この２つの検知部は、同一の半導体基板に搭載されたものであるのがよい。
そして、第１の検知部の検知で得られた第１の単位信号を、第２の検知部の検知に基づいて得られた第２の単位信号を使う、後述の線形演算（減算）により抑制補正を行うことにより、第２の波長領域の成分の影響を排除した第１の波長領域の成分に関わる物理情報を取得する。
なお、必要に応じて、第２の検知部で検知される第２の波長領域の成分の単位信号を使って、第１の波長領域の成分の影響を排除した第２の波長領域の成分に関わる物理情報を取得するようにしてもよい。この際にも、必要に応じて、第１の検知部で検知された単位信号と第２の検知部で検知された単位信号との線形演算を行なってもよい。こうすることで、第１の波長領域の成分および第２の波長領域の成分のそれぞれに基づく物理情報を独立に求めることができるようになる。
補正演算に当たっては、第１の波長領域の成分に含まれる第２の波長領域の成分を排除するとの観点から、第１の検知部で検知された単位信号から、第２の検知部で検知された単位信号に所定の係数を掛けた信号成分を減算する。
また、さらに好ましくは、第２の検知部の検知に基づいて得られる第２の単位信号と第１の検知部の検知で得られる第１の単位信号との積に所定の係数を掛けた非線形の信号成分を、前記減算の結果にさらに加算することにより前記抑制補正を行なうとよい。
ここで、「非線形の信号成分を加算する」に当たっては、第２の波長領域の成分（たとえば赤外光成分）をカットするフィルタを設けない場合に、第１の波長領域の成分が大きくなる分を補正して同等の信号レベルにすることを目的とした補正と、色差が小さくなるようにすることを目的とした補正とがあり、各補正目的に応じて係数の符号（正負）や値、さらには補正演算式を最適化する。一例として、２次式やその他の多次式の他、絶対値式など、非線形の信号成分である限り、様々な補正式を適用することができる。
なお、第２の検知部で検知される補正用の波長領域の成分が第１の波長領域の成分を含まないものであれば単純な減算処理でよいが、第２の検知部で検知される補正用の波長領域の成分が第１の波長領域の成分をも含むものである場合には、その減算処理に先立って、第２の検知部で検知される補正用の波長領域の成分に含まれる第１の波長領域の成分を排除しておく必要がある。この排除に当たっては、第２の検知部で検知された単位信号から、第１の検知部で検知された単位信号に所定の係数を掛けた信号成分を減算するのがよい。
また、補正用の波長領域の成分を検知する第２の検知部を設けるに当たっては、本来目的の信号を取得するための第１の検知部との配置関係に留意するのがよい。たとえば、複数の第１の検知部に対して１つの第２の検知部を配してもよいし、第１の検知部と第２の検知部とが一定の数比を持って周期的（たとえば第１の検知部と第２の検知部とが１対１）に配してもよい。
また、第１の検知部は第１の波長領域の成分をさらに波長分離して検知する複数の検知要素の組合せからなるものとすることができる。たとえば、カラー画像を撮像するために色分離するのがその典型例である。
この場合、カラー画像における解像度を低下させずに補正を行なうようにするには、第１の検知部の複数の検知要素と第２の検知部とを２次元格子状に配し、かつ、複数の検知要素の内のある波長成分を検知するものが市松模様となるように配するのがよい。
また、第２の検知部で検知される第２の波長領域の成分の単位信号を使って、第１の波長領域の成分の影響を排除した第２の波長領域の成分に関わる物理情報を取得するに当たって、この第２の波長領域の成分に関わる物理情報における解像度を低下させないようにするには、第１の検知部の複数の検知要素と第２の検知部とを２次元格子状に配し、かつ、第２の検知部が市松模様となるように配するのがよい。
本発明によれば、第１の検知部の検知で得られた第１の単位信号を第２の単位信号を使って、第２の波長領域の成分を抑制するための係数を用いた減算により抑制補正を行うようにしたので、第１の検知部の検知に際し第１の波長領域の成分に含まれる第２の波長領域の成分による影響を十分に抑制・除去することができる。
この結果、たとえば減色フィルタの一例としての赤外光カットフィルタをセンサの前に入れなくても、十分な色再現性の可視光カラー画像を取得できる。高価な赤外光カットフィルタを不要にすることで、コストを大幅に低減できる。また厚みや重さのある赤外光カットフィルタを不要にすることで、光学系を軽量かつコンパクトにできる。もちろん、赤外光カットフィルタの挿入／抜出機構が不要であり、装置が大がかりになることもない。
以下、図面を参照して本発明の実施形態について詳細に説明する。
＜基本概念＞
図１は、補正演算により可視光カラー画像と赤外光画像をそれぞれ独立に求めることを常時可能にする色分離フィルタの配置例の基本構造を示す図である。ここでは、可視光カラー画像用に色フィルタＣ１，Ｃ２，Ｃ３（何れも第１の波長領域成分を透過）の３つの波長領域（色成分）用のものと、色フィルタＣ１，Ｃ２，Ｃ３の成分とは異なる第２の波長領域の成分として赤外光用の色フィルタＣ４といった別個のフィルタ特性を有する４種類の色フィルタを規則的（本例では正方格子状）に配設している。色フィルタＣ１，Ｃ２，Ｃ３，Ｃ４を通して対応する検知部で検知することで、それぞれの成分を独立して検知することができる。色フィルタＣ１，Ｃ２，Ｃ３が配される検知部が第１の検知部であり、色フィルタＣ４が配される検知部が第２の検知部である。また、色フィルタＣ１，Ｃ２，Ｃ３が配される検知部（検知要素）は、第１の波長領域をさらに波長分離して検知するためのものである。
なお、色フィルタＣ１，Ｃ２，Ｃ３は、たとえば、可視光帯内のある色成分で透過率が略１、その他で略ゼロとする原色フィルタとする。たとえば、可視光VL（波長λ＝３８０〜７８０ｎｍ）の３原色である青色成分Ｂ（たとえば波長λ＝４００〜５００ｎｍで透過率が略１、その他で略ゼロ）、緑色成分Ｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略１、その他で略ゼロ）、赤色成分Ｒ（たとえば波長λ＝６００〜７００ｎｍで透過率が略１、その他で略ゼロ）を中心とする原色フィルタであってもよい。
もしくは、色フィルタＣ１，Ｃ２，Ｃ３は、可視光帯内のある色成分で透過率が略ゼロ、その他で略１の透過率を持つ補色系の色フィルタとする。たとえば、黄Ｙｅ（たとえば波長λ＝４００〜５００ｎｍで透過率が略ゼロ、その他で略１）、マゼンダＭｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略ゼロ、その他で略１）、シアンＣｙ（たとえば波長λ＝６００〜７００ｎｍで透過率が略ゼロ、その他で略１）など、可視光の３原色成分に対して略ゼロの透過率を持つ補色系の色フィルタであってもよい。
補色系の色フィルタは原色系の色フィルタよりも感度が高いので、可視領域の透過光が３原色の各々の補色である補色系の色フィルタを使用することで撮像装置の感度を高めることができる。逆に、原色系の色フィルタを用いることで、差分処理を行なわなくても原色の色信号を取得でき、可視光カラー画像の信号処理が簡易になる利点がある。
なお、透過率が“略１”であるとは、理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“１”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。
また、原色系および補色系の何れも、可視光領域の内の所定色（原色もしくは補色）の波長領域成分を通過させるものであればよく、第２の波長領域である赤外光領域を通過させるか否かすなわち赤外光IRに対する透過率は不問である。
たとえば、現状一般的に用いられる各色フィルタは、可視光帯内では、たとえばＲ，Ｇ，Ｂの各々に対して透過率が高くその他の色（たとえばＲであればＧやＢ）の透過率が低いが、可視光帯外の透過率に関しては規定外であり、通常、その他の色（たとえばＲであればＧやＢ）の透過率よりも高く、たとえば各フィルタともに赤外領域に感度を持ち、赤外領域において光の透過がある。しかしながら、本実施形態では、このような可視光帯外で透過率が高い特性であっても、影響を受けない。
一方、色フィルタＣ４は、少なくとも第２の波長領域（本例では赤外光）の成分を含む所定波長領域用のものであればよく、第１の手法として、色フィルタＣ１，Ｃ２，Ｃ３を通過する主要成分（つまり可視光成分）を通過させずに第２の波長領域（本例では赤外光）のみを通過させるもの（可視光カットフィルタ）であってもよいし、第２の手法として、第１の波長領域（本例では可視光）から第２の波長領域（本例では赤外光）までの全域の成分を通過させるもの（全域通過フィルタ）であってもよい。第２の手法の場合、可視光から赤外光（特に近赤外光）までの全波長の成分を通過させるという点においては、色フィルタＣ４としては、事実上、カラーフィルタを設けない構成を採ることができる。
たとえば、赤外光を受光する検知領域の受光面側に可視光カットフィルタを入れない場合、赤外光の検知領域側に可視光成分が漏れ込み、この漏込み成分の可視光像と本来の赤外光画像とが混在して取得される。この混在した可視光像を排除して、可視光の影響の殆どない赤外光画像を取得するには、たとえば、可視光成分を受光する３つの色画素Ｒ，Ｇ，Ｂで検知される青、赤、緑の強度を減じる必要がある。
これに対して、たとえば、赤外光と緑色光とを通過させる緑色フィルタを可視光カットフィルタとして設けることで、赤外光用の検知部からは赤外光IRと緑色の可視光LGの混在の成分が得られるが、緑色光成分を受光する色画素Ｇから得られる緑色成分との差分を取ることで、可視光VL（ここでは緑色光Ｇ）の影響をほぼ全く受けない赤外光IRのみの像が得られる。緑色フィルタを外光用の検知部の受光面側に設ける必要があるものの、緑色フィルタを設けずに３つの画素Ｒ，Ｇ，Ｂで検知される青、赤、緑の強度を減じる場合よりも処理が簡易になる。
また、赤外光を通過させ可視光のみを吸収するような黒色フィルタを可視光カットフィルタとして設けると、可視光をこの黒色フィルタで吸収させることで、赤外光用の検知部からは赤外光のみの成分が得られ、差分処理を行なわなくても、可視光の影響をほぼ全く受けない赤外光のみの赤外光画像が得られることになる。
なお、色フィルタＣ１，Ｃ２，Ｃ３が配される画素の検知部（たとえばフォトダイオードなどの撮像素子）は、可視光に感度を有していればよく、近赤外光に感度を有する必要はない。一方、色フィルタＣ４が配される画素のフォトダイオードなどで構成される検知部は、本例の場合、少なくとも近赤外光に感度を有することが必要である。また、色フィルタＣ４が近赤外光のみを通過させる可視光カットフィルタである場合には可視光に感度を有する必要はないが、色フィルタＣ４が全域通過フィルタである場合には可視光にも感度を有する必要がある。
また、色フィルタＣ４が配される色画素は、この色フィルタＣ４が配される色画素に基づいて得られる第２の波長領域の成分に関わる物理情報（本例では赤外光画像）再現用として使用されるだけでなく、色フィルタＣ１，Ｃ２，Ｃ３が配される色画素に基づいて得られる可視光カラー画像再現用の色信号に対して補正画素としても使用される。色フィルタＣ４は、色フィルタＣ１，Ｃ２，Ｃ３に対しての補正色フィルタとして機能することになるのである。
すなわち、可視光カラー画像の再現に当たっては、先ず、色フィルタＣ１，Ｃ２，Ｃ３が配される色画素から第１の波長領域の信号成分ＳC1，ＳC2，ＳC3を、この第１の波長領域の成分とは異なる第２の波長領域（赤外）の成分から事実上分離して、それぞれ独立の検知領域で検知する。また、少なくとも第２の波長領域（赤外）の成分を含む所定波長領域（赤外のみまたは全域）の信号成分ＳC4をさらに別の検知領域で検知する。
そして、各信号成分ＳC1，ＳC2，ＳC3を、信号成分ＳC4を使って補正することにより、第２の波長領域（赤外）の成分の影響を排除した、第１の波長領域の成分（可視光成分）に関わる画像（ここでは可視光カラー画像）を再現するための各補正色信号ＳC1＊，ＳC2＊，ＳC3＊を取得する。
この補正演算に当たっては、第１波長領域の信号成分ＳC1，ＳC2，ＳC3から、少なくも第２の波長領域の成分を含む信号成分ＳC4に所定の係数αC1，αC2，αC3を掛けた信号成分を減算する。
なお、第２の波長領域の成分に関わる画像（ここでは赤外光に関わる赤外光画像）は、信号成分ＳC4から取得できる。このとき、色フィルタＣ４が色フィルタＣ１，Ｃ２，Ｃ３を通過する主要成分（つまり可視光成分）を通過させずに第２の波長領域（本例では赤外光）のみを通過させる可視光カットフィルタである場合には、信号成分ＳC4そのものが赤外光画像を表わす。一方、色フィルタＣ４が第１の波長領域（本例では可視光）から第２の波長領域（本例では赤外光）までの全域の成分を通過させる全域通過フィルタである場合には、信号成分ＳC4から信号成分ＳC1，ＳC2，ＳC3により得られる可視光像の成分を減算すればよい。なお、赤外光画像に関しては、赤外光と可視光の混在による像を取得するようにしてもよい。
このようにして、４種類の波長領域（ここでは４種類の色フィルタを配設した各画素）で得られる信号出力をマトリクス演算すると、可視光カラー画像および近赤外光画像をそれぞれ独立に求めることができる。すなわち、フォトダイオードなどの撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを配設し、４種類の色フィルタを配設した各画素の出力をマトリクス演算することで、近赤外光の影響をほぼ全く受けない可視光カラー画像を形成するための３原色出力と、可視光の影響をほぼ全く受けない近赤外光画像を形成するための出力を、それぞれ独立かつ同時に取得することができる。
特に、可視光カラー画像に関しては、赤外光の漏れによる色再現の悪さを演算処理にて補正することで、暗所で感度の高く、かつ色再現の良好な撮像が可能になる。赤外光に近い赤色の信号成分が大きくなる現象や映像の赤い部分で輝度が高くなる現象を緩和することもでき、特別な撮像素子や機構を用いなくても、低コストで色再現性の向上と低照度時の感度アップのバランスを取ることができる。
また、減色フィルタの一例として厚みや重さのある高価なガラス製の光学部材を結像光学系の光路上のセンサの前に入れる必要がなくなる。高価な赤外光カットフィルタを不要にすることで、光学系を軽量かつコンパクトにできるし、コストを大幅に低減できる。もちろん、赤外光カットフィルタの挿入／抜出機構が不要であり、装置が大がかりになることもない。
また赤外光カットフィルタが不用になることによって高感度化も達成される。赤外光カットフィルタなしでカラー撮像を行なうことで、現行の信号処理回路と組み合わせつつ、近赤外線領域の光を有効に利用し高感度化を図ることもでき、その際、低照度時であっても、色再現性が良好になる。
可視光成分に漏れ込む赤外光成分による可視光カラー画像の色再現の悪さについては、演算処理により簡単に補正することができる。また、その補正演算に際しては、特開２００３−７０００９号公報に記載の仕組みのような単なる見積もりで補正するのではなく、赤外光成分を実測し、その情報を使って補正するので、実際の撮像環境下での赤外光の強度に応じた適正量で補正を加えることができ、補正精度が極めて良好である。また、ユーザが撮像環境に合わせて補正量を調整する必要がなく使い勝手がよい。
＜撮像装置＞
図２は、本発明に係る物理情報取得装置の一例である撮像装置の概略構成を示す図である。この撮像装置３００は、可視光カラー画像および近赤外光画像を独立に得る撮像装置になっている。
具体的には、撮像装置３００は、被写体Ｚの像を担持する光Ｌを撮像部側に導光して結像させる撮影レンズ３０２と、光学ローパスフィルタ３０４と、色フィルタ群３１２および固体撮像素子（イメージセンサ）３１４を有する撮像部３１０と、固体撮像素子３１４を駆動する駆動部３２０と、固体撮像素子３１４から出力された各撮像信号ＳIR（赤外光成分），ＳＶ（可視光成分）を処理する撮像信号処理部３３０とを備えている。
光学ローパスフィルタ３０４は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。一般的な撮像装置においては、この光学ローパスフィルタ３０４と赤外光カットフィルタとを併用するが、本構成では、赤外光カットフィルタを備えていない。また、可視光カラー画像および近赤外光画像を独立に得る構成とする場合、撮影レンズ３０２を通して入射された光Ｌ１を不可視光の一例である赤外光IRと可視光VLとに分離する波長分離用の光学部材（波長分離光学系という）を備える仕組みが採られることもあるが、本構成では、そのような入射系において波長分離を行なう波長分離光学系を備えていない。
固体撮像素子３１４は、２次元マトリックス状に形成された光電変換画素群からなる撮像素子である。なお、本実施形態で用いる固体撮像素子３１４の具体的な構成については後述する。
固体撮像素子３１４の撮像面では、被写体Ｚの像を担持する赤外光IRに応じた電荷や可視光VLに応じた電荷が発生する。電荷の蓄積動作や電荷の読出動作などの動作は、図示しないシステムコントロール回路から駆動部３２０へ出力されるセンサ駆動用のパルス信号によって制御される。
固体撮像素子３１４から読み出された電荷信号、すなわち赤外光画像を担持する赤外光撮像信号ＳIRと可視光像を担持する可視光撮像信号ＳVLは撮像信号処理部３３０に送られ、所定の信号処理が加えられる。
たとえば、撮像信号処理部３３０は、固体撮像素子３１４から出力されたセンサ出力信号（可視光撮像信号ＳVLおよび赤外光撮像信号ＳIR）に対して黒レベル調整やゲイン調整やガンマ補正などの前処理を行なう前処理部３３２と、前処理部３３２から出力されたアナログ信号をデジタイル信号に変換するＡＤ変換部３３４と、撮影レンズ３０２で生じるシェーディングや固体撮像素子３１４の画素欠陥などを補正する補正処理部３３６と、画像信号処理部３４０とを備えている。
画像信号処理部３４０は、本実施形態の特徴部分として、可視光撮像信号ＳVLに対して赤外光撮像信号ＳIRを使って補正を加えることで補正可視光撮像信号ＳVL＊を生成する赤外光補正処理部３４２を備えている。また、画像信号処理部３４０は、赤外光補正処理部３４２から出力された補正可視光撮像信号ＳVL＊に基づいて輝度信号を生成する輝度信号処理部３４４と、赤外光補正処理部３４２から出力された補正可視光撮像信号ＳVL＊に基づいて色信号（原色信号や色差信号）を生成する色信号処理部３４６と、赤外光撮像信号ＳIRに基づいて赤外光画像を表わす赤外光信号を生成する赤外信号処理部３４８とを備えている。
固体撮像素子３１４から出力された撮像信号は、撮像信号処理部３３０の前処理部３３２により所定レベルに増幅され、ＡＤ変換部３３４によりアナログ信号からデジタル信号に変換される。また、可視光成分のデジタルの画像信号は、赤外光補正処理部３４２で赤外光成分が抑制され、さらに輝度信号処理部３４４や色信号処理部３４６にて、必要に応じて（特に色フィルタＣ１，Ｃ２，Ｃ３として補色フィルタを使用した場合）Ｒ，Ｇ，Ｂの色分離信号に分離された後、輝度信号や色信号もしくはこれを合成した映像信号などに変換され出力される。また、赤外信号処理部３４８にて、必要に応じて（色フィルタＣ４として黒色フィルタを使用しない場合）赤外光撮像信号ＳIRに対して可視光撮像信号ＳVLを使って補正が加えられる。
なお、赤外光補正処理部３４２は、可視光撮像信号ＳVLに対して赤外光撮像信号ＳIRを使って補正を加えることができればよく、その配設位置は、このような構成に限定されない。たとえば、ＡＤ変換部３３４とシェーディング補正や画素欠陥補正を行なう補正処理部３３６との間に設け、シェーディング補正や画素欠陥補正の前に赤外光の影響を抑制する補正を行なうようにしてもよい。
あるいは、前処理部３３２とＡＤ変換部３３４との間に設け、黒レベル調整やゲイン調整やガンマ補正などの前処理の後に赤外光抑制処理を行なうようにしてもよいし、固体撮像素子３１４と前処理部３３２との間に設け、黒レベル調整やゲイン調整やガンマ補正などの前処理の前に赤外光抑制処理を行なうようにしてもよい。
このような構成によって、撮像装置３００は、撮影レンズ３０２により赤外光IRを含む被写体Ｚを表わす光学画像を取り込み、赤外光画像（近赤外光光学画像）と可視光像（可視光光学画像）とを分離することなく撮像部３１０に取り込み、撮像信号処理部３３０によってこれら赤外光画像と可視光像とをそれぞれ映像信号に変換した後に所定の信号処理（たとえばＲ，Ｇ，Ｂ成分への色信号分離など）を行なって、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する。
たとえば、撮影レンズ３０２は、波長３８０ｎｍ程度から２２００ｎｍ程度までの光を透過することができる石英またはサファイアなどの光学材料によって構成されるレンズであり、赤外光IRを含む光学画像を取り込んで、これを集光しながら固体撮像素子３１４上に結像させる。
また、本実施形態の撮像装置３００においては、撮像部３１０に、本来の検知目的の波長成分の検知に最適化された検知部（イメージセンサ）を設けるようにする点に特徴を有している。特に、本実施形態においては、可視光VLと赤外光IRの内の短波長側を検知するべく、可視光VLの検知に最適化された固体撮像素子３１４が設けられている。
ここで“最適化されたイメージセンサ”とは、本来の検知目的の波長成分の撮像信号に、本来の検知目的の波長成分以外が可能な限り含まれないようにするような波長分離対応の領域を備えた構造を持つことを意味する。
波長分離光学系による光路上での波長分離を備えなくても、イメージセンサ側で波長分離対応の構造を持つようにすることで、光学系をコンパクトにすることを可能にする点に特徴を有している。
このような撮像装置の構造は、特開平１０−２１０４８６号公報や特開平０６−１２１３２５号公報のように、波長分離光学系で分離した各波長成分を、同様の構造を持つそれぞれ個別のセンサに入射させることで、可視光像と赤外光画像とを個別に取得する構成とは異なる。
また、特開平１０−２１０４８６号公報のように、コールドミラーを透過した可視光成分をさらに３枚のダイクロイックミラーで、赤色成分、緑色成分、および青色成分に分離し、それぞれを個別のセンサに入射させることで、可視光VLに関して、Ｒ，Ｇ，Ｂの個別の画像を取得する仕組みとも異なる。特開平１０−２１０４８６号公報の方式では、可視光VLについて３つのセンサが必要になり、感度向上はあるものの、コストが増大するという問題点がある。本実施形態の構成ではこの問題がない。
また、特開２００２−３６９０４９号公報のように、光路上にて２段構えで波長分離を行ない、同様の構造を持つそれぞれ個別のセンサに入射させることで、可視光像と赤外光画像とを個別に取得する構成とも異なる。特許文献４の方式では、光路上にて２段構えで波長分離を行なうので、光学系が大掛かりになる難点がある。加えて、感度やボケなどの問題も有する。本実施形態の構成ではこの問題がない。
たとえば、本実施形態の構成では、撮像部３１０による可視光VLの撮像において、減色フィルタの一例として赤外光カットフィルタを固体撮像素子３１４の前に入れる必要がなくなる。高価な赤外光カットフィルタを不要にすることで、コストを大幅に低減できる。また、厚みや重さのある赤外光カットフィルタを不要にすることで、光学系を軽量かつコンパクトにできる。もちろん、赤外光カットフィルタの挿入／抜出機構が不要であり、装置が大がかりになることもない。既存のガラス製の赤外光カットフィルタを用いる場合に比べて、コスト的に有利になるし、コンパクトになって携帯性などに優れたデジタルカメラなどの撮像装置を提供することができる。
また、赤外光カットフィルタを固体撮像素子３１４の前に入れる構成では、ガラス基板をＣＣＤやＣＭＯＳなどの撮像素子の前に入れることで光路の途中に空気とガラス界面が生じてしまう。したがって、透過して欲しい可視光VLの光までがその界面で反射されてしまい、感度低下を招く問題が生じる。さらにこのような界面が多くなることで、斜め入射における（ガラス内で）屈折する角度が波長によって異なり、光路の変化による焦点ぼけを引き起こす。これに対して固体撮像素子３１４の前側の光路上に赤外光カットフィルタを用いないことで、このような焦点ぼけがなくなる利点が得られる。
なお、さらに波長分離性能を向上させるために、光学系が大きくなってしまなどの問題が生じてしまうが、全体に弱い赤外光カットフィルタを入れてもよい。たとえば５０％以下の赤外光カットフィルタを入れることで可視光VLに対して殆ど問題のないレベルまでカットするとよい。
何れにしても、可視光VLのみの撮像と赤外光IRのみの撮像、あるいは可視光VLのみの撮像と赤外光IRと可視光VLとを混在させた撮像を、同時に行なうようにすることができる。
昼間におけるモノクロ画像あるいはカラー画像の撮像時に赤外光IRの影響を受けず、また、夜間などにおいて、赤外光IRによる撮像が可能となる。必要に応じて、他方の像も同時に出力することもできる。その場合でも、昼間において、可視光VLの影響を受けない赤外光IRのみの画像を得ることができる。
たとえば赤外光IRの影響をほぼ全く受けない可視光VLのみのモノクロ画像が得られる。特開２００２−１４２２２８号公報記載の仕組みとは異なり、赤外光IRの影響をほぼ全く受けない可視光VLのモノクロ画像を得るに際して、赤外光IRの成分との間での演算処理が不要である。
さらに、固体撮像素子３１４上に、可視光VL内を所定の波長領域成分に分離する光学部材の一例として、可視光領域において所定の波長透過特性を持つ色フィルタを画素（単位画素マトリクス）に対応させて設けることで、赤外光IRの影響をほぼ全く受けない可視光領域中の特定波長領域のみの像が得られる。
また、単位画素マトリクスを構成する複数のフォトダイオード上に一体的に、可視光領域においてそれぞれ異なる波長透過特性を持つ色フィルタを、各波長対応（色別）のフォトダイオードに位置整合させて、規則的に配列することで、可視光領域を波長別（色別）に分離することができ、これらの色別の画素から得られる各画素信号に基づいて合成処理をすることで、赤外光IRの影響をほぼ全く受けない可視光VLのみのカラー画像（可視光カラー画像）が得られる。
特開２００２−１４２２２８号公報記載の仕組みのような単純なマトリクス演算とは異なり、赤外光IRの影響をほぼ全く受けない可視光VLのカラー画像を得るに際して、可視光領域の信号成分ＳＶから少なくも赤外光領域の成分を含む信号成分ＳIRに所定の係数αを掛けた信号成分を減算する補正演算を行なうので、可視光領域の画素信号に含まれる赤外光成分を精度よく抑制することができる。
また、特開２００３−７０００９号公報記載の仕組みのような単なる見積もりで補正するのではなく、赤外光成分を実測し、その情報を使って可視光成分に補正を加えるので、実情に即してかつ精度よく補正を行なうことができる。
このように、可視光VLのモノクロ画像あるいはカラー画像と、“赤外光IRに関わる像”をそれぞれ独立に求めることが常時可能となる。“赤外光IRに関わる像”とは、可視光VLの影響をほぼ全く受けない赤外光IRのみの像や赤外光IRと可視光VLとを混在させた像を意味する。
赤外光IRの影響をほぼ全く受けない可視光VLのみの撮像（モノクロ撮像もしくはカラー撮像）と、赤外光IRと可視光VLとを混在させた撮像を、同時に行なうようにすることもできる。また、可視光VLのみの成分（モノクロ像成分もしくはカラー像成分）と、赤外光IRと可視光VLとを混在させた成分との合成処理（詳しくは差分処理）により、可視光VLの影響をほぼ全く受けない赤外光IRのみの撮像を行なうようにすることもできる。
なお、上記において、“影響をほぼ全く受けない”とは、最終的に人間の視覚によることを考慮し、一般的に人間の視覚によって明確な差が関知できない程度であれば、“影響を若干受ける”ことがあってもよい。すなわち、赤外光IR側については通過波長領域（可視光VL）の影響を無視可能な赤外画像（物理情報の一例）を取得できればよく、可視光VL側については反射波長領域成分（赤外光IR）の影響を無視可能な通常画像（物理情報の一例）を取得できればよい。
なお、色フィルタＣ４として、黒色フィルタを使用しない場合には、色フィルタＣ４が配される補正画素は、可視光から赤外光まで広い波長域において感度を持つことになるので、色フィルタＣ１，Ｃ２，Ｃ３が配される可視光撮像用の他の画素に比べて、画素信号が飽和し易い。
この問題を避けるには、色フィルタＣ４が配される第２の検知部の検知時間を駆動部３２０により制御するとよい。たとえば、明るい所での撮像においては、電子シャッタ機能を利用するなどして、通常よりも短い周期で補正画素の検知部から画素信号を読み出して、それを前処理部３３２に送るようにするのがよい。この場合、６０フレーム／秒より高いレートで信号を送ることで飽和に対して効果が得られる。
あるいは単に０．０１６６７秒より短い時間（蓄積時間）で補正画素の検知部から電荷を読み出せればよい。この場合、オーバーフローを用いて基板側に電荷信号を排出することで実効的に短い時間での電荷の蓄積を読み出してもよい。さらに望ましくは、２４０フレーム／秒より高いレートで信号を送ることで飽和に対して効果がよりある。あるいは、単に４．１６ミリ秒より短い時間（蓄積時間）で検知部から電荷を読み出せればよい。何れにしても、補正画素の検知部から出力される画素信号が飽和し難いようにできればよい。なお、このように飽和しないように短い時間（蓄積時間）で電荷を読み出すのは補正画素だけ行なってもよいし、全画素をそのようにしてもよい。
さらに短い時間で読み取った信号を２回以上積算することで、弱い信号を強い信号に変換し、Ｓ／Ｎ比を高めてもよい。たとえば、このようにすることで暗いところで撮像しても、また明るいところで撮像しても適切な感度と高いＳ／Ｎ比が得られ、ダイナミックレンジが広がることになる。
＜撮像装置；ＣＣＤ対応＞
図３は、図１に示す色分離フィルタ配置を、インターライン転送方式のＣＣＤ固体撮像素子（ＩＴ＿ＣＣＤイメージセンサ）に適用した場合の撮像装置の回路図である。
ここで、図３は、可視光帯内をＲ，Ｇ，Ｂの各色成分に分けつつ赤外光IRを検知するようにした構造を示し、可視光VLの内の青色光Ｂ、緑色光Ｇ、および赤色光Ｒと、赤外光IRとを、それぞれ独立に検知する構造であり、実質的には１つの単位画素マトリクス１２内において波長別に画素（光電変換素子）１２Ｂ，１２Ｇ，１２Ｒを形成しつつ、波長分離構造を有していない画素１２IRを有し、画素１２IRを他の画素に対して補正画素として利用する構造である。
たとえば、図３（Ａ）に示すように、ＣＣＤ固体撮像素子１０１は、単位画素マトリクス１２の他に、垂直転送方向に、垂直転送ＣＣＤ１２２が複数本並べられて設けられている。垂直転送ＣＣＤ１２２の電荷転送方向すなわち画素信号の読出方向が縦方向（図中のＸ方向）である。
さらに、垂直転送ＣＣＤ１２２と各単位画素マトリクス１２との間には読出ゲート１２４（波長別には１２４Ｂ，１２４Ｇ，１２４Ｒ，１２４IR）をなすＭＯＳトランジスタが介在し、また各ユニットセル（単位構成要素）の境界部分には図示しないチャネルストップが設けられる。
なお、図３から分かるように、１つの単位画素マトリクス１２が、青色光Ｂ、緑色光Ｇ、赤色光Ｒ、および赤外光IRを独立に検知する構造であり、実質的には１つの単位画素マトリクス１２内において波長（色）別に画素１２Ｂ，１２Ｇ，１２Ｒ，１２IRを形成した構造である。これら単位画素マトリクス１２を有して構成されるセンサ部１１２の垂直列ごとに設けられ、各センサ部から読出ゲート１２４によって読み出された信号電荷を垂直転送する複数本の垂直転送ＣＣＤ１２２とセンサ部１１２とによって撮像エリア１１０が構成される。
ここで、色フィルタ１４の配列としては、たとえば、シリコン基板１＿ωの受光面側における、垂直転送ＣＣＤ１２２の縦方向（Ｘ方向）に青、緑、赤、IR（補正画素）、青、緑、赤、IR（補正画素）、…の順となり、また、複数の垂直転送ＣＣＤ１２２の同一行方向（Ｙ方向）にも、青、緑、赤、IR（補正画素）、青、緑、赤、IR（補正画素）、…の順となるようにする。また、補正画素を設けることによる解像度低下を考慮した画素配列にすることも有効である（詳細は後述する）。
センサ部１１２の単位画素マトリクス１２（各画素１２Ｂ，１２Ｇ，１２Ｒ，１２IR）に蓄積された信号電荷は、読出ゲート１２４に読出パルスＲＯＧに対応するドライブパルスφＲＯＧが印加されることで、同一垂直列の垂直転送ＣＣＤ１２２に読み出される。垂直転送ＣＣＤ１２２は、たとえば３相〜８相などの垂直転送クロックＶｘに基づくドライブパルスφＶｘよって転送駆動され、読み出された信号電荷を水平ブランキング期間の一部にて１走査線（１ライン）に相当する部分ずつ順に垂直方向に転送する。この１ラインずつの垂直転送を、特にラインシフトという。
また、ＣＣＤ固体撮像素子１０１には、複数本の垂直転送ＣＣＤ１２２の各転送先側端部すなわち、最後の行の垂直転送ＣＣＤ１２２に隣接して、所定（たとえば左右）方向に延在する水平転送ＣＣＤ１２６（Ｈレジスタ部、水平転送部）が１ライン分設けられる。この水平転送ＣＣＤ１２６は、たとえば２相の水平転送クロックＨ１，Ｈ２に基づくドライブパルスφＨ１，φＨ２によって転送駆動され、複数本の垂直転送ＣＣＤ１２２から転送された１ライン分の信号電荷を、水平ブランキング期間後の水平走査期間において順次水平方向に転送する。このため２相駆動に対応する複数本（２本）の水平転送電極が設けられる。
水平転送ＣＣＤ１２６の転送先の端部には、たとえばフローティング・ディフュージョン・アンプ（ＦＤＡ）構成の電荷電圧変換部を有する出力アンプ１２８が設けられる。出力アンプ１２８は、物理情報取得部の一例であって、電荷電圧変換部において、水平転送ＣＣＤ１２６によって水平転送されてきた信号電荷を順次電圧信号に変換し所定レベルに増幅して出力する。この電圧信号は、被写体からの光の入射量に応じたＣＣＤ出力（Ｖout ）として画素信号が導出される。以上により、インターライン転送方式のＣＣＤ固体撮像素子１０１が構成される。
ＣＣＤ出力（Ｖout ）として出力アンプ１２８から導出された画素信号は、図３（Ｂ）に示すように、撮像信号処理部３３０に入力される。撮像信号処理部３３０には、信号切替制御部の一例である画像切替制御部３６０からの画像切替制御信号が入力されるようになっている。
画像切替制御部３６０は、撮像信号処理部３３０の出力を赤外光IRの影響をほぼ全く受けない可視光VLのモノクロ画像やカラー画像と、可視光VLの影響をほぼ全く受けない赤外光IRの画像の何れか一方のみ、もしくはこれらの双方、あるいは可視光VLと赤外光IRの混在画像すなわち赤外光IRの輝度を加算した擬似モノクロ画像あるいは擬似カラー画像にするかの切替えを指令する。つまり、可視光VLの画像と赤外光IRに関わる画像との同時撮像出力や切替撮像出力を制御する。
この指令は、撮像装置を操作する外部入力によってもよく、また、撮像信号処理部３３０の赤外光IRのない可視光輝度により画像切替制御部３６０が自動処理により切替えを指令してもよい。
ここで、撮像信号処理部３３０は、たとえば、各画素の撮像データＲ，Ｇ，Ｂ，IRを同時化する同時化処理、スミア現象やブルーミング現象によって生じる縦縞のノイズ成分を補正する縦縞ノイズ補正処理、ホワイトバランス（ＷＢ；White Balance ）調整を制御するＷＢ制御処理、階調度合いを調整するガンマ補正処理、電荷蓄積時間の異なる２画面の画素情報を利用してダイナミックレンジを拡大するダイナミックレンジ拡大処理、あるいは輝度データ（Ｙ）や色データ（Ｃ）を生成するＹＣ信号生成処理などを行なう。これにより、赤（Ｒ），緑（Ｇ），青（Ｂ）の原色の撮像データ（Ｒ，Ｇ，Ｂ，IRの各画素データ）に基づく可視光帯の画像（いわゆる通常画像）が得られる。
また、撮像信号処理部３３０は、赤外光IRの画素データを用いて、赤外光IRに関わる画像を生成する。たとえば、可視光像取得用の画素１２Ｒ，１２Ｇ，１２Ｂに対して補正画素として機能する画素１２IRにおいて、赤外光IRだけでなく可視光VLも同時に信号に寄与するように色フィルタ１４Ｃを入れない場合には、画素１２IRからの画素データを用いることで、高感度の画像が得られる。また、画素１２Ｒ，１２Ｇ，１２Ｂから得られる各色成分との差分を取ることで、赤外光IRのみの像が得られる。
あるいは、色フィルタ１４Ｃとして、画素１２IRに対して緑色フィルタ１４Ｇを入れる場合には、画素１２IRからは赤外光IRと緑色の可視光LGの混在の像が得られるが、画素１２Ｇから得られる緑色成分との差分を取ることで、赤外光IRのみの像が得られる。あるいは、色フィルタ１４Ｃとして画素１２IRに対して黒色フィルタ１４BKを設ける場合には、画素IRからの画素データを用いることで赤外光IRのみの像が得られる。
このようにして生成された各画像は、図示しない表示部に送られ、操作者に可視画像として提示されたり、あるいはそのままハードディスク装置などの記憶装置に記憶・保存されたり、またはその他の機能部に処理済みデータとして送られる。
＜撮像装置；ＣＭＯＳ対応＞
図４は、図１に示す色分離フィルタ配置を、ＣＭＯＳ固体撮像素子（ＣＭＯＳイメージセンサ）に適用した場合の撮像装置の回路図である。
ここで、図４は、可視光帯内をＲ，Ｇ，Ｂの各色成分に分けつつ赤外光IRを検知するようにした構造を示し、可視光VLの内の青色光Ｂ、緑色光Ｇ、および赤色光Ｒと、赤外光IRとを、それぞれ独立に検知する構造であり、実質的には１つの単位画素マトリクス１２内において波長別に画素（光電変換素子）１２Ｂ，１２Ｇ，１２Ｒを形成しつつ、波長分離構造を有していない画素１２IRを有し、画素１２IRを他の画素に対して補正画素として利用する構造である。
ＣＭＯＳに応用した場合、単位画素マトリクス１２内の１つ１つの画素（光電変換素子）１２Ｂ，１２Ｇ，１２Ｒ，１２IRに対してセルアンプを１つ持つ構造となる。よってこの場合、図４（Ａ）のような構造となる。画素信号はセルアンプで増幅された後にノイズキャンセル回路などを通して出力される。
たとえばＣＭＯＳ固体撮像素子２０１は、入射光量に応じた信号を出力する受光素子（電荷生成部の一例）を含む複数個の画素が行および列に配列された（すなわち２次元マトリクス状の）画素部を有し、各画素からの信号出力が電圧信号であって、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部やデジタル変換部（ＡＤＣ；Analog Digital Converter）などが列並列に設けられている、いわゆる典型的なカラム型となっている。
具体的には、図４に示すように、ＣＭＯＳ固体撮像素子２０１は、複数の画素１２が行および列に配列された画素部（撮像部）２１０と、画素部２１０の外側に設けられた駆動制御部２０７と、カラム処理部２２６と、出力回路２２８とを備えている。
なお、カラム処理部２２６の前段または後段には、必要に応じて信号増幅機能を持つＡＧＣ(Auto Gain Control) 回路などをカラム処理部２２６と同一の半導体領域に設けることも可能である。カラム処理部２２６の前段でＡＧＣを行なう場合にはアナログ増幅、カラム処理部２２６の後段でＡＧＣを行なう場合にはデジタル増幅となる。ｎビットのデジタルデータを単純に増幅してしまうと、階調が損なわれてしまう可能性があるため、どちらかというとアナログにて増幅した後にデジタル変換するのが好ましいと考えられる。
駆動制御部２０７は、画素部２１０の信号を順次読み出すための制御回路機能を備えている。たとえば、駆動制御部２０７としては、列アドレスや列走査を制御する水平走査回路（列走査回路）２１２と、行アドレスや行走査を制御する垂直走査回路（行走査回路）２１４と、外部との間でのインタフェース機能や内部クロックを生成するなどの機能を持つ通信・タイミング制御部２２０とを備えている。
水平走査回路２１２は、カラム処理部２２６からカウント値を読み出す読出走査部の機能を持つ。これらの駆動制御部２０７の各要素は、画素部２１０とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子（撮像デバイス）として構成される。
図４では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、数十から数千の画素１２が配置される。この画素１２は、典型的には、受光素子（電荷生成部）としての単位画素マトリクス１２と、増幅用の半導体素子（たとえばトランジスタ）を有する画素内アンプ（セルアンプ；画素信号生成部）２０５（波長別には２０５Ｂ，２０５Ｇ，２０５Ｒ，２０５IR）とから構成される。
また、図４から分かるように、１つの単位画素マトリクス１２が、青色光Ｂ、緑色光Ｇ、赤色光Ｒ、および赤外光IRを独立に検知する構造であり、実質的には１つの単位画素マトリクス１２内において波長（色）別に画素１２Ｂ，１２Ｇ，１２Ｒ，１２IRを形成した構造である。
ここで、色フィルタ１４の配列としては、たとえば、シリコン基板１＿ωの受光面側におけるＸ方向に青、緑、赤、IR（補正画素）、青、緑、赤、IR（補正画素）、…の順となり、またＸ方向と直交するＹ方向にも、青、緑、赤、IR（補正画素）、青、緑、赤、IR（補正画素）、…の順となるようにする。また、補正画素を設けることによる解像度低下を考慮した色配列にすることも有効である（詳細は後述する）。
画素内アンプ２０５としては、たとえばフローティングディフュージョンアンプ構成のものが用いられる。一例としては、電荷生成部に対して、電荷読出部（転送ゲート部／読出ゲート部）の一例である読出選択用トランジスタ、リセットゲート部の一例であるリセットトランジスタ、垂直選択用トランジスタ、およびフローティングディフュージョンの電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタを有する、ＣＭＯＳセンサとして汎用的な４つのトランジスタからなる構成のものを使用することができる。
あるいは、特許第２７０８４５５号公報に記載のように、電荷生成部により生成された信号電荷に対応する信号電圧を増幅するための、ドレイン線（ＤＲＮ）に接続された増幅用トランジスタと、画素内アンプ２０５をリセットするためのリセットトランジスタと、垂直シフトレジスタより転送配線（ＴＲＦ）を介して走査される読出選択用トランジスタ（転送ゲート部）を有する、３つのトランジスタからなる構成のものを使用することもできる。
画素１２は、行選択のための行制御線２１５を介して垂直走査回路２１４と、また垂直信号線２１９を介してカラム処理部２２６と、それぞれ接続されている。ここで、行制御線２１５は垂直走査回路２１４から画素に入る配線全般を示す。一例として、この行制御線２１５は、長尺状の散乱体３に対して平行な方向に配される。
水平走査回路２１２や垂直走査回路２１４は、たとえばシフトレジスタやデコーダを含んで構成され、通信・タイミング制御部２２０から与えられる制御信号に応答してアドレス選択動作（走査）を開始するようになっている。このため、行制御線２１５には、画素１２を駆動するための種々のパルス信号（たとえば、リセットパルスＲＳＴ、転送パルスＴＲＦ、ＤＲＮ制御パルスＤＲＮなど）が含まれる。
通信・タイミング制御部２２０は、図示しないが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータＴＧ（読出アドレス制御装置の一例）の機能ブロックと、端子２２０ａを介してマスタークロックCLK0を受け取り、また端子２２０ｂを介して動作モードなどを指令するデータＤＡＴＡを受け取り、さらにＣＭＯＳ固体撮像素子２０１の情報を含むデータを端子２２０ｃを介して出力する通信インタフェースの機能ブロックとを備える。
たとえば、水平アドレス信号を水平デコーダへ、また垂直アドレス信号を垂直デコーダへ出力し、各デコーダは、それを受けて対応する行もしくは列を選択し、駆動回路を介して画素１２やカラム処理部２２６を駆動する。
この際、画素１２を２次元マトリックス状に配置してあるので、画素内アンプ（画素信号生成部）２０５により生成され垂直信号線２１９を介して列方向に出力されるアナログの画素信号を行単位で（列並列で）アクセスし取り込む（垂直）スキャン読みを行ない、この後に、垂直列の並び方向である行方向にアクセスし画素信号（たとえばデジタル化された画素データ）を出力側へ読み出す（水平）スキャン読みを行なうようにすることで、画素信号や画素データの読出しの高速化を図るのがよい。もちろん、スキャン読みに限らず、読み出したい画素１２を直接にアドレス指定することで、必要な画素１２の情報のみを読み出すランダムアクセスも可能である。
また、通信・タイミング制御部２２０では、端子２２０ａを介して入力されるマスタークロック（マスタークロック）CLK0と同じ周波数のクロックCLK1や、それを２分周したクロックやより分周した低速のクロックをデバイス内の各部、たとえば水平走査回路２１２、垂直走査回路２１４、カラム処理部２２６などに供給する。
垂直走査回路２１４は、画素部２１０の行を選択し、その行に必要なパルスを供給するものである。たとえば、垂直方向の読出行を規定する（画素部２１０の行を選択する）垂直デコーダと、垂直デコーダにて規定された読出アドレス上（行方向）の画素１２に対する行制御線２１５にパルスを供給して駆動する垂直駆動回路とを有する。なお、垂直デコーダは、信号を読み出す行の他に、電子シャッタ用の行なども選択する。
水平走査回路２１２は、低速クロックCLK2に同期してカラム処理部２２６内の図示しないカラム回路を順番に選択し、その信号を水平信号線（水平出力線）２１８に導くものである。たとえば、水平方向の読出列を規定する（カラム処理部２２６内の個々のカラム回路を選択する）水平デコーダと、水平デコーダにて規定された読出アドレスに従って、選択スイッチ２２７にてカラム処理部２２６の各信号を水平信号線２１８に導く水平駆動回路とを有する。なお、水平信号線２１８は、たとえばカラムＡＤ回路が取り扱うビット数ｎ（ｎは正の整数）分、たとえば１０（＝ｎ）ビットならば、そのビット数分に対応して１０本配置される。
このような構成のＣＭＯＳ固体撮像素子２０１において、画素１２から出力された画素信号は、垂直列ごとに、垂直信号線２１９を介して、カラム処理部２２６のカラム回路に供給される。ここで、単位画素マトリクス１２（各画素１２Ｂ，１２Ｇ，１２Ｒ，１２IR）に蓄積された信号電荷は、同一垂直列の垂直信号線２１９を介して読み出される。
カラム処理部２２６の各カラム回路は、１列分の画素の信号を受けて、その信号を処理する。たとえば、各カラム回路は、アナログ信号を、たとえば低速クロックCLK2を用いて、たとえば１０ビットのデジタルデータに変換するＡＤＣ(Analog Digital Converter)回路を持つ。
また、回路構成を工夫することで、垂直信号線２１９を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル（ノイズレベル）と真の（受光光量に応じた）信号レベルＶsig との差分をとる処理を行なうことができる。これにより、固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除くことができる。
このカラム回路で処理されたアナログの画素信号（あるいはデジタルの画素データ）は、水平走査回路２１２からの水平選択信号により駆動される水平選択スイッチ２１７を介して水平信号線２１８に伝達され、さらに出力回路２２８に入力される。なお、１０ビットは一例であって、１０ビット未満（たとえば８ビット）や１０ビットを超えるビット数（たとえば１４ビット）など、その他のビット数としてもよい。
このような構成によって、電荷生成部としての単位画素マトリクス１２（画素１２Ｂ，１２Ｇ，１２Ｒ，１２IR）が行列状に配された画素部２１０からは、行ごとに各垂直列について画素信号が順次出力される。そして、受光素子が行列状に配された画素部２１０に対応する１枚分の画像すなわちフレーム画像が、画素部２１０全体の画素信号の集合で示されることとなる。
出力回路２２８は、ＣＣＤ固体撮像素子１０１における出力アンプ１２８に対応するものであって、その後段には、ＣＣＤ固体撮像素子１０１と同様に、図４（Ｂ）に示すように、撮像信号処理部３３０が設けられる。撮像信号処理部３３０には、ＣＣＤ固体撮像素子１０１の場合と同様に、画像切替制御部３６０からの画像切替制御信号が入力されるようになっている。
これにより、赤（Ｒ），緑（Ｇ），青（Ｂ）の原色の撮像データ（Ｒ，Ｇ，Ｂ，IRの各画素データ）もしくは可視光VL用の画素データに基づく可視光帯の画像（いわゆる通常画像）が得られるとともに、赤外光IRの画素データを用いることで、赤外光IRに関わる画像を得ることができる。
＜信号読出方法＞
図５は、可視光像と赤外光画像とを分離して取得する構造のイメージセンサを用いる場合の信号取得方法の一例を説明する図である。ここではＣＭＯＳ構造の場合で示す。なお、図５（Ａ）は回路図、図５（Ｂ）は信号タイミング図である。
受光部に設けられる光電変換素子７３２（カラーの場合Ｒ，Ｇ，Ｂの色ごと、以下同様），７３２IRのそれぞれに対して、波長別に転送ゲート７３４（Ｒ，Ｇ，Ｂ），７３４IRが設けられている。各光電変換素子７３２（Ｒ，Ｇ，Ｂ），７３２IRは、それぞれに対応する転送ゲート７３４（Ｒ，Ｇ，Ｂ），７３４IRを通じて、増幅用トランジスタ７４０とリセットトランジスタ７３６などを通じた画素内アンプ７０５へ接続されている。増幅用トランジスタ７４０は垂直選択トランジスタ７４２を介して垂直信号線７５１に接続されている。
リセット状態と信号読出し状態を示した図５（Ｂ）に示す各タイミングに応じて画素信号を出力する。ここで、読出対象の垂直行の垂直選択トランジスタ７４２に選択パルスＳＥＬを供給した状態で、転送ゲート７３４（Ｒ，Ｇ，Ｂ），７３４IRに読出パルスＴ（Ｒ，Ｇ，Ｂ），ＴIRを供給してそれぞれの信号電荷を読み出す前に、リセットトランジスタ７３６にリセットパルスＲＳＴを供給してフローティングディフュージョン７３８をリセットさせる。こうすることで、赤外光IR成分→可視光VL成分（色ごとの成分）の順（その逆でもよい）に、画素信号を独立に読み出すことができる。
＜撮像素子；第１実施形態−誘電体積層膜を利用＞
図６は、固体撮像素子３１４の第１実施形態を説明する図である。この第１実施形態の固体撮像素子３１４は、誘電体積層膜を利用して電磁波を所定波長ごとに分光する波長分離の概念を採り入れた点に特徴を有する。ここでは、電磁波の一例である光を所定波長ごとに分光することを例に説明する。
具体的には、本出願人が特願２００４−３５８１３９号にて提案している構成を利用したもので、固体撮像素子３１４の電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、入射される光（電磁波）の内の本来の検知目的外である波長成分（本例では赤外光IR成分）を反射させ残り（本例では可視光VL成分）を通過させる特性を持った積層部材としての誘電体積層膜を利用した波長分離対応の構造を持つ分光イメージセンサ（分光検知部）としている。センサの基本構造そのものは、ＣＣＤ型やＣＭＯＳ型やその他の何れであってもよい。
積層部材が持つ前述の特性は、逆に言えば、入射される光（電磁波）の内の本来の検知目的の波長成分（本例では可視光VL成分）を通過させ残り（本例では赤外光IR成分）を反射させる特性ということができる。
第１実施形態では、可視光VLの検知部側に、可視光VLの検知に最適化された誘電体積層膜を利用した分光イメージセンサ構造を持つイメージセンサとしている。赤外光IRを誘電体積層膜を利用して光学的に排除し、可視光VLの検知部に入射した可視光VL成分だけの光電子だけを電気信号に変換するようにする。光路上で波長分離を行なうことなく、１つのイメージセンサ上の可視光検知画素（具体的にはＲ，Ｇ，Ｂの各色画素）に誘電体多層膜を利用した分光フィルタを一体的に形成し、赤外光検知画素には誘電体多層膜を利用した分光フィルタを形成しないことで、可視光像と赤外光画像とを独立かつ同時に取得できるようにしている。これにより、赤外光IRの影響を殆ど受けることなく、可視光像を赤外光画像とは独立に得ることができる。
＜誘電体積層膜を利用した波長分離の概念＞
誘電体積層膜１は、図６（Ａ）に示すように、隣接する層間で屈折率ｎｊ（ｊは２以上の正の整数；以下同様）が異なり（屈折率差Δｎ）、所定の厚みｄｊを持つ層を複数積層した構造を有する積層部材である。これによって、後述するように、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持つようになる。
誘電体積層膜１をなす各誘電体層１＿ｊの層数の数え方は、その両側の厚い層（第ｎ０層１＿０および第ｋ層１＿ｋ）を層数として数えずに、たとえば、第１層目から第ｋ層側に向けて順に数える。実質的には、両側の厚い層（第０層１＿０および第ｋ層１＿ｋ）を除いた基本層１＿１〜１＿ｎ（図ではｎ＝５）により、誘電体積層膜１が構成される。
このような構造を持つ誘電体積層膜１に光を入射させると、誘電体積層膜１での干渉により、反射率（あるいは透過率）が波長λに対してある依存性を持つようになる。光の屈折率差Δｎが大きいほどその効果が強くなる。
特に、この誘電体積層膜１が、周期的な構造や、ある条件（たとえば各層の厚みｄの条件ｄ〜λ／４ｎ）を持つことで、白色光などの入射光Ｌ１が入射すると、ある特定波長域の光（特定波長領域光）の反射率だけを効果的に高めて殆どを反射光成分Ｌ２にさせ、すなわち透過率を小さくさせて、かつ、それ以外の波長域の光の反射率を低くすることで殆どを透過光成分Ｌ３にさせる、すなわち、透過率を大きくさせることができる。
ここで波長λは、ある波長域の中心波長であり、ｎはその層の屈折率である。本実施形態では、この誘電体積層膜１による反射率（あるいは透過率）の波長依存性を利用することで、分光フィルタ１０を実現する。
図６（Ｂ）は、赤外光IR（InfraRed）と可視光VL（Visible Light ）とを分光する事例で示している。可視光VLよりも長波長側である赤外領域の波長λ（主に７８０ｎｍより長波長側）の赤外光IRに対して、高い反射率を持たせるような誘電体積層膜１を形成することで、赤外光IRをカットすることができる。
なお、誘電体積層膜１をなす各誘電体層１＿ｊの部材（層材）は、複数の層で誘電体積層膜１を構成することから少なくとも２種となり、３層以上の場合には各誘電体層１＿ｊの何れもが異なる層材でなるものであってもよいし、２種（あるいはそれ以上）を交互にあるいは任意の順に積層したものであってもよい。また、誘電体積層膜１を、基本的な第１および第２の層材で構成しつつ、一部を第３（あるいはそれ以上）の層材に代えるようにしてもよい。以下、具体的に説明する。
＜＜誘電体積層膜の設計手法；赤外光カットの例＞＞
＜厚みｄｊの設計手法＞
図７〜図９は、誘電体積層膜１を設計する手法の基本概念を説明する図である。ここでは、誘電体積層膜１を、基本的な第１および第２の層材で構成しつつ、赤外光IRを選択的に反射させるような設計例を述べる。
図７にその構造図を示すように、本実施形態で用いる誘電体積層膜１は、両側（以下、光入射側を第０層、反対側を第ｋ層と称する）の厚い酸化シリコンＳｉＯ２（以下ＳｉＯ２と記す）に挟まれて、第１および第２の層材でなる複数の誘電体層１＿ｊが積層されて構成されている。図示した例では、誘電体層１＿ｊをなす第１および第２の層材として何れも一般的な材料を用いることとし、シリコンナイトライドＳｉ３Ｎ４（以下ＳｉＮと記す）を第１の層材、酸化シリコンＳｉＯ２を第２の層材とする２種を用いて、これらを交互に積層している。また、誘電体積層膜１の構造は、上下に十分に厚い酸化シリコンＳｉＯ２層がある場合（ｄ０＝ｄｋ＝∞）を仮定している。
このような誘電体積層膜１は、下記式（１）の条件を満たすことで、反射率を有効に高くすることができる。
ここでｄｊ（ｊは層番号；以下同様）は、誘電体積層膜１を構成する各誘電体層１＿ｊの厚みであり、ｎｊは、その各誘電体層１＿ｊの屈折率であり、λ０は反射波長領域の中心波長（以下反射中心波長という）である。
誘電体積層膜１をなす各誘電体層１＿ｊの層数の数え方は、その両側の厚い酸化シリコンＳｉＯ２を層数として数えずに、たとえば、第１層目から第ｋ層側に向けて順に、ＳｉＮ層／ＳｉＯ２層／ＳｉＮ層で３層、ＳｉＮ層／ＳｉＯ２層／ＳｉＮ層／ＳｉＯ２層／ＳｉＮ層で５層というように数える。図４では、７層構造を示している。
また、反射波長領域である赤外光IRの反射中心波長λ０＝９００ｎｍとして、奇数番目の層をなすシリコンナイトライドＳｉＮの屈折率ｎα＝２．０３、０番目、偶数番目、およびｋ番目の層をなす酸化シリコンＳｉＯ２の屈折率ｎβ＝１．４６としており、屈折率差Δｎは、０．５７である。
また、上記式（１）に従い、シリコンナイトライドＳｉＮの厚みｄα（＝ｄ１，ｄ３，…；ｊ＝奇数）は１１１ｎｍ、酸化シリコンＳｉＯ２層の厚みｄβ（＝ｄ２，ｄ４，…；ｊ＝偶数）は１５４ｎｍとしている。
図８は、一般的な材料を用いた図７の構造について、層数を変えて、有効フレネル係数法で計算した反射率Ｒの結果（反射スペクトル図）を示し、これにより、反射スペクトルの層数依存特性が分かる。
図８の結果から、層数が増えるに従い、赤外光IRの反射中心波長λ０＝９００ｎｍを中心に反射率Ｒが高くなっているのが分かる。さらに、このように波長９００ｎｍを反射中心波長λ０に選ぶことで、ほぼ赤外光IRと可視光VLを分けていることが分かる。ここでは、５層以上にすることで、反射率Ｒが０．５以上、特に、７層以上にすることで、反射率が０．７を超えて望ましいことが分かる。
図９は、誘電体層１＿ｊの厚みの変動依存性（ばらつきとの関係）を説明する反射スペクトル図である。ここでは、７層の場合を例に、各誘電体層１＿ｊの厚みｄｊを±１０％変えて計算した結果（反射スペクトル図）を示している。
条件式（１）は、フレネル係数法による理想的な計算値であるが、実際には式（１）の条件はゆるやかで幅がある。たとえば、±１０％の厚みｄｊの誤差があっても有効に反射率を高くできることがフレネル係数法による計算で分かった。
たとえば、図８に示すように、厚みｄｊにばらつきの差があっても、有効に反射率Ｒを高くできることが分かった。たとえば、赤外光IRの反射中心波長λ０＝９００ｎｍにおいて反射率Ｒが０．５以上という十分な反射率Ｒが得られているし、赤外光IR全体（主に７８０ｎｍより長波長側）においても、反射が強いことが分かる。したがって、実際には、ばらつきも加味すれば、誘電体層１＿ｊの厚みｄｊは、下記式（２）の範囲であれば、反射率を有効に高くする上で、十分な効果が得られることになる。
＜反射中心波長λ０の設計手法＞
図１０〜図１２は、反射中心波長λ０の条件を説明する図である。厚みｄｊの数値条件は、スペクトルの赤外反射領域のバンド幅ΔλIRに依存する。反射スペクトルの概念を示した図１０（Ａ）のように、赤外反射領域のバンド幅ΔλIRが広い場合には長波長側に中心波長λ０を持っていかないと可視光VLでの反射が顕著になる。また反射スペクトルの概念を示した図１０（Ｂ）のように、逆に赤外反射領域のバンド幅ΔλIRが狭い場合には、短波長側に中心波長λ０を持っていかないと可視光VLに近い赤外領域での反射が起こらなくなる。可視光VLと赤外光IRの波長分離性能が非常によい。
ところで図１０２に示したシリコンＳｉの吸収スペクトルのグラフから、赤外領域の内、０．７８μｍ≦λ≦０．９５μｍの範囲の赤外光IRを反射させれば、赤外カット効果として十分になることが分かる。これは、波長０．９５μｍより長波長側の光は殆どシリコンＳｉ内部で吸収されず、光電変換されないからである。したがって０．７８μｍ≦λ≦０．９５μｍの範囲の波長の赤外光IRを反射できるように反射中心波長λ０を選べばよいことになる。
また、可視光VLでも、赤（Ｒ）領域の内、６４０〜７８０ｎｍの範囲の光は視感度が低いために反射されてもされなくても特に撮像素子の性能に影響はないと考えてよい。したがって６４０〜７８０ｎｍの波長領域に反射が生じていても不都合がない。
さらに、赤外反射領域のバンド幅ΔλIRは、誘電体積層膜１の屈折率差Δｎが大きいときには広くなり、逆に屈折率差Δｎが小さいときには狭くなる。したがって、赤外反射領域のバンド幅ΔλIRは、ＳｉＮ／ＳｉＯ２多層膜の場合には狭く、Ｓｉ／ＳｉＯ２多層膜の場合には広くなる。
これらのことから、ＳｉＮ／ＳｉＯ２多層膜（屈折率差Δｎ＝０．５７）の場合には、図１１の反射スペクトル図に示す７８０ｎｍと９５０ｎｍの反射中心波長λ０の計算から、７８０ｎｍ≦λ０≦９５０ｎｍの範囲であれば、ほぼ上述の条件を満たすことが分かる。ところで、図１１は後述する図１６のような積層構造で、λ０＝７８０ｎｍとλ０＝９５０ｎｍになるように、誘電体層１＿ｊの膜厚ｄｊだけを変えて計算されたものである。
また同様に、Ｓｉ／ＳｉＯ２多層膜（屈折率差Δｎ＝２．６４）の場合、図１２の反射スペクトル図に示すように９００ｎｍ≦λ０≦１１００ｎｍの範囲であれば、ほぼ上述の条件を満たす。
以上のことから、シリコンナイトライドＳｉＮやシリコンＳｉと酸化シリコンＳｉＯ２の組合せにおいては、反射中心波長λ０としては、下記式（３−１）を満たせばよいことになる。好ましくは、下記式（３−２）を満たすのがよい。これらは、９００ｎｍ近傍を反射中心波長λ０とするのが理想的であることを意味する。
もちろん、上記で示した材料は一例に過ぎず、上述のような効果は必ずしも酸化シリコンＳｉＯ２とシリコンナイトライドＳｉＮ層の組み合わせに限ったことでなく、屈折率差が０．３以上、さらに望ましくは０．５以上あるような材料を選べば同様な効果があることが計算によって見積もられた。
たとえばＳｉＮ膜は、作製条件によって多少の組成のばらつきがあってもよい。また、誘電体積層膜１を構成する誘電体層１＿ｊとしては、酸化シリコンＳｉＯ２やシリコンナイトライドＳｉＮの他、アルミナＡｌ２Ｏ３やジルコニアＺｒＯ２（屈折率２．０５）や酸化チタンＴｉＯ２（屈折率２．３〜２．５５）や酸化マグネシウムＭｇＯや酸化亜鉛ＺｎＯ（屈折率２．１）などの酸化物あるいはポリカーボネートＰＣ（屈折率１．５８）やアクリル樹脂ＰＭＭＡ（屈折率１．４９）などの高分子材料、炭化珪素ＳｉＣ（屈折率２．６５）やゲルマニウムＧｅ（屈折率４〜５．５）などの半導体材料も使用可能である。
高分子材料を用いることで、従来のガラス製にはない特徴を持った分光フィルタ１０を構成することができる。すなわち、プラスチック製にすることができ、軽量で耐久性（高温、高湿、衝撃）に優れる。
＜＜誘電体積層膜を利用した分波イメージセンサ＞＞
図１３〜図１７は、誘電体積層膜１を利用した固体撮像素子３１４への適用に好適な分光イメージセンサ１１の一実施形態を説明する図である。この分光イメージセンサ１１は、誘電体積層膜１を利用した分光フィルタ１０の基本的な設計手法を用いて構成されるものである。ここでは、赤外光IRを選択的に反射させるような誘電体積層膜１を半導体素子層上に形成することで、赤外光IRをカットして可視光VL成分を受光するようにした分光イメージセンサ１１の設計例を述べる。
なお、分光イメージセンサ１１の基本構造は、分光フィルタ１０を半導体素子層の受光部上に形成したもので、これだけでは、単波長分波対応（つまりモノクロ画像撮像用）の分光イメージセンサ１１になるが、分光イメージセンサ１１の各受光部に対させて色分離フィルタの所定色（たとえばＲ，Ｇ，Ｂの何れか）を設けることで、カラー画像撮像対応となる。
ここで、図７〜図９を用いて説明した誘電体積層膜１をシリコン（Ｓｉ）フォトディテクタなどの検知素子が形成された屈折率が誘電体積層膜１をなす各誘電体層１＿ｊよりも大きい半導体素子層上に作製するに当たっては、半導体素子層から誘電体積層膜１までの距離、すなわち第ｋ層の誘電体層１＿ｋをなす酸化シリコンＳｉＯ２層の厚みｄｋが重要である。
これは図１３の構造図に示すように、たとえばシリコンＳｉ（屈折率４．１）でなる半導体素子層（フォトディテクタなど）の表面であるシリコン基板１＿ωの表面からの反射光Ｌ４との干渉効果によって、トータルな反射光ＬＲtotal のスペクトルが変化することを意味する。
図１４は、トータルな反射光ＬＲtotal の、誘電体層１＿ｋをなす酸化シリコンＳｉＯ２層の厚みｄｋの変動依存性を説明する反射スペクトル図である。ここでは、図７に示した７層構造の誘電体積層膜１について、誘電体層１＿ｋの厚みｄｋを変えて計算した結果を示している。図１４内の各図において、横軸は波長λ（μｍ）で、縦軸は反射率Ｒである。
図１４内の各図から分かるように、厚みｄｋ＝０．１５４μｍのとき、すなわち赤外光IRの反射中心波長λ０に対して、条件式（１）を満たす値のときに、反射スペクトルは殆ど影響を受けず、赤外光IR（波長λ≧７８０ｎｍ）を強く反射していることが分かる。それに対して厚みｄｋ＝０．３〜５０μｍまでのスペクトルには、厚みｄｋ＝∞の反射スペクトルに比べて別の振動が生じていることが分かる。それによって赤外での反射がディップ状に低下している波長域が存在するのが分かる。
ただし、厚みｄｋ＝２．５μｍ以上になると、赤外でのディップの半値幅が３０ｎｍ以下になり、とりわけ厚みｄｋ＝５．０μｍ以上になるとその半値幅が２０ｎｍ以下となり、一般的なブロードな自然光に対して十分に半値幅が狭くなるので平均化された反射率となる。さらに、厚みｄｋ＝０．３〜１．０μｍのスペクトルに関しては、可視光VLでの反射率が高いことも分かる。これらのことから、望ましくは、厚みｄｋ＝０．１５４μｍ付近、すなわち条件式（１）を満たす値のときが最適であると言える。
図１５は、誘電体層１＿ｋをなす酸化シリコンＳｉＯ２層の厚みｄｋの変動依存性を説明する反射スペクトル図であって、特に、厚みｄｋ＝０．１５４μｍ付近で、厚みｄｋの値を変えて計算した結果を示すものである。図１５内の各図において、横軸は波長λ（μｍ）で、縦軸は反射率Ｒである。
この結果から分かるように、条件式（１）を満たす厚みｄｋ＝０．１５４μｍを中心として、厚みｄｋ＝０．１４〜０．１６μｍの範囲であれば、可視光VLでの反射が抑えられることが分かる。
以上のことから、分光イメージセンサ１１の最適構造は、図１６の構造図に示すように、実質的には、第ｋ層の誘電体層１＿ｋを含めて８層構造の誘電体積層膜１Ａを有するものとなり、その反射スペクトルの計算結果は図１７に示す反射スペクトル図のようになる。言い換えると、誘電体積層膜１Ａは、シリコン基板１＿ω上に、第２の層材である酸化シリコンＳｉＯ２でなる層を４周期分設けた構造をなしている。
＜誘電積層膜を利用した変形例＞
図１８〜図３０は、誘電多層膜を利用した分光フィルタ１０および分光イメージセンサ１１の変形例を示す図である。上記の分光フィルタ１０の構造は、誘電体積層膜１を利用した基本構造を示したもののであり、その他の様々な変形が可能である。同様に、上記の分光イメージセンサ１１の構造は、誘電体積層膜１を利用した分光フィルタ１０をＣＭＯＳやＣＣＤなどの受光部上に形成する基本構造を示したもののであり、その他の様々な変形が可能である。たとえば、詳細は割愛するが、分光フィルタ１０や分光イメージセンサ１１の変形例としては、本願出願人が特願２００４−３５８１３９号にて提案しているように様々な構成を採用することができる。
たとえば、図１８に示す第１の変形例のように、第ｋ層目の誘電体層１＿ｋとシリコン基板１＿ωとの間に、第ｋ層目の誘電体層１＿ｋの屈折率ｎｋとシリコン基板１＿ωの屈折率ｎω（＝４．１）に対して中間的な屈折率をもつ第３の層１_γ（たとえばシリコンナイトライドＳｉＮ層）を追加した分光イメージセンサ１１とすることで、可視光領域内における反射を低減することもできる。
なお、図１８に示す構成では、この変形に対応して、誘電体積層膜１の第１層目から第７層目の定数設計に際して、赤外光IRの反射中心波長λ０を９００ｎｍではなくより低い側の８５２ｎｍに変更しており、シリコンナイトライドＳｉＮの厚みｄα（＝ｄ１，ｄ３，…；ｊ＝奇数）は１０５ｎｍ、酸化シリコンＳｉＯ２層の厚みｄβ（＝ｄ２，ｄ４，…；ｊ＝偶数）は１４６ｎｍとしている。
これは、薄いＳｉＮ層（３０ｎｍ）を新たに挿入することで可視光での反射率が減少するとともに同時に可視光と赤外光の境界７８０ｎｍ付近の反射率も低下するので、全体を短波長側にシフトさせてこの低下分を補うため、すなわち境界付近の赤外を効率よくカットするためである。もちろん、赤外光IRの反射中心波長λ０を９００ｎｍにしたままとしてもよい。
なお、第１の変形例で追加した第３の層材は、第１の層材であるシリコンナイトライドＳｉＮと同じであるが、シリコン基板１＿ωよりも大きな屈折率を持つ部材であればよく、その他の部材であってもよい。
第１例の変形例の誘電体積層膜１を有する分光イメージセンサ１１は、実質的には、７層の誘電体積層膜１と、第ｋ層の誘電体層１＿ｋ（酸化シリコンＳｉＯ２層）とシリコンナイトライドＳｉＮ層１＿γの２層分を含めて、全体として９層構造の誘電体積層膜１Ｂを有するものとなる。その反射スペクトルの計算結果は図１９に示すようになる。
また、図２０に示す第２の変形例のように、第１の変形例で追加した第３の層材とシリコン基板１＿ωとの間に、第３の層材よりも小さな屈折率をもつ第４の層１_δ（たとえば酸化シリコンＳｉＯ２層）を積層した分光イメージセンサ１１とすることで、さらに暗電流を低減することもできる。
具体的には、第３の層材である厚みｄγのシリコンナイトライドＳｉＮ層１＿γとシリコン基板１＿ωとの間に、第４の層材として、酸化シリコンＳｉＯ２層１＿δを用いて、その厚みｄδ＝０．０１０μｍとしている。その反射スペクトルの計算結果は図２１に示すようになる。
なお、第２の変形例で追加した第４の層材は、第２の層材である酸化シリコンＳｉＯ２と同じであるが、第３の層材（本例ではシリコンナイトライドＳｉＮ）よりも小さな屈折率を持つ部材であればよく、その他の部材であってもよい。
第２例の変形例の誘電体積層膜１を有する分光イメージセンサ１１は、実質的には、７層の誘電体積層膜１に、第ｋ層の誘電体層１＿ｋ（酸化シリコンＳｉＯ２層）とシリコンナイトライドＳｉＮ層１＿γと酸化シリコンＳｉＯ２層１＿δの３層分を含めて、全体として１０層構造の誘電体積層膜１Ｃを有するものとなる。言い換えると、誘電体積層膜１Ｃは、シリコン基板１＿ω上に、第２の層材である酸化シリコンＳｉＯ２でなる層を５周期分設けた構造をなしている。
第１例と第２例とでは、酸化シリコンＳｉＯ２層１＿δの有無の違いがあるが、図１９および図２１から分かるように、何れも、可視光VLでの反射率が十分に低下する。また、第２例のように、酸化シリコンＳｉＯ２層１＿δを追加することで、暗電流を低減できる効果が得られる。なお、酸化シリコンＳｉＯ２層１＿δを追加することで、シリコンナイトライドＳｉＮ層１＿γを追加することによる効果が低減することのないように、両者の厚みの関係はｄδ＜＜ｄγとするのがよい。
このように、第ｋ層目の酸化シリコンＳｉＯ２とシリコン基板１＿ωとの間に、屈折率ｎｋ（＝ｎＳｉＯ２）と屈折率ｎω（＝ｎＳｉ）に対して中間的な屈折率ｎγ（＝ｎＳｉＮ）をもつ部材として薄いシリコンナイトライドＳｉＮ層１＿γを中間層として追加することで、可視光VLでの反射を抑えることが可能となる。
また、図２２に示す第３の変形例のように、誘電体積層膜１内において、この誘電体積層膜１を構成する基本的な第１および第２の層材よりも大きな屈折率をもつ第５の層１_η（たとえばシリコンナイトライドＳｉＮおよび酸化シリコンＳｉＯ２よりも高い屈折率＝４．１を持つ厚みｄη＝６１ｎｍのシリコンＳｉ層）を追加した分光イメージセンサ１１とすることで、誘電体積層膜１をなす誘電体層１＿ｊの層数を低減することもできる。
たとえば、図２２の構造図に示す例では、シリコンナイトライドＳｉＮおよび酸化シリコンＳｉＯ２よりも高い屈折率＝４．１を持つ厚みｄη＝６１ｎｍのシリコンＳｉ層を第５の層材として、シリコンナイトライドＳｉＮ（中間の第３層目の誘電体層１＿３に代えて）に代えて１層だけ追加している。
なお、図２２では、誘電体積層膜１の各層の定数設計に際して、赤外光IRの反射中心波長λ０を９００ｎｍにしており、シリコンナイトライドＳｉＮの厚みｄα（＝ｄ１，ｄ３，…；ｊ＝奇数）は１１１ｎｍ、酸化シリコンＳｉＯ２層の厚みｄβ（＝ｄ２，ｄ４，…；ｊ＝偶数）は１５４ｎｍとし、厚みｄη＝５５ｎｍのシリコンＳｉ層を第５の層材として、シリコンナイトライドＳｉＮに代えて１層だけ追加している。その反射スペクトルの計算結果は図２３に示す反射スペクトル図のようになる。
ここで第３の変形例で追加した第５の層材は、半導体素子層をなすシリコン基板１＿ωと同じであるが、誘電体積層膜１をなす第５の層材以外の誘電体層１＿ｊよりも大きな屈折率を持つ部材であればよく、その他の部材であってもよい。
なお、誘電体積層膜１Ｄを半導体素子層（シリコン基板１＿ω）上に作製するに当たっては、半導体素子層から誘電体積層膜１Ｄまでの距離、すなわち第ｋ層の誘電体層１＿ｋをなす酸化シリコンＳｉＯ２層の厚みｄｋが重要である。
これは図２２の構造図に示すように、たとえばシリコンＳｉ（屈折率４．１）でなる半導体素子層（フォトディテクタなど）の表面であるシリコン基板１＿ωの表面からの反射光ＬＲとの干渉効果によって、トータルな反射光ＬＲtotal のスペクトルが変化することを意味する。
図２４は、５層構造の誘電体積層膜１Ｄについて、トータルな反射光ＬＲtotal の、誘電体層１＿ｋをなす酸化シリコンＳｉＯ２層の厚みｄｋの変動依存性を説明する反射スペクトル図である。図２４内の各図において、横軸は波長λ（μｍ）で、縦軸は反射率Ｒである。
図２４内の各図から分かるように、厚みｄｋ＝０．１５μｍのとき、すなわち赤外光IRの反射中心波長λ０に対して、条件式（１）を満たす値ｄｋ＝０．１５４μｍ近傍のときに、反射スペクトルは殆ど影響を受けず、赤外光IR（波長λ≧７８０ｎｍ）を強く反射していることが分かる。それに対して厚みｄｋ＝０．３〜５０μｍまでのスペクトルには、厚みｄｋ＝∞の反射スペクトルに比べて別の振動が生じていることが分かる。それによって赤外での反射がディップ状に低下している波長域が存在するのが分かる。
また、図２５および図２７に示す第４の変形例のように、第３の変形例における層数低減に当たって、誘電体積層膜１内において、この誘電体積層膜１を構成する基本的な第１および第２の層材よりも大きな屈折率をもつ複数の第５の層１_η（たとえばシリコンナイトライドＳｉＮおよび酸化シリコンＳｉＯ２よりも高い屈折率＝４．１を持つ厚みｄη＝６１ｎｍのシリコンＳｉ層）を追加した分光イメージセンサ１１とすることで、層数をさらに低減することもできる。基本層において隣接する層の屈折率差を大きく取る点に特徴を有している。
たとえば、図２５の構造図に示す例（第４の変形例；その１）では、基本層を３層構造に持つ誘電体積層膜１Ｅを構成するようにし、シリコンナイトライドＳｉＮおよび酸化シリコンＳｉＯ２よりも高い屈折率＝４．１を持つ厚みｄη＝６１ｎｍのシリコンＳｉ層を第５の層材として、シリコンナイトライドＳｉＮに代えて２層設けている。言い換えると、誘電体積層膜１Ｅは、シリコン基板１＿ω上に、第２の層材である酸化シリコンＳｉＯ２でなる層を２周期分設けた構造をなしている。その反射スペクトルの計算結果は図２６に示す反射スペクトル図のようになる。
なお、誘電体積層膜１の各層の定数設計に際して、赤外光IRの反射中心波長λ０を１０００ｎｍにしており、第５の層材でなるシリコンＳｉ層の厚みｄη（＝ｄ１，ｄ３）は６１ｎｍ、酸化シリコンＳｉＯ２層の厚みｄβ（＝ｄ２）およびｄｋは１７１ｎｍとしている。
また、図２７の構造図に示す例（第４の変形例；その２）では、基本層を５層構造に持つ誘電体積層膜１Ｅを構成するようにし、シリコンナイトライドＳｉＮおよび酸化シリコンＳｉＯ２よりも高い屈折率＝４．１を持つ厚みｄη＝６１ｎｍのシリコンＳｉ層を第５の層材として、シリコンナイトライドＳｉＮに代えて３層設けている。その反射スペクトルの計算結果は図２８に示す反射スペクトル図のようになる。図２６との比較から分かるように、第５の層材を増やすことで、赤外光領域での反射率を１．０に近づけることができることが分かる。
また、図２９に示す第５の変形例のように、第３や第４の変形例において、第１の変形例を同時に適用した分光イメージセンサ１１とすることで、層数の低減とともに、可視光領域内における反射を低減することもできる。特に青色Ｂ成分（波長４２０ｎｍ近傍）や緑色Ｇ成分（波長５２０ｎｍ近傍）での反射率は若干増加するものの、赤色Ｒ成分（波長６００ｎｍ近傍）での反射率を十分に低下させることができ、赤外光IRとの分離に適するようになる。
たとえば図２９に示す構造においては、第ｋ層目の酸化シリコンＳｉＯ２とシリコン基板１＿ωとの間に厚みｄγが比較的薄いシリコンナイトライドＳｉＮ層１＿γを第３の層材として積層した構造をなしている。ここでは、厚みｄγ＝０．０３０μｍとしている。その反射スペクトルの計算結果は図３０に示す反射スペクトル図のようになる。この変形例の誘電体積層膜１を有する分光イメージセンサ１１は、実質的には、３層の誘電体積層膜１に、第ｋ層の誘電体層１＿ｋ（酸化シリコンＳｉＯ２層）とシリコンナイトライドＳｉＮ層１＿γの２層を含めて、全体として５層構造の誘電体積層膜１Ｆを有するものとなる。
なお、この第５の変形例で追加した第３の層材は、第１の層材であるシリコンナイトライドＳｉＮと同じであるが、シリコン基板１＿ωよりも大きな屈折率を持つ部材であればよく、その他の部材であってもよい。
なお、図示を割愛するが、第３や第４の変形例において、第１および第２の変形例を同時に適用した分光イメージセンサ１１とすることで、層数の低減とともに、可視光領域内における反射を低減することや暗電流を低減することもできる。
上記の説明では、誘電体積層膜１を利用した分光フィルタ１０を使用して分光イメージセンサ１１を構成していたが、これに限らず、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持った部材を検知部の電磁波が入射する入射面側に設けるものであればよい。
たとえば、誘電体積層膜１に限らず、所定の厚さの単層膜を利用しても、分光フィルタを形成することができる。単層膜の膜厚を変化させると、電磁波の内の所定の波長領域成分を反射させ残りを通過させる効果が得られるからである。
＜＜製造プロセスの具体例＞＞
図３１は、上記実施形態で説明した積層膜を利用したセンサ構造の分光イメージセンサを製造する具体的なプロセス例を示す図である。この図３１は、赤外光IR用の受光部と可視光VL用の受光部とを備えた分光イメージセンサの製造プロセス例である。
この構造の作製に当たっては、一般的なＣＣＤやＣＭＯＳ構造の回路をまず形成する（図３１（Ａ））。この後に、Ｓｉフォトダイオードの上にたとえばＣＶＤ（Chemical Vapor Deposition ；化学気相成長法）などを用いてＳｉＯ２膜とＳｉＮを順次積層する（図３１（Ｂ））。
この後、たとえば４つの画素の内１つだけをリソグラフィ技術やＲＩＥ（Reactive Ion Etching）法などを用いてエッチングすることで、赤外光IR用の受光部に最下層のＳｉＯ２膜に達する開口部を設ける（図３１（Ｅ））。この赤外光IR用の受光部は、他の可視光カラー画像撮像用の色画素に対して補正画素としても使用される。
この後、誘電体積層膜１などの保護のために、一部に開口部が設けられた誘電体積層膜１上にたとえば再度ＣＶＤなどを用いてＳｉＯ２膜を積層して平坦化する（図３１（Ｆ））。もちろん、このプロセスは必須ではない。
なお、この際、可視光VL用の３つの画素（Ｒ，Ｇ，Ｂ成分用）をエッチングしないように、赤外光IR用の受光部に開口部が設けられたフォトレジストを用いてもよい（図３１（Ｃ），（Ｄ））。この場合、誘電体積層膜１上にＳｉＯ２膜を積層する前に、フォトレジストを除去する必要がある（図３１（Ｄ）→（Ｅ））。
また、図示を割愛するが、さらにその上に色フィルタやマイクロレンズを画素に対応するように形成する。この際、赤外光IR用の受光部にはたとえば黒フィルタを配し、可視光用の検知部には原色フィルタを配することで、黒フィルタの画素が赤外光を受光し、他の３色の画素が可視光の赤、緑、青色の３原色を受光するようにする。
こうすることで、３原色可視光の画素の検知部上にはＳｉＮ層とＳｉＯ２層の誘電体多層膜が形成されるが、黒フィルタの画素の検知部上にはこの誘電体多層膜が形成されないこととなる。このような構造で作製された撮像素子を用いることで、３原色の可視光の像と赤外光の像を同時に撮像できる。
さらに若干の赤外光IRが漏れて可視光VL用の光電変換素子（フォトダイオードなど）に入射する場合、全体に弱い赤外光カットフィルタを入れてもよい。たとえば５０％以下の赤外光カットフィルタを入れることで、可視光VLに対して殆ど問題のないレベルまでカットしても赤外光IR用の光電変換素子（フォトダイオードなど）では、赤外光IRが集光するので十分な感度となる。
なお、このような製造プロセスでは、Ｓｉ基板表面近くまでエッチングする、すなわち赤外光IR用の受光部に最下層のＳｉＯ２膜に達する開口部を設けるため（図３１（Ｅ））、エッチングによるダメージが問題になることがある。この場合は、Ｓｉ基板直上のＳｉＯ２層の厚みｄを大きくしてダメージを低減することも可能である。
ここでｄｋ＝２．５μｍ以上になると、図１４のように反射スペクトルの赤外光領域でのディップの半値幅が狭くなるので、一般的なブロードな自然光に対して平均化された反射率となるので、赤外光の反射が可能となる。したがって望ましくは第ｋ番目の誘電体層１＿ｋの厚みｄｋを２．５μｍ以上にするのがよい。さらに望ましくは、５μｍ以上の厚みにするとなおよい。
また、シリコン基板１＿ω上に形成されるフォトダイオードや画素内アンプなどためのメタル配線、すなわち、単位信号生成部としての画素内アンプなどから単位信号としての画素信号を撮像部（検出領域）から読み出すための信号線をなす配線層をシリコン基板１＿ω直上に形成する場合、シリコン基板１＿ω直上に誘電体積層膜１を設けた構造よりは、シリコン基板１＿ω上である程度離したところに誘電体積層膜１を形成する、すなわちメタル配線より上側に誘電体積層膜１を形成することで、プロセスが容易になり、コストが低く抑えられるメリットが得られる。詳しくは後述するが、誘電体積層膜１をなす層数を増やすことで、ある程度よい結果が得られる。以下、メタル配線を考慮した分光イメージセンサについて説明する。
＜＜誘電体積層膜を利用した分波イメージセンサ；第６の変形例＞＞
図３２〜図３８は、誘電体積層膜１を利用した単波長分波対応の分光イメージセンサ１１の第６の変形例を説明する図である。第６の変形例は、図１３〜図１７にて説明した手法を基本として、メタル配線を考慮して、シリコン基板１＿ωよりある程度距離の離れた上側において、誘電体積層膜１をシリコン基板１＿ω上に、フォトダイオードなどの検知部と一体的に形成する点に特徴を有する。
たとえば、図３２のように、ＣＭＯＳ構造を考えると、フォトダイオードなどの検知部が形成された半導体素子層上に配線層を１つ有し、その厚みが０．７μｍ程度ある場合において、フォトダイオードなどが形成されるシリコン基板１＿ωよりも略０．７μｍ上に多層膜構造を一体的に形成する場合、第１層目の配線層のプロセスの後に誘電体積層膜１を形成すればよい。こうすることで、厚みｄｋ≒０．７μｍを持つ第ｋ層内に配線層を設けることができる。
また、図３３のように、半導体素子層上に配線層を３つ有し、それらの総厚みが３．２μｍ程度ある場合において、フォトダイオードなどが形成されるシリコン基板１＿ωよりも略３．２μｍ上に多層膜構造を一体的に形成する場合、最上である第３層目の配線層のプロセスの後に誘電体積層膜１を形成すればよいことになる。こうすることで、厚みｄｋ＝３．２μｍを持つ第ｋ層内に配線層を設けることができる。
ここで、“略３．２μｍ”と記載したのは、図示のように、本例では、シリコン基板１＿ω上に厚みが１０ｎｍ程度のＳｉＯ２層（δ層）を設け、その上に、厚みが６５ｎｍ程度のＳｉＮ層（γ層）を設けており、“３．２μｍ”は、これらγ，δ層を除くｋ層の厚さを意味するからである。
色フィルタ１４やマイクロレンズなどは、この誘電体積層膜１を形成した後に形成すればよい。
図３４および図３５は、このような分光イメージセンサ１１の積層構造の概念を示す図である。ここでは、基本層１＿１〜１＿ｎの他に、第ｋ層目の誘電体層１＿ｋとシリコン基板１＿ωとの間に、第３の層１＿γと第４の層１＿δとを備える図２０に示した第２の変形例の構造を利用する。また、第２の変形例と同様に、赤外光IRの反射中心波長λ０を８５２ｎｍにしている。
たとえば、図３４では、図２０に示した７層構造を基本層としつつ、第ｋ層の誘電体層１＿ｋ（酸化シリコンＳｉＯ２層）とシリコンナイトライドＳｉＮ層１＿γと酸化シリコンＳｉＯ２層１＿δの３層分を持つ誘電体積層膜１Ｃをベースとして、第ｋ層の誘電体層１＿ｋの厚さを７００ｎｍにしている。また、第ｋ層目の酸化シリコンＳｉＯ２とシリコン基板１＿ωとの間に厚みｄγ＝６５ｎｍもしくは１００ｎｍの比較的薄いシリコンナイトライドＳｉＮ層１＿γを第３の層材として積層し、さらに、この追加した第３の層材とシリコン基板１＿ωとの間に、第３の層材よりも小さな屈折率をもつ第４の層材としての酸化シリコンＳｉＯ２層１＿δを厚みｄδ＝１０ｎｍで積層した誘電体積層膜１Ｃにしている。
また、図３５では、基本となる誘電体積層膜１を９層構造としつつ、第ｋ層の誘電体層１＿ｋの厚さを７００ｎｍもしくは３．２μｍにしている。また、第ｋ層目の酸化シリコンＳｉＯ２とシリコン基板１＿ωとの間に厚みｄγ＝６５ｎｍの比較的薄いシリコンナイトライドＳｉＮ層１＿γを第３の層材として積層し、さらに、この追加した第３の層材とシリコン基板１＿ωとの間に、第３の層材よりも小さな屈折率をもつ第４の層材としての酸化シリコンＳｉＯ２層１＿δを厚みｄδ＝１０ｎｍで積層した誘電体積層膜１Ｃにしている。
これらの反射スペクトルの計算結果は図３６〜図３８に示すようになる。図３２や図３３から分かるように、０．７μｍや３．２μｍほどシリコン基板１＿ωの上側に誘電体積層膜１を形成することで、配線プロセスが容易になる。なお、正確には、シリコン基板１＿ω直上には第４の層材であるＳｉＯ２層と第３の層材であるＳｉＮ層の順にそれぞれ１０ｎｍと６５ｎｍ（あるいは１００ｎｍ）の厚が存在するので、それより上側になる。
ここではＳｉＮ膜とＳｉＯ２膜とを有する誘電体積層膜１において、７層の場合と９層の場合を示したが、図３６から分かるように、シリコンナイトライドＳｉＮ層１＿γを過度に厚くすると、赤外光反射領域でのディップが大きく、結果として反射が大きく低下していることが分かる。加えて、第３の層材であるＳｉＮ層の厚さｄγが厚いと、可視光領域での反射が高くなる。これは、第２例において説明したように、中間層として設ける第３の層材は、可視光領域内における反射を低減することを目的とするものであり、中間層として設けた誘電体層１＿γの厚みｄγは、薄い方には十分な余裕があるが、大きい方には余裕が少ないことによると考えられる。
また図３７から分かるように、７層の場合に比べて９層まで多層構造の層数を増やすと、赤外光領域での反射率Ｒが０．９を超えるようになり、赤外光領域での反射性能をさらに向上させることができることが分かる。また図３８から分かるように、第ｋ番目の誘電体層１＿ｋの厚みｄｋが３．２μｍの７層構造では、赤外光反射領域でのディップが大きく、結果として反射が大きく低下していることが分かる。しかしながら、これも９層まで層数を増やすと、これらのディップが小さくなり、赤外光領域での反射性能をさらに向上させることができることが分かる。
このように、従来の配線プロセスを行なった後に、誘電体積層膜１を形成する方が製造が容易となり、新たなプロセスの検討が不必要となりコスト的によい。すなわち図３２や図３３のようなＣＭＯＳ構造を作製することで、プロセスも容易にできて、かつ有効な効果が得られることになる。誘電体積層膜１を形成してから配線プロセスをすると、誘電体積層膜１の除去などを行なうなどプロセス的に困難になるのと大きな違いである。
＜撮像素子；第２実施形態−回折格子を利用＞
図３９は、固体撮像素子３１４の第２実施形態を説明する図である。この第２実施形態の固体撮像素子３１４は、回折格子を利用して電磁波を所定波長ごとに分光する波長分離の概念を採り入れた点に特徴を有する。ここでは、電磁波の一例である光を所定波長ごとに分光することを例に説明する。
具体的には、本出願人が特願２００４−２５００４９号にて提案している構成を利用したもので、回折格子５０１は、図３９（Ａ）に示すように、電磁波（たとえば光）を遮断（光の場合には遮光）する遮断部材で構成された散乱体５０２が周期的に並んだ構造をしており、入射光Ｌ１が入射すると、各散乱体５０２で光が散乱されることで回折波Ｌ２が発生する。また、この回折波Ｌ２が周期的に多数存在する散乱体５０２によって回折波Ｌ２同士で干渉が起こる。
これにより、図３９（Ｂ）に示すように、光強度は、各回折波Ｌ２の位相が一致するところでは強くなり、逆に位相が半波長分ずれるところでは弱めあうことになる。結果的に、干渉縞がＳｉ（シリコン）基板５０９の表面およびＳｉ基板内部にかけて生じることになる。
本実施形態では、この干渉縞のパターンが波長λによって変化する波長分散性を呈することを利用することで、分光イメージセンサを実現する。
＜回折格子を利用した分波イメージセンサの基本構成＞
図４０は、回折格子を利用した分波イメージセンサ（分光イメージセンサ）の基本構成を説明する概念図である。また図４１は、図４０に示した分光イメージセンサ５１１の１つのフォトダイオード群５１２部分を拡大して示した図である。
ここで、フォトダイオード群５１２は、従来の撮像デバイスにおける１画素に対応する１つのフォトダイオードに相当するものである。本実施形態では、開口部を前記電磁波が通ることによる回折効果を利用することで分光されたそれぞれ異なる波長（色成分）を検知する波長別（色別）の光電変換素子をフォトダイオード群５１２内に複数個設けることで、高解像度化・高画素化などを図るようにする点に特徴を有する。１画素をなす１つのフォトダイオード群５１２に対して、色分離用の全色成分を割り当てる構成であり、１画素をなす色別の光電変換素子に対して色分離用の何れかの色成分を割り当てる構成とは異なる。
図４０に示した光電変換素子を複数個有してなるフォトダイオード群５１２が配列された分光イメージセンサ５１１は、回折効果を利用して電磁波を複数の波長成分に分け、それぞれの波長成分を入射面内における近接したそれぞれ異なる位置に入射させる波長分散部を、散乱体５０３（第１の散乱体）とスリット５０５（第２の散乱体）と散乱体５０７（第３の散乱体）とで構成している点に特徴を有する。
具体的には、入射光Ｌ１側において、電磁波（たとえば光）を通過させる長尺状（線状または棒状）の開口部５０３ａと、電磁波（たとえば光）を遮断（光の場合には遮光）する部分である長尺状（線状または棒状）の遮光部５０３ｂが交互に配列されてなる散乱体５０３が、遮光部５０３ｂ同士が平行かつ周期的かつ受光面内の所定方向に列をなすように（たとえば横方向；図中のＸ方向）に配置されている。横方向（図中のＸ方向）は、フォトダイオード群５１２が有する色別の光電変換素子からの画素信号の読出方向に対応するものである。
ここで、“線状”とは、その断面積が光の波長に対して限りなく０（ゼロ）に近い形態のものを意味し、“棒状”とは、その断面積が有限なる形態のものを意味するが、何れも、細長い形状すなわち長尺状のものである点では共通する。
また分光イメージセンサ５１１は、散乱体５０３とＳｉ基板５０９との間における回折波Ｌ２が集まる周辺に電磁波（たとえば光）を通過させる長尺状の開口部（スリットの隙間）５０５ａと開口部５０５ａを包囲する、電磁波（たとえば光）を遮断（光の場合には遮光）する部分である遮光部５０５ｂとが配されるように、回折格子５０１の主要部をなすスリット状の光散乱体（以下単にスリットという）５０５が設けられている。
このスリット５０５は、開口部５０５ａの周期（隣接する開口部５０５ａの間隔）と散乱体５０３の周期（隣接する散乱体５０３の遮光部５０３ｂの間隔；散乱体５０３の開口部の間隔）が等しく、かつこれらが平行に配置されている。加えて、隣接する散乱体５０３間の中点を通る略中心線CL０上（フォトダイオード群５１２表面に対して垂直）の位置に開口部５０５ａが配されるようになっている。
さらに分光イメージセンサ５１１は、スリット５０５とフォトダイオード群５１２の間に別の長尺状の遮光部５０７ｂが開口部５０７ａを挟んで周期的にかつ平行に配置されている散乱体５０７が設けられている。この散乱体５０７は、散乱体５０７の周期（隣接する遮光部５０７ｂの間隔）と散乱体５０３の周期（散乱体５０３の隣接する遮光部５０３ｂの間隔）またはスリット５０５の開口部５０５ａの周期（スリット５０５の隣接する開口部５０５ａの間隔）が等しくなるように設定されている。加えて、散乱体５０７の遮光部５０７ｂが、散乱体５０３間の中点を通る略中心線CL０上（フォトダイオード群５１２表面に対して垂直）の位置に配されるようになっている。
このような構造の分光イメージセンサ５１１において、各散乱体５０３を周期的に配置することで、図４０のように回折波Ｌ２の集光するところが現れる。特に、横方向に周期的でかつ平行に等間隔で各散乱体５０３を配置する場合、各散乱体５０３間の中心線CL０上で回折波Ｌ２が集まる。
また、長尺状の散乱体５０３を用いることで、回折波Ｌ２が長尺状に集光したり、回折波Ｌ２同士の干渉縞（光強度分布）が長尺状になったりする。したがって、デバイス構造を考えるとフォトダイオード群５１２内に設ける光電変換素子（フォトディテクタ）を長尺状の構造にできるので、設計し易い利点がある。
加えて、図４０は集光効果について着目して表しているが、その後、回折波Ｌ２がさらに進むことによって、図４１のようにスリット５０５およびもう１つの散乱体５０７の効果によって分光される。
したがって、これら２つの効果の合わせ技で集光および分光が成される。このとき、回折波Ｌ２が集まる周辺である散乱体５０３とフォトダイオード群５１２との間に、長尺状の開口部５０５ａ（スリットの隙間）が横方向に周期的でかつ平行となるようにスリット５０５を配置することで、青色光Ｌ３−Ｂ，緑色光Ｌ３−Ｇ，赤色光Ｌ３−Ｒ，赤外光Ｌ３−ＩＲ（纏めて分光成分Ｌ３という）というように、入射光Ｌ１を制御よく分光することができる。
図４０に示した光電変換素子を複数個有してなるフォトダイオード群５１２が配列された分光イメージセンサ５１１は、入射光Ｌ１側において、長尺状（線状または棒状）の散乱体５０３が平行かつ周期的かつ受光面内の所定方向に列をなすように（たとえば横方向；図中のＸ方向）に配置されている。横方向（図中のＸ方向）は、フォトダイオード群５１２が有する色別の光電変換素子からの画素信号の読出方向に対応するものである。
また、特に、スリット５０５の開口部５０５ａの周期（隣接する開口部５０５ａの間隔）と散乱体５０３の周期（隣接する遮光部５０３ｂの間隔）が等しく、かつこれらを平行に配置すれば、全体構造（特に散乱体５０３とスリット５０５との関係）において周期性および対称性が高まり、光の干渉特性がよくなる。その結果、分光特性がよくなる。
また、散乱体５０３によって回折した光（回折波Ｌ２）がその中点（遮光部５０３ｂ間の中心）付近に集光する。よって、散乱体５０３間の中点を通る略中心線CL０上（フォトダイオード群５１２表面に対して垂直）の位置にスリット５０５の開口部５０５ａが配されるようにすることで、効率よく分光されることになる。
また、スリット幅Ｄｓを８００ｎｍ±３００ｎｍとすることで可視光（青色光Ｌ３−Ｂ，緑色光Ｌ３−Ｇ，赤色光Ｌ３−Ｒ）と赤外光Ｌ３−ＩＲを分光できることが判った。
さらに場合によっては、そのスリット５０５の開口部５０５ａの中心線CL０上でかつスリット５０５とフォトダイオード群５１２の間にもう１つの散乱体５０７を置いてもよいし、置かなくてもよいことも判った。
ここで、スリット５０５の開口部５０５ａの中心線CL０上でかつスリット５０５とフォトダイオード群５１２の間にもう１つの線状の散乱体５０７を置くことで、図４１に示す拡大図ように、長波長側の光（緑色光〜赤色光）が回折でその散乱体５０７から離れたところに集まるが、短波長側の光（特に青色光）がその散乱体の後ろ側のフォトダイオード群５１２の中心線CL０上に集まることが Maxwell方程式に従ったＦＤＴＤ法（Finite Difference Time Domain Method）の光場計算によって判明した。
ここで、長尺状の散乱体５０７を用いることで、回折波Ｌ２が長尺状に集光したり、回折波Ｌ２同士の干渉縞（光強度分布）が長尺状になったりする。したがって、デバイス構造を考えるとフォトダイオード群５１２内に設ける光電変換素子（フォトディテクタ）を長尺状の構造にできるので、設計し易い利点がある。また、散乱体５０７を周期的にかつ平行に配置させることで、全体構造において周期性および対称性が高まり、光の干渉特性がよくなる。その結果、分光特性がよくなる。両者を組み合わせることで、分光特性のよく、かつ設計し易い構造になる。
また、散乱体５０３の周期（隣接する遮光部５０３ｂの間隔）と散乱体５０７の周期（隣接する遮光部５０７ｂの間隔）とが等しく、かつこれらを平行に配置すれば、全体構造（特に散乱体５０３と散乱体５０７との関係）において周期性および対称性が高まり、光の干渉特性がよくなる。その結果、分光特性がよくなる。
さらに、 スリット５０５の開口部５０５ａの周期（隣接する開口部５０５ａの間隔）と散乱体５０７の周期（隣接する遮光部５０７ｂの間隔）が等しく、かつこれらを平行に配置すれば、全体構造（特にスリット５０５と散乱体５０７との関係）において周期性および対称性が高まり、光の干渉特性がよくなる。その結果、分光特性がよくなる。
特に、散乱体５０３の周期（隣接する遮光部５０３ｂの間隔）とスリット５０５の開口部５０５ａの周期（隣接する開口部５０５ａの間隔）と散乱体５０７の周期（隣接する遮光部５０７ｂの間隔）が等しく、かつこれらを平行に配置すれば、全ての散乱体の位置関係を合わせることができ、周期性および対称性において最大の効果を得ることができる。結果として、光の干渉特性が極めてよくなり、分光特性が格段によくなる。
本実施形態においては、以上のような回折特性を用いて分光する方法を利用することで、分光イメージセンサ５１１を実現する点に特徴を有する。このような構造は、母材である透明な酸化膜または窒化膜の中に散乱体を埋めた構造としてもよい。つまり、散乱体は、所定の透明な部材（母材）で埋め尽くして半導体基板と一体的に構成できるようにするのがよい。この場合、屈折率が母材より高いものを散乱体に選べばよい。
ここで、酸化膜や窒化膜が母材としてよい理由は２つある。１つは、一般的な半導体のプロセスで用いられる膜であり、安価で低コストが挙げられる。もう１つは、シリコンに比べて低屈折率であるため、シリコンと組み合わせることで大きな屈折率差が設けられ、結果として効率よく回折が生じる。
また、透明な母材としては、酸化膜または窒化膜を用いるのがよい。ここで、酸化膜としてはＳｉＯｘがよく、特にＳｉＯ２がよい。また、窒化膜としてはＳｉＮｘでもよい。これは、ＳｉＯｘ、特にその中でも完全に酸化されているＳｉＯ２が化学的に安定しており、また屈折率も最も低いからである。ＳｉＮｘも同様であり、Ｓｉ３Ｎ４が最も化学的に安定である。
また、散乱体はプロセスの整合性のよいシリコンＳｉで形成するのが好ましいが、その他の部材で形成してもよく、たとえば窒化シリコンＳｉＮを用いることができる。このとき、散乱体５０３，７の双方を同じ部材で形成してもよいし、それぞれ異なる部材で形成してもよい。ＳｉＮｘは一般的な半導体のプロセスで用いられる材料であり、安価で低コストである利点がある。
また、散乱体はゲルマニウムで形成してもよい。屈折率がシリコンＳｉよりも高く、散乱効果や回折効果が高まる利点が得られる。
なお、散乱体は屈折率が異なればメタルやその化合物でもよい。つまり、遷移金属，遷移金属シリサイド，遷移金属窒化化合物，遷移金属窒化酸化化合物，貴金属，貴金属シリサイド，高融点金属，高融点金属シリサイドなどでもよい。具体的にはＡｌ，Ｃｕ，Ｎｉ，Ｃｒ，Ｗ，ＷＳｉ，ＷＳｉ２，Ｔｉ，ＴｉＳｉ２，ＴｉＳｉ，ＴｉＮ，ＴｉＯＮ，Ｔａ，ＴａＮ，ＮｉＳｉ，ＮｉＳｉ２，Ｈｆ，ＨｆＮ，ＨｆＳｉ２，Ａｇ，Ａｕ，Ｐｔ，ＣｏＳｉ２，ＲｕＮ，ＲｕＯｘ，．ＲｕＯｘＮ．などが挙げられる。この中で特にＡｌ，Ｃｕ，Ｎｉなどを用いることで安価でコストの低いものができる。
なお、回折格子を利用したセンサ構造は、ｐ型半導体とｎ型半導体をすべて逆にしても成り立つ。ノイズ信号を抑える意味でｎ型基板を用いてもよい。この場合、ｎ基板にＡｌやＢなどの III族ドーパントの熱拡散処理などを行なうことで表面から深さ２μｍ以上をｐ型化した上で、このような構造を作ってもよい。さらに、リーク電流を抑える意味で、半導体最表面の深さ０．１μｍ以内をＡｌやＢなどの III族ドーパントの熱拡散などを行なうことでｐ型化してもよい。
もちろん、散乱体５０３の位置の周期（光散乱体の中心点から次の同じ光散乱体の中心点までの横方向の間隔）はフォトダイオード群５１２の配列ピッチ（従来構造の画素ピッチ）に対応するので、結果として、散乱体５０３の位置の周期を変えることで画素ピッチを調整可能となる。高密度の撮像デバイスにする場合は、この周期を小さくすればよく、低密度の撮像デバイスにする場合は、この周期を大きくすればよい。
たとえば、散乱体５０３の位置の周期が０．５〜５μｍまででも同じ効果が得られる。下限の０．５μｍは可視光の回折限界に基づき設定したものである。すなわち、可視光の場合、０．３μｍ以上が回折限界となる。周期構造は少なくともこれより大きい値にする必要性があるので、下限を０．５μｍとした。しかしながら、そもそもの限界である０．３μｍを下限に設定しても不都合はない。
一方、上限の５μｍは回折現象が顕著に生じるオーダーに基づき設定したものである。もちろん５μｍ以上でも回折現象が生じるので上限を特に限定するものではない。この点では、“望ましくは５μｍ以下”ということでも不都合はない。
また、必ずしも特定するものではないが、望ましくは周期が１〜２μｍの範囲、さらに好ましくは上記で説明したように周期が１．５μｍであるのがよい。ここで下限の１μｍは一般的な可視光の回折格子の周期構造および１周期の中に２つ以上作る光電変換素子の作製のし易さに基づき設定したものである。一方、上限の２μｍはシミュレーションの結果から２μｍまでであれば作製が今のところ容易であることが確認されたことに基づき設定したものである。
また、散乱体５０３，５０７は回折効果および集光性を得ることができるものであればよく、散乱体５０３，５０７の何れも、その厚みは通常０．０１μｍ以上であればよい。ここで下限の０．０１μｍは、光の散乱および回折が生じることのできる最小値に基づき設定したものである。通常、光の波長の１／１０程度の散乱体があれば光の散乱および回折が生じる。
また、散乱体５０３の厚みは、母材であるＳｉＯ２の屈折率の関係から、望ましくは０．１μｍ以上、さらに望ましくは０．２±０．０５μｍの範囲であればよい。ここで下限の０．１μｍは有効に散乱および回折が生じる厚みに基づき設定したものである。また中心値の０．２μｍはシミュレーション結果で特によい分光特性を示したことに基づき設定したものであり、その範囲０．０５μｍは作製上のバラツキを考慮して設定したものである。
また、散乱体５０３，５０７として効率よく機能するために散乱体５０３，５０７の何れも、その横方向の幅は０．０５μｍ以上あればよい。ここで下限の０．０５μｍは光の散乱および回折が生じることのできる最小値に基づき設定したものである。通常、光の波長の１／１０程度の散乱体があれば光の散乱および回折が生じる。なお、この横方向の幅は散乱体の厚みとの整合性を考えて下限を０．０１μｍに設定したいところであるが、プロセスを考えると最新のプロセスで０．０５μｍ幅ができるかどうかに依存する。よって、光の散乱および回折が可能なことと最小プロセス幅を考慮して、０．０５μｍを下限に設定している。
また、特に望ましくは散乱体の幅ｄは０．０５μｍ≦ｄ≦０．３μｍの範囲（０．１−０．０５／＋０．２μｍ）であればよい。ここで大凡の中心値である０．１μｍはシミュレーションの結果、分光特性がよかったことからこの値０．１μｍを中心値に設定したものである。また範囲の−０．０５μｍは下限の関係で限定したものである一方、上限に関しては、製造し易い量産化プロセス（０．２５μｍプロセス）のことを考えて＋０．２μｍに設定したものである。
また、スリット５０５の開口部５０５ａの幅（スリット幅Ｄｓ）は０．１μｍ以上で、好ましくは０．４μｍ以下であればよい。ここで下限の０．１μｍは効果的に回折が生じる最小値に基づき設定したものであり、上限の０．４μｍは、可視光（λ≦７８０ｎｍ）、特に赤色光６４０ｎｍと緑色光５４０ｎｍを効率よく分光するのがスリット幅０．４μｍ以下である点に基づき設定したものである。なお、０．５μｍで分光しないわけではなく、好ましくは０．４μｍ以下である。
また、特に分光特性を高めるためには、このスリット幅Ｄｓは０．３±０．１μｍの範囲であればよい。ここで中心値の０．３μｍはシミュレーションの結果で分光特性がよかったことから０．３μｍを中心値に設定したものである。その範囲±０．１μｍは、同じくシミュレーションの結果から可視光の場合に特に効果的に回折で分光ができる条件に基づき設定したものである。なお、赤外分光の場合、ここの値が大きく異なることになる。
また、スリット５０５の厚みは、分光効果を得るために０．０１μｍ以上あればよい。ここで下限の０．０１μｍはスリットの機能が働く最小値に基づき設定したものである。すなわちその機能とは光の遮断効果が少しでも現れる厚みのことである。また特に効率的な効果を得るためには、０．１２５±０．１μｍの範囲であればよい。ここで中心値の０．１２５μｍはシミュレーションの結果で分光特性がよかったことから０．１２５μｍを中心値に設定したものであり、その範囲±０．１μｍの下限−０．１μｍは青色光の遮断の効果が十分になるとして設定したものであり、上限＋０．１μｍは製造上の作り易さから設定したものである。
＜＜赤外光と可視光の分光の構造＞＞
図４２は、回折格子５０１をＳｉ基板５０９（分光イメージセンサ５１０のフォトダイオード群５１２に対応する）の入射面側に配した赤外光分離対応の分波イメージセンサを説明する図であって、赤外光と可視光を分光する分光イメージセンサ５１１の断面構造を示す。ハッチング部分がＳｉ材料を示し、それ以外の白色部分が酸化膜ＳｉＯ２を示し、本実施形態の分光イメージセンサ５１１は、全体として、Ｓｉ基板５０９上に酸化膜ＳｉＯ２が形成されている。
また赤外光と可視光の２つの波長成分に分光する本実施形態の分光イメージセンサ５１１は、可視光帯内を複数（前例では青、緑、赤の３つ）の波長成分に分光する分光イメージセンサ５１１とは異なり、スリット５０５とフォトダイオード群５１２との間に散乱体５０７が設けられていない点に特徴を有する。
散乱体５０７を設けない場合には緑色光と青色光が混ざり合うので、可視光の検知に際しては、フォトダイオード群５１２内に、赤外光検知用の光電変換素子に加えて、単一の光電変換素子を可視光検知用に配して、可視光帯内を分光せずにモノクロ画像を得るようにする。カラー画像撮像のためには、色分離フィルタを用いればよく、たとえば可視光を青、緑、赤の各３原色光の波長成分に分離する赤、緑、青の減色フィルタ（色分離フィルタ）を従来構造と同様の手法を利用して３原色用の各光電変換素子（フォトディテクタ）の前にそれぞれ入れる。
長尺状の各散乱体５０３は、Ｓｉ基板５０９（フォトダイオード群５１２に対応）の入射面側において、横方向（図中のＸ方向）に周期的でかつ平行に配置されており、それぞれの厚みが０．１５μｍであって、それぞれの散乱体５０３の位置の周期すなわち散乱体５０３の中心点から次の散乱体５０３の中心点までの横方向（図中のＸ方向）の間隔が２．０μｍである。
分光イメージセンサ５１１は、その表面（散乱体５０３の入射光Ｌ１の入射側）から深さ方向（図中のＺ方向）に２．５０μｍの位置でかつＳｉ基板５０９から１．０５μｍの位置に、すなわち散乱体５０３とＳｉ基板５０９（フォトダイオード群５１２に対応）の間に、厚さが０．１μｍでスリット幅Ｄｓが０．８０μｍのスリット５０５が設けられている。結果として、開口部５０５ａを包囲する、電磁波（たとえば光）を遮断（光の場合には遮光）する部分である遮光部５０５ｂの幅が１．２０μｍとなっている。
スリット５０５は、それぞれのスリット幅Ｄｓの開口部５０５ａが、横方向（図中のＸ方向）に周期的でかつ平行に配置されており、さらにそれぞれのスリット幅Ｄｓの開口部５０５ａが、散乱体５０３間の中点を通る略中心線CL０上（Ｓｉ基板５０９やフォトダイオード群５１２表面に対して垂直）の位置に設けられ、長尺状の散乱体５０３と平行に配置されている。つまり、スリット５０５の開口部５０５ａの周期（隣接する開口部５０５ａの間隔）と散乱体５０３の周期（隣接する遮光部５０３ｂの間隔）および位相が等しく、かつこれらが平行に配置されている。
図４３は、赤外光対応の分光イメージセンサ５１１において使用するＳｉ（シリコン）の屈折率と消衰係数の波長分散の関係を示す図表である。ここでは、青色、緑色、赤色として代表的な波長をそれぞれ４６０ｎｍ，５４０ｎｍ，６４０ｎｍとしている。また酸化膜ＳｉＯ２の屈折率分散は極めて小さいので、どの波長に対しても屈折率１．４、消衰係数０とする。
＜分波手法のシミュレーション；赤外光と可視光＞
図４４〜図４８は、図４２に示す構造を持つ分光イメージセンサ５１１に受光面（図中の下側）から各波長成分の光を入れたときの赤外光と可視光との分光手法を説明する計算シミュレーション図（ＦＤＴＤ法による光場計算で行なったもの）である。図４４〜図４８において、Ｚ＝２．５μｍの横破線はフォトダイオード群５１２とシリコン酸化膜ＳｉＯ２との界面（センサ表面）を表す。
ここで、図４４は青色光（波長４６０ｎｍ）を、図４５は緑色光（波長５４０ｎｍ）を、図４６は赤色光（波長６４０ｎｍ）を、それぞれ入射したときの計算シミュレーション結果である。これら図から、可視光（青色光、緑色光、赤色光の何れも）に関しては、Ｘ＝−３．０，−１．０，１．０，３．０μｍのところで、Ｚ＝２．５〜３．５μｍ（フォトダイオード群５１２の表面から深さ１．０μｍ）まで、すなわちセンサ表面近傍〜やや深い領域までにおいて光強度が強くなっているのが判る。
また、図４７は赤外光（波長７８０ｎｍ）を、図４８は赤外光（波長８８０ｎｍ）を、それぞれ入射したときの計算シミュレーション結果である。ここで、波長７８０ｎｍは、可視光と赤外光の境界付近である。図４８から、赤外光（波長８８０ｎｍ）に関しては、Ｘ＝−２．０，０，２．０μｍのところで、Ｚ＝２．５〜４．５μｍ（フォトダイオード群５１２の表面から深さ２．０μｍ）まで、すなわちセンサ表面近傍〜かなり深い領域までにおいて光強度が強くなっているのが判る。
つまり、入射光Ｌ１に含まれる可視光（青色光、緑色光、および赤色光）と赤外光との関係においては、図４２に示す分光イメージセンサ５１１に入射させることで、幅方向（図中のＸ方向）において波長による場所依存性を呈するとともに、深さ方向においても波長による場所依存性を呈することが判る。
また、可視光と赤外光の境界付近である波長７８０ｎｍについて示した図４８では、Ｘ＝−３．０，−２．０，−１．０，０，１．０，２．０，３．０μｍのところで、Ｚ＝２．５〜４．５μｍ（フォトダイオード群５１２の表面から深さ２．０μｍ）まで、すなわちセンサ表面近傍〜やや深い領域までにおいて光強度が強くなっているのが判る。つまり、可視光（青色光、緑色光、および赤色光）を示した図４４〜図４６と、赤外光（波長８８０ｎｍ）を示した図４８の双方の性質を呈している。
＜検出位置の適正例；赤外光と可視光＞
図４９は、上記シミュレーション結果に基づく可視光と赤外光との分光における検出位置の適正例を説明する図である。
たとえば、図４９に示す例のようなエリアで光を検出できるように分光イメージセンサ５１１を構成すれば、赤、緑、青の３原色でなる可視光帯と赤外光（波長８８０ｎｍ）とを分光して検出できることになる。
すなわち可視光（波長４６０ｎｍの青色光、波長５４０ｎｍの緑色光、および波長６４０ｎｍの赤色光）ではＸ＝−３．０，−１．０，１．０，３．０μｍのところでＺ＝２．５〜３．５μｍ（フォトダイオード群５１２の表面から深さ１．０μｍ）において、赤外光（波長８８０ｎｍ）ではＸ＝−２．０，０，２．０μｍのところでＺ＝２．５〜４．５μｍ（フォトダイオード群５１２の表面から深さ２．０μｍ）において検出するようにすればよい。
つまり、ｐｎ接合の最大深さを各Ｚ方向の範囲に設定すればよいことになる。具体的には、可視光用の光電変換素子１２Ｗをなすｐｎ接合部分の最大深さはフォトダイオード群５１２の表面から深さ１．０μｍの範囲、赤外光用の光電変換素子１２IRをなすｐｎ接合部分の最大深さはフォトダイオード群５１２の表面から深さ２．０の範囲となるようにすれば、それぞれの波長成分の検知効率が高くなる。
このときフォトダイオード群５１２間での混色を防止するべく、各フォトダイオード群５１２の横方向（Ｘ方向）の幅は、各散乱体５０３の横方向（図中のＸ方向）の間隔２．０μｍ以下とするのがよい。また、フォトダイオード群５１２内に設けられる波長別（可視光と赤外光）の光電変換素子をなすｐｎ接合部分の横方向（Ｘ方向）の幅は１．０μｍ以下にするのがよく、さらに好ましくは０．３μｍ以下にするのがよい。これらの値は半導体プロセス上、量産製造し易い値である。
ここで、ｐｎ接合部分の横幅０．５μｍは赤外光と可視光の２分光を考えた場合２．０μｍ／２＝１．０μｍとして最大値に基づき設定したものである。さらに０．３μｍは現状の０．２５μｍプロセスに対応して量産可能なものとして設定したものである。可視光帯内のみを分光する場合、この寸法が０．５μｍであった点を考慮すると、一般的には、０．５（可視光帯のみのとき）〜１．０（赤外光対応のとき）μｍ以下に設定すればよいこととなる。
＜赤外光対応の検出位置に対応したセンサ構造＞
図５０は、図４９の検出位置に対応した赤外光対応のセンサ構造の一構成例を示す断面図である。この分光イメージセンサ５１１は、ｐ型Ｓｉ基板５０９内において、それぞれのフォトダイオード群５１２ごとに、可視光（青色光、緑色光、および赤色光）と赤外光のそれぞれに対応する幅方向（図中のＸ方向）および深さ方向（図中のＺ方向）の各検出位置にｎ型の不純物をドープする。
こうすることで、可視光と赤外光のそれぞれを検出するｎ型Ｓｉ領域５９１が形成されて、各波長成分用の光電変換素子（フォトダイオード）５１２Ｗ，５１２IRが設けられている。光電変換素子５１２Ｗ，５１２IRは、Ｓｉ基板５０９の受光面側においても、またＳｉ基板５０９内においても、横方向（Ｘ方向）に、可視光、赤外光、可視光、赤外光、…の順に配列された構造となっている。
ここではｎ型とｐ型Ｓｉ半導体の界面付近の空乏層で光が吸収されることで電子と正孔が生成され、かつ電子と正孔が空乏層の電界によってそれぞれｎ型とｐ型半導体に移動することで信号電荷が溜まる。この信号電荷をそれぞれの光電変換素子５１２Ｗ，５１２IRから読み出すことで、電気信号として検知できることになる。
つまり、フォトダイオード群５１２の各々は、幅方向（図中のＸ方向）および深さ方向（図中のＺ方向）の各検出位置において、可視光と赤外光を独立に検知する検知領域が設けられている。このような構造により、通常のイメージセンサに用いられるような赤外光カットフィルタを使う必要がない（あるいはカットする割合を減らすことができる）ので単位面積あたりに入射する光量が多くなる。そのために光−電気信号の変換効率が高くなり、可視光に関しても高い感度特性が得られる。その上、赤外光カットフィルタが必要ないために低コストになる。
１つのフォトダイオード群５１２が、可視光（青色光、緑色光、および赤色光）と赤外光を独立に検知する構造であり、１つの画素をなす１つのフォトダイオード群５１２で波長分光の１単位（波長分光単位）を実現できる。すなわち実質的にはフォトダイオード群５１２内において波長別に光電変換素子を形成した構造であるために、画素に対応するフォトダイオード群５１２を可視光用と赤外光用と言った波長別に用意する必要がない。
このため、１つの波長分光単位に１つのフォトダイオード群５１２で済むようになり、可視光によるモノクロ画像と赤外光による赤外像を同時に撮像することができる。これによって、たとえば赤外線の発光点を予め用意してそれを追跡することで、可視光の像（モノクロ画像）の中にある赤外光の発光点の位置を検出することができる。
また、たとえばＲ，Ｇ，Ｂの原色フィルタを設けることで、光電変換素子５１２Ｗからは、フィルタ色に応じて、Ｒ，Ｇ，Ｂの色信号が得られるので、可視光カラー画像を取得することもできるようになる。
なお、赤外光撮像領域である光電変換素子５１２IRは、可視光撮像領域である光電変換素子５１２Ｗから得られる可視光像に対しての補正画素としても機能する。また、色分離フィルタを有しない画素（ここではフォトダイオード群５１２）を設けることで、この画素を、可視光から赤外光までの全波長の成分を検知する画素とし、他の色分離フィルタを有する画素（ここではフォトダイオード群５１２）から得られる可視光像に対しての補正画素として利用することもできる。
なお、スリット５０５とフォトダイオード群５１２の受光面との間に散乱体５０７を配することで、緑色光と青色光を効率よく分光できるので、フォトダイオード群５１２内に、赤外光検知用の光電変換素子１２IRに加えて、可視光帯検知用の光電変換素子１２Ｗに代えて、可視光帯内の青色光、緑色光、および赤色光を受光する個別の光電変換素子５１２Ｂ，５１２Ｇ，５１２Ｒを配することで、１つのイメージセンサで色合いが正確な可視光によるカラー画像と赤外光による像を同時に撮像することができる。
しかしながら、その波長分離特性は必ずしも十分なものではなく、可視光帯内のみを赤、緑、青の３原色に分光する場合に比べて、赤、緑、青それぞれの分光性能は劣るので、色再現性を重視した場合には、色分離フィルタを用いた方が好ましい。
ただし、赤、緑、青の３原色を少しでも分光することで、完全なモノクロ画像ではなく、カラー画像を再現し得る効果を得ることは可能であるので、赤外光対応とする場合においても、散乱体５０７をセンサ表面とスリット５０５との間に配することで、ｐｎ接合の最大深さを、赤、緑、青の３原色を分光して検出できる各Ｚ方向の適正な範囲に設定すれば、単純に赤外光と可視光とを分離するだけでなく、可視光帯内をさらに赤、緑、青の３原色成分に分離でき、それぞれの色の検知効率が高くなる。可視光帯内の赤、緑、青の分光と赤外光の分光との両立が可能である。
＜撮像素子；第３実施形態−深さ方向における吸収係数の波長依存性を利用＞
図５１は、固体撮像素子３１４の第３実施形態を説明する図である。この第３実施形態の固体撮像素子３１４は、特許文献１，２に記載の仕組みと同様に、半導体の深さ方向における波長による吸収係数の違いを利用した単板式のものである。
具体的には、図５１に１画素分の構造を示すように、半導体の深さ方向における波長による吸収係数の違いを利用して可視光像と赤外光画像とを分離して取得する構造の固体撮像素子（イメージセンサ）６１１を用いている。つまり、深さと波長による吸収係数の違いを利用することで、本来の検知目的以外の波長成分（本例では可視光VL成分）の影響を抑制しつつ、本来の検知目的の波長成分（本例では赤外光IR成分）を検知することが可能なイメージセンサを使用する。
つまり、半導体基板の深さ方向における波長による吸収係数の違いを利用した構造のイメージセンサを用いる場合、一例としては、７８０ｎｍ未満の可視光VL光により光電変換させた電子をシリコン（Ｓｉ）基板の深さ方向において、比較的浅い部分〜５μｍ程度の深さ（可視光検知領域６１１VL）で吸収させる。こうすることで、５μｍ低度よりも浅い可視光検知領域６１１VLで取得した信号を検知する仕組みとすれば、可視光成分についての電気信号を取得できる。
残りの光成分つまり波長７８０ｎｍ以上の赤外光IRにより光電変換させた電子を、５μｍよりもさら深い領域（赤外光検知領域６１１IR）で吸収させる。両者の検知領域の境界部分には、電気的非接続領域を設ける。こうすることで、５μｍよりも深い赤外光検知領域６１１IRで取得した信号を検知する仕組みとすれば、赤外光成分だけの電気信号を取得できる。すなわち、半導体層の浅い領域で光電変換される可視光VL（たとえば波長７８０ｎｍ未満）の信号成分を排除し、半導体層の深い領域で光電変換される赤外光IR（たとえば波長７８０ｎｍ以上）の成分だけを利用することで、入射した赤外光IR成分だけの電気信号を取得するようにする。
これにより、赤外光検知領域６１１IRにおいて、可視光VLの影響を殆ど受けることのない赤外光画像を取得できる。また、比較的浅い部分〜５μｍ程度の深さの領域（可視光検知領域６１１VL）で取得した信号を検知することで、可視光検知領域６１１VLにおいても可視光成分の電気信号を取得できる。
これにより、入射した可視光成分だけの光電子のみを可視光撮像信号ＳVLに変換して赤外光IRの影響を殆ど受けることのない可視光像を取得するとともに、入射した赤外光成分だけの光電子のみを赤外光撮像信号ＳIRに変換して可視光VLの影響を殆ど受けることのない赤外光画像を同時かつ独立に得ることができる。
また、図５１（Ｂ）に示すように、可視光カラー撮像を撮像するべく、その受光面に、各受光部（画素）に対応させて色分離フィルタ６２４の所定色（たとえば６２４Ｒ，６２４Ｇ，６２４Ｂの何れか）を設ける。半導体基板の深さ方向における波長による吸収係数の違いを利用すれば、比較的浅い部分の可視光検知領域６１１VLにおいて、Ｒ，Ｇ，Ｂの波長分離も可能であるが、実際には、分離性能は必ずしもよくなく、色再現性を重視した場合には、色分離フィルタを用いた方が好ましい。
これにより、入射した可視光成分だけの光電子のみを可視光撮像信号ＳVLに変換して赤外光IRの影響を殆ど受けることのない可視光カラー画像を取得するとともに、入射した赤外光成分だけの光電子のみを赤外光撮像信号ＳIRに変換して可視光VLの影響を殆ど受けることのない赤外光画像を同時かつ独立に得ることができる。
なお、色分離フィルタ４２４を有する画素の比較的深い赤外光検知領域６１１IRは、比較的浅い可視光検知領域６１１VLから得られる可視光カラー画像に対しての補正画素としても機能する。また、色分離フィルタ４２４を有しない画素を設けることで、この画素を、可視光から赤外光までの全波長の成分を検知する画素とすることができ、他の色分離フィルタ４２４を有する画素から得られる可視光カラー画像に対しての補正画素として利用することもできる。
＜赤外光混入による問題点＞
以上説明したように、各種構造の固体撮像素子３１４の構成例について説明したが、何れも、可視光成分に赤外光成分が混入して検知部に侵入してしまうことになって、可視光像を表わす信号強度に赤外信号が加算されてしまい、可視光カラー画像の色再現が悪化する問題を有する。たとえば、誘電体積層膜を利用した仕組みでは、赤外光と可視光の像を同時に取り入れることで高感度化や赤外通信機能など高機能化を達成できるものの、可視光であるＲＧＢ原色フィルタまたはＣｙＭｇＹｅ補色フィルタの画素では赤外光を完全に反射させないと赤外光が一部漏れて検知部に侵入してしまうことになって、信号強度に赤外信号が加算されて色再現が悪化することになる。以下、この点について説明する。
図５２は、図３５に示す誘電体多層膜構造（この構造は近赤外光の反射が高くなるように設計されたものである）の分光イメージセンサ１１と同様の構造を持つもので、第ｋ層の誘電体層１＿ｋの厚さを３．２μｍにし、赤外光IRの反射中心波長λ０を８５２ｎｍではなくより低い側の７７０ｎｍに変更している。
図５３は、図５２に示す誘電体多層膜構造の分光イメージセンサ１１において、垂直方向から光が入射したときの反射スペクトルを有効フレネル係数法により計算で見積もった結果を示した図である。ここで、ＳｉＮとＳｉＯ２の多層膜にしたのは、通常のＳｉ系のプロセスとしてよく使用される材料だからである。透過率スペクトルは、反射率Ｒを１から引いたＴ＝１−Ｒのスペクトルとなる。
また、図５４は、通常良く使われているカラーフィルタの分光感度曲線を示す図（分光感度特性図）である。図５５は、実際に得られる分光感度曲線の一例を示す図である。図５４に示す感度曲線に、図５３に示す反射スペクトルから導かれる透過スペクトルを掛けたものが、図５５に示す実際に得られる分光感度曲線となる。図５５から分かるように、波長７００ｎｍ前後以上の赤外光側で約１０％程度の分光感度を持つことになる。
また、図５６は、図５３と同様に、図３５に示す誘電体多層膜構造（この構造は近赤外光の反射が高くなるように設計されたものである）の分光イメージセンサ１１と同様の構造を持つもので、第ｋ層の誘電体層１＿ｋの厚さを３．２μｍにし、赤外光IRの反射中心波長λ０を８５２ｎｍｍにした場合における、反射スペクトルを有効フレネル係数法により計算で見積もった結果を示した図である。ここでは、設計中心であるセンター条件と、このセンター条件に対して、赤外光IRの反射中心波長λ０をそれぞれ−１０％，−１０％にした場合を示している。
図５７は、ソニー（株）製の撮像素子ＩＣＸ４５６ＡＱに使用されているカラーフィルタの分光感度曲線を示す図である。図５８は、ＩＣＸ４５６ＡＱにて実際に得られる分光感度曲線を示す図である。ここでは、図５２に示すように、第ｋ層の誘電体層１＿ｋの厚さを３．２μｍにし、その上に９層構造の基本層を設けた。図５５と図５８の比較から分かるように、赤外光IRの反射中心波長λ０が高いと、波長７００ｎｍ前後以上の赤外光側では、さらに大きな分光感度を持つことになる。
図１０２に示したように、殆どの半導体は赤外光に対して吸収感度を有する。このため、赤外光側にある程度の分光感度を持つ場合には、可視光を受光する検知部から得られる画素信号には、３原色または補色系の可視光の光強度の信号に加えて、赤外光による信号成分が加算されてしまい、実際の色信号とは異なり、色再現が悪くなる。特に、原色フィルタの場合には赤色、補色フィルタの場合にはマゼンタやイエローといった、赤外光に近い波長成分に関する検知部から得られる画素信号への赤外光成分の漏込みが大きくなる。
図５９および図６０は、可視光成分に赤外光成分が混入することによる色再現性の影響を説明する図である。ここでは、可視光の受光部に同時に赤外光が入射した場合の色差を計算で求めた結果を示している。何れも、Ｌａｂ（正しくはＬ*ａ*ｂ*であるが“*”を割愛して示す）空間での色差ΔＥａｂ（正しくはΔＥａ*ｂ*であるが“*”を割愛して示す）をマクベスチャートの２４色について計算したものである。なお、マクベスチャートとは、グレタグマクベス（GretagMacbeth ）社がカラーマネジメント用に測色器の較正用チャートとして規格化したものである。
ここで、図５９は、赤外光が画素に同時に入射してＲＧＢの各色の信号強度がすべて＋５％増加した場合を示し、図６０は、Ｒは２０．６２％，Ｇは１０．４％，Ｂは１５．３％それぞれ増加した場合を示している。なお、これらの図は、ｘｙ色度図上に計算した結果をプロットして、ΔＥａｂ≧５となる領域を示している。
色差ΔＥａｂは、下記式（４）のように、赤外光の入射分を上乗せした場合としない場合の間で計算により求めている。
図５９および図６０から分かるように、何れの場合も、可視光成分に赤外光の入射分があると、ΔＥａｂ≧５の領域が存在する。たとえば、図５９の場合においてはマクベスチャートの２４色中６色が、さらに図６０の場合においては２４色中１７色がΔＥａｂ≧５となった。一般的に、ΔＥａｂ≧５となることで人間の感覚として色の違いが判るとされるので、可視光成分に赤外光の入射分があると色再現が悪化することとなる。
したがって、色再現を考慮した場合、赤外光カットフィルタを用いることが効果的であることが判る。しかしながら、赤外光カットフィルタを用いると、コストが高くなるし、可視光での光もカットされるので感度が低下する。
赤外光カットフィルタを用いない特許に関して特開２００１−６９５１９に近赤外領域の光を透過しないフィルタを備えた撮像素子を利用することが書かれているが、具体的なフィルタの材質や構造については書かれていない。また特開２０００−５９７９８に記載されている赤外カットフィルタの位置を切り替えること、特開２００３−７０００９に記載されているＲ−Ｙ信号の正負を検出し、赤外光の影響が大きくなるＲ−Ｙ信号が正の場合に補正を行なうことが提案されている。しかしながら装置が大掛かりになったり回路が大掛かりになったりすることでコストが高くなる欠点や、補正精度が十分でない、などの欠点を有する。
そこで、赤外光の反射率を上げるために、赤外光カットフィルタを用いない誘電体積層膜を利用した分光イメージセンサ５１１として、多層膜の層数を多くするか、または多層膜の各層の屈折率差を大きくする方法を採ることが考えられる。しかしながら、層数を増やす方法では、たとえば図７に示したようにＳｉＯ２層とＳｉＮ層の組合せの分光イメージセンサ１１とした場合、たとえば６周期１１層とした場合でも、図８に示したように、反射率は０．９程度であり、これでは可視光成分に赤外光の入射分が存在し色再現が悪化することとなる。反射率を１．０に近づけるためには、さらに層数を増やすことが考えられるが、この場合、同時に厚みも１μｍ以上に厚くなる。このような厚膜構造にすることは、多層膜の作製工程上困難が伴い、量産性において問題となる。
また、屈折率差を大きく取ることとし、たとえば図２５や図２７に示す第４の変形例のようにＳｉＯ２層とＳｉ層の組合せの分光イメージセンサ１１とした場合、図２６や図２８に示したように、たとえば基本層を５層構造にすることで、赤外領域での反射率を“１”程度に高くすることができるが、その反面、可視光領域での反射率が高くなり、可視光の光電変換効率が低下してしまい、感度低下の原因になる。
また、斜め入射光による漏れが少なからず存在するので、互いに他方の漏れ成分の影響を受け、分離取得した可視光像は色再現性がその漏れ分だけ低下し、また赤外光画像にはその漏れ分の可視光像成分が現われてしまう懸念が存在する。
つまり、誘電体積層膜を利用したセンサ構造とする場合、デバイスの厚さや受光感度や色再現性などの全てを最適にすることは難しく、全体のバランスを取った構造にせざるを得ず、結果として、赤外光成分の漏れによる色再現性が問題として残る。
また、回折格子５０１を利用した分光イメージセンサ５１１の場合、図４４〜図４８から分かるように、幅方向（図中のＸ方向）における波長による場所依存性を利用することで可視光と赤外光とを分離できるが、図４８から分かるように、可視光と赤外光の境界付近では可視光（青色光、緑色光、および赤色光）と赤外光（波長８８０ｎｍ）の分離が不完全であり、結果として、赤外光成分の漏れによる色再現性が問題として残る。逆に、赤外光画像に関しては、可視光成分の漏れによる影響が存在する。
また、半導体の深さ方向における波長による吸収係数の違いを利用した固体撮像素子６１１の場合、可視光検知領域６１１VLで得られる可視光成分には、従来技術にて説明したことから分かるように、赤外光IRが通過するときにある程度吸収を受けるために、その赤外光IRが可視光VLとして誤検知されるので、赤外光成分の影響を受ける。
また、半導体の深さ方向における波長による吸収係数の違いを利用した構造の固体撮像素子６１１を用いた場合、赤外光IRと可視光VLの内の赤色成分との境界近傍波長は互いに他方の吸収をある程度受けるので、赤外光撮像領域で得られる赤外光画像成分には、可視光帯の特に赤色成分の影響を受け得る。
＜＜赤外光混入の解決手法＞＞
このような問題を解決するべく、本実施形態の撮像装置３００は、画像信号処理部３４０に赤外光補正処理部３４２を備えることで、可視光を受光する検知領域における赤外光混入による色再現問題の解決を図るようにしている。こうすることで、光学的な波長分離手段（典型例は赤外光カットフィルタ）をイメージセンサの前に設けなくても信号処理によって可視光領域に対しての不要成分である赤外光を抑制・除去できる。赤外光の漏れが可視光検知部の検知結果に存在しても、その不要な赤外光の成分を信号処理により抑制・除去できるので、十分な色再現性の可視光カラー画像を取得できる撮像装置の実現に際し、イメージセンサの使用範囲が広くなる。以下、その手法について、具体的に説明する。
＜色分離フィルタ配列；第１例＞
図６１は、補正演算により可視光カラー画像と赤外光画像をそれぞれ独立に求めることを常時可能にする色分離フィルタ配置の第１の具体例（以下第１具体例という）を示す図である。この第１具体例は、可視光カラー画像に対する補正用の検知領域として、可視光を排除し赤外光のみを受光・検知する検知領域を設ける点に特徴を有する。
図６１（Ａ）に示すように、各色のフィルタをモザイク状に配したいわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタを利用しており、先ず、正方格子状に配された単位画素が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタに対応するように、色分離フィルタの繰返単位が２画素×２画素で配されて画素部を構成するようにする。また、可視光を排除し赤外光のみを受光・検知する検知部（検知領域）を設けるべく、２つの緑（Ｇ）のうちの一方を黒色フィルタBKに置き換える。つまり、可視光カラー画像用に原色フィルタＲ，Ｇ，Ｂの３つの波長領域（色成分）用のものと、原色フィルタＲ，Ｇ，Ｂの成分とは異なる赤外光用の黒色フィルタBKといった別個のフィルタ特性を有する４種類の色フィルタを規則的に配設している。
たとえば、偶数行奇数列には第１のカラー（赤；Ｒ）を感知するための第１のカラー画素を配し、奇数行奇数列には第２のカラー（緑；Ｇ）を感知するための第２のカラー画素を配し、奇数行偶数列には第３のカラー（青；Ｂ）を感知するための第３のカラー画素を配し、偶数行偶数列には赤外光IRを感知するための第４のカラー画素（ここでは黒色補正画素）を配しており、行ごとに異なったＧ／Ｂ、またはＲ／BKの画素が市松模様状に配置されている。このようなベイヤ配列の基本形のカラーフィルタの色配列は、行方向および列方向の何れについても、Ｇ／ＢまたはＲ／BKの２色が２つごとに繰り返される。
原色フィルタＲ，Ｇ，Ｂを通して対応する検知部で検知することで可視光カラー画像を撮像できるとともに、黒色フィルタBKを通して対応する検知部で検知することで赤外光画像を可視光カラー画像とは独立かつ同時に撮像することができる。また、この黒色フィルタBKを配した画素から得られる赤外光信号は、原色フィルタＲ，Ｇ，Ｂを配した画素から得られる可視光カラー画像に対しての補正信号としても利用する。
図６２および図６３は、図６１に示した色分離フィルタの配置を持ち、赤外光IRのみと可視光VLの２つの波長成分を同時に像として別々に撮像できるようにしたＣＣＤ固体撮像素子を説明する図である。ここで、図６２は、構造例を示す見取り図（斜視図）である。また、図６３は、基板表面付近の断面構造図である。なおここでは、誘電体積層膜を利用したＣＣＤ固体撮像素子１０１への適用事例で示している。
図６２に示すＣＣＤ固体撮像素子１０１の構造においては、４画素でなる単位画素マトリクス１２だけを示しているが、実際にはこれを横方向に繰り返し、それをさらに縦方向に繰り返した構造である。
単位画素マトリクス１２をなす周期配列の４画素の内、１つの画素１２IR上には誘電体積層膜１が形成されていないが黒色フィルタ１４BKが設けられていて、この黒色フィルタ１４BKを通して赤外光IRのみを受光するようになっている。つまり、赤外光IRの画素１２IRの上に、色フィルタ１４として黒色フィルタ１４BKを用いることによって、可視光VLをカットし、赤外光IRのみを受光できるようにしている。この黒色フィルタ１４BKが設けられた可視光カラー画像に対しての補正に使用される画素１２IRを黒色補正画素１２BKとも呼ぶ。
一方、他の３つの画素１２Ｂ，１２Ｇ，１２Ｒ上には誘電体積層膜１が形成され、さらにその上に原色フィルタ１４Ｒ，１４Ｇ，１４Ｂが設けられていて、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを通して可視光VLの内の対応する青色Ｂ、緑色Ｇ、および赤色Ｒの３原色を受光するようにしている。つまり、誘電体積層膜を３原色系のカラーフィルタのある画素の検知部上に形成することで、赤外光を効果的にカットできる機能を持たせている。
また基板表面付近の断面構造図を示した図６３では、可視光VLのみを受光する画素を示している。赤外光IRを受光する画素１２IRは、誘電体積層膜１および黒色フィルタ１４BKがない構造である。すなわち、図３１で説明した作製プロセス工程のように誘電体積層膜を図１６に示した構造でＣＶＤ法でＳｉＮ層とＳｉＯ２層を順次積層した後、リソグラフィ技術とＲＩＥ法によって赤外光IRを受光する画素のみにおいて除去する。その後、再びＳｉＯ２層を積層して平坦化した。
このような構造で作製された撮像素子を用いることで、３原色成分に基づく可視光カラー画像と、赤外光IRのみの像を同時に撮像できることが分かった。ただし、可視光カラー画像は、赤外光の漏れによる色再現性の低下の懸念がある。このため、以下のようにして補正を行なう。
＜第１具体例の補正手法＞
図６４〜図６７は、第１具体例における赤外光成分の補正手法を説明する図である。ここで、図６４は、第１具体例において用いる色フィルタ１４の特性例を示す図である。また図６５〜図６７は、補正演算で用いる係数の設定手法を説明する図である。
先ず、可視光カラー画像撮像用の色フィルタ１４として、可視光VL（波長λ＝３８０〜７８０ｎｍ）の３原色である青色成分Ｂ（たとえば波長λ＝４００〜５００ｎｍで透過率が略１、その他で略ゼロ）、緑色成分Ｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略１、その他で略ゼロ）、赤色成分Ｒ（たとえば波長λ＝６００〜７００ｎｍで透過率が略１、その他で略ゼロ）を中心とする原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを用いる。
なお、透過率が“略１”であるとは、理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“１”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。
また、通過波長領域成分である可視光VL領域の内の所定色（原色もしくは補色）の波長領域成分を通過させるものであればよく、反射波長領域成分である赤外光IR領域を通過させるか否かすなわち赤外光IRに対する透過率は不問である。誘電体積層膜１によって赤外光IR成分をカットするからである。
一例として、図６４（Ａ）（事実上、図５４と同様）に示すような分光感度特性のものを用いる。これは、現在一般的に使用されている色フィルタのものである。波長３８０ｎｍ〜５４０ｎｍ程度を青色波長領域とし、波長４２０ｎｍ〜６２０ｎｍ程度を緑色波長領域とし、波長５６０ｎｍ〜７８０ｎｍを赤色波長領域とするような感度特性としている。
この図６４（Ａ）から分かるように、緑色Ｇの感度曲線は、６４０ｎｍより長波長の光に対しても感度を持つことになる。このことは６４０ｎｍより長波長の光が入射したときには色再現性が悪くなることを意味する。同様のことは、他の色（Ｒ，Ｂ）についても言え、赤外光領域の光に対しても感度を持ち、このことは赤外光が入射したときには色再現性が悪くなることを意味する。
また、可視光カラー画像に対しての補正成分としても利用される赤外光画像を撮像するたための色フィルタ１４としては、一例として、図６４（Ｂ）に示すように、主に可視光VLを吸収して赤外光IRを透過させる特徴を持つ黒色フィルタ１４BK、すなわち赤外光IR（波長λ≧７８０ｎｍ）で透過率が略１、その他で略ゼロのものを用いる。これによって、画素１２IRが赤外光のみに感度を持つようにする。
なお、透過率が“略１”であるとは、理想的な状態をいったものであり、赤外光IRの波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。
なお、ここでの黒色フィルタ１４BKは、原理的には、可視光と赤外光の境界である波長７８０ｎｍより長波長側を透過するフィルタ、つまり主に３８０ｎｍ〜７８０ｎｍの可視光波長領域で吸収性を呈し、主に波長７８０ｎｍ以上である赤外光波長領域で透過性を呈する黒色フィルタでよいが、この図６４（Ｂ）に示すように、波長７００ｎｍより長波長側を透過するフィルタ、つまり主に３８０ｎｍ〜７００ｎｍの可視光波長領域で吸収性を呈し、主に波長７００ｎｍ以上の波長領域で透過性を呈する黒色フィルタでもよい。
また原色フィルタ１４Ｒ，１４Ｇ，１４Ｂの分光感度曲線によっては、最適な黒色の透過スペクトルが異なる。たとえば、図５４に示すものの場合、緑色Ｇの感度曲線は６４０ｎｍより長波長の光に対しても感度を持ち、６４０ｎｍより長波長の光が入射したときには色再現性が悪くなるので、これをも補正するために、黒色フィルタ１４BKとしては、６４０ｎｍより長波長側を透過するもの、つまり主に３８０ｎｍ〜６４０ｎｍの可視光波長領域で吸収性を呈し、主に波長６４０ｎｍ以上の波長領域で透過性を呈する黒色フィルタであることがより適切であるということになる。
このような黒色フィルタ１４BKが配された黒色補正画素１２BKを設けることで、撮像素子に入射してくる赤外光IRだけを信号の値として画素１２IRにより測定することができる。さらに、その信号値に係数を掛けたものを各３原色または補色の光の信号から引くことで加算された赤外信号（赤外成分の信号）をカットできる。これによって赤外光がある状況下でも色再現の良い画像を取得できる。
具体的には、可視光カラー画像を表わす各原色信号成分ＳＲ，ＳＧ，ＳＢを、赤外光画像を表わす赤外光信号成分ＳIR（赤外光の測定信号強度）を使って補正することにより、赤外光（第２の波長領域）の成分の影響を排除した、可視光成分（第１の波長領域の成分）に関わる可視光カラー画像を再現するための補正済み原色信号ＳＲ＊，ＳＧ＊，ＳＢ＊、すなわち本来の可視光波長領域における各色信号成分のみの正確な色信号強度を取得する。
この補正演算に当たっては、下記式（５−１）のように、本来の可視光波長領域における各色信号成分に赤外光の漏れ信号成分が加わった原色信号成分ＳＲ，ＳＧ，ＳＢから、赤外光信号成分ＳIRに所定の係数αＲ，αＧ，αＢを掛けた補正信号成分を減算することで、赤外光（第２の波長領域）の漏れ成分の影響を排除した補正済み原色信号ＳＲ＊，ＳＧ＊，ＳＢ＊を取得する。
なお、第２の波長領域の成分を低減するための赤外光カットフィルタを設けた場合との比較においては、赤外光カットフィルタを設けない場合には、可視光カラー画像用の３原色信号成分が大きくなるので、同等の信号レベルにするには、さらに下記式（５−２）のように、赤外光信号成分ＳIRに係数εＲ，εＧ，εＢと原色信号成分ＳＲ，ＳＧ，ＳＢとを掛けた非線形な補正信号成分をさらに減算するとよい。つまり、色信号成分ＳＲ，ＳＧ，ＳＢに対して予め赤外光信号成分ＳIRに所定の係数εＲ，εＧ，εＢを掛けた値で非線形に感度補正を加えておき、この感度補正が加えられたものから赤外光信号成分ＳIRに所定の係数αＲ，αＧ，αＢを掛けた補正信号成分を減算するとよい。
負の係数εＲ，εＧ，εＢと考えれば、事実上、第２の検知部で検知された赤外光成分と第１の検知部で検知された本来の画素信号との積に負の係数εＲ，εＧ，εＢを掛けた非線形の信号成分を加算することにより補正を行なうことになる。
こうすることで、赤外光（第２の波長領域）の漏れ成分の影響を排除した、可視光成分（第１の波長領域の成分）に関わる可視光カラー画像を再現するための、本来の可視光波長領域における各色信号成分のみの各補正色信号ＳＲ＊＊，ＳＧ＊＊，ＳＢ＊＊をさらに精度よく取得できる。なお、この式（５−２）に従った補正は、３原色信号成分の全てに対して行なう必要はなく、特に輝度信号への影響度合いの強い緑色信号成分に対してのみ行なうようにしてもよい。
なお、係数αＲ，αＧ，αＢの設定に当たっては、赤外光の漏込み成分を十分に抑制できるようにすることが肝要である。ここで、赤外光の漏込み成分は、光源に含まれる赤外光波長領域の強度にも依存することになる。
たとえば、図６５は、可視光検知領域で検知される信号強度の光源による影響を説明する図である。一例として、ここでは、太陽光の波長スペクトルの影響について考える。可視光検知領域で検知される信号の強度は、図５４に示す感度曲線に図５３に示す反射スペクトルから導かれる透過スペクトルを掛けた図５５に示す実際に得られる分光感度曲線に、さらにこの図６５に示す光源波長スペクトルを掛けたものとなる。
図６６および図６７は、誘電体積層膜１を利用した分光イメージセンサ１１と色フィルタ１４とを組み合わせた撮像素子の場合における、光源による影響の様子を模式的に示した図である。
図６６（Ａ）は赤外光のスペクトル強度が可視光のスペクトル強度と同程度の場合を示しており、図６６（Ｂ）は赤外光のスペクトル強度が可視光のスペクトル強度よりも低い場合を示している。図６６（Ａ），（Ｂ）の比較から分かるように、所定色の色フィルタ１４が配された撮像素子から得られる信号に含まれる赤外光成分は、光源に含まれる赤外光のスペクトル強度に依存（比例）する。
したがって、光源に含まれる赤外光のスペクトル強度の影響を受けることなく、赤外光の漏込み成分を適切に抑制するには、所定色の色フィルタ１４が配された撮像素子から得られる信号から常に一定量を減算するのではなく、図６７に示すように、その減算量を、光源に含まれる赤外光のスペクトル強度に依存（比例）させるのがよいということになる。赤外光成分を実測し、その実測情報に係数を掛けた値を、所定色の色フィルタ１４が配された撮像素子から得られる信号から減算することで、実際の撮像環境下での赤外光の強度に応じた適正量で補正を加えることができ、補正精度が極めて良好になる。
また、ある光源下で最適な係数を決定すれば、あとは光源条件が変わっても同じ係数を使うことができ、ユーザが撮像環境に合わせて補正量を調整する必要がなく、使い勝手がよい。
このようにして、４種類の色フィルタを配設した各画素の出力をマトリクス演算することにより、可視光カラー画像および近赤外光画像をそれぞれ独立に求めることができる。すなわち、フォトダイオードなどの撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを配設し、４種類の色フィルタを配設した各画素の出力をマトリクス演算することで、近赤外光の影響をほぼ全く受けない可視光カラー画像を形成するための３原色出力と、可視光の影響をほぼ全く受けない近赤外光画像を形成するための出力を、それぞれ独立かつ同時に取得することができる。
特に、可視光カラー画像に関しては、赤外光の漏れによる色再現の悪さを演算処理にて補正することで、暗所で感度の高く、かつ色再現の良好な撮像が可能になる。赤外光に近い赤色の信号成分が大きくなる現象や映像の赤い部分で輝度が高くなる現象を緩和することもでき、特別な撮像素子や機構を用いなくても、低コストで色再現性の向上と低照度時の感度アップのバランスを取ることができる。また、使用する原色フィルタの特性をも加味して黒色フィルタ１４BKの特性を設定することで、赤外光よりも低波長側の漏れ成分による色再現性の問題を解消することもできる。
また、同じ撮像素子において、フォトダイオード上に一体的に形成された誘電体積層膜１の一部を、部分的に誘電体積層膜１を形成しないようにするので、部分的に誘電体積層膜１が形成されていない誘電体積層膜１をもつ別個の光学部材を撮像素子の前面に配設する場合とは異なり、位置合せの問題が起きない。
なお、Ｒ，Ｇ，Ｂの原色フィルタの画素に加えて黒色フィルタの画素（黒色補正画素１２BK）を加えることによって赤外光の信号を得るが、この黒色補正画素１２BKは、可視光カラー画像に対する補正という点においては、必ずしも赤外光画像を撮像するに十分な配置形態にする必要はなく、通常の画像を撮像するための画素１２Ｒ，１２Ｇ，１２Ｂ（第１の検知部）に対して補正用の画素１２IR（第２の検知部）を１対１に配する図６１に示す配置例に限らず、任意のところに置いてもよい。
たとえば撮像素子の角（隅）のほうに所々入れてもよい。こうすることで、通常の画像を撮像するための複数の画素（第１の検知部）に対して補正用の画素（第２の検知部）を１つ配する形態とすることができ、通常の画像を撮像する画素（第１の検知部）の配列形態に対して殆ど影響を与えないようにしつつ、補正用の画素（第２の検知部）を設けることができる。ただしこの場合、１つの補正用の画素で取得した補正信号を使って通常の画像を撮像する複数の画素の画素信号に対して補正を行なうことになるので、補正用の信号（本例では赤外光信号）の面内ムラに対しては殆ど対処できない。
これを解決するには、画素配列全体に、補正用の画素（第２の検知部）を通常の画像を撮像する画素（第１の検知部）との間で一定の数比を持って周期的に入れてもよい。被写体表面の赤外光の反射率がその被写体の部分によって変化するような面内ムラがある場合には、画素配列全体に周期的に入れることで補正が適切に行なえることになる。補正用の画素（第２の検知部）を周期的に入れる最善の形態が、通常の画像を撮像するための画素（第１の検知部）に対して補正用の画素（第２の検知部）を１対１に配する形態である。
このように、黒色補正画素１２BKと誘電体積層膜１を組み合わせることで、効果的に可視光の画素の信号に足された赤外光の信号を取り除くことができ、硝子製の赤外光カットフィルタを使用しなくても、色再現性の良好な可視光カラー画像を取得することができる。硝子製の赤外光カットフィルタを使用しないので、コストのメリットがあるし、可視光の透過率も高く高感度化が達成される。誘電体積層膜１を利用した場合の赤外光の漏れによる色再現の悪さについては、黒色補正画素１２BKにより実測した赤外光成分を使って演算処理により補正するので、暗所で感度の高くかつ色再現の良い撮像が可能になり、また補正のための構成が簡単であるし補正精度が良好である。
また、補正画素として黒色補正画素１２BKを使用しているので、可視光から赤外光（特に近赤外光）までの全波長の成分を通過させる構成に比べて（後述する白色補正画素を利用した第２具体例を参照）、信号の飽和が起き難く、ダイナミックレンジが広くなる。
なお、上記例では、可視光カラー画像撮像用の色フィルタ１４として、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを用いていたが、補色フィルタＣｙ，Ｍｇ，Ｙｅを用いることもできる。この場合たとえば、図６１（Ｂ）に示すように、原色フィルタ１４ＲをイエローＹｅに、原色フィルタ１４ＧをマゼンタＭｇに、原色フィルタ１４ＢをシアンＣｙに、それぞれ置き換えた配置とするとよい。そして、対角に２つ存在することになるマゼンタＭｇの一方に、補正画素としての黒色フィルタBKを配する。
黒色フィルタが配される画素を除く画素１２Ｃｙ，１２Ｍｇ，１２Ｙｅ上には誘電体積層膜１が形成され、さらにその上に、補色フィルタ１４Ｃｙ，１４Ｍｇ，１４Ｙｅが設けられ、補色フィルタ１４Ｃｙ，１４Ｍｇ，１４Ｙｅを通して可視光VLの内の対応するシアンＣｙ、マゼンタＭｇ、およびイエローＹｅの各色を受光するようにする。つまり、誘電体積層膜を補色系のカラーフィルタのある画素の検知部上に形成することで、赤外光を効果的にカットできる機能を持たせる。
また、Ｃｙ，Ｍｇ，Ｙｅの補色フィルタのみの組合せに限らず、原色フィルタの１つである緑色フィルタＧや白色フィルタＷを補色フィルタと組み合せたものに対しても、補正画素をなす黒色フィルタBKの画素を設けることもできる。たとえば、図６１（Ｃ）に示すように、Ｃｙ，Ｍｇの２つの補色フィルタとＧの原色フィルタとを組み合わせたフィールド蓄積周波数インターリーブ方式用のものにおいて、４画素内に２つ存在する原色フィルタＧの内の一方を補正画素としての黒色フィルタBKに置き換えるとよい。
これら補色フィルタを用いる場合の補正演算に当たっては、下記式（６）のように、本来の可視光波長領域における各色信号成分に赤外光の漏れ信号成分が加わった色信号成分ＳＣｙ，ＳＭｇ，ＳＹｅ，ＳＧから、赤外光信号成分ＳIRに所定の係数αCy，αMg，αYe，αＧを掛けた補正信号成分を減算するのがよい。こうすることで、赤外光（第２の波長領域）の漏れ成分の影響を排除した、可視光成分（第１の波長領域の成分）に関わる可視光カラー画像を再現するための、本来の可視光波長領域における各色信号成分のみの各補正色信号ＳＣｙ＊，ＳＭｇ＊，ＳＹｅ＊，ＳＧ＊を取得できる。
＜第１具体例における他のセンサ構造への適用例＞
上記の第１具体例では、誘電体積層膜を利用したＣＣＤ固体撮像素子１０１への適用事例において、可視光を排除し赤外光のみを受光・検知する検知領域を設けるべく、２つの緑（Ｇ）のうちの一方を黒色フィルタBKに置き換えていたが、回折格子５０１を利用した分光イメージセンサ５１１や半導体の深さ方向における波長による吸収係数の違いを利用した固体撮像素子６１１においても、可視光を排除し赤外光のみを受光・検知する検知領域を設け、この検知領域から得られる赤外光信号を使って赤外光画像を得るとともに、この赤外光信号を、カラー画像撮像用の色フィルタ（たとえば原色フィルタＲ，Ｇ，Ｂ）を配した画素から得られる可視光カラー画像に対して補正に使用することもできる。
たとえば、回折格子５０１を利用した分光イメージセンサ５１１に適用する場合、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタ配列にすることができる。この場合、面方向においてつまり２次元状において、カラー画像撮像用の原色フィルタ１２Ｒ，１２Ｇ，１２Ｂが配される部分に各色を検知する可視光画像撮像領域が形成され、その周りに、赤外光画像撮像を検知する赤外光画像撮像領域が形成されることになる。
また、半導体の深さ方向における波長による吸収係数の違いを利用した固体撮像素子６１１に適用する場合にも、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタ配列にすることができる。この場合、深さ方向においてつまり３次元状において、カラー画像撮像用の原色フィルタ１２Ｒ，１２Ｇ，１２Ｂが配される部分の比較的浅い領域に各色を検知する可視光画像撮像領域が形成され、それよりもさらに深い領域に、赤外光画像撮像を検知する赤外光画像撮像領域が形成されることになる。
何れの場合にも、原色フィルタ１２Ｒ，１２Ｇ，１２Ｂの分光感度特性に関しては、好ましくは、各原色の波長領域と赤外光領域において透過率が略１、その他で略ゼロのものを使用するのがよい。赤外光画像や可視光カラー画像に対する補正成分として使用される赤外光画像撮像領域から取得される信号レベルの低下が起きないように、半導体の深い領域に達する赤外光成分の減衰を少なくするためである。
これにより、何れの場合にも、可視光VLの影響を殆ど受けることのない赤外光画像を可視光カラー画像とは独立に得ることができる。また、半導体の浅い領域にて取得される可視光カラー画像に対して、半導体の深い領域にて取得される赤外光画像の成分を使って補正演算することで、可視光像に漏れ込む赤外光成分の影響を排除することで、色再現性を向上させることができる。
また、何れの場合にも、誘電体積層膜を利用する場合とは異なり、それぞれのセンサ構造の特徴から分かるように、可視光カラー画像を取得するための検知領域と赤外光画像を取得するための検知領域が、半導体の面方向もしくは深さ方向に分離され、可視光カラー画像を取得するための色フィルタ１４を設けることで、自動的に、赤外光成分も取得できる構造であるので、赤外光画像撮像領域を形成する際には、積極的に、補正用の黒色フィルタを配さなくてもよく、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタ配列をそのまま利用することができる。よって、後述するような、本来Ｇの画素が黒色補正画素に置き換わることによる可視光カラー画像および赤外光画像の解像度低下を招くことがない。
＜色分離フィルタ配列；第２例＞
図６８は、補正演算により可視光カラー画像と赤外光画像をそれぞれ独立に求めることを常時可能にする色分離フィルタ配置の第２の具体例（以下第２具体例という）を示す図である。この第２具体例は、可視光カラー画像に対する補正用の検知領域として、赤外光とともに可視光の全波長成分をも受光・検知する検知領域を設ける点に特徴を有する。
図６８（Ａ）に示すように、いわゆるベイヤ配列の基本形のカラーフィルタを利用しており、先ず、正方格子状に配された単位画素が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタに対応するように、色分離フィルタの繰返単位が２画素×２画素で配されて画素部を構成するようにする。また、赤外光とともに可視光の全波長成分を受光・検知する検知部（検知領域）を設けるべく、２つの緑（Ｇ）のうちの一方を白色フィルタＷに置き換える。つまり、可視光カラー画像用に原色フィルタＲ，Ｇ，Ｂの３つの波長領域（色成分）用のものと、原色フィルタＲ，Ｇ，Ｂの成分とは異なる赤外光用の白色フィルタＷといった別個のフィルタ特性を有する４種類の色フィルタを規則的に配設している。
なお、白色フィルタＷが配される白色補正画素は、可視光から赤外光（特に近赤外光）までの全波長の成分を通過させるものであり、この点においては、事実上、カラーフィルタを設けない構成を採ることができる。
たとえば、偶数行奇数列には第１のカラー（赤；Ｒ）を感知するための第１のカラー画素を配し、奇数行奇数列には第２のカラー（緑；Ｇ）を感知するための第２のカラー画素を配し、奇数行偶数列には第３のカラー（青；Ｂ）を感知するための第３のカラー画素を配し、偶数行偶数列には赤外光IRを感知するための第４のカラー画素（ここでは白画素）を配しており、行ごとに異なったＧ／Ｂ、またはＲ／Ｗの画素が市松模様状に配置されている。このようなベイヤ配列の基本形のカラーフィルタの色配列は、行方向および列方向の何れについても、Ｇ／ＢまたはＲ／Ｗの２色が２つごとに繰り返される。
原色フィルタＲ，Ｇ，Ｂを通して対応する検知部で検知することで可視光カラー画像を撮像できるとともに、白色フィルタＷを通して対応する検知部で検知することで赤外光画像、もしくは赤外光と可視光の混在画像を可視光カラー画像とは独立かつ同時に撮像することができる。たとえば、赤外光IRと可視光VLの混合成分を受光する画素１２IRからの画素データをそのまま用いることで、赤外光IRと可視光VLの混合成分の像を得ることができ、感度を高くすることができる。また、赤外光IRと可視光VLの混合成分の像とともに可視光VLの像が得られるが、両者の差分を取ることで、赤外光IRのみの像が得られる。また、この白色フィルタＷを配した画素から得られる混在画像信号は、原色フィルタＲ，Ｇ，Ｂを配した画素から得られる可視光カラー画像に対しての補正信号としても利用する。
図６９は、図６８に示した色分離フィルタの配置を持ち、赤外光IRと可視光VLの２つの波長成分を同時に像として別々に撮像できるようにしたＣＣＤ固体撮像素子を説明する図である。ここで、図６９は、構造例を示す見取り図（斜視図）である。なおここでは、誘電体積層膜を利用したＣＣＤ固体撮像素子１０１への適用事例で示している。基板表面付近の断面構造図は図６３と同様である。
図６９に示すＣＣＤ固体撮像素子１０１の構造においては、４画素でなる単位画素マトリクス１２だけを示しているが、実際にはこれを横方向に繰り返し、それをさらに縦方向に繰り返した構造である。
単位画素マトリクス１２をなす周期配列の４画素の内、１つの画素１２IR上には誘電体積層膜１が形成されていないし色フィルタ１４が設けられておらず、色フィルタ１４を通さずに赤外光IRを受光するようになっている。この場合、画素１２IRでは、赤外光IRと可視光VLの混合成分を受光できるようになる。この色フィルタ１４が設けられていない画素１２IRを白色補正画素１２Ｗあるいは全域通過画素と呼ぶ。
このように、誘電体積層膜１を形成しなかった画素１２IRにおいて、赤外光IRだけでなく可視光VLも同時に信号に寄与するように、白色補正画素１２Ｗについては、色フィルタ１４を入れない。こうすることで、実質的に、赤外光用の画素１２IRを、赤外光IR用のみでなく、赤外光IR用と可視光VL用を兼ねる画素として機能させることができる。
一方、他の３つの画素１２Ｂ，１２Ｇ，１２Ｒ上には誘電体積層膜１が形成され、さらにその上に、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂが設けられていて、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを通して可視光VLの内の対応する青色Ｂ、緑色Ｇ、および赤色Ｒの３原色を受光するようにしている。つまり、誘電体積層膜を３原色系のカラーフィルタのある画素の検知部上に形成することで、赤外光を効果的にカットできる機能を持たせている。第２具体例において用いる原色フィルタ１４Ｒ，１４Ｇ，１４Ｂとしては、図６４（Ａ）に示した第１具体例と同様のものを用いることができる。
このような構造で作製された撮像素子を用いることで、３原色成分に基づく可視光カラー画像と、赤外光IRのみの像または赤外光IRと可視光VLの混合の像を同時に撮像できることが分かった。ただし、可視光カラー画像は、赤外光の漏れによる色再現性の低下の懸念がある。このため、以下のようにして補正を行なう。
＜第２具体例の補正手法；第１例＞
図７０は、第２具体例における赤外光成分の補正手法を説明する図である。色フィルタ１４が配されていない白色補正画素１２Ｗを設けることで、撮像素子に入射してくる赤外光IRと可視光の合成成分を示す信号値ＳＷとして画素１２IRにより測定できる。
なお、図７０では、白色フィルタの透過特性を可視光帯と赤外光帯とで等しいものとして示しているが、このことは必須ではなく、可視光帯の透過強度よりも赤外光帯の透過強度が低下していてもよい。可視光帯の全波長成分を十分な強度で透過させることができるとともに、赤外光帯では、Ｒ，Ｇ，Ｂの原色フィルタの透過強度に比べて十分な強さで透過させる特性を持っていればよいのである（後述する擬似ＭＬＴフィルタを参照）。
さらに、その白色補正画素１２Ｗから得られる赤外光成分に係数を掛けたものを各３原色または補色の光の信号から引くことで加算された赤外信号（赤外成分の信号）をカットできる。これによって赤外光がある状況下でも色再現の良い画像を取得できる。
ただし、黒色補正画素の場合とは異なり、白色補正画素１２Ｗから得られる信号値ＳＷには、赤外光成分IRだけでなく可視光成分VLも含まれるので、可視光成分VLの信号強度ＳVLを排除した赤外光の信号強度ＳIRを見積もる必要がある。
具体的には、可視光カラー画像を表わす各原色信号成分ＳＲ，ＳＧ，ＳＢを、赤外光画像を表わす赤外光信号成分ＳIR（赤外光の測定信号強度）を使って補正することにより、赤外光（第２の波長領域）の成分の影響を排除した、可視光成分（第１の波長領域の成分）に関わる可視光カラー画像を再現するための補正済み原色信号ＳＲ＊，ＳＧ＊，ＳＢ＊、すなわち本来の可視光波長領域における各色信号成分のみの正確な色信号強度を取得する。
ここで、第２具体例の補正手法の第１例の補正演算に当たっては、上記式（５−１）のように、本来の可視光波長領域における各色信号成分に赤外光の漏れ信号成分が加わった原色信号成分ＳＲ，ＳＧ，ＳＢから、見積もられた赤外光信号成分ＳIRに所定の係数αＲ，αＧ，αＢを掛けた補正信号成分を減算することで、赤外光（第２の波長領域）の漏れ成分の影響を排除した補正済み原色信号ＳＲ＊，ＳＧ＊，ＳＢ＊を取得する。もちろん、上記式（５−２）を適用してもよい。
ここで赤外光信号成分ＳIRは、図７０からも分かるように、白色補正画素１２Ｗで取得される信号値ＳＷの内、主に赤外光成分IRの信号強度を表す。よって、白色補正画素１２Ｗで取得される可視光成分の信号値ＳVLとの間には、下記式（７）が成立する。なお、ここでの赤外光成分IRとは、図５４に示した色分離フィルタの分光感度曲線から、Ｇ成分の６４０ｎｍ付近より長波長側の光を遮断したいことから、主に６４０ｎｍより長波長の光を指すこととする。一般的には、赤外光の定義は眼に見えない光ということで、７８０ｎｍより長波長であるが、ここではこのように定義する。
一方、赤外光IRまたは可視光VLの光量は被写体側と撮像側において比例関係にある。すなわち被写体側で増加すれば撮像側でもそれに比例して増加する。したがって、図６４のような関係になる。
たとえば、白色フィルタ（色フィルタ１４が配されない場合も含む）を透過した可視光VLの光量は原色フィルタ１４Ｒ，１４Ｇ，１４Ｂで透過した可視光の光量に各係数を掛けたものの和に等しいと考えることができるので、白色フィルタで透過した可視光成分VLの信号強度ＳVLは原色フィルタ１４Ｒ，１４Ｇ，１４Ｂで透過した可視光成分の補正済み原色信号強度ＳＲ＊，ＳＧ＊，ＳＢ＊に各係数βＲ，βＧ，βＢを掛けたものの和にほぼ等しく、下記式（８）のように表わすことができる。
したがって、白色フィルタを透過する赤外光成分の信号強度ＳIRは、下記式（９−１）のように表わすことができる。さらに、式（５−１）を式（９−１）に代入すると、式（９−２）のように表わすことができる。これをさらに赤外光成分IRについてまとめると、式（９−３）のように表わすことができる。
ここで、白色補正画素で得られる信号成分ＳＷ、原色フィルタ画素で得られる信号成分ＳＲ，ＳＧ，ＳＢに着目して、それぞれの係数をγＷ，γＲ，γＧ，γＢとすると、係数γＷ，γＲ，γＧ，γＢは下記式（１０−１）〜（１０−４）のように表わすことができ、この係数γＷ，γＲ，γＧ，γＢを使うことで、式（９−３）を式（１０−５）と書き換えることができる。
つまり、白色補正画素１２Ｗから得られる信号値ＳＷに含まれる赤外光成分IRのみの信号強度ＳIRを、原色フィルタ画素で得られる信号成分ＳＲ，ＳＧ，ＳＢを使って見積もることができる。
つまり、画像信号処理部３４０は、第２の検知部としての白色補正画素１２Ｗから得られる信号値ＳＷに対して、原色フィルタ画素で得られる信号成分ＳＲ，ＳＧ，ＳＢを使って補正することで、第１の波長領域の成分としての可視光成分（青成分〜赤成分）を排除した第２の波長領域の成分としての赤外光成分IRのみの信号強度ＳIRを見積もることができる。
なお、係数γＲ，γＧ，γＢの設定に当たっては、係数αＲ，αＧ，αＢと係数βＲ，βＧ，βＢとの関わりを持つ。係数αＲ，αＧ，αＢに関しては、第１具体例の場合と同様でよい。係数βＲ，βＧ，βＢに関しては、白色フィルタ（色フィルタ１４が配されない場合も含む）を透過した可視光VLの光量と、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂで透過した可視光の光量に各係数βＲ，βＧ，βＢを掛けたものの和との対応関係から設定することになる。たとえば、各係数α，β，γは、ニュートン法を用いて誤差が小さくなるように算術計算で求める。
一般的には、図７０に示すように、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂの可視光領域における透過特性が概ね同様の形状をしている場合には、βＲ：βＧ：βＢ＝３：６：１とすればよい。
このようにして、４種類の色フィルタの各画素の出力、詳しくは３種類の原色フィルタが配された画素と白色フィルタ１４Ｗを配した（事実上色フィルタを配さない）画素の各出力をマトリクス演算することにより、可視光カラー画像および近赤外光画像をそれぞれ独立に求めることができる。すなわち、フォトダイオードなどの撮像素子の各画素に、別個の波長通過特性（フィルタ特性）を有する４種類の色フィルタを配設し、４種類の色フィルタを配設した各画素の出力をマトリクス演算することで、近赤外光の影響をほぼ全く受けない可視光カラー画像を形成するための３原色出力と、赤外光と可視光とを混在させた合成画像もしくは白色補正画素１２Ｗから得られる混在成分と可視光成分との合成処理（詳しくは差分処理）により、可視光の影響をほぼ全く受けない赤外光のみの画像を、それぞれ独立かつ同時に取得することができる。
たとえば、赤外光IRと可視光VLの混合成分を受光する画素１２IRからの画素データをそのまま用いることで、赤外光IRと可視光VLの混合成分の像を得ることができ、感度を高くすることができる。また、赤外光IRと可視光VLの混合成分の像とともに可視光VLの像が得られるが、両者の差分を取ることで、赤外光IRのみの像が得られる。
また、同じ撮像素子において、フォトダイオード上に一体的に形成された誘電体積層膜１の一部を、部分的に誘電体積層膜１を形成しないようにするので、部分的に誘電体積層膜１が形成されていない誘電体積層膜１をもつ別個の光学部材を撮像素子の前面に配設する場合とは異なり、位置合せの問題が起きない。
特に、可視光カラー画像に関しては、赤外光の漏れによる色再現の悪さを演算処理にて補正することで、暗所で感度の高く、かつ色再現の良好な撮像が可能になる。赤外光に近い赤色の信号成分が大きくなる現象や映像の赤い部分で輝度が高くなる現象を緩和することもでき、特別な撮像素子や機構を用いなくても、低コストで色再現性の向上と低照度時の感度アップのバランスを取ることができる。
たとえば白色補正画素１２Ｗから得られる信号ＳＷには、赤外光成分だけでなく可視光成分も含まれるので、この可視光成分の信号ＳVLを使って、可視光カラー画像撮像用の原色フィルタ１４Ｒ，１４Ｇ，１４Ｂが配された画素に基づき得られる輝度信号に補正を加える（実際には加算演算処理を行なう）ことで、色再現性とは独立して、可視光カラー画像の高感度化を図ることもできる。
図６８のようにＲ，Ｇ，Ｂの原色フィルタの画素に加えて白色フィルタの画素（白色補正画素１２Ｗ）を加えることによって赤外光の信号を得るが、白色補正画素１２Ｗは、可視光カラー画像に対する補正という点においては、必ずしも赤外光画像を撮像するに十分な配置形態にする必要はなく、図６８に示す配置例に限らず、任意のところに置いてもよい。たとえば素子の角のほうに所々入れてもよいし、または画素配列全体に周期的に入れてもよい。特に、被写体表面の赤外光の反射率がその被写体の部分によって変化するような場合には、画素配列全体に周期的に入れることで補正が適切に行なえることになる。
このように、白色補正画素１２Ｗと誘電体積層膜１を組み合わせることで、効果的に可視光の画素の信号に足された赤外光の信号を取り除くことができ、硝子製の赤外光カットフィルタを使用しなくても、色再現性の良好な可視光カラー画像を取得することができる。硝子製の赤外光カットフィルタを使用しないので、コストのメリットがあるし、可視光の透過率も高く高感度化が達成される。
誘電体積層膜１を利用した場合の赤外光の漏れによる色再現の悪さについては、白色補正画素１２Ｗにより実測した赤外光成分を含む信号から赤外光成分を見積もり、この見積もった赤外光成分を使って演算処理により補正するので、暗所で感度の高くかつ色再現の良い撮像が可能になり、また補正のための構成が簡単であるし（ただし、赤外光成分を見積もる分だけ第１具体例よりは複雑にはなる）、見積もった赤外光成分は事実上実測した赤外光成分となるので補正精度が良好である。
ところで、白色補正画素１２Ｗは、可視光VLから赤外光IRまで広い波長領域において感度があるので、可視光カラー画像撮像用の画素（ここでは原色フィルタが配された原色画素）に比べて信号が飽和し易く、特に明るい環境下での撮像においては、この飽和現象が問題となり得る。具体的には、明るい環境下では、適正な赤外光画像を取得できないし、可視光カラー画像に対する補正が不適切になり得る。
この飽和の問題を解消するには、たとえば、明るい環境下での撮像においては、シャッタ機能（メカシャッタに限らず電子シャッタを含む）を利用した露光制御を用いて、高速で撮像するようにするとよい。たとえば、撮像素子に対して短い周期で露光を行なって、その撮像素子（詳しくは検知部）から画素信号を読み出して、それを撮像信号処理部３３０の前処理部３３２に送ってもよい。
この場合、たとえば６０フレーム／秒より高いレートで露光と信号読出し行なうことで飽和に対して効果が高まる。あるいは単に０．０１６６７秒より短い時間（蓄積時間）で信号読出し行なうことができればよい。この場合、たとえば、オーバーフローを用いて基板側に電荷信号を排出することで実効的に短い時間での電荷の蓄積を読み出してもよい。
さらに望ましくは２４０フレーム／秒より高いレートで露光と信号読出し行なうことで飽和に対しての効果をさらに向上させることができる。あるいは単に４．１６ミリ秒より短い時間（蓄積時間）で信号読出し行なうことができればよい。
なお、このように飽和しないように短い時間（蓄積時間）で電荷を読み出す対象画素は、白色補正画素１２Ｗのみとしてもよいし、可視光カラー画像撮像用の他の画素（ここでは原色フィルタが配された原色画素）を含む全画素としてもよい。
また、さらに短い露光時間で読み取った信号を２回以上積算することで、暗部における弱い信号を強い信号に変換し、Ｓ／Ｎ比を高めてもよい。たとえば、このようにすることで、暗い環境下で撮像しても、また明るい環境下で撮像しても適切な感度と高いＳ／Ｎ比が得られ、ダイナミックレンジが広がることになる。つまり、高速で撮像することで白色補正画素１２Ｗでの飽和が起き難くなるとともに、信号を積算することで広いダイナミックレンジがとれるようになる。
なお、上記例では、可視光カラー画像撮像用の色フィルタ１４として、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを用いていたが、補色フィルタＣｙ，Ｍｇ，Ｙｅを用いることもできる。この場合たとえば、図６８（Ｂ）に示すように、原色フィルタ１４ＲをイエローＹｅに、原色フィルタ１４ＧをマゼンタＭｇに、原色フィルタ１４ＢをシアンＣｙに、それぞれ置き換えた配置とするとよい。そして、対角に２つ存在することになるマゼンタＭｇの一方に、補正画素としての白色フィルタＷを配する。
白色フィルタが配される画素を除く画素１２Ｃｙ，１２Ｍｇ，１２Ｙｅ上には誘電体積層膜１が形成され、さらにその上に、補色フィルタ１４Ｃｙ，１４Ｍｇ，１４Ｙｅが設けられ、補色フィルタ１４Ｃｙ，１４Ｍｇ，１４Ｙｅを通して可視光VLの内の対応するシアンＣｙ、マゼンタＭｇ、およびイエローＹｅの各色を受光するようにする。つまり、誘電体積層膜を補色系のカラーフィルタのある画素の検知部上に形成することで、赤外光を効果的にカットできる機能を持たせる。
また、Ｃｙ，Ｍｇ，Ｙｅの補色フィルタのみの組合せに限らず、原色フィルタの１つである緑色フィルタＧを補色フィルタと組み合せたものに対しても、補正画素をなす白色フィルタＷの画素を設けることもできる。たとえば、図６８（Ｃ）に示すように、Ｃｙ，Ｍｇの２つの補色フィルタとＧの原色フィルタとを組み合わせたフィールド蓄積周波数インターリーブ方式用のものにおいて、４画素内に２つ存在する原色フィルタＧの内の一方を補正画素としての白色フィルタＷに置き換えるとよい。
これら補色フィルタを用いる場合の補正演算に当たっては、式（６）を用いることができ、その際の赤外光成分ＳIRは、式（１０−５）から推測されるように、下記式（１１）のように置き換えるとよい。なお、式（１１）中において、Ｃｙ，Ｍｇ，Ｙｅ，Ｇの各成分は、実際に使用する色フィルタに応じて適用され、必ずしも全色の成分が必要になると言うことではなく、たとえば、図６８（Ｂ）に示す色フィルタ配置であればＧ成分をゼロに、また図６８（Ｃ）に示す色フィルタ配置であればＭｇ成分をゼロにする。
＜第２具体例の補正手法；第２例＞
以上のように、白色補正画素１２Ｗを用いた場合の補正手法として、線形項のみでなる上記式（５−１）に従った第１例の補正演算について説明したが、非線形項を加えた補正演算にすることで、さらに色差を小さくすることもできる。非線形項を考慮する点では上記式（５−２）と共通するが、摘要の考え方が異なる。この点について、以下詳細に説明する。
第２具体例の補正手法の第２例の補正演算に当たっては、下記式（１２−１）に示すように、前記式（５−１）で得られる成分に対して、原色信号成分Ｓ（ＳＲ，ＳＧ，ＳＢ）から係数ηＲ，ηＧ，ηＢを差し引いた成分と赤外光信号成分ＳIRとの積に係数ωＲ，ωＧ，ωＢを掛けた２次の信号成分（Ｓ×IR）を含む非線形な補正信号成分を加算するとよい。なお、各色成分同士の係数積ωＲ×ηＲ，ωＧ×ηＧ，ωＢ×ηＢが十分に小さければ、この係数積の成分を無視して、下記式（１２−２）を適用することもできる。なお、赤外光信号成分ＳIRは、前記式（１０−５）に示すものと同じである。
非線形項を用いて補正を加える点では、前記式（５−２）と類似しているが、式（５−２）は、赤外光カットフィルタを設けない場合に可視光カラー画像用の３原色信号成分が大きくなる分を補正して同等の信号レベルにすることを目的としていたが、式（１２−１）や式（１２−２）は、色差が小さくなるように、精度良く正しい色情報を得ることを目的としている点で異なる。
式（１２）は、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを用いた場合の摘要例であるが、同様のことは、補色フィルタＣｙ，Ｍｇ，Ｙｅを用いる場合や、さらに緑色フィルタＧや白色フィルタＷを補色フィルタと組み合せたものに対しても適用することができる。
これら補色フィルタを用いる場合の補正演算に当たっては、前記式（１２）に代えて、一例として、下記式（１３）を適用すればよい。この点は、前記式（５）に対して前記式（６）を適用したのと同様の考え方である。
＜第２具体例の補正手法；第３例＞
図７１および図７２は、第２具体例の第３例の補正手法を説明する図である。式（１２）や式（１３）では、色差が小さくなるように、赤外光成分IRと本来の信号成分Ｓとの積（Ｓ×IR）に所定の係数を掛けた２次の信号成分を含む非線形な補正信号成分を加算していたが、色信号Ｓと計数ηの差（Ｓ−η）の２次以上の高次式の補正成分を利用することもできる。
たとえば、下記式（１４−１）に示すように、前記式（５−１）で得られる成分に対して、原色信号成分ＳＲ，ＳＧ，ＳＢから係数ηＲ，ηＧ，ηＢを差し引いた成分の２乗と赤外光信号成分ＳIRとの積に係数ωＲ，ωＧ，ωＢを掛けた全体として３次の信号成分（Ｓ^2×IR）を含む非線形な補正信号成分を加算することもできる。
また、非線形な補正信号成分を加算できればよく、差（Ｓ−η）と赤外光成分ＳIRとの積の多次式に限らず、下記式（１４−２）に示すような絶対値式、もしくは下記式（１４−３）に示すような１次式を利用した条件式を赤外光成分ＳIRに掛けて非線形な信号成分を得る補正式を適用することもできる。
たとえば、青色（Ｂ）成分について、式（５−１）や式（６−１）で示される線形式を用いた補正演算後の色成分の輝度値と、その色成分の真の値（ＩＲカットフィルタを用いたときのＢ成分の輝度値）の差分を縦軸に、さらに横軸に補正演算後の輝度値を横軸にとってプロットしたグラフを図７１に示す。このグラフの場合、差分は補正後の輝度値に対して上に凸の依存性を示し、その特性を示す線分として、特性例１のように２次式に類似した形態や、特性例２のように値ηＢより大きいときと小さい場合で依存性が変わるような形態を得ることができる。
したがって、前述の依存性に、さらに図７２に示すように、下に凸の依存性のものを足せば、差分を一定にすることができる。このままでは、一定の差分を持ったままとなるので色再現性が問題となるが、さらにホワイトバランスをとることで、全体の差分が無くなるようにすることができる。このように、差分の変化点（係数ηに相当）に対して、それに好都合な式の演算を行なうことで、補正演算の誤差を小さくすることができる。
下に凸の依存性を示す式としては、前記式（１４−１）に示したような差（Ｓ−η）の２次式あるいは一般的な非線形式がこれに当てはまるが、必ずしも多次式とは限らないのである。たとえば、式（１４−２）や式（１４−３）のように、値ηＢより大きいときと小さい場合で依存性が変わるような式でも、同じような効果が得られるのである。
＜色分離フィルタ配列；第３例＞
図７３および図７４は、補正演算により可視光カラー画像と赤外光画像をそれぞれ独立に求めることを常時可能にする色分離フィルタの配置例の具体例の第３例（以下第３具体例という）を示す図である。この第３具体例は、可視光カラー画像に対する補正用の検知領域として、赤外光とともに可視光内のある特定の波長成分を受光・検知する検知領域を設ける点に特徴を有する。
一例として、図６９に示す第２具体例の構成における白色補正画素１２Ｗを、緑色フィルタ１４ＧIRが配された画素に置き換える。この場合、画素１２IRでは、赤外光IRと可視光VLの内の緑色との混合成分を受光できるようになる。この緑色フィルタ１４ＧIRが配された画素１２IRを緑色補正画素１２GIR と呼ぶ。可視光を検知する緑色フィルタ１４Ｇが配された画素１２Ｇでは赤外光領域に対して感度を有する必要はないが、緑色補正画素１２GIR では赤外光領域に対して感度を有するようにすることが必要になる点に留意する。
この場合、原色フィルタＲ，Ｇ，Ｂを通して対応する検知部で検知することで可視光カラー画像を撮像できるとともに、補正用の緑色フィルタＧを通して対応する検知部で検知することで赤外光画像、もしくは赤外光と緑色光の混在画像を可視光カラー画像とは独立かつ同時に撮像することができる。
たとえば、赤外光IRと緑色光の混合成分を受光する画素１２IRからの画素データをそのまま用いることで、赤外光IRと緑色光の混合成分の像を得ることができ、感度を高くすることができる。また、赤外光IRと緑色光の混合成分の像とともに可視光VLの像が得られるが、可視光VLの像における緑色成分との差分を取ることで、赤外光IRのみの像が得られる。また、この補正用の緑色フィルタＧを配した画素から得られる混在画像信号は、原色フィルタＲ，Ｇ，Ｂを配した画素から得られる可視光カラー画像に対しての補正信号としても利用する。
補正演算処理に当たっては、第１や第２の具体例と同様に、式（５−１）や式（６）をそのまま適用することができる。また、信号ＳGIR から赤外光成分の信号ＳIRを見積もるに際しては、第２具体例における信号ＳＷを緑色補正画素１２GIR から得られる信号ＳGIR に置き換え、可視光成分の信号ＳVLは緑色成分についてのみ用いるようにすればよく、式（１０−５）を式（１５）のように置き換えるとよい。
なお、緑色補正画素１２GIR から得られる信号ＳGIR には、赤外光成分だけでなく緑色光成分も含まれるので、この緑色光成分を使って可視光カラー画像撮像用の原色フィルタ１４Ｒ，１４Ｇ，１４Ｂが配された画素から得られる信号に補正を加える（実際には加算演算処理を行なう）ことで、可視光カラー画像の高感度化や高解像度化を図ることもできる。
この点は、第２具体例において白色補正画素１２Ｗを用いる場合も同様であり、白色補正画素１２Ｗで検知される可視光成分（Ｒ，Ｇ，Ｂ）を使って可視光カラー画像撮像用の原色フィルタ１４Ｒ，１４Ｇ，１４Ｂが配された画素から得られる信号に補正を加える（実際には加算演算処理を行なう）ことで、可視光カラー画像の高感度化や高解像度化を図ることもできる。
なお、第３具体例では、可視光カラー画像撮像用の色フィルタ１４として、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを用いていたが、補色フィルタＣｙ，Ｍｇ，Ｙｅや原色フィルタＧとの組合せを用いることもできる。
また、第２具体例や第３具体例の構成においても、原理的には、白色補正画素１２Ｗや緑色補正画素１２GIR を設けるようにすることで、第１具体例における変形例と同様に、回折格子５０１を利用した分光イメージセンサ５１１や半導体の深さ方向における波長による吸収係数の違いを利用した固体撮像素子６１１にも適用できる。
ただし、それぞれのセンサ構造の特徴から分かるように、可視光カラー画像を取得するための検知領域と赤外光画像を取得するための検知領域が、半導体の面方向もしくは深さ方向に分離され、可視光カラー画像を取得するための色フィルタ１４を設けることで、自動的に、赤外光画像検知領域にて赤外光成分も取得できる構造であるので、積極的に、補正用の白色フィルタや緑色フィルタを配した画素を設けるのは得策ではない。
なお、第１〜第３の具体例の何れにおいても、補正用の色フィルタを配する画素を赤外光を検知する画素として使うことができるので、赤外光による光通信や距離測定など高機能化が達成できるし、可視光とともに赤外光も同時に検出してイメージ化できる。これによって、同じイメージセンサで、眼で見ることができる可視光のイメージ像、特に色合いが正確な（色再現性の良好な）カラー画像と対応して、眼で見ることのできない赤外光の像情報を同時に受けることができる。これによって暗視カメラなどの新しい情報システムのキーデバイスとして応用が広がる。
たとえば、赤外線の発光点を予め用意してそれを追跡することで、可視光カラー画像の像の中にある赤外光の発光点の位置を検出することができる。また、可視光のない、たとえば夜間においても赤外光を照射して撮像することで鮮明な赤外光画像を得ることができるので、防犯用のイメージセンサとしての応用も可能である。
＜色分離フィルタの他の配置例＞
図７５〜図８１は、誘電体積層膜１を利用した分光イメージセンサ１１に、可視光カラー画像に対する補正用の画素を設ける場合における解像度低下を考慮した画素配列を説明する図である。
画素配列に関して言えば、図６１や図６８のような配列構造を適用した場合、単純に従来のＲＧＢ原色フィルタやＣｙＭｇＹｅ補色フィルタ（あるいは原色フィルタＧ）の可視光の画素に赤外光（または赤外光と可視光の混合）検知用の画素を追加することになる。
たとえば、本来、可視光カラー画像撮像用の緑色画素Ｇやマゼンタ色画素Ｍｇが、黒色補正画素や白色補正画素や緑色補正画素もしくはマゼンタ色補正画素に置き換わることになり、可視光カラー画像および赤外光画像の何れについても、解像度低下を招く可能性がある。たとえば、従来のＲＧＢベイヤ配列のＧの１つの画素を赤外画素に置き換えると、解像度が低下する。しかしながら、補正画素と解像度に大きく寄与する波長成分の画素（たとえば緑色画素Ｇ）の配置態様を工夫することで、この解像度低下の問題を解消することができる。
この際に重要なことは、従来と同様に、各色のフィルタをモザイク状に配した色分離フィルタ構造を採用する場合、赤外光（または赤外光と可視光の混在）の画素がある一定の格子間隔を持ってモザイク模様になるようにするとともに、可視光の原色系ＲＧＢまたは補色系ＣｙＭｇＹｅ画素の内の１つの画素がある一定の格子間隔を持ってモザイク模様になるように配置することである。
ここで、「モザイク模様になるようにする」とは、ある色画素に着目したとき、それらがある一定の格子間隔を持って格子状に配列されるようにすることを意味する。必ずしも、その色画素が隣接することを必須とはしない。なお、色画素が隣接する配置態様を採った場合の典型例としては、赤外光の画素とその他の色画素の正方形を互い違い並べた碁盤目模様（市松模様）となるようにする配置態様がある。あるいは、可視光の原色系ＲＧＢまたは補色系ＣｙＭｇＹｅ画素の内の１つの画素とその他の色画素の正方形を互い違い並べた碁盤目模様（市松模様）となるようにする配置態様がある。
＜原色フィルタへの適用例＞
たとえば、ＲＧＢ原色フィルタを用いつつ可視光カラー画像の解像度低下を抑えるには、可視光領域のＧの画素の配置密度を維持し、可視光領域の残りのＲもしくはＢの画素を、補正用の黒画素や白画素や緑色画素に置き換えるとよい。たとえば図７５に示すように、２行２列の単位画素マトリクス１２内において先ず、奇数行奇数列および偶数行偶数列に可視光領域の緑色成分を感知するためのカラー画素Ｇを配し、偶数行奇数列には補正用の黒画素（図７５（Ａ））や白画素（図７５（Ｂ））や緑色画素（図示せず）を配する。
また、単位画素マトリクス１２の列方向の奇数番目においては、行方向の奇数番目の単位画素マトリクス１２における奇数行偶数列に可視光領域の青色成分を感知するためのカラー画素Ｂを配し、行方向の偶数番目の単位画素マトリクス１２における奇数行偶数列に可視光領域の赤色成分を感知するためのカラー画素Ｒを配する。単位画素マトリクス１２の列方向の偶数番目においては、カラー画素Ｂとカラー画素Ｒの配置を逆にする。全体としては、色フィルタ１４の繰返しサイクルは、２×２の単位画素マトリクス１２で完結することになる。
この図７５に示すような配置形態の場合、可視光の原色系ＲＧＢ画素の内の１つの画素Ｇとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、可視光カラー画像における解像度に大きく寄与するカラー画素Ｇの配置密度をベイヤ配列と同じにできるので、可視光カラー画像の解像度の低下はなくなる。
ただし、カラー画素Ｒとカラー画素Ｂの配置密度はベイヤ配列に対して１／２になるのでカラー分解能が低下する。しかしながら、色に関する人間の視感度は、緑Ｇに比べて赤Ｒや青Ｂは劣るので、大きな問題にはならないと考えてよい。一方、補正画素を利用した赤外光画像に関しては、補正画素の配置密度が、可視光領域の緑色成分を感知するためのカラー画素Ｇに対して１／２になるので、分解能は可視光カラー画像よりも劣る。
たとえば、図７６に示すような透過スペクトル特性を呈する黒色フィルタ１４BKを用いて、図７５（Ａ）に示すような配置態様で黒色補正画素を配した、図５２に示される層構造（可視光を受光する画素に対応する断面構造図は図３３）のＣＭＯＳ固体撮像素子（画素回路構成は図４）を図３１の作製プロセス工程のようにして製造して実験をしてみたところ、３原色の可視光の高解像度カラー画像と、カラー画像よりは低解像度ではあるが比較的高解像度の赤外光の像を同時に撮像できることが分かった。
図７６から分かるように、赤外光側で透過特性を呈している。そこで、黒色補正画素から得られる赤外光成分を示す信号を使って、３原色の可視光画素に混入した赤外光成分を上記式（５−１）のようにして補正することで、赤外光成分による色再現性の問題も生じなかった。このような補正をすることで赤外光のある環境下で撮像しても色再現がよく、高感度であることが確かめられた。
また、図７５（Ｂ）に示すような配置態様で白色補正画素を配した、図５２に示される層構造（可視光を受光する画素に対応する断面構造図は図３３）のＣＭＯＳ固体撮像素子（画素回路構成は図４）を図３１の作製プロセス工程のようにして製造して実験をしてみたところ、３原色の可視光の高解像度カラー画像と、カラー画像よりは低解像度ではあるが比較的高解像度の赤外光と可視光とが混在した画像を同時に撮像でき、また３原色の可視光画素Ｒ，Ｇ，Ｂで検知される青、赤、緑の強度を減じることで、赤外光のみの画像を同時に撮像できることが分かった。
また、上記式（１０−５）のようにして、白色補正画素から得られる可視光成分と赤外光成分の混合成分から赤外光成分を示す信号を抽出し（見積もり）、この抽出した赤外光成分を示す信号を使って、３原色の可視光画素に混入した赤外光成分を上記式（５−１）のようにして補正することで、赤外光成分による色再現性の問題も生じなかった。このような補正をすることで赤外光のある環境下で撮像しても色再現がよく、高感度であることが確かめられた。
また、白色補正画素から得られる可視光成分を使って、３原色の可視光画素に基づき得られる輝度信号に補正を加えることで、色再現性とは独立して、可視光カラー画像の高感度化を図ることができることも確かめられた。
また、飽和しないように、全ての画素を短い時間で露光し電荷信号を読み出し、さらに短い時間で読み取った信号を２回以上積算することで、大きい信号に変換することができ、暗い環境下で撮像しても、また明るい環境下で撮像しても、適切な感度が得られ、ダイナミックレンジが広がることを確認した。
また、図７５（Ａ）に示すような黒色補正画素と多層膜を組み合わせた構造や図７５（Ｂ）に示すような白色補正画素と多層膜を組み合わせた構造は、ＣＭＯＳ固体撮像素子のみならず、図６３に示されるようなＣＣＤ構造に作製しても同様な効果が確認された。
また、赤外光画像の解像度低下を抑えるには、たとえば図７７に示すように、図７５に示す可視光領域の緑色成分を感知するためのカラー画素Ｇと、補正用の黒画素（図７７（Ａ））や白画素（図７７（Ｂ））や緑色画素（図示せず）の配置を入れ替えるとよい。この場合、補正画素としての赤外光の画素とその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、補正画素の配置密度をベイヤ配列の場合と同じにできるので、赤外光画像の解像度の低下はなくなる。ただし、可視光カラー画像における解像度に大きく寄与するカラー画素Ｇの配置密度は、補正画素に対して１／２になるので、可視光カラー画像は、赤外光画像の分解能よりも劣る。カラー分解能に関しては、図７５の場合と同様である。
たとえば、図７６に示すような透過スペクトル特性を呈する黒色フィルタ１４BKを用いて、図７７（Ａ）に示すような配置態様で黒色補正画素を配したＣＣＤ固体撮像素子（画素回路構成は図３、可視光を受光する画素に対応する断面構造図は図６３）を製造して実験をしてみたところ、高解像度の赤外光画像と、赤外光画像よりは低解像度ではあるが比較的高解像度の可視光カラー画像を同時に撮像できることが分かった。
図７６から分かるように、赤外光側で透過特性を呈している。そこで、黒色補正画素から得られる赤外光成分を示す信号を使って、３原色の可視光画素に混入した赤外光成分を上記式（５−１）のようにして補正することで、赤外光成分による色再現性の問題も生じなかった。このような補正をすることで赤外光のある環境下で撮像しても色再現がよく、高感度であることが確かめられた。
また、図７５（Ｂ）に示すような配置態様で白色補正画素を配したＣＣＤ固体撮像素子（画素回路構成は図３、可視光を受光する画素に対応する断面構造図は図６３）を製造して実験をしてみたところ、高解像度の赤外光と可視光とが混在した画像を同時に撮像でき、また３原色の可視光画素Ｒ，Ｇ，Ｂで検知される青、赤、緑の強度を減じることで高解像度の赤外光のみの画像を撮像でき、同時に、赤外光画像よりは低解像度ではあるが比較的高解像度の可視光カラー画像を撮像できることが分かった。
また、上記式（１０−５）のようにして、白色補正画素から得られる可視光成分と赤外光成分の混合成分から赤外光成分を示す信号を抽出し（見積もり）、この抽出した赤外光成分を示す信号を使って、３原色の可視光画素に混入した赤外光成分を上記式（５−１）のようにして補正することで、赤外光成分による色再現性の問題も生じなかった。このような補正をすることで赤外光のある環境下で撮像しても色再現がよく、高感度であることが確かめられた。
また、白色補正画素から得られる可視光成分を使って、３原色の可視光画素に基づき得られる輝度信号に補正を加えることで、色再現性とは独立して、可視光カラー画像の高感度化を図ることができることも確かめられた。
また、飽和しないように、白画素のみをオーバーフローを用いて短い時間で電荷を読み出し、さらに短い時間で読み取った信号を２回以上積算することで、大きい信号に変換することができ、暗い環境下で撮像しても、また明るい環境下で撮像しても、適切な感度が得られ、ダイナミックレンジが広がることを確認した。
また、図７７（Ａ）に示すような黒色補正画素と多層膜を組み合わせた構造や図７７（Ｂ）に示すような白色補正画素と多層膜を組み合わせた構造は、ＣＣＤ固体撮像素子のみならず、ＣＭＯＳ固体撮像素子構造で作製しても同様な効果が確認された。
図７８は、可視光カラー画像に対する補正用の画素を設ける場合における他の画素配列を説明する図である。この変形態様は、補正用の画素に配する色フィルタの色を複数組み合わせる点に特徴を有する。たとえば、図７８に示す例では、第１具体例と第２具体例とを組み合わせており、補正用の画素として黒色フィルタ１４BKと白色フィルタ１４Ｗとを単位画素マトリクス１２に対して交互に配している。ここで、図７８（Ａ）は図６１と図６８との組合せ、図７８（Ｂ）は図７５（Ａ），（Ｂ）の組合せ、図７８（Ｃ）は図７７（Ａ），（Ｂ）の組合せである。
このような組合せの配置態様とすることで、たとえば白色補正画素１２Ｗは主に高感度化のために使用し、黒色補正画素１２BKは色補正のために使用することができる。もちろん、白色補正画素１２Ｗを色補正のために使用することもできる。
＜補色フィルタへの適用例＞
また、ＣｙＭｇＹｅ補色フィルタを用いつつ可視光カラー画像の解像度低下を抑えるには、可視光領域のＭｇの画素の配置密度を維持し、可視光領域の残りのＲもしくはＢの画素を、補正用の黒画素や白画素や緑色画素に置き換えるとよい。たとえば図７９に示すように、２行２列の単位画素マトリクス１２内において、先ず、奇数行奇数列および偶数行偶数列に可視光領域のマゼンタ色成分を感知するためのカラー画素Ｍｇを配し、偶数行奇数列には補正用の黒画素（図７９（Ａ））や白画素（図７９（Ｂ））やマゼンタ色画素（図示せず）を配する。なお、マゼンタ色Ｍｇの内の一方を緑色Ｇに置き換えることもできる。
この場合、可視光の補色系ＣｙＭｇＹｅ画素の内の１つの画素Ｍｇとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、可視光カラー画像における解像度に大きく寄与するカラー画素Ｍｇの配置密度をベイヤ配列と同じにできるので、可視光カラー画像の解像度の低下はなくなる。
なお、カラー画素Ｃｙとカラー画素Ｙｅの配置密度はカラー画素Ｍｇの配列に対して１／２になるのでカラー分解能が低下するが、色に関する人間の視感度は低く大きな問題にはならないと考えてよい。また、補正画素を利用した赤外光画像に関しては、補正画素（赤外光画素）の配置密度が、可視光領域のマゼンタ色成分を感知するためのカラー画素Ｍｇに対して１／２になるので、分解能は可視光カラー画像よりも劣る。
また、赤外光画像の解像度低下を抑えるには、たとえば図８０に示すように、可視光領域のマゼンタ色成分を感知するためのカラー画素Ｍｇと、補正用の黒画素（図８０（Ａ））や白画素（図８０（Ａ））やマゼンタ色画素（図示せず）の配置を入れ替えるとよい。この場合、補正画素としての赤外光の画素とその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、補正画素の配置密度をベイヤ配列の場合と同じにできるので、赤外光画像の解像度の低下はなくなる。ただし、可視光カラー画像における解像度に大きく寄与するカラー画素Ｍｇの配置密度は、補正画素に対して１／２になるので、可視光カラー画像は、赤外光画像の分解能よりも劣る。カラー分解能に関しては、図７９の場合と同様である。
なお、解像度低下を抑えるための上記の配置態様例では、緑色Ｇまたはマゼンタ色Ｍｇの画素をできるだけ高密度でモザイク模様（定型例としての市松模様）となるように配置していたが、その他の色（Ｒ，ＢまたはＣｙ，Ｙｅ）の画素を市松模様となるように配置しても、ほぼ同様の効果を得ることができる。もちろん、解像度や色分解能を高める上では、視感度の高い色成分のフィルタをできるだけ高密度でモザイク模様となるように配置するのが好ましい。
＜斜め配置への適用例＞
なお、上記例では、正方格子状に色フィルタを配置する事例を説明したが、斜め格子状に配列することもできる。たとえば、図８１（Ａ）に示す配置態様は、図７５（Ｂ）に示す配置態様を、右回りに略４５度だけ回転させた状態の画素配列になっている。また図８１（Ｂ）に示す配置態様は、図７７（Ｂ）に示す配置態様を、右回りに略４５度だけ回転させた状態の画素配列になっている。このように、斜め格子状に配列すると、垂直方向と水平方向の各画素密度が増すことになり、その方向での解像度をさらに高くすることができるのである。
＜＜実験例；黒色補正画素＞＞
図８２〜図９３は、黒色補正画素を用いて、可視光カラー画像の色再現性を補正する仕組みの実験例を説明する図である。
先ず、図８２は、黒色補正画素を適用する場合に実験で用いた白黒カメラの概要を示す図である。この実験例では、ソニー（株）の白黒カメラXCL-X700をベースに、色フィルタを追加することで実験を行なった。白黒カメラXCL-X700（以下実験用カメラともいう）の基本的な性能は、たとえば、１／２インチ型，全画素読出し（プログレッシブ）のもので、有効画素数１０３４×７７９、撮像画素数１０２４×７６８、画素サイズ６．２５ｕｍとなっている。
図８３は、実験用カメラと色フィルタの分光感度特性図である。図中の全波長画素は、白黒用の実験用カメラの特性そのものである。また、Ｒ，Ｇ，Ｂの各画素は、実験用カメラにＲ，Ｇ，Ｂの各色フィルタを配置した場合のものであって、重付けの補正を加えた結果を示している。
図８４は、Ｇ色および赤外光カットフィルタと補正画素に用いる黒色フィルタの各透過スペクトル図である。赤外光カットフィルタの理想的な透過特性は、可視光領域（波長７００ｎｍ未満）では“１”、赤外光領域（波長７００ｎｍ以上）では“０”であるが、図示するように、可視光領域では若干のロスがあるし、赤外光領域でも若干の透過がある。
このため、Ｇ色の透過スペクトルは、赤外光カットフィルタの有無により、透過率が若干異なる（当然に赤外光カットフィルタ無しの方が透過率が高い）。また、赤外光カットフィルタ無しの場合、赤外光領域で若干の透過、すなわち赤外光の漏れ成分（ＩＲ漏れ光）が存在する。この赤外光の漏れ成分は、黒色フィルタを使うことで、可視光成分と分離して取得できることになる。
図８５は、測色の指標として使用するマクベスチャートにおける色票番号（１サイクル；２４色分）の対応を示す図である。また図８６は、実験用カメラと緑色フィルタＧを用いてマクベスチャートを撮像して得た生の画像データに基づく画像（ローデータ画像）を示す図である。撮像条件としては、光源として２０Ｗ白熱電球と蛍光灯とを用い、実験用カメラのレンズＦ２．８に対して絞りをｆ２．８、シャッタースピードを１／２．８秒とした。
ここで、図８６（Ａ）は赤外光カットフィルタを用いない場合の緑色画像Ｇ（ＩＲカット無し）であり、図８６（Ｂ）は赤外光カットフィルタを用いた場合の緑色画像Ｇ（ＩＲカット有り）であり、図８６（Ｃ）はその差分画像、すなわち緑色フィルタＧの赤外光漏れ成分の画像である。図８７は、図８６に示した撮像結果の、マクベスチャートの色票番号ごとに信号レベル（実測値）を表わした図である。
図８６の各図の比較あるいは図８７から分かるように、マクベスチャートの各色票を撮像したＧ色フィルタ画素出力の信号レベルが、赤外光カットフィルタの有無によって異なっている。
図８８は、実験用カメラと補正画素としての黒色フィルタBKを用いてマクベスチャートを撮像して得た生の画像データに基づく画像（ローデータ画像）を示す図である。撮像条件は、図８６の場合と同じである。ここで、図８８（Ａ）は黒色フィルタBKの画像（黒色フィルタ画像Ｂｒ）であり、図８８（Ｂ）は比較例としての、緑色フィルタＧの赤外光漏れ成分の画像（図８６（Ｃ）と同様のもの）である。
図８９は、黒色フィルタ画像Ｂｒに所定の係数αＧを掛けた黒色補正画像Ｂｒcorrを示す図である。撮像条件は、図８６の場合と同じである。ここで、図８９（Ａ）は係数αＧ＝０．１８の場合の黒色補正画像Ｂｒcorrであり、図８９（Ｂ）は比較例としての、緑色フィルタＧの赤外光漏れ成分の画像（図８６（Ｃ）と同様のもの）である。
この両者の画像を比べると分かるように、マクベスチャートの各色票の信号レベルが何れも概ね同じ状態となっている。つまり、緑色フィルタＧの出力に現われる赤外光の漏れ成分を黒色フィルタBKを使うことで可視光成分と分離して取得できている。したがって、図８６（Ｂ）に示した緑色画像Ｇ（ＩＲカット有り）の画像と黒色補正画像Ｂｒcorrとの差分をとることで緑色補正済画像Ｇ＊が得られ、赤外光カットフィルタを用いなくても、緑色画像から赤外光漏れ成分を除去できる。
たとえば、図９０および図９１は、黒色補正画像を用いたＧ色画像に対する補正効果の一例を示している。ここで図９０（Ａ）は緑色画像Ｇ（ＩＲカット無し）（図８６（Ａ）と同様のもの）であり、図９０（Ｂ）は緑色画像Ｇ（ＩＲカット有り）（図８６（Ｂ）と同様のもの）であり、図９０（Ｃ）は緑色画像Ｇ（ＩＲカット無し）と黒色補正画像Ｂｒcorrとの差分画像すなわち緑色補正済画像Ｇ＊である。また、図９１は、図９０（Ｃ）に示した差分結果（緑色補正済画像）の、マクベスチャートの色票番号ごとに信号レベル（実測値）を表わした図である。
図９０（Ａ）と図９０（Ｃ）の比較あるいは図９１から分かるように、マクベスチャートの各色票の信号レベルが何れも概ね同じ状態となっている。つまり、赤外光カットフィルタを用いなくても緑色画像から赤外光漏れ成分を概ね除去できている。赤外光カットフィルタを用いなくても、赤外光カットフィルタを用いた場合とほぼ同等の信号を取得することができるので、赤外光カットフィルタを用いた場合とほぼ同等の、十分な色再現性の可視光カラー画像を取得できる。
ただし、図９１から分かるように、赤外光カットフィルタがある場合との差が若干ではあるが存在する。この差は、図８４ に示したように、Ｇ色の可視光領域での透過スペクトルが赤外光カットフィルタの有無により差を持つことが原因であると考えられる。よって、この影響を補正するには、単純に緑色画像Ｇ（ＩＲカット無し）と黒色補正画像Ｂｒcorrとの差分をとるのではなく、予め緑色画像Ｇ（ＩＲカット無し）に対して感度補正を加えておくのがよいと考えられる。この感度補正に当たっては、黒色フィルタBKの画素信号を用いるのがよい。
つまり、この場合の補正演算に当たっては、式（５−１）のように、本来の可視光波長領域における各色信号成分に赤外光の漏れ信号成分が加わった色信号成分ＳＣｙ，ＳＭｇ，ＳＹｅ，ＳＧから赤外光信号成分ＳIRに所定の係数αＲ，αＧ，αＢを掛けた補正信号成分を減算するだけでなく、式（５−２）のように、色信号成分ＳＣｙ，ＳＭｇ，ＳＹｅ，ＳＧに対して予め赤外光信号成分ＳIRに所定の係数εＲ，εＧ，εＢを掛けた値で感度補正を加えておき、この感度補正が加えられたものから赤外光信号成分ＳIRに所定の係数αＲ，αＧ，αＢを掛けた補正信号成分を減算することで、高精度な補正を行なうようにするとよい。
たとえば、図９２および図９３は、その高精度な補正効果の一例を示している。ここで図９２（Ａ）は緑色画像Ｇ（ＩＲカット有り）（図８６（Ｂ）と同様のもの）であり、図９２（Ｂ）は式（５−２）に従って係数αＧ＝０．１１、εＧ≒０．００１２として高精度な補正を行なった場合の緑色補正済画像Ｇ＊＊である。また、図９３は、図９２（Ｂ）に示した差分結果（緑色補正済画像Ｇ＊＊）の、マクベスチャートの色票番号ごとに信号レベル（実測値）を表わした図である。
図９２（Ａ）と図９２（Ｂ）の比較あるいは図９３から分かるように、マクベスチャートの各色票の信号レベルが何れも殆ど同じ状態となっている。つまり、赤外光カットフィルタを用いなくても緑色画像から赤外光漏れ成分を殆ど除去できている。赤外光カットフィルタを用いなくても緑色画像から赤外光漏れ成分をほぼ完全に除去できることになる。赤外光カットフィルタを用いなくても、赤外光カットフィルタを用いた場合と同等の信号を取得することができるので、赤外光カットフィルタを用いた場合と同等の、十分な色再現性の可視光カラー画像を取得できる。
たとえば白色補正画素１２Ｗから得られる信号ＳＷには、赤外光成分だけでなく可視光成分も含まれるので、この可視光成分の信号ＳVLを使って、可視光カラー画像撮像用の原色フィルタ１４Ｒ，１４Ｇ，１４Ｂが配された画素に基づき得られる輝度信号に補正を加える（実際には加算演算処理を行なう）ことで、色再現性とは独立して、可視光カラー画像の高感度化を図ることもできる。
＜＜実験例；白色補正画素＞＞
図９４〜図１０１は、白色補正画素を用いて、可視光カラー画像の色再現性を補正する仕組みの実験例を説明する図である。
先ず、図９４は、白色補正画素を適用する場合での実験時の環境条件を示す図である。この実験例では、ソニー（株）の白黒カメラXCX495M（以下実験用カメラともいう）をベースに、Ｒ，Ｇ，Ｂの原色フィルタを追加することで原色画素１２Ｒ，１２Ｇ，１２Ｂを設けるとともに、擬似ＭＬＴフィルタを設けることで白色補正画素１２Ｗを構成して実験を行なった。また、白色補正画素１２Ｗを設けることの効果を検証するべく、擬似ＭＬＴフィルタに代えてＩＲカットフィルタ（Ｃ５０００）有りと無しとを切り替えるようにもした。
ここで、「擬似ＭＬＴフィルタ」とは、Ｓｉ３Ｎ４／ＳｉＯ２多層膜（５周期）の透過特性にほぼ等しいＩＲカットフィルタであり、（株）大真空製のＣ５０００のフィルタの厚みが１．６ｍｍに対して０．４ｍｍの薄いものである。
なお、白色補正画素１２Ｗを設ける場合の画素配列としては、前述の図６８（Ａ），図７５（Ｂ），図７７（Ｂ）などのものとすることができる。
また、色温度2600Ｋ，2800Ｋ，3000Ｋの３種類のハロゲンランプと、色温度3000〜7000Ｋの３種類の蛍光灯ＥＣＷ（具体的には昼光色，昼白色，電球色の各蛍光灯）とを光源条件として、測色の指標として使用するマクベスチャートと解像度評価用の解像度チャートとを撮像した。
図９５は、通常のＩＲカットフィルタＣ５０００と、擬似ＭＬＴフィルタの透過特性を示す図である。図から分かるように、ＩＲカットフィルタＣ５０００に代えて擬似ＭＬＴフィルタを用いることで、可視光帯の全波長成分を十分な強度で透過させることができるとともに、赤外光帯では、Ｒ，Ｇ，Ｂの原色フィルタの透過強度に比べて十分な強さで透過させる特性にすることができる。
図９６は、実験用カメラと擬似ＭＬＴフィルタを適用した場合の色フィルタの分光感度特性図である。図から分かるように、擬似ＭＬＴフィルタを適用した場合、赤外光領域（波長７００ｎｍ以上）では、Ｒ，Ｇ，Ｂの原色フィルタ成分に、赤外光（ＩＲ）の漏れ成分（ＩＲ漏れ光）が存在する。
図９７は、全体の処理手順を示すフローチャートである。ＩＲカットフィルタＣ５０００を用いた場合と擬似ＭＬＴフィルタを用いた場合との違いは、赤外光補正処理部３４２にての前述の式（５）や式（１２）を適用した色補正演算処理（Ｓ１０４）が存在するか否かだけである。
すなわち、撮像信号処理部３３０は、先ず実験用カメラより生の撮像信号（ raw出力）を取得する（Ｓ１００）。前処理部３３２は、実験用カメラから出力された生の撮像信号、すなわちセンサ出力信号（可視光撮像信号ＳVL（詳しくはＲ，Ｇ，Ｂの各色成分ＳＲ，ＳＧ，ＳＢ）および赤外光撮像信号ＳIR）に対して黒レベル調整やゲイン調整やガンマ補正などの前処理を行なう（Ｓ１０２）。この後、擬似ＭＬＴフィルタを用いた場合には、画像信号処理部３４０の赤外光補正処理部３４２は、式（５）や式（１２）を適用した色補正演算処理を実行する（Ｓ１０４）。
さらに、画像信号処理部３４０は、ホワイトバランス（ＷＢ）用の規格化処理（Ｓ１０６）や明度信号の規格化処理（Ｓ１０８）を実行することで、ビットマップデータを取得する（Ｓ１１０）。そして、評価用の色データを取得する（Ｓ１２０）。
評価用の色データを取得する（Ｓ１２０）に当たっては、先ず、Ｒ，Ｇ，Ｂ信号（ここではｓＲＧＢ信号）を線形化処理し（Ｓ１２２）、ＣＩＥ（Commission Internationale d'Eclairage ）で１９３１年に採択された等色関数ｘ（λ），ｙ（λ），ｚ（λ）に基づく３色表色系のＸＹＺ表色系信号に変換する（Ｓ１２４）。さらに、ＣＩＥが１９７６年に定めた均等色空間のひとつであるＬａｂ表色系の色信号に変換する（Ｓ１２６）。
このようにして、ＩＲカットフィルタＣ５０００を用いた場合と擬似ＭＬＴフィルタを用いた場合のそれぞれでＬａｂ信号を取得したら、それぞれ前記式（４）に従って色差ΔＥａｂを求め、それぞれの色差を比較する（Ｓ１３０）。
式（５）や式（１２）を適用する場合の各係数α，β，γは、ニュートン法を用いて誤差が小さくなるように算術計算で求めるが、ここでは、一例として、α，γは、下記式（１６−１）であるものとする。また、式（１２）を適用する場合の各係数ω，ηは、下記式（１６−２）であるものとする。
式（１６−２）では、原色系フィルタの実験用カメラを測定した結果を元に、最も色差が小さくなるように係数を求めたものであり、ωＲ，ωＧの値が“０”であるが、係数は、デバイスに固有なものであるため、デバイスごとに値が異なってくるので、別のデバイスの場合、“０”でないこともある。
図９８は、ハロゲン光源（色温度3000Ｋ）の環境下でマクベスチャートの２４色を撮影して、演算で補正前後の色差を求めた結果を示す図である。この図９８は、補正をしてないときの色差と、式（５）を適用した線形項のみでの補正演算による色差と、式（１２）を適用した非線形項も含む補正演算による色差とを比較できるようにグラフ化した図である。ここで、横軸はマクベスチャートの各色の番号を表している。
図９８から分かるように、補正前の平均色差７．３６に対して、補正後の平均色差は、式（５）を適用した場合には３．９５が限界である。しかしながら、さらに式（５）を改善して式（１２）を適用して非線形項を用いた補正を加えることで、３．０１とさらに色差を減少することができ、色再現を改善することができることが分かる。
図９９は、ハロゲン光源（色温度3000Ｋ）の他、色温度2600Ｋ，2800Ｋの２種類のハロゲンランプと、昼光色，昼白色，電球色の３種類の蛍光灯とについて、色差の測定結果を纏めた図表である。ここでは、補正なしの場合と式（１２）を適用した補正ありの場合を示している。
図９９から分かるように、何れの光源下においても、式（１２）を適用して非線形項を用いてＩＲ漏れ光に対する補正を行なうことで、平均色差を補正前に比べて十分に小さくすることができる。ハロゲン光源（色温度2800Ｋ）の場合でも、ΔＥａｂ＝４．０６４＜５とすることができ、可視光成分に赤外光の入射分があっても式（１２）を適用した補正によって十分な色再現が可能であることが分かる。なお、ハロゲン光源（色温度2600Ｋ）の場合には、ΔＥａｂ＝６．１４＞５であり、色再現性に問題は残る。
＜ノイズについて＞
なお、式（５）や式（１２）などを適用して補正演算を行なうと、この補正演算に伴うノイズ（Ｓ／Ｎ）劣化が懸念される。しかしながら、実験によれば、問題のないことが分かった。以下、この点について説明する。
先ず、式（５）を適用した場合のノイズＮは、Ａ色成分（ここではＡ色は白色に相当する），Ｒ色成分，Ｇ色成分，Ｂ色成分の間に相関性がないと仮定して、下記式（１７）に示すように、分散σの相乗平均計算で求めることができる。
また、式（１２）を適用した場合は、各係数ω，ηが前記式（１６−２）である場合、赤外光成分IRと青色成分Ｂとは下記式（１８）に示すようになる。
したがって、たとえば、青色成分Ｂについては、下記式（１９）が得られ、青色成分ＢについてのノイズＮＢ* は、式（１９）の左辺にルートをとることで求めることができる。なお、式（１９）と式（１７）との間には、σｂ１＝ＮＢ* ，σａ＝ＮＡ，σｒ＝ＮＲ，σｇ＝ＮＧ，σｂ＝ＮＢの関係がある。
図１００および図１０１は、ハロゲン光源（色温度3000Ｋ）と蛍光灯とについて、ノイズの見積もり値と実測値とを纏めた図表である。図１００および図１０１から分かるように、通常のＩＲカットフィルタＣ５０００を用いた場合に対して、式（１２）を適用して非線形項を用いてＩＲ漏れ光に対する補正を行なった場合、ハロゲン光源（色温度3000Ｋ）では−０．５３０ｄＢ（見積），−０．７８４ｄＢ（実測）、蛍光灯では＋２．８５４ｄＢ（見積），＋０．３８３ｄＢ（実測）となり、何れの光源下でも、ノイズ劣化はさほど問題にならないことが確認された。
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
たとえば、上述の技術は必ずしも可視光と赤外光の分光と、その分光成分を独立に検知することで可視光像と赤外光像とを個別に取得する技術に限ったものではない。たとえば、可視光と紫外光の分光や検知も可能となり、可視光とともに紫外光も同時に検出してイメージ化できる。また、同時に検出する可視光については、分光せずにモノクロ画像を検知することに限らず、上述のようにして色別の色フィルタを用いて可視光帯内をたとえば３原色成分に分光することでカラー画像を検知することもできる。
これにより、眼で見ることができる可視光のイメージ像（モノクロ画像あるいはカラー画像）と対応して、眼で見ることのできない紫外光の像情報を同時に取得することができる。これによって光合成監視カメラなどの新しい情報システムのキーデバイスとして応用が広がる。
補正演算により可視光カラー画像と赤外光画像をそれぞれ独立に求めることを常時可能にする色分離フィルタの配置例の基本構造を示す図である。 本発明に係る撮像装置の概略構成を示す図である。 図１に示す色分離フィルタ配置を、インターライン転送方式のＣＣＤ固体撮像素子に適用した場合の撮像装置の回路図である。 図１に示す色分離フィルタ配置を、ＣＭＯＳ固体撮像素子に適用した場合の撮像装置の回路図である。 可視光像と赤外光画像とを分離して取得する構造のイメージセンサを用いる場合の信号取得方法の一例を説明する図である。 固体撮像素子の第１実施形態を説明する図である。 積層膜を設計する手法の基本概念を説明する構造図である。 積層膜を設計する手法の基本概念を説明する反射スペクトル図である。 積層膜を設計する手法の基本概念を説明する反射スペクトル図である。。 反射中心波長λの条件を説明する図（反射スペクトルの概念を示した図）である。 反射中心波長λの条件を説明する反射スペクトル図である。 反射中心波長λの条件を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第１実施形態を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第１実施形態における厚み依存性を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第１実施形態を説明する図（反射スペクトル図；詳細）である。 積層膜を利用した単波長分波対応の分光イメージセンサの第１実施形態を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第１実施形態を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第１の変形例を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第１の変形例を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第２の変形例を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第２の変形例を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第３の変形例を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第３の変形例を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第３の変形例における厚み依存性を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第４の変形例（その１）を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第４の変形例（その１）を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第４の変形例（その２）を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第４の変形例（その２）を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第５の変形例を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第５の変形例を説明する反射スペクトル図である。 積層膜を利用したセンサ構造の分光イメージセンサを製造する具体的なプロセス例を示す図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第６の変形例を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第６の変形例を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第６の変形例を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第６の変形例を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第６の変形例を説明する図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第６の変形例を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第６の変形例を説明する反射スペクトル図である。 固体撮像素子の第２実施形態を説明する図である。 回折格子を利用した分光イメージセンサの基本構成を説明する概念図である。 図４０に示した分光イメージセンサの１つのフォトダイオード群を拡大して示した図である。 回折格子をＳｉ基板の入射面側に配した分波イメージセンサの他の実施形態（赤外光対応）を説明する図である。 赤外光対応の分光イメージセンサにおいて使用するＳｉの屈折率と消衰係数の波長分散の関係を示す図表である。 図４２に示す構造を持つ分光イメージセンサに受光面から青色光（波長４６０ｎｍ）を入れたときの分光手法を説明する計算シミュレーション図である。 図４２に示す構造を持つ分光イメージセンサに受光面から緑色光（波長５４０ｎｍ）を入れたときの分光手法を説明する計算シミュレーション図である。 図４２に示す構造を持つ分光イメージセンサに受光面から赤色光（波長６４０ｎｍ）を入れたときの分光手法を説明する計算シミュレーション図である。 図４２に示す構造を持つ分光イメージセンサに受光面から赤外光（波長７８０ｎｍ）を入れたときの分光手法を説明する計算シミュレーション図である。 図４２に示す構造を持つ分光イメージセンサに受光面から赤外光（波長８８０ｎｍ）を入れたときの分光手法を説明する計算シミュレーション図である。 シミュレーション結果に基づく可視光と赤外光との分光における検出位置の適正例を説明する図である。 図４９の検出位置に対応した赤外光対応のセンサ構造の一構成例を示す断面図である。 固体撮像素子の第３実施形態を説明する図である。 可視光成分に赤外光成分が混入する問題を説明する図（その１）である。 可視光成分に赤外光成分が混入する問題を説明する図（その２）である。 可視光成分に赤外光成分が混入する問題を説明する図（その３）である。 可視光成分に赤外光成分が混入する問題を説明する図（その４）である。 可視光成分に赤外光成分が混入する問題を説明する図（その５）である。 可視光成分に赤外光成分が混入する問題を説明する図（その６）である。 可視光成分に赤外光成分が混入する問題を説明する図（その７）である。 可視光成分に赤外光成分が混入することによる色再現性の影響を説明する図（その１）である。 可視光成分に赤外光成分が混入することによる色再現性の影響を説明する図（その２）である。 補正演算用の色分離フィルタの第１具体例の配置を示す図である。 図６１に示した色分離フィルタの配置を持つＣＣＤ固体撮像素子の構成例を説明する図（斜視図）である。 赤外光と可視光の２つの波長成分を、同時に像として別々に撮像できるようにしたＣＣＤ固体撮像素子の構成例を説明する図（断面構造図）である。 第１具体例において用いる色フィルタの特性例を示す図である。 補正演算で用いる係数の設定手法を説明する図（その１）である。 補正演算で用いる係数の設定手法を説明する図（その２）である。 補正演算で用いる係数の設定手法を説明する図（その３）である。 補正演算用の色分離フィルタの第２具体例の配置を示す図である。 図６８に示した色分離フィルタの配置を持つＣＣＤ固体撮像素子の構成例を説明する図（斜視図）である。 第２具体例における赤外光成分の補正手法を説明する図である。 第２具体例の第３例の補正手法を説明する図（その１）である。 第２具体例の第３例の補正手法を説明する図（その２）である。 補正演算用の色分離フィルタの第３具体例の配置を示す図である。 図７３に示した色分離フィルタの配置を持ち赤外光と可視光の２つの波長成分を、同時に像として別々に撮像できるようにしたＣＣＤ固体撮像素子の構成例を説明する図（斜視図）である。 解像度低下を考慮した画素配列を説明する図（その１）である。 黒色フィルタの透過スペクトル特性の一例を示す図である。 解像度低下を考慮した画素配列を説明する図（その２）である。 解像度低下を考慮した画素配列を説明する図（その３）である。 解像度低下を考慮した画素配列を説明する図（その４）である。 解像度低下を考慮した画素配列を説明する図（その５）である。 解像度低下を考慮した画素配列を説明する図（その６）である。 実験で用いた白黒カメラの概要を示す図である。 実験用カメラと色フィルタの分光感度特性図である。 Ｇ色および赤外光カットフィルタと補正画素に用いる黒色フィルタの各透過スペクトル図である。 測色の指標として使用するマクベスチャートにおける色票番号（１サイクル；２４色分）の対応を示す図である。 実験用カメラと緑色フィルタＧを用いてマクベスチャートを撮像して得た生の画像データに基づく画像を示す図である。 図８６に示した撮像結果の、マクベスチャートの色票番号ごとに信号レベル（実測値）を表わした図である。 実験用カメラと補正画素としての黒色フィルタBKを用いてマクベスチャートを撮像して得た生の画像データに基づく画像を示す図である。 黒色フィルタ画像に所定の係数を掛けた黒色補正画像を示す図である。 黒色補正画像を用いたＧ色画像に対する補正効果の一例を示す画像を表わした図である。 黒色補正画像を用いたＧ色画像に対する補正効果の一例を示す、マクベスチャートの色票番号ごとに信号レベル（実測値）を表わした図である。 黒色補正画像を用いたＧ色画像に対する高精度な補正手法の効果を示す画像を表わした図である。 黒色補正画像を用いたＧ色画像に対する高精度な補正手法の、マクベスチャートの色票番号ごとに信号レベル（実測値）を表わした図である。 白色補正画素を適用する場合での実験時の環境条件を示す図である。 通常のＩＲカットフィルタと擬似ＭＬＴフィルタの透過特性を示す図である。 実験用カメラと擬似ＭＬＴフィルタを適用した場合の色フィルタの分光感度特性図である。 全体の処理手順を示すフローチャートである。 ハロゲン光源（色温度3000Ｋ）の環境下でマクベスチャートの２４色を撮影して、演算で補正前後の色差を求めた結果を示す図である。 各種光源について、色差の測定結果を纏めた図表である。 ハロゲン光源（色温度3000Ｋ）ついて、ノイズの見積もり値と実測値とを纏めた図表である。 蛍光灯について、ノイズの見積もり値と実測値とを纏めた図表である。 特許文献１，２に記載のセンサの仕組みを説明する図である。
符号の説明
１…誘電体積層膜、１０…分光フィルタ、１１…分光イメージセンサ、１２…単位画素マトリクス、１４…色フィルタ、１０１…ＣＣＤ固体撮像素子、１２２…垂直転送ＣＣＤ、１２４…読出ゲート、１２６…水平転送ＣＣＤ、１２８…出力アンプ、２０１…ＣＭＯＳ固体撮像素子、２０５…画素内アンプ、２０７…駆動制御部、２１９…垂直信号線、２２６…カラム処理部、３００…撮像装置、３０２…撮影レンズ、３０４…光学ローパスフィルタ、３１０…撮像部、３１２…色フィルタ群、３１４…固体撮像素子、３２０…駆動部、３３０…撮像信号処理部、３３２…前処理部、３３４…ＡＤ変換部、３３６…補正処理部、３４０…画像信号処理部、３４２…赤外光補正処理部、３４４…輝度信号処理部、３４６…色信号処理部、３４８…赤外信号処理部、３６０…画像切替制御部、５０１…回折格子、５０２…散乱体、５１０…分光イメージセンサ、６１１…撮像素子、６２４…色フィルタ

Claims (17)

  1. 電磁波を検知し、検知された電磁波量に基づいて対応する単位信号を生成して出力する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に同一基板上に配された物理量分布検知のための装置を使用して、前記単位信号に基づいて所定目的用の物理情報を取得する物理情報取得方法であって、
    第１の波長領域の成分とは異なる第２の波長領域の成分をカラーフィルタによって予め抑制した後の前記第１の波長領域の成分を第１の検知部で検知するとともに、少なくとも前記第２の波長領域の成分を含む補正用の波長領域の成分を第２の検知部で検知し、
    所定の係数を前記第２の検知部の検知に基づいて得られる第２の単位信号に掛けた信号成分を、前記第１の検知部の検知で得られる第１の単位信号から減算する線形演算により抑制補正を行い、当該抑制補正によって前記第２の波長領域の成分の影響がさらに抑制された前記第１の波長領域の成分に関わる物理情報を取得する
    物理情報取得方法。
  2. 前記第２の単位信号と前記第１の単位信号との積に所定の係数を掛けた非線形の信号成分を、前記減算の結果にさらに加算することにより前記抑制補正を行なう
    請求項１に記載の物理情報取得方法。
  3. 前記補正用の波長領域の成分は前記第１の波長領域の成分を含まない
    請求項１または２に記載の物理情報取得方法。
  4. 前記補正用の波長領域の成分は前記第１の波長領域の成分を含み、この補正用の波長領域の成分から、前記第１の単位信号を使う補正によって、前記第１の波長領域の成分を排除した前記第２の波長領域の成分のみの前記第２の単位信号を取得し、
    取得した第２の単位信号を用いる前記減算によって、前記第１の単位信号に対して前記抑制補正を行なう
    請求項１または２に記載の物理情報取得方法。
  5. 前記第１の波長領域を含まない成分を検出する第２の検知部の検知で得られる一方の前記補正用の波長領域の単位信号を使って前記第１の単位信号に対して第１の前記抑制補正を行なうとともに、
    前記第１の波長領域を含む成分を検知する第２の検知部の検知で得られる他方の前記補正用の波長領域の単位信号を前記第１の単位信号を使って補正することにより、前記第１の波長領域の成分を排除した前記第２の波長領域の成分のみの前記第２の単位信号を取得し、当該取得した第２の単位信号を用いる前記減算によって、前記第１の単位信号に対して第２の前記抑制補正を行なう
    請求項１または２に記載の物理情報取得方法。
  6. 電磁波を検知し、検知された電磁波量に基づいて対応する単位信号を生成して出力する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に同一基板上に配された物理量分布検知のための装置を使用して、前記単位信号に基づいて所定目的用の物理情報を取得する物理情報取得装置であって、
    第１の波長領域の成分とは異なる第２の波長領域の成分をカラーフィルタによって予め抑制した後の前記第１の波長領域の成分を検知する第１の検知部と、
    少なくとも前記第２の波長領域の成分を含む補正用の波長領域の成分を検知する第２の検知部と、
    所定の係数を前記第２の検知部の検知に基づいて得られる第２の単位信号に掛けた信号成分を、前記第１の検知部の検知で得られる第１の単位信号から減算する線形演算により抑制補正を行い、当該抑制補正によって、前記第２の波長領域の成分の影響がさらに抑制された前記第１の波長領域の成分に関わる物理情報を取得する信号処理部と
    を備える物理情報取得装置。
  7. 電磁波を検知し、検知された電磁波量に基づいて対応する単位信号を生成して出力する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に同一基板上に配された物理量分布検知のための装置であって、
    第１の波長領域の成分とは異なる第２の波長領域の成分をカラーフィルタによって予め抑制した後の前記第１の波長領域の成分を検知する第１の検知部と、
    少なくとも前記第２の波長領域の成分を含む補正用の波長領域の成分を検知する第２の検知部と
    を備えたものを使用して、前記単位信号に基づいて所定目的用の物理情報を取得する物理情報取得装置であって、
    所定の係数を前記第２の検知部の検知に基づいて得られる第２の単位信号に掛けた信号成分を、前記第１の検知部の検知で得られる第１の単位信号から減算する線形演算により抑制補正を行い、当該抑制補正によって、前記第２の波長領域の成分の影響がさらに抑制された前記第１の波長領域の成分に関わる物理情報を取得する信号処理部を備える
    物理情報取得装置。
  8. 前記信号処理部は、前記第２の単位信号と前記第１の単位信号との積に所定の係数を掛けた非線形の信号成分を、前記減算の結果にさらに加算することにより前記抑制補正を行なう
    請求項６または７に記載の物理情報取得装置。
  9. 前記第２の検知部は、前記第１の波長領域の成分を含まない前記補正用の波長領域の成分を検知するものである
    請求項６から８の何れか一項に記載の物理情報取得装置。
  10. 前記第２の検知部は、前記第１の波長領域の成分を含む前記補正用の波長領域の成分を検知するものであり、
    前記信号処理部は、前記第２の検知部の検知で得られる補正用の波長領域の成分の単位信号を前記第１の検知部の検知で得られる単位信号を使って補正することにより、前記第１の波長領域の成分を排除した前記第２の波長領域の成分のみの前記第２の単位信号を取得し、取得した前記第２の単位信号を使って前記第１の単位信号に対して前記抑制補正を行なう
    請求項６から８の何れか一項に記載の物理情報取得装置。
  11. 前記第２の検知部として、前記第１の波長領域の成分を含まない前記補正用の波長領域の成分を検知するものと、前記第１の波長領域の成分を含む前記補正用の波長領域の成分を検知するものとが存在しており、
    前記信号処理部は、前記第１の波長領域を含まない成分を検知する第２の検知部で得られる一方の前記補正用の波長領域の単位信号を使って前記第１の単位信号に対して第１の前記抑制補正を行なうとともに、前記第１の波長領域を含む成分を検知する第２の検知部で得られる他方の前記補正用の波長領域の成分の単位信号を前記第１の単位信号を使って補正することにより、前記第１の波長領域の成分を排除した前記第２の波長領域の成分のみの前記第２の単位信号を取得し、当該取得した第２の単位信号を用いる前記減算によって、前記第１の単位信号に対して第２の前記抑制補正を行なう
    請求項６から８の何れか一項に記載の物理情報取得装置。
  12. 前記第２の検知部の検知時間を制御する駆動部を備え、
    前記信号処理部は、前記駆動部の制御により短縮された時間での複数回の検知が行われたときに、前記第２の検知部から得られる補正用の波長領域の成分の複数の単位信号を積算し、この積算後の前記第２の波長領域の単位信号を前記第２の単位信号として用いる前記減算によって、前記第１の単位信号に対して前記抑制補正を行なう
    請求項１０または１１に記載の物理情報取得装置。
  13. 前記物理量分布検知のための装置において、前記第１の検知部と前記第２の検知部とが、一定の数比を持って周期的に配されている
    請求項６から１２の何れか一項に記載の物理情報取得装置。
  14. 前記物理量分布検知のための装置において、複数の前記第１の検知部に対して１つの前記第２の検知部が配されている
    請求項１３に記載の物理情報取得装置。
  15. 前記物理量分布検知のための装置において、前記第１の検知部と前記第２の検知部とが１対１に配されている
    請求項１３に記載の物理情報取得装置。
  16. 前記物理量分布検知のための装置において、
    前記第１の検知部は前記第１の波長領域の成分をさらに波長分離して検知する複数の検知要素の組合せからなり、
    前記第１の検知部の前記複数の検知要素と前記第２の検知部とが２次元格子状に配されており、かつ、前記複数の検知要素の内のある波長成分を検知するものが市松模様となるように配されている
    請求項１３に記載の物理情報取得装置。
  17. 前記物理量分布検知のための装置において、
    前記第１の検知部は前記第１の波長領域の成分をさらに波長分離して検知する複数の検知要素の組合せからなり、
    前記第１の検知部の前記複数の検知要素と前記第２の検知部とが２次元格子状に配されており、かつ、前記第２の検知部が市松模様となるように配されている
    請求項１３に記載の物理情報取得装置。
JP2006133412A 2005-07-21 2006-05-12 物理情報取得方法および物理情報取得装置 Expired - Fee Related JP4984634B2 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2006133412A JP4984634B2 (ja) 2005-07-21 2006-05-12 物理情報取得方法および物理情報取得装置
US11/458,871 US7755016B2 (en) 2005-07-21 2006-07-20 Physical information acquisition method, physical information acquisition device, and semiconductor device
TW099130894A TW201100766A (en) 2005-07-21 2006-07-20 Physical information acquisition method, physical information acquisition device, and semiconductor device
TW095126541A TW200720637A (en) 2005-07-21 2006-07-20 Physical information acquisition method, physical information acquiring apparatus, and semiconductor apparatus
KR1020060068576A KR101244147B1 (ko) 2005-07-21 2006-07-21 물리 정보 취득 방법, 물리 정보 취득 장치 및 반도체 장치
CN201210171533.7A CN102665083B (zh) 2005-07-21 2006-07-21 物理信息获取方法、物理信息获取装置和半导体器件
CN2006101357581A CN1971927B (zh) 2005-07-21 2006-07-21 物理信息获取方法、物理信息获取装置和半导体器件
US12/604,891 US8035069B2 (en) 2005-07-21 2009-10-23 Physical information acquisition method, physical information acquisition device, and semiconductor device
US13/232,597 US8519319B2 (en) 2005-07-21 2011-09-14 Physical information acquisition method, physical information acquisition device, and semiconductor device
US13/926,893 US8981278B2 (en) 2005-07-21 2013-06-25 Physical information acquisition method, physical information acquisition device, and semiconductor device
US14/603,180 US9591239B2 (en) 2005-07-21 2015-01-22 Physical information acquisition method, physical information acquisition device, and semiconductor device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005211002 2005-07-21
JP2005211002 2005-07-21
JP2006133412A JP4984634B2 (ja) 2005-07-21 2006-05-12 物理情報取得方法および物理情報取得装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011268192A Division JP5187433B2 (ja) 2005-07-21 2011-12-07 物理情報取得方法および物理情報取得装置

Publications (3)

Publication Number Publication Date
JP2007053731A JP2007053731A (ja) 2007-03-01
JP2007053731A5 JP2007053731A5 (ja) 2009-04-02
JP4984634B2 true JP4984634B2 (ja) 2012-07-25

Family

ID=37917833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006133412A Expired - Fee Related JP4984634B2 (ja) 2005-07-21 2006-05-12 物理情報取得方法および物理情報取得装置

Country Status (5)

Country Link
US (5) US7755016B2 (ja)
JP (1) JP4984634B2 (ja)
KR (1) KR101244147B1 (ja)
CN (1) CN102665083B (ja)
TW (2) TW201100766A (ja)

Families Citing this family (168)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1739751B1 (en) * 2005-06-30 2008-07-02 CSEM Centre Suisse d'Electronique et de Microtechnique SA Color image sensor
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP4730082B2 (ja) * 2005-12-22 2011-07-20 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
US7773136B2 (en) * 2006-08-28 2010-08-10 Sanyo Electric Co., Ltd. Image pickup apparatus and image pickup method for equalizing infrared components in each color component signal
JP2008066402A (ja) * 2006-09-05 2008-03-21 Fujifilm Corp 撮像素子および撮像装置
JP4396684B2 (ja) * 2006-10-04 2010-01-13 ソニー株式会社 固体撮像装置の製造方法
JP5034665B2 (ja) * 2007-05-11 2012-09-26 ソニー株式会社 画像入力処理装置、画素信号処理回路、および、エッジ検出方法
JP2008289000A (ja) * 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
US8045022B2 (en) * 2007-06-12 2011-10-25 Fujifilm Corporation Imaging apparatus for correcting a luminance signal
KR100863497B1 (ko) * 2007-06-19 2008-10-14 마루엘에스아이 주식회사 이미지 감지 장치, 이미지 신호 처리 방법, 광 감지 소자, 제어 방법 및 화소 어레이
WO2009013725A1 (en) * 2007-07-25 2009-01-29 Nxp B.V. Indoor/outdoor detection
JP5128889B2 (ja) * 2007-10-02 2013-01-23 オリンパス株式会社 固体撮像素子及びそれを用いた固体撮像システム
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
KR100858034B1 (ko) * 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
JP4780094B2 (ja) * 2007-11-28 2011-09-28 ソニー株式会社 表示装置及び表示装置の製造方法
US20090159799A1 (en) * 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
US20090160981A1 (en) * 2007-12-20 2009-06-25 Micron Technology, Inc. Apparatus including green and magenta pixels and method thereof
GB2456771A (en) * 2008-01-22 2009-07-29 Sharp Kk Spectrally compensating a light sensor
JP5262180B2 (ja) 2008-02-26 2013-08-14 ソニー株式会社 固体撮像装置及びカメラ
KR101475464B1 (ko) * 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
US7990445B2 (en) * 2008-05-30 2011-08-02 Omnivision Technologies, Inc. Image sensor having differing wavelength filters
JP5505761B2 (ja) * 2008-06-18 2014-05-28 株式会社リコー 撮像装置
EP2311092B1 (en) * 2008-07-25 2021-01-27 Cornell University Light field image sensor, method and applications
US8471939B2 (en) * 2008-08-01 2013-06-25 Omnivision Technologies, Inc. Image sensor having multiple sensing layers
KR101574130B1 (ko) * 2008-09-01 2015-12-04 삼성디스플레이 주식회사 유기 발광 표시 장치 및 그 제조 방법
KR101574730B1 (ko) * 2008-11-17 2015-12-07 삼성전자 주식회사 영상 처리 장치 및 방법
CN102282155B (zh) 2008-12-02 2017-06-09 日本波涛生命科学公司 磷原子修饰的核酸的合成方法
JP4702441B2 (ja) * 2008-12-05 2011-06-15 ソニー株式会社 撮像装置及び撮像方法
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5259381B2 (ja) * 2008-12-25 2013-08-07 京セラ株式会社 撮像装置および撮像方法
JP2010161636A (ja) * 2009-01-08 2010-07-22 Toyota Central R&D Labs Inc 撮影装置用フィルタ及び撮影画像処理装置
US20100267049A1 (en) * 2009-04-15 2010-10-21 Rutter William J Diagnostic devices and related methods
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
RU2612521C2 (ru) 2009-07-06 2017-03-09 Онтории, Инк. Новые пролекарства нуклеиновых кислот и способы их применения
JP5874116B2 (ja) * 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
KR20110050063A (ko) * 2009-11-06 2011-05-13 삼성전자주식회사 픽셀과 이를 포함하는 이미지 처리 장치들
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
KR20110056096A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 디지털 이미지 처리 장치 및 그 촬영 방법
DE112011100842T5 (de) 2010-03-08 2013-01-17 Semiconductor Energy Laboratory Co., Ltd. Halbleiterbauelement und Verfahren zu dessen Herstellung
US9735303B2 (en) 2010-03-25 2017-08-15 Nri R&D Patent Licensing, Llc Color imaging using color OLED or LED array as color light-field imaging sensor
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US8818028B2 (en) 2010-04-09 2014-08-26 Personify, Inc. Systems and methods for accurate user foreground video extraction
JP5554139B2 (ja) * 2010-05-11 2014-07-23 パナソニック株式会社 複合型撮像素子およびそれを備えた撮像装置
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
KR20110140010A (ko) * 2010-06-24 2011-12-30 삼성전자주식회사 근적외광 신호를 이용한 이미지 센서
TWI414880B (zh) * 2010-08-18 2013-11-11 Hon Hai Prec Ind Co Ltd 濾光片切換元件控制電路
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US20120065926A1 (en) * 2010-09-14 2012-03-15 Samsung Electronics Co., Ltd Integrated motion sensing apparatus
JP5868324B2 (ja) 2010-09-24 2016-02-24 株式会社Wave Life Sciences Japan 不斉補助基
US9076068B2 (en) * 2010-10-04 2015-07-07 Datacolor Holding Ag Method and apparatus for evaluating color in an image
US9300883B2 (en) * 2010-11-05 2016-03-29 Examastica Co. Imaging device, image processing method for image captured by imaging device, and imaging system
JP5538199B2 (ja) * 2010-12-09 2014-07-02 三星テクウィン株式会社 イメージセンサ用係数算出装置、及びイメージセンサ用係数算出方法
KR101761921B1 (ko) * 2011-02-28 2017-07-27 삼성전기주식회사 차량 운전자의 시계 보조 시스템 및 방법
JP2012195921A (ja) * 2011-02-28 2012-10-11 Sony Corp 固体撮像素子およびカメラシステム
JP2012185043A (ja) * 2011-03-04 2012-09-27 Sharp Corp センサおよび表示装置
KR101829777B1 (ko) * 2011-03-09 2018-02-20 삼성디스플레이 주식회사 광 감지 센서
JP5713816B2 (ja) * 2011-03-16 2015-05-07 株式会社東芝 固体撮像装置及びカメラモジュール
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
CN103796657B (zh) 2011-07-19 2017-07-11 波涛生命科学有限公司 合成官能化核酸的方法
JP5923754B2 (ja) * 2011-08-11 2016-05-25 パナソニックＩｐマネジメント株式会社 ３次元撮像装置
JP2013077945A (ja) * 2011-09-30 2013-04-25 Sony Corp 画像処理装置、補正方法、並びに、撮像装置
KR101822661B1 (ko) * 2011-10-27 2018-01-26 삼성전자주식회사 비전 인식 장치 및 방법
WO2013070539A1 (en) 2011-11-07 2013-05-16 Magna Electronics, Inc. Vehicle vision system with color correction
JP5899894B2 (ja) * 2011-12-19 2016-04-06 富士通株式会社 撮像装置、画像処理装置、画像処理プログラムおよび画像処理方法
JP2013131553A (ja) * 2011-12-20 2013-07-04 Toshiba Corp 固体撮像装置
US20130222603A1 (en) * 2012-02-28 2013-08-29 Aptina Imaging Corporation Imaging systems for infrared and visible imaging
US9083892B2 (en) * 2012-03-01 2015-07-14 Nikon Corporation A/D conversion circuit, and solid-state image pickup apparatus
JP5945338B2 (ja) * 2012-03-20 2016-07-05 ノキア テクノロジーズ オーユー イメージング
JP2013219560A (ja) * 2012-04-09 2013-10-24 Sony Corp 撮像装置、撮像方法及びカメラシステム
US9751465B2 (en) 2012-04-16 2017-09-05 Magna Electronics Inc. Vehicle vision system with reduced image color data processing by use of dithering
PL2872485T3 (pl) 2012-07-13 2021-05-31 Wave Life Sciences Ltd. Asymetryczna grupa pomocnicza
KR102213609B1 (ko) 2012-07-13 2021-02-08 웨이브 라이프 사이언시스 리미티드 키랄 제어
CA2879066C (en) 2012-07-13 2019-08-13 Shin Nippon Biomedical Laboratories, Ltd. Chiral nucleic acid adjuvant
JP6161007B2 (ja) 2012-09-14 2017-07-12 パナソニックＩｐマネジメント株式会社 固体撮像装置及びカメラモジュール
CN104395716B (zh) * 2012-09-14 2016-12-14 夏普株式会社 传感器、显示装置
US20140077324A1 (en) * 2012-09-20 2014-03-20 Sony Corporation Solid-state image pickup device, method of manufacturing solid-state image pickup device, and electronic apparatus
US9231015B2 (en) * 2012-09-24 2016-01-05 Omnivision Technologies, Inc. Backside-illuminated photosensor array with white, yellow and red-sensitive elements
JP5742823B2 (ja) * 2012-11-30 2015-07-01 コニカミノルタ株式会社 信号処理装置及び画像形成装置
KR101767093B1 (ko) * 2012-12-14 2017-08-17 한화테크윈 주식회사 색감 복원 방법 및 장치
CN103885270A (zh) * 2012-12-19 2014-06-25 鑫晶鑚科技股份有限公司 具有保护镜的取像装置以及投影装置
JP6308760B2 (ja) * 2012-12-20 2018-04-11 キヤノン株式会社 光電変換装置および光電変換装置を有する撮像装置
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
JP6145826B2 (ja) * 2013-02-07 2017-06-14 パナソニックＩｐマネジメント株式会社 撮像装置及びその駆動方法
US10063788B2 (en) * 2013-02-08 2018-08-28 Denso Corporation Night-vision image processing apparatus
US9560279B2 (en) * 2013-03-11 2017-01-31 Tera Xtal Technology Corporation Camera device and projector device having protective lens
KR20140111758A (ko) * 2013-03-12 2014-09-22 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 컴퓨팅 시스템
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
JP2014216734A (ja) * 2013-04-24 2014-11-17 日立マクセル株式会社 撮像装置及び撮像システム
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9667933B2 (en) 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
KR102103984B1 (ko) * 2013-07-15 2020-04-23 삼성전자주식회사 깊이 영상 처리 방법 및 장치
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US10326969B2 (en) 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
US20150062347A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Image processing methods for visible and infrared imaging
KR102071325B1 (ko) * 2013-09-27 2020-04-02 매그나칩 반도체 유한회사 조도와 물체의 거리를 측정하는 광 센서
US8988539B1 (en) * 2013-09-27 2015-03-24 The United States Of America As Represented By Secretary Of The Navy Single image acquisition high dynamic range camera by distorted image restoration
US9774548B2 (en) 2013-12-18 2017-09-26 Personify, Inc. Integrating user personas with chat sessions
KR102159991B1 (ko) * 2013-12-27 2020-09-25 삼성전자주식회사 렌즈 쉐이딩 보정 방법, 그것을 이용하는 영상 신호 처리 장치 및 이미지 센서 시스템
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US9386303B2 (en) 2013-12-31 2016-07-05 Personify, Inc. Transmitting video and sharing content via a network using multiple encoding techniques
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US10322173B2 (en) 2014-01-15 2019-06-18 Shin Nippon Biomedical Laboratories, Ltd. Chiral nucleic acid adjuvant having anti-allergic activity, and anti-allergic agent
JPWO2015108047A1 (ja) 2014-01-15 2017-03-23 株式会社新日本科学 免疫誘導活性を有するキラル核酸アジュバンド及び免疫誘導活性剤
JPWO2015108048A1 (ja) 2014-01-15 2017-03-23 株式会社新日本科学 抗腫瘍作用を有するキラル核酸アジュバンド及び抗腫瘍剤
BR112016016400A2 (pt) 2014-01-16 2017-10-03 Wave Life Sciences Ltd Composições de oligonucleotídeos quiralmente controlados, seu uso, sua composição farmacêutica, e métodos
JP6171997B2 (ja) 2014-03-14 2017-08-02 ソニー株式会社 固体撮像素子およびその駆動方法、並びに電子機器
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
JP6613028B2 (ja) * 2014-03-25 2019-11-27 キヤノン株式会社 撮像装置
JP6348762B2 (ja) * 2014-04-17 2018-06-27 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
US9185377B1 (en) * 2014-06-26 2015-11-10 Himax Imaging Limited Color processing system and apparatus
WO2016009925A1 (ja) * 2014-07-15 2016-01-21 シャープ株式会社 撮像装置、及び解析装置
JP6369233B2 (ja) * 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
US10113903B1 (en) * 2014-09-02 2018-10-30 Amazon Technologies, Inc. Ambient light sensor calibration
JP6469996B2 (ja) * 2014-09-09 2019-02-13 オリンパス株式会社 撮像素子および内視鏡装置
JP6429176B2 (ja) * 2014-09-16 2018-11-28 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像処理方法および装置
US9799699B2 (en) 2014-09-24 2017-10-24 Omnivision Technologies, Inc. High near infrared sensitivity image sensor
TWI552594B (zh) 2014-10-27 2016-10-01 聯詠科技股份有限公司 用於影像感測裝置的色彩濾波陣列及其製造方法
US20160116409A1 (en) * 2014-10-28 2016-04-28 Omnivision Technologies, Inc. Color-Sensitive Image Sensor With Embedded Microfluidics And Associated Methods
CN105635699B (zh) * 2014-11-06 2019-10-18 联咏科技股份有限公司 用于图像传感装置的色彩滤波阵列及其制造方法
JP6478579B2 (ja) * 2014-11-20 2019-03-06 キヤノン株式会社 撮像ユニット、撮像装置、及び画像処理システム
KR102305998B1 (ko) * 2014-12-08 2021-09-28 엘지이노텍 주식회사 영상 처리 장치
US9671931B2 (en) 2015-01-04 2017-06-06 Personify, Inc. Methods and systems for visually deemphasizing a displayed persona
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
JP6732726B2 (ja) * 2015-02-26 2020-07-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US10244224B2 (en) 2015-05-26 2019-03-26 Personify, Inc. Methods and systems for classifying pixels as foreground using both short-range depth data and long-range depth data
CN111242092A (zh) * 2015-07-29 2020-06-05 财团法人工业技术研究院 生物辨识装置与穿戴式载体
US10679081B2 (en) * 2015-07-29 2020-06-09 Industrial Technology Research Institute Biometric device and wearable carrier
US10413635B2 (en) * 2015-08-17 2019-09-17 Vivex Biomedical, Inc. Umbilical cord transplant product
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US9607397B2 (en) 2015-09-01 2017-03-28 Personify, Inc. Methods and systems for generating a user-hair-color model
CN105430457A (zh) * 2015-11-12 2016-03-23 深圳市丰巨泰科电子有限公司 一种识别人体睡眠状态的电视盒
JP2017108211A (ja) * 2015-12-07 2017-06-15 ソニー株式会社 撮像装置、撮像制御方法、および、プログラム
CN113727000A (zh) 2016-05-27 2021-11-30 松下知识产权经营株式会社 摄像系统
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
JP6765064B2 (ja) * 2016-06-23 2020-10-07 パナソニックＩｐマネジメント株式会社 赤外線検出装置
US10863115B2 (en) * 2016-06-24 2020-12-08 Nec Corporation Generation of visible and near-infrared images based on estimated incident light spectral characteristics and image capturing device spectral sensitivity characteristics
US10218926B2 (en) * 2016-07-21 2019-02-26 Christie Digital Systems Usa, Inc. Device, system and method for cross-talk reduction in visual sensor systems
CN108351254B (zh) * 2016-09-02 2021-10-22 索尼半导体解决方案公司 摄像装置
CN106488209A (zh) * 2016-09-29 2017-03-08 杭州雄迈集成电路技术有限公司 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法
DE112017005193B4 (de) * 2016-10-14 2025-02-20 Mitsubishi Electric Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
US10742890B2 (en) * 2016-10-28 2020-08-11 Kyocera Corporation Imaging apparatus, imaging system, moving body, and imaging method
US10482843B2 (en) 2016-11-07 2019-11-19 Qualcomm Incorporated Selective reduction of blue light in a display frame
US10600833B2 (en) 2017-03-01 2020-03-24 Himax Technologies Limited Image sensor
TWI622166B (zh) * 2017-03-22 2018-04-21 奇景光電股份有限公司 影像感測器
US12009379B2 (en) * 2017-05-01 2024-06-11 Visera Technologies Company Limited Image sensor
CA3064779A1 (en) * 2017-09-15 2019-03-21 Kent Imaging Hybrid visible and near infrared imaging with an rgb color filter array sensor
TWI672957B (zh) * 2018-03-29 2019-09-21 瑞昱半導體股份有限公司 影像處理裝置及影像處理方法
KR102025012B1 (ko) * 2018-05-08 2019-09-24 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법
CN111050097B (zh) * 2018-10-15 2022-03-15 瑞昱半导体股份有限公司 红外线串扰补偿方法及其装置
CN113454511B (zh) 2018-12-21 2023-11-14 斯科皮奥实验室有限公司 显微图像的压缩获取
JP7159441B2 (ja) * 2019-03-05 2022-10-24 オリンパス株式会社 内視鏡装置および内視鏡装置の作動方法
US11121169B2 (en) * 2019-06-25 2021-09-14 Omnivision Technologies, Inc. Metal vertical transfer gate with high-k dielectric passivation lining
JP7323787B2 (ja) * 2019-07-31 2023-08-09 日亜化学工業株式会社 照明装置及び赤外線カメラ付き照明装置
JP7379024B2 (ja) * 2019-09-02 2023-11-14 キヤノン株式会社 撮像装置及び信号処理装置
EP3884840A1 (de) 2020-03-27 2021-09-29 Diaspective Vision GmbH Medizinische bildgebungsvorrichtung zur ortsaufgelösten aufnahme multispektraler videodaten
CN111541853B (zh) * 2020-05-09 2022-03-25 中国科学院新疆理化技术研究所 一种基于通道分离的大面阵彩色cmos图像传感器辐照后暗电流评估方法
WO2022043894A1 (en) * 2020-08-26 2022-03-03 Senbiosys Stacked oximeter and operation method
CN112033014B (zh) * 2020-09-08 2024-05-03 珠海格力电器股份有限公司 光电检测装置及其检测方法以及热水器
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
WO2022238991A1 (en) * 2021-05-10 2022-11-17 Given Imaging Ltd. In vivo device and a combined imager therefor
US11436708B1 (en) * 2021-08-19 2022-09-06 Unity Technologies Sf Removing moving objects from a video scene captured by a moving camera
US12464207B2 (en) 2022-12-28 2025-11-04 Motorola Solutions, Inc. Image sensor with an integrated infrared cut-off filter
US20240402006A1 (en) * 2023-06-02 2024-12-05 International Business Machines Corporation Flexible ultraviolet sensor

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5059500A (en) * 1990-10-10 1991-10-22 Polaroid Corporation Process for forming a color filter
US5632272A (en) * 1991-03-07 1997-05-27 Masimo Corporation Signal processing apparatus
JPH04334056A (ja) * 1991-05-09 1992-11-20 Toshiba Corp 固体撮像装置の製造方法
JPH05183141A (ja) * 1991-07-12 1993-07-23 Fuji Xerox Co Ltd カラーイメージセンサ
JPH06121325A (ja) 1992-10-07 1994-04-28 Nippon Hoso Kyokai <Nhk> カラー撮像装置
CA2108813C (en) * 1992-10-23 2002-08-06 Shinobu Arimoto Photo-sensor and image processing apparatus
US5453611A (en) * 1993-01-01 1995-09-26 Canon Kabushiki Kaisha Solid-state image pickup device with a plurality of photoelectric conversion elements on a common semiconductor chip
JP3674012B2 (ja) 1995-10-27 2005-07-20 株式会社ニコン 固体撮像装置
JPH09166493A (ja) 1995-12-15 1997-06-24 Nikon Corp 撮像装置、撮像方法、および受光装置
US5929432A (en) * 1996-05-30 1999-07-27 Kabushiki Kaisha Toshiba Solid state image sensing device and image sensor using the same
JP4012995B2 (ja) 1997-01-21 2007-11-28 ソニー株式会社 画像撮像装置および方法
US6195183B1 (en) * 1997-07-15 2001-02-27 Rohm Co., Ltd. Image reading apparatus and image sensor chip thererfor
JP4377976B2 (ja) * 1997-12-26 2009-12-02 キヤノン株式会社 カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
US6400468B1 (en) * 1998-03-31 2002-06-04 International Business Machines Corporation Smoothing calibration files to improve reproduction of digitized images
US5965875A (en) 1998-04-24 1999-10-12 Foveon, Inc. Color separation in an active pixel cell imaging array using a triple-well structure
US6657663B2 (en) * 1998-05-06 2003-12-02 Intel Corporation Pre-subtracting architecture for enabling multiple spectrum image sensing
JP3159171B2 (ja) * 1998-06-05 2001-04-23 日本電気株式会社 固体撮像装置
TW423252B (en) * 1998-07-30 2001-02-21 Intel Corp Infrared correction system
JP2000059798A (ja) 1998-08-10 2000-02-25 Sony Corp 近赤外光／可視光共用撮像装置
US6759646B1 (en) * 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
GB2345217A (en) * 1998-12-23 2000-06-28 Nokia Mobile Phones Ltd Colour video image sensor
US6714243B1 (en) * 1999-03-22 2004-03-30 Biomorphic Vlsi, Inc. Color filter pattern
JP3434740B2 (ja) * 1999-06-30 2003-08-11 Ｎｅｃエレクトロニクス株式会社 固体撮像装置
JP3615454B2 (ja) * 2000-03-27 2005-02-02 三洋電機株式会社 ディジタルカメラ
US6515275B1 (en) * 2000-04-24 2003-02-04 Hewlett-Packard Company Method and apparatus for determining the illumination type in a scene
JP2002072980A (ja) * 2000-08-31 2002-03-12 Nec Corp カラー映像表示方法および装置
JP4517493B2 (ja) * 2000-10-18 2010-08-04 ソニー株式会社 固体撮像素子及びその信号処理方法
JP4453189B2 (ja) * 2000-10-31 2010-04-21 株式会社豊田中央研究所 撮像装置
US7088388B2 (en) * 2001-02-08 2006-08-08 Eastman Kodak Company Method and apparatus for calibrating a sensor for highlights and for processing highlights
JP4931288B2 (ja) 2001-06-08 2012-05-16 ペンタックスリコーイメージング株式会社 画像検出装置と絞り装置
JP2003070009A (ja) 2001-08-28 2003-03-07 Sharp Corp 撮像装置
US7323676B2 (en) * 2001-09-11 2008-01-29 Lumileds Lighting Us, Llc. Color photosensor with color filters and subtraction unit
US7027091B1 (en) * 2001-09-17 2006-04-11 Pixim, Inc. Detection of color filter array alignment in image sensors
JP4532800B2 (ja) * 2001-11-08 2010-08-25 キヤノン株式会社 撮像装置及びシステム
US7259788B1 (en) * 2002-01-28 2007-08-21 Pixim, Inc. Image sensor and method for implementing optical summing using selectively transmissive filters
JP3944461B2 (ja) * 2002-03-27 2007-07-11 株式会社東芝 電界効果型トランジスタおよびその応用装置
JP2004006694A (ja) * 2002-03-29 2004-01-08 Toshiba Corp 受光素子及び光半導体装置
US8067687B2 (en) * 2002-05-21 2011-11-29 Alliance For Sustainable Energy, Llc High-efficiency, monolithic, multi-bandgap, tandem photovoltaic energy converters
JP4271917B2 (ja) 2002-09-12 2009-06-03 国立大学法人 奈良先端科学技術大学院大学 固体撮像素子、及び該素子を用いた撮像装置
US20040105021A1 (en) * 2002-12-02 2004-06-03 Bolymedia Holdings Co., Ltd. Color filter patterns for image sensors
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
JP4814100B2 (ja) * 2003-05-19 2011-11-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 整調放射線放射半導体装置
US20040256561A1 (en) * 2003-06-17 2004-12-23 Allyson Beuhler Wide band light sensing pixel array
JP4286123B2 (ja) * 2003-12-22 2009-06-24 三洋電機株式会社 カラー撮像素子およびカラー信号処理回路
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
US20050265423A1 (en) * 2004-05-26 2005-12-01 Mahowald Peter H Monitoring system for cooking station
JP5012019B2 (ja) * 2004-06-30 2012-08-29 凸版印刷株式会社 撮像素子
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
US7423677B2 (en) * 2004-07-27 2008-09-09 Avago Technologies Ecbu Ip Pte Ltd Color filter method and apparatus
US7456384B2 (en) * 2004-12-10 2008-11-25 Sony Corporation Method and apparatus for acquiring physical information, method for manufacturing semiconductor device including array of plurality of unit components for detecting physical quantity distribution, light-receiving device and manufacturing method therefor, and solid-state imaging device and manufacturing method therefor
JP4882297B2 (ja) * 2004-12-10 2012-02-22 ソニー株式会社 物理情報取得装置、半導体装置の製造方法
US20060157806A1 (en) * 2005-01-18 2006-07-20 Omnivision Technologies, Inc. Multilayered semiconductor susbtrate and image sensor formed thereon for improved infrared response
US7435962B2 (en) * 2005-05-18 2008-10-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Imaging device and method for producing an infrared filtered digital image
JP2006332226A (ja) * 2005-05-25 2006-12-07 Toshiba Corp 半導体光センサ装置
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
US7821552B2 (en) * 2005-12-27 2010-10-26 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
JP4999494B2 (ja) * 2007-02-28 2012-08-15 オンセミコンダクター・トレーディング・リミテッド 撮像装置
JP4747154B2 (ja) * 2007-11-22 2011-08-17 富士フイルム株式会社 固体撮像素子の駆動方法、固体撮像素子、及び撮像装置
JP5509962B2 (ja) * 2010-03-19 2014-06-04 ソニー株式会社 固体撮像装置、および、その製造方法、電子機器
JP5585232B2 (ja) * 2010-06-18 2014-09-10 ソニー株式会社 固体撮像装置、電子機器

Also Published As

Publication number Publication date
US20100038543A1 (en) 2010-02-18
CN102665083A (zh) 2012-09-12
US20120001072A1 (en) 2012-01-05
US20070201738A1 (en) 2007-08-30
US8519319B2 (en) 2013-08-27
KR101244147B1 (ko) 2013-03-14
US7755016B2 (en) 2010-07-13
KR20070012267A (ko) 2007-01-25
CN102665083B (zh) 2015-05-20
US8981278B2 (en) 2015-03-17
TW200720637A (en) 2007-06-01
US8035069B2 (en) 2011-10-11
US20150201136A1 (en) 2015-07-16
TWI342712B (ja) 2011-05-21
US9591239B2 (en) 2017-03-07
JP2007053731A (ja) 2007-03-01
US20140009662A1 (en) 2014-01-09
TW201100766A (en) 2011-01-01

Similar Documents

Publication Publication Date Title
JP4984634B2 (ja) 物理情報取得方法および物理情報取得装置
JP5187433B2 (ja) 物理情報取得方法および物理情報取得装置
JP4882297B2 (ja) 物理情報取得装置、半導体装置の製造方法
KR101277739B1 (ko) 물리 정보 취득 방법 및 물리 정보 취득 장치, 복수의 단위구성요소가 배열되어서 되는 물리량 분포 검지의 반도체장치의 제조 방법, 수광 소자 및 그 제조 방법, 고체 촬상소자 및 그 제조 방법
JP5442571B2 (ja) 固体撮像装置及び撮像装置
US20080087800A1 (en) Solid-state image capturing device, image capturing device, and manufacturing method of solid-state image capturing device
JP2006237737A (ja) カラーフィルタアレイ及び固体撮像素子
JP2011166477A (ja) 固体撮像素子及び画像入力装置
JP5070742B2 (ja) 情報取得方法、情報取得装置、半導体装置、信号処理装置
JP5263373B2 (ja) 半導体装置および撮像装置
JP4867448B2 (ja) 物理情報取得方法および物理情報取得装置
JP4887915B2 (ja) 固体撮像装置
JP5299002B2 (ja) 撮像装置
JP2016197794A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090205

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091007

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R151 Written notification of patent or utility model registration

Ref document number: 4984634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees