JP5943393B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5943393B2
JP5943393B2 JP2013513940A JP2013513940A JP5943393B2 JP 5943393 B2 JP5943393 B2 JP 5943393B2 JP 2013513940 A JP2013513940 A JP 2013513940A JP 2013513940 A JP2013513940 A JP 2013513940A JP 5943393 B2 JP5943393 B2 JP 5943393B2
Authority
JP
Japan
Prior art keywords
pixel
color filter
pixels
color
color filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013513940A
Other languages
English (en)
Other versions
JPWO2012153532A1 (ja
Inventor
正行 田中
正行 田中
雄介 紋野
雄介 紋野
正敏 奥富
正敏 奥富
直 菊地
直 菊地
小宮　康宏
康宏 小宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Tokyo Institute of Technology NUC
Original Assignee
Olympus Corp
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Tokyo Institute of Technology NUC filed Critical Olympus Corp
Publication of JPWO2012153532A1 publication Critical patent/JPWO2012153532A1/ja
Application granted granted Critical
Publication of JP5943393B2 publication Critical patent/JP5943393B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0488—Optical or mechanical part supplementary adjustable parts with spectral filtering
    • G01J1/0492—Optical or mechanical part supplementary adjustable parts with spectral filtering using at least two different filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8053—Colour filters
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/182—Colour image sensors

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

関連出願の相互参照
本出願は、２０１１年５月１１日に出願された日本国特許出願２０１１−１０６７４０号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
本発明は、色再現性を向上させながら、様々な画像処理に使用される勾配情報（微分情報）を高い精度で取得可能にさせる撮像装置に関する。
フルカラー画像を撮像するために、ＲＧＢの３色のカラーフィルタを撮像素子に設けた撮像装置が知られている。撮像した画像から様々な情報の検出や、画像に対する様々な処理に用いるために、画像の勾配情報を取得することが知られている。従来の撮像装置では、カラーフィルタのバンド数が少ないため、各バンドに対応した画像信号成分のサンプル密度は比較的高く、色補間により生成した補間画像に基づく勾配情報は十分に高い精度であった。
ところで、被写体の忠実な色再現を目的として、マルチバンド画像撮影が注目されている。マルチバンド画像撮影のために、複数のカメラを用いた撮影、または複数回の撮影を行うことが考えられる。しかし、このようなマルチバンド画像撮影には専用の撮影システムが必要であった。そこで、４バンド以上のカラーフィルタを配置した単板のマルチバンド撮像素子を用いることにより、１台の撮像装置で１枚の撮影によりマルチバンド画像撮影を実行することが提案されている（特許文献１参照）。
特開２００３−８７８０６号公報
特許文献１においては、マルチバンド化したカラーフィルタアレイ（ＣＦＡ）が用いられている。しかし、バンド数の増加に伴い、単一のバンドのサンプル密度が低くなる。単一のバンドのサンプル密度が低くなると、共通の方向の勾配情報の取得が困難となり、処理の煩雑化及び、例えば、勾配情報の方向を合わせるための変換による高周波成分の情報欠落のように勾配情報の精度の低減化を生じることが問題であった。勾配情報の精度の低減化は後の処理にも影響を及ぼし、例えば、偽色の発生などの原因となり得る。
したがって、上記のような問題点に鑑みてなされた本発明では、マルチバンド化を図りながら、基準となるカラーフィルタ（画素）の両側に配置されるカラーフィルタを使用して勾配情報を取得するとき、基準のカラーフィルタとして少なくとも２種類のカラーフィルタを指定して、共通する少なくとも２つの方向の勾配情報を取得可能な撮像装置の提供を目的とする。
上述した諸課題を解決すべく、本発明による撮像装置は、
分光感度特性が異なる５種類以上のカラーフィルタを有し、５種類以上のカラーフィルタの中で少なくとも２種類のカラーフィルタを注目カラーフィルタとして、注目カラーフィルタから第１の方向に沿った両側に第１の間隔で配置される２つのカラーフィルタは同じ種類であり、且つ第１の方向と異なる第２の方向に沿った両側に第２の間隔で配置される２つのカラーフィルタの種類は同じ種類となるように５種類以上のカラーフィルタを２次元状に配置したカラーフィルタアレイと、
カラーフィルタアレイにおけるいずれかの種類の前記カラーフィルタによって覆われ、受光量に応じた画素信号を生成する複数の画素を有する撮像素子と、
注目カラーフィルタとしてカラーフィルタアレイ上に配置された種類のカラーフィルタに覆われた画素を１画素ずつ順次注目画素に指定し、注目画素から第１の方向に沿った両側に第１の間隔で配置される２つの画素が生成する画素信号に基づいて第１の微分情報を算出し、注目画素から第２の方向に沿った両側に第２の間隔で配置される２つの画素が生成する画素信号に基づいて第２の微分情報を算出する微分情報取得部とを備える
ことを特徴とするものである。
上記のように構成された本発明に係る撮像装置によれば、カラーフィルタのマルチバンド化を図りながら、基準となるカラーフィルタ（画素）の両側に配置されるカラーフィルタを使用して勾配情報を取得するとき、基準となるカラーフィルタとして少なくとも２種類のカラーフィルタを指定して、共通する少なくとも２つの方向において高精度の勾配情報を取得可能である。
本発明の一実施形態に係るカラーフィルタアレイが設けられた撮像素子を有するデジタルカメラの概略構成を示すブロック図である。 ＣＦＡにおけるカラーフィルタの配置を示す配列図である。 図２のカラーフィルタの分光感度特性である。 第１の画素ブロックの構成を説明するための画素の配列図である。 第１の画素ブロックの中心の画素のカラーフィルタの種類を第１の画素ブロックのカラーフィルタの種類とみなすことによる第１の画素ブロックのカラーフィルタの配列図である。 第２の画素ブロックの構成を説明するための画素の配列図である。 第２の画素ブロックの中心の画素のカラーフィルタの種類を第１の画素ブロックのカラーフィルタの種類とみなすことによる第２の画素ブロックのカラーフィルタの配列図である。 第３の画素ブロックの構成を説明するための画素の配列図である。 第３の画素ブロックの中心の画素のカラーフィルタの種類を第３の画素ブロックのカラーフィルタの種類とみなすことによる第３の画素ブロックのカラーフィルタの配列図である。 画像信号処理部の構成を概略的に示すブロック図である。 Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒ原画像信号成分の構造を説明するための概念図である。 ＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。 ＭＢデモザイク処理部の構成を概略的に示すブロック図である。 ５バンドのカラーフィルタを有する第１の変形例のカラーフィルタアレイを示す配列図である。 ５バンドのカラーフィルタを有する第２の変形例のカラーフィルタアレイの構成を示す配列図である。 図１５のカラーフィルタ配列において第１の画素ブロックの構成を説明するための画素の配列図である。 図１５のカラーフィルタ配列において第２の画素ブロックの構成を説明するための画素の配列図である。 ５バンドのカラーフィルタを有する第３の変形例のカラーフィルタアレイの構成を示す配列図である。 ５バンドのカラーフィルタを有する第４の変形例のカラーフィルタアレイの構成を示す配列図である。 ５バンドのカラーフィルタを有する第５の変形例のカラーフィルタアレイの構成を示す配列図である。 ５バンドのカラーフィルタを有する第６の変形例のカラーフィルタアレイの構成を示す配列図である。 ６バンドのカラーフィルタを有する第７の変形例のカラーフィルタアレイの構成を示す配列図である。 ６バンドのカラーフィルタを有する第８の変形例のカラーフィルタアレイの構成を示す配列図である。 ６バンドのカラーフィルタを有する第９の変形例のカラーフィルタアレイの構成を示す配列図である。 ７バンドである第１０の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ７バンドのカラーフィルタを有する第１０の変形例のカラーフィルタアレイの構成を示す配列図である。 ７バンドである第１１の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ７バンドである第１２の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ７バンドである第１３の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ７バンドのカラーフィルタを有する第１１の変形例のカラーフィルタアレイの構成を示す配列図である。 ７バンドのカラーフィルタを有する第１２の変形例のカラーフィルタアレイの構成を示す配列図である。 ７バンドのカラーフィルタを有する第１３の変形例のカラーフィルタアレイの構成を示す配列図である。 ８バンドである第１４の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ８バンドのカラーフィルタを有する第１４の変形例のカラーフィルタアレイの構成を示す配列図である。 ８バンドである第１５の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ８バンドのカラーフィルタを有する第１５の変形例のカラーフィルタアレイの構成を示す配列図である。 ９バンドである第１６の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 ９バンドのカラーフィルタを有する第１６の変形例のカラーフィルタアレイの構成を示す配列図である。 １０バンドである第１７の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 １０バンドである第１８の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。 １０バンドのカラーフィルタを有する第１７の変形例のカラーフィルタアレイの構成を示す配列図である。 １０バンドのカラーフィルタを有する第１８の変形例のカラーフィルタアレイの構成を示す配列図である。
以下、本発明を適用した実施形態について、図面を参照して説明する。図１は、本発明の一実施形態に係るカラーフィルタアレイを有する撮像素子が設けられたデジタルカメラの概略構成を示すブロック図である。
デジタルカメラ１０は、撮影光学系１１、撮像素子２０、センサ駆動部１２、システムバス１３、画像信号処理部３０、バッファメモリ１４、システムコントローラ１５、画像表示部１６、画像記録部１７、及び操作部１８などによって構成される。
撮影光学系１１は、光軸が撮像素子２０の受光部２１の中心を通るように垂直に配置され、撮像素子２０に結合される。撮影光学系１１は複数のレンズ（図示せず）によって構成され、被写体の光学像を受光部２１に結像させる。なお、撮影光学系１１は、デジタルカメラ１０に固定されていてもよいし、着脱可能な交換式であってもよい。
撮像素子２０は、例えばＣＭＯＳエリアセンサであり、受光部２１、垂直走査回路２２、水平読出回路２３、及びＡ／Ｄコンバータ２４によって構成される。前述のように、撮影光学系１１により被写体の光学像が受光部２１に形成される。
受光部２１には、マトリックス状に複数の画素（図示せず）が配置される。また、受光部２１上において、ＯＢ（オプティカルブラック）領域２１ｂと有効撮影領域２１ｅとが定められる。ＯＢ領域２１ｂに配置されるＯＢ画素は受光面が遮光されており、黒色の基準となる暗電流をＯＢ画素信号として出力する。また、有効撮影領域２１ｅはＣＦＡ（図１において図示せず）によって覆われており、各画素は５バンドのカラーフィルタのいずれかによって覆われる。
図２に示すように、ＣＦＡ２１ａにはＧ（グリーン）カラーフィルタ、Ｃｙ（シアン）カラーフィルタ、Ｏｒ（オレンジ）カラーフィルタ、Ｂ（ブルー）カラーフィルタ、及びＲ（レッド）カラーフィルタの５バンドのカラーフィルタが設けられる。したがって、各画素では、対応するカラーフィルタの透過バンドの光の受光量に応じた画素信号が生成される。なお、図３に示すように、Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒカラーフィルタは、異なる分光感度特性を有する。なお、本実施形態において分光感度特性が異なるとは、ピーク波長の値、または半値幅の中心値が異なることを意味する。
ＣＦＡ２１ａでは、４行４列のカラーフィルタ繰返し単位２１ｕが行方向及び列方向に繰返し配置される。図２に示すように、カラーフィルタ繰返し単位２１ｕ内には、８個のＧカラーフィルタ、２個のＣｙカラーフィルタ、２個のＯｒカラーフィルタ、２個のＢカラーフィルタ、及び２個のＲカラーフィルタが配置される。
ＣＦＡ２１ａでは、Ｃｙカラーフィルタ、Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタのいずれかと、Ｇカラーフィルタとが市松模様状に配置される。すなわち、Ｇカラーフィルタは全行全列において、１画素おきに繰返し配置される。例えば、図２における左上を基準として、１、３行目には２、４列目にＧカラーフィルタが配置される。また、２、４行目には、１、３列目にＧカラーフィルタが配置される。
また、Ｇカラーフィルタ、Ｂカラーフィルタ、及びＣｙカラーフィルタが並ぶ行及び列が、列方向及び行方向に１画素おきに繰返し配置される。例えば、図２において、１行１列目及び３行３列目にＢカラーフィルタが配置され、１行３列目及び３行１列目にＣｙカラーフィルタが配置される。
また、Ｇカラーフィルタ、Ｒカラーフィルタ、及びＯｒカラーフィルタが並ぶ行及び列が、行方向及び列方向に１画素おきに繰返し配置される。例えば、図２において、２行４列目及び４行２列目にＲカラーフィルタが配置され、２行２列目及び３行３列目にＯｒカラーフィルタが配置される。
上述のようなカラーフィルタ繰返し単位では、Ｇカラーフィルタの割合が最大であり全体の５０％を占めている。また、任意の位置の画素において、斜め方向に隣接する画素に対応するカラーフィルタのバンドは等しい。
例えば、図２に示すように、いずれのＧカラーフィルタにおいても、斜方に隣接するカラーフィルタはすべてＧカラーフィルタである。したがって、任意のＧカラーフィルタの右斜め上及び左斜め下にはＧカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＧカラーフィタが配置され、互いに同じバンドのカラーフィルタである。
また、いずれのＣｙカラーフィルタにおいても、斜方に沿ってＲカラーフィルタまたはＯｒカラーフィルタによって挟まれる。詳細に説明すると、任意のＣｙカラーフィルタの右斜め上及び左斜め下にはＯｒカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＲカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。
Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタにおいても、同様であって、斜め方向に隣接するカラーフィルタ同士は同じバンドのカラーフィルタとなる。
上述のようなＣＦＡ２１ａが設けられた画素において、透過したバンドの光の受光量に応じた画素信号が生成される。垂直走査回路２２により画素信号を出力させる画素の行が選択され、水平読出回路２３により画素信号を出力させる画素の列が選択される（図１参照）。
垂直走査回路２２及び水平読出回路２３はセンサ駆動部１２に駆動される。デジタルカメラ１０には、通常読出しモードと、第１〜第３の間引き読出しモードが設けられる。それぞれのモードにおいて、読出す全画素から１画素ずつ画素信号が出力されるように、垂直走査回路２２及び水平読出回路２３は制御される。出力された画素信号はＡ／Ｄコンバータ２４によりデジタル信号に変換される。受光部２１に配置されるすべての画素の画素信号が１フレームのＲＡＷデータが原画像信号に定められる。
なお、静止画を撮影するとき等のように高い解像度が求められる場合に、通常読出しモードで撮像素子２０は駆動され、全画素から画素信号が生成される。また、撮影待機中における調光及び合焦動作のための情報の検出時や、動画像の撮影時等のように高い動解像度が求められる場合に第１〜第３の間引き読出しモードで撮像素子２０は駆動される。
第１の間引き読出しモードでは、図４に示すように、３行３列に並ぶ画素ｐｘによって構成される第１の画素ブロックｐｂ１毎に、第１の画素ブロックｐｂ１の中心の画素ｐｘのみから画素信号が出力される。
なお、第１の画素ブロックｐｂ１が出力する画素信号の色信号成分を第１の画素ブロックｐｂ１のカラーフィルタの種類とみなすと、図５に示すように、第１の画素ブロックｐｂ１のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。したがって、第１の間引き読出しモードで出力させた原画像信号は、画像信号処理部３０において通常読出しモードで出力させた原画像信号と同じ画像処理を施すことが可能である。
第２の間引き読出しモードでは、図６に示すように、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックｐｂ２毎に、第２の画素ブロックｐｂ２の中心の画素ｐｘのみから画素信号が出力される。
なお、第２の画素ブロックｐｂ２が出力する画素信号の色信号成分を第２の画素ブロックｐｂ２のカラーフィルタの種類とみなすと、図７に示すように、第２の画素ブロックｐｂ２のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。したがって、第２の間引き読出しモードで出力させた原画像信号は、画像信号処理部３０において通常読出しモードで出力させた原画像信号と同じ画像処理を施すことが可能である。
第３の間引き読出しモードでは、図８に示すように、７行７列に並ぶ画素ｐｘによって構成される第３の画素ブロックｐｂ３毎に、第３の画素ブロックｐｂ３の中心の画素ｐｘのみから画素信号が出力される。
なお、第３の画素ブロックｐｂ３が出力する画素信号の色信号成分を第３の画素ブロックｐｂ３のカラーフィルタの種類とみなすと、図９に示すように、第３の画素ブロックｐｂ３のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。したがって、第３の間引き読出しモードで出力させた原画像信号は、画像信号処理部３０において通常読出しモードで出力させた原画像信号と同じ画像処理を施すことが可能である。
なお、画素ブロックが大きくなるほど、すなわち画素ブロックに含まれる画素の数が多くなると、読出し速度は速くなる一方で解像度は低下する。それゆえ、要求される読出し速度または解像度に応じて第１〜第３の間引き読出しモードは選択される。
撮像素子２０、バッファメモリ１４、画像信号処理部３０、システムコントローラ１５、画像表示部１６、画像記録部１７、操作部１８、及びセンサ駆動部１２は、システムバス１３を介して電気的に接続される（図１参照）。システムバス１３に接続されるこれらの部位は、システムバス１３を介して互いに様々な信号やデータを送受信することが可能である。
撮像素子２０から出力される原画像信号はバッファメモリ１４に送信され、格納される。バッファメモリ１４はＳＤＲＡＭ等であって、比較的高速なアクセス速度を有し、画像信号処理部３０のワークエリアとして用いられる。また、バッファメモリ１４は、システムコントローラ１５がデジタルカメラ１０の各部位を制御するためのプログラムを実行する際のワークエリアとしても用いられる。
画像信号処理部３０は、後に詳細に説明するデモザイキング処理を原画像信号に施し、補間画像信号を生成する。さらに、画像信号処理部３０は、補間画像信号に対して所定の画像処理を施す。なお、補間画像信号は必要に応じて、ＲＧＢ画像信号に変換される。
所定の画像処理の施された補間画像信号およびＲＧＢ画像信号は、画像表示部１６に送信される。画像表示部１６は多原色モニタ（図１において図示せず）及びＲＧＢモニタ（図１において図示せず）を有している。多原色モニタ及びＲＧＢモニタはカラー液晶表示素子（図示せず）やバックライト装置（図示せず）を備え、補間画像信号及びＲＧＢ画像信号に相当する画像が表示される。
なお、画像表示部１６は、デジタルカメラ１０の背面や側面に設けられる。また、画像表示部１６は、比較的小型の表示素子（図示せず）と拡大光学系（図示せず）とで構成されるＥＶＦ（電子ビューファインダ）であってもよい。さらには両方の形態を有し、使用状況に応じて切替え可能に構成されてもよい。また、画像表示部１６は、有機ＥＬ表示素子等であってもよい。
画像信号処理部３０から出力される補間画像信号及びＲＧＢ画像信号は、画像記録部１７にも送信され、格納される。なお、画像記録部１７は、内蔵式或いはコネクタ（図示せず）を介して接続可能なフラッシュメモリである。
デジタルカメラ１０の各部位は、システムコントローラ１５によって制御される。各部位を制御するための制御信号がシステムコントローラ１５からシステムバス１３を介して各部位に入力される。
なお、画像信号処理部３０及びシステムコントローラ１５は、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成したり、処理ごとに特化した専用のプロセッサによって構成したりすることもできる。
システムコントローラ１５は、パワーボタン（図示せず）、レリーズボタン（図示せず）、及びダイヤル（図示せず）などの入力機構を有する入力部１８に接続される。使用者によるデジタルカメラ１０の様々な操作入力が入力部１８に検知される。入力部１８に検知される操作入力に応じて、システムコントローラ１５はデジタルカメラ１０の各部位を制御する。
次に、画像信号処理部３０の構成について図１０を用いて説明する。画像信号処理部３０は、ＯＢ減算処理部３１、マルチバンド（ＭＢ）デモザイク処理部４０（画像処理システム）、ＮＲ処理部３２、ＭＢ−ＲＧＢ変換部３３、色変換処理部３４、及び色ガンマ補正処理部３５によって構成される。
バッファメモリ１４から出力される原画像信号は、ＯＢ減算処理部３１に送信される。ＯＢ減算処理部３１では、ＯＢ画素に生成されたＯＢ画素信号によって各画素信号を減じることによって各画素信号の黒レベルの調整を行う。
ＯＢ減算処理部３１から出力される画素信号はＭＢデモザイク処理部４０に送信される。前述のように、原画像信号を構成する画素信号は５バンドの中のいずれか一つの色信号成分のみを有する。すなわち、原画像信号は、図１１に示すように、Ｇ原画像信号成分（（ａ）参照）、Ｃｙ原画像信号成分（（ｂ）参照）、Ｏｒ原画像信号成分（（ｃ）参照）、Ｂ原画像信号成分（（ｄ）参照）、Ｒ原画像信号成分（（ｅ）参照）によって構成される。後述するようにＭＢデモザイク処理部４０におけるデモザイク処理により、全色信号成分が補間される。すなわち、全画素信号は５つの色信号成分を有するように、補間される。
デモザイク処理の施された原画像信号は、補間画像信号としてＮＲ処理部３２に送信される（図１０参照）。ＮＲ処理部３２においてコアリング処理やメディアンフィルタ処理等のノイズ低減化処理が実行され、補間画像信号からノイズが除去される。ノイズの除去された補間画像信号は、一時的にバッファメモリ１４に格納される。
デジタルカメラ１０が補間画像信号を記録する記録モードに設定されている場合には、バッファメモリ１４に格納された補間画像信号に、必要に応じて圧縮処理が施され、所定のフォーマットに応じて生成された補間画像ファイルとして画像記録部１７に格納される。
なお、補間画像ファイル中には、後に画像を再生するときに参照される色再現情報がタグ情報として付加される。なお、色再現情報としては、撮影光学系１１の分光透過率、撮像素子２０の分光感度、撮影時に被写体に照射した光の分光放射輝度、被写体の分光反射率を推定する処理のために参照される被写体固有の統計情報などが含まれる。
デジタルカメラ１０の動作モードがマルチバンドの画像を再生する画像再生モードに設定されている場合、ＮＲ処理部３２によりノイズの除去された補間画像信号は色変換処理部３４に送信される。
色変換処理部３４は、多原色モニタ１６ｍｂのモニタプロファイル等に関する情報（モニタプロファイル情報）を予め取得する。また、色変換処理部３４は、デジタルカメラ１０の周囲の照明光の分光放射輝度に関する情報（観察照明分光分布情報）を多原色モニタ１６ｍｂの近傍に設けられた光センサ（図示せず）から取得する。色変換処理部３４は、モニタプロファイル情報及び観察照明分光分布情報を用いて補間画像信号に色変換処理を施す。色変換処理の施された補間画像信号は、多原色モニタ１６ｍｂに送信される。
上述の色変換処理により、被写体がデジタルカメラ１０の周囲の照明光で照射されているような色合いで、多原色モニタ１６ｍｂに表示される。それゆえ、使用者は再現性を向上させた画像を観察可能である。
デジタルカメラ１０では、従来のＲＧＢのみを色信号成分として有するＲＧＢ画像信号を格納及び表示可能である。デジタルカメラ１０がＲＧＢ画像信号を記録する記録モードに設定されている場合には、ノイズの除去された補間画像信号がＭＢ−ＲＧＢ変換処理部３３に送信される。
ＭＢ−ＲＧＢ変換処理部３３では、補間画像信号に対してＲＧＢ変換処理が施される。５バンドの色信号成分によって構成される補間画像信号が、ＲＧＢの３バンドの色信号成分によって構成されるＲＧＢ画像信号に変換される。ＲＧＢ画像信号は、一時的にバッファメモリ１４に格納され、必要に応じて圧縮処理が施され、所定のフォーマットに応じて生成されたＲＧＢ画像ファイルとして画像記録部１７に格納される。
デジタルカメラ１０がＲＧＢの３バンドの画像を再生する画像再生モードに設定されている場合には、ＲＧＢ画像信号は色・ガンマ補正処理部３５に送信される。色・ガンマ補正処理部３５は、ＲＧＢモニタ１６ｒｇｂのモニタプロファイルを予め取得する。色・ガンマ補正処理部３５では、取得したモニタプロファイルを用いてＲＧＢ画像信号に対して色補正処理及びガンマ補正処理を施す。これらの補正処理が施されたＲＧＢ画像信号はＲＧＢモニタ１６ｒｇｂに送信され、ＲＧＢ画像信号に相当する画像が表示される。
次に、デモザイク処理について図１２を用いて説明する。図１２は、ＭＢデモザイク処理部４０によって実行されるデモザイク処理を説明するための概念図である。
前述のように、原画像信号ＯＩＳは各画素信号が５バンドのいずれかの色信号成分のみを有している。原画像信号ＯＩＳは、Ｇ原画像信号成分ｇＯＩＳ、Ｃｙ原画像信号成分ｃｙＯＩＳ、Ｏｒ原画像信号成分ｏｒＯＩＳ、Ｂ原画像信号成分ｂＯＩＳ、及びＲ原画像信号成分ｒＯＩＳに分割される。
また、原画像信号ＯＩＳの全画素信号を用いて全画素に対して適応的カーネル関数が算出される（図１２における“ａＫ”参照）。適応的カーネル関数と、Ｇ原画像信号成分ｇＯＩＳとを用いて適応的ガウシアン補間法によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、参照画像信号ＲＩＳ（一次参照画像）が生成される（図１２における“ａＧＵ”参照）。
適応的カーネル関数、参照画像信号ＲＩＳ、及びＧ原画像信号成分ｇＯＩＳを用いて適応的ジョイントバイラテラル補間法（図１２における“ａＪＢＵ”参照）によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、Ｇ補間画像信号成分ｇＩＩＳが生成される。
Ｇ原画像信号成分ｇＯＩＳの代わりに、Ｃｙ原画像信号成分ｃｙＯＩＳを用いて同様の処理を施すことによりＣｙ補間画像信号成分ｃｙＩＩＳが生成される。同様にして、Ｏｒ補間画像信号成分ｏｒＩＩＳ、Ｂ補間画像信号成分ｂＩＩＳ、及びＲ補間画像信号成分ｒＩＩＳが生成される。全色信号成分を有する画素信号を全画素に対して生成することにより補間画像信号ＩＩＳが生成される。
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４０の構成及び機能を、図１３を用いて説明する。ＭＢデモザイク処理部４０は、分配部４１、微分値算出部４２、適応的カーネル算出部４３、参照画像作成部４４、及び補間画像作成部４５によって構成される。
ＭＢデモザイク処理部４０に受信される原画像信号は、分配部４１に入力される。分配部４１では、微分値算出部４２、参照画像作成部４４、及び補間画像作成部４５に、必要に応じた色信号成分が分配される。
微分値算出部４２には、原画像信号を構成する全画素信号が送信される。微分値算出部４２では、画素毎に２方向の微分値（微分情報）が算出される。微分値の算出のために、全画素が順番に注目画素に指定される。指定された注目画素の右斜め上及び左斜め下に隣接する画素の画素信号の差と、右斜め下及び左斜め上に隣接する画素の画素信号の差とが微分値として算出される。
なお、前述のように、いずれの画素を注目画素とする場合でも、右斜め上及び左斜め下の画素では同じ色信号成分の画素信号が生成され、右斜め下及び左斜め上の画素では同じ色信号成分の画素信号が生成される。それゆえ、上述の微分値は、注目画素を中心とする局所的な画像における両斜め方向の勾配を示している。全画素に対して算出された微分値は、適応的カーネル算出部４３に送信される。
なお、全画素に対して算出された微分値は、適応的カーネル算出部４３だけでなく、ＮＲ処理部３２、ＭＢ−ＲＧＢ変換処理部３３、色変換処理部３４、及び色・ガンマ補正処理部３５にも送信される。微分値は、それぞれの部位における処理に用いられる。
適応的カーネル算出部４３では、微分値に基づいて、画素毎に適応的カーネル関数が算出される。適応的カーネル関数の算出のために、すべての画素が順番に注目画素に指定される。また、注目画素を中心とする注目画素の周囲の７行７列に配置される画素が周囲画素に指定される。注目画素及び周囲画素の指定を終えると、注目画素に対する共分散行列Ｃｘの逆行列が算出される。
逆行列は、（１）式に注目画素及び周囲画素の微分値を代入することにより算出される。
Figure 0005943393
なお、（１）式において、Ｎｘは周囲画素の画素位置集合であり、｜Ｎｘ｜は画素位置集合の画素数である。また、Ｚｕ（ｘｊ）は、周囲画素ｘｊのｕ方向の微分値であり、Ｚｖ（ｘｊ）は周囲画素ｘｊのｖ方向の微分値である。なお、図２に示すように、ｕ方向とは右斜め下から左斜め上に向かう方向であり、ｖ方向とは左斜め下から右斜め上に向かう方向である。
注目画素の共分散行列が算出されると、次に注目画素に対するカーネル関数の大きさを表すパラメータμｘが算出される。パラメータμｘの算出のために、共分散行列Ｃｘの固有値λ１、λ２が算出される。固有値の積λ１×λ２が閾値Ｓと比較される。固有値の積λ１×λ２が閾値Ｓ以上である場合には、パラメータμｘは１と計算される。一方、固有値の積λ１×λ２が閾値Ｓより小さい場合には、（Ｓ／（λ１×λ２））の四乗根がパラメータμｘとして計算される。
パラメータμｘの算出後、注目画素に対する適当的カーネル関数が算出される。適応的カーネル関数ｋｘ（ｘｊ−ｘ）は（２）式により算出される。
Figure 0005943393
（２）式において、ｘｊは周囲画素の座標であり、ｘは注目画素の座標であり、Ｒは４５°の回転行列であり、ｈは所定の設計パラメータであり、例えば１に定められる。
全画素に対して算出された適応的カーネル関数ｋｘ（ｘｊ−ｘ）は、参照画像作成部４４及び補間画像作成部４５に送信される。参照画像作成部４４では、原画像信号中に最も要素数の多いＧ色信号成分（第１の色信号成分）が分配部４１から送信される。参照画像作成部４４では、適応的ガウシアン補間法により全体の１／２の画素に対してのみ存在するＧ色信号成分の補間が行われ、参照画像信号が生成される。
適応的ガウシアン補間法を用いたＧ原画像信号成分における欠落した画素信号の補間について説明する。Ｇ原画像信号成分において補間される画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。
注目画素の画素信号は、周囲画素のＧ色信号成分及び適応的カーネル関数に基づいて（３）式により算出される。
Figure 0005943393
なお、ωｘは（４）式により算出される。Ｍｘｉはバイナリマスクであり、周囲画素がＧ色信号成分を有するときに１であり、周囲画素がＧ色信号成分を有さないときには０である。Ｓｘｉは周囲画素のＧ色信号成分である。
Figure 0005943393
注目画素に指定された全画素に対して補間されたＧ色信号成分と、Ｇ原画像信号成分とにより構成される参照画像信号は、補間画像作成部４５に送信される。補間画像作成部４５には、前述のように適応的カーネル関数ｋｘ（ｘｉ−ｘ）、及び参照画像信号が適応的カーネル算出部４３及び参照画像作成部４４から送信される。また、前述のように、補間画像作成部４５には、分配部４１からＧ原画像信号成分、Ｃｙ原画像信号成分、Ｏｒ原画像信号成分、Ｂ原画像信号成分、及びＲ原画像信号成分が順番に送信される。
補間画像作成部４５では、適応的ジョイントバイラテラレル補間法により、生成されていない色信号成分が全画素に対して補間される。例えば、全体の１／２の画素に対してのみ存在するＧ色信号成分を用いて、他の画素のＧ色信号成分が補間される。
同様に、それぞれ１／８の画素に対してのみ存在するＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分を用いて、他の画素のＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分が補間される。全色信号成分の補間により、全色信号成分を有する全画素信号によって構成される補間画像信号が生成される。なお、Ｇ色信号成分に関しては参照画像の作成において補間されているが、参照画像を用いた補間が別に行われる。
適応的ジョイントバイラテラル補間法を用いた各色信号成分の補間について、Ｇ色信号成分を例にして説明する。Ｇ色信号成分の補間が行われるべき画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。
注目画素の色信号成分は、周囲画素のＧ色信号成分、適応的カーネル関数、及び参照画像信号に基づいて（５）式により算出される。
Figure 0005943393
なお、（５）式において、Ｉｘｉは参照画像における周囲画素の画素値、Ｉｘは参照画像における注目画素の画素値である。ｒ（Ｉｘｉ−Ｉｘ）は、注目画素と周囲画素との画素値の差分に応じた重み付けである。
注目画素に対するＧ色信号成分の補間により、Ｇ補間画像信号成分が生成される。以後、同様にＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分もＧ色信号成分と同様に補間が行われ、Ｃｙ補間画像信号成分、Ｏｒ補間画像信号成分、Ｂ補間画像信号成分、及びＲ補間画像信号成分が生成される。このように全色信号成分の補間により補間画像信号が生成される。
以上のような構成の第１の実施形態のＣＦＡによれば、５バンド以上のカラーフィルタを有しながら、色補間を行う前に全画素に対する共通の２方向の微分値、即ち勾配情報を取得することが可能である。
一般的に自然画像では、高周波成分においてバンド間の相関が強いことが知られている。したがって、各バンドの画像は同じエッジ構造を有する。そこで、すべてのバンドの勾配情報は等しいと仮定される。それゆえ、何れの色信号成分の微分値であっても、後の画像処理などに用いるのに十分な精度が得られる。本実施形態のように微分値を取得する２色同士の相関が高い場合には、より高精度な情報を取得可能である。
さらに、全画素で共通の方向の微分値を取得することにより、画素毎に異なる方向の微分値を取得する場合に比べて、処理の簡素化が可能である。また、勾配情報の方向を合わせるための変換による高周波成分の情報欠落を低減化した高精度の勾配情報を取得可能である。
精度の高い勾配情報を用いれば、上述のように欠落する色信号成分の補間に用いることによって偽色の発生を低減化する補間が可能である。さらに、精度の高い勾配情報を用いることにより、精度の高いノイズ除去処理、マルチバンドからＲＧＢへの変換処理、色変換処理、及び色・ガンマ補正処理を実行することが可能である。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
例えば、上記の実施形態において、５バンドのカラーフィルタ配置が定められているが、任意の画素を挟む２画素のカラーフィルタが同じとなるようなカラーフィルタの配置であれば、本実施形態と同様の効果が得られる。
例えば、図１４に示すようにＧ、Ｃｙ、Ｏｒ、Ｂ、Ｒカラーフィルタを配置したＣＦＡ２１００ａであっても、本実施形態と同様の効果が得られる。ＣＦＡ２１００ａでは、何れの画素を注目画素としても微分値の算出に用いる画素に必ず相関の高い色が含まれる。すなわち、Ｏｒカラーフィルタの斜方には必ずＲカラーフィルタが配置されている。微分値を算出する際に相関の高い色が必ず含まれることにより、高精度の微分値を算出可能である。
また、図１５に示すように、Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒカラーフィルタを配置したＣＦＡ２１０１ａであっても、すべての画素において右斜め上と左斜め下の画素のカラーフィルタのバンドは同じであり、左斜め上と右斜め下の画素ｐｘのカラーフィルタのバンドも同じである。したがって、本実施形態のように、原画像信号から直接微分値を算出することが可能である。
また、ＣＦＡ２１０１ａにおいても、本実施形態のように間引き読出しも可能である。例えば、図１６に示すように、３行３列に並ぶ画素ｐｘによって構成される第１の画素ブロックｐｂ１毎に画素信号を読出すことも可能である。本実施形態と同様に、第１の画素ブロックｐｂ１の中心の画素ｐｘのカラーフィルタの種類を第１の画素ブロックｐｂ１のカラーフィルタの種類とみなして、第１の画素ブロックｐｂ１のカラーフィルタの配列は、ＣＦＡ２１ａの配列と同じとなる。
さらには、例えば、図１７に示すように、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックｐｂ２毎に画素信号を読出すことも可能である。本実施形態と同様に、第２の画素ブロックｐｂ２の中心の画素ｐｘのカラーフィルタの種類を第２の画素ブロックｐｂ２のカラーフィルタの種類とみなして、第２の画素ブロックｐｂ２のカラーフィルタの配列は、ＣＦＡ２１ａの配列と同じである。
また、本実施形態においては、注目画素の微分値の算出に用いる２画素は注目画素に隣接する構成であるが、注目画素から等間隔であれば隣接しなくてもよい。例えば、注目画素から２画素分右で２画素分上の画素と、２画素分左で２画素分下の画素との差分を算出することにより微分値を算出してもよい。
注目画素に隣接する画素から、全画素に対して共通の方向の微分値を取得可能なカラーフィルタの種類は５〜８種類に限定される。一方で、注目画素から等間隔の画素から微分値を取得するカラーフィルタの種類は５〜８種類に限定されず、９種類以上のカラーフィルタを用いて構成することも可能である。
したがって、注目画素に隣接する２画素のカラーフィルタの種類が異なっていても、注目画素から等間隔だけ離れた２画素のカラーフィルタの種類が同じとなるようなカラーフィルタの配列であれば、本実施形態と同様の効果を得ることは可能である。
例えば、図１８及び図１９に示すカラーフィルタアレイ２１０２ａ、２１０３ａを用いても、本実施形態と同様の効果を得ることが可能である。すなわち、ＣＦＡ２１０２ａ、２１０３ａにおいて、いずれの画素ｐｘを注目画素としても、注目画素から２画素分右で２画素分上の画素と、２画素分左で２画素分下の画素とのカラーフィルタの種類は同じになる。また、注目画素から２画素分左で２画素分上の画素と、２画素分右で２画素分下の画素とのカラーフィルタの種類は同じになる。
また、本実施形態においては、ｕ方向及びｖ方向ともに微分値算出に用いる画素は注目画素から１画素分の間隔を有する構成であるが、ｕ方向とｖ方向とで間隔が異なっていてもよい。間隔に応じた長さで除すことにより微分値を算出可能である。
また、本実施形態においては、注目画素のｕ方向及びｖ方向に対して微分値が算出される構成であるが、算出される微分値の方向はｕ方向及びｖ方向に限定されない。異なる２方向の微分値が算出可能なカラーフィルタ配列であって、その配列に応じて画素信号を読出し微分値を算出すれば本実施形態と同様の効果を得ることが可能である。
例えば、本実施形態におけるＣＦＡ２１ａでは、何れの画素を注目画素としても、注目画素から行方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、注目画素から列方向に沿った両側に２画素分はなれた２画素のカラーフィルタの種類も同じである。したがって、ＣＦＡ２１ａから出力される原画像信号において、注目画素から行方向に２画素分離れた２画素の画素信号に基づいて微分値を算出し、列方向に２画素分離れた２画素の画素信号に基づいて微分値を算出する構成であれば、本実施形態と同様の効果が得られる。
また、本実施形態においては、微分値を取得する方向は２方向であるが、微分値を取得する方向は２方向に限定されない。何れの画素においても少なくとも２つの共通の方向の微分値を算出可能なカラーフィルタ配列であって、その配列に応じて画素信号を読出し、微分値を算出すれば、本実施形態と同様の効果が得られる。
例えば、本実施形態におけるＣＦＡ２１ａでは、何れの画素を注目画素としても、注目画素から行方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、注目画素から列方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、注目画素からｕ方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、注目画素からｖ方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類も同じである。したがって、４方向それぞれ２画素分離れた２画素の画素信号に基づいて微分値を算出する構成であれば、本実施形態と同様の効果が得られる。微分値を取得する方向を増加させることにより、より精度の高い勾配情報を取得可能である。
また、画素毎に、微分値を算出する画素の間隔が異なっていてもよい。例えば、ＣＦＡ２１ａでは、Ｇカラーフィルタでは注目画素から行方向および列方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じである。さらに、Ｇカラーフィルタ以外の４種類のカラーフィルタでは注目画素から行方向および列方向に沿った両側に１画素分離れた２画素のカラーフィルタの種類は同じである。したがって、ＣＦＡ２１ａから出力される原画像信号において、画素の種類に応じて異なる画素間隔である微分値を算出する構成であれば、本実施形態と同様の効果が得られる。
また、図２０に示すようなハニカム構造の撮像素子に対しても、第１の実施形態と同様の効果を得ることが可能である。図２０に示すＣＦＡ２１０４ａにおいては、何れの画素を注目画素としても、行方向から６０°方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、列方向から３０°方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類も同じである。
また、図２１に示すように、行列状に配列された画素を４５°傾けた構成の撮像素子に対しても、第１の実施形態と同様の効果を得ることが可能である。図２１に示すＣＦＡ２１０５ａにおいては、何れの画素を注目画素としても、注目画素から行方向及び列方向に沿った両側に離れた２画素のカラーフィルタの種類は同じである。
また、本実施形態では５バンドのカラーフィルタがＣＦＡ２１ａに設けられる構成であるが、６バンド以上のカラーフィルタが設けられてもよい。
例えば、図２２に示すようにＣ１〜Ｃ６カラーフィルタの６バンドのカラーフィルタが配置されたＣＦＡ２１０６ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に微分値を算出可能である。また、ＣＦＡ２１０６ａによれば、本実施形態と同様に、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックの中心に配置された単一の画素ｐｘの画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。
また、図２３、図２４に示すようにＣ１〜Ｃ６カラーフィルタの６バンドのカラーフィルタが配置されたＣＦＡ２１０７ａ、２１０８ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素ｐｘを用いて微分値を算出可能である。
また、例えば、図２５に示す分光感度を有するＣ１〜Ｃ７カラーフィルタを用いた、図２６に示すＣＦＡ２１０９ａであっても、本実施形態と同様の効果が得られる。また、ＣＦＡ２１０９ａによれば、本実施形態と同様に、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックの中心に配置された単一の画素の画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。
また、図２７〜図２９に示す分光感度を有するＣ１〜Ｃ７カラーフィルタをそれぞれ用いた、図３０〜３２に示すＣＦＡ２１１０ａ、２１１１ａ、２１１２ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素を用いて微分値を算出可能である。
また、例えば、図３３に示す分高感度を有するＣ１〜Ｃ８カラーフィルタを用いた、図３４に示すＣＦＡ２１１３ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に微分値を算出可能である。また、ＣＦＡ２１１３ａによれば、本実施形態と同様に、３行３列、５行５列、及び７行７列に並ぶ画素ｐｘによってそれぞれ構成される第１、第２、第３の画素ブロックの中心に配置された単一の画素ｐｘの画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。
また、図３５に示す分光感度を有するＣ１〜Ｃ８カラーフィルタを用いた、図３６に示すＣＦＡ２１１４ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素ｐｘを用いて微分値を算出可能である。
また、例えば、図３７に示す分光感度を有するＣ１〜Ｃ９カラーフィルタを用いた、図３８に示すＣＦＡ２１１５ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素ｐｘを用いて微分値を算出可能である。また、ＣＦＡ２１１５ａによれば、本実施形態と同様に、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックの中心に配置された単一の画素ｐｘの画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。
また、例えば、図３９、４０に示す分光感度を有するＣ１〜Ｃ１０カラーフィルタをそれぞれ用いた、図４１、４２に示すＣＦＡ２１１６ａ、２１１７ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素ｐｘを用いて微分値を算出可能である。なお、ＣＦＡ２１１６ａ、２１１７ａは、８行８列に並ぶ画素によりカラーフィルタ繰返し単位が構成される。また、ＣＦＡ２１１６ａ、２１１７ａによれば、本実施形態と同様に、３行３列に並ぶ画素ｐｘによって構成される第１の画素ブロックの中心に配置された単一の画素ｐｘの画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。
また、本実施形態では、通常読出しモードにおいて、全画素信号を用いて微分値を算出する構成であるが、微分値を算出する画素は全画素でなくてもよい。
例えば、図３０に示すＣＦＡ２１１０ａにおいては、Ｃ１、Ｃ２、Ｃ４、Ｃ６、Ｃ７カラーフィルタについてのみ微分値を算出してもよい。ＣＦＡ２１１０ａにおいては、いずれの画素を注目画素としても、ｕ方向、ｖ方向、行方向、および列方向にそれぞれ注目画素から両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、微分値を算出可能である。しかし、上述の種類のカラーフィルタ（Ｃ１、Ｃ２、Ｃ４、Ｃ６、Ｃ７）を有する画素を注目画素とする場合には、ｕ方向およびｖ方向にそれぞれ注目画素から両側に１画素分離れた２画素のカラーフィルタの種類が同じであり、微分値を算出可能である。
また、ＣＦＡ２１１０ａにおけるＣ４カラーフィルタのようにサンプル密度が最大である画素の画素信号のみを用いて、微分値を算出してもよい。特に、本実施形態のように、ベイヤー配列のＧカラーフィルタと同様に、全体の５０％の割合で１種類のカラーフィルタが設けられる構成であれば、全画素から算出した微分値に比べて精度が低下するものの、当該１種類のカラーフィルタの画素信号のみから微分値を算出し、後の信号処理に利用可能である。
微分値の最適な算出方法は、ＣＦＡによって異なっている。図２に示すＣＦＡ２１ａの場合には、いずれの画素を注目画素としても、注目画素に隣接する画素からｕ方向およびｖ方向の微分値を算出可能である。さらに、ＣＦＡ２１ａの場合には、いずれの画素を注目画素としても、注目画素から行方向および列方向に沿って２画素分離れた２画素から微分値を算出可能である。このように任意のＣＦＡにおいても、複数の方法により微分値を算出可能な場合がある。このようなＣＦＡに対しては、算出された微分値を用いた後の信号処理および処理速度などの観点から最適な微分値算出方法を選択可能である。ただし、注目画素から２画素分離れた画素から算出された微分値よりも、注目画素に隣接する画素から算出された微分値の方が高精度である。さらに、微分値を算出しない画素が存在するよりも全画素位置において微分値が算出される構成の方が好ましい。
また、本実施形態では、フレームレートの高速化のために、間引き読出し可能な構成であるが、間引きによる偽像の発生を低下させるために、画素加算して読出してもよい。
例えば、本実施形態における第１の間引き読出しモードにおいては、第１の画素ブロックｐｂ１（図３参照）の中心から右上と左下に配置される２画素ｐｘは同じ種類のカラーフィルタを有する。そこで、２画素ｐｘの画素信号を加算させて、第１の画素ブロックｐｂ１の画素信号として出力される。出力される画素信号の色信号成分を第１の画素ブロックｐｂ１のカラーフィルタのバンドとすると、第１の画素ブロックｐｂ１のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。
また、本実施形態における第２の間引き読出しモードにおいては、第２の画素ブロックｐｂ２（図５参照）の中心と４隅とに配置される５画素は同じ種類のカラーフィルタを有する。そこで、５画素の画素信号を加算させて、第２の画素ブロックｐｂ２の画素信号として出力される。出力される画素信号の色信号成分を第２の画素ブロックｐｂ２のカラーフィルタのバンドとすると、第２の画素ブロックｐｂ２のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。
また、本実施形態では、間引き読出しモードでは、３行３列、５行５列、または７行７列に並ぶ画素を画素ブロックとして、間引き読出しをする構成であるが、４行４列の画素によって構成されるカラーフィルタ繰り返し単位に対しては、（２ｋ＋３）行（２ｋ＋３）列の画素（ｋは０以上の整数）によって構成される画素ブロック中の所定の位置の単一の画素から画素信号を読出してもよい。このような構成の画素ブロックであれば、ＣＦＡ２１ａにおけるカラーフィルタの配列と画素ブロックのカラーフィルタの配列は同じになる。
また、本実施形態では、間引き読出しをするときには、画素ブロックの中心の画素から画素信号を出力させる構成であるが、画素ブロック内の何れの位置の画素から画素信号を出力させてもよい。
また、本実施形態では、算出した微分値を適応的カーネル算出部４３、ＮＲ処理部３２、ＭＢ−ＲＧＢ変換処理部３３、色変換処理部３４、及び色・ガンマ補正処理部３５に送信する構成であるが少なくともいずれか一つに送信する構成であってもよいし、微分値に基づいたいかなる処理に用いられてもよい。例えば、エッジ強調処理、局所のコントラスト算出処理、特徴量抽出処理等に用いることも可能である。
１０ デジタルカメラ
２０ 撮像素子
２１ａ、２１００ａ、２１０１ａ、２１０２ａ、２１０３ａ、２１０４ａ、２１０５ａ、２１０６ａ、２１０７ａ、２１０８ａ、２１０９ａ、２１１０ａ、２１１１ａ、２１１２ａ、２１１３ａ、２１１４ａ、２１１５ａ、２１１６ａ、２１１７ａ カラーフィルタアレイ（ＣＦＡ）
２１ｕ カラーフィルタ繰返し単位
３０ 画像信号処理部
４０ マルチバンドデモザイク（ＭＢ）処理部
ｐｂ１〜ｐｂ３ 第１〜第３の画素ブロック
ｐｘ 画素

Claims (15)

  1. 分光感度特性が異なる５種類以上のカラーフィルタを有し、前記５種類以上のカラーフィルタの中で少なくとも２種類のカラーフィルタを注目カラーフィルタとして、前記注目カラーフィルタから第１の方向に沿った両側に第１の間隔で配置される２つの前記カラーフィルタは同じ種類であり、且つ前記第１の方向と異なる第２の方向に沿った両側に第２の間隔で配置される２つの前記カラーフィルタの種類は同じ種類となるように前記５種類以上のカラーフィルタを２次元状に配置したカラーフィルタアレイと、
    前記カラーフィルタアレイにおけるいずれかの種類の前記カラーフィルタによって覆われ、受光量に応じた画素信号を生成する複数の画素を有する撮像素子と、
    前記注目カラーフィルタとして前記カラーフィルタアレイ上に配置された種類のカラーフィルタに覆われた画素を１画素ずつ順次注目画素に指定し、前記注目画素から前記第１の方向に沿った両側に前記第１の間隔で配置される２つの前記画素が生成する前記画素信号に基づいて第１の微分情報を算出し、前記注目画素から前記第２の方向に沿った両側に前記第２の間隔で配置される２つの前記画素が生成する前記画素信号に基づいて第２の微分情報を算出する微分情報取得部とを備える
    ことを特徴とする撮像装置。
  2. 請求項１に記載の撮像装置であって、前記第１の間隔および前記第２の間隔は等しいことを特徴とする撮像装置。
  3. 請求項２に記載の撮像装置であって、前記カラーフィルタは５〜８種類であり、前記第１の間隔および前記第２の間隔は１画素分の間隔であることを特徴とする撮像装置。
  4. 請求項１から請求項３のいずれかに記載の撮像装置であって、
    前記カラーフィルタはマトリックス状に配置され、
    前記第１の方向及び前記第２の方向と行方向との間の角度は４５°となり、前記第１の方向及び前記第２の方向と列方向との間の角度は４５°となるように構成される
    ことを特徴とする撮像装置。
  5. 請求項１から請求項３のいずれかに記載の撮像装置であって、前記カラーフィルタはマトリックス状に配置され、前記第１の方向は行方向と一致し、前記第２の方向は列方向と一致することを特徴とする撮像装置。
  6. 請求項１から請求項５のいずれかに記載の撮像装置であって、
    前記注目カラーフィルタとして配置された前記少なくとも２種類のカラーフィルタの中で２種類のカラーフィルタが隣接しており、
    互いに隣接する該２種類のカラーフィルタの一方に覆われた前記画素のみにおいて前記第１の間隔および前記第２の間隔が１画素分の間隔である
    ことを特徴とする撮像装置。
  7. 請求項１から請求項３のいずれかに記載の撮像装置であって、
    前記カラーフィルタは、マトリックス状に配置され、
    前記５種類以上のカラーフィルタの中の第１のカラーフィルタは、全行及び全列においてそれぞれ、行方向及び列方向に沿って１画素おきに配置される
    ことを特徴とする撮像装置。
  8. 請求項１から請求項３のいずれかに記載の撮像装置であって、前記カラーフィルタはマトリックス状に配置され、前記５種類以上のカラーフィルタの中の第１のカラーフィルタは市松状に配置されることを特徴とする撮像装置。
  9. 請求項１から請求項８のいずれかに記載の撮像装置であって、前記５種類以上のカラーフィルタ中の特定の種類以外のカラーフィルタが同じ割合となるように配置されることを特徴とする撮像装置。
  10. 請求項１から請求項９のいずれかに記載の撮像装置であって、前記注目カラーフィルタから前記第１の方向に沿って両側に前記第１の間隔で配置される同じ種類の２つのカラーフィルタの分光感度特性のピーク波長は、前記注目カラーフィルタから前記第２の方向に沿って両側に前記第２の間隔で配置される同じ種類の２つのカラーフィルタの分光感度特性のピーク波長に隣接することを特徴とする撮像装置。
  11. 請求項１から請求項９のいずれかに記載の撮像装置であって、前記注目カラーフィルタから前記第１の方向に沿って両側に前記第１の間隔で配置される同じ種類の２つのカラーフィルタの分光感度特性のピーク波長は、注目カラーフィルタの分光感度特性のピーク波長に隣接することを特徴とする撮像装置。
  12. 請求項１から請求項１１のいずれかに記載の撮像装置であって、前記微分情報取得部は、前記第１の間隔及び前記第２の間隔が１画素分の間隔である画素が生成する画素信号のみを用いて前記第１の微分情報及び前記第２の微分情報を算出することを特徴とする撮像装置。
  13. 請求項１から請求項１２のいずれかに記載の撮像装置であって、
    前記注目カラーフィルタから、前記第１の方向および前記第２の方向のなす角を当分割する第３の方向に沿った両側に第３の間隔で配置される２つの前記カラーフィルタは同じ種類のカラーフィルタであり、
    前記注目カラーフィルタから、前記第３の方向に垂直な第４の方向に沿った両側に第４の間隔で配置される２つの前記カラーフィルタは同じ種類のカラーフィルタであり、
    前記微分情報取得部は、前記注目画素から前記第３の方向に沿った両側に前記第３の間隔で配置される２つの前記画素が生成する前記画素信号に基づいて第３の微分情報を算出し、前記注目画素から前記第４の方向に沿った両側に前記第４の間隔で配置される２つの前記画素が生成する前記画素信号に基づいて第４の微分情報を算出する
    ことを特徴とする撮像装置。
  14. 請求項１から請求項１３のいずれかに記載の撮像装置であって、前記画像処理部は、少なくとも、複数の前記画素信号によって構成される画像信号にエッジ強調処理を施すエッジ強調部、前記画像信号における全体または局所のコントラストを算出するコントラスト処理部、前記画像信号に相当する画像の特徴量を抽出する特徴量抽出部、及び前記画素を覆う前記カラーフィルタと異なるすべての種類のカラーフィルタの色信号成分に相当する前記画素信号を補間する補間処理部の何れか一つを含むことを特徴とする撮像装置。
  15. 請求項１から請求項１３のいずれかに記載の撮像装置であって、
    すべての前記画素に前記画素信号を生成させ出力させる通常駆動と、前記通常駆動とは異なる間引き駆動を実行する撮像素子駆動部を備え、
    前記撮像素子における複数の前記画素が配置される受光面を分割することにより、包含する前記画素の数が等しい複数の画素ブロックが形成され、
    前記撮像素子駆動部は、前記間引き駆動において、前記画素ブロック内の所定の位置の単一の前記画素である間引き画素を覆う前記カラーフィルタを前記画素ブロックのカラーフィルタとみなした全画素ブロックのカラーフィルタの配列が前記カラーフィルタアレイにおける前記カラーフィルタと同じ配列になるように、前記間引き画素を前記撮像素子に出力させ、
    前記微分情報取得部は、前記撮像素子が前記間引き駆動を実行する場合に、全前記画素ブロックを注目画素ブロックに指定し、前記注目画素ブロックから前記第１の方向に沿った両側に前記第１の間隔と前記第１の方向に沿った前記画素ブロックの画素数とを乗じた間隔で配置される２つの前記画素ブロックの前記間引き画素が生成する前記画素信号に基づいて第３の微分情報を算出し、前記注目画素ブロックから前記第２の方向に沿った両側に前記第２の間隔と前記第２の方向に沿った前記画素ブロックの画素数とを乗じた間隔で配置される２つの前記画素ブロックの前記間引き画素が生成する前記画素信号に基づいて第４の微分情報を算出する
    ことを特徴とする撮像装置。
JP2013513940A 2011-05-11 2012-05-10 撮像装置 Expired - Fee Related JP5943393B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011106740 2011-05-11
JP2011106740 2011-05-11
PCT/JP2012/003068 WO2012153532A1 (ja) 2011-05-11 2012-05-10 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2012153532A1 JPWO2012153532A1 (ja) 2014-07-31
JP5943393B2 true JP5943393B2 (ja) 2016-07-05

Family

ID=47139019

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013513940A Expired - Fee Related JP5943393B2 (ja) 2011-05-11 2012-05-10 撮像装置
JP2013513941A Expired - Fee Related JP6074813B2 (ja) 2011-05-11 2012-05-10 カラーフィルタアレイ及び撮像素子

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013513941A Expired - Fee Related JP6074813B2 (ja) 2011-05-11 2012-05-10 カラーフィルタアレイ及び撮像素子

Country Status (3)

Country Link
US (2) US9250121B2 (ja)
JP (2) JP5943393B2 (ja)
WO (2) WO2012153533A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6200664B2 (ja) * 2013-03-12 2017-09-20 株式会社Pfu 画像データ処理装置、画像データ処理方法及び画像データ処理プログラム
JP5881916B1 (ja) * 2014-05-09 2016-03-09 オリンパス株式会社 固体撮像素子、内視鏡および内視鏡システム
JP6249234B2 (ja) * 2014-10-23 2017-12-20 京セラドキュメントソリューションズ株式会社 画像処理装置
JP7163079B2 (ja) * 2018-06-22 2022-10-31 株式会社エビデント 撮像システム、画像構築方法
JP7281895B2 (ja) 2018-12-06 2023-05-26 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器
WO2022063407A1 (en) * 2020-09-25 2022-03-31 Huawei Technologies Co., Ltd. Compressed image sensor module obtained using pixel rearrangement
TWI757138B (zh) 2021-04-01 2022-03-01 元太科技工業股份有限公司 色彩濾波模組
FR3122930B1 (fr) * 2021-05-11 2023-05-26 Safran Electronics & Defense Filtre multi-spectral

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286649A (ja) * 2004-03-29 2005-10-13 Sharp Corp 色フィルタアレイおよびそれを用いた撮像装置
JP2007103401A (ja) * 2005-09-30 2007-04-19 Matsushita Electric Ind Co Ltd 撮像装置及び画像処理装置
JP2009284010A (ja) * 2008-05-19 2009-12-03 Canon Inc 画像処理装置、撮像装置及び画像処理方法
JP2009290607A (ja) * 2008-05-29 2009-12-10 Hoya Corp 撮像装置
JP2011145448A (ja) * 2010-01-14 2011-07-28 Seiko Epson Corp カラーフィルターの製造方法、カラーフィルター、画像表示装置および電子機器
JP2011528866A (ja) * 2008-03-28 2011-11-24 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087806A (ja) 2001-09-12 2003-03-20 Fuji Photo Film Co Ltd マルチバンドカメラ用フィルターとその形成方法並びにこの方法のプログラム及びこれを記録した記録媒体
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
JP2009100271A (ja) * 2007-10-17 2009-05-07 Olympus Corp 撮像素子および表示装置
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
US20110149126A1 (en) * 2009-12-22 2011-06-23 Olympus Corporation Multiband image pickup method and device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286649A (ja) * 2004-03-29 2005-10-13 Sharp Corp 色フィルタアレイおよびそれを用いた撮像装置
JP2007103401A (ja) * 2005-09-30 2007-04-19 Matsushita Electric Ind Co Ltd 撮像装置及び画像処理装置
JP2011528866A (ja) * 2008-03-28 2011-11-24 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法
JP2009284010A (ja) * 2008-05-19 2009-12-03 Canon Inc 画像処理装置、撮像装置及び画像処理方法
JP2009290607A (ja) * 2008-05-29 2009-12-10 Hoya Corp 撮像装置
JP2011145448A (ja) * 2010-01-14 2011-07-28 Seiko Epson Corp カラーフィルターの製造方法、カラーフィルター、画像表示装置および電子機器

Also Published As

Publication number Publication date
WO2012153532A1 (ja) 2012-11-15
US20140054448A1 (en) 2014-02-27
WO2012153533A1 (ja) 2012-11-15
US9250121B2 (en) 2016-02-02
US20140118586A1 (en) 2014-05-01
JPWO2012153532A1 (ja) 2014-07-31
US9188480B2 (en) 2015-11-17
JPWO2012153533A1 (ja) 2014-07-31
JP6074813B2 (ja) 2017-02-08

Similar Documents

Publication Publication Date Title
JP5943393B2 (ja) 撮像装置
JP5687676B2 (ja) 撮像装置及び画像生成方法
JP6096243B2 (ja) 画像データの処理方法およびシステム
JP5709131B2 (ja) 画像処理システム
US9338364B2 (en) Imaging device and image generation method
JP2011010108A (ja) 撮像制御装置、撮像装置及び撮像制御方法
JP5546166B2 (ja) 撮像装置、信号処理方法、及びプログラム
WO2012117583A1 (ja) カラー撮像装置
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
JPWO2017064760A1 (ja) 積層型撮像素子、画像処理装置、画像処理方法およびプログラム
EP2442556A1 (en) Apparatus and method for capturing images with high dynamic range
WO2012124181A1 (ja) 撮像装置及び撮像プログラム
JP5600812B2 (ja) 撮像装置
JP5718138B2 (ja) 画像信号処理装置及びプログラム
WO2017203557A1 (ja) 撮像装置、画像処理装置、画像処理方法および画像処理プログラム
EP2800373A1 (en) Color imaging element
JP2015035782A (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
CN104956669B (zh) 图像处理装置、摄像装置和图像处理方法
JP5948167B2 (ja) 撮像装置
CN112585960B (zh) 摄像元件、摄像装置、摄像方法以及存储介质
JP5912586B2 (ja) 画像信号処理方法及び画像信号処理回路、並びに撮像装置
JP2010130321A (ja) 撮像装置
JP2012227869A (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP2010252089A (ja) 撮像装置及び画像処理プログラム
JP2008035090A (ja) 信号処理方法およびカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160518

R150 Certificate of patent or registration of utility model

Ref document number: 5943393

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees