JPH11243553A - カラー撮像装置、画像信号読み出し方法、撮像素子、画像処理装置、画像処理システム、及び記憶媒体 - Google Patents

カラー撮像装置、画像信号読み出し方法、撮像素子、画像処理装置、画像処理システム、及び記憶媒体

Info

Publication number
JPH11243553A
JPH11243553A JP10212434A JP21243498A JPH11243553A JP H11243553 A JPH11243553 A JP H11243553A JP 10212434 A JP10212434 A JP 10212434A JP 21243498 A JP21243498 A JP 21243498A JP H11243553 A JPH11243553 A JP H11243553A
Authority
JP
Japan
Prior art keywords
signal
color
row
column
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10212434A
Other languages
English (en)
Other versions
JP4377976B2 (ja
Inventor
Toshitake Ueno
勇武 上野
Katsuto Sakurai
克仁 桜井
Katsuhisa Ogawa
勝久 小川
Toru Koizumi
徹 小泉
Tetsunobu Kouchi
哲伸 光地
拓己 ▲樋▼山
Takumi Hiyama
Shigetoshi Sugawa
成利 須川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP21243498A priority Critical patent/JP4377976B2/ja
Priority to DE69833738T priority patent/DE69833738D1/de
Priority to US09/219,754 priority patent/US6757016B1/en
Priority to EP98310696A priority patent/EP0926901B1/en
Priority to CNB981240801A priority patent/CN1161962C/zh
Priority to KR1019980058934A priority patent/KR100307471B1/ko
Publication of JPH11243553A publication Critical patent/JPH11243553A/ja
Application granted granted Critical
Publication of JP4377976B2 publication Critical patent/JP4377976B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10Integrated devices
    • H10F39/12Image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 水平方向と垂直方向共に解像度が高い画像信
号を得る単板カラー撮像装置を提供する。 【解決手段】 カラー撮像装置で用いる色フィルタアレ
イのフィルタ配列を、N行×N列(4行×4列)の周期
単位の中で、同一行のフィルタの色は全て異なり、同一
列のフィルタの色も全て異なるように構成する。これに
より、所定の画素ブロック単位で、該画素ブロックの画
素信号を用いて輝度信号及び色差信号を得る際に、どの
画素ブロックからも輝度信号及び色差信号を得るために
必要な画素信号が得られる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、色フィルタアレイ
を介して撮像素子に入射した被写体光から該被写体のカ
ラー画像信号を生成するカラー撮像装置や撮像素子、及
びそのカラー撮像装置や撮像素子から画像信号を読み出
す画像信号読み出し方法、それを用いた画像処理装置、
画像処理システム、及び該読み出し方法を実施するため
の処理ステップをコンピュータが読出可能に格納した記
憶媒体にに関するものである。
【0002】
【従来の技術】従来より、撮像素子(個体撮像素子:C
CD等、以下、単に「撮像素子」と言う)よりカラー画
像信号を生成するカラー撮像装置がある。このカラー撮
像装置では、被写体光が色フィルタ(フィルタアレイ)
を介して、撮像素子における複数のホトダイオード(以
下、「画素」又は「光検出素子」とも言う)が配列され
てなる受光面に入射されるようになされている。色フィ
ルタの種類としては、原色フィルタと補色フィルタがあ
る。原色フィルタは、レッド(R)、グリーン(G)、
及びブルー(B)の3原色の色フィルタが、受光面上の
各画素に対応して、所定の順で配列された構成としてい
る。補色フィルタも同様に、シアン(Cy)、イエロ
(Ye)、マゼンタ(Mg)、グリーン(G)の補色系
の4色の色フィルタが所定の順で配列された構成として
いる。
【0003】ここで、撮像素子に対して用いる色フィル
タを、その一例として上記の補色フィルタとし、該撮像
素子で得られる信号、及び該信号を用いての処理等につ
いて、以下説明する。
【0004】まず、補色フィルタにおいて、シアンの色
フィルタは、可視光範囲において赤色光のみを遮断し、
イエロの色フィルタは、可視光範囲において青色光のも
を遮断するようになされている。また、マゼンタの色フ
ィルタは、可視光範囲において緑色光のみを遮断し、グ
リーンの色フィルタは緑色光のみを透過するようになさ
れている。尚、これらの各色フィルタの配列については
後述する。
【0005】したがって、このような補色フィルタを介
した被写体光が入射される撮像素子では、シアンの色フ
ィルタを介した光が入射される画素の受光量に対応した
画素信号Cy、イエロの色フィルタを介した光が入射さ
れる画素の受光量に対応した画素信号Ye、マゼンタの
色フィルタを介した光が入射される画素の受光量に対応
した画素信号Mg、及びグリーンの色フィルタを介した
光が入射される画素の受光量に対応した画素信号Gが得
られる。
【0006】上述のようにして撮像素子で得られた画素
信号Cy,Ye,Mg,Gは、例えば、ディジタルスチ
ルカメラにおけるアイリスやホワイトバランスの調整や
オートフォーカス検出用の信号、或いは画像処理装置に
おける圧縮処理や伸張処理等に用いられるが、輝度信号
Y及び色差信号CB,CRのかたちで用いられる。輝度
信号Y、及び色差信号CB,CRは、画素信号Cy,Y
e,Mg,Gを持って、次の式(1)〜(3)により表
される。 Y=Ye+G+Cy+Mg ・・・(1) CB=(G+Ye)一(Mg+Cy) ・・・(2) CR=(Cy+G)一(Ye+Mg) ・・・(3)
【0007】そこで、図23及び図24は、撮像素子に
対して用いられる補色フィルタでの色フィルタの配列パ
ターンの一例を示したものである。上記図23に示すパ
ターンの補色フィルタは、水平方向(図中C1,C2,
C3,・・・の方向)に2画素、垂直方向(図中L1,
L2,L3,・・・の方向)に4画素の周期性を持つよ
うに、色フィルタが配列されたものである。一方、上記
図24に示すパターンの補色フィルタは、水平方向に2
画素、垂直方向に8画素の周期性を持つように、色フィ
ルタが配列されたものである。何れの補色フィルタを用
いた場合でも、輝度信号Yは、水平方向に2画素、垂直
方向に2画素の4(2×2)画素ブロック内の画素から
の画素信号Cy,Y,Mg,G(上記図23及び図24
中斜線部分参照)を用いた上記式(1)の演算を行うこ
とにより得られる。色差信号CB,CRについても同様
に各々、2×2画素ブロック内の画素からの画素信号C
y,Y,Mg,Gを用いた上記式(2)、(3)の演算
を行うことにより得られる。
【0008】
【発明が解決しようとする課題】しかしながら、上記図
23や図24に示したような色フィルタを介して被写体
光が入射される従来の撮像素子を、例えば、ディジタル
スチルカメラに使用した場合、次のような問題があっ
た。
【0009】(1)ディジタルスチルカメラでは、シャ
ッターが押される前に、解像度を犠牲にして、撮像素子
で得られる画素信号(ここでは、上述の画素信号Cy,
Ye,Mg,G)を高速に読み出し(高速読み出しモー
ド)、その読出信号を基に、液晶ファインダで画面表示
したり、アイリスの調整やホワイトバランスの調整等を
行う。
【0010】しかしながら、上記図24に示した色フィ
ルタが撮像素子に対して用いられた場合には、高速読み
出しモードで撮像素子の画素信号を読み出して、それを
基にホワイトバランスの調整を行うことができるが、上
記図23に示した色フィルタが撮像素子に対して用いら
れた場合、垂直方向に1画素毎に間引いて画素信号を読
み出すことで、解像度を犠牲にして、高速読み出しを行
うと、画素信号Cyと画素信号Yeのみしか得られず、
すなわちシアンとイエロの2色についての画素信号しか
得られず、ホワイトバランスを調整することができなか
った。
【0011】(2)最近ではCCD等の撮像素子におい
て、信号読出方法を工夫して、素子内の受光面で被写体
光を受光し、該受光面において垂直方向に隣接する2つ
の画素の画素信号を加算した後に、その加算信号を素子
内の転送部に転送して出力するようになされているもの
もある。したがって、撮像素子から出力される信号は、
2つの画素信号がペアを組んだ状態で出力される。
【0012】具体的には例えば、上記図23に示した色
フィルタが撮像素子に対して用いられた場合、先ず、行
L1,L2について、(C1,L1)に位置する画素の
画素信号Cyと、(C1,L2)に位置する画素の画素
信号Mgとのペアが出力された後に、(C2,L1)に
位置する画素の画素信号Yeと、(C2,L2)に位置
する画素の画素信号Gとのペアが出力される。以降同様
にして順次出力がなされ、該行L1,L2についての出
力が終了すると、次の行L3,L4について、(C1,
L3)に位置する画素の画素信号Cyと、(C1,L
4)に位置する画素の画素信号Gとのペアが出力された
後に、(C2,L3)に位置する画素の画素信号Ye
と、(C2,L4)に位置する画素の画素信号Mgとの
ペアが出力される。以降同様にして順次出力がなされ、
該行L3,L4についての出力が終了する。すなわち、
行L1,L2についての出力は、 (Cy+Mg),(Ye+G),・・・ となり、次の行L3,L4についての出力は、 (Cy+G),(Ye+Mg),・・・ となる。
【0013】しかしながら、上記の出力から輝度信号Y
や色差信号CB,CRを得るために、上記式(1)〜
(3)の演算を行う際、色差信号CB,CRを得るため
の上記式(2)及び式(3)については、演算が行えな
い出力が存在していた。すなわち、上記式(2)は、
(G+Ye)と(Mg+Cy)からなるが、行L3,L
4についての出力は、 (Cy+G),(Ye+Mg),・・・ であるため、これらの行についての上記式(2)の演算
は行うことができない。また、上記式(3)は、(Cy
+G)と(Ye+Mg)からなるが、行L1,L2につ
いての出力は、 (Cy+Mg),(Ye+G),・・・ であるため、これらの行についての上記式(3)の演算
は行うことができない。このように、上記式(2)の演
算は、行L1,L2についての出力に対しては行える
が、行L3,L4についての出力に対しては行うことが
できない。また、上記式(3)の演算は、行L3,L4
についての出力に対しては行えるが、行L1,L2につ
いての出力に対しては行うことができない。したがっ
て、各色の色差信号CB,CRは、撮像素子から出力さ
れる4行分の画素信号から、1行分の画素信号に対して
のものしか得ることができず、すなわち4行分の画素信
号を使用して初めて輝度信号Y及び色差信号CB,CR
が得られるため、その分、垂直方向の解像度が低下して
いた。
【0014】また、上記図24に示した色フィルタが撮
像素子に対して用いられた場合も同様に、先ず、行L
1,L2について、 (Cy+Mg),(Ye+G),・・・ の出力がなされ、次の行L3,L4について、 (Cy+Mg),(Ye+G),・・・ の出力がなされ、次の行L5,L6について、 (Cy+G),(Ye+Mg),・・・ の出力がなされ、次の行L7,L8について、 (Cy+G),(Ye+Mg),・・・ の出力がなされる。
【0015】しかしながら、上記の出力から輝度信号Y
や色差信号CB,CRを得るために、上記式(1)〜
(3)の演算を行う際、この場合も上述の上記図23の
色フィルタを用いた場合と同様に、色差信号CB,CR
を得るための上記式(2)及び式(3)については、演
算が行えない出力が存在していた。すなわち、上記式
(2)は、(G+Ye)と(Mg+Cy)からなるが、
行L5,L6及び行L7,L8についての出力は、 (Cy+G),(Ye+Mg),・・・ であるため、これらの行についての上記式(2)の演算
は行うことができない。また、上記式(3)は、(Cy
+G)と(Ye+Mg)からなるが、行L1,L2及び
行L3,L4についての出力は、 (Cy+Mg),(Ye+G),・・・ であるため、これらの行についての上記式(3)の演算
は行うことができない。このように、上記式(2)の演
算は、行L1〜L4についての出力に対しては行える
が、行L5〜L8についての出力に対しては行うことが
できない。また、上記式(3)の演算は、行L5〜L8
についての出力に対しては行えるが、行L1〜L4につ
いての出力に対しては行うことができない。したがっ
て、各色の色差信号CB,CRは、撮像素子から出力さ
れる8行分の画素信号から、2行分の画素信号に対して
のものしか得ることができず、その分、垂直方向の解像
度が低下していた。
【0016】そこで、本発明は、上記の欠点を除去する
ために成されたもので、水平方向と垂直方向共に解像度
が高い画像信号を得るカラー撮像装置、撮像素子、画像
処理装置、及び画像処理システムを提供することを目的
とする。また、本発明は、水平方向と垂直方向共に解像
度が高い画像信号を得ることが可能な画像信号読み出し
方法、及び該読み出し方法を実施するための処理ステッ
プをコンピュータが読み出し可能に格納した記憶媒体を
提供することを目的とする。
【0017】また、本発明は、高解像度のカラー画像信
号を効率的に得るカラー撮像装置、撮像素子、画像処理
装置、及び画像処理システムを提供することを目的とす
る。また、本発明は、高解像度のカラー画像信号を効率
的に得ることが可能な画像信号読み出し方法、及び該読
み出し方法を実施するための処理ステップをコンピュー
タが読み出し可能に格納した記憶媒体を提供することを
目的とする。
【0018】また、本発明は、簡易カラー表示、オート
フォーカス、及びオートホワイトバランス等に使用する
際に、低解像度の画像信号を高速に出力できるモード、
高解像度の画像信号を低速に出力できるモード等のマル
チモードを備えるカラー撮像装置を提供することを目的
とする。
【0019】
【課題を解決するための手段】斯かる目的下において、
第1の発明は、4色の色フィルタアレイを介して撮像素
子に入射した入射光よりカラー画像信号を生成するカラ
ー撮像装置であって、前記色フィルタアレイは、4行×
4列の周期性を持ち、4行×4列の周期単位の中で、同
一行の色フィルタの色は全て異なり、同一列の前記色フ
ィルタの色は全て異なることを特徴とする。
【0020】第2の発明は、前記第1の発明において、
前記色フィルタアレイは、前記4行×4列の周期単位の
中で、第1行には、左から右の順又は右から左の順に第
1色の色フィルタ、第2色の色フィルタ、第3色の色フ
ィルタ、第4色の色フィルタが配列され、第2行には、
左又は右から順に前記第3色の色フィルタ、前記第4色
の色フィルタ、前記第1色の色フィルタ、前記第2色の
色フィルタが配列され、第3行には、左又は右から順に
前記第2色の色フィルタ、前記第1色の色フィルタ、前
記第4色の色フィルタ、前記第3色の色フィルタが配列
され、第4行には、左又は右から順に前記第4色の色フ
ィルタ、前記第3色の色フィルタ、前記第2色の色フィ
ルタ、前記第1色の色フィルタが配列されおり、前記第
1行から前記第4行までは、上から下の順又は下から上
の順に並んでいることを特徴とする。
【0021】第3の発明は、前記第2の発明において、
前記第3行と前記第4行とが入れ替わっていることを特
徴とする。
【0022】第4の発明は、前記第2又は3の発明にお
いて、前記第1の色フィルタは、可視光範囲において緑
色光のみを透過するフィルタであり、前記第2の色フィ
ルタは、可視光範囲において青色光のみを遮断するフィ
ルタであり、前記第3の色フィルタは、可視光範囲にお
いて緑色光のみを遮断するフィルタであり、前記第4の
色フィルタは、可視光範囲において赤色光のみを遮断す
るフィルタであることを特徴とする。
【0023】第5の発明は、前記第1の発明において、
前記色フィルタアレイは、前記4行×4列の周期単位の
中で、第1行には、左から右の順又は右から左の順に第
1色の色フィルタ、第2色の色フィルタ、第3色の色フ
ィルタ・第4色の色フィルタが配列され、第2行には、
左又は右から順に前記第3色の色フィルタ、前記第4色
の色フィルタ、前記第1色の色フィルタ、前記第2色の
色フィルタが配列され、第3行には、左又は右から順に
前記第4色の色フィルタ、前記第1色の色フィルタ、前
記第2色の色フィルタ、前記第3色の色フィルタが配列
され、第4行には、左又は右から順に前記第2色の色フ
ィルタ、前記第3色の色フィルタ、前記第4色の色フィ
ルタ、前記第1色の色フィルタが配列されおり、前記第
1行から前記第4行までは、上から下の順又は下から上
の順に並んでいることを特徴とする。
【0024】第6の発明は、前記第5の発明において、
前記第3行と前記第4行とが入れ替わっていることを特
徴とする。
【0025】第7の発明は、前記第5又は6の発明にお
いて、前記第1の色フィルタは、可視光範囲において緑
色光のみを透過するフィルタであり、前記第2の色フィ
ルタは、可視光範囲において青色光のみを遮断するフィ
ルタであり、前記第3の色フィルタは、可視光範囲にお
いて緑色光のみを遮断するフィルタであり、前記第4の
色フィルタは、可視光範囲において赤色光のみを遮断す
るフィルタであることを特徴とする。
【0026】第8の発明は、前記第1乃至4の何れかの
発明において、2行×2列の領域の第1行第1列の信号
と第1行第2列の信号との加算信号と、前記2行×2列
の領域の第2行第1列の信号と第2行第2列の信号との
加算信号との差を読み出す手段と、前記2行×2列の領
域の第1行第1列の信号と第2行第1列の信号との加算
信号と、前記2行×2列の領域の第1行第2列の信号と
第2行第2列の信号との加算信号との差を読み出す手段
とを備えることを特徴とする。
【0027】第9の発明は、前記第8の発明において、
前記2行×2列の領域は隙間なく配列されることを特徴
とする。
【0028】第10の発明は、前記第5乃至7の何れか
の発明において、2行×2列の領域の第1行第1列の信
号と第1行第2列の信号との加算信号と、前記2行×2
列の領域の第2行第1列の信号と第2行第2列の信号と
の加算信号との差を読み出す手段と、前記2行×2列の
領域の第1行第1列の信号と第2行第1列の信号との加
算信号と、前記2行×2列の領域の第1行第2列の信号
と第2行第2列の信号との加算信号との差を読み出す手
段とを備えることを特徴とする。
【0029】第11の発明は、前記第1乃至7の何れか
の発明において、4行×1列の領域の全信号の加算値を
読み出す手段を備えることを特徴とする。
【0030】第12の発明は、前記第1乃至7の何れか
の発明において、1行×4列の領域の全信号の加算値を
読み出す手段を備えることを特徴とする。
【0031】第13の発明は、上記第1乃至4の何れか
の発明のカラー撮像装置から画像信号を読み出す画像信
号読み出し方法であって、2行×2列の領域の第1行第
1列の信号と第1行第2列の信号との加算信号と、前記
2行×2列の領域の第2行第1列の信号と第2行第2列
の信号との加算信号との差を第1の色差信号として読み
出すステップと、前記2行×2列の領域の第1行第1列
の信号と第2行第1列の信号との加算信号と、前記2行
×2列の領域の第1行第2列の信号と第2行第2列の信
号との加算信号との差を第2の色差信号として読み出す
ステップとを含むことを特徴とする。
【0032】第14の発明は、前記第13の発明におい
て、前記2行×2列の領域が隙間なく配列されるステッ
プを含むことを特徴とする。
【0033】第15の発明は、前記第5乃至7の何れか
の発明のカラー撮像装置から画像信号を読み出す画像信
号読み出し方法であって、2行×2列の領域の第1行第
1列の信号と第1行第2列の信号との加算信号と、前記
2行×2列の領域の第2行第1列の信号と第2行第2列
の信号との加算信号との差を第1の色差信号として読み
出すステップと、前記2行×2列の領域の第1行第1列
の信号と第2行第1列の信号との加算信号と、前記2行
×2列の領域の第1行第2列の信号と第2行第2列の信
号との加算信号との差を第2の色差信号として読み出す
ステップとを含むことを特徴とする。
【0034】第16の発明は、前記第1乃至7の何れか
の発明のカラー撮像装置から画像信号を読み出す画像信
号読み出し方法であって、4行×1列の領域の全信号の
加算値を輝度信号として読み出すステップを含むことを
特徴とする。
【0035】第17の発明は、前記第1乃至7の何れか
の発明のカラー撮像装置から画像信号を読み出す画像信
号読み出し方法であって、4行×2列の領域の全信号の
加算値を輝度信号として読み出すステップを含むことを
特徴とする。
【0036】第18の発明は、前記第1乃至7の何れか
の発明のカラー撮像装置から画像信号を読み出す画像信
号読み出し方法であって、1行×4列の領域の全信号の
加算値を輝度信号として読み出すステップを含むことを
特徴とする。
【0037】第19の発明は、前記第1乃至7の何れか
の発明のカラー撮像装置から画像信号を読み出す画像信
号読み出し方法であって、2行×4列の領域の全信号の
加算値を輝度信号として読み出すステップを含むことを
特徴とする。
【0038】第20の発明は、前記第1乃至7の何れか
の発明のカラー撮像装置から画像信号を読み出す画像信
号読み出し方法であって、2行×2列の領域の全信号の
加算値を輝度信号として読み出すステップを含むことを
特徴とする。
【0039】第21の発明は、前記第1の発明におい
て、少なくとも行方向及び列方向の何れかの方向に所定
画素分シフトしながら、N行×N列(N:整数)の画素
ブロック単位で前記撮像素子から信号を読み出す読出手
段を備えることを特徴とする。
【0040】第22の発明は、前記第21の発明におい
て、前記読出手段で読み出された今回の読出画素ブロッ
クの信号のうち、該読出画素ブロックに対して1画素シ
フトした次の読出画素ブロックと重なり合う領域の信号
を保持する保持手段を備え、前記読出手段は、次の画素
ブロックの信号の読み出しに、前記保持手段に保持され
た信号を用いることを特徴とする。
【0041】第23の発明は、2次元配列された複数画
素にて色フィルタアレイを介した被写体光を受光して、
該複数画素での各受光量に対応する画素信号を得る撮像
素子であって、前記色フィルタアレイは、複数色のフィ
ルタがN行×N列(N:整数)の周期性を持って上記複
数画素に対応して配列され、該N行×N列の周期単位内
の各行及び各列の各々において同一色のフィルタが存在
しないように配列されてなることを特徴とする。
【0042】第24の発明は、前記第23の発明におい
て、少なくとも行方向及び列方向の何れかの方向に所定
画素分シフトしながら、前記画素信号をN行×N列の画
素ブロック単位で読み出す読出手段を備えることを特徴
とする。
【0043】第25の発明は、前記第24の発明におい
て、前記読出手段で読み出された今回の読出画素ブロッ
クの画素信号のうち、該読出画素ブロックに対して所定
画素分シフトした次の読出画素ブロックと重なり合う領
域の画素信号を保持する保持手段を更に備え、前記読出
手段は、次の画素ブロックの画素信号の読み出しに、前
記保持手段に保持された画素信号を用いることを特徴と
する。
【0044】第26の発明は、2次元配列された複数画
素にて所定の色フィルタアレイを介した被写体光を受光
して、該複数画素での各受光量に対応する画素信号を得
る受光手段と、少なくとも行方向及び列方向の何れかの
方向に所定画素分シフトしながら、前記受光手段での画
素信号をN行×N列(N:整数)の画素ブロック単位で
読み出す読出手段と、前記読出手段で読み出された今回
の読出画素ブロックの画素信号のうち、該読出画素ブロ
ックに対して所定画素分シフトした次の読出画素ブロッ
クと重なり合う領域の画素信号を保持する保持手段とを
備え、前記読出手段は、次の画素ブロックの画素信号の
読み出しに、前記保持手段に保持された画素信号を用い
ることを特徴とする。
【0045】第27の発明は、前記第26の発明におい
て、前記色フィルタアレイは、複数色のフィルタがN行
×N列(N:整数)の周期性を持って前記複数画素に対
応して配列され、該N行×N列の周期単位内の各行及び
各列の各々において同一色のフィルタが存在しないよう
に配列されてなることを特徴とする。
【0046】第28の発明は、カラー撮像素子により被
写体を撮像し、該撮像素子の出力信号に対して所定の画
像処理を行う画像処理装置であって、前記カラー撮像素
子は、請求項1〜12、21、及び22の何れかに記載
のカラー撮像装置が有する機能を備えることを特徴とす
る。
【0047】第29の発明は、カラー撮像素子により被
写体を撮像し、該撮像素子の出力信号に対して所定の画
像処理を行う画像処理装置であって、前記カラー撮像素
子は、請求項23〜27の何れかに記載の撮像素子であ
ることを特徴とする。
【0048】第30の発明は、カラー撮像素子を含む撮
像装置と、該撮像装置の出力信号に対して所定の画像処
理を行う画像処理装置とが少なくとも接続されてなる画
像処理システムであって、前記撮像装置は、請求項1〜
12、21、及び22の何れかに記載のカラー撮像装置
であることを特徴とする。
【0049】第31の発明は、カラー撮像素子を含む撮
像装置と、該撮像装置の出力信号に対して所定の画像処
理を行う画像処理装置とが少なくとも接続されてなる画
像処理システムであって、前記カラー撮像素子は、請求
項23〜27の何れかに記載の撮像素子であることを特
徴とする。
【0050】第32の発明は、請求項13〜20の何れ
かに記載の画像信号読み出し方法のステップを、コンピ
ュータが読出可能に格納した記憶媒体であることを特徴
とする。
【0051】第33の発明は、2次元配列された複数画
素にて色フィルタアレイを介した被写体光を受光して、
該複数画素での各受光量に対応する画素信号を得る撮像
素子の動作を実施するための処理ステップをコンピュー
タが読出可能に格納した記憶媒体であって、該処理ステ
ップは、少なくとも行方向及び列方向の何れかの方向に
所定画素分シフトしながら、前記受光部での画素信号を
N行×N列(N:整数)の画素ブロック単位で読み出す
読出ステップと、前記読出ステップにより読み出された
今回の読出画素ブロックの画素信号のうち、該読出画素
ブロックに対して所定画素分シフトした次の読出画素ブ
ロックと重なり合う領域の画素信号を素子内のメモリに
保持する保持ステップとを含み、前記読出ステップは、
次の画素ブロックの画素信号の読み出しに、前記メモリ
に保持された画素信号を用いるステップを含むことを特
徴とする。
【0052】第34の発明は、前記第33の発明におい
て、前記色フィルタアレイは、複数色のフィルタがN行
×N列(N:整数)の周期性を持って前記複数画素に対
応して配列され、該N行×N列の周期単位内の各行及び
各列の各々において同一色のフィルタが存在しないよう
に配列されてたものであることを特徴とする。
【0053】第35の発明は、色情報に関して少なくと
もホワイトバランス補正又はγ補正を施す色処理を経ず
に、撮像素子から出力される画像信号の情報量を圧縮
し、該圧縮した画像信号を伸張した後で、上記色処理を
行うようになされた画像処理装置であって、上記撮像素
子は、請求項1〜12、21、及び22の何れかに記載
のカラー撮像装置が有する機能を備えることを特徴とす
る。
【0054】第36の発明は、色情報に関して少なくと
もホワイトバランス補正又はγ補正を施す色処理を経ず
に、撮像素子から出力される画像信号の情報量を圧縮
し、該圧縮した画像信号を伸張した後で、上記色処理を
行うようになされた画像処理装置であって、上記撮像素
子は、請求項23〜27の何れかに記載の撮像素子であ
ることを特徴とする。
【0055】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。
【0056】(第1の実施の形態)本発明は、例えば、
図1に示すようなカラー撮像装置700に適用される。
このカラー撮像装置(以下、単に「撮像装置」と言う)
700は、ディジタルスチルカメラ等に設けられてお
り、入射される被写体光から得られた画素信号を出力す
る撮像部710と、撮像部710からの画素信号を用い
て輝度信号Y及び色差信号CB,CRを生成する輝度/
色差前処理部720とを備えている。
【0057】撮像部710は、色フィルタ711と、色
フィルタ711を介して被写体光が入射される撮像素子
712と、撮像素子712で得られた画素信号を読み出
す信号読出部713とを含み、信号読出部713の出力
が、輝度/色差前処理部720に供給される。ここで、
撮像部710において、詳細は後述するが、色フィルタ
711としては、イエロー(Ye)、シアン(Cy)、
マゼンダ(Mg)、グリーン(G)の4色の補色フィル
タを用いることとする。したがって、撮像素子712で
は、4色の補色系の画素信号Ye,Cy,Mg,Gが得
られ、これらの画素信号Ye,Cy,Mg,Gが信号読
出部713により読み出され輝度/色差前処理部720
に供給されることになる。
【0058】輝度/色差前処理部720は、撮像部71
0からの画素信号Ye,Cy,Mg,Gを用いて、輝度
信号Y及び色差信号CB,CRを得る。これらの輝度信
号Y及び色差信号CB,CRが、ディジタルスチルカメ
ラ等における液晶ファインダでの低解像度での画面表示
や、アイリスの調整、及びホワイトバランスの調整、オ
ートフォーカス用検出信号等に用いられる。
【0059】そこで、上述のような撮像装置700の最
も特徴とするところは、撮像部710にある。以下、こ
の撮像部710について具体的に説明する。
【0060】まず、色フィルタ511の構成について説
明する。図2は、上記図1の色フィルタ(補色フィル
タ)711のフィルタ配列(パターン)を示したもので
ある。
【0061】この図2に示すように、色フィルタ711
は、水平方向に4画素、垂直方向に4画素の周期性を有
するように、フィルタ配列がなされている。このような
フィルタ配列がなされた色フィルタ511において、第
1行L1には、左から順にG1,Ye1,Cy2,MG
2の色フィルタが配列され、第2行L2には、第1行L
1に対して左に2列ずれたかたちで、左から順にCy
1,Mg1,G2,Ye2の色フィルタが配列され、第
3行L3には、第1行L1に対して左に1列ずれたかた
ちで、左から順にYe3,G3,Mg4,Cy4の色フ
ィルタが配列され、第4行L4には、第1行L1に対し
て左に3列ずれたかたちで、左から順にMg3,Cy
3,Ye4,G4の色フィルタが配列されている。
【0062】上述のように、色フィルタ711では、水
平方向に4画素、垂直方向に4画素の中で、どの行にも
重複した色フィルタが無く、全ての色フィルタが異な
り、また、どの列にも重複した色フィルタが無、全ての
色フィルタが異なるようなフィルタ配列としている。
尚、上記図2のフィルタ配列において、各色フィルタの
配列は、左右又は上下が反転していても良い。
【0063】上述のようなフィルタ配列がなされた色フ
ィルタ711を介した被写体光は、撮像素子712の受
光面(図示せず)に入射され、撮像素子712では、光
電変換により、該受光面上の各画素の受光量に対応した
画素信号が得られる。信号読出部713は、撮像素子7
12で得られた画素信号を、後述する読み出し方法に従
って読み出して、輝度/色差前処理部720に供給す
る。輝度/色差前処理部720は、信号読出部713か
らの様々なサイズや形状の領域の画素信号を用いて、輝
度信号Y、青の色差信号CB、及び赤の色差信号CRを
得る。
【0064】つぎに、信号読出部713での画素信号の
読み出し方法、及び該読み出し方法に従って読み出され
た画素信号を用いての輝度/色差前処理部720での演
算処理について説明する。
【0065】[読み出し方法1]信号読出部713は、
撮像素子712から画素信号を、 画素信号系列: (G1+Ye1)、(Cy1+Mg1)、(Cy2+M
g2)、(G2+Ye2)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CBを、隣接する画素のペ
ア(加算信号)から求める。例えば、 CB1= (G1+Ye1)−(Cy1+Mg1) CB2=−(Cy2+Mg2)+(G2+Ye2) なる演算により求める。また、信号読出部713は、撮
像素子712から画素信号を、 画素信号系列: (G1+Cy1)、(Ye1+Mg1)、(Cy2+G
2)、(Mg2+Ye2)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CRを、隣接するペアから
求める。例えば、 CR1=(G1+Cy1)−(Ye1+Mg1) CR2=(Cy2+G2)−(Mg2+Ye2) なる演算により求める。このような読み出し方法1によ
れば、従来のように、色差信号CB,CRを得るための
演算を行うことができない行が発生することはなく、色
差信号CB,CRは、水平方向と垂直方向共に、常に2
つの画素信号に対して1個得られる。したがって、水平
方向と垂直方向共に、高解像度となる。
【0066】[読み出し2]この読み出し方法2から、
後述する読み出し方法5までは、輝度信号Yを高解像度
で出力することが可能な読み出し方法である。これら
は、輝度信号Yのみを用いて演算することにより行うオ
ートフォーカス等に用いて好適な方法である。そこで、
読み出し方法2では、信号読出部713は、撮像素子5
12から画素信号を、 画素信号系列: (G1+Cy1+Ye3+Mg3)、(Ye1+Mg1
+G3+Cy3)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、輝度信号Yを、例えば、 Y1=G1+Cy1+Ye3+Mg3 Y2=Ye1+Mg1+G3+Cy3 なる演算により求める。このような読み出し方法2によ
れば、輝度信号Yは、水平方向に1画素毎に1個得られ
るため、水平方向について高解像度となる。したがっ
て、この方法で生成された輝度信号Yは、特に、被写体
が細かい縦縞パターンなどの水平方向の解像度が高いも
のであるときのオートフォーカス用検出信号として用い
るのに最適である。
【0067】[読み出し方法3]信号読出部713は、
撮像素子712から画素信号を、 画素信号系列: (G1+Cy1+Ye3+Mg3)、(Ye1+MG1
+G3+Cy3)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、輝度信号Yを、例えば、 Y1= (G1+Cy1+Ye3+Mg3)+(Ye1
+Mg1+G3+Cy3) なる演算により求める。このような読み出し方法3によ
れば、輝度信号Yは、水平方向に2画素毎に1個得られ
る。また、輝度信号Yのレベルが高くなる。したがっ
て、この方法で生成された輝度信号Yは、特に、被写体
が細かい縦縞パターン等の水平方向の解像度が高いもの
であり、且つ、被写体が低輝度であるときのオートフォ
ーカス用検出信号として用いるのに最適である。
【0068】[読み出し方法4]信号読出部713は、
撮像素子712から画素信号を、 画素信号系列: (G1+Ye1+Cy2+Mg2)、(Cy1+Mg1
+G2+Ye2)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、輝度信号Yを、例えば、 Y1=G1+Ye1+Cy2+Mg2 Y2=Cy1+Mg1+G2+Ye2 なる演算により求める。このような読み出し方法4によ
れば、輝度信号Yは、垂直方向に1画素毎に1個得られ
るため、垂直方向に高解像度となる。したがって、この
方法で生成された輝度信号Yは、特に、被写体が細かい
横縞パターン等の水平方向の解像度が高いものであると
きのオートフォーカス用検出信号として用いるのに最適
である。
【0069】[読み出し方法5]信号読出部713は、
撮像素子712から画素信号を、 画素信号系列: (G1+Ye1+Cy2+Mg2)、(Cy1+Mg1
+G2+Ye2)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、輝度信号Yを、例えば、 Y1= (G1+Ye1+Cy2+Mg2)+(Cy1
+Mg1+G2+Ye2) なる演算により求める。このような読み出し方法5によ
れば、輝度信号Yは、垂直方向に2画素毎に1個得られ
る。また、輝度信号Yのレベルが高くなる。したがっ
て、この方法で生成された輝度信号Yは、特に、被写体
が細かい横縞パターン等の水平方向の解像度が高いもの
であり、且つ、被写体が低輝度であるときのオートフォ
ーカス用検出信号として最適である。
【0070】[読み出し方法6]信号読出部713は、
撮像素子712から画素信号を、 画素信号系列: (G1+Ye1)、(Cy1+Mg1)、(Cy2+M
g2)、(G2+Ye2)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CBを、隣接するペアから
求める。例えば、 CB1= (G1+Ye1)−(Cy+Mg1) CB2=−(Cy2+Mg2)+(G2+Ye2) なる演算により求める。また、信号読出部713は、撮
像素子712から画素信号を、 画素信号系列: (Ye3+Mg3)、(G3+Cy3)、(Mg4+Y
e4)、(Cy4+G4)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CRを、隣接するペアから
求める。例えば、 CRl=−(Ye3+Mg3)+(G3+Cy3) CR2=−(Mg4+Ye4)+(Cy4+G4) なる演算により求める。このような読み出し方法6によ
れば、色差線順次の信号が得られる。また、この方法
は、被写体が動画であるときに最適であり、また、高速
で画像信号を出力することができる。これは、上述の読
み出し方法1に対して、読み出し信号の数(読み出す色
差信号の画素数)が半分であるからである。
【0071】[読み出し方法7]信号読出部713は、
撮像素子712から画素信号を、 画素信号系列: (G1+Ye1)、(Cy1+Mg1)、(Cy2+M
g2)、(G2+Ye2)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CBを、隣接するペアから
求める。例えば、 CB1= (G1+Ye1)−(Cy1+Mg1) CB2=−(Cy2+Mg2)+(G2+Ye2) なる演算により求める。また、信号読出部713は、撮
像素子712から画素信号を、 画素信号系列: (Cy2+G2)、(Mg2+Ye2)、(Mg4+Y
e4)、(Cy4+G4)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CRを、隣接するペアから
求める。例えば、 CR1= (Cy2+G2)−(Mg2+Ye2) CR2=−(Mg4+Ye4)+(Cy4+G4) なる演算により求める。このような読み出し方法7も、
上述の読み出し方法6と同様に、被写体が動画であると
きに最適であり、高速で画像信号を出力することができ
る。
【0072】[読み出し方法8]色差信号CBについて
は、上述の読み出し方法7と同様にして求める。色差信
号CRについて、信号読出部713は、撮像素子712
から画素信号を、 画素信号系列: (G1+Cy1)、(Ye1+Mg1)、(Ye3+M
g3)、(G3+Cy3)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CBを、隣接するペアから
求める。例えば、 CR1= (G1+Cy1)−(Ye1+Mg1) CR2=−(Ye3+Mg3)+(G3+Cy3) なる演算により求める。このような読み出し方法8も、
上述の読み出し方法6〜7と同様に、被写体が動画であ
るときに最適であり、高速で画像信号を出力することが
できる。
【0073】[読み出し方法9]色差信号CBについて
は、上述の読み出し方法7と同様にして求める。色差信
号CRについて、信号読出部713は、撮像素子712
から画素信号を、 画素信号系列: (G1+Cy1)、(Ye1+Mg1)、(Cy2+G
2)、(Mg2+Ye2)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CRを、隣接するペアから
求める。例えば、 CR1=(G1+Cy1)−(Ye1+Mg1) CR2=(Cy2+G2)−(Mg2+Ye2) なる演算により求める。このような読み出し方法9も、
上述の読み出し方法6〜8と同様に、被写体が動画であ
るときに最適であり、高速で画像信号を出力することが
できる。更に、色差信号CBと色差信号CRとを同一の
領域の画素信号から求めることを特徴としている。
【0074】[読み出し方法10〜13]信号読出部7
13は、撮像素子712から画素信号を、 画素信号系列: (G1+Ye1)、(Cy1+Mg1)、(Ye3+G
3)、(Mg3+Cy3)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CBを、隣接するペアから
求める。例えば、 CB1=(G1+Ye1)−(Cy1+Mg1) CB2=(Ye3+G3)−(Mg3+Cy3) なる演算により求める。色差信号CRについては、上述
の読み出し6〜9と同様にして得る。このような読み出
し方法10〜13も、上述の読み出し方法6〜9と同様
に、被写体が動画であるときに最適であり、高速で画像
信号を出力することができる。
【0075】[読み出し方法14]信号読出部713
は、撮像素子712から画素信号を、 画素信号系列: (G1+Ye1)、(Cy1+Mg1)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CBを、隣接するペアから
求める。例えば、 CB1=(G1+Ye1)−(Cy1+Mg1) なる演算により求める。また、信号読出部713は、撮
像素子712から画素信号を、 画素信号系列: (Mg4+Y4)、(Cy4+G4)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CRを、隣接するペアから
求める。例えば、 CR1=−(Mg4+Y4)+(Cy4+G4) なる演算により求める。このような読み出し方法14
も、上述の読み出し方法6〜13と同様に、被写体が動
画であるときに最適であり、高速で画像信号を出力する
ことができる。特に、この方法では、上述の読み出し1
に対して、読み出す信号(色差信号に必要な読み出す画
素数)が1/4になるため、さらに高速で画像信号を出
力することができる。
【0076】[読み出し方法15]上述した読み出し方
法1、6〜14では、色差信号を生成するときの方法の
みを説明したが、輝度信号については、次のような読み
出し方法15により生成することができる。すなわち、
信号読出部713は、撮像素子712から画素信号を、 画素信号系列: (G1+Ye1)、(Cy1+Mg1)、(Cy2+M
g2)、(G2+Ye2)、(Ye3+G3)、(Mg
3+Cy3)、(Mg4+Cy4)、(Ye4+G
4)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、輝度信号Yを、隣接するペアから求
める。例えば、 Y1=(G1+Ye1)+(Cy1+Mg1) Y2=(Cy2+Mg2)+(G2+Ye2) Y3=(Ye3+G3)+(Mg3+Cy3) Y4=(Mg4+Cy4)+(Ye4+G4) なる演算により求める。このような読み出し方法15に
よれば、輝度信号を、水平及び垂直方向共に2画素単位
で得ることができる。
【0077】[読み出し方法16]上述した読み出し方
法1、6〜14では、色差信号を生成するときの方法の
みを説明したが、輝度信号については、次のような読み
出し方法16により生成することができる。すなわち、
信号読出部713は、撮像素子712から画素信号を、 画素信号系列: (G1+Cy1)、(Ye1+Mg1)、(Cy2+G
2)、(Mg2+Ye2)、(Ye3+Mg3)、(G
3+Cy3)、(Mg4+Ye4)、(Cy4+G
4)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、輝度信号Yを、隣接するペアから求
める。例えば、 Y1=(G1+Cy1)+(Ye1+Mg1) Y2=(Cy2+G2)+(Mg2+Ye2) Y3=(Ye3+Mg3)+(G3+Cy3) Y4=(Mg4+Ye4)+(Cy4+G4) なる演算により求める。このような読み出し方法16に
よれば、輝度信号を、水平及び垂直方向共に2画素単位
で得ることができる。
【0078】尚、上述の本実施の形態では、撮像素子7
12に対して用いる色フィルタ711のフィルタ配列
を、上記図2に示したようなものとしたが、例えば、図
3に示すように、上記図2でのフィルタ配列において、
第3行L3と第4行L4とを入れ替えたものとしても、
上述した読み出し方法1〜16を適用することができ
る。
【0079】また、上述した読み出し方法1〜16で
は、4×4又は2×2画素ブロック単位で信号を読み出
すようにしたが、これに限られるものではない。また、
読み出す画素ブロックは、必ずしも前に読み出しが行わ
れた画素ブロックに対して密に隣接している必要はな
く、これらの画素ブロック同士は、例えば、所定のブロ
ック単位の間隔を隔てていても良い。こうすることによ
り、更に読み出す信号の画素数(色差信号の画素信号の
数)を減らして、さらなる高速化を図ることができる。
例えば、低解像度で高速な出力を行う際には、水平方向
C1,C2,・・・,C8、垂直方向L1,L2,・・
・,L8の8×8画素ブロック内で、(C1,L1),(C1,L2),
(C2,L1),(C2,L2) から色差信号CR1を、(C3,L3),(C3,
L4),(C4,L3),(C4,L4) から色差信号CB1を、(C5,L5),
(C5,L6),(C6,L5),(C6,L6) から色差信号CR2を、(C7,
L7),(C7,L8),(C8,L7),(C8,L8) から色差信号CB2を、
求める、というようにしてもよい。
【0080】(第2の実施の形態)本実施の形態では、
上記図1に示した撮像装置700において、色フィルタ
511のフィルタ配列を、例えば、図4に示すようなも
のとする。
【0081】上記図4に示すように、ここでの色フィル
タ711は、水平方向に4画索、垂直方向に4画素の周
期性を持つように、フィルタ配列がなされている。この
ようなフィルタ配列がなされた色フィルタ511におい
て、第1行L1には、左から順にG1,Ye1,Mg
2,Cy2の色フィルタが配列され、第2行L2には、
第1行L1に対して左に2列ずれたかたちで、左から順
にMg1,Cy1,G2,Ye2の色フィルタが配列さ
れ、第3行L3には、第1行L1に対して左に1列ずれ
てたかたちで、左から順にCy3,G3,Ye4、Mg
4の色フィルタが配列され、第4行L4には、第1行L
1に対して左に3列ずれたかたちで、左から順にYe
3,Mg3,Cy4,G4の色フィルタが配列されてい
る。
【0082】上述のように、色フィルタ711では、水
平方向に4画素、垂直方向に4画素の中で、どの行にも
重複した色フィルタが無く、全ての色フィルタが異な
り、また、どの列にも重複した色フィルタが無、全ての
色フィルタが異なるようなフィルタ配列としている。
尚、上記図4のフィルタ配列において、各色フィルタの
配列は、左右又は上下が反転していても良い。
【0083】上述のようなフィルタ配列がなされた色フ
ィルタ711を介した被写体光は、第1の実施の形態と
同様にして、撮像素子712の受光面に入射され、撮像
素子712では、光電変換により、該受光面上の各画素
の受光量に対応した画素信号が得られる。信号読出部7
13は、撮像素子712で得られた画素信号を、後述す
る読み出し方法に従って読み出して、輝度/色差前処理
部720に供給する。輝度/色差前処理部720は、信
号読出部713からの様々な形状の領域の画素信号を用
いて、輝度信号Y、青の色差信号CB、及び赤の色差信
号CRを得る。
【0084】そこで、本実施の形態での、信号読出部7
13での画素信号の読み出し方法、及び該読み出し方法
に従って読み出された画素信号を用いての輝度/色差前
処理部720での演算処理について、以下説明する。
尚、本実施の形態における撮像装置700の全体動作に
ついては、第1の実施の形での動作と同様であるため、
ここでは説明の簡単のために省略し、第1の実施の形態
とことなる構成についてのみ、具体的に説明するものと
する。
【0085】[読み出し方法22]信号読出部713
は、撮像素子712から画素信号を、 画素信号系列: (G1+Mg1+Cy3+Ye3)、(Ye1+Cy1
+G3+Mg3)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、輝度信号Yを、例えば、 Y1=G1+Mg1+Cy3+Ye3 Y2=Ye1+Cy1+G3+Mg3 なる演算により求める。このような読み出し方法21に
よれば、輝度信号Yは、水平方向に1画素毎に1個得ら
れるため、水平方向に高解像度となる。したがって、こ
の方法で生成された輝度信号Yは、特に、被写体が細か
い縦縞パターン等の水平方向の解像度が高いものである
ときのオートフォーカス用検出信号として用いるのに最
適である。
【0086】[読み出し方法22]信号読出部713
は、撮像素子712から画素信号を、 画素信号系列: (G1+Mg1+Cy3+Ye3)、(Ye1+Cy1
+G3+Mg3)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、輝度信号Yを、例えば、 Y1= (G1+Mg1+Cy3+Ye3)+(Ye1
+Cy1+G3+Mg3) なる演算により求める。このような読み出し方法22に
よれば、輝度信号Yは、水平方向に2画素毎に1個得ら
れる。また、輝度信号Yのレベルが高くなる。したがっ
て、この方法で生成された輝度信号Yは、特に、被写体
が細かい縦縞パターン等の水平方向の解像度が高いもの
であり、且つ、被写体が低輝度であるときのオートフォ
ーカス用検出信号として用いるのに最適である。
【0087】[読み出し方法23]信号読出部713
は、撮像素子712から画素信号を、 画素信号系列: (G1+Ye1+Mg2+Cy2)、(Mg1+Cy1
+G2+Ye2)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、輝度信号Yを、例えば、 Y1=G1+Ye1+Mg2+Cy2 Y2=Mg1+Cy1+G2+Ye2 なる演算により求める。このような読み出し方法23に
よれば、輝度信号Yは、垂直方向に1画素毎に1個得ら
れるため、垂直方向に高解像度となる。したがって、こ
の方法で生成された輝度信号Yは、特に、被写体が細か
い横縞パターン等の水平方向の解像度が高いものである
ときのオートフォーカス用検出信号として用いるのに最
適である。
【0088】[読み出し方法24]信号読出部713
は、撮像素子712から画素信号を、 画素信号系列: (G1+Ye1+Mg2+Cy2)、(Mg1+Cy1
+G2+Ye2)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、輝度信号Yを、例えば、 Y1= (G1+Ye1+Mg2+Cy2)+(Mg1
+Cy1+G2+Ye2) なる演算により求める。このような読み出し方法24に
よれば、輝度信号Yは、垂直方向に2画素毎に1個得ら
れる。また、輝度信号Yのレベルが高くなる。したがっ
て、この方法で生成された輝度信号Yは、特に、被写体
が細かい横縞パターン等の水平方向の解像度が高いもの
であり、且つ、被写体が低輝度であるときのオートフォ
ーカス用検出信号として用いるのに最適である。
【0089】[読み出し方法25]信号読出部713
は、撮像素子712から画素信号を、 画素信号系列: (G1+Ye1)、(Mg1+Cy1)、(Mg2+C
y2)、(G2+Ye2)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CBを、隣接するペアから
求める。例えば、 CB1= (G1+Ye1)−(Mg1+Cyl) CB2=−(Mg2+Cy2)+(G2+Ye2) なる演算により求める。また、信号読出部713は、撮
像素子712から画素信号を、 画素信号系列: (Cy3+G3)、(Ye3+Mg3)、(Ye4、M
g4)、(Cy4+G4)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CRを、隣接するペアから
求める。例えば、 CR1= (Cy3+G3)−(Ye3+Mg3) CR2=−(Ye4+Mg4)+(Cy4+G4) なる演算により求める。このような読み出し方法25に
よれば、色差線順次の信号が得られる。また、この方法
は、全画素を基にする場合と比べて、読み出す信号数
(色差信号に必要な読み出す画素数)が半分になるた
め、被写体が動画であるときに最適であり、また、高速
で画像信号を出力することができる。
【0090】[読み出し方法26]信号読出部713
は、撮像素子712から画素信号を、 画素信号系列: (G1+Ye1)、(Mg1+Cy1)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CBを、隣接するペアから
求める。例えば、 CBl=(G1+Ye1)−(Mg1+Cy1) なる演算により求める。また、信号読出部713は、撮
像素子712から画素信号を、 画素信号系列: (Ye4+Mg4)、(Cy4+G4)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、色差信号CRを、隣接するペアから
求める。例えば、 CR1=(Ye4+Mg4)−(Cy4+G4) なる演算により求める。このような読み出し方法26
も、上述の読み出し方法25と同様に、被写体が動画で
あるときに最適であり、また、高速で画像信号を出力す
ることができる。特に、全画素を基にする場合に比べ
て、読み出す信号数が1/4になるため、さらに高速で
画像信号を出力する。
【0091】[読み出し方法27]上述した読み出し方
法25、26では、色差信号を生成するときの方法のみ
を説明したが、輝度信号については、次のような読み出
し方法27により生成することができる。すなわち、信
号読出部713は、撮像素子712から画素信号を、 画素信号系列: (G1+Ye1)、(Mg1+Cy1)、(Mg2+C
y2)、(G2+Ye2)、(Cy3+G3)、(Ye
3+Mg3)、(Ye4+Mg4)、(Cy4+G
4)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、輝度信号Yを、隣接するペアから求
める。例えば、 Y1=(C1+Ye1)+(Mg1+Cy1) Y2=(Mg2+Cy2)+(G2+Ye2) Y3=(Cy3+G3)+(Ye3+Mg3) Y4=(Ye4+Mg4)+(Cy4+G4) なる演算により求める。このような読み出し方法27に
よれば、輝度信号を、水平及び垂直方向共に2画素単位
で得ることができる。
【0092】[読み出し方法28]上述した読み出し方
法25、26では、色差信号を生成するときの方法のみ
を説明したが、輝度信号については、次のような読み出
し方法28により生成することができる。すなわち、
信号読出部713は、撮像素子712から画素信号を、 画素信号系列: (G1+Mg1)、(Ye1+Cy1)、(Mg2+G
2)、(Cy2+Ye2)、(Cy3+Ye3)、(G
3+Mg3)、(Ye4+Cy4)、(Mg4+G
4)、・・・ で読み出す。輝度/色差前処理部720は、上記の画素
信号系列において、輝度信号Yを、隣接するペアから求
める。例えば、 Y1=(G1+Mg1)+(Ye1+Cy1) Y2=(Mg2+G2)+(Cy2+Ye2) Y3=(Cy3+Ye3)+(G3+Mg3) Y4=(Ye4+Cy4)+(Mg4+G4) なる演算により求める。このような読み出し方法28に
よれば、輝度信号を、水平及び垂直方向共に2画素単位
で得ることができる。
【0093】尚、上述の本実施の形態では、撮像素子7
12に対して用いる色フィルタ511のフィルタ配列
を、上記図4に示したようなものとしたが、例えば、図
5に示すように、上記図4でのフィルタ配列において、
第3行L3と第4行L4とを入れ替えたものとしても、
上述した読み出し方法21〜28を適用することができ
る。
【0094】また、上述した読み出し方法21〜26で
は、4×4画素ブロック単位で信号を読み出すようにし
たが、これに限られるものではない。また、読み出す画
素ブロックは、必ずしも前に読み出しが行われた画素ブ
ロックに対して密に隣接している必要はなく、これらの
画素ブロック同士は、例えば、所定のブロック単位の間
隔を隔てていても良い。こうすることにより、更に読み
出す信号の画素数(色差信号の画素信号の数)を減らし
て、さらなる高速化を図ることができる。
【0095】(第3の実施の形態)本実施の形態では、
上記図1の撮像装置700において、例えば、撮像部7
10を所謂CMOSセンサに適用する。この場合、該撮
像部710の回路構成を、以下に説明するような構成と
することで、上述した第1及び第2の実施の形態での読
み出し方法1〜28が実現できる。
【0096】図6は、ここでの撮像部710(以下、
「CMOSセンサ710」と言う)の回路構成を示した
ものである。このCMOSセンサ710は、垂直方向に
隣接する2個の画素(光検出素子)の受光量(検出光
量)の平均値と、その隣の列で垂直方向に隣接する2個
の光検出素子の検出光量の平均値との差分を出力する第
1の出力系列と、水平方向に隣接する2つの光検出素子
の検出光量の平均値と、その隣の行の水平方向に隣接す
る2つの光検出器の検出光量の平均値の差分を出力する
第2の出力系列とを備えてる。このような回路構成によ
り、CMOSセンサ710は、読み出し方法1を実施す
ることが可能となる。
【0097】具体的には、上記図6において、まず、1
は、垂直方向に順次アクティブになる信号であって、各
行のコントロール信号をイネーブルさせるためのイネー
ブル信号を発生する垂直走査回路である。100は、入
射されてきた光を電荷に変換する光検出素子としてのフ
ォトダイオードであり、101は、光検出素子100で
発生した電荷を浮遊拡散領域102に転送する転送用ト
ランジスタであるり。浮遊拡散領域102は、光検出素
子100で発生した電荷を一時的の蓄積するものであ
る。103は、アンプ用トランジスタ104のゲートに
蓄積された電荷を放電するリセット用トランジスタ10
3であり、121は、スイッチ用トランジスタ、112
は、端子7より印加される電圧で決定される定電流源用
トランジスタである。105は、コンデンサ109,1
10,117,118の電荷を放電するためのトランジ
スタであり、106は、アンプ用トランジスタ104の
ソースと、コンデンサ109とを繋ぐ分配用トランジス
タである。107は、アンプ用トランジスタ104のソ
ースと、コンデンサ110とを繋ぐ分配用トランジスタ
である。コンデンサ109,110は、アンプ用トラン
ジスタ104からの供給電圧により充電されるラインメ
モリとして機能するコンデンサである。108は、コン
デンサ109の蓄積電荷と、コンデンサ110の蓄積電
荷との平均化をコントロールするための平均化用トラン
ジスタである。111は、ラインメモリとして昨日する
コンデンサ109の電圧を、差動増幅器122の前段の
バッファ123に印可させるためのスイッチトランジス
タである。122は、コンデンサ109の電圧と、コン
デンサ109’の電圧との差分を増幅する差動増幅器で
ある。113は、アンプ用トランジスタ104のソース
と、コンデンサ117とを接続するスイッチトランジス
タであり、114は、アンプ用トランジスタ104のソ
ースと、コンデンサ118とを接続するスイッチトラン
ジスタである。117,118は、アンプ用トランジス
タ104のソースから供給される電流により充電される
ラインメモリとしてのコンデンサである。115は、コ
ンデンサ117の蓄積電荷と、コンデンサ117’の蓄
積電荷との平均化をコントロールするためのスイッチト
ランジスタである。116は、コンデンサ118の蓄積
電荷と、コンデンサ118’の蓄積電荷との平均化をコ
ントロールするためのスイッチコンデンサであり、11
9は、ラインメモリとしてのコンデンサ117の電圧を
差動増幅署の前段のバッファ128に印可させるための
スイッチトランジスタである。127は、コンデンサ1
17の電圧と、コンデンサ118’の電圧との差分を増
幅する差動増幅器である。上述の低電流源用トランジス
タ112は、行単位に活性化され、アンプ用トランジス
タ104と対でアンブを構成する。
【0098】図7は、上記図6のCMOSセンサ710
の動作タイミングを表すタイミングチャートである。以
下、上記図6及び図7を用いて、CMOSセンサ710
の動作を説明する。
【0099】先ず、タイミングT201において、端子
11への入力パルスは、HIGH状態となっている。こ
の状態で、端子30,31,50,51への入力パルス
が、HIGHとなると、ラインメモリとしてのコンデン
サ109,110,117,118は、全て初期電位に
リセットされる。また、端子2から入力される垂直走査
回路1のスタートパルス、端子3から入力される走査パ
ルスが、HIGHとなると、垂直走査回路1が走査を開
始し、第1行目(R1)が選択される。また、端子8に
は、HIGHのパルスが入力されており、これにより、
画素部の浮遊拡散領域がリセットされる。次に、タイミ
ングT202において、端子8に入力されているリセッ
トパルスがLOW状態となる(立ち下がる)。これによ
り、第1行目の画素の浮遊拡散領域が電気的に浮遊状態
になる。次に、タイミングT203において、端子9へ
の入力パルスがHIGHとなると、第1行目の光検出素
子から浮遊拡散領域への電荷の転送が行われる。次に、
タイミングT204において、端子10,30,50へ
の入力パルスがHIGHとなると、第1行目の光検出素
子で検出された光量に比例した電圧が、アンプ用トラン
ジスタ104により、コンデンサ109,117に対し
て読み出される。次に、タイミングT205において、
端子3へ入力されている垂直走査パルスがLOW状態と
なる(立ち下がる)。次に、タイミングT206におい
て、端子3へ入力されている垂直パルスが再びHIGH
となると(立ち上がると、第2行目(R2)が選択され
る。次に、タイミングT207において、端子8へ入力
されているリセットパルスがLOWとなると(立ち下が
り)、第2行目の画素の浮遊拡散領域が電気的に浮遊状
態になる。次に、タイミングT208においては、上述
のタイミングT203と同様に、端子9への入力パルス
がHIGHとなると、第2行目の光検出素子から浮遊拡
散領域への電荷の転送が行われる。次に、タイミングT
209においても、上述のタイミングT204と同様
に、端子10,31,51への入力パルスがHIGHと
なると、第2行目の光検出素子で検出された光量に比例
した電圧が、第2行目のアンブ用トランジスタ104に
より、コンデンサ110,118に対して読み出され
る。次に、タイミングT210において、端子40,6
0,61への入力パルスがHIGHパルスとなると、ラ
インメモリとしてのコンデンサ117上で、蓄積電荷の
平均化が行われる。
【0100】そして、タイミングT211において、こ
のタイミングから、水平走査回路4が動作を開始し、平
均化された後の電圧が水平方向に順次、差動増幅器(ア
ンブ)122,127に印加される。これにより、差動
増幅器122,127からは、青の色差信号CB、青の
色差信号CRが出力されることになる。更に、端子7
0,71又は80,81の出力を、オペアンプ等により
構成される加算器(不図示)により加算することで、輝
度信号Yも得られる。また、平均化用トランジスタ10
8による平均化を行わなず、全行の光検出素子での電荷
をコンデンサ109に一時蓄積すれば、端子71から奇
数列の1画素毎の出力を得ることができる。同様に、偶
数列の1画素毎の出力については、出力端子70から得
ることができる。
【0101】(第4の実施の形態)上述の第3の実施の
形態では、CMOSセンサ710の回路構成を上記図6
に示したような構成としたが、本実施の形態では、例え
ば、図8に示すような構成とする。尚、上記図8の回路
構成において、上記図6の回路構成と同様に動作する箇
所には同じ符号を付し、その詳細な説明は省略する。
【0102】ここでのCMOSセンサ710は、水平方
向に隣接する2個の光検出素子の検出光量の平均値、又
は水平方向に隣接する4個の光検出素子の検出光量の平
均値を出力する出力系列を備えている。このような回路
構成により、CMOSセンサ710は、読み出し方法
4、及び読み出し方法23を実施することが可能とな
る。
【0103】具体的には、上記図8において、まず、3
01は、コンデンサ109の蓄積電荷と、コンデンサ1
09’の蓄積電荷との平均化をコントロールするための
スイッチトランジスタであり、302は、コンデンサ1
10の蓄積電荷と、コンデンサ110’の蓄積電荷との
平均化をコントロールするためのスイッチトランジスタ
である。301’は、コンデンサ109”の蓄積電荷
と、コンデンサ109”’の蓄積電荷との平均化をコン
トロールするためのスイッチトランジスタであり、30
2’は、コンデンサ110”の蓄積電荷と、コンデンサ
110”’の蓄積電荷との平均化をコントロールするた
めのスイッチトランジスタである。303は、コンデン
サ109’の蓄積電荷と、コンデンサ109”の蓄積電
荷との平均化をコントロールするためのスイッチトラン
ジスタであり、304は、コンデンサ1I0’の蓄積電
荷と、コンデンサ110”の蓄積電荷との平均化をコン
トロールするためのスイッチトランジスタである。
【0104】尚、スイッチトランジスタ301,30
1’,303が連動すれば、これらは、コンデンサ10
9,109’,109”,109”’の蓄積電荷を平均
化するようになされている。すなわち、例えば、スイッ
チトランジスタ301,301’をオンにした後で、又
はオンにするときに、スイッチトランジスタ303をオ
ンにすれば、これらは、コンデンサ109,109’,
109”,109”’の蓄積電荷を平均化する。また、
スイッチトランジスタ302,302’,304が連動
すれば、これらは、コンデンサ110,110’,11
O”,110”’の蓄積電荷を平均化するようになされ
ている。すなわち、例えば、スイッチトランジスタ30
2,304’をオンにした後で、又はオンにするとき
に、スイッチ304をオンにすれば、これらは、コンデ
ンサ110,110’,110”,110”’の蓄積電
荷を平均化する。
【0105】図9は、上記図8のCMOSセンサ710
の動作タイミングを表すタイミングチャートである。以
下、上記図8及び図9を用いて、CMOSセンサ710
の動作を説明する。
【0106】先ず、タイミングT401において、端子
2へ入力されている垂直走査回路1のスタートパルス
と、端子3に入力されている垂直走査パルスとが各々H
IGHとなると、垂直走査回路1が走査を開始し、第1
行目(R1)が選択される。このとき、端子8へ入力さ
れているリセットパルスはHIGHであり、これにより
画素部の浮遊拡散領域がリセットされる。次に、タイミ
ングT402において、端子8へ入力されているリセッ
トパルスがLOWとなると(立ち下がると)、第1行目
の画素の浮遊拡散領域が電気的に浮遊状態になる。次
に、タイミングT403において、端子9への入力パル
スがHIGHとなると、第1行目の光検出素子から浮遊
拡散領域への電荷の転送が行われる。次に、タイミング
T404において、端子10,50への入力パルスが各
々HIGHとなると、第1行目の光検出素子で検出され
た光量に比例した電圧が、アンブ用トランジスタ104
によって、コンデンサ109に対して読み出される。次
に、タイミングT405において、端子3へ入力されて
いる垂直走査パルスがLOWになる(立ち下がる)。次
に、タイミングT406において、端子3に入力されて
いる垂直走査パルスが再びHIGHとなると(立ち上が
ると)、第2行目(R2)が選択される次に、タイミン
グT407において、端子8へ入力されているリセット
パルスがLOWとなると(立ち下がると)、第2行目の
画素の浮遊拡散領域が電気的に浮遊状態になる。次に、
タイミングT408において、上述のタイミングT40
3と同様に、端子9への入力パルスがHIGHとなる
と、第2行目の光検出素子から浮遊拡散領域への電荷の
転送が行われる。次に、タイミングT409において
も、上述のタイミングT404と同様に、端子10,5
1への入力パルスが各々HIGHとなると、第2行目の
光検出素子で検出された光量に比例した電圧が、第2行
目のアンプ用トランジスタ104によってコンデンサ1
10に対して読み出される。次に、タイミングT410
において、端子60,61,90,91への入力パルス
が各々HIGHとなると、ラインメモリ上で、コンデン
サ109,109’,109”,109”’の蓄積電荷
の平均化、及ぴコンデンサ11O,110’,11
0”,11O”’の蓄積電荷の平均化が行われる。
【0107】そして、タイミングT411において、水
平走査回路4が動作を開始し、平均化された後の電圧が
水平方向に順次出力される。
【0108】尚、ここでは、輝度信号Yの出力を目的と
しているため、上記図8の回路構成では、CMOSセン
サ710としての出力がなされる端子は、端子16の1
系統のみとしているが、例えば、上記図6に示した回路
構成と同様に、CMOSセンサ710としての出力がな
される端子(出力線)を複数設けるようにすることで、
色差信号CB,CRを得ることも可能となる。
【0109】(第5の実施の形態)上述の第3の実施の
形態では、CMOSセンサ710の回路構成を上記図6
に示したような構成としたが、本実施の形態では、例え
ば、図10に示すような構成とする。尚、上記図10の
回路構成において、上記図6の回路構成と同様に動作す
る箇所には同じ符号を付し、その詳細な説明は省略す
る。
【0110】ここでのCMOSセンサ710は、垂直方
向に隣接する2個の光検出素子の検出光量の平均値、又
は垂直方向に隣接する4個の光検出素子の検出光量の平
均値を出力する出力系列を備えている。このような回路
構成により、CMOSセンサ710は、読み出し方法
2、及び読み出し方法21を実施することが可能とな
る。
【0111】具体的には、上記図10において、まず、
501,502,503,504は各々、トランジスタ
104から供給される電流を、対応するコンデンサ50
8,509,510,511に供給する分配用トランジ
スタである。508は、第1行目(R1)の光検出素子
での電荷を蓄積するためのコンデンサであり、509
は、第2行目(R2)の光検出素子での電荷を蓄積する
ためのコンデンサであり、510は、第3行目(R3)
の光検出素子での電荷を蓄積するためのコンデンサであ
り、511は、第4行目(R4)の光検出素子での電荷
を蓄積するためのコンデンサである。505は、コンデ
ンサ508の蓄積電荷と、コンデンサ509の蓄積電荷
との平均化をコントロールするためのスイッチトランジ
スタであり、506は、コンデンサ509の蓄積電荷
と、コンデンサ510の蓄積電荷との平均化をコントロ
ールするためのスイッチトランジスタであり、507
は、コンデンサ510の蓄積電荷と、コンデンサ511
の蓄積電荷との平均化をコントロールするためのスイッ
チトランジスタである。
【0112】尚、スイッチ505,506,507が連
動すれば、これらは、コンデンサ508,509,51
0,511の蓄積電荷を平均化するようになされてい
る。すなわち、例えば、スイッチトランジスタ505,
507をオンにした後で、又はオンにするときに、スイ
ッチトランジスタ506をオンにすれば、これらは、コ
ンデンサ508,509,510,511の蓄積電荷を
平均化する。
【0113】図11は、上記図10のCMOSセンサ7
10の動作タイミングを表すタイミングチャートであ
る。以下、上記図10及び図11を用いて、CMOSセ
ンサ710の動作を説明する。
【0114】先ず、タイミングT601において、端子
2へ入力されている垂直走査回路1のスタートパルス、
及び端子3へ入力されている垂直走査パルスが各々HI
GHとなると、垂直走査回路1が走査を開始し、第1行
目(R1)が選択される。このとき、端子8へ入力され
ているリセットパルスはHIGHであり、これにより画
素部の浮遊拡散領域がリセットされる。次に、タイミン
グT602において、端子8へ入力されているリセット
パルスがLOWとなると(立ち下がると)、第1行目の
画素の浮遊拡散領域が電気的に浮遊状態になる。次に、
タイミングT603において、端子9への入力パルスが
HIGHとなると、第1行目の光検出素子から浮遊拡散
領域への電荷の転送が行われる。次に、タイミングT6
04において、端子10,30への入力パルスが各々H
IGHになると、第1行目の光検出素子で検出された光
量に比例した電荷がコンデンサ508に蓄積される。次
に、タイミングT605において、端子3へ入力されて
いる垂直走査パルスがLOWとなる(立ち下がる)。次
に、タイミングT606において、端子3へ入力されて
いる垂直走査パルスが再びHIGHとなると(立ち上が
ると)、第2行目(R2)が選択される。次に、タイミ
ングT607において、端子8へ入力されているリセッ
トパルスがLOWとなると(立ち下がると)、第2行目
の画素の浮遊拡散領域が電気的に浮遊状態になる。次
に、タイミングT608において、上述のタイミングT
603と同様に、端子9への入力パルスがHIGHとな
ると、第2行目の光検出素子から浮遊拡散領域への電荷
の転送が行われる。次に、タイミングT609において
も、上述のタイミングT604と同様に、端子10,3
1への入力パルスが各々HIGHとなると、第2行目の
光検出素子で検出された光量に比例した電荷が、コンデ
ンサ509に蓄積される。同様にして、タイミングT6
10において、端子10,32への入力パルスが各々H
IGHとなると、第3行目の光検出素子で検出された光
量に比例した電荷が、コンデンサ510に蓄積される。
更に、タイミングT611において、端子10,33へ
の入力パルスがHIGHとなると、第4行目の光検出素
子で検出された光量に比例した電荷が、コンデンサ51
1に蓄積される。そして、タイミングT612におい
て、端子40,41への入力パルスがHIGHとなる
と、ラインメモリ上でコンデンサ508,509,51
0,511の蓄積電荷の平均化が行われる。タイミング
T613において、このタイミングから、水平走査回路
4が動作を開始し、平均化された後の電圧が水平方向に
順次出力される。したがって、出力端子70からは、第
1行〜第4行(R1,R2,R3,R4)までの光検出
素子の検出光量の平均値に比例した電圧が、列方向に順
次出力される。
【0115】尚、上記図10に示した回路構成におい
て、スイッチトランジスタ506による平均化を行わな
いように構成するとこで、第1列(C1)と第2列(C
2)の平均値を出力端子70から得ることができ、第3
列(C3)と第4列(C4)の平均値を出力端子71か
ら得ることができ、第1列(C1)と第2列(C2)の
平均値と、第3列(C3)と第4列(C4)の平均値と
の差分を出力端子72から得ることができる。
【0116】また、上記図6〜図11を用いて説明した
CMOSセンサ710の動作において、画素の電荷(光
信号)を読み出す前に、その拡散浮遊領域のリセット電
圧を別のラインメモリに読み出すようにしてもよい。こ
のリセット電圧と光信号出力の差分をとることで、トラ
ンジスタ104の閾値電圧のばらつきによる出力電圧の
ばらつきを除去することができる。したがって、各光検
出素子で検出した光量による信号にばらつきによるノイ
ズ成分が混入しない、S/Nの高い信号を得ることがで
きるる。また、垂直及び水平走査を、1ブロック毎、又
は複数ブロック毎に間引いて行うようにしてもよい。こ
れにより、更に、圧縮した信号が得られる。また、CM
OSセンサに限らず、別種の光電変換素子に本発明を適
用することは可能であり、この場合も、上記の各実施の
形態と同様な効果を得ることができる。
【0117】(第6の実施の形態)上述の各実施の形態
では、画素ブロック単位の信号の読み出しを行う際、次
に読み出す画素ブロックを、前に読み出しが行われた画
素ブロックに対して密に隣接するようにしたが、本実施
の形態では、次に読み出す画素ブロックを、前に読み出
しが行われた画素ブロックに対して、例えば、1画素ず
らすようにする(オーバーラップ読出)。
【0118】例えば、図12は、上記図1の撮像装置7
00において、4画素ブロック単位で信号を読み出す場
合の、本実施の形態における撮像部710の最も特徴と
する回路構成の概要を示したものである。また、図13
は、該撮像部710の各部の動作タイミングを示す図で
ある。
【0119】上記図12及び図13に示すように、ここ
での撮像部710では、先ず、垂直走査パルスV1 が与
えられたタイミングでゲートパルスS1 が与えられる
と、画素Y11信号(Y12信号も同様)が読みだされ、メ
モリ用コンデンサC1 に保持される。また、垂直走査パ
ルスV2 が与えられたタイミングでゲートパルスS2
与えられると、画素Y21信号(画素Y22信号)が読みだ
され、同じくメモリ用コンデンサC2 に保持される。
【0120】次に、ゲートパルスH1 が与えられると、
メモリ用コンデンサC1 に保持されていた画素Y11信号
及び画素Y21信号が読みだされる。また、画素Y12信号
及び画素Y22信号も上述と同様に読みだされ、画素Y11
信号がメモリ用コンデンサC3 に保持され、画素Y12
号がメモリ用コンデンサC 4 に保持され、画素Y21信号
がメモリ用コンデンサC5 に保持され、画素Y22信号が
メモリ用コンデンサC6 に保持される。
【0121】そして、時点t1 においてゲートパルスT
1 が与えられると、メモリ用コンデンサC3 〜C6 にそ
れぞれ保持されていた画素信号が同時に出力され、画素
信号Y11,Y12,Y21,Y22が並列に出力される。
【0122】次に、時点t2 においてゲートパルスT2
が与えられると、1画素分だけ水平方向にずれた1ブロ
ック分の画素信号Y13,Y12,Y23,Y22が並列に出力
される。この場合、画素信号Y12及び画素信号Y22はメ
モリ用コンデンサC4 ,C6にそれぞれ保持されていた
画素信号が出力される。
【0123】上述のように、本実施の形態では、次の画
素ブロックB2の読み出しの際には、前の画素ブロック
B1の読み出しにて、メモリ用コンデンサC4 ,C6
保存した画素信号Y12及びY22(各画素ブロックB1及
びB2の重なりあった部分に存在する画素から得られる
信号)を読み出すようにして、画素ブロックB1の次に
読み出す画素ブロックB2を、画素ブロックB1に対し
て水平方向に1画素分だけ水平方向にずれたブロックと
して、順次画素ブロック単位での信号の読み出しを行う
ようにする。
【0124】このように構成することで、次のような効
果を得ることができる。まず、上述の各実施の形態で
は、図14に示すように、次に読み出す画素ブロックB
2’を、前に読み出しが行われた画素ブロックB1’に
対して密に隣接するように構成したため、この読み出し
にて得られる画素信号からは、撮像素子上の各画素に対
して、水平方向又は垂直方向に1つ置きの輝度信号Y及
び色差信号CB,CRが得られることになる。これに対
して、本実施の形態では、図15に示すように、次に読
み出す画素ブロックB2を前の画素ブロック1に対する
ように構成したので、この読み出しにて得られる画素信
号からは、撮像素子上の水平方向の各画素に対応した輝
度信号Y及び色差信号CB,CRが得られることにな
る。したがって、水平方向の解像度を2倍に上げること
ができる。また、保持用の4つのコンデンサC3
4 ,C5 ,C6 のうちの2つのコンデンサ(上記図1
2中の矢印参照)を、前回の読出画素を保持しておく保
持手段として用いるようにして、該保持手段に保持して
おいた画素信号を、次の読み出す画素ブロックの画素信
号として出力するように構成したので、外部にメモリを
設けることなく、1画素シフトした画素ブロック単位の
出力を得ることができる。さらに、撮像部710内部
(同一素子上)で、1画素シフトした画素ブロック単位
の出力を得るように構成しているため、この出力を高速
に行うことができる。
【0125】尚、ここでは、2×2の画素ブロックを読
み出し単位としているため、保持用の4つのコンデンサ
のうちの2つののコンデンサを、前回の読出画素信号の
保持手段として設けているが、例えば、4×4画素ブロ
ックが読み出し単位であれば、該保持手段として12個
のコンデンサを設ければよい。すなわち、N×Nの画素
ブロックの読み出し単位に対して、該保持手段をN×
(N−1)個設けることで、上述した2×2の画素ブロ
ック単位の読み出しと同様に、N×Nの画素ブロック単
位の読み出しを水平方向に1画素シフトしながら行うこ
とができる。また、垂直方向についても、水平方向の場
合と同様の構成により、1画素シフトしながら画素ブロ
ック単位の信号の読み出しを行うようにすれば、垂直方
向の解像度も上げることができる。さらに、ノイズ除去
機能を持たせるように構成すれば、より良好な画像信号
を得ることができる。
【0126】ここで、図16及び図18は、上述したよ
うな本実施の形態を、より具体化した撮像部710の回
路構成の一例([例1]、[例2])を示したものであ
り、図17及び図19は、上記図16及び図18の回路
での動作タイミングを示したものである。以下、[例
1]、[例2]での回路構成及びその動作について順次
説明する。
【0127】尚、上記図16及び図18は、上述した第
3〜第5の実施の形態と同様に、撮像部710を所謂C
MOSセンサに適用した場合の回路構成を示したもので
ある(以下、ここでも「撮像部710」を「CMOSセ
ンサ710」と言う)。このため、上記図16及び図1
8の各回路構成において、上記図6の回路構成と同様に
動作する箇所には同じ符号を付し、その詳細な説明は省
略する。
【0128】[例1]上記図16に示すCMOSセンサ
710は、色差信号CBを得るための垂直方向の画素信
号の演算を実現できるものであり、第1列目、第2列
目、第2列目、第3列目、第3列目、第4列目、・・・
のように、1列毎の上記の演算が可能なように構成され
ている。
【0129】そこで、ここでのCMOSセンサ710で
は、先ず、端子8へ入力されているリセットパルスは、
HIGH状態となっている。この状態で、タイミングT
711において、端子2へ入力されている垂直走査回路
1のスタートパルス、及び端子3へ入力されている垂直
走査回路1の走査パルスが各々HIGHとなると、画素
部の浮遊拡散領域がリセットされる。これにより、垂直
走査回路1が走査を開始し、第1行目(R1)が選択さ
れる。また、端子11への入力パルスもHIGH状態と
なっており、この状態で、端子30及び31への各入力
パルスがHIGHとなると、ラインメモリとして機能す
るコンデンサ221,222,223,224(各ライ
ンに設けた容量、上記図12のコンデンサC3 ,C4
5 ,C 6 に相当、以下、「ラインメモリ」と言う)が
リセットされる。次に、タイミングT712において、
端子8へ入力されているリセットパルスがLOWとなる
と、これにより、第1行目の画素の浮遊拡散領域が電気
的に浮遊状態になる。また、ラインメモリも浮遊状態に
なる。次に、タイミングT713において、端子9及び
11への入力パルスが各々HIGHとなると、第1行目
の光検出素子から浮遊拡散領域への電荷の転送が行われ
る。次に、タイミングT714において、端子10及び
30,50への入力パルスが各々HIGHとなると、タ
イミングT713で転送された第1行目の電荷が、ライ
ンメモリに対して読み出される。次に、タイミングT7
15において、端子3へ入力されている垂直走査パルス
がLOW状態となると、第2行目(R2)が選択され
る。次に、タイミングT716において、端子8へ入力
されているリセットパルスがLOWとなると、これによ
り、第2行目の画素の浮遊拡散領域が電気的に浮遊状態
になる。また、ラインメモリも浮遊状態になる。次に、
タイミングT717において、端子9及び11への入力
パルスが各々HIGHとなると、第2行目の光検出素子
から浮遊拡散領域への電荷の転送が行われる。次に、タ
イミングT718において、端子10及び30,50へ
の入力パルスが各々HIGHとなると、タイミングT7
17で転送された第2行目の電荷が、他のラインメモリ
(タイミングT714でのラインメモリとは別のライン
メモリ)に対して読み出される。次に、タイミングT7
19において、端子40への入力パルスがHIGHとな
ると、ラインメモリ上で、第1行目及び第2行目の2行
分の混合信号が生成される。そして、タイミングT72
0において、このタイミングから、水平走査回路4が動
作を開始し、ラインメモリの混合信号が順次読み出され
る。このとき、隣接した2列の混合信号が同時に2本の
水平出力線を各々介して端子70,71から出力される
と同時に、後段の差動回路(図示せず)で減算されるた
め、したがって、CMOSセンサ710からは、色差信
号が直接出力されることになる。また、上記2本の水平
出力線の信号を、後段の加算器(図示せず)で加算すれ
ば、輝度信号も得られることになる。
【0130】[例2]上記図18に示すCMOSセンサ
710は、色差信号CRを得るための垂直方向の画素信
号の演算を実現できるものであり、第1列目、第2列
目、第2列目、第3列目、第3列目、第4列目、・・・
のように、1列毎の上記の演算が可能なように構成され
ている。
【0131】そこで、ここでのCMOSセンサ710で
は、先ず、端子8へ入力されているリセットパルスは、
HIGH状態となっている。この状態で、タイミングT
731において、端子2へ入力されている垂直走査回路
1のスタートパルス、及び端子3へ入力されている垂直
走査回路1の走査パルスが各々HIGHとなると、画素
部の浮遊拡散領域がリセットされる。これにより、垂直
走査回路1が走査を開始し、第1行目(R1)が選択さ
れる。また、端子11への入力パルスもHIGH状態と
なっており、この状態で、端子50及び51への各入力
パルスがHIGHとなると、ラインメモリとして機能す
るコンデンサ225,226,227,228(各ライ
ンに設けた容量、上記図12のコンデンサC3 ,C4
5 ,C 6 に相当、以下、「ラインメモリ」と言う)が
リセットされる。次に、タイミングT732において、
端子8へ入力されているリセットパルス、端子11への
入力パルス、端子50への入力パルス、及び端子51へ
の入力パルスが各々LOWとなると、これにより、第1
行目の画素の浮遊拡散領域が電気的に浮遊状態になり、
また、ラインメモリも浮遊状態になる。次に、タイミン
グT733において、端子9及び11への入力パルスが
各々HIGHとなると、第1行目の光検出素子から浮遊
拡散領域への電荷の転送が行われる。次に、タイミング
T734において、端子10及び50への入力パルスが
各々HIGHとなると、タイミングT733で転送され
た第1行目の電荷が、ラインメモリに対して読み出され
る。次に、タイミングT735において、端子3へ入力
されている垂直走査パルスがLOW状態となると、第2
行目(R2)が選択される。次に、タイミングT736
において、端子8へ入力されているリセットパルス、及
び端子11への入力パルスが各々LOWとなると、これ
により、第2行目の画素の浮遊拡散領域が電気的に浮遊
状態になり、また、ラインメモリも浮遊状態になる。次
に、タイミングT737において、端子9及び11への
入力パルスが各々HIGHとなると、第2行目の光検出
素子から浮遊拡散領域への電荷の転送が行われる。次
に、タイミングT738において、端子10及び51へ
の入力パルスが各々HIGHとなると、タイミングT7
37で転送された第2行目の電荷が、他のラインメモリ
(タイミングT734でのラインメモリとは別のライン
メモリ)に対して読み出される。次に、タイミングT7
39において、端子60及び61への入力パルスが各々
HIGHとなると、ラインメモリ上で、第1行目及び第
2行目の2行分の混合信号が生成される。そして、タイ
ミングT740において、このタイミングから、水平走
査回路4が動作を開始し、ラインメモリの混合信号が順
次読み出される。このとき、隣接した2列の混合信号が
同時に2本の水平出力線を各々介して端子70,71か
ら出力されると同時に、後段の差動回路(図示せず)で
減算されるため、したがって、CMOSセンサ710か
らは、色差信号が直接出力されることになる。また、上
記2本の水平出力線の信号を、後段の加算器(図示せ
ず)で加算すれば、輝度信号も得られることになる。
【0132】尚、上述の[例1]及び[例2]では、垂
直方向の画素信号の演算を実現する具体例を説明した
が、水平方向の画素信号の演算についても同様な構成と
することで、第1行目、第2行目、第2行目、第3行
目、第3行目、第4行目、・・・のように、1行毎の上
記の演算も可能となる。また、上記図16の回路構成
と、上記図18の回路構成とを用いて、例えば、図20
に示すような回路を構成し、その動作タイミングを、図
21に示すようにすれば、色差信号CBと色差信号CR
を同時に出力することができ、輝度信号をも同時に出力
することができる。
【0133】また、上記図16〜図21を用いて説明し
たCMOSセンサ710の動作において、画素の電荷
(光信号)を読み出す前に、その拡散浮遊領域のリセッ
ト電圧を別のラインメモリに読み出すようにしてもよ
い。このリセット電圧と光信号出力の差分をとること
で、トランジスタ104の閾値電圧のばらつきによる出
力電圧のばらつきを除去することができる。したがっ
て、各光検出素子で検出した光量による信号にばらつき
によるノイズ成分が混入しない、S/Nの高い信号を得
ることができるる。また、CMOSセンサに限らず、別
種の光電変換素子に本発明を適用することは可能であ
り、この場合も、上記の各実施の形態と同様な効果を得
ることができる。
【0134】(第7の実施の形態)まず、一般的に、カ
ラー画像信号を取り扱う画像信号処理システムでは、先
ず、撮像素子から出力される原信号(画素信号)に所定
の前処理を行って、疑似的な輝度信号Y’、及び色差信
号U’(CR)、V’(CB)を生成する。そして、該
疑似輝度信号Y’及び擬似色差信号U’(CR)、V’
(CB)を用いて、色情報に対してホワイトバランス補
正、γ補正、その他の色補正処理等を行って、輝度信号
Y、及び色差信号U,Vを生成する。これらの輝度信号
Y、及び色差信号U,Vが、圧縮処理や伸張処理等の画
像処理、或いは、画面表示や記録媒体への記録に用いら
れる。
【0135】そこで、本実施の形態では、本発明を、上
述のようなカラー画像信号を取り扱う画像信号処理シス
テムに適用する。本発明を適用した画像信号処理システ
ムは、例えば、図22に示すように、撮像素子ICチッ
プ810及び圧縮処理装置820からなる送信側(撮像
装置)と、伸張処理装置830、色処理装置840、及
び表示/記録装置850からなる受信側(再生装置)と
の間でデータ通信するようになされている。
【0136】このような画像信号処理システム800の
最も特徴とするところは、撮像素子ICチップ810に
ある。すなわち、撮像素子ICチップ(以下、「撮像
部」と言う)810は、上記図1の撮像装置100と同
様の機能を有するものであり、上記図1に示した色フィ
ルタ711、撮像素子712、信号読出部713、及び
輝度/色差前処理部720を備え、これらは同一撮像素
子ICチップ上に設けられている。以下、画像信号処理
システム800の動作について説明する。
【0137】先ず、送信側において、撮像部810で
は、被写体光が、上記図2〜図5に示したようなフィル
タ配列から構成される色フィルタを介して、撮像素子
(受光素子)712に入射される。この撮像素子712
で得られた画素信号(原信号)Ye,Cy,Mg,G
は、上述した第1〜第7の各実施の形態で説明したよう
にして、信号読出部713により読み出され、輝度/色
差前処理部720により、該読出原信号Ye,Cy,M
g,Gから擬似輝度信号Y’及び色差信号CR’
(U’),CB’(V’)が生成される。
【0138】圧縮処理装置820は、撮像部810で生
成された擬似輝度信号Y’及び擬似色差信号U’,V’
に対して、色情報に対するホワイトバランスやγ補正を
行わない状態で、JPEG,MPEG、H.261、ベ
クトル量子化等の情報圧縮技術を用いた圧縮処理を行
う。具体的には例えば、先ず、所定の画素ブロック毎に
DCT(Discrete CosineTransform : 離散コサイン変
換)を行う。次に、DCTした擬似輝度信号Y’及び擬
似色差信号U’,V’を量子化することで、高周波成分
を除去した圧縮データを得る。そして、その圧縮データ
を符号化する。ここでの符号化処理は、種々の方式を用
いることが可能であるが、データの発生頻度に応じた符
号長を割り当てる可変長符号化を用いることで圧縮率を
さらに高めることが可能となる。このようにして、圧縮
処理装置820にて、圧縮及び符号化されたデータは、
例えば、通信回線等の媒体を介して、受信側の伸張処理
装置830に対して送信される。
【0139】受信側において、情報伸張装置830は、
送信側から送られてきたデータに対して、上述の圧縮装
置装置820におけるDCT及び量子化処理の逆の処理
を行うことで、擬似輝度信号Y’及び擬似色差信号
U’,V’を復元する。
【0140】色処理装置840は、情報伸張装置830
で得られた擬似輝度信号Y’及び擬似色差信号U’,
V’に対して、ホワイトバランス補正やγ補正等の色処
理のような、良好な画質を得るために必要な種々の補正
を行うことで、輝度信号Y及び色差信号U,Vを生成す
る。
【0141】表示/記録装置850は、色処理装置84
0にて生成された輝度信号Y及び色差信号U,Vを画面
表示したり、記録媒体に記録したりする。
【0142】上述のように、本実施の形態では、色フィ
ルタ711を、上記図2〜図5に示したようなフィルタ
配列で構成し、撮像素子712で得られた画素信号を、
上述した第1〜第7の各実施の形態で説明したようにし
て読み出す構成とした。これにより、カラー画像信号を
取り扱う画像処理システムにおいても、上述した第1〜
第7の各実施の形態での効果を得ることができる。すな
わち、水平方向及び垂直方向に高解像度なカラー画像信
号を、高速に得ることができる。
【0143】また、撮像素子712で得られた原信号Y
e,Cy,Mg,Gから擬似輝度信号Y’及び擬似色差
信号U’,V’を得るための輝度/色差前処理部720
を、撮像素子712と同一チップ上に設けるように構成
した。これにより、擬似輝度信号Y’、及び擬似色差信
号U’,V’を得るための演算処理を高速化することが
できる。したがって、後段の圧縮処理や伸張処理等の画
像処理を効率的に行うことができる。
【0144】そして、上述の構成により、処理が高速化
した分を、圧縮処理や伸張処理等の画像処理の精度向上
のためにあてることもでき、さらに高画質のカラー画像
信号を得ることができる。
【0145】また、撮像部810にて得られる擬似輝度
信号Y’、及び擬似色差信号U’,V’に対して、圧縮
処理装置820にて圧縮及び符号化を行って、伸張処理
装置830にて伸張した後に、色処理装置840にて高
品位の画質を得るための、ホワイトバランス補正やγ補
正等の色処理を行うように構成した。これにより、圧縮
処理後の伸張処理に伴って発生するブロックノイズや高
周波ノイズによる画質の劣化を最小限に抑えることもで
きる。したがって、表示/記録装置850により記録媒
体に記憶したり、通信回線を介して伝送したりする際の
情報量を大幅に削減できるとともに、画質の劣化を可及
的に防止して高品位の画質を得ることもできる。
【0146】尚、上述の第7の実施の形態では、圧縮処
理装置820での圧縮処理として、DCT及び可変長符
号化を用いたが、これに限らず、例えば、コードブック
圧縮技術(ベクトル量子化技術)を用いることもでき
る。このコードブック圧縮技術を用いる場合、先ず、圧
縮処理装置820は、撮像部810で得られた擬似輝度
信号Y’、及び擬似色差信号U’,V’と、予め記憶し
ている複数のコードブック(パターン)と比較し、その
中で最も似通ったパターンを見つけ出して、そのパター
ンに対応するコード番号を、受信側の伸張処理装置83
0に対して送信する。伸張処理装置830は、圧縮処理
装置820から送られてきたコード番号に対応するパタ
ーンを、予め記憶している複数のコードブック取り出す
ことにより、圧縮処理装置820側で圧縮された画像信
号を再現する。
【0147】また、上記の各実施の形態では、色フィル
タ711として、イエロ(Ye)、マゼンタ(Mg)、
シアン(Cy)、グリーン(G)の補色系4色の色フィ
ルタが配列されてなる補色フィルタを用いるとしたが、
これに限らず、輝度信号又は色差信号が得られるもので
あれば、他のフィルタを用いるようにしてもよい。しか
しながら、例えば、R,G,Bの3色の色フィルタから
構成される原色フィルタを色フィルタ711として用い
た場合と、上記の各実施の形態のように、4色の色フィ
ルタから構成される補色フィルタを色フィルタ711と
して用いた場合とを比較すると、補色フィルタは、それ
を構成する各色フィルタが全て色成分を有するため、後
者の補色フィルタを用いた場合のほうが、輝度偽信号が
小さく、更に、入射光の利用率が少なく低感度になると
いう欠点を防ぐことができる。したがって、補色フィル
タを用いたほうが、より高い効果を得ることができる。
【0148】また、本発明の目的は、上述した各実施の
形態のホスト及び端末の機能を実現するソフトウェアの
プログラムコードを記憶した記憶媒体を、システム或い
は装置に供給し、そのシステム或いは装置のコンピュー
タ(又はCPUやMPU)が記憶媒体に格納されたプロ
グラムコードを読みだして実行することによっても、達
成されることは言うまでもない。この場合、記憶媒体か
ら読み出されたプログラムコード自体が各実施の形態の
機能を実現することとなり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することとなる。
【0149】プログラムコードを供給するための記憶媒
体としては、ROM、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、CD−ROM、C
D−R、磁気テープ、不揮発性のメモリカード等を用い
ることができる。
【0150】また、コンピュータが読みだしたプログラ
ムコードを実行することにより、実施の形態の機能が実
現されるだけでなく、そのプログラムコードの指示に基
づき、コンピュータ上で稼動しているOS等が実際の処
理の一部又は全部を行い、その処理によって各実施の形
態の機能が実現される場合も含まれることは言うまでも
ない。
【0151】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された拡張機能ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるCPUなどが実際の処理の一部又は全部を行い、
その処理によって各実施の形態の機能が実現される場合
も含まれることは言うまでもない。
【0152】
【発明の効果】以上説明したように本発明では、複数色
のフィルタがN行×N列の周期性を持って配列されてな
る色フィルタアレイのフィルタ配列を、該N行×N列の
周期単位の中で、同一行のフィルタの色は全て異なり、
同一列のフィルタの色も全て異なるように構成するよう
にした。これにより、所定の画素ブロック単位で、該画
素ブロックの画素信号を用いて輝度信号及び色差信号を
得る際に、どの画素ブロックからも輝度信号及び色差信
号を得るために必要な画素信号を得ることができるた
め、高解像度の輝度信号及び色差信号を得ることができ
る。これを、簡易カラー表示、オートフォーカス用検出
信号、ホワイトバランスの調整、或いは画像圧縮処理等
に用いることで、良好なカラー画像を提供することがで
きる。
【0153】具体的には、例えば、第1の色〜第4の色
(シアンCy,イエロYe,マゼンダMg,グリーンG
等)の4種類の色のフィルタが、4行×4列の周期性を
持って配列されてなる色フィルタアレイの場合、該4行
×4列の周期単位の中で、 第1行目:第1の色、第2の色、第3の色、第4の色 第2行目:第3の色、第4の色、第1の色、第2の色 第3行目:第2の色、第1の色、第4の色、第3の色 第4行目:第4の色、第3の色、第2の色、第1の色 のように、行方向及び列方向共に、同じ色のフィルタが
重複しないように、フィルタを配列する。これにより、
2行×2列の画素ブロック単位で、該画素ブロックの画
素信号を用いて輝度信号及び色差信号を得る際に、どの
画素ブロックからも第1の色〜第4の色の各画素信号が
得られるため、すなわち輝度信号及び色差信号を得るた
めの演算に必要な画素信号が得られるため、従来のよう
に、ある行に対しては輝度信号及び色差信号を得るため
の演算を行うことができない、ということはない。
【0154】また、前記色フィルタアレイを介した被写
体光から得られた画素信号を、N行×N列の画素ブロッ
ク単位で読み出す際、次に読み出しを行う画素ブロック
を、前回読み出しを行った画素ブロックに対して、水平
方向又は垂直方向、或いは水平方向と共に垂直方向に、
所定の画素分シフトした位置のブロックとして、該ブロ
ックに対して読み出しを行うように構成すれば、解像度
を更に上げることができる。
【0155】具体的には例えば、2行×2列の画素ブロ
ック単位での読み出しを行う場合、先ず、第1の画素ブ
ロックの読み出しを行った結果、第1行、第1列の画素
信号Y11、第1行、第2列の画素信号Y12、第2行、第
1列の画素信号Y21、及び第2行、第2列の画素信号Y
22が得られる。これらの画素信号のうち、次に読み出し
を行う第2の画素ブロック(第1の画素ブロックに対し
て1画素分水平方向にシフトした位置のブロック)と重
なりあう領域(第1行、第2列及び第2行、第2列)の
画素信号Y12,Y21を保持しておく。そして、次の画素
ブロックの読み出しに、上記重なりあう領域の画素信号
として、該保持しておいた画素信号Y12,Y21を用いる
ようにする。これにより、2行×2列の画素ブロック単
位で、該画素ブロックの画素信号を用いて輝度信号及び
色差信号を得る際に、水平方向の各画素に対応した輝度
信号及び色差信号を得ることができる。したがって、こ
の場合には、水平方向の解像度を2倍に上げることがで
きる。
【0156】また、例えば、2行×2列の画素ブロック
単位で、第1行第1列の画素信号と第1行第2列の画素
信号の加算信号と、第2行第1列の画素信号と第2行第
2列の画素信号の加算信号との差を読み出し、第1行第
1列の画素信号と第2行第1列の画素信号の加算信号
と、第1行第2列の画素信号と第2行第2列の画素信号
の加算信号との差を読み出すようなモード(読み出し1
のモード)を利用すれば、水平方向、垂直方向共に解像
度が高い色差信号を持ったカラー画像信号が得られる。
【0157】また、本発明によれば、同一の色フィルタ
パターンを用いながらも、様々な読み出し方法があるの
で、簡易カラー表示、オートフォーカス、オートホワイ
トバランスに使用できる画像信号を高速に出力できるモ
ードや高解像度の画像信号を出力するモードなどのマル
チモードに対応できる。
【0158】また、本発明では、撮像素子から上記の読
み出しにより擬似輝度信用及び色差信号を得て、さらに
ホワイトバランスやγ補正等の色処理を行わない状態で
圧縮を行って伸張後に上記色処理を行うため、高い効率
で圧縮することができ、色処理後の画質劣化を防ぐこと
ができる。
【図面の簡単な説明】
【図1】第1の実施の形態において、本発明を適用した
撮像装置の構成を示すブロック図である。
【図2】上記撮像装置で用いる色フィルタのフィルタ配
列の一例を説明するための図である。
【図3】上記フィルタ配列の他の一例を説明するための
図である。
【図4】第2の実施の形態において、上記撮像装置で用
いる色フィルタのフィルタ配列の一例を説明するための
図である。
【図5】上記フィルタ配列の他の一例を説明するための
図である。
【図6】第3の実施の形態において、上記第1及び第2
の実施の形態での画素信号の読み出し方法を実施する上
記撮像装置の回路構成を説明するための図である。
【図7】上記回路構成での撮像装置の動作を説明するた
めの図である。
【図8】第4の実施の形態において、上記第1及び第2
の実施の形態での画素信号の読み出し方法1を実施する
上記撮像装置の回路構成を説明するための図である。
【図9】上記回路構成での撮像装置の動作を説明するた
めの図である。
【図10】第5の実施の形態において、上記第1及び第
2の実施の形態での画素信号の読み出し方法1を実施す
る上記撮像装置の回路構成を説明するための図である。
【図11】上記回路構成での撮像装置の動作を説明する
ための図である。
【図12】第6の実施の形態において、オーバーラップ
読出を実施する上記撮像装置の回路構成を説明するため
の図である。
【図13】上記回路構成での撮像装置の動作を説明する
ための図である。
【図14】上記オーバーラップ読出を行わない場合の画
素信号から得られる輝度信号及び色差信号を説明するた
めの図である。
【図15】上記オーバーラップ読出を行った場合の画素
信号から得られる輝度信号及び色差信号を説明するため
の図である。
【図16】上記撮像装置をより具体化した回路構成の一
例(例1)を説明するための図である。
【図17】上記回路構成での撮像装置の動作を説明する
ための図である。
【図18】上記撮像装置をより具体化した回路構成の一
例(例2)を説明するための図である。
【図19】上記回路構成での撮像装置の動作を説明する
ための図である。
【図20】上記例1及び例2の各回路構成の両機能を有
する回路構成を説明するための図である。
【図21】上記回路構成での撮像装置の動作を説明する
ための図である。
【図22】第7の実施の形態において、本発明を適用し
た画像処理システムの構成を示すブロック図である。
【図23】水平方向に2画素、垂直方向に4画素の周期
性を持つ従来の色フィルタのフィルタ配列を説明するた
めの図である。
【図24】水平方向に2画素、垂直方向に8画素の周期
性を持つ従来の色フィルタのフィルタ配列を説明するた
めの図である。
【符号の説明】
100 光検出素子 101 転送用トランジスタ 102 拡散浮遊領域 103 リセット用トランジスタ 104 アンブ用トランジスタ 106,107,501,502,503,504 分
配用トランジスタ 121 スイッチ用トランジスタ 105 放電用トランジスタ 108,115,1’。16,301,302,30
3,304,505,506,507 平均化用トラン
ジスタ 109,110,117,118 コンデンサ(ライン
メモリ) 122,127 差動アンブ 700 撮像装置 710 撮像部 711 色フィルタ 712 撮像素子 713 信号読出部 720 輝度/色差前処理部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小泉 徹 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 (72)発明者 光地 哲伸 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 (72)発明者 ▲樋▼山 拓己 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 (72)発明者 須川 成利 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内

Claims (36)

    【特許請求の範囲】
  1. 【請求項1】 4色の色フィルタアレイを介して撮像素
    子に入射した入射光よりカラー画像信号を生成するカラ
    ー撮像装置であって、 前記色フィルタアレイは、4行×4列の周期性を持ち、
    4行×4列の周期単位の中で、同一行の色フィルタの色
    は全て異なり、同一列の前記色フィルタの色は全て異な
    ることを特徴とするカラー撮像装置。
  2. 【請求項2】 前記色フィルタアレイは、前記4行×4
    列の周期単位の中で、 第1行には、左から右の順又は右から左の順に第1色の
    色フィルタ、第2色の色フィルタ、第3色の色フィル
    タ、第4色の色フィルタが配列され、 第2行には、左又は右から順に前記第3色の色フィル
    タ、前記第4色の色フィルタ、前記第1色の色フィル
    タ、前記第2色の色フィルタが配列され、 第3行には、左又は右から順に前記第2色の色フィル
    タ、前記第1色の色フィルタ、前記第4色の色フィル
    タ、前記第3色の色フィルタが配列され、 第4行には、左又は右から順に前記第4色の色フィル
    タ、前記第3色の色フィルタ、前記第2色の色フィル
    タ、前記第1色の色フィルタが配列されおり、 前記第1行から前記第4行までは、上から下の順又は下
    から上の順に並んでいることを特徴とする請求項1記載
    のカラー撮像装置。
  3. 【請求項3】 前記第3行と前記第4行とが入れ替わっ
    ていることを特徴とする請求項2記載のカラー撮像装
    置。
  4. 【請求項4】 前記第1の色フィルタは、可視光範囲に
    おいて緑色光のみを透過するフィルタであり、 前記第2の色フィルタは、可視光範囲において青色光の
    みを遮断するフィルタであり、 前記第3の色フィルタは、可視光範囲において緑色光の
    みを遮断するフィルタであり、 前記第4の色フィルタは、可視光範囲において赤色光の
    みを遮断するフィルタであることを特徴とする請求項2
    又は3記載のカラー撮像装置。
  5. 【請求項5】 前記色フィルタアレイは、前記4行×4
    列の周期単位の中で、 第1行には、左から右の順又は右から左の順に第1色の
    色フィルタ、第2色の色フィルタ、第3色の色フィルタ
    ・第4色の色フィルタが配列され、 第2行には、左又は右から順に前記第3色の色フィル
    タ、前記第4色の色フィルタ、前記第1色の色フィル
    タ、前記第2色の色フィルタが配列され、 第3行には、左又は右から順に前記第4色の色フィル
    タ、前記第1色の色フィルタ、前記第2色の色フィル
    タ、前記第3色の色フィルタが配列され、 第4行には、左又は右から順に前記第2色の色フィル
    タ、前記第3色の色フィルタ、前記第4色の色フィル
    タ、前記第1色の色フィルタが配列されおり、 前記第1行から前記第4行までは、上から下の順又は下
    から上の順に並んでいることを特徴とする請求項1記載
    のカラー撮像装置。
  6. 【請求項6】 前記第3行と前記第4行とが入れ替わっ
    ていることを特徴とする請求項5記載のカラー撮像装
    置。
  7. 【請求項7】 前記第1の色フィルタは、可視光範囲に
    おいて緑色光のみを透過するフィルタであり、 前記第2の色フィルタは、可視光範囲において青色光の
    みを遮断するフィルタであり、 前記第3の色フィルタは、可視光範囲において緑色光の
    みを遮断するフィルタであり、 前記第4の色フィルタは、可視光範囲において赤色光の
    みを遮断するフィルタであることを特徴とする請求項5
    又は6記載のカラー撮像装置。
  8. 【請求項8】 2行×2列の領域の第1行第1列の信号
    と第1行第2列の信号との加算信号と、前記2行×2列
    の領域の第2行第1列の信号と第2行第2列の信号との
    加算信号との差を読み出す手段と、 前記2行×2列の領域の第1行第1列の信号と第2行第
    1列の信号との加算信号と、前記2行×2列の領域の第
    1行第2列の信号と第2行第2列の信号との加算信号と
    の差を読み出す手段とを備えることを特徴とする請求項
    1乃至4の何れか1項に記載のカラー撮像装置。
  9. 【請求項9】 前記2行×2列の領域は隙間なく配列さ
    れることを特徴とする請求項8記載のカラー撮像装置。
  10. 【請求項10】 2行×2列の領域の第1行第1列の信
    号と第1行第2列の信号との加算信号と、前記2行×2
    列の領域の第2行第1列の信号と第2行第2列の信号と
    の加算信号との差を読み出す手段と、 前記2行×2列の領域の第1行第1列の信号と第2行第
    1列の信号との加算信号と、前記2行×2列の領域の第
    1行第2列の信号と第2行第2列の信号との加算信号と
    の差を読み出す手段とを備えることを特徴とする請求項
    5乃至7の何れか1項に記載のカラー撮像装置。
  11. 【請求項11】 4行×1列の領域の全信号の加算値を
    読み出す手段を備えることを特徴とする請求項1乃至7
    の何れか1項に記載のカラー撮像装置。
  12. 【請求項12】 1行×4列の領域の全信号の加算値を
    読み出す手段を備えることを特徴とする請求項1乃至7
    の何れか1項に記載のカラー撮像装置。
  13. 【請求項13】 請求項1乃至4の何れか1項に記載の
    カラー撮像装置から画像信号を読み出す画像信号読み出
    し方法であって、 2行×2列の領域の第1行第1列の信号と第1行第2列
    の信号との加算信号と、前記2行×2列の領域の第2行
    第1列の信号と第2行第2列の信号との加算信号との差
    を第1の色差信号として読み出すステップと、 前記2行×2列の領域の第1行第1列の信号と第2行第
    1列の信号との加算信号と、前記2行×2列の領域の第
    1行第2列の信号と第2行第2列の信号との加算信号と
    の差を第2の色差信号として読み出すステップとを含む
    ことを特徴とする画像信号読み出し方法。
  14. 【請求項14】 前記2行×2列の領域が隙間なく配列
    されるステップを含むことを特徴とする請求項13に記
    載の画像信号読み出し方法。
  15. 【請求項15】 請求項5乃至7の何れか1項に記載の
    カラー撮像装置から画像信号を読み出す画像信号読み出
    し方法であって、 2行×2列の領域の第1行第1列の信号と第1行第2列
    の信号との加算信号と、前記2行×2列の領域の第2行
    第1列の信号と第2行第2列の信号との加算信号との差
    を第1の色差信号として読み出すステップと、 前記2行×2列の領域の第1行第1列の信号と第2行第
    1列の信号との加算信号と、前記2行×2列の領域の第
    1行第2列の信号と第2行第2列の信号との加算信号と
    の差を第2の色差信号として読み出すステップとを含む
    ことを特徴とする画像信号読み出し方法。
  16. 【請求項16】 請求項1乃至7の何れか1項に記載の
    カラー撮像装置から画像信号を読み出す画像信号読み出
    し方法であって、 4行×1列の領域の全信号の加算値を輝度信号として読
    み出すステップを含むことを特徴とする画像信号読み出
    し方法。
  17. 【請求項17】 請求項1乃至7の何れか1項に記載の
    カラー撮像装置から画像信号を読み出す画像信号読み出
    し方法であって、 4行×2列の領域の全信号の加算値を輝度信号として読
    み出すステップを含むことを特徴とする画像信号読み出
    し方法。
  18. 【請求項18】 請求項1乃至7の何れか1項に記載の
    カラー撮像装置から画像信号を読み出す画像信号読み出
    し方法であって、 1行×4列の領域の全信号の加算値を輝度信号として読
    み出すステップを含むことを特徴とする画像信号読み出
    し方法。
  19. 【請求項19】 請求項1乃至7の何れか1項に記載の
    カラー撮像装置から画像信号を読み出す画像信号読み出
    し方法であって、 2行×4列の領域の全信号の加算値を輝度信号として読
    み出すステップを含むことを特徴とする画像信号読み出
    し方法。
  20. 【請求項20】 請求項1乃至7の何れか1項に記載の
    カラー撮像装置から画像信号を読み出す画像信号読み出
    し方法であって、 2行×2列の領域の全信号の加算値を輝度信号として読
    み出すステップを含むことを特徴とする画像信号読み出
    し方法。
  21. 【請求項21】 少なくとも行方向及び列方向の何れか
    の方向に所定画素分シフトしながら、N行×N列(N:
    整数)の画素ブロック単位で前記撮像素子から信号を読
    み出す読出手段を備えることを特徴とする請求項1記載
    のカラー撮像装置。
  22. 【請求項22】 前記読出手段で読み出された今回の読
    出画素ブロックの信号のうち、該読出画素ブロックに対
    して1画素シフトした次の読出画素ブロックと重なり合
    う領域の信号を保持する保持手段を備え、 前記読出手段は、次の画素ブロックの信号の読み出し
    に、前記保持手段に保持された信号を用いることを特徴
    とする請求項21記載のカラー撮像装置。
  23. 【請求項23】 2次元配列された複数画素にて色フィ
    ルタアレイを介した被写体光を受光して、該複数画素で
    の各受光量に対応する画素信号を得る撮像素子であっ
    て、 前記色フィルタアレイは、複数色のフィルタがN行×N
    列(N:整数)の周期性を持って上記複数画素に対応し
    て配列され、該N行×N列の周期単位内の各行及び各列
    の各々において同一色のフィルタが存在しないように配
    列されてなることを特徴とする撮像素子。
  24. 【請求項24】 少なくとも行方向及び列方向の何れか
    の方向に所定画素分シフトしながら、前記画素信号をN
    行×N列の画素ブロック単位で読み出す読出手段を備え
    ることを特徴とする請求項23記載の撮像素子。
  25. 【請求項25】 前記読出手段で読み出された今回の読
    出画素ブロックの画素信号のうち、該読出画素ブロック
    に対して所定画素分シフトした次の読出画素ブロックと
    重なり合う領域の画素信号を保持する保持手段を更に備
    え、 前記読出手段は、次の画素ブロックの画素信号の読み出
    しに、前記保持手段に保持された画素信号を用いること
    を特徴とする請求項24記載の撮像素子。
  26. 【請求項26】 2次元配列された複数画素にて所定の
    色フィルタアレイを介した被写体光を受光して、該複数
    画素での各受光量に対応する画素信号を得る受光手段
    と、 少なくとも行方向及び列方向の何れかの方向に所定画素
    分シフトしながら、前記受光手段での画素信号をN行×
    N列(N:整数)の画素ブロック単位で読み出す読出手
    段と、 前記読出手段で読み出された今回の読出画素ブロックの
    画素信号のうち、該読出画素ブロックに対して所定画素
    分シフトした次の読出画素ブロックと重なり合う領域の
    画素信号を保持する保持手段とを備え、 前記読出手段は、次の画素ブロックの画素信号の読み出
    しに、前記保持手段に保持された画素信号を用いること
    を特徴とする撮像素子。
  27. 【請求項27】 前記色フィルタアレイは、複数色のフ
    ィルタがN行×N列(N:整数)の周期性を持って前記
    複数画素に対応して配列され、該N行×N列の周期単位
    内の各行及び各列の各々において同一色のフィルタが存
    在しないように配列されてなることを特徴とする請求項
    26記載の撮像素子。
  28. 【請求項28】 カラー撮像素子により被写体を撮像
    し、該撮像素子の出力信号に対して所定の画像処理を行
    う画像処理装置であって、 前記カラー撮像素子は、請求項1〜12、21、及び2
    2の何れかに記載のカラー撮像装置が有する機能を備え
    ることを特徴とする画像処理装置。
  29. 【請求項29】 カラー撮像素子により被写体を撮像
    し、該撮像素子の出力信号に対して所定の画像処理を行
    う画像処理装置であって、 前記カラー撮像素子は、請求項23〜27の何れかに記
    載の撮像素子であることを特徴とする画像処理装置。
  30. 【請求項30】 カラー撮像素子を含む撮像装置と、該
    撮像装置の出力信号に対して所定の画像処理を行う画像
    処理装置とが少なくとも接続されてなる画像処理システ
    ムであって、 前記撮像装置は、請求項1〜12、21、及び22の何
    れかに記載のカラー撮像装置であることを特徴とする画
    像処理システム。
  31. 【請求項31】 カラー撮像素子を含む撮像装置と、該
    撮像装置の出力信号に対して所定の画像処理を行う画像
    処理装置とが少なくとも接続されてなる画像処理システ
    ムであって、 前記カラー撮像素子は、請求項23〜27の何れかに記
    載の撮像素子であることを特徴とする画像処理システ
    ム。
  32. 【請求項32】 請求項13〜20の何れかに記載の画
    像信号読み出し方法のステップを、コンピュータが読出
    可能に格納したことを特徴とする記憶媒体。
  33. 【請求項33】 2次元配列された複数画素にて色フィ
    ルタアレイを介した被写体光を受光して、該複数画素で
    の各受光量に対応する画素信号を得る撮像素子の動作を
    実施するための処理ステップをコンピュータが読出可能
    に格納した記憶媒体であって、該処理ステップは、 少なくとも行方向及び列方向の何れかの方向に所定画素
    分シフトしながら、前記受光部での画素信号をN行×N
    列(N:整数)の画素ブロック単位で読み出す読出ステ
    ップと、 前記読出ステップにより読み出された今回の読出画素ブ
    ロックの画素信号のうち、該読出画素ブロックに対して
    所定画素分シフトした次の読出画素ブロックと重なり合
    う領域の画素信号を素子内のメモリに保持する保持ステ
    ップとを含み、 前記読出ステップは、次の画素ブロックの画素信号の読
    み出しに、前記メモリに保持された画素信号を用いるス
    テップを含むことを特徴とする記憶媒体。
  34. 【請求項34】 前記色フィルタアレイは、複数色のフ
    ィルタがN行×N列(N:整数)の周期性を持って前記
    複数画素に対応して配列され、該N行×N列の周期単位
    内の各行及び各列の各々において同一色のフィルタが存
    在しないように配列されてたものであることを特徴とす
    る請求項33記載の記憶媒体。
  35. 【請求項35】 色情報に関して少なくともホワイトバ
    ランス補正又はγ補正を施す色処理を経ずに、撮像素子
    から出力される画像信号の情報量を圧縮し、該圧縮した
    画像信号を伸張した後で、前記色処理を行うようになさ
    れた画像処理装置であって、 前記撮像素子は、請求項1〜12、21、及び22の何
    れかに記載のカラー撮像装置が有する機能を備えること
    を特徴とする画像処理装置。
  36. 【請求項36】 色情報に関して少なくともホワイトバ
    ランス補正又はγ補正を施す色処理を経ずに、撮像素子
    から出力される画像信号の情報量を圧縮し、該圧縮した
    画像信号を伸張した後で、前記色処理を行うようになさ
    れた画像処理装置であって、 前記撮像素子は、請求項23〜27の何れかに記載の撮
    像素子であることを特徴とする画像処理装置。
JP21243498A 1997-12-26 1998-07-28 カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体 Expired - Lifetime JP4377976B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP21243498A JP4377976B2 (ja) 1997-12-26 1998-07-28 カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体
DE69833738T DE69833738D1 (de) 1997-12-26 1998-12-23 Farbbildaufnahmegerät
US09/219,754 US6757016B1 (en) 1997-12-26 1998-12-23 Image pickup apparatus with color filter array and means for adding and subtracting signals
EP98310696A EP0926901B1 (en) 1997-12-26 1998-12-23 Colour image pickup apparatus
CNB981240801A CN1161962C (zh) 1997-12-26 1998-12-25 图象拾取装置
KR1019980058934A KR100307471B1 (ko) 1997-12-26 1998-12-26 촬상장치,화상신호판독방법및화상신호처리시스템

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP36108697 1997-12-26
JP9-361086 1997-12-26
JP21243498A JP4377976B2 (ja) 1997-12-26 1998-07-28 カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008006239A Division JP4262290B2 (ja) 1997-12-26 2008-01-15 撮像素子、画像処理装置、画像処理システム、及び記憶媒体

Publications (2)

Publication Number Publication Date
JPH11243553A true JPH11243553A (ja) 1999-09-07
JP4377976B2 JP4377976B2 (ja) 2009-12-02

Family

ID=26519222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21243498A Expired - Lifetime JP4377976B2 (ja) 1997-12-26 1998-07-28 カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体

Country Status (6)

Country Link
US (1) US6757016B1 (ja)
EP (1) EP0926901B1 (ja)
JP (1) JP4377976B2 (ja)
KR (1) KR100307471B1 (ja)
CN (1) CN1161962C (ja)
DE (1) DE69833738D1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009148055A1 (ja) * 2008-06-06 2009-12-10 浜松ホトニクス株式会社 固体撮像装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4006075B2 (ja) * 1998-01-30 2007-11-14 キヤノン株式会社 Cmosセンサ及び撮像システム
EP0969674A3 (en) 1998-07-03 2004-01-02 Canon Kabushiki Kaisha Image sensing device processing image signals in blocks
EP0999698B1 (en) * 1998-11-02 2013-06-19 Canon Kabushiki Kaisha Solid-state image pickup device and method of resetting the same
US6850278B1 (en) * 1998-11-27 2005-02-01 Canon Kabushiki Kaisha Solid-state image pickup apparatus
US6356672B1 (en) * 1999-03-08 2002-03-12 Sharp Laboratories Of America, Inc. Method and apparatus for reducing the color registration artifact of image capture devices
US6714243B1 (en) 1999-03-22 2004-03-30 Biomorphic Vlsi, Inc. Color filter pattern
US7158183B1 (en) * 1999-09-03 2007-01-02 Nikon Corporation Digital camera
US6995800B2 (en) * 2000-01-27 2006-02-07 Canon Kabushiki Kaisha Image pickup apparatus utilizing a plurality of converging lenses
US6965408B2 (en) * 2000-02-28 2005-11-15 Canon Kabushiki Kaisha Solid-state image pickup device having a photoelectric conversion unit and a punch-through current suppression circuit
JP3667214B2 (ja) 2000-08-25 2005-07-06 キヤノン株式会社 固体撮像装置およびその駆動方法
JP4154268B2 (ja) * 2003-03-27 2008-09-24 キヤノン株式会社 撮像装置
US7859581B2 (en) 2003-07-15 2010-12-28 Eastman Kodak Company Image sensor with charge binning and dual channel readout
KR101081000B1 (ko) * 2003-10-23 2011-11-09 소니 가부시키가이샤 화상 처리 장치 및 화상 처리 방법과 기록 매체
JP4018644B2 (ja) * 2004-01-29 2007-12-05 キヤノン株式会社 光電変換装置及び同光電変換装置を用いた撮像システム
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
KR100623036B1 (ko) * 2005-09-22 2006-09-13 삼익전자공업 주식회사 다이나믹 보간 주사에 의해 해상도를 향상시킨 전광판시스템
JP4144892B2 (ja) * 2006-08-28 2008-09-03 キヤノン株式会社 光電変換装置及び撮像装置
CN100430759C (zh) * 2006-11-01 2008-11-05 友达光电股份有限公司 彩色滤光片的制造方法
KR101475464B1 (ko) 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
JP5225145B2 (ja) * 2009-02-23 2013-07-03 キヤノン株式会社 固体撮像装置
US9467665B1 (en) * 2015-06-29 2016-10-11 Omnivision Technologies, Inc. Color filter array patterns for reduction of color aliasing

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4591900A (en) * 1983-03-14 1986-05-27 Rca Corporation Encoding pattern for single chip CCD camera processing scheme
JPS631276A (ja) * 1986-06-20 1988-01-06 Olympus Optical Co Ltd カラ−撮像装置
US5202756A (en) * 1988-11-09 1993-04-13 Canon Kabushiki Kaisha Color signal processing apparatus using plural luminance signals
US5262870A (en) 1989-02-10 1993-11-16 Canon Kabushiki Kaisha Image sensor in which reading and resetting are simultaneously performed
KR920006601Y1 (ko) * 1989-12-31 1992-09-21 삼성전자 주식회사 보색 필터 ccd를 이용한 원색 신호 출력회로
EP0570204B1 (en) * 1992-05-13 1996-07-10 Matsushita Electric Industrial Co., Ltd. Solid state image pickup device using a colour filter array
KR0146260B1 (ko) 1993-06-16 1998-09-15 모리시타 요이찌 고체촬상장치
JPH07288824A (ja) * 1994-04-14 1995-10-31 Asahi Optical Co Ltd 輝度信号生成装置
US5724450A (en) * 1994-09-30 1998-03-03 Apple Computer, Inc. Method and system for color image compression in conjunction with color transformation techniques
US5568192A (en) * 1995-08-30 1996-10-22 Intel Corporation Method and apparatus for processing digital video camera signals
US6035077A (en) * 1996-05-03 2000-03-07 Omnivision Technologies, Inc. Single-chip color CMOS image sensor with two or more line reading structure and high-sensitivity interlace color structure
JPH09312848A (ja) 1996-05-21 1997-12-02 Hitachi Ltd 撮像装置
US5631703A (en) * 1996-05-29 1997-05-20 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
JP3854662B2 (ja) * 1996-06-12 2006-12-06 キヤノン株式会社 撮像装置
JPH10145582A (ja) * 1996-11-05 1998-05-29 Canon Inc 画像処理方法及び装置
JPH10336486A (ja) * 1997-05-30 1998-12-18 Matsushita Electric Ind Co Ltd 映像信号処理装置
US6285398B1 (en) * 1997-11-17 2001-09-04 Sony Corporation Charge-coupled device video camera with raw data format output and software implemented camera signal processing
JP4212134B2 (ja) * 1997-12-25 2009-01-21 三洋電機株式会社 画像信号処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009148055A1 (ja) * 2008-06-06 2009-12-10 浜松ホトニクス株式会社 固体撮像装置

Also Published As

Publication number Publication date
EP0926901A2 (en) 1999-06-30
DE69833738D1 (de) 2006-05-04
JP4377976B2 (ja) 2009-12-02
US6757016B1 (en) 2004-06-29
KR100307471B1 (ko) 2001-11-02
CN1234680A (zh) 1999-11-10
EP0926901B1 (en) 2006-03-08
EP0926901A3 (en) 2000-11-22
CN1161962C (zh) 2004-08-11
KR19990063505A (ko) 1999-07-26

Similar Documents

Publication Publication Date Title
JPH11243553A (ja) カラー撮像装置、画像信号読み出し方法、撮像素子、画像処理装置、画像処理システム、及び記憶媒体
JP5109026B2 (ja) センサ回路の列回路における画素信号のビニングおよび補間
US20070126900A1 (en) Solid-state image-sensing device that compensates for brightness at edges of a display area and a driving method thereof
JP2001298748A (ja) 固体撮像装置およびその駆動方法並びにカメラシステム
CN111656768A (zh) 一种高动态范围图像传感器
KR100320900B1 (ko) 촬상 장치
JP4317117B2 (ja) 固体撮像装置および撮像方法
JP3902525B2 (ja) 画像信号処理装置
US7701498B2 (en) Solid-state image pickup device, drive method therefor and camera
JP2008199403A (ja) 撮像装置、撮像方法および集積回路
JP2004112768A (ja) 撮像装置
JP4262290B2 (ja) 撮像素子、画像処理装置、画像処理システム、及び記憶媒体
JP2000152260A (ja) 撮像素子の駆動方法および撮像装置
JP4557540B2 (ja) 固体撮像装置及びその駆動方法、並びにカメラ
US20070085924A1 (en) Control circuit for reading out signal charges from main and subsidiary pixels of a solid-state image sensor separately from each other in interlace scanning
JP2002084548A (ja) カラー撮像素子及び撮像装置
JP2004172859A (ja) 撮像装置および撮像方法
JP2004172858A (ja) 撮像装置および撮像方法
JP2000261817A (ja) 撮像装置
JP2000209599A (ja) 固体撮像装置およびその駆動方法並びにカメラシステム
JP3970069B2 (ja) 撮像装置
JP4062252B2 (ja) 固体撮像装置およびその駆動方法並びにカメラ
KR100710688B1 (ko) 이미지 센서
JP2000278609A (ja) 固体撮像装置の駆動方法及びそれを用いたカメラ
JP2000224600A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090908

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090914

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3