JP3948032B2 - 固体撮像装置 - Google Patents
固体撮像装置 Download PDFInfo
- Publication number
- JP3948032B2 JP3948032B2 JP04306596A JP4306596A JP3948032B2 JP 3948032 B2 JP3948032 B2 JP 3948032B2 JP 04306596 A JP04306596 A JP 04306596A JP 4306596 A JP4306596 A JP 4306596A JP 3948032 B2 JP3948032 B2 JP 3948032B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- color
- imaging data
- correction
- supplied
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は空間画素ずらし法を採用した固体撮像装置に関する。詳しくは、第１のサンプリング周波数でディジタル化した第１，第２および第３の色撮影データをアップコンバート手段で第２のサンプリング周波数でアップコンバートし、得られた色データの位相を合わせて演算処理を行い、得られた演算データとこの演算データの符号反転データを用いて更に演算処理を実施して各色補正データを生成し、この各色補正データと各色データをタイミングを合わせて加算することにより色補正を簡単な構成で精度良く行うものである。
【０００２】
【従来の技術】
従来、信号をディジタル化して処理する固体撮像装置においては、ＣＣＤイメージセンサなどから得られるアナログ撮像信号を一旦ディジタル化し、ディジタル化された撮像信号に対して、ガンマ補正、ニー補正、ホワイトブラッククリップ、輪郭補正、ホワイトバランス調整、色相調整、ディテールクリスプニング、レベルディペンドなどの各種非線形信号処理を施している。
【０００３】
ところで、アナログ撮像信号をディジタル化すると、出力波形に歪みを生じて撮像信号に含まれる周波数成分の整数倍の成分が発生する。このため、ディジタル処理する場合には、サンプリング定理によりサンプリング周波数ｆｓの半分の周波数ｆｓ／２までの信号しか再現できない。
【０００４】
ここで、ｆｓ／２を越える周波数成分は、ｆｓ／２を中心にして折り返り、０〜ｆｓ／２の周波数成分に混入されてしまう。この撮像信号の基本波成分側に折り返された成分は偽信号（エリアシング）となり、再生画質を劣化させる原因となる。そこで基本波成分側に折り返さないように最近ではサンプリング周波数のアップコンバート処理が行われる。
【０００５】
図８はこのようなアップコンバート処理を行って所定の映像信号を得るようにした固体撮像装置、例えばディジタルビデオカメラの従来の構成を示す。
【０００６】
被写体１１からの撮像光は色分解系（図示せず）により赤色光（Ｒ）成分，緑色光（Ｇ）成分，青色光（Ｂ）成分の三原色光成分に分解されてカラー撮像部、例えばＣＣＤイメージセンサ１２Ｒ，１２Ｇ，１２Ｂで撮像される。
【０００７】
このＣＣＤイメージセンサ１２Ｒ，１２Ｇ，１２Ｂで得られた三原色撮像信号ＳＲ，ＳＧ，ＳＢは、Ａ／Ｄコンバータ１３Ｒ，１３Ｇ，１３Ｂでディジタルの三原色撮像データＤＲ，ＤＧ，ＤＢとされてプリプロセッサ１４に供給される。
【０００８】
プリプロセッサ１４では、画素の欠陥補正やシーディング補正が行われる。補正された三原色撮像データＤＲ，ＤＧ，ＤＢは色補正回路２０に供給される。また補正された三原色撮像データＤＲ，ＤＧはイメージエンハンサ３０に供給される。
【０００９】
色補正回路２０では、リニアマトリクス処理が行なわれる。このリニアマトリクス処理では、例えば三原色撮像入力信号ＲI，ＧI，ＢIが式（１）〜（３）に示す演算処理によって撮像画像の色再現性を補正した三原色撮像出力信号ＲO，ＧO，ＢOとされる。
ＲO＝ＲI＋ａ（ＲI−ＧI）＋ｂ（ＲI−ＢI） ・・・式（１）
ＧO＝ＧI＋ｃ（ＧI−ＲI）＋ｄ（ＧI−ＢI） ・・・式（２）
ＢO＝ＢI＋ｅ（ＢI−ＲI）＋ｆ（ＢI−ＧI） ・・・式（３）
なお、ａ〜ｆは係数である。
【００１０】
ところで、ＣＣＤイメージセンサを用いたカラービデオカメラでは、空間画素ずらし法を用いて解像度を向上させることが行われる。この場合、図９に示すように例えばＧ信号を得るＣＣＤイメージセンサ１２Ｇに対し、Ｒ信号およびＢ信号を得るＣＣＤイメージセンサ１２Ｒ，１２Ｂを、水平方向に対して１／２画素ピッチＰ／２だけ相対的にずらして同一被写体像が撮像される。この空間画素ずらし法では、図１０に示すように緑色撮像信号のサンプリング点に対して、赤色撮像信号および青色撮像信号のサンプリング点が１８０°だけ位相差を有するものとされる。
【００１１】
そこで、図１１に示す色補正回路によって、三原色撮像データＤＲ，ＤＧ，ＤＢから、赤色撮像データＤＲおよび青色撮像データＤＢと同位相である緑色補間データＤｇを生成すると共に、緑色撮像データＤＧと同位相である赤色補間データＤｒおよび青色補間データＤｂを生成して、この三原色撮像データＤＲ，ＤＧ，ＤＢと三原色補間データＤｒ，Ｄｇ，Ｄｂを用いて、色補正された三原色補正撮像データＤＲＣ，ＤＧＣ，ＤＢＣが生成される。
【００１２】
図１１において、赤色撮像データＤＲは、補間フィルタ２１Ｒと減算器２３ａ，２３ｂ，２３ｅおよび遅延部２８Ｒに供給される。緑色撮像データＤＧは、補間フィルタ２１Ｇとレジスタ２２Ｇｃ，２２Ｇｄおよび遅延部２８Ｇに供給される。また、青色撮像データＤＢは、補間フィルタ２１Ｂと減算器２３ｂ，２３ｅ，２３ｆおよび遅延部２８Ｂに供給される。
【００１３】
補間フィルタ２１Ｒでは赤色撮像データＤＲから赤色補間データＤｒが生成される。また補間フィルタ２１Ｇでは緑色撮像データＤＧから緑色補間データＤｇが生成されて、補間フィルタ２１Ｂでは青色撮像データＤＢから青色補間データＤｂが生成される。
【００１４】
減算器２３ａでは赤色撮像データＤＲから緑色補間データＤｇが減算される。この減算器２３ａの演算結果が乗算器２４ａに供給されて、係数「ａ」が乗算される。すなわち、式（４）の演算が行われる。
ａ（ＤＲ−Ｄｇ） ・・・式（４）
【００１５】
減算器２３ｂでは赤色撮像データＤＲから青色撮像データＤＢが減算される。この減算器２３ｂの演算結果が乗算器２４ｂに供給されて、係数「ｂ」が乗算される。すなわち、式（５）の演算が行われる。
ｂ（ＤＲ−ＤＢ） ・・・式（５）
【００１６】
レジスタ２２Ｇｃ，２２Ｇｄでは、緑色撮像データＤＧが補間フィルタ２１Ｒ，２１Ｇ，２１Ｂの群遅延分だけ遅延されて、赤色撮像データＤＲおよび青色撮像データＤＢと同位相とされて減算器２３ｃ，２３ｄに供給される。
【００１７】
減算器２３ｃではレジスタ２２Ｇｃからの遅延された緑色撮像データＤＧから赤色補間データＤｒが減算される。この減算器２３ｃの演算結果が乗算器２４ｃに供給されて、係数「ｃ」が乗算される。すなわち、式（６）の演算が行われる。以下同様に減算器２３ｄ〜２３ｆの演算結果に対して乗算器２４ｄ〜２４ｆで係数「ｄ」〜「ｆ」が乗算されて、式（７）〜（９）の演算が行われる。
ｃ（ＤＧ−Ｄｒ） ・・・式（６）
ｄ（ＤＧ−Ｄｂ） ・・・式（７）
ｅ（ＤＢ−ＤＲ） ・・・式（８）
ｆ（ＤＢ−Ｄｇ） ・・・式（９）
【００１８】
加算器２５Ｒでは、乗算器２４ａの乗算結果と乗算器２４ｂの乗算結果が加算される。この加算結果である赤色補正データＪＲは低域フィルタ２６Ｒを介してレジスタ２７Ｒに供給される。このレジスタ２７Ｒでは赤色補正データＪＲが補間フィルタの群遅延分だけ遅延されて、後述する緑色補正データＪＧに対して１８０゜の位相差を有するものとされる。この遅延された赤色補正データＪＲは加算器２９Ｒに供給される。加算器２９Ｒには、遅延部２８Ｒで上述の演算処理に要する時間だけ遅延された赤色撮像データＤＲが供給されており、赤色撮像データＤＲと遅延された赤色補正データＪＲが加算されて、赤色補正撮像データＤＲＣとして出力される。すなわち、赤色補正撮像データＤＲＣは式（１０）に示す演算処理の結果を示すものとされる。
ＤＲＣ＝ＤＲ＋ａ（ＤＲ−Ｄｇ）＋ｂ（ＤＲ−ＤＢ） ・・・式（１０）
【００１９】
加算器２５Ｇでは、乗算器２４ｃの乗算結果と乗算器２４ｄの乗算結果が加算される。この加算結果である緑色補正データＪＧは低域フィルタ２６Ｇを介して加算器２９Ｇに供給される。加算器２９Ｇには、遅延部２８Ｇで遅延された緑色撮像データＤＧが供給されており、緑色撮像データＤＧと緑色補正データＪＧが加算されて、緑色補正撮像データＤＧＣとして出力される。すなわち、緑色補正撮像データＤＧＣは式（１１）に示す演算処理の結果を示すものとされる。
ＤＧＣ＝ＤＧ＋ｃ（ＤＧ−Ｄｒ）＋ｄ（ＤＧ−Ｄｂ） ・・・式（１１）
【００２０】
加算器２５Ｂでは、乗算器２４ｅの乗算結果と乗算器２４ｆの乗算結果が加算される。この加算結果である青色補正データＪＢは低域フィルタ２６Ｂを介してレジスタ２７Ｂに供給されて、赤色補正データＪＲと同様に遅延されて加算器２９Ｂに供給される。加算器２９Ｂには、遅延部２８Ｂで遅延された青色撮像データＤＢが供給されており、青色撮像データＤＢと遅延された青色補正データＪＢが加算されて、青色補正撮像データＤＢＣとして出力される。すなわち、青色補正撮像データＤＢＣは式（１２）に示す演算処理の結果を示すものとされる。なお、遅延部２８Ｒ，２８Ｇ，２８Ｂでの遅延時間は同一とされる。
ＤＢＣ＝ＤＢ＋ｅ（ＤＢ−ＤＲ）＋ｆ（ＤＢ−Ｄｂ） ・・・式（１２）
【００２１】
このように、三原色撮像データＤＲ，ＤＧ，ＤＢから三原色補間データＤｒ，Ｄｇ，Ｄｂを得て、この三原色補間データＤｒ，Ｄｇ，Ｄｂと赤色撮像データＤＲ、青色撮像データＤＢおよび同位相とされた緑色撮像データＤＧから三原色補正データＪＲ，ＪＧ，ＪＢを得るものとし、次に緑色補正データＪＧを所定のタイミングで緑色撮像データＤＧに加算すると共に、赤色補正データＪＲおよび青色補正データＪＢを１８０゜の位相差分だけ遅延させてから所定のタイミングで赤色撮像データＤＲおよび青色撮像データＤＢに加算することにより、正しいタイミングでリニアマトリクス処理が行われる。このようにして、得られた三原色補正撮像データＤＲＣ，ＤＧＣ，ＤＢＣは、それぞれアップコンバータ４０Ｒ，４０Ｇ，４０Ｂに供給される。
【００２２】
アップコンバータ４０Ｒでは、赤色補正撮像データＤＲＣがＡ／Ｄコンバータ１３Ｒでのサンプリング周波数ｆｓよりも充分高い周波数ｆｓ′に変換（アップコンバート）されて加算器５０Ｒに供給される。同様にアップコンバータ４０Ｇでは、緑色補正撮像データＤＧＣが周波数ｆｓ′に変換されて加算器５０Ｇに供給されると共に、アップコンバータ４０Ｂでは、青色補正撮像データＤＢＣが周波数ｆｓ′に変換されて加算器５０Ｂに供給される。
【００２３】
一方、イメージエンハンサ３０では、赤色撮像データＤＲと緑色撮像データＤＧに基づき、画像の輪郭部を強調するための輪郭強調信号Ｄａ、Ｄｃが生成される。この輪郭強調信号Ｄａによって高域側が強調されると共に、輪郭強調信号Ｄｃによって低域側が強調されて画像の輪郭部が強調される。
【００２４】
輪郭強調信号Ｄｃは、加算器５０Ｒ，５０Ｇ，５０Ｂでアップコンバートされた三原色補正撮像データＤＲＣ，ＤＧＣ，ＤＢＣに加算される。
【００２５】
加算器５０Ｒ，５０Ｇ，５０Ｂからの出力データは、γ・ニー補正回路５５Ｒ，５５Ｇ，５５Ｂで、ガンマ補正やニー補正が行われる。さらに補正後のデータには、加算器６０Ｒ，６０Ｇ，６０Ｂでイメージエンハンサ３０からの輪郭強調信号Ｄａが加算される。
【００２６】
この輪郭強調信号Ｄａが加算された出力データがＹ・Ｃマトリックス６５に供給されて、輝度データＹおよび色差データＣｒ，Ｃｂが生成される。この輝度データＹおよび色差データＣｒ，ＣｂがＤ／Ａコンバータ７０Ｙ、７０Ｃｒ，７０Ｃｂによってアナログ信号に変換されて、アップコンバートしたままの状態の輝度信号ＳＹおよび色差信号ＳＣｒ，ＳＣｂが出力される。またレートコンバータ７５によって、輝度データＹおよび色差データＣｒ，Ｃｂがサンプリング周波数ｆｓを使用して元のサンプリングレートにダウンコンバートされる。
【００２７】
【発明が解決しようとする課題】
ところで、三原色撮像データＤＲ，ＤＧ，ＤＢの色信号処理を周波数領域で示すと、緑色撮像データＤＧは図１２Ａに示すような周波数成分とされると共に、赤および青色撮像データＤＲ，ＤＢは図１２Ｂに示すような周波数成分とされる。
【００２８】
ここで、補間フィルタ２１Ｒ，２１Ｇ，２１Ｂの周波数特性が図１２Ｃに示す特性を有するものとすると、補間フィルタから得られる緑色補間データＤｇは図１２Ｄとされると共に、赤色補間データＤｒおよび青色補間データＤｂは図１２Ｅとされる。このため、ベースバンドについて例えば「ＤＧーＤｒ」の演算を行うと、サンプリング周波数ｆSまでの演算結果を示す図１２Ｆの斜線で示す領域が誤差とされるので、精度良く色補正を行なうことができない。
【００２９】
このように、補間フィルタ２１Ｒ，２１Ｇ，２１Ｂを設けて三原色補間データＤｒ，Ｄｇ，Ｄｂを生成しなければならないと共に、式（４）〜（９）の減算処理に対してそれぞれ減算器が必要とされるの構成が煩雑となる。また、誤差を少ないものとするためには特性の劣化の少ない補間フィルタを用いる必要があり回路規模が増大してしまう。
【００３０】
さらに、視覚上、輝度に対して色の分解能が低いため、低域フィルタ２６Ｒ，２６Ｇ，２６Ｂで色補正信号の帯域を狭くする場合には、前段にフィルタがないことから低域フィルタ２６Ｒ，２６Ｇ，２６Ｂの回路規模が増大してしまう。
【００３１】
そこで、この発明では精度良く色補正を行うことができると共に、構成が簡単で回路規模の小さい固体撮像装置を提供するものである。
【００３２】
【課題を解決するための手段】
この発明に係る固体撮像装置は、第１，第２および第３の色撮影信号を第１のサンプリング周波数でディジタル化した第１，第２および第３の色撮影データを、第１のサンプリング周波数の２n倍（ｎは正の整数）の第２のサンプリング周波数でアップコンバートするアップコンバート手段と、アップコンバート手段で得られた第１，第２および第３の色データの位相を合わせて各色補正データを生成する演算処理手段と、演算処理手段で生成された各色補正データを第１，第２および第３の対応する色データに加算する加算手段とを有するものである。
【００３３】
この発明においては、第１のサンプリング周波数でディジタル化した第１，第２および第３の色撮影データがアップコンバート手段で第２のサンプリング周波数でアップコンバートされる。このアップコンバート手段で得られた色データの位相が合わせられて演算処理が行われ、得られた演算データとこの演算データの符号反転データを用いて、更に演算処理が行われて各色補正データが生成されて、この各色補正データと各色データが加算されて色補正が行われる。また低域フィルタによって各色補正データが帯域制限されてから各色データに加算される。
【００３４】
【発明の実施の形態】
続いてこの発明に係る固体撮像装置の実施の一形態について図を参照して詳細に説明する。
【００３５】
図１は固体撮像装置であるディジタルビデオカメラの構成を示している。この図１において被写体１１からの撮像光は従来と同様に色分解系（図示せず）により赤色光（Ｒ）成分，緑色光（Ｇ）成分，青色光（Ｂ）成分の三原色光成分に分解されてカラー撮像部、例えばＣＣＤイメージセンサ１２Ｒ，１２Ｇ，１２Ｂで撮像される。
【００３６】
このＣＣＤイメージセンサ１２Ｒ，１２Ｇ，１２Ｂで得られた三原色撮像信号ＳＲ，ＳＧ，ＳＢは、Ａ／Ｄコンバータ１３Ｒ，１３Ｇ，１３Ｂで第１のサンプリング周波数ｆS、例えば１８ＭＨｚのサンプリング周波数でディジタルの三原色撮像データＤＲ，ＤＧ，ＤＢとされてプリプロセッサ１４に供給される。
【００３７】
プリプロセッサ１４では、画素の欠陥補正やシーディング補正が行われる。補正された三原色撮像データＤＲ，ＤＧ，ＤＢはアップコンバータ８０Ｒ，８０Ｇ，８０Ｂに供給される。また補正された赤色撮像データＤＲおよび緑色撮像データＤＧはイメージエンハンサ３０に供給される。
【００３８】
アップコンバータ８０Ｒ，８０Ｇ，８０Ｂでは、サンプリング周波数ｆSのサンプリングによって得られた三原色撮像データＤＲ，ＤＧ，ＤＢがサンプリング周波数ｆSの２n倍（ｎは正の整数）の第２のサンプリング周波数でアップコンバートされる。
【００３９】
ここで、図２にサンプリング周波数ｆSの赤色撮像データＤＲを２倍のサンプリング周波数２ｆS（３６ＭＨｚ）の赤色撮像データＤＲＵにアップコンバートするアップコンバータ８０Ｒの構成を簡略化して示す。なお、アップコンバータ８０Ｇ，８０Ｂもアップコンバータ８０Ｒと同様に構成される。
【００４０】
アップコンバータ８０Ｒはゼロ挿入スイッチ８２Ｒとディジタルの帯域制限フィルタ８４Ｒ等から構成される。このゼロ挿入スイッチ８２Ｒはアップコンバート用サンプリング周波数２ｆsで切り換えられて、端子８１Ｒに供給される赤色撮像データＤＲとゼロ信号が交互に選択される。ゼロ挿入スイッチ８２Ｒで選択されたデータは、レジスタ８３Ｒでラッチされたのち帯域制限フィルタ８４Ｒに供給される。
【００４１】
帯域制限フィルタ８４Ｒは、例えば（１，２，１）型フィルタで構成される。この帯域制限フィルタ８４Ｒは、繰り返し周期１／ｆSを遅延時間とする縦続接続された一対の遅延素子８５Ｒ，８６Ｒを有し、その入出力段と段間から得られる信号が乗算器８７Ｒ，８８Ｒ，８９Ｒに供給されて図に示すように係数（１，２，１）で乗算される。
【００４２】
乗算出力は加算器９０Ｒで加算されたのち、レベル減衰器９１Ｒに供給されて、出力レベルが１／２とされる。この結果、赤色撮像データＤＲが２倍のサンプリング周波数２ｆSの赤色撮像データＤＲＵにアップコンバートされる。
【００４３】
アップコンバータ８０Ｇ，８０Ｂもアップコンバータ８０Ｒと同様に構成されており、緑色撮像データＤＧおよび青色撮像データＤＢが周波数２ｆｓにアップコンバートとされて緑色撮像データＤＧＵおよび青色撮像データＤＢＵとして出力される。
【００４４】
このようにして得られた三原色撮像データＤＲＵ，ＤＧＵ，ＤＢＵは色補正回路１００に供給される。
【００４５】
次に、図３に色補正回路１００の構成を示す。なお、図３においてレジスタ１０４、減算器１０１〜１０３、乗算器１０５ａ〜ｆ，１０６，１０７，１０８および加算器１０９Ｒ〜Ｂで演算処理手段が構成され、遅延部１１２Ｒ〜Ｂおよび加算器１１３Ｒ〜Ｂで加算手段が構成される。
【００４６】
赤色撮像データＤＲＵは、減算器１０１，１０２および遅延部１１２Ｒに供給される。緑色撮像データＤＧＵは、レジスタ１０４を介して減算器１０１，１０３および遅延部１１２Ｇに供給され、青色撮像データＤＢＵは、減算器１０２，１０３および遅延部１１２Ｂに供給される。ここで三原色撮像データＤＲＵ，ＤＧＵ，ＤＢＵが２倍にアップコンバートされた信号であることから、緑色撮像データＤＧＵがレジスタ１０４で１クロック遅延されることにより、緑色撮像データＤＧＵと赤色撮像データＤＲＵおよび青色撮像データＤＢＵが同位相とされる。
【００４７】
減算器１０１では赤色撮像データＤＲＵから同位相である緑色撮像データＤＧＵが減算される。この減算器１０１の演算結果が乗算器１０５ａに供給されて係数「ａ」が乗算される。すなわち、式（１３）の演算が行われる。また減算器１０１の演算結果が乗算器１０６に供給されて係数「−１」が乗算されると共にこの乗算結果が乗算器１０５ｃに供給されて、係数「ｃ」が乗算される。すなわち、式（１５）の演算が行われる。
【００４８】
同様に、減算器１０２で赤色撮像データＤＲＵから青色撮像データＤＢＵが減算されて、演算結果が乗算器１０５ｂに供給されて係数「ｂ」が乗算される。すなわち、式（１４）の演算が行われる。また減算器１０２の演算結果が乗算器１０７に供給されて係数「−１」が乗算されると共にこの乗算結果が乗算器１０５ｅに供給されて、係数「ｅ」が乗算される。すなわち、式（１７）の演算が行われる。
【００４９】
また、減算器１０３では、青色撮像データＤＢＵと同位相である緑色撮像データＤＲＵから青色撮像データＤＢＵが減算されて、演算結果が乗算器１０５ｄに供給されて係数「ｄ」が乗算される。すなわち、式（１６）の演算が行われる。また減算器１０３の演算結果が乗算器１０８に供給されて係数「−１」が乗算されると共にこの乗算結果が乗算器１０５ｆに供給されて、係数「ｆ」が乗算される。すなわち、式（１８）の演算が行われる。
ａ（ＤＲＵ−ＤＧＵ） ・・・式（１３）
ｂ（ＤＲＵ−ＤＢＵ） ・・・式（１４）
ｃ（ＤＧＵ−ＤＲＵ） ・・・式（１５）
ｄ（ＤＧＵ−ＤＢＵ） ・・・式（１６）
ｅ（ＤＢＵ−ＤＲＵ） ・・・式（１７）
ｆ（ＤＢＵ−ＤＧＵ） ・・・式（１８）
【００５０】
加算器１０９Ｒでは、乗算器１０５ａの乗算結果と乗算器１０５ｂの乗算結果が加算される。この加算結果は赤色補正データＫＲとして低域フィルタ１１０Ｒを介してレジスタ１１１Ｒに供給される。このレジスタ２７Ｒでは赤色補正データＫＲが１クロック遅延されて、後述する緑色補正データＪＧに対して所定の位相差、すなわち緑色撮像データＤＧＵに対する赤色撮像データＤＲＵの位相差と等しい位相差となるように遅延される。この遅延された赤色補正データＫＲは加算器１１３Ｒに供給される。加算器１１３Ｒには、遅延部１１２Ｒで上述の演算処理に要する時間だけ遅延された赤色撮像データＤＲＵが供給されており、赤色撮像データＤＲＵと赤色補正データＫＲが加算されて、赤色補正撮像データＤＲＵＣとして出力される。すなわち、赤色補正撮像データＤＲＵＣは式（１９）に示す演算処理の結果を示すものとされる。
【００５１】
加算器１１３Ｇでは、乗算器１０５ｃの乗算結果と乗算器１０５ｄの乗算結果が加算される。この加算結果である緑色補正データＫＧは低域フィルタ１１０Ｇを介して加算器１１３Ｇに供給される。加算器１１３Ｇには遅延部１１２Ｇで遅延された緑色撮像データＤＧＵが供給されており、緑色撮像データＤＧＵと緑色補正データＫＧが加算されて緑色補正撮像データＤＧＵＣとして出力される。すなわち緑色補正撮像データＤＧＵＣは式（２０）に示す演算結果を示すものとされる。
【００５２】
加算器１０９Ｂでは、乗算器１０５ｅの乗算結果と乗算器１０５ｆの乗算結果が加算される。この加算結果である青色補正データＫＢは低域フィルタ１１０Ｂを介して加算器１１３Ｂに供給される。加算器１１３Ｂには、遅延部１１２Ｂで遅延された青色撮像データＤＢＵが供給されており、青色撮像データＤＢＵと遅延された青色補正データＫＢが加算されて、青色補正撮像データＤＢＵＣとして出力される。すなわち、青色補正撮像データＤＢＵＣは式（２１）に示す演算処理の結果を示すものとされる。なお、遅延部１１２Ｒ，１１２Ｇ，１１２Ｂでの遅延時間は同一とされる。
【００５３】
このように、アップコンバータ８０Ｒ，８０Ｇ，８０Ｂからの三原色撮像データＤＲＵ，ＤＧＵ，ＤＢＵと赤色撮像データＤＲＵおよび青色撮像データＤＢＵと同位相とされた緑色撮像データＤＧＵから三原色補正データＫＲ，ＫＧ，ＫＢを得るものとし、次に緑色補正データＫＧを所定のタイミングで緑色撮像データＤＧＵに加算すると共に、赤色補正データＫＲおよび青色補正データＫＢを所定の位相差分だけ遅延させてから所定のタイミングで赤色撮像データＤＲＵおよび青色撮像データＤＢＵに加算することにより、正しいタイミングでリニアマトリクス処理が行われる。このため、補間フィルタを設けて補間データを得る必要がなく色補正回路１００の構成を簡単とすることができる。
【００５４】
この色補正回路１００で得られた三原色補正撮像データＤＲＵＣ，ＤＧＵＣ，ＤＢＵＣは、それぞれ加算器５０Ｒ，５０Ｇ，５０Ｂに供給される。
【００５５】
一方、イメージエンハンサ３０では、赤色撮像データＤＲと緑色撮像データＤＧに基づき、画像の輪郭部を強調するための輪郭強調信号Ｄａ、Ｄｃが生成される。この輪郭強調信号Ｄａによって高域側が強調されると共に、輪郭強調信号Ｄｃによって低域側が強調されて画像の輪郭部が強調される。
【００５６】
輪郭強調信号Ｄｃは、加算器５０Ｒ，５０Ｇ，５０Ｂで三原色補正撮像データＤＲＵＣ，ＤＧＵＣ，ＤＢＵＣに加算される。
【００５７】
加算器５０Ｒ，５０Ｇ，５０Ｂからの出力データは、γ・ニー補正回路５５Ｒ，５５Ｇ，５５Ｂで、ガンマ補正やニー補正が行われる。さらに補正後のデータには、加算器６０Ｒ，６０Ｇ，６０Ｂでイメージエンハンサ３０からの輪郭強調信号Ｄａが加算される。
【００５８】
この輪郭強調信号Ｄａが加算された出力データがＹ・Ｃマトリックス６５に供給されて、輝度データＹおよび色差データＣｒ，Ｃｂが生成される。この輝度データＹおよび色差データＣｒ，ＣｂがＤ／Ａコンバータ７０Ｙ、７０Ｃｒ，７０Ｃｂによってアナログ信号に変換されて、アップコンバートしたままの状態の輝度信号ＳＹおよび色差信号ＳＣｒ，ＳＣｂが出力される。またレートコンバータ７５によって、輝度データＹおよび色差データＣｒ，Ｃｂがサンプリング周波数ｆｓを使用して元のサンプリングレートにダウンコンバートされる。
【００５９】
次に図４を使用して動作について説明する。三原色撮像データＤＲ，ＤＧ，ＤＢの色信号処理を周波数領域で示すと、緑色撮像データＤＧは図４Ａに示すような周波数成分とされると共に、赤および青色撮像データＤＲ，ＤＢは図４Ｂに示すような周波数成分とされる。なお、アップコンバートによって「０」が挿入されても三原色撮像データＤＲ，ＤＧ，ＤＢの周波数特性は変わらない。
【００６０】
ここで、帯域制限フィルタ８４Ｒ，８４Ｇ，８４Ｂの周波数特性が図４Ｃに示す特性を有するものとすると、アップコンバータ８０Ｇから出力される緑色撮像データＤＧＵは、図４Ｄに示す周波数特性を有するものとされると共に、アップコンバータ８０Ｒ，８０Ｂから出力される赤色撮像データＤＲＵおよび青色撮像データＤＢＵは、図４Ｅに示す周波数特性を有するものとされる。
【００６１】
また、緑色撮像データＤＧＵを１クロック遅延させても周波数特性は変化しないことから、例えば赤色撮像データＤＲＵと１クロック遅延された緑色撮像データＤＧＵを用いて「ＤＧＵ−ＤＲＵ」の演算を行うとベースバンド成分は「０」となり誤差を生ずることがない。またエリアシング成分は、アップコンバータ８０Ｒ，８０Ｇ，８０Ｂの帯域制限フィルタ８４Ｒ，８４Ｇ，８４Ｂで実用上問題ないレベルに減衰されるので、エリアシング成分の影響が問題ないレベルとされる。
【００６２】
また、三原色補正データＫＲ，ＫＧ，ＫＢに対しては、アップコンバータ８０Ｒ，８０Ｇ，８０Ｂ側の帯域制限フィルタ８４Ｒ，８４Ｇ，８４Ｂと低域フィルタ１１０Ｒ，１１０Ｇ，１１０Ｂとの総合特性とされる。例えば、アップコンバータ８０Ｒが図５に示す特性を有し、低域フィルタ１１０Ｒが図６に示す特性を有する場合には、フィルタ総合特性は図７に示すものとされる。なお、アップコンバータ８０Ｇ，８０Ｂｂのフィルタ特性はアップコンバータ８０Ｒと同等であり、低域フィルタ１１０Ｇ，１１０Ｂのフィルタ特性は低域フィルタ１１０Ｒと同等である。
【００６３】
このように、上述の実施の形態によれば、補間フィルタを設けて補間データを得る必要がないので色補正回路１００の構成を簡単とすることができる。また補間データを用いることなくリニアマトリクス処理が行われるので、誤差が少なく精度の良い色補正を行うことができる。さらにアップコンバータと色補正回路の低域フィルタで所望のフィルタ特性を得るものであるため、アップコンバータが色補正回路の後段に設けられた場合に、色補正回路の低域フィルタで所望のフィルタ特性を得る場合よりも、低域フィルタの回路規模を小さくすることができる。
【００６４】
【発明の効果】
この発明によれば、第１のサンプリング周波数でディジタル化した第１，第２および第３の色撮影データがアップコンバート手段で第２のサンプリング周波数でアップコンバートされる。このアップコンバート手段で得られた色データの位相が合わせられて演算処理が行われ、得られた演算データとこの演算データの符号反転データを用いて更に演算処理が行われて各色補正データが生成されて、この各色補正データと各色データが加算されて色補正が行われる。
【００６５】
このため、補間フィルタ等を設けて補間データを得る必要がないので信号処理回路の構成を簡単とすることができる。また補間データを用いることなくリニアマトリクス処理による色補正が行われるので、誤差が少なく精度の良い色補正を行うことができる。
【００６６】
また、低域フィルタによって各色補正データを帯域制限して各色データに加算するときに、アップコンバート手段で各色データが帯域制限されるので、低域フィルタの回路規模を小さなものとしても十分なフィルタ特性を得ることができる。
【図面の簡単な説明】
【図１】この発明に係る固体撮像装置の実施の一形態の構成を示す図である。
【図２】アップコンバータ８０Ｒの構成を示す図である。
【図３】色補正回路１００の構成を示す図である。
【図４】信号処理動作での周波数成分を示す図である。
【図５】アップコンバータ８０Ｒのフィルタ特性を示す図である。
【図６】低域フィルタ１１０Ｒのフィルタ特性を示す図である。
【図７】フィルタ総合特性を示す図である。
【図８】従来の構成を示す図である。
【図９】空間画素ずらし法を説明するための図である。
【図１０】撮像信号のサンプリング点を示す図である。
【図１１】色補正回路２０の構成を示す図である。
【図１２】従来の信号処理動作での周波数成分を示す図である。
【符号の説明】
１２Ｒ，１２Ｇ，１２Ｂ・・・ＣＣＤイメージセンサ、１３Ｒ，１３Ｇ，１３Ｂ・・・Ａ／Ｄコンバータ、２０，１００・・・色補正回路、２１Ｒ〜Ｂ・・・補間フィルタ、２２Ｇｃ，２２Ｇｄ，２７Ｒ，２７Ｂ，１０４Ｇｃ，１０４Ｇｄ，１１１Ｒ，１１１Ｂ・・・レジズタ、２３ａ〜ｆ，１０１，１０２，１０３・・・減算器、２４ａ〜ｆ，１０５ａ〜ｆ，１０６，１０７，１０８・・・乗算器、２５Ｒ〜Ｂ，２９Ｒ〜Ｂ，１０９Ｒ〜Ｂ，１１３Ｒ〜Ｂ・・・加算器、２６Ｒ〜Ｂ，１１０Ｒ〜Ｂ・・・低域フィルタ、２８Ｒ〜Ｂ，１１２Ｒ〜Ｂ・・・遅延部、８０Ｒ，８０Ｇ，８０Ｂ・・・アップコンバータ
【発明の属する技術分野】
この発明は空間画素ずらし法を採用した固体撮像装置に関する。詳しくは、第１のサンプリング周波数でディジタル化した第１，第２および第３の色撮影データをアップコンバート手段で第２のサンプリング周波数でアップコンバートし、得られた色データの位相を合わせて演算処理を行い、得られた演算データとこの演算データの符号反転データを用いて更に演算処理を実施して各色補正データを生成し、この各色補正データと各色データをタイミングを合わせて加算することにより色補正を簡単な構成で精度良く行うものである。
【０００２】
【従来の技術】
従来、信号をディジタル化して処理する固体撮像装置においては、ＣＣＤイメージセンサなどから得られるアナログ撮像信号を一旦ディジタル化し、ディジタル化された撮像信号に対して、ガンマ補正、ニー補正、ホワイトブラッククリップ、輪郭補正、ホワイトバランス調整、色相調整、ディテールクリスプニング、レベルディペンドなどの各種非線形信号処理を施している。
【０００３】
ところで、アナログ撮像信号をディジタル化すると、出力波形に歪みを生じて撮像信号に含まれる周波数成分の整数倍の成分が発生する。このため、ディジタル処理する場合には、サンプリング定理によりサンプリング周波数ｆｓの半分の周波数ｆｓ／２までの信号しか再現できない。
【０００４】
ここで、ｆｓ／２を越える周波数成分は、ｆｓ／２を中心にして折り返り、０〜ｆｓ／２の周波数成分に混入されてしまう。この撮像信号の基本波成分側に折り返された成分は偽信号（エリアシング）となり、再生画質を劣化させる原因となる。そこで基本波成分側に折り返さないように最近ではサンプリング周波数のアップコンバート処理が行われる。
【０００５】
図８はこのようなアップコンバート処理を行って所定の映像信号を得るようにした固体撮像装置、例えばディジタルビデオカメラの従来の構成を示す。
【０００６】
被写体１１からの撮像光は色分解系（図示せず）により赤色光（Ｒ）成分，緑色光（Ｇ）成分，青色光（Ｂ）成分の三原色光成分に分解されてカラー撮像部、例えばＣＣＤイメージセンサ１２Ｒ，１２Ｇ，１２Ｂで撮像される。
【０００７】
このＣＣＤイメージセンサ１２Ｒ，１２Ｇ，１２Ｂで得られた三原色撮像信号ＳＲ，ＳＧ，ＳＢは、Ａ／Ｄコンバータ１３Ｒ，１３Ｇ，１３Ｂでディジタルの三原色撮像データＤＲ，ＤＧ，ＤＢとされてプリプロセッサ１４に供給される。
【０００８】
プリプロセッサ１４では、画素の欠陥補正やシーディング補正が行われる。補正された三原色撮像データＤＲ，ＤＧ，ＤＢは色補正回路２０に供給される。また補正された三原色撮像データＤＲ，ＤＧはイメージエンハンサ３０に供給される。
【０００９】
色補正回路２０では、リニアマトリクス処理が行なわれる。このリニアマトリクス処理では、例えば三原色撮像入力信号ＲI，ＧI，ＢIが式（１）〜（３）に示す演算処理によって撮像画像の色再現性を補正した三原色撮像出力信号ＲO，ＧO，ＢOとされる。
ＲO＝ＲI＋ａ（ＲI−ＧI）＋ｂ（ＲI−ＢI） ・・・式（１）
ＧO＝ＧI＋ｃ（ＧI−ＲI）＋ｄ（ＧI−ＢI） ・・・式（２）
ＢO＝ＢI＋ｅ（ＢI−ＲI）＋ｆ（ＢI−ＧI） ・・・式（３）
なお、ａ〜ｆは係数である。
【００１０】
ところで、ＣＣＤイメージセンサを用いたカラービデオカメラでは、空間画素ずらし法を用いて解像度を向上させることが行われる。この場合、図９に示すように例えばＧ信号を得るＣＣＤイメージセンサ１２Ｇに対し、Ｒ信号およびＢ信号を得るＣＣＤイメージセンサ１２Ｒ，１２Ｂを、水平方向に対して１／２画素ピッチＰ／２だけ相対的にずらして同一被写体像が撮像される。この空間画素ずらし法では、図１０に示すように緑色撮像信号のサンプリング点に対して、赤色撮像信号および青色撮像信号のサンプリング点が１８０°だけ位相差を有するものとされる。
【００１１】
そこで、図１１に示す色補正回路によって、三原色撮像データＤＲ，ＤＧ，ＤＢから、赤色撮像データＤＲおよび青色撮像データＤＢと同位相である緑色補間データＤｇを生成すると共に、緑色撮像データＤＧと同位相である赤色補間データＤｒおよび青色補間データＤｂを生成して、この三原色撮像データＤＲ，ＤＧ，ＤＢと三原色補間データＤｒ，Ｄｇ，Ｄｂを用いて、色補正された三原色補正撮像データＤＲＣ，ＤＧＣ，ＤＢＣが生成される。
【００１２】
図１１において、赤色撮像データＤＲは、補間フィルタ２１Ｒと減算器２３ａ，２３ｂ，２３ｅおよび遅延部２８Ｒに供給される。緑色撮像データＤＧは、補間フィルタ２１Ｇとレジスタ２２Ｇｃ，２２Ｇｄおよび遅延部２８Ｇに供給される。また、青色撮像データＤＢは、補間フィルタ２１Ｂと減算器２３ｂ，２３ｅ，２３ｆおよび遅延部２８Ｂに供給される。
【００１３】
補間フィルタ２１Ｒでは赤色撮像データＤＲから赤色補間データＤｒが生成される。また補間フィルタ２１Ｇでは緑色撮像データＤＧから緑色補間データＤｇが生成されて、補間フィルタ２１Ｂでは青色撮像データＤＢから青色補間データＤｂが生成される。
【００１４】
減算器２３ａでは赤色撮像データＤＲから緑色補間データＤｇが減算される。この減算器２３ａの演算結果が乗算器２４ａに供給されて、係数「ａ」が乗算される。すなわち、式（４）の演算が行われる。
ａ（ＤＲ−Ｄｇ） ・・・式（４）
【００１５】
減算器２３ｂでは赤色撮像データＤＲから青色撮像データＤＢが減算される。この減算器２３ｂの演算結果が乗算器２４ｂに供給されて、係数「ｂ」が乗算される。すなわち、式（５）の演算が行われる。
ｂ（ＤＲ−ＤＢ） ・・・式（５）
【００１６】
レジスタ２２Ｇｃ，２２Ｇｄでは、緑色撮像データＤＧが補間フィルタ２１Ｒ，２１Ｇ，２１Ｂの群遅延分だけ遅延されて、赤色撮像データＤＲおよび青色撮像データＤＢと同位相とされて減算器２３ｃ，２３ｄに供給される。
【００１７】
減算器２３ｃではレジスタ２２Ｇｃからの遅延された緑色撮像データＤＧから赤色補間データＤｒが減算される。この減算器２３ｃの演算結果が乗算器２４ｃに供給されて、係数「ｃ」が乗算される。すなわち、式（６）の演算が行われる。以下同様に減算器２３ｄ〜２３ｆの演算結果に対して乗算器２４ｄ〜２４ｆで係数「ｄ」〜「ｆ」が乗算されて、式（７）〜（９）の演算が行われる。
ｃ（ＤＧ−Ｄｒ） ・・・式（６）
ｄ（ＤＧ−Ｄｂ） ・・・式（７）
ｅ（ＤＢ−ＤＲ） ・・・式（８）
ｆ（ＤＢ−Ｄｇ） ・・・式（９）
【００１８】
加算器２５Ｒでは、乗算器２４ａの乗算結果と乗算器２４ｂの乗算結果が加算される。この加算結果である赤色補正データＪＲは低域フィルタ２６Ｒを介してレジスタ２７Ｒに供給される。このレジスタ２７Ｒでは赤色補正データＪＲが補間フィルタの群遅延分だけ遅延されて、後述する緑色補正データＪＧに対して１８０゜の位相差を有するものとされる。この遅延された赤色補正データＪＲは加算器２９Ｒに供給される。加算器２９Ｒには、遅延部２８Ｒで上述の演算処理に要する時間だけ遅延された赤色撮像データＤＲが供給されており、赤色撮像データＤＲと遅延された赤色補正データＪＲが加算されて、赤色補正撮像データＤＲＣとして出力される。すなわち、赤色補正撮像データＤＲＣは式（１０）に示す演算処理の結果を示すものとされる。
ＤＲＣ＝ＤＲ＋ａ（ＤＲ−Ｄｇ）＋ｂ（ＤＲ−ＤＢ） ・・・式（１０）
【００１９】
加算器２５Ｇでは、乗算器２４ｃの乗算結果と乗算器２４ｄの乗算結果が加算される。この加算結果である緑色補正データＪＧは低域フィルタ２６Ｇを介して加算器２９Ｇに供給される。加算器２９Ｇには、遅延部２８Ｇで遅延された緑色撮像データＤＧが供給されており、緑色撮像データＤＧと緑色補正データＪＧが加算されて、緑色補正撮像データＤＧＣとして出力される。すなわち、緑色補正撮像データＤＧＣは式（１１）に示す演算処理の結果を示すものとされる。
ＤＧＣ＝ＤＧ＋ｃ（ＤＧ−Ｄｒ）＋ｄ（ＤＧ−Ｄｂ） ・・・式（１１）
【００２０】
加算器２５Ｂでは、乗算器２４ｅの乗算結果と乗算器２４ｆの乗算結果が加算される。この加算結果である青色補正データＪＢは低域フィルタ２６Ｂを介してレジスタ２７Ｂに供給されて、赤色補正データＪＲと同様に遅延されて加算器２９Ｂに供給される。加算器２９Ｂには、遅延部２８Ｂで遅延された青色撮像データＤＢが供給されており、青色撮像データＤＢと遅延された青色補正データＪＢが加算されて、青色補正撮像データＤＢＣとして出力される。すなわち、青色補正撮像データＤＢＣは式（１２）に示す演算処理の結果を示すものとされる。なお、遅延部２８Ｒ，２８Ｇ，２８Ｂでの遅延時間は同一とされる。
ＤＢＣ＝ＤＢ＋ｅ（ＤＢ−ＤＲ）＋ｆ（ＤＢ−Ｄｂ） ・・・式（１２）
【００２１】
このように、三原色撮像データＤＲ，ＤＧ，ＤＢから三原色補間データＤｒ，Ｄｇ，Ｄｂを得て、この三原色補間データＤｒ，Ｄｇ，Ｄｂと赤色撮像データＤＲ、青色撮像データＤＢおよび同位相とされた緑色撮像データＤＧから三原色補正データＪＲ，ＪＧ，ＪＢを得るものとし、次に緑色補正データＪＧを所定のタイミングで緑色撮像データＤＧに加算すると共に、赤色補正データＪＲおよび青色補正データＪＢを１８０゜の位相差分だけ遅延させてから所定のタイミングで赤色撮像データＤＲおよび青色撮像データＤＢに加算することにより、正しいタイミングでリニアマトリクス処理が行われる。このようにして、得られた三原色補正撮像データＤＲＣ，ＤＧＣ，ＤＢＣは、それぞれアップコンバータ４０Ｒ，４０Ｇ，４０Ｂに供給される。
【００２２】
アップコンバータ４０Ｒでは、赤色補正撮像データＤＲＣがＡ／Ｄコンバータ１３Ｒでのサンプリング周波数ｆｓよりも充分高い周波数ｆｓ′に変換（アップコンバート）されて加算器５０Ｒに供給される。同様にアップコンバータ４０Ｇでは、緑色補正撮像データＤＧＣが周波数ｆｓ′に変換されて加算器５０Ｇに供給されると共に、アップコンバータ４０Ｂでは、青色補正撮像データＤＢＣが周波数ｆｓ′に変換されて加算器５０Ｂに供給される。
【００２３】
一方、イメージエンハンサ３０では、赤色撮像データＤＲと緑色撮像データＤＧに基づき、画像の輪郭部を強調するための輪郭強調信号Ｄａ、Ｄｃが生成される。この輪郭強調信号Ｄａによって高域側が強調されると共に、輪郭強調信号Ｄｃによって低域側が強調されて画像の輪郭部が強調される。
【００２４】
輪郭強調信号Ｄｃは、加算器５０Ｒ，５０Ｇ，５０Ｂでアップコンバートされた三原色補正撮像データＤＲＣ，ＤＧＣ，ＤＢＣに加算される。
【００２５】
加算器５０Ｒ，５０Ｇ，５０Ｂからの出力データは、γ・ニー補正回路５５Ｒ，５５Ｇ，５５Ｂで、ガンマ補正やニー補正が行われる。さらに補正後のデータには、加算器６０Ｒ，６０Ｇ，６０Ｂでイメージエンハンサ３０からの輪郭強調信号Ｄａが加算される。
【００２６】
この輪郭強調信号Ｄａが加算された出力データがＹ・Ｃマトリックス６５に供給されて、輝度データＹおよび色差データＣｒ，Ｃｂが生成される。この輝度データＹおよび色差データＣｒ，ＣｂがＤ／Ａコンバータ７０Ｙ、７０Ｃｒ，７０Ｃｂによってアナログ信号に変換されて、アップコンバートしたままの状態の輝度信号ＳＹおよび色差信号ＳＣｒ，ＳＣｂが出力される。またレートコンバータ７５によって、輝度データＹおよび色差データＣｒ，Ｃｂがサンプリング周波数ｆｓを使用して元のサンプリングレートにダウンコンバートされる。
【００２７】
【発明が解決しようとする課題】
ところで、三原色撮像データＤＲ，ＤＧ，ＤＢの色信号処理を周波数領域で示すと、緑色撮像データＤＧは図１２Ａに示すような周波数成分とされると共に、赤および青色撮像データＤＲ，ＤＢは図１２Ｂに示すような周波数成分とされる。
【００２８】
ここで、補間フィルタ２１Ｒ，２１Ｇ，２１Ｂの周波数特性が図１２Ｃに示す特性を有するものとすると、補間フィルタから得られる緑色補間データＤｇは図１２Ｄとされると共に、赤色補間データＤｒおよび青色補間データＤｂは図１２Ｅとされる。このため、ベースバンドについて例えば「ＤＧーＤｒ」の演算を行うと、サンプリング周波数ｆSまでの演算結果を示す図１２Ｆの斜線で示す領域が誤差とされるので、精度良く色補正を行なうことができない。
【００２９】
このように、補間フィルタ２１Ｒ，２１Ｇ，２１Ｂを設けて三原色補間データＤｒ，Ｄｇ，Ｄｂを生成しなければならないと共に、式（４）〜（９）の減算処理に対してそれぞれ減算器が必要とされるの構成が煩雑となる。また、誤差を少ないものとするためには特性の劣化の少ない補間フィルタを用いる必要があり回路規模が増大してしまう。
【００３０】
さらに、視覚上、輝度に対して色の分解能が低いため、低域フィルタ２６Ｒ，２６Ｇ，２６Ｂで色補正信号の帯域を狭くする場合には、前段にフィルタがないことから低域フィルタ２６Ｒ，２６Ｇ，２６Ｂの回路規模が増大してしまう。
【００３１】
そこで、この発明では精度良く色補正を行うことができると共に、構成が簡単で回路規模の小さい固体撮像装置を提供するものである。
【００３２】
【課題を解決するための手段】
この発明に係る固体撮像装置は、第１，第２および第３の色撮影信号を第１のサンプリング周波数でディジタル化した第１，第２および第３の色撮影データを、第１のサンプリング周波数の２n倍（ｎは正の整数）の第２のサンプリング周波数でアップコンバートするアップコンバート手段と、アップコンバート手段で得られた第１，第２および第３の色データの位相を合わせて各色補正データを生成する演算処理手段と、演算処理手段で生成された各色補正データを第１，第２および第３の対応する色データに加算する加算手段とを有するものである。
【００３３】
この発明においては、第１のサンプリング周波数でディジタル化した第１，第２および第３の色撮影データがアップコンバート手段で第２のサンプリング周波数でアップコンバートされる。このアップコンバート手段で得られた色データの位相が合わせられて演算処理が行われ、得られた演算データとこの演算データの符号反転データを用いて、更に演算処理が行われて各色補正データが生成されて、この各色補正データと各色データが加算されて色補正が行われる。また低域フィルタによって各色補正データが帯域制限されてから各色データに加算される。
【００３４】
【発明の実施の形態】
続いてこの発明に係る固体撮像装置の実施の一形態について図を参照して詳細に説明する。
【００３５】
図１は固体撮像装置であるディジタルビデオカメラの構成を示している。この図１において被写体１１からの撮像光は従来と同様に色分解系（図示せず）により赤色光（Ｒ）成分，緑色光（Ｇ）成分，青色光（Ｂ）成分の三原色光成分に分解されてカラー撮像部、例えばＣＣＤイメージセンサ１２Ｒ，１２Ｇ，１２Ｂで撮像される。
【００３６】
このＣＣＤイメージセンサ１２Ｒ，１２Ｇ，１２Ｂで得られた三原色撮像信号ＳＲ，ＳＧ，ＳＢは、Ａ／Ｄコンバータ１３Ｒ，１３Ｇ，１３Ｂで第１のサンプリング周波数ｆS、例えば１８ＭＨｚのサンプリング周波数でディジタルの三原色撮像データＤＲ，ＤＧ，ＤＢとされてプリプロセッサ１４に供給される。
【００３７】
プリプロセッサ１４では、画素の欠陥補正やシーディング補正が行われる。補正された三原色撮像データＤＲ，ＤＧ，ＤＢはアップコンバータ８０Ｒ，８０Ｇ，８０Ｂに供給される。また補正された赤色撮像データＤＲおよび緑色撮像データＤＧはイメージエンハンサ３０に供給される。
【００３８】
アップコンバータ８０Ｒ，８０Ｇ，８０Ｂでは、サンプリング周波数ｆSのサンプリングによって得られた三原色撮像データＤＲ，ＤＧ，ＤＢがサンプリング周波数ｆSの２n倍（ｎは正の整数）の第２のサンプリング周波数でアップコンバートされる。
【００３９】
ここで、図２にサンプリング周波数ｆSの赤色撮像データＤＲを２倍のサンプリング周波数２ｆS（３６ＭＨｚ）の赤色撮像データＤＲＵにアップコンバートするアップコンバータ８０Ｒの構成を簡略化して示す。なお、アップコンバータ８０Ｇ，８０Ｂもアップコンバータ８０Ｒと同様に構成される。
【００４０】
アップコンバータ８０Ｒはゼロ挿入スイッチ８２Ｒとディジタルの帯域制限フィルタ８４Ｒ等から構成される。このゼロ挿入スイッチ８２Ｒはアップコンバート用サンプリング周波数２ｆsで切り換えられて、端子８１Ｒに供給される赤色撮像データＤＲとゼロ信号が交互に選択される。ゼロ挿入スイッチ８２Ｒで選択されたデータは、レジスタ８３Ｒでラッチされたのち帯域制限フィルタ８４Ｒに供給される。
【００４１】
帯域制限フィルタ８４Ｒは、例えば（１，２，１）型フィルタで構成される。この帯域制限フィルタ８４Ｒは、繰り返し周期１／ｆSを遅延時間とする縦続接続された一対の遅延素子８５Ｒ，８６Ｒを有し、その入出力段と段間から得られる信号が乗算器８７Ｒ，８８Ｒ，８９Ｒに供給されて図に示すように係数（１，２，１）で乗算される。
【００４２】
乗算出力は加算器９０Ｒで加算されたのち、レベル減衰器９１Ｒに供給されて、出力レベルが１／２とされる。この結果、赤色撮像データＤＲが２倍のサンプリング周波数２ｆSの赤色撮像データＤＲＵにアップコンバートされる。
【００４３】
アップコンバータ８０Ｇ，８０Ｂもアップコンバータ８０Ｒと同様に構成されており、緑色撮像データＤＧおよび青色撮像データＤＢが周波数２ｆｓにアップコンバートとされて緑色撮像データＤＧＵおよび青色撮像データＤＢＵとして出力される。
【００４４】
このようにして得られた三原色撮像データＤＲＵ，ＤＧＵ，ＤＢＵは色補正回路１００に供給される。
【００４５】
次に、図３に色補正回路１００の構成を示す。なお、図３においてレジスタ１０４、減算器１０１〜１０３、乗算器１０５ａ〜ｆ，１０６，１０７，１０８および加算器１０９Ｒ〜Ｂで演算処理手段が構成され、遅延部１１２Ｒ〜Ｂおよび加算器１１３Ｒ〜Ｂで加算手段が構成される。
【００４６】
赤色撮像データＤＲＵは、減算器１０１，１０２および遅延部１１２Ｒに供給される。緑色撮像データＤＧＵは、レジスタ１０４を介して減算器１０１，１０３および遅延部１１２Ｇに供給され、青色撮像データＤＢＵは、減算器１０２，１０３および遅延部１１２Ｂに供給される。ここで三原色撮像データＤＲＵ，ＤＧＵ，ＤＢＵが２倍にアップコンバートされた信号であることから、緑色撮像データＤＧＵがレジスタ１０４で１クロック遅延されることにより、緑色撮像データＤＧＵと赤色撮像データＤＲＵおよび青色撮像データＤＢＵが同位相とされる。
【００４７】
減算器１０１では赤色撮像データＤＲＵから同位相である緑色撮像データＤＧＵが減算される。この減算器１０１の演算結果が乗算器１０５ａに供給されて係数「ａ」が乗算される。すなわち、式（１３）の演算が行われる。また減算器１０１の演算結果が乗算器１０６に供給されて係数「−１」が乗算されると共にこの乗算結果が乗算器１０５ｃに供給されて、係数「ｃ」が乗算される。すなわち、式（１５）の演算が行われる。
【００４８】
同様に、減算器１０２で赤色撮像データＤＲＵから青色撮像データＤＢＵが減算されて、演算結果が乗算器１０５ｂに供給されて係数「ｂ」が乗算される。すなわち、式（１４）の演算が行われる。また減算器１０２の演算結果が乗算器１０７に供給されて係数「−１」が乗算されると共にこの乗算結果が乗算器１０５ｅに供給されて、係数「ｅ」が乗算される。すなわち、式（１７）の演算が行われる。
【００４９】
また、減算器１０３では、青色撮像データＤＢＵと同位相である緑色撮像データＤＲＵから青色撮像データＤＢＵが減算されて、演算結果が乗算器１０５ｄに供給されて係数「ｄ」が乗算される。すなわち、式（１６）の演算が行われる。また減算器１０３の演算結果が乗算器１０８に供給されて係数「−１」が乗算されると共にこの乗算結果が乗算器１０５ｆに供給されて、係数「ｆ」が乗算される。すなわち、式（１８）の演算が行われる。
ａ（ＤＲＵ−ＤＧＵ） ・・・式（１３）
ｂ（ＤＲＵ−ＤＢＵ） ・・・式（１４）
ｃ（ＤＧＵ−ＤＲＵ） ・・・式（１５）
ｄ（ＤＧＵ−ＤＢＵ） ・・・式（１６）
ｅ（ＤＢＵ−ＤＲＵ） ・・・式（１７）
ｆ（ＤＢＵ−ＤＧＵ） ・・・式（１８）
【００５０】
加算器１０９Ｒでは、乗算器１０５ａの乗算結果と乗算器１０５ｂの乗算結果が加算される。この加算結果は赤色補正データＫＲとして低域フィルタ１１０Ｒを介してレジスタ１１１Ｒに供給される。このレジスタ２７Ｒでは赤色補正データＫＲが１クロック遅延されて、後述する緑色補正データＪＧに対して所定の位相差、すなわち緑色撮像データＤＧＵに対する赤色撮像データＤＲＵの位相差と等しい位相差となるように遅延される。この遅延された赤色補正データＫＲは加算器１１３Ｒに供給される。加算器１１３Ｒには、遅延部１１２Ｒで上述の演算処理に要する時間だけ遅延された赤色撮像データＤＲＵが供給されており、赤色撮像データＤＲＵと赤色補正データＫＲが加算されて、赤色補正撮像データＤＲＵＣとして出力される。すなわち、赤色補正撮像データＤＲＵＣは式（１９）に示す演算処理の結果を示すものとされる。
加算器１１３Ｇでは、乗算器１０５ｃの乗算結果と乗算器１０５ｄの乗算結果が加算される。この加算結果である緑色補正データＫＧは低域フィルタ１１０Ｇを介して加算器１１３Ｇに供給される。加算器１１３Ｇには遅延部１１２Ｇで遅延された緑色撮像データＤＧＵが供給されており、緑色撮像データＤＧＵと緑色補正データＫＧが加算されて緑色補正撮像データＤＧＵＣとして出力される。すなわち緑色補正撮像データＤＧＵＣは式（２０）に示す演算結果を示すものとされる。
加算器１０９Ｂでは、乗算器１０５ｅの乗算結果と乗算器１０５ｆの乗算結果が加算される。この加算結果である青色補正データＫＢは低域フィルタ１１０Ｂを介して加算器１１３Ｂに供給される。加算器１１３Ｂには、遅延部１１２Ｂで遅延された青色撮像データＤＢＵが供給されており、青色撮像データＤＢＵと遅延された青色補正データＫＢが加算されて、青色補正撮像データＤＢＵＣとして出力される。すなわち、青色補正撮像データＤＢＵＣは式（２１）に示す演算処理の結果を示すものとされる。なお、遅延部１１２Ｒ，１１２Ｇ，１１２Ｂでの遅延時間は同一とされる。
このように、アップコンバータ８０Ｒ，８０Ｇ，８０Ｂからの三原色撮像データＤＲＵ，ＤＧＵ，ＤＢＵと赤色撮像データＤＲＵおよび青色撮像データＤＢＵと同位相とされた緑色撮像データＤＧＵから三原色補正データＫＲ，ＫＧ，ＫＢを得るものとし、次に緑色補正データＫＧを所定のタイミングで緑色撮像データＤＧＵに加算すると共に、赤色補正データＫＲおよび青色補正データＫＢを所定の位相差分だけ遅延させてから所定のタイミングで赤色撮像データＤＲＵおよび青色撮像データＤＢＵに加算することにより、正しいタイミングでリニアマトリクス処理が行われる。このため、補間フィルタを設けて補間データを得る必要がなく色補正回路１００の構成を簡単とすることができる。
【００５４】
この色補正回路１００で得られた三原色補正撮像データＤＲＵＣ，ＤＧＵＣ，ＤＢＵＣは、それぞれ加算器５０Ｒ，５０Ｇ，５０Ｂに供給される。
【００５５】
一方、イメージエンハンサ３０では、赤色撮像データＤＲと緑色撮像データＤＧに基づき、画像の輪郭部を強調するための輪郭強調信号Ｄａ、Ｄｃが生成される。この輪郭強調信号Ｄａによって高域側が強調されると共に、輪郭強調信号Ｄｃによって低域側が強調されて画像の輪郭部が強調される。
【００５６】
輪郭強調信号Ｄｃは、加算器５０Ｒ，５０Ｇ，５０Ｂで三原色補正撮像データＤＲＵＣ，ＤＧＵＣ，ＤＢＵＣに加算される。
【００５７】
加算器５０Ｒ，５０Ｇ，５０Ｂからの出力データは、γ・ニー補正回路５５Ｒ，５５Ｇ，５５Ｂで、ガンマ補正やニー補正が行われる。さらに補正後のデータには、加算器６０Ｒ，６０Ｇ，６０Ｂでイメージエンハンサ３０からの輪郭強調信号Ｄａが加算される。
【００５８】
この輪郭強調信号Ｄａが加算された出力データがＹ・Ｃマトリックス６５に供給されて、輝度データＹおよび色差データＣｒ，Ｃｂが生成される。この輝度データＹおよび色差データＣｒ，ＣｂがＤ／Ａコンバータ７０Ｙ、７０Ｃｒ，７０Ｃｂによってアナログ信号に変換されて、アップコンバートしたままの状態の輝度信号ＳＹおよび色差信号ＳＣｒ，ＳＣｂが出力される。またレートコンバータ７５によって、輝度データＹおよび色差データＣｒ，Ｃｂがサンプリング周波数ｆｓを使用して元のサンプリングレートにダウンコンバートされる。
【００５９】
次に図４を使用して動作について説明する。三原色撮像データＤＲ，ＤＧ，ＤＢの色信号処理を周波数領域で示すと、緑色撮像データＤＧは図４Ａに示すような周波数成分とされると共に、赤および青色撮像データＤＲ，ＤＢは図４Ｂに示すような周波数成分とされる。なお、アップコンバートによって「０」が挿入されても三原色撮像データＤＲ，ＤＧ，ＤＢの周波数特性は変わらない。
【００６０】
ここで、帯域制限フィルタ８４Ｒ，８４Ｇ，８４Ｂの周波数特性が図４Ｃに示す特性を有するものとすると、アップコンバータ８０Ｇから出力される緑色撮像データＤＧＵは、図４Ｄに示す周波数特性を有するものとされると共に、アップコンバータ８０Ｒ，８０Ｂから出力される赤色撮像データＤＲＵおよび青色撮像データＤＢＵは、図４Ｅに示す周波数特性を有するものとされる。
【００６１】
また、緑色撮像データＤＧＵを１クロック遅延させても周波数特性は変化しないことから、例えば赤色撮像データＤＲＵと１クロック遅延された緑色撮像データＤＧＵを用いて「ＤＧＵ−ＤＲＵ」の演算を行うとベースバンド成分は「０」となり誤差を生ずることがない。またエリアシング成分は、アップコンバータ８０Ｒ，８０Ｇ，８０Ｂの帯域制限フィルタ８４Ｒ，８４Ｇ，８４Ｂで実用上問題ないレベルに減衰されるので、エリアシング成分の影響が問題ないレベルとされる。
【００６２】
また、三原色補正データＫＲ，ＫＧ，ＫＢに対しては、アップコンバータ８０Ｒ，８０Ｇ，８０Ｂ側の帯域制限フィルタ８４Ｒ，８４Ｇ，８４Ｂと低域フィルタ１１０Ｒ，１１０Ｇ，１１０Ｂとの総合特性とされる。例えば、アップコンバータ８０Ｒが図５に示す特性を有し、低域フィルタ１１０Ｒが図６に示す特性を有する場合には、フィルタ総合特性は図７に示すものとされる。なお、アップコンバータ８０Ｇ，８０Ｂｂのフィルタ特性はアップコンバータ８０Ｒと同等であり、低域フィルタ１１０Ｇ，１１０Ｂのフィルタ特性は低域フィルタ１１０Ｒと同等である。
【００６３】
このように、上述の実施の形態によれば、補間フィルタを設けて補間データを得る必要がないので色補正回路１００の構成を簡単とすることができる。また補間データを用いることなくリニアマトリクス処理が行われるので、誤差が少なく精度の良い色補正を行うことができる。さらにアップコンバータと色補正回路の低域フィルタで所望のフィルタ特性を得るものであるため、アップコンバータが色補正回路の後段に設けられた場合に、色補正回路の低域フィルタで所望のフィルタ特性を得る場合よりも、低域フィルタの回路規模を小さくすることができる。
【００６４】
【発明の効果】
この発明によれば、第１のサンプリング周波数でディジタル化した第１，第２および第３の色撮影データがアップコンバート手段で第２のサンプリング周波数でアップコンバートされる。このアップコンバート手段で得られた色データの位相が合わせられて演算処理が行われ、得られた演算データとこの演算データの符号反転データを用いて更に演算処理が行われて各色補正データが生成されて、この各色補正データと各色データが加算されて色補正が行われる。
【００６５】
このため、補間フィルタ等を設けて補間データを得る必要がないので信号処理回路の構成を簡単とすることができる。また補間データを用いることなくリニアマトリクス処理による色補正が行われるので、誤差が少なく精度の良い色補正を行うことができる。
【００６６】
また、低域フィルタによって各色補正データを帯域制限して各色データに加算するときに、アップコンバート手段で各色データが帯域制限されるので、低域フィルタの回路規模を小さなものとしても十分なフィルタ特性を得ることができる。
【図面の簡単な説明】
【図１】この発明に係る固体撮像装置の実施の一形態の構成を示す図である。
【図２】アップコンバータ８０Ｒの構成を示す図である。
【図３】色補正回路１００の構成を示す図である。
【図４】信号処理動作での周波数成分を示す図である。
【図５】アップコンバータ８０Ｒのフィルタ特性を示す図である。
【図６】低域フィルタ１１０Ｒのフィルタ特性を示す図である。
【図７】フィルタ総合特性を示す図である。
【図８】従来の構成を示す図である。
【図９】空間画素ずらし法を説明するための図である。
【図１０】撮像信号のサンプリング点を示す図である。
【図１１】色補正回路２０の構成を示す図である。
【図１２】従来の信号処理動作での周波数成分を示す図である。
【符号の説明】
１２Ｒ，１２Ｇ，１２Ｂ・・・ＣＣＤイメージセンサ、１３Ｒ，１３Ｇ，１３Ｂ・・・Ａ／Ｄコンバータ、２０，１００・・・色補正回路、２１Ｒ〜Ｂ・・・補間フィルタ、２２Ｇｃ，２２Ｇｄ，２７Ｒ，２７Ｂ，１０４Ｇｃ，１０４Ｇｄ，１１１Ｒ，１１１Ｂ・・・レジズタ、２３ａ〜ｆ，１０１，１０２，１０３・・・減算器、２４ａ〜ｆ，１０５ａ〜ｆ，１０６，１０７，１０８・・・乗算器、２５Ｒ〜Ｂ，２９Ｒ〜Ｂ，１０９Ｒ〜Ｂ，１１３Ｒ〜Ｂ・・・加算器、２６Ｒ〜Ｂ，１１０Ｒ〜Ｂ・・・低域フィルタ、２８Ｒ〜Ｂ，１１２Ｒ〜Ｂ・・・遅延部、８０Ｒ，８０Ｇ，８０Ｂ・・・アップコンバータ
Claims (3)
- 空間画素ずらし法を採用し、固体撮像素子より得られる第１の色撮影信号と、この第１の色撮影信号と位相の異なる第２および第３の色撮像信号とを用いてリニアマトリクス処理により色補正を行う固体撮像装置において、
第１，第２および第３の色撮影信号を第１のサンプリング周波数でディジタル化した第１，第２および第３の色撮影データを、第１のサンプリング周波数の２n倍（ｎは正の整数）の第２のサンプリング周波数でアップコンバートするアップコンバート手段と、
上記アップコンバート手段で得られた第１，第２および第３の色データの位相を合わせて各色補正データを生成する演算処理手段と、
上記演算処理手段で生成された各色補正データを上記第１，第２および第３の対応する色データに加算する加算手段と
を有することを特徴とする固体撮像装置。 - 上記演算処理手段では、位相をあわせた上記第１，第２および第３の色データを用いて演算処理を行い、得られた演算データとこの演算データの符号反転データを用いて更に演算処理を実施して各色補正データを生成することを特徴とする請求項１記載の固体撮像装置。
- 低域フィルタを有し、
上記演算処理手段で生成された各色補正データを上記低域フィルタで帯域制限して上記加算手段に供給することを特徴とする請求項２記載の固体撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04306596A JP3948032B2 (ja) | 1996-02-29 | 1996-02-29 | 固体撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04306596A JP3948032B2 (ja) | 1996-02-29 | 1996-02-29 | 固体撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09238358A JPH09238358A (ja) | 1997-09-09 |
| JP3948032B2 true JP3948032B2 (ja) | 2007-07-25 |
Family
ID=12653462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04306596A Expired - Fee Related JP3948032B2 (ja) | 1996-02-29 | 1996-02-29 | 固体撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3948032B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005197770A (ja) * | 2003-12-26 | 2005-07-21 | Sanyo Electric Co Ltd | 画像信号処理装置、画像信号処理方法及び画像信号処理プログラム |
| JP6622481B2 (ja) | 2015-04-15 | 2019-12-18 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法 |
-
1996
- 1996-02-29 JP JP04306596A patent/JP3948032B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09238358A (ja) | 1997-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5008739A (en) | Real-time digital processor for producing full resolution color signals from a multi-color image sensor | |
| US4962419A (en) | Detail processing method and apparatus providing uniform processing of horizontal and vertical detail components | |
| US20110194765A1 (en) | Image processing apparatus | |
| JP2773900B2 (ja) | Ｎｔｓｃカラーテレビジョンカメラの映像処理装置 | |
| JPH0946576A (ja) | ディジタル信号処理カメラ | |
| JPH09238358A (ja) | 固体撮像装置 | |
| Parulski et al. | A digital color CCD imaging system using custom VLSI circuits | |
| JP3579217B2 (ja) | ＴＶ受像機のガンマ（γ）補正回路 | |
| JPH06125566A (ja) | 輪郭補正回路 | |
| JP2815474B2 (ja) | 画像処理装置 | |
| JPH089199A (ja) | 撮像信号処理装置および撮像信号処理方法 | |
| JP3153941B2 (ja) | ディジタル信号処理カメラ | |
| JPH10108208A (ja) | 固体撮像素子の撮像出力の輪郭強調方法 | |
| JP2004056640A (ja) | 補色系単板式カラーディジタルカメラにおける撮像画像の補間方法、その補間装置及びそれを備えたディジタルカメラ | |
| JP3112531B2 (ja) | 撮像装置 | |
| JP3938256B2 (ja) | テレビジョンカメラ装置 | |
| JP3126860B2 (ja) | 映像信号処理装置 | |
| JPH09331543A (ja) | 色領域検出回路およびそれを用いた撮像装置 | |
| JP3355975B2 (ja) | 色信号処理回路 | |
| JPH0767129A (ja) | 撮像装置 | |
| JPH08251606A (ja) | 撮像装置 | |
| JP2789617B2 (ja) | 固体カラー撮像装置の輪郭強調装置 | |
| JPS60197088A (ja) | カラ−ビデオ信号の処理回路 | |
| JPH0130350B2 (ja) | ||
| JPH11285014A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051206 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070409 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100427 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |