JP2000299871A - カラー撮像素子及びカラー撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 周期的色コーディング配列に伴う色モアレの
発生等の問題を本質的に解決し、小型低コストで高画質
のカラー撮像の可能なカラー撮像素子及びカラー撮像装
置を提供する。 【解決手段】 色コーディング配列をランダム配列とし
たＣＣＤ撮像素子４と、ランダム色コーディング配列に
基づく色分離処理を行うディジタルプロセス回路７と、
ランダム色コーディング配列に関する配列データを記憶
するマスクＲＯＭ又はＥＥＰＲＯＭ17からなる記憶手段
とを備えてカラー撮像装置を構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、色モアレの発生
を防止できるようにしたカラー撮像素子及びそのカラー
撮像素子を用いたカラー撮像装置に関する。

【０００２】

【従来の技術】一般に、撮像管及び固体撮像素子に代表
される撮像素子は、撮像装置に広く用いられている。特
に、単管又は単板（Single Sensor)カラー撮像装置に使
用されるカラー撮像素子は、１つの撮像素子でカラー撮
像装置を構成できるため、色分離プリズムが不要でレン
ズの小型化が可能であり、またレジストレーションに代
表される多板式の各種調整の必要がなく、更に消費電力
が小さいなど多くの特徴を有し、カラー撮像装置の小型
化・消電力化に多くの貢献を果しており、特に固体撮像
素子であるカラーＣＣＤ撮像素子を用いた単板カラーカ
メラは、撮像装置の主流となっている。

【０００３】上記カラー撮像素子は、いずれも一つの受
光面で色情報を得るため、ストライプフィルタ又はモザ
イクフィルタなどと称される色フィルタを用いて、受光
平面内で色変調（色コーディング）を行っている。すな
わち、例えばＲＧＢ３色のフィルタを所定の規則的配列
で各光電変換素子（画素）上に張り付けることで、各画
素毎に異なる分光感度を持たせている。従って、被写体
撮像によって得られた映像信号には、このフィルタ配列
にしたがった点順次の色情報が含まれているから、上記
所定の配列にしたがって各色フィルタに対応した信号毎
に分離して、その分離した信号を取り出すことにより色
情報が取り出せる。輝度信号（Ｙ信号）を得るためには
ＲＧＢ情報が全て必要であるから、１画素の輝度情報を
得るためには最低３画素（ＲＧＢ各１画素ずつ）を必要
とし、輝度解像度は犠牲になるものの一つの撮像素子で
カラー撮像を行うことができるようになっている。

【０００４】上記フィルタ配列には、ＲＧＢストライ
プ、ベイヤ型ＲＧＢモザイク（各種あり）などの３原色
フィルタ、ＹｅＭｇＣｙストライプ、ＹｅＭｇＣｙＷ４
色モザイク、ＹｅＭｇＣｙＧ４色モザイクなどの補色フ
ィルタ等、多種多様の色コーディングパターンが提案さ
れて実用化されている。

【０００５】

【発明が解決しようとする課題】本発明は、上記カラー
撮像素子の電気的構成（撮像管か固体撮像素子か、ある
いはＣＣＤか他のタイプかなど）や色コーディングの種
類（原色か補色か、あるいは３色か４色かなど）につい
ては、関わりなく有する本質的問題点を指摘し、その解
決手段を示すものであるから、以下の説明においては特
にことわらないない限り、その一例についてのみ取り上
げ、説明を行うこととする。

【０００６】上記従来の色コーディング配列の中、ＲＧ
Ｂベイヤ配列の一例を図３の（Ａ），（Ｂ）に基づいて
説明する。ＲＧＢベイヤ配列は、図３の（Ａ）に示す２
×２の４画素を基本配列とし、この基本配列を図３の
（Ｂ）に示すように順次並べて平面を埋めつくすように
配列するものであって、ＲＧＢの各色への画素数の配分
比率を１：２：１として、輝度信号に対する寄与の大き
いＧの密度を高めることで輝度解像度を高くした点に特
徴があるものである。また、垂直及び水平の２方向に等
方的に配置しているので、ストライプフィルタと異なり
等方的な解像度が得られるようになっている。なお、図
３の（Ｂ）は任意の８×８＝64画素に関して例示してい
る。

【０００７】しかしながら、ベイヤ配列においては上記
のように規則的な配列を用いているため、その配列によ
る空間サンプリングに基づいた偽解像、いわゆる色モア
レの発生を伴うという大きな問題を有していた。すなわ
ち、本来色のない白黒被写体において上記配列周期と同
じ周期の輝度変化（白黒パターン）を有する周期的被写
体が存在した場合、例えば１水平ラインとしてＲＧ行に
着目しＲで白、Ｇで黒であったとすると、輝度変化のな
い赤い被写体から得られる信号と同等の信号が出力され
るため、本来は存在しない色出力を生じてしまう。この
ような縞模様状の繰り返しパターンによって生じた偽色
信号すなわち色モアレは、いわゆる周波数折り返し（エ
リアジング）によって低周波域に生ずるため、後段の色
帯域抑圧を含めた電気的フィルタ処理等によっても取り
除くことができない。

【０００８】このため、従来の単板カラー撮像装置は、
画質確保のためには光学系に水晶などの光学ローパスフ
ィルタを必須としており、これが小型化や低コスト化の
大きな制約となるばかりか、それでもなお残存する色モ
アレによる画質劣化は避けられなかった。

【０００９】本発明は、従来のカラー撮像装置における
上記周期的色コーディング配列に伴う問題を本質的に解
決するためになされたもので、小型低コストで高画質な
カラー撮像の可能な撮像装置を提供すること、及びそれ
を可能とするカラー撮像素子を提供することを目的とす
る。請求項毎の目的を述べると、請求項１に係る発明
は、規則性を有しないランダムな色コーディング配列に
よる被写体撮像を行うことができ、光学的ローパスフィ
ルタを用いることなく色モアレの発生させないカラー撮
像素子を提供することを目的とする。請求項２に係る発
明は、請求項１に係るカラー撮像素子を用いて、該撮像
素子のランダム色コーディング配列情報に基づく色分離
を行えるようにしたカラー撮像装置を提供することを目
的とする。請求項３に係る発明は、ランダム色コーディ
ング配列情報に基づく色分離を容易に且つ確実に行うこ
とができるカラー撮像装置を提供することを目的とす
る。請求項４に係る発明は、低コストで大量製造するこ
とができるランダム色コーディング配列データを記憶す
る手段を備えたカラー撮像装置を提供することを目的と
する。請求項５に係る発明は、色コーディング配列の異
なるカラー撮像素子の色分離処理にも容易に対応するこ
とが可能なカラー撮像装置を提供することを目的とす
る。

【００１０】

【課題を解決するための手段】上記問題点を解決するた
め、請求項１に係る発明は、所定配列の光電変換素子群
を有するカラー撮像素子であって、該カラー撮像素子の
色コーディング配列をランダム配列としてカラー撮像素
子を構成するものである。このように構成したカラー撮
像素子においては、規則性を有しないランダムな色コー
ディング配列による被写体撮像を行うことができ、光学
的ローパスフィルタを用いることなく、周期的な輝度変
化をもった被写体でも色モアレの発生しないカラー撮像
が可能となる。

【００１１】請求項２に係る発明は、前記請求項１に係
るカラー撮像素子を備え、該カラー撮像素子の出力信号
に対して該カラー撮像素子のランダム色コーディング配
列に基づく色分離処理を行う色分離手段を設けてカラー
撮像装置を構成するものである。このように構成するこ
とにより、色モアレを発生させないカラー撮像素子の色
コーディング配列情報に基づく色分離を、確実に行うこ
とができるカラー撮像装置を実現することができる。

【００１２】請求項３に係る発明は、請求項２に係るカ
ラー撮像装置において、前記色分離手段で色分離処理を
行うための、前記カラー撮像素子のランダム色コーディ
ング配列に関する配列データを記憶する記憶手段を備え
ていることを特徴とするものである。このようにカラー
撮像素子の色コーディング配列データを記憶する記憶手
段を備えることにより、ランダム色コーディング配列情
報に基づく色分離を容易に且つ確実に行うことができ
る。

【００１３】請求項４に係る発明は、請求項３に係るカ
ラー撮像装置において、前記記憶手段をマスクＲＯＭで
構成することを特徴とするものである。このように色コ
ーディング配列データの記憶手段としてマスクＲＯＭを
用いることにより、記憶手段をひいてはカラー撮像装置
を低コストで大量製造することが可能となる。

【００１４】請求項５に係る発明は、請求項３に係るカ
ラー撮像装置において、前記記憶手段をＥＥＰＲＯＭで
構成することを特徴とするものである。このように色コ
ーディング配列データの記憶手段としてＥＥＰＲＯＭを
用いることにより、色コーディング配列の異なるカラー
撮像素子の色分離処理にも容易に対応することが可能と
なる。

【００１５】

【発明の実施の形態】次に実施の形態について説明す
る。図１は、本発明に係るカラー撮像素子を用いたカラ
ー撮像装置（ディジタルカメラ）の実施の形態を示すブ
ロック構成図である。図１において、１はレンズ系、２
はレンズ駆動機構、３は露出制御機構、４はＣＣＤ撮像
素子、５はＣＣＤドライバ、６はＡ／Ｄ変換器を含むプ
リプロセス回路、７はディジタルプロセス回路で、ハー
ドとしてメモリを含み、全てのディジタルプロセス処理
を行うものである。８はメモリカードインターフェー
ス、９はメモリカード、10はＬＣＤ画像表示系、11は主
たる構成としてマイコンを含むシステムコントローラ、
12は操作スイッチ系、13は操作表示系、14はストロボ、
15はレンズドライバ、16は露出制御ドライバ、17はＥＥ
ＰＲＯＭである。

【００１６】図１に示した実施の形態においてカラー撮
像素子として用いているＣＣＤ撮像素子４のランダム配
列の色フィルタ配列例を図２に示す。このＣＣＤ撮像素
子の画素数は、任意ではあるが仮に 100万画素程度を想
定しており、図２においては、中央部分の８×８＝64画
素に対応するフィルタ配列だけを表示している。以下の
説明では、このようなランダム配列を得るための手順を
具体的に説明するものであり、図示はあくまでもこの理
解を助けるためのものであり、この程度の領域の図示で
充分理解されるであろう。本実施の形態におけるフィル
タの種類は、いわゆるＲＧＢ３原色を使用したもので、
そのコーディングはＲＧＢランダムフィルタコーディン
グとなっている。

【００１７】次に、このようなコーディングを得るため
の手順例について説明する。このコーディングはランダ
ムコーディングであるから、各画素の色フィルタを決定
するためにＲＧＢにそれぞれ２面を割り当てたサイコロ
を使用してもよいのは勿論であるが、その煩雑さを減じ
るため表計算ソフトウェア等を用いて、全画素配列に相
当する表配列を準備する。そして、配列の各セルに数式
ＲＳＴ（ＲＮＤ／３）（但し、ＲＮＤは適当な桁数の乱
数関数、ＲＳＴ（ｎ／ｄ）はｎをｄで除した剰余関数）
を割り当てて得られた数値に対して、例えば０→Ｒ，１
→Ｇ，２→Ｂを適用すればよい。

【００１８】このようにして得られた配列は、統計学的
には通常は特に大きな偏りは持たないが、ただ１回の試
行によって得たものは確率的に低いとはいえ、極端に色
による画素数の多寡があったり、大面積にわたる特定色
の集中があったりする可能性を有している。あるいは、
従来例のような周期性を有したパターンになる可能性も
極めて低いが０ではない。従って、上記手法によって数
回の試行を行い複数の配列サンプルを得た上で、実写に
よる撮像試験（現実にはシミュレーションを用いるのが
好適）を行って、評価結果のよいものを採用することが
望ましい。統計学的には、３〜４回程度以下の試行によ
って、上記のような特殊な偏り配列を問題なく排除する
ことができる。

【００１９】さて、このようなランダムカラーフィルタ
配列を備えたＣＣＤ撮像素子４を用いたカラー撮像装置
（ディジタルカメラ）においては、従来のカメラと同様
に信号を読み出して処理し、撮像画像をメモリカード９
に記録、あるいはＬＣＤ画像表示系10に表示する。従来
と異なる動作は色分離処理であるが、その処理は、ディ
ジタルプロセス回路７がシステムコントローラ11の制御
下において行うようになっている。

【００２０】従来の色分離が、ＣＣＤ撮像素子の規則的
色コーディングに対応して、順列に基づいた規則的サン
プリングを行い、更に画素間の加算減算等を行っていた
（具体的な処理についてはアナグロ処理、ディジタル処
理、混成処理等多種にわたる）のに対して、本発明にお
いて適用するランダムコーディングは規則性がないの
で、このような処理はできない。そこで、使用するＣＣ
Ｄ撮像素子の各画素に関してのフィルタコーディングデ
ータ（上記図２に相当する全画素のフィルタテーブル）
を参照して、色分離処理を行う。このコーディングデー
タはＥＥＰＲＯＭ17に記憶されており、使用するＣＣＤ
撮像素子の色コーディングが異なる場合にも対応できる
ようになっている。

【００２１】具体的な本実施の形態の色分離（各色信号
生成）処理は、次のようにして行われる。すなわち、
「着目する処理対象画素に関して、まずコーディングデ
ータを参照し、その画素自身のフィルタの色に関する色
信号については、その画素の信号レベルをそのまま信号
として出力し、他の色信号についてはコーディングデー
タに基づき近傍の画素の中で最近接の対応する色フィル
タの画素を探して、該当する画素の信号レベルをその色
信号として出力する。」という処理を行う。

【００２２】着目する処理対象画素のフィルタがＲであ
る場合に関して、その色分離処理を例示すると、次のと
おりである。 Ｒ信号：コーディングデータの参照結果がＲであるの
で、その画素の信号レベルをそのままＲ信号として出力
する。 Ｇ信号：参照結果がＧでないので、コーディングデータ
に基づき近傍の画素の中で最近接のＧ画素を探して該当
する画素の信号レベルをＧ信号として出力する。 Ｂ信号：参照結果がＢでないので、コーディングデータ
に基づき近傍の画素の中で最近接のＢ画素を探して該当
する画素の信号レベルをＢ信号として出力する。

【００２３】上記色分離処理例において、例えば着目す
るＲフィルタ画素の（上、下、左、右）に（Ｒ、Ｇ、
Ｂ、Ｂ）フィルタ画素が並んでいたとすると、「最近接
のＢ」画素は左右に２つ存在することになるが、このよ
うな場合はどちらか一方のみの信号レベルを採用するよ
うにしても、双方の信号レベルの平均値を採用するよう
にしてもよい。

【００２４】上記のような色分離処理の結果得られた色
信号は、全画素に関する同時化されたＲＧＢ３原色信号
として、従来のＲＧＢ３原色信号と同様に後段の回路で
処理され、最終的にメモリカード９に記録、あるいはＬ
ＣＤ画像表示系10に表示される。なお、この後段の回路
における処理は、その必要に応じて適宜使用されるそれ
自体は公知の、例えば色バランス処理、マトリクス演算
による輝度−色差信号への変換あるいはその逆変換処
理、帯域制限等による偽色除去あるいは低減処理、γ変
換に代表される各種非線型処理、各種情報圧縮処理、等
々である。

【００２５】その際生じる偽色に関して考察すると、白
黒のナイフエッジや孤立的な白点（線）等の被写体に関
しては、当然ながら平面的なカラーコーディングの影響
で従来のコーディングと同様に偽色を生じる。しかしな
がら、これらはいずれも孤立的に発生する（偽の）色点
や色線であって、その主要エネルギーは高周波域に分布
しているから、従来公知の電気的フィルタ処理等の手法
で充分に低減することが可能である。そして、従来最大
の問題であった縞模様状の繰り返しパターンの撮像に関
しては、コーディングがランダムであるため、少なくと
も低周波に折返った低域の偽色（色モアレ）は発生せ
ず、本実施の形態においては上記低減可能な孤立的な偽
色の発生にとどまるものである。従って本実施の形態に
おいては、従来この種のディジタルカメラにおいて必須
であった光学ローパスフィルタを使用していないにも関
わらず、視覚的に問題となる偽色がほとんど発生せず高
画質が得られる。

【００２６】以上本発明について上記実施の形態に基づ
いて説明を行ったが、上記実施の形態には様々な変形例
が考えられる。まず、上記実施の形態では、コーディン
グデータはＥＥＰＲＯＭ17に記憶されており、使用する
ＣＣＤ撮像素子のコーディングが異なる場合にも対応で
きるようになっていたものを示した。ＣＣＤ撮像素子は
量産ばらつきに起因して１個毎に異なる画素欠陥データ
等を必要とする場合も多いから、このためのメモリを兼
用する上からも、ＥＥＰＲＯＭを用いることは利点とな
り得るが、一方通常一つの撮像装置本体に対して適用さ
れる撮像素子は一種（量産ばらつきを除けば同一）であ
り、特にカラーコーディングを変える必要もないから、
コーディングデータ自身は全て同じデータを用いること
ができる。この点に着目すれば、上記ＥＥＰＲＯＭはマ
スクＲＯＭに置き換えることが可能である。マスクＲＯ
Ｍに置き換えた場合、より低コストに構成することがで
きる。そしてまた、いずれの態様の場合も、システムコ
ントローラ11の有するマイクロコンピュータのプログラ
ム格納メモリと兼用することが可能であることは言うま
でもない。

【００２７】また冒頭でも述べたように、本発明は撮像
素子の電気的構成（撮像管か固体撮像素子か、あるいは
ＣＣＤか他のタイプかなど）や、色コーディングの種類
（原色か補色か、あるいは３色か４色かなど）について
は、関わりなく有する本質的な問題点を取り上げ解決し
ようとするものであるから、上記実施の形態に限られ
ず、これらを含む全てのカラー撮像素子及びそれを用い
たカラー撮像装置に応用できる。例えば、多板カメラに
応用してもよい。例えばＧ，Ｒ／Ｂ式２板カラーカメラ
のＲ／Ｂセンサにはそのまま応用することができる。

【００２８】更に、上記実施の形態において示した「ラ
ンダムコーディングを得るための手順」は、あくまでも
一例に過ぎず、ランダムコーディング自体は任意の方法
によって得ることができる。すなわち、当該カラーコー
ディング配列が、従来公知であった規則的配列とは異な
り、光電変換素子配列の少なくとも数画素〜数十画素以
上の所定の領域に着目したときに顕著な規則的（周期
的）構造を有しておらず、その結果として従来の規則的
配列によって生じる縞模様状の繰り返しパターン入力に
対する低域偽色の発生が低減したならば、その配列は本
発明に言うランダム色コーディング配列となる。

【００２９】

【発明の効果】以上実施の形態に基づいて説明したよう
に、本発明によれば周期的色コーディング配列に伴う問
題を本質的に解決し、周期的な輝度変化をもった被写体
でも色モアレを発生しない小型低コストで高画質なカラ
ー撮像の可能なカラー撮像素子及びカラー撮像装置を得
ることができ、特に請求項１に係る発明によれば、規則
性を有しないランダムな色コーディング配列による被写
体撮像を行うことができ、光学的ローパスフィルタを用
いることなく、周期的な輝度変化をもった被写体でも色
モアレの発生しないカラー撮像素子を実現することがで
きる。また請求項２に係る発明によれば、色モアレを発
生させないカラー撮像素子の色コーディング配列情報に
基づく色分離を確実に行うことができるカラー撮像装置
を実現することができる。また請求項３に係る発明によ
れば、カラー撮像素子のランダム色コーディング配列を
記憶する記憶手段を備えているので、ランダム色コーデ
ィング配列情報に基づいた色分離を容易に且つ確実に行
うことができる。また請求項４に係る発明によれば、色
コーディング配列データの記憶手段としてマスクＲＯＭ
を用いているので、記憶手段をひいてはカラー撮像装置
を低コストで大量製造することが可能となる。また請求
項５に係る発明によれば、色コーディング配列データの
記憶手段としてＥＥＰＲＯＭを用いているので、色コー
ディング配列の異なるカラー撮像素子の色分離処理にも
容易に対応することが可能となる。

【図面の簡単な説明】

【図１】本発明に係るカラー撮像素子及びカラー撮像装
置の実施の形態を示すブロック構成図である。

【図２】図１に示した実施の形態におけるＣＣＤ撮像素
子のランダム色フィルタ配列の一例を示す図である。

【図３】ＲＧＢベイヤ配列の基本配列と全体配列の一例
を示す図である。

【符号の説明】

１ レンズ系 ２ レンズ駆動機構 ３ 露出制御機構 ４ ＣＣＤ撮像素子 ５ ＣＣＤドライバ ６ プリプロセス回路 ７ ディジタルプロセス回路 ８ メモリカードインターフェース ９ メモリカード 10 ＬＣＤ画像表示系 11 システムコントローラ 12 操作スイッチ系 13 操作表示系 14 ストロボ 15 レンズドライバ 16 露出制御ドライバ 17 ＥＥＰＲＯＭ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2H002 DB01 DB19 EB00 FB21 HA00 JA07 JA08 ZA01 ZA02 5C065 AA01 BB13 BB43 CC01 CC09 DD17 DD20 EE03 FF02 FF03 GG18 GG31

Claims (5)

【特許請求の範囲】
1. 【請求項１】 所定配列の光電変換素子群を有するカラ
   ー撮像素子であって、該カラー撮像素子の色コーディン
   グ配列がランダム配列であることを特徴とするカラー撮
   像素子。
2. 【請求項２】 前記請求項１に係るカラー撮像素子を備
   え、該カラー撮像素子の出力信号に対して該カラー撮像
   素子のランダム色コーディング配列に基づく色分離処理
   を行う色分離手段を備えていることを特徴とするカラー
   撮像装置。
3. 【請求項３】 前記色分離手段で色分離処理を行うため
   の、前記カラー撮像素子のランダム色コーディング配列
   に関する配列データを記憶する記憶手段を備えているこ
   とを特徴とする請求項２に係るカラー撮像装置。
4. 【請求項４】 前記記憶手段は、マスクＲＯＭで構成さ
   れていることを特徴とする請求項３に係るカラー撮像装
   置。
5. 【請求項５】 前記記憶手段は、ＥＥＰＲＯＭで構成さ
   れているこを特徴とする請求項３に係るカラー撮像装
   置。