JPH04170191A - 画像信号処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、画面の状況に応じて色信号処理の仕方を変え
る、適応形の画像信号処理装置に関するものである。

〔関連の技術〕

第７図、第９図、第１１図は、従来より知られているカ
ラー固体撮像装置の色フィルタの配列構成の例を示す図
である。第７図では、緑色光透過フィルタ（以下“Ｇｒ
フィルタ”という）が垂直にストライプ状になっており
、赤色光透過フィルタ（以下“Ｒｄフィルダ°という）
および青色光透過フィルタ（以下”　Ｂ　１フイルタ”
という）が、それぞれ２行おき１列で水平方向にＧｒフ
ィルタの間に配置されている。

第９図ではマゼンタ光透過フィルタ（以下“Ｍｇフィル
タ”という）、緑色光透過フィルタ、シアン光透過フィ
ルタ（以下゛Ｃｙフィルタ”という）、黄色光透過フィ
ルタ（以下“”Ｙｅフィルタ”という）が、水平方向に
２画素、垂直方向に４画素の計８個の色フィルタを１単
位とし、図に示す順序で配置されている。

さらに第１１図は例えば特願平１−２４４３３号に記載
されているようなオフセットサンプリング構造を持つ固
体撮像素子にＲｄ、Ｏｒ、Ｂ！フィルタが、それぞれ水
平３画素、垂直１画素。

水平方向のオフセラ１４１．５画素のオフセットサンプ
リング構造で配置されている。

第８図、第１０図、第１２図は、それぞれ第７図、第９
図、第１１図の色フイルタ配列構成における色光キャリ
アを２次元周波数平面（ｆｌＩ。

ｆν）で表わしたときの第１象限の特性図である。いず
れも水平方向の画素ピッチをＰＨ１垂直方向の画素ピッ
チをＰｖとし、Ｏ≦ｆＨ≦１／Ｐ、、０≦ｆｖ≦１／２
ＰＶの範囲を表わしている。いずれの図も、矢印は各色
のキャリアを表わしており、矢印の長さはキャリアの大
きさを、向きは位相関係を表わしている。

第８図において、色光キャリアは、（０，０）以外に、
（１／２ＰＨ、Ｏ）、（１／Ｐ）ｌ、Ｏ）、（０，１／
４Ｐｖ）、（１／２ＰＨ，１／４Ｐｖ　）、（１／Ｐ＋
−＋　、１／４Ｐｖ　）に発生している。このうち、（
ｏ、ｏ）と（１／ＰＨ，０）は無彩色光に対して発生す
るキャリアであり、折り返し歪の原因となるものであり
、それ以外のキャリアは無彩色光に対しては完全に打ち
消し合い消滅するが、有彩色光に対しては消滅せず、折
り返し歪の原因となる。

同様に、第１０図において、色光キャリアは、（０，０
）以外に（１／２ＰＨ，０）、（１／ＰＨ、Ｏ）、（１
／２Ｐ）ｌ　、１／４Ｐｖ　）、（０，１／２Ｐｖ　）
　、（１／２ＰＨ，１／２Ｐｖ　）　。

（１／　Ｐｌ（、１／　２　Ｐ　ｖ　）に発生し、この
うち、（０，０）と（１／ＰＨ，０）が無彩色光に対し
て発生するキャリアであり、それ以外は無彩色光に対し
て消滅するキャリアである。

さらに第１２図においては、固体撮像素子の水平方向の
オフセット量をＰＨ／２とすると、色光キャリアは（０
，０）以外に（２／３ＰＨ，Ｏ）、（１／３ＰＨ，１／
２Ｐｖ　）、（１／ＰＨ。

ｔ／２ＰＶ）に発生し、このうち（０，０）と（１／Ｐ
ｏ　、１／２Ｐｖ　）が無彩色光に対して発生するキャ
リアであり、それ以外には無彩色光に対して消滅するキ
ャリアである。

このようなオフセットサンプリング構造の特徴　　　−
として、第７図、第９図に示すような矩形状のサンプリ
ング構造では、水平方向の（１７Ｐ、、。

０）の位置の周波数に無彩色光に対して発生するキャリ
アがあるため、ｆ＋＋＝１／２ＰＩＩがナイキスト周波
数となり、それ以上の周波数成分は得ることができず、
ｆ、＝１７２Ｐ、までしか水平解像度が得られないが、
第１１図に示すオフセットサンプリング構造では、水平
方向の（１／ＰＭ。

０）の位置には無彩色光に対して発生するキャリアがな
く、ｆ□＝　ｓ　／　ｐ　ｓをナイキスト周波数とする
ことができることが一般に知られている。このため、第
１１図の色フィルタの配列では、矩形状のサンプリング
構造と同じサンプリングピッチであるにもかかわらず、
水平解像度は倍のｆ□＝１／ＰＨまで得ることができる
。

しかしながら、一般の被写体は無彩色であるとは限らず
、一般に色を有しているため、第８図。

第１０図、第１２図のすべての位置に示す色光キャリア
から折り返し歪が発生し、シーンによっては大変見苦し
いものとなっている。このため光学的ローパスフィルタ
等を用いて有害な色光キャリアをカットしなければなら
ず、解像度の低下をまねいていた。

たとえば、第１１図、第１２図に示すオフセットサンプ
リング構造のカラー固体撮像装置では、（２／３Ｐ、、
Ｏ）の位置に色光キャリアが発生するため、水平方向に
ｆＨ＝２／３ＰＨ以上の周波数成分をカットするような
光学的ローパスフィルタが必要なため、本来無彩色であ
ればｆ、ｌ＝ｉ　／　ｐ　Ｈまで水平解像度が得られる
ところを、その２７３のｔ　ｏ　＝　２　／　３　Ｐ　
ｓまでしか水平解像度を得ることができない。

このような問題を解消するため、本出願人は、別途第３
図に示すような色フィルタ配列の色フイルタアレイを提
案している。

第３図に示す色フィルタ配列を用いる固体撮像素子は、
水平方向の画素ピッチＰＨ９垂直方向の画素ピッチＰＶ
、水平方向の画素オフセット量Ｐ、／２のオフセットサ
ンプリング構造となっており、マゼンタ、緑色、シアン
、黄色の４種類の色光透過フィルタ（色フィルタ）Ｍｇ
、Ｇｒ、Ｃｙ、Ｙｅが各画素に対応する位置に配列され
ている。これらの色フィルタを組合せたものを色フイル
タアレイという。この色フイルタアレイは、第３図に示
すように夫々の種類の色フィルタが、水平方向のピッチ
が２Ｐ、、垂直方向のピッチが２Ｐｖで水平方向のオフ
セット量がＰＨというオフセットサンプリング構造とな
っている。

このような色フィルタ配列における色光キャリアを２次
元周波数十面（ｆ、、ｆｖ）で表わした特性図が第４図
で、第１象限の０≦ｆＨ≦１／ｐＨ，ｏ≦ｆＶ≦１　／
２　Ｐｖの範囲を示している。

同図において色光キャリアは、（０，０）以外に、（１
／Ｐ□、０）、（１／２Ｐ、、１／４Ｐｖ　）、（０，
１／２Ｐｖ　）、（１／Ｐｏ　、１／２Ｐｖ）に発生し
ており、このうち（０，０）と（１／ＰＨ，１／２ＰＶ
　）が無彩色光に対して発生するキャリアであり、それ
以外は無彩色光に対して消滅するキャリアである。

同図から明らかなように、水平方向には（１／ｐ、、ｏ
）の位置まで色光キャリアは全く発生しておらず、した
がってｆ、＝１／Ｐ、までの周波数成分を得ることがで
きる。すなわち、本例におけるカラー固体撮像装置は、
第１１図。

第１２図のサンプリング構造で示すカラー固体撮像装置
の水平解像度の１．５倍のｆＨ＝１／ＰＨまでの水平解
像度を得ることができる。

さらに、原点に対し最も近くにある色光キャリアは、（
１／　２　Ｐ　Ｈ，１／　４　Ｐ　ｖ　）のものである
が、これは原点に対し充分な距離があり、しかも無彩色
光に対しては消滅する色光キャリアであるため、水平、
垂直周波数成分に対し、著しい折り返し歪は発生しない
。特に色フィルタが補色の場合は折り返し歪は小さい。

以上のように、−第３図に示す色フィルタ配列の色フイ
ルタアレイを用いたカラー固体撮像装置は、高い解像度
でしかもモアレの発生の少ないものである。

（発明が解決しようとする課題） このようなカラー固体撮像装置における信号処理の例と
して、第５図に示すようなものかある。

この場合、色信号は補間された４つの補色信号Ｍｇ、　
Ｃｙ、Ｙｅ、Ｇｒからマトリクス演算によって一旦Ｒ，
Ｇ、Ｂの原色信号へ変換した後、処理される。この色処
理方法は、マトリクス法又は原色分離法と呼ばれ、本出
願人の出願にかかる特願昭６３−２８１４５６号の明細
書、又は西村他“画像混合ＣＣＤカメラにおける同時Ｒ
ＧＢ処理゛′テレビジョン学会技法ＴＥＢＳ　８９−９
　ＥＤ　８９−１３Ｆｅｂ　１９８９に説明されている
。

第５図のＲＧＢ変換部５１０では、 のようなマトリクス演算により原色信号ＲＧＢへ変換さ
れる。

このとき、第１３図に示すような斜め方向の明暗のパタ
ーンを考える。太線は明部、細線は暗部を表わすとする
。このパターンは、第４図に示す点Ｐの波に対するもの
である。

このようなパターンの波に対しては、第１３図から明ら
かなように、Ｍｇとｃｙの応答が大きく、ＧｒとＹｅの
応答が小さくなる。従って（１）式に従って、信号Ｒ，
Ｇ、Ｂを計算すると、被写体がたとえ無彩色であっても
偽色が発生してしまうという問題がある。

また、第１４図のようなパターンに対してもＭｇとＹｅ
の応答が大きい、ＧｒとＣｙの応答が小さくなってしま
い同様の問題がある。

本発明はこのような問題を解決するためになされたもの
で、偽色発生の少なく高画質を実現できる画像信号処理
装置を提供することを目的とするものである。

（課題を解決するための手段） 前記目的を達成するため、本発明では画像信号処理装置
をつぎの（１）、（２）のとおりに構成するものである
。

（１）偽色の発生し易い画像パターンを検出する画像パ
ターン検出手段と、・前記画像パターンに適応した色信
号処理を行う色信号処理手段と、前記画像パターン検出
手段の出力に応じて前記色信号処理手段を選択し色信号
処理を行わせる選択手段とを備えた画像信号処理装置。

（２）前記（１）において、色信号処理手段は、無彩色
化処理を行うものである画像信号処理装置。

〔作用〕

前記（１）、（２）の構成によれば、偽色の発生し易い
画像パターンが検出されると、そのパターンに適応した
色信号処理が行われる。前記（２）の構成によれば、前
述のそのパターンに適応した色信号処理として無彩色化
処理が行われる。

〔実施例〕

以下本発明を実施例により詳しく説明する。

第１図は本発明の一実施例である“ビデオカメラの信号
処理装置”のブロック図である。

センサ１０１には、第３図に示す色フイルタア１ル イが装着され、第３図中に示すようにジグザグ状に２行
を１水平走査期間（ＩＨ）で読み出す。

従って、すべての画素は１フイールドに１回読み出され
ることになる。今この読み出しクロックの周波数をｆ８
とすると、センサ１０１の出力は、そのクロックごとに
Ｍｇ→Ｃｙ−＋Ｇｒ−＋Ｙｅとなる。この信号はアナロ
グ処理部１０２で、ＡＧＣ（自動利得制御）などの処理
をされた後、Ａ／Ｄ（アナログ−ディジタル）変換器１
０３でＡ−Ｄ変換される。用いるＡ／Ｄ変換器は１０ビ
ット精度以上のものが望ましい。

この信号は補間フィルタ１０４へ入力され、更に、輝度
処理部１０５でγ変換、ブランキング等の標準的な映像
信号処理をされ、Ｄ／Ａ　（ディジタル−アナログ）変
換器１０６でＤ−Ａ変換される。更に、不図示の周期信
号付加部でこれに標準テレビ信号の同期信号が付与され
る。

一方、Ａ／Ｄ変換器１０３の出力は、色の補間フィルタ
部１０７〜１１０で、各々Ｍｇ、Ｇｒ。

Ｃｙ、Ｙｅに分離されたのち、２次元的に補間される。

この処理は、例えば本出願人の出願にかかる特願昭６３
−２８１４５６号に説明されており、ここでの説明は省
略する。ＲＧＢ変換部１１２．１１３，１１４は、各々
異なるマトリクス係数で（１）式に従って、Ｍｇ、Ｇｒ
、Ｃｒ。

Ｙｅの信号をＲ，Ｇ、Ｂの３つの原色信号へ変換する。

マトリクス選択部１１１では、後述するように、被写体
のパターンに応じて、とのＲＧＢ変換部を用いれば偽色
が極少になるかを判断し、その結果をスイッチ１１５へ
出力する。スイッチ１１５は、ＲＧＢ変換部１１２，１
１３，１１４の出力のＲ，Ｇ、Ｂをマトリクス選択部１
１１の結果によって選択する。

次に、ＲＧＢ変換部１１２，１１３，１１４の違いを説
明する。

ＲＧＢ変換部１１２は、第１３図に示す明暗のパターン
に対して、偽色を極少化するようなマトリクス演算を行
う。第１３図のパターンに対しては、Ｍｇとｃｙが明部
で、ＧｒとＹｅが暗部とすると、前記（１）式に従って
Ｒは、 となる。前述の参考文献にもあるように、第１３図のパ
ターンに対する赤の偽色Ｒｍは、（２）式でＭｇとｃｙ
の項に＋１、ＧｒとＹｅの項に−１をかければよいので
、 となる。ＲｍがＯであれば、偽色発生は極少化される。

即ち、 ａ＋＋Ｍｇ＋ａ、、Ｃｙ＝ａ、２Ｇｒ＋ａ、４Ｙｅ＝−
（４）他の色についても同様であるので、 となる。（５）の拘束条件の下で、色再現も最適化され
ているマトリクス係数の決定方法は、前述の特願昭６３
−２８１４５６号に示した通りである。このようにして
、決定したマトリクス演算力くＲＧＢ変換部１１２で実
行されるので、この結果は第１３図のパターンに対して
偽色が極少化されている。

同様に第１４図のパターンに対して、偽色の極少化され
る条件を求めると、 となる。（６）の拘束条件下の色再現を最適化したマト
リクス演算がＲＧＢ変換部１１３で実行されるので、こ
の出力は第１４図のパターンに対して偽色が極少化され
ている。

ＲＧＢ変換部１１４は、色マトリクスで第１３図及び第
１４図の両方のパターンの重なっている時に色信号を無
彩色化する演算である。無彩色化する手段としては、例
えば、 ａ＋＋＝ａ２ｔ＝ａｓ＋　　（１＝１．２．３．４）・
・・・−（７） が利用できる。第１３図と第１４図の両方のパターンが
重なっている時は、被写体のエツジ部のような場合であ
り、このような領域では、色信号を無彩色化しても画質
的な劣化は少ない。

第２図に、マトリクス選択部１１１の構成を示す。入力
信号は、センサ１０１からジグザク読み出しされた信号
が、Ｍｇ−＋Ｃｙ−＋Ｇｒ→Ｙｅのくり返しで人力され
ている。従って、人力信号とそれをデイレイ２０１で１
データ分遅らされたものとを加算器２０２で加算した結
果は、Ｍｇ＋Ｃｙ　／　Ｃｙ　＋　Ｇ　ｒ　／　Ｇ　ｒ
　＋　Ｙ　ｅ　／　Ｙ　ｅ　＋　Ｍ　ｇのくり返しにな
る。これと、これをデイレイ２０３゜２０４で２データ
分遅らされたものとの差を減算器２０５でとると、その
結果は、（Ｍｇ＋Ｃｙ）−（Ｇｒ＋Ｙｅ）／　（Ｃｙ＋
Ｇｒ）−（Ｙｅ＋Ｍ　ｇ　）　／　（Ｇ　ｒ　＋　Ｙ　
ｅ　）　−（Ｍ　ｇ　＋　Ｃ’Ｉ　）　／（Ｙｅ＋Ｍｇ
）−（Ｃｙ＋Ｇｒ）のくり返しになる。もし、被写体の
第１４図のパターンの成分が大きければ（Ｃｙ＋Ｇｒ）
−（Ｙｅ＋Ｍｇ）の絶対値は大きくなるし、又は第１３
図のパターンの成分が大きければ（Ｍｇ＋Ｃｙ）−（Ｇ
ｒ＋Ｙｅ）の絶対値が大きくなる。従って、スイッチ２
０６で１データごとにデータを切り換えれば、上側には
±［（Ｍｇ＋Ｃｙ）　　　（Ｇｒ＋Ｙｅ）］下側には±
［（Ｃｙ＋Ｇｒ）−（Ｙｅ＋Ｍｇ）］の出力が分離され
るので、絶対値検出部２０７゜２０８でこれらの絶対値
をとり、更に、コンパレータ２０９，２１０で予め定め
られた閾値Ｔｈｌ、Ｔｈ２と比較することで、Ｐは＞Ｔ
ｈｌで１．＜Ｔｈｌで０、Ｑは＞Ｔｈ２て１、＜Ｔｈ２
で０という論理出力Ｐ、Ｑを得る。

判断論理部２１１では、これを第６図に示すような論理
で使用するマトリクスを決定する。

なお、色信号の無彩色化は、ＲＧＢ変換部１１４で行わ
れず、色信号処理部１１６の中で色差信号Ｒ−Ｙ、Ｂ−
Ｙを０にするように、いわゆるクロマキラー処理を用い
て実現してもよい。

又、スイッチ１１５に画素の水平方向アドレスＸ、垂直
方向アドレスＹを人力して、Ｐ及びＱの出力が０の場合
には、ＭｌとＭ２を第１５図に示すように交互に切り換
えるように構成してもよい。

又、センサ１０１の色フィルタは、Ｍｇ。

Ｃｙ、Ｇｒ、Ｙｅに限らず、Ｒ，Ｇ、、Ｇ２．Ｂのよう
に純色のものでもよく、４色がオフセット構造に配置さ
れていればなんでもよい。

又、実施例は偽色の発生し易い画像パターンが２個で、
その画像パターンに適応した色信号処理手段を１１２〜
１１４と３個備えるものであるが、本発明はこれに限定
されるものではなく、偽色の発生し易い画像パターンが
１個以上、その画像パターンに適応した色信号処理手段
を１個以上備える形で実施できる。

（発明の効果〕 以上説明したように、本発明によれば、高解像度で、し
かもある偽色発生を生じやすいパターンに対しても、偽
色発生の少ない高画質を実現できる。

【図面の簡単な説明】

第１図は本発明の一実施例のブロック図、第２図は同実
施例のマトリクス選択部の構成図、第３図は同実施例で
用いる色フィルタ配列を示す図、第４図は第３図の色フ
ィルタ配列における色光キャリアの特性図、第５図は関
連の技術を説明するためのブロック図、第６図は航記実
施例の動作の説明図、第７図は色フィルタの配列例を示
す図、第８図は第７図の色フィルタ配列における色光キ
ャリアの特性図、第９図は色フィルタの配列例を示す図
、第１０図は第９図の色フィルタ配列における色光キャ
リアの特性図、第１１図は色フィルタの配列例を示す図
、第１２図は第１１図の色フィルタ配列における色光キ
ャリアの特性図、第１３図、第１４図は偽色の発生し易
い画像パターンを示す図、第１５図は実施例の動作説明
図である。 １１１−・・・・・マトリクス選択部 １１２〜１１４−’−ＲＧＢ変換部 １１５・・・・・・スイッチ

Claims (2)

【特許請求の範囲】
1. （１）偽色の発生し易い画像パターンを検出する画像パ
   ターン検出手段と、前記画像パターンに適応した色信号
   処理を行う色信号処理手段と、前記画像パターン検出手
   段の出力に応じて前記色信号処理手段を選択し色信号処
   理を行わせる選択手段とを備えたことを特徴とする画像
   信号処理装置。
2. （２）色信号処理手段は、無彩色化処理を行うものであ
   ることを特徴とする請求項１記載の画像信号処理装置。