JPH11205808A

JPH11205808A - 信号処理装置およびその処理方法

Info

Publication number: JPH11205808A
Application number: JP10003260A
Authority: JP
Inventors: Satoru Okamoto; 悟岡本; Kenkichi Hayashi; 健吉林; Osamu Saito; 理斉藤
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1998-01-09
Filing date: 1998-01-09
Publication date: 1999-07-30
Anticipated expiration: 2018-01-09
Also published as: JP4122082B2

Abstract

(57)【要約】【課題】従来の相関判定よりも誤りの発生を抑えて画
質を向上させる信号処理装置およびその処理方法の提
供。【解決手段】電子スチルカメラ10に適用された信号処
理部12は、データセレクト部12b から供給されるG 画素
のデータを用いてG 相関値算出部12c で複数個の相関値
を水平および／または垂直方向に求め、これらの相関値
を基にさらに水平および／または垂直方向の相関を求め
た結果についてG 相関判定部12d で相関判定を行うこと
により、相関の強い方向を知ることができ、この結果に
基づいてRGB 補間部12e によりG 画素の空隙位置でのG
色成分の信号を補間している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写界からの入射
光を撮像手段で撮像し、撮像手段の画素から得られる信
号に相関処理等の信号処理を施す信号処理装置およびそ
の処理方法に関し、特に、単板式の色フィルタを撮像手
段の直前に配して、この撮像手段の画素から得られる信
号の補間処理を伴う信号処理に適用して好適なものであ
る。

【０００２】

【従来の技術】たとえば電子スチルカメラやビデオカメ
ラ等は、被写界からの入射光を撮像部に用いている、た
とえば固体撮像デバイスを含む画素セルで光電変換して
いる。特に、この撮像部の直前に単板式の色フィルタが
用いられている場合、撮像部は各画素から色フィルタの
色に対応して三原色R,G,B のいずれか一つの色の信号し
か得られない。そこで、画質の向上を図るため一般的に
はたとえば水平方向の相関性を利用して対応していない
色の信号を補間して求めている。

【０００３】単純な補間方法によれば、例えば白と黒の
境界に偽色が発生することが知られている。この偽色の
改善を図る方法として、たとえばローパスフィルタを適
用したり、白黒のエッジ境界の色信号を抑圧する方法
等、各種の改善方法が検討されてきている。ローパスフ
ィルタの場合、信号レベルの低下により偽色を抑えるが
完全になくすことができず、場合によっては偽色範囲を
拡大させてしまう。また、抑圧方法では本来の色信号も
抑圧することにより境界付近で色がなくなってしまう虞
れがある。このような色偽信号の発生を防止する色分離
回路が特開平7-236147号公報に開示されている。この色
分離回路は、垂直及び若しくは水平方向の相関関係を考
慮して色偽信号の発生を抑えている。

【０００４】また、このような相関関係を用いて偽りの
信号発生を抑えるものに特開平7-298275号公報に開示さ
れたビデオカメラの信号処理回路がある。信号処理回路
は、撮像素子出力に基づき水平方向と垂直方向の相関値
を検出し、これらの値に基づいて各方向の相関値の混合
比率を制御している。これにより、信号処理回路は、た
とえば輪郭強調の場合、アパーチャ信号（あるいは輪郭
強調信号）を供給して鮮鋭度を高め、本来、輝度変化の
ない部分に発生する輝度ムラを抑えて画像の高画質化を
図っている。

【０００５】

【発明が解決しようとする課題】ところで、前述した提
案では算出した水平方向と垂直方向の相関値を基に相関
の強い方向を判別している。しかしながら、判定に誤り
を生じてしまう場合があった。この相関判定での誤判定
によって色偽信号が発生した。たとえばG ストライプRB
市松パターンの色フィルタやベイヤ配列の色フィルタ等
を適用した場合、画像には判定を誤ると、前者のパター
ンでは特にG とR の間に筋が生じることがあり、また、
後者のような配列の場合でも色や輝度レベルの境界等に
粒状の模様が出たり、直線が点線になる等の現象が現れ
る。

【０００６】本発明はこのような従来技術の欠点を解消
し、従来の相関判定よりも誤りの発生を抑えて画質を向
上させる信号処理装置およびその処理方法を提供するこ
とを目的とする。

【０００７】

【課題を解決するための手段】本発明に係る信号処理装
置は、上述の課題を解決するために、分光感度特性の異
なる色のフィルタが配置された色フィルタの中で、最も
配置数の多い色フィルタを第１の色フィルタとし、この
第１の色フィルタに対応した撮像手段の画素から得られ
る信号を基に信号処理を行って、この撮像手段の第１の
色フィルタとそれぞれ色の異なる第２の色フィルタある
いは第３の色フィルタに対応した画素位置での第１の色
フィルタに対応した色成分の信号を補間生成する信号処
理装置であって、第１の色フィルタに対応した複数の画
素から得られる信号を基に第２の色フィルタあるいは第
３の色フィルタに対応した画素位置での第１の色フィル
タに関する水平および／または垂直方向の相関値をそれ
ぞれ算出し、この算出した相関値を複数用いて、さらに
第１の色フィルタの空隙位置での相関値を算出する相関
値算出手段と、この相関値算出手段の結果から第１の色
フィルタの空隙位置での相関の強い方向を判定する相関
判定手段と、この相関判定手段により判定された相関の
強い方向に位置する第１の色フィルタに対応した複数の
画素から得られる信号に基づいて第１の色フィルタの空
隙位置での色成分の信号を補間生成する色補間生成手段
とを有することを特徴とする。

【０００８】ここで、第１の色フィルタは、緑色のフィ
ルタであり、第１の色フィルタは、第１の色フィルタ
は、垂直方向に一列に配し、かつパターン全体を斜め45
°方向に回転して正方格子配置を成すパターンまたは第
１の色フィルタの画素位置が垂直方向あるいは水平方向
にずらして配置されているパターンであることが望まし
い。

【０００９】相関判定手段は、相関値算出手段から得ら
れた複数の相関値を基に第１の色フィルタの空隙位置に
おける相関の最も強い方向を判定し、この判定により選
ばれた方向で前記第１のフィルタの空隙位置に隣接した
画素からの信号を選択することが好ましい。この判定に
より選ばれた信号を用いることにより判定の誤りを防止
する。

【００１０】相関値算出手段は、画素の水平および／ま
たは垂直方向についてそれぞれ算出された複数の相関値
に重み係数を掛けて各方向の相関値を算出することが好
ましく、この算出によって相関の強い方向が強調される
ことにより確実な判定方向に導くことができるようにな
る。

【００１１】相関値算出手段は、複数の画素からの色成
分信号に基づいて算出した相関値にフィルタリング処理
を複数回繰り返して施すフィルタリング手段を含むこと
が望ましい。フィルタリング手段を複数回繰り返すこと
により、回路規模をそのままにフィルタリングの効果を
発揮させることができる。

【００１２】本発明に係る信号処理装置は、相関値算出
手段で複数個の相関値を水平および／または垂直方向に
求め、これらの相関値を基にさらに水平および／または
垂直方向の相関を求めた結果について相関判定手段で相
関判定を行うことにより、相関の強い方向を知ることが
でき、この結果に基づいて色補間生成手段により第１の
色フィルタの空隙位置で第１の色フィルタの色成分を補
間している。

【００１３】また、本発明に係る処理方法は、分光感度
特性の異なる色のフィルタが配置された色フィルタの中
で最も配置数の多い色フィルタを第１の色フィルタと
し、この色フィルタの透過光を撮像手段で撮像した際
に、この撮像手段の第１の色フィルタに対応した画素か
ら得られる信号を基に信号処理を行って、この撮像手段
の第１の色フィルタとそれぞれ色の異なる第２の色フィ
ルタあるいは第３の色フィルタに対応した画素での第１
の色フィルタに対応した色成分の信号を補間生成する信
号処理方法であって、第１の色フィルタに対応した複数
の画素から得られる信号を基に第２の色フィルタあるい
は第３の色フィルタに対応した画素位置での第１の色フ
ィルタに関する水平および／または垂直方向の相関値を
それぞれ複数個算出する相関値算出工程と、この相関値
算出工程で得られた相関値を複数個用いて第２の色フィ
ルタあるいは第３の色フィルタの画素位置での相関値を
第１の色フィルタの空隙画素位置での評価用相関値とし
て算出する空隙相関値算出工程と、この空隙相関値算出
工程の結果から第１の色フィルタの空隙画素位置での相
関の強い方向を判定する相関判定工程と、この相関判定
工程により判定された相関の強い方向に位置する第１の
色フィルタに対応した複数の画素から得られる信号に基
づいて第１の色フィルタの空隙画素位置での第１の色フ
ィルタの成分の信号を補間生成する色補間生成工程とを
有することを特徴とする。

【００１４】ここで、相関判定工程は、相関値算出工程
から得られた複数の相関値を基に第１の色フィルタの空
隙位置における相関の最も強い方向を判定し、この判定
により選ばれた方向で第１の色フィルタの空隙位置に隣
接した画素からの信号を選択することが好ましい。この
工程での判定により、判定の誤りを避けられるようにな
る。

【００１５】空隙相関値算出工程は、画素の水平および
／または垂直方向についてそれぞれ算出された複数の相
関値に重み係数を掛けて各方向の相関値を算出すること
が望ましい。この工程により各方向の相関値に際立った
差が得られるようになり、判定の困難さを解消する。

【００１６】空隙相関値算出工程は、複数の画素からの
色成分信号に基づいて算出した相関値にフィルタリング
処理を複数回繰り返して施す工程を含むと有利である。

【００１７】色補間生成工程は、相関判定工程での水平
および垂直方向についてそれぞれ算出した第１の色フィ
ルタの空隙画素位置での相関値の差が所定のレベル以下
の場合、その画素位置の周囲に位置する第１の色フィル
タの４画素の平均を用いて補間することが好ましい。

【００１８】本発明に係る処理方法は、相関値算出工程
により水平および／または垂直方向の相関値をそれぞれ
複数個算出し、空隙相関値算出工程でこの得られた相関
値に基づいて第１の色フィルタの空隙画素位置での相関
値を各方向について算出する。相関判定工程では相関の
強い方向を判定し、色補間生成工程で相関の強い方向の
複数の画素から得られる信号に基づいて第２の色フィル
タあるいは前記第３の色フィルタに対応した画素位置で
の色成分の信号を補間生成することにより、誤った判定
の頻度を従来よりも少なく抑えることができる。

【００１９】

【発明の実施の形態】次に添付図面を参照して本発明に
よる信号処理装置およびその処理方法の実施例を詳細に
説明する。

【００２０】本発明の信号処理装置は、本実施例におい
て撮像部の直前に単板式の色フィルタアレイが採用され
たディジタルカメラに適用する。本明細書においてディ
ジタルカメラとは、たとえば電子スチルカメラ等のよう
に静止画を撮影しディジタル信号として記録する機能を
有する撮影装置である。本実施例は、本発明を電子スチ
ルカメラに適用した際の構成およびその動作について図
１〜図５を参照しながら説明する。

【００２１】電子スチルカメラ10は、図１に示すように
カメラ本体部11と、メモリカード部20とを備え、両者は
コネクタ30を介して一体的に接続されている。カメラ本
体部11は光学系11a 、色フィルタアレイ11b 、CCD イメ
−ジセンサ11c 、前処理部11d 、A/D 変換部11e 、信号
処理部12、データ圧縮部11f 、入出力インターフェース
部11g 、データ入力部11h 、およびシステム制御部13を
含み、メモリカード部20は入出力インターフェース部21
およびメモリカード22を含んでいる。

【００２２】光学系11a は、撮影レンズ110a、絞り（図
示せず）等を含んでいる。色フィルタアレイ11b は、前
述したように単板式である。この単板式の色フィルタア
レイの配置は、たとえば、図５に示すように三原色をR,
G,B で表す。電子スチルカメラ10は、一般に色フィルタ
アレイの配置にベイヤパターンが主に用いられている。
このパターンを適用した場合を説明する。この色フィル
タアレイ11b がCCD イメ−ジセンサ11c の撮像面の直前
に配設されている。

【００２３】CCD イメ−ジセンサ11c は、色フィルタア
レイ11b の要素に対応したCCD イメ−ジセンサ13のセル
が画素としてアレイ状に配置されている。このセルに被
写界からの入射光が結像した際にこのセルでは入射光を
光電変換している。CCD イメ−ジセンサ11c は画素に対
応した信号を前処理部11d に出力する。

【００２４】前処理部11d は、供給される信号を所望の
レベルに増幅処理し、さらにガンマ補正やホワイトバラ
ンス処理等を施してA/D 変換部11e に出力する。A/D 変
化部11e は、この前処理部11d から出力されるアナログ
信号をディジタル信号に変換している。

【００２５】信号処理部12は、図２に示すようにバッフ
ァメモリ12a 、データセレクト部12b 、G 相関算出部12
c 、G 相関判定部12d 、RGB 補間部12e 、YC変換部12f
、信号調整部12g を含んでいる。信号処理部12は、A/D
変化部11e から供給されるディジタル信号（以下、デ
ータという）に補間処理を施す際に、補間処理を最適に
する方向の判定処理も行っている。バッファメモリ12a
は、A/D 変換部11e から供給されるデータを記憶してい
る。記憶容量は、たとえば複数のラインメモリの容量で
もフレームメモリの容量でもよい。バッファメモリ12a
は、システム制御部13から供給される制御信号に応じて
画素からそのまま得られるデータで、補間により生成さ
れたデータではない。バッファメモリ12a は、記憶した
データを制御信号に応じてYC変換部12f に出力する。

【００２６】また、データセレクト部12b もA/D 変換部
11e から供給されるデータをそのまま入力する。データ
セレクト部12b は、後段で詳述するように第１の色フィ
ルタの色に対応するG （緑色）の画素データを取り出
し、取り出してG 相関算出部12c に出力するとともに、
G 相関判定部12d からの判定結果に応じて相関の強い方
向のデータを選択してRGB 補間部12e に出力する。

【００２７】G 相関算出部12c には、たとえば３つの相
関値を算出する場合、データセレクト部12b から水平方
向および垂直方向の相関値を算出するためそれぞれ４つ
の異なる画素位置からのデータが必要になる。G 相関算
出部12c は、図４に示すように相関値算出部120 および
評価用相関値算出部121 を含んでいる。さらに相関値算
出部120 および評価用相関値算出部121 は、水平方向と
垂直方向のG 相関を評価するようにこれら各方向に水平
相関値算出部12H,および垂直相関値算出部12Vの構成と
みなすこともできる。この構成においても同様の観点か
ら見て評価用相関値算出部121 には水平評価用相関値算
出部121H, および垂直評価用相関値算出部121Vが含まれ
ている。

【００２８】ところで、この水平相関値算出部120Hに
は、図４に示すように水平差分演算部12DHおよび水平絶
対値算出部12AHが含まれている。水平差分演算部12DH
は、データセレクタ部12b から供給された４種類のデー
タを用いて２つのG 画素データの差分をとっている。水
平差分演算部12DHには、３つの相関値を減算処理により
算出するために３つの加算器DH1, DH2, DH3 が備えられ
ている。加算器DH1, DH2,DH3 は、それぞれ算出した差
分データを水平絶対値算出部（ABS:ABSoluteの略）12AH
に出力する。水平絶対値算出部12AHは、この差分データ
が絶対値として出力されるように処理を水平絶対値処理
部AH1, AH2, AH3 で行っている。この処理により出力さ
れる値が水平方向の相関値である。これまでは単にこの
相関値を用いて相関方向を判定すると誤って相関方向を
検出してしまうことがあった。本発明ではこのようにし
て求めた相関値を用いてさらに評価用の相関値を算出し
て相関方向の判定に誤りが生じ難いようにしている。水
平方向の評価用の相関値を算出するため、水平相関値算
出部120Hは、算出した３つの相関値をそれぞれ評価用相
関値算出部121 の水平評価用相関値算出部121Hに供給し
ている。

【００２９】同様に、垂直相関値算出部120Vにも４種類
のデータが供給される。垂直相関値算出部120Vは、この
データ供給に対応するよう垂直差分演算部12DVに備えた
３つの加算器DV1, DV2, DV3 で差分データを算出し、さ
らに垂直絶対値処理部AV1, AV2, AV3 によって垂直方向
の相関値を求めている。この算出した垂直方向の３つの
相関値がそれぞれ評価用相関値算出部121 の垂直評価用
相関値算出部121Vに供給される。

【００３０】評価用相関値算出部121 は、供給された相
関値を基にG の画素がない対象位置に対する新たな評価
用の相関値を算出する。評価用相関値算出部121 は、演
算に用いる相関値が示す位置関係に応じて相関値に乗算
する重み係数を変えると良好な相関値が得られる。評価
用相関値算出部121 は、このような乗算処理を迅速に、
かつ複数回の繰り返し等の処理にも対応可能な点を考慮
してローパス機能を有するディジタルフィルタを用いて
いる（図示せず）。本実施例のように３つの相関値が供
給された場合、重み係数として評価用相関値算出部121
では、対象位置の相関値に対して係数2 、この対象位置
（すなわち、空隙画素位置）の両端に位置する相関値に
は係数1 が乗算される演算が行われ、得られた結果を1/
4 にして評価用の相関値を算出している。すなわち、評
価用の相関値は、1:2:1 の比で算出した値を平均して表
している。ここで、この評価用の相関値算出に伴う演算
は水平、垂直ともに同様の重み係数で行われる。具体的
な処理については後段で詳述する。

【００３１】なお、３つの相関値を用いる場合に限定さ
れず、２つの相関値、４つの相関値、５つの相関値等と
相関判定するためのデータを作成してもよいが、現実的
に２つの相関値ないし３つの相関値を用いた相関判定で
十分誤判定を防止できる。２つの相関値を用いた場合、
評価用の相関値算出は算出した相関値を加算して平均を
とって行うことが好ましい。

【００３２】このようにして算出された水平方向と垂直
方向の評価用相関値がそれぞれG 相関判定部12d に供給
される。

【００３３】G 相関判定部12d は、供給された水平方向
と垂直方向の評価用相関値の大きさを比較するととも
に、比較結果に応じて補間に適用する画素の方向を判定
する。G 相関判定部12d では、一般に相関の強さに関し
て前述した画素同士の差分によって算出する場合、画素
同士のデータが同程度の値のとき相関が強いと言える。
この結果、相関の強さを示す差分値は小さい方が強い相
関とになる。この関係を考慮して相関を判定すると、G
相関判定部12d は、この評価用の値の小さい方を選択す
るようにデータセレクト部12b およびRGB 補間部12e の
G 補間部120Gに選択制御信号を出力する。このとき、デ
ータセレクト部12b はこの選択制御信号に応じた方向の
G の画素データをG セレクト部120Sから２つ選んでRGB
補間部12eのG 補間部120Gに供給する。

【００３４】ただし、垂直、水平の差が見いだせなかっ
た場合、G 相関判定部12d は、対象画素の周囲に配置さ
れているG 画素を４つ用いて補間する。このため、予め
データラインを４本配設するようにデータセレクト部12
b を設定しておいてもよい。RGB 補間部12e は、上述し
たG 補間部120Gの他にR 補間部120R, B 補間部120Bを含
んでいる。R 補間部120R, B 補間部120Bには、データセ
レクト部12b で図示しなかったがR, B画素からのデータ
を選択してそれぞれ３本ずつデータが供給されている。
このようにして補間したRGB のデータがYC変換部12f に
出力される。

【００３５】YC変換部12f は、RGB 補間部12e からの補
間データとバッファメモリ12a から供給されるデータを
用いて輝度信号と色差信号を生成している。信号調整部
12gは、ローパスフィルタ部121g、輪郭補正部122g、お
よび色差補正部123gを含んでいる。ローパスフィルタ部
121gは、YC変換部12f からのデータに対してディジタル
フィルタ構成により帯域制限を施して色差補正部123gに
色差データ(B-Y), (R-Y)を供給する。また、YC変換部12
f からの輝度データY は輪郭補正部122gに供給される。
ここで、輝度データY は、輝度データY の信号帯域まで
広がりを含める場合ローパスフィルタ部121gを介して輪
郭補正部122gに供給するようにしてもよい。輪郭補正部
122gは、輝度データY にアパーチャ（輪郭強調）やコア
リング等の補正を施している。このように供給されるデ
ータに対して信号調整部12g で補正処理された輝度デー
タと色差データをデータ圧縮部11f に出力している。

【００３６】データ圧縮部11f は、信号処理部12から供
給される輝度データY, 色差データ(B-Y), (R-Y)のビッ
ト数を低減する圧縮処理を行っている。データ圧縮方法
には、たとえばハフマン符号化や差分PCM 等を用いてい
る。これによりデータ圧縮部11f は、データ量を抑える
処理を施して入出力インターフェース部11g に出力す
る。

【００３７】システム制御部13は、図示しないが電子ス
チルカメラ10を制御するシステムコントローラ、タイミ
ング信号発生部、およびアドレス制御部を含んでいる。
システムコントローラは、電子スチルカメラ10を制御す
るためタイミング信号発生部、およびアドレス制御部も
制御している。タイミング信号発生部は、電子スチルカ
メラ10の駆動および動作タイミングを調整する信号等を
発生して図１に示すように各部に供給している。また、
アドレス制御部は、信号処理部12においてアドレスの関
与するバッファメモリ12a に用いて有利である。これら
の制御は入出力インターフェース部11g を介してデー
タ、アドレスを行う。

【００３８】また、データ入力部11h は、ユーザの操作
するモード選択、シャッタ・レリーズボタン（いずれも
図示せず）等の設定や押圧指示の情報をシステム制御部
13に送っている。

【００３９】次に前述したように各部が構成されている
信号処理部12の動作について図３にのデータセレクタ部
12b および図４のG 相関算出部12c のさらなる詳細な構
成ならびに図５のCCD イメージセンサ11c から取り出さ
れる画素位置の関係を示す配置パターンを必要に応じて
参照しながら説明する。ここで、CCD イメージセンサ11
c からは図５(a) に示すベイヤ配列の色フィルタアレイ
11b を適用しているので、このパターンに対応した信号
が得られる。配列の位置は添字m,n で表す。基本的にG
画素の水平方向の相関値は、G 画素データのない画素を
横方向に見て隣接する画素を用い、両側に位置する画素
の差分の絶対値により求められる。また、G 画素の垂直
方向の相関値もG 画素データでない画素から縦方向に見
て隣接する画素を用い、それぞれG 画素データのない画
素を挟んで上下に位置する画素の差分をとり、この差分
の絶対値で算出される。

【００４０】この関係からベイヤ配列においてG 画素デ
ータでない画素（G 空隙画素）、すなわちR, B画素の位
置で相関値を算出しなければならない。算出された相関
値の位置は、画素を表したと同じ添字番号で表す（図５
(b) を参照）。

【００４１】CCD イメージセンサ11c から得られる信号
に基づき３つの相関値を用いてたとえば図５(a) の色フ
ィルタアレイ11b の画素B₃₄ での相関のあるG 画素デー
タの方向を選択する場合を説明する。CCD イメージセン
サ11c は、各セルで撮影された信号電荷が垂直転送レジ
スタ（図示せず）に読み出され水平転送レジスタ（図示
せず）から信号を取り出しているので、信号はたとえば
図５(a) の場合、添字m=6 のライン位置の画素をn=0 か
ら数値の増加する横方向に順次読み出され、次の読出し
では直上の行、すなわちm=5 のライン位置の画素からの
データが順次読み出される。この場合、読出し方向はm
の値の大から小の方へと読み出しが行われていくことに
なる。このデータをそのままA/D 変換部11e を介してデ
ータセレクト部12a に供給する。データセレクト部12a
は、６つの1H遅延回路DL1 〜DL6と、１画素分のデータ
遅延をさせる23個の遅延回路DL7 〜DL29と、G データの
選択方向に対応したデータを出力するG セレクト部120S
とを備えている。遅延回路は、D ラッチで構成しても遅
延素子で構成してもよい。

【００４２】〈垂直相関値S_V34の算出〉前述したように
図５(a) の画素B₃₄ の位置での相関値算出には、図５
(b) に示すように垂直方向に３つの相関値S_v14, S_v34,
S_v54が必要である。さらに、これら３つの相関値を算出
するには、図５(a) のG 画素データ、すなわち４つのG
₀₄,G₂₄, G₄₄, G₆₄が必要である。データセレクト部12a
に供給されたデータは、図３に示すように添字m=2,4,6
に対応した遅延出力が得られるように1H遅延回路を設け
る。これにより、垂直方向にm=0,2,4,6 のライン位置に
対応した遅延出力が得られる。各ラインでそれぞれ４つ
の遅延回路を経ることにより必要とされる４画素位置の
出力を同時に得られるようになる。遅延回路DL10は画素
G₀₄ データを出力する。同様に、画素G₂₄, G₄₄, G₆₄ が
それぞれ遅延回路DL14, DL25, DL29から得られる。遅延
回路DL10, DL14, DL25, DL29は、各出力を垂直差分演算
部12DVに供給する。また、画素G₂₄, G₄₄位置のデータ
は、空隙位置に隣接した画素データであるからG セレク
ト部120Sに供給される。

【００４３】垂直差分演算部12DVは、遅延回路DL10から
画素G₀₄ のデータを加算器DV1 に加算入力し、遅延回路
DL14から画素G₂₄ のデータを加算器DV1 に減算入力する
とともに、加算器DV2 に加算入力する。また、加算器DV
2 の他端側には遅延回路DL25から画素G₄₄ のデータが減
算入力され、加算器DV3 には加算入力される。最後に、
この加算器DV3 の他端側には遅延回路DL29から画素G₆₄
のデータが減算入力される。

【００４４】これにより、加算器DV1, DV2, DV3 は、そ
れぞれ、差分G₀₄-G₂₄, G₂₄-G₄₄, G₄₄-G₆₄ を算出して垂
直絶対値算出部12AVに供給する。垂直絶対値算出部12AV
は、垂直絶対値処理部AV1, AV2, AV3 で供給される差分
データを絶対値で表す処理を施して画素B₁₄, B₃₄, B₅₄
位置での相関値S₁₄=|G₀₄-G₂₄|, S₃₄=|G₂₄-G₄₄|, S₅₄=|G
₄₄-G₆₄| を算出している（垂直方向に関する相関値算出
工程）。

【００４５】相関値S_v14, S_v34, S_v54は、垂直評価用相
関値算出部121Vに供給される。垂直評価用相関値算出部
121Vは、新たな垂直方向の評価用相関値S_V34として相関
値S_v14, S_v34, S_v54に対してそれぞれ1:2:1 の重み係数
を掛け、さらに４分割して表される式(1)

【００４６】

【数１】 S_V34＝(S_v14+2*S_v34+S_v54)/4 ・・・(1) を導入する。図示しないがディジタルフィルタを用いる
と、演算に対応する処理を効果的に行うことができる。
このようにして垂直方向の評価用相関値S_V34を算出して
G 相関判定部12d の一端側に供給される（垂直方向の空
隙相関値算出工程）。

【００４７】〈水平相関値S_H34の算出〉図５(a) の画素
B₃₄ の位置での相関値算出には、たとえば水平方向にお
いて図５(b) に示すように３つの相関値S_h32, S_h34, S
_h36が必要である。さらに、これら３つの相関値を算出
するには、図５(a) のG 画素データ、すなわち４つのG
₃₁,G₃₃, G₃₅, G₃₇が必要である。データセレクト部12a
に供給されたデータは、図３に示すように添字n=1,3,5,
7 に対応して遅延出力が得られるように遅延回路を設け
る。この水平方向の遅延では垂直方向に3Hの遅延後に行
われなければならない。さらに、1H遅延回路DL3 からの
出力を最大 7段階まで遅延させる必要があることから水
平方向の遅延のために遅延回路DL15〜DL21を設ける。m,
n は垂直方向と水平方向に対応した遅延段数を表す。こ
のように遅延させることによりm=3, n=1に対応する遅延
回路DL15からは、画素G₃₇ からのデータが選択されるこ
とになる。同様に、複数の遅延回路を経ることにより、
画素G₃₅, G₃₃, G₃₁ がそれぞれ遅延回路DL17, DL19, DL
21から得られる。遅延回路DL15, DL17, DL19, DL21は、
各出力を水平差分演算部12DHに供給する。また、画素G
₃₃, G₃₅からのデータはGセレクト部120Sに供給される。

【００４８】水平差分演算部12DHは、遅延回路DL21から
データG₃₁ を加算器DH1 に減算入力し、遅延回路DL19か
ら画素G₃₃ のデータを加算器DH1 に加算入力するととも
に、加算器DH2 に減算入力する。また、加算器DH2 の他
端側には遅延回路DL17から画素G₃₅ のデータが加算入力
され、加算器DH3 には減算入力される。最後に、この加
算器DH3 の他端側には遅延回路DL15から画素G₃₇ のデー
タが加算入力される。

【００４９】これにより、加算器DH1, DH2, DH3 は、そ
れぞれ、差分G₃₃-G₃₁, G₃₅-G₃₃, G₃ ₇-G₃₅ を算出して水
平絶対値算出部12AHに供給する。水平絶対値算出部12AH
は、水平絶対値処理部AH1, AH2, AH3 で供給される差分
データを絶対値で表す処理を施して画素B₃₂, B₃₄, B₃₆
位置での相関値S_h32=|G₃₃-G₃₁|, S_h34=|G₃₅-G₃₃|, S_h36
=|G₃₇-G₃₅|を算出している（水平方向に関する相関値算
出工程）。

【００５０】相関値S_h32, S_h34, S_h37は、水平評価用相
関値算出部121Hに供給される。垂直評価用相関値算出部
121Hは、新たな垂直方向の評価用相関値S_H34として相関
値S_h32, S_h34, S_h37に対してそれぞれ1:2:1 の重み係数
を掛け、さらに４分割して表される式(2)

【００５１】

【数２】 S_H34＝(S_h32+2*S_h34+S_h37)/4 ・・・(2) を導入する。図示しないがこの場合もディジタルフィル
タを用いると、演算に対応する処理を効果的に行うこと
ができる。このようにして水平方向の評価用相関値S_H34
を算出してG 相関判定部12d の他端側に供給される（水
平方向の空隙相関値算出工程）。

【００５２】〈G 相関判定〉G 相関判定部12d は、供給
された垂直方向の評価用相関値S_V34と水平方向の評価用
相関値S_H34の大きさを比較する。このとき、相関の強さ
は、前述したように差分に基づいて相関値を算出してい
るので、小さい程、相関が強いと判定される。この関係
に基づいてたとえば水平方向の相関が強いと判定される
と、選択制御信号がデータセレクト部12a のG セレクト
部120SにデータG_33, G₃₅を選択するように出力されると
ともに、G 補間部120Gにも水平方向の補間を行うように
出力する（相関判定工程）。これと逆の判定結果が得ら
れたとき、選択制御信号がデータG_24, G₄₄を選択するよ
うにG セレクト部120Sに出力され、かつG 補間部120Gに
垂直方向の補間を行うように出力する。

【００５３】G セレクト部120Sは、供給される選択制御
信号に応じて２つのG データをRGB補間部12e のG 補間
部120Gに出力する。

【００５４】〈色補間処理〉RGB 補間部12e は、９個の
画素を用いて演算する。G 補間部120GはG 相関判定部12
d からの選択制御信号に応じて選択された方向に対して
補間処理を施す。補間処理をたとえばこれまで用いてき
た画素B₃₄ の位置を中心とする周囲の８画素で行う場合
を考える。このとき、図５（a)から明らかなように奇数
フィールドにおいて９画素中のG 画素は偶数個なので、
G 補間部120GはG セレクト部120Sから供給されるG 画素
を用いて補間演算を行う。ここで、G 補間部120Gは水平
方向に相関があるという選択制御信号を受けていると、
補間処理を水平方向だけ行うようにして補間画素G_Cを算
出する。この場合、補間画素G_Cは

【００５５】

【数３】 G_C=(G₃₃+G₃₅)/2=G₃₄ ・・・(3) という式(3) で表される。ところで、相関値に水平・垂
直で差がなかった場合、この周囲の４画素G₂₄, G₃₃, G
₃₅, G₄₄の加算平均で算出する。

【００５６】また、R 補間部120Bは、水平方向のR 補間
をR_h、垂直方向のR 補間をR_Vとすると、

【００５７】

【数４】 R_h=(G₃₄*R₂₄)/G₂₄=(G₃₃+G₃₅)(R₂₃+R₂₅)/(4G₂₄) ・・・(4)

【００５８】

【数５】 R_v=(R₃₃*G₃₄)/G₃₃=(R₂₃+R₄₃)(G₂₄+G₄₄)/(4G₃₃) ・・・(5) という式(4),式(5) により得られる。

【００５９】B 補間部120Bは、水平方向のB 補間をB_h、
垂直方向のB 補間をB_Vとすると、画素B₃₄ を対応させ
る。このようにしてG 画素の画素数が偶数個のときRGB
の各画素について補間を行っている。

【００６０】また、このRGB 補間部12e において、補間
に用いる９画素がたとえば画素G₃₃を中心とした領域の
補間の場合、図５(a) から明らかなようにG 画素はG₂₂,
G₂₄, G₃₃, G₄₂, G₄₄ と奇数個ある。この場合、G 補間
部120Gは、補間画素G_CをG₃₃に等しいとして扱う。

【００６１】R 補間部120Bは、水平方向のR 補間をR_h、
垂直方向のR 補間をR_Vとすると、

【００６２】

【数６】 R_h=(G₃₃*R₂₄)/G₂₃=(2G₃₃*R₂₄)/(G₂₂+G₂₄) ・・・(6)

【００６３】

【数７】 R_v=(R₂₄+R₄₃)/2 ・・・(7) という式(6),式(7) により得られる。

【００６４】一方、B 補間部120Bは、水平方向のB 補間
をB_h、垂直方向のB 補間をB_Vとすると、

【００６５】

【数８】 B_h=(B₃₂+B₃₄)/2 ・・・(8)

【００６６】

【数９】 B_v=(G₃₃*B₃₂)/G₃₂=(2G₃₃*B₃₂)/(G₂₂+G₄₂) ・・・(9) という式(6),式(7) によりそれぞれ得られる。このよう
にしてG 画素の画素数が奇数個のときRGB の各画素につ
いて補間を行っている。

【００６７】ところで、奇数フィールドと偶数フィール
ドの関係は画素R と画素B を入れ換えたものとして演算
関係の同様に入れ換えることで対処できる。この詳細な
関係は、たとえば特開平7-236147号公報に一般的な関係
が記載されている。

【００６８】このRGB 補間部12e は、各画素に対するそ
れぞれ補間処理をそれぞれ行ってYC変換部12f にRGB の
データを出力する。

【００６９】YC変換部12f は供給されたRGB の各データ
と１水平期間（1H）遅延させた各色のデータとに基づい
て高域輝度信号Y_H, 低域輝度信号Y_Lを発生させる。YC変
換部12f は、たとえば低域輝度信号Y_Lから高域輝度信号
Y_Hを減算したデータを通過帯域を0.7MHzまでとするディ
ジタルローパスフィルタを介してY_Cを生成する。また、
高域輝度信号Y_Hは通過帯域を4.2MHzまでとするディジタ
ルローパスフィルタを介して帯域制限された高域輝度信
号Y_Hになる。YC変換部12f においてY_Cと帯域制限された
高域輝度信号Y_Hとを加算して高域および低域の輝度成分
を含む輝度信号Y が生成される。

【００７０】YC変換部12f は供給されたRGB の各データ
と１水平期間（1H）遅延させた各色のデータとに基づい
て色差信号(R-Y), (B-Y)のデータも生成している。これ
らの生成された各種データは信号調整部12g に供給され
る。信号調整部12g は供給されたデータに信号処理を施
してY データ、(B-Y) データ、(R-Y) データを出力す
る。

【００７１】このように信号処理部12は補間処理を行う
前に相関の強い方向を的確に、従来に比べて誤判定を抑
えて指摘できるので、誤判定した際にこれまで生じてい
た色偽や境界領域の粒状模様等の発生を抑えることがで
きる。したがって、この処理により、得られる撮像され
た画像の品質を高く確実に保てるようになる。

【００７２】なお、縦方向にG をストライプ配設しこの
G ストライプを挟んだ両側の位置を縦方向にR, Bを交互
に配設してアレイがある。このようなパターンの色フィ
ルタをG ストライプRB市松パターンと呼ぶ。単板式の色
フィルタアレイには、G 色に着目すると、G がストライ
プに配置されたこのG ストライプRB市松パターンの他に
G ストライプRB完全市松パターン、G ストライプが２列
毎に配置されたストライプパターンや、G ストライプの
パターンを斜め45°回転させたG 色の正方格子状の配置
パターンとして前述した実施例のベイヤ、インタライ
ン、斜めストライプ等のパターンがある。本発明は前述
の実施例のパターンに限定されるものでなく、この配列
を考慮してたとえば複数のフレームメモリを用いてG 画
素のデータを選択して相関関係を広い範囲にわたるデー
タによって求めれば相関判定の誤りを抑え、そして補間
処理することで良好な画像を得ることができる。

【００７３】また、前述の実施例では基本的に相関値を
単に減算による差分で求めたが空隙位置を挟んで位置す
るG 画素の平均値の差分を基にして相関を調べてもよ
い。本発明は、前述の実施例でハードウェアの構成を用
いて説明したが、相関値算出およびその相関値による相
関方向の判定をソフトウェアにより行ってもよく装置の
簡略化も図ることができる。

【００７４】

【発明の効果】このように本発明に係る信号処理装置お
よびその処理方法によれば、相関算出手段で複数個の相
関値を水平および／または垂直方向に求め、これらの相
関値を基にさらに水平および／または垂直方向の相関を
求めた結果について相関判定手段で相関判定を行って、
この判定結果に基づいて色補間生成手段により第１の色
フィルタの空隙位置で第１の色フィルタの色成分の信号
を補間することにより、より強く相関している方向を正
確に知り得ることができるので、誤判定を従来よりも低
く抑えることができる。これにより、画像劣化させる信
号の発生が抑えられ、結果として出力される画像を高画
質に保つことができる。

【図面の簡単な説明】

【図１】本発明に係る信号処理装置を電子スチルカメラ
に適用した際の概略的なブロック図である。

【図２】図１に示した信号処理部の概略的な構成を説明
するブロック図である。

【図３】図２の信号処理部におけるデータセレクト部の
一例を示す構成図である。

【図４】図２の信号処理部において設定したデータセレ
クトに対応させたG 相関算出部の一例を示す構成図であ
る。

【図５】図１に示した色フィルタアレイにおける各色の
配列パターンと得られる相関値算出位置の関係を説明す
る図である。

【符号の説明】

10 電子スチルカメラ 11a 光学系 11b 色フィルタアレイ 11c CCD イメ−ジセンサ 11d A/D 変換部 12 信号処理部 12a バッファメモリ 12b データセレクト部 12c G 相関値算出部 12d G 相関判定部 12e RGB 補間部 12f YC変換部 12g 信号調整部 120 相関値算出部 121 評価用相関値算出部

Claims

【特許請求の範囲】

【請求項１】分光感度特性の異なる色のフィルタが配
置された色フィルタの中で、最も配置数の多い色フィル
タを第１の色フィルタとし、該第１の色フィルタに対応
した撮像手段の画素から得られる信号を基に信号処理を
行って、該撮像手段の第１の色フィルタとそれぞれ色の
異なる第２の色フィルタあるいは第３の色フィルタに対
応した画素位置での前記第１の色フィルタに対応した色
成分の信号を補間生成する信号処理装置であって、該装
置は、前記第１の色フィルタに対応した複数の画素から得られ
る信号を基に前記第２の色フィルタあるいは前記第３の
色フィルタに対応した画素位置での前記第１の色フィル
タに関する水平および／または垂直方向の相関値をそれ
ぞれ算出し、該算出した相関値を複数用いて、さらに前
記第１の色フィルタの空隙位置での相関値を算出する相
関値算出手段と、該相関値算出手段の結果から前記第１の色フィルタの空
隙位置での相関の強い方向を判定する相関判定手段と、該相関判定手段により判定された相関の強い方向に位置
する前記第１の色フィルタに対応した複数の画素から得
られる信号に基づいて前記第１の色フィルタの空隙位置
での色成分の信号を補間生成する色補間生成手段とを有
することを特徴とする信号処理装置。
【請求項２】請求項１に記載の信号処理装置におい
て、前記第１の色フィルタは、緑色のフィルタであり、前記第１の色フィルタは、垂直方向に一列に配し、かつ
水平方向に所望の間隔毎に配置した正方格子状パター
ン、該パターン全体を斜め45°方向に回転して正方格子
配置を成すパターンまたは前記第１の色フィルタの画素
位置が垂直方向あるいは水平方向にずらして配置されて
いるパターンであることを特徴とする信号処理装置。
【請求項３】請求項１に記載の信号処理装置におい
て、前記相関判定手段は、前記相関値算出手段から得ら
れた複数の相関値を基に前記第１の色フィルタの空隙位
置における相関の最も強い方向を判定し、該判定により
選ばれた方向で前記第１のフィルタの空隙位置に隣接し
た画素からの信号を選択することを特徴とする信号処理
装置。
【請求項４】請求項１または３に記載の信号処理装置
において、前記相関値算出手段は、画素の水平および／
または垂直方向についてそれぞれ算出された複数の相関
値に重み係数を掛けて各方向の相関値を算出することを
特徴とする信号処理装置。
【請求項５】請求項１に記載の信号処理装置におい
て、前記相関値算出手段は、前記複数の画素からの色成
分信号に基づいて算出した相関値にフィルタリング処理
を複数回繰り返して施すフィルタリング手段を含むこと
を特徴とする信号処理装置。
【請求項６】分光感度特性の異なる色のフィルタが配
置された色フィルタの中で最も配置数の多い色フィルタ
を第１の色フィルタとし、該色フィルタの透過光を撮像
手段で撮像した際に、該撮像手段の第１の色フィルタに
対応した画素から得られる信号を基に信号処理を行っ
て、該撮像手段の第１の色フィルタとそれぞれ色の異な
る第２の色フィルタあるいは第３の色フィルタに対応し
た画素での前記第１の色フィルタに対応した色成分の信
号を補間生成する信号処理方法であって、該方法は、前記第１の色フィルタに対応した複数の画素から得られ
る信号を基に前記第２の色フィルタあるいは前記第３の
色フィルタに対応した画素位置での前記第１の色フィル
タに関する水平および／または垂直方向の相関値をそれ
ぞれ複数個算出する相関値算出工程と、該相関値算出工程で得られた相関値を複数個用いて前記
第２の色フィルタあるいは前記第３の色フィルタの画素
位置での相関値を前記第１の色フィルタの空隙画素位置
での評価用相関値として算出する空隙相関値算出工程
と、該空隙相関値算出工程の結果から前記第１の色フィルタ
の空隙画素位置での相関の強い方向を判定する相関判定
工程と、該相関判定工程により判定された相関の強い方向に位置
する第１の色フィルタに対応した複数の画素から得られ
る信号に基づいて前記第１の色フィルタの空隙画素位置
での第１の色フィルタの成分の信号を補間生成する色補
間生成工程とを有することを特徴とする信号処理方法。
【請求項７】請求項６に記載の処理方法において、前
記相関判定工程は、前記相関値算出工程から得られた複
数の相関値を基に前記第１の色フィルタの空隙位置にお
ける相関の最も強い方向を判定し、該判定により選ばれ
た方向で前記第１のフィルタの空隙位置に隣接した画素
からの信号を選択することを特徴とする信号処理方法。
【請求項８】請求項６または７に記載の処理方法にお
いて、前記空隙相関値算出工程は、前記相関値算出手段
で得られた相関値に重み係数を掛けて算出することを特
徴とする信号処理方法。
【請求項９】請求項６に記載の信号処理方法におい
て、前記空隙相関値算出工程は、前記複数の画素からの
色成分信号に基づいて算出した相関値にフィルタリング
処理を複数回繰り返して施す工程を含むことを特徴とす
る信号処理方法。
【請求項１０】請求項６に記載の信号処理方法におい
て、前記色補間生成工程は、前記相関判定工程での水平
および垂直方向についてそれぞれ算出した前記第１の色
フィルタの空隙画素位置での相関値の差が所定のレベル
以下の場合、その画素位置の周囲に位置する前記第１の
色フィルタの４画素の平均を用いて補間することを特徴
とする信号処理方法。