JPH11177995A - 画像処理装置および画像処理方法、並びにカメラ - Google Patents

画像処理装置および画像処理方法、並びにカメラ

Info

Publication number
JPH11177995A
JPH11177995A JP9338388A JP33838897A JPH11177995A JP H11177995 A JPH11177995 A JP H11177995A JP 9338388 A JP9338388 A JP 9338388A JP 33838897 A JP33838897 A JP 33838897A JP H11177995 A JPH11177995 A JP H11177995A
Authority
JP
Japan
Prior art keywords
color
signal
circuit
detection circuit
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9338388A
Other languages
English (en)
Other versions
JP4135197B2 (ja
Inventor
Atsushi Kobayashi
篤 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP33838897A priority Critical patent/JP4135197B2/ja
Publication of JPH11177995A publication Critical patent/JPH11177995A/ja
Application granted granted Critical
Publication of JP4135197B2 publication Critical patent/JP4135197B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 相関検出による信号処理を行う場合には、G
による相関を検出する際に、fs/2の空間周波数があ
ると縦の相関が強いか横の相関が強いか判定できなくな
り、画質劣化の要因となる。 【解決手段】 原色RGBベイヤ配列のカラーフィルタ
を受光面上に有するACCDエリアセンサの出力信号を
処理する画像処理装置において、入力画像の空間サンプ
リング周波数fsに対して1/2倍した周波数成分の存
在をfs/2検出部16で検出するとともに、その検出
時に無彩色であるか否かの判定を行い、fs/2の周波
数成分を検出した場合において、有彩色時には有彩色用
処理回路102でfs/2の周波数成分が除去されたR
/G/Bの信号を主として出力し、無彩色時には無彩色
用処理回路103で水平補間または垂直補間されたR/
G/Bの信号を主として出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びにカメラに関し、特にカラーフィ
ルタを受光面上に有する固体撮像素子の出力信号を処理
する画像処理装置およびその処理方法、並びにこれらを
用いたカメラに関する。
【0002】
【従来の技術】従来、固体撮像素子に画像情報が入る前
に、折り返しノイズを除くことを目的として空間サンプ
リング周波数fsの1/2の周波数を除去するために、
光学的なLPF(Low Pass Filter) を用いて帯域制限を
行っていた。このように、光学LPFを用いて帯域制限
を行うことで、固体撮像素子の出力信号には、空間サン
プリング周波数fsの1/2付近の周波数成分が含まれ
なくなり、その結果、撮像した画像の解像感が損なわれ
ることになる。これに対し、撮像した画像の解像感を損
なわないようにするために、上記のような特性の光学L
PFを用いるのではなく、空間サンプリング周波数fs
の1/2の周波数よりも高い点のレスポンスを0とすれ
ば良い。
【0003】
【発明が解決しようとする課題】しかしながら、fs/
2の周波数よりも高い点のレスポンスを0とすると、偽
信号が発生するだけではなく、色配列が例えばR
(赤),G(緑),B(青)の原色ベイヤ配列のカラー
フィルタを有す固体撮像素子において、相関検出による
信号処理を行う場合には、Gによる相関を検出する際
に、fs/2の空間周波数があると縦の相関が強いか横
の相関が強いか判定できなくなり、画質劣化の要因とな
る。
【0004】すなわち、図16において、原色RGBベ
イヤ配列(a)に対応した固体撮像素子の画素配列に対
して、水平fs/2の画像(b)の信号、または垂直f
s/2の画像(c)の信号が入ってきた場合には、Gの
画素にのみ着目した場合の出力信号(d)は、水平fs
/2(b)でも垂直fs/2(c)でも同じになる。こ
のため、Gの出力信号を見ただけでは縦の相関が強い
(水平fs/2)のか、横の相関が強い(垂直fs/
2)のかが判別できないことになる。
【0005】なお、図16(a)において、Gr/Gb
はそれぞれR行のG画素/B行のG画素を示している。
また、同図(d)には、R/Gの画素を黒で表示してあ
り、灰色(散点)の画素と白色の画素に着目されたい。
【0006】本発明は、上記課題に鑑みてなされたもの
であり、その目的とするところは、縦の相関が強いの
か、横の相関が強いのかを確実に判別し、破綻のない画
像の再現を可能とした画像処理装置および画像処理方法
を提供することにある。
【0007】
【課題を解決するための手段】本発明による画像処理装
置は、所定の色配列のカラーフィルタを受光面上に有す
る固体撮像素子の出力信号を処理する画像処理装置であ
って、入力画像の空間サンプリング周波数に対して1/
2倍した周波数成分の存在を検出する周波数検出回路
と、色に関する情報を検出する色情報検出回路と、周波
数検出回路が上記周波数成分を検出したとき、色情報検
出回路の検出結果に基づいて入力画像に対する補正処理
を行う補正処理回路とを備えている。
【0008】また、本発明による画像処理方法は、所定
の色配列のカラーフィルタを受光面上に有する固体撮像
素子の出力信号を処理する画像処理方法であって、入力
画像の空間サンプリング周波数に対して1/2倍した周
波数成分の存在を検出するとともに、色に関する情報を
検出し、上記周波数成分の存在を検出したとき、色に関
する情報に基づいて入力画像に対する補正処理を行うよ
うにしている。
【0009】上記構成の画像処理装置およびその処理方
法において、例えば、相関検出による信号処理を行う場
合には、入力画像の空間サンプリング周波数に対する1
/2の周波数成分があると、縦の相関が強いか横の相関
が強いか判定できないことから、空間サンプリング周波
数の1/2の周波数成分の検出を行うとともに、色に関
する情報の検出、具体的には無彩色(=白)の検出を行
う。ただし、この無彩色の検出は、空間サンプリング周
波数の1/2の周波数成分を検出した場合にのみ意味を
持つ。これは、無彩色であるならば、空間サンプリング
周波数の1/2の領域でも、水平相関が強いか、垂直相
関が強いかを判定できるためである。
【0010】そして、空間サンプリング周波数の1/2
の周波数成分を検出した場合において、無彩色と判定し
たならば、無彩色検出で算出した数値を持って水平補間
または垂直補間を行う。これにより、無彩色時には、空
間サンプリング周波数の1/2に対応する解像度まで特
性を向上できる。一方、無彩色でない、つまり有彩色で
あると判定したならば、空間サンプリング周波数の1/
2の周波数成分を含まないR/G/Bの各信号を出力す
る。これにより、空間サンプリング周波数の1/2付近
の相関検出の誤検出を防止できる。
【0011】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。図1は、本発明によ
る画像処理装置の基本構成を示すブロック図である。こ
こで、本画像処理装置の処理対象となるカラー固体撮像
素子は、色配列として例えば図2に示すR(赤)G
(緑)B(青)の原色ベイヤ配列のカラーフィルタ11
を受光面上に有する単板式固体撮像素子12である。
【0012】なお、色配列は原色ベイヤ配列に限定され
るものではなく、さらにカラーフィルタもRGBの原色
の色配列に限られるものではなく、他の原色の色配列の
場合でも、補色を使用した色配列(例えば、Ye/Cy
/Mg/G)の場合でも同様に適応可能である。また、
固体撮像素子12としては、全画素の信号電荷を独立に
読み出すいわゆる全画素読み出し方式のCCD(Charge
Coupled Device) 固体撮像素子(以下、CCDエリアセ
ンサと称する)を用いるものとするが、全画素読み出し
方式ではないCCD固体撮像素子にも適応可能である。
【0013】CCDエリアセンサ12から出力されるR
GB点順次データは、信号処理部13において黒レベル
クランプやホワイトバランスなどの信号処理が行われた
後、検出部14および補間部15に供給される。検出部
14は、入力されるRGB点順次データから最適な補間
方法を検出し、その補間情報を補間部15へ送る。補間
部15は、検出部14から入力される補間情報を基にR
GB点順次データに対して補間処理を行って出力する。
【0014】検出部14は、図3に示すように、空間サ
ンプリング周波数fsの1/2の周波数成分を検出する
fs/2検出部16と、補間すべき画素(以下、補間画
素と称す)に関して上下および左右の互いに90°の整
数倍の角度をなす4方向、即ち垂直(V)方向の相反す
る2方向および水平(H)方向の相反する2方向の計4
方向の相関の程度を検出するVH相関検出部17と、補
間画素に関して右上、左上、左下、右下の斜め方向、即
ち上記4方向に対してそれぞれ45°の角度をなす4方
向の相関の程度を検出する斜め相関検出部18とを有す
る構成となっている。
【0015】なお、本例では、上下左右4方向に加え、
斜め4方向の計8方向の相関の程度を検出する構成を例
に採っているが、上下左右の4方向だけの相関の程度を
検出する構成であっても良い。ただし、以下の説明で
は、8方向の場合を例に採って説明するものとする。
【0016】一方、補間部15は、図4に示すように、
検出部14から与えられる補間情報に基づいて、Rの画
素情報に対して補間処理を行うR補間部19と、Gの画
素情報に対して補間処理を行うG補間部20と、Bの画
素情報に対して補間処理を行うB補間部21と、検出部
14の検出情報に基づいてfs/2でのハッチ上のノイ
ズが発生するのを抑止するための補正処理を行うfs/
2補正処理部22とを有する構成となっている。
【0017】以下に、検出部14におけるfs/2検出
部16、VH相関検出部17および斜め相関検出部18
の各構成例について説明する。
【0018】図5は、検出部14におけるfs/2検出
部16の具体的な構成の一例を示すブロック図である。
なお、図6に、fs/2検出部16における通過フィル
タの空間周波数‐レスポンスの特性を示す。
【0019】このfs/2検出部16は、通過する周波
数のレスポンスの最大値が入力画像の空間サンプリング
周波数fsの1/2の空間周波数であるフィルタ特性、
即ち図6の特性Aを持つfs/2通過フィルタ23と、
通過する周波数のレスポンスの最大値が入力画像の空間
サンプリング周波数fsの1/4の空間周波数であるフ
ィルタ特性、即ち図6の特性Bを持つfs/4通過フィ
ルタ24と、これら通過フィルタ23,24の各通過周
波数成分に基づいてfs/2の周波数成分を検出するf
s/2検出回路25とを有する構成となっている。
【0020】fs/2検出部16はさらに、輝度Y0の
レベルを所定の補正係数を掛けることによって補正する
輝度補正回路26を有している。そして、この輝度補正
回路26で補正された輝度レベルは、fs/2検出回路
25に供給される。fs/2検出回路25は、fs/
2,fs/4通過フィルタ23,24の各通過周波数成
分を比較し、その比較結果からfs/2の周波数成分の
存在の有無を検出する構成となっている。
【0021】具体的には、fs/2,fs/4通過フィ
ルタ23,24の各通過周波数成分の差分を求め、その
差分から輝度補正回路26で補正された輝度レベルを引
いた結果が正ならば、fs/2の周波数成分が存在する
ものとする。ここで、fs/2,fs/4通過フィルタ
23,24の各通過周波数成分の差分から輝度レベルを
引くのは、輝度によってスレッシュホールドが変動する
のを抑制するためである。以上により、fs/2検出系
27が構成されている。図7は、輝度Y0の検出の概念
図である。
【0022】fs/2検出部16にはさらに、色に関す
る情報、具体的には被写体が例えば5×5画素の領域で
無彩色(=白)であるか否かを検出する無彩色検出系2
8が設けられている。この無彩色検出系28は、R/G
/B信号の水平方向の色差レベルを算出する水平色差レ
ベル算出回路29と、垂直方向の色差レベルを算出する
垂直色差レベル算出回路30と、これら色差レベル算出
回路29,30の各出力に基づいてfs/2相関検出を
行い、水平/垂直方向の補間係数WhHGain/Wh
VGainを出力するfs/2相関検出回路31と、色
差レベル算出回路29,30の各出力に基づいて無彩色
の検出を行い、その無彩色レベルに応じた補間係数Wh
Gainを出力する無彩色検出回路32とを有する構成
となっている。
【0023】図8は、fs/2検出回路25におけるf
s/2検出(A)および無彩色検出(B)の概念図であ
る。先ず、図8(A)のfs/2検出系27において、
fs/2通過フィルタ23を通過した水平fs/2成分
および垂直fs/2成分は、絶対値化(ABS;absolut
e)回路33,34で絶対値化された後、加算器35で加
算される。同様にして、fs/4通過フィルタ24を通
過した水平fs/4成分および垂直fs/4成分は、絶
対値化回路36,37で絶対値化された後、加算器38
で加算される。なお、輝度補正回路26においては、乗
算器39で輝度Y0のレベルに所定の補正係数αを掛け
る処理が行われる。
【0024】加算器35の加算出力は、乗算器40で所
定の補正係数βが掛けられた後、減算器41の一方の入
力Aとなる。また、加算器38の加算出力は、加算器4
2で輝度Y0のレベルに所定の補正係数αを掛けたもの
が加算され、さらに加算器43で所定のオフセット値γ
が付与された後、減算器41の他方の入力Bとなる。こ
こで、補正係数βおよびオフセット値γは、スレッシュ
ホールドを決めるパラメータとなる。
【0025】減算器41は一方の入力Aから他方の入力
Bを減算する。すなわち、減算器41において、fs/
2成分(A)とfs/4成分(B)とを比較し(A−
B)、その差分(A−B)が正、即ちfs/2成分>f
s/4成分であれば、fs/2の周波数成分が存在する
旨の判定結果を出す。そして、この差分(A−B)がル
ックアップテーブル(LUT)44を通して補間係数G
2Gainとして出力される。すなわち、検出されたf
s/2の周波数成分が多ければ多い程、ルックアップテ
ーブル44からは大きな値の補間係数G2Gainが出
力される。
【0026】次に、図8(B)の無彩色検出系28にお
いて、R/G/Bの信号は、垂直方向、水平方向のバン
ドパスフィルタ45,46を通過し、絶対値化回路4
7,48で絶対値化された後、バンドパスフィルタ4
5,46とは直交した方向にローパスフィルタ49,5
0を通過する。これにより、垂直方向の色差レベルWh
Vおよび水平方向の色差レベルWhHが算出される。そ
して、垂直、水平方向の色差レベルWhV,レベルWh
Hは、減算器51にその2入力A,Bとして供給される
とともに、最小値算出回路52にも供給される。
【0027】減算器51は、一方の入力Aから他方の入
力Bを減算することで、垂直方向の色差レベルWhV
(A)と水平方向の色差レベルWhH(B)とを比較す
る。この比較結果から、垂直方向の相関が強いか、水平
方向の相関が強いを判定することができる。すなわち、
WhH>WhVのときは垂直方向の相関が強い、即ち縦
縞であると判定し、WhV>WhHのときは垂直方向の
相関が強い、即ち縦縞であると判定する。そして、減算
器51の減算出力(A−B)は、ルックアップテーブル
53を通して、垂直方向/水平方向の相関の度合いに応
じた補間係数WhVGain/WhHGainとして出
力される。なお、垂直方向の補間係数WhVGainと
水平方向の補間係数WhHGainとは相補的な関係に
あり、WhVGain+WhHGainは常に一定であ
る。
【0028】また、最小値算出回路52は、垂直方向の
色差レベルWhVおよび水平方向の色差レベルWhHの
うち、小さい方の数値を減算器54にその一方の入力A
として供給する。減算器54の他方の入力Bとしては、
輝度Y0に乗算器55で所定の補正係数δを掛け、さら
に減算器56で所定のオフセット値εを減算して得られ
る参照値が供給される。減算器54は、色差レベルWh
V,WhHの小さい方の数値Aと参照値Bとを比較し
(A−B)、その比較結果が負、即ち数値Aが参照値B
よりも小さければ無彩色(白)と判定する。そして、減
算器54の減算出力(A−B)は、ルックアップテーブ
ル57を通して、無彩色レベルに応じた補間係数WhG
ainとして出力される。
【0029】図9は、VH相関検出部17および斜め相
関検出部18の具体的な構成の一例を示すブロック図で
ある。
【0030】VH相関検出部17は、補間画素の右側の
画素の画素情報に基づいて相関の程度を示す相関値を算
出する右側相関値算出回路61と、補間画素の左側の画
素の画素情報に基づいて相関値を算出する左側相関値算
出回路62と、補間画素の上側の画素の画素情報に基づ
いて相関値を算出する上側相関値算出回路63と、補間
画素の下側の画素の画素情報に基づいて相関値を算出す
る下側相関値算出回路64と、これら相関値算出回路6
1〜64で算出した各相関値を補間ゲインに変換して出
力する相関値→補間ゲイン変換回路65とから構成され
ている。
【0031】上記構成のVH相関検出部17において、
相関値→補間ゲイン変換回路65からは、水平垂直補間
用ゲインRGain,LGain,TGain,BGa
inおよび水平垂直RB補間用ゲインRGainD,L
GainD,TGainD,BGainDが補間係数と
して出力される。
【0032】斜め相関検出部18は、補間画素の右上側
の画素の画素情報に基づいて相関値を算出する右上側相
関値算出回路66と、補間画素の左上側の画素の画素情
報に基づいて相関値を算出する左上側相関値算出回路6
7と、補間画素の左下側の画素の画素情報に基づいて相
関値を算出する左下側相関値算出回路68と、補間画素
の右下側の画素の画素情報に基づいて相関値を算出する
右下側相関値算出回路69と、これら相関値算出回路6
6〜69で算出した各相関値を補間ゲインに変換し、補
間係数として斜め補間用ゲインD1Gain〜D4Ga
inを出力する相関値→補間ゲイン変換回路70とから
構成されている。
【0033】さらに、水平垂直4方向と斜め4方向は互
いに直交していないため、VH‐斜め比較回路60にお
いて、水平垂直の相関値と斜めの相関値を比較すること
により、斜め補間補正用ゲインVHGain,DGai
nを補間係数として算出するようにしている。
【0034】続いて、補間部15におけるR/G/Bの
各補間部およびfs補正処理部22の各構成例について
説明する。
【0035】図10は、G補間部20の具体的な構成の
一例を示すブロック図である。図10において、色分離
後のGのデータは水平垂直4方向、即ち右側、左側、上
側、下側の各相関用処理回路71,72,73,74に
それぞれ供給され、これら相関用処理回路71,72,
73,74において4方向の補間データGr,Gl,G
t,Gbが生成される。これら補間データGr,Gl,
Gt,Gbは、補間する方向にLPFを通すことで生成
される。
【0036】補間データGr,Gl,Gt,Gbは各
々、乗算器75,76,77,78において、図9に示
すVH相関検出部17で決定された補間係数、即ち水平
垂直補間用ゲインRGain,LGain,TGai
n,BGainがそれぞれ掛けられる。そして、加算器
79〜81で加算されることにより、Gの補間処理が行
われる。補間処理後のGの画像データは、(1)式で表
される。 G=Gr×RGain+Gl×LGain +Gt×TGain+Gb×BGain ……(1)
【0037】斜め4方向についても同様に、右上側、左
上側、左下側、右下側の各相関用処理回路82,83,
84,85において、D1/D2/D3/D4の各方向
の補間データが生成され、乗算器86,87,88,8
9において、図9に示す斜め相関検出部18で決定され
た斜め補間用ゲインD1Gain,D2Gain,D3
Gain,D4Gainがそれぞれ掛けられた後、加算
器90〜92で足し合わされることによって補間処理が
行われる。
【0038】また、水平垂直4方向相関検出/補間によ
るGの画像データGvhと、斜め4方向相関検出/補間
によるGの画像データGdを、状況に合わせて(2)式
に示すように混合比を変化させて加算する。混合比の調
整は、図9に示すVH‐斜め比較回路60で算出される
斜め補間補正用ゲインVHGain,DGainによっ
て行われる。 G=Gvh×VHGain+Gd×DGain ……(2)
【0039】図11は、R,B補間部19,21の具体
的な構成の一例を示すブロック図である。このR,B補
間部19,21の構成については、図10に示すG補間
部20の構成と基本的に同じである。したがって、図1
1中、図10と同等部分には同一符号を付して示してあ
る。ただし、右側、左側、上側、下側の各相関用処理回
路71′,72′,73′,74′における補間データ
の生成法については、Gの場合に比べて複雑である。そ
の理由として2つあり、RB補間用相関検出を行うこと
と、G/2成分をRBに加えるためである。
【0040】そのため、RG補間用相関検出は、水平
(右、左)の補間データ用と垂直方向(上、下)の補間
データ用では別々に行う。具体的には、R画素およびB
画素の信号からR信号/B信号を補間する際に、先述し
た水平垂直RG補間用ゲインRGainD,LGain
D,TGainD,BGainDを、R/B専用の補間
係数として算出して用いる。これについては、本発明の
要旨ではないので、ここではその詳細な説明は省略す
る。
【0041】図12は、fs/2補正処理部22の具体
的な構成の一例を示すブロック図である。
【0042】図12において、RGB信号は、無彩色用
処理回路101および有彩色用処理回路102に供給さ
れる。無彩色用処理回路101は、入力画像に対して水
平方向の補間処理を行う水平補間回路103と、入力画
像に対して垂直方向の補間処理を行う垂直補間回路10
4と、これら補間回路103,104の各出力に対して
fs/2検出部16から与えられる補間係数WhHGa
in,WhVGainを掛ける乗算器105,106
と、これら乗算器105,106の各乗算出力を加算す
る加算器107とを有する構成となっている。
【0043】この無彩色用処理回路101を経た信号
は、乗算器108でfs/2検出部16から与えられる
補間係数WhGainが掛けられた後、加算器109の
一方の入力となる。加算器109の他方の入力として
は、有彩色用処理回路102を経た信号に、乗算器11
0でfs/2検出部16から与えられる補間係数WhG
ainから算出される補間係数WhGain′を掛けた
ものが与えられる。補間係数WhGain′は、例え
ば、定数より補間係数WhGainを引くことにより算
出される。なお、有彩色用処理回路102は、図13の
特性図に示すように、入力画像の空間サンプリング周波
数fsの1/2の周波数成分のレスポンスが0であるフ
ィルタ特性を持つfs/2トラップ回路によって構成さ
れている。
【0044】加算器109の加算出力は、乗算器111
でfs/2検出部16から与えられる補間係数G2Ga
inが掛けられた後、加算器112の一方の入力とな
る。また、R/G/Bの各補間部19,20,21から
供給される各補間出力RIP/GIP/BIPは、乗算
器113でfs/2検出部16から与えられる補間係数
G2Gainから算出される補間係数G2Gain′が
掛けられた後、加算器112の他方の入力となる。な
お、補間係数G2Gain′は、例えば、定数より補間
係数G2Gainを引くことにより算出される。図14
は、fs/2補正処理部22における補正処理の概念図
である。この概念図から明らかなように、補正処理はR
/G/Bの各信号ごとに行われる。
【0045】上記構成の画像処理装置において、fs/
2検出部16では先ず、図5に示すfs/2検出系27
によってfs/2の周波数成分の存在の有無が検出され
る。すなわち、色分離後のG信号をfs/2通過フィル
タ23およびfs/4通過フィルタ24に通し、fs/
2検出回路25において、それらの差分から輝度Y0の
レベルに所定の補正係数αを掛けたものを減算し、その
減算結果が正ならば、fs/2の周波数成分が存在する
ものとする。
【0046】また、無彩色検出系28では、被写体が例
えば5×5画素の領域で無彩色であるか否かの検出が行
われる。すなわち、図8(B)から明らかなように、垂
直方向、水平方向それぞれに対してバンドパスフィルタ
45,46を通した後、絶対値化回路47,48で絶対
値をとり、それをバンドパスフィルタ45,46とは直
交した方向にローパスフィルタ49,50を通した値の
うち、小さい方の数値(WhV/WhH)が、輝度Y0
に所定の補正係数δを掛けた値よりも小さければ、無彩
色(白)と判定する。
【0047】そして、fs/2補正処理部22において
は、fs/2検出部16のfs/2検出系27から与え
られる補間係数G2Gain,G2Gain′、並びに
無彩色検出系28から与えられる補間係数WhHGai
n,WhVGainおよび補間係数WhGain,Wh
Gain′に基づいて、fs/2の周波数成分の存在を
検出しないとき、また検出した場合であって無彩色のと
き又は有彩色のときにそれぞれ最適な補正処理が実行さ
れる。これら各補正処理について、以下に説明する。
【0048】先ず、fs/2の周波数成分の存在を検出
しない場合には、fs/2付近の相関検出の誤検出の問
題は生じないことから、通常のRGB補間処理が行われ
る。すなわち、fs/2の検出成分が少ないことから、
fs検出部16のfs/2検出系27から与えられる補
間係数G2Gainが小さく、かつ補間係数G2Gai
n′が大きいことから、加算器112での混合の比率
は、R/G/Bの各補間部19,20,21から供給さ
れる各補間出力RIP/GIP/BIP側が大となり、
補間出力RIP/GIP/BIPが主として出力され
る。
【0049】次に、fs/2の周波数成分の存在を検出
した場合には、無彩色検出系28の判定結果に基づいて
補正処理を行う。先ず、無彩色でない、つまり有彩色で
あると判定された場合には、無彩色検出系28から与え
られる補間係数WhGainが小さく、かつ補間係数W
hGain′が大きいことから、加算器109での混合
の比率は、有彩色用処理回路102側が大となり、有彩
色用処理回路102でfs/2の周波数成分が除去され
たR/G/Bの各信号が主として出力される。このと
き、加算器112での混合の比率は、fs/2の周波数
成分の検出時であるから、有彩色用処理回路102側が
大となっている。
【0050】一方、fs/2の周波数成分の存在を検出
した場合において、無彩色であると判定された場合に
は、fs/2の領域であっても、水平相関が強いか、垂
直相関が強いかを判定できるため、図12に示す無彩色
処理回路101において、無彩色検出で算出された数
値、即ち無彩色検出系28から与えられる補間係数Wh
HGain,WhVGainを用いて水平補間回路10
3を経た信号と垂直補間回路104を経た信号との混合
比を変えることによって、水平補間または垂直補間を行
う。この場合、無彩色が前提であるため、図14の概念
図から明らかなように、RBはGで代用する。
【0051】上述したように、fs/2の周波数成分の
存在を検出した場合において、有彩色と判定した場合に
は、R/G/Bの各補間部19,20,21で補間処理
された補間出力RIP/GIP/BIPを使用せずに、
fs/2の周波数成分が除去されたR/G/Bの信号を
使用するようにしたことで、相関検出による信号処理を
行う際に、fs/2の空間周波数があっても、fs/2
付近の相関検出の誤検出を防止できるため、破綻のない
画像の再現が可能となる。
【0052】しかも、fs/2の周波数成分を検出した
場合において、無彩色と判定した場合には、fs/2の
周波数成分が除去されたR/G/Bの信号を使用せず
に、無彩色検出で算出した数値を持って水平補間または
垂直補間を行うようにしたことで、無彩色を撮像した場
合における解像度をfs/2相当まで上げることが可能
となる。一例として、VGA(Video Graphics Array)
(640×480)画素の場合において、無彩色の被写
体では解像度がfs/2相当である480本まで改善で
きることになる。
【0053】図15は、本発明に係るカメラの一例を示
す概略構成図である。図15において、被写体からの入
射光は、レンズ121等を含む光学系によってCCDエ
リアセンサ122の受光面(撮像面)上に結像される。
CCDエリアセンサ122の受光面上には、色配列が例
えば原色ベイヤ配列のカラーフィルタ123が設けられ
ている。CCDエリアセンサ122は、CCD駆動回路
124によって露光、信号電荷の読み出しおよび転送な
どの駆動制御が行われる。
【0054】CCDエリアセンサ122の出力信号は画
像処理装置125に供給され、種々の信号処理が行われ
る。この画像処理装置125として、水平垂直および斜
めの8方向の相関を検出し、その検出結果に基づいて適
応型補間処理を行うとともに、fs/2の周波数成分の
検出時において、無彩色の場合と有彩色の場合で補間処
理を変える構成の上記実施形態に係る画像処理装置が用
いられる。
【0055】このように、例えば原色ベイヤ配列のカラ
ーフィルタ123を持つCCDエリアセンサ122を撮
像デバイスとして用いたカメラにおいて、相関検出によ
る信号処理を行う際に、fs/2の空間周波数成分が存
在しても、fs/2付近の相関検出の誤検出を防止で
き、破綻のない画像の再現が可能になるとともに、光学
LPFを用いてfs/2付近のレスポンスを0とする必
要がなくなり、レスポンスが0となる空間周波数を高く
することが可能となるため、再現画像の解像度/解像感
を向上できる。
【0056】
【発明の効果】以上説明したように、本発明によれば、
カラーフィルタを受光面上に有する固体撮像素子の出力
信号を処理する際に、fs/2の周波数成分の存在を検
出し、その周波数成分の存在を検出した場合において、
有彩色と判定したときには、fs/2の周波数成分が除
去されたR/G/Bの各信号を使用するようにしたこと
により、fs/2付近の相関検出の誤検出を防止できる
ため、破綻のない画像が再現可能となり、また無彩色と
判定したときには、無彩色検出で算出した数値を持って
水平補間または垂直補間を行うようにしたことにより、
無彩色を撮像した場合における解像度をfs/2相当ま
で上げることが可能となる。
【図面の簡単な説明】
【図1】本発明による画像処理装置の基本構成を示すブ
ロック図である。
【図2】カラーフィルタの原色ベイヤ配列図である。
【図3】検出部の構成の一例を示すブロック図である。
【図4】補間部の構成の一例を示すブロック図である。
【図5】fs/2検出部の具体的な構成の一例を示すブ
ロック図である。
【図6】fs/2検出部における通過フィルタの空間周
波数‐レスポンスの特性図である。
【図7】輝度Y0の検出の概念図である。
【図8】fs/2検出の概念図であり、(A)はfs/
2検出系を、(B)は無彩色検出系をそれぞれ示してい
る。
【図9】VH相関検出部および斜め相関検出部の具体的
な構成の一例を示すブロック図である。
【図10】G補間部の具体的な構成の一例を示すブロッ
ク図である。
【図11】R,B補間部の具体的な構成の一例を示すブ
ロック図である。
【図12】fs/2補正処理部の具体的な構成の一例を
示すブロック図である。
【図13】fs/2トラップ回路の特性図である。
【図14】fs/2補正処理の概念図である。
【図15】本発明に係るカメラの一例を示す概略構成図
である。
【図16】課題を説明するための図である。
【符号の説明】
11,123…カラーフィルタ、12,122…CCD
エリアセンサ、14…検出部、15…補間部、16…f
s/2検出部、17…VH相関検出部、18…斜め相関
検出部、19…R補間部、20…G補間部、21…B補
間部、22…fs/2補正処理部、23…fs/2通過
フィルタ、24…fs/4通過フィルタ、25…fs/
2検出回路、26…輝度補正回路、27…fs/2検出
系、28…無彩色検出系、29…水平色差レベル算出回
路、30…垂直色差レベル算出回路、31…fs/2相
関検出回路、32…無彩色検出回路

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 所定の色配列のカラーフィルタを受光面
    上に有する固体撮像素子の出力信号を処理する画像処理
    装置であって、 入力画像の空間サンプリング周波数に対して1/2倍し
    た周波数成分の存在を検出する周波数検出回路と、 色に関する情報を検出する色情報検出回路と、 前記周波数検出回路が前記周波数成分を検出したとき、
    前記色情報検出回路の検出結果に基づいて入力画像に対
    する補正処理を行う補正処理回路とを備えたことを特徴
    とする画像処理装置。
  2. 【請求項2】 前記周波数検出回路は、通過する周波数
    のレスポンスの最大値が入力画像の空間サンプリング周
    波数の1/2の空間周波数である第1のフィルタと、通
    過する周波数のレスポンスの最大値が入力画像の空間サ
    ンプリング周波数の1/4の空間周波数である第2のフ
    ィルタと、前記第1,第2のフィルタの各通過周波数成
    分を比較することによって前記空間サンプリング周波数
    の1/2の周波数成分を検出する検出部とを有すること
    を特徴とする請求項1記載の画像処理装置。
  3. 【請求項3】 前記周波数検出回路は、補間すべき画素
    の近傍の画素の平均信号レベルを前記第1のフィルタの
    通過周波数成分から減算する手段を有することを特徴と
    する請求項2記載の画像処理装置。
  4. 【請求項4】 前記色情報検出回路は、補間すべき画素
    を中心として入力画像信号の水平方向および垂直方向の
    各変化量を検出する変化量検出回路と、前記変化量検出
    回路によって検出された前記水平方向および垂直方向の
    各変化量に基づいて無彩色レベルを検出する無彩色検出
    回路とを有することを特徴とする請求項1記載の画像処
    理装置。
  5. 【請求項5】 前記無彩色検出回路は、前記変化量検出
    回路によって検出された前記水平方向および垂直方向の
    各変化量の最小値と所定の参照値とを比較することによ
    って無彩色レベルを検出することを特徴とする請求項4
    記載の画像処理装置。
  6. 【請求項6】 前記補正処理回路は、入力画像に対して
    水平補間または垂直補間を行う無彩色用処理回路と、入
    力画像に対してその空間サンプリング周波数の1/2の
    周波数成分を除去する有彩色用処理回路と、前記無彩色
    用処理回路を経た信号と前記有彩色用処理回路を経た信
    号とを前記色情報検出回路の検出出力に応じた第1の混
    合比で混合する第1の混合回路とを有することを特徴と
    する請求項1記載の画像処理装置。
  7. 【請求項7】 前記カラーフィルタの色配列がR(赤)
    G(緑)B(青)の原色ベイヤ配列であり、 前記無彩色用処理回路は、Gの入力画像に対して水平補
    間または垂直補間を行うことを特徴とする請求項6記載
    の画像処理装置。
  8. 【請求項8】 前記色情報検出回路は、補間すべき画素
    を中心として入力画像信号の水平方向および垂直方向の
    各変化量に基づいて無彩色レベルを検出する無彩色検出
    回路を有し、 前記第1の混合回路は、この無彩色検出回路で検出され
    た無彩色レベルが大きい場合に前記無彩色用処理回路を
    経た信号の比率が大きくなるように前記第1の混合比を
    変化させることを特徴とする請求項6記載の画像処理装
    置。
  9. 【請求項9】 前記色情報検出回路は、前記変化量検出
    回路によって検出された前記水平方向および垂直方向の
    各変化量を比較し、その比較結果に応じた第2の混合比
    を設定する混合比設定回路を有し、 前記無彩色用処理回路は、入力画像に対して水平補間を
    行う第1の信号処理系と、入力画像に対して垂直補間を
    行う第2の信号処理系と、前記第1の信号処理系を経た
    信号と前記第2の信号処理系を経た信号とを前記第2の
    混合比で混合する第2の混合回路とを有することを特徴
    とする請求項6記載の画像処理装置。
  10. 【請求項10】 前記混合比設定回路は、水平方向の変
    化量に比して垂直方向の変化量が大きいときには前記第
    1の信号処理系を経た信号の比率が大きくなり、垂直方
    向の変化量に比して水平方向の変化量が大きいときには
    前記第2の信号処理系を経た信号の比率が大きくなるよ
    うに前記第2の混合比を変化させることを特徴とする請
    求項9記載の画像処理装置。
  11. 【請求項11】 所定の色配列のカラーフィルタを受光
    面上に有する固体撮像素子の出力信号を処理する画像処
    理方法であって、 入力画像の空間サンプリング周波数に対して1/2倍し
    た周波数成分の存在を検出するとともに、色に関する情
    報を検出し、 前記周波数成分の存在を検出したとき、前記色に関する
    情報に基づいて入力画像に対する補正処理を行うことを
    特徴とする画像処理方法。
  12. 【請求項12】 前記色に関する情報の検出では、補間
    すべき画素を中心として入力画像信号の水平方向および
    垂直方向の各変化量を検出し、これら各変化量に基づい
    て無彩色レベルを検出することを特徴とする請求項11
    記載の画像処理方法。
  13. 【請求項13】 前記無彩色レベルの検出では、前記水
    平方向および垂直方向の各変化量の最小値と所定の参照
    値とを比較することによって検出することを特徴とする
    請求項12記載の画像処理方法。
  14. 【請求項14】 前記補正処理においては、入力画像に
    対して水平補間または垂直補間を行った信号と、入力画
    像に対してその空間サンプリング周波数の1/2の周波
    数成分を除去した信号とを、前記無彩色レベルに応じた
    混合比で混合することを特徴とする請求項12記載の画
    像処理方法。
  15. 【請求項15】 所定の色配列のカラーフィルタを受光
    面上に有する固体撮像素子と、被写体からの入射光を前
    記固体撮像素子の受光面上に結像させる光学系と、前記
    固体撮像素子の出力信号を処理する画像処理装置とを具
    備するカメラであって、 前記画像処理装置は、 入力画像の空間サンプリング周波数に対して1/2倍し
    た周波数成分の存在を検出する周波数検出回路と、 色に関する情報を検出する色情報検出回路と、 前記周波数検出回路が前記周波数成分を検出したとき、
    前記色情報検出回路の検出結果に基づいて入力画像に対
    する補正処理を行う補正処理回路とを有することを特徴
    とするカメラ。
  16. 【請求項16】 前記色情報検出回路は、補間すべき画
    素を中心として入力画像信号の水平方向および垂直方向
    の各変化量を検出する変化量検出回路と、前記変化量検
    出回路によって検出された前記水平方向および垂直方向
    の各変化量に基づいて無彩色レベルを検出する無彩色検
    出回路とを有することを特徴とする請求項15記載のカ
    メラ。
  17. 【請求項17】 前記補正処理回路は、入力画像に対し
    て水平補間または垂直補間を行う無彩色用処理回路と、
    入力画像に対してその空間サンプリング周波数の1/2
    の周波数成分を除去する有彩色用処理回路と、前記無彩
    色用処理回路を経た信号と前記有彩色用処理回路を経た
    信号とを前記色情報検出回路の検出出力に応じた混合比
    で混合する混合回路とを有することを特徴とする請求項
    15記載のカメラ。
JP33838897A 1997-12-09 1997-12-09 画像処理装置および画像処理方法、並びにカメラ Expired - Fee Related JP4135197B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33838897A JP4135197B2 (ja) 1997-12-09 1997-12-09 画像処理装置および画像処理方法、並びにカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33838897A JP4135197B2 (ja) 1997-12-09 1997-12-09 画像処理装置および画像処理方法、並びにカメラ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007239041A Division JP2007329976A (ja) 2007-09-14 2007-09-14 画像処理装置および画像処理方法、並びにカメラ

Publications (2)

Publication Number Publication Date
JPH11177995A true JPH11177995A (ja) 1999-07-02
JP4135197B2 JP4135197B2 (ja) 2008-08-20

Family

ID=18317695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33838897A Expired - Fee Related JP4135197B2 (ja) 1997-12-09 1997-12-09 画像処理装置および画像処理方法、並びにカメラ

Country Status (1)

Country Link
JP (1) JP4135197B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826302B2 (en) 2000-05-12 2004-11-30 Sanyo Electric Co., Ltd. Luminance correction of colorless low saturation regions using correction constants calculated from color saturation values
US6836572B2 (en) 1998-06-01 2004-12-28 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recorded therein
US7565007B2 (en) 2001-01-25 2009-07-21 Nikon Corporation Image processing method, image processing program, and image processing apparatus
KR101178472B1 (ko) 2010-12-16 2012-09-06 엠텍비젼 주식회사 화이트 밸런스 유지 및 정확한 발색을 위한 색 보정 방법 및 장치
CN109375979A (zh) * 2018-10-22 2019-02-22 努比亚技术有限公司 流量控制方法、终端及可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08306472A (ja) * 1995-03-03 1996-11-22 Yukio Shiroo 広範囲の電圧帯で発熱する面状発熱体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6836572B2 (en) 1998-06-01 2004-12-28 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recorded therein
US6826302B2 (en) 2000-05-12 2004-11-30 Sanyo Electric Co., Ltd. Luminance correction of colorless low saturation regions using correction constants calculated from color saturation values
US7565007B2 (en) 2001-01-25 2009-07-21 Nikon Corporation Image processing method, image processing program, and image processing apparatus
KR101178472B1 (ko) 2010-12-16 2012-09-06 엠텍비젼 주식회사 화이트 밸런스 유지 및 정확한 발색을 위한 색 보정 방법 및 장치
CN109375979A (zh) * 2018-10-22 2019-02-22 努比亚技术有限公司 流量控制方法、终端及可读存储介质
CN109375979B (zh) * 2018-10-22 2022-12-27 联洋国融(北京)科技有限公司 流量控制方法、终端及可读存储介质

Also Published As

Publication number Publication date
JP4135197B2 (ja) 2008-08-20

Similar Documents

Publication Publication Date Title
JP4066484B2 (ja) 画像処理装置および画像処理方法、並びにカメラ
JP3263924B2 (ja) カラー撮像装置
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
KR100381496B1 (ko) 화상 신호 처리 장치
EP2152010B1 (en) Luminance signal generation apparatus, luminance signal generation method, and image capturing apparatus
US8384799B2 (en) Image processing apparatus and image processing method
JP4135197B2 (ja) 画像処理装置および画像処理方法、並びにカメラ
KR910006858B1 (ko) 칼러 카메라의 영상신호처리회로
JP4178571B2 (ja) 画像処理装置および画像処理方法、並びにカメラ
US6400403B1 (en) Solid-state imaging device having improved resolution without generating a pseudo signal
JP4666681B2 (ja) 画像処理装置および画像処理方法
JP3968480B2 (ja) 相関値算出回路およびその算出方法
JPH0470827B2 (ja)
JP2007329976A (ja) 画像処理装置および画像処理方法、並びにカメラ
JP3337962B2 (ja) 映像信号処理方法及び映像信号処理装置
JP2006303774A (ja) 撮像装置
JP2650062B2 (ja) カラー撮像装置
JPH089395A (ja) カラー撮像装置
JP3591257B2 (ja) 映像信号処理方法及び映像信号処理装置
JP2890573B2 (ja) 撮像装置
JPS63290480A (ja) 撮像装置
JP2000032477A (ja) 映像信号処理装置及び映像信号処理方法
JPS6342478B2 (ja)
EP1675407A1 (en) Colour separation
JPH11136690A (ja) カラー撮像装置及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20080205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080513

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080526

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees