JPH11177995A - 画像処理装置および画像処理方法、並びにカメラ - Google Patents
画像処理装置および画像処理方法、並びにカメラInfo
- Publication number
- JPH11177995A JPH11177995A JP9338388A JP33838897A JPH11177995A JP H11177995 A JPH11177995 A JP H11177995A JP 9338388 A JP9338388 A JP 9338388A JP 33838897 A JP33838897 A JP 33838897A JP H11177995 A JPH11177995 A JP H11177995A
- Authority
- JP
- Japan
- Prior art keywords
- color
- signal
- circuit
- detection circuit
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
による相関を検出する際に、fs/2の空間周波数があ
ると縦の相関が強いか横の相関が強いか判定できなくな
り、画質劣化の要因となる。 【解決手段】 原色RGBベイヤ配列のカラーフィルタ
を受光面上に有するACCDエリアセンサの出力信号を
処理する画像処理装置において、入力画像の空間サンプ
リング周波数fsに対して1/2倍した周波数成分の存
在をfs/2検出部16で検出するとともに、その検出
時に無彩色であるか否かの判定を行い、fs/2の周波
数成分を検出した場合において、有彩色時には有彩色用
処理回路102でfs/2の周波数成分が除去されたR
/G/Bの信号を主として出力し、無彩色時には無彩色
用処理回路103で水平補間または垂直補間されたR/
G/Bの信号を主として出力する。
Description
び画像処理方法、並びにカメラに関し、特にカラーフィ
ルタを受光面上に有する固体撮像素子の出力信号を処理
する画像処理装置およびその処理方法、並びにこれらを
用いたカメラに関する。
に、折り返しノイズを除くことを目的として空間サンプ
リング周波数fsの1/2の周波数を除去するために、
光学的なLPF(Low Pass Filter) を用いて帯域制限を
行っていた。このように、光学LPFを用いて帯域制限
を行うことで、固体撮像素子の出力信号には、空間サン
プリング周波数fsの1/2付近の周波数成分が含まれ
なくなり、その結果、撮像した画像の解像感が損なわれ
ることになる。これに対し、撮像した画像の解像感を損
なわないようにするために、上記のような特性の光学L
PFを用いるのではなく、空間サンプリング周波数fs
の1/2の周波数よりも高い点のレスポンスを0とすれ
ば良い。
2の周波数よりも高い点のレスポンスを0とすると、偽
信号が発生するだけではなく、色配列が例えばR
(赤),G(緑),B(青)の原色ベイヤ配列のカラー
フィルタを有す固体撮像素子において、相関検出による
信号処理を行う場合には、Gによる相関を検出する際
に、fs/2の空間周波数があると縦の相関が強いか横
の相関が強いか判定できなくなり、画質劣化の要因とな
る。
イヤ配列(a)に対応した固体撮像素子の画素配列に対
して、水平fs/2の画像(b)の信号、または垂直f
s/2の画像(c)の信号が入ってきた場合には、Gの
画素にのみ着目した場合の出力信号(d)は、水平fs
/2(b)でも垂直fs/2(c)でも同じになる。こ
のため、Gの出力信号を見ただけでは縦の相関が強い
(水平fs/2)のか、横の相関が強い(垂直fs/
2)のかが判別できないことになる。
はそれぞれR行のG画素/B行のG画素を示している。
また、同図(d)には、R/Gの画素を黒で表示してあ
り、灰色(散点)の画素と白色の画素に着目されたい。
であり、その目的とするところは、縦の相関が強いの
か、横の相関が強いのかを確実に判別し、破綻のない画
像の再現を可能とした画像処理装置および画像処理方法
を提供することにある。
置は、所定の色配列のカラーフィルタを受光面上に有す
る固体撮像素子の出力信号を処理する画像処理装置であ
って、入力画像の空間サンプリング周波数に対して1/
2倍した周波数成分の存在を検出する周波数検出回路
と、色に関する情報を検出する色情報検出回路と、周波
数検出回路が上記周波数成分を検出したとき、色情報検
出回路の検出結果に基づいて入力画像に対する補正処理
を行う補正処理回路とを備えている。
の色配列のカラーフィルタを受光面上に有する固体撮像
素子の出力信号を処理する画像処理方法であって、入力
画像の空間サンプリング周波数に対して1/2倍した周
波数成分の存在を検出するとともに、色に関する情報を
検出し、上記周波数成分の存在を検出したとき、色に関
する情報に基づいて入力画像に対する補正処理を行うよ
うにしている。
法において、例えば、相関検出による信号処理を行う場
合には、入力画像の空間サンプリング周波数に対する1
/2の周波数成分があると、縦の相関が強いか横の相関
が強いか判定できないことから、空間サンプリング周波
数の1/2の周波数成分の検出を行うとともに、色に関
する情報の検出、具体的には無彩色(=白)の検出を行
う。ただし、この無彩色の検出は、空間サンプリング周
波数の1/2の周波数成分を検出した場合にのみ意味を
持つ。これは、無彩色であるならば、空間サンプリング
周波数の1/2の領域でも、水平相関が強いか、垂直相
関が強いかを判定できるためである。
の周波数成分を検出した場合において、無彩色と判定し
たならば、無彩色検出で算出した数値を持って水平補間
または垂直補間を行う。これにより、無彩色時には、空
間サンプリング周波数の1/2に対応する解像度まで特
性を向上できる。一方、無彩色でない、つまり有彩色で
あると判定したならば、空間サンプリング周波数の1/
2の周波数成分を含まないR/G/Bの各信号を出力す
る。これにより、空間サンプリング周波数の1/2付近
の相関検出の誤検出を防止できる。
て図面を参照して詳細に説明する。図1は、本発明によ
る画像処理装置の基本構成を示すブロック図である。こ
こで、本画像処理装置の処理対象となるカラー固体撮像
素子は、色配列として例えば図2に示すR(赤)G
(緑)B(青)の原色ベイヤ配列のカラーフィルタ11
を受光面上に有する単板式固体撮像素子12である。
るものではなく、さらにカラーフィルタもRGBの原色
の色配列に限られるものではなく、他の原色の色配列の
場合でも、補色を使用した色配列(例えば、Ye/Cy
/Mg/G)の場合でも同様に適応可能である。また、
固体撮像素子12としては、全画素の信号電荷を独立に
読み出すいわゆる全画素読み出し方式のCCD(Charge
Coupled Device) 固体撮像素子(以下、CCDエリアセ
ンサと称する)を用いるものとするが、全画素読み出し
方式ではないCCD固体撮像素子にも適応可能である。
GB点順次データは、信号処理部13において黒レベル
クランプやホワイトバランスなどの信号処理が行われた
後、検出部14および補間部15に供給される。検出部
14は、入力されるRGB点順次データから最適な補間
方法を検出し、その補間情報を補間部15へ送る。補間
部15は、検出部14から入力される補間情報を基にR
GB点順次データに対して補間処理を行って出力する。
ンプリング周波数fsの1/2の周波数成分を検出する
fs/2検出部16と、補間すべき画素(以下、補間画
素と称す)に関して上下および左右の互いに90°の整
数倍の角度をなす4方向、即ち垂直(V)方向の相反す
る2方向および水平(H)方向の相反する2方向の計4
方向の相関の程度を検出するVH相関検出部17と、補
間画素に関して右上、左上、左下、右下の斜め方向、即
ち上記4方向に対してそれぞれ45°の角度をなす4方
向の相関の程度を検出する斜め相関検出部18とを有す
る構成となっている。
斜め4方向の計8方向の相関の程度を検出する構成を例
に採っているが、上下左右の4方向だけの相関の程度を
検出する構成であっても良い。ただし、以下の説明で
は、8方向の場合を例に採って説明するものとする。
検出部14から与えられる補間情報に基づいて、Rの画
素情報に対して補間処理を行うR補間部19と、Gの画
素情報に対して補間処理を行うG補間部20と、Bの画
素情報に対して補間処理を行うB補間部21と、検出部
14の検出情報に基づいてfs/2でのハッチ上のノイ
ズが発生するのを抑止するための補正処理を行うfs/
2補正処理部22とを有する構成となっている。
部16、VH相関検出部17および斜め相関検出部18
の各構成例について説明する。
部16の具体的な構成の一例を示すブロック図である。
なお、図6に、fs/2検出部16における通過フィル
タの空間周波数‐レスポンスの特性を示す。
数のレスポンスの最大値が入力画像の空間サンプリング
周波数fsの1/2の空間周波数であるフィルタ特性、
即ち図6の特性Aを持つfs/2通過フィルタ23と、
通過する周波数のレスポンスの最大値が入力画像の空間
サンプリング周波数fsの1/4の空間周波数であるフ
ィルタ特性、即ち図6の特性Bを持つfs/4通過フィ
ルタ24と、これら通過フィルタ23,24の各通過周
波数成分に基づいてfs/2の周波数成分を検出するf
s/2検出回路25とを有する構成となっている。
レベルを所定の補正係数を掛けることによって補正する
輝度補正回路26を有している。そして、この輝度補正
回路26で補正された輝度レベルは、fs/2検出回路
25に供給される。fs/2検出回路25は、fs/
2,fs/4通過フィルタ23,24の各通過周波数成
分を比較し、その比較結果からfs/2の周波数成分の
存在の有無を検出する構成となっている。
ルタ23,24の各通過周波数成分の差分を求め、その
差分から輝度補正回路26で補正された輝度レベルを引
いた結果が正ならば、fs/2の周波数成分が存在する
ものとする。ここで、fs/2,fs/4通過フィルタ
23,24の各通過周波数成分の差分から輝度レベルを
引くのは、輝度によってスレッシュホールドが変動する
のを抑制するためである。以上により、fs/2検出系
27が構成されている。図7は、輝度Y0の検出の概念
図である。
る情報、具体的には被写体が例えば5×5画素の領域で
無彩色(=白)であるか否かを検出する無彩色検出系2
8が設けられている。この無彩色検出系28は、R/G
/B信号の水平方向の色差レベルを算出する水平色差レ
ベル算出回路29と、垂直方向の色差レベルを算出する
垂直色差レベル算出回路30と、これら色差レベル算出
回路29,30の各出力に基づいてfs/2相関検出を
行い、水平/垂直方向の補間係数WhHGain/Wh
VGainを出力するfs/2相関検出回路31と、色
差レベル算出回路29,30の各出力に基づいて無彩色
の検出を行い、その無彩色レベルに応じた補間係数Wh
Gainを出力する無彩色検出回路32とを有する構成
となっている。
s/2検出(A)および無彩色検出(B)の概念図であ
る。先ず、図8(A)のfs/2検出系27において、
fs/2通過フィルタ23を通過した水平fs/2成分
および垂直fs/2成分は、絶対値化(ABS;absolut
e)回路33,34で絶対値化された後、加算器35で加
算される。同様にして、fs/4通過フィルタ24を通
過した水平fs/4成分および垂直fs/4成分は、絶
対値化回路36,37で絶対値化された後、加算器38
で加算される。なお、輝度補正回路26においては、乗
算器39で輝度Y0のレベルに所定の補正係数αを掛け
る処理が行われる。
定の補正係数βが掛けられた後、減算器41の一方の入
力Aとなる。また、加算器38の加算出力は、加算器4
2で輝度Y0のレベルに所定の補正係数αを掛けたもの
が加算され、さらに加算器43で所定のオフセット値γ
が付与された後、減算器41の他方の入力Bとなる。こ
こで、補正係数βおよびオフセット値γは、スレッシュ
ホールドを決めるパラメータとなる。
Bを減算する。すなわち、減算器41において、fs/
2成分(A)とfs/4成分(B)とを比較し(A−
B)、その差分(A−B)が正、即ちfs/2成分>f
s/4成分であれば、fs/2の周波数成分が存在する
旨の判定結果を出す。そして、この差分(A−B)がル
ックアップテーブル(LUT)44を通して補間係数G
2Gainとして出力される。すなわち、検出されたf
s/2の周波数成分が多ければ多い程、ルックアップテ
ーブル44からは大きな値の補間係数G2Gainが出
力される。
いて、R/G/Bの信号は、垂直方向、水平方向のバン
ドパスフィルタ45,46を通過し、絶対値化回路4
7,48で絶対値化された後、バンドパスフィルタ4
5,46とは直交した方向にローパスフィルタ49,5
0を通過する。これにより、垂直方向の色差レベルWh
Vおよび水平方向の色差レベルWhHが算出される。そ
して、垂直、水平方向の色差レベルWhV,レベルWh
Hは、減算器51にその2入力A,Bとして供給される
とともに、最小値算出回路52にも供給される。
力Bを減算することで、垂直方向の色差レベルWhV
(A)と水平方向の色差レベルWhH(B)とを比較す
る。この比較結果から、垂直方向の相関が強いか、水平
方向の相関が強いを判定することができる。すなわち、
WhH>WhVのときは垂直方向の相関が強い、即ち縦
縞であると判定し、WhV>WhHのときは垂直方向の
相関が強い、即ち縦縞であると判定する。そして、減算
器51の減算出力(A−B)は、ルックアップテーブル
53を通して、垂直方向/水平方向の相関の度合いに応
じた補間係数WhVGain/WhHGainとして出
力される。なお、垂直方向の補間係数WhVGainと
水平方向の補間係数WhHGainとは相補的な関係に
あり、WhVGain+WhHGainは常に一定であ
る。
色差レベルWhVおよび水平方向の色差レベルWhHの
うち、小さい方の数値を減算器54にその一方の入力A
として供給する。減算器54の他方の入力Bとしては、
輝度Y0に乗算器55で所定の補正係数δを掛け、さら
に減算器56で所定のオフセット値εを減算して得られ
る参照値が供給される。減算器54は、色差レベルWh
V,WhHの小さい方の数値Aと参照値Bとを比較し
(A−B)、その比較結果が負、即ち数値Aが参照値B
よりも小さければ無彩色(白)と判定する。そして、減
算器54の減算出力(A−B)は、ルックアップテーブ
ル57を通して、無彩色レベルに応じた補間係数WhG
ainとして出力される。
関検出部18の具体的な構成の一例を示すブロック図で
ある。
画素の画素情報に基づいて相関の程度を示す相関値を算
出する右側相関値算出回路61と、補間画素の左側の画
素の画素情報に基づいて相関値を算出する左側相関値算
出回路62と、補間画素の上側の画素の画素情報に基づ
いて相関値を算出する上側相関値算出回路63と、補間
画素の下側の画素の画素情報に基づいて相関値を算出す
る下側相関値算出回路64と、これら相関値算出回路6
1〜64で算出した各相関値を補間ゲインに変換して出
力する相関値→補間ゲイン変換回路65とから構成され
ている。
相関値→補間ゲイン変換回路65からは、水平垂直補間
用ゲインRGain,LGain,TGain,BGa
inおよび水平垂直RB補間用ゲインRGainD,L
GainD,TGainD,BGainDが補間係数と
して出力される。
の画素の画素情報に基づいて相関値を算出する右上側相
関値算出回路66と、補間画素の左上側の画素の画素情
報に基づいて相関値を算出する左上側相関値算出回路6
7と、補間画素の左下側の画素の画素情報に基づいて相
関値を算出する左下側相関値算出回路68と、補間画素
の右下側の画素の画素情報に基づいて相関値を算出する
右下側相関値算出回路69と、これら相関値算出回路6
6〜69で算出した各相関値を補間ゲインに変換し、補
間係数として斜め補間用ゲインD1Gain〜D4Ga
inを出力する相関値→補間ゲイン変換回路70とから
構成されている。
いに直交していないため、VH‐斜め比較回路60にお
いて、水平垂直の相関値と斜めの相関値を比較すること
により、斜め補間補正用ゲインVHGain,DGai
nを補間係数として算出するようにしている。
各補間部およびfs補正処理部22の各構成例について
説明する。
一例を示すブロック図である。図10において、色分離
後のGのデータは水平垂直4方向、即ち右側、左側、上
側、下側の各相関用処理回路71,72,73,74に
それぞれ供給され、これら相関用処理回路71,72,
73,74において4方向の補間データGr,Gl,G
t,Gbが生成される。これら補間データGr,Gl,
Gt,Gbは、補間する方向にLPFを通すことで生成
される。
々、乗算器75,76,77,78において、図9に示
すVH相関検出部17で決定された補間係数、即ち水平
垂直補間用ゲインRGain,LGain,TGai
n,BGainがそれぞれ掛けられる。そして、加算器
79〜81で加算されることにより、Gの補間処理が行
われる。補間処理後のGの画像データは、(1)式で表
される。 G=Gr×RGain+Gl×LGain +Gt×TGain+Gb×BGain ……(1)
上側、左下側、右下側の各相関用処理回路82,83,
84,85において、D1/D2/D3/D4の各方向
の補間データが生成され、乗算器86,87,88,8
9において、図9に示す斜め相関検出部18で決定され
た斜め補間用ゲインD1Gain,D2Gain,D3
Gain,D4Gainがそれぞれ掛けられた後、加算
器90〜92で足し合わされることによって補間処理が
行われる。
るGの画像データGvhと、斜め4方向相関検出/補間
によるGの画像データGdを、状況に合わせて(2)式
に示すように混合比を変化させて加算する。混合比の調
整は、図9に示すVH‐斜め比較回路60で算出される
斜め補間補正用ゲインVHGain,DGainによっ
て行われる。 G=Gvh×VHGain+Gd×DGain ……(2)
的な構成の一例を示すブロック図である。このR,B補
間部19,21の構成については、図10に示すG補間
部20の構成と基本的に同じである。したがって、図1
1中、図10と同等部分には同一符号を付して示してあ
る。ただし、右側、左側、上側、下側の各相関用処理回
路71′,72′,73′,74′における補間データ
の生成法については、Gの場合に比べて複雑である。そ
の理由として2つあり、RB補間用相関検出を行うこと
と、G/2成分をRBに加えるためである。
(右、左)の補間データ用と垂直方向(上、下)の補間
データ用では別々に行う。具体的には、R画素およびB
画素の信号からR信号/B信号を補間する際に、先述し
た水平垂直RG補間用ゲインRGainD,LGain
D,TGainD,BGainDを、R/B専用の補間
係数として算出して用いる。これについては、本発明の
要旨ではないので、ここではその詳細な説明は省略す
る。
的な構成の一例を示すブロック図である。
処理回路101および有彩色用処理回路102に供給さ
れる。無彩色用処理回路101は、入力画像に対して水
平方向の補間処理を行う水平補間回路103と、入力画
像に対して垂直方向の補間処理を行う垂直補間回路10
4と、これら補間回路103,104の各出力に対して
fs/2検出部16から与えられる補間係数WhHGa
in,WhVGainを掛ける乗算器105,106
と、これら乗算器105,106の各乗算出力を加算す
る加算器107とを有する構成となっている。
は、乗算器108でfs/2検出部16から与えられる
補間係数WhGainが掛けられた後、加算器109の
一方の入力となる。加算器109の他方の入力として
は、有彩色用処理回路102を経た信号に、乗算器11
0でfs/2検出部16から与えられる補間係数WhG
ainから算出される補間係数WhGain′を掛けた
ものが与えられる。補間係数WhGain′は、例え
ば、定数より補間係数WhGainを引くことにより算
出される。なお、有彩色用処理回路102は、図13の
特性図に示すように、入力画像の空間サンプリング周波
数fsの1/2の周波数成分のレスポンスが0であるフ
ィルタ特性を持つfs/2トラップ回路によって構成さ
れている。
でfs/2検出部16から与えられる補間係数G2Ga
inが掛けられた後、加算器112の一方の入力とな
る。また、R/G/Bの各補間部19,20,21から
供給される各補間出力RIP/GIP/BIPは、乗算
器113でfs/2検出部16から与えられる補間係数
G2Gainから算出される補間係数G2Gain′が
掛けられた後、加算器112の他方の入力となる。な
お、補間係数G2Gain′は、例えば、定数より補間
係数G2Gainを引くことにより算出される。図14
は、fs/2補正処理部22における補正処理の概念図
である。この概念図から明らかなように、補正処理はR
/G/Bの各信号ごとに行われる。
2検出部16では先ず、図5に示すfs/2検出系27
によってfs/2の周波数成分の存在の有無が検出され
る。すなわち、色分離後のG信号をfs/2通過フィル
タ23およびfs/4通過フィルタ24に通し、fs/
2検出回路25において、それらの差分から輝度Y0の
レベルに所定の補正係数αを掛けたものを減算し、その
減算結果が正ならば、fs/2の周波数成分が存在する
ものとする。
えば5×5画素の領域で無彩色であるか否かの検出が行
われる。すなわち、図8(B)から明らかなように、垂
直方向、水平方向それぞれに対してバンドパスフィルタ
45,46を通した後、絶対値化回路47,48で絶対
値をとり、それをバンドパスフィルタ45,46とは直
交した方向にローパスフィルタ49,50を通した値の
うち、小さい方の数値(WhV/WhH)が、輝度Y0
に所定の補正係数δを掛けた値よりも小さければ、無彩
色(白)と判定する。
は、fs/2検出部16のfs/2検出系27から与え
られる補間係数G2Gain,G2Gain′、並びに
無彩色検出系28から与えられる補間係数WhHGai
n,WhVGainおよび補間係数WhGain,Wh
Gain′に基づいて、fs/2の周波数成分の存在を
検出しないとき、また検出した場合であって無彩色のと
き又は有彩色のときにそれぞれ最適な補正処理が実行さ
れる。これら各補正処理について、以下に説明する。
しない場合には、fs/2付近の相関検出の誤検出の問
題は生じないことから、通常のRGB補間処理が行われ
る。すなわち、fs/2の検出成分が少ないことから、
fs検出部16のfs/2検出系27から与えられる補
間係数G2Gainが小さく、かつ補間係数G2Gai
n′が大きいことから、加算器112での混合の比率
は、R/G/Bの各補間部19,20,21から供給さ
れる各補間出力RIP/GIP/BIP側が大となり、
補間出力RIP/GIP/BIPが主として出力され
る。
した場合には、無彩色検出系28の判定結果に基づいて
補正処理を行う。先ず、無彩色でない、つまり有彩色で
あると判定された場合には、無彩色検出系28から与え
られる補間係数WhGainが小さく、かつ補間係数W
hGain′が大きいことから、加算器109での混合
の比率は、有彩色用処理回路102側が大となり、有彩
色用処理回路102でfs/2の周波数成分が除去され
たR/G/Bの各信号が主として出力される。このと
き、加算器112での混合の比率は、fs/2の周波数
成分の検出時であるから、有彩色用処理回路102側が
大となっている。
した場合において、無彩色であると判定された場合に
は、fs/2の領域であっても、水平相関が強いか、垂
直相関が強いかを判定できるため、図12に示す無彩色
処理回路101において、無彩色検出で算出された数
値、即ち無彩色検出系28から与えられる補間係数Wh
HGain,WhVGainを用いて水平補間回路10
3を経た信号と垂直補間回路104を経た信号との混合
比を変えることによって、水平補間または垂直補間を行
う。この場合、無彩色が前提であるため、図14の概念
図から明らかなように、RBはGで代用する。
存在を検出した場合において、有彩色と判定した場合に
は、R/G/Bの各補間部19,20,21で補間処理
された補間出力RIP/GIP/BIPを使用せずに、
fs/2の周波数成分が除去されたR/G/Bの信号を
使用するようにしたことで、相関検出による信号処理を
行う際に、fs/2の空間周波数があっても、fs/2
付近の相関検出の誤検出を防止できるため、破綻のない
画像の再現が可能となる。
場合において、無彩色と判定した場合には、fs/2の
周波数成分が除去されたR/G/Bの信号を使用せず
に、無彩色検出で算出した数値を持って水平補間または
垂直補間を行うようにしたことで、無彩色を撮像した場
合における解像度をfs/2相当まで上げることが可能
となる。一例として、VGA(Video Graphics Array)
(640×480)画素の場合において、無彩色の被写
体では解像度がfs/2相当である480本まで改善で
きることになる。
す概略構成図である。図15において、被写体からの入
射光は、レンズ121等を含む光学系によってCCDエ
リアセンサ122の受光面(撮像面)上に結像される。
CCDエリアセンサ122の受光面上には、色配列が例
えば原色ベイヤ配列のカラーフィルタ123が設けられ
ている。CCDエリアセンサ122は、CCD駆動回路
124によって露光、信号電荷の読み出しおよび転送な
どの駆動制御が行われる。
像処理装置125に供給され、種々の信号処理が行われ
る。この画像処理装置125として、水平垂直および斜
めの8方向の相関を検出し、その検出結果に基づいて適
応型補間処理を行うとともに、fs/2の周波数成分の
検出時において、無彩色の場合と有彩色の場合で補間処
理を変える構成の上記実施形態に係る画像処理装置が用
いられる。
ーフィルタ123を持つCCDエリアセンサ122を撮
像デバイスとして用いたカメラにおいて、相関検出によ
る信号処理を行う際に、fs/2の空間周波数成分が存
在しても、fs/2付近の相関検出の誤検出を防止で
き、破綻のない画像の再現が可能になるとともに、光学
LPFを用いてfs/2付近のレスポンスを0とする必
要がなくなり、レスポンスが0となる空間周波数を高く
することが可能となるため、再現画像の解像度/解像感
を向上できる。
カラーフィルタを受光面上に有する固体撮像素子の出力
信号を処理する際に、fs/2の周波数成分の存在を検
出し、その周波数成分の存在を検出した場合において、
有彩色と判定したときには、fs/2の周波数成分が除
去されたR/G/Bの各信号を使用するようにしたこと
により、fs/2付近の相関検出の誤検出を防止できる
ため、破綻のない画像が再現可能となり、また無彩色と
判定したときには、無彩色検出で算出した数値を持って
水平補間または垂直補間を行うようにしたことにより、
無彩色を撮像した場合における解像度をfs/2相当ま
で上げることが可能となる。
ロック図である。
ロック図である。
波数‐レスポンスの特性図である。
2検出系を、(B)は無彩色検出系をそれぞれ示してい
る。
な構成の一例を示すブロック図である。
ク図である。
ロック図である。
示すブロック図である。
である。
エリアセンサ、14…検出部、15…補間部、16…f
s/2検出部、17…VH相関検出部、18…斜め相関
検出部、19…R補間部、20…G補間部、21…B補
間部、22…fs/2補正処理部、23…fs/2通過
フィルタ、24…fs/4通過フィルタ、25…fs/
2検出回路、26…輝度補正回路、27…fs/2検出
系、28…無彩色検出系、29…水平色差レベル算出回
路、30…垂直色差レベル算出回路、31…fs/2相
関検出回路、32…無彩色検出回路
Claims (17)
- 【請求項1】 所定の色配列のカラーフィルタを受光面
上に有する固体撮像素子の出力信号を処理する画像処理
装置であって、 入力画像の空間サンプリング周波数に対して1/2倍し
た周波数成分の存在を検出する周波数検出回路と、 色に関する情報を検出する色情報検出回路と、 前記周波数検出回路が前記周波数成分を検出したとき、
前記色情報検出回路の検出結果に基づいて入力画像に対
する補正処理を行う補正処理回路とを備えたことを特徴
とする画像処理装置。 - 【請求項2】 前記周波数検出回路は、通過する周波数
のレスポンスの最大値が入力画像の空間サンプリング周
波数の1/2の空間周波数である第1のフィルタと、通
過する周波数のレスポンスの最大値が入力画像の空間サ
ンプリング周波数の1/4の空間周波数である第2のフ
ィルタと、前記第1,第2のフィルタの各通過周波数成
分を比較することによって前記空間サンプリング周波数
の1/2の周波数成分を検出する検出部とを有すること
を特徴とする請求項1記載の画像処理装置。 - 【請求項3】 前記周波数検出回路は、補間すべき画素
の近傍の画素の平均信号レベルを前記第1のフィルタの
通過周波数成分から減算する手段を有することを特徴と
する請求項2記載の画像処理装置。 - 【請求項4】 前記色情報検出回路は、補間すべき画素
を中心として入力画像信号の水平方向および垂直方向の
各変化量を検出する変化量検出回路と、前記変化量検出
回路によって検出された前記水平方向および垂直方向の
各変化量に基づいて無彩色レベルを検出する無彩色検出
回路とを有することを特徴とする請求項1記載の画像処
理装置。 - 【請求項5】 前記無彩色検出回路は、前記変化量検出
回路によって検出された前記水平方向および垂直方向の
各変化量の最小値と所定の参照値とを比較することによ
って無彩色レベルを検出することを特徴とする請求項4
記載の画像処理装置。 - 【請求項6】 前記補正処理回路は、入力画像に対して
水平補間または垂直補間を行う無彩色用処理回路と、入
力画像に対してその空間サンプリング周波数の1/2の
周波数成分を除去する有彩色用処理回路と、前記無彩色
用処理回路を経た信号と前記有彩色用処理回路を経た信
号とを前記色情報検出回路の検出出力に応じた第1の混
合比で混合する第1の混合回路とを有することを特徴と
する請求項1記載の画像処理装置。 - 【請求項7】 前記カラーフィルタの色配列がR(赤)
G(緑)B(青)の原色ベイヤ配列であり、 前記無彩色用処理回路は、Gの入力画像に対して水平補
間または垂直補間を行うことを特徴とする請求項6記載
の画像処理装置。 - 【請求項8】 前記色情報検出回路は、補間すべき画素
を中心として入力画像信号の水平方向および垂直方向の
各変化量に基づいて無彩色レベルを検出する無彩色検出
回路を有し、 前記第1の混合回路は、この無彩色検出回路で検出され
た無彩色レベルが大きい場合に前記無彩色用処理回路を
経た信号の比率が大きくなるように前記第1の混合比を
変化させることを特徴とする請求項6記載の画像処理装
置。 - 【請求項9】 前記色情報検出回路は、前記変化量検出
回路によって検出された前記水平方向および垂直方向の
各変化量を比較し、その比較結果に応じた第2の混合比
を設定する混合比設定回路を有し、 前記無彩色用処理回路は、入力画像に対して水平補間を
行う第1の信号処理系と、入力画像に対して垂直補間を
行う第2の信号処理系と、前記第1の信号処理系を経た
信号と前記第2の信号処理系を経た信号とを前記第2の
混合比で混合する第2の混合回路とを有することを特徴
とする請求項6記載の画像処理装置。 - 【請求項10】 前記混合比設定回路は、水平方向の変
化量に比して垂直方向の変化量が大きいときには前記第
1の信号処理系を経た信号の比率が大きくなり、垂直方
向の変化量に比して水平方向の変化量が大きいときには
前記第2の信号処理系を経た信号の比率が大きくなるよ
うに前記第2の混合比を変化させることを特徴とする請
求項9記載の画像処理装置。 - 【請求項11】 所定の色配列のカラーフィルタを受光
面上に有する固体撮像素子の出力信号を処理する画像処
理方法であって、 入力画像の空間サンプリング周波数に対して1/2倍し
た周波数成分の存在を検出するとともに、色に関する情
報を検出し、 前記周波数成分の存在を検出したとき、前記色に関する
情報に基づいて入力画像に対する補正処理を行うことを
特徴とする画像処理方法。 - 【請求項12】 前記色に関する情報の検出では、補間
すべき画素を中心として入力画像信号の水平方向および
垂直方向の各変化量を検出し、これら各変化量に基づい
て無彩色レベルを検出することを特徴とする請求項11
記載の画像処理方法。 - 【請求項13】 前記無彩色レベルの検出では、前記水
平方向および垂直方向の各変化量の最小値と所定の参照
値とを比較することによって検出することを特徴とする
請求項12記載の画像処理方法。 - 【請求項14】 前記補正処理においては、入力画像に
対して水平補間または垂直補間を行った信号と、入力画
像に対してその空間サンプリング周波数の1/2の周波
数成分を除去した信号とを、前記無彩色レベルに応じた
混合比で混合することを特徴とする請求項12記載の画
像処理方法。 - 【請求項15】 所定の色配列のカラーフィルタを受光
面上に有する固体撮像素子と、被写体からの入射光を前
記固体撮像素子の受光面上に結像させる光学系と、前記
固体撮像素子の出力信号を処理する画像処理装置とを具
備するカメラであって、 前記画像処理装置は、 入力画像の空間サンプリング周波数に対して1/2倍し
た周波数成分の存在を検出する周波数検出回路と、 色に関する情報を検出する色情報検出回路と、 前記周波数検出回路が前記周波数成分を検出したとき、
前記色情報検出回路の検出結果に基づいて入力画像に対
する補正処理を行う補正処理回路とを有することを特徴
とするカメラ。 - 【請求項16】 前記色情報検出回路は、補間すべき画
素を中心として入力画像信号の水平方向および垂直方向
の各変化量を検出する変化量検出回路と、前記変化量検
出回路によって検出された前記水平方向および垂直方向
の各変化量に基づいて無彩色レベルを検出する無彩色検
出回路とを有することを特徴とする請求項15記載のカ
メラ。 - 【請求項17】 前記補正処理回路は、入力画像に対し
て水平補間または垂直補間を行う無彩色用処理回路と、
入力画像に対してその空間サンプリング周波数の1/2
の周波数成分を除去する有彩色用処理回路と、前記無彩
色用処理回路を経た信号と前記有彩色用処理回路を経た
信号とを前記色情報検出回路の検出出力に応じた混合比
で混合する混合回路とを有することを特徴とする請求項
15記載のカメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33838897A JP4135197B2 (ja) | 1997-12-09 | 1997-12-09 | 画像処理装置および画像処理方法、並びにカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33838897A JP4135197B2 (ja) | 1997-12-09 | 1997-12-09 | 画像処理装置および画像処理方法、並びにカメラ |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007239041A Division JP2007329976A (ja) | 2007-09-14 | 2007-09-14 | 画像処理装置および画像処理方法、並びにカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11177995A true JPH11177995A (ja) | 1999-07-02 |
| JP4135197B2 JP4135197B2 (ja) | 2008-08-20 |
Family
ID=18317695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33838897A Expired - Fee Related JP4135197B2 (ja) | 1997-12-09 | 1997-12-09 | 画像処理装置および画像処理方法、並びにカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4135197B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6826302B2 (en) | 2000-05-12 | 2004-11-30 | Sanyo Electric Co., Ltd. | Luminance correction of colorless low saturation regions using correction constants calculated from color saturation values |
| US6836572B2 (en) | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
| US7565007B2 (en) | 2001-01-25 | 2009-07-21 | Nikon Corporation | Image processing method, image processing program, and image processing apparatus |
| KR101178472B1 (ko) | 2010-12-16 | 2012-09-06 | 엠텍비젼 주식회사 | 화이트 밸런스 유지 및 정확한 발색을 위한 색 보정 방법 및 장치 |
| CN109375979A (zh) * | 2018-10-22 | 2019-02-22 | 努比亚技术有限公司 | 流量控制方法、终端及可读存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08306472A (ja) * | 1995-03-03 | 1996-11-22 | Yukio Shiroo | 広範囲の電圧帯で発熱する面状発熱体 |
-
1997
- 1997-12-09 JP JP33838897A patent/JP4135197B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836572B2 (en) | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
| US6826302B2 (en) | 2000-05-12 | 2004-11-30 | Sanyo Electric Co., Ltd. | Luminance correction of colorless low saturation regions using correction constants calculated from color saturation values |
| US7565007B2 (en) | 2001-01-25 | 2009-07-21 | Nikon Corporation | Image processing method, image processing program, and image processing apparatus |
| KR101178472B1 (ko) | 2010-12-16 | 2012-09-06 | 엠텍비젼 주식회사 | 화이트 밸런스 유지 및 정확한 발색을 위한 색 보정 방법 및 장치 |
| CN109375979A (zh) * | 2018-10-22 | 2019-02-22 | 努比亚技术有限公司 | 流量控制方法、终端及可读存储介质 |
| CN109375979B (zh) * | 2018-10-22 | 2022-12-27 | 联洋国融(北京)科技有限公司 | 流量控制方法、终端及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4135197B2 (ja) | 2008-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4066484B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP3263924B2 (ja) | カラー撮像装置 | |
| US9936172B2 (en) | Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image | |
| KR100381496B1 (ko) | 화상 신호 처리 장치 | |
| EP2152010B1 (en) | Luminance signal generation apparatus, luminance signal generation method, and image capturing apparatus | |
| US8384799B2 (en) | Image processing apparatus and image processing method | |
| JP4135197B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| KR910006858B1 (ko) | 칼러 카메라의 영상신호처리회로 | |
| JP4178571B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| US6400403B1 (en) | Solid-state imaging device having improved resolution without generating a pseudo signal | |
| JP4666681B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3968480B2 (ja) | 相関値算出回路およびその算出方法 | |
| JPH0470827B2 (ja) | ||
| JP2007329976A (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP3337962B2 (ja) | 映像信号処理方法及び映像信号処理装置 | |
| JP2006303774A (ja) | 撮像装置 | |
| JP2650062B2 (ja) | カラー撮像装置 | |
| JPH089395A (ja) | カラー撮像装置 | |
| JP3591257B2 (ja) | 映像信号処理方法及び映像信号処理装置 | |
| JP2890573B2 (ja) | 撮像装置 | |
| JPS63290480A (ja) | 撮像装置 | |
| JP2000032477A (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JPS6342478B2 (ja) | ||
| EP1675407A1 (en) | Colour separation | |
| JPH11136690A (ja) | カラー撮像装置及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20080205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080513 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080526 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |