JPH11177996A - 画像処理装置および画像処理方法、並びにカメラ - Google Patents

Abstract

(57)【要約】 【課題】 相関検出による信号処理を行う場合には、Ｇ
による相関を検出する際に、ｆｓ／２の空間周波数があ
ると縦の相関が強いか横の相関が強いか判定できなくな
り、画質劣化の要因となる。 【解決手段】 原色ＲＧＢベイヤ配列のカラーフィルタ
を受光面上に有するＡＣＣＤエリアセンサの出力信号を
処理する画像処理装置において、入力画像の空間サンプ
リング周波数ｆｓに対して１／２倍した周波数成分の存
在をｆｓ／２検出部１６で検出する一方、ｆｓ／２の周
波数成分を検出したとき、ｆｓ／２検出部１６から出力
される補間係数Ｇ２Ｇａｉｎを乗算器１０２でｆｓ／２
トラップ回路１０１を経たＲ／Ｇ／Ｂの各信号に掛け、
また補間係数Ｇ２Ｇａｉｎの逆数を乗算器１０４で補間
出力ＲＩＰ／ＧＩＰ／ＢＩＰに掛け、しかる後加算器１
０３で混合して出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びにカメラに関し、特にカラーフィ
ルタを受光面上に有する固体撮像素子の出力信号を処理
する画像処理装置およびその処理方法、並びにこれらを
用いたカメラに関する。

【０００２】

【従来の技術】従来、固体撮像素子に画像情報が入る前
に、折り返しノイズを除くことを目的として空間サンプ
リング周波数ｆｓの１／２の周波数を除去するために、
光学的なＬＰＦ(Low Pass Filter) を用いて帯域制限を
行っていた。このように、光学ＬＰＦを用いて帯域制限
を行うことで、固体撮像素子の出力信号には、空間サン
プリング周波数ｆｓの１／２付近の周波数成分が含まれ
なくなり、その結果、撮像した画像の解像感が損なわれ
ることになる。これに対し、撮像した画像の解像感を損
なわないようにするために、上記のような特性の光学Ｌ
ＰＦを用いるのではなく、空間サンプリング周波数ｆｓ
の１／２の周波数よりも高い点のレスポンスを０とすれ
ば良い。

【０００３】

【発明が解決しようとする課題】しかしながら、ｆｓ／
２の周波数よりも高い点のレスポンスを０とすると、偽
信号が発生するだけではなく、色配列が例えばＲ
（赤），Ｇ（緑），Ｂ（青）の原色ベイヤ配列のカラー
フィルタを有す固体撮像素子において、相関検出による
信号処理を行う場合には、Ｇによる相関を検出する際
に、ｆｓ／２の空間周波数があると縦の相関が強いか横
の相関が強いか判定できなくなり、画質劣化の要因とな
る。

【０００４】すなわち、図１６において、原色ＲＧＢベ
イヤ配列（ａ）に対応した固体撮像素子の画素配列に対
して、水平ｆｓ／２の画像（ｂ）の信号、または垂直ｆ
ｓ／２の画像（ｃ）の信号が入ってきた場合には、Ｇの
画素にのみ着目した場合の出力信号（ｄ）は、水平ｆｓ
／２（ｂ）でも垂直ｆｓ／２（ｃ）でも同じになる。こ
のため、Ｇの出力信号を見ただけでは縦の相関が強い
（水平ｆｓ／２）のか、横の相関が強い（垂直ｆｓ／
２）のかが判別できないことになる。

【０００５】なお、図１６（ａ）において、Ｇｒ／Ｇｂ
はそれぞれＲ行のＧ画素／Ｂ行のＧ画素を示している。
また、同図（ｄ）には、Ｒ／Ｇの画素を黒で表示してあ
り、灰色（散点）の画素と白色の画素に着目されたい。

【０００６】本発明は、上記課題に鑑みてなされたもの
であり、その目的とするところは、縦の相関が強いの
か、横の相関が強いのかを確実に判別し、破綻のない画
像の再現を可能とした画像処理装置および画像処理方法
を提供することにある。

【０００７】

【課題を解決するための手段】本発明による画像処理装
置は、所定の色配列のカラーフィルタを受光面上に有す
る固体撮像素子の出力信号を処理する画像処理装置であ
って、入力画像の空間サンプリング周波数に対して１／
２倍した周波数成分の存在を検出する周波数検出回路
と、この周波数検出回路の検出結果に基づいて入力画像
に対する補正処理を行う補正処理回路とを備えている。

【０００８】また、本発明による画像処理方法は、所定
の色配列のカラーフィルタを受光面上に有する固体撮像
素子の出力信号を処理する画像処理方法であって、入力
画像の空間サンプリング周波数に対して１／２倍した周
波数成分の存在を検出し、その検出結果に基づいて入力
画像に対する補正処理を行うようにしている。

【０００９】上記構成の画像処理装置およびその処理方
法において、例えば、相関検出による信号処理を行う場
合には、入力画像の空間サンプリング周波数に対する１
／２の周波数成分があると、縦の相関が強いか横の相関
が強いか判定できないことから、先ず、空間サンプリン
グ周波数の１／２の周波数成分の存在を検出する。そし
て、その周波数成分の有無に応じた補正処理を行う。具
体的には、空間サンプリング周波数の１／２の周波数成
分が存在する場合には、その周波数成分を含まないＲ／
Ｇ／Ｂの各信号を出力するようにする。

【００１０】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。図１は、本発明によ
る画像処理装置の基本構成を示すブロック図である。こ
こで、本画像処理装置の処理対象となるカラー固体撮像
素子は、色配列として例えば図２に示すＲ（赤）Ｇ
（緑）Ｂ（青）の原色ベイヤ配列のカラーフィルタ１１
を受光面上に有する単板式固体撮像素子１２である。

【００１１】なお、色配列は原色ベイヤ配列に限定され
るものではなく、さらにカラーフィルタもＲＧＢの原色
の色配列に限られるものではなく、他の原色の色配列の
場合でも、補色を使用した色配列（例えば、Ｙｅ／Ｃｙ
／Ｍｇ／Ｇ）の場合でも同様に適応可能である。また、
固体撮像素子１２としては、全画素の信号電荷を独立に
読み出すいわゆる全画素読み出し方式のＣＣＤ(Charge
Coupled Device) 固体撮像素子（以下、ＣＣＤエリアセ
ンサと称する）を用いるものとするが、全画素読み出し
方式ではないＣＣＤ固体撮像素子にも適応可能である。

【００１２】ＣＣＤエリアセンサ１２から出力されるＲ
ＧＢ点順次データは、信号処理部１３において黒レベル
クランプやホワイトバランスなどの信号処理が行われた
後、検出部１４および補間部１５に供給される。検出部
１４は、入力されるＲＧＢ点順次データから最適な補間
方法を検出し、その補間情報を補間部１５へ送る。補間
部１５は、検出部１４から入力される補間情報を基にＲ
ＧＢ点順次データに対して補間処理を行って出力する。

【００１３】検出部１４は、図３に示すように、空間サ
ンプリング周波数ｆｓの１／２の周波数成分を検出する
ｆｓ／２検出部１６と、補間すべき画素（以下、補間画
素と称す）に関して上下および左右の互いに９０°の整
数倍の角度をなす４方向、即ち垂直（Ｖ）方向の相反す
る２方向および水平（Ｈ）方向の相反する２方向の計４
方向の相関の程度を検出するＶＨ相関検出部１７と、補
間画素に関して右上、左上、左下、右下の斜め方向、即
ち上記４方向に対してそれぞれ４５°の角度をなす４方
向の相関の程度を検出する斜め相関検出部１８とを有す
る構成となっている。

【００１４】なお、本例では、上下左右４方向に加え、
斜め４方向の計８方向の相関の程度を検出する構成を例
に採っているが、上下左右の４方向だけの相関の程度を
検出する構成であっても良い。ただし、以下の説明で
は、８方向の場合を例に採って説明するものとする。

【００１５】一方、補間部１５は、図４に示すように、
検出部１４から与えられる補間情報に基づいて、Ｒの画
素情報に対して補間処理を行うＲ補間部１９と、Ｇの画
素情報に対して補間処理を行うＧ補間部２０と、Ｂの画
素情報に対して補間処理を行うＢ補間部２１と、検出部
１４の検出情報に基づいてｆｓ／２でのハッチ上のノイ
ズが発生するのを抑止するための補正処理を行うｆｓ／
２補正処理部２２とを有する構成となっている。

【００１６】以下に、検出部１４におけるｆｓ／２検出
部１６、ＶＨ相関検出部１７および斜め相関検出部１８
の各構成例について説明する。

【００１７】図５は、検出部１４におけるｆｓ／２検出
部１６の具体的な構成の一例を示すブロック図である。
なお、図６に、ｆｓ／２検出部１６における通過フィル
タの空間周波数‐レスポンスの特性を示す。

【００１８】このｆｓ／２検出部１６は、通過する周波
数のレスポンスの最大値が入力画像の空間サンプリング
周波数ｆｓの１／２の空間周波数であるフィルタ特性、
即ち図６の特性Ａを持つｆｓ／２通過フィルタ２３と、
通過する周波数のレスポンスの最大値が入力画像の空間
サンプリング周波数ｆｓの１／４の空間周波数であるフ
ィルタ特性、即ち図６の特性Ｂを持つｆｓ／４通過フィ
ルタ２４と、これら通過フィルタ２３，２４の各通過周
波数成分に基づいてｆｓ／２の周波数成分を検出するｆ
ｓ／２検出回路２５とを有する構成となっている。

【００１９】ｆｓ／２検出部１６はさらに、輝度Ｙ０の
レベルを所定の補正係数を掛けることによって補正する
輝度補正回路２６を有している。そして、この輝度補正
回路２６で補正された輝度レベルは、ｆｓ／２検出回路
２５に供給される。ｆｓ／２検出回路２５は、ｆｓ／
２，ｆｓ／４通過フィルタ２３，２４の各通過周波数成
分を比較し、その比較結果からｆｓ／２の周波数成分の
存在の有無を検出する構成となっている。

【００２０】具体的には、ｆｓ／２，ｆｓ／４通過フィ
ルタ２３，２４の各通過周波数成分の差分を求め、その
差分から輝度補正回路２６で補正された輝度レベルを引
いた結果が正ならば、ｆｓ／２の周波数成分が存在する
ものとする。ここで、ｆｓ／２，ｆｓ／４通過フィルタ
２３，２４の各通過周波数成分の差分から輝度レベルを
引くのは、輝度によってスレッシュホールドが変動する
のを抑制するためである。図７は、輝度Ｙ０の検出の概
念図である。

【００２１】図８は、ｆｓ／２検出回路２５におけるｆ
ｓ／２検出の概念図である。図８において、ｆｓ／２通
過フィルタ２３を通過した水平ｆｓ／２成分および垂直
ｆｓ／２成分は、絶対値化（ＡＢＳ;absolute)回路２
７，２８で絶対値化された後、加算器２９で加算され
る。同様にして、ｆｓ／４通過フィルタ２４を通過した
水平ｆｓ／４成分および垂直ｆｓ／４成分は、絶対値化
回路３０，３１で絶対値化された後、加算器３２で加算
される。なお、輝度補正回路２６においては、乗算器３
３で輝度Ｙ０のレベルに所定の補正係数αを掛ける処理
が行われる。

【００２２】加算器２９の加算出力は、乗算器３４で所
定の補正係数βが掛けられた後、減算器３５の一方の入
力Ａとなる。また、加算器３２の加算出力は、加算器３
６で輝度Ｙ０のレベルに所定の補正係数αを掛けたもの
が加算され、さらに加算器３７で所定のオフセット値γ
が付与された後、減算器３５の他方の入力Ｂとなる。こ
こで、補正係数βおよびオフセット値γは、スレッシュ
ホールドを決めるパラメータとなる。

【００２３】減算器３５は一方の入力Ａから他方の入力
Ｂを減算する。すなわち、減算器３５において、ｆｓ／
２成分（Ａ）とｆｓ／４成分（Ｂ）とを比較し（Ａ−
Ｂ）、その差分（Ａ−Ｂ）が正、即ちｆｓ／２成分＞ｆ
ｓ／４成分であれば、ｆｓ／２の周波数成分が存在する
旨の判定結果を出す。そして、この差分（Ａ−Ｂ）がル
ックアップテーブル（ＬＵＴ）３８を通して補間係数Ｇ
２Ｇａｉｎとして出力される。すなわち、検出されたｆ
ｓ／２の周波数成分が多ければ多い程、ルックアップテ
ーブル３８からは大きな値の補間係数Ｇ２Ｇａｉｎが出
力される。

【００２４】図９は、ＶＨ相関検出部１７および斜め相
関検出部１８の具体的な構成の一例を示すブロック図で
ある。

【００２５】ＶＨ相関検出部１７は、補間画素の右側の
画素の画素情報に基づいて相関の程度を示す相関値を算
出する右側相関値算出回路４１と、補間画素の左側の画
素の画素情報に基づいて相関値を算出する左側相関値算
出回路４２と、補間画素の上側の画素の画素情報に基づ
いて相関値を算出する上側相関値算出回路４３と、補間
画素の下側の画素の画素情報に基づいて相関値を算出す
る下側相関値算出回路４４と、これら相関値算出回路４
１〜４４で算出した各相関値を補間ゲインに変換して出
力する相関値→補間ゲイン変換回路４５とから構成され
ている。

【００２６】上記構成のＶＨ相関検出部１７において、
相関値→補間ゲイン変換回路４５からは、水平垂直補間
用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａ
ｉｎおよび水平垂直ＲＧ補間用ゲインＲＧａｉｎＤ，Ｌ
ＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤが補間係数と
して出力される。

【００２７】斜め相関検出部１８は、補間画素の右上側
の画素の画素情報に基づいて相関値を算出する右上側相
関値算出回路４６と、補間画素の左上側の画素の画素情
報に基づいて相関値を算出する左上側相関値算出回路４
７と、補間画素の左下側の画素の画素情報に基づいて相
関値を算出する左下側相関値算出回路４８と、補間画素
の右下側の画素の画素情報に基づいて相関値を算出する
右下側相関値算出回路４９と、これら相関値算出回路４
６〜４９で算出した各相関値を補間ゲインに変換し、補
間係数として斜め補間用ゲインＤ１Ｇａｉｎ〜Ｄ４Ｇａ
ｉｎを出力する相関値→補間ゲイン変換回路５０とから
構成されている。

【００２８】さらに、水平垂直４方向と斜め４方向は互
いに直交していないため、ＶＨ‐斜め比較回路４０にお
いて、水平垂直の相関値と斜めの相関値を比較すること
により、斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉ
ｎを補間係数として算出するようにしている。

【００２９】続いて、補間部１５におけるＲ／Ｇ／Ｂの
各補間部およびｆｓ補正処理部２２の各構成例について
説明する。

【００３０】図１０は、Ｇ補間部２０の具体的な構成の
一例を示すブロック図である。図１０において、色分離
後のＧのデータは水平垂直４方向、即ち右側、左側、上
側、下側の各相関用処理回路５１，５２，５３，５４に
それぞれ供給され、これら相関用処理回路５１，５２，
５３，５４において４方向の補間データＧｒ，Ｇｌ，Ｇ
ｔ，Ｇｂが生成される。これら補間データＧｒ，Ｇｌ，
Ｇｔ，Ｇｂは、補間する方向にＬＰＦを通すことで生成
される。

【００３１】補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは各
々、乗算器５５，５６，５７，５８において、図９に示
すＶＨ相関検出部１７で決定された補間係数、即ち水平
垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉ
ｎ，ＢＧａｉｎがそれぞれ掛けられる。そして、加算器
５９〜６１で加算されることにより、Ｇの補間処理が行
われる。補間処理後のＧの画像データは、（１）式で表
される。 Ｇ＝Ｇｒ×ＲＧａｉｎ＋Ｇｌ×ＬＧａｉｎ ＋Ｇｔ×ＴＧａｉｎ＋Ｇｂ×ＢＧａｉｎ ……（１）

【００３２】斜め４方向についても同様に、右上側、左
上側、左下側、右下側の各相関用処理回路６２，６３，
６４，６５において、Ｄ１／Ｄ２／Ｄ３／Ｄ４の各方向
の補間データが生成され、乗算器６６，６７，６８，６
９において、図９に示す斜め相関検出部１８で決定され
た斜め補間用ゲインＤ１Ｇａｉｎ，Ｄ２Ｇａｉｎ，Ｄ３
Ｇａｉｎ，Ｄ４Ｇａｉｎがそれぞれ掛けられた後、加算
器７０〜７２で足し合わされることによって補間処理が
行われる。

【００３３】また、水平垂直４方向相関検出／補間によ
るＧの画像データＧｖｈと、斜め４方向相関検出／補間
によるＧの画像データＧｄを、状況に合わせて（２）式
に示すように混合比を変化させて加算する。混合比の調
整は、図９に示すＶＨ‐斜め比較回路４０で算出される
斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎによっ
て行われる。 Ｇ＝Ｇｖｈ×ＶＨＧａｉｎ＋Ｇｄ×ＤＧａｉｎ ……（２）

【００３４】図１１は、Ｒ，Ｂ補間部１９，２１の具体
的な構成の一例を示すブロック図である。このＲ，Ｂ補
間部１９，２１の構成については、図１０に示すＧ補間
部２０の構成と基本的に同じである。したがって、図１
１中、図１０と同等部分には同一符号を付して示してあ
る。ただし、右側、左側、上側、下側の各相関用処理回
路５１′，５２′，５３′，５４′における補間データ
の生成法については、Ｇの場合に比べて複雑である。そ
の理由として２つあり、ＲＢ補間用相関検出を行うこと
と、Ｇ／２成分をＲＢに加えるためである。

【００３５】そのため、ＲＧ補間用相関検出は、水平
（右、左）の補間データ用と垂直方向（上、下）の補間
データ用では別々に行う。具体的には、Ｒ画素およびＢ
画素の信号からＲ信号／Ｂ信号を補間する際に、先述し
た水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎ
Ｄ，ＴＧａｉｎＤ，ＢＧａｉｎＤを、Ｒ／Ｂ専用の補間
係数として算出して用いる。これについては、本発明の
要旨ではないので、ここではその詳細な説明は省略す
る。

【００３６】図１２は、ｆｓ／２補正処理部２２の具体
的な構成の一例を示すブロック図である。

【００３７】図１２において、ＲＧＢ信号は、ｆｓ／２
トラップ回路１０１に入力される。このｆｓ／２トラッ
プ回路１０１は、図１３の特性図に示すように、入力画
像の空間サンプリング周波数ｆｓの１／２の周波数成分
のレスポンスが０である特性を持つフィルタによって構
成されている。ｆｓ／２トラップ回路１０１のトラップ
出力は、乗算器１０２でｆｓ／２検出部１６からの補間
係数Ｇ２Ｇａｉｎが掛けられた後、加算器１０３の一方
の入力となる。

【００３８】また、Ｒ／Ｇ／Ｂの各補間部１９，２０，
２１から供給される各補間出力ＲＩＰ／ＧＩＰ／ＢＩＰ
は、乗算器１０４でｆｓ／２検出部１６からの補間係数
Ｇ２Ｇａｉｎより算出される補間係数Ｇ２Ｇａｉｎ′が
掛けられた後、加算器１０３の他方の入力となる。な
お、補間係数Ｇ２Ｇａｉｎ′は、例えば、定数から補間
係数Ｇ２Ｇａｉｎを引くことにより算出される。図１４
は、ｆｓ／２補正処理部２２における補正処理の概念図
である。この概念図から明らかなように、補正処理はＲ
／Ｇ／Ｂの各信号ごとに行われる。

【００３９】上記構成のｆｓ／２補正処理部２２におい
ては、ｆｓ／２トラップ回路１０１を経たＲ／Ｇ／Ｂの
各信号と、Ｒ／Ｇ／Ｂの各補間部１９，２０，２１から
供給される各補間出力ＲＩＰ／ＧＩＰ／ＢＩＰとが加算
器１０３において混合される訳であるが、その混合比は
ｆｓ／２検出部１６から与えられる補間係数Ｇ２Ｇａｉ
ｎに基づいて決まるようになっている。

【００４０】具体的には、ｆｓ／２検出部１６からは、
ｆｓ／２の周波数成分を検出したとき、その周波数成分
が多い程大きな値の補間係数Ｇ２Ｇａｉｎが出力され、
その補間係数Ｇ２Ｇａｉｎが乗算器１０２でｆｓ／２ト
ラップ回路１０１を経たＲ／Ｇ／Ｂの各信号に掛けられ
るとともに、補間係数Ｇ２Ｇａｉｎから算出される補間
係数Ｇ２Ｇａｉｎ′が乗算器１０４で補間出力ＲＩＰ／
ＧＩＰ／ＢＩＰに掛けられる。そして、乗算器１０２，
１０４の各乗算出力が加算器１０３で加算（混合）され
て出力される。

【００４１】換言すれば、ｆｓ／２補正処理部２２で
は、ｆｓ／２検出部１６がｆｓ／２の周波数成分の存在
を検出したときには、Ｒ／Ｇ／Ｂの各信号からｆｓ／２
の周波数成分を除去したものを主として出力し、ｆｓ／
２検出部１６がｆｓ／２の周波数成分の存在を検出しな
いときには、Ｒ／Ｇ／Ｂの各補間部１９，２０，２１で
補間処理された補間出力ＲＩＰ／ＧＩＰ／ＢＩＰを出力
する。そして、補間係数Ｇ２Ｇａｉｎの値の増加に応じ
て、ｆｓ／２の周波数成分が除去されたＲ／Ｇ／Ｂの各
信号の補間出力ＲＩＰ／ＧＩＰ／ＢＩＰに対する混合比
が増加するようになっている。

【００４２】上述したように、ｆｓ／２の周波数成分の
存在を検出し、その存在を検出したときには、Ｒ／Ｇ／
Ｂの各補間部１９，２０，２１で補間処理された補間出
力ＲＩＰ／ＧＩＰ／ＢＩＰを使用せずに、ｆｓ／２の周
波数成分が除去されたＲ／Ｇ／Ｂの各信号を使用するよ
うにしたことで、相関検出による信号処理を行う場合
に、ｆｓ／２の空間周波数があっても、ｆｓ／２付近の
相関検出の誤検出を防止できるため、破綻のない画像の
再現が可能となる。

【００４３】図１５は、本発明に係るカメラの一例を示
す概略構成図である。図１５において、被写体からの入
射光は、レンズ１１１等を含む光学系によってＣＣＤエ
リアセンサ１１２の受光面（撮像面）上に結像される。
ＣＣＤエリアセンサ１１２の受光面上には、色配列が例
えば原色ベイヤ配列のカラーフィルタ１１３が設けられ
ている。ＣＣＤエリアセンサ１１２は、ＣＣＤ駆動回路
１１４によって露光、信号電荷の読み出しおよび転送な
どの駆動制御が行われる。

【００４４】ＣＣＤエリアセンサ１１２の出力信号は画
像処理装置１１５に供給され、種々の信号処理が行われ
る。この画像処理装置１１５として、水平垂直および斜
めの８方向の相関を検出し、その検出結果に基づいて適
応型補間処理を行うとともに、ｆｓ／２の周波数成分を
検出したとき、その周波数成分を除いた信号を使う構成
の上記実施形態に係る画像処理装置が用いられる。

【００４５】このように、例えば原色ベイヤ配列のカラ
ーフィルタ１１３を持つＣＣＤエリアセンサ１１２を撮
像デバイスとして用いたカメラにおいて、相関検出によ
る信号処理を行う際に、ｆｓ／２の空間周波数成分が存
在しても、ｆｓ／２付近の相関検出の誤検出を防止で
き、破綻のない画像の再現が可能になるとともに、光学
ＬＰＦを用いてｆｓ／２付近のレスポンスを０とする必
要がなくなり、レスポンスが０となる空間周波数を高く
することが可能となるため、再現画像の解像度／解像感
を向上できる。

【００４６】

【発明の効果】以上説明したように、本発明によれば、
カラーフィルタを受光面上に有する固体撮像素子の出力
信号を処理する際に、ｆｓ／２の周波数成分の存在を検
出し、その存在を検出したときには、ｆｓ／２の周波数
成分が除去されたＲ／Ｇ／Ｂの各信号を使用するように
したことにより、ｆｓ／２付近の相関検出の誤検出を防
止できるため、破綻のない画像が再現可能となる。しか
も、光学ＬＰＦを用いて帯域制限を行う必要がないた
め、再現画像の解像度／解像感が損なわれることもな
い。

【図面の簡単な説明】

【図１】本発明による画像処理装置の基本構成を示すブ
ロック図である。

【図２】カラーフィルタの原色ベイヤ配列図である。

【図３】検出部の構成の一例を示すブロック図である。

【図４】補間部の構成の一例を示すブロック図である。

【図５】ｆｓ／２検出部の具体的な構成の一例を示すブ
ロック図である。

【図６】ｆｓ／２検出部における通過フィルタの空間周
波数‐レスポンスの特性図である。

【図７】輝度Ｙ０の検出の概念図である。

【図８】ｆｓ／２検出の概念図である。

【図９】ＶＨ相関検出部および斜め相関検出部の具体的
な構成の一例を示すブロック図である。

【図１０】Ｇ補間部の具体的な構成の一例を示すブロッ
ク図である。

【図１１】Ｒ，Ｂ補間部の具体的な構成の一例を示すブ
ロック図である。

【図１２】ｆｓ／２補正処理部の具体的な構成の一例を
示すブロック図である。

【図１３】ｆｓ／２トラップ回路の特性図である。

【図１４】ｆｓ／２補正処理の概念図である。

【図１５】本発明に係るカメラの一例を示す概略構成図
である。

【図１６】課題を説明するための図である。

【符号の説明】

１１，１１３…カラーフィルタ、１２，１１２…ＣＣＤ
エリアセンサ、１４…検出部、１５…補間部、１６…ｆ
ｓ／２検出部、１７…ＶＨ相関検出部、１８…斜め相関
検出部、１９…Ｒ補間部、２０…Ｇ補間部、２１…Ｂ補
間部、２２…ｆｓ／２補正処理部、２３…ｆｓ／２通過
フィルタ、２４…ｆｓ／４通過フィルタ、２５…ｆｓ／
２検出回路、２６…輝度補正回路

Claims (12)

【特許請求の範囲】
1. 【請求項１】 所定の色配列のカラーフィルタを受光面
   上に有する固体撮像素子の出力信号を処理する画像処理
   装置であって、 入力画像の空間サンプリング周波数に対して１／２倍し
   た周波数成分の存在を検出する周波数検出回路と、 前記周波数検出回路の検出結果に基づいて入力画像に対
   する補正処理を行う補正処理回路とを備えたことを特徴
   とする画像処理装置。
2. 【請求項２】 前記周波数検出回路は、通過する周波数
   のレスポンスの最大値が入力画像の空間サンプリング周
   波数の１／２の空間周波数である第１のフィルタと、通
   過する周波数のレスポンスの最大値が入力画像の空間サ
   ンプリング周波数の１／４の空間周波数である第２のフ
   ィルタと、前記第１，第２のフィルタの各通過周波数成
   分を比較することによって前記空間サンプリング周波数
   の１／２の周波数成分を検出する検出部とを有すること
   を特徴とする請求項１記載の画像処理装置。
3. 【請求項３】 前記周波数検出回路は、補間すべき画素
   の近傍の画素の平均信号レベルを前記第１のフィルタの
   通過周波数成分から減算する手段を有することを特徴と
   する請求項２記載の画像処理装置。
4. 【請求項４】 前記補正処理回路は、少なくとも２系統
   の第１，第２の信号処理系を経た第１，第２の信号を前
   記周波数検出回路の検出出力に応じた混合比で加算する
   ことを特徴とする請求項１記載の画像処理装置。
5. 【請求項５】 前記第１の信号処理系は、入力画像の空
   間サンプリング周波数の１／２の周波数成分のレスポン
   スが０である第３のフィルタを有し、この第３のフィル
   タの通過周波数成分を前記第１の信号として出力し、 前記第２の信号処理系は、入力画像に対して補間処理し
   た結果を前記第２の信号として出力することを特徴とす
   る請求項４記載の画像処理装置。
6. 【請求項６】 前記補正処理回路は、前記周波数検出回
   路の検出出力の増加に応じて前記第１の信号の混合比を
   増加させることを特徴とする請求項５記載の画像処理装
   置。
7. 【請求項７】 所定の色配列のカラーフィルタを受光面
   上に有する固体撮像素子の出力信号を処理する画像処理
   方法であって、 入力画像の空間サンプリング周波数に対して１／２倍し
   た周波数成分の存在を検出し、 その検出結果に基づいて入力画像に対する補間処理を行
   うことを特徴とする画像処理方法。
8. 【請求項８】 前記補正処理においては、少なくとも２
   系統の第１，第２の信号処理系を経た第１，第２の信号
   を前記空間サンプリング周波数に対する１／２の周波数
   成分の検出結果に応じた混合比で加算することを特徴と
   する請求項７記載の画像処理方法。
9. 【請求項９】 前記第１の信号は、入力画像から前記空
   間サンプリング周波数に対する１／２の周波数成分が除
   かれた信号であり、 前記第２の信号は、入力画像に対して補間処理が行われ
   た信号であることを特徴とする請求項８記載の画像処理
   方法。
10. 【請求項１０】 所定の色配列のカラーフィルタを受光
    面上に有する固体撮像素子と、被写体からの入射光を前
    記固体撮像素子の受光面上に結像させる光学系と、前記
    固体撮像素子の出力信号を処理する画像処理装置とを具
    備するカメラであって、 前記画像処理装置は、 入力画像の空間サンプリング周波数に対して１／２倍し
    た周波数成分の存在を検出する周波数検出回路と、 前記周波数検出回路の検出結果に基づいて入力画像に対
    する補正処理を行う補正処理回路とを有することを特徴
    とするカメラ。
11. 【請求項１１】 前記補正処理回路は、少なくとも２系
    統の第１，第２の信号処理系を経た第１，第２の信号を
    前記周波数検出回路の検出出力に応じた混合比で加算す
    ることを特徴とする請求項１０記載のカメラ。
12. 【請求項１２】 前記第１の信号処理系は、入力画像の
    空間サンプリング周波数の１／２の周波数成分のレスポ
    ンスが０である第３のフィルタを有し、この第３のフィ
    ルタの通過周波数成分を前記第１の信号として出力し、 前記第２の信号処理系は、入力画像に対して補間処理し
    た結果を前記第２の信号として出力することを特徴とす
    る請求項１１記載のカメラ。