JPH11215513A - 撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 単板撮像素子を用いた場合でも、偽色、偽輪
郭の軽減された画像を得ることができる撮像装置を得
る。 【解決手段】 画素位置（２ｉ、２ｊ）と（２ｉ＋１、
２ｊ＋１）（ｉ、ｊは整数）に第１の色信号を通過させ
る分光特性を持った第１の色フィルタを、画素位置（２
ｉ、２ｊ＋１）に第２の色信号を通過させる分光特性を
持った第２の色フィルタ、画素位置（２ｉ＋１、２ｊ）
に第３の色信号を通過させる分光特性を持った第３の色
フィルタを配列した上下４画素が垂直水平方向に繰り返
し配列された撮像素子において、第１の色信号において
周辺画素信号に基づきエッジ成分を判定し、この判定結
果に基づき第１の色信号を算出して撮像素子の画素数の
第１の色信号を復元後、上記エッジ判定結果と復元され
た第１の色信号と各色信号により第２および第３の色信
号を算出し撮像素子の画素数の第２、第３の色信号を得
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、電子スチルカメ
ラのような撮像装置における高画質化、小型化に関す
る。

【０００２】

【従来の技術】従来、電子スチルカメラのような撮像装
置においては、小型化のために１枚の撮像素子（以下、
単板撮像素子と呼ぶ）を用いている。図１９は従来にお
ける撮像素子の代表的な色フィルタ配列の一例を示す図
である。図において、ＲはＲの光を通過させる分光特性
を持った色フィルタを有した撮像素子であり、同様に
Ｂ、Ｇについてもそれぞれの色フィルタを有した撮像素
子である。図１９に示されるように、ｎラインにはＧ、
Ｒが２画素毎に配列され、ｎ＋１ラインではＢ、Ｇが２
画素毎に配列されている。したがって、Ｒ、Ｂ信号は上
下４画素毎（図中の斜線部）に、Ｇ信号は２画素毎に得
られることとなり、撮像素子の画素数の各信号を得て解
像度の向上を図るには、得られている画素信号より演算
処理を行い撮像素子数のＲ、Ｇ、Ｂ信号を生成すること
となる。

【０００３】図２０は上記図１９に示された原色の色フ
ィルタを用いた撮像素子において、撮像素子からの信号
よりＲ、Ｇ、Ｂ信号を生成する従来の撮像装置の構成の
一例を示すブロック図である。図２０において、１０１
は撮像素子、１０２はフレームメモリ、１０３はフレー
ムメモリ１０２における信号をＲ、Ｇ、Ｂそれぞれの信
号に分離する分離手段、１０４は補間手段であり、上記
撮像素子１０１は、図１９に示すように、画素Ｒ、Ｇ、
Ｂから構成される。

【０００４】次に、動作を説明する。撮像素子１０１か
ら各画素信号Ｒ、Ｇ、Ｂを読み出し、フレームメモリ１
０２に各画素信号を取り込む。前記フレームメモリ１０
２に取り込まれた信号から、分離手段１０３により各信
号を分離し、それぞれを補間手段１０４へと送る。補間
手段１０４では、各Ｒ、Ｇ、Ｂ信号において得られてい
ない画素の信号を隣接画素の信号より補間生成し、撮像
素子すべての画素数のＲＧＢ信号を算出し出力される。

【０００５】ここで、上記補間手段１０４における補間
方法の一例について図２１により説明する。分離手段１
０３により分離されたＲ、Ｇ、Ｂ信号は図２１（ａ）
（ｂ）（ｃ）に示されるようになり、図中Ｇ、Ｒ、Ｂで
示された画素が撮像素子１０２より得られた各信号であ
り、一方、空白の画素が得られていない画素信号であ
る。Ｇ信号（図２１（ａ））については、垂直ｎライ
ン、水平ｍ番目の画素位置の信号ｇ（以下、画素位置
（ｎ，ｍ）と記す。）を補間するために、上下方向の隣
接画素の差分（｜Ｇ（ｎ−１，ｍ）−Ｇ（ｎ＋１，ｍ）
｜）と左右方向の隣接画素の差分（｜Ｇ（ｎ，ｍ−１）
−Ｇ（ｎ，ｍ＋１）｜）を求め、この差分が少ない方向
の画素信号により補間する。例えば、左右方向の隣接画
素の差分が少ない場合は、ｇ（ｎ，ｍ）＝（Ｇ（ｎ，ｍ
−１）＋Ｇ（ｎ，ｍ＋１））／２として算出し、上下方
向の隣接画素の差分が少ない場合は、ｇ（ｎ，ｍ）＝
（Ｇ（ｎ−１，ｍ）＋Ｇ（ｎ＋１，ｍ））／２として算
出する。

【０００６】ＲおよびＢ信号（図２１（ｂ）および
（ｃ））については、まず水平方向の画素の補間を行
い、次に垂直方向で補間を行う。例えば図２１（ｂ）の
Ｒについては、垂直ｎ−１ライン、ｎ＋１ラインでの補
間を行い、画素位置（ｎ−１，ｍ）（ｎ＋１，ｍ）の信
号を、 ｒ（ｎ−１，ｍ）＝（Ｒ（ｎ−１，ｍ−１）＋Ｒ（ｎ−
１，ｍ＋１））／２ ｒ（ｎ＋１，ｍ）＝（Ｒ（ｎ＋１，ｍ−１）＋Ｒ（ｎ＋
１，ｍ＋１））／２ のように算出し、つぎにｎラインの画素を上下（ｎ−１
およびｎ＋１ライン）の画素の補間により各水平画素位
置ｍ−１、ｍ、ｍ＋１の信号を求める。Ｂについても同
様な方法で得られる。

【０００７】以上の補間方法により、補間手段１０４の
出力において、撮像素子すべての画素数のＲ、Ｇ、Ｂ信
号を算出することができる。

【０００８】また、図２２は特開平６−１７８３０７号
公報に示された上下２画素を混合して読み出す画素混合
方式の撮像素子による従来の撮像装置の一例を示してお
り、上記の従来例と同様、撮像素子からの信号を水平走
査３ラインから補間生成するよう構成する場合のブロッ
ク図を示したものである。同図において、１０５は撮像
素子、１０６はフレームメモリ、１０７は信号選択回
路、１０８は色補間回路、１０９はＲＧＢマトリクスで
ある。撮像素子１０５は、図２２に示すように、４つの
画素Ａ，Ｂ，Ｃ，Ｄ（以下、各画素信号に付けられた番
号は画素位置を示す）から構成され、画素混合読み出し
により色信号が生成できるようにＡ、Ｂの画素が１ライ
ン毎に交互に配列される。

【０００９】次に、動作を説明する。撮像素子１０５か
ら画素混合読み出しせずそのまま各画素信号を読み出
し、フレームメモリ１０６に各画素信号を取り込む。前
記フレームメモリ１０６に取り込まれた信号から、信号
選択回路１０７により隣接した垂直３ラインの信号を選
択し、色補間回路１０８へと送る。色補間回路１０８で
は、上記垂直３ラインの信号から各色信号Ａ、Ｂ、Ｃ、
Ｄを補間生成した後、ＲＧＢマトリクス回路１０９によ
りＲＧＢ信号として出力される。

【００１０】ここで、上記色補間回路１０８では各色信
号を補間生成するのであるが、この補間方法について説
明する。例えば、ｎ２ラインの色信号補間生成では、信
号選択回路１０７により垂直３ラインｎ１，ｎ２，ｎ３
の信号が選択されて色補間回路１０８へと送られてお
り、ｎ２ラインにおいて得られている色信号はＣ、Ｄ画
素であり、Ａ，Ｂの画素はない。したがって、Ａ，Ｂの
画素については垂直方向でのｎ１、ｎ３ラインの信号よ
り補間するのであるが、ｎ１、ｎ３ラインではＡ，Ｂの
画素位置が異なるので、水平方向の補間係数を変えるこ
ととなる。いま、補間後の色信号のｎ２ラインの３番目
の画素（ｎ２，３）に対し、補間前の水平５画素より各
色信号Ａ′、Ｂ′、Ｃ′、Ｄ′を補間生成するとする
と、例えば、Ｃ′、Ｄ′については、水平方向のみ中心
に重みをつけて補間生成し、 Ｃ₂₃′＝（Ｃ₂₁／２＋ Ｃ₂₃＋ Ｃ₂₅／２）／２ Ｄ₂₃′＝（Ｄ₂₂＋ Ｄ₂₄）／２ とする。一方、 Ａ′、Ｂ′に対しては、 Ａ₂₃′＝（Ａ₁₁／４＋ Ａ₁₃／２＋ Ａ₁₅／４ ）／２＋
（Ａ₃₁／４＋ Ａ₃₃／２＋Ａ₃₅／４）／２ Ｂ₂₃′＝（Ｂ₁₂／２＋ Ｂ₁₄／２）／２＋（Ｂ₃₂／２＋
Ｂ₃₄／２）／２ なる式から水平画素に重みをつけ補間することができ
る。

【００１１】次に、ｎ３ラインの色信号の補間生成で
は、Ａ、Ｂの画素はｎ３ラインから補間生成し、Ｃ、Ｄ
画素についてはｎ２、ｎ４ラインから補間生成する。つ
まり、画素位置（３、３）において、例えば、 Ａ₃₃′＝（Ａ₃₂＋ Ａ₃₄）／２ Ｂ₃₃′＝（Ｂ₃₁／２＋ Ｂ₃₃＋ Ｂ₃₅／２）／２ Ｃ₃₃′＝（ Ｃ₂₁／４＋ Ｃ₂₃／２＋ Ｃ₂₅／４）／２＋
（Ｃ₄₁／４＋ Ｃ₄₃／２＋Ｃ₄₅／４）／２ Ｄ₃₃′＝（Ｄ₂₂／２＋ Ｄ₂₄／２）／２＋（Ｄ₄₂／２＋
Ｄ₄₄／２）／２ となる。

【００１２】以下、Ａ，Ｂの画素配置がライン毎で入れ
替わることを考慮し、ｎ４ラインでは、画素位置（４、
３）に対し、 Ａ₄₃′＝（Ａ₃₁／４＋Ａ₃₃／２＋Ａ₃₅／４）／２＋（Ａ
₅₁／４＋Ａ₅₃／２＋Ａ₅₅／４）／２ Ｂ₄₃′＝（Ｂ₃₂／２＋ Ｂ₃₄／２）／２＋（Ｂ₅₂／２＋
Ｂ₅₄／２）／２ Ｃ₄₃′＝（Ｃ₄₁／２＋ Ｃ₄₃＋ Ｃ₄₅／２）／２ Ｄ₄₃′＝（Ｄ₄₂＋ Ｄ₄₄）／２ ｎ５ラインでは、画素位置（５、３）に対し、 Ａ₅₃′＝（Ａ₅₂＋ Ａ₅₄）／２ Ｂ₅₃′＝（Ｂ₅₂＋ Ｂ₅₄）／２ Ｃ₅₃′＝（Ｃ₄₁／４＋Ｃ₄₃／２＋Ｃ₄₅／４）／２＋（Ｃ
₆₁／４＋Ｃ₆₃／２＋Ｃ₆₅／４）／２ Ｄ₅₃′＝（Ｄ₄₂／２＋ Ｄ₄₄／２）／２＋（Ｄ₆₂／２＋
Ｄ₆₄／２）／２ となる。以後、上記ｎ２、ｎ３，ｎ４、ｎ５ラインでの
補間方法を順次繰り返すことにより、色信号Ａ′、
Ｂ′、Ｃ′、Ｄ′を生成することとなる。

【００１３】したがって、垂直３ラインにより色信号を
補間生成しているので、色信号の垂直解像度劣化の少な
い撮像素子の画素数の信号を得られる。なお、上記で
は、４つの色信号をＡ，Ｂ，Ｃ，Ｄとして説明している
が、これは、例えば、Ｍｇ（マゼンダ）、Ｇ（グリー
ン）、Ｃｙ（シアン）、Ｙｅ（イエロー）の４色が考え
られ、また、色補間回路１０８での補間係数については
色信号を補間生成できる係数であればよい。

【００１４】

【発明が解決しようとする課題】従来の撮像装置は、水
平方向の隣接画素と上下のラインにおける画素信号によ
る補間によって色信号を生成するよう構成されており、
得られた色信号からの画像におけるエッジ等局所的な領
域での空間周波数の変化を考慮しておらず、そのため、
偽色、偽輪郭が生じるという問題点があった。

【００１５】この発明は上記のような問題点を解消する
ためになされたもので、垂直２行水平２列の上下４画素
において、第１の色信号に対する分光感度特性を持つ第
１の色フィルタと第２の色信号に対する分光感度特性を
持つ第２の色フィルタとが垂直１行目に配列され、垂直
２行目には上記垂直１行目における第１の色フィルタが
配列された画素位置と同一の列に第３の色信号に対する
分光感度特性を持つ第３の色フィルタが配列され、第２
の色フィルタと同一の列に第１の色信号に対する分光感
度特性を持つ第１の色フィルタが配列されており、上記
上下４画素の色フィルタが順次垂直および水平方向に繰
り返し配列される撮像素子を備えた撮像装置において、
上記第１の色フィルタによる第１の色信号の所定画素位
置におけるエッジ成分に基づき、第１の色信号における
所定画素位置での信号を算出して撮像素子の画素数の信
号を復元し、復元した第１の色信号と上記エッジ成分に
基づき、第２および第３の色信号を算出して撮像素子の
画素数分の信号を復元することにより、偽色、偽輪郭の
軽減された画像を得る撮像装置を得ることを目的とす
る。

【００１６】

【課題を解決するための手段】この発明に係る撮像装置
は、垂直２行水平２列の上下４画素において、第１の色
信号に対する分光感度特性を持つ第１の色フィルタと第
２の色信号に対する分光感度特性を持つ第２の色フィル
タとが第１の行に配列され、第２の行においては上記第
１の行における第１の色フィルタが配列された画素位置
と同一の列に第３の色信号に対する分光感度特性を持つ
第３の色フィルタが配列され、第２の色フィルタと同一
の列に上記第１の色フィルタと同一の第１の色信号に対
する分光感度特性を持つ第１の色フィルタが配列されて
おり、上記上下４画素の色フィルタが順次垂直および水
平方向に繰り返し配列される撮像素子を備えた撮像装置
において、上記第１の色フィルタによる第１の色信号の
所定画素位置での周辺画素信号に基づき、所定画素位置
におけるエッジ成分を判定するエッジ判定手段と、前記
エッジ判定手段の出力に基づき、上記第１、第２、第３
の色フィルタにより読み出された第１、第２および第３
の色信号により第１の色信号における上記所定画素位置
での信号を算出する第１の算出手段と、上記エッジ判定
手段の出力に基づき、第１の算出手段の出力と色フィル
タからの第２および第３の色信号により第２および第３
の色信号における信号を算出する第２の算出手段とを備
え、上記撮像素子における画素数の第１、第２、第３の
色信号を得るものである。

【００１７】また、この発明に係る撮像装置は、前記エ
ッジ判定手段が、上記第１の色信号の所定画素位置にお
ける左右の隣接画素の差の絶対値を算出して水平方向の
エッジ成分を検出する水平方向エッジ検出手段と、第１
の色信号の所定画素位置における上下の画素の差の絶対
値を算出して垂直方向のエッジ成分を検出する垂直方向
エッジ検出手段と、前記水平方向エッジ検出手段と垂直
方向エッジ検出手段からの出力に基づき、前記所定画素
における水平または垂直方向のエッジ成分を判定する判
定手段を備えるものである。

【００１８】また、この発明に係る撮像装置は、前記エ
ッジ判定手段における判定手段が、上記水平方向エッジ
検出手段からの出力または上記垂直方向エッジ検出手段
からの出力が予め定めた値より大きい場合は、上記所定
画素の周辺画素にエッジ成分を検出したとし、さらに、
水平方向エッジ検出手段からの出力が上記垂直方向エッ
ジ検出手段の出力より大きい場合は垂直方向により相関
があり、水平方向エッジ検出手段からの出力が上記垂直
方向エッジ検出手段の出力より小さい場合は水平方向に
より相関があると判定するとともに、上記水平方向エッ
ジ検出手段および垂直方向エッジ検出手段からの出力が
ともに予め定めた値より小さい場合にはエッジ成分を検
出しないと判定するものである。

【００１９】また、この発明に係る撮像装置は、前記第
１の算出手段が、第２の色信号Ｂのある所定画素ｌ行ｍ
列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２
の色信号Ｂのそれぞれに対し水平方向のローパスフィル
タを介した値Ａｈｌｐｆ（ｌ、ｍ ）、Ｂｈｌｐｆ
（ｌ、ｍ）を算出し、前記水平方向ローパスフィルタか
らの出力信号であるＡｈｌｐｆ（ｌ、ｍ）とＢｈｌｐｆ
（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）
により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ
（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｈｌ
ｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、ｍ）｝により算出
し、第３の色信号Ｃのある他の画素位置においても同様
に第１の色信号Ａにおける画素値を算出する水平方向信
号算出手段と、上記所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位
置において、第１の色信号Ａ、第２の色信号Ｂのそれぞ
れに対し垂直方向のローパスフィルタを介した値Ａｖｌ
ｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、ｍ）を算出し、前記
垂直方向ローパスフィルタからの出力信号であるＡｖｌ
ｐｆ （ｌ、ｍ）とＢｖｌｐｆ（ｌ、ｍ）との比と上記
画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１
の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、
ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ（ｌ、ｍ）／Ｂｖｌ
ｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある
他の画素位置においても同様に第１の色信号Ａにおける
画素値を算出する垂直方向信号算出手段と、第１の色信
号Ａにおける上記所定画素ｌ行ｍ列の位置での上下左右
の隣接画素の平均値よりｌ行ｍ列の第１の色信号Ａにお
ける画素値Ａ（ｌ、ｍ）を算出する平均値算出手段とを
備え、上記エッジ判定手段の出力に基づき、上記水平方
向信号算出手段の出力または垂直方向信号算出手段出
力、または、平均値算出手段からの出力より選択し、上
記所定画素ｌ行ｍ列における第１の色信号Ａの画素値Ａ
（ｌ、ｍ）を得て、撮像素子における画素数の第１の色
信号を得るものである。

【００２０】また、この発明に係る撮像装置は、前記第
１の算出する手段が、上記エッジ判定手段の出力が所定
画素ｌ行ｍ列の位置においてエッジ成分を検出しないと
判定した場合は上記平均値算出手段の出力を選択し、垂
直方向に相関があると判定した場合は上記垂直方向信号
算出手段の出力を選択し、水平方向に相関があると判定
した場合は上記水平方向信号算出手段の出力を選択し、
撮像素子における画素数の第１の色信号を得るものであ
る。

【００２１】また、この発明に係る撮像装置は、上記第
２の算出手段が、所定画素ｌ行ｍ列の位置において、上
記第１の算出手段からの出力Ａに対して水平方向のロー
パスフィルタを介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直
方向ローパスフィルタを介した値Ａ１ｖｌｐｆ（ｌ、
ｍ）を算出し、第２の色信号Ｂに対し水平方向のローパ
スフィルタを介した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の
色信号Ｃに対し垂直方向のローパスフィルタを介した値
Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、第２の色信号Ｂに対
し垂直方向のローパスフィルタを介した値Ｂ１ｖｌｐｆ
（ｌ、ｍ）と第３の色信号Ｃに対して水平方向のローパ
スフィルタを介した値Ｃ１ｈｌｐｆ（ｌ、ｍ ））とを
算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、
ｍ）との比（またはＣ１ｈｌｐｆ（ｌ、ｍ）との比）
と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）
との比（または、Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、
上記第１の算出手段からの出力Ａにおける所定画素ｌ行
ｍ列での画素値Ａ（ｌ、ｍ）から、ｌ行ｍ列の第２の色
信号Ｂと第３の色信号Ｃにおける画素値Ｂ（ｌ、ｍ）と
Ｃ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１
ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝、Ｃ
（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｖｌｐｆ（ｌ、ｍ）
／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、（または、Ｂ（ｌ、ｍ）
＝Ａ（ｌ、ｍ）×｛Ｂ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌ
ｐｆ（ｌ、ｍ）｝Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１
ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）によ
り算出する信号算出手段を備えるとともに、上記ｌ行ｍ
列の位置とは異なる所定画素ｘ行ｙ列の位置において、
上記第１の算出手段からの出力Ａに対し水平方向のロー
パスフィルタを介した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記
信号算出手段からの出力での第２の色信号Ｂに対し水平
方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ（ｘ、
ｙ）を算出し、Ａ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ
（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの
画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列
の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、
ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２
ｈｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃに
おいても同様にＣ信号を算出する水平方向信号算出手段
と、上記第１の算出手段からの出力Ａに対し垂直方向の
ローパスフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、
前記信号算出手段からの出力での第２の色信号Ｂに対し
垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ
（ｘ、ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖ
ｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力
Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ
行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ
（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）
／Ａ２ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信
号Ｃにおいても同様にＣ信号を算出する垂直方向信号算
出手段と、上記信号算出手段からの出力における第２、
第３の色信号での所定画素ｘ行ｙ列の位置において、斜
めに隣接する画素の平均値を算出する平均値算出手段と
を備え、上記エッジ判定手段の出力に基づき、前記水平
方向信号算出手段、垂直方向信号算出手段、平均値算出
手段からのそれぞれの出力から選択して、上記所定画素
ｘ行ｙ列での第２、第３の色信号を得て、撮像素子にお
ける画素数の第２、第３の色信号を得るものである。

【００２２】さらに、この発明に係る撮像装置は、前記
第２の算出手段が、上記エッジ判定手段の出力が所定画
素ｘ行ｙ列の位置においてエッジ成分を検出しないと判
定した場合は上記平均値算出手段の出力を選択し、垂直
方向に相関があると判定した場合は上記垂直方向信号算
出手段の出力を選択し、水平方向に相関があると判定し
た場合は上記水平方向信号算出手段の出力を選択し、撮
像素子における画素数の第２、第３の色信号を得るもの
である。

【００２３】

【発明の実施の形態】以下、この発明をその実施の形態
を示す図面に基づいて具体的に説明する。 実施の形態１．図１はこの発明の実施の形態１による電
子スチルカメラにおける撮像素子の色フィルタ配列の一
例を示す図であり、原色の色フィルタを用い、各光電変
換素子を独立に呼び出す方式の撮像素子を示している。
図において、Ｇは垂直方向２ｉ（ｉ＝０、１、２、
…）、水平方向２ｊ（ｊ＝０、１、２、…）の画素位置
（以下、画素位置（２ｉ，２ｊ）のように記す。）と、
画素位置（２ｉ＋１、２ｊ＋１）にあり、Ｇ信号を通過
させる分光特性を持った第１の色フィルタ、Ｒは画素位
置（２ｉ、２ｊ＋１）にあり、Ｒ信号を通過させる分光
特性を持った第２の色フィルタ、Ｂは画素位置（２ｉ＋
１、２ｊ）にあり、Ｂ信号を通過させる分光特性を持っ
た第３の色フィルタである。図１に示されるように、
Ｒ、Ｂ信号は上下４画素毎（図中の斜線部）に、Ｇ信号
は２画素毎に得られることとなり、この上下４画素が垂
直水平方向に繰り返し配列されている。

【００２４】図２は上記図１に示された色フィルタ配列
の撮像素子をもつ実施の形１態による電子スチルカメラ
における撮像装置の構成を示すブロック図である。図に
おいて、１は図１に示す色フィルタ配列で構成された撮
像素子、２はＡ／Ｄコンバータ、３はフレームメモリ、
４はＲ、Ｇ、Ｂの各画素信号を分離しそれぞれの信号を
出力する分離手段、５はＧ信号における所定画素でのエ
ッジを判定する第１のエッジ判定手段、６は上記分離手
段４からの各信号および前記第１のエッジ判定手段５か
らの出力に基づき、撮像素子１での総画素数のＧ信号を
得るようＧの復元を行うＧ成分復元手段である。７は上
記Ｇ成分復元手段６の出力である総画素数の信号を持つ
復元後のＧ信号と、上記分離手段４からのＲ、Ｂ信号か
らＲ、Ｂにおける画素位置（２ｉ、２ｊ）および（２ｉ
＋１，２ｊ＋１）での画素を復元するための第１のＲＢ
成分復元手段、８は上記Ｇ成分復元手段６からのＧ信号
における所定画素でのエッジを判定する第２のエッジ判
定手段、９は上記第１のＲＢ成分復元手段７からのＲ、
Ｂ信号と上記第２のエッジ判定手段８からの出力に基づ
き、Ｒにおける画素位置（２ｉ＋１，２ｊ）での画素
Ｒ、およびＢにおける画素位置（２ｉ，２ｊ＋１）での
画素Ｂを復元するための第２のＲＢ成分復元手段であ
る。

【００２５】また、図３は上記第１のエッジ判定手段５
およびＧ成分復元手段６の一構成例を示すブロック図で
ある。図において、１１はＧ信号の所定画素における左
右の画素の差分つまりエッジ成分を検出する水平方向エ
ッジ検出手段、１２はＧ信号の所定画素における上下画
素の差分であるエッジ成分を検出する垂直方向エッジ検
出手段、１３は前記水平および垂直方向エッジ検出手段
１１および１２から出力により、水平垂直方向での周辺
画素での信号レベルの変化を判定し、その判定結果を出
力する判定手段であり、水平方向エッジ検出手段１１、
垂直方向エッジ検出手段１２および判定手段１３により
第１のエッジ判定手段５を構成する。１４はＧ信号の所
定画素での上下左右の画素の平均値を算出する平均値算
出手段、１５〜１７は水平方向のローパスフィルタ、１
８はＲ信号と水平方向ローパスフィルタ１５による出力
信号Ｇｈｌｐｆおよび水平方向ローパスフィルタ１６に
よる出力信号Ｒｈｌｐｆから演算を行い、水平方向に相
関をもつ画素位置（２ｉ、２ｊ＋１）でのＧ信号を出力
する演算手段、１９はＢ信号と水平方向ローパスフィル
タ１５による出力信号Ｇｈｌｐｆおよび水平方向ローパ
スフィルタ１７による出力信号Ｂｈｌｐｆにより演算を
行い、水平方向に相関をもつ画素位置（２ｉ＋１、２
ｊ）でのＧ信号を出力する演算手段である。２０〜２２
は垂直方向のローパスフィルタ、２３はＲ信号と垂直方
向ローパスフィルタ２０による出力信号Ｇｖｌｐｆおよ
び垂直方向ローパスフィルタ２１による出力信号Ｒｖｌ
ｐｆにより演算を行い、垂直方向に相関をもつ画素位置
（２ｉ、２ｊ＋１）でのＧ信号を出力する演算手段、２
４はＢ信号と垂直方向ローパスフィルタ２０による出力
信号Ｇｖｌｐｆおよび垂直方向ローパスフィルタ２２に
よる出力信号Ｂｖｌｐｆにより演算を行い、垂直方向に
相関をもつ画素位置（２ｉ＋１、２ｊ）でのＧ信号を出
力する演算手段である。２５は切り換え手段であり、上
記第１のエッジ判定手段５からの周辺画素の信号レベル
変化を判定した結果と画素位置に基づき、Ｇの画素信号
を上記平均値算出手段１４、演算手段１８、１９および
演算手段２３、２４、分離手段４からの信号より、切り
換え選択する。

【００２６】また、図４は第２のエッジ判定手段８およ
び第２のＲＢ成分復元手段９の一構成例を示すブロック
図である。図において、第２のエッジ判定手段８は、Ｇ
信号の所定画素における左右の画素の差分を検出する水
平方向エッジ検出手段３０、および上下画素の差分を検
出する垂直方向エッジ検出手段３１、前記水平および垂
直方向エッジ検出手段３０および３１からの出力によ
り、水平垂直方向での周辺画素での信号レベルの変化を
判定し、Ｒ信号の画素位置（２ｉ＋１，２ｊ）に対する
判定結果とＢ信号の画素位置（２ｉ＋１，２ｊ）に対す
る判定結果を出力する判定手段３２により構成される。
Ｒにおける画素位置（２ｉ＋１，２ｊ）での画素Ｒ、お
よびＢにおける画素位置（２ｉ，２ｊ＋１）での画素Ｂ
を復元するための第２のＲＢ成分復元手段９において
は、３３はＲ信号での斜め方向に隣接する画素の平均値
を算出するＲ平均値算出手段、３４はＧ成分復元手段６
からのＧ信号と第１のＲＢ復元手段７からのＲ信号によ
り、Ｒにおける画素位置（２ｉ＋１，２ｊ）での画素信
号を水平方向の隣接画素により演算するＲ水平方向演算
手段、３５は垂直方向の隣接画素により、前記と同様に
して画素位置（２ｉ＋１，２ｊ）での画素信号を演算す
るＲ垂直方向演算手段、３６は上記第２のエッジ判定手
段８からの判定結果に基づき、画素位置に応じＲ画素を
切り換えるＲ切り換え手段であり、３７はＢ信号での斜
め方向に隣接する画素の平均値を算出するＢ平均値算出
手段、３８はＧ成分復元手段６からのＧ信号と第１のＲ
Ｂ復元手段７からのＢ信号により、Ｂにおける画素位置
（２ｉ，２ｊ＋１）での画素信号を水平方向の隣接画素
により演算するＢ水平方向演算手段、３９は垂直方向の
隣接画素により、前記と同様にして画素位置（２ｉ，２
ｊ＋１）での画素信号を演算するＢ垂直方向演算手段、
４０は上記第２のエッジ判定手段８からの判定結果に基
づき、画素位置に応じＢ画素を切り換えるＢ切り換え手
段である。

【００２７】次に動作について説明する。撮像素子１か
ら各画素信号Ｒ、Ｇ、Ｂを読み出し、その出力はＡ／Ｄ
コンバータ２によりＡ／Ｄ変換され、フレームメモリ３
に入力される。フレームメモリ３に入力された信号か
ら、分離手段４により各Ｒ、Ｇ、Ｂ信号を分離し、Ｇ信
号は第１のエッジ判定手段５とＧ成分復元手段６へと送
られ、Ｒ、Ｂ信号はＧ成分復元手段６および第１のＲＢ
復元手段７へと送られる。第１のエッジ判定手段５では
Ｇ信号における所定画素位置でのエッジ成分を判定して
判定結果をＧ成分復元手段６へと送り、Ｇ成分復元手段
６では上記第１のエッジ判定手段５からの判定結果の基
づき、撮像素子１での総画素数のＧ信号を得るようＧ成
分の画素信号の復元を行うのであるが、この動作を図３
に従って説明する。

【００２８】第１のエッジ判定手段５において、Ｇ信号
は水平方向エッジ検出手段１１および垂直方向エッジ判
定手段１２へと入力される。いま、撮像素子１における
Ｇ成分は図１にあるように画素位置（２ｉ、２ｊ）と
（２ｉ＋１、２ｊ＋１）で得られており、撮像素子の画
素数のＧ信号を得るために、画素位置（２ｉ、２ｊ＋
１）と（２ｉ＋１、２ｊ）の画素での信号を求めること
となる。図５は分離手段４からのそれぞれの画素位置で
のＧ信号を示す図であり、図中Ｇは撮像素子１からのＧ
信号を、ｇは信号が得られていない画素を示している。
よって、水平方向エッジ検出手段１１および垂直方向エ
ッジ判定手段１２では、画素位置（２ｉ、２ｊ＋１）お
よび（２ｉ＋１、２ｊ）（図５中斜線で示すｇ）での左
右および上下の画素の差分つまりエッジ成分を検出す
る。水平方向エッジ検出手段１１では、上記画素位置で
の左右の画素の差の絶対値ΔＨを得て、これを判定手段
１３へと出力し、垂直方向エッジ検出手段１２では、上
下の画素の差の絶対値ΔＶを得て、判定手段１３へと出
力する。例えば、画素位置（２ｉ、２ｊ＋１）において
は、水平方向エッジ検出手段１１で、 ΔＨ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜ （１） を算出し、垂直方向エッジ検出手段１２で ΔＶ＝｜Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜ （２） を算出し、上記ΔＨ、ΔＶを判定手段１３へと送る。以
下、この画素の差の絶対値をエッジ成分と呼ぶ。

【００２９】上記判定手段１３では、水平方向でのエッ
ジ成分ΔＨおよび垂直方向エッジ成分ΔＶにより、水平
垂直方向での周辺画素での信号レベルの変化を判定し、
その判定結果を示す信号ｅｄ１を出力する。つまり、Δ
ＨとΔＶの両方が予め定めた値ｔｈ１以下の場合は、周
辺画素での信号レベルの変化がないと判定し、例えばｅ
ｄ１＝１として出力する。一方、ΔＨまたはΔＶが予め
定めた値ｔｈ１より大きい場合は、その画素においてエ
ッジ成分があると判定し、さらに、ΔＨ＞ΔＶの場合は
垂直方向に相関が高いと判定して例えばｅｄ１＝２を出
力し、ΔＨ≦ΔＶの場合は水平方向に相関が高いと判定
して例えばｅｄ１＝３を出力する。なお、Ｇが得られて
いる画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）
においてはエッジ成分を判定する必要はなく、判定手段
１３からは例えばｅｄ１＝０を出力するものとする。判
定手段１３の出力ｅｄ１はＧ成分復元手段６における切
り換え手段２５へと送られる。

【００３０】次に、Ｇ成分復元手段６において、Ｇ信号
は平均値算出手段１４および水平方向ローパスフィルタ
１５、垂直方向ローパスフィルタ２０へと入力される。
平均値算出手段１４では、画素位置（２ｉ、２ｊ＋１）
および（２ｉ＋１、２ｊ）において上下左右４画素の値
の平均値ｇａを算出し、切り換え手段２５へと送る。水
平方向ローパスフィルタ１５からはＧの水平方向のロー
パスフィルタを介した値Ｇｈｌｐｆが、垂直方向ローパ
スフィルタ２０からはＧの垂直方向のローパスフィルタ
を介した値Ｇｖｌｐｆが出力され、例えば画素位置（２
ｉ、２ｊ＋１）では次式のように算出される。 Ｇｈｌｐｆ＝｛Ｇ（２ｉ、２ｊ）＋ Ｇ（２ｉ、２ｊ−２） ＋Ｇ（２ｉ、２ｊ＋２）＋Ｇ（２ｉ、２ｊ＋４）｝／４ （３） Ｇｖｌｐｆ＝｛Ｇ（２ｉ−３、２ｊ＋１）＋ Ｇ（２ｉ−１、２ｊ＋１） ＋Ｇ（２ｉ＋１、２ｊ＋１）＋Ｇ（２ｉ＋３、２ｊ＋１）｝／４ （４） 上記水平方向ローパスフィルタ１５の出力Ｇｈｌｐｆは
演算手段１８および１９へ、垂直方向ローパスフィルタ
２０の出力Ｇｖｌｐｆは演算手段２３および２４へと送
られる。

【００３１】一方、Ｒ信号は水平方向ローパスフィルタ
１６、垂直方向ローパスフィルタ２１へと入力されて、
水平および垂直方向のローパスフィルタを介した値Ｒｈ
ｌｐｆ、Ｒｖｌｐｆを出力し、Ｂ信号については水平方
向ローパスフィルタ１７、垂直方向ローパスフィルタ２
２へと入力され、それぞれ水平および垂直方向のローパ
スフィルタを介した値Ｂｈｌｐｆ、Ｂｖｌｐｆを出力す
る。ここで、撮像素子１におけるＲ成分は図１にあるよ
うに画素位置（２ｉ、２ｊ＋１）で得られ、分離手段４
からのそれぞれの画素位置でのＲ信号は図６（ａ）示さ
れるようになり、また、Ｂ成分は画素位置（２ｉ＋１、
２ｊ）で得られ、分離手段４からの各画素位置でのＢ信
号は図６（ｂ）に示されるようになる。なお、空白の画
素は撮像素子により信号を得られていない画素である。
したがって、画素位置（２ｉ、２ｊ＋１）ではＲ信号の
水平および垂直方向ローパスフィルタ１６および２１を
介した値を例えば次式により得る。 Ｒｈｌｐｆ＝｛Ｒ（２ｉ、２ｊ−３）＋ ２×Ｒ（２ｉ、２ｊ−１） ＋２×Ｒ（２ｉ、２ｊ＋１）＋２×Ｒ（２ｉ、２ｊ＋３） ＋Ｒ（２ｉ、２ｊ＋５）｝／８ （５） Ｒｖｌｐｆ＝｛Ｒ（２ｉ−４、２ｊ＋１）＋２×Ｒ（２ｉ−２、２ｊ＋１） ＋２×Ｒ（２ｉ、２ｊ＋１）＋２×Ｒ（２ｉ＋２、２ｊ＋１） ＋Ｒ（２ｉ＋４、２ｊ＋１）｝／８ （６） また、画素位置（２ｉ＋１、２ｊ）ではＢ信号の水平お
よび垂直方向ローパスフィルタ１７および２２を介した
値を例えば次式により得る。 Ｂｈｌｐｆ＝｛Ｂ（２ｉ＋１、２ｊ−４）＋２×Ｂ（２ｉ＋１、２ｊ−２） ＋２×Ｂ（２ｉ＋１、２ｊ）＋２×Ｂ（２ｉ＋１、２ｊ＋２） ＋Ｂ（２ｉ＋１、２ｊ＋４）｝／８ （７） Ｂｖｌｐｆ＝｛Ｂ（２ｉ−３、２ｊ）＋ ２×Ｂ（２ｉ−１、２ｊ） ＋ ２×Ｂ（２ｉ＋１、２ｊ）＋ ２×Ｂ（２ｉ＋３、２ｊ） ＋Ｒ（２ｉ＋５、２ｊ）｝／８ （８）

【００３２】なお、上記式（３）〜（８）は各水平方向
ローパスフィルタおよび垂直方向ローパスフィルタ出力
の算出例であり、フィルタのタップ数および係数は上記
式（３）〜（８）に限るものではなく、他のタップ数お
よび係数でもよい。

【００３３】そして、上記水平方向ローパスフィルタ１
６での出力Ｒｈｌｐｆは演算手段１８へと送られ、演算
手段１８へはＲ信号と水平方向ローパスフィルタ１５の
出力信号Ｇｈｌｐｆも入力されており、画素位置（２
ｉ、２ｊ＋１）での水平方向の相関をもつＧ信号ｇｈ１
（２ｉ、２ｊ＋１）を次式 ｇｈ１（２ｉ、２ｊ＋１）＝Ｒ（２ｉ、２ｊ＋１）×（Ｇｈｌｐｆ／Ｒｈｌｐｆ ） （９） により算出し、切り換え手段２５へと送る。また、垂直
方向ローパスフィルタ２１での出力Ｒｖｌｐｆは演算手
段２３へと送られ、演算手段２３へはＲ信号と垂直方向
ローパスフィルタ２０の出力信号Ｇｖｌｐｆも入力され
ており、画素位置（２ｉ、２ｊ＋１）での垂直方向に相
関をもつＧ信号ｇｖ１（２ｉ、２ｊ＋１）を次式 ｇｖ１（２ｉ、２ｊ＋１）＝Ｒ（２ｉ、２ｊ＋１）×（Ｇｖｌｐｆ／Ｒｖｌｐｆ ） （１０） により算出し、切り換え手段２５へと送る。

【００３４】同様に、上記水平方向ローパスフィルタ１
７での出力Ｂｈｌｐｆは演算手段１９へと送られ、演算
手段１９へはＢ信号と水平方向ローパスフィルタ１５の
出力信号Ｇｈｌｐｆも入力されており、画素位置（２ｉ
＋１、２ｊ）での水平方向の相関をもつＧ信号ｇｈ２
（２ｉ＋１、２ｊ）を次式 ｇｈ２（２ｉ＋１、２ｊ）＝Ｂ（２ｉ＋１、２ｊ）×（Ｇｈｌｐｆ／Ｂｈｌｐｆ ） （１１） により算出し、切り換え手段２５へと送る。また、垂直
方向ローパスフィルタ２２での出力Ｂｖｌｐｆは演算手
段２４へと送られ、演算手段２４へはＢ信号と垂直方向
ローパスフィルタ２０の出力信号Ｇｖｌｐｆも入力され
ており、画素位置（２ｉ＋１、２ｊ）での垂直方向に相
関をもつＧ信号ｇｖ２（２ｉ＋１、２ｊ）を次式 ｇｖ２（２ｉ＋１、２ｊ）＝Ｂ（２ｉ＋１、２ｊ）×（Ｇｖｌｐｆ／Ｂｖｌｐｆ ） （１２） により算出し、切り換え手段２５へと送る。

【００３５】上記式（９）〜（１２）による算出方式
は、局所的領域での色の変化が少ないことを前提として
おり、つまり、局所的な領域での各色信号の比はほぼ等
しいことにより、水平方向または垂直方向における局所
的な領域での各色信号の比はＲ、Ｇ、Ｂの水平方向また
は垂直方向のローパスフィルタを介した値の比で与えら
れる。

【００３６】切り換え手段２５では、第１のエッジ判定
手段５における判定手段１３からの周辺画素の信号レベ
ル変化を判定した結果ｅｄ１と画素位置に基づき、Ｇの
画素信号を上記平均値算出手段１４、演算手段１８、１
９および演算手段２３、２４、分離手段４からの信号よ
り選択し切り換える。つまり、判定手段１３による出力
信号ｅｄ１が‘２’を示す場合、すなわち、その画素に
おいてエッジ成分があると判定されるが、ΔＨ＞ΔＶで
垂直方向に相関が高いと判定される場合は、各画素位置
での垂直方向に相関を持つＧを出力する演算手段の信号
を選択する。判定手段１３による出力信号ｅｄ１が
‘３’を示す場合、すなわち、その画素においてエッジ
成分があると判定されるが、ΔＨ≦ΔＶで水平方向に相
関が高いと判定される場合には、各画素位置での水平方
向に相関を持つＧを出力する演算手段の信号を選択す
る。さらに、判定手段１３による出力信号ｅｄ１が
‘１’を示す場合には、ΔＨとΔＶの両方が予め定めた
値ｔｈ１以下であり、周辺画素での信号レベルの変化が
ないと判定されるため、周波数の変化を考慮する必要が
なく、平均値算出手段１４によるＧ信号ｇａを選択す
る。

【００３７】すなわち、切り換え手段２５において、画
素位置（２ｉ、２ｊ＋１）のＧ信号ｇ（２ｉ、２ｊ＋
１）の場合は、判定手段１３からの出力ｅｄ１＝１では
平均値算出手段１４からのＧ信号ｇａを、ｅｄ＝２の場
合は演算手段２３からのＧ信号ｇｖ１を、ｅｄ＝３の場
合は演算手段１８からのＧ信号ｇｈ１を選択し、一方、
画素位置（２ｉ＋１、２ｊ）のＧ信号ｇ（２ｉ＋１、２
ｊ）の場合は、判定手段１３からの出力ｅｄ１＝１では
平均値算出手段１４からのＧ信号ｇａを、ｅｄ＝２の場
合は演算手段２４からのＧ信号ｇｖ２を、ｅｄ＝３の場
合は演算手段１９からのＧ信号ｇｈ２を選択する。な
お、Ｇが得られている画素位置（２ｉ、２ｊ）、（２ｉ
＋１、２ｊ＋１）においては、判定手段１３からは例え
ばｅｄ１＝０が出力されており、このときは分離手段４
からのＧ信号をそのまま出力すればよい。

【００３８】したがって、Ｇ成分復元手段６からは画素
位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋
１、２ｊ）、（２ｉ＋１、２ｊ＋１）それぞれの画素で
のＧ信号が出力され、つまり、撮像素子の画素数分の解
像度のＧ信号を得られる。このＧ成分復元手段６からの
出力Ｇ０は次に、第１のＲＢ成分復元手段７、および第
２のエッジ判定手段８と第２のＲＢ成分復元手段９へと
送られる。

【００３９】次に、第１のＲＢ成分復元手段７では、分
離手段４からのＲ、Ｂ信号（図６（ａ）および（ｂ））
と上記Ｇ成分復元手段６からの全画素の信号をもつＧ信
号Ｇ０により、Ｒ、Ｂ信号それぞれにおける画素位置
（２ｉ、２ｊ）および（２ｉ＋１，２ｊ＋１）での画素
を復元生成する。図７（ａ）、（ｂ）は第１のＲＢ成分
復元手段７におけるＲ、Ｂ信号の算出を説明するための
各画素のＲ、Ｂを示す図であり、図中ｒおよびｂは第１
のＲＢ成分復元手段７において復元生成されるＲ、Ｂ画
素信号を示している。Ｒ信号での画素位置（２ｉ、２
ｊ）においては、水平方向に隣接するの２ｉラインの画
素が撮像素子１より得られており、また、Ｇ信号はＧ成
分復元手段６により全画素復元されている（図５）。よ
って、画素位置（２ｉ、２ｊ）において、Ｇ、Ｒ信号に
対して水平方向のローパスフィルタを介した値Ｇ１ｈｌ
ｐｆ、Ｒ１ｈｌｐｆを例えば、 Ｇ１ｈｌｐｆ＝（ｇ（２ｉ、２ｊ−１）＋ｇ（２ｉ、２ｊ＋１））／２ （１３） Ｒ１ｈｌｐｆ＝（Ｒ（２ｉ、２ｊ−１）＋Ｒ（２ｉ、２ｊ＋１））／２ （１４） により算出し、このＧ１ｈｌｐｆとＲ１ｈｌｐｆの比と
画素Ｇ（２ｉ、２ｊ）により、画素位置（２ｉ、２ｊ）
でのＲ信号ｒ（２ｉ、２ｊ）を次式により算出する。 ｒ（２ｉ、２ｊ）＝ Ｇ（２ｉ、２ｊ）×（Ｒ１ｈｌｐｆ／Ｇ１ｈｌｐｆ） ＝Ｇ（２ｉ、２ｊ）×（ Ｒ（２ｉ、２ｊ−１）＋Ｒ（２ｉ、２ｊ＋１）） ／（ｇ（２ｉ、２ｊ−１）＋ｇ（２ｉ、２ｊ＋１）） （１５）

【００４０】また、画素位置（２ｉ＋１、２ｊ＋１）に
おいては、垂直方向に隣接する２ｊ＋１列の画素が撮像
素子１より得られており、また、Ｇ信号はＧ成分復元手
段６により全画素復元されているので、画素位置（２ｉ
＋１、２ｊ＋１）において、Ｇ、Ｒ信号に対して垂直方
向のローパスフィルタを介した値Ｇ１ｖｌｐｆ、Ｒ１ｖ
ｌｐｆを例えば、 Ｇ１ｖｌｐｆ＝（ｇ（２ｉ、２ｊ＋１）＋ｇ（２ｉ＋２、２ｊ＋１））／２ （１６） Ｒ１ｖｌｐｆ＝（Ｒ（２ｉ、２ｊ＋１）＋Ｒ（２ｉ＋２、２ｊ＋１））／２ （１７） により算出し、このＧ１ｖｌｐｆとＲ１ｖｌｐｆの比と
画素Ｇ（２ｉ＋１、２ｊ＋１）により、画素位置（２ｉ
＋１、２ｊ＋１）でのＲ信号ｒ（２ｉ＋１、２ｊ＋１）
を次式により算出する。 ｒ（２ｉ＋１、２ｊ＋１）＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｒ１ｖｌｐｆ／Ｇ１ ｖｌｐｆ） ＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｒ（２ｉ、２ｊ＋１）＋Ｒ（２ｉ＋２、 ２ｊ＋１）） ／（ｇ（２ｉ、２ｊ＋１）＋ｇ（２ｉ＋２、２ｊ＋１）） （１８）

【００４１】同様に、Ｂ信号については、画素位置（２
ｉ、２ｊ）においては、垂直方向に隣接する２ｊ列の画
素が撮像素子１より得られており、また、Ｇ信号はＧ成
分復元手段６により全画素復元されている（図５）。よ
って、画素位置（２ｉ、２ｊ）において、Ｇ、Ｂ信号に
対して垂直方向のローパスフィルタを介した値Ｇ１ｖｌ
ｐｆ、Ｂ１ｖｌｐｆを例えば、 Ｇ１ｖｌｐｆ＝（ｇ（２ｉ−１、２ｊ）＋ｇ（２ｉ＋１、２ｊ））／２ （１９） Ｂ１ｖｌｐｆ＝（Ｂ（２ｉ−１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ））／２ （２０） により算出し、このＧ１ｖｌｐｆとＢ１ｖｌｐｆの比と
画素Ｇ（２ｉ、２ｊ）により、画素位置（２ｉ、２ｊ）
でのＢ信号ｂ（２ｉ、２ｊ）を次式により算出する。 ｂ（２ｉ、２ｊ）＝ Ｇ（２ｉ、２ｊ）×（Ｂ１ｖｌｐｆ／Ｇ１ｖｌｐｆ） ＝Ｇ（２ｉ、２ｊ）×（ Ｂ（２ｉ−１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ）） ／（ｇ（２ｉ−１、２ｊ）＋ｇ（２ｉ＋１、２ｊ）） （２１）

【００４２】また、画素位置（２ｉ＋１、２ｊ＋１）に
おいては、水平方向に隣接するの２ｉ＋１ラインの画素
が撮像素子１より得られており、また、Ｇ信号はＧ成分
復元手段６により全画素復元されている。よって、画素
位置（２ｉ＋１、２ｊ＋１）において、Ｇ、Ｂ信号に対
して水平方向のローパスフィルタを介した値Ｇ１ｈｌｐ
ｆ、Ｂ１ｈｌｐｆを例えば、 Ｇ１ｈｌｐｆ＝（ｇ（２ｉ＋１、２ｊ）＋ｇ（２ｉ＋１、２ｊ＋２））／２ （２２） Ｂ１ｈｌｐｆ＝（Ｂ（２ｉ＋１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ＋２））／２ （２３） により算出し、このＧ１ｈｌｐｆとＢ１ｈｌｐｆの比と
画素Ｇ（２ｉ＋１、２ｊ＋１）により、画素位置（２ｉ
＋１、２ｊ＋１）でのＢ信号ｂ（２ｉ＋１、２ｊ＋１）
を次式により算出する。 ｂ（２ｉ＋１、２ｊ＋１）＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｂ１ｈｌｐｆ／Ｇ１ ｈｌｐｆ） ＝Ｇ（２ｉ＋１、２ｊ＋１）×（ Ｂ（２ｉ＋１、２ｊ） ＋Ｂ（２ｉ＋１、２ｊ＋２）） ／（ｇ（２ｉ＋１、２ｊ）＋ｇ（２ｉ＋１、２ｊ＋２）） （２４）

【００４３】なお、上記式（１５）、（１８）、（２
１）、（２４）は上記Ｇでの復元方法と同様局所的領域
での色信号の変化が少ないことを前提としており、つま
り、各信号の比は局所的な領域ではほぼ等しいというこ
とによる。また、式（１３）〜（２４）におけるＧ１ｈ
ｌｐｆ、Ｇ１ｖｌｐｆ、Ｒ１ｈｌｐｆ、Ｒ１ｖｌｐｆ、
Ｂ１ｈｌｐｆ、Ｂ１ｖｌｐｆの算出式は、水平および垂
直方向のローパスフィルタ出力の算出例であり、フィル
タのタップ数および係数は上記に限るものではなく、他
のタップ数および係数であってもよい。そして、第１の
ＲＢ成分復元手段７からは図７に示すＲ、ｒおよびＢ、
ｂの画素信号Ｒ１およびＢ１が出力されて、第２のＲＢ
成分復元手段９へと送られる。

【００４４】次に、第２のＲＢ成分復元手段９および第
２のエッジ判定手段８の動作について図４により説明す
る。第２のエッジ判定手段８において、Ｇ成分復元手段
６から出力されたＧ信号Ｇ０は水平方向エッジ検出手段
３０および垂直方向エッジ判定手段３１へと入力され、
画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）
の画素での左右および上下の画素の差分つまりエッジ成
分を検出する。水平方向エッジ検出手段３０では、上記
画素位置での左右の画素の差の絶対値ΔＨを得て、これ
を判定手段３２へと出力し、垂直方向エッジ検出手段３
１では、上下の画素の差の絶対値ΔＶを得て、判定手段
３２へと出力する。例えば、上記画素位置（２ｉ、２ｊ
＋１）においては、水平方向エッジ検出手段３０で、 ΔＨ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜ を算出し、垂直方向エッジ検出手段３１で、 ΔＶ＝｜ Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、
２ｊ＋１）｜ を算出し、上記ΔＨ、ΔＶを判定手段３２へと送る。以
下、この画素の差の絶対値をエッジ成分と呼ぶ。

【００４５】上記判定手段３２では、水平方向でのエッ
ジ成分ΔＨおよび垂直方向エッジ成分ΔＶにより、水平
垂直方向での周辺画素での信号レベルの変化を判定し、
その判定結果を示す信号を出力するのであるが、ここ
で、上記第１のＲＢ成分復元手段７により、Ｒ信号Ｒ１
では画素位置（２ｉ＋１、２ｊ）以外の画素信号が得ら
れており（図７（ａ））、Ｂ信号Ｂ１では画素位置（２
ｉ、２ｊ＋１）以外の画素信号が得られている（図７
（ｂ））。したがって、画素位置（２ｉ＋１、２ｊ）で
のエッジ成分を判定した結果ｅｄｒをＲ信号の画素位置
（２ｉ＋１，２ｊ）の復元に対して出力し、一方、画素
位置（２ｉ、２ｊ＋１）でのエッジ成分を判定した結果
ｅｄｂをＢ信号の画素位置（２ｉ、２ｊ＋１）の復元に
対して出力する。すなわち、画素位置（２ｉ＋１、２
ｊ）における判定結果ｅｄｒと画素位置（２ｉ、２ｊ＋
１）における判定結果ｅｄｂにおいて、ΔＨとΔＶの両
方が予め定めた値ｔｈ２以下の場合は、周辺画素での信
号レベルの変化がないと判定し、例えばｅｄｒ＝１およ
びｅｄｂ＝１として出力する。一方、ΔＨまたはΔＶが
予め定めた値ｔｈ２より大きい場合は、その画素におい
てエッジ成分があると判定し、さらに、ΔＨ＞ΔＶの場
合は垂直方向に相関が高いと判定して、例えばｅｄｒ＝
２およびｅｄｂ＝２を出力し、ΔＨ≦ΔＶの場合は水平
方向に相関が高いと判定して例えばｅｄｒ＝３およびｅ
ｄｂ＝３を出力する。なお、Ｒ、Ｂが得られている画素
位置においてはエッジ成分を判定する必要はなく、判定
手段３２からは例えばｅｄｒ＝０およびｅｄｂ＝０を出
力するものとする。そして、判定手段３２の出力ｅｄｒ
は第２のＲＢ成分復元手段９におけるＲ切り換え手段３
６へ、また、出力ｅｄｂは第２のＲＢ成分復元手段９に
おけるＢ切り換え手段４０へと送られる。

【００４６】次に、第２のＲＢ成分復元手段９におい
て、第１のＲＢ成分復元手段７からのＲ信号出力Ｒ１は
Ｒ平均値算出手段３３、Ｒ水平方向演算手段３４および
Ｒ垂直方向演算手段３５、Ｒ切り換え手段３６へと入力
される。図８（ａ）は第２のＲＢ成分復元手段９におい
て画素位置（２ｉ＋１、２ｊ）のＲ信号の復元を説明す
るための図であり、図中Ｒおよびｒで示された画素は撮
像素子で得られた信号と上記第１のＲＢ復元手段７にお
いて復元された画素信号であり、よって、斜線で示され
たｒ′画素の信号を求めることとなる。まず、Ｒ平均値
算出手段３３では、Ｒ信号Ｒ１において、画素位置（２
ｉ＋１、２ｊ）での斜め方向に隣接する４画素Ｒ（２
ｉ、２ｊ−１）、Ｒ（２ｉ、２ｊ＋１）、Ｒ（２ｉ＋
２、２ｊ−１）、Ｒ（２ｉ＋２、２ｊ＋１）の平均値ｒ
ａを次式により算出する。 ｒａ（２ｉ＋１、２ｊ）＝｛ Ｒ（２ｉ、２ｊ−１）＋
Ｒ（２ｉ、２ｊ＋１）＋ Ｒ（２ｉ＋２、２ｊ−１）＋
Ｒ（２ｉ＋２、２ｊ＋１）｝／４

【００４７】Ｒ水平方向演算手段３４ではＧ成分復元手
段６からのＧ信号Ｇ０（図５）も入力されており、Ｒお
よびＧ信号の画素位置（２ｉ＋１，２ｊ）において、水
平方向のローパスフィルタを介した値Ｒ２ｈｌｐｆ、Ｇ
２ｈｌｐｆを例えば、 Ｒ２ｈｌｐｆ＝（ｒ（２ｉ＋１、２ｊ−１）＋ｒ（２ｉ＋１、２ｊ＋１））／２ （２５） Ｇ２ｈｌｐｆ＝（Ｇ（２ｉ＋１、２ｊ−１）＋Ｇ（２ｉ＋１、２ｊ＋１））／２ （２６） により算出し、このＲ２ｈｌｐｆとＧ２ｈｌｐｆの比と
画素ｇ（２ｉ＋１、２ｊ）により、次式の演算で（２ｉ
＋１，２ｊ）の水平方向に相関を持つ画素値ｒｈを算出
し出力する。 ｒｈ（２ｉ＋１、２ｊ）＝ｇ（２ｉ＋１、２ｊ）×（Ｒ２ｈｌｐｆ／Ｇ２ｈｌｐ ｆ） ＝ｇ（２ｉ＋１、２ｊ） ×（ ｒ（２ｉ＋１、２ｊ−１）＋ｒ（２ｉ＋１、２ｊ＋１）） ／（Ｇ（２ｉ＋１、２ｊ−１）＋Ｇ（２ｉ＋１、２ｊ＋１）） （２７）

【００４８】Ｒ垂直方向演算手段３５ではＧ成分復元手
段６からのＧ信号Ｇ０も入力されており、ＲおよびＧ信
号における画素位置（２ｉ＋１，２ｊ）において、垂直
方向のローパスフィルタを介した値Ｒ２ｖｌｐｆ、Ｇ２
ｖｌｐｆを例えば、 Ｒ２ｖｌｐｆ＝（ｒ（２ｉ、２ｊ）＋ｒ（２ｉ＋２、２ｊ））／２ （２８） Ｇ２ｖｌｐｆ＝（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ＋２、２ｊ））／２ （２９） により算出し、このＲ２ｖｌｐｆとＧ２ｖｌｐｆの比と
画素ｇ（２ｉ＋１、２ｊ）により、次式の演算で（２ｉ
＋１，２ｊ）の垂直方向に相関を持つ画素値ｒｖを算出
し出力する。 ｒｖ（２ｉ＋１、２ｊ）＝ｇ（２ｉ＋１、２ｊ）×（Ｒ２ｖｌｐｆ／Ｇ２ｖｌｐ ｆ） ＝ｇ（２ｉ＋１、２ｊ）×（ｒ（２ｉ、２ｊ）＋ｒ（２ｉ＋２、２ｊ）） ／（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ＋２、２ｊ）） （３０）

【００４９】なお、上記式（２７）、（３０）は上述し
たように、局所的領域での色信号の変化が少ないことを
前提としており、つまり、各信号の比は局所的な領域で
はほぼ等しいということにより、また、式（２５）〜
（３０）におけるＧ２ｈｌｐｆ、Ｇ２ｖｌｐｆ、Ｒ２ｈ
ｌｐｆ、Ｒ２ｖｌｐｆの算出式は、水平および垂直方向
のローパスフィルタ出力の算出例であり、フィルタのタ
ップ数および係数は上記に限るものではなく、他のタッ
プ数および係数であってもよい。そして、上記出力ｒｈ
およびｒｖはともにＲ切り換え手段３６へと送られる。

【００５０】Ｒ切り換え手段３６では、第２のエッジ判
定手段８における判定手段３２からの周辺画素の信号レ
ベル変化を判定した結果ｅｄｒに基づき、画素位置（２
ｉ＋１、２ｊ）の信号を上記Ｒ平均値算出手段３３、Ｒ
水平方向演算手段３４およびＲ垂直方向演算手段３５、
第１のＲＢ成分復元手段７からの信号より選択し切り換
える。つまり、判定手段３２による出力信号ｅｄｒが
‘２’を示す場合、すなわち、その画素においてエッジ
成分があると判定されるが、ΔＨ＞ΔＶで垂直方向に相
関が高いと判定される場合は、垂直方向に相関を持つＲ
を出力するＲ垂直方向演算手段３５の信号ｒｖを選択す
る。判定手段３２による出力信号ｅｄｒが‘３’を示す
場合、すなわち、その画素においてエッジ成分があると
判定されるが、ΔＨ≦ΔＶで水平方向に相関が高いと判
定される場合には、水平方向に相関を持つＲを出力する
Ｒ水平方向演算手段３４の信号を選択する。さらに、判
定手段３２による出力信号ｅｄｒが‘１’を示す場合に
は、ΔＨとΔＶの両方が予め定めた値ｔｈ２以下であ
り、周辺画素での信号レベルの変化がないと判定される
ため、周波数の変化を考慮する必要がなく、Ｒ平均値算
出手段３３によるＲ信号ｒａを選択する。なお、Ｒが得
られている画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋
１）、（２ｉ＋１、２ｊ＋１）においては、判定手段３
２からは例えばｅｄｒ＝０が出力されており、このとき
は第１のＲＢ成分復元手段７からのＲ信号をそのまま出
力すればよい。

【００５１】Ｂ信号についても上記Ｒ信号での処理と同
様であり、第２のＲＢ成分復元手段９において、第１の
ＲＢ成分復元手段７からのＢ信号出力Ｂ１はＢ平均値算
出手段３７、Ｂ水平方向演算手段３８およびＢ垂直方向
演算手段３９、Ｂ切り換え手段４０へと入力される。図
８（ｂ）は第２のＲＢ成分復元手段９において画素位置
（２ｉ、２ｊ＋１）のＢ信号の復元を説明するための図
であり、図中Ｂおよびｂで示された画素は撮像素子で得
られた信号と上記第１のＲＢ復元手段７において復元さ
れた画素信号であり、よって、斜線で示されたｂ′画素
の信号を求めることとなる。まず、Ｂ平均値算出手段３
７では、Ｂ信号Ｂ１において、画素位置（２ｉ、２ｊ＋
１）での斜め方向に隣接する４画素の平均値ｂａを次式
により算出する。 ｂａ（２ｉ、２ｊ＋１）＝｛Ｂ（２ｉ−１、２ｊ）＋Ｂ
（２ｉ−１、２ｊ＋２）＋Ｂ（２ｉ＋１、２ｊ）＋Ｂ
（２ｉ＋１、２ｊ＋２）｝／４

【００５２】Ｂ水平方向演算手段３８ではＧ成分復元手
段６からのＧ信号Ｇ０（図５）も入力されており、Ｂお
よびＧ信号における画素位置（２ｉ，２ｊ＋１）におい
て、水平方向のローパスフィルタを介した値Ｂ２ｈｌｐ
ｆ、Ｇ３ｈｌｐｆを例えば、 Ｂ２ｈｌｐｆ＝（ｂ（２ｉ、２ｊ）＋ｂ（２ｉ、２ｊ＋２））／２ （３１） Ｇ３ｈｌｐｆ＝（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２））／２ （３２） により算出し、このＢ２ｈｌｐｆとＧ３ｈｌｐｆの比と
画素ｇ（２ｉ、２ｊ＋１）により、次式の演算で（２
ｉ，２ｊ＋１）の水平方向に相関を持つ画素値ｂｈを算
出し出力する。 ｂｈ（２ｉ、２ｊ＋１）＝ｇ（２ｉ、２ｊ＋１）×（Ｂ２ｈｌｐｆ／Ｇ３ｈｌｐ ｆ） ＝ｇ（２ｉ、２ｊ＋１）×（ｂ（２ｉ、２ｊ）＋ｂ（２ｉ、２ｊ＋２）） ／（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２）） （３３）

【００５３】Ｂ垂直方向演算手段３９ではＧ成分復元手
段６からのＧ信号Ｇ０も入力されており、ＢおよびＧ信
号における画素位置（２ｉ，２ｊ＋１）において、垂直
方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ、Ｇ３
ｖｌｐｆを例えば、 Ｂ２ｖｌｐｆ＝（ｂ（２ｉ−１、２ｊ＋１）＋ｂ（２ｉ＋１、２ｊ＋１））／２ （３４） Ｇ３ｖｌｐｆ＝（Ｇ（２ｉ−１、２ｊ＋１）＋Ｇ（２ｉ＋１、２ｊ＋１））／２ （３５） により算出し、このＢ２ｖｌｐｆとＧ３ｖｌｐｆの比と
画素ｇ（２ｉ、２ｊ＋１）により、次式の演算で（２
ｉ，２ｊ＋１）の垂直方向に相関を持つ画素値ｂｖを算
出し出力する。 ｂｖ（２ｉ、２ｊ＋１）＝ｇ（２ｉ、２ｊ＋１）×（Ｂ２ｖｌｐｆ／Ｇ３ｖｌｐ ｆ） ＝ｇ（２ｉ、２ｊ＋１）×（ｂ（２ｉ−１、２ｊ＋１）＋ｂ（２ｉ＋１、２ｊ＋ １）） ／（Ｇ（２ｉ−１、２ｊ＋１）＋Ｇ（２ｉ＋１、２ｊ＋１））（３６）

【００５４】なお、上記式（３３）、（３６）は上述し
たように、局所的領域での色信号の変化が少ないことを
前提としており、つまり、各信号の比は局所的な領域で
はほぼ等しいということにより、また、式（３１）〜
（３６）におけるＧ３ｈｌｐｆ、Ｇ３ｖｌｐｆ、Ｂ２ｈ
ｌｐｆ、Ｂ２ｖｌｐｆの算出式は、水平および垂直方向
のローパスフィルタ出力の算出例であり、フィルタのタ
ップ数および係数は上記に限るものではなく、他のタッ
プ数および係数であってもよい。そして、上記出力ｂｈ
およびｂｖはともにＢ切り換え手段４０へと送られる。

【００５５】Ｂ切り換え手段４０では、第２のエッジ判
定手段８における判定手段３２からの周辺画素の信号レ
ベル変化を判定した結果ｅｄｂに基づき、画素位置（２
ｉ、２ｊ＋１）の信号を上記Ｂ平均値算出手段３７、Ｂ
水平方向演算手段３８およびＢ垂直方向演算手段３９、
第１のＲＢ成分復元手段７からの信号より選択し切り換
える。つまり、判定手段３２による出力信号ｅｄｂが
‘２’を示す場合、すなわち、その画素においてエッジ
成分があると判定されるが、ΔＨ＞ΔＶで垂直方向に相
関が高いと判定される場合は、垂直方向に相関を持つＲ
を出力するＲ垂直方向演算手段３９の信号ｂｖを選択す
る。判定手段３２による出力信号ｅｄｂが‘３’を示す
場合、すなわち、その画素においてエッジ成分があると
判定されるが、ΔＨ≦ΔＶで水平方向に相関が高いと判
定される場合には、水平方向に相関を持つＢを出力する
Ｂ水平方向演算手段３８の信号を選択する。さらに、判
定手段３２による出力信号ｅｄｂが‘１’を示す場合に
は、ΔＨとΔＶの両方が予め定めた値ｔｈ２以下であ
り、周辺画素での信号レベルの変化がないと判定される
ため、周波数の変化を考慮する必要がなく、Ｂ平均値算
出手段３７によるＢ信号ｂａを選択する。なお、Ｂが得
られている画素位置（２ｉ、２ｊ）、（２ｉ＋１、２
ｊ）、（２ｉ＋１、２ｊ＋１）においては、判定手段３
２からは例えばｅｄｂ＝０が出力されており、このとき
は第１のＲＢ成分復元手段７からのＢ信号をそのまま出
力すればよい。

【００５６】以上より、第２のＲＢ成分復元手段９から
は画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２
ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）それぞれの画
素でのＲおよびＢ信号が出力され、つまり、撮像素子の
画素数分の解像度のＲ、Ｂ信号を得られるとになる。Ｇ
信号は上記Ｇ成分復元手段６においてすでに撮像素子の
画素数分の解像度の信号を得ており、したがって、Ｇ成
分を用い水平垂直方向のエッジ成分を判定して局所的な
領域での空間周波数の変化を判定し、その判定結果に基
づき各色信号の生成を切り換えるともに、エッジ成分が
所定値を越える場合の信号の算出において、局所的な領
域での色信号の比により算出を行い、エッジ成分が所定
値以下では周辺画素の平均値で求めるので、そのため、
偽色、偽輪郭が軽減された画像を得ることになる。

【００５７】図９は、ゾーンプレートを画像シミュレー
ションにより処理した場合の水平方向において発生する
偽色レベル（color-alias level 、縦軸）と解像度（横
軸）との関係を示すものであり、上記図２０による従来
技術による処理後の偽色レベルを波線で示し、図２によ
る実施の形態１による処理後の偽色レベルを実線で示し
ている。従来の技術による処理では多くの偽色が発生し
ているが、実施の形態１による処理では偽色の発生が抑
圧されている。各処理でこの水平方向の偽色信号のレベ
ルを積分して比較すると、約１８．４ｄＢの抑圧効果が
ある。

【００５８】また、図１０は、垂直方向での発生する偽
色レベル（color-alias level 、縦軸）と解像度（横
軸）との関係を示すものであり、上記と同様に、上記図
２０による従来技術による処理後の偽色レベルを波線で
示し、図２による実施の形態１による処理後の偽色レベ
ルを実線で示している。従来の技術による処理では多く
の偽色が発生しているが、実施の形態１による処理では
偽色の発生が抑圧されており、垂直方向の偽色信号のレ
ベルを積分して比較すると、約１８．５ｄＢの抑圧効果
がある。

【００５９】さらに、図１１および図１２は、ゾーンプ
レートを画像シミュレーションにより処理した場合の水
平方向における輝度信号のレベルをＲＧＢ信号より算出
して縦軸に、解像度を横軸に示した図であり、図２によ
る実施の形態１による処理後の場合を図１１に、上記図
２０による従来技術による処理後の場合を図１２に示
す。また、垂直方向における輝度信号のレベルと解像度
との関係を、図１３に図２による実施の形態１による処
理後の場合を、図１４に上記図２０による従来技術によ
る処理後の場合示す。水平および垂直方向どちらに対し
ても、従来の技術による処理に比較して実施の形態１に
よる処理ではレベルの低下が少なく、水平垂直方向の解
像度が向上している。

【００６０】なお、上記実施の形態１では、撮像素子１
の色フィルタの配列を図１に示す原色の色フィルタであ
り、各光電変換素子を独立に呼び出す方式の撮像素子と
し、画素位置（２ｉ，２ｊ）と画素位置（２ｉ＋１、２
ｊ＋１）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）
にＧ信号を通過させる分光特性を持った第１の色フィル
タを、画素位置（２ｉ、２ｊ＋１）にＲ信号を通過させ
る分光特性を持った第２の色フィルタを、画素位置（２
ｉ＋１、２ｊ）にＢ信号を通過させる分光特性を持った
第３の色フィルタを配列した場合として説明したが、撮
像素子におけるは第１、第２および第３の色フィルタの
分光特性はＲ、Ｇ、Ｂに限るものではなく、例えば画素
混合方式の撮像素子であってもよく、図１５に示すよう
に、画素位置（２ｉ，２ｊ）と画素位置（２ｉ＋１、２
ｊ＋１）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）
に第１の信号Ａを通過させる分光特性を持った第１の色
フィルタを、画素位置（２ｉ、２ｊ＋１）に第２の信号
Ｂを通過させる分光特性を持った第２の色フィルタを、
画素位置（２ｉ＋１、２ｊ）に第３の信号Ｃを通過させ
る分光特性を持った第３の色フィルタを配列し、上記実
施の形態１の処理により撮像素子の画素数分の各Ａ、
Ｂ、Ｃの信号を復元した後ＲＧＢの色信号を再生できれ
ばよく、上記と同様の効果を奏する。

【００６１】また、上記実施の形態１では、図１および
図１５の撮像素子の色フィルタの配列を画素位置（２
ｉ，２ｊ）と画素位置（２ｉ＋１、２ｊ＋１）（ｉ＝
０、１、２、…、ｊ＝０、１、２、…）に第１の色フィ
ルタを、画素位置（２ｉ、２ｊ＋１）に第２の色フィル
タを、画素位置（２ｉ＋１、２ｊ）に第３の色フィルタ
を配列した場合（図１、１５中の斜線部分）として説明
したが、図１６に示されるように、画素位置（２ｉ，２
ｊ＋１）と画素位置（２ｉ＋１、２ｊ）（ｉ＝０、１、
２、…、ｊ＝０、１、２、…）に第１の色フィルタを、
画素位置（２ｉ、２ｊ）に第２の色フィルタを、画素位
置（２ｉ＋１、２ｊ＋１）に第３の色フィルタを配列し
た場合（図１６中の斜線部分）でも同様の効果を奏し、
上下４画素毎にｎラインには第１の色フィルタ、第２の
色フィルタが配列され、ｎ＋１ラインでは第３の色フィ
ルタと第１の色フィルタが配列されて、上下のラインで
第１のフィルタが斜め方向の画素に配列されていればよ
い。

【００６２】また、上記実施の形態１において、第１の
エッジ判定手段５および第２のエッジ判定手段８におい
ての判定結果を示す信号を、ΔＨとΔＶの両方が予め定
めた値以下の場合は‘１’とし、エッジ成分があると判
定しΔＨ＞ΔＶの場合は‘２’とし、ΔＨ≦ΔＶの場合
は‘３’とし、画素信号が得られている画素位置におい
ては‘０’として出力する場合について説明している
が、これに限るものではなく、それぞれの判定結果を区
別できる信号を出力するのであれば、他の値であっても
よい。

【００６３】なお、上記実施の形態１では、ハードウェ
アにより図２の構成の処理を行う場合について説明して
いるが、撮像装置におけるソフトウェアにより同様の処
理を行うことができることは言うまでもなく、上記実施
の形態１と同様の効果を奏する。

【００６４】実施の形態２．実施の形態１では第１のエ
ッジ判定手段５において、Ｇ信号における画素位置（２
ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）での上下左右
でのエッジ成分を判定し、第２のエッジ判定手段８にお
いては、Ｒ信号の復元に対してＧ信号における画素位置
（２ｉ＋１、２ｊ）でのエッジ成分を、Ｂ信号の復元に
対しＧ信号における画素位置（２ｉ、２ｊ＋１）でのエ
ッジ成分を判定するよう構成したが、どちらも画素位置
（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）での左右およ
び上下の画素のエッジ成分を検出しており、これらの画
素位置での上下左右の画素信号は撮像素子より得られた
信号であるため、同一のエッジ成分を求めることとな
る。よって、図１７に示すように、１つのＧ成分エッジ
判定手段によりＧ信号における画素位置（２ｉ、２ｊ＋
１）および（２ｉ＋１、２ｊ）でのエッジ成分を判定す
るような構成とすることもできる。

【００６５】図１７において、１〜４、６〜７、および
９は上記実施の形態１での撮像装置と同一のものであ
り、４１はＧ成分エッジ判定手段であり、水平方向エッ
ジ検出手段４２、垂直方向エッジ検出手段４３、判定手
段４４により構成される。

【００６６】次に動作を説明する。撮像素子１から各画
素信号Ｒ、Ｇ、Ｂを読み出し、Ａ／Ｄコンバータ２によ
りＡ／Ｄ変換されてフレームメモリ３に入力され、分離
手段４により各Ｒ、Ｇ、Ｂ信号を分離し、Ｇ成分復元手
段６、第１のＲＢ復元手段７および第２のＲＢ復元手段
９で撮像素子の画素数の各信号を生成し復元する動作は
上記実施の形態１と同一であるのでその詳細な説明は省
略する。

【００６７】Ｇ成分エッジ判定手段４１には分離手段４
におけるＧ信号（図１８）が入力され、Ｇ成分エッジ判
定手段４１内の水平方向エッジ検出手段４２、垂直方向
エッジ検出手段４３へと与えられる。水平方向エッジ検
出手段４２および垂直方向エッジ検出手段４３において
は画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）
（図１８中斜線で示す画素）での左右および上下の画素
の差分つまりエッジ成分を検出する。つまり、水平方向
エッジ検出手段４２では、上記画素位置での左右の画素
の差の絶対値ΔＨｇを得て、これを判定手段４４へと出
力し、垂直方向エッジ検出手段４３では、上下の画素の
差の絶対値ΔＶｇを得て、判定手段５５へと出力する。
例えば、画素位置（２ｉ、２ｊ＋１）においては、水平
方向エッジ検出手段４２で、 ΔＨｇ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜ を算出し、垂直方向エッジ検出手段４３で ΔＶｇ＝｜ Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋
１、２ｊ＋１）｜ を算出し、上記ΔＨｇ、ΔＶｇを判定手段４４へと送
る。

【００６８】上記判定手段４４では、水平方向でのエッ
ジ成分ΔＨｇおよび垂直方向エッジ成分ΔＶｇにより、
水平垂直方向での周辺画素での信号レベルの変化を判定
し、入力されるＧ信号の各画素位置に応じて、その判定
結果を示す信号ｅｄ１をＧ成分復元手段６へ、ｅｄｒ、
ｅｄｂを第２のＲＢ成分復元手段９へと出力する。各判
定信号は、ΔＨｇとΔＶｇの両方が予め定めた値以下の
場合は、周辺画素での信号レベルの変化がないと判定
し、例えば‘１’とする。一方、ΔＨｇまたはΔＶｇが
予め定めた値より大きい場合は、その画素においてエッ
ジ成分があると判定し、さらに、ΔＨｇ＞ΔＶｇの場合
は垂直方向に相関が高いと判定して例えば‘２’とし、
ΔＨｇ≦ΔＶｇの場合は水平方向に相関が高いと判定し
て例えば、‘３’とする。ここで、Ｇ成分復元手段６に
おいては、画素位置（２ｉ、２ｊ＋１）と（２ｉ＋１、
２ｊ）での画素を復元するため、両画素位置において上
記エッジ判定結果をｅｄ１として出力し、Ｇが得られて
いる画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）
においては例えばｅｄ１＝０を出力する。そして、判定
手段４４の出力ｅｄ１はＧ成分復元手段６における切り
換え手段２５へと送られる。

【００６９】一方、第２のＲＢ成分復元手段９において
は、Ｒ信号の画素位置（２ｉ＋１，２ｊ）の復元を行
い、Ｂ信号の画素位置（２ｉ、２ｊ＋１）の復元を行
う。よって、画素位置（２ｉ＋１、２ｊ）において上記
エッジ成分を判定した結果をｅｄｒとして、第２のＲＢ
成分復元手段９での処理する画素位置にタイミングを合
わせて出力し、他の画素位置（２ｉ、２ｊ）、（２ｉ、
２ｊ＋１）、（２ｉ＋１、２ｊ＋１）においては例えば
ｅｄｒ＝０を出力する。そして、判定手段４４の出力ｅ
ｄｒは第２のＲＢ成分復元手段９におけるＲ切り換え手
段３６へと送られる。一方、画素位置（２ｉ、２ｊ＋
１）において上記エッジ成分を判定した結果をｅｄｂと
して、第２のＲＢ成分復元手段９での処理する画素位置
にタイミングを合わせて出力し、他の画素位置（２ｉ、
２ｊ）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）
においては例えばｅｄｂ＝０を出力する。そして、判定
手段４４の出力ｅｄｂは第２のＲＢ成分復元手段９にお
けるＢ切り換え手段４０へと送られる。

【００７０】よって、Ｇ成分エッジ判定手段４１におい
て、上記Ｇ成分復元手段６および第２のＲＢ成分復元手
段９におけるＧ、Ｒ、Ｂ信号を復元する画素位置に対応
するＧ信号でのエッジ成分の判定結果を出力されること
となる。

【００７１】なお、上記実施の形態２では、画素位置
（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）にＧ信号が、
画素位置（２ｉ、２ｊ＋１）にＲ信号が、画素位置（２
ｉ＋１、２ｊ＋１）にＢ信号が撮像素子より得られる場
合について説明したが、上記実施の形態１同様、画素位
置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）にＧ信号
が、画素位置（２ｉ、２ｊ）にＲ信号が、画素位置（２
ｉ＋１、２ｊ＋１）にＢ信号が配列されていてもよく、
また、色信号はＲＧＢに限ることはない。

【００７２】また、上記実施の形態１と同様、実施の形
態２においても、図１７の構成の処理を撮像装置におけ
るソフトウェアにより同様の処理を行うことができるこ
とは言うまでもなく、上記実施の形態２と同様の効果を
奏する。

【００７３】

【発明の効果】この発明は、以上説明したように構成さ
れているので、以下に示すような効果を奏する。

【００７４】この発明に係る撮像装置によれば、画素位
置（２ｉ、２ｊ）（ｉ＝０、１、２、…およびｊ＝０、
１、２、…）と（２ｉ＋１、２ｊ＋１）に第１の色信号
を通過させる分光特性を持った第１の色フィルタを、画
素位置（２ｉ、２ｊ＋１）に第２の色信号を通過させる
分光特性を持った第２の色フィルタ、画素位置（２ｉ＋
１、２ｊ）に第３の色信号を通過させる分光特性を持っ
た第３の色フィルタを配列した上下４画素が垂直水平方
向に繰り返し配列された撮像素子において、第１の色フ
ィルタにより読み出された第１の色信号の画素位置（２
ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）において、周辺画
素信号に基づきエッジ成分を判定し、この判定結果に基
づき、第１、第２および第３の色信号により第１の色信
号の上記画素位置での信号を算出して撮像素子の画素数
の第１の色信号を復元し、上記エッジ判定結果に基づ
き、復元された第１の色信号と各色フィルタからの色信
号により第２および第３の色信号を算出し撮像素子の画
素数の第２、第３の色信号を得ることにより、偽色、偽
輪郭の軽減された画像を得ることができる。

【００７５】また、この発明に係る撮像装置によれば、
エッジ判定手段が、第１の色信号の所定画素における左
右の隣接画素の差の絶対値を算出して水平方向のエッジ
成分ΔＨを検出し、上下の画素の差の絶対値を算出して
垂直方向のエッジ成分ΔＶを検出して、水平方向のエッ
ジ成分ΔＨと垂直方向のエッジ成分ΔＶに基づき、前記
所定画素における水平または垂直方向のエッジ成分を判
定する判定することにより、局所的な領域での水平、垂
直方向の空間周波数の変化を判定することができ、偽
色、偽輪郭の軽減された画像を得ることができる。

【００７６】また、この発明に係る撮像装置によれば、
前記エッジ判定手段における判定手段が、上記水平方向
エッジ検出手段からの出力ΔＨまたは上記垂直方向エッ
ジ検出手段からの出力ΔＶが予め定めた値より大きい場
合は、所定画素の周辺画素にエッジ成分を検出したと
し、さらに、ΔＨ＞ΔＶであれば垂直方向により相関が
あり、ΔＨ≦ΔＶであれば水平方向により相関があると
判定するとともに、上記ΔＨとΔＶがともに予め定めた
値より小さい場合にはエッジ成分を検出しないと判定す
ることにより、局所的な領域での水平、垂直方向の空間
周波数の変化を判定することができ、偽色、偽輪郭の軽
減された画像を得ることができる。

【００７７】また、この発明に係る撮像装置によれば、
第１の色信号を算出して復元する手段が、第２の色信号
Ｂのある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置（ｌ＝２
ｉ、ｍ＝２ｊ＋１またはｌ＝２ｉ＋１、ｍ＝２ｊ）にお
いて、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対
して水平方向のローパスフィルタを介した値Ａｈｌｐｆ
（ｌ、ｍ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平
方向ローパスフィルタからの出力信号であるＡｈｌｐｆ
（ｌ、ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位
置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信
号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ
（ｌ、ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ
（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の
画素位置においても同様に第１の色信号Ａにおける画素
値を算出する水平方向信号算出手段と、上記所定画素ｌ
行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、
第２の色信号Ｂのそれぞれに対して垂直方向のローパス
フィルタを介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ
（ｌ、ｍ）を算出し、前記垂直方向ローパスフィルタか
らの出力信号であるＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐｆ
（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）
により、ｌ行ｍ列の第１の色信号Ａである画素値Ａ
（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌ
ｐｆ（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出
し、第３の色信号Ｃのある他の画素位置においても同様
に第１の色信号Ａにおける画素値を算出する垂直方向信
号算出手段と、第１の色信号Ａにおける上記所定画素ｌ
行ｍ列の位置での上下左右の隣接画素の平均値よりｌ行
ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算
出する平均値算出手段とを備え、上記エッジ判定手段の
出力に基づき、上記水平方向信号算出手段の出力または
垂直方向信号算出手段出力、または、平均値算出手段か
らの出力より選択し、上記所定画素ｌ行ｍ列における第
１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子に
おける画素数の第１の色信号を得ることにより、偽色、
偽輪郭の軽減された画像を得ることができる。

【００７８】また、この発明に係る撮像装置によれば、
前記第１の色信号を算出する手段が、上記エッジ判定手
段の出力が所定画素ｌ行ｍ列位置においてエッジ成分を
検出しないと判定した場合は上記平均値算出手段の出力
を選択し、垂直方向に相関があると判定した場合は上記
垂直方向信号算出手段の出力を選択し、水平方向に相関
があると判定した場合は上記水平方向信号算出手段の出
力を選択し、撮像素子における画素数の第１の色信号を
得ることにより、偽色、偽輪郭の軽減された画像を得る
ことができる。

【００７９】また、この発明に係る撮像装置によれば、
第２、第３の色信号を算出して復元する手段が、所定画
素ｌ行ｍ列の位置（ｌ＝２ｉ、ｍ＝２ｊまたはｌ＝２ｉ
＋１、ｍ＝２ｊ＋１）において、上記第１の色信号を算
出する手段からの出力Ａに対し水平方向のローパスフィ
ルタを介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直方向ロー
パスフィルタを介した値Ａ１ｖｌｐｆ（ｌ、ｍ）を算出
し、第２の色信号Ｂに対して水平方向のローパスフィル
タを介した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の色信号Ｃ
に対して垂直方向のローパスフィルタを介した値Ｃ１ｖ
ｌｐｆ（ｌ、ｍ）（または、第２の色信号Ｂに対して垂
直方向のローパスフィルタを介した値Ｂ１ｖｌｐｆ
（ｌ、ｍ）と第３の色信号Ｃに対して水平方向のローパ
スフィルタを介した値Ｃ１ｈｌｐｆ（ｌ、ｍ））とを算
出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、
ｍ）との比（またはＣ１ｈｌｐｆ（ｌ、ｍ）との比）
と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）
との比（または、Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、
第１の色信号を算出する手段からの出力Ａにおける所定
画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）から、ｌ行ｍ列の
第２の色信号Ｂと第３の色信号Ｃにおける画素値Ｂ
（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）＝Ａ（ｌ、
ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、
ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｖｌｐｆ
（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、（または、Ｂ
（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｖｌｐｆ（ｌ、ｍ）
／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、
ｍ）×｛Ｃ１ｈｌｐｆ （ｌ、ｍ）／Ａ１ｈｌｐｆ
（ｌ、ｍ）｝）により算出する信号算出手段を備えると
ともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ行ｙ
列の位置（ｘ＝２ｉ＋１、ｙ＝２ｊまたはｘ＝２ｉ、ｙ
＝２ｊ＋１）において、上記第１の色信号を算出する手
段からの出力Ａに対し水平方向のローパスフィルタを介
した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出手段から
の出力での第２の色信号Ｂに対し水平方向のローパスフ
ィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ
２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と
上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での
画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第
２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、
ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、
ｙ）｝により算出し、第３の色信号Ｃにおいても同様に
Ｃ信号を算出する水平方向信号算出手段と、上記第１の
色信号を算出する手段からの出力Ａに対し垂直方向のロ
ーパスフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前
記信号算出手段からの出力での第２の色信号Ｂに対して
垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ
（ｘ、ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖ
ｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力
Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ
行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ
（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）
／Ａ２ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信
号Ｃにおいても同様にＣ信号を算出する垂直方向信号算
出手段と、上記信号算出手段からの出力における第２、
第３の色信号での所定画素ｘ行ｙ列の位置において、斜
めに隣接する画素の平均値を算出する平均値算出手段と
を備え、上記エッジ判定手段の出力に基づき、前記水平
方向信号算出手段、垂直方向信号算出手段、平均値算出
手段からのそれぞれの出力から選択して、上記所定画素
ｘ行ｙ列での第２、第３の色信号を得て、撮像素子にお
ける画素数の第２、第３の色信号を得ることにより、偽
色、偽輪郭の軽減された画像を得ることができる。

【００８０】さらに、この発明に係る撮像装置によれ
ば、前記第２、第３の色信号を算出する手段が、上記エ
ッジ判定手段の出力が所定画素ｘ行ｙ列の位置において
エッジ成分を検出しないと判定した場合は上記平均値算
出手段の出力を選択し、垂直方向に相関があると判定し
た場合は上記垂直方向信号算出手段の出力を選択し、水
平方向に相関があると判定した場合は上記水平方向信号
算出手段の出力を選択し、撮像素子における画素数の第
２、第３の色信号を得ることにより、偽色、偽輪郭の軽
減された画像を得ることができる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１における撮像素子の
色フィルタの配列の一例を示す図である。

【図２】 この発明の実施の形態１による撮像装置の構
成の一例を示すブロック図である。

【図３】 この発明の実施の形態１による撮像装置にお
ける第１のエッジ判定手段５とＧ成分復元手段６の構成
の一例を示すブロック図である。

【図４】 この発明の実施の形態１による撮像装置にお
ける第２のエッジ判定手段８と第２のＲＢ成分復元手段
９の構成の一例を示すブロック図である。

【図５】 この発明の実施の形態１による撮像装置にお
けるＧ信号の復元の動作を説明するためのＧ信号の画素
を示す図である。

【図６】 この発明の実施の形態１による撮像装置にお
けるＧ信号の復元の動作を説明するためのＲ信号および
Ｂ信号の画素を示す図である。

【図７】 この発明の実施の形態１による撮像装置にお
ける第１のＲＢ成分復元装置７の動作を説明するための
Ｒ、Ｂ信号の画素を示す図である。

【図８】 この発明の実施の形態１による撮像装置にお
ける第２のエッジ判定手段８と第２のＲＢ成分復元手段
９の動作を説明するためのＲ、Ｂ信号の画素を示す図で
ある。

【図９】 この発明の実施の形態１による撮像装置と従
来の装置により処理したシミュレーション画像での水平
方向の解像度での偽色レベルを示す図である。

【図１０】 この発明の実施の形態１による撮像装置と
従来の装置により処理したシミュレーション画像での垂
直方向の解像度での偽色レベルを示す図である。

【図１１】 この発明の実施の形態１による撮像装置に
より処理したシミュレーション画像での水平方向の解像
度での輝度信号のレベルを示す図である。

【図１２】 従来の装置により処理したシミュレーショ
ン画像での水平方向の解像度での輝度信号のレベルを示
す図である。

【図１３】 この発明の実施の形態１による撮像装置に
より処理したシミュレーション画像での垂直方向の解像
度での輝度信号のレベルを示す図である。

【図１４】 従来の装置により処理したシミュレーショ
ン画像での垂直方向の解像度での輝度信号のレベルを示
す図である。

【図１５】 この発明の実施の形態１による撮像素子の
他の色フィルタ配列の例を示す図である。

【図１６】 この発明の実施の形態１による撮像素子の
他の色フィルタ配列の例を示す図である。

【図１７】 この発明の実施の形態２による撮像装置の
構成の一例を示すブロック図である。

【図１８】 この発明の実施の形態２による撮像装置に
おけるＧ成分エッジ判定手段４１の動作を説明するため
のＧ信号の画素を示す図である。

【図１９】 従来の撮像装置における撮像素子の色フィ
ルタ配列の一例を示す図である。

【図２０】 従来の撮像装置の構成の一例を示すブロッ
ク図である。

【図２１】 従来の撮像装置の動作を説明するための各
信号の画素を示す図である。

【図２２】 従来の撮像装置の他の構成の例を示すブロ
ック図である。

【符号の説明】

１ 撮像素子、２ Ａ／Ｄコンバータ、３ フレームメ
モリ、４ 分離手段、５ 第１のエッジ判定手段、６
Ｇ成分復元手段、７ 第１のＲＢ成分復元手段、８ 第
２のエッジ判定手段、９ 第２のＲＢ成分復元手段、１
１，３０，４２水平方向エッジ検出手段、１２，３１，
４３ 垂直方向エッジ検出手段、１３判定手段、１４
平均値算出手段、１５〜１７ 水平方向ローパスフィル
タ、１８，１９ 演算手段、２０〜２２ 垂直方向ロー
パスフィルタ、２３、２４演算手段、２５ 切り換え手
段、３２ 判定手段、３３ Ｒ平均値算出手段、３４
Ｒ水平方向演算手段、３５ Ｒ垂直方向演算手段、３６
Ｒ切り換え手段、３７ Ｂ平均値算出手段、３８ Ｂ
水平方向演算手段、３９ Ｂ垂直方向演算手段、４０
Ｂ切り換え手段、４１ Ｇ成分エッジ判定手段、４４判
定手段。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 久野 徹也 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 垂直２行水平２列の上下４画素におい
   て、第１の色信号に対する分光感度特性を持つ第１の色
   フィルタと第２の色信号に対する分光感度特性を持つ第
   ２の色フィルタとが垂直１行目に配列され、垂直２行目
   には上記垂直１行目の第１の色フィルタが配列された画
   素位置と同一の列に第３の色信号に対する分光感度特性
   を持つ第３の色フィルタが配列され、第２の色フィルタ
   と同一の列に第１の色信号に対する分光感度特性を持つ
   第１の色フィルタが配列されており、上記上下４画素の
   色フィルタが順次垂直および水平方向に繰り返し配列さ
   れる撮像素子を備えた撮像装置において、上記第１の色
   フィルタによる第１の色信号の所定画素位置での周辺画
   素信号に基づき、所定画素位置におけるエッジ成分を判
   定するエッジ判定手段と、前記エッジ判定手段の出力に
   基づき、上記第１、第２、第３の色フィルタにより読み
   出された第１、第２および第３の色信号により第１の色
   信号における上記所定位置での信号を算出する第１の算
   出手段と、上記エッジ判定手段の出力に基づき、上記第
   １の算出手段の出力と色フィルタからの第２および第３
   の色信号により第２および第３の色信号を算出する第２
   の算出手段とを備え、上記撮像素子における画素数の第
   １、第２、第３の色信号を得ることを特徴とする撮像装
   置。
2. 【請求項２】 前記エッジ判定手段が、上記第１の色信
   号の所定画素位置における左右の隣接画素の差の絶対値
   を算出して水平方向のエッジ成分を検出する水平方向エ
   ッジ検出手段と、第１の色信号の所定画素位置における
   上下の画素の差の絶対値を算出して垂直方向のエッジ成
   分を検出する垂直方向エッジ検出手段と、前記水平方向
   エッジ検出手段と垂直方向エッジ検出手段からの出力に
   基づき、前記所定画素における水平または垂直方向のエ
   ッジ成分を判定する判定手段を備えることを特徴とする
   請求項１記載の撮像装置。
3. 【請求項３】 前記エッジ判定手段における判定手段
   が、上記水平方向エッジ検出手段からの出力または上記
   垂直方向エッジ検出手段からの出力が予め定めた値より
   大きい場合は、上記所定画素の周辺画素にエッジ成分を
   検出したとし、さらに、水平方向エッジ検出手段からの
   出力が上記垂直方向エッジ検出手段の出力より大きい場
   合は垂直方向により相関があり、水平方向エッジ検出手
   段からの出力が上記垂直方向エッジ検出手段の出力より
   小さい場合は水平方向により相関があると判定するとと
   もに、上記水平方向エッジ検出手段および垂直方向エッ
   ジ検出手段からの出力がともに予め定めた値より小さい
   場合にはエッジ成分を検出しないと判定することを特徴
   とする請求項１または請求項２記載の撮像装置。
4. 【請求項４】 前記第１の算出手段が、第２の色信号Ｂ
   のある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、
   第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し水平
   方向のローパスフィルタを介した値Ａｈｌｐｆ（ｌ、
   ｍ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ロ
   ーパスフィルタからの出力信号であるＡｈｌｐｆ（ｌ、
   ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画
   素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａに
   おける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、
   ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、
   ｍ）｝により算出し、第３の色信号Ｃのある他の画素位
   置においても同様に第１の色信号Ａにおける画素値を算
   出する水平方向信号算出手段と、上記所定画素ｌ行ｍ列
   Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の
   色信号Ｂのそれぞれに対し垂直方向のローパスフィルタ
   を介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、
   ｍ）を算出し、前記垂直方向ローパスフィルタからの出
   力信号であるＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐｆ（ｌ、
   ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）によ
   り、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、
   ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ
   （ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第
   ３の色信号Ｃのある他の画素位置においても同様に第１
   の色信号Ａにおける画素値を算出する垂直方向信号算出
   手段と、第１の色信号Ａにおける上記所定画素ｌ行ｍ列
   の位置での上下左右の隣接画素の平均値よりｌ行ｍ列の
   第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算出する
   平均値算出手段とを備え、上記エッジ判定手段の出力に
   基づき、上記水平方向信号算出手段の出力または垂直方
   向信号算出手段出力、または、平均値算出手段からの出
   力より選択し、上記所定画素ｌ行ｍ列における第１の色
   信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子における
   画素数の第１の色信号を得ることを特徴とする請求項１
   記載の撮像装置。
5. 【請求項５】 前記第１の算出手段が、上記エッジ判定
   手段の出力が所定画素ｌ行ｍ列の位置においてエッジ成
   分を検出しないと判定した場合は上記平均値算出手段の
   出力を選択し、垂直方向に相関があると判定した場合は
   上記垂直方向信号算出手段の出力を選択し、水平方向に
   相関があると判定した場合は上記水平方向信号算出手段
   の出力を選択し、撮像素子における画素数の第１の色信
   号を得ることを特徴とする請求項１〜請求項４のいずれ
   かに記載の撮像装置。
6. 【請求項６】 上記第２の算出手段が、所定画素ｌ行ｍ
   列の位置において、上記第１の算出手段からの出力Ａに
   対して水平方向のローパスフィルタを介した値Ａ１ｈｌ
   ｐｆ（ｌ、ｍ）と垂直方向ローパスフィルタを介した値
   Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対
   し水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ
   （ｌ、ｍ）と第３の色信号Ｃに対し垂直方向のローパス
   フィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、
   第２の色信号Ｂに対し垂直方向のローパスフィルタを介
   した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対し
   て水平方向のローパスフィルタを介した値Ｃ１ｈｌｐｆ
   （ｌ、ｍ））とを算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ
   １ｈｌｐｆ（ｌ、ｍ）との比（またはＣ１ｈｌｐｆ
   （ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１
   ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ
   （ｌ、ｍ）との比）と、上記第１の算出手段からの出力
   Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）か
   ら、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおけ
   る画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）
   ＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ （ｌ、ｍ）／Ａ１ｈ
   ｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×
   ｛Ｃ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、
   ｍ）｝、（または、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ
   １ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、Ｃ
   （ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ（ｌ、ｍ）
   ／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）により算出する信号算出
   手段を備えるとともに、上記ｌ行ｍ列の位置とは異なる
   所定画素ｘ行ｙ列の位置において、上記第１の算出手段
   からの出力Ａに対して水平方向のローパスフィルタを介
   した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出手段から
   の出力での第２の色信号Ｂに対し水平方向のローパスフ
   ィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ
   ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と
   上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での
   画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第
   ２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、
   ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、
   ｙ）｝により算出し、第３の色信号Ｃにおいても同様に
   Ｃ信号を算出する水平方向信号算出手段と、上記第１の
   算出手段からの出力Ａに対し垂直方向のローパスフィル
   タを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手
   段からの出力での第２の色信号Ｂに対し垂直方向のロー
   パスフィルタを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出
   し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）
   の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ
   列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置にお
   ける第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ
   （ｘ、ｙ）×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）／Ａ２ｖｌｐｆ
   （ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても
   同様にＣ信号を算出する垂直方向信号算出手段と、上記
   信号算出手段からの出力における第２、第３の色信号で
   の所定画素ｘ行ｙ列の位置において、斜めに隣接する画
   素の平均値を算出する平均値算出手段とを備え、上記エ
   ッジ判定手段の出力に基づき、前記水平方向信号算出手
   段、垂直方向信号算出手段、平均値算出手段からのそれ
   ぞれの出力から選択して、上記所定画素ｘ行ｙ列での第
   ２、第３の色信号を得て、撮像素子における画素数の第
   ２、第３の色信号を得ることを特徴とする請求項１、請
   求項４および請求項５のいずれかに記載の撮像装置。
7. 【請求項７】 前記第２の算出手段が、上記エッジ判定
   手段の出力が所定画素ｘ行ｙ列の位置においてエッジ成
   分を検出しないと判定した場合は上記平均値算出手段の
   出力を選択し、垂直方向に相関があると判定した場合は
   上記垂直方向信号算出手段の出力を選択し、水平方向に
   相関があると判定した場合は上記水平方向信号算出手段
   の出力を選択し、撮像素子における画素数の第２、第３
   の色信号を得ることを特徴とする請求項１〜請求項６の
   いずれかに記載の撮像装置。