JPH11234690A - 撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 斜め方向に半画素ずらして配置した２枚の撮
像素子を用い、偽色、偽輪郭の軽減された水平垂直方向
各２倍の解像度の画像を得ることができ、水平、垂直方
向における解像度を向上することができる撮像装置を得
る。 【解決手段】 斜め方向に半画素ずらした２枚の撮像素
子からの信号を復元することにより撮像素子の画素数を
もつ各２枚のＲ、Ｇ、Ｂ信号を得て、２枚分の信号から
の水平垂直方向各２倍の解像度の信号を求め、得られて
いない画素位置において、Ｇ信号によりエッジ成分を判
定し、判定結果に基づき、エッジ成分がある場合は水平
または垂直方向のエッジ成分の少ない方向の画素での平
均値により画素を得て、エッジ成分がない場合は上下左
右の４画素からの平均値より画素を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、電子スチルカメ
ラのような撮像装置における高画質化、小型化に関す
る。

【０００２】

【従来の技術】従来、電子スチルカメラのような撮像装
置においては、小型化のために１枚の撮像素子（以下、
単板撮像素子と呼ぶ）を用いている。図１８は従来の撮
像装置における撮像素子の色フィルタ配列の一例を示す
図である。図において、ＲはＲの光を通過させる分光特
性を持った色フィルタを有した撮像素子であり、同様に
Ｂ、Ｇのついてもそれぞれの色フィルタを有した撮像素
子である。図１８に示されるように、ｎラインにはＧ、
Ｒが２画素毎に配列され、ｎ＋１ラインではＢ、Ｇが２
画素毎に配列されている。したがって、Ｒ、Ｂ信号は上
下４画素毎（図中の斜線部）に、Ｇ信号は２画素毎に得
られることとなり、撮像素子の画素数の各信号を得て、
さらに水平垂直方向各２倍の画素数の解像度への変換を
行う場合、得られている画素信号より補間等の演算処理
を行い撮像素子数のＲ、Ｇ、Ｂ信号を生成し、この得ら
れたＲ、Ｇ、Ｂ信号のそれぞれを用いて高解像度化を行
うこととなる。

【０００３】図１９は上記図１８に示された原色の色フ
ィルタを用いた単板撮像素子において、撮像素子からの
信号よりＲ、Ｇ、Ｂ信号を生成し、さらに水平垂直方向
各２倍の解像度の信号を得るための従来の撮像装置の構
成の一例を示すブロック図である。図において、１０１
は撮像素子、１０２はＡ／Ｄコンバータ、１０３はフレ
ームメモリ、１０４はフレームメモリ１０３における信
号をＲ、Ｇ、Ｂそれぞれの信号に分離して、各信号の補
間生成を行い撮像素子の画素数の信号を復元する色復元
手段、１０５は色復元手段１０４からの信号を水平垂直
方向にそれぞれ２倍の解像度（４倍の画素数の画像）の
信号に変換する解像度変換手段であり、上記撮像素子１
０１は、図１８に示すような、画素Ｒ、Ｇ、Ｂの色フィ
ルタから構成される。

【０００４】次に、動作を説明する。撮像素子１０１か
ら各画素信号Ｒ、Ｇ、Ｂを読み出し、その出力はＡ／Ｄ
コンバータ１０２によりＡ／Ｄ変換され、フレームメモ
リ１０３に各画素信号を取り込む。色復元手段１０４
は、前記フレームメモリ１０３に取り込まれた信号か
ら、各信号を分離し、各Ｒ、Ｇ、Ｂ信号において得られ
ていない画素の信号を隣接画素の信号より補間生成し、
撮像素子すべての画素数のＲＧＢ信号を算出し出力す
る。

【０００５】ここで、図２０は従来の撮像装置における
色復元手段１０４の構成の一例を示したブロック図であ
り、その動作を説明する。図において、１１１はフレー
ムメモリ１０３における信号よりＲ、Ｇ、Ｂ信号をそれ
ぞれ分離する分離手段、１１２は分離された各信号にお
ける得られていない画素信号を隣接画素の信号より補間
生成し、撮像素子すべての画素数のＲＧＢ信号を算出し
出力する補間手段である。フレームメモリ１０３におけ
る信号は分離手段１１１において各Ｒ、Ｇ、Ｂ信号に分
離され、それぞれを補間手段１１２へと出力する。分離
手段１１１により分離されたＲ、Ｇ、Ｂ信号は図２１
（ａ）、（ｂ）、（ｃ）に示されるようになり、図中
Ｇ、Ｒ、Ｂで示された画素が撮像素子１０１より得られ
た各信号であり、一方、空白の画素が得られていない画
素信号である。

【０００６】補間手段１１２においての補間方法は、Ｇ
信号（図２１（ａ））については、垂直ｎライン、水平
ｍ番目の画素位置の信号ｇ（以下、画素位置（ｎ，ｍ）
と記す。）を補間するために、上下方向の隣接画素の差
分（｜Ｇ（ｎ−１，ｍ）−Ｇ（ｎ＋１，ｍ）｜）と左右
方向の隣接画素の差分（｜Ｇ（ｎ，ｍ−１）−Ｇ（ｎ，
ｍ＋１）｜）を求め、この差分が少ない方向の画素信号
により補間する。例えば、左右方向の隣接画素の差分が
少ない場合は、ｇ（ｎ，ｍ）＝（Ｇ（ｎ，ｍ−１）＋Ｇ
（ｎ，ｍ＋１））／２として算出し、上下方向の隣接画
素の差分が少ない場合は、ｇ（ｎ，ｍ）＝（Ｇ（ｎ−
１，ｍ）＋Ｇ（ｎ＋１，ｍ））／２として算出する。

【０００７】ＲおよびＢ信号（図２１（ｂ）および
（ｃ））については、まず水平方向の画素の補間を行
い、次に垂直方向で補間を行う。例えば図２１（ｂ）の
Ｒについては、垂直ｎ−１ライン、ｎ＋１ラインでの補
間を行い、画素位置（ｎ−１，ｍ）（ｎ＋１，ｍ）の信
号を、 ｒ（ｎ−１，ｍ）＝（Ｒ（ｎ−１，ｍ−１）＋Ｒ（ｎ−
１，ｍ＋１））／２ ｒ（ｎ＋１，ｍ）＝（Ｒ（ｎ＋１，ｍ−１）＋Ｒ（ｎ＋
１，ｍ＋１））／２ のように算出し、つぎにｎラインの画素を上下（ｎ−１
およびｎ＋１ライン）の画素の補間により各水平画素位
置ｍ−１、ｍ、ｍ＋１の信号を求める。Ｂについても同
様な方法で得られる。

【０００８】以上の補間方法により、補間手段１１２の
出力において、撮像素子すべての画素数のＲ、Ｇ、Ｂ信
号を算出することができる。

【０００９】次に、単板撮像素子からの信号を撮像素子
の画素数の解像度へ復元した信号から水平垂直方向各２
倍の解像度への向上を行うため、上記補間手段１１２か
らの出力であるＲ、Ｇ、Ｂ信号を解像度変換手段１０５
へと入力する。

【００１０】解像度変換手段１０５では入力されたＲ、
Ｇ、Ｂ信号をそれぞれ水平垂直方向に、それぞれ２倍の
解像度の信号（４倍の画素数の画像）にする。例えば、
撮像素子の画素数が垂直Ｎライン水平Ｍ画素のＮ×Ｍ画
素の場合、色復元手段１０４からは復元されたＮ×Ｍ画
素のＲ、Ｇ、Ｂ信号が出力されており、解像度変換手段
１０５では垂直２Ｎライン水平２Ｍ画素の２Ｎ×２Ｍ画
素の解像度の信号として出力する。解像度を変換する
（高解像度化）方法は、色復元手段１０４の出力におい
て画素位置（ｎ，ｍ）の信号を２Ｎ×２Ｍ画素の信号で
の画素位置（２ｎ、２ｍ）とし、この画素に隣接する
（２ｎ、２ｍ＋１）、（２ｎ＋１、２ｍ）、（２ｎ＋
１、２ｍ＋１）の画素も同一の値とする。図２２に各信
号での例を示し、図２２（ａ）では、色復元手段１０４
の出力において画素位置（ｎ、ｍ）の信号Ｒ１を水平垂
直方向各２倍の解像度の信号での画素（２ｎ、２ｍ）、
（２ｎ、２ｍ＋１）、（２ｎ＋１、２ｍ）、（２ｎ＋
１、２ｍ＋１）の値としていることを示す。なお、他の
画素位置および信号についても同様にして行う。従っ
て、２Ｎ×２Ｍ画素の信号の上下左右４画素を、色復元
手段１０４からのＮ×Ｍ画素の信号での画素位置（ｎ，
ｍ）の値とすることにより、２Ｎ×２Ｍ画素のＲ、Ｇ、
Ｂ各信号を得られる。

【００１１】なお、上記の説明では解像度変換手段１０
５での高解像度化の方法を上下左右４画素に同一値を入
れて水平垂直方向各２倍の画素にする場合としている
が、色復元手段１０４からのＮ×Ｍ画素の信号での水平
および垂直方向の隣接画素による補間により生成する場
合も考えられる。

【００１２】また、図２３は特開平６−１７８３０７号
公報に示された上下２画素を混合して読み出す画素混合
方式の単板撮像素子による従来の撮像装置における色復
元手段の他の構成の例を示すブロック図であり、上記の
従来例と同様、撮像素子からの信号を水平走査３ライン
から補間生成するよう構成する場合のブロック図を示し
たものである。同図において、１１３は撮像素子、１１
４はフレームメモリ、１１５は信号選択回路、１１６は
色補間回路、１１７はＲＧＢマトリクスであり、信号選
択回路１１５からＲＧＢマトリクス１１７により色復元
手段を構成することとなる。撮像素子１１３は、図２３
に示すように、４つの画素Ａ，Ｂ，Ｃ，Ｄ（以下、各画
素信号に付けられた番号は画素位置を示す）から構成さ
れ、画素混合読み出しにより色信号が生成できるように
Ａ、Ｂの画素が１ライン毎に交互に配列される。

【００１３】次に、図２３における動作を説明する。撮
像素子１１３から画素混合読み出しせずそのまま各画素
信号を読み出しＡ／Ｄ変換した後（図示せず）、フレー
ムメモリ１１４に各画素信号を取り込む。前記フレーム
メモリ１１４に取り込まれた信号から、信号選択回路１
１５により隣接した垂直３ラインの信号を選択し、色補
間回路１１６へと送る。色補間回路１１６では、上記垂
直３ラインの信号から各色信号Ａ、Ｂ、Ｃ、Ｄを補間生
成した後、ＲＧＢマトリクス回路１１７によりＲＧＢ信
号として出力される。

【００１４】ここで、上記色補間回路１１６では各色信
号を補間生成するのであるが、この補間方法について説
明する。例えば、ｎ２ラインの色信号補間生成では、信
号選択回路１１５により垂直３ラインｎ１，ｎ２，ｎ３
の信号が選択されて色補間回路１１７へと送られてお
り、ｎ２ラインにおいて得られている色信号はＣ、Ｄ画
素であり、Ａ，Ｂの画素はない。従って、Ａ，Ｂの画素
については垂直方向でのｎ１、ｎ３ラインの信号より補
間するのであるが、ｎ１、ｎ３ラインではＡ，Ｂの画素
位置が異なるので、水平方向の補間係数を変えることと
なる。いま、補間後の色信号のｎ２ラインの３番目の画
素（ｎ２，３）に対し、補間前の水平５画素より各色信
号Ａ′、Ｂ′、Ｃ′、Ｄ′を補間生成するとすると、例
えば、Ｃ′、Ｄ′については、水平方向のみ中心に重み
をつけて補間生成し、 Ｃ₂₃′＝（Ｃ₂₁／２＋ Ｃ₂₃＋Ｃ₂₅／２）／２ Ｄ₂₃′＝（Ｄ₂₂＋Ｄ₂₄）／２ とする。一方、 Ａ′、Ｂ′に対しては、 Ａ₂₃′＝（Ａ₁₁／４＋Ａ₁₃／２＋Ａ₁₅／４ ）／２＋
（Ａ₃₁／４＋Ａ₃₃／２＋Ａ_{3 5}／４）／２ Ｂ₂₃′＝（Ｂ₁₂／２＋ Ｂ₁₄／２）／２＋（Ｂ₃₂／２＋
Ｂ₃₄／２）／２ なる式から水平画素に重みをつけ補間することができ
る。

【００１５】次に、ｎ３ラインの色信号の補間生成で
は、Ａ、Ｂの画素はｎ３ラインから補間生成し、Ｃ、Ｄ
画素についてはｎ２、ｎ４ラインから補間生成する。つ
まり、画素位置（３、３）において、例えば、 Ａ₃₃′＝（Ａ₃₂＋Ａ₃₄）／２ Ｂ₃₃′＝（Ｂ₃₁／２＋Ｂ₃₃＋Ｂ₃₅／２）／２ Ｃ₃₃′＝（Ｃ₂₁／４＋Ｃ₂₃／２＋Ｃ₂₅／４）／２＋（Ｃ
₄₁／４＋Ｃ₄₃／２＋Ｃ₄₅／４）／２ Ｄ₃₃′＝（Ｄ₂₂／２＋Ｄ₂₄／２）／２＋（Ｄ₄₂／２＋Ｄ
₄₄／２）／２ となる。

【００１６】以下、Ａ，Ｂの画素配置がライン毎で入れ
替わることを考慮し、ｎ４ラインでは、画素位置（４、
３）に対し、 Ａ₄₃′＝（Ａ₃₁／４＋Ａ₃₃／２＋Ａ₃₅／４）／２＋（Ａ
₅₁／４＋Ａ₅₃／２＋Ａ₅₅／４）／２ Ｂ₄₃′＝（Ｂ₃₂／２＋Ｂ₃₄／２）／２＋（Ｂ₅₂／２＋Ｂ
₅₄／２）／２ Ｃ₄₃′＝（Ｃ₄₁／２＋Ｃ₄₃＋Ｃ₄₅／２）／２ Ｄ₄₃′＝（Ｄ₄₂＋Ｄ₄₄）／２ ｎ５ラインでは、画素位置（５、３）に対し、 Ａ₅₃′＝（Ａ₅₂＋Ａ₅₄）／２ Ｂ₅₃′＝（Ｂ₅₂＋Ｂ₅₄）／２ Ｃ₅₃′＝（Ｃ₄₁／４＋Ｃ₄₃／２＋Ｃ₄₅／４）／２＋（Ｃ
₆₁／４＋Ｃ₆₂／２＋Ｃ₆₅／４）／２ Ｄ₅₃′＝（Ｄ₄₂／２＋Ｄ₄₄／２）／２＋（Ｄ₆₂／２＋Ｄ
₆₄／２）／２ となる。以後、上記ｎ２、ｎ３，ｎ４、ｎ５ラインでの
補間方法を順次繰り返すことにより、色信号Ａ′、
Ｂ′、Ｃ′、Ｄ′を生成することとなる。

【００１７】そして、上記補間生成されたＡ、Ｂ、Ｃ、
Ｄ信号はＲＧＢマトリクス回路１１７によりＲＧＢ信号
として出力され、上記図１９の解像度変換手段に送られ
て水平垂直方向各２倍の解像度の信号に変換されること
となる。なお、上記では、４つの色信号をＡ，Ｂ，Ｃ，
Ｄとして説明しているが、これは、例えば、Ｍｇ（マゼ
ンダ）、Ｇ（グリーン）、Ｃｙ（シアン）、Ｙｅ（イエ
ロー）の４色が考えられ、また、色補間回路１１７での
補間係数については色信号を補間生成できる係数であれ
ばよい。

【００１８】

【発明が解決しようとする課題】従来の撮像装置は、単
板撮像素子において、撮像素子の画素数の信号を復元し
た後水平垂直方向にそれぞれ２倍の解像度に高解像度化
する際、上下左右４画素に同一の値を入れて４倍の画素
の信号にするように、または、隣接画素との補間により
４倍の画素の信号にするよう構成されており、水平垂直
方向各２倍の解像度の画像におけるエッジ等局所的な領
域での信号の変化を考慮しておらず、そのため、偽色、
偽輪郭が生じるという問題点があり、また、全ての信号
における水平垂直の両方向の解像度の向上について考慮
していないという問題点があった。

【００１９】この発明は上記のような問題点を解消する
ためになされたもので、斜め方向に半画素ずらして配置
された２枚の撮像素子を備え、第１および第２の撮像素
子により読み出された色信号より各撮像素子に対して撮
像素子の画素数分の解像度の色信号を復元生成する色信
号復元手段と、前記色信号復元手段からの出力である上
記第１および第２の撮像素子からの信号より復元された
各信号により各撮像素子の画素数の水平垂直方向各２倍
の解像度の信号の画素を得る手段と、前記得られた水平
垂直方向各２倍の解像度の信号での所定画素位置におけ
る周辺画素のエッジ成分を判定する第１のエッジ判定手
段を備えるとともに、前記第１のエッジ判定手段からの
信号に基づき、水平垂直方向各２倍の解像度の信号での
所定画素位置の信号を算出することにより、偽色、偽輪
郭の軽減された水平垂直方向各２倍の解像度の高解像度
画像を得ることができ、かつ、水平、垂直方向における
解像度を向上することができる撮像装置を得ることを目
的とする。

【００２０】

【課題を解決するための手段】この発明に係る撮像装置
は、斜め方向に半画素ずらして配置された２枚の撮像素
子を備えた撮像装置において、第１および第２の撮像素
子により読み出された色信号より各撮像素子に対して撮
像素子の画素数分の解像度の色信号を復元生成する色信
号復元手段と、前記色信号復元手段からの出力である上
記第１および第２の撮像素子からの信号より復元された
各信号により各撮像素子の画素数の水平垂直方向各２倍
の解像度の信号の画素を得る手段と、前記得られた水平
垂直方向各２倍の解像度の信号での所定画素位置におけ
る周辺画素のエッジ成分を判定する第１のエッジ判定手
段を備えるとともに、前記第１のエッジ判定手段からの
信号に基づき、水平垂直方向各２倍の解像度の信号での
所定画素位置の信号を算出する手段を有するものであ
る。

【００２１】また、この発明に係る撮像装置は、前記第
１のエッジ判定手段が、所定の信号での所定画素におけ
る左右の隣接画素の差の絶対値を算出して水平方向のエ
ッジ成分を検出する手段と、上下の画素の差の絶対値を
算出して垂直方向のエッジ成分を検出する手段と、前記
水平方向のエッジ成分を検出する手段と垂直方向エッジ
成分を検出する手段からの出力に基づき、前記所定画素
における水平または垂直方向のエッジ成分を判定するも
のである。

【００２２】また、この発明に係る撮像装置は、前記第
１のエッジ判定手段におけるエッジ成分の判定が、上記
水平方向のエッジ成分を検出する手段からの出力または
上記垂直方向のエッジ成分を検出する手段からの出力が
予め定めた値より大きい場合は、上記所定画素の周辺画
素にエッジ成分を検出したとし、さらに、水平方向のエ
ッジ成分を検出する手段からの出力が上記垂直方向のエ
ッジ成分を検出する手段の出力より大きい場合は垂直方
向により相関があり、水平方向エッジ成分を検出する手
段の出力が上記垂直方向エッジ成分を検出する手段出力
より小さい場合は水平方向により相関があると判定する
とともに、上記水平方向エッジ成分を検出する手段およ
び垂直方向エッジ成分を検出する手段の出力がともに予
め定めた値より小さい場合にはエッジ成分を検出しない
と判定するものである。

【００２３】また、この発明に係る撮像装置は、上記水
平垂直方向各２倍の解像度の信号での所定画素位置の信
号を算出する手段が、所定画素位置における信号それぞ
れに対し、上下の画素の平均値より信号を算出する垂直
方向算出手段と、左右の画素の平均値より信号を算出す
る水平方向算出手段と、上下左右の隣接画素の平均値よ
り信号を算出する平均値算出手段とを備え、上記第１の
エッジ判定手段の出力に基づき、上記水平方向算出手段
の出力または垂直方向算出手段出力、または、平均値算
出手段からの出力より選択し、上記所定画素での信号を
得て、撮像素子における画素数の水平垂直方向各２倍の
解像度の各信号を得るものである。

【００２４】また、この発明に係る撮像装置は、上記水
平垂直方向各２倍の解像度の信号での所定画素位置の信
号を算出する手段が、所定画素位置において上記第１の
エッジ判定手段の出力がエッジ成分を検出しないと判定
した場合は上記平均値算出手段の出力を選択し、垂直方
向に相関があると判定した場合は上記垂直方向算出手段
の出力を選択し、水平方向に相関があると判定した場合
は上記水平方向算出手段の出力を選択するものである。

【００２５】また、この発明に係る撮像装置は、上記斜
め方向に半画素ずらして配置された２枚の撮像素子それ
ぞれにおいて、各撮像素子が、垂直２行水平２列の上下
４画素において、第１の色信号に対する分光感度特性を
持つ第１の色フィルタと第２の色信号に対する分光感度
特性を持つ第２の色フィルタとが垂直１行目に配列さ
れ、垂直２行目には上記垂直１行目の第１の色フィルタ
が配列された画素位置と同一の列に第３の色信号に対す
る分光感度特性を持つ第３の色フィルタが配列され、第
２の色フィルタと同一の列に第１の色信号に対する分光
感度特性を持つ第１の色フィルタが配列されており、上
記上下４画素の色フィルタが順次垂直および水平方向に
繰り返し配列された撮像素子であり、各撮像素子からの
色信号に対して撮像素子の画素数分の解像度の色信号を
復元生成する上記色信号復元手段が、上記第１の色フィ
ルタによる第１の色信号の所定画素位置での周辺画素信
号に基づき、所定画素位置におけるエッジ成分を判定す
る第２のエッジ判定手段と、前記第２のエッジ判定手段
の出力に基づき、上記第１、第２、第３の色フィルタに
より読み出された第１、第２および第３の色信号により
第１の色信号における上記所定位置での信号を算出する
第１の算出手段と、上記第２のエッジ判定手段の出力に
基づき、上記第１の算出手段の出力と色フィルタからの
第２および第３の色信号により第２および第３の色信号
を算出する第２の算出手段とを備え、上記撮像素子にお
ける画素数の第１、第２、第３の色信号を得るととも
に、上記第１のエッジ判定手段が、上記第１の色信号に
よる上記水平垂直方向各２倍の解像度の信号の画素を得
る手段から出力される信号に対し、所定画素位置におけ
る周辺画素のエッジ成分を判定するものである。

【００２６】また、この発明に係る撮像装置は、上記色
復元手段における第２のエッジ判定手段が、第１の色信
号の所定画素位置における左右の隣接画素の差の絶対値
を算出して水平方向のエッジ成分を検出する水平方向エ
ッジ検出手段と、第１の色信号の所定画素位置における
上下の画素の差の絶対値を算出して垂直方向のエッジ成
分を検出する垂直方向エッジ検出手段と、前記水平方向
エッジ検出手段と垂直方向エッジ検出手段からの出力に
基づき、前記所定画素における水平または垂直方向のエ
ッジ成分を判定する判定手段を備えるとともに、前記判
定手段が、上記水平方向エッジ検出手段からの出力また
は上記垂直方向エッジ検出手段からの出力が予め定めた
値より大きい場合は、上記所定画素の周辺画素にエッジ
成分を検出したとし、さらに、水平方向エッジ検出手段
からの出力が上記垂直方向エッジ検出手段の出力より大
きい場合は垂直方向により相関があり、水平方向エッジ
検出手段からの出力が上記垂直方向エッジ検出手段の出
力より小さい場合は水平方向により相関があると判定す
るとともに、上記水平方向エッジ検出手段および垂直方
向エッジ検出手段からの出力がともに予め定めた値より
小さい場合にはエッジ成分を検出しないと判定するもの
である。

【００２７】また、この発明に係る撮像装置は、上記色
復元手段における第１の色信号での所定位置に対する信
号を算出する第１の算出手段が、第２の色信号Ｂのある
所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の
色信号Ａ、第２の色信号Ｂのそれぞれに対し水平方向の
ローパスフィルタを介した値Ａｈｌｐｆ（ｌ、ｍ）、Ｂ
ｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ローパスフ
ィルタからの出力信号であるＡｈｌｐｆ（ｌ、ｍ）とＢ
ｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ
（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける
画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×
｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、ｍ）｝によ
り算出し、第３の色信号Ｃのある他の画素位置において
も同様に第１の色信号Ａにおける画素値を算出する水平
方向信号算出手段と、上記所定画素ｌ行ｍ列Ｂ（ｌ、
ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂ
のそれぞれに対し垂直方向のローパスフィルタを介した
値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、ｍ）を算出
し、前記垂直方向ローパスフィルタからの出力信号であ
るＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐｆ（ｌ、ｍ）との比
と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列
の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ
（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ（ｌ、ｍ）／
Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃ
のある他の画素位置においても同様に第１の色信号Ａに
おける画素値を算出する垂直方向信号算出手段と、第１
の色信号Ａにおける上記所定画素ｌ行ｍ列の位置での上
下左右の隣接画素の平均値よりｌ行ｍ列の第１の色信号
Ａにおける画素値Ａ（ｌ、ｍ）を算出する平均値算出手
段とを備え、上記第２のエッジ判定手段の出力に基づ
き、上記水平方向信号算出手段の出力または垂直方向信
号算出手段出力、または、平均値算出手段からの出力よ
り選択し、上記所定画素ｌ行ｍ列における第１の色信号
Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子における画素
数の第１の色信号を得るものである。

【００２８】また、この発明に係る撮像装置は、前記色
復元手段における第１の算出手段が、上記第２のエッジ
判定手段の出力が所定画素ｌ行ｍ列の位置においてエッ
ジ成分を検出しないと判定した場合は上記平均値算出手
段の出力を選択し、垂直方向に相関があると判定した場
合は上記垂直方向信号算出手段の出力を選択し、水平方
向に相関があると判定した場合は上記水平方向信号算出
手段の出力を選択し、撮像素子における画素数の第１の
色信号を得るものである。

【００２９】また、この発明に係る撮像装置は、上記色
復元手段における第２の算出手段が、所定画素ｌ行ｍ列
の位置において、上記第１の算出手段からの出力Ａに対
し水平方向のローパスフィルタを介した値Ａ１ｈｌｐｆ
（ｌ、ｍ）と垂直方向ローパスフィルタを介した値Ａ１
ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対して
水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ
（ｌ、ｍ）と第３の色信号Ｃに対し垂直方向のローパス
フィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、
第２の色信号Ｂに対して垂直方向のローパスフィルタを
介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対
して水平方向のローパスフィルタを介した値Ｃ１ｈｌｐ
ｆ（ｌ、ｍ））とを算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）と
Ｂ１ｈｌｐｆ（ｌ、ｍ）との比（または、Ｃ１ｈｌｐｆ
（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１
ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ
（ｌ、ｍ）との比）と、上記第１の算出手段からの出力
Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）か
ら、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおけ
る画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）
＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌ
ｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ
１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝（ま
たは、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｖｌｐｆ
（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）
＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌ
ｐｆ（ｌ、ｍ）｝）により算出する信号算出手段を備え
るとともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ
行ｙ列の位置において、上記第１の算出手段からの出力
Ａに対し水平方向のローパスフィルタを介した値Ａ２ｈ
ｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第
２の色信号Ｂに対し水平方向のローパスフィルタを介し
た値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｈｌｐｆ
（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と上記第１の
算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ
（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信
号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ
２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、ｙ）｝によ
り算出し、第３の色信号Ｃにおいても同様にＣ信号を算
出する水平方向信号算出手段と、上記第１の算出手段か
らの出力Ａに対し垂直方向のローパスフィルタを介した
値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出
力での第２の色信号Ｂに対し垂直方向のローパスフィル
タを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｖ
ｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）の比と上記
第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素
値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の
色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×
｛Ｂ２ｖｌｐｆ（ｘ、ｙ）／Ａ２ｖｌｐｆ（ｘ、ｙ）｝
により算出し、第３の色信号Ｃにおいても同様にＣ信号
を算出する垂直方向信号算出手段と、上記信号算出手段
からの出力における第２、第３の色信号での所定画素ｘ
行ｙ列の位置において、斜めに隣接する画素の平均値を
算出する平均値算出手段とを備え、上記第２のエッジ判
定手段の出力に基づき、前記水平方向信号算出手段、垂
直方向信号算出手段、平均値算出手段からのそれぞれの
出力から選択して、上記所定画素ｘ行ｙ列での第２、第
３の色信号を得て、撮像素子における画素数の第２、第
３の色信号を得るものである。

【００３０】さらに、この発明に係る撮像装置は、上記
色復元手段における第２の算出手段が、上記第２のエッ
ジ判定手段の出力が所定画素ｘ行ｙ列の位置においてエ
ッジ成分を検出しないと判定した場合は上記平均値算出
手段の出力を選択し、垂直方向に相関があると判定した
場合は上記垂直方向信号算出手段の出力を選択し、水平
方向に相関があると判定した場合は上記水平方向信号算
出手段の出力を選択し、撮像素子における画素数の第
２、第３の色信号を得るものである。

【００３１】

【発明の実施の形態】以下、この発明をその実施の形態
を示す図面に基づいて具体的に説明する。 実施の形態１．図１はこの発明の一実施形態による撮像
装置の構成の一例を示すブロック図である。図におい
て、１は画素を斜め方向に半画素ずらした撮像素子２枚
分の信号を取り込む撮像素子、２はＡ／Ｄコンバータ、
３、４はフレームメモリ、５、６は撮像素子１での１枚
分の撮像素子での総画素数のＲ、Ｇ、Ｂ信号を得るよう
色信号の復元を行う第１および第２の色復元手段、７は
上記第１および第２の色復元手段５、６からの信号を多
重して水平垂直方向各２倍の画素数の信号を得る多重手
段である。８は上記多重手段７の出力であるＧ信号にお
ける所定画素でのエッジ成分を判定するエッジ判定手
段、９は上記多重手段７からの各信号における所定画素
での上下左右隣接画素の平均値を算出する平均値演算手
段、１０は多重手段７からの各信号における所定画素で
の左右隣接画素の平均値を演算する水平方向演算手段、
１１は多重手段７からの各信号における所定画素での上
下画素の平均値を演算する垂直方向演算手段、１２は選
択手段であり、上記エッジ判定手段８からの出力と画素
位置に基づき、平均値演算手段９、水平方向演算手段１
０、垂直方向演算手段１１および多重手段７のそれぞれ
の出力より信号を切り換えて選択し、撮像素子での画素
数の水平垂直方向各２倍の画素数の解像度となるＲ、
Ｇ、Ｂ信号を出力する。

【００３２】ここで、高解像度化のため、上記撮像素子
１においては、画素を斜め方向に半画素ずらした２枚の
撮像素子を配置して信号を取り込む。図２はこの発明の
実施の形態１による画素を斜め方向に半画素ずらした２
枚の撮像素子の配置の一例を示す図であり、データＤ１
と、データＤ１に対し斜め左下方向へ半画素ずらしたデ
ータＤ２によりそれぞれ信号を取り込む。図３ははこの
発明の実施の形態１による各撮像素子の色フィルタの配
列の一例を示す図であり、前記２枚のデータＤ１、デー
タＤ２による各撮像素子での色フィルタ配列を示してい
る。色フィルタは原色を用い、各光電変換素子を独立に
呼び出す方式の撮像素子を示している。図３において、
Ｇは垂直方向２ｉ（ｉ＝０、１、２、…）、水平方向２
ｊ（ｊ＝０、１、２、…）の画素位置（以下、画素位置
（２ｉ，２ｊ）のように記す。）と、画素位置（２ｉ＋
１、２ｊ＋１）にあり、Ｇ信号を通過させる分光特性を
持った第１の色フィルタ、Ｒは画素位置（２ｉ、２ｊ＋
１）にあり、Ｒ信号を通過させる分光特性を持った第２
の色フィルタ、Ｂは画素位置（２ｉ＋１、２ｊ）にあ
り、Ｂ信号を通過させる分光特性を持った第３の色フィ
ルタである。図３に示されるように、Ｒ、Ｂ信号は上下
４画素毎（図中の斜線部）に、Ｇ信号は２画素毎に得ら
れることとなり、この上下４画素が垂直水平方向に繰り
返し配列されている。

【００３３】次に動作について説明する。撮像素子１に
おいて、図２のように画素を斜め方向に半画素ずらした
２枚の撮像素子からデータＤ１、データＤ２となる各画
素信号Ｒ、Ｇ、Ｂを読み出し、その出力はそれぞれＡ／
Ｄコンバータ２によりＡ／Ｄ変換され、第１および第２
のフレームメモリ３および４に入力される。ここで、第
１のフレームメモリ３には図２におけるデータＤ１によ
る図３のように配列された撮像素子の信号が入力され、
第２のフレームメモリ４には図２におけるデータＤ２に
よる図３のように配列された撮像素子の信号が入力され
ている。第１の色復元手段５では、第１のフレームメモ
リ３に入力されたデータＤ１の信号から各Ｒ、Ｇ、Ｂ信
号を分離して得られていない画素信号を復元し、撮像素
子の画素数の各Ｒ、Ｇ、Ｂ信号Ｒ１、Ｇ１、Ｂ１を出力
し、第２の色復元手段６では、第２のフレームメモリ４
に入力されたデータＤ２の信号から各Ｒ、Ｇ、Ｂ信号を
分離して得られていない画素信号を復元し、撮像素子の
画素数の各Ｒ、Ｇ、Ｂ信号Ｒ２、Ｇ２、Ｂ２を出力し
て、それぞれの出力は多重手段７へと送る。

【００３４】ここで、上記第１および第２の色復元手段
５および６における動作を図４に示す色復元手段の構成
に基づき説明する。図４はこの発明の実施の形態１によ
る撮像装置における色復元手段の構成の一例を示すブロ
ック図であり、図において、２０はフレームメモリにお
ける信号をＲ、Ｇ、Ｂ信号に分離する分離手段、２１は
Ｇ信号での所定画素位置でのエッジ成分を判定する第１
のエッジ判定手段、２２は分離手段２０からの各Ｒ、
Ｇ、Ｂ信号と上記第１のエッジ判定手段２１からの出力
に基づきＧ信号の復元を行うＧ成分復元手段、２３は
Ｒ、Ｂ信号の復元を行う第１のＲＢ成分復元手段、２４
は前記Ｇ成分復元手段２２からのＧ信号での所定画素位
置でのエッジ成分を判定する第２のエッジ判定手段、２
５は第２のエッジ判定手段２４の出力に応じてＲおよび
Ｂ信号の復元を行う第２のＲＢ成分復元手段である。

【００３５】フレームメモリ３または４における図３に
示された配列の撮像素子による信号は、分離手段２０に
おいてそれぞれＲ、Ｇ、Ｂ信号に分離され、Ｇ信号は第
１のエッジ判定手段２１とＧ成分復元手段２２へと送ら
れ、Ｒ、Ｂ信号はＧ成分復元手段２２および第１のＲＢ
復元手段２３へと送られる。第１のエッジ判定手段２１
ではＧ信号における所定画素位置でのエッジ成分を判定
して判定結果をＧ成分復元手段２２へと送り、Ｇ成分復
元手段２２では上記第１のエッジ判定手段２１からの判
定結果の基づき、撮像素子での総画素数のＧ信号を得る
ようＧ成分の画素信号の復元を行う。図５はこの発明の
実施の形態１による撮像装置における色復元手段におけ
る第１のエッジ判定手段２１とＧ成分復元手段２２の動
作を説明するためのフローチャートであり、第１のエッ
ジ判定手段２１とＧ成分復元手段２２での処理動作を図
５に従って説明する。

【００３６】いま、撮像素子１におけるＧ信号は図３に
示すように画素位置（２ｉ、２ｊ）と（２ｉ＋１、２ｊ
＋１）で得られており、撮像素子の画素数のＧ信号を得
るために、画素位置（２ｉ、２ｊ＋１）と（２ｉ＋１、
２ｊ）の画素での信号を求めることとなる。よって、図
５より、Ｇ成分復元手段２２において画素位置（２ｉ、
２ｊ）と（２ｉ＋１、２ｊ＋１）での画素はＧ信号をそ
のまま出力し、画素位置（２ｉ、２ｊ＋１）と（２ｉ＋
１、２ｊ）では、まず第１のエッジ判定手段２１におい
て、左右および上下の画素の差分つまりエッジ成分を検
出する。つまり、上記画素位置での左右の画素の差の絶
対値ΔＨ、上下の画素の差の絶対値ΔＶ算出する。例え
ば、画素位置（２ｉ、２ｊ＋１）においては、水平方向
差分ΔＨは、 ΔＨ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜ （１） 垂直方向差分ΔＶは、 ΔＶ＝｜Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜ （２） となる。以下、この画素の差の絶対値をエッジ成分と呼
ぶ。

【００３７】そして、上記水平方向でのエッジ成分ΔＨ
および垂直方向エッジ成分ΔＶにより、水平垂直方向で
の周辺画素での信号レベルの変化を判定し、その判定結
果を示す信号ｅｄ１を第１のエッジ判定手段２１より出
力する。第１のエッジ判定手段２１での判定は、ΔＨと
ΔＶの両方が予め定めた値ｔｈ以下の場合は、周辺画素
での信号レベルの変化がないと判定し、Ｇ成分復元手段
２２において、周波数の変化を考慮する必要がなく、上
下左右の４画素の平均値を算出しＧ信号とする。例え
ば、この場合での画素位置（２ｉ、２ｊ＋１）における
Ｇ信号は、ｇ（２ｉ、２ｊ＋１）＝｛Ｇ（２ｉ−１、２
ｊ＋１）＋Ｇ（２ｉ＋１、２ｊ＋１）＋Ｇ（２ｉ、２
ｊ）＋Ｇ（２ｉ、２ｊ＋２）｝／４となる。

【００３８】一方、ΔＨまたはΔＶが予め定めた値ｔｈ
より大きい場合は、その画素においてエッジ成分がある
と判定し、さらに、ΔＨ＞ΔＶの場合は垂直方向に相関
が高いと判定し、ΔＨ≦ΔＶの場合は水平方向に相関が
高いと判定する。そして、ΔＨ＞ΔＶで垂直方向に相関
が高いと判定される場合は、Ｇ成分復元手段２２におい
て、Ｒ、Ｇ、Ｂ信号での垂直方向の画素信号より演算
し、垂直方向に相関を持つＧ信号を出力する。つまり、
Ｒ信号が得られている画素である処理画素位置（２ｉ、
２ｊ＋１）においては、Ｇ信号の垂直方向のローパスフ
ィルタを介した値Ｇｖｌｐｆ、Ｒ信号の垂直方向のロー
パスフィルタを介した値Ｒｖｌｐｆを例えば、 Ｇｖｌｐｆ＝｛Ｇ（２ｉ−３、２ｊ＋１）＋Ｇ（２ｉ−１、２ｊ＋１） ＋Ｇ（２ｉ＋１、２ｊ＋１）＋Ｇ（２ｉ＋３、２ｊ＋１）｝／４ （３） Ｒｖｌｐｆ＝｛Ｒ（２ｉ−４、２ｊ＋１）＋２×Ｒ（２ｉ−２、２ｊ＋１） ＋２×Ｒ（２ｉ、２ｊ＋１）＋２×Ｒ（２ｉ＋２、２ｊ＋１） ＋Ｒ（２ｉ＋４、２ｊ＋１）｝／８ （４） として算出し、このＧｖｌｐｆとＲｖｌｐｆの比と画素
位置（２ｉ、２ｊ＋１）でのＲ信号より、垂直方向に相
関をもつＧ信号ｇ（２ｉ、２ｊ＋１）を次式 ｇ（２ｉ、２ｊ＋１）＝Ｒ（２ｉ、２ｊ＋１）×（Ｇｖｌｐｆ／Ｒｖｌｐｆ） （５） により算出する。

【００３９】また、Ｂ信号が得られる画素位置である処
理画素位置（２ｉ＋１、２ｊ）でも同様に、Ｇ信号の垂
直方向のローパスフィルタを介した値Ｇｖｌｐｆ、Ｂ信
号の垂直方向のローパスフィルタを介した値Ｂｖｌｐｆ
を例えば、 Ｇｖｌｐｆ＝｛Ｇ（２ｉ−２、２ｊ）＋ Ｇ（２ｉ、２ｊ） ＋ Ｇ（２ｉ＋２、２ｊ）＋ Ｇ（２ｉ＋４、２ｊ）｝／４ （６） Ｂｖｌｐｆ＝｛Ｂ（２ｉ−３、２ｊ）＋ ２×Ｂ（２ｉ−１、２ｊ） ＋２×Ｂ（２ｉ＋１、２ｊ）＋２×Ｂ（２ｉ＋３、２ｊ） ＋Ｒ（２ｉ＋５、２ｊ）｝／８ （７） として算出し、このＧｖｌｐｆとＢｖｌｐｆの比と画素
位置（２ｉ＋１、２ｊ）でのＢ信号より、垂直方向に相
関をもつＧ信号ｇ（２ｉ＋１、２ｊ）を次式 ｇ（２ｉ＋１、２ｊ）＝Ｂ（２ｉ＋１、２ｊ）×（Ｇｖｌｐｆ／Ｂｖｌｐｆ） （８） により算出する。

【００４０】また、ΔＨ≦ΔＶで水平方向に相関が高い
と判定される場合には、Ｇ成分復元手段２２において、
水平方向の画素信号より演算し、水平方向に相関を持つ
Ｇ信号を出力する。処理画素位置（２ｉ、２ｊ＋１）に
おいては、Ｇ信号の水平方向のローパスフィルタを介し
た値Ｇｈｌｐｆ、Ｒ信号の水平方向のローパスフィルタ
を介した値Ｒｈｌｐｆを例えば、 Ｇｈｌｐｆ＝｛Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ−２） ＋Ｇ（２ｉ、２ｊ＋２）＋Ｇ（２ｉ、２ｊ＋４）｝／４ （９） Ｒｈｌｐｆ＝｛Ｒ（２ｉ、２ｊ−３）＋ ２×Ｒ（２ｉ、２ｊ−１） ＋２×Ｒ（２ｉ、２ｊ＋１）＋ ２×Ｒ（２ｉ、２ｊ＋３） ＋Ｒ（２ｉ、２ｊ＋５）｝／８ （１０） として算出し、このＧｈｌｐｆとＲｈｌｐｆの比と画素
位置（２ｉ、２ｊ＋１）でのＲ信号より、垂直方向に相
関をもつＧ信号ｇ（２ｉ、２ｊ＋１）を次式 ｇ（２ｉ、２ｊ＋１）＝Ｒ（２ｉ、２ｊ＋１）×（Ｇｈｌｐｆ／Ｒｈｌｐｆ） （１１） により算出する。

【００４１】また、Ｂ信号が得られる画素位置である処
理画素位置（２ｉ＋１、２ｊ）でも同様に、処理画素位
置（２ｉ＋１、２ｊ）でのＧ信号の水平方向のローパス
フィルタを介した値Ｇｈｌｐｆ、Ｂ信号の水平方向のロ
ーパスフィルタを介した値Ｂｈｌｐｆを例えば、 Ｇｈｌｐｆ＝｛Ｇ（２ｉ＋１、２ｊ−１）＋ Ｇ（２ｉ、２ｊ−３） ＋Ｇ（２ｉ、２ｊ＋１）＋Ｇ（２ｉ、２ｊ＋３）｝／４ （１２） Ｂｈｌｐｆ＝｛Ｂ（２ｉ＋１、２ｊ−４）＋ ２×Ｂ（２ｉ＋１、２ｊ−２） ＋ ２×Ｂ（２ｉ＋１、２ｊ）＋ ２×Ｂ（２ｉ＋１、２ｊ＋２） ＋Ｂ（２ｉ＋１、２ｊ＋４）｝／８ （１３） として算出し、このＧｈｌｐｆとＢｈｌｐｆの比と画素
位置（２ｉ＋１、２ｊ）でのＢ信号より、垂直方向に相
関をもつＧ信号ｇ（２ｉ＋１、２ｊ）を次式 ｇ（２ｉ＋１、２ｊ）＝Ｂ（２ｉ＋１、２ｊ）×（Ｇｈｌｐｆ／Ｂｈｌｐｆ） （１４） により算出する。

【００４２】なお、上記式（５）、（８）、（１１）、
（１４）による算出方式は、局所的領域での色の変化が
少ないことを前提としており、つまり、局所的な領域で
の各色信号の比はほぼ等しいことにより、水平方向また
は垂直方向における局所的な領域での各色信号の比は
Ｒ、Ｇ、Ｂの水平方向または垂直方向のローパスフィル
タを介した値の比で与えられる。また、上記式（５）〜
（１４）は各水平方向ローパスフィルタおよび垂直方向
ローパスフィルタ出力の算出例であり、フィルタのタッ
プ数および係数は上記に限るものではなく、他のタップ
数および係数でもよい。

【００４３】したがって、Ｇ成分復元手段２２からは画
素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋
１、２ｊ）、（２ｉ＋１、２ｊ＋１）それぞれの画素で
のＧ信号が出力され、つまり、撮像素子の画素数分の解
像度のＧ信号を得られる。このＧ成分復元手段２２から
の出力は次に、第１のＲＢ成分復元手段２３と第２のエ
ッジ判定手段２４へと送られる。

【００４４】次に、第１のＲＢ成分復元手段２３では、
Ｒ、Ｂ信号の画素位置（２ｉ、２ｊ）、（２ｉ＋１、２
ｊ＋１）でのＲ、Ｂ信号の生成を行い、その出力を第２
のＲＢ復元手段２５へと送り、第２のエッジ判定手段２
４においては、上記Ｇ成分復元手段２２から出力された
Ｇ信号により画素位置（２ｉ、２ｊ＋１）および（２ｉ
＋１、２ｊ）の画素での左右および上下の画素の差分つ
まりエッジ成分を検出する。第２のＲＢ成分復元手段２
５では、第２のエッジ判定手段２４の出力に基づき、Ｒ
信号での画素位置（２ｉ＋１、２ｊ）、Ｂ信号での画素
位置（２ｉ、２ｊ＋１）でのそれぞれの画素を復元生成
する。図６は前記第１のＲＢ成分復元手段２３、第２の
エッジ判定手段２４および第２のＲＢ成分復元手段２５
における動作を示すフローチャートであり、第１および
第２のＲＢ成分復元手段２３、２５と第２のエッジ判定
手段２４での処理動作を図６に従って説明する。

【００４５】いま、図３に示すように、撮像素子におけ
るＲ信号は画素位置（２ｉ、２ｊ＋１）で得られ、Ｂ信
号は（２ｉ＋１、２ｊ）で得られており、撮像素子の画
素数のＲ、Ｂ信号を得るために、Ｒについては画素位置
（２ｉ、２ｊ）、（２ｉ＋ｌ、２ｊ）と（２ｉ＋１、２
ｊ＋１）の画素での信号を求めることとなり、Ｂについ
ては画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）と
（２ｉ＋１、２ｊ＋１）の画素での信号を求めることと
なる。図７（ａ）、（ｂ）はＲ、Ｂ信号の算出を説明す
るための各画素のＲ、Ｂを示す図であり、図中Ｒおよび
Ｂが撮像素子により得られている画素信号を示してい
る。図６により、第１および第２のＲＢ成分復元手段２
３、２５において、Ｒ信号での画素位置（２ｉ、２ｊ＋
１）、Ｂ信号での画素信号（２ｉ＋１、２ｊ）における
画素はそのままの信号を出力する。次に、画素位置（２
ｉ、２ｊ）と（２ｉ＋１、２ｊ＋１）の場合、Ｒ、Ｂ信
号ともに左右または上下のどちらかの方向の画素が得ら
れており、また、Ｇ信号はＧ成分復元手段２２により全
画素復元されている。よって、第１のＲＢ成分復元手段
２３には分離手段２０からのＲ、Ｂ信号とＧ成分復元手
段２２からの全画素の信号が復元されたＧ信号が入力さ
れ、上下または左右方向の画素より演算して上記画素
（２ｉ、２ｊ）と（２ｉ＋１、２ｊ＋１）のＲ、Ｂ信号
を得る。つまり、図７でのｒ１およびｂ１（画素位置
（２ｉ、２ｊ））、ｒ２およびｂ２（画素位置（２ｉ＋
１、２ｊ＋１））での画素を、Ｇ、ＲおよびＢ信号にお
ける処理画素の上下または左右方向の画素により算出す
る。

【００４６】Ｒ信号でのｒ１で示す画素位置（２ｉ、２
ｊ）の場合は、画素位置（２ｉ、２ｊ）においてＧ、Ｒ
信号に対して水平方向のローパスフィルタを介した値Ｇ
１ｈｌｐｆ、Ｒ１ｈｌｐｆを例えば、 Ｇ１ｈｌｐｆ＝（ｇ（２ｉ、２ｊ−１）＋ｇ（２ｉ、２ｊ＋１））／２ （１５） Ｒ１ｈｌｐｆ＝（Ｒ（２ｉ、２ｊ−１）＋Ｒ（２ｉ、２ｊ＋１））／２ （１６） により算出し、このＧ１ｈｌｐｆとＲ１ｈｌｐｆの比と
画素Ｇ（２ｉ、２ｊ）により、画素位置（２ｉ、２ｊ）
でのＲ信号ｒ（２ｉ、２ｊ）を次式により算出する。 ｒ（２ｉ、２ｊ）＝ Ｇ（２ｉ、２ｊ）×（Ｒ１ｈｌｐｆ／Ｇ１ｈｌｐｆ） ＝Ｇ（２ｉ、２ｊ）×（Ｒ（２ｉ、２ｊ−１）＋Ｒ（２ｉ、２ｊ＋１）） （ｇ（２ｉ、２ｊ−１）＋ｇ（２ｉ、２ｊ＋１）） （１７）

【００４７】同様に、Ｂ信号におけるｂ１の位置につい
ては、画素位置（２ｉ、２ｊ）において、Ｇ、Ｂ信号に
対して垂直方向のローパスフィルタを介した値Ｇ１ｖｌ
ｐｆ、Ｂ１ｖｌｐｆを例えば、 Ｇ１ｖｌｐｆ＝（ｇ（２ｉ−１、２ｊ）＋ｇ（２ｉ＋１、２ｊ））／２ （１８） Ｂ１ｖｌｐｆ＝（Ｂ（２ｉ−１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ））／２ （１９） により算出し、このＧ１ｖｌｐｆとＢ１ｖｌｐｆの比と
画素Ｇ（２ｉ、２ｊ）により、画素位置（２ｉ、２ｊ）
でのＢ信号ｂ（２ｉ、２ｊ）を次式により算出する。 ｂ（２ｉ、２ｊ）＝ Ｇ（２ｉ、２ｊ）×（Ｂ１ｖｌｐｆ／Ｇ１ｖｌｐｆ） ＝Ｇ（２ｉ、２ｊ）×（Ｂ（２ｉ−１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ）） ／（ｇ（２ｉ−１、２ｊ）＋ｇ（２ｉ＋１、２ｊ）） （２０）

【００４８】また、ｒ２で示す画素位置（２ｉ＋１、２
ｊ＋１）の場合についても同様に、画素位置（２ｉ＋
１、２ｊ＋１）において、Ｇ、Ｒ信号に対して垂直方向
のローパスフィルタを介した値Ｇ１ｖｌｐｆ、Ｒ１ｖｌ
ｐｆを例えば、 Ｇ１ｖｌｐｆ＝（ｇ（２ｉ、２ｊ＋１）＋ｇ（２ｉ＋２、２ｊ＋１））／２ （２１） Ｒ１ｖｌｐｆ＝（Ｒ（２ｉ、２ｊ＋１）＋Ｒ（２ｉ＋２、２ｊ＋１））／２ （２２） により算出し、このＧ１ｖｌｐｆとＲ１ｖｌｐｆの比と
画素Ｇ（２ｉ＋１、２ｊ＋１）により、画素位置（２ｉ
＋１、２ｊ＋１）でのＲ信号ｒ（２ｉ＋１、２ｊ＋１）
を次式により算出する。 ｒ（２ｉ＋１、２ｊ＋１）＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｒ１ｖｌｐｆ／Ｇ１ ｖｌｐｆ） ＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｒ（２ｉ、２ｊ＋１）＋Ｒ（２ｉ＋２、 ２ｊ＋１）） ／（ｇ（２ｉ、２ｊ＋１）＋ｇ（２ｉ＋２、２ｊ＋１）） （２３）

【００４９】同様に、Ｂ信号でのｂ２で示す画素位置
（２ｉ＋１、２ｊ＋１）において、Ｇ、Ｂ信号に対して
水平方向のローパスフィルタを介した値Ｇ１ｈｌｐｆ、
Ｂ１ｈｌｐｆを例えば、 Ｇ１ｈｌｐｆ＝（ｇ（２ｉ＋１、２ｊ）＋ｇ（２ｉ＋１、２ｊ＋２））／２ （２４） Ｂ１ｈｌｐｆ＝（Ｂ（２ｉ＋１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ＋２））／２ （２５） により算出し、このＧ１ｈｌｐｆとＢ１ｈｌｐｆの比と
画素Ｇ（２ｉ＋１、２ｊ＋１）により、画素位置（２ｉ
＋１、２ｊ＋１）でのＢ信号ｂ（２ｉ＋１、２ｊ＋１）
を次式により算出する。 ｂ（２ｉ＋１、２ｊ＋１）＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｂ１ｈｌｐｆ／Ｇ１ ｈｌｐｆ） ＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｂ（２ｉ＋１、２ｊ）＋Ｂ（２ｉ＋１、２ ｊ＋２）） ／（ｇ（２ｉ＋１、２ｊ）＋ｇ（２ｉ＋１、２ｊ＋２）） （２６）

【００５０】なお、上記式（１７）、（２０）、（２
３）、（２６）は上記Ｇでの復元方法と同様局所的領域
での色信号の変化が少ないことを前提としており、つま
り、各信号の比は局所的な領域ではほぼ等しいというこ
とによる。また、式（１５）〜（２６）におけるＧ１ｈ
ｌｐｆ、Ｇ１ｖｌｐｆ、Ｒ１ｈｌｐｆ、Ｒ１ｖｌｐｆ、
Ｂ１ｈｌｐｆ、Ｂ１ｖｌｐｆの算出式は、水平および垂
直方向のローパスフィルタ出力の算出例であり、フィル
タのタップ数および係数は上記に限るものではなく、他
のタップ数および係数であってもよい。

【００５１】次に、残りのＲ信号における画素位置（２
ｉ＋１、２ｊ）とＢにおける画素位置（２ｉ、２ｊ＋
１）での信号（図７でのｒ３およびｂ３）については、
まず、第２のエッジ判定手段２４において、Ｇ信号にお
ける前記画素での左右および上下の画素の差分つまりエ
ッジ成分を検出する。つまり、Ｇ成分復元手段２２から
のＧ信号に対し、上記画素位置での左右の画素の差の絶
対値ΔＨ、上下の画素の差の絶対値ΔＶ算出する。例え
ば、画素位置（２ｉ＋１、２ｊ）においては、水平方向
差分ΔＨは、 ΔＨ＝｜Ｇ（２ｉ＋１、２ｊ−１）−Ｇ（２ｉ＋１、２
ｊ＋１）｜ 垂直方向差分ΔＶは、 ΔＶ＝｜ Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ＋２、２ｊ）｜ となる。

【００５２】そして、上記水平方向でのエッジ成分ΔＨ
および垂直方向エッジ成分ΔＶにより、水平垂直方向で
の周辺画素での信号レベルの変化を判定し、その判定結
果を示す信号を第２のＲＢ成分復元手段２５へと出力す
るのであるが、ここで、Ｒ信号における画素位置（２ｉ
＋１、２ｊ）に対しては画素位置（２ｉ＋１、２ｊ）で
のエッジ成分を判定した結果ｅｄｒを送り、Ｂ信号にお
ける画素位置（２ｉ、２ｊ＋１）に対しては画素位置
（２ｉ、２ｊ＋１）でのエッジ成分を判定した結果ｅｄ
ｂを送ることになる。判定結果ｅｄｒおよびｅｄｂにお
いて、ΔＨとΔＶの両方が予め定めた値ｔｈ以下の場合
は周辺画素での信号レベルの変化がないと判定し、第２
のＲＢ成分復元手段２５において、周波数の変化を考慮
する必要がなく、斜め方向に隣接する４画素の平均値を
算出しＲまたはＢ信号とする。つまり、Ｒ信号での画素
位置（２ｉ＋１、２ｊ）（図７（ａ）でのｒ３）につい
ては ｒ（２ｉ＋１、２ｊ）＝（ Ｒ（２ｉ、２ｊ−１）＋Ｒ
（２ｉ、２ｊ＋１）＋Ｒ（２ｉ＋２、２ｊ−１）＋Ｒ
（２ｉ＋２、２ｊ＋１）｝／４ Ｂ信号での画素位置（２ｉ、２ｊ＋１）（図７（ｂ）で
のｂ３）については ｂ（２ｉ、２ｊ＋１）＝｛ Ｂ（２ｉ−１、２ｊ）＋Ｂ
（２ｉ−１、２ｊ＋２）＋Ｂ（２ｉ＋１、２ｊ）＋Ｂ
（２ｉ＋１、２ｊ＋２）｝／４ として算出する。

【００５３】一方、ΔＨまたはΔＶが予め定めた値ｔｈ
より大きい場合は、その画素においてエッジ成分がある
と判定し、さらに、ΔＨ＞ΔＶの場合は垂直方向に相関
が高いと判定し、ΔＨ≦ΔＶの場合は水平方向に相関が
高いと判定する。そして、ΔＨ＞ΔＶで垂直方向に相関
が高いと判定される場合は、第２のＲＢ成分復元手段２
５において、Ｒ、Ｇ、Ｂ信号での上下方向の画素より演
算し、垂直方向に相関を持つ信号を出力する。Ｒ信号で
のｒ３で示す画素位置（２ｉ＋１，２ｊ）においては、
垂直方向のローパスフィルタを介した値Ｒ２ｖｌｐｆ、
Ｇ２ｖｌｐｆを例えば、 Ｒ２ｖｌｐｆ＝（ｒ（２ｉ、２ｊ）＋ｒ（２ｉ＋２、２ｊ））／２ （２７） Ｇ２ｖｌｐｆ＝（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ＋２、２ｊ））／２ （２８） により算出し、このＲ２ｖｌｐｆとＧ２ｖｌｐｆの比と
画素ｇ（２ｉ＋１、２ｊ）により、次式の演算で垂直方
向に相関を持つＲの画素値ｒ（２ｉ＋１，２ｊ）を算出
する。 ｒ（２ｉ＋１、２ｊ）＝ｇ（２ｉ＋１、２ｊ）×（Ｒ２ｖｌｐｆ／Ｇ２ｖｌｐｆ ） ＝ｇ（２ｉ＋１、２ｊ）×（ ｒ（２ｉ、２ｊ）＋ｒ（２ｉ＋２、２ｊ）） ／（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ＋２、２ｊ）） （２９）

【００５４】また、Ｂ信号でのｂ３で示す画素位置にお
いても同様に、画素位置（２ｉ，２ｊ＋１）において、
垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ、
Ｇ３ｖｌｐｆを例えば、 Ｂ２ｖｌｐｆ＝（ｂ（２ｉ−１、２ｊ＋１）＋ｂ（２ｉ＋１、２ｊ＋１））／２ （３０） Ｇ３ｖｌｐｆ＝（Ｇ（２ｉ−１、２ｊ＋１）＋Ｇ（２ｉ＋１、２ｊ＋１））／２ （３１） により算出し、このＢ２ｖｌｐｆとＧ３ｖｌｐｆの比と
画素ｇ（２ｉ、２ｊ＋１）により、次式の演算で垂直方
向に相関を持つ画素値ｂ（２ｉ，２ｊ＋１）を算出す
る。 ｂ（２ｉ、２ｊ＋１）＝ｇ（２ｉ、２ｊ＋１）×（Ｂ２ｖｌｐｆ／Ｇ３ｖｌｐｆ ） ＝ｇ（２ｉ、２ｊ＋１）×（ｂ（２ｉ−１、２ｊ＋１）＋ｂ（２ｉ＋１、２ ｊ＋１））／（ Ｇ（２ｉ−１、２ｊ＋１）＋Ｇ（２ｉ＋１、２ｊ＋１）） （３２）

【００５５】また、ΔＨ≦ΔＶで水平方向に相関が高い
と判定される場合には、第２のＲＢ成分復元手段２５に
おいて、Ｒ、Ｇ、Ｂ信号での左右方向の画素信号より演
算し、水平方向に相関を持つ信号を出力する。Ｒ信号で
のｒ３で示す画素位置（２ｉ＋１，２ｊ）においては、
水平方向のローパスフィルタを介した値Ｒ２ｈｌｐｆ、
Ｇ２ｈｌｐｆを例えば、 Ｒ２ｈｌｐｆ＝（ｒ（２ｉ＋１、２ｊ−１）＋ｒ（２ｉ＋１、２ｊ＋１））／２ （３３） Ｇ２ｈｌｐｆ＝（Ｇ（２ｉ＋１、２ｊ−１）＋Ｇ（２ｉ＋１、２ｊ＋１））／２ （３４） により算出し、このＲ２ｈｌｐｆとＧ２ｈｌｐｆの比と
画素ｇ（２ｉ＋１、２ｊ）により、次式の演算で水平方
向に相関を持つＲの画素値ｒ（２ｉ＋１，２ｊ）を算出
する。 ｒ（２ｉ＋１、２ｊ）＝ｇ（２ｉ＋１、２ｊ）×（Ｒ２ｈｌｐｆ／Ｇ２ｈｌｐｆ ） ＝ｇ（２ｉ＋１、２ｊ）×（ｒ（２ｉ＋１、２ｊ−１）＋ｒ（２ｉ＋１、２ ｊ＋１））／（ Ｇ（２ｉ＋１、２ｊ−１）＋Ｇ（２ｉ＋１、２ｊ＋１）） （３５）

【００５６】Ｂ信号でのｂ３で示す画素位置においても
同様に、画素位置（２ｉ，２ｊ＋１）において、水平方
向のローパスフィルタを介した値Ｂ２ｈｌｐｆ、Ｇ３ｈ
ｌｐｆを例えば、 Ｂ２ｈｌｐｆ＝（ｂ（２ｉ、２ｊ）＋ｂ（２ｉ、２ｊ＋２））／２ （３６） Ｇ３ｈｌｐｆ＝（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２））／２ （３７） により算出し、このＢ２ｈｌｐｆとＧ３ｈｌｐｆの比と
画素ｇ（２ｉ、２ｊ＋１）により、次式の演算で水平方
向に相関を持つ画素値ｂ（２ｉ，２ｊ＋１）を算出す
る。 ｂ（２ｉ、２ｊ＋１）＝ｇ（２ｉ、２ｊ＋１）×（Ｂ２ｈｌｐｆ／Ｇ３ｈｌｐｆ ） ＝ｇ（２ｉ、２ｊ＋１）×（ｂ（２ｉ、２ｊ）＋ｂ（２ｉ、２ｊ＋２）） ／（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２）） （３８）

【００５７】なお、上記式（２９）、（３２）、（３
５）、（３８）は上記Ｇでの復元方法と同様局所的領域
での色信号の変化が少ないことを前提としており、つま
り、各信号の比は局所的な領域ではほぼ等しいというこ
とによる。また、式（２７）〜（３８）におけるＧ２ｈ
ｌｐｆ、Ｇ２ｖｌｐｆ、Ｇ３ｈｌｐｆ、Ｇ３ｖｌｐｆ、
Ｒ２ｈｌｐｆ、Ｒ２ｖｌｐｆ、Ｂ２ｈｌｐｆ、Ｂ２ｖｌ
ｐｆの算出式は、水平および垂直方向のローパスフィル
タ出力の算出例であり、フィルタのタップ数および係数
は上記に限るものではなく、他のタップ数および係数で
あってもよい。

【００５８】以上より、第２のＲＢ成分復元手段２５か
らは画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、
（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）それぞれ
の画素でのＲおよびＢ信号が出力され、つまり、撮像素
子の画素数分の解像度のＲ、Ｂ信号を得られるとにな
る。Ｇ信号は上記Ｇ成分復元手段２２においてすでに撮
像素子の画素数分の解像度の信号を得ており、したがっ
て、Ｇ成分を用い水平垂直方向のエッジ成分を判定して
局所的な領域での空間周波数の変化を判定し、その判定
結果に基づき各色信号の生成を切り換えるともに、エッ
ジ成分が所定値を越える場合の信号の算出において、局
所的な領域での色信号の比により算出を行い、エッジ成
分が所定値以下では周辺画素の平均値で求めることで、
第１および第２の色復元手段５および６の出力において
撮像素子の画素数分の解像度のＲ、Ｇ、Ｂ信号が得られ
る。

【００５９】次に、上述の方法により第１の色復元手段
５において復元された撮像素子の画素数分の信号Ｒ１、
Ｇ１、Ｂ１は多重手段７へと送られ、第２の色復元手段
６において復元された撮像素子の画素数分の信号Ｒ２、
Ｇ２、Ｂ２も多重手段７へと送られる。多重手段７にお
いては、第１の色復元手段５からのＲ１、Ｇ１、Ｂ１信
号と第２の色復元手段６からのＲ２、Ｇ２、Ｂ２信号に
より、水平垂直方向各２倍の解像度の信号になるようそ
れぞれの信号を合成多重する。つまり、各信号は図２に
示す斜め方向に半画素ずらしたデータＤ１とＤ２により
復元された信号であるので、上記Ｒ１、Ｇ１、Ｂ１とＲ
２、Ｇ２、Ｂ２は各撮像素子での画素数の水平垂直方向
各２倍の解像度の信号において、図８に示されるような
配置となる。つまり、水平垂直方向各２倍の解像度の各
信号において、垂直２ｘ行水平２ｙ＋１列の画素位置
（２ｘ、２ｙ＋１）（ｘ、ｙは整数）にＲ１、Ｇ１、Ｂ
１が位置し、画素位置（２ｘ＋１、２ｙ）にＲ２、Ｇ
２、Ｂ２が位置しており、図８においてＤ１はＲ１また
はＧ１またはＢ１の位置を示し、Ｄ２はＲ２またはＧ２
またはＢ２の位置を示している。したがって、多重手段
７からは図９から図１１に示されるような配置となる画
素数が水平垂直方向各２倍の解像度の信号が出力される
こととなる。

【００６０】次に、多重手段７の出力であるＲ、Ｇ、Ｂ
各信号（図９〜図１１）は、平均値演算手段９、水平方
向演算手段１０、垂直方向演算手段１１に送られ、Ｇ信
号はエッジ判定手段８へも入力される。ここで、図９〜
図１１おいて示されるように、各信号において画素位置
（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）の画素は得ら
れておらず、したがって、これらの画素での信号を上記
平均値演算手段９、水平方向演算手段１０、垂直方向演
算手段１１で算出することとなる。そして、平均値演算
手段９、水平方向演算手段１０、垂直方向演算手段１１
による出力は選択手段１２へと送られ、エッジ判定手段
８ではＧ信号における画素位置（２ｘ、２ｙ）、（２ｘ
＋１、２ｙ＋１）での周辺画素のエッジ成分を判定し、
判定結果を選択手段１２へと出力する。

【００６１】図１２はこの発明の実施の形態１による撮
像装置における高解像度化の動作を説明するためのフロ
ーチャートであり、前記エッジ判定手段８、平均値演算
手段９、水平方向演算手段１０、垂直方向演算手段１１
および選択手段１２での動作を示すものである。この図
１２に従い説明する。

【００６２】図９〜図１１で示す各画素信号が得られて
いる画素位置（２ｘ、２ｙ＋１）、（２ｘ＋１、２ｙ）
については選択手段１２においてそのままの信号を出力
する。画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋
１）については、まずエッジ判定手段８において、Ｇ信
号の上記画素位置での左右および上下の画素より水平お
よび垂直方向の差分（つまりエッジ成分）を検出する。
つまり、多重手段７からのＧ信号に対し、上記画素位置
での左右の画素の差の絶対値ΔＨｇ、上下の画素の差の
絶対値ΔＶｇ算出する。例えば、画素位置（２ｘ、２
ｙ）においては、水平方向差分ΔＨｇは、 ΔＨｇ＝｜Ｇ（２ｘ、２ｙ−１）−Ｇ（２ｘ、２ｙ＋
１）｜ 垂直方向差分ΔＶｇは、 ΔＶｇ＝｜Ｇ（２ｘ−１、２ｙ）−Ｇ（２ｘ＋１、２
ｙ）｜ となる。

【００６３】そして、上記水平方向差分ΔＨｇおよび垂
直方向差分ΔＶｇにより、水平垂直方向での周辺画素で
のエッジを判定し、その判定結果を示す信号ｅｄを選択
手段１２へと出力する。判定結果ｅｄにおいて、ΔＨｇ
とΔＶｇの両方が予め定めた値ｔｈｇ以下の場合は周辺
画素での信号レベルの変化がないと判定し、選択手段１
２において平均値演算手段９からの信号を選択する。平
均値演算手段９では、各信号において画素位置（２ｘ、
２ｙ）、（２ｘ＋１、２ｙ＋１）での上下左右の４画素
の平均値を演算しており、例えば画素位置（２ｘ、２
ｙ）の場合は次式によりＲ、Ｇ、Ｂ各信号の値Ｒａ、Ｇ
ａ、Ｂａを演算して、選択手段１２へと出力している。 Ｒａ（２ｘ、２ｙ）＝｛Ｒ（２ｘ−１、２ｙ）＋Ｒ（２
ｘ＋１、２ｙ）＋Ｒ（２ｘ、２ｙ−１）＋Ｒ（２ｘ、２
ｙ＋１）｝／４ Ｇａ（２ｘ、２ｙ）＝｛Ｇ（２ｘ−１、２ｙ）＋Ｇ（２
ｘ＋１、２ｙ）＋Ｇ（２ｘ、２ｙ−１）＋Ｇ（２ｘ、２
ｙ＋１）｝／４ Ｂａ（２ｘ、２ｙ）＝｛Ｂ（２ｘ−１、２ｙ）＋Ｂ（２
ｘ＋１、２ｙ）＋Ｂ（２ｘ、２ｙ−１）＋Ｂ（２ｘ、２
ｙ＋１）｝／４

【００６４】一方、ΔＨｇまたはΔＶｇが予め定めた値
ｔｈｇより大きい場合は、その画素においてエッジ成分
があると判定し、さらに、ΔＨｇ＞ΔＶｇの場合は水平
方向にエッジ成分があり、垂直方向に相関が高いと判定
し、ΔＨｇ≦ΔＶｇの場合は垂直方向にエッジ成分があ
り、水平方向に相関が高いと判定する。そして、ΔＨｇ
＞ΔＶｇで垂直方向に相関が高いと判定される場合は、
選択手段１２において垂直方向演算手段１１からの信号
を選択する。垂直方向演算手段１１では各信号において
画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）での
上下方向の画素の平均値を演算し、垂直方向に相関を持
つ信号を出力する。例えば、画素位置（２ｘ、２ｙ）の
場合は次式によりＲ、Ｇ、Ｂ各信号の値Ｒｖ、Ｇｖ、Ｂ
ｖを演算して、選択手段１２へと出力している。 Ｒｖ（２ｘ、２ｙ）＝｛Ｒ（２ｘ−１、２ｙ）＋Ｒ（２
ｘ＋１、２ｙ）｝／２ Ｇｖ（２ｘ、２ｙ）＝｛Ｇ（２ｘ−１、２ｙ）＋Ｇ（２
ｘ＋１、２ｙ）｝／２ Ｂｖ（２ｘ、２ｙ）＝｛Ｂ（２ｘ−１、２ｙ）＋Ｂ（２
ｘ＋１、２ｙ）｝／２

【００６５】また、ΔＨｇ≦ΔＶｇで水平方向に相関が
高いと判定される場合には、選択手段１２において水平
方向演算手段１０からの信号を選択する。水平方向演算
手段１０では各信号において画素位置（２ｘ、２ｙ）、
（２ｘ＋１、２ｙ＋１）での左右方向の画素の平均値を
演算し、水平方向に相関を持つ信号を出力する。例え
ば、画素位置（２ｘ、２ｙ）の場合は次式によりＲ、
Ｇ、Ｂ各信号の値Ｒｈ、Ｇｈ、Ｂｈを演算して、選択手
段１２へと出力している。 Ｒｈ（２ｘ、２ｙ）＝｛Ｒ（２ｘ、２ｙ−１）＋Ｒ（２
ｘ、２ｙ＋１）｝／２ Ｇｈ（２ｘ、２ｙ）＝｛Ｇ（２ｘ、２ｙ−１）＋Ｇ（２
ｘ、２ｙ＋１）｝／２ Ｂｈ（２ｘ、２ｙ）＝｛Ｂ（２ｘ、２ｙ−１）＋Ｂ（２
ｘ、２ｙ＋１）｝／２

【００６６】以上より、選択手段１２からは画素位置
（２ｘ、２ｙ）、（２ｘ、２ｙ＋１）、（２ｘ＋１、２
ｙ）、（２ｘ＋１、２ｙ＋１）それぞれの画素でのＲ、
Ｇ、Ｂ信号が出力され、つまり、撮像素子の画素数の水
平垂直方向各２倍の解像度のＲ、Ｇ、Ｂ信号を得られる
ことになり、したがって、Ｇ信号を用い水平垂直方向の
エッジ成分を判定し、その判定結果に基づき各色信号の
生成を切り換えるともに、エッジ成分が所定値を越える
場合の信号の算出において、エッジ成分が少ない方向で
の画素より算出を行い、エッジ成分が所定値以下では周
辺画素の平均値で求めることで、水平垂直方向各２倍の
解像度の画像における偽色、偽輪郭が軽減され、また、
全ての信号における水平垂直の両方向の解像度が向上す
ることになる。

【００６７】図１３はこの発明の実施の形態１による撮
像装置と従来の装置により処理したシミュレーション画
像での垂直方向の解像度での偽色レベルを示す図であ
り、詳しくは、発明者らによる画像シミュレーションに
おいて、ゾーンプレートを上述図１の構成により処理し
た場合の垂直方向で発生する偽色レベル（ｃｏｌｏｒ−
ａｌｉａｓ ｌｅｖｅｌ、縦軸）と解像度（横軸）との
関係を示している。上記従来技術による処理後の偽色レ
ベルを破線で示し、図１による実施の形態１による処理
後の偽色レベルを実線で示している。従来の技術による
処理では多くの偽色が発生しているが、実施の形態１に
よる処理では偽色の発生が抑圧されている。各処理でこ
の垂直方向の偽色信号のレベルを積分して比較すると、
約２１．５ｄＢの抑圧効果がある。

【００６８】なお、上記実施の形態１において、第１の
色復元手段５および第２の色復元手段６における色復元
手段の構成を図４に示す構成の場合について説明した
が、他の周辺画素からの補間による復元方法であって
も、斜めに半画素ずらした２枚の撮像素子により得た信
号よりそれぞれ撮像素子の画素数分のＲ、Ｇ、Ｂ信号を
復元して、この画素ずらしによる２枚分の復元画像より
上述図１による方法で水平垂直方向各２倍の解像度の画
像を得るのであれば、上記実施の形態１と同様の効果を
奏する。

【００６９】また、上記実施の形態１では、撮像素子１
における画素ずらしによる２枚の撮像素子の色フィルタ
の配列を図３に示す原色の色フィルタであり、各光電変
換素子を独立に呼び出す方式の撮像素子として説明して
いるが、撮像素子は画素混合方式の撮像素子であっても
よく、色フィルタの分光特性はＲ、Ｇ、Ｂに限るもので
はなく、また、色フィルタの配列も他の場合でもよく、
斜めに半画素ずらした２枚の撮像素子により得たデータ
より撮像素子の画素数の信号を復元してＲＧＢの色信号
を再生でき、この画素ずらしによる２枚分の復元した信
号より上述図１による方法で水平垂直方向各２倍の解像
度の信号を得られるのであれば、上記と同様の効果を奏
する。

【００７０】例えば、図１４に示すように、画素位置
（２ｉ，２ｊ）と画素位置（２ｉ＋１、２ｊ＋１）（ｉ
＝０、１、２、…、ｊ＝０、１、２、…）に第１の色信
号Ａを通過させる分光特性を持った第１の色フィルタ
を、画素位置（２ｉ、２ｊ＋１）に第２の色信号Ｂを通
過させる分光特性を持った第２の色フィルタを、画素位
置（２ｉ＋１、２ｊ）に第３の色信号Ｃを通過させる分
光特性を持った第３の色フィルタを配列し、色復元手段
５、６において撮像素子の画素数分の各色信号Ａ、Ｂ、
Ｃを復元した後ＲＧＢの色信号を再生できればよい。ま
た、図１５に示されるように、画素位置（２ｉ，２ｊ＋
１）と画素位置（２ｉ＋１、２ｊ）（ｉ＝０、１、２、
…、ｊ＝０、１、２、…）に第１の色フィルタを、画素
位置（２ｉ、２ｊ）に第２の色フィルタを、画素位置
（２ｉ＋１、２ｊ＋１）に第３の色フィルタを配列した
場合（図１５中の斜線部分）でも同様の効果を奏する。

【００７１】また、上記実施の形態１では、撮像素子１
における画素ずらしによる２枚の撮像素子の配置を図２
に示すように配置して説明しているが、斜め方向に半画
素ずらすのであれば図１６のような配置であっても上記
実施の形態１により高解像度の画像を得られ、同様の効
果を奏する。

【００７２】なお、上記実施の形態１では、ハードウェ
アにより図１、図４の構成の処理を行う場合について説
明しているが、撮像装置におけるソフトウェアにより同
様の処理を行うことができることは言うまでもなく、上
記実施の形態１と同様の効果を奏する。

【００７３】実施の形態２．実施の形態１の図４で示し
た色復元手段５または６において、第１のエッジ判定手
段２１においてＧ信号における画素位置（２ｉ、２ｊ＋
１）および（２ｉ＋１、２ｊ）での上下左右でのエッジ
成分を判定し、第２のエッジ判定手段２４においては、
Ｒ信号の復元に対してＧ信号における画素位置（２ｉ＋
１、２ｊ）でのエッジ成分を、Ｂ信号の復元に対してＧ
信号における画素位置（２ｉ、２ｊ＋１）でのエッジ成
分を判定するよう構成したが、どちらも画素位置（２
ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）での左右および上
下の画素のエッジ成分を検出しており、これらの画素位
置での上下左右の画素信号は撮像素子より得られた信号
であるため、同一のエッジ成分を求めることとなる。よ
って、図１７に示すように、色復元手段５または６の構
成を、１つのＧ成分エッジ判定手段によりＧ信号におけ
る画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２
ｊ）でのエッジ成分を判定するような構成とすることも
できる。

【００７４】図１７において、２０、２２〜２３および
２５は上記実施の形態１での撮像装置における色復元手
段５および６におけるものと同一のものであり、４１は
Ｇ成分エッジ判定手段である。

【００７５】次に動作を説明する。フレームメモリ３ま
たは４からの信号を分離手段２０により各Ｒ、Ｇ、Ｂ信
号に分離し、Ｇ成分復元手段２２、第１のＲＢ復元手段
２３および第２のＲＢ復元手段２５で撮像素子の画素数
の各信号を生成し復元する動作は上記実施の形態１と同
一であるのでその詳細な説明は省略する。

【００７６】Ｇ成分エッジ判定手段４１には分離手段２
０におけるＧ信号が入力され、画素位置（２ｉ、２ｊ＋
１）、（２ｉ＋１、２ｊ）（図３中のＲおよびＢで示す
画素位置）での左右および上下の画素の差分つまりエッ
ジ成分を検出する。つまり、上記画素位置での左右の画
素の差の絶対値ΔＨ２、上下の画素の差の絶対値ΔＶ２
を算出する。例えば、画素位置（２ｉ、２ｊ＋１）にお
いては、 ΔＨ２＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜ ΔＶ２＝｜Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、
２ｊ＋１）｜ として算出する。

【００７７】そして、上記水平方向でのエッジ成分ΔＨ
２および垂直方向エッジ成分ΔＶ２により、水平垂直方
向での周辺画素での信号レベルの変化を判定し、入力さ
れるＧ信号の各画素位置に応じて、その判定結果を示す
信号ｅｄ１をＧ成分復元手段２２へ、ｅｄｒ、ｅｄｂを
第２のＲＢ成分復元手段２５へと出力する。各判定信号
は、ΔＨ２とΔＶ２の両方が予め定めた値以下の場合
は、周辺画素での信号レベルの変化がないと判定する。
一方、ΔＨ２またはΔＶ２が予め定めた値より大きい場
合は、その画素においてエッジ成分があると判定し、さ
らに、ΔＨ２＞ΔＶ２の場合は垂直方向に相関が高いと
判定し、ΔＨ２≦ΔＶ２の場合は水平方向に相関が高い
と判定する。ここで、Ｇ成分復元手段２２においては、
画素位置（２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ）での
画素を復元するため、両画素位置において上記エッジ判
定結果ｅｄ１を出力することになる。

【００７８】一方、第２のＲＢ成分復元手段２５におい
ては、Ｒ信号の画素位置（２ｉ＋１，２ｊ）の復元を行
い、Ｂ信号の画素位置（２ｉ、２ｊ＋１）の復元を行
う。よって、画素位置（２ｉ＋１、２ｊ）において上記
エッジ成分を判定した結果をｅｄｒとして、第２のＲＢ
成分復元手段２５におけるＲ信号での処理画素位置にタ
イミングを合わせて出力する。また、画素位置（２ｉ、
２ｊ＋１）において上記エッジ成分を判定した結果をｅ
ｄｂとして、第２のＲＢ成分復元手段２５におけるＢ信
号での処理画素位置にタイミングを合わせて出力する。

【００７９】よって、Ｇ成分エッジ判定手段４１におい
て、上記Ｇ成分復元手段２２および第２のＲＢ成分復元
手段２５におけるＧ、Ｒ、Ｂ信号を復元する画素位置に
対応するＧ信号でのエッジ成分の判定結果を出力される
こととなる。

【００８０】なお、上記実施の形態２では、画素位置
（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）にＧ信号が、
画素位置（２ｉ、２ｊ＋１）にＲ信号が、画素位置（２
ｉ＋１、２ｊ＋１）にＢ信号が撮像素子より得られる場
合について説明したが、上記実施の形態１同様、画素位
置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）にＧ信号
が、画素位置（２ｉ、２ｊ）にＲ信号が、画素位置（２
ｉ＋１、２ｊ＋１）にＢ信号が配列されていてもよく、
また、色信号はＲＧＢに限ることはない。

【００８１】また、上記実施の形態１と同様、実施の形
態２においても、図１７の構成の処理を撮像装置におけ
るソフトウェアにより同様の処理を行うことができるこ
とは言うまでもなく、上記実施の形態２と同様の効果を
奏する。

【００８２】

【発明の効果】以上のように、この発明による撮像装置
によれば、斜め方向に半画素ずらして配置された２枚の
撮像素子を備えた撮像装置において、第１および第２の
撮像素子により読み出された色信号より各撮像素子に対
して撮像素子の画素数分の解像度の色信号を復元生成す
る色信号復元手段と、前記色信号復元手段からの出力で
ある上記第１および第２の撮像素子からの信号より復元
された各信号により各撮像素子の画素数の水平垂直方向
各２倍の解像度の信号の画素を得る手段と、前記得られ
た水平垂直方向各２倍の解像度の信号での所定画素位置
における周辺画素のエッジ成分を判定する第１のエッジ
判定手段を備えるとともに、前記第１のエッジ判定手段
からの信号に基づき、水平垂直方向各２倍の解像度の色
信号での所定画素位置の信号を算出する手段を有するこ
とにより、偽色、偽輪郭の軽減された水平垂直方向各２
倍の解像度の高解像度画像を得ることができ、かつ、水
平、垂直方向における解像度を向上することができる。

【００８３】また、この発明による撮像装置によれば、
前記第１のエッジ判定手段が、所定の色信号での所定画
素における左右の隣接画素の差の絶対値を算出して水平
方向のエッジ成分を検出する手段と、上下の画素の差の
絶対値を算出して垂直方向のエッジ成分を検出する手段
と、前記水平方向のエッジ成分を検出する手段と垂直方
向エッジ成分を検出する手段からの出力に基づき、前記
所定画素における水平または垂直方向のエッジ成分を判
定することにより、偽色、偽輪郭の軽減された水平垂直
方向各２倍の解像度の高解像度画像を得ることができ、
かつ、水平、垂直方向における解像度を向上することが
できる。

【００８４】また、この発明による撮像装置よれば、前
記第１のエッジ判定手段におけるエッジ成分の判定が、
上記水平方向のエッジ成分を検出する手段からの出力ま
たは上記垂直方向のエッジ成分を検出する手段からの出
力が予め定めた値より大きい場合は、上記所定画素の周
辺画素にエッジ成分を検出したとし、さらに、水平方向
のエッジ成分を検出する手段からの出力が上記垂直方向
のエッジ成分を検出する手段の出力より大きい場合は垂
直方向により相関があり、水平方向エッジ成分を検出す
る手段の出力が上記垂直方向エッジ成分を検出する手段
出力より小さい場合は水平方向により相関があると判定
するとともに、上記水平方向エッジ成分を検出する手段
および垂直方向エッジ成分を検出する手段の出力がとも
に予め定めた値より小さい場合にはエッジ成分を検出し
ないと判定することにより、偽色、偽輪郭の軽減された
水平垂直方向各２倍の解像度の高解像度画像を得ること
ができ、かつ、水平、垂直方向における解像度を向上す
ることができる。

【００８５】また、この発明による撮像装置よれば、上
記水平垂直方向各２倍の解像度の信号での所定画素位置
の信号を算出する手段が、所定画素位置における色信号
それぞれに対し、上下の画素の平均値より信号を算出す
る垂直方向算出手段と、左右の画素の平均値より信号を
算出する水平方向算出手段と、上下左右の隣接画素の平
均値より信号を算出する平均値算出手段とを備え、上記
第１のエッジ判定手段の出力に基づき、上記水平方向算
出手段の出力または垂直方向算出手段出力、または平均
値算出手段からの出力より選択し、上記所定画素での信
号を得て、撮像素子における画素数の水平垂直方向各２
倍の解像度の各色信号を得ることにより、偽色、偽輪郭
の軽減された水平垂直方向各２倍の解像度の高解像度画
像を得ることができ、かつ、水平、垂直方向における解
像度を向上することができる。

【００８６】また、この発明による撮像装置によれば、
上記水平垂直方向各２倍の解像度の信号での所定画素位
置の信号を算出する手段が、所定画素位置において上記
第１のエッジ判定手段の出力がエッジ成分を検出しない
と判定した場合は上記平均値算出手段の出力を選択し、
垂直方向に相関があると判定した場合は上記垂直方向算
出手段の出力を選択し、水平方向に相関があると判定し
た場合は上記水平方向算出手段の出力を選択することに
より、偽色、偽輪郭の軽減された水平垂直方向各２倍の
解像度の高解像度画像を得ることができ、かつ、水平、
垂直方向における解像度を向上することができる。

【００８７】また、この発明による撮像装置によれば、
上記斜め方向に半画素ずらして配置された２枚の撮像素
子それぞれにおいて、各撮像素子が、垂直２行水平２列
の上下４画素において、第１の色信号に対する分光感度
特性を持つ第１の色フィルタと第２の色信号に対する分
光感度特性を持つ第２の色フィルタとが垂直１行目に配
列され、垂直２行目には上記垂直１行目の第１の色フィ
ルタが配列された画素位置と同一の列に第３の色信号に
対する分光感度特性を持つ第３の色フィルタが配列さ
れ、第２の色フィルタと同一の列に第１の色信号に対す
る分光感度特性を持つ第１の色フィルタが配列されてお
り、上記上下４画素の色フィルタが順次垂直および水平
方向に繰り返し配列された撮像素子であり、各撮像素子
からの色信号に対して撮像素子の画素数分の解像度の色
信号を復元生成する上記色信号復元手段が、上記第１の
色フィルタによる第１の色信号の所定画素位置での周辺
画素信号に基づき、所定画素位置におけるエッジ成分を
判定する第２のエッジ判定手段と、前記第２のエッジ判
定手段の出力に基づき、上記第１、第２、第３の色フィ
ルタにより読み出された第１、第２および第３の色信号
により第１の色信号における上記所定位置での信号を算
出する第１の算出手段と、上記第２のエッジ判定手段の
出力に基づき、上記第１の算出手段の出力と色フィルタ
からの第２および第３の色信号により第２および第３の
色信号を算出する第２の算出手段とを備え、上記撮像素
子における画素数の第１、第２、第３の色信号を得ると
ともに、上記第１のエッジ判定手段が、上記水平垂直方
向各２倍の解像度の信号の画素を得る手段からの出力で
ある第１の色信号に対し、所定画素位置における周辺画
素のエッジ成分を判定することにより、偽色、偽輪郭の
軽減された水平垂直方向各２倍の解像度の高解像度画像
を得ることができ、かつ、水平、垂直方向における解像
度を向上することができる。

【００８８】また、この発明による撮像装置によれば、
上記色復元手段における第２のエッジ判定手段が、第１
の色信号の所定画素位置における左右の隣接画素の差の
絶対値を算出して水平方向のエッジ成分を検出する水平
方向エッジ検出手段と、第１の色信号の所定画素位置に
おける上下の画素の差の絶対値を算出して垂直方向のエ
ッジ成分を検出する垂直方向エッジ検出手段と、前記水
平方向エッジ検出手段と垂直方向エッジ検出手段からの
出力に基づき、前記所定画素における水平または垂直方
向のエッジ成分を判定する判定手段を備えるとともに、
前記判定手段が、上記水平方向エッジ検出手段からの出
力または上記垂直方向エッジ検出手段からの出力が予め
定めた値より大きい場合は、上記所定画素の周辺画素に
エッジ成分を検出したとし、さらに、水平方向エッジ検
出手段からの出力が上記垂直方向エッジ検出手段の出力
より大きい場合は垂直方向により相関があり、水平方向
エッジ検出手段からの出力が上記垂直方向エッジ検出手
段の出力より小さい場合は水平方向により相関があると
判定するとともに、上記水平方向エッジ検出手段および
垂直方向エッジ検出手段からの出力がともに予め定めた
値より小さい場合にはエッジ成分を検出しないと判定す
ることにより、偽色、偽輪郭の軽減された水平垂直方向
各２倍の解像度の高解像度画像を得ることができ、か
つ、水平、垂直方向における解像度を向上することがで
きる。

【００８９】また、この発明による撮像装置よれば、上
記色復元手段における第１の色信号での所定位置に対す
る信号を算出する第１の算出手段が、第２の色信号Ｂの
ある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第
１の色信号Ａ、第２の色信号Ｂのそれぞれに対し水平方
向のローパスフィルタを介した値Ａｈｌｐｆ（ｌ、
ｍ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ロ
ーパスフィルタからの出力信号であるＡｈｌｐｆ（ｌ、
ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画
素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａに
おける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、
ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、
ｍ）｝により算出し、第３の色信号Ｃのある他の画素位
置においても同様に第１の色信号Ａにおける画素値を算
出する水平方向信号算出手段と、上記所定画素ｌ行ｍ列
Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の
色信号Ｂのそれぞれに対し垂直方向のローパスフィルタ
を介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、
ｍ）を算出し、前記垂直方向ローパスフィルタからの出
力信号であるＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐｆ（ｌ、
ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）によ
り、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、
ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ
（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第
３の色信号Ｃのある他の画素位置においても同様に第１
の色信号Ａにおける画素値を算出する垂直方向信号算出
手段と、第１の色信号Ａにおける上記所定画素ｌ行ｍ列
の位置での上下左右の隣接画素の平均値よりｌ行ｍ列の
第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算出する
平均値算出手段とを備え、上記第２のエッジ判定手段の
出力に基づき、上記水平方向信号算出手段の出力または
垂直方向信号算出手段出力、または、平均値算出手段か
らの出力より選択し、上記所定画素ｌ行ｍ列における第
１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子に
おける画素数の第１の色信号を得ることにより、偽色、
偽輪郭の軽減された水平垂直方向各２倍の解像度の高解
像度画像を得ることができ、かつ、水平、垂直方向にお
ける解像度を向上することができる。

【００９０】また、この発明による撮像装置によれば、
前記色復元手段における第１の算出手段が、上記第２の
エッジ判定手段の出力が所定画素ｌ行ｍ列の位置におい
てエッジ成分を検出しないと判定した場合は上記平均値
算出手段の出力を選択し、垂直方向に相関があると判定
した場合は上記垂直方向信号算出手段の出力を選択し、
水平方向に相関があると判定した場合は上記水平方向信
号算出手段の出力を選択し、撮像素子における画素数の
第１の色信号を得ることにより、偽色、偽輪郭の軽減さ
れた水平垂直方向各２倍の解像度の高解像度画像を得る
ことができ、かつ、水平、垂直方向における解像度を向
上することができる。

【００９１】また、この発明による撮像装置よれば、上
記色復元手段における第２の算出手段が、所定画素ｌ行
ｍ列の位置において、上記第１の算出手段からの出力Ａ
に対し水平方向のローパスフィルタを介した値Ａ１ｈｌ
ｐｆ（ｌ、ｍ）と垂直方向ローパスフィルタを介した値
Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対
し水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ
（ｌ、ｍ）と第３の色信号Ｃに対して垂直方向のローパ
スフィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（また
は、第２の色信号Ｂに対して垂直方向のローパスフィル
タを介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃ
に対して水平方向のローパスフィルタを介した値Ｃ１ｈ
ｌｐｆ（ｌ、ｍ））とを算出し、Ａ１ｈｌｐｆ（ｌ、
ｍ）とＢ１ｈｌｐｆ（ｌ、ｍ）との比（またはＣ１ｈｌ
ｐｆ（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）と
Ｃ１ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ
（ｌ、ｍ）との比）と、上記第１の算出手段からの出力
Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）か
ら、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおけ
る画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）
＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌ
ｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ
１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝（ま
たは、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｖｌｐｆ
（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）
＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌ
ｐｆ（ｌ、ｍ）｝）により算出する信号算出手段を備え
るとともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ
行ｙ列の位置において、上記第１の算出手段からの出力
Ａに対し水平方向のローパスフィルタを介した値Ａ２ｈ
ｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第
２の色信号Ｂに対し水平方向のローパスフィルタを介し
た値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｈｌｐｆ
（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と上記第１の
算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ
（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信
号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ
２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、ｙｙ）｝に
より算出し、第３の色信号Ｃにおいても同様にＣ信号を
算出する水平方向信号算出手段と、上記第１の算出手段
からの出力Ａに対し垂直方向のローパスフィルタを介し
た値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手段からの
出力での第２の色信号Ｂに対し垂直方向のローパスフィ
ルタを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出し、Ａ２
ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）の比と上
記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画
素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２
の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）
×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）／Ａ２ｖｌｐｆ（ｘ、
ｙ）｝により算出し、第３の色信号Ｃにおいても同様に
Ｃ信号を算出する垂直方向信号算出手段と、上記信号算
出手段からの出力における第２、第３の色信号での所定
画素ｘ行ｙ列の位置において、斜めに隣接する画素の平
均値を算出する平均値算出手段とを備え、上記第２のエ
ッジ判定手段の出力に基づき、前記水平方向信号算出手
段、垂直方向信号算出手段、平均値算出手段からのそれ
ぞれの出力から選択して、上記所定画素ｘ行ｙ列での第
２、第３の色信号を得て、撮像素子における画素数の第
２、第３の色信号を得ることにより、偽色、偽輪郭の軽
減された水平垂直方向各２倍の解像度の高解像度画像を
得ることができ、かつ、水平、垂直方向における解像度
を向上することができる。

【００９２】さらに、この発明による撮像装置よれば、
上記色復元手段における第２の算出手段が、上記第２の
エッジ判定手段の出力が所定画素ｘ行ｙ列の位置におい
てエッジ成分を検出しないと判定した場合は上記平均値
算出手段の出力を選択し、垂直方向に相関があると判定
した場合は上記垂直方向信号算出手段の出力を選択し、
水平方向に相関があると判定した場合は上記水平方向信
号算出手段の出力を選択し、撮像素子における画素数の
第２、第３の色信号を得ることにより、偽色、偽輪郭の
軽減された水平垂直方向各２倍の解像度の高解像度画像
を得ることができ、かつ、水平、垂直方向における解像
度を向上することができる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による撮像装置の構
成の一例を示すブロック図である。

【図２】 この発明の実施の形態１による斜め方向に半
画素ずらした２枚の撮像素子の配置の一例を示す図であ
る。

【図３】 この発明の実施の形態１による各撮像素子の
色フィルタの配列の一例を示す図である。

【図４】 この発明の実施の形態１による撮像装置にお
ける色復元手段の構成の一例を示すブロック図である。

【図５】 この発明の実施の形態１による撮像装置にお
ける色復元手段における第１のエッジ判定手段とＧ成分
復元の動作を説明するためのフローチャートである。

【図６】 この発明の実施の形態１による撮像装置にお
ける色復元手段におけるＲ、Ｂ成分復元の動作を説明す
るためのフローチャートである。

【図７】 この発明の実施の形態１による撮像装置にお
けるＲ、Ｂ信号の復元の動作を説明するためのＲ信号お
よびＢ信号の画素を示す図である。

【図８】 この発明の実施の形態１による撮像装置にお
ける多重手段１２の動作を説明するための水平垂直方向
各２倍の解像度の信号の画素を示す図である。

【図９】 この発明の実施の形態１による撮像装置にお
ける多重手段１２における水平垂直方向各２倍の解像度
のＲ信号の画素を示す図である。

【図１０】 この発明の実施の形態１による撮像装置に
おける多重手段１２における水平垂直方向各２倍の解像
度のＧ信号の画素を示す図である。

【図１１】 この発明の実施の形態１による撮像装置に
おける多重手段１２における水平垂直方向各２倍の解像
度のＢ信号の画素を示す図である。

【図１２】 この発明の実施の形態１による撮像装置に
おける高解像度化の動作を説明するためのフローチャー
トを示す図である。

【図１３】 この発明の実施の形態１による撮像装置と
従来の装置により処理したシミュレーション画像での垂
直方向の解像度での偽色レベルを示す図である。

【図１４】 この発明の実施の形態１による撮像素子の
他の色フィルタ配列の例を示す図である。

【図１５】 この発明の実施の形態１による撮像素子の
他の色フィルタ配列の例を示す図である。

【図１６】 この発明の実施の形態１による斜め方向に
半画素ずらした２枚の撮像素子の配置の他の例を示す図
である。

【図１７】 この発明の実施の形態２による撮像装置に
おける色復元手段の構成の一例を示すブロック図であ
る。

【図１８】 従来の撮像装置における撮像素子の色フィ
ルタ配列の一例を示す図である。

【図１９】 従来の撮像装置の構成の一例を示すブロッ
ク図である。

【図２０】 従来の撮像装置における色復元手段の構成
の一例を示すブロック図である。

【図２１】 従来の撮像装置の高解像度化の動作を説明
するための各信号の画素を示す図である。

【図２２】 従来の撮像装置の高解像度化の方法を説明
するための各信号の画素を示す図である。

【図２３】 従来の撮像装置における色復元手段の他の
構成の例を示すブロック図である。

【符号の説明】

１ 撮像素子、２ Ａ／Ｄコンバータ、３、４ フレー
ムメモリ、５、６ 色復元手段、７ 多重手段、８ エ
ッジ判定手段、９ 平均値演算手段、１０ 水平方向演
算手段、１１ 垂直方向演算手段、１２ 選択手段、２
０ 分離手段、２１ 第１のエッジ判定手段、２２ Ｇ
成分復元手段、２３ 第１のＲＢ成分復元手段、２４
第２のエッジ判定手段、２５ 第２のＲＢ成分復元手
段。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 久野 徹也 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内

Claims (11)

【特許請求の範囲】
1. 【請求項１】 斜め方向に半画素ずらして配置された２
   枚の撮像素子を備えた撮像装置において、第１および第
   ２の撮像素子により読み出された色信号より各撮像素子
   に対して撮像素子の画素数分の解像度の色信号を復元生
   成する色信号復元手段と、前記色信号復元手段からの出
   力である上記第１および第２の撮像素子からの信号より
   復元された各信号により各撮像素子の画素数の水平垂直
   方向各２倍の解像度の信号の画素を得る手段と、前記得
   られた水平垂直方向各２倍の解像度の信号での所定画素
   位置における周辺画素のエッジ成分を判定する第１のエ
   ッジ判定手段を備えるとともに、前記第１のエッジ判定
   手段からの信号に基づき、水平垂直方向各２倍の解像度
   の信号での所定画素位置の信号を算出する手段を有する
   ことを特徴とする撮像装置。
2. 【請求項２】 前記第１のエッジ判定手段が、所定の信
   号での所定画素における左右の隣接画素の差の絶対値を
   算出して水平方向のエッジ成分を検出する手段と、上下
   の画素の差の絶対値を算出して垂直方向のエッジ成分を
   検出する手段と、前記水平方向のエッジ成分を検出する
   手段と垂直方向エッジ成分を検出する手段からの出力に
   基づき、前記所定画素における水平または垂直方向のエ
   ッジ成分を判定することを特徴とする請求項１記載の撮
   像装置。
3. 【請求項３】 前記第１のエッジ判定手段におけるエッ
   ジ成分の判定が、上記水平方向のエッジ成分を検出する
   手段からの出力または上記垂直方向のエッジ成分を検出
   する手段からの出力が予め定めた値より大きい場合は、
   上記所定画素の周辺画素にエッジ成分を検出したとし、
   さらに、水平方向のエッジ成分を検出する手段からの出
   力が上記垂直方向のエッジ成分を検出する手段の出力よ
   り大きい場合は垂直方向により相関があり、水平方向エ
   ッジ成分を検出する手段の出力が上記垂直方向エッジ成
   分を検出する手段出力より小さい場合は水平方向により
   相関があると判定するとともに、上記水平方向エッジ成
   分を検出する手段および垂直方向エッジ成分を検出する
   手段の出力がともに予め定めた値より小さい場合にはエ
   ッジ成分を検出しないと判定することを特徴とする請求
   項１または請求項２記載の撮像装置。
4. 【請求項４】 上記水平垂直方向各２倍の解像度の信号
   での所定画素位置の信号を算出する手段が、所定画素位
   置における信号それぞれに対し、上下の画素の平均値よ
   り信号を算出する垂直方向算出手段と、左右の画素の平
   均値より信号を算出する水平方向算出手段と、上下左右
   の隣接画素の平均値より信号を算出する平均値算出手段
   とを備え、上記第１のエッジ判定手段の出力に基づき、
   上記水平方向算出手段の出力または垂直方向算出手段出
   力、または、平均値算出手段からの出力より選択し、上
   記所定画素での信号を得て、撮像素子における画素数の
   水平垂直方向各２倍の解像度の各信号を得ることを特徴
   とする請求項１記載の撮像装置。
5. 【請求項５】 上記水平垂直方向各２倍の解像度の信号
   での所定画素位置の信号を算出する手段が、所定画素位
   置において上記第１のエッジ判定手段の出力がエッジ成
   分を検出しないと判定した場合は上記平均値算出手段の
   出力を選択し、垂直方向に相関があると判定した場合は
   上記垂直方向算出手段の出力を選択し、水平方向に相関
   があると判定した場合は上記水平方向算出手段の出力を
   選択することを特徴とする請求項１〜請求項４のいずれ
   かに記載の撮像装置。
6. 【請求項６】 上記斜め方向に半画素ずらして配置され
   た２枚の撮像素子それぞれにおいて、各撮像素子が、垂
   直２行水平２列の上下４画素において、第１の色信号に
   対する分光感度特性を持つ第１の色フィルタと第２の色
   信号に対する分光感度特性を持つ第２の色フィルタとが
   垂直１行目に配列され、垂直２行目には上記垂直１行目
   の第１の色フィルタが配列された画素位置と同一の列に
   第３の色信号に対する分光感度特性を持つ第３の色フィ
   ルタが配列され、第２の色フィルタと同一の列に第１の
   色信号に対する分光感度特性を持つ第１の色フィルタが
   配列されており、上記上下４画素の色フィルタが順次垂
   直および水平方向に繰り返し配列された撮像素子であ
   り、各撮像素子からの色信号に対して撮像素子の画素数
   分の解像度の色信号を復元生成する上記色信号復元手段
   が、上記第１の色フィルタによる第１の色信号の所定画
   素位置での周辺画素信号に基づき、所定画素位置におけ
   るエッジ成分を判定する第２のエッジ判定手段と、前記
   第２のエッジ判定手段の出力に基づき、上記第１、第
   ２、第３の色フィルタにより読み出された第１、第２お
   よび第３の色信号により第１の色信号における上記所定
   位置での信号を算出する第１の算出手段と、上記第２の
   エッジ判定手段の出力に基づき、上記第１の算出手段の
   出力と色フィルタからの第２および第３の色信号により
   第２および第３の色信号を算出する第２の算出手段とを
   備え、上記撮像素子における画素数の第１、第２、第３
   の色信号を得るとともに、上記第１のエッジ判定手段
   が、上記第１の色信号による上記水平垂直方向各２倍の
   解像度の信号の画素を得る手段から出力される信号に対
   し、所定画素位置における周辺画素のエッジ成分を判定
   することを特徴とする請求項１または請求項２記載の撮
   像装置。
7. 【請求項７】 上記色復元手段における第２のエッジ判
   定手段が、第１の色信号の所定画素位置における左右の
   隣接画素の差の絶対値を算出して水平方向のエッジ成分
   を検出する水平方向エッジ検出手段と、第１の色信号の
   所定画素位置における上下の画素の差の絶対値を算出し
   て垂直方向のエッジ成分を検出する垂直方向エッジ検出
   手段と、前記水平方向エッジ検出手段と垂直方向エッジ
   検出手段からの出力に基づき、前記所定画素における水
   平または垂直方向のエッジ成分を判定する判定手段を備
   えるとともに、前記判定手段が、上記水平方向エッジ検
   出手段からの出力または上記垂直方向エッジ検出手段か
   らの出力が予め定めた値より大きい場合は、上記所定画
   素の周辺画素にエッジ成分を検出したとし、さらに、水
   平方向エッジ検出手段からの出力が上記垂直方向エッジ
   検出手段の出力より大きい場合は垂直方向により相関が
   あり、水平方向エッジ検出手段からの出力が上記垂直方
   向エッジ検出手段の出力より小さい場合は水平方向によ
   り相関があると判定するとともに、上記水平方向エッジ
   検出手段および垂直方向エッジ検出手段からの出力がと
   もに予め定めた値より小さい場合にはエッジ成分を検出
   しないと判定することを特徴とする請求項１または請求
   項６記載の撮像装置。
8. 【請求項８】 上記色復元手段における第１の色信号で
   の所定位置に対する信号を算出する第１の算出手段が、
   第２の色信号Ｂのある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の
   位置において、第１の色信号Ａ、第２の色信号Ｂのそれ
   ぞれに対し水平方向のローパスフィルタを介した値Ａｈ
   ｌｐｆ（ｌ、ｍ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前
   記水平方向ローパスフィルタからの出力信号であるＡｈ
   ｌｐｆ（ｌ、ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記
   画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１
   の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、
   ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌ
   ｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある
   他の画素位置においても同様に第１の色信号Ａにおける
   画素値を算出する水平方向信号算出手段と、上記所定画
   素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号
   Ａ、第２の色信号Ｂのそれぞれに対し垂直方向のローパ
   スフィルタを介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐ
   ｆ（ｌ、ｍ）を算出し、前記垂直方向ローパスフィルタ
   からの出力信号であるＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐ
   ｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、
   ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値
   Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖ
   ｌｐｆ（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出
   し、第３の色信号Ｃのある他の画素位置においても同様
   に第１の色信号Ａにおける画素値を算出する垂直方向信
   号算出手段と、第１の色信号Ａにおける上記所定画素ｌ
   行ｍ列の位置での上下左右の隣接画素の平均値よりｌ行
   ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算
   出する平均値算出手段とを備え、上記第２のエッジ判定
   手段の出力に基づき、上記水平方向信号算出手段の出力
   または垂直方向信号算出手段出力、または、平均値算出
   手段からの出力より選択し、上記所定画素ｌ行ｍ列にお
   ける第１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像
   素子における画素数の第１の色信号を得ることを特徴と
   する請求項１、請求項６および請求項７のいずれかに記
   載の撮像装置。
9. 【請求項９】 前記色復元手段における第１の算出手段
   が、上記第２のエッジ判定手段の出力が所定画素ｌ行ｍ
   列の位置においてエッジ成分を検出しないと判定した場
   合は上記平均値算出手段の出力を選択し、垂直方向に相
   関があると判定した場合は上記垂直方向信号算出手段の
   出力を選択し、水平方向に相関があると判定した場合は
   上記水平方向信号算出手段の出力を選択し、撮像素子に
   おける画素数の第１の色信号を得ることを特徴とする請
   求項１、請求項６〜請求項８のいずれかに記載の撮像装
   置。
10. 【請求項１０】 上記色復元手段における第２の算出手
    段が、所定画素ｌ行ｍ列の位置において、上記第１の算
    出手段からの出力Ａに対し水平方向のローパスフィルタ
    を介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直方向ローパス
    フィルタを介した値Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、
    第２の色信号Ｂに対し水平方向のローパスフィルタを介
    した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対し
    垂直方向のローパスフィルタを介した値Ｃ１ｖｌｐｆ
    （ｌ、ｍ）（または、第２の色信号Ｂに対し垂直方向の
    ローパスフィルタを介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と
    第３の色信号Ｃに対し水平方向のローパスフィルタを介
    した値Ｃ１ｈｌｐｆ（ｌ、ｍ））とを算出し、Ａ１ｈｌ
    ｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、ｍ）との比（また
    はＣ１ｈｌｐｆ（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ
    （ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）との比（または、
    Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、上記第１の算出手
    段からの出力Ａにおける所定画素ｌ行ｍ列での画素値Ａ
    （ｌ、ｍ）から、ｌ行ｍ列の第２の色信号Ｂと第３の色
    信号Ｃにおける画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、
    Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、
    ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ
    （ｌ、ｍ）×｛Ｃ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ
    （ｌ、ｍ）｝（または、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×
    ｛Ｂ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、
    ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ
    （ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）により算出す
    る信号算出手段を備えるとともに、上記ｌ行ｍ列の位置
    とは異なる所定画素ｘ行ｙ列の位置において、上記第１
    の算出手段からの出力Ａに対し水平方向のローパスフィ
    ルタを介した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出
    手段からの出力での第２の色信号Ｂに対し水平方向のロ
    ーパスフィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算
    出し、Ａ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、
    ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ
    行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置
    における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝
    Ａ（ｘ、ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐ
    ｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいて
    も同様にＣ信号を算出する水平方向信号算出手段と、上
    記第１の算出手段からの出力Ａに対し垂直方向のローパ
    スフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信
    号算出手段からの出力での第２の色信号Ｂに対し垂直方
    向のローパスフィルタを介した値Ｂ２ｖｌｐｆ（ｘ、
    ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ
    （ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの
    画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列
    の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、
    ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）／Ａ２
    ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃに
    おいても同様にＣ信号を算出する垂直方向信号算出手段
    と、上記信号算出手段からの出力における第２、第３の
    色信号での所定画素ｘ行ｙ列の位置において、斜めに隣
    接する画素の平均値を算出する平均値算出手段とを備
    え、上記第２のエッジ判定手段の出力に基づき、前記水
    平方向信号算出手段、垂直方向信号算出手段、平均値算
    出手段からのそれぞれの出力から選択して、上記所定画
    素ｘ行ｙ列での第２、第３の色信号を得て、撮像素子に
    おける画素数の第２、第３の色信号を得ることを特徴と
    する請求項１、請求項６〜請求項８のいずれかに記載の
    撮像装置。
11. 【請求項１１】 上記色復元手段における第２の算出手
    段が、上記第２のエッジ判定手段の出力が所定画素ｘ行
    ｙ列の位置においてエッジ成分を検出しないと判定した
    場合は上記平均値算出手段の出力を選択し、垂直方向に
    相関があると判定した場合は上記垂直方向信号算出手段
    の出力を選択し、水平方向に相関があると判定した場合
    は上記水平方向信号算出手段の出力を選択し、撮像素子
    における画素数の第２、第３の色信号を得ることを特徴
    とする請求項１、請求項６〜請求項１０のいずれかに記
    載の撮像装置。