JP4607265B2 - 固体撮像装置および信号処理方法 - Google Patents

固体撮像装置および信号処理方法 Download PDF

Info

Publication number
JP4607265B2
JP4607265B2 JP00161399A JP161399A JP4607265B2 JP 4607265 B2 JP4607265 B2 JP 4607265B2 JP 00161399 A JP00161399 A JP 00161399A JP 161399 A JP161399 A JP 161399A JP 4607265 B2 JP4607265 B2 JP 4607265B2
Authority
JP
Japan
Prior art keywords
data
color
pixel data
pixel
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00161399A
Other languages
English (en)
Other versions
JP2000184386A (ja
JP2000184386A5 (ja
Inventor
勝 長田
岳志 三沢
正史 乾谷
健吉 林
悟 岡本
理 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP00161399A priority Critical patent/JP4607265B2/ja
Publication of JP2000184386A publication Critical patent/JP2000184386A/ja
Publication of JP2000184386A5 publication Critical patent/JP2000184386A5/ja
Application granted granted Critical
Publication of JP4607265B2 publication Critical patent/JP4607265B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Input (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、開口部を介して入射する光を撮像し、撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置および信号処理方法に関し、特に、被写体画像を取り込んで信号処理を行うディジタルスチルカメラや画像処理装置等に用いて好適なものである。
【０００２】
【従来の技術】
被写体を画像として取り込む画像入力装置として固体撮像装置が広く利用されている。固体撮像装置には、小型化、高解像度の画像等の要求が市場等から寄せられている。この要求を満足させるには、単板固体撮像素子を用いた固体撮像装置において、たとえば、正方格子型の撮像素子の数、すなわち画素数を単純に増加させる方法が当初から検討されてきている。この場合、光電変換を行う固体撮像素子（受光素子）は画素数の増加に伴って１個あたりの受光単位面積が小さくなるため感度低下が無視できなくなっている。このように画素数を増やす方法には得られる解像度に限界がある。
【０００３】
一方、この方法と別な観点から高解像度の画像を得る新たな方法がいくつか検討されている。固体撮像装置において画素の配設位置を互いにずらして受光させるように構成する例が提案されている。
【０００４】
まず第１の方式の提案は、画素ずらしおよび３板撮像素子を用いた構成である。この提案には、たとえば、島田等、「窓明きCCD による空間絵素ずらしカラーカメラ」、映像情報メディア学会（旧テレビジョン学会）のテレビジョン方式・回路研究会における資料TBS 36-2号, pp. 1-19, （1977）がある。この方式は、色フィルタを３枚用いた３板画素ずらしが基本方式である。この方式は、この画素ずらしにより解像度を向上させることを目的にしている。
【０００５】
第２の方式の提案は、画素ずらしおよび線順次の２板撮像素子を用いた構成である。この提案の例としては、たとえば、村田等、「線順次方式2CCDカラーカメラ」、映像情報メディア学会（旧テレビジョン学会）のテレビジョン学会技術報告TEBS 60-2 号, pp27-32,（1980）がある。この報告では、水平方向の解像度を向上させるためNTSC方式で緑(G) と線順次に配された赤(R)/青(B) の色フィルタを用いた２板式の撮像方式とカメラ構成および撮像特性について発表がされている（以下での三原色の表現は単にR,G,B で表す）。
【０００６】
次に第３の方式は、画素ずらしおよび画素ずらしを考慮した信号処理を駆使する方法である。この提案には、たとえば、特開平7-298275号公報のビデオカメラの信号処理回路等がある。特開平7-298275号公報のビデオカメラの信号処理回路は、アパーチャ信号の作成時に高域を制限せずに鮮鋭度の高い画質を得るため、ベイヤー単板方式により得られるＧ信号を用いて水平・垂直方向の高解像度化を図っている。
【０００７】
最後に第４の方式は、３板構成であり、かつＧ色を画素ずらしした２枚のCCD に供給している。この方式の例としては、森本等、「３- ＣＣＤデジタルスチルカメラ」、日本写真学会70周年記念高品質画像シンポジウム、ミノルタRD175, pp.73-76 という学会発表資料がある。このディジタルカメラは、３板方式においてＧ色を互いの画素位置の関係が画素ずらしされた２枚のCCD に割り振って得られた信号に信号処理を施して高解像度化を図っている。
【０００８】
この高解像度化とは異なるが、画素ずらしされた撮像素子から得られる信号を他の装置に供給してこの装置に不具合なく正しい画像を表示させる提案が特開平8-340455号公報にある。特開平8-340455号公報に記載された画像処理装置は、非格子状の画素配列の撮像素子を用いて得られた画像データをコンピュータに対応した画像データに信号処理することを目的としている。
【０００９】
また、固体撮像装置が有する固体撮像素子が従来と異なる形状の画素で形成された素子が提案されている。このような素子としては、たとえば、米国特許第4441123 号公報があり、各画素により画像が形成されるように行列配列したフィルタ位置に対応して六角形の形状をした同じサイズの画素を配して画像に生じるモアレを消去している。さらに、たとえば、特開平6-77450 号公報には、画素の通常の形状と異なり、かつ画素ずらしも行った固体撮像素子が提案されている。この固体撮像素子は、画素の各辺を垂直方向に対し略々45°の角度にすることによって菱形状にして画素をずらし、全画素読出し方式を行う場合、垂直解像度を高めている。
【００１０】
この他、画素ずらしを行う方式は、原色フィルタに限定されるものでなく、補色フィルタを用いても行われている。たとえば、特開昭58-31688号公報では、MOS （Metal-Oxide Semiconductor ）型画素ずらし方式による固体カラー撮像装置が提案されている。
【００１１】
【発明が解決しようとする課題】
ところで、前述した各方式や提案等について順にそれぞれ検討すると、第１の方式は、画素ずらしによって高解像度を実現できるが、信号処理はムービ方式の水平解像度重視型を用いている。この方式では、CCD 撮像素子を３枚用いるため画素ずらしの精度を向上させる必要性が生じる。このためにカラーカメラは組立て工程等が上述した要求に合わせて増加する。この結果、カラーカメラの光学系のコストがアップしてしまう。
【００１２】
第２の方式は、第１の方式と同様に解像度の向上を達成しているが、垂直方向の解像度を犠牲にしている。この方式の提案例には、ムービ（インターライン転送）方式の垂直解像度が走査線数で制限される特徴がある。したがって、この方式は、全画素読出しを前提とする装置、たとえば、ディジタルカメラ等には適用できない。また、この例では２板に対応する色の関係が互いに補色関係になるので、カラーカメラは色再現性において劣ってしまう。この方式も複数の板（すなわち、２板）を用いているので、第１の方式と同様に画素ずらしの精度向上が問題となる。
【００１３】
第３の方式は、水平・垂直の両方向に対して高解像度を達成している。しかしながら、この方式は、この両方向に対する相関値検出を行って補間処理を行っているため、相関値の精度を高める際に信号処理回路にかかる負荷が大きく負担になってしまう。この方式は、負担の増加に対する精度向上に限界が存在する。
【００１４】
第４の方式は、単板の固体撮像素子に比べて３板を用いていることから構成の簡略化が難しく、画素ずれに対応した配置を行う際の配置精度の向上に伴う製造工程の繁雑化からも免れられない。
【００１５】
また、特開平8-340455号公報の画像信号処理装置は、信号処理により高解像度化を目指している点で第３の方式の画素ずらし配置および画素ずらしを考慮した信号処理と同じ範疇に含まれる。ここでの画素ずらし配置はΔ配列を用いていることから、２次元視認解像度限界を大きくできることが知られている。しかしながら、画素数の増加を抑えつつ画素ずらしを行ってより一層の解像度の向上を図った結果、画像信号処理装置は、一枚の画像を記録媒体に記録する際、記録容量が画素数の増加に伴って増加するので、記録媒体への記録枚数を低下させてしまう。
【００１６】
さらに、米国特許第4441123 号公報や特開平6-77450 号公報に記載された固体撮像装置では、高解像度化に伴って画素数を増加させても、前述した受光面積の減少によって使用する受光素子の感度が低下してしまう。さらに、単位画素のピッチもレンズの色収差や光学的な回折現象等が悪影響を及ぼす縮小限界に近づいてきている。
【００１７】
最後に、特開昭58-31688号公報に記載された補色方式による固体カラー撮像装置では、隣接する３つの受光素子の和がほぼ輝度信号に対応するように配置されている。この提案は、入射光の利用効率を上げて受光素子の感度を向上させることを目的にしている。しかしながら、用いている方式が補色であることから色再現性および解像度の向上という観点でみると、この固体カラー撮像装置ではこれらの観点の項目をそれほど向上させることが期待できない。
【００１８】
本発明はこのような従来技術の欠点を解消し、画素数の増加を抑えながら、より高解像度の画像を容易に得ることのできる固体撮像装置および信号処理方法を提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明は上述の課題を解決するために、開口部を介して入射する光を撮像し、撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置であって、この装置に開口部を介して入射する光を光電変換する受光素子に隣接した受光素子が垂直方向および／または水平方向にずらされて２次元配置された受光部と、この受光部の前面に形成された開口部を迂回するように配置され、かつ受光素子からの信号を取り出す電極と、この電極を介して供給される信号を受光部の垂直または水平方向に順番に転送する各方向に対応した転送レジスタとを有する撮像手段と、受光素子の各開口部上に配される異なる分光感度特性を有する複数の色フィルタと、撮像手段から供給される信号をディジタルデータに変換するディジタル変換手段と、このディジタル変換手段からの出力を記録再生する記録再生手段とを備え、さらに、ディジタル変換されたディジタルデータの面データにおいて受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子とし、隣接する受光素子からのデータを基に正確な色再現重視、および水平方向および／または垂直方向の解像度の重視と各項目に応じた信号処理をそれぞれ施す信号処理手段を有することを特徴とする。
【００２０】
ここで、開口部は、開口形状を正方格子あるいは多角形にするとともに、それぞれ、開口部に対応して配置される受光素子の間隔を画素ピッチとするとき、開口部が一列ごとに垂直方向にあるいは一行ごとに水平方向に画素ピッチ分だけ移動させて２次元配置されているか、あるいは正方格子を45°回転させた開口形状あるいは多角形の開口形状の開口部が２次元配置されているとよい。これにより、２次元平面内において開口部を有効に配置することができる。
【００２１】
色フィルタには、三原色をR,G,B で表すと、受光素子のずらし配置に対応して三原色R,G,B の原色フィルタを用いてずれを有するG 正方格子とこのG 正方格子に対してピッチの半分の距離だけずらしたRB完全市松パターンが形成されることが望ましい。
【００２２】
信号処理手段は、受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子とし、隣接する受光素子からのデータを基に正確な色再現重視、ならびに水平方向および／または垂直方向の解像度の重視と各項目に応じて演算処理が施される演算処理手段と、この演算処理手段から出力される色再現が考慮された成分信号と解像度を重視した成分信号が擬似周波数的に加算される擬似加算手段と、この演算処理手段で水平方向および垂直方向の解像度が重視された各信号に共通した周波数帯が含まれている場合、共通した周波数帯の重複を防止する重複防止手段とを備えることが望ましい。これにより、各信号を項目に対応してその信号品質を向上させるとともに、周波数領域の重複による、たとえば、モアレ等の発生を避けることができ、信号における成分を一層高い品質にすることができる。
【００２３】
また、擬似加算手段は、演算処理手段から供給される解像度が重視される周波数帯までの第１の成分信号を一端側に減算入力させ他端側に第１の成分信号の周波数帯よりも低域の色再現を考慮した第２の成分信号を加算入力させる第１の加算手段と、この第１の加算手段の出力と第１の成分信号にそれぞれ生じる折り返し歪みを防ぐ処理を施すフィルタリング手段と、このフィルタリング手段からの各出力が加算入力される第２の加算手段とを有することが望ましい。
【００２４】
重複防止手段は、擬似加算手段から出力される信号のうち、一方の信号の共通した周波数帯に対して帯域制限を施すフィルタ手段と、このフィルタ手段からの出力と共通した周波数帯を含む他方の信号とを加算する加算処理手段とを備えていることが好ましい。
【００２５】
この他にプレーン補間による信号処理において、信号処理手段は、三原色R,G,B の各色に着目し仮想受光素子の位置の色データも含めた面データとして色再現を考慮して３つの成分信号にそれぞれ補間展開させるプレーン補間展開手段と、このプレーン補間展開手段から得られる３つの成分信号を基に色差信号および輝度信号を生成する色差マトリクス手段と、プレーン補間展開手段に供給される前のデータから解像度を重視した成分信号を輪郭強調させる信号として生成する輪郭信号発生手段と、この輪郭信号発生手段の出力と色差マトリクスからの輝度信号をそれぞれ加算入力する輪郭強調手段とを有するようにしてもよい。実際に受光素子のない仮想受光素子の位置での色データが補間され、空間的な画素データの数を飛躍的に増加させられるので、この画素データを用いることにより、解像度を上げることができる。さらに、輪郭強調することにより、より一層高い解像度の画像として提供することができる。
【００２６】
輪郭信号発生手段は、G 色だけのデータから相関検出補間を行って解像度を重視した成分信号を輪郭強調する信号として生成させてもよい。
【００２７】
また、固体撮像装置は、記録再生手段に対して、互いに一定間隔毎にずらした配置の開口部直下に位置する受光素子から得られる画素データを正方格子状の面データと同等にみなせる配置に書込み／読出し制御を行う書込み／読出し制御手段と、記録再生手段から供給される面データを基に信号処理手段で演算処理して得られる成分信号を擬似周波数的に加算させ、さらに周波数帯域が共通する成分信号がある場合には、周波数帯域の重複を防止して信号を広帯域化させて得られた画素位置の信号を基に前記仮想受光素子の位置のデータ補間展開を行うデータ補間展開手段とを有するようにしてもよい。
【００２８】
さらに、固体撮像装置は、開口部がハニカム配置された各開口部直下に受光素子が画素として設けられている複数の受光部と、この受光部に同一被写体からの入射光を分光させる分光手段とを備え、受光部の直前にそれぞれ開口部と対応させて一列ごとに垂直方向にあるいは一行ごとに水平方向に画素を画素ピッチ分だけの移動させるかあるいは正方格子を45°回転させた配置の色フィルタを組み合わせて固着させる固着させるようにしてもよい。
【００２９】
受光部が２つの場合、色フィルタの組み合わせた結果、G 正方格子とこのG 正方格子に対してピッチの半分の距離だけずらしたRB完全市松パターン、ベイヤパターン、あるいは一行毎にG の色フィルタ位置にB あるいはR の色フィルタが重複するパターンを形成することが好ましい。
【００３０】
また、受光部が３つの場合、ハニカム配置パターンの第１の色フィルタと、ハニカム配置から画素ピッチ分ずらされた配置パターンで、かつ第１の色フィルタの色と同色の第２の色フィルタと、この第２の色フィルタの配置パターンで、かつ第２の色フィルタの色と異なる色の第３の色フィルタとを備え、第２の色フィルタと第３の色フィルタを組み合わせて固着させてもよい。
【００３１】
そして、ハニカム配置の互いに異なる３つの色フィルタの一の色フィルタに対して残りの２つの色フィルタをともに画素ピッチ分だけずらして重複した空間配置の色フィルタを形成するようにしてもよい。
【００３２】
さらに、受光部が４つの場合、ハニカム配置のパターンの第１の色フィルタと、この第１の色 フィルタと画素ピッチ分だけずらして相補的な配置パターンにした第１の色フィルタに同色の第２の色フィルタとを組み合わせて得られる正方格子状の配置パターンと、第１の色フィルタと異なる色のハニカム配置のパターンの第３の色フィルタと、この第３の色フィルタと画素ピッチ分だけずらして相補的な配置パターンにし、かつ第１および第３の色フィルタの色と異なる色の第４の色フィルタとを組み合わせて得られる正方格子状の配置パターンを形成させるようにしてもよい。
【００３３】
そして、固体撮像装置は、開口部がハニカム配置された受光部と、この受光部を２次元平面内で縦横に移動させる移動手段と、この移動手段による移動完了毎に受光部で受光した被写体の画像情報を記録再生する記録再生手段と、受光部と被写体の間に配設される複数の色フィルタの中から選択された色フィルタに切り換える色フィルタ切換手段とを備え、この色フィルタ切換手段は移動手段の移動中に色フィルタを切り換え、記録再生手段は受光部が受光した画像情報を色フィルタの切換え毎に記録し、記録された画像情報を用いて面順次的に被写体の画像を生成することが望ましい。
【００３４】
前述したようにハニカム配置の一構成として、固体撮像装置は、被写界像を撮像面に投影させる光学系と、この光学系を経た入射光を３つの原色がそれぞれの配列された単板による色フィルタ手段と、この色フィルタ手段の直下に配された光電変換を行う受光素子と、この受光素子からの撮像信号に基づいて受光素子の空隙位置に対応する画素データを補間する信号処理を施すとともに、補間された画素データを含む画素データから輝度データおよび色データを生成するデータ処理手段とを含み、色フィルタ手段の各色フィルタと前記受光素子とを対応させるとともに、受光素子の幾何学的な撮像面形状の中心同士の間隔をピッチとする際に受光素子が相互に行方向および列方向にそれぞれピッチの半分ずらした位置関係に配置される固体撮像装置において、データ処理手段は、G 正方格子とこのG 正方格子に対してピッチの半分の距離だけずらしたRB完全市松パターンの色フィルタ手段を介して得られるRGB の撮像信号をディジタル信号に変換するディジタル変換手段と、このディジタル変換手段からの出力に基づいて受光素子の存在する位置における輝度データを作成する第１の輝度演算手段と、この輝度演算手段からの水平および／または垂直方向に位置する輝度データに基づいて受光素子の空領域を仮想受光素子とした際にこの仮想受光素子における輝度データを作成する第２の輝度演算手段と、この第２の輝度演算手段で作成された輝度データと受光素子から得られたRGB の各色データを用いて各色における画面全体のプレーンデータを作成するプレーン演算手段と、このプレーン演算手段により作成されたプレーンデータを用いて輝度データ、色差データを生成するマトリクス手段と、このマトリクス手段からの出力に帯域制限を施すフィルタ処理手段と、このフィルタ処理手段からの出力のうちで輝度データに対して輪郭強調処理を施すアパーチャ調整手段とを含むこと特徴とする。
【００３５】
この構成により、装置の簡略化を図りながら、信号処理を施すことによって得られる画像の品質を一層高めることができる。
【００３６】
ここで、第１の輝度演算手段は、作成する対象の輝度データを画素データG と作成する対象の輝度データをこの対象の輝度データの周囲に位置する画素データR, Bを用いた演算による算出あるいは水平方向および垂直方向の色境界の判断による適応処理が考慮された演算による算出が行われることが好ましい。
【００３７】
また、第２の輝度演算手段は、供給される輝度データにローパスフィルタ処理を施す手段を用いて前記仮想受光素子のデータを生成することが望ましい。これにより、実際の演算処理をハードウェアの素子に画素データを流す処理で実現させることができる。従来の演算処理に比べて装置の負担を軽減させることができる。
【００３８】
より具体的な２板式の固体撮像装置では、前述した固体撮像装置の構成にしながら、光学系は、被写界像を少なくとも、２つの撮像面にそれぞれ投影させ、撮像面を形成する受光素子を行方向と列方向で２次元配列されるとともに、撮像面に投影された同一の被写界像を空間的に重ね合わせた際に一方の２次元配列された受光素子と他方の２次元配列された受光素子の対応する幾何学的な撮像面形状の中心が行方向および列方向に半ピッチずつずれた関係に配設し、色フィルタ手段は、受光素子に対応してこの受光素子の前面に配置され、空間的に重ね合わせた際に三原色RGB の色フィルタとなる色配列が用いられていることが好ましい。
【００３９】
より具体的な面順次方式の固体撮像装置では、前述した固体撮像装置の構成にしながら、被写界像を一つの撮像面に投影させる光学系と、この光学系と受光素子が２次元配列された受光素子との間に挿入される色フィルタ手段を切り換える色フィルタ切換手段と、受光素子が２次元配列された受光部を撮像面に平行な２次元平面内で移動させる移動手段と、この移動手段により受光部を複数回にわたって移動させながら、この移動の都度、撮影した画像を面順次に記録する記録手段とを含み、移動の都度、撮影した画像が一つ前に撮影した画像に対して幾何学的な撮像面形状の中心を行方向および列方向に半ピッチずつずらした関係が得られることが望ましい。
【００４０】
本発明の固体撮像装置は、記録再生手段からの面データにおいて受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子とし、隣接する受光素子からのデータを基に正確な色再現重視、ならびに水平方向および／または垂直方向の解像度の重視と各項目に応じた信号処理をそれぞれ信号処理手段で行って、個々の画素データがもつ信号を生成する際の要素を質的に向上させ、仮想受光素子を含めて画素データを増やして画素配置を正方格子状に展開することにより、実際、従来より少ない受光素子数でありながら、それぞれの重視した項目に応じて容易に信号を高品質にできる。この高品質化させた信号を用いた補間により、従来の限界と言われていた解像度以上の画像を提供する可能性を高めている。
【００４１】
また、本発明は、入射光を異なる分光感度特性を有する複数の色フィルタを介して受光素子に送るように開けられた開口部が２次元配列されているとき、開口形状が正方格子あるいは多角形に形成された開口部を一列ごとに垂直方向にあるいは一行ごとに水平方向にずらされた開口部、あるいは正方格子を45°回転させた開口形状あるいは多角形の開口形状を有する開口部を介して受光素子で受光し、受光素子を画素として扱い、受光によって得られた２次元の画素データを基に画像信号にしこの画像信号に信号処理を施す信号処理方法であって、受光素子により得られた信号にガンマ変換を施すガンマ変換工程と、このガンマ変換工程での処理を受けた信号をディジタルデータに変換するディジタル変換工程と、このディジタル変換工程後の画素データを記憶するデータ記憶工程とを含み、さらに、データ記憶工程で記憶された画素データを読み出し、かつ読み出した画素データに対して受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子とし、隣接する受光素子からの画素データを基に水平方向および／または垂直方向に正確な色再現重視、ならびに解像度の重視と各項目に応じた画素データをそれぞれ生成する画素データ生成工程と、この画素データ生成工程で得られる成分信号を基に求めた画像信号を広帯域化させる広帯域化工程とを有することを特徴とする。
【００４２】
ここで、画素データ生成工程は、受光素子のずらし配置に伴う受光素子からの画素データを基に水平方向および／または垂直方向に正確な色再現を重視して演算処理を施す色再現重視工程と、画素データを基に水平方向および／または垂直方向の解像度を重視して演算処理を施す解像度重視工程とを含ませるとよい。
【００４３】
広帯域化工程は、色再現が考慮された成分信号と解像度を重視した成分信号を擬似周波数的に加算する擬似加算処理工程と、この画素データ生成工程で水平方向および垂直方向の両解像度を重視する際に共通する周波数帯の重複を防止する帯域重複防止工程とを含ませるとよい。
【００４４】
擬似加算処理工程は、画素データ生成工程で生成された解像度が重視される周波数帯までの第１の成分信号から前記第１の成分信号の周波数帯よりも低域の色再現を考慮した第２の成分信号を減算する減算工程と、この減算工程からの出力と第１の成分信号に対してそれぞれ折り返し歪みを防ぐ処理を施す歪み防止工程と、この歪み防止工程を経た各出力を加算する第２の加算工程とを含ませることが望ましい。
【００４５】
帯域重複防止工程は、水平方向および垂直方向の成分信号内のいずれか一方の成分信号の共通する周波数帯に対して帯域制限を施す帯域制限工程と、この帯域制限工程で帯域制限された出力と共通した周波数帯を含む他方向の成分信号とを加算する加算処理工程とを含むことが好ましい。
【００４６】
画素データ生成工程は、データ記憶工程で記憶された画素データを読み出して色フィルタの色に対応して演算処理する際に、３行２列のエリアにある画素データからRBあるいはGG間の仮想受光素子位置の画素データを補間し、かつ５行２列のエリアにある画素データからR あるいはB の画素データを算出するとともに、G の画素はそのままの画素データを用いる低域成分を生成する色再現重視工程と、５行１列のエリアにある画素データに重み付け演算を行ってエリア中央に位置する画素データを算出し、かつ３行１列のエリアにある画素データからエリア中央の仮想受光素子位置の画像データの補間を行うとともに、G の画素はそのままの画素データを用いて水平方向の高域成分を生成する水平解像度重視工程と、記憶された画素データの読み出しを組み換えて読み出された画素データに対して水平方向の高域成分と同じ補間処理を施して垂直方向の高域成分を生成する垂直解像度重視工程とを含むことが好ましい。
【００４７】
水平／垂直解像度重視工程は、画素データのうちで前記色フィルタのR,B に対応する画素データをそのまま用い、仮想受光素子位置の画素データを隣接する行あるいは列の画素データに重み付けして補間処理を行うことが望ましい。
【００４８】
また、解像度重視工程は、画素データのうちで色フィルタのG に対応する４つの画素データだけを用いて画素データに対する相関を検出する第１の相関検出工程と、この第１の相関検出工程により得られる相関値の大きい画素データを用いて直線補間する第１の直線補間工程とを繰り返し、さらに、第１の直線補間工程で得られた画素データを含めた３つの画素データで囲まれる仮想受光素子の位置の画素データに対する相関検出を行う第２の相関検出工程と、この第２の相関検出工程の処理結果に応じて直線補間を行う第２の直線補間工程とを繰り返すとよい。
【００４９】
第２の直線補間工程には、第１の直線補間工程で得られた画素データを含めた３つの画素データで囲まれる仮想受光素子の位置の画素データに対して４つの画素データを平均して補間を行う平均補間工程を用いてもよい。
【００５０】
画素データ生成工程は、水平方向および／または垂直方向の高域成分を生成する解像度重視工程と、色フィルタに対応する三原色R,G,B の各色に着目し仮想受光素子の位置の色データも含めた面データとして色再現を考慮してそれぞれ補間展開する際に、水平方向の補間には三原色R,G,B の着目対象の色を含む行に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む行に対して隣接する行の画素データを平均して補間する水平プレーン補間展開工程と、垂直方向の補間には前記三原色R,G,B の着目対象の色を含む列に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む列に対して隣接する列の画素データを平均して補間する垂直プレーン補間展開工程とを含み、さらに、水平および／または垂直プレーン補間展開工程の展開結果に基づいて色差および輝度データを生成する色差マトリクス生成工程と、この色差マトリクス工程で生成された輝度データに前記水平方向および／または垂直方向の解像度の重視の高域処理工程から生成された輪郭を強調する成分信号を加算する輪郭強調工程とを含むようにしてもよい。
【００５１】
また、信号処理方法には、広帯域化工程の後に復調された三原色R,G,B の信号を用いて補間処理を行う展開補間工程を含ませるようにしてもよい。
【００５２】
画素データ生成工程は、R あるいはB において既知の２点の画素データと補間するR あるいはB の画素データで形成する三角形に同じ位置関係にG の画素データがあり、かつそれぞれ３つの画素データの重み付き平均を等しいとして補間するR あるいはB の画素データを求めてもよい。
【００５３】
より好ましい信号処理方法としては、被写界像を用意した光学系により撮像面に投影させ、この光学系を経た入射光を単板内に配列された色フィルタにより３つの原色に色分解して、この色分解された透過光を光電変換させて撮像信号を求めた後、この撮像信号に基づいて予め用意された受光素子に対してその空隙位置での画素データを補間する信号処理を施すとともに、補間された画素データを含む画素データから輝度データおよび色データを生成するデータ処理工程とを含み、色フィルタと受光素子とを対応させるとともに、受光素子の幾何学的な撮像面形状の中心同士の間隔をピッチとする際に受光素子が相互に行方向および列方向にそれぞれピッチの半分ずらした位置関係で得られる画素データに施す信号処理方法において、データ処理工程は、G 正方格子とこのG 正方格子に対してピッチの半分の距離だけずらしたRB完全市松パターンの色フィルタを介して得られるRGB の撮像信号をディジタル信号に変換するディジタル変換工程と、このディジタル変換工程により得られた画素データに基づいて受光素子の存在する位置における輝度データを作成する第１の工程と、この第１の工程により得られた輝度データに基づいて受光素子の空領域を仮想受光素子とした際にこの仮想受光素子における輝度データを水平・垂直方向あるいは垂直・水平方向の順に作成する第２の工程と、この第２の工程で作成された輝度データと受光素子から得られたRGB の各色データを用いて各色における画面全体のプレーンデータを作成するプレーン作成工程と、このプレーン作成工程により作成されたプレーンデータを用いて輝度データ、色差データを生成するマトリクス生成工程と、このマトリクス生成工程から得られた輝度データ、色差データに帯域制限を施すフィルタ処理工程と、このフィルタ処理工程で処理された輝度データに対して輪郭強調処理を施すアパーチャ調整工程とを含むことを特徴とする。
【００５４】
ここで、第１の工程は、G 正方格子とこのG 正方格子に対してピッチの半分の距離だけずらしたRB完全市松パターンにより得られるG の画素データを含み、G の画素データの周囲から得られるR の画素データとB の画素データから輝度データを作成する際に、R の画素データとB の画素データのいずれか一方の画素データを輝度データの作成対象にする場合、この作成対象の画素データを半分にした作成対象の半値データと、この作成対象の周囲に最も近傍、かつ等距離に位置する他方の画素データを加算し、この加算結果を加算した画素データの個数を倍した値で割った周囲画素データとから実際に用意された受光素子の位置における輝度データを算出することが好ましい。
【００５５】
また、第２の工程は、仮想画素受光素子に対応する位置の画素データを水平方向に関して補間する際に、補間する画素データに対応する乗算係数を乗算する第０段の水平工程を行うとともに、この補間する画素データの左右両側に隣接するデータを加算し、この加算結果に乗算係数を乗算する第１段の水平工程と、各段で第１段の工程と同様にこの補間する画素データから水平方向に等距離に位置する画素データに対応する乗算係数を乗算する水平工程をｎ段繰り返し、第０段の水平工程、第１段の水平工程以降に繰り返された乗算結果すべてを加算して補間画素データを生成する水平補間工程と、この水平補間工程により得られた画素データを用いて対象とする位置の画素データを生成する際に、垂直方向に位置する画素データに対応する乗算係数を乗算し、得られた乗算結果をすべて加算して垂直方向のローパス処理を行う垂直処理工程とを含むことが望ましい。
【００５６】
さらに、第１の工程は、輝度データの算出処理を行う前に、水平方向および垂直方向の第１相関値をそれぞれ算出し、第１の所定の値と各算出結果をそれぞれ比較し、この比較した結果が水平方向に相関があると判断した際に、輝度データの算出を水平方向の画素データを用いて加算し、この加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする水平輝度算出工程と、この比較した結果が垂直方向に相関があると判断した際に、輝度データの算出を垂直方向の画素データを用いて加算し、この加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする垂直輝度算出工程と、この比較した結果が水平方向の相関値および垂直方向の相関値が所定の値より小さいとき、周囲画素データをこの作成対象の周囲に最も近傍、かつ等距離に位置する他方の画素データを加算し、この加算結果を加算した画素データの個数を倍した値で割って算出する平均輝度算出工程とを含み、作成対象の画素データの半値と、水平輝度算出工程、垂直輝度算出工程、および平均輝度算出工程のいずれか一つから得られる周囲画素データとから輝度データのパターンを作成することが有利である。
【００５７】
また、輝度データの算出処理にあたり、第１の工程は、輝度データの算出処理を行う前に、水平方向および垂直方向の第１相関値をそれぞれ算出し、第１の所定の値と各算出結果をそれぞれ比較し、この比較結果に応じて水平輝度算出工程あるいは垂直輝度算出工程を行うとともに、画素データR あるいは画素データB のうち、一方の画素データを作成対象の輝度データとした際に、この作成対象の輝度データを介して水平方向に位置する他方の画素データとこの作成対象の輝度データを用いてそれぞれ得られた相関値を加算し、水平方向および垂直方向の第２相関値をそれぞれ算出し、第２の所定の値と各算出結果をそれぞれ比較し、この比較した結果が水平方向に相関があると判断に応じて行う水平輝度算出工程と、この比較した結果が垂直方向に相関があると判断に応じて行う垂直輝度算出工程と、この比較した結果がいずれの相関とも異なる際に行う平均輝度算出工程とを含み、作成対象の半値データと、水平輝度算出工程、垂直輝度算出工程、および平均輝度算出工程のいずれか一つから得られる周囲画素データとから輝度データのパターンを作成することが有利である。
【００５８】
上述した方法において、さらに第１の工程には、画素データG の対角位置の画素データを加算し、この加算結果の差の絶対値により得られた値が第３の所定の値以上の場合、周囲画素データの算出を平均輝度算出工程で行うとよい。
【００５９】
第１の工程は、輝度データの算出処理を行う前に、輝度データを算出する画素データに対して対角位置に位置する同色の画素データの差からそれぞれ右斜め方向および左斜め方向の第１相関値を算出し、第４の所定の値と各算出結果をそれぞれ比較し、この比較した結果が右斜め方向に相関があると判断した際に、右斜め方向の第１相関値の算出に用いた画素データを加算し、この加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする右斜め輝度算出工程と、この比較した結果が左斜め方向に相関があると判断した際に、左斜め方向の第１相関値の算出に用いた画素データを加算し、この加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする左斜め輝度算出工程と、この比較した結果が前記右斜め方向の第１相関値および左斜め方向の第１相関値が第４の所定の値より小さいとき、相関値の算出に用いた同色の画素データをすべて加算し、この加算結果を加算した画素データの個数を倍した値で割って算出する平均輝度算出工程とを含み、作成対象の画素データの半値と、右斜め輝度算出工程、左斜め輝度算出工程、および平均輝度算出工程のいずれか一つから得られる前記周囲画素データとの加算から輝度データのパターンを作成することが好ましい。
【００６０】
また、第１の工程は、輝度データの算出処理を行う前に、第４の所定の値と右斜め方向および左斜め方向の第１相関値の算出結果をそれぞれ比較し、作成対象の画素データの半値と、右斜め輝度算出工程および左斜め輝度算出工程のいずれか一方の算出したデータとを加算する場合と、さらに、この場合に加えて、輝度データを算出する画素データに対して対角位置に位置する異色の画素データの差からそれぞれ右斜め方向および左斜め方向の第２相関値を算出し、新たに設定する第５の所定の値と右斜め方向および左斜め方向の第２相関値の算出結果をそれぞれ比較し、この比較した結果が右斜め方向に相関があると判断した際に、右斜め方向の第２相関値の算出に用いた異色の画素データで演算し、この演算結果を演算に用いた画素データの個数を倍した値で割って周囲画素データとする右斜め輝度演算工程と、この比較した結果が左斜め方向に相関があると判断した際に、左斜め方向の第２相関値の算出に用いた異色の画素データで演算し、この演算結果を演算に用いた画素データの個数を倍した値で割って周囲画素データとする左斜め輝度演算工程と、この比較した結果が右斜め方向の第２相関値および左斜め方向の第２相関値が前記第５の所定の値より小さいとき、第２相関値の算出に用いた異色の画素データで演算し、該演算結果を演算に用いた画素データの個数を倍した値で割って算出する平均輝度演算工程とを含み、作成対象の画素データの半値と、右斜め輝度演算工程、左斜め輝度演算工程、および平均輝度演算工程のいずれか一つから得られる前記周囲画素データとの加算から輝度データのパターンを作成することがより好ましい。
【００６１】
さらに規定する用語を説明する。前述した水平および垂直方向の第１相関値は、それぞれ輝度データ作成対象画素を挟んで水平方向に配される異色の画素データ同士の差の絶対値および輝度データ作成対象画素を挟んで垂直方向に配される異色の画素データ同士の差の絶対値で表すことができる。また、水平方向および垂直方向の第２相関値は、それぞれ輝度データ作成対象画素を挟んで水平方向に配される一方の異色の画素データとこの作成対象画素の輝度データとの差の絶対値および他方の異色の画素データと該作成対象画素の輝度データとの差の絶対値の加算値ならびに輝度データ作成対象画素を挟んで垂直方向に配される一方の異色の画素データとの差の絶対値および他方の異色の画素データとこの作成対象画素の輝度データとの差の絶対値の加算値で表すことができる。
【００６２】
そして、右斜め方向および左斜め方向の第１相関値ならびに第２相関値は、供給される各画素位置を算出の前に45°回転させた位置に回転移動させた後に水平方向および垂直方向の第１相関値ならびに第２相関値として算出し、所定の値との比較をそれぞれ行って対応する輝度データの算出を行い、この算出の後に、得られた輝度データを回転移動前の位置に戻すようにしてもよい。
【００６３】
第２相関値は、第１相関値の算出に用いた画素データよりも作成対象画素に近い位置の画素データを算出に用いることが好ましい。
【００６４】
第１の工程は、光学系により被写界像を少なくとも、受光素子が２次元配列された受光部で形成される２つの撮像面にそれぞれ投影させ、行方向と列方向で２次元配列に配置した受光素子が形成する撮像面の配設を一方の２次元配列された受光素子と他方の２次元配列された受光素子において対応する幾何学的な撮像面形状の中心が行方向および列方向に半ピッチずつずれた関係にし、この受光素子に対応してこの受光素子の前面に用意する三原色RGB に色分解するフィルタの色配列を介してこの２つの撮像面に投影された同一の被写界像を空間的に重ね合わせる工程により得られた画素データを用いることが有利である。
【００６５】
第１の工程は、用意した２次元配列された受光素子との間に色分解するフィルタを切り換えるフィルタ切換工程と、受光素子が２次元配列された受光部で形成される撮像面に平行な２次元平面内を複数回にわたって移動させる移動工程と、この移動工程による移動毎に得られる被写界像を面順次に記録する記録工程とを行ってこれらの手順により得られる画素データを用い、移動の都度、撮影した画像が一つ前に撮影した画像に対して幾何学的な撮像面形状の中心を行方向および列方向に半ピッチずつずらした関係が得られることが好ましい。
【００６６】
プレーン作成工程は、ディジタル変換工程によりG 正方格子とこのG 正方格子に対してピッチの半分の距離だけずらしたRB完全市松パターンにおける実在の受光素子に対応して得られた各色の画素データと、第２の工程により作成された輝度データを用い、画素データのG のプレーン補間には、補間対象画素に対して水平方向および／または垂直方向に隣接して存在する実際に得られた画素データG の平均と補間対象画素に対して水平方向および／または垂直方向に隣接している輝度データの加算平均との差に補間対象画素の位置に対応する輝度データを加算して得られる工程と、画素データのR のプレーン補間には、補間対象画素に対して斜め方向に隣接して存在する実際に得られた画素データR の平均と補間対象画素に対して斜め方向と同方向に隣接している輝度データの加算平均との差に補間対象画素の位置に対応する輝度データを加算して得られる第１のR 工程と、補間対象画素の残る色R に対する画素データR をこの第１のR 工程により得られた、等距離に位置する画素データの加算平均とこの等距離に位置する輝度データの加算平均との差に補間対象画素の残る色R に対する輝度データを加算して得られる第２のR 工程と、さらに補間対象画素の残る色R に対する画素データR を最近傍に位置する第１、第２の工程および実際に得られた画素データR の加算平均とこの加算平均に用いた画素に対応する輝度データの加算平均との差に補間対象画素の位置に対応する輝度データを加算して得られる第３のR 工程とを含み、さらに、画素データのB のプレーン補間には、補間対象画素に対して斜め方向に隣接して存在する実際に得られた画素データB の加算平均と補間対象画素に対して斜め方向と同方向に隣接している輝度データの加算平均との差に補間対象画素の位置に対応する輝度データを加算して得られる第１のB 工程と、補間対象画素の残る色B に対する画素データB をこの第１のB 工程により得られた、等距離に位置する画素データの加算平均とこの等距離に位置する輝度データの加算平均との差に補間対象画素の残る色B に対する輝度データを加算して得られる第２のB 工程と、さらに補間対象画素の残る色B に対する画素データB を最近傍に位置する第１、第２の工程および実際に得られた画素データB の加算平均とこの加算平均に用いた画素に対応する輝度データの加算平均との差に補間対象画素の位置に対応する輝度データを加算して得られる第３のB 工程とを含むことが好ましい。
【００６７】
本発明の信号処理方法は、隣接する受光素子からの画素データを基に正確な色再現重視、および水平方向および／または垂直方向の解像度の重視と各項目に応じた画素データをそれぞれ生成し（画素データ生成工程）、生成した成分信号を基に画素データの広帯域化を図り（広帯域化工程）、得られたデータを基に仮想受光素子の画素データを補間して正方格子状に画素データを増やすことにより、実際、従来より少ない受光素子数でありながら、それぞれの重視した項目に応じて容易に信号を高品質にできる。この高品質化させた信号を用いて補間することにより、解像度限界以上の画像提供の可能性を高めている。
【００６８】
また、別な表現によれば、以下のように特徴付けられる。本発明の固体撮像装置は、被写体像を撮像面に投影させる光学系と、光学系を介して供給される入射光を三原色RGB に色分解する原色フィルタが所定の配置に配された単板の色分解手段からの透過光を撮像面を形成する複数の受光素子での受光により光電変換を行う撮像手段と、この撮像手段から全画素読出しされた撮像信号をディジタルに変換した後、この変換された画素データに信号処理を施して輝度信号を生成する信号処理手段とを有する固体撮像装置において、色分解手段の前記原色フィルタと受光素子とが個々に対をなし、かつ受光素子は、同一の行および列方向に配される受光素子とともに、この受光素子間のピッチに対してそれぞれ半ピッチずれた位置に前記受光素子の幾何学的な中心部が配され、所定の配置には、色G の４つで正方格子を形成し、この正方格子の一の色G に対してその周囲に色R, Bが市松状に配されたG 正方RB完全市松パターンを用い、信号処理手段は、色G に対応して得られた画素データを輝度データにそのまま用い、色R, Bには、色R, Bの画素データを用いるとともに、これらの画素データの加算平均の関係から求める色の輝度データを算出する第１演算手段と、この第１演算手段で得られた輝度データを基に受光素子間の幾何学的な中央に位置する仮想画素に対する輝度データの補間および三原色RGB のうち、存在する受光素子から得られる色の他の２つの色に対する補間を行う第２演算手段とを含むことを特徴とする。
【００６９】
ここで、第１演算手段は、色R, Bの画素データを用いて色R, Bのいずれか一方の色の輝度データを求める際に、算出する色を一方の色としてその半値を算出し、この半値と、他方の色と同色のこの一方の色の周囲に配される４つの画素データの平均値の半値とを加算から求める色の輝度データを算出することが好ましい。
【００７０】
また、第１演算手段は、色G の正方格子の中心に位置する色R, Bの輝度データを算出する際に、この算出する輝度データの色と同色の４つの画素データのうち、水平方向の画素データの差分値の絶対値と、垂直方向の画素データの差分値の絶対値とを基に演算を行いこの演算結果と所定の第１判定値から水平方向および垂直方向のいずれか一方の方向に相関があるか検出する第１相関検出手段と、色G の正方格子を用いて、一方の水平方向の画素データの差分値の絶対値および他方の水平方向の画素データの差分値の絶対値の加算値と、一方の垂直方向の画素データの差分値の絶対値および他方の垂直方向の画素データの差分値の絶対値の加算値との差に基づいて演算を行いこの演算結果と所定の第２判定値から水平方向および垂直方向のいずれか一方の方向に相関があるか検出する第２相関検出手段とを含み、第１および第２相関検出手段の結果に応じて求める色の輝度データを算出することが望ましい。
【００７１】
相関検出は、水平方向や垂直方向に限らず、斜め方向に行ってもよく、第１演算手段は、色G の正方格子の中心に位置する色R, Bの輝度データを算出する際に、この算出する輝度データの色と同色の４つの画素データのうち、右斜め方向の画素データの差分値の絶対値と、左斜め方向の画素データの差分値の絶対値とを基に演算を行いこの演算結果と所定の第３判定値の比較からどちらの斜め方向に相関があるか検出する第３相関検出手段と、色G の正方格子を用いて、輝度算出画素を挟んで右斜め方向の両端に位置する色G の画素データの差分値の絶対値と、輝度算出画素を挟んで左斜め方向の両端に位置する色G の画素データの差分値の絶対値との差分値とを算出し、この算出した値と所定の第４判定値の比較からどちらの斜め方向に相関があるか検出する第４相関検出手段とを含み、第３および第４相関検出手段の結果に応じて求める色の輝度データを算出することが好ましい。
【００７２】
ところで、撮像手段は、撮像信号の読出しをインターレースまたはX,Y アドレス方式で読み出すようにしてもよい。
【００７３】
この固体撮像装置は、光学系からの入射光を複数の方向に分光する分光手段と、この分光手段が分光する方向の数に応じて複数の種類の三原色RGB の色フィルタ配置を各撮像手段の前に配するとともに、各原色フィルタ配置を重ね合わせた際にG 正方RB完全市松パターンとなる色分解手段とを含むことが好ましい。これにより、２板方式の固体撮像装置を提供する。
【００７４】
また、面順次方式の固体撮像装置は、受光素子が該受光素子の幾何学的な中心がすべて行および列方向に正方配置された撮像手段と、この撮像手段を空間的に行および／または列方向に移動させる移動手段と、この移動手段による撮像手段の移動に伴い撮像手段の前面に配される色分解手段の色フィルタを切り換えるフィルタ切換手段と、移動手段の移動およびフィルタ切換手段の切換え毎に信号処理手段から供給される信号を被写体像の画像として記録する記録手段とを含み、フィルタ切換手段の切換え毎に得られる被写体像を空間的に重ね合わせた際にG 正方RB完全市松パターンで得られた画像になる面順次方式を用いることが好ましい。
【００７５】
これら固体撮像装置の構成は、被写界像を光学系および前記撮像手段を介して撮像して得られた画像データまたはこの画像データが記録された記録媒体からの再生データを基に信号処理手段の第１および第２演算手段により輝度データの生成を行う画像処理装置に用いて有利である。これらの受光素子の開口形状は、信号電荷の有効な転送路を確保するために従来から主に用いられてきている正方格子状にはならない可能性が大きい。
【００７６】
さらに、色フィルタの配置パターンに依存する信号処理の点に着目すると、前述した信号処理は、G ストライプRB完全市松パターンの色フィルタが適用した際にも有効であることが判る。この場合の受光素子の開口形状は、正方格子状になる。このようなことに鑑みて、新たな固体撮像装置を提案する。本発明の固体撮像装置は、被写体像を撮像面に投影させる光学系と、光学系を介して供給される入射光を三原色RGB に色分解する原色フィルタが所定の配置に配された単板の色分解手段からの透過光を前記撮像面を形成する複数の受光素子での受光により光電変換を行う撮像手段と、この撮像手段から全画素読出しされた撮像信号をディジタルに変換した後、この変換された画素データに信号処理を施して輝度信号を生成する信号処理手段とを有する固体撮像装置において、色分解手段の原色フィルタと受光素子とが個々に対をなし、かつ受光素子は、行および列方向に正方配置で２次元的に配され、所定の配置には、色G が列方向にストライプを形成し、このストライプの色G の間に色R, Bが交互に配されて完全な市松状を形成するG ストライプRB完全市松パターンを用い、信号処理手段は、色G に対応して得られた画素データを輝度データにそのまま用い、色R, Bには、色R, Bの画素データを用いるとともに、これらの画素データの加算平均の関係から求める色の輝度データを算出する第３演算手段と、この第３演算手段で得られた輝度データを基に三原色RGB のうち、存在する受光素子から得られる色の他の２つの色に対する補間を行う第４演算手段とを含むことを特徴とする。
【００７７】
ここで、第３演算手段は、色R, Bの画素データを用いて色R, Bのいずれか一方の色の輝度データを求める際に、算出する色を一方の色としてその半値を算出し、この半値と、他方の色およびこの一方の色と同色の周囲に配される４つの画素データの平均値の半値とを加算から求める色の輝度データを算出することが好ましい。
【００７８】
第３演算手段は、色R またはB が形成する格子の画素データを用いてこの格子の中心に位置する輝度データを算出する際に、この算出する輝度データの色と４つの画素データのうち、水平方向の異色の画素データの差分値の絶対値と、垂直方向の同色の画素データの差分値の絶対値とを基に演算を行いこの演算結果と所定の第５判定値から水平方向および垂直方向のいずれか一方の方向に相関があるか検出する第５相関検出手段と、色G の正方格子を用いて、一方の水平方向の画素データの差分値の絶対値および他方の水平方向の画素データの差分値の絶対値の加算値と、一方の垂直方向の画素データの差分値の絶対値および他方の垂直方向の画素データの差分値の絶対値の加算値との差に基づいて演算を行いこの演算結果と所定の第６判定値から水平方向および垂直方向のいずれか一方の方向に相関があるか検出する第６相関検出手段とを含み、第５および第６相関検出手段の結果に応じて求める色の輝度データを算出することが望ましい。
【００７９】
また、第３演算手段は、色G が形成する正方格子の中心に位置する色R, Bの輝度データを算出する際に、この算出する輝度データの色と異色の４つの画素データのうち、右斜め方向の画素データの差分値の絶対値と、左斜め方向の画素データの差分値の絶対値とを基に演算を行いこの演算結果と所定の第７判定値の比較からどちらの斜め方向に相関があるか検出する第７相関検出手段と、色G が形成する正方格子を用いて、輝度算出画素を挟んで右斜め方向の両端に位置する色G の画素データの差分値の絶対値と、輝度算出画素を挟んで左斜め方向の両端に位置する色G の画素データの差分値の絶対値との差分値とを算出し、この算出した値と所定の第８判定値の比較からどちらの斜め方向に相関があるか検出する第８相関検出手段とを含み、第７および第８相関検出手段の結果に応じて求める色の輝度データを算出することが好ましい。
【００８０】
撮像手段は、撮像信号の読出しをインターレースまたはX,Y アドレス方式で読み出すとよい。
【００８１】
この固体撮像装置は、光学系からの入射光を複数の方向に分光する分光手段と、この分光手段が分光する方向の数に応じて複数の種類の三原色RGB の色フィルタ配置を各撮像手段の前に配するとともに、各原色フィルタ配置を重ね合わせた際にG ストライプRB完全市松パターンとなる色分解手段とを含むことが望ましい。これにより、２板式固体撮像装置が提供される。
【００８２】
面順次方式の固体撮像装置は、受光素子がこの受光素子の幾何学的な中心がすべて行および列方向に正方配置された撮像手段と、この撮像手段を空間的に行および／または列方向に移動させる移動手段と、この移動手段による撮像手段の移動に伴い撮像手段の前面に配される色分解手段の色フィルタを切り換えるフィルタ切換手段と、移動手段の移動および前記フィルタ切換手段の切換え毎に信号処理手段から供給される信号を被写体像の画像として記録する記録手段とを含み、フィルタ切換手段の切換え毎に得られる被写体像を空間的に重ね合わせた際にG ストライプRB完全市松パターンで得られた画像にすることができる。
【００８３】
これら固体撮像装置の構成は、被写界像を光学系および撮像手段を介して撮像して得られた画像データまたはこの画像データが記録された記録媒体からの再生データを基に信号処理手段の第３および第４演算手段により輝度データの生成を行う画像処理装置に用いてもよい。
【００８４】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置および信号処理方法の実施例を詳細に説明する。
【００８５】
本発明の固体撮像装置は、たとえば、全画素読出しが行われるディジタルスチルカメラ、ビデオカメラ等の画像入力装置に用いて好適で、特に、撮像により得られた信号を広帯域な信号にして提供する特徴を有している。この固体撮像装置の複数の実施例について図１〜図64を参照しながら説明する。
【００８６】
第１の実施例の固体撮像装置10は、図示しない光学系を介して供給される入射光を電気信号に変換する撮像部11、および撮像部11からの信号にカラー信号処理を施すカラー信号処理部12を有している（図１を参照）。
【００８７】
本実施例において、撮像部11は、入射する光を光電変換する受光素子PDに隣接した受光素子PDが垂直方向および／または水平方向にずらされて２次元配置された受光部11a と、この受光部11a の前面に形成された開口部APを迂回するように配置され、かつ受光素子PDからの信号電荷を取り出す、図示しないトランスファゲートや垂直転送レジスタのそれぞれに垂直駆動信号V1〜V4が供給される水平方向の4本の電線とこれらの信号を垂直方向に供給するため4本の電線それぞれに対して交差する信号線VT1〜VT4を配し、読み出した信号電荷を受光部11の垂直方向に順次転送する垂直転送路VRとを備えている。
【００８８】
垂直転送路VRは、供給される垂直転送駆動信号V1〜V4に応じて信号を転送している。撮像部11の受光素子PDの各開口部上には異なる分光感度特性の複数の色フィルタCFが備えられている（図６を参照）。撮像部11からの信号読出しは、２線の並列読出しで行う。色フィルタCFおよび開口部APについては後段で詳述する。
カラー信号処理部12は、ガンマ変換部12a, A/D変換部12b,および信号処理部12c を備えている。ガンマ変換部12a は、撮像部11の複数の垂直転送レジスタからそれぞれ得られる信号にガンマ補正、いわゆるガンマ変換を施す。A/D 変換部12b はガンマ変換部12a からの出力をディジタルデータに変換する。固体撮像装置10においてA/D 変換部12b 以後で取り扱う信号は、すべてディジタルデータである。本発明の実施例では、便宜上、信号や成分信号という語句を用いるがディジタルである。A/D 変換部12b は、変換した２次元のディジタルデータを面データとして信号処理部12c に出力する。
【００８９】
カラー信号処理部12は、ガンマ変換部12a, A/D変換部12b,および信号処理部12c を備えている。ガンマ変換部12a は、撮像部11の複数の垂直転送レジスタからそれぞれ得られる信号にガンマ補正、いわゆるガンマ変換を施す。A/D 変換部12b はガンマ変換部12a からの出力をディジタルデータに変換する。固体撮像装置10においてA/D 変換部12b 以後で取り扱う信号は、すべてディジタルデータである。本発明の実施例では、便宜上、信号や成分信号という語句を用いるがディジタルである。A/D 変換部12b は、変換した２次元のディジタルデータを面データとして信号処理部12c に出力する。
【００９０】
信号処理部12c は、供給される面データの内、隣接する受光素子からのデータを基に正確な色再現重視、ならびに水平方向および／または垂直方向の解像度の重視と各項目に応じた信号処理をそれぞれ行っている。これらの信号処理を行うため、信号処理部12c は、図２に示すように演算処理部121,擬似周波数加算部122,および周波数重複防止部123 を備えている。
【００９１】
演算処理部121 は、受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子（以下、仮想画素という）とし、隣接する受光素子からのデータを基に正確な色再現重視、ならびに水平方向および／または垂直方向の解像度の重視と各項目に応じて演算処理を行っている。このため、演算処理部121 には、高域成分生成機能部121a, 低域成分生成機能部121b, および低域色差成分生成機能部121c, 121dが備えられている。ここで、色再現が考慮された成分信号(YL)は、解像度を重視した成分信号(YH)に比べて周波数的に低い低域成分になっている。この演算処理部121 は、たとえば、Yh・Ylow 作成法を用いて生の画素データから各画素のデータYh, Ylowをそれぞれ生成する。このデータYh, Ylowの生成時に正方格子状に画素の展開を行って、入力データの空な仮想画素についての補間処理も行っている。演算処理部121 は、低域色差信号生成機能部121c, 121dで色差信号(R-Y)L, (B-Y)Lについての演算処理も行う。このようにして得られたデータは、上述した２つの成分信号(YH, YL)および低域の色差信号(R-Y)L, (B-Y)Lとして擬似周波数加算部122 に出力される。演算処理部121 におけるこの演算処理については後段で詳述する。
【００９２】
擬似周波数加算部122 は、図３に示すように、加算器122a, アンチエリアシングフィルタ部122b, および加算器122cを備えている。加算器122aには、演算処理部121 から供給される成分信号(YH)を一端側に減算入力させ他端側に成分信号(YL)を加算入力させてアンチエリアシングフィルタ部122bに出力する。アンチエリアシングフィルタ部122bには、加算器122aの他に高域成分の信号(YH)、低域色差信号生成部121b, 122cから低域の色差信号(R-Y)L, (B-Y)Lがそれぞれ供給されている。
【００９３】
アンチエリアシングフィルタ部122bは、供給される成分信号にそれぞれ折り返し歪みが生じないようにディジタルフィルタを適用してローパスフィルタ処理を施している。また、アンチエリアシングフィルタ部122bは、図３に示すように低域の色差信号(R-Y)L, (B-Y)Lに対してもディジタルフィルタを用いてローパスのフィルタ処理を行っている。アンチエリアシングフィルタ部122bは、ローパスフィルタ処理された高域成分信号(YH)と低域成分信号(YL)を加算器122cに加算入力する。
【００９４】
擬似周波数加算部122 は、周波数アロケーションを図４に示すと、加算器122aの出力(YL-YH)low（図４(a) を参照）と供給される高域成分信号(YH)（図４(b) を参照）とを加算器122cに供給して加算することにより、加算器122cからの出力を(YL-YH)low+YH （図４(c) を参照）にしている。ここで、(YL-YH)lowでの添字「low 」は、ローパスフィルタを通ったことを示している。擬似周波数加算部122 は、演算処理部121 から出力される成分信号(YL), (YH)とを擬似周波数的に加算している。この加算により、輝度信号の広帯域化が図られる。図２や図３の擬似周波数加算部122 に供給される各成分信号は、それぞれ画像の水平方向／垂直方向にも方向成分を分けて供給されている。
【００９５】
周波数重複防止処理（輝度プロセス）部123 は、演算処理部121 で水平方向および垂直方向の両解像度が重視された成分信号に共通した周波数帯が含まれている場合、共通した周波数帯の重複を防止するように輝度信号(YL-YH)low+YH における水平方向と垂直方向の一方の成分信号において共通した周波数帯を帯域制限し、この信号と他方の成分信号とを加算する。この処理のため、周波数重複防止部123 は、図５に示すように、選択スイッチSW1 、切換スイッチSW2 、フィルタ部123a、および加算器123bを備えている。
【００９６】
周波数重複防止部123 は、選択スイッチSW1 で擬似周波数加算部122 からの出力を両方向あるいは一方向の解像度重視かに応じて切り換えている。両方向の解像度重視の場合、選択スイッチSW1 は端子b を介して選択された信号を切換スイッチSW2 に供給する。切換スイッチSW2 は供給される信号の内、水平／垂直方向の解像度重視の信号を切り換える。ここで、切換スイッチSW2 は、端子a を介して、たとえば、垂直方向の解像度重視の信号をフィルタ部123aに送る。フィルタ部123aは、たとえば、垂直方向の解像度重視の信号の中で水平方向の解像度重視の信号に共通して含まれる周波数帯に対して帯域制限を施している。フィルタ部123aはハイパスフィルタである。加算器123bは、フィルタ部123aからの出力と切換スイッチSW2 の端子b から出力される、たとえば、水平方向の解像度重視の信号とを加算している。
【００９７】
ここで、選択スイッチSW1 は、水平方向あるいは垂直方向の一方だけしか解像度を重視しないとき、たとえば、CPU 等の制御部（図示しない）から供給される選択信号によって端子a に切り換えられて、この端子a を介して信号が出力フィルタ部123a、加算器123bを迂回して周波数重複処理部123 から出力させている。また、切換スイッチSW2 もこの制御部から供給される水平／垂直切換信号に応じて切り換えられている。
【００９８】
周波数重複防止部123 は、上述したような輝度プロセス処理により輝度信号(YL-YH)low+YH を水平／垂直方向の信号を合成しても異常が生じない輝度信号(Y) にしてマトリクス部126 に供給している。また、アンチエリアシングフィルタ部122bからの低域の色差信号(R-Y), (B-Y)には、利得制御部124, 125でゲイン調整が施されてマトリクス部126 に供給される。マトリクス部126 は、供給された信号を基にこの内部の信号処理によって色再現、解像度の向上した三原色RGB を出力する。
【００９９】
なお、本実施例では、A/D 変換部12b からのディジタルデータを直接信号処理部12c に供給させたが、そのディジタルデータを一旦、書込み／読出しが行えるバッファメモリを介して信号処理部12c に供給するようにしてもよい。また、再生装置に適用する場合、記録媒体として、たとえば、ディスクストレージを適用するようにしてもよい。A/D 変換部12b からの２次元のデータには、たとえば、インデックス画像が付加した形式を用いてもよい。
【０１００】
この固体撮像装置10の動作を説明する前に、撮像部11と色フィルタCFについて説明する。図６は、撮像部11の撮像面を示している。撮像部11に形成された開口部APは、六角形のハニカム形状に形成されている。開口形状は、一般的に正方格子であるがこのように多角形でもよく、この他の例としては、正方格子を45°回転させた開口形状として、たとえば、菱形等があり、さらに八角形等がある。
【０１０１】
開口部APは、図６に示すように各開口部APを覆う色フィルタCFの直下にそれぞれ対応して配置される受光素子PDの間隔を各方向毎の画素ピッチPPとするとき、開口部APの配列は、一列毎に垂直方向にあるいは一行毎に水平方向に画素ピッチPP分だけ移動させた２次元配置になっている。四角形以上の多角形を用いる場合、開口形状に合わせて開口部APを隙間なく、隣接する開口部APが稠密な配置に配置にさせてもよい。図６のように六角形の場合、稠密な配置は、水平・垂直方向とも上述した画素ピッチPPの半分だけずらした配置により形成できる。このように稠密な配置を得るには開口部APの形状に依存する。
【０１０２】
ここで、撮像部11が一般的に用いられる正方格子状の場合とハニカム形状の場合の配置関係を比較すると、ハニカム形状の配置は、図７(a) に示すように画素ピッチPPがそれぞれN(μm)の正方格子状の配置をそれぞれ45°回転させた図７(b) に示す配置と等価である。また、ハニカム形状の配置と等価な色フィルタCFは、図８に示すように模式的に表すと、受光素子のずらし配置に対応して三原色R, G, B の原色フィルタがそれぞれずれを有するG ストライプRB完全市松のパターンになる。破線の正方形は受光素子のない仮想画素を示している。このパターンはR, Bが入れ替わっても構わない。なお、色フィルタCFは三原色RGB の原色フィルタに限定されるものでなく、補色フィルタでもよい。
【０１０３】
また、ここで、ハニカム形状の配置は、正方格子状の配置における水平／垂直方向の隣接画素間距離｜PP｜= N(μm)を基準にしてN*(2)-1/2 と隣接画素間距離｜PP｜より短くなる（図９(a) を参照）。したがって、ハニカム形状の配置は、正方格子状の配置よりも画素が稠密に配置されるので、原理的に水平・垂直方向の解像度を(2)1/2倍に向上させることができる。また、ハニカム形状の配置から出力形態に見合う正方格子状の配置に展開する場合、図９(b) の○が示す仮想画素は、隣接する画素●に基づいて演算処理部121 で補間処理が行われる。この補間処理を行いながら正方格子状に展開すると、解像度は、単に正方格子状に受光素子PDを配置したときより高くできることがわかる。
【０１０４】
次に固体撮像装置10の処理手順を図10〜図16を参照しながら順次説明する。固体撮像装置10は、図10に示すメインルーチンのステップS10 で撮像を行う。固体撮像装置10には、異なる分光感度特性を有する前述したような２次元配列された色フィルタCF、開口部APを介して撮像部11の受光素子PDに入射光が射し込む。受光素子PDは、入射光を光電変換して得られた信号を電極EL、垂直転送レジスタVTrRを介し複数の水平転送レジスタHTrR（図示しない）から同時に読み出してカラー信号処理部12に出力する。
【０１０５】
ステップS11 ではカラー信号処理部12のガンマ変換部12a で供給された信号にガンマ補正としてガンマ変換を施してステップS12 に進む（ガンマ変換工程）。
なお、本実施例でガンマ変換部12a は、撮像部11の後に配されている。しかしながら、図示しないが後段の信号処理部12c 内の出力直前の位置にガンマ変換部12a を配し、ここでガンマ変換（補正）処理を行うようにしてもよい。
【０１０６】
ステップS12 ではガンマ変換部12a から出力される信号をA/D 変換部12b でディジタルデータに変換された画素データを演算処理部121 に供給してサブルーチンSUB1に進む（ディジタル変換工程）。
【０１０７】
サブルーチンSUB1では、演算処理部121 で読み出した画素データを基にYh・Ylow 作成法を適用して（生の）画素データから各画素でのYh・Ylow を算出して低域および高域の成分の信号をそれぞれ生成してサブルーチンSUB2に移行する。
【０１０８】
サブルーチンSUB2ではサブルーチンSUB1で求められた各信号が広域化するように信号処理を施す。この信号処理によって色解像度と白黒の解像度が向上させられたデータが生成される。これらのデータは、たとえば、仮想画素も含む各画素が正方格子型に配置されている。この後、ステップS13 に戻る。
【０１０９】
ステップS13 では、サブルーチンSUB2で生成された信号をユーザの要望に応じた出力形式の信号、たとえば、原色信号、補色信号、または色差信号と輝度信号等の信号に出力形式を調整する信号処理を行っている。このように動作させることにより、撮像された被写体像を高解像度な画像にすることができる。
【０１１０】
次にサブルーチンSUB1について図11〜図13を用いて説明する。サブルーチンSUB1では、演算処理部121 にて、たとえば、A/D 変換12b 供給される（生の）画素データにYh・Ylow 作成法を適用する（画素データ生成工程）。Yh・Ylow 作成法は、演算処理部121 の低域成分生成機能部121bで読み出された画素データを色フィルタの色に対応したYlow処理により色再現重視した低域成分の信号生成に必要な画素データと、高域成分生成機能部121aでYh処理により解像度重視した高域成分の信号生成に必要な画素データとの生成に関わる演算処理が図11および図12のフローチャートに従って行われる。
【０１１１】
この処理の説明において図13に示すように、たとえば、５行４列を基本配列とするハニカム形状の２次元配置の場合について検討する。ここで、図13(a) の中のRGB は色フィルタCFの色であり、その添字は行列表示による位置を示し、実線の正方形を実際の画素、破線の正方形を仮想画素で表している。この演算処理は画素および仮想画素を含めた各位置00〜44、計20の位置でYhとYlowの値を求める。以下の説明ではその計算をいくつか具体的に例示しながら説明する。
【０１１２】
図11のサブステップSS10では、Ylow処理において水平解像度を重視するか判断する。水平解像度を重視するとき（Yes ）、サブステップSS11に進む。また、水平解像度を重視しないとき（No）、サブステップSS12に移行する。
【０１１３】
サブステップSS11では、Ylow処理において図13(b) の３行２列のエリアlowG3(一点鎖線), lowRB3(二点鎖線) 内にある画素データからRBあるいはGG間の仮想画素位置の画素データを補間し、かつ５行２列のエリア lowRB5(破線) にある画素データからR あるいはB の画素データを算出するとともに、G の画素はそのままの画素データを用いて低域成分の信号を生成する。具体的には、たとえば、G 行の仮想画素Ylow10を求めるとき、画素データR00, G11, B20 を用いて仮想画素Ylow10は、
【０１１４】
【数１】
Ylow10=0.3*R00+0.59*G11+0.11*B20 ・・・(1)
から得られ、R あるいはB 行の画素データYlow22は、
【０１１５】
【数２】
Ylow22=0.3*R22+0.295*(G13+G33)+0.055*(B02+B42) ・・・(2)
から得られる。得られた画素データはメモリ等に記憶させておく。
【０１１６】
サブステップSS12では、Ylow処理において垂直解像度を重視するか判断する。垂直解像度を重視するとき（Yes ）、サブステップSS13に進む。また、垂直解像度を重視しないとき（No）、サブステップSS15に移行する。
【０１１７】
サブステップSS13では、前述した基本配列から読み出す画素データを組み換えて読み出す（画素データの組換え読出し）。この読出しの一例として元の基本配列に対して90°回転させた画素位置から画素データを読み出してもよい。この画素データの読み出した後、サブステップSS14に進む。
【０１１８】
サブステップSS14では、読み出された画素データを基にサブステップSS11での画素位置と同じ関係を見い出す処理を行ってサブステップSS11と同じ演算処理を施すとともに、得られた画素データを読出し位置に対応させて格納する。上述した読出し位置を回転させた例の場合、得られた画素データの配列を再び逆方向に回転または -90°回転させて元の基本配列の状態にした後、各画素と対応するメモリ等にデータを格納するようにしてもよい。
【０１１９】
次にサブステップSS15では、Yh処理において水平解像度を重視するか判断する。水平解像度を重視するとき（Yes ）、サブステップSS16に進む。また、水平解像度を重視しないとき（No）、接続子A を介して図12のサブステップSS17に移行する。
【０１２０】
サブステップSS16では、図13(c) の５行１列のエリアhRB5（一点鎖線）にある画素データに重み付け演算を行ってエリア中央に位置する画素データの算出、かつ３行１列のエリアhG3, hRB3(破線) にある画素データからエリア中央の仮想画素位置の画像データの補間を行うとともに、G の画素はそのままの画素データを用いて水平方向の高域成分を生成する。このYh処理は、水平方向の解像度重視する処理である。具体的には、たとえば、R, Bの単独画素Yh20を求めるとき、垂直方向５ラインの画素データR00, B20, B40 を用いて画素データYh20は、
【０１２１】
【数３】
Yh20=0.5*B20+0.25*(R00+R40) ・・・(3)
から得られ、データ算出対象の仮想画素Y10 に隣接するR あるいはB 行の画素データR00, B20を用いると、仮想画素Y10 は、
【０１２２】
【数４】
Yh10=0.5*(R00+B20) ・・・(4)
から得られる。また、仮想画素Y21 を求める場合、仮想画素Y21 の上下に隣接する画素データG11, G31を用いると、仮想画素Y21 は、
【０１２３】
【数５】
Yh21=0.5*(G11+G31) ・・・(5)
から得られる。G が単独で存在する画素データに対してはそのままの画素データを用いる。したがって、たとえば、画素データY11 は、G11 をそのまま用いる。このような処理を撮像面全体に対して繰り返すことにより、水平解像度に関する撮像面の画素データおよび仮想画素データが求められる。この後、接続子A を介して図12のサブステップSS17に進む。
【０１２４】
サブステップSS17ではYh処理において垂直解像度を重視するか判断する。垂直解像度を重視するとき（Yes ）、サブステップSS18に進む。また、垂直解像度を重視しないとき（No）、リターンに移行する。
【０１２５】
サブステップSS18では、前述した基本配列から読み出す画素データの読出しを組み換える。この場合もサブステップSS13の例と同様に読み出す画素位置を組み換えて読み出す。読出し組換え方法の一例には基本配列を90°回転させて読み出す方法がある。この処理の後、サブステップSS19に進む。
【０１２６】
サブステップSS19では回転させられた画素データを基にサブステップSS16での画素位置と同じ関係を見い出してサブステップSS16と同じ演算処理を施すとともに、得られた画素データの配列を、たとえば、読出し組換えに対応して -90°回転させて元の基本配列の状態にしてからメモリ等に格納する。一般的に、画素データの組換え読出しは、図13(d), (e)の破線に示すように読出し位置（あるいはエリア）を変えて読み出して水平／垂直方向の解像度重視処理が行われる。
【０１２７】
なお、このフローチャートでは、１つの基本配列に対する演算処理について説明したが、撮像部11から得られる画面の画像全体に対して演算処理する場合は、基本配列のエリアを水平および／または垂直方向に少しずつずらしながら、前述したエリアとの一致性をチェックし、かつこの処理手順を用いて演算を行う。また、ここで詳述しないが、このとき、画面の周辺領域に対する演算には、予め設定しておいた境界条件に応じて値を求めるとよい。
【０１２８】
このように処理した後、処理をリターンに移行してサブルーチンSUB1を終了する。この終了の後、メインルーチンに戻る。このサブルーチンSUB1のデータ処理により、水平・垂直方向に色・白黒（輝度）を重視した信号処理が行われ水平・垂直方向の低域および高域の成分信号YL, YHが生成される。このとき、このデータ処理により、仮想画素の補間処理も同時に行っているので、正方格子状の展開処理もここで行われることになる。
【０１２９】
次にサブルーチンSUB2について図14〜図16を参照しながら説明する。サブルーチンSUB2では、サブルーチンSUB1で得られた低域および高域の成分信号を基に輝度信号を広帯域化させる（広帯域化工程）。この広域化には、擬似加算処理工程と帯域重複防止工程が含まれている。図14のフローチャートに従いサブルーチンSUB2を開始してサブステップSS20に進む。
【０１３０】
サブステップSS20では、サブルーチンSUB1で生成された低域成分の信号YLから解像度を重視した高域成分の信号YHを減算して(YL-YH)lowを得る（減算工程）。図３に示したように加算器122aでの信号処理が対応している。この処理の後、サブステップSS21に進む。
【０１３１】
サブステップSS21では、加算器122aからの出力(YL-YH)lowと高域成分の信号(YH)に対してアンチエリアシングフィルタ部122bでそれぞれ折り返し歪みを防ぐ処理を施す（歪み防止工程）。アンチエリアシングフィルタ部122bには、この他、低域の色差信号(R-Y), (B-Y)も同様に処理されている。この信号処理の後にサブステップSS22に進む。
【０１３２】
サブステップSS22では、出力(YL-YH)lowと高域成分の信号(YH)を加算する（第２の加算工程）。この加算処理が擬似周波数的に加算処理である。これにより、図４に示した周波数アロケーションから明らかなように輝度信号（Y=(YL-YH)low+YH ）を広帯域化する。したがって、擬似加算処理工程は、サブステップSS20〜SS22までの処理とみなすことができる。
【０１３３】
次にサブステップSS23では、サブルーチンSUB1で水平および垂直方向の両方に対して解像度を重視した処理が施されたか判断する。両方に対して解像度を重視した処理が施されていたとき（Yes ）、サブステップSS24に進む。また、一方に対してしか解像度を重視した処理が施されていないとき（No）、リターンに移行する。この選択が選択スイッチSW1 によって行われる。
【０１３４】
サブステップSS24では、サブステップSS22までに行われた両方向の解像度重視した信号に共通した周波数帯の内、垂直方向の解像度重視した信号の共通した周波数帯を帯域制限する（帯域制限工程）。たとえば、図５に示すように垂直方向の高域成分の信号に帯域制限を施すとき、この成分信号が、図５の周波数重複処理部123 のフィルタ部（HPF ）123aに供給するように切換スイッチSW2 が水平／垂直方向の信号を切り換えている。フィルタ部123aは、垂直方向の解像度重視した信号において水平方向の解像度重視した信号と共通した周波数帯以外の周波数だけを通すハイパスフィルタである。水平／垂直方向の解像度重視した信号は、それぞれ、横軸を周波数軸f(h), f(v)、縦軸をレスポンスレベルR(h), R(v)で図15(a), (b)に示すように表される。フィルタ部123aを通した後、垂直方向の解像度重視した信号は、図15(c) に示すような周波数分布になる。
【０１３５】
次にサブステップSS25では、フィルタ部123aからの出力と共通した周波数帯を含む他方向、すなわち、水平方向の高域成分の信号を加算する（加算処理工程）。水平／垂直方向の成分信号を水平／垂直方向の周波数軸(fh, fv)上に表すと、図15(a) の信号と図15(c) の信号を加算器123bで加算することにより、図15(d) に示す周波数分布が得られる。これにより、両方向の画像信号を重ねて画像信号を広帯域化させても得られた画像に異常を来すことなく、高解像度な画像を供給することができるようになる。この後、リターンに進み、サブルーチンSUB2を終了する。さらに、この後ステップS13 に進む。
【０１３６】
上述した帯域重複防止工程には、サブステップSS24, SS25での処理に相当している。画素に対応した成分信号の広帯域化は、水平／垂直の周波数分布でチェックできる。この比較として図16に正方格子をG 正方格子とこのG 正方格子に対してピッチの半分の距離だけずらしたRB完全市松パターン（以下、単板画素ずらし型G 正方RB完全市松フィルタパターンという）に配置した際の周波数分布と高域の成分信号(YH)を作成したときの周波数分布をそれぞれ示す。ここで、比較基準として従来の150 万正方格子G ストライプRB市松パターン配置の場合、RGB のパターンは、図16(a) のように水平／垂直周波数軸fh/fv をそれぞれ2 と1 の位置を切る周波数分布で表される。
【０１３７】
このパターンから高域の成分信号(YH)を生成した際の周波数分布は、図16(b) に示すように水平／垂直周波数軸fh/fv をそれぞれ2 と2 をそれぞれ切るので、正方形になる。画素数を倍の300 万画素に増やすと、図16(c) の周波数分布は、比較基準に対し(2)1/2倍に大きく、すなわち水平／垂直周波数軸fh/fv 上で1.4 と2.8 をそれぞれ取ることになる。したがって、高域の成分信号(YH)の周波数分布は、図16(d) のように帯域が広がる。
【０１３８】
本発明の非正方格子（ハニカム形状）を単板画素ずらし型G 正方RB完全市松フィルタパターンに配置した画素数300 万の場合、図16(e) に示す周波数分布は、水平／垂直周波数軸fh/fv 上で2 と2 を切る分布になる。高域の成分信号(YH)の周波数分布は、図16(f) のように水平方向と垂直方向の各成分が交差する点では、擬似加算処理のため、4 になる。このような周波数特性を得るには、画素数を倍の600 万個に増やして水平／垂直周波数軸fh/fv 上での値を4 と2 にしたときの高域の成分信号(YH)の周波数分布に相当している（図16(g), (h)を参照）。
【０１３９】
固体撮像装置10は、少ない画素数でありながら、このように画素の配置およびその配置の受光素子からの（生の）画素データに信号処理を施して得られた成分信号の周波数帯域を広帯域化することにより、得られる画像を高品質なものにしている。
【０１４０】
また、サブルーチンSUB1でのYh・Ylow 作成法による演算に限定されるものでなく、水平／垂直方向の解像度を重視したYhの画素データの生成には、画素データのうちで色フィルタCFのR,B に対応する画素データをそのまま用い、仮想画素位置の画素データを隣接する行（すなわち、上下の画素データ）あるいは列（すなわち、左右の画素データ）の画素データに重み付けして補間処理を行ってもよい。図13に示すハニカム基本配列のパターン配置では、R, Bの画素データをそのまま用い、上下の画素データから補間すると、画素、および仮想画素位置のYhは、たとえば、
【０１４１】
【数６】
Yh00=R00,
Yh01=0.5*G11+0.5*G11*Yh02,
Yh02=B02,
Yh03=0.5*G13+0.5*G13,
Yh10=0.5*R00+0.5*B20,
Yh11=G11,
Yh12=0.5*B02+0.5*R22,
Yh13=G13,・・・・ ・・・(6)
として求めることができる。R, Bの画素データをそのまま用い、左右の画素データから補間するとき、上述したYh00, Yh01, Yh02, Yh03, Yh11, Yh13の算出方法は同じであるが、Yh10とYh12はYh10=0.5*G11+0.5*G11, Yh12=0.5*G11+0.5*G13から求める。
【０１４２】
この他、Yhの作成には、たとえば、Yh22を算出する際にYh22に隣接する上下左右斜めに位置する色フィルタのG に対応する４つの画素データG11, G13, G21, G23だけを用いて相関検出を行って相関値｜G11-G33 ｜と｜G13-G31 | を算出する（第１の相関検出工程）。次に、得られた相関値の大きい方の画素データを用いて直線補間を行ってYh22の値を算出する（第１の直線補間工程）、この位置関係にある同じ配置の画素データについてYhの計算を繰り返す。さらに、ここで求めたYhの値を用い他の画素を算出する。このとき、第１の直線補間工程で得られた画素データを含めた３つの画素データで囲まれる仮想画素の位置の画素データを求めるように相関検出を行う（第２の相関検出工程）。この相関検出の処理結果に応じて直線補間を行って（第２の直線補間工程）繰り返し処理することにより、パターン全面の画素および仮想画素のYhを算出している。また、第２の直線補間工程の代わりに第１の直線補間工程で得られた画素データを含めた３つの画素データで囲まれる仮想画素の位置の画素データに対して４つの画素データを用いて加重平均するようにしてもよい。
【０１４３】
なお、この実施例では、画像データを生成する段階で正方格子状の展開処理も行ったが、受光素子からの画素データだけに対して広帯域化し、得られた広帯域な画素データを基に仮想画素位置の画素データを補間して画素データを増やし正方格子状の配列になるように展開処理を行うようにしてもよい。
【０１４４】
次に固体撮像装置10の第２の実施例について図17〜図23を参照しながら説明する。データは、撮像部11の開口部APがハニカム状の開口形状をした非正方格子状の画素から得られる。また、撮像された生データには、インデックス画が一緒に付加してもよい。図示しない撮像部11は、前述の実施例と同様にカラー信号処理部12のガンマ変換部12a に撮像信号を供給する。図17に示すようにガンマ変換部12a は、ガンマ変換( 補正) を施した後、A/D 変換部12b に信号を出力する。A/D 変換部12b は、供給されたアナログ信号をディジタル変換して信号処理部12c に供給する。図17の信号処理部12c は前述の実施例の構成と異なっている。図17に示す信号処理部12c は、演算処理部121 内のプレーン補間展開機能部121P、色差マトリクス部127 、輪郭信号発生部128 、および加算器129 を備えている。
【０１４５】
ガンマ変換部12a は、ガンマ変換されたデータを演算処理部121 のプレーン補間展開機能部121Pおよび輪郭信号発生部129 に供給している。
【０１４６】
プレーン補間展開機能部121Pは、三原色R,G,B の各色に着目し仮想画素の位置の色データも含めた面データとして色再現を考慮して３つの成分信号にそれぞれ補間展開させる演算処理部である。プレーン補間展開機能部121Pは、三原色RGB に対応したR プレーン補間展開機能部121A、G プレーン補間展開機能部121B、およびB プレーン補間展開機能部121Cを備えている。これら各部の処理については後段の処理手順で詳細に説明する。
【０１４７】
色差マトリクス部127 は、プレーン補間展開部121Pから得られる３つの成分信号を基に色差信号および輝度信号を生成する。
【０１４８】
輪郭信号発生部128 は、輪郭強調データ生成機能部128aと、周波数重複防止部128bとを備えている。輪郭強調データ生成機能部128aは、プレーン補間展開部121Pに供給される前のデータから解像度を重視した高域成分信号(YH)の基となる画素データを生成する。この画素データの生成は、たとえば、Yh・Ylow 法の内Yhの算出方法を用いて供給される画素データから生成している。この画素データの生成時、輪郭強調データ生成機能部128aは、データを正方格子状に展開生成し周波数重複防止部128bに供給する。周波数重複防止部128bは、たとえば、水平および垂直方向の解像度重視した信号が供給され、水平・垂直方向の信号内、一方の方向の信号と他方の信号とに共通の周波数帯が存在するとき、たとえば、一方の信号に対して共通の周波数帯を帯域制限し、この信号と他方の信号とを合成して加算器129 に出力する。この出力信号は、前述した第１の実施例の高域の成分信号(YH)で輪郭強調させる信号として用いられる。
【０１４９】
加算器129 は、輪郭信号発生部128 からの出力と色差マトリクス部127 からの輝度信号をそれぞれ加算入力する。この加算により輝度信号の輪郭が強調されるようになる。
【０１５０】
ところで、この第２の実施例の変形例として、輪郭信号発生部128 は、G 色だけの画素データから相関検出を行いこの相関検出の高い方のデータを用いて補間を行い、得られたデータから解像度を重視した成分信号を生成してもよい（後段の図22を参照）。このように生成された成分信号を輝度信号に加えると、この信号を適用した画像は輪郭強調される。
【０１５１】
次に信号処理部12c の信号処理の手順について図18〜図20のフローチャートおよび図21のパターン配置図を参照しながら説明する。信号処理部12c は、演算処理部121 で色フィルタCFに対応する三原色R, G, B の各色に着目し仮想画素の位置の色データも含めた面データとして色再現を考慮してそれぞれ補間展開する。この補間処理をプレーン補間展開という。このプレーン補間は三原色R, G, B の着目対象の色を含む行（水平）あるいは列（垂直）に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む行に対して隣接する行あるいは列の画素データを平均して行う。
【０１５２】
この実施例においては図18のフローチャートが示すように、まずステップS20 では、撮像部11から供給される撮像信号にガンマ変換部12a でガンマ変換（補正）処理を施す。この処理の後、ステップS21 に進む。
【０１５３】
ステップS21 では、ガンマ変換部12a からの出力にA/D 変換部12b でA/D 変換処理を施す。この処理の後、次にサブルーチンSUB3に移行する。このサブルーチンSUB3では、RGB の各色についてのプレーン補間展開およびこの展開後の各位置に対するYlowの値を算出し、さらにこの値に対応する信号を出力する。
【０１５４】
ステップS22 では、供給された信号を基に色差マトリクス部127 で色差信号(B-Y), (R-Y)および輝度信号Y を生成してサブルーチンSUB4に移行する。
【０１５５】
サブルーチンSUB4では、輝度信号Y に輪郭強調処理を施している。この処理を行うことによって撮像された画素データは高品質の信号として出力させることができるようにする。
【０１５６】
前述したサブルーチンSUB3の処理について、図19を参照しながら説明する。サブルーチンSUB3に移行すると、すぐにサブステップSS30に進む。サブステップSS30では、R プレーンについて水平方向に補間展開を行う。この補間は、原色R の着目対象の色を含む行に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む行、すなわち、R 画素のない行に対して隣接する行の画素データを用い平均して補間する。具体的に図21の基本配列（５行５列）を基に説明すると、R プレーン補間展開機能部121Aは、たとえば、
【０１５７】
【数７】
Rlow00H=R00,
Rlow01H=(3*R00+R04)/4,
Rlow02H=(2*R00+2*R04)/4,
Rlow03H=(R00+3*R04)/4,
Rlow04H=R04,・・・・ ・・・(7)
等の演算を行ってサブステップSS31に進む。
【０１５８】
サブステップSS31では、G プレーンについて水平方向に補間展開を行う。この補間は原色G の着目対象の色を含む行に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む行、すなわち、G 画素のない行に対して隣接する行の画素データを用い平均して補間する。具体的に図21のハニカム基本配列を基に説明すると、G プレーン補間展開機能部121Bは、たとえば、
【０１５９】
【数８】
Glow00H=G11/3,
Glow01H=G11/2,
Glow02H=(G11+G13)/4,
Glow03H=G13/2,
Glow04H=G13/3,
Glow10H=G11/2,
Glow11H=G11,
Glow12H=(G11+G13)/2,
Glow13H=G13,
Glow14H=G13/3,・・・・ ・・・(8)
等の演算を行ってサブステップSS32に進む。
【０１６０】
サブステップSS32では、B プレーンについて水平方向に補間展開を行う。この補間は原色B の着目対象の色を含む行に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む行、すなわち、B 画素のない行に対して隣接する行の画素データを用い平均して補間する。具体的に図21のハニカム基本配列を基に説明すると、B プレーン補間展開機能部121Cは、たとえば、
【０１６１】
【数９】
Blow00H=B02/3,
Blow01H=B02/2,
Blow02H=B02,
Blow03H=B02/2,
Blow04H=B02/3,
Blow10H=(3*B20+B02)/4,
Blow11H=(3*B20+2*B02)/4,
Blow12H=B02/2,
Blow13H=(2*B02+3*B24/4,
Blow14H=2*B02/3,・・・・ ・・・(9)
等の演算を行ってサブステップSS33に進む。
【０１６２】
サブステップSS33以降では、垂直方向のプレーン補間展開を行う。この補間は、三原色R, G, B の着目対象の色を含む列に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む行に対して隣接する列の画素データを平均して補間を行う。サブステップSS33では、R プレーンについて垂直方向に補間展開を行う。この補間は、原色R の着目対象の色を含む列に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む列、すなわち、R 画素のない列に対して隣接する列の画素データを用い平均して補間する。
具体的に図13のハニカム基本配列を基に説明すると、R プレーン補間展開機能部121Aは、たとえば、
【０１６３】
【数１０】
Rlow00V=R00,
Rlow10V=(3*R00+R40)/4,
Rlow20V=(2*R00+2*R40)/4,
Rlow30V=(R00+3*R40)/4,
Rlow40V=R40,・・・・ ・・・(10)
等の演算を行ってサブステップSS34に進む。
【０１６４】
サブステップSS34では、G プレーンについて垂直方向に補間展開を行う。この補間は原色G の着目対象の色を含む列に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む列、すなわち、G 画素のない列に対して隣接する列の画素データを用い平均して補間する。具体的に図21のハニカム基本配列を基に説明すると、G プレーン補間展開機能部121Bは、たとえば
【０１６５】
【数１１】
Glow00V=G11/3,
Glow10V=G11/2,
Glow20V=(G11+G31)/4,
Glow30V=G31/2,
Glow40V=G31/3,
Glow01V=G11/2,
Glow11V=G11,
Glow21V=(G11+G31)/2,
Glow31V=G31,
Glow41V=G31/3,・・・・ ・・・(11)
等の演算を行ってサブステップSS35に進む。
【０１６６】
サブステップSS35では、B プレーンについて垂直方向に補間展開を行う。この補間は原色B の着目対象の色を含む列に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む列、すなわち、B 画素のない列に対して隣接する列の画素データを用い平均して補間する。具体的に図21のハニカム基本配列を基に説明すると、B プレーン補間展開機能部121Cは、たとえば、
【０１６７】
【数１２】
Blow00V=B20/3,
Blow10V=B20/2,
Blow20V=B20,
Blow30V=B20/2,
Blow40V=B20/3,
Blow01V=(3*B02+B20)/4,
Blow11V=(3*B02+3*B20)/4,
Blow21V=B20/2,
Blow31V=(3*B20+3*B42)/4,
Blow41V=B42/2,・・・・ ・・・(12)
等の演算を行ってサブステップSS36に進む。
【０１６８】
サブステップSS36では、演算処理部121 内において正確な色再現を重視した水平方向の輝度信号(YLH) としてのデータを生成する。ここで、輝度信号(YLH) 、すなわちYlowは、これまで求めた各位置でのRlow, Glow, Blowを用いて、
【０１６９】
【数１３】
Ylow=0.3*Rlow+0.5*Glow+0.11*Blow ・・・(13)
によって計算する。この生成にあたり、水平方向の解像度を重視した輝度信号(Y LH)は、サブステップSS30〜SS32でプレーン補間されたR, G, B を用いて算出される。
【０１７０】
次にサブステップSS37では、式(13)を用いて演算処理部121 内において正確な色再現を重視した垂直方向の輝度信号(YLV) として生成する。この生成にあたり、垂直方向の解像度を重視した輝度信号(YLV) は、サブステップSS33〜SS35でプレーン補間されたR, G, B を用いて算出される。このようにして算出されたデータが色差マトリクス部127 に出力される。これらの演算処理の後、リターンに移行してサブルーチンSUB3を終了する。このように処理することにより、RGB プレーン補間展開するとともに、隣接するRGB 間の仮想画素位置のデータも算出されたことになる。サブルーチンSUB3では水平／垂直方向のプレーン補間展開をそのまま行うように説明したが、サブステップSS30とSS33の前にそれぞれプレーン補間展開の演算処理を行うかどうか判断させるようにしてもよい。
【０１７１】
前述したようにステップS22 では、プレーン補間展開機能部121Pから供給される水平および垂直プレーン補間展開の展開結果に基づいて色差(B-Y), (R-Y)、および輝度データY を生成する。この処理は、色差マトリクス部127 が担っている。この処理の後、サブルーチンSUB4に移行する。
【０１７２】
サブルーチンSUB4では、図20に示す手順に従って、水平方向および／または垂直方向の高域成分の信号(YH)を生成する処理を行う。この処理は輪郭信号発生部128 で行われている。サブルーチンSUB4では、まずサブステップSS40に進む。
【０１７３】
サブステップSS40では、水平方向の高域成分に対応する画素データを生成する。このデータ生成には前述したサブルーチンSUB1で用いたYh・Ylow 法のうち、Yhを算出する手順だけしか含まれていない。実際の手順は第１の実施例と同じなので説明を省略する（図13(c) を参照）。この後サブステップSS41に進む。
【０１７４】
サブステップSS41では、垂直方向の高域成分に対応する画素データを生成してサブステップSS42に進む。
【０１７５】
サブステップSS42では、サブステップSS41までに水平および垂直方向の信号が得られたとき、共通の周波数帯が重複することを防止するため一方の信号に帯域制限を施し、この信号と他方の信号を加算して加算器129 に出力する。
【０１７６】
次にサブステップSS43では、輪郭強調処理を行う（輪郭強調工程）。この処理のために加算器129 が用いられる。加算器129 は、一端側に色差マトリクス部127 からの輝度信号Y を加算入力させ、他端側には輪郭信号発生部128 からの水平方向および／または垂直方向の解像度の重視の高域成分の信号を加算入力させている。この両信号を加算することにより、出力される輝度信号は輪郭が強調された信号になる。この一連の処理によってRGB の各色毎にプレーン展開して得られた輝度信号に輪郭強調を施している。この輪郭強調が終了すると、リターンに移行してサブルーチンSUB4の処理を終了する。第２の実施例では、このような一連の処理によってRGB の各色毎にプレーン展開して得られた輝度信号に輪郭強調を施している。
【０１７７】
また、輪郭強調は、上述した手順に限定されるものでなく、たとえば、輪郭信号発生部128 に供給されるG プレーン補間展開機能部121Bからの出力を基に輪郭強調する信号を生成させてもよい。この場合、輪郭信号発生部128 は、図22に示すように最初にG 色だけの画素データを用いて相関検出を行う。ここで、図22では、図17と共通する部分に、同じ参照番号を付している。輪郭信号発生部128 では、次に得られた相関検出の高い方のデータを用いて補間処理を行う。この補間処理は、正方格子状に仮想画素の位置についても画素データの補間を行っている。これら一連の補間処理は、演算処理部121 の処理手順において説明した相関処理の場合と同じである。このようにして得られた画素データが周波数重複防止部128bに供給される。周波数重複防止部128bは、水平および垂直方向の解像度を重視した高域の信号成分を含む信号を生成する。このように生成された信号が図22に示す加算器129 に供給される。加算器129 は、前述したサブルーチンのサブステップSS43と同様の処理を行って輝度信号Y を輪郭強調させることになる。
【０１７８】
そして、撮像部11で検出した（生の）画素データからプレーン補間展開する他の処理方法には、原色G を用いて他の原色R, Bの展開を行う方法がある。一般的に、原色G の信号のレベル変化が映像信号における輝度の変化に大きく影響することが知られている。この方法は、この影響が他の原色R,B の展開に反映させることに基づいて行われる。図23を用いて簡単に原理を説明する。この一例は、R プレーン補間展開で図23に示す未知のR11 を求める場合である。この際に、G20, G11, G22, R20, R22 の既知の信号レベルを用いる。この補間処理には、G20, G22の加重平均値ΔG とR20, R22の加重平均値ΔR が等しいと近似されると仮定を用いる（ΔG ＝ΔR ）。この関係を用いれば、加重平均する際の各重み係数も既知の値であるから、未知の画素データR11 は容易に算出される。この手順を繰り返してR プレーン補間展開してもよい。原色B 信号の補間も同様に行うことができる。このようにしてR, B展開補間させることができる。
【０１７９】
なお、RGB のプレーン補間展開を行いマトリクス処理を行うが、輪郭強調が施されないような処理の場合、固体撮像装置10は、別途、この輪郭強調に相当する高域の成分信号を生成するようにYh・Ylow 法により各画素のデータ(Yh)を求めるように第１の実施例で行った処理を施して信号の広帯域化を図って画像の解像度を向上させてもよい。
【０１８０】
次に固体撮像装置10の第３の実施例について説明する。本実施例の撮像部11は、開口部APが互いに一定間隔毎にずらした配置、すなわちハニカム配置されている。カラー信号処理部12は、図24に示すように、第１の実施例と同様のガンマ変換部12a, A/D変換部12b,および信号処理部12c を有するとともに、さらにデータ配置変換部12d およびデータ補間展開部12e を備えている。
【０１８１】
ここで、新たに備えたデータ配置変換部12d は、信号処理部12c でハニカム配置の受光素子PDから得られる画素データを斜め45°から見た正方格子状のベイヤ配置の面データと同等にみなせる関係が得られるようにデータの書込み／読出し制御を行っている。このようなデータの書込み／読出しが可能になるように信号処理部12c の演算処理部121 には、配置変換用にバッファメモリを備えている（図示せず）。演算処理部121 では、前述の第１および第２の実施例において行われたような補間処理を行わず、単にデータ配置変換部12d の制御に応じて供給される受光素子PDからの信号だけについて信号処理を施している。
【０１８２】
実際に施される信号処理の内容は、供給されるハニカム配置のデータがベイヤ配置に配置変換され、このベイヤ配置のデータに前述の実施例で説明したと同様の演算処理が施され、これらのデータから得られる成分信号を擬似周波数的に加算させ、さらに得られた成分信号に周波数帯域が共通する成分がある場合には、加算による周波数帯域の重複を防止してこの信号を広帯域化させる処理を行う。また、データ配置変換部12d は、データ補間展開部12e の動作も後述するように制御している。
【０１８３】
データ補間展開部12e は、図25に示すように、信号処理部12c から得られた画素に対する信号（画素データ）を基に正方格子状に展開するとき、仮想画素についてのデータ補間展開を行う。このためデータ補間展開部12e は、バッファメモリ12f1, 12f2, 12f4, および補間演算処理部12f3を備えている。
【０１８４】
信号処理部12c から処理された画素データがバッファメモリ12f1に供給される。バッファメモリ12f1には、斜め45°から見た正方格子状のベイヤ配置の面データとしてディジタルデータが一時的に保存される。バッファメモリ12f1からのデータは、バッファメモリ12f2をデータ配置変換部12d のアドレス制御によりハニカム配置に配列を変更してバッファメモリ12f2に格納する。
【０１８５】
そして、補間演算処理部12f3は、バッファメモリ12f2からのデータに補間処理を施してバッファメモリ12f4に供給する。補間演算処理部12f3のデータ補間には、たとえば、均等補間や適応型補間等が適用される。仮想画素を加えてデータ補間することにより、面データが正方格子の２次元配列データに展開される。バッファメモリ12f4は、格納されたデータを、たとえば、マトリクス部126 に供給する。マトリクス部126 は供給された信号から三原色RGB を出力する（図示せず）。これにより、固体撮像装置10は、高解像度で、かつ擬色軽減された画像の出力が可能になる。
【０１８６】
本実施例の固体撮像装置10のカラー信号処理部12の処理手順として図27および図28のフローチャートを参照しながら説明する。ここで、ハニカム配置は、前述したように正方格子配置の画素を45°回転させた配置と等価である（図７を参照）。この関係は正方格子配置の画素を斜め45°から見た配置とも考えることができる。図26(a) の、たとえば、隣接する画素に画素ずらしを伴うG ストライプRB完全市松パターンのハニカム配置（単板画素ずらし型G 正方RB完全市松フィルタパターン）は、図26(b) に示すように斜め45°から見て回転のない正方格子配置の画素としてその画素の色フィルタのパターンに着目すると、正方格子状のベイヤ配置とみなすことができる。データ配置変換部12e は、この点を考慮したデータの書込み／読出しによりデータ配列の変換処理を行っている。
【０１８７】
図27に示したメインルーチンにおいてステップS10 〜ステップS12 までの処理は、図10について行った説明と同じことからこの説明を省略し、ステップS12Aの処理から説明する。ステップS12Aでは、信号処理部12c が供給されるハニカム配置の画素データを正方格子状のベイヤ配置とみなすことができるようにデータ配置変換部12e の制御を受ける。信号処理部12c でのこのデータ配置変換処理の後、サブルーチンSUB1に進む。
【０１８８】
サブルーチンSUB1では、このような画素データを用いて対応する画素位置だけに信号処理を施して信号を生成している。したがって、このサブルーチンSUB1は、補間展開をしない演算処理を行っている。すなわち、第１および第２の実施例のように仮想画素位置のデータは算出されない。この演算処理には、前述した実施例と同様にYh・Ylow 法を用いている。この後、すぐにサブルーチンSUB2に進む。
【０１８９】
サブルーチンSUB2では、得られた信号を広帯域化させるとともに、水平／垂直方向の解像度処理が施された信号の周波数帯域に共通帯域が存在するとき、重複防止のため一方の信号の周波数帯域に帯域制限を施してこの信号と他方の信号を合成させている。サブルーチンSUB2を終了した後、ステップS13 に進む。
【０１９０】
ステップS13 では、サブルーチンSUB2で生成された各画素（仮想画素は含まない）に対応したベイヤ配置から得られた信号をユーザの要望に応じた出力形式の信号、たとえば、原色信号、補色信号、または色差信号と輝度信号等の信号にして出力するように信号処理を行ってサブルーチンSUB5に進む。
【０１９１】
サブルーチンSUB5は、ステップS13 で得られたベイヤ配置の各信号を正方格子状に変換するとともに、画素補間処理を行う（データ補間展開工程）。すなわち、正方格子状への変換は、図26(b) の斜め45°に回転させて見た配置を逆に45°回転させることによって図26(a) のハニカム配置に配置を戻している。換言すれば、この回転処理は、画素の読出し組換えを行うことに他ならない。さらに、サブルーチンSUB5では、この配置から得られる信号を基に画素補間処理を行って結果的に正方格子状の配置となるように展開処理を行っている。このように処理することにより、固体撮像装置10は、撮像によって得られる信号を高画質の画像信号として出力している。
【０１９２】
上述したサブルーチンSUB5の処理について図28のフローチャートを用いて説明する。サブルーチンSUB5はまず処理を開始してサブステップSS51に進む。サブステップSS51では、この処理を行うためまず、得られた画素データがバッファメモリ12f1に格納される。
【０１９３】
次にサブステップSS52では、バッファメモリ12f1から画素データを読み出すとき、たとえば、CPU 等の制御によって画素データをハニカム配置に戻す処理が行われて得られた結果がバッファメモリ12f2に格納される。
【０１９４】
次にサブステップSS53では、補間演算処理部12f3でバッファメモリ12f2からの画素データを用いて、たとえば、周辺画素の画素データからの均等補間、あるいは相関検出した結果に応じた適応型の補間処理等を行う。この処理によって、図26(a) に示したように配置を戻すと、画素が１画素毎にしか信号がないことが理解できる。このとき、対応画素のない仮想画素の信号を補間して与えると、固体撮像装置10は、元々の画素数に比べて２倍の画素が正方格子状に展開されること（以下、正方格子展開という）と同等になる。
【０１９５】
次にサブステップSS54では、サブステップSS53において正方格子展開された画素データをバッファメモリ12f4に格納してリターンに移行してサブルーチンSUB5を終了する。この終了後、メインルーチンも終了する。このような手順で動作させることにより、結果として固体撮像装置10は撮像した被写体の画像を高解像度の信号にして出力させることを可能にしている。
【０１９６】
なお、本実施例と同様にハニカム配置の画素配列を正方格子配置の画素配列と等価にみなし、かつ信号処理を第２の実施例、すなわち演算処理部121 で三原色R,G,B に対するプレーン展開を行い、輪郭信号発生部126 で、たとえば、高域を補正する補正信号（すなわち解像度を重視した信号）をG 色だけのデータから相関検出に基づいて生成させてもよい。この補正信号Ghを色差マトリクス部125 からの輝度信号Y に補正信号Ghを加算して出力しても、固体撮像装置10は高解像度の信号の出力が可能である。
【０１９７】
このように処理することにより、固体撮像装置10は、高解像度の信号の出力が可能になるとともに、ローパスフィルタを通した際に得られる効果と同等の効果も得られるようになる。
【０１９８】
これまでの説明から明らかなように固体撮像装置10は、正方格子状に画素を配置した際の画素数に比べてこの画素数よりも少ない画素数であってもハニカム配置を用い、かつ信号処理を行うことによって、得られる画像の色再現および解像度等の特性を向上させることができることがわかった。一方、従来の固体撮像装置は、上述した特性等を向上させるため画素数を増加させた結果、単位画素の占める受光面積も小さく（すなわち、画素ピッチの縮小限界にまで達するように）なり素子の感度低下が発生してしまう。画素が小さいことや得られる信号の特性改善を図るため画素ずらしを行う際に、従来の固体撮像装置では組立て工程において画素数の増加に伴って画素ずらしの精度向上がクローズアップされるてきている。この精度要求は、特に、カラーカメラの組立て工程等の作業が困難なものになり、この結果、カラーカメラ装置の光学系のコストをアップさせてきた。しかしながら、固体撮像装置10は撮像部11および色フィルタCFに画素ずらしを伴ったハニカム配置を用いているので、画素数が従来の固体撮像装置に比べて、たとえば、半分程度になっている。このようなハニカム配置を用いることにより、光学系の撮像部11および色フィルタCFの組立ておよびそれに伴う調整工程の作業が比較的に容易に行うことができるようになる。
【０１９９】
ハニカム配置を用いた複数組み合わせた多板の色フィルタについて具体例を挙げて説明する。まず、光学系には分光手段として複数のプリズム（図示せず）を接合してレンズからの透過光が撮像部11の各受光部に送られる。この各受光部の前には色フィルタCFが配設されている。ここで、受光部が２つの２板式の場合、色フィルタCFは、色フィルタCF1 および色フィルタCF2 を用いる。
【０２００】
第１の色フィルタCFの場合、図29(a) に示す色フィルタCF1 の色の空間配置は、G1とR の色を１行毎に交互に配したハニカム配置にする。図29(b) に示す色フィルタCF2 の色の空間配置は、G2とB の色を１行毎に交互に用い、かつ色フィルタCF1 のG1の色の行にB の色を配したハニカム配置にする。たとえば、色フィルタCF1 に対して色フィルタCF2 を行方向に１画素ピッチ分ずらして貼り合わせると、図29(c) に示す色フィルタCFを容易にG ストライプRB完全市松パターンにすることができる。
【０２０１】
また、第２の色フィルタCFの場合、図29(d) に示すようにハニカム配置の色フィルタCF1 をG の色だけで構成し、色フィルタCF2 の色の空間配置は、図29(e) に示すようにR とB の色を１行毎に交互に配したハニカム配置にする。この場合も、たとえば、色フィルタCF1 に対して色フィルタCF2 を行方向に１画素ピッチ分ずらして貼り合わせる。この貼り合わせにより、第２の色フィルタCFを容易にベイヤパターンにすることができる（図29(f) を参照）。
【０２０２】
そして、第３の色フィルタCFは、前述した第１の色フィルタの色フィルタCF1, CF2を用いる（図30(a), (b)を参照）。第３の色フィルタCFは色フィルタCF1, CF2の画素位置を完全に一致させて貼り合わせることにより、図30(c) に示すハニカム配置のパターンを形成する。
【０２０３】
次にハニカム配置を用いた３板DG方式の色フィルタの空間配置について説明する。色フィルタCFは、色フィルタCF1, CF2, CF3 を用いる（図31(a),(b),(c) を参照）。図31(a),(b) の色フィルタCF1, CF2はハニカム配置で互いに画素ピッチ分ずれた位置関係にある。色フィルタCF1, CF2は、同色のG1, G2色に設定している。また、図31(c) の色フィルタCF3 は、色フィルタCF2 と同じ画素配置のハニカム配置であるとともに、配色をR およびB 色に設定している。色フィルタを固着させる際には、同じ画素配置関係にある色フィルタCF2 と色フィルタCF3 を組み合わせて貼り合わせる。これにより、色フィルタは、図31(d) の同色G1, G2が交互に配される正方格子状の配列と図31(e) の異色R, Bがハニカム配置された配列を作ることができる。
【０２０４】
また、図32(a), (b), (c) のように、色フィルタCF1, CF2, CF3 を同じハニカム配置の関係に形成する。これらの色フィルタCF1, CF2, CF3 には、それぞれR,G,B の色が対応している。色フィルタCF2 に対して色フィルタCF1, CF3は、ともに画素ピッチ分だけずらして重ね合わせる。このよう重ね合わせると色フィルタは、色のG と重ねた色R, Bが交互に得られる配列を作ることができる（図32(d) を参照）。
【０２０５】
この他にもハニカム配置においてそれぞれ従来から用いられている開口形状が正方格子の場合、図33(a) のRGB 画素ずらし方式および図33(b) に示すようにDG画素ずらし方式等でも３板式の色フィルタを構成できる。この際に、図33(b) のDG画素ずらし方式で補間画素の位置は、図33(c) の破線の四角形内に（補）が記されている位置に対応する。この補間は、周囲の色G1, G2から得られる画素データを基に行う。具体的には、たとえば、図33(d) に示すように補間画素G の周辺に隣接する上下左右の画素G1U, G1B, G2L, G2Rを用いる。演算処理には、これらの画素データが用いられる。演算の具体例としては、演算を
【０２０６】
【数１４】
G=(G2L+G2R)/2, ・・・ (14a)
G=(G1U+G1B)/2 ・・・ (14b)
あるいは0 から1 の範囲内の係数 Kを用いて
【０２０７】
【数１５】
G=K*(G2L+G2R)/2+(1-K)*(G1U+G1B)/2 ・・・(15)
によって行う。
【０２０８】
このように色フィルタを配することにより、たとえば、図33(b) のようにハニカム配置の色G1, G2, R 縦ストライプ,B縦ストライプを合わせて正方格子型にすると、色RBのプレーン展開時の色G に関する信号の精度を向上させることができる。
【０２０９】
次にハニカム配置を用いた４板DG方式の色フィルタの空間配置について説明する。色フィルタCFは、図34(a) 〜(d) に示す色フィルタCF1, CF2, CF3, CF4を用いる。色フィルタCF1 には、ハニカム配置のパターンで色G1が配されている。また、図34(b) の色フィルタCF2 は、図34(a) の色フィルタCF1 の画素配置と画素ピッチ分ずれた配置関係にある。色フィルタCF2 は、色フィルタCF1 と同色で区別するためG2で表している。この場合、色フィルタCF3 には、図34(c) に示すように色フィルタCF2 と同じハニカム配置が適用され色R が配されている。一方、図34(d) の色フィルタCF4 は、色フィルタCF1 と同じハニカム配置が適用され色B が配されている。色フィルタCF1, CF2を互いが相補的な関係となるように貼り合わせると、図34(e) に示す色G1, G2および図34(f) に示す色R, Bの正方格子状の配列がそれぞれ得られる。
【０２１０】
このように構成することにより、前述した３板方式に比較して色R,B の色解像度を高くすることができる。これまで説明してきたようにハニカム配置の色フィルタを多板構成にすることにより、貼り合わせ後、空間上の画素配置が倍密になり、正方格子等で構成できる。
【０２１１】
なお、前述した中で色G1, G2に対応して供給される画素データは、合成および補間等の信号処理を受けて各部に供給されている。
【０２１２】
次に本発明の固体撮像装置10を適用した面順次単板方式のカラー撮像装置について簡単に説明する。この面順次単板方式のカラー撮像装置は、静止した被写体の撮影に好適なものである。一般的に、面順次単板方式は、撮像、受像とも白黒のデバイスで良好なことが知られている。ここで、固体撮像装置10と共通する部分については同じ参照番号を付して説明を省略する。
【０２１３】
この方式のカラー撮像装置は、受光素子PDが２次元的に並べられた撮像部11と、撮像部11の撮像面に平行な２次元平面内を、たとえば、横(X) 方向と縦(Y) 方向とに移動させる移動機構と、被写体と撮像部11との光路間、たとえば、撮像部11の直前に配されるハニカム配置の複数の色フィルタCFと、複数の色フィルタCFから１枚の色フィルタを選択して光路間への挿入を切り換える色フィルタ切換機構と、撮像部11からの出力を記録する記録再生部と、撮像部11および記録再生部の出力に信号処理を施すカラー信号処理部12とを備えている。
【０２１４】
ここで、撮像部11、複数の色フィルタCFおよびカラー信号処理部12は、前述した実施例で説明した構成と同じように構成されている。特に、色フィルタCFは、移動機構により撮像部11が移動させられるので、この移動にしても撮像面がカバーされるように撮像面積より大きく形成されている。
【０２１５】
移動機構は、撮像部11の微小な移動を使用する色フィルタCFの種類に応じて行う。すなわち、移動は色フィルタCFの画素ずらし分に対応して行う。微小な制御が難しい場合、ずらす画素ピッチの関係には周期性があるので適当な移動量に設定して調整するようにしてもよい。この移動機構としては、X-Y 方向にそれぞれ精度よく撮像部11を移動させるため、たとえば、ステッピングモータ等の駆動部と、この駆動部からの駆動力を伝達する歯車と、この歯車と噛合させて歯車の回転運動を並進運動に変換するラックと、ステッピングモータの駆動部の動作を制御する並進制御部とを用い、このラック上に撮像部11を載置する。撮像部11は、移動させても信号の入出力が可能になるようにフレキシブル基板等を介して並進制御部、記録再生部およびカラー信号処理部12と接続している。このように構成することにより、色フィルタCFの種類に応じた移動を撮像部11にさせることができる。
【０２１６】
色フィルタ切換機構は、複数の色フィルタCFをフィルタ枚数を考慮して一定の角度毎に、かつ透過可能なようにフィルタ開口部を円盤の同一半径位置に設けた色フィルタ設置部と、円盤を回転中心の回りに回転させる回転駆動部としてのモータと、モータの動作を制御する回転制御部とを用いる。色フィルタ設置部のフィルタ開口面は、撮像面と平行状態を保つように配設させるとよい。また、モータに取り付けられている回転軸は色フィルタ設置部の円盤中心に開けられた貫通口に挿通する。回転軸は、たとえば、接着剤等を貫通口に塗布して円盤と固着させている。回転制御部は、一定の角度毎の回転駆動を行うように回転開始および回転終了を制御する。このように制御することにより、色フィルタCFを要求に応じて切り換えることができるようになる。
【０２１７】
記録再生部には、たとえば、SCSIインターフェース等を介して画素データが供給される。記録再生部は色フィルタ切換機構および移動機構の動作の組合せに応じてその都度、撮像部11から得られる信号が画素データにされて記録される。したがって、一枚の画像を作成するために撮像が複数回行われる。このように得られた画素データが記録再生部に記録されこの記録再生部から再生した画素データがカラー信号処理部12に供給されると、前述した実施例のいずれかを行って色再現・解像度が重視された高品質な画像が得られる。このようにカラー撮像装置は、ハニカム配置の色フィルタCFおよび撮像部11を用いるので製造工程での複雑な配置および調整を回避することができ、撮像素子（受光素子）上に配設していたオンチップカラーフィルタを設ける必要性をなくすことができる。
【０２１８】
また、単板式に限定されることなく、カラー撮像装置は、ハニカム配置の色フィルタおよび撮像部を２セット用いた２板式でもよく、このとき撮像部を白黒の正方格子配置の高解像度撮像部とする面順次方式のカラー撮像装置とみなすことができる。
【０２１９】
これまで、本発明の固体撮像装置および信号処理方法における前述した基本的な概念を用いた実施例を説明してきたが、次にさらにより一層の効果をもたらす固体撮像装置および信号処理方法の関係について説明する。この関係には、固体撮像装置が単板方式で、受光素子の配置がハニカム配置、すなわち受光素子を上方から見た際にその受光素子の幾何学的な形状の中心が行方向および列方向にピッチが半分ずらして配置されている。また、色分解に用いるフィルタは三原色R, G, B である。そして、得られた撮像信号をディジタル変換して信号処理を施す上で、前述した信号処理を適切に組み合わせて適応信号処理を行う。
【０２２０】
このような概念が適用された固体撮像装置30について図35〜図58を参照しながら第４の実施例を説明する。図35に示す固体撮像装置30において光学系（図示せず）からの入射光の撮像に用いるカラーフィルタCF、撮像部31は、前述した実施例と同じ構成である。撮像部31の受光素子は、たとえば、正方形状でハニカム配置されている。固体撮像装置30には、カラーフィルタCF、撮像部31の他にカラー信号処理部32が備えられている。カラー信号処理部32には、図35のガンマ変換部32a 、A/D 変換部32b 、信号処理部32c が含まれている。この構成は、前述した図１の構成と基本的に同じものである。ガンマ変換部32a およびA/D 変換部32b は、同じ機能を有するものである。
【０２２１】
信号処理部32c には、データ演算部320 、マトリクス部322 、アンチエリアシングフィルタ部324 およびアパーチャ調整部326 が備えられている。データ演算部320 は、A/D 変換部32b を介して供給される画素データに演算処理を施す各種の演算部がある。ところで、これら演算部に的確な画素データを供給するため前述した撮像部31の受光素子が電荷結合素子（CCD ）を用いている場合、データの非破壊型のバッファメモリ320aを配設するとよい。また、撮像部31の受光素子がMOS 型の撮像素子の場合、本来１回の信号読出しでデータがなくならない非破壊型であることからバッファメモリ320aを不要にできる。この場合、駆動信号により出力する画素データを制御できる。
【０２２２】
データ演算処理部320 には、図35に示すように、バッファメモリ320a、輝度データ作成部320b、高域輝度データ作成部320cおよびプレーン補間展開部320dが備えられている。データ演算処理部320 は、図示しないがシステム制御部から供給される制御信号によって制御されている。バッファメモリ320aは、画素データRGB をそれぞれ輝度データ作成部320bおよびプレーン補間展開部320dに供給している。輝度データ作成部220bは、市松状に配されていることから、この市松パターンの各対象位置での輝度データY を演算処理によって作成する。
【０２２３】
高域輝度データ作成部320cは、輝度データ作成部320bで作成された輝度データY を用いてフィルタ処理を行うディジタルフィルタである。このディジタルフィルタはローパスフィルタで、実際に受光素子が対応しない位置、すなわち仮想画素に対して補間を行うとともに、得られる輝度データの周波数帯域を高域にする。この結果、高域輝度データ作成部220cは、高域輝度データYhをプレーン補間展開部320dに出力する。
【０２２４】
プレーン補間展開部320dには、図36に示すようにR 補間展開部3200、G 補間展開部3202およびB 補間展開部3204が備えられている。これら各部は、演算部である。R 補間展開部3200、G 補間展開部3202およびB 補間展開部3204には、それぞれ一端側に高域輝度データYhが供給され、もう一つの端子側から補間する色に対応する画素データ、すなわちR データ、G データ、B データが供給されている。このプレーン補間展開を行う際に、演算処理により得られた画素データを用いてさらに周辺に位置する対象の色に対する仮想画素を求めている。この算出の手順は、後段で詳述する。
【０２２５】
マトリクス部322 は、補間展開されたRGB データから輝度データY と色差データCr, Cbを生成する。マトリクス部322 には、これらのデータを生成するように演算部（図示せず）が含まれている。マトリクス部322 は、演算処理により輝度データY に式(13)を用い、色差データCr=R-Yh, Cb=B-Yhを生成する。また、アンチエリアシングフィルタ部324 は、前述した実施例と同様に高域成分を含むように調整されたディジタルフィルタで構成されている。アパーチャ調整部326 には、輝度データに対してアパーチャ効果、たとえば、輪郭強調等を従来の構成を用いる。本実施例の固体撮像装置30はこのように構成されている。この構成には、後述するように輝度データの高域化を図る際に周波数が重複することがないので、周波数重複防止部が不要になる。このように構成することにより、データ演算処理部320 を設けて演算処理を行わせ、マトリクス部222 以降に配設されている各部は、従来の構成およびその処理をそのまま利用できるので、装置のコストパフォーマンスを一層高めることができる。
【０２２６】
次に固体撮像装置30の動作について説明する。固体撮像装置30は、図37に示すようにメインフローチャートに従って動作する。固体撮像装置30に電源を投入した後に、システム制御部（図示せず）によって各種の初期設定が行われ、ステップS10 に進む。
【０２２７】
ステップS10 では、撮像、すなわち供給される駆動信号に応じて撮像信号の読出しを撮像部31で行う。この読み出された信号に対して、ステップS11 では、ガンマ変換（補正）処理をカラー信号処理部32のガンマ変換部32a で施す。ここで、変換された信号がA/D 変換部32b に送出される。A/D 変換部32b は、ステップS12 で供給された信号をディジタル信号（すなわち、画素データ）に変換を行う。この変換により以後の信号処理をディジタル処理で行う。この一連のステップS10 〜S12 までの動作は、図10を基に説明した動作と同じものである。また、変換された画素データを色別に供給する上で、前述したように特に、CCD イメージセンサを用いた際にバッファメモリ320aが用いられる。バッファメモリ320aは、システム制御部から供給される書込み／読出しイネーブル信号やアドレス信号等の制御信号に応じてRGB それぞれの画素データを輝度データ作成部320bおよびプレーン補間展開部320dに供給する。この後、サブルーチンSUB6に進む。
【０２２８】
サブルーチンSUB6では、実際に存在する画素データを基に輝度データY （図41を参照）や単板方式のため色フィルタの実在する色以外の色に対する画素データ等の補間処理を行う（図38を参照）。この補間処理により画像全体に対するRGB の画素データを生成する。この画素データの生成は、データ演算処理部320 の輝度データ作成部320b、高域輝度データ作成部320cおよびプレーン補間展開部320dが順次動作させる。生成された画素データは、プレーン補間展開部320dからマトリクス部322 に供給される。
【０２２９】
次にサブルーチンSUB7で、供給されたRGB それぞれの画素データから輝度データY 、色差データCr, Cbの生成、生成された各データに対する帯域制限および輝度データY に対するアパーチャ調整を行う。これらの処理を行うマトリクス部322 、アンチエリアシングフィルタ部324 およびアパーチャ調整部326 は、従来から固体撮像装置に用いられている構成で済ませることができる。
【０２３０】
得られた輝度データY 、色差データCr, Cbは、図35に図示していないが表示部や圧縮処理部にそれぞれ供給される。表示部では、高品質な画像データが供給されることにより、一層高い品質の表示画像や印刷を提供できる。ステップS14 では、画素データに圧縮処理を施して情報量を減少させて半導体メモリ、光記録媒体、磁気記録媒体、または光磁気記録媒体に記録させている。この処理の後、ステップS15 に進む。ステップS15 では、撮影を終了するか判断している。撮影を継続する場合（No）、ステップS10 に戻って、前述の動作を繰り返す。また、撮影を終了する場合（Yes ）、終了に進んで、たとえば、電源スイッチをオフにして動作を終了させる。
【０２３１】
次にデータ演算処理部320 の動作について説明する。データ演算処理部320 は、図38に示すサブルーチンSUB6の手順に従って動作する。すなわち、サブルーチンSUB8、SUB9およびSUB10 の順に動作する。サブルーチンSUB8では実在する受光素子の位置に対応して得られる色を考慮した輝度データY を作成する。この作成により輝度データは市松状に得られる。サブルーチンSUB8では、予め設定されたモードに従って後述するように輝度データY を算出する。サブルーチンSUB9では、得られた輝度データY に基づいて対応する受光素子のない、仮想画素での輝度データを生成するとともに、輝度データを周波数帯域で見た際にこの輝度データを高域化する。この高域化された輝度信号をYhで表す。また、サブルーチンSUB10 は、輝度データYhおよび供給されるG, R, B をそれぞれ用いて補間することによりRGB のプレーン展開を行っている。
【０２３２】
各サブルーチンSUB8、SUB9およびSUB10 の動作を説明する。図39に示すサブルーチンSUB8においてサブステップSS800 では、まず、モードが適応処理モードであるかどうかの判別を行う。適応処理モードの場合（Yes ）、図39のサブステップSS802 に進む。また、モードが適応処理モードでなかった場合（No）、接続子B を介して図41のサブステップSS804 に進む。
【０２３３】
次にサブステップSS802 では、斜め相関処理を行うかどうか選択を行う。斜め相関処理を行う場合（Yes ）、サブステップSS806 に進む。また、斜め相関処理を行わない場合（No）、接続子C を介してサブステップSS808 に進む。サブステップSS808 では、相関処理を行うかどうかの判定を行う。
【０２３４】
ところで、上述したサブステップSS804 では、適応処理モードと関係なく輝度データの算出が行われる。この処理を行うにあたり撮像部31のCCD イメージセンサが本来図42(a) に示すように２次元配列されている。ここで、添字は、各受光素子の画素としての位置を行列表現で表した際の位置である。また、実在する受光素子の画素は、実線で仮想受光素子に対応する画素は、破線で表している。基本的に輝度データY は、画素データG と画素データR, Bを用いて（0.5*R+0.5B）で算出できることが知られている。この場合も画素データG は、そのまま輝度データとみなして扱われる（画素データG=輝度データ）。また、画素データR, Bによる輝度データは、実在する受光素子の位置に対応する色がG でなくR/B の場合に、たとえば、図42(a) の画素データR22 の位置に対する輝度データY22 は、画素データR22 とその周囲に位置する画素データB の４画素、すなわち画素データB02, B20, B24, B42を用いて
【０２３５】
【数１６】
Y22=R22/2+(B02+B20+B24+B42)/8 ・・・(16)
から得られる。また、画素データB24 の位置に対応する輝度データY24 は、画素データB24 とその周囲に位置する画素データR の４画素、すなわち画素データR04, R22, R26, R44を用いて
【０２３６】
【数１７】
Y24=B24/2+(R04+R22+R26+R44)/8 ・・・(17)
から得られる。周囲の画素を用いて補正する補正量はこれら４つの画素の総和を画素数を倍した数、すなわち 4×2=8 で割った値を作成対象画素の半値に加算して求めている。これは、算出した平均値に係数0.5 を掛けていることと同じである。各画素に対してこの演算を行って輝度データY が求められている。このようにして得られた結果、図42(b) に示す輝度データの市松状のパターンが得られる。なお、このような演算は、後述するように斜め方向、垂直方向および水平方向に相関がないときにも行われる。
【０２３７】
次にサブステップSS806 では、この斜め処理を行う場合段階を踏んで行うかどうかの判定を行う。斜め処理を複数の段階を踏まえて行うと判定したとき（Yes ）、サブステップSS810 に進む。また、斜め処理を複数の段階を経て行わないとするとき（No）、サブステップSS812 に進む。
【０２３８】
ここで、サブステップSS810 では、比較データの算出を行う。算出に用いる画素データには、作成対象の画素データの色と同色の画素データを用いる。比較データARS は、たとえば、その対象の画素データがR22 の場合、周囲の画素データR00, R44, R04, R40を用いて、
【０２３９】
【数１８】
ARSL= ｜R00-R44 ｜ ・・・(18)
ARSR= ｜R04-R40 ｜ ・・・(19)
から得られる。添字“L ”, “R ”は、それぞれ斜め（S ）の傾斜が左斜めと右斜めにあることを示している。図42(a) の配列を反時計方向に45°回転させた場合、水平方向と垂直方向に対応する。算出した比較データARSLとARSRの値を用いてさらに相関値（ARSL-ARSR ）, （ARSR-ARSL ）が算出される。
【０２４０】
次にサブステップSS814 では、算出した相関値（ARSL-ARSR ）と新たに設けられた所定の判定基準値J0よりも相関値が大きいとき（Yes ）、 ARSR の値が小さいことを示し、換言すると用いた画素データの値が似ていることを意味する。これにより、右斜め方向に相関があると判断してサブステップSS816 に進む。また、上述した条件が満たされないとき（相関値（ARSL-ARSR ）＜J0）（No) 、この作成対象画素に対する右斜め相関がないとしてサブステップSS818 に進む。サブステップSS816 では、この場合、輝度データY22 が
【０２４１】
【数１９】
Y22=R22/2+(R00+R44)/4 ・・・(20)
から得られる。
【０２４２】
サブステップSS818 では、算出した相関値（ARSR-ARSL ）と所定の判定基準値J0よりも相関値が大きいとき（Yes ）、左斜め方向に相関があると判断してサブステップSS820 に進む。また、上述した条件が満たされないとき（相関値（ARSR-ARSL ）＜J0）（No) 、この作成対象画素に対する左斜め相関がないと判定してサブステップSS822 に進む。サブステップSS820 では、この場合、輝度データY22 が
【０２４３】
【数２０】
Y22=R22/2+(R04+R40)/4 ・・・(21)
から得られる。サブステップSS816 とサブステップSS820 の輝度データ算出後は、接続子D を介して図41のサブステップSS824 に進む。
【０２４４】
次にサブステップSS822 では、新たな比較データの算出を行う。ここで、算出に用いる画素データは、作成対象画素データの色と異なっている。たとえば、色G を用いて比較データを算出する。比較データAGS は、たとえば、その対象の画素データがR22 の場合、比較データAGS は、周囲の画素データG11, G33, G13, G31を用いて、
【０２４５】
【数２１】
AGSL= ｜G11-G33 ｜ ・・・(22)
AGSR= ｜G13-G31 ｜ ・・・(23)
から得られる。このサブステップでは算出した比較データAGSLとAGSRの値を用いてさらに相関値（AGSL-AGSR ）,（AGSR-AGSL ）も算出される。この処理後、接続子E を介して図40のサブステップSS826 に進む。
【０２４６】
次にサブステップSS826 では、算出した相関値（AGSL-AGSR ）と、たとえば、新たに設けられた所定の判定基準値J0a よりも相関値が大きいとき（Yes ）、ここでもAGSRの値が小さいことから、用いた画素データの値が似ていることを推定する。これにより、右斜め方向に相関があると判断してサブステップSS828 に進む。また、上述した条件が満たされないとき（相関値（AGSL-AGSR ）＜J0a ）（No) 、この作成対象画素に対する右斜め相関がないと判定してサブステップSS830 に進む。サブステップSS828 では、この場合、輝度データY22 が
【０２４７】
【数２２】
Y22=R22/2+(G11+G33)/4 ・・・(24)
から得られる。また、輝度データY22 は、式(20)から算出してもよい。
【０２４８】
サブステップSS830 では、算出した相関値（AGSR-AGSL ）と所定の判定基準値J0a よりも相関値が大きいとき（Yes ）、左斜め方向に相関があると判断してサブステップSS832 に進む。また、上述した条件が満たされないとき（相関値（AGSR-AGSL ）＜J0a ）（No) 、この作成対象画素に対する左斜め相関がないとしてサブステップSS808 に進む。サブステップSS832 では、この場合、輝度データY22 が
【０２４９】
【数２３】
Y22=R22/2+(G13+G31)/4 ・・・(25)
から得られる。また、輝度データY22 は、式(21)でもよい。サブステップSS828 とサブステップSS832 の輝度データ算出後は、接続子D を介して図41のサブステップSS824 に進む。
【０２５０】
ところで、サブステップSS806 において簡易的な斜め処理を選んだ場合、サブステップSS812 に進むことはすでに述べた。このサブステップSS812 では、比較データの算出を行う。比較データは、たとえば、適応処理を施す対象の画素データを中心にしてその周囲の画素データがどの方向に相関しているかの判別に用いる。たとえば、その対象の画素データがR22 の場合、比較データAGは、周囲の画素データG11, G13, G31, G33を用いて、
【０２５１】
【数２４】
AG= ｜G11+G33-(G13+G31) ｜ ・・・(26)
から得られる。画素データが色R の場合について説明しているが、色B の場合も周囲の画素データG から算出する。この算出により、左右のいずれか一方に傾きを有する大きい方の値が比較データAGとして得られることになる。この演算の後、サブステップSS834 に進む。
【０２５２】
サブステップSS834 では、対象の画素データを挟んで斜めに位置する画素データに相関（すなわち、斜め相関）があるかどうか判定を行う。この判定には、判定基準値として新たにJ1が設定されている。比較データAGが判定基準値J1以上に大きいとき（Yes ）、サブステップSS836 に進む。また、比較データAGが判定基準値J1よりも小さいとき（No）、接続子C を介して図40のサブステップSS808 に進む。
【０２５３】
サブステップSS836 では、比較データAGの算出に用いた４つの画素データG を平均して輝度データY を算出する。作成対象の画素に対して複数の段階や簡易的な斜め方向に配された画素が相関しているかという判定により、少なくとも、図43(a) 〜(f) の６パターンが、たとえば、画素データR=R22 に対して判別されることになる。ところで、一般的に、図43(a) 〜(f) の斜線部分と斜線のない領域の近傍には偽色が発生してしまう虞れがある。しかしながら、境界近傍に位置する画素データR における輝度データY が、上述した演算により算出されると、画像全体として見た際に色境界での偽色の発生を良好に抑圧することができる。具体的な説明を省略するが画素データB=B24 に対してもサブステップSS814 〜SS820 、SS82〜SS832 およびSS834 からSS836 と同様に比較データを算出し斜め相関の有無に基づいた適応的な輝度データY を作成することができる。
【０２５４】
サブステップSS836 の処理の後、接続子D を介して図41のサブステップSS824 に進む。これにより、一連の斜め処理が終了する。サブステップSS834 で斜め処理を行わない場合（No）、接続子C を介してサブステップSS808 に進む。このサブステップ以降、作成対象画素に対する水平・垂直方向の相関の有無に応じたデータ処理である。サブステップSS808 では相関処理をするかどうかの判定を行う。相関処理を受光素子（または色フィルタ）の広い範囲に関して他の方向、すなわち水平・垂直方向の相関を行う場合の判定である。この判定を行うとき（Yes ）、サブステップSS838 に進む。この判定をしないとき（No）、接続子B を介してサブステップSS804 に進む。
【０２５５】
サブステップSS838 では、比較データを算出する。ここでも画素データR=R22 に対する一例を挙げて説明する。この処理では画素データR=R22 に対する垂直方向の比較データABRVと水平方向の比較データABRHを周囲に配置されているもう一方の色の画素データ、すなわち画素データB を用いて式(27)、式(28)
【０２５６】
【数２５】
ABRV= ｜B02-B42 ｜ ・・・(27)
ABRH= ｜B20-B24 ｜ ・・・(28)
により算出する。算出した比較データABRV, ABRHの値を用いてさらに相関値（ABRH-ABRV ）,（ABRV-ABRH ）が算出された際に、新たに設けられた所定の判定基準値J2に対する各方向の相関値の大きさを比較して相関の有無を判定する手順を説明する。
【０２５７】
サブステップSS840 では、対象の画素データを挟んで垂直に位置する画素データに相関（すなわち、垂直相関）があるかどうか判定を行う。この判定には、判定基準値としてJ2a が設定されている。比較データABRHと比較データABRVの差が判定基準値J2a 以上に大きいとき（Yes ）、垂直相関があると判定してサブステップSS842 に進む。また、比較データの差(ABRH-ABRV) が判定基準値J2a よりも小さいとき（No）、垂直相関がないものとみなしサブステップSS844 に進む。
【０２５８】
サブステップSS842 では、相関のあるということは画素データ同士の値が近いことを意味するから、画素データB02, B42を用いて輝度データY を算出する。この場合、輝度データY22 は、
【０２５９】
【数２６】
Y22=R22/2+(B02+B42)/4 ・・・(29)
により得られる。この後、この画素データにおける輝度データY の算出を終了したものとみなして接続子D を介して図41のサブステップSS824 に進む。
【０２６０】
次にサブステップSS844 では、対象の画素データを挟んで水平に位置する画素データに相関（すなわち、水平相関）があるかどうか判定を行う。この判定には、判定基準値として前述したJ2b を用いる。比較データABRVと比較データABRHの差が判定基準値J2b 以上に大きいとき（Yes ）、水平相関があると判定してサブステップSS846 に進む。また、比較データの差(ABRV-ABRH) が判定基準値J2b よりも小さいとき（No）、水平相関がないと判定し、サブステップSS848 に進む。
【０２６１】
サブステップSS846 では、相関のあるとして画素データB20, B24を用いて輝度データY を算出する。この場合、輝度データY22 は、
【０２６２】
【数２７】
Y22=R22/2+(B20+B24)/4 ・・・(30)
により得られる。この後、この画素データにおける輝度データY の算出を終了したものとみなして接続子D を介してサブステップSS824 に進む。
【０２６３】
次にサブステップSS848 では、たとえば、作成対象画素である色R の画素に対する周囲の色B の画素の相関判定を行うかどうかを選択する。色R の画素が周囲の色B の画素の中央位置に配されているので、サブステップSS840, SS844における画素間の距離が短い。すなわち、たとえば、垂直方向において、画素R22 - 画素B02 、画素R22 - 画素B42 は、画素B02-画素B42 の半分の距離である。この関係は、作成対象画素と水平方向に位置する画素においても言える。したがって、前述した水平・垂直方向の相関判定に比べてより受光素子（または色フィルタ）の狭い範囲に対する相関の有無判定が以後の処理で行われることが判る。この相関判定を行う場合（Yes ）、サブステップSS850 に進む。また、この相関判定を行わない場合（No）、接続子B を介してサブステップSS804 に進む。この場合、先の判定基準値J2と異なる判定基準値J2a, J2bのいずれの基準を満たさなかったものと判定される。なお、以後の処理を行わない処理手順にしてもよい。
【０２６４】
サブステップSS850 では、再び比較データを算出する。この場合の比較データは、対象の画素データと周囲の画素データの各相関を求め、得られた各相関値を加算することにより垂直方向および水平方向に対する算出がされる。前述の場合と同様に画素データR22 に対する輝度データY の算出は、垂直方向の比較データACRVと水平方向の比較データACRHを周囲に配置されているもう一方の色の画素データ、すなわち画素データB を用いて、式(31)、式(32)
【０２６５】
【数２８】
ACRV= ｜G 11 -G 31 ｜+ ｜G 13 -G 33 ｜ ・・・(31)
ACRH= ｜G 11 -G 13 ｜+ ｜G 31 -G 33 ｜ ・・・(32)
により算出する。この処理の後、サブステップSS812 に進む。この比較データを用いることにより、より一層画素データの距離を作成対象の画素データと近づけて相関値が求められることになるので、先のサブステップSS840 〜SS846 の手順での相関判定の範囲よりも狭い範囲に関して相関の有無を調べることができる。
この算出後、サブステップSS852 に進む。
【０２６６】
サブステップSS852 では、対象の画素データを挟んで垂直に位置する画素データに相関（すなわち、垂直相関）があるかどうか判定を行う。この判定には、判定基準値としてJ3が設定されている（ここで、判定基準値J3は、水平と垂直用にJ3a, J3bと分けてもよい）。比較データACRHと比較データACRVの差が判定基準値J3以上に大きいとき（Yes ）、垂直相関があると判定してサブステップSS854 に進む。また、比較データの差(ACRH-ACRV) が判定基準値J3よりも小さいとき（No）、垂直相関がないと判定してサブステップSS856 に進む。
【０２６７】
サブステップSS854 では、前述したサブステップSS842 での処理と同じ処理を行う。したがって、演算には式(29)が用いられる。また、サブステップSS856 では、対象の画素データを挟んで水平に位置する画素データに相関（すなわち、水平相関）があるかどうかの判定を行う。この判定にも判定基準値J3が用いられる。
【０２６８】
サブステップSS856 において、比較データの差(ACRV-ACRH) が判定基準値J3以上のとき（Yes ）、水平相関があると判定してサブステップSS858 に進む。この場合、サブステップSS858 での輝度データY は、サブステップSS846 で前述したように画素データを用い、式(30)に基づいて算出される。この後、サブステップSS824 に進む。また、サブステップSS856 で比較データの差(ACRV-ACRH) が判定基準値J3より小さいとき（No）、水平相関がないと判定して接続子B を介して図41のサブステップSS804 に進む。サブステップSS804 では、式(16)により対象の画素データと周囲のもう一方の色の画素データ（この場合、画素データB ）を加算平均し0.5 の係数を乗算して輝度データY を算出している。この算出後、サブステップSS824 に進む。
【０２６９】
サブステップSS824 では、市松状の輝度データのデータ作成が１フレーム分、完了したかどうかの判定を行っている。この判定は、たとえば、算出した輝度データY の個数をカウントし、このカウント値と受光素子の数とが一致するかどうかで容易に行うことができる。カウント値が受光素子の数より小さい値のとき（No）、まだ処理が完了していないと判定する。この結果、輝度データY の算出処理を接続子F を介して図39のサブステップSS800 にまで戻して、これまでの一連の処理を繰り返す。また、カウント値が受光素子の数に一致したとき（Yes ）、処理をリターンに移行させる。このリターンを経て処理をサブルーチンSUB9に移行させる。このようにして輝度データY を算出することにより、図42(b) のように市松状の受光素子が実在する位置にデータが作成される。
【０２７０】
ところで、図43および図44に示すような色境界を含む画像は、色境界の方向を相関の方向から推定することができる。ただし、図45に示すように輝度データの算出対象の画素R(=R22) に対して周囲の画素データB02, B20, B24, B42から算出する場合、水平方向または垂直方向の相関を特定することはできない。
【０２７１】
次にサブルーチンSUB9の動作を説明する（図46を参照）。サブルーチンSUB9の動作は、前述したように高域輝度データ作成部320cのディジタルフィルタの構成に基づいて行われサブステップSS90では、このディジタルフィルタの特徴であるローパスフィルタ処理を施すとともに、仮想受光素子の位置における画素データを生成してデータ補間を行う。この関係を簡単に図47に示す。図47でも実在する受光素子に対応する画素d(-3), d(-1), d(1), d(3)は実線で示し、仮想受光素子に対応する画素は破線で示し、実在する４つの受光素子（既存の画素）の間に配した関係になっている。仮想受光素子に対応する画素dn(-4), dn(-2), dn(0), dn(2), dn(4) には、実在する受光素子との対応を考慮すると、何もデータが入っていない状態と同じ関係として扱う。すなわち、これらの画素には、ゼロが予め設定されている。たとえば、図47(a) に示すように画素dn(0) を水平方向に補間するとき、ディジタルフィルタのタップ係数をk0, k1, k2, k3, k4,・・・,kn として整理すると、高域成分を含む輝度データYh(0) が式(33)
【０２７２】
【数２９】
Yh(0)=k0*dn(0)+k1*(d(1)+ d(-1))+k2*(dn(-2)+dn(2)+k3*(d(-3)+d(3))
+k4*(dn(-4)+dn(4))+・・・kn*(dn(-n)+dn(n)) ・・・(33)
で表されるように得られる。ただし、この場合、図47(a) から明らかなように、ゼロのデータが交互に入るので、係数は２倍になる。この関係は、図47(a) におけるこの他の補間対象の画素dn(-4), dn(-2), dn(2), dn(4)に対しても当てはめる。これらの補間処理が施されることにより、高域成分を含む輝度データYh(-4), Yh(-2), Yh(2), Yh(4)が得られる（図47(b) を参照）。
【０２７３】
また、垂直方向に対してもローパスフィルタ処理を高域輝度データ作成部320cでディジタルフィルタにより行う。この場合、既に水平方向の補間処理によって仮想受光素子に対応する画素のデータが補間されているので、画素データは密に入っている。したがって、ローパスフィルタの係数は通常と同じにして済ませることができる。このようにして得られた高域成分を含む輝度データを図42(b) に示したように行列表現で表すと、図48に示すように高域成分を含む輝度データYhが作成される。高域成分を含む輝度データYhは、以下の記載において高域輝度データと呼ぶ。
【０２７４】
次にサブルーチンSUB10 の動作について説明する。サブルーチンSUB10 は、図36に示すようにプレーン補間展開部320dで行われる。プレーン補間展開部320dには、サブルーチンSUB9で作成された高域輝度データYhとこの高域輝度データYhに対応した補間対象の色の画素データがそれぞれの演算処理部に供給されている。
高域輝度データYhは、図36から明らかなようにR 補間展開部3200, G 補間展開部3202, およびB 補間展開部3204に共通して供給されている。これらの供給される画素データを用いて色毎にそれぞれの仮想受光素子の画素における画素データを図49に示すフローチャートに従って補間する。この場合、画素データG の補間処理をサブステップSS100 で最初に行う。このとき、図50に示すように単板画素ずらし型G 正方RB完全市松のパターンを用いていることから、既存の画素データG を有する画素は、実線の正方格子で表す。また、画素データG を持たない画素、すなわち、仮想受光素子の対応する画素および既存の画素データを有していながら、色G と異なる色の画素は、破線の正方格子で表す。この画素データG を持たない画素を仮想画素と呼ぶ。補間処理には、４つずつ既存の画素データを用いる。
【０２７５】
この関係を具体的に図50に示す。図50のパターンが示すように、仮想画素G12, G14, G16, G21〜 G26の一行, G32, G34, G36 を補間する場合、補間処理は隣接する４つずつの画素データG11, G13, G31, G33や画素データG13, G15, G33, G35等を用いる。また、補間に用いる画素データG に対応する図48の高域輝度データも用いて演算する。たとえば、補間対象である仮想画素の画素データG21 の補間は、同一の列方向の２つの画素に対応する既存データおよび高域輝度データならびに補間対象位置の高域輝度データを用いて、式(34)
【０２７６】
【数３０】
G21=(G11+G31)/2-(Yh11+Yh31)/2+Yh21 ・・・(34)
から得られる。式(34)の計算式を用いると、仮想画素G23 を補間することができる。また、仮想画素G12 の補間は、同一の行方向の２つの画素に対応する既存データおよび高域輝度データならびに補間対象位置の高域輝度データを用いて、式(35)
【０２７７】
【数３１】
G12=(G11+G13)/2-(Yh11+Yh13)/2+Yh12 ・・・(35)
から得られる。式(35)の計算式を用いると、仮想画素G32 を補間することができる。そして、４つずつの画素データG11, G13, G31, G33の中心に位置する画素データG22 は、これら４つの位置の画素データおよび高域輝度データを用いて、式(36)
【０２７８】
【数３２】
G22=(G11+G13+G31+G33)/4-(Yh11+Yh13+Yh31+Yh33)/4+Yh22 ・・・(36)
から得られる。式(36)の計算式を用いると、仮想画素G23 を補間することができる。画素データG13, G15, G33, G35を４つを一組のデータとみなして補間する場合、すでに画素データG23 は算出されているので、残る画素データG14, G34, G25 を算出すればよい。この処理を繰り返し行うことにより、画素データG のプレーン画像を作成する。ただし、プレーン画像の最外縁は、このような関係にならないので、厳密に補間を行う場合、境界値として設定しておくとよい。また、有効画面を考慮すると、この周辺部のデータは有効画面の範囲外にあるので算出しなくても構わない。
【０２７９】
次に画素データR の算出をサブステップSS102 で行う。この場合も既存データおよび演算によって算出された画素データに対応する画素は、実線の正方格子で表し、仮想画素は破線の正方格子で表す。画素データR における既存の画素データは、図51に示すようにR00, R04, R22, R26, R40, R44しかない。この場合、サブステップSS102 では、補間対象の仮想画素に対して斜めに隣接している画素データとこの位置に対応する図48の高域輝度データを用いる。たとえば、画素データR11 は、画素データR00, R22ならびに高域輝度データYh00, Yh22およびYh11を用いて、
【０２８０】
【数３３】
R11=(R00+R22)/2-(Yh00+Yh22)/2+Yh11 ・・・(37)
によって算出される。同様に、仮想画素R13, R31, R33 は、式(37)と同じ関係にあるそれぞれ画素データR04, R22、画素データR40, R22および画素データR44 ， R22を適用して算出する。既存の画素データR26 も考慮して算出すると、隣接斜め補間処理により仮想画素R15, R35も作成することができる。この結果が図52に示されている。
【０２８１】
次にサブステップSS104 では、一つ前のサブステップSS102 で算出された画素によって囲まれた画素を補間対象の画素とし、補間に際して算出されたこれら４つの画素データおよびその位置の高域輝度データを用いて補間処理を行う。たとえば、画素データR24 を中心に図52から判るように、その周囲の画素データR13,
R15, R33, R35の位置のデータを用いて、式(38)
【０２８２】
【数３４】
R24=(R13+R15+R33+R35)/4-(Yh13+Yh15+Yh33+Yh35)/4+Yh24 ・・・(38)
によって算出される。式(38)に用いる画素データと同等の配置関係が周辺の画素から得られるとき、この補間を施すことによって、図53に示すように画素データR02, R20, R42 が得られる。換言すると、補間対象の画素から見れば、補間に使用する画素データはすべて斜めに位置している。
【０２８３】
次にサブステップSS106 では、これまでに得られた画素データを用いるとともに、これらの画素の内、補間対象の画素に対して上下左右に位置する画素データから補間を行う。たとえば、画素データR12 を中心に上下左右の４つの画素データおよびその位置の高域輝度データを用いて、式(39)
【０２８４】
【数３５】
R12=(R02+R11+R13+R22)/4-(Yh02+Yh11+Yh13+Yh22)/4+Yh12 ・・・(39)
によって算出される。同様の位置関係にある、たとえば、画素データR14, R32, R34 は、式(38)に用いた画素データの位置関係に対応するデータを代入すると算出できる。さらに、図53の右側に画素が継続していると、画素データR16, R36も算出することができる。
【０２８５】
なお、図54に示すように周辺部には未補間の仮想画素が残ってしまうので、この仮想画素に対して周囲を囲む、たとえば３つの画素から補間するようにしてもよい。この補間の場合も前述した補間の手法を用いると、仮想画素の画素データR01 は、
【０２８６】
【数３６】
R01=(R00+R02+R11)/3-(Yh00+Yh02+Yh11)/3+Yh01 ・・・(40)
によって算出される。このようにしてこの他、画素データR03, R05, R10, R30, R41, R43, R45 が補間される。最終的に画素データR に関するプレーン画面全体が補間される。
【０２８７】
次に画素データB に対する補間処理がサブステップSS108, SS110, SS112 で行われる。サブステップSS108, SS110, SS112 は、それぞれ、画素データB における隣接斜め補間処理、４つの補間データによる中央補間処理および上下左右の４画素による中央補間処理である。これらの補間処理は、前述した画素データR の補間処理（すなわち、サブステップSS102, SS104, SS106 ）に準拠している。これは、図51の画素データR と図55の画素データB の画素配置の関係から判る。すなわち、図55の画素データB の画素配置は、各色の添字に表される行列表示から、図51の画素データR を水平（すなわち、行）方向に２列ずつ全体にシフトした配置になっている。このことから、これまで式(37)〜式(40)までの式を適用して仮想画素を補間する場合、行列表示で列の数字が２以上の右側で各画素データの添字の列の数字に+2だけ加算した関係で算出を行うとよい。たとえば、画素データB13 や画素データB33 は、式(37)の色R を色B に置換し、画素データR00, R31の位置関係を画素データB02, B33にして
【０２８８】
【数３７】
B11+2=(B00+2+B22+2)/2-(Yh00+2+Yh22+2)/2+Yh11+2
B13=(B02+B24)/2-(Yh02+Yh24)/4+Yh13 ・・・(41)
B31+2=(B22+2+B40+2)/2-(Yh22+2+Yh40+2)/4+Yh31+2
B33=(B24+B42)/2-(Yh24+Yh42)/4+Yh33 ・・・(42)
のように演算処理することにより算出される。また、画素データの行列表示における列の数字が２より小さい左側で各画素データの補間処理を行う場合には、画素データR04, R22を用いて画素データR13 を算出する関係を用い、添字の数字から-2だけ減算させて算出するとよい。たとえば、画素データB11 は、
【０２８９】
【数３８】
B13-2=(B04-2+B22-2)/2-(Yh04-2+Yh22-2)/2+Yh13-2
B11=(B02+B20)/2-(Yh02+Yh20)/4+Yh11 ・・・(43)
から得られる。他の式(38)〜式(40)においても同様の関係が成立している。この関係に注意してサブステップSS110, SS112で補間処理を行うと、画素データB に関するプレーン補間展開を行うことができる。この処理の後、サブステップSS114 に進む。
【０２９０】
サブステップSS114 では、プレーン補間展開が各色毎にすべて終了したかどうかの判定を行う。一連の処理がまだ終了していないとき（No）、サブステップSS100 に戻って処理を繰り返す。なお、各色毎にこの確認処理をおこなってもよい。また、一連の処理が終了したとき（Yes ）、リターンに移行する。この移行後、サブルーチンSUB6の処理が終了し、サブルーチンSUB7に進む。
【０２９１】
ここで、サブルーチンSUB6の処理により得られた各データ等を信号が持つ周波数帯域として図56に表す。横軸は水平方向の周波数軸（fh）で縦軸は垂直方向の周波数軸（fv）である。図56のハニカム配置における空間周波数表示から、市松状で、かつ完全に交互にR/B が入れ換わるパターンで配される関係により実線RBの分布で表される。これに対して、画素G は、画素ずらしを含んだ４画素でストライプパターンに配されたことにより周波数が高く、画素R/B の周波数が範囲内に含まれるようになる。画素G の空間周波数は、ほぼfs/4で水平方向および垂直方向の周波数軸を通っている。補間処理により得られた高域輝度信号Yhは、画素G, R/Bを含み、帯域をfs/2まで延ばしている。
【０２９２】
また、各処理毎の周波数帯域について図57を用いて説明する。図57の横軸は、水平方向の空間周波数軸で縦軸は、信号レベルを表している。図57(a) の信号RBは、画素RBの撮像信号をディジタル変換した際の帯域を表している。図57(b) の高域輝度信号Yhは、高域輝度データ作成部320cで作成されたデータに対して信号としてみた場合の帯域を表している。この信号は高周波数側の遮断周波数がfs/2の近傍になっている。プレーン補間展開部320dでは、図57(a) および図57(b) を合成したと同じ補間処理が行われることにより、図57(c) に示す水平方向の空間周波数帯域にすることができる。このようにして得られるRGB それぞれのプレーン画像を高域成分のデータにしている。
【０２９３】
次にサブルーチンSUB7の動作を図58を用いて説明する。サブステップSS70では、信号処理部32c から出力されたRGB データを用いてマトリクス処理をマトリクス部322 で行う。このマトリクス処理により輝度データY 、色差データ(R-Y), (B-Y)が生成される。この処理後、サブステップSS72に進む。サブステップSS72では、広帯域にわたるLPF 処理を施す。この処理によって折り返し歪みの発生を抑制している。この処理は、アンチエリアシングフィルタ部324 で行う。この処理を経て色差データ信号(R-Y)=Cr, (B-Y)=Cbが得られる。また、輝度データY には、さらにアパーチャ調整が施される。この処理がサブステップSS74で行われる。アパーチャ調整は、図35のアパーチャ調整部326 で行われている。このように処理されて輝度データY が得られる。この処理の後、リターンに進み、サブルーチンSUB7を終了して固体撮像装置30のメインルーチンに戻る。
【０２９４】
このように前述した処理を行うことによって、得られた撮像信号を本来の解像度に比べて高解像度の信号（データ）にすることができるとともに、色境界で生じていた偽信号を良好に抑圧することができる。これにより、得られる画像の画質をよりよい画質にすることができる。
【０２９５】
この固体撮像装置30は、多板方式にも適用することができる。たとえば、光学系によって被写界像が少なくとも、２つの撮像面にそれぞれ投影させる２板式の場合について説明する。ここで、撮像面を形成する受光素子を行方向と列方向で２次元配列されるとともに、撮像面に投影された同一の被写界像を空間的に重ね合わせた際に一方の２次元配列された受光素子と他方の２次元配列された受光素子の対応する幾何学的な撮像面形状の中心が行方向および列方向に半ピッチずつずれた関係に配設されている。このとき使用されている色フィルタCFは、受光素子に対応してこの受光素子の前面に配置され、空間的に重ね合わせた際に三原色RGB の色フィルタとなる色配列となっている。このような関係にある撮像信号に前述した信号処理を施すと、同様の効果、すなわち高画質、かつ偽色の抑制された画像が得られる。
【０２９６】
また、固体撮像装置30は面順次方式に用いてもよい。固体撮像装置30において信号処理を行う前段までの構成は、被写界像を一つの撮像面に投影させる光学系（図示せず）と、この光学系と受光素子が２次元配列された撮像部との間に挿入される色フィルタCFを切り換える色フィルタ切換部と、受光素子が２次元配列された撮像部を撮像面に平行な２次元平面内で移動させる移動部と、この移動部により撮像部を複数回にわたって移動させながら、この移動の都度、撮影した画像を面順次に記録する記録部とを含んでいる。移動の都度、撮影した画像が一つ前に撮影した画像に対して幾何学的な撮像面形状の中心を行方向および列方向に半ピッチずつずらした関係が得られるようにしている。この場合も供給される撮像信号に前述の信号処理を施して高画質、かつ偽色の抑制された画像を生成している。
【０２９７】
ところで、本発明の請求項48〜54により規定された固体撮像装置は、前述した単板画素ずらし型G 正方RB完全市松パターンの固体撮像装置30の構成に対応している。特に、信号処理部32c の輝度データ作成部320bが第１演算手段に、高域輝度データ作成部320cおよびプレーン補間展開部320dが第２演算手段に対応している。輝度データ作成部320bには、具体的に図示しないが適応処理を行う場合、水平方向・垂直方向に相関の有無の検討を行うように第１および第２相関検出手段としての演算部がそれぞれ備えられている。演算部に２つの相関検出手段を設けているのは、相関検出の範囲を２段階にしてなるべく何らかの相関検出が得られるように考慮しているからである。この演算手順は、サブルーチンSUB6の手順に同じである。また、この適応処理には、輝度データ作成部320bに備えられた斜め方向の相関の有無の検討を２段階で行い、このための第３および第４相関検出手段としての演算部（図示せず）が設けられている。手順は、サブルーチンSUB6の斜め相関処理に対応している。
【０２９８】
撮像部31は、これまで全画素読出しで撮像信号の読出しを行うと述べてきたが、撮像部31はこの撮像信号の読出しに限定されるものでなく、インターレースまたはX,Y アドレス方式で読み出すようにしてもよい。X,Y アドレス方式による信号読出しは、MOS 型の撮像素子を複数備えた撮像部でよく用いられている。この場合、読み出した画像データが半分とか一部の場合があるので、これらの供給される情報を格納して１画像分まとめてから信号処理する場合、メモリを用いるとよい。提案する固体撮像装置が、前述した固体撮像装置30と同じことから詳細に説明しないが、この構成を２板式の固体撮像装置や面順次方式の固体撮像装置に適用できることは明らかである。
【０２９９】
固体撮像装置30の構成は、ディジタルスチルカメラのような装置に適用可能なわけではなく、被写界像を光学系および撮像部を介して撮像して得られた画像データまたはこの画像データが記録された記録媒体からの再生データを基に信号処理部の各演算部により輝度データの生成を行う画像処理装置に適用してもよい。また、画像データは、通信により供給されてもよい。このように構成することにより、従来の生成で得られる輝度信号よりも高域に延びた輝度信号を短時間に得ることができる。
【０３００】
これまで撮像部の２次元配置した受光素子およびこの撮像部の被写体側に受光素子と色フィルタ（G 正方RB完全市松パターン）がそれぞれ対をなすように配置されたハニカム配置で受光した撮像信号に信号処理を施す構成およびその動作について説明してきた。ところで、G 正方RB完全市松パターンという色フィルタ配置は、G ストライプRB完全市松パターンに画素ずらしを加えて新たに提案されたパターンである。そこで、画素ずらしのないG ストライプRB完全市松パターンで得られた撮像信号に信号処理を施した場合を考察すると、施す信号処理は、ハニカム対応としての構成がほぼそのままにしようできることが判る。G ストライプRB完全市松パターンとその信号処理の点に着目して説明する。ここで、この場合の提案する固体撮像装置の構成も前述した固体撮像装置30と同じ構成になる。このため、詳細な構成の説明を省略し、構成要件との対応関係だけを説明することにする。G ストライプRB完全市松パターンの色フィルタが適用しているので、この場合の受光素子の開口形状は、正方格子状になる。
【０３０１】
本発明の固体撮像装置における実施例としては、信号処理部32c の輝度データ作成部320bが第３演算手段に、高域輝度データ作成部320cおよびプレーン補間展開部320dが第４演算手段に対応している。輝度データ作成部320bには、具体的に図示しないが適応処理を行う場合、水平方向・垂直方向に相関の有無の検討を行うように第５および第６相関検出手段としての演算部がそれぞれ備えられている。２つ設けているのは、相関検出の範囲を２段階にしてなるべく何らかの相関検出が得られるように考慮しているからである。この演算手順は、サブルーチンSUB6の手順に同じである。また、この適応処理には、輝度データ作成部320bに備えられた斜め方向の相関の有無の検討を２段階で行い、このための第７および第８相関検出手段としての演算部（図示せず）が設けられている。手順は、サブルーチンSUB6の斜め相関処理に対応している。ただし、画素ずらしによって考察されていた仮想画素を考慮する必要がなくなることから、信号処理はハニカムにおける処理よりも簡便になる。特に、この処理の簡便さは、プレーン補間処理での影響が大きい。また、画素ずらし分がなくなることから、各信号処理における配置関係、すなわち式に適用した行列表示の対応にずれが生じる。このことを鑑みて、後段でサブルーチンSUB6での式をG ストライプRB完全市松パターンでの適用が可能なものにして説明する。
【０３０２】
ハニカム配置でない固体撮像装置であっても撮像部31は、これまで述べてきた全画素読出しで撮像信号の読出しに限定されるものでなく、インターレースまたはX,Y アドレス方式で読み出すようにしてもよい。この場合も、読み出した画像データが半分とか一部の場合があるので、１画像分まとめてから信号処理する場合、メモリを用いるとよい。提案する固体撮像装置が、前述した固体撮像装置30と同じことから詳細に説明しないが、この構成を２板式の固体撮像装置や面順次方式の固体撮像装置に適用できることは明らかである。
【０３０３】
固体撮像装置30の構成は、ディジタルスチルカメラのような装置に適用可能なわけではなく、被写界像を光学系および撮像部を介して撮像して得られた画像データまたはこの画像データが記録された記録媒体からの再生データを基に信号処理部の各演算部により輝度データの生成を行う画像処理装置に適用してもよい。
また、画像データは、通信により供給されてもよい。
【０３０４】
次にG ストライプRB完全市松パターンにおける固体撮像装置について図38のサブルーチンSUB6の手順に従って動作を説明する。すなわち、サブルーチンSUB8、およびSUB9の順に動作させる。しかしながら、これらの処理の後、サブルーチンSUB10 を行う代わりにサブルーチンSUB11 を用いる。それぞれの処理の概略を説明すると、まず、サブルーチンSUB8では実在する受光素子の位置に対応して得られる色を考慮した輝度データY を作成する。この作成により輝度データは実存する受光素子すべてで得られる。サブルーチンSUB8では、たとえば、適応処理を行うかどうかなどのように予め設定されたモードに従って後述するように輝度データY を算出する。サブルーチンSUB9では、得られた輝度データY に基づいて輝度データを周波数帯域で見た際にこの輝度データを高域化する。この高域化された輝度信号をYhで表す。また、撮像部31の配置が異なることによりサブルーチンSUB10 の処理の代わりにサブルーチンSUB11 を用いる。サブルーチンSUB11 は、輝度データYhおよび供給されるG, R, B をそれぞれ用いて補間することによりRGB のプレーン展開を行っている。
【０３０５】
各サブルーチンSUB8、SUB9およびSUB11 の動作を説明する。ここで、信号処理の手順が前述した通りほぼ同じなので同じ参照符号を用いて各サブステップの処理を説明する。図39に示すサブルーチンSUB8においてサブステップSS800 では、まず、モードが適応処理モードであるかどうかの判別を行う。適応処理モードの場合（Yes ）、図39のサブステップSS802 に進む。また、モードが適応処理モードでなかった場合（No）、接続子B を介して図41のサブステップSS804 に進む。
【０３０６】
次にサブステップSS802 では、斜め相関処理を行うかどうか選択を行う。斜め相関処理を行う場合（Yes ）、サブステップSS806 に進む。また、斜め相関処理を行わない場合（No）、接続子C を介してサブステップSS808 に進む。サブステップSS808 では、相関処理を行うかどうかの判定を行う。
【０３０７】
ところで、上述したサブステップSS804 では、適応処理モードと関係なく輝度データの算出が行われる。この処理を行うにあたり撮像部31のCCD イメージセンサが本来図59(a) に示すように２次元配列されている。ここで、添字は、各受光素子の画素としての位置を行列表現で表した際の位置である。基本的に輝度データY は、画素データG と画素データR, Bを用いて（0.5*R+0.5B）で算出できることが知られている。この場合も画素データG は、そのまま輝度データとみなして扱われる（画素データG=輝度データ）。また、画素データR, Bによる輝度データは、受光素子の位置に対応する色がG でなくR/B の場合に、たとえば、図59(a) の画素データR33 の位置に対する輝度データY33 は、画素データR33 とその周囲に位置する画素データB を４画素、すなわち画素データB 23 , B31, B35, B 43 を用いて
【０３０８】
【数３９】
Y33=R33/2+(B 23 +B31+B35+B 43 )/8 ・・・(44)
から得られる。また、画素データB23 の位置に対応する輝度データY23 は、画素データB23 とその周囲に位置する画素データR の４画素、すなわち画素データR 13 , R21, R25, R 33 を用いて
【０３０９】
【数４０】
Y23=B23/2+(R 13 +R21+R25+R 33 )/8 ・・・(45)
から得られる。周囲の画素を用いて補正する補正量はこれら４つの画素の総和を画素数を倍した数、すなわち 4×2=8 で割った値を作成対象画素の半値に加算して求めている。各画素に対してこの演算を行って輝度データY が求められている。このようにして得られた結果、図59(b) に示す輝度データのパターンが得られる。なお、このような演算は、後述するように斜め方向、垂直方向および水平方向に相関がないときにも行われる。
【０３１０】
次にサブステップSS806 では、この斜め処理を行う場合段階を踏んで行うかどうかの判定を行う。斜め処理を複数の段階を踏まえて行うと判定したとき（Yes ）、サブステップSS810 に進む。また、斜め処理を複数の段階を経て行わないとするとき（No）、サブステップSS812 に進む。
【０３１１】
ここで、サブステップSS810 では、比較データの算出を行う。算出に用いる画素データには、作成対象の画素データの色と同色の画素データを用いる。比較データABRSは、たとえば、その対象の画素データがR33 の場合、周囲の画素データB11, B55, B15, B51を用いて、
【０３１２】
【数４１】
ABRSL=｜B11-B55 ｜ ・・・(46)
ABRSR=｜B15-B51 ｜ ・・・(47)
から得られる。添字“L ”,“R ”は、それぞれ斜めの傾斜が左斜めと右斜めにあることを示している。図59(a) の配列を反時計方向に45°回転させた場合、水平方向と垂直方向に対応する。算出した比較データABRSL とABRSR の値を用いてさらに相関値（ABRSL-ABRSR ）,（ABRSR-ABRSL ）が算出される。
【０３１３】
次にサブステップSS814 では、算出した相関値（ABRSL-ABRSR ）と新たに設けられた所定の判定基準値J0よりも相関値が大きいとき（Yes ）、 ABRSRの値が小さいことを示し、換言すると用いた画素データの値が似ていることを意味する。
これにより、右斜め方向に相関があると判断してサブステップSS816 に進む。また、上述した条件が満たされないとき（相関値（ABRSL-ABRSR ）＜J0）（No) 、この作成対象画素に対する右斜め相関がないとしてサブステップSS818 に進む。
サブステップSS816 では、この場合、輝度データY33 が
【０３１４】
【数４２】
Y33=R33/2+(B11+B55)/4 ・・・(48)
から得られる。
【０３１５】
サブステップSS818 では、算出した相関値（ABRSR-ABRSL ）と所定の判定基準値J0よりも相関値が大きいとき（Yes ）、左斜め方向に相関があると判断してサブステップSS820 に進む。また、上述した条件が満たされないとき（相関値（ABRSR-ABRSL ）＜J0）（No) 、この作成対象画素に対する左斜め相関がないと判定してサブステップSS822 に進む。サブステップSS820 では、この場合、輝度データY33 が
【０３１６】
【数４３】
Y33=R33/2+(B15+B51)/4 ・・・(49)
から得られる。サブステップSS816 とサブステップSS820 の輝度データ算出後は、接続子D を介して図41のサブステップSS824 に進む。
【０３１７】
次にサブステップSS822 では、新たな比較データの算出を行う。ここで、算出に用いる画素データは、作成対象画素データの色と異なっている。たとえば、色G を用いて比較データを算出する。比較データAGS は、たとえば、その対象の画素データがR33 の場合、比較データAGS は、周囲の画素データG22, G24, G42, G44を用いて、
【０３１８】
【数４４】
AGSL= ｜G22-G44 ｜ ・・・(50)
AGSR= ｜G24-G42 ｜ ・・・(51)
から得られる。このサブステップでは算出した比較データAGSLとAGSRの値を用いてさらに相関値（AGSL-AGSR ）, （AGSR-AGSL ）も算出される。この処理後、接続子E を介して図40のサブステップSS826 に進む。
【０３１９】
次にサブステップSS826 では、算出した相関値（AGSL-AGSR ）と、たとえば、新たに設けられた所定の判定基準値J0a よりも相関値が大きいとき（Yes ）、ここでもAGSRの値が小さいことから、用いた画素データの値が似ていることを推定する。これにより、右斜め方向に相関があると判断してサブステップSS828 に進む。また、上述した条件が満たされないとき（相関値（AGSL-AGSR ）＜J0a ）（No) 、この作成対象画素に対する右斜め相関がないと判定してサブステップSS830 に進む。サブステップSS828 では、この場合、輝度データY33 が
【０３２０】
【数４５】
Y33=R33/2+(G22+G44)/4 ・・・(52)
から得られる。また、輝度データY33 は、式(48)から算出してもよい。
【０３２１】
サブステップSS830 では、算出した相関値（AGSR-AGSL ）と所定の判定基準値J0a よりも相関値が大きいとき（Yes ）、左斜め方向に相関があると判断してサブステップSS832 に進む。また、上述した条件が満たされないとき（相関値（AGSR-AGSL ）＜J0a ）（No) 、この作成対象画素に対する左斜め相関がないとしてサブステップSS808 に進む。サブステップSS832 では、この場合、輝度データY33 が
【０３２２】
【数４６】
Y33=R33/2+(G24+G42)/4 ・・・(53)
から得られる。また、輝度データY33 は、式(49)でもよい。サブステップSS828 とサブステップSS832 の輝度データ算出後は、接続子D を介して図41のサブステップSS824 に進む。
【０３２３】
ところで、サブステップSS806 において簡易的な斜め処理を選んだ場合、サブステップSS812 に進むことはすでに述べた。このサブステップSS812 では、比較データの算出を行う。比較データは、たとえば、適応処理を施す対象の画素データを中心にしてその周囲の画素データがどの方向に相関しているかの判別に用いる。たとえば、その対象の画素データがR33 の場合、比較データAGは、周囲の画素データG22, G24, G42, G44を用いて、
【数４７ 】
AG= ｜G22+G44-(G24+G42) ｜ ・・・(54)
から得られる。画素データが色R の場合について説明しているが、色B の場合も周囲の画素データG から算出する。この算出により、左右のいずれか一方に傾きを有する大きい方の値が比較データAGとして得られることになる。この演算の後、サブステップSS834 に進む。
【０３２４】
サブステップSS834 では、対象の画素データを挟んで斜めに位置する画素データに相関（すなわち、斜め相関）があるかどうか判定を行う。この判定には、判定基準値として新たにJ1が設定されている。比較データAGが判定基準値J1以上に大きいとき（Yes ）、サブステップSS836 に進む。また、比較データAGが判定基準値J1よりも小さいとき（No）、接続子C を介して図40のサブステップSS808 に進む。
【０３２５】
サブステップSS836 では、比較データAGの算出に用いた４つの画素データG を平均して輝度データY を算出する。作成対象の画素に対して複数の段階や簡易的な斜め方向に配された画素が相関しているかという判定により、具体的に図示しないが少なくとも、図43(a) 〜(f) の６パターンと同等のパターンが、たとえば、画素データR=R33 に対して判別されることになる。このパターンでも、図43(a) 〜(f) の斜線部分と斜線のない領域の近傍には偽色が発生してしまう虞れがある。しかしながら、境界近傍に位置する画素データR における輝度データY が、上述した演算により算出されると、画像全体として見た際に色境界での偽色の発生をこの場合も良好に抑圧することができる。具体的な説明を省略するが、たとえば、画素データB=B23 に対してもサブステップSS814 〜SS820 、SS82〜SS832 およびSS834 からSS836 と同様に比較データを算出し斜め相関の有無に基づいた適応的な輝度データY を作成することができる。
【０３２６】
サブステップSS836 の処理の後、接続子D を介して図41のサブステップSS824 に進む。これにより、一連の斜め処理が終了する。サブステップSS834 で斜め処理を行わない場合（No）、接続子C を介してサブステップSS808 に進む。このサブステップ以降、作成対象画素に対する水平・垂直方向の相関の有無に応じたデータ処理である。サブステップSS808 では相関処理をするかどうかの判定を行う。相関処理を受光素子（または色フィルタ）の広い範囲に関して他の方向、すなわち水平・垂直方向の相関を行う場合の判定である。この判定を行うとき（Yes ）、サブステップSS838 に進む。この判定をしないとき（No）、接続子B を介してサブステップSS804 に進む。
【０３２７】
サブステップSS838 では、比較データを算出する。ここでも画素データR=R 33 に対する一例を挙げて説明する。この処理では画素データR=R33 に対する垂直方向の比較データABR V と水平方向の比較データABRHを周囲に配置されているもう一方の色の画素データ、すなわち画素データB を用いて式(55)、式(56)
【０３２８】
【数４８】
ABR V = ｜B 23 -B 43 ｜ ・・・(55)
ABRH= ｜B31-B35 ｜ ・・・(56)
により算出する。算出した比較データABR V , ABRHの値を用いてさらに相関値（ABRH-ABR V ）, （ABR V -ABRH ）が算出された際に、新たに設けられた所定の判定基準値J2に対する各方向の相関値の大きさを比較して相関の有無を判定する手順を説明する。
【０３２９】
サブステップSS840 では、対象の画素データを挟んで垂直に位置する画素データに相関（すなわち、垂直相関）があるかどうか判定を行う。この判定には、判定基準値としてJ2a が設定されている。比較データABRHと比較データABR V の差が判定基準値J2a 以上に大きいとき（Yes ）、垂直相関があると判定してサブステップSS842 に進む。また、比較データの差(ABRH-ABR V ) が判定基準値J2a よりも小さいとき（No）、垂直相関がないものとみなしサブステップSS844 に進む。
【０３３０】
サブステップSS842 では、相関のあるということは画素データ同士の値が近いことを意味するから、画素データB 23 , B 43 を用いて輝度データY を算出する。この場合、輝度データY33 は、
【０３３１】
【数４９】
Y33=R33/2+(B 23 +B 43 )/4 ・・・(57)
により得られる。この後、この画素データにおける輝度データY の算出を終了したものとみなして接続子D を介して図41のサブステップSS824 に進む。
【０３３２】
次にサブステップSS844 では、対象の画素データを挟んで水平に位置する画素データに相関（すなわち、水平相関）があるかどうか判定を行う。この判定には、判定基準値として前述したJ2b を用いる。比較データABR V と比較データABRHの差が判定基準値J2b 以上に大きいとき（Yes ）、水平相関があると判定してサブステップSS846 に進む。また、比較データの差(ABR V -ABRH) が判定基準値J2b よりも小さいとき（No）、水平相関がないと判定し、サブステップSS848 に進む。
【０３３３】
サブステップSS846 では、相関のあるとして画素データB31, B35を用いて輝度データY を算出する。この場合、輝度データY33 は、
【０３３４】
【数５０】
Y33=R33/2+(B31+B35)/4 ・・・(58)
により得られる。この後、この画素データにおける輝度データY の算出を終了したものとみなして接続子D を介してサブステップSS824 に進む。
【０３３５】
次にサブステップSS848 では、たとえば、作成対象画素である色R の画素に対する周囲の色R, Bの画素の相関判定を行うかどうかを選択する。色R の画素が周囲の色R, Bの画素の中央位置に配されているので、サブステップSS840, SS844における画素間の距離が短い。すなわち、たとえば、垂直方向において、画素R33 - 画素R13 、画素R33 - 画素B53 は、画素B13-画素B53 の半分の距離である。この関係は、作成対象画素と水平方向に位置する画素においても言える。したがって、前述した水平・垂直方向の相関判定に比べてより受光素子（または色フィルタ）の狭い範囲に対する相関の有無判定が以後の処理で行われることが判る。この相関判定を行う場合（Yes ）、サブステップSS850 に進む。また、この相関判定を行わない場合（No）、接続子B を介してサブステップSS804 に進む。この場合、先の判定基準値J2と異なる判定基準値J2a, J2bのいずれの基準を満たさなかったものと判定される。なお、以後の処理を行わない処理手順にしてもよい。
【０３３６】
サブステップSS850 では、再び比較データを算出する。この場合の比較データは、対象の画素データと周囲の画素データの各相関を求め、得られた各相関値を加算することにより垂直方向および水平方向に対する算出がされる。前述の場合と同様に画素データR33 に対する輝度データY の算出は、垂直方向の比較データACRVと水平方向の比較データACRHを周囲に配置されているもう一方の色の画素データ、すなわち画素データB を用いて、式(59)、式(60)
【０３３７】
【数５１】
ACRV= ｜G 22 -G 42 ｜+ ｜G 24 -G 44 ｜ ・・・(59)
ACRH= ｜G 22 -G 24 ｜+ ｜G 42 -G 44 ｜ ・・・(60)
により算出する。この処理の後、サブステップSS812 に進む。この比較データを用いることにより、より一層画素データの距離を作成対象の画素データと近づけて相関値が求められることになるので、先のサブステップSS840 〜SS846 の手順での相関判定の範囲よりも狭い範囲に関して相関の有無を調べることができる。
この算出後、サブステップSS852 に進む。
【０３３８】
サブステップSS852 では、対象の画素データを挟んで垂直に位置する画素データに相関（すなわち、垂直相関）があるかどうか判定を行う。この判定には、判定基準値としてJ3が設定されている（ここで、判定基準値J3は、水平と垂直用にJ3a, J3bと分けてもよい）。比較データACRHと比較データACRVの差が判定基準値J3以上に大きいとき（Yes ）、垂直相関があると判定してサブステップSS854 に進む。また、比較データの差(ACRH-ACRV) が判定基準値J3よりも小さいとき（No）、垂直相関がないと判定してサブステップSS856 に進む。
【０３３９】
サブステップSS854 では、前述したサブステップSS842 での処理と同じ処理を行う。したがって、演算には式(29)が用いられる。また、サブステップSS856 では、対象の画素データを挟んで水平に位置する画素データに相関（すなわち、水平相関）があるかどうかの判定を行う。この判定にも判定基準値J3が用いられる。
【０３４０】
サブステップSS856 において、比較データの差(ACRV-ACRH) が判定基準値J3以上のとき（Yes ）、水平相関があると判定してサブステップSS858 に進む。この場合、サブステップSS858 での輝度データY は、サブステップSS846 で前述したように画素データを用い、式(58)に基づいて算出される。この後、サブステップSS824 に進む。また、サブステップSS856 で比較データの差(ACRV-ACRH) が判定基準値J3より小さいとき（No）、水平相関がないと判定して接続子B を介して図41のサブステップSS804 に進む。サブステップSS804 では、式(44)により対象の画素データと周囲のもう一方の色および同色の画素データ（この場合、画素データB およびR ）を加算平均し0.5 の係数を乗算して輝度データY を算出している。この算出後、サブステップSS824 に進む。
【０３４１】
サブステップSS824 では、輝度データのデータ作成が１フレーム分、完了したかどうかの判定を行っている。この判定は、たとえば、算出した輝度データY の個数をカウントし、このカウント値と受光素子の数とが一致するかどうかで容易に行うことができる。カウント値が受光素子の数より小さい値のとき（No）、まだ処理が完了していないと判定する。この結果、輝度データY の算出処理を接続子F を介して図39のサブステップSS800 にまで戻して、これまでの一連の処理を繰り返す。また、カウント値が受光素子の数に一致したとき（Yes ）、処理をリターンに移行させる。このリターンを経て処理をサブルーチンSUB9に移行させる。このようにして輝度データY を算出することにより、図59(b) のように受光素子すべてでのデータが作成される。
【０３４２】
なお、ハニカム配置およびG ストライプRB完全市松パターンの配置における輝度データは、斜め相関、垂直相関および水平相関の順に相関の有無に応じて各画素での算出を行う処理を説明してきたが、作成対象の画素にとってこれら３つの相関のうち、最も強く相関しているものを検出して、この相関検出に基づく輝度データを算出するようにするとよりよい画像が得られることになる。また、判定基準値はハニカム配置での処理に用いたものを便宜上用いたが、このG ストライプRB完全市松パターンに対応した判定基準値を適用してもよい。
【０３４３】
次にサブルーチンSUB9の動作を説明する（図46を参照）。サブルーチンSUB9の動作は、前述したように高域輝度データ作成部320cのディジタルフィルタの構成に基づいて行われサブステップSS90では、このディジタルフィルタの特徴であるローパスフィルタ処理を施す。G ストライプRB完全市松パターンを用いて撮像していることから、前述したハニカム配置のように仮想受光素子はない。したがって、図47に示す実在の受光素子に対応する画素d(-3), d(-1), d(1), d(3)（実線）だけで信号処理すればよいことが判る。ディジタルフィルタのタップ係数は、k1, k3, ・・・,kn+1（n は偶数値）として整理すると、高域成分を含む輝度データYh(1) が式(61)
【０３４４】
【数５２】
Yh(1)=k1*(d(1)+ d(-1))+k3*(d(-3)+d(3))+・・・+kn+1*(dn(-n)+dn(n))
・・・(61)
で表されるように得られる。これにより、水平方向に対するローパスフィルタ処理が行われる。また、垂直方向に対してもローパスフィルタ処理を高域輝度データ作成部320cでディジタルフィルタにより行う。このように、ローパスフィルタの係数は両方向ともに通常と同じにして済ませることができる。このようにして得られた高域成分を含む輝度データを図59(b) に示したように行列表現で表すと、図60に示すように高域成分を含む輝度データYhが作成される。高域成分を含む輝度データYhは、以下の記載において高域輝度データと呼ぶ。
【０３４５】
次にサブルーチンSUB11 の動作について説明する。サブルーチンSUB11 は、図36に示すようにプレーン補間展開部320dで行われる。プレーン補間展開部320dには、サブルーチンSUB9で作成された高域輝度データYhとこの高域輝度データYhに対応した補間対象の色の画素データがそれぞれの演算処理部に供給されている。
高域輝度データYhは、図36から明らかなようにR 補間展開部3200, G 補間展開部3202, およびB 補間展開部3204に共通して供給されている。これらの供給される画素データを用いて色毎に補間する。この場合、仮想画素に対する補間は行わず、それぞれの受光素子が実際に分解した色以外の色についてだけ補間すればよい。
【０３４６】
図63に示すフローチャートに従って補間する。ただし、各サブステップの演算内容は、画素ずらしを含むハニカム配置とは異なっていることから、同じ処理で対応できる場合もあるが、色R, Bの処理は前述した処理内容と異なっている。この場合、画素データG の補間処理をサブステップSS1100で最初に行う。このとき、図59(a) に示すように単板G ストライプRB完全市松のパターンを用いていることから、画素データG を有する画素は、図61に示すようにストライプ状に表される。補間処理には、たとえば、４つずつ画素データを用いる。
【０３４７】
この関係を具体的に図61に示す。図61のパターンが示すように、色R, Bに対応するこの図中の第２、第４、および第６列の画素を補間する場合、補間処理は補間対象画素として画素G21 やG23 に隣接する４つずつの画素データG10, G12, G30, G32や画素データG12, G14, G32, G34等を用いて加算平均をとってもよい。また、補間に用いる画素データG に対応する図59の高域輝度データYhも用いて演算する。たとえば、補間対象である画素データG21 の補間は、同一の列方向の２つの画素に対応する既存データおよび高域輝度データならびに補間対象位置の高域輝度データを用いて、式(62)
【０３４８】
【数５３】
G21=(G20+G 22 )/2-(Yh20+Yh22 )/2+Yh21 ・・・(62)
から得られる。式(62)の計算式を用いると、画素G23 も補間することができる。
また、画素G11 の補間は、同一の行方向の２つの画素データおよび高域輝度データならびに補間対象位置の高域輝度データを用いて、式(63)
【０３４９】
【数５４】
G11=(G10+G12)/2-(Yh10+Yh12)/2+Yh11 ・・・(63)
から得られる。式(63)の計算式を用いると、画素G13 を補間することができる。
そして、４つずつの画素データG10, G12, G30, G32の中心に位置する画素データG21 は、これら４つの位置の画素データおよび高域輝度データを用いて、式(64)
【０３５０】
【数５５】
G21=(G10+G12+G30+G32)/4-(Yh10+Yh12+Yh30+Yh32)/4+Yh21 ・・・(64)
から得られる。式(64)の計算式を用いると、画素G23 も補間することができる。
４つの画素データを一組のデータとみなして補間する場合、すでに算出した画素データも用いて算出すると、未算出の画素データが算出できることは言うまでもない。この処理を繰り返し行うことにより、画素データG のプレーン画像を作成する。また、画素R, Bの処理で後述するように、補間画素は、３つの画素、これらの画素の高域輝度データおよび補間対象画素の高域輝度データを用いて算出してもよい。ただし、プレーン画像の最外縁は、このような関係にならないので、厳密に補間を行う場合、境界値として設定しておくとよい。また、有効画面を考慮すると、この周辺部のデータは有効画面の範囲外にあるので算出しなくても構わない。
【０３５１】
次に画素データR の算出をサブステップSS1102で行う。この場合も演算によって色R に対応していない画素データを算出する。画素データR は、図62に示すようにR01, R05, R13, R21, R25 ,R33, R41, R45, R53 しかない。この場合、サブステップSS1102では、補間対象の画素に対して得られている３つの画素データとこの位置に対応する図60の高域輝度データを用いる。補間対象の画素は、これら３つの画素が形成する三角形の中央に位置する。たとえば、画素データR12 は、画素データR01, R21, R13 および高域輝度データYh01, Yh21, Yh13を用いて、
【０３５２】
【数５６】
R11=(R01+R21+R13)/3-(Yh01+Yh21+Yh13)/3+Yh11 ・・・(65)
によって算出される。同様の関係にある画素に対して式(65)を適用して補間算出する。また、三角形の頂点側の向きは一方の方向だけに限定されるものでなく、その逆方向の向きに形成される三角形を考慮し、各点での画素データを式(65)に代入して算出する。これにより、色G の画素データが列方向に並ぶ画素に対する補間が行われる。さらに、このようにして得られた画素データを三角形の各点の画素データとして用いると、色B の画素の位置に対する補間が行える。
【０３５３】
この他、前述したように、算出された画素によって囲まれた画素を補間対象の画素とし、補間に際して算出されたこれら４つの画素データおよびその位置の高域輝度データを用いて補間処理を行うようにしてもよい。たとえば、画素データR23 を中心に図62から判るように、その周囲の画素データR12, R14, R32, R34の位置のデータを用いて、式(66)
【０３５４】
【数５７】
R23=(R12+R14+R32+R34)/4-(Yh12+Yh14+Yh32+Yh34)/4+Yh23 ・・・(66)
によって算出される。式(66)に用いる画素データと同等の配置関係が周辺の画素から得られるとき、この補間を施すことによって、図62に示す色B の画素位置に対応する画素データR43 が得られる。このような４画素データが既知で、これら画素の中心位置の画素データを算出すると、R11, R31, R51, R15, R35, R55が得られる。
【０３５５】
また、補間は、これまでに得られた画素データを用いるとともに、これらの画素の内、補間対象の画素に対して上下左右に位置する画素データから補間を行ってもよい。たとえば、画素データR23 を中心に上下左右の４つの画素データおよびその位置の高域輝度データを用いて、式(67)
【０３５６】
【数５８】
R23=(R13+R33+R22+R24)/4-(Yh13+Yh33+Yh22+Yh24)/4+Yh23 ・・・(67)
によって算出される。同様の位置関係にあれば、式(67)から補間画素データが算出できる。
【０３５７】
なお、図62に示す画素R の場合も周辺部には未補間の画素が残ってしまうので、この画素に対して周囲を囲む、たとえば、３つの画素から補間するようにしてもよい。この補間の場合も前述した補間の手法を用いると、仮想画素の画素データR01 は、
【０３５８】
【数５９】
R02=(R01+R12+R03)/3-(Yh01+Yh12+Yh03)/3+Yh02 ・・・(68)
によって算出される。このようにして周縁部の画素データも補間することができる。これらの手順により、最終的に画素データR に関するプレーン画面全体が補間される。
【０３５９】
次に画素データB に対する補間処理がサブステップSS1104で行われる。サブステップSS1104は、それぞれ、画素データB における補間処理を行う。この場合も演算によって色R の場合と同様に色B に対応していない画素データを算出する。
画素データB は、図64に示すようにB03, B11, B15, B23, B31, B35, B43, B51, B55 しかない。この場合も、サブステップSS1102と同様に補間対象の画素に対して得られている３つの画素データとこの位置に対応する図60の高域輝度データを用いる。補間対象の画素は、これら３つの画素が形成する三角形の中央に位置する。画素配置の関係から同じ画素に対する補間を行う際に実際に得られる画素データで作る三角形の向きは、色R を求める場合と反対向きである。さらに算出により得られた画素データを用いてこの三角形の向きとは逆向きの三角形から新たな画素補間を行うことができる。また、サブステップSS1102での補間処理のように４つの補間データによる中央補間処理および上下左右の４画素による中央補間処理で画素データB を算出してもよい。このようにして補間処理を行うと、画素データB に関するプレーン補間展開を行うことができる。この処理の後、サブステップSS1106に進む。
【０３６０】
サブステップSS1106では、プレーン補間展開が各色毎にすべて終了したかどうかの判定を行う。一連の処理がまだ終了していないとき（No）、サブステップSS1100に戻って処理を繰り返す。なお、各色毎にこの確認処理を行ってもよい。また、一連の処理が終了したとき（Yes ）、リターンに移行する。この移行後、サブルーチンSUB6の処理が終了し、サブルーチンSUB7に進む。サブルーチンSUB7での処理は、前述した通りである。
【０３６１】
このようにG ストライプRB完全市松パターンでも輝度信号（データ）をほぼハニカム配置での構成をほぼそのままに用い、画素のパターンの差異に対応させて補間すると、従来の輝度信号（データ）作成で得られた場合よりも輝度信号の帯域を延ばすことが容易にできるとともに、それに要する時間を短時間ですませることができる。
【０３６２】
以上のように構成することにより、水平・垂直方向の両解像度を向上させるために行っていた従来、各方向の相関値検出を不要にするように画素ずらしに対応した信号処理を行う演算処理部の比重が大幅に軽減され、各方向の解像度は限界までを引き出す際の回路規模も適切な大きさで済ませることができる。また、ハニカム配置を用いることにより、画素の大きさを確保して固体撮像装置の画素の感度を維持することができ、製造工程では製造時の歩留りを向上させることができる。画質的には単板方式で問題となる、たとえば、均等補間等を行うことにより擬色を軽減することができる。特に既存の銀塩フィルムを用いる光学系の撮像装置を用いてディジタルカメラを構成するとき光学的な制限から必要になる光学的なローパスフィルタを使うことなく、擬色の発生を抑えることができる。
【０３６３】
また、信号処理も以上のように処理することにより、画素ずらし信号処理で水平・垂直方向の両解像度を向上させるために行っていた従来、各方向の相関値検出が不要になるので、信号処理の負荷を大幅に軽減しながら、従来の解像度限界まで、あるいはそれ以上の解像度をそれぞれ引き出すことができ、ソフトウェア処理をハードワイヤード処理に置き換えても回路規模を適切な大きさで済ませることができる。また、画質的には単板方式で問題となる、たとえば、均等補間等を行うことにより擬色を軽減することができる。
【０３６４】
【発明の効果】
このように本発明の固体撮像装置によれば、撮像手段や記録再生手段からの面データにおいて受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子として隣接する受光素子からのデータを基に正確な色再現重視、ならびに水平方向および／または垂直方向の解像度の重視と各項目に応じた信号処理をそれぞれ信号処理手段で行って、正方格子状に画素データを増やして、実際、従来より少ない受光素子数でありながら、それぞれの重視した項目に応じて容易に信号を高品質にできる。この高品質化させた信号を用いて補間して解像度を限界まで引き出す際に、回路規模も適切な大きさで済ませることができる。また、ハニカム配置を用いることにより、画素の大きさを確保でき固体撮像装置の感度の維持と製造工程では製造時の歩留りを向上させることができる。画質的には単板方式で問題となる、擬色を、たとえば、均等補間等を行うことにより軽減することができる。特に、既存の銀塩フィルムを用いる光学系の撮像装置を用いてディジタルカメラを構成するとき光学的な制限から必要になる光学的なローパスフィルタを使うことなく、擬色の発生を抑えることができる。
【０３６５】
また、本発明の信号処理方法によれば、隣接する受光素子からの画素データを基に正確な色再現重視、および水平方向および／または垂直方向の解像度の重視と各項目に応じて生成した各信号成分を基に画素データの広帯域化を図り、得られたデータを基に仮想受光素子の画素データを補間して正方格子状に画素データを増やす簡単な手法で処理することにより、実際、従来より少ない受光素子数でありながら、信号処理の負荷を大幅に軽減することができ、各重視した項目に応じて容易に信号を高品質にできる。この高品質化させた信号を用いて補間することにより、従来の解像度を限界まで、あるいはそれ以上の解像度をそれぞれ引き出すとともに、単板方式で問題となる、たとえば、擬色を均等補間等を行うことにより軽減することができる。
【図面の簡単な説明】
【図１】本発明に係る固体撮像装置における第１の実施例の概略的な構成を示すブロック図である。
【図２】図１に示した信号処理部の概略的な構成のブロック図である。
【図３】図２に示した擬似周波数加算部の概略的な構成のブロック図である。
【図４】図２に示した擬似周波数加算部の動作により得られる信号の周波数アロケーション表示の模式図である。
【図５】図２に示した周波数重複防止部の概略的な構成のブロック図である。
【図６】図１に示した撮像部の撮像面および色フィルタの配置の説明に用いる図である。
【図７】図６に示した撮像部の開口部、あるいは受光素子（画素）の配置において正方格子状の配置とハニカム形状の配置の関係を説明する模式図である。
【図８】図６に示した色フィルタとハニカム形状の配置の関係を説明する模式図である。
【図９】図７に示したハニカム形状の配置における隣接画素間距離と正方格子展開した際の補間画素の位置関係を説明する模式図である。
【図１０】本発明に係る固体撮像装置における第１の実施例の処理手順を説明するメインフローチャートである。
【図１１】図10に示したサブルーチンSUB1の処理手順を説明するフローチャートである。
【図１２】図11に続くサブルーチンSUB1の処理手順を説明するフローチャートである。
【図１３】図11に示したサブルーチンSUB1の演算処理を説明する基本配列および使用するエリアを示す模式図である。
【図１４】図10に示したサブルーチンSUB2の処理手順を説明するフローチャートである。
【図１５】図14に示したサブルーチンSUB2の処理手順において周波数重複防止処理に応じた得られる信号の周波数分布を示す図である。
【図１６】従来の正方格子配置と本発明に適用されているハニカム配置（G ストライプ完全市松パターン）にすることによって得られる高域成分信号を比較する周波数分布図である。
【図１７】本発明に係る固体撮像装置における第２の実施例の概略的な構成を示すブロック図である。
【図１８】本発明に係る固体撮像装置における第２の実施例の処理手順を説明するメインフローチャートである。
【図１９】図18に示したサブルーチンSUB3の処理手順を説明するフローチャートである。
【図２０】図18に示したサブルーチンSUB4の処理手順を説明するフローチャートである。
【図２１】図19に示したサブルーチンSUB3の演算処理を説明する基本配列を示す模式図である。
【図２２】図17に示した第２の実施例における変形例の概略的な構成を示すブロック図である。
【図２３】図19に示したサブルーチンSUB3の演算処理において他の処理方法を説明する模式図である。
【図２４】本発明に係る固体撮像装置における第３の実施例の概略的な構成を示すブロック図である。
【図２５】図24に示したデータ補間展開部の概略的な構成を示すブロック図である。
【図２６】図24に示した撮像部が有するハニカム配置と等価な斜め45°から見たベイヤ配置の関係を説明する模式図である。
【図２７】本発明に係る固体撮像装置における第３の実施例の処理手順を説明するメインフローチャートである。
【図２８】図27に示したサブルーチンSUB5の処理手順を説明するフローチャートである。
【図２９】本発明の固体撮像装置に適用する色フィルタを２板構成にした際に用いる色のパターン配置とこれらのパターン配置を合成して得られる空間配置の関係を示す模式図である。
【図３０】図29と同じく固体撮像装置に適用する色フィルタを２板構成にした際に用いる色のパターン配置とこれらのパターン配置を合成して得られる空間配置の関係を示す模式図である。
【図３１】本発明の固体撮像装置に適用する色フィルタを３板構成にした際に用いる色のパターン配置とこれらのパターン配置を合成して得られる空間配置の関係を示す模式図である。
【図３２】図31と同じく固体撮像装置に適用する色フィルタを３板構成にした際に用いる色のパターン配置とこれらのパターン配置を合成して得られる空間配置の関係を示す模式図である。
【図３３】従来の正方格子配置による３板DG方式の色フィルタの空間配置と補間画素の関係を説明する模式図である。
【図３４】本発明の固体撮像装置に適用する色フィルタを４板構成にした際に用いる色のパターン配置とこれらのパターン配置を合成して得られる空間配置の関係を示す模式図である。
【図３５】本発明の固体撮像装置における第４の実施例の概略的な構成を示すブロック図である。
【図３６】図35の固体撮像装置におけるプレーン補間展開部の概略的な構成を示すブロック図である。
【図３７】図35の固体撮像装置の動作を説明するメインフローチャートである。
【図３８】図37のメインフローチャートにおけるサブルーチンSUB6の動作を説明するフローチャートである。
【図３９】図38のフローチャートにおけるサブルーチンSUB8の動作を説明するフローチャートである。
【図４０】図39のサブルーチンSUB8における動作に続くその動作を説明するフローチャートである。
【図４１】図40のサブルーチンSUB8における動作に続くその動作を説明するフローチャートである。
【図４２】図35の撮像部に配された、(a) 受光素子の２次元配列と、(b) この受光素子から得られる輝度データの配置の関係を説明する模式図である。
【図４３】図39のサブルーチンSUB8で行われる斜め相関の判定が可能な色境界のパターンを示す模式図である。
【図４４】図39ないし図41のサブルーチンSUB8で行われる垂直相関および水平相関の判定が可能な色境界のパターンを示す模式図である。
【図４５】図39ないし図41のサブルーチンSUB8で色境界の判定が困難なパターンを示す模式図である。
【図４６】図38のフローチャートにおけるサブルーチンSUB9の動作を説明するフローチャートである。
【図４７】図46のフローチャートにおけるローパスフィルタ処理を行いながら、画素データの補間を行う際の関係を説明する模式図である。
【図４８】図46のフローチャートの手順に従って作成した高域成分の輝度データYhと画素データの２次元配列との関係を示す模式図である。
【図４９】図38のフローチャートにおけるサブルーチンSUB10 の動作を説明するフローチャートである。
【図５０】図49のサブルーチンSUB10 での画素データG に関する補間対象の画素と既存の画素の位置関係を示す模式図である。
【図５１】図49のサブルーチンSUB10 での画素データR に関する補間対象の画素と既存の画素の位置関係を示す模式図である。
【図５２】図51の位置関係に隣接斜め補間処理した結果を加えた際の位置関係を示す模式図である。
【図５３】図52の位置関係に隣接斜め補間処理により得られた４つの画素データを用いて補間処理した結果を加えた際の位置関係を示す模式図である。
【図５４】図52の位置関係に補間対象の画素に対して上下左右に位置する画素データを用いて補間処理した結果を加えた際の位置関係を示す模式図である。
【図５５】図49のサブルーチンSUB10 での画素データB に関する補間対象の画素と既存の画素の位置関係を示す模式図である。
【図５６】図35の固体撮像装置の色フィルタの配置に伴う各色の空間周波数の関係を示す模式図である。
【図５７】図35の固体撮像装置の各処理における水平方向の空間周波数帯域とその信号レベルの関係を示すグラフである。
【図５８】図37のメインフローチャートにおけるサブルーチンSUB7の動作を説明するフローチャートである。
【図５９】図35の撮像部に配されたG ストライプRB完全市松パターンにおける、(a) 受光素子の２次元配列と、(b) この受光素子から得られる輝度データの配置の関係を説明する模式図である。
【図６０】図46のフローチャートの手順に従ってG ストライプRB完全市松パターンにおいて作成した際の高域成分の輝度データYhと画素データの２次元配列との関係を示す模式図である。
【図６１】図35の撮像部に用いているG ストライプRB完全市松パターンにおける画素データG の補間対象の画素と実際に画素データが得られる画素との位置関係を示す模式図である。
【図６２】図35の撮像部に用いているG ストライプRB完全市松パターンにおける画素データR の補間対象の画素と実際に画素データが得られる画素との位置関係を示す模式図である。
【図６３】図38のフローチャートにおいてG ストライプRB完全市松パターンの場合の処理手順を説明するサブルーチンSUB11 のフローチャートである。
【図６４】図35の撮像部に用いているG ストライプRB完全市松パターンにおける画素データB の補間対象の画素と実際に画素データが得られる画素との位置関係を示す模式図である。
【符号の説明】
10, 30 固体撮像装置
11 撮像部
12 カラー信号処理部
12a ガンマ変換部
12b A/D 変換部
12c 信号処理部
12d データ配置変換部
12e データ補間展開部
20 カラー撮像装置
121 演算処理部
122 擬似周波数加算部
123 周波数重複防止部

Claims (13)

  1. 開口部を介して入射する光を撮像し、撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置であって、該装置は、
    前記開口部を介して入射する光を光電変換する受光素子に隣接した受光素子が垂直方向および／または水平方向にずらされて２次元配置された受光部を有する撮像手段と、
    前記受光素子の各開口部上に配される異なる分光感度特性を有する複数の色フィルタと、
    前記撮像手段から供給される信号をディジタルデータに変換するディジタル変換手段と、
    該ディジタル変換手段からの出力を記録再生する記録再生手段とを備え、
    前記色フィルタには、三原色をR,G,B で表すと、前記受光素子のずらし配置に対応して三原色R,GおよびB の原色フィルタを用いてずれを有するG 正方格子と該G 正方格子に対して前記ピッチの半分の距離だけずらしたRB完全市松パターンが形成されており、
    さらに該装置は、
    前記ディジタル変換されたディジタルデータを前記受光素子からの実画素データとして用いて、輝度データおよび色データを生成する信号処理手段を含み、
    該信号処理手段は、前記受光素子のずらし配置にともない受光素子間に生じる領域部に対して仮想的な受光素子を設定し、設定した仮想的な受光素子に隣接する前記実画素データを基に水平および垂直方向の色再現、ならびに水平および垂直方向の解像度において寄与する方向の信号成分をそれぞれ生成し、前記仮想的な受光素子の位置における仮想画素データも補間により生成する信号成分生成手段と、
    該信号成分生成手段から出力される色再現に寄与する周波数成分を有するデータと解像度に寄与する周波数成分を有するデータを加算する成分加算手段と、
    前記信号成分生成手段で水平方向および垂直方向の解像度に寄与する２つの周波数成分の生成にともなって重複する共通した周波数成分の一方を除去することにより前記共通した周波数成分の重複を防止する重複防止手段とを含むことを特徴とする固体撮像装置。
  2. 請求項１に記載の装置において、前記成分加算手段は、前記信号成分生成手段から供給される解像度に寄与する周波数成分を第１の周波数成分として一端側に減算入力させ他端側に第１の周波数成分よりも低域の色再現に寄与する第２の周波数成分を加算入力させる第１の加算手段と、
    第１の加算手段の出力と第１の周波数成分にそれぞれに重複する折り返し周波数成分を除く処理を施すフィルタリング手段と、
    該フィルタリング手段からの各出力が加算入力される第２の加算手段とを有することを特徴とする固体撮像装置。
  3. 請求項１に記載の装置において、前記重複防止手段は、前記成分加算手段から出力される信号のうち、一方の信号の共通した周波数成分に対して帯域を制限する制限フィルタ手段と、
    該制限フィルタ手段からの出力と前記共通した周波数成分を含む他方の信号とを加算する加算処理手段とを有することを特徴とする固体撮像装置。
  4. 請求項１、２または３に記載の装置において、前記信号処理手段は、三原色R,G,B の各色に着目し前記仮想的な受光素子の位置の色データも含めた２次元データとして色再現を考慮して３つの成分信号にそれぞれ補間展開させる２次元平面補間展開手段と、
    該２次元平面補間展開手段から得られる３つの成分信号を基に色差信号および輝度信号を生成する色差マトリクス手段と、
    前記２次元平面補間展開手段に供給されるデータおよび該２次元平面補間展開手段から出力されるデータのいずれかを用い、解像度に寄与する成分を輪郭強調させる成分の信号として生成する輪郭信号発生手段と、
    該輪郭信号発生手段の出力と前記色差マトリクスからの輝度信号をそれぞれ加算入力する輪郭強調手段とを有することを特徴とする固体撮像装置。
  5. 請求項４に記載の装置において、前記輪郭信号発生手段は、供給されるG 色だけのデータから相関検出し、検出した相関値の高い方向のデータを用いて、補間して、解像度に寄与する成分を輪郭強調する信号として生成させることを特徴とする固体撮像装置。
  6. 請求項１ないし５のいずれか一項に記載の装置において、該装置は、前記撮像手段に画素ずらしされた前記受光部を複数用いた多板方式であり、一つの受光部に対して所定の間隔に画素ずらしされた位置関係に固着させ、受光部のそれぞれに前記入射光を異なる種類の色セグメントにより分光する色フィルタパターンを組み合わせて、用いることを特徴とする固体撮像装置。
  7. 請求項６に記載の装置において、該装置は、２つの色フィルタによりG ストライプRB完全市松パターン、ベイヤパターン、色Gの色フィルタセグメントの位置に色Bまたは色Rの色フィルタセグメントが重複するパターンのいずれかを形成することを特徴とする固体撮像装置。
  8. 請求項６に記載の装置において、該装置は、３つの色フィルタにより、第１の色フィルタセグメントが配される第１の色フィルタと、
    第１の色フィルタセグメントが対応する受光素子の位置に対する前記仮想的な受光素子の位置に第１の色フィルタセグメントが配される第２の色フィルタと、
    第１の受光部における前記仮想的な受光素子の位置に第２および第３の色フィルタセグメントが配された第３の色フィルタとを備え、
    第１の色フィルタと第２の色フィルタを組み合わせることを特徴とする固体撮像装置。
  9. 請求項６に記載の装置において、該装置は、３つの色フィルタにより、第１の色フィルタセグメントが配される第１の色フィルタと、
    第１の色フィルタセグメントが対応する受光素子の位置に対する前記仮想的な受光素子の位置に第２の色フィルタセグメントが配される第２の色フィルタと、
    第１の色フィルタセグメントが対応する受光素子の位置に対する前記仮想的な受光素子の位置に第３の色フィルタセグメントが配される第３の色フィルタとを備え、
    第２の色フィルタと第３の色フィルタを組み合わせることを特徴とする固体撮像装置。
  10. 請求項６に記載の装置において、該装置は、４つの色フィルタにより、第１の色フィルタセグメントが配される第１の色フィルタと、
    第１の色フィルタセグメントが対応する受光素子の位置に対する前記仮想的な受光素子の位置に第１の色フィルタセグメントが配される第２の色フィルタと、
    第１の色フィルタセグメントが対応する受光素子の位置に対する前記仮想的な受光素子の位置に第２の色フィルタセグメントが配される第３の色フィルタと、
    第１の色フィルタセグメントと同じ位置に第３の色フィルタセグメントが配される第４の色フィルタとを備え、
    第１および第２、ならびに第３および第４の色フィルタを組み合わせて得られる正方格子状の配置パターンを形成することを特徴とする固体撮像装置。
  11. 入射光を光電変換する受光素子に隣接する受光素子が水平方向および垂直方向にずらして２次元配列され、前記入射光の到来側に該入射光を異なる分光感度特性を有する色フィルタセグメントを前記受光素子それぞれに対応して配し、前記受光素子を画素として扱い、前記入射光を前記受光素子それぞれでの受光によって得られた画素データを基に信号処理を施す信号処理方法であって、該方法は、
    前記得られた画素データを一時的に記憶するデータ記憶工程と、
    記憶された画素データを読み出し、前記受光素子のずらした２次元配列にともない受光素子間に生じる領域部に対して仮想的な受光素子を設定し、実際に得られた画素データを基に水平方向および/または垂直方向の色再現、ならびに水平および/または垂直方向の解像度において寄与する方向の信号成分をそれぞれ生成し、前記仮想的な受光素子の位置における仮想画素データも補間により生成する画素データ生成工程と、
    得られた信号成分を基に画素データを広帯域化させる広帯域化工程とを含み、
    該広帯域化工程は、色再現が考慮された成分信号と解像度を重視した成分信号を擬似周波数的に加算する擬似加算処理工程と、
    前記画素データ生成工程で水平方向および垂直方向の両解像度を重視する際に共通する周波数帯の重複を防止する帯域重複防止工程とを含むことを特徴とする信号処理方法。
  12. 請求項11に記載の方法において、前記画素データ生成工程は、前記実際に得られた画素データを基に水平方向および／または垂直方向の色再現に寄与する周波数成分を有するデータを演算により生成する色再現生成工程と、
    前記画素データを基に水平方向および／または垂直方向の解像度に寄与する周波数成分を有するデータを演算により生成する解像度生成工程とを有することを特徴とする信号処理方法。
  13. 請求項11または12に記載の方法において、該方法は、得られた三原色R,G,B の画素データを用いて各色に対する２次元平面の画素データを補間して、生成する展開補間工程を含むことを特徴とする信号処理方法。
JP00161399A 1998-01-08 1999-01-07 固体撮像装置および信号処理方法 Expired - Fee Related JP4607265B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00161399A JP4607265B2 (ja) 1998-01-08 1999-01-07 固体撮像装置および信号処理方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP195498 1998-01-08
JP28512698 1998-10-07
JP10-285126 1998-10-07
JP10-1954 1998-10-07
JP00161399A JP4607265B2 (ja) 1998-01-08 1999-01-07 固体撮像装置および信号処理方法

Publications (3)

Publication Number Publication Date
JP2000184386A JP2000184386A (ja) 2000-06-30
JP2000184386A5 JP2000184386A5 (ja) 2005-11-04
JP4607265B2 true JP4607265B2 (ja) 2011-01-05

Family

ID=27275003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00161399A Expired - Fee Related JP4607265B2 (ja) 1998-01-08 1999-01-07 固体撮像装置および信号処理方法

Country Status (1)

Country Link
JP (1) JP4607265B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4503823B2 (ja) 2000-12-22 2010-07-14 富士フイルム株式会社 画像信号処理方法
JP4423452B2 (ja) * 2000-12-27 2010-03-03 富士フイルム株式会社 固体撮像装置
US7289665B2 (en) 2001-03-05 2007-10-30 Nikon Corporation Image processing device and image processing program
JP4652634B2 (ja) 2001-08-31 2011-03-16 キヤノン株式会社 撮像装置
JP2003204488A (ja) 2001-10-30 2003-07-18 Mitsubishi Electric Corp 撮像装置および撮像装置を具備する携帯端末
JP4548390B2 (ja) 2006-06-16 2010-09-22 ソニー株式会社 撮像装置及び信号処理方法
JP5052127B2 (ja) * 2006-12-28 2012-10-17 三星電子株式会社 撮像装置及び撮像方法
WO2012114574A1 (ja) 2011-02-21 2012-08-30 三菱電機株式会社 画像拡大装置及び方法
JP5709131B2 (ja) * 2011-05-11 2015-04-30 国立大学法人東京工業大学 画像処理システム
EP2763417B1 (en) * 2011-09-29 2019-02-27 FUJIFILM Corporation Device, method and program for image processing, recording medium, and imaging device

Also Published As

Publication number Publication date
JP2000184386A (ja) 2000-06-30

Similar Documents

Publication Publication Date Title
JP4077120B2 (ja) 固体撮像装置および信号処理方法
JP4195169B2 (ja) 固体撮像装置および信号処理方法
US6882364B1 (en) Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
JP5183880B2 (ja) カラーフィルタおよび撮像素子
JP5462345B2 (ja) 光感度が改善されたイメージ・センサー
JP4971323B2 (ja) カラー画素とパンクロ画素の処理
JP5149279B2 (ja) 光感度が改善されたイメージ・センサー
US7893976B2 (en) Light sensitivity in image sensors
JP4503823B2 (ja) 画像信号処理方法
JP4372955B2 (ja) 固体撮像装置および信号処理方法
WO2006137419A1 (ja) 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP2004221839A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4607265B2 (ja) 固体撮像装置および信号処理方法
JP2000184386A5 (ja)
JP2000197067A (ja) 固体撮像装置および画像デ―タ作成方法
JP4548390B2 (ja) 撮像装置及び信号処理方法
JP2001036809A (ja) 固体撮像装置および画像処理方法
JP2001054127A (ja) 固体撮像装置および画素欠陥補償方法
JP2000152263A (ja) 固体撮像装置および画像データ作成方法
JPH10304235A (ja) 撮像装置
JP3967500B2 (ja) 固体撮像装置および信号読出し方法
JP4243412B2 (ja) 固体撮像装置および信号処理方法
JP4934183B2 (ja) 画像信号処理方法
JP3926019B2 (ja) 撮像装置
JPH10248069A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040930

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070904

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080130

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080317

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080905

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101007

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees