JP2000244823A - 撮像素子の欠陥画素補正装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮像素子に欠陥画素となる欠陥セルが連続し
て複数発生している場合でもその欠陥画素の値を適切に
補正する欠陥画素補正装置を提供。 【解決手段】 ディジタルカメラ10に備えられたディジ
タル信号処理部20に、撮像素子 (CCD)12にて撮像され、
アナログ・ディジタル変換部18にてディジタル信号に変
換された画像データが供給されると、これらデータがフ
レームメモリ(FM)21に格納され、座標メモリ28に記憶さ
れている撮像素子12の欠陥画素を示す座標データをメモ
リ21の記憶アドレスに変換した位置情報114 が信号処理
部20に制御部22より供給されると、位置情報114 の示す
対象画素を補間処理する際に、対象画素に隣接する隣接
画素が欠陥画素であるか否かが判定され、欠陥画素であ
る隣接画素を使用せず、正常な隣接画素の画素値が採用
されてこれら値の平均値が求められて対象画素の記憶ア
ドレスに書き込まれ、処理対象の欠陥画素の画素値が補
間される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像素子の欠陥画
素補正装置に関し、たとえば、固体撮像素子の画素欠陥
に起因して発生する画素信号を補正する撮像素子の欠陥
画素補正装置に関するものである。

【０００２】

【従来の技術】たとえば、多数の感光素子が水平および
垂直走査方向にアレイ状に配列されてそれぞれ画素を構
成する二次元固体撮像素子が知られている。このような
撮像セルアレイに含まれる受光素子には、その製造工程
等に起因して、入射光に反応しないセルや、入射光がな
くても異常に多い暗電流を発生するセルが含まれている
ことがしばしばある。これら欠陥セルは、たとえばそれ
ぞれ「黒キズ」および「白キズ」と称され、固体撮像素
子ではこれら欠陥セル自体を完全に除去することが困難
である。

【０００３】そこで、固体撮像素子から出力される画像
信号において、これらの欠陥セルにて生成される欠陥画
素の画素信号を、その周囲の撮像セルから得られる画素
信号を利用して補正する欠陥画素の補正方式が提案され
ている。欠陥セルの画素信号を補正する場合、たとえ
ば、その欠陥セルの周囲に隣接する複数の撮像セルの画
素信号を単純平均して、その平均値を当該欠陥セルの画
素信号に置き換える方式があった。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
ような補正方式では、たとえば欠陥セルが隣接して複数
の欠陥セルがバースト状にある場合には、処理対象とな
る欠陥セルに隣接する他の欠陥セルの隣接画素値を用い
て平均化することとなってしまい、算出した平均値は、
対象画素の値として置き換えるには適切ではなかった。
また、このようにして算出された画素値を、さらに他の
欠陥セルを補正するために隣接画素として使用すると、
その処理結果には補正誤差が累積してしまい、適切な欠
陥補正を行うことができなかった。

【０００５】本発明はこのような従来技術の欠点を解消
し、欠陥画素となる欠陥セルが連続して複数発生してい
る場合であっても、その欠陥画素の値を適切に補正する
ことのできる撮像素子の欠陥画素補正装置を提供するこ
とを目的とする。

【０００６】

【課題を解決するための手段】本発明は上述の課題を解
決するために、撮像素子から出力される画素信号を入力
して、撮像素子における欠陥画素による画素信号の欠陥
画素値を補正する撮像素子の欠陥画素補正装置におい
て、この装置は、画素信号を所定の記憶領域に記憶する
信号記憶手段と、撮像素子における欠陥画素に対応する
画素信号が記憶領域に記憶されている記憶位置を取得す
る欠陥座標取得手段と、記憶領域の記憶位置に記憶され
た欠陥画素の画素信号であって処理対象となる画素信号
に撮像素子において隣接する第１の隣接画素の隣接画素
位置を算出する隣接画素算出手段と、第１の隣接画素が
欠陥画素であるか否かを判定する欠陥判定手段と、欠陥
判定手段の判定結果に応じて、隣接画素位置に記憶され
ている画素信号に基づいて、処理対象の欠陥画素による
画素信号の画素値を補正する補正手段とを含むことを特
徴とする。

【０００７】

【発明の実施の形態】次に、添付図面を参照して本発明
による撮像素子の欠陥画素補正装置が適用された撮像装
置の一実施例を詳細に説明する。図１を参照すると、本
発明が適用された一実施例としてディジタルカメラのブ
ロック図が示され、このディジタルカメラ10は、不図示
の撮像レンズおよび撮像素子12によって撮像される被写
界の撮像信号を処理して、静止画像を表わすデータを本
体10に着脱可能なメモリカード30に記録する撮像装置で
ある。詳しくは、カメラ10は、高解像度の撮像画像を静
止画符号化処理してメモリカード30に記録する静止画モ
ードと、撮影の際にフレーミング等を行うための動画モ
ードとを有し、操作部26に備えられたレリーズスイッチ
がオン状態に操作されると静止画モードが設定される。
また、動画モードでは、撮像した動画像を表示するモニ
タ表示を視認して行うフレーミング、ピント調整および
露出調整等の撮影および撮像調節が行われる。撮影者に
よるレリーズ操作に応じて静止画モードに移行すると、
カメラ10は、動画モードにてフレーミングされた後に撮
像される１コマもしくは複数コマの高解像静止画像を処
理して出力部24に着脱自在に装填されるメモリカード30
に記録する。このカメラ10は、とくに、撮像素子12にて
発生する欠陥画素を適切に補正して、良好な画像を出力
させる撮像装置である。なお、以下の説明において本発
明に直接関係のない部分は、図示およびその説明を省略
し、また、信号の参照符号はその現われる接続線の参照
番号で表わす。

【０００８】カメラ10は、被写界に向けて配設される撮
像レンズにより結像される被写界像を電気信号に変換す
る撮像素子12を備え、撮像素子12は、画面を構成する水
平および垂直走査方向にそれぞれ複数の画素を形成する
フォトダイオードを水平および垂直方向に複数配列した
感光部と、各フォトダイオードにて生成される電荷を垂
直(V) 方向に転送する垂直転送CCD と、各垂直転送CCD
から転送される電荷を水平(H) 方向に転送する水平転送
CCD と、水平転送CCD にて転送される電荷を電気信号に
変換して出力する出力アンプとを含む二次元イメージセ
ンサである。

【０００９】この撮像素子12には、その製造上欠陥画素
が含まれ、その欠陥の程度により、きずレベルが他の正
常な画素のよりも大きい画素を欠陥画素として取り扱
う。欠陥画素の位置を特定する座標データは、撮像素子
12の製造メーカから供給され、この座標データは後述の
制御部(CPU) 22に接続された座標メモリ28に格納されて
いる。これに限らず、撮像素子12を本カメラ10に組み込
む際などに欠陥画素を独自に判別して、その位置を示す
座標データを座標メモリ28に作成してもよい。

【００１０】撮像素子12は、入力100 に入力される駆動
信号に応動して駆動されて、フォトダイオードに到達す
る光の量およびその露光時間に応じた電荷をそれぞれ生
成し、電荷に応じた電気信号をRGB 点順次の撮像信号と
して出力102 に出力する。本実施例における撮像素子12
は、動画モードでは、供給される駆動信号100 に応動し
て、各画素を水平および垂直方向に1/2 に間引きし、モ
ニタ表示可能なたとえば縦横640 ×460 画素のRGB 画素
信号を読み出して２フィールドで１フレームを構成する
動画像信号を出力102 に出力する。また、静止画モード
では全画素読出しを行なって有効画素が縦横1280×1024
画素のRGB 画素信号をフレームごとに出力する。

【００１１】このような撮像素子12から出力される画素
信号のうち、欠陥画素として座標メモリ28に登録された
位置に対応する感光部にて得られる画素値が、後述する
ディジタル信号処理部20にて補正される。この補正処理
は、撮像素子12が、いわゆるモノクロ画像を撮像する撮
像デバイスである場合には、図３に、撮像素子の画素配
列の一部を示すように、撮像素子内の画素位置(H,V) の
うち、画素(2,3) が欠陥画素であって、この画素に隣接
している画素(3,3) もまた欠陥画素である場合に、第１
の補正方式では、隣接画素(2,2),(1,3),(2,4) の３つの
画素から得られる画素値を用いて対象画素(2,3) の画素
値を補正する。この場合において、仮に隣接画素(3,3)
が欠陥画素ではない場合には、通常通り隣接画素(2,2),
(1,3),(2,4) に隣接画素(3,3) を加えた各画素値を用い
て欠陥補正を行うべき対象画素(2,3) の画素値を補正す
る。この第１の補正方式は、補正対象となる欠陥画素の
周辺に欠陥画素がない場合は、対象となる欠陥画素の周
辺４画素を平均化し、対象画素の画素値をその演算結果
に置き換える演算を行う。しかし欠陥画素がバースト状
に隣接している場合、その隣接した欠陥画素を使用せず
に、補正対象となっている欠陥画素の周辺に隣接してい
る正常な隣接３画素を用いて欠陥画素の画素値を補正す
る。この場合、対象画素に隣接する周辺２画素又は１画
素を使用するようにしてもよい。

【００１２】また第２の補正方式では、たとえば、図４
に示すように欠陥補正対象の対象画素(2,3) に隣接して
いる隣接画素(3,3) が欠陥画素であって、対象画素(2,
3) の画素値を補正する場合に、隣接画素(3,3) にさら
に隣接する隣接画素(3,2),(4,3),(3,4) のうちいずれか
の１つの画素から得られる画素値と、対象画素の隣接画
素(2,2),(1,3),(2,4) の各画素値との４つの画素値を用
いて対象画素(2,3) の画素値を補正する。この場合、欠
陥画素が単独で存在している場合の４画素平均をとって
欠陥画素を補正する演算処理をそのまま使用することが
できる。従来の補正方式によればたとえば図５に示すよ
うに、欠陥対象に隣接する画素もまた欠陥画素であった
場合であっても、対象画素に隣接する４画素を平均化し
てその平均結果を対象画素の画素値としていたため、欠
陥画素が連続配置されている場合には、欠陥画素データ
の異常値を含む演算結果となっていたが、上述の各方式
の実施例では、このような連続する欠陥画素を補正する
際に、欠陥画素として登録されている隣接画素を使用し
ないようにするので適切な欠陥画素補正が行える。この
ような画素欠陥補正は、モノクロカメラに限らず、入射
光をダイクロックプリズム等の色分解光学系によりたと
えばＲＧＢ各原色に分光し、分光された各原色成分を受
光する多板式の撮像ユニットに装着される各撮像素子に
て発生する欠陥画素を補正する場合にも好適に適用され
る。

【００１３】以上は、１単位の撮像素子12がモノクロ撮
像デバイスであるときの基本的な補正方式を説明したも
のであるが、撮像素子12がいわゆる単板式カラー撮像素
子である場合について以下に説明する。この場合、撮像
素子12の各画素を構成する感光部には、たとえば、RGB
原色カラーフィルタや補色フィルタが被着されている。
たとえば図６に一例としてその一部を示すように、この
撮像素子12は、ＧストライプＲ／Ｂ完全市松配列の原色
フィルタが被着されている撮像素子である。このような
カラーフィルタが被着された撮像素子における欠陥画素
を補正する場合、それぞれ同一の色成分のみに着目し、
同一の色成分でそれぞれ隣接する画素同士が連続して欠
陥画素であるか否かにより補正対象画素を補正するため
の隣接画素が決定される。同図に示したフィルタ配列の
撮像素子において、欠陥画素である画素(4,5) を補正対
象画素としてその画素値を補正する際に、この対象画素
に同一色成分で隣接する隣接画素(4,4),(2,5),(6,5),
(4,6) の４画素が正常画素である場合には、これら４画
素の画素値を平均化して、その演算結果を画素(4,5)の
画素値として置き換える処理を行う。しかし、対象画素
(4,5) と同一色成分の隣接画素(6,5) もまた欠陥画素で
ある場合には、この隣接画素(6,5) の画素値は使用せ
ず、他の隣接画素(4,4),(2,5),(4,6) を、対象画素(4,
5) を補正する隣接画素として使用する。この様子が図
６に示されている。すなわち、画素(4,5),(6,5) がそれ
ぞれ欠陥画素であるとき、欠陥画素である画素(6,5) を
除外した残る画素(4,4),(2,5),(4,6) の３つの画素値の
平均値を算出し、その算出結果を画素(4,5) の画素値と
して置き換える処理を行う。これは上述の第１の補正方
式と基本的には同様である。

【００１４】また、単板式カラー撮像素子に対する欠陥
補正処理の第２の補正方式を図７を参照して説明する。
上述の説明と同様に画素(4,5),(6,5) が欠陥画素であっ
て、画素(4,5) を補正対象画素として補正する場合に
は、隣接画素(4,4),(2,5),(4,6) の画素に加えて、隣接
欠陥画素(6,5) にさらに同一色にて隣接する画素(6,4),
(8,5),(6,6) のいずれかの画素を使用する。たとえば画
素(4,4),(2,5),(4,6),(6,6) の平均値を画素(4,5) の画
素値としてその値を置き換える。この場合、図４に示し
た例と同様に、その平均化演算処理に通常と同じ演算処
理を採用することができる。つまり４つの画素値の合計
をその数４で除算して画素値平均を算出することができ
る。この場合、対象画素と、同一色で隣接する隣接画素
との画素間距離が短い隣接画素を使用するとよい。ま
た、対象画素と隣接画素との距離に応じた重みを設定し
て、対象画素により近い隣接画素に重みを置くように平
均化してもよい。また図７に示した例では、隣接画素
(6,5) に代えてそのさらに隣接する画素のうちいずれか
の画素を使用していたが、これに限らず、たとえば画素
(6,4),(8,5),(6,6) のうち２ないし３つの画素の平均値
を隣接画素(6,5) に代わる画素値として利用してもよ
い。

【００１５】従来方法では、たとえば図８に示したよう
に、対象画素(4,5) に同一色成分で隣接する隣接画素
(6,5) が、たとえ欠陥画素であった場合であっても、対
象画素(4,5) に同一色成分で隣接する隣接画素の４画素
の平均値を単純に算出し、この算出結果を対象画素の画
素値とする補間処理を行っていたが、この場合、欠陥画
素の画素値を使用しているので、補間された対象画素の
値は、過剰な補正値となっていた。しかし、図３および
図４に示した第１および第２の補間処理方法では、隣接
画素が欠陥画素である場合にはその隣接欠陥画素を使用
せず、演算方法を切り換えて対象画素を補正し、また、
隣接欠陥画素に代わる適切な隣接画素を選択して、通常
と同様の演算処理により補間対象画素を補正するので、
良好な補正結果が得られる。

【００１６】以上、撮像素子12上における画素配列およ
びフィルタ配列に基づいて、欠陥画素を補正する方式を
説明したが、このような欠陥画素補正処理は、以下に説
明するディジタル信号処理部20にてその処理が行われ
る。以下の説明では、上述のカラーフィルタが備えられ
ている撮像素子12を使用するものとする。

【００１７】図１に戻って、撮像素子12の出力102 に
は、その撮像素子の個体差に応じて欠陥画素から得られ
る画素値が含まれる画像信号が出力される。この出力10
2 はアナログ処理部16に接続されており、アナログ処理
部16は、撮像素子12から出力されるアナログ信号を、タ
イミング制御部14より供給される画素クロックに同期し
て相関二重サンプリングする相関二重サンプリング(CD
S) 回路を有する。相関二重サンプリング回路は、入力
される撮像信号102 におけるリセットノイズを除去す
る。さらにアナログ処理部16は、RGB 点順次に入力され
る撮像信号を、タイミング制御部14から供給される色分
離パルスに応動して各色成分ごとに３線分離する色分離
回路と、色分離された各色成分信号のレベルを調整する
色バランス調整回路およびガンマ補正回路と、３線化さ
れた各色成分信号を一線化するマルチプレクサとを含
み、入力される画素クロックや色分離パルスなどの制御
信号104 に応動して、これら調整および補正処理等のア
ナログ信号処理を行なう。アナログ処理部16は、欠陥画
素を前置補間した各RGB 信号を、たとえば１水平走査期
間ごとに色成分を切り換えて一線化した後、出力106 に
接続されたアナログ・ディジタル(A/D) 変換部18に線順
次に供給する。

【００１８】A/D 変換部18は、入力106 に入力される画
像信号を所定ビットのディジタル信号に変換するアナロ
グ・ディジタル変換処理部である。本実施例におけるA/
D 変換部18は、タイミング制御部14から供給されるA/D
クロックや同期信号等の制御信号108 に応動して、水平
走査期間ごとに切り換えて供給される各色成分の各画素
信号を、たとえば８ビットもしくは10ビットのディジタ
ル値に順次変換する。A/D 変換処理部18の出力110 はデ
ィジタル信号処理部20に接続されている。

【００１９】ディジタル信号処理部20は、入力されるデ
ィジタル画像データ110 を制御部22からの制御信号112
に基づいて各種ディジタル信号処理する処理回路であ
る。この信号処理部20は、RGB 画像信号をそれぞれ一時
記憶するフレームメモリ(FM)21を有し、静止画モードが
設定されると、フレームメモリ21に格納される画像デー
タに対し、色バランス、輝度および彩度等を補正する補
正処理を静止画モードに応じた信号処理パラメータに従
って行なう。また、信号処理部20は、画像データに対し
てフィルタ処理および輪郭強調処理等のディジタル信号
処理を実行して適切な静止画像を作成する処理機能を有
する。また、ディジタル信号処理部20は、静止画モード
において、ＲＧＢ原色カラー画像データを輝度データＹ
および色差データＣに変換するＹＣ分離処理機能を有
し、動画モードにおいて、撮像映像を汎用の外部表示装
置に表示させる場合に、ＹＣ変換処理を行なったＹＣデ
ータを出力部24に供給する。また、信号処理部20は、出
力部24に内蔵される液晶モニタ装置に撮像映像を表示さ
せる場合にはＲＧＢ画像データを出力部24に供給する。
また、静止画モードにおける信号処理部20は、出力部24
にて処理する圧縮符号化方式に応じて、画像データをＹ
Ｃデータに変換して出力部24に供給する。

【００２０】また、ディジタル信号処理部20は、撮像素
子12のフィルタ配列に応じて各画素を３つの原色RGB に
て表わす画素補間機能を有し、撮像素子12におけるR,G,
B 各原色の画素から１つの画素位置におけるRGB 各画素
を補間処理によりそれぞれ生成する画素生成機能を有し
ている。

【００２１】さらにディジタル信号処理部20は、上述の
画素補間処理を行う前に、撮像素子12にて発生する欠陥
画素を補正する機能を有し、その際に欠陥画素の周辺の
複数画素を用いて補間処理することにより、良好に補正
された静止画像を生成する。詳しくは、信号処理部20
は、後述する座標メモリ28に格納された欠陥画素の座標
データに応じて制御部22から供給される位置情報114 を
用いて、撮像信号に含まれる欠陥画素の値を同一色成分
の隣接画素値に応じた値で置き換える補間処理を行な
う。たとえば、信号処理部20は、フレームメモリ21に一
旦記憶された画像データのうち、欠陥画素に近接する上
下左右方向の同一色成分画素を用いてそれらの平均を算
出し、その平均値を欠陥画素が記憶されるアドレスに書
き込んで欠陥画素を埋め戻す補間処理を行なう。信号処
理部20は、このようにして欠陥補正処理の後各種画像信
号処理を施した１コマの静止画像データをフレームメモ
リ21から読み出し、出力116 に接続された出力部24に出
力する。

【００２２】本実施例におけるディジタル信号処理部20
は、欠陥画素を処理する際に、その補間対象画素を補間
する際に必要な隣接画素の状態に応じて、隣接画素が欠
陥画素である場合であっても、良好な画素欠陥補正を行
うように、上述の第１の補正方式を実現する機能構成を
有する。このような欠陥補正を行う信号処理部20の機能
構成を図２に示すと、信号処理部20は、制御部22より供
給される欠陥画素の位置情報114 を取得する欠陥座標取
得部200 と、処理対象の欠陥画素に同一色成分にて隣接
する隣接画素のフレームメモリ21における記憶アドレス
を算出する隣接アドレス算出部202 と、その隣接画素が
欠陥画素であるか否かを前記記憶アドレスに基づいて判
定し、その判定結果を出力する欠陥判定部204 と、画素
アドレスを一旦記憶して、画素値取得タイミングに応じ
た所定の時間後に遅延して出力する遅延部206 と、欠陥
判定部204 の判定結果に応じた補間処理を行う補間処理
部208 とを含む。

【００２３】同図に示すように補間処理部208 はさら
に、欠陥判定部204 の欠陥判定に従って、正常な隣接画
素の画素値をフレームメモリ21から取得する画素値取得
部210と、欠陥判定部204 にて４つの隣接画素がそれぞ
れ正常画素であると判定された場合に、画素値取得部21
0 にて順次取得される４つの画素値を用いて４点補間演
算を行う第１演算処理部212 と、欠陥判定部204 の判定
結果が１つの欠陥画素を含まれる場合に、画素値取得部
210 にて順次取得される３つの画素値を用いて３点補間
演算を行う第２演算処理部214 と、第１演算処理部212
および第２演算処理部214 にて算出された画素値を、補
間処理対象画素の記憶アドレスに書き込んで、補間演算
結果をフレームメモリ21に埋め戻す補間値書込み部216
とを有する。

【００２４】補間処理部208 は、欠陥座標アドレスに応
じた対象の欠陥画素ごとに、その隣接画素が欠陥画素で
あるか否かを判定して、欠陥画素を除外した残りの正常
画素の値を使用する。そのとき第１演算処理部212 では
隣接画素のうち４画素ともすべてが正常である場合に、
４つの画素値を単純平均化する演算処理を行う。

【００２５】また、第２演算処理部では、隣接画素のう
ち１つの画素が欠陥であると判定されると起動されて、
画素値取得部210 にて順次取得される３つの正常画素の
値を平均化する演算処理を行う。なお、第２演算処理部
214 を設けないで、第１演算処理部は、画素値取得部21
0 にて取得される複数の正常画素値を、欠陥判定部204
の結果に応じて除算するパラメータを変更するように構
成されてもよい。補間値書込み部216 は、対象画素に対
する補間演算処理の都度、第１演算処理部212からのみ
その演算結果が供給される場合には、その演算値を遅延
部206 から与えられる記憶アドレスに書込んで、フレー
ムメモリ21に記憶されている対象画素の画素値を更新す
る。また、補間値書込み部216 は、第２演算処理部から
演算結果が供給される場合には、その演算値を遅延部20
6 から与えられる記憶アドレスに書込んで、フレームメ
モリ21に記憶されている対象画素の画素値を更新する。
このようにして画素値を更新すると、補間値書込み部21
6 は、次の欠陥画素を補正するための制御信号を欠陥画
素取得部200 に送り、欠陥画素取得部200 が座標メモリ
28から未処理の欠陥画素の位置情報114 を取得し、信号
処理部20は、次の欠陥画素に対する補正処理を行う。

【００２６】このように本実施例におけるディジタル信
号処理部20における画素欠陥補正機能は、フレームメモ
リに格納された画像データのうち、制御部22から供給さ
れる欠陥画素の記憶アドレスに対して、その記憶値を補
正する際に、補正に使用する隣接画素がまた欠陥画素か
ら得られた値である場合に、その隣接画素を使用せず
に、残る正常な隣接画素から得られた画素値を平均化し
て、その平均値を対象欠陥画素の画素値として更新する
ように構成されている。したがって、欠陥画素値を補正
する際に、異常な画素値によって過剰な補正を行うこと
が防止される。

【００２７】ディジタル信号処理部20は、このようにし
て欠陥画素の補正処理を行って、さらに上述した画素生
成処理や色バランス、輝度および彩度等の補正処理およ
びＹＣ変換処理などを行い、このようにして良好に補正
および調整処理された画像データをフレームメモリ21か
ら読み出して出力部24に供給する。

【００２８】出力部24は、ディジタル信号処理部20にて
処理された画像データを、所望の出力形態にて出力させ
る処理部である。詳しくは、出力部24は、画像データの
表わす画像および映像を表示するモニタ表示装置を含
み、入力116 に入力されるRGB画像データに応じた各コ
マの画像をその表示画面に表示させる。また、出力部24
は、画像データ116 をたとえばNTSC映像信号に変換し
て、その出力118 に着脱自在に接続されるテレビモニタ
装置やビデオプリンタおよびビデオレコーダ等の汎用の
映像機器に出力する。さらに出力部24は、静止画撮影に
よって得られた静止画像のＹＣ画像データを、たとえば
JPEG方式によって所定長のデータに圧縮符号化し、処理
された符号化データを、出力120 に着脱自在に接続され
るメモリカード等の記憶媒体30に記憶させる。出力部24
はまた、記憶媒体30に記録された情報を読み出してその
符号化データを復号し、復号された画像データをディジ
タル信号処理部20に供給する機能を有する。この場合、
信号処理部20は、出力部24から供給された画像データ
を、出力部24からの出力先に応じた信号形式に再変換処
理し、その処理結果を出力116 に出力する。なお、ディ
ジタル信号処理部20は、ディジタル画像信号を入出力す
るディジタル端子を備えてもよく、たとえば、連続する
各コマの動画像データを入出力可能なシリアル入出力端
子もしくはパラレル入出力端子を備える場合には、その
接続装置に応じた所定の形式に変換して入出力端子より
出力するとよい。

【００２９】制御部22は、操作部26に対する操作者の操
作状態に応じて動画モードと静止画モードとを択一的に
設定し、モードに応じて各部を制御する機能を有してい
る。詳しくは制御部22は、本カメラ10に電源が投入され
ると動画モードを設定し、操作部26に配置されたレリー
ズ釦が押下されると静止画モードを設定する。なお、操
作部26のレリーズスイッチが２段式スイッチにて構成さ
れる場合には、その第１ストロークにて動画モードにお
ける撮像調節およびその撮像映像の表示処理を行なっ
て、焦点調節、露出調節およびホワイトバランス等を調
整し、レリーズスイッチがさらに押下された第２ストロ
ークにて静止画モードに移行するとよい。

【００３０】制御部22によって動画モードが設定される
とタイミング制御部14は、撮像素子14を間引き読み出し
駆動する駆動信号を生成する。静止画モードにおいて制
御部22は、座標メモリ28に記録された座標データをフレ
ームメモリ21の記憶アドレスに変換して、この変換によ
り得られた位置情報をディジタル信号処理部20に与え
て、信号処理部20のフレームメモリ21における各欠陥画
素の記憶アドレスを指定する機能を有している。

【００３１】なお、本実施例では、画素欠陥の位置座標
を示す座標データが座標メモリ28に格納されて、その座
標データに対応する画素に対して静止画モードにて画素
欠陥補正処理を行なう。しかしこれに限らず、たとえ
ば、動画モードであっても、欠陥画素の処理速度が、そ
の動画信号の転送速度よりも早い場合などでは、動画モ
ードであっても静止画モードと同様の演算処理を行って
もよい。この動画モードにて動画像表示を行う場合に
は、その出力先である表示装置等に適合させて、画像デ
ータの画素間引きを行って画像サイズを変更する。この
場合、間引かれる画素がたとえ欠陥画素であった場合に
は、その画素を対象画素としないことにより演算負荷が
低減される。このような場合に備えて、座標メモリ28に
は、動画モードにおいて処理対象とはならない欠陥画素
を除外した欠陥座標データを別に格納してもよい。

【００３２】次に、前述した第２の補正方式が適用され
たディジタル信号処理部を以下に説明する。図９に示す
ように本実施例におけるディジタル信号処理部900 は、
図１に示したディジタル信号処理部20に代えてディジタ
ルカメラ10に備えられ、上述の実施例と同様に、撮像素
子12における欠陥画素の画素値を補正処理する機能を有
している。なお、ディジタル信号処理部900 の欠陥画素
補正以外の各機能構成については前述の実施例における
各種信号処理機能を有している。

【００３３】本実施例における信号処理部900 は、欠陥
画素の補間処理を行う際に、その補間対象に隣接してそ
の欠陥画素値を補正する際に使用されれるべき隣接画素
が欠陥画素であった場合に、その欠陥画素である隣接画
素にさらに隣接している第２の隣接画素を用いて、補正
すべき欠陥画素の画素値を補正するための構成を有して
いる。詳しくは、信号処理部900 は、処理対象となる欠
陥画素のフレームメモリ21における記憶アドレスを示す
座標データ114 を制御部22より取得する欠陥座標取得部
200 と、処理対象の欠陥画素に同一色成分にて隣接する
隣接画素の記憶アドレスを算出する隣接アドレス算出部
902 と、隣接アドレス算出部902 にて算出された隣接画
素の記憶アドレスが、欠陥座標取得部200 にて取得され
た位置情報114 に含まれるか否かを判定し、その記憶ア
ドレスにおける画素が欠陥画素か否かを判定する欠陥判
定部904 と、画素アドレスを一旦記憶して、画素値取得
タイミングに応じた所定の時間後に出力する遅延部206
と、隣接アドレス算出部902 および欠陥判定部904 より
供給される記憶アドレスに基づいて、対象画素の欠陥画
素値を補正する補間処理部906 とを有している。

【００３４】本実施例における隣接アドレス算出部902
は、欠陥判定部904 における欠陥画素の判定結果に従っ
て正常な隣接画素の記憶アドレスを補間処理部906 内の
第１画素値取得部908 に供給し、欠陥画素である隣接画
素の記憶アドレスは出力しないように構成されている。
また、隣接アドレス算出部902 は、対象画素の欠陥画素
を補正する際に、その対象画素に隣接する隣接画素が、
欠陥判定部904 の判定の結果欠陥画素であった場合に、
その画素にさらに隣接する第２の隣接画素の記憶アドレ
スを算出する演算処理機能を有している。欠陥判定部90
4 は、算出された第２の隣接画素の記憶アドレスを補間
処理部906 の第２画素値取得部910 に供給する。

【００３５】本実施例における補間処理部906 は、さら
に、隣接アドレス算出部902 にて算出された隣接画素の
記憶アドレスに記憶された画素値をフレームメモリ21か
ら読み出す第１画素値取得部908 と、欠陥判定部904 よ
り供給される第２の隣接画素の記憶アドレスに記憶され
た画素値をフレームメモリ21から読み出す第２画素値取
得部910 と、第１画素値取得部908 にて取得された隣接
４画素の画素値に基づいて、対象画素の補間画素値を平
均化演算処理により算出する演算処理部912 であって、
第２画素値取得部910 から第２隣接画素の画素値が供給
されると、第１画素値取得部908 にて取得された正常な
３つの画素と第２画素値取得部910 にて取得された１画
素の画素とを合計した４画素の各画素値を平均化演算処
理して対象画素の補間画素値を算出する演算処理部912
と、演算処理部912 における演算結果を、対象画素を補
間する画素値として、遅延部206 から送られる対象画素
の記憶アドレスに書き込んでフレームメモリ21上の欠陥
画素値を更新する補間値書込み部914 とを有している。

【００３６】このような構成により本実施例では、複数
の隣接画素の画素値を平均化する演算処理を変更するこ
となく、第１段階で認識した隣接に代わる隣接画素を第
２段階で認識して、各段階で認識された隣接画素の画素
値を通常の場合と同様に平均化処理することにより、４
画素平均による欠陥補正処理を行うことができる。この
場合、第１の隣接画素に代わる値を、その画素のさらに
隣接する第２の隣接画素の平均値を求めて、この値と、
対象画素に対する当初の正常な隣接画素とを使用して、
これらの平均値を算出することにより、対象画素に対す
る補間値を求めるようにしてもよい。

【００３７】以上説明したように、欠陥画素である補間
対象画素の値をその画素に隣接する隣接画素の値によっ
て補正する際に、隣接画素が欠陥画素であるか否かを認
識して、隣接画素が欠陥画素であった場合にはその画素
を除外して、残る正常な隣接画素の値に基づいて、補間
対象画素の画素値を求めるように構成されているので、
その補間結果に隣接画素の欠陥による影響を受けない補
間処理が行われる。その結果、欠陥画素の補間処理にお
いて、その処理結果によって欠陥補正が過剰補正となっ
て画像品質が低下することが防止される。また、隣接画
素がさらに欠陥画素であるか否か認識するように構成す
る場合には、その欠陥画素である隣接画素値を補正処理
には使用しないとともに、その欠陥隣接画素にさらに隣
接する第２の隣接画素のいずれかと、対象画素の正常な
隣接画素とを使用して、対象画素についての補間画素値
を求めるので、欠陥画素がバースト状に発生している場
合であっても、補間精度が大幅に低下することが防止さ
れる。

【００３８】なお、上記各実施例では、画素欠陥を補正
する都度、その隣接アドレスを算出するように構成され
ていたが、本発明はこれに限らず、たとえば、欠陥補正
で使用する隣接画素を示す記憶アドレスをも座標メモリ
28等の記憶手段に予め格納しておき、それら欠陥画素の
記憶アドレスと、これに対応する隣接画素の記憶アドレ
スを記憶手段から読み出して、補間演算処理に使用する
ようにディジタル信号処理部20および記憶手段が構成さ
れていてもよい。

【００３９】

【発明の効果】このように本発明によれば、撮像素子に
おける欠陥画素を補正する際に、対象画素を補間する際
に必要な隣接画素が欠陥画素であるか否かを判定して、
その判定結果に応じた演算処理もしくは、その隣接欠陥
画素に代わる第２の隣接画素を認識して、これら欠陥画
素ではない正常な画素から得られる画素値に基づいて、
対象画素の画素値を算出するので、処理対象の欠陥画素
に対して、過剰な補正値で置き換えることなく、適切な
補正を行うことができる。この結果、撮像素子の欠陥画
素による撮像画像への悪影響を適切に除去もしくは大幅
に低減することができる。このように、欠陥画素となる
欠陥セルが連続して複数発生している場合であっても、
その欠陥画素の値を適切に補正して、良好な補正画像を
得ることができる。

【図面の簡単な説明】

【図１】本発明による撮像素子の画素欠陥補正装置をデ
ィジタルカメラ等の撮像装置に適用した一実施例を示す
ブロック図である。

【図２】図１に示した実施例におけるディジタル信号処
理部の内部構成例を示すブロック図である。

【図３】撮像素子の欠陥画素に対する第１の欠陥補正方
式を示す図である。

【図４】撮像素子の欠陥画素に対する第２の欠陥補正方
式を示す図である。

【図５】従来の欠陥補正例を示す図である。

【図６】カラー撮像素子に対して第１の欠陥補正方式を
適用した場合の補正例を示す図である。

【図７】カラー撮像素子に対して第２の欠陥補正方式を
適用した場合の補正例を示す図である。

【図８】カラー撮像素子に対する従来の補正例を示す図
である。

【図９】ディジタル信号処理部の他の内部構成例を示す
ブロック図である。

【符号の説明】

10 ディジタルカメラ 12 撮像素子 14 タイミング制御部 20 ディジタル信号処理部 21 フレームメモリ(FM) 22 制御部 (CPU) 28 座標メモリ 200 欠陥座標取得部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B047 AB02 AB04 BB04 BB06 CB21 DA06 EA01 EB13 5C024 AA01 BA00 BA01 CA09 CA21 DA01 DA05 FA01 GA01 GA11 HA01 HA07 HA12 HA14 HA17 HA19 HA21 HA24 5C065 AA01 AA03 BB01 BB12 BB23 CC01 CC08 DD02 GG01 GG12 GG17 GG18 GG26 GG30 GG32

Claims (9)

【特許請求の範囲】
1. 【請求項１】 撮像素子から出力される画素信号を入力
   して、該撮像素子における欠陥画素による前記画素信号
   の欠陥画素値を補正する撮像素子の欠陥画素補正装置に
   おいて、該装置は、 前記画素信号を所定の記憶領域に記憶する信号記憶手段
   と、 前記撮像素子における欠陥画素に対応する画素信号が前
   記記憶領域に記憶されている記憶位置を取得する欠陥座
   標取得手段と、 前記記憶領域の前記記憶位置に記憶された欠陥画素の画
   素信号であって処理対象となる画素信号に前記撮像素子
   において隣接する第１の隣接画素の隣接画素位置を算出
   する隣接画素算出手段と、 前記第１の隣接画素が欠陥画素であるか否かを判定する
   欠陥判定手段と、 該欠陥判定手段の判定結果に応じて、前記隣接画素位置
   に記憶されている画素信号に基づいて、前記処理対象の
   欠陥画素による画素信号の画素値を補正する補正手段と
   を含むことを特徴とする撮像素子の欠陥画素補正装置。
2. 【請求項２】 請求項１に記載の装置において、該装置
   は、前記撮像素子の欠陥画素の位置を特定する座標情報
   を記憶する座標記憶手段を含み、前記欠陥座標取得手段
   は、前記座標情報に対応する前記信号記憶手段における
   記憶位置を取得することを特徴とする撮像素子の欠陥画
   素補正装置。
3. 【請求項３】 請求項２に記載の装置において、該装置
   は、前記前記座標情報を前記記憶位置を示す情報に変換
   して、該変換結果を前記欠陥画素座標取得手段に供給す
   る手段を有することを特徴とする撮像素子の欠陥画素補
   正装置。
4. 【請求項４】 請求項１ないし３のいずれかに記載の装
   置において、前記隣接画素算出手段は、前記撮像素子に
   おいて同一色成分にて隣接する第１の隣接画素の隣接画
   素位置を算出することを特徴とする撮像素子の欠陥画素
   補正装置。
5. 【請求項５】 請求項１ないし４のいずれかに記載の装
   置において、前記補正手段は、 前記隣接画素位置における第１の隣接画素の画素値を取
   得する第１の画素値取得手段と、 前記第１の画素値取得手段にて取得された第１の隣接画
   素に基づいて、前記対象画素を補間する画素値を算出す
   る第１の演算手段と、 前記画素値取得手段にて取得された隣接画素のうち、前
   記欠陥判定手段にて欠陥画素であると判定された第１の
   隣接画素を除く残りの第１の隣接画素に基づいて、前記
   対象画素を補間する画素値を算出する第２の演算手段
   と、 前記第１の演算手段または前記第２の演算手段にて算出
   された演算値を、前記対象画素の記憶位置に書き込む第
   １の補間値書込手段とを含むことを特徴とする撮像素子
   の欠陥画素補正装置。
6. 【請求項６】 請求項５に記載の装置において、前記第
   １の演算手段は、前記対象画素に隣接する複数の第１の
   隣接画素の画素値を平均化する演算を行い、前記第２の
   演算処理手段は、前記第１の隣接画素のうち、前記欠陥
   判定手段にて欠陥画素であると判定されていない正常な
   第１の隣接画素の平均値を算出することを特徴とする撮
   像素子の欠陥画素補正装置。
7. 【請求項７】 請求項１ないし４のいずれかに記載の装
   置において、前記欠陥判定手段は、前記隣接画素位置に
   おける第１の隣接画素が欠陥画素であるか否かを判定
   し、 前記隣接画素算出手段は、前記第１の隣接画素が欠陥画
   素であると前記欠陥判定手段にて判定されると、該第１
   の隣接画素に隣接する第２の隣接画素の隣接画素位置を
   算出し、 前記補正手段は、 前記第１の隣接画素の画素値を取得する第１の画素値取
   得手段と、 前記第２の隣接画素の画素値を取得する第２の画素値取
   得手段と、 前記対象画素に対応する第１の隣接画素が正常である場
   合に、前記第１の画素値手段にて取得された画素値に基
   づいて、前記対象画素を補間する画素値を算出する第３
   の演算手段と、 第３の演算手段にて算出された演算結果を前記対象画素
   の記憶位置に書き込む第２の補間値書込手段とを含み、 前記第３の演算手段は、前記第１の隣接画素のいずれか
   が欠陥画素であると前記欠陥判定手段にて判定され、前
   記第１の隣接画素に隣接する第２の隣接画素の画素値が
   前記第２の画素値取得手段にて取得されると、前記第１
   の画素値取得手段にて取得された画素値と、前記第２の
   画素値取得手段にて取得された画素値とに基づいて、前
   記対象画素を補間する画素値を算出することを特徴とす
   る撮像素子の欠陥画素補間装置。
8. 【請求項８】 請求項７に記載の装置において、前記第
   ３の演算手段は、前記第１の画素値取得手段にて取得さ
   れた第１の隣接画素の画素値を平均する演算処理により
   前記対象画素を補間する画素値を算出し、前記第２の隣
   接画素の画素値が前記第２の画素値取得手段にて取得さ
   れると、前記第１の画素値取得手段にて取得された正常
   な第１の隣接画素の画素値と、前記第２の隣接画素の画
   素値との平均値を算出し、 前記第２の補間値書込手段は、前記算出結果を前記対象
   画素の記憶位置に書き込むことを特徴とする撮像素子の
   欠陥画素補正装置。
9. 【請求項９】 請求項１ないし８のいずれかに記載の装
   置において、該装置は、前記撮像素子を備えることを特
   徴とする撮像素子の欠陥画素補正装置。