JP2004015191A - 固体撮像素子の欠陥補正装置及び方法 - Google Patents

Abstract

【課題】固体撮像素子の画素の欠陥情報を格納するＲＯＭ等の大容量化を回避しつつ、長時間露光時に現れる連続キズ及び単キズ（孤立点キズ）を効率よく補正する。
【解決手段】本発明では、長時間露光時に現れるキズのうち、撮影画像から検出することが困難な連続キズ（複数の隣接する画素が連続的に欠陥となるキズ）について予めその位置情報をＲＯＭに登録しておく。その一方、長時間露光で現れる孤立点キズ（周囲に対して１画素だけのキズ）の位置情報は登録しないものとする。そして、夜景撮影などの長時間露光時には、まず通常のキズの補正を行い、続いて、登録されている情報に基づいて長時間連続キズの補正を行い、その後更に画面内から孤立点を検出して、孤立点キズの補正を行う。
【選択図】　　図６

Description

【０００１】
【発明の属する技術分野】
本発明は固体撮像素子の欠陥補正装置及び方法に係り、特にデジタルスチルカメラやムービーカメラ、画像入力装置などに適用され、長時間露光時に目立つようになる画素の欠陥（キズ）を補正する信号処理技術に関する。
【０００２】
【従来の技術】
一般に、ＣＣＤ固体撮像素子（以下、ＣＣＤという。）を用いて夜景撮影など長時間の露光を行った場合、受光素子の欠陥による信号不良のために撮影画像内にパルス状の白キズが現れ、本来ならば色変化のない黒の背景領域のところに白い点が散在するような画像になってしまうことがある。通常の撮影で使用される露光時間の範囲で問題となる画素の欠陥（通常キズ）については、従来から、固体撮像素子上の欠陥画素のアドレス（座標）をＲＯＭ等の不揮発性メモリに予め記憶しておき、撮影時にその欠陥位置情報に基づいて信号を補正する方法が用いられている（特開平５−６８２０９号公報等）。
【０００３】
しかしながら、長時間露光によって初めて目立つようになる微妙な欠陥画素についてまで上記方法を適用し、かかる欠陥画素のアドレスを全てＲＯＭ等に記憶しておくことにすると、記憶すべき欠陥画素の数が増大し、現実的ではない。そこで、長時間露光時には、上記従来の方法で通常のキズを補正した後に、画面内の孤立点キズ（従来の方法で補正されない長時間露光時にのみ目立つようになる白キズ）を検出し、その孤立点キズについて周辺の同色画素値の平均値で置き換える（埋め戻す）という補正方法が行われている。
【０００４】
【発明が解決しようとする課題】
ところが、更に高温環境下であったり、バルブ撮影のように更に長時間の露光が行われると、パルス状の白キズが隣接して現れ、上記従来の方法（孤立点除去）ではキズを補正しきれなくなるという問題がある。また、通常、周囲に対して１画素だけの孤立点キズ（単キズ）は、撮影画像からキズとして容易に判別することが可能であり、そのキズもあまり目立つものではないが、複数の隣接する画素が連続的に欠陥となる連続点キズ（連続キズ）については、被写体自体の情報との峻別が困難なため、撮影画像から自動的に判別し難く、キズも目立ちやすいという問題がある。
【０００５】
本発明はこのような事情に鑑みてなされたもので、画素の欠陥情報を格納するＲＯＭ等の大容量化を回避しつつ、連続キズ及び単キズともに効率よく補正することができる固体撮像素子の欠陥補正装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するために本発明に係る固体撮像素子の欠陥補正装置は、所定時間以上の長時間露光時に発現する画素の欠陥のうち、連続した複数の欠陥画素に起因する連続キズのみの位置情報を格納しておく連続キズ位置情報格納手段と、前記連続キズ位置情報格納手段に格納されている前記連続キズの位置情報とその周辺画素の信号値を利用して前記連続キズの補正を行う連続キズ補正処理手段と、画面内の各画素について周辺画素と比較して孤立点キズを検出する孤立点キズ検出手段と、前記検出された孤立点キズの周辺画素の信号値を利用して当該孤立点キズの補正を行う孤立点キズ補正処理手段と、前記所定時間以上の長時間露光による撮影が行われた場合に、前記通常キズ補正処理手段、前記孤立点キズ手段、及び前記孤立点キズ補正処理手段を制御して前記連続キズ及び前記孤立点キズの補正を実施する補正制御手段と、を備えたことを特徴としている。
【０００７】
夜景撮影などの長時間露光時においては、通常の露光では目立つことのない画素の欠陥（キズ）が顕在化することがある。本発明は、この種の長時間キズのうち、画像分析による孤立点除去では補正が困難な連続キズについて予め長時間連続キズとしてその位置情報をＲＯＭ等の連続キズ位置情報格納手段に登録しておく。そして、長時間露光時には、登録した連続キズの情報を利用する連続キズの補正処理と、画像分析による孤立点キズの補正処理とを組み合わせて長時間キズの補正を行う。長時間露光キズのうち連続キズのみを登録するため（すなわち、長時間露光で現れる孤立点キズの位置情報は登録しないため）、孤立点キズ及び連続キズを含む全ての長時間露光キズの位置情報を登録する場合と比較して、キズの位置情報を格納する連続キズ位置情報格納手段（例えば、ＲＯＭ等の不揮発性メモリ）の容量を削減でき、大容量の記憶領域を用意しなくても、連続キズ及び孤立点キズを効率よく補正できる。
【０００８】
本発明に係る固体撮像素子の補正装置において、更に、前記所定時間内の通常露光時において発現する通常キズの位置情報を格納しておく通常キズ位置情報格納手段と、前記通常キズ位置情報格納手段に格納されている前記通常キズの位置情報とその周辺画素の信号値を利用して前記通常キズの補正を行う通常キズ補正処理手段と、を付加し、前記所定時間以上の長時間露光による撮影が行われた場合に、まず、前記通常キズ補正処理手段による前記通常キズの補正を実施し、次に、前記連続キズ補正処理手段による前記連続キズの補正を実施し、その後更に、前記通常キズ及び連続キズの補正処理後の画像について前記孤立点キズ検出手段による孤立点キズの検出を実施し、検出された孤立点キズについて前記孤立点キズ補正処理手段による孤立点キズの補正を実施するように制御する態様が好ましい。
【０００９】
かかる態様により、大容量の記憶領域を用意しなくても、通常キズ、連続キズ及び孤立点キズの全てを効率よく補正することができる。
【００１０】
本発明において、キズ画素の信号値を補正する一態様として、固体撮像素子の画素配置上、欠陥画素の周辺に存在する複数の同種（同色）画素の信号値から平均値を求め、この周辺同種画素値の平均値を欠陥画素の信号値として置き換える態様がある。また、孤立点キズを検出する一態様として、画像を構成している各画素について周辺の複数画素と比較し、画素種類毎に一定レベル差以上の輝度を有している画素を孤立点キズと判定する態様がある。比較する周辺の複数画素の範囲は、固体撮像素子の色分解カラーフィルタの配列構造との関係で各色ごとに決定される。長時間露光の基準である「所定時間」や孤立点キズの判定基準となる閾値については、固体撮像素子の感度に応じて可変設定される態様が好ましい。
【００１１】
本発明の更に他の態様に係る固体撮像素子の欠陥補正方法は、所定時間以上の長時間露光時に発現する画素の欠陥のうち、連続した複数の欠陥画素に起因する連続キズのみの位置情報を予め登録しておくとともに、前記所定時間内の通常露光時において発現する通常キズの位置情報を予め登録しておき、前記所定時間以上の長時間露光による撮影を実施した場合には、まず、登録されている前記通常キズの位置情報とその周辺画素の信号値を利用して前記通常キズの補正を行い、次に、登録されている前記連続キズの位置情報とその周辺画素の信号値を利用して前記連続キズの補正を行い、その後更に、前記通常キズ及び連続キズの補正処理後の画像について各画素と周辺画素とを比較して孤立点キズの検出を行い、検出された孤立点キズの周辺画素の信号値を利用して当該孤立点キズの補正を行うことを特徴としている。
【００１２】
【発明の実施の形態】
以下添付図面に従って本発明に係る固体撮像素子の欠陥補正装置及び方法の好ましい実施の形態について詳説する。
【００１３】
図１は本発明の実施形態に係る固体撮像素子の欠陥補正装置及び方法が適用された電子カメラのブロック図である。このカメラ１０は、単板式のデジタルカメラであり、撮影レンズ１２及びシャッター兼用絞り機構１４を通過した光は、撮像デバイス１６の受光面の上に結像される。メカシャッターは、撮像デバイス１６から信号を読み出すときに光が撮像デバイス１６に入射してスミア等が発生するのを防止する。絞り機構は、撮像デバイス１６に入射する光の量を調節する。
【００１４】
本例では撮像デバイス１６としてＣＣＤを用いるが、ＣＣＤ型に限らず、ＣＭＯＳ型など他の方式によるデバイスを適用してもよい。撮像デバイス１６の受光面には多数の受光素子（フォトダイオード）が２次元的に配列されており、各受光素子に対応して色分解用のカラーフィルタが設けられている。撮像デバイス１６の受光面に結像された被写体像は、各受光素子によって入射光量に応じた量の信号電荷に変換される。こうして各受光素子に蓄積された信号電荷は、駆動回路１８から加えられるリードゲートパルスによって転送路に読み出され、信号電荷に応じた電圧信号（画像信号）として順次出力される。なお、撮像デバイス１６は、シャッターゲートパルスのタイミングによって電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。
【００１５】
駆動回路１８は、タイミング信号を発生させるタイミングジェネレータを含み、中央処理装置（ＣＰＵ）２０の指令に従って撮像デバイス１６に対して駆動信号を与えるとともに、撮像デバイス１６及びアナログ信号処理部２２等に同期信号を与える。また、駆動回路１８は、撮像デバイス１６のドライバ回路として機能すると同時に、撮影レンズ１２、シャッター兼用絞り機構１４及びストロボ（閃光装置）２４を動作させる駆動回路として機能する。なお、ストロボ２４は、低照度時など必要な時に自動的に、或いはユーザの操作によって強制的に発光させることができ、被写体に補助光を照射する。
【００１６】
撮像デバイス１６は、タイミングジェネレータで生成したタイミング信号に基づいて駆動され、画像信号を出力する。撮像デバイス１６から出力された画像信号はアナログ信号処理部２２に送られる。アナログ信号処理部２２は、サンプリングホールド回路、色分離回路、ゲイン調整回路等を含む。このアナログ信号処理部２２に入力された画像信号は相関二重サンプリング（ＣＤＳ）処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。
【００１７】
アナログ信号処理部２２で生成された信号は、Ａ／Ｄ変換器２６においてデジタル信号に変換された後、バス（カメラ内部のメインバス）２８を介して一旦メモリ３０に格納される。なお、このメモリ３０の記憶領域の一部はＣＰＵ２０の演算作業用エリアとしても利用される。
【００１８】
メモリ３０に格納された画像データは、バス２８を介してデジタル信号処理部３２に送られる。デジタル信号処理部３２は、撮像デバイス１６の欠陥画素（キズ）のデータを補間する補正（以下、欠陥画素補正という。）処理、ホワイトバランス処理、ガンマ変換処理、同時化処理（単板撮像デバイスのカラーフィルタ配列に起因する色信号の空間的なズレを補間して各点の色を計算する処理）、輝度・色差信号生成（ＹＣ変換）処理、輪郭強調（アパーチャ付加）処理、シャープネス補正処理、データの圧縮・伸張処理等を行う信号処理手段であり、ＣＰＵ２０からのコマンドに従ってメモリ３０を活用しながら画像信号を処理する。
【００１９】
デジタル信号処理部３２に入力された画像データは、欠陥画素補正、ＹＣ変換等の所定の処理が施された後、ＪＰＥＧ形式その他の所定の圧縮フォーマットに従って圧縮され、メモリカードインターフェース部３４を介してメモリカード３６に記録される。なお、圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよく、使用される圧縮形式に対応した圧縮エンジンが用いられる。
【００２０】
画像データを保存する手段は、メモリカード３６で代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００２１】
なお、カメラ１０において、ガンマ変換や同時化、ＹＣ変換などの画像処理を施していない未加工の画像データ（Ａ／Ｄ変換後に欠陥画素補正のみを実施したＣＣＤ−ＲＡＷデータ）をメモリカード３６に記録するモード（ＲＡＷデータ記録モード）を付加してもよい。
【００２２】
再生モード時には、メモリカード３６から画像データが読み出され、デジタル信号処理部３２において伸張処理された後、表示用の信号に変換され、画像表示部３８に出力される。画像表示部３８には、液晶モニタや有機ＥＬなどの表示装置を用いることができる。この画像表示部３８はユーザインターフェース用の表示画面としても利用される。
【００２３】
また、カメラ１０はパソコンその他の外部機器との間でデータの送受信を行うための通信接続、或いは外部オプション装置を接続するための通信／オプションインターフェース部４０を備えている。この通信／オプションインターフェース部４０には、例えば、ＵＳＢ、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈなど有線又は無線無線方式の各種インターフェースを適用できる。
【００２４】
ＣＰＵ２０は、所定のプログラムに従って本カメラシステムを統括制御する制御部であり、シャッタースイッチ４２及びその他の操作スイッチ等４４からの入力信号に基づいてカメラ１０内の各回路の動作を制御する。カメラ１０に対してユーザが各種の指示を入力するための操作スイッチには、例えば、カメラ１０の動作モードを選択するためモード選択スイッチ、メニューを表示させるメニュースイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチなどがある。
【００２５】
ＣＰＵ２０はシャッタースイッチ４２及び操作スイッチ等４４から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、撮像デバイス１６を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、メモリカード３６の読み書き制御、画像表示部３８の表示制御、外部機器との通信制御などを行う。
【００２６】
ＲＯＭ４６にはＣＰＵ２０が処理するプログラム及び制御に必要な各種データ（欠陥画素の位置情報やキズ判定用の閾値、調整値データなど）が格納されている。不揮発性記憶手段としてのＲＯＭ４６は、書き換え不能なものであってもよいし、ＥＥＰＲＯＭのように書き換え可能なものであってもよい。
【００２７】
次に、上記の如く構成されたカメラ１０において撮像デバイス１６の欠陥画素を補正する方法について説明する。
【００２８】
本実施形態のカメラ１０では、撮像デバイス１６の画素の欠陥を３種類の補正処理を組み合わせて除去している。
【００２９】
第１の補正処理は、従来からも行われている通常キズの補正を目的とする。すなわち、通常の露光で発現する通常キズについては、キズのアドレス（欠陥画素の座標）を予めＲＯＭ４６に記憶しておき、撮影時に該当アドレスの画素の信号値（画素値）を周辺同色画素の信号値から演算して求めた代表値（例えば、周辺同色４画素の平均値）で置換する補正を行う。
【００３０】
例えば、撮像デバイス１６上で遮光状態のデータを取り込み、そのなかで所定の閾値以上の信号値となる画素をキズとして、そのキズ座標をカメラ１０のＲＯＭ４６に記録しておく（暗時白キズの登録）。また、撮像デバイス１６に一定光量の光を当ててデータを取り込み、所定の閾値以上の差のある画素もキズとして、そのキズ座標をカメラ１０のＲＯＭ４６に記録しておく（明時変調キズの登録）。なお、暗時白キズを判定する閾値と、明時変調キズを判定する閾値はそれぞれ別々に設定される。
【００３１】
このようにして、暗時白キズ及び明時変調キズの座標を予めＲＯＭ４６に登録しておき、撮影時には、撮像デバイス１６の出力信号をＡ／Ｄ変換してメモリ３０に取り込んだ後、ＲＯＭ４６内に記録してある座標のキズ画素を周囲の同色画素から補間して埋め戻す処理を行うことにより、キズを補正する。
【００３２】
第２の補正処理は、夜景撮影などの長時間露光時に発現する連続点キズ（以下、長時間連続キズという。）の補正を目的とする。この長時間連続キズについては、予めキズのアドレスをＲＯＭ４６に記憶しておき、長時間露光による撮影時に、その該当アドレスの画素の信号値を周辺同色画素の信号値から演算して求めた代表値（例えば、周辺同色４画素の平均値）で置換する補正を行う。
【００３３】
図２は長時間連続キズの情報をＲＯＭ４６に登録するときの処理手順を示すフローチャートである。長時間連続キズの登録は、工場出荷時（撮像デバイス１６の出荷時、若しくはカメラ１０の出荷時）に行う場合に限らず、出荷後にユーザ自身がカメラ１０を操作して登録（登録内容の更新）する態様も可能である。
【００３４】
図２に示したように、まず、メカシャッターを閉じるなどして撮像デバイス１６に光が入射しない遮光状態の下で撮像デバイス１６の長時間露光撮影（長時間の電荷蓄積）を実施し、画像データを取り込む（ステップＳ１１０）。そして、上記した第１の補正処理によって通常キズの補正を実施してから（ステップＳ１１２）、長時間連続キズを抽出する（ステップＳ１１４）。なお、長時間連続キズの抽出には、上述した暗時白キズの登録と同様の検出手法を適用する。
【００３５】
次いで、抽出された長時間連続キズのアドレスをＲＯＭ４６に格納する（ステップＳ１１６）。長時間キズについては孤立点のアドレスは登録せず、連続キズのみについてアドレスを登録する。これにより、全ての長時間キズ（連続キズ及び孤立点キズ）の情報を登録する場合と比較して、ＲＯＭ４６の容量を削減できる。
【００３６】
第３の補正処理は長時間露光時に発現するキズを補正する点で第２の補正方法と共通するが、上記した第２の補正処理は撮影画像から判別困難な連続キズを補正するのに対し、第３の補正処理では、撮影画像から判別容易な孤立点キズを補正する。すなわち、第３の補正処理は、キズのアドレスを予め登録せず、長時間露光の撮影によって取得された画像を解析して孤立点キズを検出する。そして、検出した孤立点キズについて、周辺同色画素の信号値から求めた代表値で置換する補正を行う。
【００３７】
例えば、ある露光時間以上の撮影で取得された画像の各画素について、周辺８画素と比較して白キズ（孤立点キズ）であるかどうかの判定を行う。比較する周辺８画素の位置関係は撮像デバイス１６上における各画素の光学配置や色によって異なる。そして、検出された孤立点キズを周辺同色４画素の平均値に置き換える。
【００３８】
ここで、孤立点キズの検出並びに補正の具体例を説明する。
【００３９】
図３に示した構成はハニカム配列と呼ばれる画素配列であり、受光素子５０の幾何学的な形状の中心点を行方向及び列方向に１つ置きに画素ピッチの半分（１／２ピッチ）ずらして配列させたものとなっている。すなわち、互いに隣接する受光素子５０の行どうし（又は列どうし）において、一方の行（又は列）の素子配列が、他方の行（又は列）の素子配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００４０】
各受光素子５０は八角形の受光面を有し、各受光素子５０に対応してＲＧＢの原色カラーフィルタが配置されている。図３のように、水平方向についてＲＢＲＢ…の行の次段にＧＧＧＧ…の行が配置され、その次段にＢＲＢＲ…の行、という具合に配列される。列方向についてみれば、ＲＢＲＢ…の列と、ＧＧＧＧ…の列と、ＢＲＢＲ…の列とが循環式に繰り返される配列パターンとなっている。なお、受光素子５０の開口形状は八角形に限定されず、四角形や六角形などの多角形、或いは円形であってもよい。また、各受光素子５０上には図示せぬマイクロレンズが配置されており、入射する光を効率的に受光素子５０に入射させるようになっている。
【００４１】
図３に示した画素配列構造を有する撮像デバイス１６において孤立点キズを検出する場合、Ｇ画素については、注目するＧ０画素に隣接する上下左右の４つのＧ画素（Ｇ１，Ｇ２，Ｇ３，Ｇ４）と斜め方向に近接する２つのＲ画素（Ｒ１，Ｒ２）及び２つのＢ画素（Ｂ１，Ｂ２）を周辺８画素として扱う。また、Ｒ又はＢ画素については図４に示すように、斜め方向に近接した画素位置にある８画素（Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｒ１，Ｒ２，Ｒ３，Ｒ４）を周辺８画素として扱う。Ｒ画素とＢ画素はキズ検出及び補正に関して相対位置が同じである。すなわち、Ｂ画素の場合は、図４のＲ１〜Ｒ４に代えて、これらと同等の相対位置にある４つのＢ画素が含まれる。
【００４２】
こうして、各画素について、色ごとに設定されている位置関係の周辺８画素と比較し、画素種類ごと（色ごと）に一定レベル差以上の輝度を持つ画素を白キズと判定し、そのキズの画素値を周囲の同種画素値の平均値で置換する。
【００４３】
例えば、Ｇ画素について白キズを判定する場合、下記の条件▲１▼及び▲２▼を判定条件とする。
【００４４】
〔条件▲１▼〕注目するＧ０画素の近接Ｇ４画素（Ｇ１，Ｇ２，Ｇ３，Ｇ４）に対して、それぞれ閾値　ＴＨＧ＿Ｇを加算したものより、Ｇ０がすべて大きい値であること。すなわち、図３のＧ０画素に近接する４つのＧ画素（Ｇ１，Ｇ２，Ｇ３，Ｇ４）について、次式（１−　１）〜（１−　４）が全て成立すること。
【００４５】
【数１】Ｇ０＞Ｇ１＋　ＴＨＧ＿Ｇ…（１−　１）
【００４６】
【数２】Ｇ０＞Ｇ２＋　ＴＨＧ＿Ｇ…（１−　２）
【００４７】
【数３】Ｇ０＞Ｇ３＋　ＴＨＧ＿Ｇ…（１−　３）
【００４８】
【数４】Ｇ０＞Ｇ４＋　ＴＨＧ＿Ｇ…（１−　４）
〔条件▲２▼〕注目するＧ０画素の近接Ｒ又はＢの４画素（Ｒ１，Ｒ２，Ｂ１，Ｂ２）に対して、それぞれ閾値　ＴＨＧ＿ＲＢを加算したものより、Ｇ０がすべて大きい値であること。すなわち、図３のＧ０画素に近接する４つの画素（Ｒ１，Ｒ２，Ｂ１，Ｂ２）について次式（２−　１）〜（２−　４）が全て成立すること。
【００４９】
【数５】Ｇ０＞Ｒ１＋　ＴＨＧ＿ＲＢ…（２−　１）
【００５０】
【数６】Ｇ０＞Ｒ２＋　ＴＨＧ＿ＲＢ…（２−　２）
【００５１】
【数７】Ｇ０＞Ｂ１＋　ＴＨＧ＿ＲＢ…（２−　３）
【００５２】
【数８】Ｇ０＞Ｂ２＋　ＴＨＧ＿ＲＢ…（２−　４）
そして、上記した条件▲１▼及び▲２▼をともに満たす場合に当該Ｇ０画素を孤立点キズの画素と判定する。孤立点キズの画素については、近接Ｇ４画素の平均値で置き換える。すなわち、Ｒ０の画素値を次式（３−　１）とする。
【００５３】
【数９】Ｇ０＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４　…（３−　１）
Ｒ画素の場合は、図４に示したように、注目するＲ０画素について周辺８画素（Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｒ１，Ｒ２，Ｒ３，Ｒ４）が定義される。そして下記の条件▲１▼′及び▲２▼′を判定条件とする。
【００５４】
〔条件▲１▼′〕注目するＲ０画素の近接Ｇ４画素（Ｇ１，Ｇ２，Ｇ３，Ｇ４）に対して、それぞれ閾値　ＴＨＲＢ＿Ｇを加算したものより、Ｒ０がすべて大きい値であること。すなわち、図４のＲ０画素に近接する４つのＧ画素（Ｇ１，Ｇ２，Ｇ３，Ｇ４）について、次式（４−　１）〜（４−　４）が全て成立すること。
【００５５】
【数１０】Ｒ０＞Ｇ１＋　ＴＨＲＢ＿Ｇ…（４−　１）
【００５６】
【数１１】Ｒ０＞Ｇ２＋　ＴＨＲＢ＿Ｇ…（４−　２）
【００５７】
【数１２】Ｒ０＞Ｇ３＋　ＴＨＲＢ＿Ｇ…（４−　３）
【００５８】
【数１３】Ｒ０＞Ｇ４＋　ＴＨＲＢ＿Ｇ…（４−　４）
〔条件▲２▼′〕注目するＲ０画素の近接Ｒ又はＢの４画素（Ｒ１，Ｒ２，Ｂ１，Ｂ２）に対して、それぞれ閾値　ＴＨＲＢ＿ＲＢを加算したものより、Ｒ０がすべて大きい値であること。すなわち、図４のＧ０画素に近接する４つの画素（Ｒ１，Ｒ２，Ｂ１，Ｂ２）について次式（５−　１）〜（５−　４）が全て成立すること。
【００５９】
【数１４】Ｒ０＞Ｒ１＋　ＴＨＲＢ＿ＲＢ　…（５−　１）
【００６０】
【数１５】Ｒ０＞Ｒ２＋　ＴＨＲＢ＿ＲＢ　…（５−　２）
【００６１】
【数１６】Ｒ０＞Ｂ１＋　ＴＨＲＢ＿ＲＢ　…（５−　３）
【００６２】
【数１７】Ｒ０＞Ｂ２＋　ＴＨＲＢ＿ＲＢ　…（５−　４）
そして、上記した条件▲１▼′及び▲２▼′をともに満たす場合に当該Ｒ０画素を孤立点キズの画素と判定する。孤立点キズの画素については、近接同色４画素の平均値で置き換える。すなわち、Ｒ０の画素値を次式（６−　１）とする。
【００６３】
【数９】Ｒ０＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）／４　…（６−　１）
図４ではＲ画素について説明したが、Ｂ画素についてはＲ画素と同様の手法（Ｒの画素をＢの画素Ｂ１〜Ｂ４で置換したもの）によって孤立点キズの判定及び補正を行う。
【００６４】
なお、露光時間や閾値は感度に応じて可変設定される。本例のカメラ１０は撮像系の感度をＩＳＯ１００〜ＩＳＯ１６００相当の範囲内で変更可能に構成されており、ユーザは操作スイッチ等４４を操作して所望の撮影感度を選択できる。指定された撮影感度に従ってＣＰＵ２０はアナログ信号処理部２２におけるゲインを設定する。撮影感度が高いほどゲインアップしているので、その分ノイズ成分も大きくなるため、判定用の閾値も大きい値に設定する。
【００６５】
本実施形態に係るカメラ１０は上述した第１〜第３の補正処理を組み合わせて様々な種類のキズを補正している。以下、その処理手順を説明する。
【００６６】
図５は、カメラ１０の信号処理フローチャートである。同図に示したように、シャッタースイッチ４２が押され（ステップＳ２１０）、撮影実行の指示が入力されると、ＣＰＵ２０は撮影動作を制御して撮像デバイス１６の露光を行う。そして、露光後にメカシャッターを閉じ、シャッター閉状態で撮像デバイス１６からデータを読み出し、画像データをメモリ３０に格納する（ステップＳ２１２）。こうしてメモリ３０に格納された画像データに対してまず、通常キズの補正を行う（ステップＳ２１４）。ここでの補正処理は上述した第１の補正処理を実施する。
【００６７】
図５のステップＳ２１４で通常キズの補正処理を実施してキズを除去した後、ステップＳ２１６に進み、露光時間が所定の判定基準値（例えば、１秒）よりも長いか否かを判断する。ステップＳ２１６において、露光時間が所定の判定基準値よりも長いと判断した場合（長時間露光時）には、長時間キズ補正の処理を実施する（ステップＳ２１８）。
【００６８】
図６に長時間キズ補正の処理フローチャートを示す。同図に示した長時間キズ補正の処理がスタートすると、まず、ＲＯＭ４６に登録されている連続キズの補正処理を行う（ステップＳ３１０）。ここでの補正処理は上述した第２の補正処理を実施する。
【００６９】
ステップＳ３１０において長時間連続キズ補正を実施して連続キズを除去した後、ステップＳ３１２に進み、孤立点キズを補正する処理を行う。ここでの補正処理は上述した第３の補正処理を実施するものであり、画像をスキャンして（各画素と周囲の画素とを比較して）孤立点キズを検出し、該孤立点を周囲同色画素の平均値で置き換える。上記手順に従って長時間連続キズ及び孤立点キズを補正し終えたら、長時間キズ補正のサブルーチンを終了し、図５のフローチャートに戻る。
【００７０】
長時間キズ補正（ステップＳ２１８）を実施した後は、ステップＳ２２０に進み、メモリ３０に格納された画像データについて、ホワイトバランス（ＷＢ）補正、輝度・色差信号生成、ガンマ補正、輪郭強調、圧縮などの信号処理を施して、画像データをメモリカード３６に記録する（ステップＳ２２０）。
【００７１】
その一方、ステップＳ２１６において露光時間が所定の判定基準値よりも短いと判断した場合（通常露光時）には、長時間キズ補正の処理（ステップＳ２１８）を省略して、ステップＳ２２０に進み、必要な信号処理を実施して画像データをメモリカード３６に記録する。このようにして、画像データをメモリカード３６に記録し終えたら、本処理シーケンスを終了する。
【００７２】
本発明の実施に際して撮像デバイスの構造は図３及び図４で説明した例に限定されず、受光素子が正方格子状に配列されたものであってもよく、また、色分解用のカラーフィルタアレイ（ＣＦＡ）についても、ベイヤー配列、インタライン配列、Ｇ縦ストライプＲＢ市松など、種々の配列構造についても本発明を適用可能である。
【００７３】
上述の実施形態ではデジタルスチルカメラを例に説明したが本発明の適用範囲はこれに限定されず、ムービーカメラや画像入力装置など電子映像を記録する様々な装置について本発明を適用できる。
【００７４】
【発明の効果】
以上説明したように本発明によれば、長時間露光時に現れるキズのうち、撮影画像から検出することが困難な連続キズ（長時間連続キズ）についてのみ予めその位置情報を登録しておき、長時間露光時には、登録されている情報に基づく長時間連続キズの補正処理と、画像分析による孤立点キズの補正（孤立点除去）処理とを組み合わせてキズの補正を行うようにしたので、キズの位置情報を格納する手段について大容量の記憶領域を用意しなくても、連続キズ及び単キズ（孤立点キズ）を効率よく補正することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る固体撮像素子の欠陥補正装置及び方法が適用された電子カメラのブロック図
【図２】長時間連続キズの位置情報をＲＯＭに登録するときの処理手順を示すフローチャート
【図３】撮像デバイス上における画素の光学配置例を示した平面模式図
【図４】撮像デバイス上における画素の光学配置例を示した平面模式図
【図５】本実施形態に係るカメラの信号処理手順を示すフローチャート
【図６】長時間連続キズを補正する処理手順を示すフローチャート
【符号の説明】
１０…カメラ、１６…撮像デバイス、２０…ＣＰＵ、２２…アナログ信号処理部、２６…Ａ／Ｄ変換器、３０…メモリ、３２…デジタル信号処理部、４６…ＲＯＭ、５０…受光素子

Claims (3)

1. 所定時間以上の長時間露光時に発現する画素の欠陥のうち、連続した複数の欠陥画素に起因する連続キズのみの位置情報を格納しておく連続キズ位置情報格納手段と、
   前記連続キズ位置情報格納手段に格納されている前記連続キズの位置情報とその周辺画素の信号値を利用して前記連続キズの補正を行う連続キズ補正処理手段と、
   画面内の各画素について周辺画素と比較して孤立点キズを検出する孤立点キズ検出手段と、
   前記検出された孤立点キズの周辺画素の信号値を利用して当該孤立点キズの補正を行う孤立点キズ補正処理手段と、
   前記所定時間以上の長時間露光による撮影が行われた場合に、前記通常キズ補正処理手段、前記孤立点キズ手段、及び前記孤立点キズ補正処理手段を制御して前記連続キズ及び前記孤立点キズの補正を実施する補正制御手段と、
   を備えたことを特徴とする固体撮像素子の欠陥補正装置。
2. 前記所定時間内の通常露光時において発現する通常キズの位置情報を格納しておく通常キズ位置情報格納手段と、
   前記通常キズ位置情報格納手段に格納されている前記通常キズの位置情報とその周辺画素の信号値を利用して前記通常キズの補正を行う通常キズ補正処理手段と、
   を備え、
   前記補正制御手段は、前記所定時間以上の長時間露光による撮影が行われた場合に、まず、前記通常キズ補正処理手段による前記通常キズの補正を実施し、次に、前記連続キズ補正処理手段による前記連続キズの補正を実施し、その後更に、前記通常キズ及び連続キズの補正処理後の画像について前記孤立点キズ検出手段による孤立点キズの検出を実施し、検出された孤立点キズについて前記孤立点キズ補正処理手段による孤立点キズの補正を実施するように制御することを特徴とする請求項１記載の固体撮像素子の欠陥補正装置。
3. 所定時間以上の長時間露光時に発現する画素の欠陥のうち、連続した複数の欠陥画素に起因する連続キズのみの位置情報を予め登録しておくとともに、前記所定時間内の通常露光時において発現する通常キズの位置情報を予め登録しておき、
   前記所定時間以上の長時間露光による撮影を実施した場合には、
   まず、登録されている前記通常キズの位置情報とその周辺画素の信号値を利用して前記通常キズの補正を行い、
   次に、登録されている前記連続キズの位置情報とその周辺画素の信号値を利用して前記連続キズの補正を行い、
   その後更に、前記通常キズ及び連続キズの補正処理後の画像について各画素と周辺画素とを比較して孤立点キズの検出を行い、検出された孤立点キズの周辺画素の信号値を利用して当該孤立点キズの補正を行うことを特徴とする固体撮像素子の欠陥補正方法。

Images