JP4703601B2 - 撮像装置 - Google Patents

Description

本発明は撮像装置に関するもので、たとえば、カメラ付き携帯電話、デジタルカメラ、および、ビデオカメラなどに使用されるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサに関する。

一般に、イメージセンサは、製造工程などに起因する白キズおよび黒キズが発生しやすい。このイメージセンサを使用したＲＧＢベイヤー配列の単板カラーカメラにおいては、メモリを使わずに、リアルタイムにキズ画素の信号を補正する方法として、メディアンフィルタ処理を用いた置換処理が知られている（たとえば、特許文献１または特許文献２参照）。また、キズ画素を判定して、そのキズ画素の信号を周辺画素の平均値を利用して置換する方法（たとえば、特許文献３参照）、あるいは、周辺画素の最大値もしくは最小値によりキズ画素の信号を置換する方法（たとえば、特許文献４参照）などが、これまでに提案されている。

しかしながら、上記した従来の方法は、いずれも、キズ画素が縦画像パターンの中のキズ画素なのか、横画像パターンの中のキズ画素なのかを判別できない。そのために、キズ画素の信号を、メディアンフィルタ処理によって周辺の同色８画素の信号の中間値により置換したり、周辺の同色８画素の信号のうちの最大値もしくは最小値により置換したり、あるいは、上下もしくは左右の同色２画素の信号の平均値によって置換したりしていた。それゆえ、キズ画素における解像度が劣化したり、画像パターンの端部（エッジ部分）での誤補正などが発生しやすいという問題があった。
特開２００６−２３８０６０号公報 特開平９−２４７５４８号公報 特開２００４−１１２７３６号公報 特表２００５−５２８８５７号公報

本発明は、上記の問題点を解決すべくなされたもので、画像のパターンに対応した置換処理を実施することができ、高精度の欠陥画素補正処理が可能な撮像装置を提供することを目的としている。

本願発明の一態様によれば、光電変換素子からなる複数の画素が二次元に配置された撮像手段より出力された画像信号に対して、キズ補正回路により所定の信号処理を施すように構成された撮像装置であって、前記キズ補正回路は、前記画像信号のうち、判定画素の１画素となりに隣接する隣接画素の信号および前記隣接画素にそれぞれ近接する前記隣接画素と同色の周辺画素の信号にもとづいて、前記隣接画素と前記隣接画素を中心とする＋字方向および×字方向の画素の画像パターンを抽出するパターン抽出手段と、前記パターン抽出手段によって抽出された前記画像パターンをもとに判定された前記判定画素にそれぞれ近接する前記判定画素と同色の周辺画素の信号により、前記判定画素の信号を置換する置換手段とを具備したことを特徴とする撮像装置が提供される。

上記の構成により、画像のパターンに対応した置換処理を実施することができ、高精度の欠陥画素補正処理が可能な撮像装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。ただし、図面は模式的なものであり、各図面の寸法および比率などは現実のものとは異なることに留意すべきである。また、図面の相互間においても、互いの寸法の関係および／または比率が異なる部分が含まれていることは勿論である。特に、以下に示すいくつかの実施の形態は、本発明の技術思想を具体化するための装置および方法を例示したものであって、構成部品の形状、構造、配置などによって、本発明の技術思想が特定されるものではない。この発明の技術思想は、その要旨を逸脱しない範囲において、種々の変更を加えることができる。

［第１の実施形態］
図１は、本発明の第１の実施形態にしたがった撮像装置の構成例を示すものである。なお、ここでは、ＣＭＯＳ型イメージセンサを例に説明する。

図１において、センサ部１１は、カラーフィルタ１２、複数の画素（光電変換素子）が二次元状に配置されたフォトダイオードアレイ（撮像手段）１３、および、カラム型アナログデジタルコンバータ（ＡＤＣ）１４を有している。カラーフィルタ１２は、レンズ（撮像系）１０で集光した光信号をＲＧＢ信号に分離し、フォトダイオードアレイ１３上に結像させる。フォトダイオードアレイ１３は、結像されたＲＧＢ信号を画素ごとに信号電荷に変換してＡＤＣ１４に送る。ＡＤＣ１４は、受け取った各画素の信号電荷をデジタル信号（画像信号）に変換し、ラインメモリ２１に出力する。なお、カラーフィルタ１２の色フィルタ配列としてはＲＧＢ原色のベイヤー配列を想定している。

ラインメモリ２１は、垂直５ライン分のメモリ１〜５を有し、センサ部１１の出力信号（ＡＤＣ１４からの画像信号）をそれぞれ記憶する。ラインメモリ２１は、この５ライン分の画像信号をキズ補正回路３１に供給する。

キズ補正回路３１は、ラインメモリ２１からの５ライン分の画像信号を並列に取り込み、適宜、レベル設定回路４１からの閾値レベル（ノイズ閾値）ＬｅｖＮを使って欠陥画素補正処理を実施するもので、判定画素である画像パターン（パターン情報）の抽出処理を行う隣接画素・パターン抽出回路３２と、キズ画素（欠陥画素）を検出して置換処理を行うキズ画素・置換処理回路３３とを有して構成されている。すなわち、キズ補正回路３１では、まず、隣接画素・パターン抽出回路３２によって、キズ画素に隣接する良品画素（有効画素）の信号とこれと同色の周辺８画素の信号とを用いて画像のパターンを抽出する。その後、画像パターンの抽出結果に応じて、キズ画素・置換処理回路３３により、たとえばキズ画素と同色の周辺８画素の信号を用いてキズ画素の信号を置換する。

なお、閾値レベルＬｅｖＮとは、適宜、ランダムノイズなどを想定して設定されるものであって、キズ画素を判定する際の基準となる。たとえば、処理の対象となる画素の信号が閾値レベルＬｅｖＮよりも大きい場合に、その画素はキズ画素（または、画像パターンのエッジ部分）と判定される。

信号処理回路５１は、キズ補正回路３１からの出力に対し、周知の信号処理、たとえばホワイトバランス処理、色分離補間処理、輪郭強調処理、および、ガンマ（γ）補正処理を施すとともに、ＲＧＢマトリックス回路を介して、出力端子ＤＯＵＴ０〜ＤＯＵＴ７よりＹＵＶ信号またはＲＧＢ信号を出力する。

システムタイミング発生回路（ＳＧ）６１は、外部からのクロック信号ＭＣＫおよび／またはコマンド制御回路７１からのコマンドにしたがって、センサ部１１、ラインメモリ２１、キズ補正回路３１、レベル設定回路４１、および、信号処理回路５１を制御する。

コマンド制御回路７１は、外部よりシリアルインタフェース（Ｉ／Ｆ）８１を介して供給されるデータＤＡＴＡに応じたコマンドを生成し、ラインメモリ２１、キズ補正回路３１、レベル設定回路４１、信号処理回路５１、および、ＳＧ６１のパラメータなどを制御する。

図２は、図１に示した構成のイメージセンサにおけるキズ補正回路３１の、隣接画素・パターン抽出回路３２の動作を説明するために示すものである。ここでは、同図（ａ）に示す画素の配置（色フィルタ配列）に対して、Ｒ０をキズ画素、これに隣接するＧ０を良品画素とした場合について説明する。

まず、キズ画素Ｒ０に隣接する、１画素前の隣接画素Ｇ０の信号と、その周辺の同色８個のＧ画素（周辺画素）Ｇ１〜Ｇ８のそれぞれの信号とを用いて、画像のパターンを抽出する（この例では、Ｇ画素とＲ画素とＢ画素の画素ピッチを合わせることで、処理を簡略化している）。

ここで、Ｇ画素に隣接するＲ画素の信号は、ほぼＧ画素と同じパターンになる。これを利用して、画像のパターン抽出は、隣接画素Ｇ０の信号とその周辺画素Ｇ１〜Ｇ８の信号との差分信号の絶対値（ＡＢＳ）をそれぞれ生成し、この差分信号の絶対値が閾値レベルＬｅｖＮよりも大きいかどうかを判定することによって行われる。もし、差分信号の絶対値が閾値レベルＬｅｖＮよりも小さい場合は、その周辺画素の信号は隣接画素Ｇ０と同じレベルの信号と判定する。この隣接画素Ｇ０と同じレベルの信号が、上（Ｙ０１）／下（Ｙ０５）、左（Ｙ０７）／右（Ｙ０３）、右斜め上（Ｙ０２）／左斜め下（Ｙ０６）、および、右斜め下（Ｙ０４）／左斜め上（Ｙ０８）の、８方向のどの周辺画素（Ｇ１〜Ｇ８）の位置にあるかで、縦の画像パターンまたは横の画像パターンもしくは斜めの画像パターンを抽出できる。

すなわち、たとえば同図（ａ）に示すように、隣接画素Ｇ０の信号とこの上方向（Ｙ０１）の周辺画素Ｇ１の信号との差分信号の絶対値Ｇ１０（＝ＡＢＳ（Ｇ１−Ｇ０））が閾値レベルＬｅｖＮよりも小さい場合、その周辺画素Ｇ１の信号は隣接画素Ｇ０の信号と同じレベルと判定する（Ｙ０１＝１）。同様に、たとえば隣接画素Ｇ０の信号とこの下方向（Ｙ０５）の周辺画素Ｇ５の信号との差分信号の絶対値Ｇ５０（＝ＡＢＳ（Ｇ５−Ｇ０））が閾値レベルＬｅｖＮよりも小さい場合、その周辺画素Ｇ５の信号は隣接画素Ｇ０の信号と同じレベルと判定する（Ｙ０５＝１）。同様に、たとえば隣接画素Ｇ０の信号とこの右斜め上方向（Ｙ０２）の周辺画素Ｇ２の信号との差分信号の絶対値Ｇ２０（＝ＡＢＳ（Ｇ２−Ｇ０））が閾値レベルＬｅｖＮよりも小さい場合、その周辺画素Ｇ２の信号は隣接画素Ｇ０の信号と同じレベルと判定する（Ｙ０２＝１）。同様に、たとえば隣接画素Ｇ０の信号とこの左斜め下方向（Ｙ０６）の周辺画素Ｇ６の信号との差分信号の絶対値Ｇ６０（＝ＡＢＳ（Ｇ６−Ｇ０））が閾値レベルＬｅｖＮよりも小さい場合、その周辺画素Ｇ６の信号は隣接画素Ｇ０の信号と同じレベルと判定する（Ｙ０６＝１）。

同様に、たとえば隣接画素Ｇ０の信号とこの右方向（Ｙ０３）の周辺画素Ｇ３の信号との差分信号の絶対値Ｇ３０（＝ＡＢＳ（Ｇ３−Ｇ０））が閾値レベルＬｅｖＮよりも小さい場合、その周辺画素Ｇ３の信号は隣接画素Ｇ０の信号と同じレベルと判定する（Ｙ０３＝１）。同様に、たとえば隣接画素Ｇ０の信号とこの左方向（Ｙ０７）の周辺画素Ｇ７の信号との差分信号の絶対値Ｇ７０（＝ＡＢＳ（Ｇ７−Ｇ０））が閾値レベルＬｅｖＮよりも小さい場合、その周辺画素Ｇ７の信号は隣接画素Ｇ０の信号と同じレベルと判定する（Ｙ０７＝１）。同様に、たとえば隣接画素Ｇ０の信号とこの右斜め下方向（Ｙ０４）の周辺画素Ｇ４の信号との差分信号の絶対値Ｇ４０（＝ＡＢＳ（Ｇ４−Ｇ０））が閾値レベルＬｅｖＮよりも小さい場合、その周辺画素Ｇ４の信号は隣接画素Ｇ０の信号と同じレベルと判定する（Ｙ０４＝１）。同様に、たとえば隣接画素Ｇ０の信号とこの左斜め上方向（Ｙ０８）の周辺画素Ｇ８の信号との差分信号の絶対値Ｇ８０（＝ＡＢＳ（Ｇ８−Ｇ０））が閾値レベルＬｅｖＮよりも小さい場合、その周辺画素Ｇ８の信号は隣接画素Ｇ０の信号と同じレベルと判定する（Ｙ０８＝１）。

一方、たとえば同図（ｂ）に示すように、８方向Ｙ０１〜Ｙ０８のすべての周辺画素Ｇ１〜Ｇ８の判定値が“０”のとき、ＯＲ回路（生成手段）３２ａ，３２ｂ，３２ｃの出力（Ｐｋｉｚ（制御信号）＝０）から、隣接画素Ｇ０はキズ画素と判定されて、後述するキズ補正のための置換処理が実行される。

逆に、ＯＲ回路３２ａ，３２ｂ，３２ｃの出力が“Ｐｋｉｚ＝１”のとき、隣接画素Ｇ０は良品画素と判定される。これにより、画像のパターンを記憶させるために、８方向Ｙ０１〜Ｙ０８の判定値は、それぞれ、パターン情報Ｙ１〜Ｙ８として内部のレジスタ（図示していない）に格納される。

そして、次の画素、つまりキズ画素Ｒ０に対して、上記の処理が繰り返し実施される。この結果、キズ画素Ｒ０の、その周辺の同色８個のＲ画素（周辺画素）Ｒ１〜Ｒ８の８方向Ｙ０１〜Ｙ０８の判定値から“Ｐｋｉｚ＝０”となり、キズ画素が判定されると、後述するキズ補正のための置換処理が実行される。

図３は、図１に示した構成のイメージセンサにおけるキズ補正回路３１の、キズ画素・置換処理回路３３の動作を説明するために示すものである。なお、ここでは、Ｒ０をキズ画素とし、このキズ画素Ｒ０と同色の周辺８画素Ｒ１〜Ｒ８の信号を、そのまま置換用データＲ０’としても利用するようにした場合について説明する。

本実施形態では、画像パターンの平坦な部分については平均化信号により置換処理を行って、ランダムノイズを低減するようにしている。そのために、たとえば同図（ａ）に示すように、縦方向（Ｙ０１，Ｙ０５）の周辺画素Ｒ１，Ｒ５のそれぞれの信号の平均値により平均化信号Ａを、横方向（Ｙ０３，Ｙ０７）の周辺画素Ｒ３，Ｒ７のそれぞれの信号の平均値により平均化信号Ｂを、斜め方向（Ｙ０２，Ｙ０６）の周辺画素Ｒ２，Ｒ６のそれぞれの信号の平均値により平均化信号Ｃを、斜め方向（Ｙ０４，Ｙ０８）の周辺画素Ｒ４，Ｒ８のそれぞれの信号の平均値により平均化信号Ｄを、また、周辺８画素Ｒ１〜Ｒ８のそれぞれの信号の平均値により平均化信号Ｇを、それぞれ生成している。なお、平均化信号Ｅは平均化信号Ａ，Ｃの平均値（周辺画素Ｒ１，Ｒ２，Ｒ５，Ｒ６のそれぞれの信号の平均値）として、平均化信号Ｆは平均化信号Ｂ，Ｄの平均値（周辺画素Ｒ３，Ｒ４，Ｒ７，Ｒ８のそれぞれの信号の平均値）として、それぞれ生成されている。

周辺８画素Ｒ１〜Ｒ８のそれぞれの信号または平均化信号Ａ〜Ｇは、たとえば同図（ｂ）に示すように、信号セレクタ回路において、隣接の良品画素Ｇ０の信号から求められたパターン情報Ｙ１〜Ｙ８にしたがって選択される。この選択された周辺８画素Ｒ１〜Ｒ８のそれぞれの信号または平均化信号Ａ〜Ｇは、ＯＲ回路３２ａ，３２ｂ，３２ｃの出力（Ｐｋｉｚ＝０）に応じてスイッチを切り替えることにより置換用データＲ０’となり、キズ画素Ｒ０の信号と置換される。

すなわち、キズ画素Ｒ０の信号は、パターン情報Ｙ１〜Ｙ８に対応した、周辺８画素Ｒ１〜Ｒ８のそれぞれの信号または平均化信号Ａ〜Ｇのいずれかと置換される。たとえば、パターン情報Ｙ１〜Ｙ８が「１０００００００」の場合、画像パターンのエッジ部分と判断され、キズ画素Ｒ０の信号は、周辺画素Ｒ１の信号からなる置換用データＲ０’によって置換される。たとえば、パターン情報Ｙ１〜Ｙ８が「１１１１１１１１」の場合、画像パターンの平坦な部分と判断され、キズ画素Ｒ０の信号は、平均化信号Ｇからなる置換用データＲ０’によって置換される。

このような処理を、順次、Ｇｒ画素、Ｂ画素、Ｇｂ画素の全画素についても同様に実施する。パターン情報Ｙ１〜Ｙ８を用いることで、画像パターンに適した最適な置換処理を実現できる。このため、キズ画素における解像度の劣化を防止することが可能となる。また、画像パターンのエッジ部分での誤補正をも防止できる。

勿論、キズ画素Ｒ０の信号は、平均化した信号を用いずに、周辺８画素Ｒ１〜Ｒ８のそれぞれの信号のみを使って置換することも可能である。

上記したように、判定画素であるキズ画素に隣接する良品画素から画像のパターン情報を抽出し、その画像パターンに対応した置換処理を実施することにより、高精度の欠陥画素補正処理を実現できる。

［第２の実施形態］
図４および図５は、本発明の第２の実施形態にしたがった、キズ補正回路３１の動作を説明するために示すものである。ここでは、キズ画素・置換処理回路３３の回路規模を低減できるように構成した場合について説明する。なお、第１の実施形態と重複する部分については、簡単に説明する。

図４は、キズ補正回路３１における、隣接画素・パターン抽出回路３２の動作を説明するために示すものである。本実施形態の隣接画素・パターン抽出回路３２は、たとえば同図（ａ）に示すように、隣接画素Ｇ０と同色の周辺８画素Ｇ１〜Ｇ８のそれぞれの信号をもとに、上下（Ｙ０１）、左右（Ｙ０３）、および、両斜め方向（Ｙ０２，Ｙ０４）の、４方向についてのパターン情報（Ｙ１＝Ｙ０１，Ｙ２＝Ｙ０２，Ｙ３＝Ｙ０３，Ｙ４＝Ｙ０４）を求めるようになっている。

また、縦（上下）方向について、隣接画素Ｇ０の信号と上方向の周辺画素Ｇ１の信号との差分信号（絶対値）をＧ１０、隣接画素Ｇ０の信号と下方向の周辺画素Ｇ５の信号との差分信号（絶対値）をＧ５０とし、その大小関係を判定する。もし、差分信号Ｇ５０よりも差分信号Ｇ１０の方が小さい場合は選択値Ｐ１５を“０”とし、大きい場合（等しい場合を含む）は選択値Ｐ１５を“１”とする。同様に、横（左右）方向および両斜め（クロス）方向についても、それぞれ、選択値Ｐ２６，Ｐ３７，Ｐ４８の０／１判定を実施する。

４方向Ｙ０１〜Ｙ０４のすべての判定値が“０”ならば、たとえば同図（ｂ）に示すように、ＯＲ回路（生成手段）３２ｄの出力（Ｐｋｉｚ（制御信号）＝０）より、隣接画素Ｇ０は判定画素であるキズ画素と判定する。逆に、ＯＲ回路３２ｄの出力が“Ｐｋｉｚ＝１”のとき、画像のパターンを記憶させるために、４方向Ｙ０１〜Ｙ０４の判定値は、それぞれ、パターン情報Ｙ１〜Ｙ４として内部のレジスタ（図示していない）に格納される。

図５は、キズ補正回路３１における、キズ画素・置換処理回路３３の動作を説明するために示すものである。本実施形態のキズ画像・置換処理回路３３は、たとえば同図（ａ）に示すように、回路規模を低減させるために、選択値Ｐ１５，Ｐ２６，Ｐ３７，Ｐ４８に応じて、各方向Ｙ０１，Ｙ０２，Ｙ０３，Ｙ０４の２画素の信号のいずれか一方をそれぞれ選択する方式となっている。

たとえば、選択値Ｐ１５は、上下方向の差分信号Ｇ１０，Ｇ５０のうち、小さい方がキズ画素Ｒ０の信号により近いと判断し、たとえ画像パターンが縦ストライプのときでも、周辺画素Ｒ１，Ｒ５のそれぞれの信号の小さい方を選択信号Ａとして選択する。同様に、選択値Ｐ２６は、周辺画素Ｒ２，Ｒ６のそれぞれの信号の小さい方を選択信号Ｂとして選択する。同様に、選択値Ｐ３７は、周辺画素Ｒ３，Ｒ７のそれぞれの信号の小さい方を選択信号Ｃとして選択する。同様に、選択値Ｐ４８は、周辺画素Ｒ４，Ｒ８のそれぞれの信号の小さい方を選択信号Ｄとして選択する。

画像パターンが縦ストライプと横ストライプ、もしくは、四角のコーナーを検出する＋字パターンのときには、選択信号Ａと選択信号Ｂとの平均値から平均化信号Ｅを生成し、画像パターンが右斜め線と左斜め線、もしくは、４５度回転した四角のコーナーを検出するクロス（×字）パターンのときには、選択信号Ｃと選択信号Ｄとの平均値から平均化信号Ｆを生成する。また、画像パターンの平坦な部分については、平均化信号Ｅと平均化信号Ｆとの平均値から平均化信号Ｇを生成する。

選択信号Ａ〜Ｄおよび平均化信号Ｅ〜Ｇは、たとえば同図（ｂ）に示すように、信号セレクタ回路において、隣接の良品画素Ｇ０の信号から求められたパターン情報Ｙ１〜Ｙ４にしたがって選択される。この選択された選択信号Ａ〜Ｄおよび平均化信号Ｅ〜Ｇは、ＯＲ回路３２ｄの出力（Ｐｋｉｚ＝０）に応じてスイッチを切り替えることにより置換用データＲ０’となり、キズ画素Ｒ０の信号と置換される。これにより、キズ画素・置換処理回路３３の回路規模を低減した場合にも、ランダムノイズを低減しつつ、キズ画素Ｒ０の信号を置換用データＲ０’によって高精度に置換できる。

このような構成とした場合、回路規模を低減し得るとともに、高精度の欠陥画素補正処理を実現できる。

［第３の実施形態］
図６は、本発明の第３の実施形態にしたがった、キズ補正回路３１におけるキズ画素・置換処理回路３３の動作を説明するために示すものである。ここでは、図５に示した方法とは別の方法によって、キズ画素置換処理を行うように構成した場合について説明する。なお、第２の実施形態と重複する部分については、説明を割愛する。

まず、パターン情報Ｙ１〜Ｙ４に対応する、判定画素であるキズ画素Ｒ０と同色の、＋字（Ｙ０１，Ｙ０３）方向およびクロス（Ｙ０２，Ｙ０４）方向の周辺８画素Ｒ１〜Ｒ８のそれぞれの信号を用意する。

次に、パターン情報Ｙ１〜Ｙ４に応じて、キズ画素Ｒ０と同色の、＋字方向の周辺４画素のそれぞれの信号もしくはクロス方向の周辺４画素のそれぞれの信号のいずれかを、置換用データＲ０’として選択する。ただし、パターン情報Ｙ１〜Ｙ４が十字方向およびクロス方向をともに選択した場合は、キズ画素Ｒ０からの距離が近い＋字方向の周辺４画素Ｒ１，Ｒ３，Ｒ５，Ｒ７の信号を用いる。

次に、選択した＋字方向の周辺４画素のそれぞれの信号もしくはクロス方向の周辺４画素のそれぞれの信号とキズ画素Ｒ０の信号とを含めた５画素分の信号を、レベル（Ｄ５〜Ｄ１）の大小順に並べ替える。

ここで、信号の最小値Ｄ１に対応する画素は黒キズ、最大値Ｄ５に対応する画素は白キズの可能性があると判断し、キズ画素Ｒ０の信号は、最大値Ｄ５および最小値Ｄ１を除く、中間値Ｄ２，Ｄ３，Ｄ４のいずれかであると仮定する。単純には、中央値Ｄ３を選択してもよい。

この例では、ランダムノイズを低減させるために、中間値Ｄ４，Ｄ３の差分信号（絶対値）をＳｕｂ４３とし、平均化信号をＡＶＥ４３とする。同様に、中間値Ｄ３，Ｄ２の差分信号（絶対値）をＳｕｂ３２とし、平均化信号をＡＶＥ３２とする。そして、この差分信号Ｓｕｂ４３，３２のうち、小さい方の平均値ＡＶＥ４３，ＡＶＥ３２を置換用データＲ０’（＝Ｔｄａｔａ）として、キズ画素Ｒ０の信号と置換する。または、中間値Ｄ２，Ｄ３，Ｄ４の平均値と置換してもよい。

このような方法によって置換処理を行う構成とした場合にも、回路規模を低減し得るとともに、高精度の欠陥画素補正処理を実現できる。

［第４の実施形態］
図７（ａ），（ｂ）は、本発明の第４の実施形態にしたがった、キズ補正回路３１の動作を説明するために示すものである。ここでは、図４に示した隣接画素・パターン抽出回路３２の動作をより簡素化できるように構成した場合について説明する。なお、第２の実施形態と重複する部分については、簡単に説明する。

本実施形態の場合、まず、隣接画素Ｇ０の信号とこれに近接する同色の８方向の周辺画素Ｇ１〜Ｇ８のそれぞれの信号との差分信号（絶対値）Ｇ１０，Ｇ２０，Ｇ３０，Ｇ４０，Ｇ５０，Ｇ６０，Ｇ７０，Ｇ８０が、閾値レベルＬｅｖＮよりも小さいか否かを判定する。

次に、閾値レベルＬｅｖＮよりも小さいと判定された差分信号のうち、上下（Ｙ０１）方向、左右（Ｙ０３）方向、および、両斜め（Ｙ０２，Ｙ０４）方向について、それぞれ、優先順位にしたがって隣接画素Ｇ０と同じレベルの信号を選択する。

すなわち、各方向における差分信号のどちらか一方の優先順位を高くし、方向ごとに、優先順位の高い方の差分信号を判定値として選択する。たとえば、Ｙ０１方向において、周辺画素Ｇ１の信号が隣接画素Ｇ０の信号と同じレベルと判定した場合、選択値Ｐ１５を“０”とする。これに対し、周辺画素Ｇ５の信号が隣接画素Ｇ０の信号と同じレベルと判定した場合、選択値Ｐ１５を“１”とする。もし、周辺画素Ｇ５の信号が隣接画素Ｇ０の信号と同じレベルと判定した結果を優先させる場合、たとえ周辺画素Ｇ１の信号が隣接画素Ｇ０の信号と同じレベルと判定されて選択値Ｐ１５に“０”がセットされていても、周辺画素Ｇ５の信号が隣接画素Ｇ０の信号と同じレベルと判定された場合には、その選択値Ｐ１５である“１”が判定値として選択される（Ｙ０１＝１）。

このようにして、それぞれ求められるパターン情報Ｙ１（＝Ｙ０１），Ｙ２（＝Ｙ０２），Ｙ３（＝Ｙ０３），Ｙ４（＝Ｙ０４）にしたがって、上述したように、後段のキズ画素置換処理を同様に行うことにより、パターン抽出処理の簡素化とともに、高精度の欠陥画素補正処理を実現できる。

［第５の実施形態］
図８および図９は、本発明の第５の実施形態にしたがった、キズ補正回路３１の動作を説明するために示すものである。ここでは、隣接画素Ｇ０の信号と同色の周辺８画素のそれぞれの信号から画像パターンを抽出するのではなく、隣接画素Ｇ０の信号と縦方向および横方向および両斜め方向の４方向の周辺画素のそれぞれの信号との相関から画像パターンを抽出するようにした場合について説明する。なお、説明が重複する部分については、詳しい説明は割愛する。

図８は、キズ補正回路３１における、隣接画素・パターン抽出回路３２の動作を説明するために示すものである。本実施形態の隣接画素・パターン抽出回路３２は、たとえば上下（Ｙ０１）方向について、周辺画素Ｇ１，Ｇ５のそれぞれの信号の平均値と隣接画素Ｇ０の信号との差分信号の絶対値が、閾値レベルＬｅｖＮよりも小さいか否かを判定する。小さい場合（Ｙ０１＝１）には、縦方向に相関があると判断できる。同様に、左右（Ｙ０２）方向および両斜め（Ｙ０３，Ｙ０４）方向についても、相関の有無を判断する。

ＯＲ回路（生成手段）３２ｅの出力（制御信号Ｐｋｉｚ）から、４方向Ｙ０１〜Ｙ０４の判定値のどれかが“１”の場合（Ｐｋｉｚ＝１）、隣接画素Ｇ０は判定画素であるキズ画素ではないと判断し、それぞれの判定値をパターン情報（Ｙ１＝Ｙ０１，Ｙ２＝Ｙ０２，Ｙ３＝Ｙ０３，Ｙ４＝Ｙ０４）として、内部のレジスタ（図示していない）に格納する。４方向Ｙ０１〜Ｙ０４の判定値のすべてが“０”の場合（Ｐｋｉｚ＝０）は、隣接画素Ｇ０をキズ画素と判断して、図９に示す、キズ画素・置換処理回路３３によるキズ画素置換処理を実施する。

図９は、キズ補正回路３１における、キズ画素・置換処理回路３３の動作を説明するために示すものである。本実施形態のキズ画素・置換処理回路３３は、得られたパターン情報Ｙ１〜Ｙ４にしたがって、適宜、キズ画素Ｒ０と同色の周辺８画素Ｒ１〜Ｒ８のそれぞれの信号を平均化した置換用データＲ０’を選択することにより、キズ画素Ｒ０の信号を置換処理するように構成されている。

たとえば、上下方向に相関がある場合（Ｙ１＝１）、周辺画素Ｒ１，Ｒ５のそれぞれの信号の平均値を置換用データＲ０’として、キズ画素Ｒ０の信号の置換処理が行われる。また、たとえば、上下方向および左右方向および両斜め方向のすべてに相関がある場合（Ｙ１，Ｙ２，Ｙ３，Ｙ４＝１）、周辺画素Ｒ１〜Ｒ８のそれぞれの信号の平均値を置換用データＲ０’として、キズ画素Ｒ０の信号の置換処理が行われる。

本実施形態の構成とした場合、パターン抽出の精度を改善できるとともに、８方向の周辺画素のそれぞれの信号を適宜に平均化することで、ランダムノイズの低減および置換用データＲ０’のノイズの低減が可能となる。

［第６の実施形態］
図１０および図１１は、本発明の第６の実施形態にしたがった、キズ補正回路３１の動作を説明するために示すものである。ここでは、隣接画素Ｇ０の信号と同色の周辺画素のそれぞれの信号から画像パターンを抽出するのではなく、隣接画素Ｇ０が＋字方向の周辺画素に対する相関が強いのか、クロス方向の周辺画素に対する相関が強いのかを判定することによって、画像パターンを抽出するようにした場合について説明する。なお、説明が重複する部分については、詳しい説明は割愛する。

図１０は、キズ補正回路３１における、隣接画素・パターン抽出回路３２の動作を説明するために示すものである。本実施形態の隣接画素・パターン抽出回路３２は、まず、上下方向について、周辺画素Ｇ１，Ｇ５のそれぞれの信号の平均値と隣接画素Ｇ０の信号との差分信号の絶対値が、閾値レベルＬｅｖＮよりも小さいか否かを判定する。小さい場合には、縦方向に相関があると判断できる。また、左右方向についても、同様に、相関の有無を判断する。もし、上下方向および左右方向のどちらか一方の相関が判断されると、＋字方向の周辺画素に対する相関がある＋字パターンと判断できる。その場合は、＋字方向Ｙ０１の判定値を“１”とする。同様に、両斜め方向についても相関の有無を判断し、クロス方向の周辺画素に対する相関があるクロスパターンの場合は、クロス方向Ｙ０２の判定値を“１”とする。

ＯＲ回路（生成手段）３２ｆの出力（制御信号Ｐｋｉｚ)から、＋字方向Ｙ０１またはクロス方向Ｙ０２の判定値のどちらか一方が“１”の場合、隣接画素Ｇ０は判定画素であるキズ画素ではないと判断し、それぞれの判定値をパターン情報（Ｙ１＝Ｙ０１，Ｙ２＝Ｙ０２）として、内部のレジスタ（図示していない）に格納する。＋字方向Ｙ０１またはクロス方向Ｙ０２の判定値がともに“０”の場合は、隣接画素Ｇ０をキズ画素と判断して、図１１に示す、キズ画素・置換処理回路３３によるキズ画素置換処理を実施する。

図１１は、キズ補正回路３１における、キズ画素・置換処理回路３３の動作を説明するために示すものである。本実施形態のキズ画素・置換処理回路３３は、得られたパターン情報Ｙ１，Ｙ２にしたがって、キズ画素Ｒ０と同色の周辺８画素Ｒ１〜Ｒ８のそれぞれの信号のうち、＋字方向の周辺画素Ｒ１，Ｒ３，Ｒ５，Ｒ７またはクロス方向の周辺画素Ｒ２，Ｒ４，Ｒ６，Ｒ８を選択する。たとえば、パターン情報Ｙ１のみが“１”の場合、＋字方向の周辺画素Ｒ１，Ｒ３，Ｒ５，Ｒ７が選択される。また、たとえば、パターン情報Ｙ２のみが“１”の場合、クロス方向の周辺画素Ｒ２，Ｒ４，Ｒ６，Ｒ８が選択される。ただし、パターン情報Ｙ１，Ｙ２がともに“１”の場合は、キズ画素Ｒ０からの距離が近い＋字方向の周辺画素Ｒ１，Ｒ３，Ｒ５，Ｒ７を選択する。

これ以降の処理としては、たとえば図６に示したキズ画素置換処理と同じ処理を実施する。これにより、回路規模を低減し得るとともに、高精度の欠陥画素補正処理を実現できる。

［第７の実施形態］
図１２は、本発明の第７の実施形態にしたがった、キズ補正回路３１における隣接画素・パターン抽出回路３２の動作を説明するために示すものである。ここでは、隣接画素Ｇ０と同色の周辺８画素Ｇ１〜Ｇ８のそれぞれの信号が、隣接画素Ｇ０の信号よりも大きいか小さいかによって、画像パターンを抽出するようにした場合について説明する。なお、説明が重複する部分については、詳しい説明は割愛する。

本実施形態の隣接画素・パターン抽出回路３２は、まず、隣接画素Ｇ０が判定画素であるキズ画素か否かを判断する。たとえば、隣接画素Ｇ０の信号とこれと同色の周辺８画素Ｇ１〜Ｇ８のそれぞれの信号とを比較し、隣接画素Ｇ０の信号が、周辺画素Ｇ１〜Ｇ８のそれぞれの信号の最大値（Ｄ４またはＣ４）よりも大きい場合、もしくは、最小値（Ｄ１またはＣ１）よりも小さい場合に、隣接画素Ｇ０はキズ画素であると判断する。キズ画素のときは制御信号Ｐｋｉｚ＝０とし、キズ画素でないときは制御信号Ｐｋｉｚ＝１とする。

今度は、隣接画素Ｇ０およびその＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７の５画素の信号をレベルの大小順に並べ替え、最大値Ｄ５と最小値Ｄ１とを除く、中間値Ｄ４，Ｄ３，Ｄ２のうちの２画素の信号の差分信号（絶対値）Ｓｕｂ４３Ｄ，Ｓｕｂ３２Ｄ、および、平均化信号ＡＶＥ４３Ｄ，ＡＶＥ３２Ｄを求める。そして、その差分信号の小さい方の平均値Ｔ＋ｄを“ＡＶＥ３２Ｄ”とする。また、差分信号の大きい方の平均値Ｔ＋ｄを“ＡＶＥ４３Ｄ”とする。

同様に、隣接画素Ｇ０およびそのクロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８の５画素の信号をレベルの大小順に並べ替え、最大値Ｃ５と最小値Ｃ１とを除く、中間値Ｃ４，Ｃ３，Ｃ２のうちの２画素の信号の差分信号（絶対値）Ｓｕｂ４３Ｃ，Ｓｕｂ３２Ｃ、および、平均化信号ＡＶＥ４３Ｃ，ＡＶＥ３２Ｃを求める。そして、その差分信号の小さい方の平均値Ｔ×ｄを“ＡＶＥ３２Ｃ”とする。また、差分信号の大きい方の平均値Ｔ×ｄを“ＡＶＥ４３Ｃ”とする。

次に、求めた大きい方の平均値Ｔ＋ｄ，Ｔ×ｄのうち、その小さい方もしくはその大きい方を選択することで、隣接画素Ｇ０が、＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７もしくはクロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８のどちらに相関が強いかを判定できる。＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７に対する相関が強い＋字パターンと判定した場合には、Ｙ０１方向の判定値を“１”とし、Ｙ０２方向の判定値を“０”とする。逆に、クロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８に対する相関が強いと判定したクロスパターンの場合には、Ｙ０１方向の判定値を“０”とし、Ｙ０２方向の判定値を“１”とする。

これ以降の処理としては、たとえば図１１に示したキズ画素置換処理と同じ処理を実施する。これにより、回路規模を低減し得るとともに、高精度の欠陥画素補正処理を実現できる。

なお、図１１に示したキズ画素・置換処理回路３３においては、パターン情報Ｙ１（＝Ｙ０１），Ｙ２（＝Ｙ０２）に応じて、単純に、＋字方向の周辺画素Ｒ１，Ｒ３，Ｒ５，Ｒ７またはクロス方向の周辺画素Ｒ２，Ｒ４，Ｒ６，Ｒ８のいずれかの信号を選択する構成としてもよい。

もしくは、簡単に、中間値Ｄ４−Ｄ２および中間値Ｃ４−Ｃ２の差分の小さい方を選択することで、十字パターンもしくはクロスパターンを選択できる。

［第８の実施形態］
図１３は、本発明の第８の実施形態にしたがった、キズ補正回路３１における隣接画素・パターン抽出回路３２の動作を説明するために示すものである。ここでは、隣接画素Ｇ０と同色の周辺８画素Ｇ１〜Ｇ８のそれぞれの信号が、隣接画素Ｇ０の信号よりも大きいか小さいかによって、画像パターンを抽出するようにした場合の、他の方法について説明する。なお、説明が重複する部分については、詳しい説明は割愛する。

本実施形態の隣接画素・パターン抽出回路３２は、まず、隣接画素Ｇ０が判定画素であるキズ画素か否かを判定する。たとえば、隣接画素Ｇ０の信号とこれと同色の周辺８画素Ｇ１〜Ｇ８のそれぞれの信号とを比較し、隣接画素Ｇ０がキズ画素のときは制御信号Ｐｋｉｚ＝０とし、キズ画素でないときは制御信号Ｐｋｉｚ＝１とする。

今度は、隣接画素Ｇ０およびその＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７の５画素の信号をレベルの大小順に並べ替え、中央値Ｄ３と隣接画素Ｇ０の信号との差分信号（絶対値）Ｓｕｂ＋３０を求める。同様に、隣接画素Ｇ０およびそのクロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８の５画素の信号をレベルの大小順に並べ替え、中央値Ｃ３と隣接画素Ｇ０の信号との差分信号（絶対値）Ｓｕｂ×３０を求める。

そして、求めた差分信号Ｓｕｂ＋３０，Ｓｕｂ×３０のうち、その小さい方もしくはその大きい方を選択することで、＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７もしくはクロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８のどちらに相関が強いかを判定できる。＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７に対する相関が強い＋字パターンと判定した場合には、Ｙ０１方向の判定値を“１”とし、Ｙ０２方向の判定値を“０”とする。逆に、クロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８に対する相関が強いクロスパターンと判定した場合には、Ｙ０１方向の判定値を“０”とし、Ｙ０２方向の判定値を“１”とする。

これ以降の処理としては、たとえば図１１に示したキズ画素置換処理と同じ処理を実施する。これにより、回路規模を低減し得るとともに、高精度の欠陥画素補正処理を実現できる。

なお、図１１に示したキズ画素・置換処理回路３３においては、パターン情報Ｙ１（＝Ｙ０１），Ｙ２（＝Ｙ０２）に応じて、単純に、＋字方向の周辺画素Ｒ１，Ｒ３，Ｒ５，Ｒ７またはクロス方向の周辺画素Ｒ２，Ｒ４，Ｒ６，Ｒ８のいずれかの信号を選択する構成としてもよい。

［第９の実施形態］
図１４は、本発明の第９の実施形態にしたがった、キズ補正回路３１における隣接画素・パターン抽出回路３２の動作を説明するために示すものである。ここでは、隣接画素Ｇ０と同色の周辺８画素Ｇ１〜Ｇ８のそれぞれの信号が、隣接画素Ｇ０の信号よりも大きいか小さいかによって、画像パターンを抽出するようにした場合の、さらに別の方法について説明する。なお、説明が重複する部分については、詳しい説明は割愛する。

本実施形態の隣接画素・パターン抽出回路３２は、まず、隣接画素Ｇ０が判定画素であるキズ画素か否かを判定する。たとえば、隣接画素Ｇ０の信号とこれと同色の周辺８画素Ｇ１〜Ｇ８のそれぞれの信号とを比較し、隣接画素Ｇ０がキズ画素のときは制御信号Ｐｋｉｚ＝０とし、キズ画素でないときは制御信号Ｐｋｉｚ＝１とする。

今度は、隣接画素Ｇ０に近接する、＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７の４画素の信号の平均値を求める。また、その平均値と隣接画素Ｇ０の信号との差分信号（絶対値）Ｓｕｂ＋３０を求める。同様に、隣接画素Ｇ０に近接する、クロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８の４画素の信号の平均値を求める。また、その平均値と隣接画素Ｇ０の信号との差分信号（絶対値）Ｓｕｂ×３０を求める。

そして、求めた差分信号Ｓｕｂ＋３０，Ｓｕｂ×３０のうち、その小さい方もしくはその大きい方を選択することで、＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７もしくはクロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８のどちらに相関が強いかを判定できる。＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７に対する相関が強い＋字パターンと判定した場合には、Ｙ０１方向の判定値を“１”とし、Ｙ０２方向の判定値を“０”とする。逆に、クロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８に対する相関が強いクロスパターンと判定した場合には、Ｙ０１方向の判定値を“０”とし、Ｙ０２方向の判定値を“１”とする。

これ以降の処理としては、たとえば図１１に示したキズ画素置換処理と同じ処理を実施する。

本実施形態の場合、信号をレベルの大小により並べ替えるための回路が不要となる分、さらに、回路規模を低減し得る。また、パターン抽出に４画素分の信号の平均値を用いているため、よりランダムノイズの低減が可能であり、高精度の欠陥画素補正処理を実現できる。特に、隣接画素Ｇ０と信号のレベルが同じ周辺画素の数が多くなるほど、差分信号は小さくなるため、差分信号の精度が向上する。

なお、図１１に示したキズ画素・置換処理回路３３においては、パターン情報Ｙ１（＝Ｙ０１），Ｙ２（＝Ｙ０２）に応じて、単純に、＋字方向の周辺画素Ｒ１，Ｒ３，Ｒ５，Ｒ７またはクロス方向の周辺画素Ｒ２，Ｒ４，Ｒ６，Ｒ８のいずれかの信号を選択する構成としてもよい。

［第１０の実施形態］
図１５は、本発明の第１０の実施形態にしたがった、キズ補正回路３１における隣接画素・パターン抽出回路３２の動作を説明するために示すものである。ここでは、パターン抽出の精度を向上させるために、判定画素であるキズ画素Ｒ０に隣接する左右の隣接画素Ｇ０，Ｇ３から画像パターンを抽出するようにした場合について説明する。なお、説明が重複する部分については、詳しい説明は割愛する。

本実施形態の隣接画素・パターン抽出回路３２は、まず、キズ画素Ｒ０の両サイドの隣接画素Ｇ０，Ｇ３の、＋字方向の周辺４画素の平均値との差分信号（絶対値）Ｓｕｂ＋３０，Ｓｕｂ＋３１をそれぞれ算出し、その差分信号の小さい方をＳｕｂ＋ｍｉｎとする。同様に、隣接画素Ｇ０，Ｇ３の、クロス方向の周辺４画素の平均値との差分信号（絶対値）Ｓｕｂ×３０，Ｓｕｂ×３１をそれぞれ算出し、その差分信号の小さい方をＳｕｂ×ｍｉｎとする。

そして、求めた差分信号Ｓｕｂ＋ｍｉｎ，Ｓｕｂ×ｍｉｎのうち、その小さい方もしくはその大きい方を選択することで、＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７またはＧ０，Ｇ２，Ｇ４，Ｇ１０、もしくは、クロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８またはＧ１，Ｇ５，Ｇ９，Ｇ１１のどちらに相関が強いかを判定できる。

＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７またはＧ０，Ｇ２，Ｇ４，Ｇ１０に対する相関が強い＋字パターンと判定した場合には、Ｙ０１方向の判定値を“１”とし、Ｙ０２方向の判定値を“０”とする。逆に、クロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８またはＧ１，Ｇ５，Ｇ９，Ｇ１１に対する相関が強いクロスパターンと判定した場合には、Ｙ０１方向の判定値を“０”とし、Ｙ０２方向の判定値を“１”とする。

これ以降の処理としては、たとえば図１１に示したキズ画素置換処理と同じ処理を実施する。

なお、図１１に示したキズ画素・置換処理回路３３においては、パターン情報Ｙ１（＝Ｙ０１），Ｙ２（＝Ｙ０２）に応じて、単純に、＋字方向の周辺画素Ｒ１，Ｒ３，Ｒ５，Ｒ７またはクロス方向の周辺画素Ｒ２，Ｒ４，Ｒ６，Ｒ８のいずれかの信号を選択する構成としてもよい。

さらに、キズ画素Ｒ０に隣接する、上下の隣接画素Ｇｂのそれぞれの信号を、上記したパターン抽出処理に加えることもできる。

当然、上述の第１〜第１０の実施形態においては、パターン抽出のための良品画素の数を増加させることにより、パターン抽出の精度を向上させることができる。

［第１１の実施形態］
図１６，図１７，図１８は、それぞれ本発明の第１１の実施形態にしたがった、キズ補正回路３１における隣接画素・パターン抽出回路３２の動作を説明するために示すものである。ここでは、画像パターンの抽出において、白キズおよび黒キズの有無をチェックすることによって判定画素であるキズ画素を検出するようにした場合について説明する。なお、説明が重複する部分については、詳しい説明は割愛する。

図１６に示す隣接画素・パターン抽出回路３２は、まず、隣接画素Ｇ０がキズ画素か否かを判定する。たとえば、隣接画素Ｇ０およびその＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７の５画素の信号をレベルの大小順に並べ替える（Ｄ５〜Ｄ１）。同様に、隣接画素Ｇ０およびそのクロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８の５画素の信号をレベルの大小順に並べ替える（Ｃ５〜Ｃ１）。

そして、その並べ替えた信号の、最大値Ｄ５とその次の大きさの中間値Ｄ４との差分信号の絶対値が、閾値レベルＬｅｖＮよりも大きいか否かを判定し、大きい場合には最大値Ｄ５をもつ画素は白キズの可能性ありと判断する。同様に、最大値Ｃ５とその次の大きさの中間値Ｃ４との差分信号の絶対値が、閾値レベルＬｅｖＮよりも大きいか否かを判定し、大きい場合には最大値Ｃ５をもつ画素は白キズの可能性ありと判断する。２つの差分信号の絶対値から白キズの可能性がそれぞれ判定されると、最終的にＡＮＤ回路３２ｇの出力が“１”となり、＋字方向の５画素Ｇ０，Ｇ１，Ｇ３，Ｇ５，Ｇ７には白キズありと判断される。

また、その並べ替えた信号の、最小値Ｄ１とその次の大きさの中間値Ｄ２との差分信号の絶対値が、閾値レベルＬｅｖＮよりも大きいか否かを判定し、大きい場合には最小値Ｄ１をもつ画素は黒キズの可能性ありと判断する。同様に、最小値Ｃ１とその次の大きさの中間値Ｃ２との差分信号の絶対値が、閾値レベルＬｅｖＮよりも大きいか否かを判定し、大きい場合には最小値Ｃ１をもつ画素は黒キズの可能性ありと判断する。２つの差分信号の絶対値から黒キズの可能性がそれぞれ判定されると、最終的にＡＮＤ回路３２ｈの出力が“１”となり、クロス方向の５画素Ｇ０，Ｇ２，Ｇ４，Ｇ６，Ｇ８には白キズありと判断される。

こうして、白キズまたは黒キズの少なくとも一方が検出されると、ＮＯＲ回路３２ｉの出力Ｐｋｉｚ（制御信号）が“０”となり、隣接画素Ｇ０はキズ画素と判断される。

図１７に示す隣接画素・パターン抽出回路３２は、まず、隣接画素Ｇ０およびその＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７の５画素の信号と、隣接画素Ｇ０およびそのクロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８の５画素の信号とを、それぞれレベルの大小順に並べ替える。

また、その並べ替えた信号の、最大値Ｄ５，Ｃ５の平均値とその次に大きい中間値Ｄ４，Ｃ４の平均値との差分信号の絶対値が、閾値レベルＬｅｖＮよりも大きいか否かを判定し、大きい場合には最大値Ｄ５，Ｃ５をもつ画素は白キズありと判断する。同様に、最小値Ｄ１，Ｃ１の平均値とその次に大きい中間値Ｄ２，Ｃ２の平均値との差分信号の絶対値が、閾値レベルＬｅｖＮよりも大きいか否かを判定し、大きい場合には最小値Ｄ１，Ｃ１をもつ画素は黒キズありと判断する。

こうして、白キズまたは黒キズの少なくとも一方が検出されると、ＮＯＲ回路３２ｊの出力Ｐｋｉｚ（制御信号）が“０”となり、隣接画素Ｇ０はキズ画素と判断される。

図１８に示す隣接画素・パターン抽出回路３２は、まず、隣接画素Ｇ０およびその＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７の５画素の信号と、隣接画素Ｇ０およびそのクロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８の５画素の信号とを、それぞれレベルの大小順に並べ替える。

また、その並べ替えた信号の、最大値Ｄ５，Ｃ５の差分信号の絶対値が“０”か否かを判定し、“０”の場合には最大値Ｄ５，Ｃ５をもつ画素は白キズありと判断する。同様に、最小値Ｄ１，Ｃ１の差分信号の絶対値が“０”か否かを判定し、“０”の場合には最小値Ｄ１，Ｃ１をもつ画素は黒キズありと判断する。

こうして、白キズまたは黒キズの少なくとも一方が検出されると、ＮＯＲ回路３２ｋの出力Ｐｋｉｚ（制御信号）が“０”となり、隣接画素Ｇ０はキズ画素と判断される。

上記したように、本実施形態によれば、いずれの構成とした場合にも、キズ画素を判断するための回路を大幅に簡素化できる。

［第１２の実施形態］
図１９は、本発明の第１２の実施形態にしたがった、キズ補正回路３１の動作を説明するために示すものである。ここでは、キズ画素置換処理に加えて、さらにノイズ低減のための処理を行うようにした場合について説明する。なお、説明が重複する部分については、詳しい説明は割愛する。

本実施形態のキズ補正回路３１は、まず、判定画素であるキズ画素があるかどうかを判断する。キズ画素の判断には、たとえば、上述した第７の実施形態（図１２参照）に示した隣接画素・パターン抽出回路３２、または、第１１の実施形態（図１６、図１７、図１８参照）に示した隣接画素・パターン抽出回路３２などが利用できる。

次に、キズ画素の判断結果にもとづいて、画像のパターン抽出もしくはキズ置換・ノイズ低減のための処理を行う。画像のパターン抽出には、たとえば、上述した第６の実施形態（図１０参照）に示した隣接画素・パターン抽出回路３２、第７の実施形態（図１２参照）に示した隣接画素・パターン抽出回路３２、第８の実施形態（図１３参照）に示した隣接画素・パターン抽出回路３２、もしくは、第９の実施形態（図１４参照）に示した隣接画素・パターン抽出回路３２などが利用できる。

次に、画像のパターン抽出の結果にもとづいて画像パターンのエッジ部分を検出し、エッジ部分が検出されない場合には、平坦部ノイズ低減のための処理を行う。画像パターンのエッジ部分の検出および平坦部ノイズ低減は、たとえば図２０に示すように、まず、画像のパターン抽出の結果から、＋字パターンかクロスパターンかを選択する。

以下では、＋字パターンを選択した場合について説明する。＋字パターンを選択した場合、隣接画素Ｇ０およびこれと＋字方向に隣接する同色の周辺４画素Ｇ１，Ｇ３，Ｇ５，Ｇ７の５画素の信号をレベルの大小順に並べ替える。そして、その最大値Ｄ５と最小値Ｄ１との差分信号（絶対値）をＳｕｂ５１とする。

次に、差分信号Ｓｕｂ５１と閾値レベルＬｅｖＮとを比較し、差分信号Ｓｕｂ５１が大きいと判定すると、隣接画素Ｇ０は画像パターンのエッジ部分にあると判断する。逆に、差分信号Ｓｕｂ５１が小さいと判定すると、隣接画素Ｇ０は画像パターンの平坦な部分にあると判断する。

平坦部ノイズ低減の処理としては、たとえば、隣接画素Ｇ０の信号を重み付けのために４倍し、その４倍値と＋字方向の周辺４画素Ｇ１，Ｇ３，Ｇ５，Ｇ７のそれぞれの信号との平均化信号Ｇ０’を算出する。そして、その平均化信号Ｇ０’を、キズ画素Ｒ０の信号と置換する。

なお、平均化信号Ｇ０’としては、隣接画素Ｇ０の信号を重み付けすることなしに算出してもよく、重み付けのためのゲインも任意に設定できる。

また、大小順に並べ替えた信号の、最大値Ｄ５および最小値Ｄ１を除く、中間値Ｄ４，Ｄ３，Ｄ２の平均化信号によって、キズ画素Ｒ０の信号を置換してもよい。

一方、画像パターンのエッジ部分が検出された場合には、たとえば図１１に示したキズ画素・置換処理回路３３を用いることにより、キズ画素置換処理とともに、エッジ部分のランダムノイズを低減できる。

このように、キズ画素置換処理とノイズ低減処理とを同時に処理できるようにした場合には、画像パターンの抽出のための回路および置換処理のための回路などを共有化でき、回路規模の大幅な低減が可能となる。

なお、上述した各実施形態においては、いずれの場合も、カラーフィルタの色フィルタ配列をベイヤー配列とした場合を例に説明した。これに限らず、たとえばＲＧＢの各画素が４５度の角度をもったフィルタ配列のもの（ハニカム配列とも呼ばれる）などにも同様に適用できる。

また、ＣＭＯＳ型のカラーイメージセンサに限らず、白黒センサにも適用することが可能である。

また、閾値レベルＬｅｖＮとしては、信号量および／またはアナログ回路のゲインなどに応じて可変できるようにすることによって、さらに最適な判定が可能となる。たとえば、閾値レベルＬｅｖＮは、低光量のときには回路ノイズを想定した値とし、光量が高い場合にはショットノイズに合わせて大きくなるように制御する。こうすることで、効果的なランダムノイズ抑圧のための処理を実現できる。

特に、レンズ１０の光学特性に起因したシェーディング補正を実施する場合、画面の中心に対して、上下端、左右端、コーナー部に近くなるほど、デジタルゲインによって信号を増幅するようにしている。このため、画面の上下端、左右端、コーナー部でのランダムノイズが増加する。そこで、閾値レベルＬｅｖＮを、このデジタルゲインに合わせて、画面の上下端、左右端、コーナー部で大きくなるように制御すると、ノイズ抑圧効果が大きくなり、画質を改善できる。

このように、閾値レベルＬｅｖＮは、信号量・画面位置・色情報・ゲイン情報などに応じて様々に変更することで、最適なキズ補正が可能となる。

さらに、ＣＭＯＳ型イメージセンサに限定されるものではなく、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）および積層型センサなどにも適用できる。

その他、本願発明は、上記（各）実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、上記（各）実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。たとえば、（各）実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題（の少なくとも１つ）が解決でき、発明の効果の欄で述べられている効果（の少なくとも１つ）が得られる場合には、その構成要件が削除された構成が発明として抽出され得る。

本発明の第１の実施形態にしたがった撮像装置（ＣＭＯＳ型イメージセンサ）の構成例を示すブロック図。 図１に示したＣＭＯＳ型イメージセンサにおける、キズ補正回路の隣接画素・パターン抽出回路の動作を説明するために示す図。 図１に示したＣＭＯＳ型イメージセンサにおける、キズ補正回路のキズ画素・置換処理回路の動作を説明するために示す図。 本発明の第２の実施形態にしたがった、キズ補正回路の隣接画素・パターン抽出回路の動作を説明するために示す図。 本発明の第２の実施形態にしたがった、キズ補正回路のキズ画素・置換処理回路の動作を説明するために示す図。 本発明の第３の実施形態にしたがった、キズ補正回路のキズ画素・置換処理回路の動作を説明するために示す図。 本発明の第４の実施形態にしたがった、キズ補正回路の隣接画素・パターン抽出回路の動作を説明するために示す図。 本発明の第５の実施形態にしたがった、キズ補正回路の隣接画素・パターン抽出回路の動作を説明するために示す図。 本発明の第５の実施形態にしたがった、キズ補正回路のキズ画素・置換処理回路の動作を説明するために示す図。 本発明の第６の実施形態にしたがった、キズ補正回路の隣接画素・パターン抽出回路の動作を説明するために示す図。 本発明の第６の実施形態にしたがった、キズ補正回路のキズ画素・置換処理回路の動作を説明するために示す図。 本発明の第７の実施形態にしたがった、キズ補正回路の隣接画素・パターン抽出回路の動作を説明するために示す図。 本発明の第８の実施形態にしたがった、キズ補正回路の隣接画素・パターン抽出回路の動作を説明するために示す図。 本発明の第９の実施形態にしたがった、キズ補正回路の隣接画素・パターン抽出回路の動作を説明するために示す図。 本発明の第１０の実施形態にしたがった、キズ補正回路の隣接画素・パターン抽出回路の動作を説明するために示す図。 本発明の第１１の実施形態にしたがった、キズ補正回路の隣接画素・パターン抽出回路の動作を説明するために示す図。 本発明の第１１の実施形態にしたがった、キズ補正回路の隣接画素・パターン抽出回路の他の例を説明するために示す図。 本発明の第１１の実施形態にしたがった、キズ補正回路の隣接画素・パターン抽出回路のさらに別の例を説明するために示す図。 本発明の第１２の実施形態にしたがった、キズ補正回路の動作を説明するために示すフローチャート。 本発明の第１２の実施形態にしたがった、キズ補正回路の動作を説明するために示す図。

符号の説明

１１…センサ部、１２…カラーフィルタ、１３…フォトダイオードアレイ、１４…カラム型アナログデジタルコンバータ（ＡＤＣ）、２１…ラインメモリ、３１…キズ補正回路、３２…隣接画素・パターン抽出回路、３３…キズ画素・置換処理回路、４１…レベル設定回路、６１…システムタイミング発生回路（ＳＧ）、７１…コマンド制御回路。

Claims (5)

1. 光電変換素子からなる複数の画素が二次元に配置された撮像手段より出力された画像信号に対して、キズ補正回路により所定の信号処理を施すように構成された撮像装置であって、
   前記キズ補正回路は、
   前記画像信号のうち、判定画素の１画素となりに隣接する隣接画素の信号および前記隣接画素にそれぞれ近接する前記隣接画素と同色の周辺画素の信号にもとづいて、前記隣接画素と前記隣接画素を中心とする＋字方向および×字方向の画素の画像パターンを抽出するパターン抽出手段と、
   前記パターン抽出手段によって抽出された前記画像パターンをもとに判定された前記判定画素にそれぞれ近接する前記判定画素と同色の周辺画素の信号により、前記判定画素の信号を置換する置換手段と
   を具備したことを特徴とする撮像装置。
2. 前記パターン抽出手段は、
   前記隣接画素の信号とその周辺画素のそれぞれの信号との差分信号を算出する差分信号算出手段と、
   前記差分信号が所定の閾値レベルよりも小さい場合に、対応する周辺画素の信号は前記隣接画素の信号と同じレベルであると判定するレベル判定手段と
   を有することを特徴とする請求項１に記載の撮像装置。
3. 前記パターン抽出手段は、
   前記隣接画素の信号とその周辺画素のそれぞれの信号との差分信号を算出する差分信号算出手段と、
   前記差分信号が所定の閾値レベルよりも小さい場合に、対応する周辺画素の信号は前記隣接画素の信号と同じレベルであると判定するレベル判定手段と、
   それぞれの周辺画素の信号に対する前記レベル判定手段の結果から前記判定画素を判断し、前記置換手段を制御するための制御信号を生成する生成手段と
   を有することを特徴とする請求項１に記載の撮像装置。
4. 前記パターン抽出手段は、
   前記判定画素の信号が、その判定画素と同色の周辺画素のそれぞれの信号の最大値よりも大きい場合もしくは最小値よりも小さい場合に、前記判定画素を欠陥画素と判断し、前記隣接画素の信号と＋字方向に隣接する周辺画素のそれぞれの信号との差分信号、および、前記隣接画素の信号と×字方向に隣接する周辺画素のそれぞれの信号との差分信号を算出する差分信号算出手段と、
   前記差分信号の算出結果にもとづいて、前記隣接画素の＋字方向の周辺画素および×字方向の周辺画素に対する相関性を判定する相関性判定手段と、
   前記相関性判定手段の結果にしたがって、前記置換手段を制御するための制御信号を生成する生成手段と
   を有することを特徴とする請求項１に記載の撮像装置。
5. 前記置換手段は、前記画像パターンをもとに選択される、前記判定画素にそれぞれ近接する前記判定画素と同色の周辺画素の信号の平均値により、前記判定画素の信号を置換することを特徴とする請求項１に記載の撮像装置。

Images