JP2016015536A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】欠陥画素補正を行うべき画素が規則的に存在する場合であっても、精度良い補正が可能な画像処理装置および画像処理方法を提供する。
【解決手段】 着目画素を含み、欠陥画素の並び方向に延びる第１の領域１０００と、第１の領域を並び方向と直交する２方向に所定量移動した複数の領域１００１，１００２とを設定する。各領域から着目画素との相関の程度を表す相関値に基づいて検出した複数を画素値を用いて第１の補正値を取得する。第１の補正値に対応する相関値と、第１の領域において検出された画素値に対応する相関値との大きさに基づく重みで、第１の補正値と第１の領域において検出された画素値とから取得した補正値を用いて着目画素の値を補正する。
【選択図】図２

Description

本発明は、画像処理装置および画像処理方法に関し、特に欠陥画素の補正技術に関する。

デジタルカメラ等の撮像装置は、ＣＭＯＳセンサー等の撮像素子を用いて撮影するが、撮像素子には多数の画素が設けられるため、構造上の要因、製造過程における要因、製造後の外的な要因などによって、欠陥画素が存在するのが一般的である。このような欠陥画素の値を補正する技術として、欠陥画素の周辺に存在する正常画素の値から推定した、欠陥画素位置の画素値を用いる方法が知られている。以下、本明細書において、欠陥画素位置の画素値を求めることを、欠陥画素の補正という。

また、欠陥画素とは異なるが、欠陥画素と同様に補正を行う必要のある画素も存在する。例えば、特許文献１に記載されるような焦点検出用画素である。特許文献１に記載された焦点検出用画素は遮光層を有し、光束の入射範囲を限定している。また、カラーフィルタが設けられていない。焦点検出用画素は通常画素に混じって撮像素子に設けられているため、撮影画像を生成する場合には焦点検出用画素の位置の画素値を周囲の通常画素の値から求める必要がある。

特許第４７９７６０６号公報

焦点検出用画素も欠陥画素のように取り扱われるが、規則的に配置されるため、例えば一方向に配置された場合、同じ方向に含まれる（通常画素の）欠陥画素補正の精度が低下することがあった。

本発明はこのような従来技術の課題に鑑みてなされたものであり、欠陥画素補正を行うべき画素が規則的に存在する場合であっても、精度良い補正が可能な画像処理装置および画像処理方法を提供することを目的とする。

また、上述の目的は、欠陥画素補正を行う着目画素を含み、欠陥画素の並び方向に延びる第１の領域と、第１の領域を並び方向と直交する２方向に所定量移動した複数の領域とを設定する設定手段と、着目画素との相関の程度を表す相関値に基づいて第１の領域および複数の領域のそれぞれから画素値を検出する検出手段と、検出された画素値の複数を用いて第１の補正値を取得する第１の取得手段と、第１の補正値の取得に用いられた画素値に対応する相関値を用いて得られる第１の相関値と、第１の領域において検出された画素値に対応する相関値との大きさに基づいて、第１の領域において検出された画素値の重みを取得する第２の取得手段と、重みを用いて、第１の補正値と、第１の領域において検出された画素値とから、第２の補正値を取得する第３の取得手段と、第２の補正値を用いて着目画素の値を補正する補正手段と、を有することを特徴とする画像処理装置によって達成される。

このような構成により本発明によれば、欠陥画素補正を行うべき画素が規則的に存在する場合であっても、精度良い補正が可能な画像処理装置および画像処理方法を提供することができる。

実施形態に係るデジタルカメラの機能構成例を示すブロック図 実施形態における欠陥画素補正処理を説明するための図 実施形態における欠陥画素補正処理を説明するためのフローチャート 実施形態における領域設定の例を説明するための図 実施形態における重み付け加算の重みの例を示す図 第２の実施形態における欠陥画素補正処理を説明するためのフローチャート 本発明の第２の実施形態を説明するための図 本発明の第２の実施形態を説明するための図

●（第１の実施形態）
本発明の例示的な実施形態について図面を参照して詳細に説明する。なお、ここではデジタルカメラに本発明を適用した実施形態について説明するが、デジタルカメラは本発明に係る画像処理装置の一例に過ぎない。本発明は撮像機能を有する電子機器はもちろん、撮像機能を有さない電子機器においても実施可能である。

図１は、本発明を適用可能なデジタルカメラの機能構成例を示すブロック図である。ここでは、説明および理解を容易にするため、欠陥画素補正に係る構成のみを示し、一般的なデジタルカメラが有する他の構成（操作部、表示装置、画像の記録に関する構成など）は図示を省略している。

撮像部１０１は撮影レンズ（撮像光学系）、撮像素子およびその駆動回路を有し、撮影レンズが撮像素子の撮像面に結像する光学像を電気信号に変換する。なお、本実施形態において、撮像素子はＣＣＤまたはＣＭＯＳイメージセンサであり、原色ベイヤー配列１０１０のカラーフィルタを有するものとする。撮像部１０１から出力されるアナログ画像信号は、Ａ／Ｄ変換回路１０２によってデジタル画像信号に変換される。欠陥画素補正回路１０３は、Ａ／Ｄ変換回路１０２によってデジタル信号に変換された画像信号のうち欠陥画素と判定される画素の信号値を補正して、欠陥補正後のＲＡＷ画像信号を出力する。信号処理回路１０４はＲＡＷ画像信号に対し、公知のホワイトバランス回路、色補間回路、ノイズリダクション処理、ガンマ処理、マトリックス処理等の信号処理を適用する。信号処理回路１０４の出力は、記録や表示に用いられる。

なお、欠陥画素補正回路１０３はデジタルカメラに装着された記録媒体、内蔵された記録装置、あるいは通信可能に接続された外部装置からデジタル画像信号を取得してもよい。取得先にかかわらず、欠陥画素補正回路１０３は、取得したデジタル画像信号において、補正すべき欠陥画素の位置を特定可能である。

欠陥画素補正回路１０３は、公知の任意の方法によって補正画素の位置を特定することができる。非限定的な例を挙げれば、デジタル画像信号の付加情報として欠陥画素の位置情報が含まれていてもよいし、事前にデジタルカメラに欠陥画素の位置情報が登録されていてもよい。また、例えば電源投入時に遮光した状態で得られる画像データから異常出力画素を特定することで欠陥画素の位置を動的に特定してもよい。静的な位置情報と、動的に計測した欠陥画素の位置情報を組み合わせて用いてもよい。

次に、欠陥画素補正回路１０３の補正動作の具体的な動作例を説明する。図２（ａ）は撮像素子における画素の並びを一部抜き出したものである。ここで、各画素における先頭のＲ，Ｇ，Ｂはそれぞれ赤画素、緑画素、青画素を示し、続く１つめの値は垂直方向の座標を、２つめの値は水平方向の座標を、左上の画素を（０，０）とし、下方向および右方向へ向かって値が増加する直交座標系で示している。よって、Ｒ２３は上から３番目、左から４番目の画素で、かつ赤色画素であることを意味する。

上述の通り、欠陥画素として補正を行う画素には、本来の欠陥画素（意図せずに正常な出力が得られない画素）だけでなく、焦点検出用画素のような欠陥画素として取り扱う画素も含まれる。以後の説明では、両者をまとめて欠陥画素と呼ぶ。また、欠陥画素のうち、補正処理で着目する画素を着目画素と呼ぶ。

図２（ａ）では欠陥画素が一方向に存在する例として、４行目の水平画素ラインにおいて４画素周期で、かつＧ画素位置（Ｇ３１，Ｇ３５，Ｇ３９，...）に欠陥画素が存在する例を示している。この欠陥画素は焦点検出用画素であってよい。欠陥画素が並んでいる方向は欠陥画素の位置情報に含まれていてもよいし、欠陥画素の位置情報から検出してもよい。着目画素を含み、欠陥画素の並び方向に延びる画素ラインを着目ラインと呼ぶ。ここで、着目画素をＧ３５とした場合の欠陥画素補正方法について説明する。

ここでは補正方法の一例として、図２（ｂ）に示すような、着目画素を中心とした複数画素の領域（ここでは３×３画素の領域）をテンプレートとして所定範囲内を走査し、相関の高い領域を探索する。この際、相関の程度を表す指標として、中心画素を除く周囲８画素について走査位置で求めた差分絶対値和（以下ＳＡＤ）を用いる。そして、着目画素を中心とする３×３画素の領域と相関が高いと考えられる領域の画素値を用いて補正値を算出する。

例えば、着目画素Ｇ３５を中心とする３×３画素の領域２００と、Ｇ１１を中心とする３×３画素の領域２０１との相関の程度を表すＳＡＤ１１は、以下の様に求めることができる。
SAD11=ABS(G00-G24)+ABS(R01-R25)+ABS(G02-G26)+ABS(B10-B34)
+ABS(B12-B36)+ABS(G20-G44)+ABS(R21-R45)+ABS(G22-G46) (式１）
このように、ＳＡＤは、中心画素以外の８画素についての、対応する位置の画素の差分絶対値の合計である。なお、ＳＡＤを求める領域の大きさは任意に設定しうるが、本実施形態では３×３画素であるものとする。

着目画素を含む３×３画素の領域を欠陥画素の並び方向もしくは着目ラインの方向（ここでは水平方向）に伸ばした領域を第１の領域１０００とする。また、第１の領域１０００を着目ラインの方向と直交する２方向（ここでは上方向と下方向）に所定量移動（ここでは２画素移動）した位置の領域をそれぞれ第２の領域１００１、第３の領域１００２とする。

そして、第１の領域１０００では、
・着目画素を中心とする領域２００と、Ｇ３３を中心とする領域とのＳＡＤ３３と、
・領域２００と、Ｇ３７を中心とする領域とのＳＡＤ３７とを取得する
第２の領域１００１では、
・領域２００と、Ｇ１１を中心とする領域とのＳＡＤ１１と、
・領域２００と、Ｇ１３を中心とする領域とのＳＡＤ１３と、
・領域２００と、Ｇ１５を中心とする領域とのＳＡＤ１５と、
・領域２００と、Ｇ１７を中心とする領域とのＳＡＤ１７と、
・領域２００と、Ｇ１９を中心とする領域とのＳＡＤ１９とを取得する。
第３の領域１００２では、
・領域２００と、Ｇ５１を中心とする領域とのＳＡＤ５１と、
・領域２００と、Ｇ５３を中心とする領域とのＳＡＤ５３と、
・領域２００と、Ｇ５５を中心とする領域とのＳＡＤ５５と、
・領域２００と、Ｇ５７を中心とする領域とのＳＡＤ５７と、
・領域２００と、Ｇ５９を中心とする領域とのＳＡＤ５９とを取得する。

図２（ａ）に、着目画素がＧ３５の場合にＳＡＤを求める領域の中心画素をハッチングして示す。このように、本実施形態では、探索範囲内で着目画素位置と同色の画素が中心となる領域（テンプレート領域と同じ画素配置の領域）のうち、欠陥画素が中心となる領域を除く領域から、相関の高い領域を探索する。ただし、これは一例であり、探索範囲の大きさや、ＳＡＤを求める領域の間隔などはこの例に限定されない。

このような探索動作を踏まえ、欠陥画素補正回路１０３が行う補正動作について図３に示すフローチャートを用いて説明する。以下の各ステップの動作主体は欠陥画素補正回路１０３である。なお、欠陥画素補正回路１０３は、ＡＳＩＣ等の集積回路によって実現されてもよいし、プログラマブルプロセッサによりソフトウェア的に実現されてもよい。

Ｓ１０１では、第１の領域１０００に対する相関指標（ＳＡＤ３３、ＳＡＤ３７）を取得する。
Ｓ１０２では、第１の領域１０００で取得したＳＡＤの最小値ＳＡＤＭＩＮ＿１と、ＳＡＤ最小値を取る位置でのＧ画素値（ＳＡＤが最小となる領域の中心画素値）Ｇｐｏｓ＿１を取得する。第１の領域１０００に関しては、ＳＡＤ３３がＳＡＤ３７より小さい場合、ＳＡＤ３３が最小値となり、Ｇｐｏｓ＿１はＧ３３の値となる。逆に、ＳＡＤ３３がＳＡＤ３７より大きい場合、ＳＡＤ３７が最小値となり、Ｇｐｏｓ＿１はＧ３７の値となる。あるいは、Ｇｐｏｓ＿１はＧ３７を中心とする領域内のＧ画素（Ｇ２６、Ｇ２８、Ｇ３７、Ｇ４６およびＧ４８）の平均値としてもよい。

Ｓ１０３では、第２の領域１００１に対する相関指標（ＳＡＤ１１、ＳＡＤ１３、ＳＡＤ１５、ＳＡＤ１７、ＳＡＤ１９）を取得する。
Ｓ１０４では、Ｓ１０２と同様に、第２の領域１００１のＳＡＤ最小値ＳＡＤＭＩＮ＿２とＳＡＤ最小値を取る位置でのＧ画素値Ｇｐｏｓ＿２を取得する。例えば、第２の領域１００１のＳＡＤ最小値がＳＡＤ１１の場合、Ｇｐｏｓ＿２はＧ１１の値となる。あるいは、Ｇｐｏｓ＿２はＧ１１を中心とする領域内のＧ画素（Ｇ００、Ｇ０２、Ｇ１１、Ｇ２０およびＧ２２）の平均値としてもよい。

Ｓ１０５では、第３の領域１００２に対する相関指標（ＳＡＤ５１、ＳＡＤ５３、ＳＡＤ５５、ＳＡＤ５７、ＳＡＤ５９）を取得する。
Ｓ１０６ではＳ１０２，Ｓ１０４と同様に、第３の領域１００２のＳＡＤ最小値ＳＡＤＭＩＮ＿３とＳＡＤ最小値を取る位置でのＧ画素値Ｇｐｏｓ＿３を取得する。例えば第３の領域１００２のＳＡＤ最小値がＳＡＤ５１の場合、Ｇｐｏｓ＿３はＧ５１の値となる。あるいは、Ｇｐｏｓ＿３はＧ５１を中心とする領域内のＧ画素（Ｇ４０、Ｇ４２、Ｇ５１、Ｇ６０およびＧ６２）の平均値としてもよい。

Ｓ１０７〜Ｓ１１１で第１の取得手段としての欠陥画素補正回路１０３は、３つの領域で取得した最小ＳＡＤ値（ＳＡＤＭＩＮ＿１，ＳＡＤＭＩＮ＿２，ＳＡＤＭＩＮ＿３）を比較する。そして、小さい方から２つのＳＡＤ値の平均値（ここでは総数が３なので、最大のものを除いた平均値とする）を第１の補正値として取得する。

具体的にはまずＳ１０７で、第１の領域１０００から第３の領域１００２までのＳＡＤ最小値（ＳＡＤＭＩＮ＿１，ＳＡＤＭＩＮ＿２，ＳＡＤＭＩＮ＿３）を比較する。そして、ＳＡＤＭＩＮ＿１が最大である場合は、処理をＳ１０８に進め、ＳＡＤＭＩＮ＿２とＳＡＤＭＩＮ＿３の平均を、平均ＳＡＤ最小値ＳＡＤＭＩＮ＿ａｖｅとして求める。また、Ｇｐｏｓ＿２とＧｐｏｓ＿３の平均を平均Ｇ画素値Ｇｐｏｓ＿ａｖｅとして求め、処理をＳ１１２へ進める。

Ｓ１０７でＳＡＤＭＩＮ＿１が最大でない場合、処理をＳ１０９に進め、ＳＡＤＭＩＮ＿２が最大か判定する。ＳＡＤＭＩＮ＿２が最大であれば、処理をＳ１１０に進め、ＳＡＤＭＩＮ＿１とＳＡＤＭＩＮ＿３の平均を、平均ＳＡＤ最小値ＳＡＤＭＩＮ＿ａｖｅとして求める。また、Ｇｐｏｓ＿１とＧｐｏｓ＿３の平均を平均Ｇ画素値Ｇｐｏｓ＿ａｖｅとして求め、処理をＳ１１２へ進める。

Ｓ１０９で、ＳＡＤＭＩＮ＿２が最大でない場合、ＳＡＤＭＩＮ＿３が最大であるから、処理をＳ１１１に進め、ＳＡＤＭＩＮ＿１とＳＡＤＭＩＮ＿２の平均を、平均ＳＡＤ最小値ＳＡＤＭＩＮ＿ａｖｅとして求める。また、Ｇｐｏｓ＿１とＧｐｏｓ＿２の平均を平均Ｇ画素値Ｇｐｏｓ＿ａｖｅとして求め、処理をＳ１１２へ進める。

このように、本実施形態では、ＳＡＤ＿ＭＩＮ１〜ＳＡＤ＿ＭＩＮ３の最小値に対応する１つのＧ画素値（Ｇｐｏｓ）ではなく、複数のＧ画素値（ここでは最小値とその次に小さい値をとる領域のＧ画素値）を用いてＧｐｏｓ＿ａｖｅ（第１の補正値）を求める。これは、最終的な補正値の、ＳＡＤ＿ＭＩＮ１〜ＳＡＤ＿ＭＩＮ３の最小値に対応するＧ画素値への依存性（敏感度）を軽減するためである。この敏感度が高いと、補正後の着目画素が視覚的に不自然に感じられる場合がある。

なお、ここでは第１〜第３の領域１０００〜１００２で得られた３つの最小ＳＡＤのうち、値の小さい２つの算術平均を求めたが、２つのＳＡＤの値に応じた重み付加算平均を求めるなど、他の方法を用いてもよい。重み付け加算平均を求める場合の重みは、例えば値の差が大きいほど小さい値の重みを大きくするようにすることができる。また、領域の数が３より大きい場合には、３つ以上の画素値を用いてＧｐｏｓ＿ａｖｅ（第１の補正値）を求めてもよい。

本実施形態では、第３の取得手段としての欠陥画素補正回路１０３が、最終的な補正値（第２の補正値）を、ＳＡＤ＿ＭＩＮ１に対応するＧｐｏｓ＿１と、Ｇｐｏｓ＿ａｖｅとの重み付け加算により取得する。これは、第１の領域１０００と、第２および第３の領域１００１および１００２とが異なる被写体に対応している場合に生じうる補正値の精度低下を抑制するためである。

図４に示すように、第１の領域１０００の長さ方向（複数の欠陥画素の並び方向）にエッジを有する被写体（ここでは横線）が存在する場合を考える。この場合、第１の領域１０００（グレーの領域）の輝度値が第２および第３の領域１００１および１００２の輝度値に比べて低下している。このような場合、第１の領域１０００内の同色画素値だけを用いる方が、第２の領域１００１および第３の領域１００２の少なくとも一方の同色画素値を用いるより精度の高い補正値を得られる。

このような被写体が存在する場合、ＳＡＤＭＩＮ＿１が小さく、ＳＡＤＭＩＮ＿２とＳＡＤＭＩＮ＿３の値が大きくなる。従って、ＳＡＤＭＩＮ＿１が、ＳＡＤＭＩＮ＿２（またはＳＡＤＭＩＮ＿３）と比べて有意に小さい場合は、図４に示したような被写体である可能性が高いと考えられる。この場合、最終的な補正値を求める重み付け加算における第１の領域１０００のＧ画素値の重みを大きくすることで、第１の領域１０００と、第２および第３の領域１００１および１００２とが異なる被写体に対応している場合の補正精度低下を抑制する。

図３の説明に戻り、Ｓ１１２〜Ｓ１１７で第２の取得手段としての欠陥画素補正回路１０３が上述した重みを取得する。まずＳ１１２では、Ｓ１０２で取得したＳＡＤＭＩＮ＿１に対する、Ｓ１０８〜Ｓ１１１で取得した平均ＳＡＤ最小値ＳＡＤＭＩＮ＿ａｖｅの比ＤＩＶを以下の様に求める。
ＤＩＶ＝（ＳＡＤＭＩＮ＿ａｖｅ）／（ＳＡＤＭＩＮ＿１） (式２）

次にＳ１１３において、ＤＩＶが閾値以上（Thres2以上）の場合（ＤＩＶ≧Thres2）、処理をＳ１１７に進める。Ｓ１１３の判定は、ＳＡＤＭＩＮ＿ａｖｅがＳＡＤＭＩＮ＿１より有意に大きいかどうか、つまり図４を参照して説明したような被写体かどうかの判定である。従って、閾値Thres2の値も、そのような判定に適した値を予め実験等により決定する。

上述のように、ＤＩＶの値が大きい場合、第１の領域１０００と、他の領域（第２および第３の領域１００１および１００２）とが異なる被写体に対応している可能性が高い。従って、Ｓ１１７では、最終的な補正値を取得する際の、Ｇｐｏｓ＿ａｖｅの重みＭＩＸを０とし、第１の領域内の同色画素値のみを用いて補正値を取得するようにする。

一方、Ｓ１１３において、ＤＩＶが閾値以下（Thres2以下）の場合（ＤＩＶ≦Thres2）、処理をＳ１１４に進め、ＤＩＶを閾値Thres1（Thres1＜Thres2）と比較する。閾値Thres1は、Ｇｐｏｓ＿ａｖｅだけを用いる方が補正値の精度がよいかどうかを判定するための閾値であり、そのような判定に適した値を予め実験等により決定する。そして、ＤＩＶが閾値以下（Thres1以下）の場合（ＤＩＶ≦Thres1）、Ｓ１１６に処理を進め、最終的な補正値を取得する際のＧｐｏｓ＿ａｖｅの重みＭＩＸを１とし、Ｇｐｏｓ＿ａｖｅのみを用いて補正値を取得するようにする。

Ｓ１１４でＤＩＶが閾値Thres1より大きい場合（Thres1＜ＤＩＶ＜Thres2）、Ｓ１１５に処理を進め、最終的な補正値を取得する際のＧｐｏｓ＿ａｖｅの重みＭＩＸを、線形補間により求める。上述のように、ＤＩＶ≧Thres2の区間ではＭＩＸ＝０、ＤＩＶ≦Thres1の区間ではＭＩＸ＝１であるため、Thres1＜ＤＩＶ＜Thres2の区間における重みＭＩＸは、
ＭＩＸ＝（Thres2−ＤＩＶ）／（Thres2−Thres1） （式３）
によって設定する。
本実施形態におけるＤＩＶの値と閾値との関係を、図５に示す。

以上のようにしてＭＩＸの値が決定したら、処理をＳ１１８に進め、第３の取得手段としての欠陥画素補正回路１０３が、最終的な補正値（第２の補正値）を取得する。具体的には、第１の領域１０００における最小ＳＡＤに対応するＧ画素値（Ｇｐｏｓ＿１）と、第１〜第３の領域１０００〜１００２のそれぞれの最小ＳＡＤのうち、小さい方の２つに対応するＧ画素値から取得したＧｐｏｓ＿ａｖｅとを重み加算合成する。
Ｇｐｏｓ＝（Ｇｐｏｓ＿１×（１−ＭＩＸ））＋（Ｇｐｏｓ＿ａｖｅ×ＭＩＸ）（式４）

そして、補正手段としての欠陥画素補正回路１０３は、このようにして取得した補正値Ｇｐｏｓを、着目画素の値として用いることにより、着目画素値の補正を行う。ただし、補正方法はこれに限らず、例えば３×３の領域内に含まれる、着目画素と同色の画素値を用いて補正値を修正するなど、他の方法を用いてもよい。以上の処理を、各欠陥画素を着目画素として順次実行する。

以上のとおり、本実施形態では、一方向に並んだ複数の欠陥画素の１つを補正するための補正値を求める領域を、補正対象の欠陥画素を含み、欠陥画素の並び方向に延びる第１の領域と、欠陥画素の並び方向と直交する方向に隣接する他の２つの領域とする。そして、各領域において補正対象の欠陥画素と相関の高い画素を検出し、検出された３つの画素の相関値のうち高い方の２つから求まる相関値（第１の相関値）と、対応する補正値（第１の補正値）を取得する。検出された３つの画素の相関値の複数から求まる相関値と、第１の領域で検出された画素の相関値との関係に応じた重みで、第１の補正量と第２の補正量とを加重加算し、最終的な補正値（第２の補正値）を取得する。

第１の補正値を、複数の画素値に基づいて生成することで、最も相関の高い１つの画素値を用いる場合よりも、補正値の敏感度を低減することができ、補正された欠陥画素が視覚的に不自然になることを抑制できる。また、第１の領域で検出された画素値に対応する相関量と、第１の補正値に対応する相関量との差に応じて第１の領域で検出された画素値の重みを増やすことで、欠陥画素の並び方向にエッジを有する被写体に対する補正値の精度低下を抑制することができる。従って、欠陥画素が規則的に存在する場合であっても、精度の良い欠陥画素補正が実現できる。

なお、本実施形態では、欠陥画素がＧ画素位置に存在する場合について説明したが、Ｒ画素やＢ画素の位置に存在する場合でも、同様の処理を行えばよい。

●（第２の実施形態）
以下、本発明の第２の実施形態について説明する。第１の実施形態では欠陥画素の並び方向（水平方向）であることが判明している場合を説明した。しかし、第１の実施形態でも述べたように、欠陥画素の並び方向を検出することも可能である。本実施形態では、着目画素周辺の欠陥画素の位置に基づいて、欠陥画素の並び方向を設定もしくは決定する例について説明する。

図６は、本実施形態において欠陥画素補正回路１０３が行う欠陥画素補正処理を示すフローチャートである。なお、図６において、Ｓ２０３の処理は、図３で説明した処理と同様であり、Ｓ２０３の処理の前に欠陥画素の並び方向を検出するためのＳ２０１とＳ２０２を行うことが本実施形態の特徴である。

Ｓ２０１で欠陥画素補正回路１０３は、着目画素を通り、長さ方向が異なる複数の画素ラインについて、欠陥画素の位置情報に基づいて、着目画素と同色の欠陥画素個数を検出する。例えば図７のＧ５５を着目画素とした場合、着目画素を中心とした、水平方向、垂直方向、４５度方向、１３５度方向の４方向の画素ラインで、Ｇ画素位置の欠陥画素数をカウントする。ここでは、着目画素を中心とした同色画素５画素に含まれる欠陥画素数を各画素ラインでカウントする。図７においては、カウントの対象となる画素をグレーで示している。

より具体的には、水平方向ではＧ５１、Ｇ５３、Ｇ５７、Ｇ５９に含まれる欠陥画素数をカウントする。また、垂直方向ではＧ１５、Ｇ３５、Ｇ７５、Ｇ９５に含まれる欠陥画素数をカウントする。４５度方向ではＧ１９、Ｇ３７、Ｇ７３、Ｇ９１に含まれる欠陥画素数をカウントする。１３５度方向ではＧ１１、Ｇ３３、Ｇ７７、Ｇ９９に含まれる欠陥画素数をカウントする。

そして、欠陥画素補正回路１０３は、Ｓ２０２に処理を進め、カウント結果に基づいて欠陥画素の並び方向を決定し、第１〜第３の領域１０００〜１００２を設定する。ここでは、カウントされた欠陥画素数が最も多い方向を、欠陥画素の並び方向として決定している。図８（ａ）〜（ｄ）は、水平方向、垂直方向、４５度方向、１３５度方向のそれぞれが並び方向として決定された場合の第１の領域１０００を示している。図８（ａ）〜（ｃ）には第２の領域１００１、第３の領域１００２についても示している。図８（ｄ）に示す１３５度方向の場合も、図８（ｃ）の４５度方向と同様にして第２および第３の領域１００１および１００２を定めることができる。

このようにして決定した第１〜第３の領域が設定されると、Ｓ２０３に進み、欠陥画素補正が行われる。このＳ２０３の動作は、第１の実施形態で図２のフローチャートで説明したものと同等のためここでは詳細な説明は省略する。

本実施形態によれば、第１の実施形態の効果に加え、着目画素ごとに適した欠陥画素の並び方向を設定することが可能である。例えば経年変化によって欠陥画素が増加した場合などに適切に対応することが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１…撮像部、１０２…変換回路、１０３…欠陥画素補正回路、１０４…信号処理回路

Claims (12)

1. 欠陥画素補正を行う着目画素を含み、欠陥画素の並び方向に延びる第１の領域と、前記第１の領域を前記並び方向と直交する２方向に所定量移動した複数の領域とを設定する設定手段と、
   前記着目画素との相関の程度を表す相関値に基づいて前記第１の領域および前記複数の領域のそれぞれから画素値を検出する検出手段と、
   前記検出された画素値の複数を用いて第１の補正値を取得する第１の取得手段と、
   前記第１の補正値の取得に用いられた画素値に対応する相関値を用いて得られる第１の相関値と、前記第１の領域において検出された画素値に対応する相関値との大きさに基づいて、前記第１の領域において検出された画素値の重みを取得する第２の取得手段と、
   前記重みを用いて、前記第１の補正値と、前記第１の領域において検出された画素値とから、第２の補正値を取得する第３の取得手段と、
   前記第２の補正値を用いて前記着目画素の値を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記第３の取得手段は、第１の相関値と前記第１の領域において検出された画素値に対応する相関値との差が予め定められた第１の閾値以上であれば、前記第２の補正値に前記第１の領域において検出された画素値が用いられ、前記第１の補正値が用いられなくなるように前記重みを取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記着目画素を含む複数画素の領域をテンプレートとして前記第１の領域および前記複数の領域のそれぞれで走査することにより、前記第１の領域および前記複数の領域のそれぞれにおいて相関の高い領域を探索し、前記画素値を検出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の取得手段は、前記相関値として、前記着目画素を含む複数画素の領域のうち、前記着目画素を除く複数画素と、走査位置において前記第１の領域および前記複数の領域で対応する画素との差分絶対値和を用いることを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の取得手段は、前記検出された画素値のうち、最も高い相関を表す相関値に対応する画素値から順に前記複数を用いて前記第１の補正値を取得することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第２の取得手段は、第１の相関値と前記第１の領域において検出された画素値に対応する相関値との差が前記第１の閾値より小さい第２の閾値以下であれば、前記第１の補正値が前記第２の補正値となるように前記重みを取得することを特徴とする請求項１から５のいずれか１項に画像処理装置。
7. 前記第２の取得手段は、第１の相関値と前記第１の領域において検出された画素値に対応する相関値との差が予め定められた第１の閾値以上であれば、前記第１の領域において検出された画素値が前記第２の補正値となるように前記重みを取得することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記設定手段は、前記欠陥画素の並び方向を、欠陥画素の位置情報から取得することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記設定手段は、前記着目画素を通り、長さ方向が異なる複数の画素ラインに含まれる欠陥画素の数を、欠陥画素の位置情報に基づいてカウントした結果により、前記欠陥画素の並び方向を決定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
10. 前記欠陥画素が、特定の方向に規則的に配置された焦点検出用画素を含むことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 設定手段が、欠陥画素補正を行う着目画素を含み、欠陥画素の並び方向に延びる第１の領域と、前記第１の領域を前記並び方向と直交する２方向に所定量移動した複数の領域とを設定する設定工程と、
    検出手段が、前記着目画素との相関の程度を表す相関値に基づいて前記第１の領域および前記複数の領域のそれぞれから画素値を検出する検出工程と、
    第１の取得手段が、前記検出された画素値の複数を用いて第１の補正値を取得する第１の取得工程と、
    第２の取得手段が、前記第１の補正値の取得に用いられた画素値に対応する相関値を用いて得られる第１の相関値と、前記第１の領域において検出された画素値に対応する相関値との大きさに基づいて、前記第１の領域において検出された画素値の重みを取得する第２の取得工程と、
    第３の取得手段が、前記重みを用いて、前記第１の補正値と、前記第１の領域において検出された画素値とから、第２の補正値を取得する第３の取得工程と、
    補正手段が、第２の補正値を用いて前記着目画素の値を補正する補正工程と、
    を有することを特徴とする画像処理方法。
12. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images