JP2005295244A - 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを格納した記憶媒体 - Google Patents

Abstract

【課題】多くの色成分を示す色信号に基づいて注目画素の近傍のエッジの方向を検出することができる画像処理装置が提供される。
【解決手段】本発明の画像処理装置は、注目画素から前記注目画素の色成分を示す第１色信号を検出する第１色信号検出手段と、前記注目画素の近傍に位置する複数の近傍画素から、前記複数の近傍画素の色成分を示す複数の第２色信号を検出する第２色信号検出手段と、前記第１色信号と前記複数の第２色信号とに基づいて、前記注目画素の近傍のエッジの方向を検出する方向検出手段とを備え、前記複数の近傍画素の色成分は、少なくとも３種類の色成分を含む。
【選択図】図１

Description

本発明は、多くの色成分を示す色信号に基づいて注目画素の近傍のエッジの方向を検出することができる画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した記憶媒体に関する。

例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を用いた単板式のディジタルカメラ、ビデオカメラ、及びカメラ付き携帯電話等の撮影装置に関するものであり、より詳細には、複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から出力される色信号から、各画素における全ての色信号を、注目画素およびその近傍画素の色信号を用いた補間処理により生成する画像処理装置、画像処理方法、及び画像処理プログラムを格納した記憶媒体に関する。

固体撮像素子（例えば、ディジタルカメラやビデオカメラで用いられているＣＣＤやＣＭＯＳ）は、一般に、光の明るさを示す情報のみを出力する。したがって、固体撮像素子が１つである単板式カメラは、色情報を得るために、ＣＣＤに含まれる１画素に対して１つの色成分のみを通過させる色フィルタをＣＣＤに被せ、動作時に各画素が対応する色成分を出力するように構成されている。色フィルタが原色フィルタである場合、色成分の種類はＲ（赤）、Ｇ（緑）、Ｂ（青）の３種類である。

色フィルタの色成分の配列には、いくつかの種類が提案されている。

図１５は、ベイヤ配列を示す。ベイヤ配列は、輝度信号の寄与する割合の大きいＧ画素を市松状に配置し、残りの箇所にＲ画素およびＢ画素を更に市松状に配置した配列である。ベイヤ配列の色フィルタを被せたＣＣＤから信号が出力された時点では、各画素毎にＲＧＢの色成分の中で１色分の情報しか得られていない。

したがって、画像処理部は、各画素毎に残り２色分の情報を周辺画素の色信号値から推定することによって、残りの色情報を得る補間処理を行う。更に、ＣＣＤにより得られた各画素毎の１色分の情報に対しても、注目画素自身、及び周辺画素の色信号値から補間処理が行われる。

図１６は、注目画素の色成分がＧ、ＲまたはＢである場合のベイヤ配列を示す。

図１６（ａ）は、注目画素の色成分がＧである場合のベイヤ配列を示す。図１６（ｂ）は、注目画素の色成分がＲまたはＢである場合のベイヤ配列を示す。図１６（ｃ）は、注目画素の色成分が任意である場合のベイヤ配列を示す。

図１６（ａ）および（ｂ）において、記号Ｐおよび記号Ｑは、それぞれ色成分Ｒおよび色成分Ｂまたは色成分Ｂおよび色成分Ｒを示す。記号Ｐが色成分Ｒを表す場合は、記号Ｑは色成分Ｂを表し、逆に記号Ｐが色成分Ｂを表す場合は、記号Ｑは色成分Ｒを示す。

色フィルタがベイヤ配列の場合のバイリニア法における補間式（式１）を以下に示す。

（式１）
・注目画素がＧ３３の場合（図１６（ａ）参照）
Ｇｏ＝Ｇ３３またはＧｏ＝（Ｇ３３＊４＋Ｇ２２＋Ｇ４２＋Ｇ２４＋Ｇ４４）／８
Ｐｏ＝（Ｐ３２＋Ｐ３４）／２
Ｑｏ＝（Ｑ２３＋Ｑ４３）／２

・注目画素がＰ３３の場合（図１６（ｂ）参照）
Ｇｏ＝（Ｇ３２＋Ｇ２３＋Ｇ４３＋Ｇ３４）／４
Ｐｏ＝Ｐ３３
Ｑｏ＝（Ｑ２２＋Ｑ４２＋Ｑ２４＋Ｑ４４）／４
Ｇｏ：注目画素の出力Ｇ信号
Ｐｏ：注目画素の出力Ｐ信号
Ｑｏ：注目画素の出力Ｑ信号
ただし、（Ｐ，Ｑ）＝（Ｒ，Ｂ）または（Ｂ，Ｒ）

以上、式１を示した。

しかし、バイリニア法は、一種のローパス処理であるため、ノイズが目立たないというメリットがある反面、被写体に含まれるエッジ等、特に被写体の空間周波数における高域成分が失われ、解像度が低下するというデメリットがある。

そこで、ベイヤ配列の画像データを用いて、注目画素と近傍画素との信号値に関する相関性を調べることによって、補間処理を行う手法が開示されている（例えば、特開平１０−１６４６０２（特許文献１）、特開平１１−１２２６２６（特許文献２）、特開２０００−１６５８９２（特許文献３）、特開２００３−１４３６１５（特許文献４））。この補間処理は、注目画素付近におけるエッジの有無及びエッジの方向性を検出し、画像データ内のエッジを表す高域成分が失われないよう、検出されたエッジ方向における相関性の高い画素の色信号の重みを大きくする。
特開平１０−１６４６０２号公報 特開平１１−１２２６２６号公報 特開２０００−１６５８９２号公報 特開２００３−１４３６１５号公報

しかし、特許文献１、特許文献２および特許文献３に開示の技術は、エッジ検出に、ＲＧＢの各色成分の中で画素数が最も多く、輝度に寄与する割合の多いＧ画素を用いているものの、画像データの半分を占めるＲ画素およびＢ画素を用いておらず、Ｇ成分の少ない画像データの場合、エッジ検出精度が落ちるという問題がある。

一方、特許文献４に開示の技術は、注目画素の色要素がＲ画素である場合にはＧ画素およびＲ画素を用い、注目画素の色要素がＢ画素である場合にはＧ画素およびＢ画素を用いているものの、注目画素の色要素がＧ画素である場合には、Ｇ画素しか用いておらず、Ｇ成分の少ない画像データの場合、エッジ検出精度が落ちる。

更に、特許文献１〜４に開示に技術では、画像データ中にノイズが含まれる場合、ノイズの影響により、エッジ検出を誤る可能性がある。

本発明は、上記問題点に鑑みてなされたものであり、被写体に含まれるエッジを高い精度で検出し保持する補間処理を用いた画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを格納した記憶媒体を提供することを目的とする。

本発明の画像処理装置は、注目画素から前記注目画素の色成分を示す第１色信号を検出する第１色信号検出手段と、前記注目画素の近傍に位置する複数の近傍画素から、前記複数の近傍画素の色成分を示す複数の第２色信号を検出する第２色信号検出手段と、前記第１色信号と前記複数の第２色信号とに基づいて、前記注目画素の近傍のエッジの方向を検出する方向検出手段とを備え、前記複数の近傍画素の色成分は、少なくとも３種類の色成分を含み、これにより、上記目的が達成される。

前記方向検出手段は、前記第１色信号と前記複数の第２色信号とに基づいて、方向性データを検出する検出手段と、前記方向性データによって示された値の大きさに応じて、複数のエッジの方向のうちから少なくとも１つのエッジの方向を検出する方向性データ方向検出手段とを備えてもよい。なお、前記方向性データは、前記複数のエッジの方向のうち指定されたエッジの方向と前記注目画素の近傍の所定のエッジの方向との近似度に応じた値を示す。

前記画像処理装置は、前記注目画素の近傍のエッジの方向を示すデータを保存する方向性保存手段をさらに備え、前記方向性データ方向検出手段は、前記注目画素に隣接する隣接画素のエッジの方向を参照する隣接画素方向性参照手段をさらに備えてもよい。

前記方向性データ方向検出手段は、前記注目画素に隣接する隣接画素のエッジの方向を検出する手段と、前記検出した前記隣接画素のエッジの方向を参照する手段とをさらに備えてもよい。

前記画像処理装置は、前記複数のエッジの方向を示すデータを補間する複数の補間フィルタをさらに備え、前記方向検出手段は、前記検出された注目画素の近傍のエッジの方向を示すデータに基づいて、前記検出された注目画素の近傍にエッジがあるか否かを判定する判定手段を備え、前記検出された注目画素の近傍にエッジがあると判定された場合には、前記複数の補間フィルタのうちの少なくとも１つの補間フィルタは、前記検出された注目画素の近傍のエッジの方向を示すデータを補間してもよい。

前記画像処理装置は、前記検出された注目画素の近傍にエッジがない場合のデータを補間する複数の補間フィルタをさらに備え、前記方向検出手段は、前記検出された注目画素の近傍のエッジの方向を示すデータに基づいて、前記検出された注目画素の近傍にエッジがあるか否かを判定する判定手段を備え、前記検出された注目画素の近傍にエッジがないと判定された場合には、前記複数の補間フィルタのうちの少なくとも１つの補間フィルタは、前記検出された注目画素の近傍にエッジがない場合のデータを補間してもよい。

前記方向検出手段は、指定領域に含まれる複数の画素のエッジの方向を検出する手段と、前記検出された複数の画素のエッジの方向を示すデータに基づいて、前記複数の画素の補間処理を行う画像処理手段とを備えてもよい。

前記方向検出手段は、前記注目画素のエッジの方向と前記近傍画素のエッジの方向とに基づいて、前記複数の画素のエッジの方向を補正する方向性補正手段をさらに備えてもよい。

本発明の画像処理方法は、（ａ）注目画素から前記注目画素の色成分を示す第１色信号を検出するステップと、（ｂ）前記注目画素の近傍に位置する複数の近傍画素から、前記複数の近傍画素の色成分を示す複数の第２色信号を検出するステップと、（ｃ）前記第１色信号と前記複数の第２色信号とに基づいて、前記注目画素の近傍のエッジの方向を検出するステップとを包含し、前記複数の近傍画素の色成分は、少なくとも３種類の色成分を含み、これにより、上記目的が達成される。

前記ステップ（ｃ）は、（ｃ−１）前記第１色信号と前記複数の第２色信号とに基づいて、方向性データを検出するステップと、（ｃ−２）前記方向性データによって示された値の大きさに応じて、複数のエッジの方向のうちから少なくとも１つのエッジの方向を検出するステップとを包含してもよい。なお、前記方向性データは、前記複数のエッジの方向のうち指定されたエッジの方向と前記注目画素の近傍の所定のエッジの方向との近似度に応じた値を示す。

前記画像処理方法は、（ｄ）前記注目画素の近傍のエッジの方向を示すデータを保存するステップをさらに包含し、前記ステップ（ｃ−２）は、前記注目画素に隣接する隣接画素のエッジの方向を参照するステップをさらに包含してもよい。

前記ステップ（ｃ−２）は、前記注目画素に隣接する隣接画素のエッジの方向を検出するステップと、前記検出した前記隣接画素のエッジの方向を参照するステップとをさらに包含してもよい。

前記画像処理方法は、（ｅ）前記複数のエッジの方向を示すデータを補間するステップをさらに包含し、前記ステップ（ｃ）は、前記検出された注目画素の近傍のエッジの方向を示すデータに基づいて、前記検出された注目画素の近傍にエッジがあるか否かを判定するステップを包含し、前記検出された注目画素の近傍にエッジがあると判定された場合には、前記ステップ（ｅ）は、前記検出された注目画素の近傍のエッジの方向を示すデータを補間するステップを包含してもよい。

前記画像処理方法は、（ｅ）前記検出された注目画素の近傍にエッジがない場合のデータを補間するステップをさらに包含し、前記ステップ（ｃ）は、前記検出された注目画素の近傍のエッジの方向を示すデータに基づいて、前記検出された注目画素の近傍にエッジがあるか否かを判定するステップを包含し、前記検出された注目画素の近傍にエッジがないと判定された場合には、前記ステップ（ｅ）は、前記検出された注目画素の近傍にエッジがない場合のデータを補間するステップを包含してもよい。

前記ステップ（ｃ）は、指定領域に含まれる複数の画素のエッジの方向を検出するステップと、前記検出された複数の画素のエッジの方向を示すデータに基づいて、前記複数の画素の補間処理を行うステップとを備えてもよい。

前記ステップ（ｃ）は、前記注目画素のエッジの方向と前記近傍画素のエッジの方向とに基づいて、前記複数の画素のエッジの方向を補正するステップをさらに包含してもよい。

本発明のプログラムは、画像処理部を制御する制御部を備える画像処理装置に画像処理を実行させるためのプログラムであって、（ａ）注目画素から前記注目画素の色成分を示す第１色信号を検出するステップと、（ｂ）前記注目画素の近傍に位置する複数の近傍画素から、前記複数の近傍画素の色成分を示す複数の第２色信号を検出するステップと、（ｃ）前記第１色信号と前記複数の第２色信号とに基づいて、前記注目画素の近傍のエッジの方向を検出するステップとを包含し、前記複数の近傍画素の色成分は、少なくとも３種類の色成分を含み、これにより、上記目的が達成される。

本発明の読み取り可能な記憶媒体は、画像処理部を制御する制御部を備える画像処理装置によって読み取り可能な記憶媒体であって、（ａ）注目画素から前記注目画素の色成分を示す第１色信号を検出するステップと、（ｂ）前記注目画素の近傍に位置する複数の近傍画素から、前記複数の近傍画素の色成分を示す複数の第２色信号を検出するステップと、（ｃ）前記第１色信号と前記複数の第２色信号とに基づいて、前記注目画素の近傍のエッジの方向を検出するステップとを包含する処理を実行させるためのプログラムを記録しており、前記複数の近傍画素の色成分は、少なくとも３種類の色成分を含み、これにより、上記目的が達成される。

本発明によれば、注目画素の色成分を示す第１色信号と複数の近傍画素の色成分を示す第２色信号とに基づいて注目画素の近傍のエッジの方向が検出され、複数の近傍画素の色成分は、少なくとも３種類の色成分を含む。したがって、複数の近傍画素の色成分のうち２種類以下の色成分を示す色信号と第１色信号とに基づいて注目画素の近傍のエッジの方向を検出した場合と比較して、多くの色成分を示す色信号に基づいて注目画素の近傍のエッジの方向を検出することができる。その結果、注目画素の近傍のエッジの方向を精度よく検出することができる。

本発明によれば、被写体に含まれるエッジを高い精度で検出し保持する補間処理を用いた画像処理装置、画像処理方法、及び画像処理プログラムを格納した記憶媒体を提供することが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本発明の実施例１の画像処理装置１００の構成を示す。

画像処理装置１００は、固体撮像素子１０１と、Ａ／Ｄ（アナログ／ディジタル）変換部１０２と、画像処理部１０３とを含む。

固体撮像素子１０１と、Ａ／Ｄ変換部１０２と、画像処理部１０３とは、注目画素から注目画素の色成分を示す色信号を検出し、注目画素の近傍に位置する複数の近傍画素から、複数の近傍画素の色成分を示す複数の色信号を検出する。ここで、複数の近傍画素の色成分は、少なくとも３種類の色成分を含む。３種類の色成分は、例えば、３原色を示す色成分Ｒ、色成分Ｇ、色成分Ｂである。以下、３種類の色成分が色成分Ｒ、色成分Ｇ、色成分Ｂである場合を説明するが、少なくとも３種類の色成分が、全色を表すために必要とされる原色を示す色成分である限り、３種類の色成分がこれらの３原色を示す色成分に限らない。３原色を示す色成分Ｙ（イエロー）、色成分Ｍ（マゼンダ）、色成分Ｃ（シアン）でもよい。

固体撮像素子１０１は、被写体から入射する光がカラーフィルタを通り、更にフォトダイオードにより、各画素に対応する色の大きさを表すアナログの電気信号に変換され出力される。尚、カラーフィルタは原色（ＲＧＢ）でベイヤ配列とする。

Ａ／Ｄ変換部１０２は、固体撮像素子１０１から出力されたアナログの電気信号をディジタル信号（以下ベイヤデータと呼ぶ）に変換し、ベイヤデータを出力する。

画像処理部１０３は、注目画素の色成分を示す色信号と複数の近傍画素の色成分を示す複数の色信号とに基づいて、注目画素の近傍のエッジの方向を検出する。例えば、画像処理部１０３は、Ａ／Ｄ変換部１０２から出力されたベイヤデータを入力し、各種画像処理を施した後、画像データを出力する。

画像処理部１０３は、ホワイトバランス部１０４と、ガンマ補正部１０５と、補間部１０６と、色信号処理部１０７と、輝度信号処理部１０８と、出力変換部１０９とを含む。

ホワイトバランス部１０４は、Ａ／Ｄ変換部１０２から出力されたベイヤデータを入力し、ベイヤデータの各画素値に対し、対応するＲＧＢゲインを乗算することにより、白色の調整を行い、調整後のベイヤデータを出力する。

ガンマ補正部１０５は、ホワイトバランス部１０４から出力されたベイヤデータを入力し、ベイヤデータの各画素値に対し、輝度の階調に関する調整を行い、調整後のベイヤデータを出力する。

補間部１０６は、例えば、ガンマ補正部１０５から出力されたベイヤデータを入力し、各画素に対して、注目画素付近におけるエッジの有無及びエッジの方向性を注目画素とその近傍画素の色信号を用いた演算処理によって検出し、エッジの有無及び検出されたエッジの方向性に応じた補間を行い、ＲＧＢ信号を出力する。

色信号部１０７は、補間部１０６で出力されたＲＧＢ信号を入力し、そのＲＧＢ信号を色差信号に変換し、偽色低減処理等を行った後、色差信号を出力する。

尚、偽色低減処理とは、補間処理において本来被写体にはない色（偽色）が発生する場合があるため、画像のエッジ部分等の偽色の発生しやすい箇所に対して、色差信号を抑圧する処理のことである。

輝度信号部１０８は、補間部１０６で出力されたＲＧＢ信号を入力し、ＲＧＢ信号を輝度信号に変換し、エッジ強調処理等を行った後、輝度信号を出力する。

出力変換部１０９は、色信号部１０７で出力された色差信号、及び輝度信号部８で出力された輝度信号を入力し、ＲＧＢ信号あるいはＵＹＶＹ信号（輝度信号はそのままで、色差信号は２画素毎に平均化された信号）等に変換し、出力する。

図２は、補間部１０６の構成を示す。

補間部１０６は、方向性データ算出部１１１と、方向性検出部１１２と、方向性保存部１１３と、色信号算出部１１４と、制御部１１５とを含む。

方向性データ算出部１１１は、対象となるベイヤデータの各画素に対して、指定されたエッジ方向と注目画素付近における実際のエッジ方向との近似度が大きいほど値が小さくなる方向性データを、予め決められた複数のエッジ方向に対して算出する。

方向性検出部１１２は、方向性データ算出部１１１によって算出された複数のエッジ方向に対する方向性データ、及び必要であれば、後述する方向性保存部１１３によって保存された隣接する画素の方向性を用いて、注目画素の方向性を検出する。

方向性保存部１１３は、方向性検出部１１２によって検出された方向性を保存する。

色信号算出部１１４は、補間フィルタを含む。方向性検出部１１２によって検出された方向性に対応した複数の補間フィルタの中から指定された補間フィルタは、注目画素における全ての色信号を算出する。

制御部１１５は、方向性データ算出部１１１と方向性検出部１１２と方向性保存部１１３と色信号算出部１１４とに接続されている。制御部１１５は、これらの処理の流れを制御する。

例えば、図１および図２に示される実施例では、固体撮像素子１０１と、Ａ／Ｄ変換部１０２と、画像処理部１０３とが、「注目画素から注目画素の色成分を示す第１色信号を検出する第１色信号検出手段」と、「注目画素の近傍に位置する複数の近傍画素から、複数の近傍画素の色成分を示す複数の第２色信号を検出する第２色信号検出手段」とに対応し、画像処理部１０３が、「第１色信号と複数の第２色信号とに基づいて、注目画素の近傍のエッジの方向を検出する方向検出手段」とに対応する。なお、複数の近傍画素の色成分は、少なくとも３種類の色成分を含む。

しかし、本発明の画像処理装置１００が図１および図２に示される実施例に限定されるわけではない。上述した、「注目画素から注目画素の色成分を示す第１色信号を検出する第１色信号検出手段」、「注目画素の近傍に位置する複数の近傍画素から、複数の近傍画素の色成分を示す複数の第２色信号を検出する第２色信号検出手段」および「第１色信号と複数の第２色信号とに基づいて、注目画素の近傍のエッジの方向を検出する方向検出手段」の機能を有する限りは、任意の構成を有しえる。

図３は、補間部１０６のデータ処理手順を示す。

以下、図３を参照して補間部６のデータ処理手順をステップごとに説明する。

ステップＳ１：方向性データ算出部１１１は、注目画素から注目画素の色成分を示す色信号を検出し、さらに、注目画素の近傍に位置する複数の近傍画素から、複数の近傍画素の色成分を示す複数の色信号を検出する。なお、複数の近傍画素の色成分は、少なくとも３種類の色成分（例えば、３原色であるＲ成分、Ｇ成分およびＢ成分）を含む。そして方向性データ算出部１１１は、注目画素の方向性データを予め決められた複数のエッジ方向に対して算出する。予め決められた複数のエッジ方向の詳細は、後述する。

例えば、注目画素の方向性データによって示される値は、予め決められたエッジ方向と注目画素付近の所定のエッジ方向との近似度が大きいほど値が小さくなる。このような方向性データを算出する式は、種々考えられるが、例えば、以下のような算出式（式２）が用いられる。

（式２）
・注目画素がＧ３３の場合（図１６（ａ）参照）

ＤＤｒｕ＝（｜Ｇ５１−Ｇ３３｜＋｜Ｇ４２−Ｇ３３｜＋｜Ｇ２４−Ｇ３３｜＋｜Ｇ１５−Ｇ３３｜＋｜Ｇ２２−Ｇ３１｜＋｜Ｇ２２−Ｇ１３｜＋｜Ｇ４４−Ｇ５３｜＋｜Ｇ４４−Ｇ３５｜）／２

ＤＤｈｏ＝（｜Ｇ１３−Ｇ３３｜＋｜Ｇ５３−Ｇ３３｜＋｜Ｇ２２−Ｇ４２｜＋｜Ｇ２４−Ｇ４４｜）

ＤＤｒｄ＝（｜Ｇ１１−Ｇ３３｜＋｜Ｇ２２−Ｇ３３｜＋｜Ｇ４４−Ｇ３３｜＋｜Ｇ５５−Ｇ３３｜＋｜Ｇ４２−Ｇ３１｜＋｜Ｇ４２−Ｇ５３｜＋｜Ｇ２４−Ｇ１３｜＋｜Ｇ２４−Ｇ３５｜）／２

ＤＤｖｅ＝（｜Ｇ３１−Ｇ３３｜＋｜Ｇ３５−Ｇ３３｜＋｜Ｇ２２−Ｇ２４｜＋｜Ｇ４２−Ｇ４４｜）

・注目画素がＰ３３の場合（図１６（ｂ）参照）

ＤＤｒｕ＝（｜Ｐ３３−Ｐ５１｜＋｜Ｐ３３−Ｐ１５｜）＊２

ＤＤｈｏ＝（｜Ｐ３３−Ｐ１３｜＋｜Ｐ３３−Ｐ５３｜）＊２

ＤＤｒｄ＝（｜Ｐ３３−Ｐ１１｜＋｜Ｐ３３−Ｐ５５｜）＊２

ＤＤｖｅ＝（｜Ｐ３３−Ｐ３１｜＋｜Ｐ３３−Ｐ３５｜）＊２

ＤＤｒｕ：右斜め上方向の方向性データ算出式
ＤＤｈｏ：水平方向の方向性データ算出式
ＤＤｒｄ：右斜め下方向の方向性データ算出式
ＤＤｖｅ：垂直方向の方向性データ算出式

以上、式２を示した。

式２は、注目画素と同じ色成分の画素のみを使用しているが、異なる色成分の画素も利用する場合は、例えば、式３を用いる。

（式３）
・注目画素がＧ３３の場合（図１６（ａ）参照）

ＤＤｒｕ＝｛（｜Ｇ５１−Ｇ３３｜＋｜Ｇ４２−Ｇ３３｜＋｜Ｇ２４−Ｇ３３｜＋｜Ｇ１５−Ｇ３３｜＋｜Ｇ２２−Ｇ３１｜＋｜Ｇ２２−Ｇ１３｜＋｜Ｇ４４−Ｇ５３｜＋｜Ｇ４４−Ｇ３５｜）／２＋（｜Ｐ３２−Ｐ１４｜＋｜Ｐ５２−Ｐ３４｜）＋（｜Ｑ４１−Ｑ２３｜＋｜Ｑ４３−Ｑ２５｜）｝／２

ＤＤｈｏ＝｛（｜Ｇ１３−Ｇ３３｜＋｜Ｇ５３−Ｇ３３｜＋｜Ｇ２２−Ｇ４２｜＋｜Ｇ２４−Ｇ４４｜）＋（｜Ｑ２３−Ｑ４３｜）＊２＋（｜Ｐ１２−Ｐ３２｜＋｜Ｐ５２−Ｐ３２｜＋｜Ｐ１４−Ｐ３４｜＋｜Ｐ５４−Ｐ３４｜）／２｝／２

ＤＤｒｄ＝｛（｜Ｇ１１−Ｇ３３｜＋｜Ｇ２２−Ｇ３３｜＋｜Ｇ４４−Ｇ３３｜＋｜Ｇ５５−Ｇ３３｜＋｜Ｇ４２−Ｇ３１｜＋｜Ｇ４２−Ｇ５３｜＋｜Ｇ２４−Ｇ１３｜＋｜Ｇ２４−Ｇ３５｜）／２＋（｜Ｐ３２−Ｐ５４｜＋｜Ｐ１２−Ｐ３４｜）＋（｜Ｑ２１−Ｑ４３｜＋｜Ｑ２３−Ｑ４５｜）｝／２

ＤＤｖｅ＝｛（｜Ｇ３１−Ｇ３３｜＋｜Ｇ３５−Ｇ３３｜＋｜Ｇ２２−Ｇ２４｜＋｜Ｇ４２−Ｇ４４｜）＋（｜Ｐ３２−Ｐ３４｜）＊２＋（｜Ｑ２１−Ｑ２３｜＋｜Ｑ２５−Ｑ２３｜＋｜Ｑ４１−Ｑ４３｜＋｜Ｑ４５−Ｑ４３｜）／２｝／２

・注目画素がＰ３３の場合（図１６（ｂ）参照）

ＤＤｒｕ＝（｜Ｐ１５−Ｐ３３｜＋｜Ｐ５１−Ｐ３３｜）＋（｜Ｑ４２−Ｑ２４｜）＋（｜Ｇ３２−Ｇ２３｜＋｜Ｇ４３−Ｇ３４｜）／２

ＤＤｈｏ＝（｜Ｐ１３−Ｐ３３｜＋｜Ｐ５３−Ｐ３３｜）＋（｜Ｇ２３−Ｇ４３｜）＋（｜Ｑ２２−Ｑ４２｜＋｜Ｑ２４−Ｑ４４｜）／２

ＤＤｒｄ＝（｜Ｐ１１−Ｐ３３｜＋｜Ｐ５５−Ｐ３３｜）＋（｜Ｑ４４−Ｑ２２｜）＋（｜Ｇ３２−Ｇ４３｜＋｜Ｇ２３−Ｇ３４｜）／２

ＤＤｖｅ＝（｜Ｐ３１−Ｐ３３｜＋｜Ｐ３５−Ｐ３３｜）＋（｜Ｇ３２−Ｇ３４｜）＋（｜Ｑ２２−Ｑ２４｜＋｜Ｑ４２−Ｑ４４｜）／２

以上、式３を示した。

なお、異なる色成分の画素も利用する場合において、各色成分の輝度に寄与する割合に応じて、各色成分の式に重み付けを行っても良い。

色成分Ｇ、色成分Ｐ、色成分Ｑの重みをそれぞれ重みＷｇ、重みＷｐ、重みＷｑで示す場合、例えば式４が用いられる。

（式４）
・注目画素がＧ３３の場合（図１６（ａ）参照）

ＤＤｒｕ＝｛（｜Ｇ５１−Ｇ３３｜＋｜Ｇ４２−Ｇ３３｜＋｜Ｇ２４−Ｇ３３｜＋｜Ｇ１５−Ｇ３３｜＋｜Ｇ２２−Ｇ３１｜＋｜Ｇ２２−Ｇ１３｜＋｜Ｇ４４−Ｇ５３｜＋｜Ｇ４４−Ｇ３５｜）＊Ｗｇ／２＋（｜Ｐ３２−Ｐ１４｜＋｜Ｐ５２−Ｐ３４｜）＊Ｗｐ＋（｜Ｑ４１−Ｑ２３｜＋｜Ｑ４３−Ｑ２５｜）＊Ｗｑ｝／２

ＤＤｈｏ＝｛（｜Ｇ１３−Ｇ３３｜＋｜Ｇ５３−Ｇ３３｜＋｜Ｇ２２−Ｇ４２｜＋｜Ｇ２４−Ｇ４４｜）＊Ｗｇ＋（｜Ｑ２３−Ｑ４３｜）＊２＊Ｗｑ＋（｜Ｐ１２−Ｐ３２｜＋｜Ｐ５２−Ｐ３２｜＋｜Ｐ１４−Ｐ３４｜＋｜Ｐ５４−Ｐ３４｜）＊Ｗｐ／２｝／２

ＤＤｒｄ＝｛（｜Ｇ１１−Ｇ３３｜＋｜Ｇ２２−Ｇ３３｜＋｜Ｇ４４−Ｇ３３｜＋｜Ｇ５５−Ｇ３３｜＋｜Ｇ４２−Ｇ３１｜＋｜Ｇ４２−Ｇ５３｜＋｜Ｇ２４−Ｇ１３｜＋｜Ｇ２４−Ｇ３５｜）＊Ｗｇ／２＋（｜Ｐ３２−Ｐ５４｜＋｜Ｐ１２−Ｐ３４｜）＊Ｗｐ＋（｜Ｑ２１−Ｑ４３｜＋｜Ｑ２３−Ｑ４５｜）＊Ｗｑ｝／２

ＤＤｖｅ＝｛（｜Ｇ３１−Ｇ３３｜＋｜Ｇ３５−Ｇ３３｜＋｜Ｇ２２−Ｇ２４｜＋｜Ｇ４２−Ｇ４４｜）＊Ｗｇ＋（｜Ｐ３２−Ｐ３４｜）＊２＊Ｗｐ＋（｜Ｑ２１−Ｑ２３｜＋｜Ｑ２５−Ｑ２３｜＋｜Ｑ４１−Ｑ４３｜＋｜Ｑ４５−Ｑ４３｜）＊Ｗｑ／２｝／２

・注目画素がＰ３３の場合（図１６（ｂ）参照）

ＤＤｒｕ＝（｜Ｐ１５−Ｐ３３｜＋｜Ｐ５１−Ｐ３３｜）＊Ｗｐ＋（｜Ｑ４２−Ｑ２４｜）＊Ｗｑ＋（｜Ｇ３２−Ｇ２３｜＋｜Ｇ４３−Ｇ３４｜）＊Ｗｇ／２

ＤＤｈｏ＝（｜Ｐ１３−Ｐ３３｜＋｜Ｐ５３−Ｐ３３｜）＊Ｗｐ＋（｜Ｇ２３−Ｇ４３｜）＊Ｗｇ＋（｜Ｑ２２−Ｑ４２｜＋｜Ｑ２４−Ｑ４４｜）＊Ｗｑ／２

ＤＤｒｄ＝（｜Ｐ１１−Ｐ３３｜＋｜Ｐ５５−Ｐ３３｜）＊Ｗｐ＋（｜Ｑ４４−Ｑ２２｜）＊Ｗｑ＋（｜Ｇ３２−Ｇ４３｜＋｜Ｇ２３−Ｇ３４｜）＊Ｗｇ／２

ＤＤｖｅ＝（｜Ｐ３１−Ｐ３３｜＋｜Ｐ３５−Ｐ３３｜）＊Ｗｐ＋（｜Ｇ３２−Ｇ３４｜）＊Ｗｇ＋（｜Ｑ２２−Ｑ２４｜＋｜Ｑ４２−Ｑ４４｜）＊Ｗｑ／２

以上、式４を示した。

輝度信号Ｙは、Ｒ，Ｇ，Ｂ信号から式５を用いて算出される。

（式５）
Ｙ＝０．３０＊Ｒ＋０．５９＊Ｇ＋０．１１＊Ｂ

以上、式５を示した。

なお、各色成分の重みとして、重みＷｒ＝０．３０，重みＷｇ＝０．５９，重みＷｂ＝０．１１としても良い。整数を用いた簡略化を行う場合は、重みＷｒ＝３，重みＷｇ＝６，重みＷｂ＝１としても良い。

また、実装を簡素化するため、注目画素の色成分に関係なく、同じ算出式を用いる場合は、例えば、式６が用いられる（図１６（ｃ）参照）。

（式６）
ＤＤｒｕ＝｜Ｖ５１−Ｖ３３｜＋｜Ｖ１５−Ｖ３３｜＋｜Ｖ４２−Ｖ２４｜＋｜Ｖ４１−Ｖ２３｜＋｜Ｖ３２−Ｖ１４｜＋｜Ｖ３１−Ｖ１３｜＋｜Ｖ５２−Ｖ３４｜＋｜Ｖ４３−Ｖ２５｜＋｜Ｖ５３−Ｖ３５｜

ＤＤｈｏ＝｜Ｖ１３−Ｖ３３｜＋｜Ｖ５３−Ｖ３３｜＋｜Ｖ２３−Ｖ４３｜＋｜Ｖ１２−Ｖ３２｜＋｜Ｖ５２−Ｖ３２｜＋｜Ｖ２２−Ｖ４２｜＋｜Ｖ１４−Ｖ３４｜＋｜Ｖ５４−Ｖ３４｜＋｜Ｖ２４−Ｖ４４｜

ＤＤｒｄ＝｜Ｖ１１−Ｖ３３｜＋｜Ｖ５５−Ｖ３３｜＋｜Ｖ２２−Ｖ４４｜＋｜Ｖ２１−Ｖ４３｜＋｜Ｖ３２−Ｖ５４｜＋｜Ｖ３１−Ｖ５３｜＋｜Ｖ１２−Ｖ３４｜＋｜Ｖ２３−Ｖ４５｜＋｜Ｖ１３−Ｖ３５｜

ＤＤｖｅ＝｜Ｖ３１−Ｖ３３｜＋｜Ｖ３５−Ｖ３３｜＋｜Ｖ３２−Ｖ３４｜＋｜Ｖ２１−Ｖ２３｜＋｜Ｖ２５−Ｖ２３｜＋｜Ｖ２２−Ｖ２４｜＋｜Ｖ４１−Ｖ４３｜＋｜Ｖ４５−Ｖ４３｜＋｜Ｖ４２−Ｖ４４｜
以上、式６を示した。

被写体の彩度が低い（被写体がモノクロに近い）場合は、「各画素値＝輝度」と考えることができるため、例えば、隣接する画素の画素値の差が用いられる（式７）（図１６（ｃ）参照）。なお、式７で利用される値は、色成分に関係ない。

（式７）
ＤＤｒｕ＝｜Ｖ５１−Ｖ４２｜＋｜Ｖ４２−Ｖ３３｜＋｜Ｖ３３−Ｖ２４｜＋｜Ｖ２４−Ｖ１５｜＋（｜Ｖ４１−Ｖ３２｜＋｜Ｖ３２−Ｖ２３｜＋｜Ｖ２３−Ｖ１４｜＋｜Ｖ５２−Ｖ４３｜＋｜Ｖ４３−Ｖ３４｜＋｜Ｖ３４−Ｖ２５｜）＊２／３

ＤＤｈｏ＝｜Ｖ１３−Ｖ２３｜＋｜Ｖ２３−Ｖ３３｜＋｜Ｖ３３−Ｖ４３｜＋｜Ｖ４３−Ｖ５３｜＋（｜Ｖ１２−Ｖ２２｜＋｜Ｖ２２−Ｖ３２｜＋｜Ｖ３２−Ｖ４２｜＋｜Ｖ４２−Ｖ５２｜＋｜Ｖ１４−Ｖ２４｜＋｜Ｖ２４−Ｖ３４｜＋｜Ｖ３４−Ｖ４４｜＋｜Ｖ４４−Ｖ５４｜）／２

ＤＤｒｄ＝｜Ｖ１１−Ｖ２２｜＋｜Ｖ２２−Ｖ３３｜＋｜Ｖ３３−Ｖ４４｜＋｜Ｖ４４−Ｖ５５｜＋（｜Ｖ２１−Ｖ３２｜＋｜Ｖ３２−Ｖ４３｜＋｜Ｖ４３−Ｖ５４｜＋｜Ｖ１２−Ｖ２３｜＋｜Ｖ２３−Ｖ３４｜＋｜Ｖ３４−Ｖ４５｜）＊２／３

ＤＤｖｅ＝｜Ｖ３１−Ｖ３２｜＋｜Ｖ３２−Ｖ３３｜＋｜Ｖ３３−Ｖ３４｜＋｜Ｖ３４−Ｖ３５｜＋（｜Ｖ２１−Ｖ２２｜＋｜Ｖ２２−Ｖ２３｜＋｜Ｖ２３−Ｖ２４｜＋｜Ｖ２４−Ｖ２５｜＋｜Ｖ４１−Ｖ４２｜＋｜Ｖ４２−Ｖ４３｜＋｜Ｖ４３−Ｖ４４｜＋｜Ｖ４４−Ｖ４５｜）／２

以上、式７を示した。

または、式８を使用することもできる。

（式８）
ＤＤｒｕ ＝｜Ｖ４２−Ｖ３３｜＋｜Ｖ３３−Ｖ２４｜＋｜Ｖ４１−Ｖ３２｜＋｜Ｖ３２−Ｖ２３｜＋｜Ｖ２３−Ｖ１４｜＋｜Ｖ５２−Ｖ４３｜＋｜Ｖ４３−Ｖ３４｜＋｜Ｖ３４−Ｖ２５｜

ＤＤｈｏ＝｜Ｖ１３−Ｖ２３｜＋｜Ｖ２３−Ｖ３３｜＋｜Ｖ３３−Ｖ４３｜＋｜Ｖ４３−Ｖ５３｜＋｜Ｖ２２−Ｖ３２｜＋｜Ｖ３２−Ｖ４２｜＋｜Ｖ２４−Ｖ３４｜＋｜Ｖ３４−Ｖ４４｜

ＤＤｒｄ＝｜Ｖ２２−Ｖ３３｜＋｜Ｖ３３−Ｖ４４｜＋｜Ｖ２１−Ｖ３２｜＋｜Ｖ３２−Ｖ４３｜＋｜Ｖ４３−Ｖ５４｜＋｜Ｖ１２−Ｖ２３｜＋｜Ｖ２３−Ｖ３４｜＋｜Ｖ３４−Ｖ４５｜

ＤＤｖｅ＝｜Ｖ３１−Ｖ３２｜＋｜Ｖ３２−Ｖ３３｜＋｜Ｖ３３−Ｖ３４｜＋｜Ｖ３４−Ｖ３５｜＋｜Ｖ２２−Ｖ２３｜＋｜Ｖ２３−Ｖ２４｜＋｜Ｖ４２−Ｖ４３｜＋｜Ｖ４３−Ｖ４４｜

以上、式８を示した。

ステップＳ２：方向性検出部１１２は、注目画素から注目画素の色成分を示す色信号と複数の近傍画素の色成分を示す複数の色信号とに基づいて、注目画素の近傍のエッジの方向を検出する。例えば、方向性検出部１１２は、算出された方向性データに基づいて、注目画素の方向性を検出する。注目画素の方向性を検出する方法（方向性検出部１１２のデータ処理手順）については、詳細に後述する。

ステップＳ３：方向性保存部１１３は、検出された方向性をメモリ（図示せず）に保存する。

ステップＳ４：色信号算出部１１４は、検出された方向性に対応した複数の補間フィルタの中から指定された補間フィルタを用いて、注目画素における全ての色信号を算出する。色信号の算出方法（色信号算出部１１４のデータ処理手順）については、詳細に後述する。

ステップＳ４を実行した後、入力されたベイヤデータ領域内の補間指定領域内における画素の数だけステップＳ１〜Ｓ４の処理が繰り返される。

例えば、図３に示される実施例では、ステップＳ１が「注目画素から注目画素の色成分を示す第１色信号を検出するステップ」と、「注目画素の近傍に位置する複数の近傍画素から、複数の近傍画素の色成分を示す複数の第２色信号を検出するステップ」とに対応し、「第１色信号と複数の第２色信号とに基づいて、注目画素の近傍のエッジの方向を検出するステップ」に対応する。なお、複数の近傍画素の色成分は、少なくとも３種類の色成分を含む。

しかし、本発明の画像処理方法が図３に示される実施例に限定されるわけではない。上述した「注目画素から注目画素の色成分を示す第１色信号を検出するステップ」、「注目画素の近傍に位置する複数の近傍画素から、複数の近傍画素の色成分を示す複数の第２色信号を検出するステップ」、および「第１色信号と複数の第２色信号とに基づいて、注目画素の近傍のエッジの方向を検出するステップ」の処理を実行する限りは、任意の処理を行い得る。

図４は、入力されたベイヤデータ領域内の補間指定領域を示す。

鎖線で表された補間指定領域は、実線で表されたベイヤデータ領域内に収まり、かつ補間指定領域の外側には、上下左右共に幅２画素分以上のベイヤデータがあるものとする。これは、補間指定領域境界部の画素に対して、補間処理に必要なだけの近傍画素の情報を得ることができるようにするためである。「注目画素の近傍に位置する複数の近傍画素」は、例えば、注目画素Ａに隣接する８つの画素である。近傍画素は、注目画素Ａに隣接する８つの画素を取り囲むように位置する１６個の画素を含んでもよい。近傍画素は、補間処理に必要な数の画素であり、注目画素Ａを取り囲むように位置する画素である限り、任意の数の画素を含む。

尚、実施例１では、複数のエッジ方向として、右斜め上方向、水平方向、右斜め下方向、垂直方向の４方向を用いる。

図５は、実施例１で用いられた複数のエッジ方向（右斜め上方向、水平方向、右斜め下方向、垂直方向）を示す。

尚、複数のエッジ方向は、右斜め上方向、水平方向、右斜め下方向、垂直方向の４方向に限らない。例えば、８方向でもよい。微小領域内においては、概ね４方向に近似できる。

図６は、方向性検出部１１２のデータ処理手順を示す。

以下、図６を参照して方向性検出部１１２のデータ処理手順をステップごとに説明する。

ステップＳ１１：ステップＳ１で算出された４種類の方向性データの最大値及び最小値をそれぞれ検出する。

ステップＳ１２：ステップＳ１１で検出された方向性データの最大値が図示しないレジスタに記憶された閾値Ａより小さいかどうか、すなわち注目画素付近にエッジはなく、輝度勾配がなだらかな平坦部であるかどうかを判定する。なお、閾値Ａの詳細は、後述する。

平坦部である場合には、処理はステップＳ１３に進む。

平坦部でない場合には、処理はステップＳ１４に進む。

ステップＳ１３：「方向性なし」を示す信号が出力され、注目画素の方向性検出が終了する。「方向性なし」を示す信号は、例えば、検出された注目画素の近傍にエッジがないことを示す。

ステップＳ１４：ステップＳ１１で検出された方向性データの最小値が図示しないレジスタに記憶された閾値Ｂより大きいかどうか、すなわち注目画素付近にエッジはないが、輝度勾配が激しい急峻部であるかどうかを判定する。なお、閾値Ｂの詳細は、後述する。

急峻部である場合には、処理はステップＳ１３に進む。

急峻部でない場合には、処理はステップＳ１５に進む。

ステップＳ１５：ステップＳ１で算出された４種類の方向性データから、値の小さい順に１つ以上の方向性を検出する。

具体的な検出方法の一例としては、以下の判定式（式９）を満たせば、その方向性データに対応する方向性を検出する。

（式９）
ＤＤｍｉｎ≧閾値Ｄ＊ＤＤｉ
ＤＤｉ ：注目画素の方向性データ
ＤＤｍｉｎ：方向性データの最小値

以上、式９を示した。

閾値Ｄの取り得る値の範囲は、０≦閾値Ｄ≦１であり、閾値Ｄを大きくするほど、検出される方向性の数が減少し、小さくするほど、検出される方向性の数が増加する。

ステップＳ１６：ステップＳ１４で検出された方向性の数が複数あるかどうかを判定する。

複数でない場合には、処理はステップＳ１７に進む。

複数である場合には、処理はステップＳ１８に進む。

ステップＳ１７：ステップＳ１５で検出された方向性を出力し、注目画素の方向性検出を終了する。

ステップＳ１８：注目画素の方向性の候補となる方向性（以下、方向性候補とする）を設定する。

具体的な設定方法の一例としては、ステップＳ１５で検出された複数の方向性を設定しても良いし、別の一例としては、ステップＳ１５で検出された複数の方向性に「方向性なし」を追加したものを設定しても良い。

方向性候補に「方向性なし」を追加することで、ステップＳ１９において、参照画素に「方向性なし」が最も多ければ、注目画素は「方向性なし」と判定することができる。

ステップＳ１９：注目画素の近傍にある画素における方向性を参照することで、ステップＳ１８で設定された方向性候補の中から、注目画素の方向性を検出する。

図７は、閾値Ａおよび閾値Ｂを示す。

閾値Ａの範囲は、用いられる方向性データ算出式によって異なる。一般に、閾値Ａを大きくするほど平坦部と判定される画素が増加し、小さくするほど平坦部と判定される画素が減少する。

閾値Ｂの範囲は、用いられる方向性データ算出式によって異なる。一般に、閾値Ｂを大きくするほど急峻部と判定される画素が減少し、小さくするほど急峻部と判定される画素が増加する。

また、閾値Ａと閾値Ｂには０≦閾値Ａ≦閾値Ｂという関係が成り立つ。

尚、ステップＳ１１において、方向性データの最大値の代わりに、方向性データの合計値を求め、更にステップＳ１２において、ステップＳ１１で検出された方向性データの合計値が図示しないレジスタに記憶された閾値Ｃより小さいかどうかを判定しても良い。

閾値Ｃの範囲は、用いられる方向性データ算出式によって異なる。一般に、閾値Ｃを大きくするほど平坦部と判定される画素が増加し、小さくするほど平坦部と判定される画素が減少する。

ステップＳ１９において注目画素の方向性を検出する具体的な方法を説明する。例えば、各方向性候補に対して、方向性候補と同じ方向性を持つ参照画素をカウントし、最も多くカウントされた方向性候補を、注目画素の方向性として出力する。ただし、最も多くカウントされた方向性候補が複数ある場合は、「方向性なし」を出力する。ここで参照画素としては、注目画素になるべく近い画素を使用するのが望ましい。近傍にある画素ほど、お互いの画素の方向性には高い相関関係があるためである。そこで、注目画素に隣接する画素を参照画素とする。

図８は、参照画素の例を示す。

具体的な参照画素の一例としては、画像の一番上の画素の行から下方向に、同じ行の中では一番左の画素からから右方向に処理を進める場合、図８（ａ）に示すように、既に方向性が判明しているＶ２２，Ｖ３２，Ｖ４２，Ｖ２３の４つの画素の方向性をメモリ（図示せず）から取り出し、参照する。

別の一例としては、未だ判明していない隣接画素に対して方向性を単独で検出し、その検出結果も参照する。方向性単独検出の方法は、後に詳細に説明する。

例えば、注目画素の１つ右の画素に対して方向性単独検出が可能な場合は、図８（ｂ）に示すように、Ｖ２２，Ｖ３２，Ｖ４２，Ｖ２３ に加えて、単独検出されたＶ４３ の方向性を参照することで、方向性検出の精度が向上する。

更に、注目画素の１つ右の画素と、１行下の画素に対しても方向性単独検出が可能な場合は、図８（ｃ）に示すように、Ｖ２２，Ｖ３２，Ｖ４２，Ｖ２３に加えて、単独検出されたＶ４３，Ｖ２４，Ｖ３４，Ｖ４４の方向性を参照することで、方向性検出の精度が更に向上する。

上記のように、参照する画素には、複数のバリエーションが存在し、図８に示された以外の参照画素の組み合わせも可能である。

図９は、ステップＳ１９における方向性単独検出処理手順を示す。

以下、図９を参照して方向性単独検出処理手順をステップごとに説明する。

図９に示されたステップＳ１１〜Ｓ１７は、図６に示されたステップＳ１１〜Ｓ１７と同様の処理であるので、説明を省略する。

ステップＳ２１：ステップＳ１６において検出された方向性が複数ある場合に、「方向性不明」を出力し、処理を終了する。これは、他画素の方向性を参照しない方向性単独検出では、注目画素の方向性を特定できないことを意味している。

以下に、色信号算出部１１４（ステップＳ４）が、ステップＳ２で検出された方向性に対応した複数の補間フィルタの中から指定された補間フィルタを用いて、注目画素の色信号を算出する方法を詳細に説明する。

まず、補間フィルタ１を用いた場合の、「方向性あり」の場合の色信号算出式（式１０）を以下に示す。「方向性あり」は、例えば、注目画素の近傍にエッジがあることを示す。

（式１０）
・注目画素がＧ３３の場合（図１６（ａ）参照）

ａ）右上方向の場合
Ｇｏ＝（Ｇ１５＋Ｇ２４＊２＋Ｇ３３＊２＋Ｇ４２＊２＋Ｇ５１）／８
Ｐｏ＝（Ｐ１４＋Ｐ３４＋Ｐ３２＋Ｐ５２）／４
Ｑｏ＝（Ｑ２３＋Ｑ２５＋Ｑ４３＋Ｑ４１）／４

ｂ）水平方向の場合
Ｇｏ＝（Ｇ１３＋Ｇ３３＊２＋Ｇ５３）／４
Ｐｏ＝（Ｐ１２＋Ｐ１４＋Ｐ３２＊２＋Ｐ３４＊２＋Ｐ５２＋Ｐ５４）／８
Ｑｏ＝（Ｑ２３＋Ｑ４３）／２

ｃ）右下方向の場合
Ｇｏ＝（Ｇ１１＋Ｇ２２＊２＋Ｇ３３＊２＋Ｇ４４＊２＋Ｇ５５）／８
Ｐｏ＝（Ｐ１２＋Ｐ３４＋Ｐ３２＋Ｐ５４）／４
Ｑｏ＝（Ｑ２１＋Ｑ２３＋Ｑ４３＋Ｑ４５）／４

ｄ）垂直方向の場合
Ｇｏ＝（Ｇ３１＋Ｇ３３＊２＋Ｇ３５）／４
Ｐｏ＝（Ｐ３２＋Ｐ３４）／２
Ｑｏ＝（Ｑ２１＋Ｑ４１＋Ｑ２３＊２＋Ｑ４３＊２＋Ｑ２５＋Ｑ４５）／８

・注目画素がＰ３３の場合（図１６（ｂ）参照）
ａ）右上方向の場合
Ｇｏ＝（Ｇ１４＋Ｇ２５＋Ｇ２３＊２＋Ｇ３４＊２＋Ｇ３２＊２＋Ｇ４３＊２＋Ｇ４１＋Ｇ５２）／１２
Ｐｏ＝（Ｐ１５＋Ｐ３３＊２＋Ｐ５１）／４
Ｑｏ＝（Ｑ４２＋Ｑ２４）／２

ｂ）水平方向の場合
Ｇｏ＝（Ｇ２３＋Ｇ４３）／２
Ｐｏ＝（Ｐ１３＋Ｐ３３＊２＋Ｐ５３）／４
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４

ｃ）右下方向の場合
Ｇｏ＝（Ｇ１２＋Ｇ２１＋Ｇ２３＊２＋Ｇ３２＊２＋Ｇ３４＊２＋Ｇ４３＊２＋Ｇ４５＋Ｇ５４）／１２
Ｐｏ＝（Ｐ１１＋Ｐ３３＊２＋Ｐ５５）／４
Ｑｏ＝（Ｑ２２＋Ｑ４４）／２

ｄ）垂直方向の場合
Ｇｏ＝（Ｇ３２＋Ｇ３４）／２
Ｐｏ＝（Ｐ３１＋Ｐ３３＊２＋Ｐ３５）／４
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４

以上、式１０を示した。

補間フィルタ１は、注目画素付近に存在するエッジを保持するような補間式にしたがってデータをフィルタリングする。

次に、補間フィルタ２を用いた場合の、「方向性あり」の場合の色信号算出式（式１１）を以下に示す。

（式１１）
・注目画素がＧ３３の場合（図１６（ａ）参照）

ａ）右上方向の場合
Ｇｏ＝（Ｇ２４＋Ｇ３３＊２＋Ｇ４２）／４
Ｐｏ＝（Ｐ１４＋Ｐ３４＋Ｐ３２＋Ｐ５２）／４
Ｑｏ＝（Ｑ２３＋Ｑ２５＋Ｑ４３＋Ｑ４１）／４

ｂ）水平方向の場合
Ｇｏ＝（Ｇ１３＊２＋Ｇ３３＊８＋Ｇ５３＊２＋Ｇ２２＋Ｇ４２＋Ｇ２４＋Ｇ４４）／１６
Ｐｏ＝（Ｐ３２＋Ｐ３４）／２
Ｑｏ＝（Ｑ２３＋Ｑ４３）／２

ｃ）右下方向の場合
Ｇｏ＝（Ｇ２２＋Ｇ３３＊２＋Ｇ４４）／４
Ｐｏ＝（Ｐ１２＋Ｐ３４＋Ｐ３２＋Ｐ５４）／４
Ｑｏ＝（Ｑ２１＋Ｑ２３＋Ｑ４３＋Ｑ４５）／４

ｄ）垂直方向の場合
Ｇｏ＝（Ｇ３１＊２＋Ｇ３３＊８＋Ｇ３５＊２＋Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４）／１６
Ｐｏ＝（Ｐ３２＋Ｐ３４）／２
Ｑｏ＝（Ｑ２３＋Ｑ４３）／２

・注目画素がＰ３３の場合（図１６（ｂ）参照）

ａ）右上方向の場合
Ｇｏ＝（Ｇ１４＋Ｇ２５＋Ｇ２３＋Ｇ３４＋Ｇ３２＋Ｇ４３＋Ｇ４１＋Ｇ５２）／８
Ｐｏ＝Ｐ３３
Ｑｏ＝（Ｑ４２＋Ｑ２４）／２

ｂ）水平方向の場合
Ｇｏ＝（Ｇ２３＊３＋Ｇ４３＊３＋Ｇ３２＋Ｇ３４）／８
Ｐｏ＝（Ｐ１３＋Ｐ３３＊６＋Ｐ５３）／８
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４

ｃ）右下方向の場合
Ｇｏ＝（Ｇ１２＋Ｇ２１＋Ｇ２３＋Ｇ３２＋Ｇ３４＋Ｇ４３＋Ｇ４５＋Ｇ５４）／８
Ｐｏ＝Ｐ３３
Ｑｏ＝（Ｑ２２＋Ｑ４４）／２

ｄ）垂直方向の場合
Ｇｏ＝（Ｇ３２＊３＋Ｇ３４＊３＋Ｇ２３＋Ｇ４３）／２
Ｐｏ＝（Ｐ３１＋Ｐ３３＊６＋Ｐ３５）／８
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４

以上、式１１を示した。

補間フィルタ２は、補間フィルタ１とバイリニア法との中間的なフィルタである。補間フィルタ２を用いることによって、注目画素付近に存在するエッジを保持しつつも、ローパスフィルタ的な特性により、ノイズが目立たず、なめらかな画像が生成される。更に、５×５画素の処理範囲の中で、中心の注目画素から最も離れた４隅の画素を使用しないため、補間に起因する画像劣化を減少させる効果がある。４隅の画素は注目画素から離れているため、注目画素との相関性が低い可能性があるからである。

補間フィルタ３を用いた場合の、「方向性あり」の場合の色信号算出式（式１２）を以下に示す。

（式１２）
・注目画素がＧ３３の場合（図１６（ａ）参照）

ａ）右上方向の場合
Ｇｏ＝（Ｇ２４＋Ｇ３３＊２＋Ｇ４２）／４
Ｐｏ＝（Ｐ１４＋Ｐ３４＋Ｐ３２＋Ｐ５２）／４
Ｑｏ＝（Ｑ２３＋Ｑ２５＋Ｑ４３＋Ｑ４１）／４

ｂ）水平方向の場合
Ｇｏ＝（Ｇ１３＋Ｇ３３＊２＋Ｇ５３）／４
Ｐｏ＝（Ｐ１２＋Ｐ１４＋Ｐ３２＊２＋Ｐ３４＊２＋Ｐ５２＋Ｐ５４）／８
Ｑｏ＝（Ｑ２３＋Ｑ４３）／２

ｃ）右下方向の場合
Ｇｏ＝（Ｇ２２＋Ｇ３３＊２＋Ｇ４４）／４
Ｐｏ＝（Ｐ１２＋Ｐ３４＋Ｐ３２＋Ｐ５４）／４
Ｑｏ＝（Ｑ２１＋Ｑ２３＋Ｑ４３＋Ｑ４５）／４

ｄ）垂直方向の場合
Ｇｏ＝（Ｇ３１＋Ｇ３３＊２＋Ｇ３５）／４
Ｐｏ＝（Ｐ３２＋Ｐ３４）／２
Ｑｏ＝（Ｑ２１＋Ｑ４１＋Ｑ２３＊２＋Ｑ４３＊２＋Ｑ２５＋Ｑ４５）／８

・注目画素がＰ３３の場合（図１６（ｂ）参照）

ａ）右上方向の場合
Ｇｏ＝（Ｇ１４＋Ｇ２５＋Ｇ２３＊３＋Ｇ３４＊３＋Ｇ３２＊３＋Ｇ４３＊３＋Ｇ４１＋Ｇ５２）／１６
Ｐｏ＝（Ｐ１５＋Ｐ３３＊２＋Ｐ５１）／４
Ｑｏ＝（Ｑ４２＋Ｑ２４）／２

ｂ）水平方向の場合
Ｇｏ＝（Ｇ２３＋Ｇ４３）／２
Ｐｏ＝（Ｐ１３＋Ｐ３３＊２＋Ｐ５３）／４
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４

ｃ）右下方向の場合
Ｇｏ＝（Ｇ１２＋Ｇ２１＋Ｇ２３＊３＋Ｇ３２＊３＋Ｇ３４＊３＋Ｇ４３＊３＋Ｇ４５ ＋Ｇ５４）／１６
Ｐｏ＝（Ｐ１１＋Ｐ３３＊２＋Ｐ５５）／４
Ｑｏ＝（Ｑ２２＋Ｑ４４）／２

ｄ）垂直方向の場合
Ｇｏ＝（Ｇ３２＋Ｇ３４）／２
Ｐｏ＝（Ｐ３１＋Ｐ３３＊２＋Ｐ３５）／４
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４

以上、式１２を示した。

補間フィルタ３は、補間フィルタ１と比較して、斜め（右上・右下）方向のＧ信号算出に対して、中心付近の画素の重みを大きくした中央重点型のフィルタとなっている。補間フィルタ３の利用は、斜め方向に対して、注目画素との相関性がより高い中心付近の画素の重みを大きくすることで、補間に起因する斜め方向の画像劣化を目立たなくする効果がある。

補間フィルタ４を用いた場合の、「方向性あり」の場合の色信号算出式（式１３）を以下に示す。

（式１３）
・注目画素がＧ３３の場合（図１６（ａ）参照）
ａ）右上方向の場合
Ｇｏ＝（Ｇ２４＋Ｇ３３＊２＋Ｇ４２）／４
Ｐｏ＝（Ｐ１４＋Ｐ３４＊３＋Ｐ３２＊３＋Ｐ５２）／８
Ｑｏ＝（Ｑ２３＊３＋Ｑ２５＋Ｑ４３＊３＋Ｑ４１）／８

ｂ）水平方向の場合
Ｇｏ＝（Ｇ１３＊２＋Ｇ３３＊８＋Ｇ５３＊２＋Ｇ２２＋Ｇ４２＋Ｇ２４＋Ｇ４４）／１６
Ｐｏ＝（Ｐ３２＋Ｐ３４）／２
Ｑｏ＝（Ｑ２３＋Ｑ４３）／２

ｃ）右下方向の場合
Ｇｏ＝（Ｇ２２＋Ｇ３３＊２＋Ｇ４４）／４
Ｐｏ＝（Ｐ１２＋Ｐ３４＊３＋Ｐ３２＊３＋Ｐ５４）／８
Ｑｏ＝（Ｑ２１＋Ｑ２３＊３＋Ｑ４３＊３＋Ｑ４５）／８

ｄ）垂直方向の場合
Ｇｏ＝（Ｇ３１＊２＋Ｇ３３＊８＋Ｇ３５＊２＋Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４）／１６
Ｐｏ＝（Ｐ３２＋Ｐ３４）／２
Ｑｏ＝（Ｑ２３＋Ｑ４３）／２

・注目画素がＰ３３の場合（図１６（ｂ）参照）

ａ）右上方向の場合
Ｇｏ＝（Ｇ１４＋Ｇ２５＋Ｇ２３＊３＋Ｇ３４＊３＋Ｇ３２＊３＋Ｇ４３＊３＋Ｇ４１＋Ｇ５２）／１６
Ｐｏ＝Ｐ３３
Ｑｏ＝（Ｑ４２＋Ｑ２４）／２

ｂ）水平方向の場合
Ｇｏ＝（Ｇ２３＊３＋Ｇ４３＊３＋Ｇ３２＋Ｇ３４）／８
Ｐｏ＝（Ｐ１３＋Ｐ３３＊６＋Ｐ５３）／８
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４
ｃ）右下方向の場合
Ｇｏ＝（Ｇ１２＋Ｇ２１＋Ｇ２３＊３＋Ｇ３２＊３＋Ｇ３４＊３＋Ｇ４３＊３＋Ｇ４５＋Ｇ５４）／１６
Ｐｏ＝Ｐ３３
Ｑｏ＝（Ｑ２２＋Ｑ４４）／２

ｄ）垂直方向の場合
Ｇｏ＝（Ｇ３２＊３＋Ｇ３４＊３＋Ｇ２３＋Ｇ４３）／２
Ｐｏ＝（Ｐ３１＋Ｐ３３＊６＋Ｐ３５）／８
Ｑｏ＝（Ｑ２２＋Ｑ２４＋Ｑ４２＋Ｑ４４）／４

以上、式１３を示した。

補間フィルタ４は、補間フィルタ２の特徴に加えて、斜め（右上・右下）方向の信号算出に対して、中心付近の画素の重みを大きくした中央重点型のフィルタである。補間フィルタ３と同様、補間フィルタ４の利用は、斜め方向に対して、注目画素との相関性がより高い中心付近の画素の重みを大きくすることで、補間に起因する斜め方向の画像劣化を目立たなくする効果がある。

上記のように、補間フィルタには、複数のバリエーションが存在し、上記以外の補間フィルタを用いることも可能である。

色信号算出部１１４では、上記補間フィルタの中から１つを選択することで、注目画素の色信号を算出することができるので、出力画像の画質を調整することが可能となる。

例えば、シャープなエッジを有する人工物体を撮影した場合は補間フィルタ１を使用し、ソフトなエッジを有する自然物体を撮影した場合は補間フィルタ２を使用するという使い分けが可能となる。

「方向性なし」の場合の色信号算出式の一例としては、従来手法であるバイリニア法（式１）を用いる。また、別の一例として、「方向性なし」の場合のＧ信号の算出に、ステップＳ１２の平坦部判定、及びステップＳ１４の急峻部判定の結果を利用する方法もあり、その算出式の一例（式１４）を以下に示す。

（式１４）
・注目画素がＧ３３の場合（図１６（ａ）参照）

ａ）注目画素が「平坦部」と判定された場合
Ｇｏ＝（Ｇ３３＊４＋Ｇ２２＋Ｇ４２＋Ｇ２４＋Ｇ４４）／８

ｂ）注目画素が「急峻部」と判定された場合
Ｇｏ＝Ｇ３３

ｃ）上記以外の場合（「平坦部」でも「急峻部」でもない場合）
Ｇｏ＝（Ｇ３３＊１２＋Ｇ２２＋Ｇ４２＋Ｇ２４＋Ｇ４４）／１６

・注目画素がＰ３３の場合（図１６（ｂ）参照）
ａ）注目画素が「平坦部」と判定された場合
Ｇｏ＝（Ｇ３２＋Ｇ２３＋Ｇ４３＋Ｇ３４）／４

ｂ）注目画素が「急峻部」と判定された場合
Ｇｏ＝Ｍｅｄｉａｎ（Ｇ３２，Ｇ２３，Ｇ４３，Ｇ３４）

ｃ）上記以外の場合（「平坦部」でも「急峻部」でもない場合）
Ｇｏ＝（Ｇ３２＋Ｇ２３＋Ｇ４３＋Ｇ３４）／４
または、
Ｇｏ＝Ｍｅｄｉａｎ（Ｇ３２，Ｇ２３，Ｇ４３，Ｇ３４）

ここで、Ｍｅｄｉａｎ（Ｇ３２，Ｇ２３，Ｇ４３，Ｇ３４）は、Ｇ３２，Ｇ２３，Ｇ４３，Ｇ３４の４つの信号の中間値、すなわち最大・最小値を除く２つの信号の平均値を示す。

以上、式１４を示した。

尚、Ｇ信号以外の色信号の算出には、従来手法であるバイリニア法（式１）を用いる。

このように、「平坦部」の場合、「急峻部」の場合、「平坦部」でも「急峻部」でもない場合に場合分けすることで、輝度信号における空間周波数の高い成分（高周波成分）が多く含まれる急峻部において、高周波成分を保持した補間が可能となる。すなわち、補間による解像度の低下を防ぐことができる。

このように本実施例を用いることで、エッジ成分が保持された高品質の画像を得ることができ、高性能の撮像装置を提供することができる。

以下、本発明の実施例２を図面を参照して説明する。

本実施例２では、実施例１とほぼ同等の処理内容であるが、ハード構成において、ラインメモリやフレームメモリ等の方向性を保存する手段を持たない。

図１０は、補間部１０６ａの構成を示す。

図１０において、図２に示される構成要素と同一の構成要素には同一の参照符号を付し、その説明を省略する。

補間部１０６ａは、方向性検出部１１２の代わりに第２方向性検出部１２２を含み、制御部１１５の代わりに第２制御部１２５を含み、かつ方向性保存部１１３が含まれないことを除いて補間部１０６と同様の構成である。

第２方向性検出部１２２は、方向性データ算出部１１１によって算出された複数のエッジ方向に対する方向性データ、及び必要であれば、単独検出された隣接する画素の方向性を参照して、注目画素の方向性を検出する。

第２制御部１２５は、方向性データ算出部１１１、第２方向性検出部１２２および色信号算出部１１４の各ブロックに接続され、処理の流れを制御する。

図１１は、補間部１０６ａのデータ処理手順を示す。

以下、図１１を参照して補間部１０６ａのデータ処理手順をステップごとに説明する。

ステップＳ１、ステップＳ３２およびステップＳ４の各処理を、入力されたベイヤデータ領域内の補間指定領域内における画素の数だけ繰り返す（図４参照）。

ステップＳ１：図３に示すステップＳ１と同様の処理を行う。

ステップＳ３２：第２方向性検出部２２は、ステップＳ１で算出された方向性データを用いて、注目画素の方向性を検出する。

検出方法は、図６に示す実施例１の検出方法とほぼ同様の検出方法を用いるが、ステップＳ１９の隣接画素の方向性参照において、図８（ａ）に示す Ｖ２２，Ｖ３２，Ｖ４２，Ｖ２３の４つの画素の方向性が保存されていないため、図９に示す方向性単独検出処理によって、Ｖ２２，Ｖ３２，Ｖ４２，Ｖ２３の方向性を単独検出し、参照する。

あるいは別の一例として、１画素前の方向性のみを保存する手段を持ち、隣接画素の方向性参照時に、保存された１画素前の方向性、すなわち保存されたＶ２３の方向性を用いることで、方向性検出の精度を向上させることができる。

尚、本実施例でも、参照する画素には、複数のバリエーションが存在し、図８に示された以外の参照画素の組み合わせも可能である。

ステップＳ４：図３に示すステップＳ４と同様の処理を行う。

このように、本実施例を用いることで、方向性を保存する手段が存在しない場合でも、本発明を適用することが可能であり、ハード構成の簡略化や小型化、コスト削減を実現することができる。

以下、本発明の実施例３を図面を参照して説明する。

本実施例３では、まず補間指定領域内における全画素の方向性を収束計算により検出した後に、方向性を補正する処理を行い、更に検出及び補正された方向性を元に、補間指定領域内における全画素の色信号算出を行う。

図１２は、補間部１０６ｂの構成を示す。

図１２において、図２に示される構成要素と同一の構成要素には同一の参照符号を付し、その説明を省略する。

補間部１０６ｂは、方向性初期化部１３６と、方向性データ算出部１１１と、第３方向性検出部１３２と、方向性保存部１１３と、方向性補正部１３７と、色信号算出部１１４と、第３制御部１３５とを含む。

方向性初期化部１３６は、ベイヤデータ領域内における全画素の方向性は「方向性不明」であることをメモリ（図示せず）内に保存する。

第３方向性検出部１３２は、方向性データ算出部１１１によって算出された複数のエッジ方向に対する方向性データ、及び必要であれば、隣接する画素の方向性を参照して、注目画素の方向性を検出する。

方向性補正部１３７は、一旦検出された補間指定領域内の方向性を補正する。

第３制御部１３５は、方向性初期化部１３６と、方向性データ算出部１１１と、第３方向性検出部１３２と、方向性保存部１１３と、方向性補正部１３７と、色信号算出部１１４とに接続され、処理の流れを制御する。

図１３は、補間部１０６ｂのデータ処理手順を示す。

以下、図１３を参照して補間部１０６ｂのデータ処理手順をステップごとに説明する。

ステップＳ４５の処理を、入力されたベイヤデータ領域内における画素の数だけ繰り返す。

ステップＳ４５：方向性初期化部１３６は、注目画素の方向性は「方向性不明」であることを示す情報をメモリ（図示せず）内に保存する。

ステップＳ１、Ｓ４２、Ｓ３の各処理を、指定された回数だけ繰り返す。指定回数としては、２回以上数回程度が望ましい。

ステップＳ１、Ｓ４２、Ｓ３の各処理を、補間指定領域内における画素の数だけ繰り返す。

ステップＳ１：図３に示すステップＳ１と同様の処理を行う。

ステップＳ４２：第３方向性検出部１３２は、ステップＳ１で算出された方向性データを用いて、注目画素の方向性を検出する。

検出方法は、図６に示す実施例１の検出方法とほぼ同様の検出方法を用いるが、ステップＳ１９の隣接画素の方向性参照において、図８（ｃ）に示すＶ２２，Ｖ３２，Ｖ４２，Ｖ２３，Ｖ４３，Ｖ２４，Ｖ３４，Ｖ４４の８つの画素、すなわち隣接する全ての画素の方向性を参照する。

このとき、指定回数の第１回目の処理の場合、Ｖ４３，Ｖ２４，Ｖ３４，Ｖ４４の４つの画素については、未だ方向性が検出されておらず、初期状態である「方向性不明」のままであるが、単独検出は行わず、初期状態のまま参照する。

指定回数の第２回目以降の処理では、Ｖ４３，Ｖ２４，Ｖ３４，Ｖ４４の４つの画素についても、前回までの処理で何らかの方向性が検出され保存されているため、その方向性を参照することで、検出精度が向上する。

ステップＳ３：図３に示すステップＳ３と同様の処理を行う。

ステップＳ４６の処理を、補間指定領域内における画素の数だけ繰り返す。

方向性補正部１３７は、一旦検出された補間指定領域内の方向性を補正する。補正方法は、後に詳細に説明する。

最後にステップＳ４の処理を、補間指定領域内における画素の数だけ繰り返す。

ステップＳ４は、図３に示すステップＳ４と同様の処理を行う。

尚、図１３におけるステップＳ４６を補間指定領域内における画素の数だけ繰り返す処理は、省略可能である。このとき、図１２の方向性補正部１３７も省略される。

図１４は、方向性補正部１３７のデータ処理手順を示す。

方向性補正の考え方としては、互いに近傍にある画素ほど、方向性に関する相関性が高いという性質を利用する。

まずステップＳ５１〜Ｓ５２において、注目画素の方向性が、隣接する画素の方向性とどの程度異なるかを検出し、多くの隣接画素と異なっているようであれば、注目画素の方向性は誤っていると仮定する。

更に、注目画素の方向性は誤っていると仮定された場合は、次のステップＳ５３〜Ｓ５４において、注目画素における正しい方向性とは何かを検出し、正しい方向性が検出された場合は、ステップＳ５５において、注目画素の方向性を正しい方向性に補正する。

以下、図１４を参照して補間部１０６ｂのデータ処理手順をステップごとに説明する。

ステップＳ５１：注目画素に隣接する画素、すなわち図８（ｃ）に示すＶ２２，Ｖ３２，Ｖ４２，Ｖ２３，Ｖ４３，Ｖ２４，Ｖ３４，Ｖ４４の８つの画素に対し、注目画素の方向性と異なる方向性を持つ画素の数をカウントする。

ステップＳ５２：ステップＳ５１で検出された個数が、図示しないレジスタに記憶された閾値Ｅ以上どうかを判定する。

閾値Ｅ以上である場合には、処理はステップＳ５３に進む。

閾値Ｅ以上でない場合には、処理は終了する。

ステップＳ５３：右斜め上、水平、右斜め下、垂直、方向性なしの５つの各方向性について、同じ方向性を持つ隣接画素をカウントし、各方向性の中で、最も多い方向性とその個数を検出する。

ステップＳ５４：ステップＳ５３で検出された個数が、レジスタ（図示せず）に記憶された閾値Ｆ以上であるか否かを判定する。

閾値Ｆ以上である場合には、処理はステップＳ５５に進む。

閾値Ｆ以上でない場合には、処理は終了する。

最後に、注目画素の方向性を、ステップＳ５３で検出された方向性に補正する。

尚、上記閾値Ｅ及び閾値Ｆの取り得る値の範囲としては、共に１以上８以下であるが、実際の値としては、実験の結果、閾値Ｅは６程度が望ましく、閾値Ｆは４程度が望ましい。

このように、本実施例を用いることで、より精度の高い方向性検出が可能となり、更に高品質の画像を得ることができる。

以下、本発明の実施例４を図面を参照して説明する。

図１７は、本実施例のデータ処理装置２００の構成を示す。

データ処理装置２００は、パソコン本体２４１と、入出力装置２４５とを含む。

パソコン本体２４１は、ＣＰＵ２４２と、メモリ２４３と、入出力インタフェース２４４とを含む。入出力装置２４５は記憶媒体２４６を含む。

ＣＰＵ２４２は、入出力インタフェース２４４を介して入出力装置２４５を制御し、記憶媒体２４６から画像処理プログラム、パラメータファイル、及びベイヤデータを入力し、メモリ２４３に格納する。

ＣＰＵ２４２は、メモリ２４３から画像処理プログラム、パラメータファイル、及びベイヤデータを読み取り、図３、図６、図９、図１１、図１３、および図１４を参照して説明した処理と同等の処理によって入力されたベイヤデータを処理する。入出力インタフェース２４４を介して、入出力装置２４５が制御され、画像処理後の画像データが記憶媒体２４６に出力される。

本実施例を用いることで、パソコン上で図３、図６、図９、図１１、図１３、および図１４を参照して説明した処理と同等の処理を含む画像処理を行うことができる。すなわち、図示しない撮像装置側でベイヤデータのみを出力し、パソコン側で画像処理を行うことで、撮像装置側では高速な撮影を行うことができ、更にパソコン側では閾値を変えて複数回の画像処理を行うことも可能となり、所望の画質で画像を得ることが容易になる。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明によれば、注目画素の色成分を示す第１色信号と複数の近傍画素の色成分を示す第２色信号とに基づいて注目画素の近傍のエッジの方向が検出され、複数の近傍画素の色成分は、少なくとも３種類の色成分を含む。したがって、第１色信号と複数の近傍画素の色成分のうち２種類以下の色成分を示す色信号とに基づいて注目画素の近傍のエッジの方向を検出した場合と比較して、多くの色成分を示す色信号に基づいて注目画素の近傍のエッジの方向を検出することができる。その結果、注目画素の近傍のエッジの方向を精度よく検出することができる。

本発明によれば、被写体に含まれるエッジを高い精度で検出し保持する補間処理を用いた画像処理装置、画像処理方法、及び画像処理プログラムを格納した記憶媒体を提供することが可能となる。

本発明の実施例１の画像処理装置１００の構成を示す。 補間部１０６の構成を示す。 補間部１０６のデータ処理手順を示す。 入力されたベイヤデータ領域内の補間指定領域を示す。 実施例１で用いられた複数のエッジ方向（右斜め上方向、水平方向、右斜め下方向、垂直方向）を示す。 方向性検出部１１２のデータ処理手順を示す。 閾値Ａおよび閾値Ｂを示す。 参照画素の例を示す。 ステップＳ１９における方向性単独検出処理手順を示す。 補間部１０６ａの構成を示す。 補間部１０６ａのデータ処理手順を示す。 補間部１０６ｂの構成を示す。 補間部１０６ｂのデータ処理手順を示す。 方向性補正部１３７のデータ処理手順を示す。 ベイヤ配列を示す。 注目画素の色成分がＧ、ＲまたはＢである場合のベイヤ配列を示す。 本実施例のデータ処理装置２００の構成を示す。

符号の説明

１００ 画像処理装置
１０１ 固体撮像素子
１０２ Ａ／Ｄ変換部
１０３ 画像処理部
１０４ ホワイトバランス部
１０５ ガンマ補正部
１０６ 補間部
１０６ａ 補間部
１０６ｂ 補間部
１０７ 色信号処理部
１０８ 輝度信号処理部
１０９ 出力変換部
１１１ 方向性データ算出部
１１２ 方向性検出部
１１３ 方向性保存部
１１４ 色信号算出部
１１５ 制御部
１２２ 第２方向性検出部
１２５ 第２制御部
１３２ 第３方向性検出部
１３５ 第３制御部
１３６ 方向性初期化部
１３７ 方向性補正部
２００ データ処理装置
２４１ パソコン本体
２４２ ＣＰＵ
２４３ メモリ
２４４ 入出力インタフェース
２４５ 入出力装置
２４６ 記憶媒体

Claims (18)

1. 注目画素から前記注目画素の色成分を示す第１色信号を検出する第１色信号検出手段と、
   前記注目画素の近傍に位置する複数の近傍画素から、前記複数の近傍画素の色成分を示す複数の第２色信号を検出する第２色信号検出手段と、
   前記第１色信号と前記複数の第２色信号とに基づいて、前記注目画素の近傍のエッジの方向を検出する方向検出手段と
   を備え、
   前記複数の近傍画素の色成分は、少なくとも３種類の色成分を含む、画像処理装置。
2. 前記方向検出手段は、
   前記第１色信号と前記複数の第２色信号とに基づいて、方向性データを検出する検出手段と、
   前記方向性データによって示された値の大きさに応じて、複数のエッジの方向のうちから少なくとも１つのエッジの方向を検出する方向性データ方向検出手段と
   を備え、
   前記方向性データは、前記複数のエッジの方向のうち指定されたエッジの方向と前記注目画素の近傍の所定のエッジの方向との近似度に応じた値を示す、請求項１に記載の画像処理装置。
3. 前記画像処理装置は、
   前記注目画素の近傍のエッジの方向を示すデータを保存する方向性保存手段をさらに備え、
   前記方向性データ方向検出手段は、
   前記注目画素に隣接する隣接画素のエッジの方向を参照する隣接画素方向性参照手段をさらに備えた、請求項２に記載の画像処理装置。
4. 前記方向性データ方向検出手段は、
   前記注目画素に隣接する隣接画素のエッジの方向を検出する手段と、
   前記検出した前記隣接画素のエッジの方向を参照する手段と
   をさらに備えた、請求項２に記載の画像処理装置。
5. 前記画像処理装置は、
   前記複数のエッジの方向を示すデータを補間する複数の補間フィルタをさらに備え、
   前記方向検出手段は、
   前記検出された注目画素の近傍のエッジの方向を示すデータに基づいて、前記検出された注目画素の近傍にエッジがあるか否かを判定する判定手段を備え、
   前記検出された注目画素の近傍にエッジがあると判定された場合には、前記複数の補間フィルタのうちの少なくとも１つの補間フィルタは、前記検出された注目画素の近傍のエッジの方向を示すデータを補間する、請求項１に記載の画像処理装置。
6. 前記画像処理装置は、
   前記検出された注目画素の近傍にエッジがない場合のデータを補間する複数の補間フィルタをさらに備え、
   前記方向検出手段は、
   前記検出された注目画素の近傍のエッジの方向を示すデータに基づいて、前記検出された注目画素の近傍にエッジがあるか否かを判定する判定手段を備え、
   前記検出された注目画素の近傍にエッジがないと判定された場合には、前記複数の補間フィルタのうちの少なくとも１つの補間フィルタは、前記検出された注目画素の近傍にエッジがない場合のデータを補間する、請求項１に記載の画像処理装置。
7. 前記方向検出手段は、
   指定領域に含まれる複数の画素のエッジの方向を検出する手段と、
   前記検出された複数の画素のエッジの方向を示すデータに基づいて、前記複数の画素の補間処理を行う画像処理手段と
   を備えた、請求項１に記載の画像処理装置。
8. 前記方向検出手段は、
   前記注目画素のエッジの方向と前記近傍画素のエッジの方向とに基づいて、前記複数の画素のエッジの方向を補正する方向性補正手段をさらに備えた、請求項７に記載の画像処理装置。
9. （ａ）注目画素から前記注目画素の色成分を示す第１色信号を検出するステップと、
   （ｂ）前記注目画素の近傍に位置する複数の近傍画素から、前記複数の近傍画素の色成分を示す複数の第２色信号を検出するステップと、
   （ｃ）前記第１色信号と前記複数の第２色信号とに基づいて、前記注目画素の近傍のエッジの方向を検出するステップと
   を包含し、
   前記複数の近傍画素の色成分は、少なくとも３種類の色成分を含む、画像処理方法。
10. 前記ステップ（ｃ）は、
    （ｃ−１）前記第１色信号と前記複数の第２色信号とに基づいて、方向性データを検出するステップと、
    （ｃ−２）前記方向性データによって示された値の大きさに応じて、複数のエッジの方向のうちから少なくとも１つのエッジの方向を検出するステップと
    を包含し、
    前記方向性データは、前記複数のエッジの方向のうち指定されたエッジの方向と前記注目画素の近傍の所定のエッジの方向との近似度に応じた値を示す、請求項９に記載の画像処理方法。
11. 前記画像処理方法は、
    （ｄ）前記注目画素の近傍のエッジの方向を示すデータを保存するステップをさらに包含し、
    前記ステップ（ｃ−２）は、
    前記注目画素に隣接する隣接画素のエッジの方向を参照するステップをさらに包含する、請求項１０に記載の画像処理方法。
12. 前記ステップ（ｃ−２）は、
    前記注目画素に隣接する隣接画素のエッジの方向を検出するステップと、
    前記検出した前記隣接画素のエッジの方向を参照するステップと
    をさらに包含する、請求項１０に記載の画像処理方法。
13. 前記画像処理方法は、
    （ｅ）前記複数のエッジの方向を示すデータを補間するステップをさらに包含し、
    前記ステップ（ｃ）は、
    前記検出された注目画素の近傍のエッジの方向を示すデータに基づいて、前記検出された注目画素の近傍にエッジがあるか否かを判定するステップを包含し、
    前記検出された注目画素の近傍にエッジがあると判定された場合には、前記ステップ（ｅ）は、前記検出された注目画素の近傍のエッジの方向を示すデータを補間するステップを包含する、請求項９に記載の画像処理方法。
14. 前記画像処理方法は、
    （ｅ）前記検出された注目画素の近傍にエッジがない場合のデータを補間するステップをさらに包含し、
    前記ステップ（ｃ）は、
    前記検出された注目画素の近傍のエッジの方向を示すデータに基づいて、前記検出された注目画素の近傍にエッジがあるか否かを判定するステップを包含し、
    前記検出された注目画素の近傍にエッジがないと判定された場合には、前記ステップ（ｅ）は、前記検出された注目画素の近傍にエッジがない場合のデータを補間するステップを包含する、請求項９に記載の画像処理方法。
15. 前記ステップ（ｃ）は、
    指定領域に含まれる複数の画素のエッジの方向を検出するステップと、
    前記検出された複数の画素のエッジの方向を示すデータに基づいて、前記複数の画素の補間処理を行うステップと
    を備えた、請求項９に記載の画像処理方法。
16. 前記ステップ（ｃ）は、
    前記注目画素のエッジの方向と前記近傍画素のエッジの方向とに基づいて、前記複数の画素のエッジの方向を補正するステップをさらに包含する、請求項１５に記載の画像処理方法。
17. 画像処理部を制御する制御部を備える画像処理装置に画像処理を実行させるためのプログラムであって、
    （ａ）注目画素から前記注目画素の色成分を示す第１色信号を検出するステップと、
    （ｂ）前記注目画素の近傍に位置する複数の近傍画素から、前記複数の近傍画素の色成分を示す複数の第２色信号を検出するステップと、
    （ｃ）前記第１色信号と前記複数の第２色信号とに基づいて、前記注目画素の近傍のエッジの方向を検出するステップと
    を包含し、
    前記複数の近傍画素の色成分は、少なくとも３種類の色成分を含む、プログラム。
18. 画像処理部を制御する制御部を備える画像処理装置によって読み取り可能な記憶媒体であって、
    （ａ）注目画素から前記注目画素の色成分を示す第１色信号を検出するステップと、
    （ｂ）前記注目画素の近傍に位置する複数の近傍画素から、前記複数の近傍画素の色成分を示す複数の第２色信号を検出するステップと、
    （ｃ）前記第１色信号と前記複数の第２色信号とに基づいて、前記注目画素の近傍のエッジの方向を検出するステップと
    を包含する処理を実行させるためのプログラムを記録しており、
    前記複数の近傍画素の色成分は、少なくとも３種類の色成分を含む、記憶媒体。

Images