JP2017183775A - 画像処理装置、画像処理方法および撮像素子 - Google Patents

Abstract

【課題】画質劣化を抑制することが可能な画像処理装置、画像処理方法および撮像素子を提供する。【解決手段】この画像処理装置は、互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、取得部により取得された補正係数を用いて画像の補正処理を行う補正部とを備える。【選択図】図１

Description

本開示は、画像補正を行う画像処理装置、画像処理方法、および撮像素子に関する。

デジタルカメラ等の撮像装置の分野では、レンズの像高依存およびＭＴＦ特性等に応じて画像を補正する（画像のぼけを補正する）技術が提案されている（例えば、特許文献１，２）。

特開２０１５−２１６５７６号公報 特開２０１１−１９３２７７号公報

ところが、上記の特許文献１の手法では、同一の像高にある画素値に対しては同一の補正係数（フィルタ係数）を使用して補正処理が行われる。このため、レンズの製造誤差等に起因して解像度にばらつきが生じた場合、十分な補正効果を得ることが困難である。また、特許文献２には、ユーザがソフトウエアを用いて、事前に用意されたパラメータセットを用いて補正を行う手法が示されているが、この手法においても、上記のような解像度のばらつきに対して十分な補正を行うことができない場合がある。これは画質劣化につながる。

レンズの解像度にばらつきが生じた場合にも、画質劣化を抑制することが可能な画像処理装置、画像処理方法および撮像素子を実現することが望まれている。

本開示の一実施の形態の画像処理装置は、互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、取得部により取得された補正係数を用いて画像の補正処理を行う補正部とを備えたものである。

本開示の一実施の形態の画像処理方法は、互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得し、取得された補正係数を用いて画像の補正処理を行うものである。

本開示の一実施の形態の撮像素子は、複数の画素を含む画素部と、画素部から得られた画像に対して信号処理を施す信号処理部とを備えたものである。信号処理部は、互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、取得部により取得された補正係数を用いて画像の補正処理を行う補正部とを備える。

本開示の一実施の形態の画像処理装置、画像処理方法および撮像素子では、互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数が取得され、取得された補正係数を用いて画像の補正処理が行われる。これにより、画素の位置座標に応じて最適化された補正係数を用いて補正を行うことができる。

本開示の一実施の形態の画像処理装置、画像処理方法および撮像素子では、互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数が取得され、取得された補正係数を用いて画像の補正処理が行われる。これにより、最適化された補正係数を用いて、レンズの製造誤差等に起因して解像度のばらつきが生じた場合にも、十分な補正効果を得ることができる。よって、レンズの解像度にばらつきが生じた場合にも、画質劣化を抑制することが可能となる。

尚、上記内容は本開示の一例である。本開示の効果は、上述したものに限らず、他の異なる効果であってもよいし、更に他の効果を含んでいてもよい。

本開示の一実施の形態に係る撮像素子の機能構成を表す図である。 画素部と信号処理部との配置関係を説明するための模式図である。 補正対象画素（Ｇ画素）の一例を表す模式図である。 図３Ａに示した補正対象画素の補正係数の一例を表す模式図である。 補正対象画素（Ｒ画素）の一例を表す模式図である。 図４Ａに示した補正対象画素の補正係数の一例を表す模式図である。 補正対象画素（Ｂ画素）の一例を表す模式図である。 図５Ａに示した補正対象画素の補正係数の一例を表す模式図である。 補正係数と像高および有効画素領域との対応を表す模式図である。 像高位置の設定について説明するためのＭＴＦデータを表す特性図である。 図７に示したＭＴＦデータを説明するための模式図である。 補正係数ブレンド処理（補間処理）の一例を説明するための模式図である。 画素値補正後にフレンド処理を行う場合の機能構成例を表す図である。 変形例１に係る補正係数と像高および有効画素領域との対応を表す模式図である。 変形例２に係る補正係数算出および信号処理のフローを表す図である。

以下、本開示を実施するための形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態
・構成：撮像素子の構成、信号処理部（画像処理装置）の構成、補正係数について
・作用、効果
２．変形例１，２

＜実施の形態＞
［構成］
図１は、本開示の一実施の形態に係る撮像素子（撮像素子１）の機能構成をレンズ（レンズ３０）と共に表したものである。この撮像素子１は、例えばＣＣＤ（Charge Coupled Device Image Sensor）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等のイメージセンサであり、例えばスチルカメラまたはビデオカメラ等に適用されるものである。撮像素子１は、例えばレンズ３０の通過光線Ｌを受光する画素部１０と、画素部１０から出力された画像信号（撮像信号Ｄ０）に対して画像の補正処理を含む各種の信号処理を行う信号処理部２０とを備える。尚、撮像素子１は、この他にも、図示はしないが、画素部および信号処理部の各部を駆動制御する制御部とメモリーとを備えている。

画素部１０は、例えば有効画素領域に２次元配置された、複数の画素、例えばＲ（赤），Ｇ（緑），Ｂ（青）の３原色の画素（サブ画素）を含むものである。Ｒ，Ｇ，Ｂの各画素は、例えばベイヤー配列等からなるＲＧＢ配列１０ａを有している。具体的には、画素部１０には、ＲＧＢ配列１０ａを有するカラーフィルタが設けられている。尚、本実施の形態では、画素部１０がＲＧＢ配列１０ａを有する場合について説明するが、本開示は、ＲＧＢ以外の配列、例えばＲ，Ｇ，Ｂ，Ｗ（白）からなるＲＧＢＷ配列を有する構成に対しても適用できる。あるいは、画素部１０は、例えば、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の配列を有していてもよい。ここで例示した配列以外の他の色配列に対しても本開示を適用することができる。

上記構成により、画素部１０では、レンズ３０を介してＲＧＢいずれかの色光が画素単位で受光され、光電変換により受光信号強度に対応する電気信号が生成される。これにより、画素部１０によってＲＧＢ３種類の分光から成るモザイク画像が得られる。

この画素部１０と信号処理部２０とは、例えば図２に模式的に示したように、積層されている。具体的には、撮像素子１は、画素部１０が形成された基板１Ａと、信号処理部２０が形成された基板２Ａとが上下に積層された（貼り合わされた）構造（いわゆる積層型の素子構造）を有している。尚、本実施の形態の「信号処理部２０」が、本開示の「画像処理装置」の一具体例に相当する。また、本開示の「画像処理方法」は、画像処理装置（信号処理部２０）の構成および動作により具現化されるものであるので、その説明を省略する。

なお、本実施の形態では、信号処理部２０が撮像素子１内に具備された構成を例に挙げて説明するが、本開示の画像処理装置は、このような撮像素子１に適用される場合に限らず、レンズ３０や画素部１０を持たない装置、例えばパーソナルコンピュータ（ＰＣ）などであってもよい。この場合、図１に示した信号処理部２０の構成に加え、撮像データが入力されるインターフェース部と、入力された撮像データが記憶されるメモリーとを更に有する構成となる。

（信号処理部２０の構成）
信号処理部２０は、例えば位置座標算出部２１（距離算出部２１Ａおよび角度算出部２１Ｂ）と、補正係数取得部２２と、像高間係数算出部２３Ａと、象限間係数算出部２３Ｂと、補正係数ブレンド処理部２４と、レンズ収差補正処理部２５と、ラインメモリ２６と、エッジ検出部２７と、エッジ・平坦部ブレンド処理部２８と、ＲＧＢ信号処理部２９とを備える。尚、本実施の形態の補正係数取得部２２は、本開示の「取得部」の一具体例に相当し、補正係数ブレンド処理部２４およびレンズ収差補正処理部２５が、本開示の「補正部」の一具体例に相当する。また、補正係数ブレンド処理部２４が本開示の「補正係数算出部」の一具体例、レンズ収差補正処理部２５が本開示の「補正処理部」の一具体例にそれぞれ相当する。

位置座標算出部２１は、例えば距離算出部２１Ａおよび角度算出部２１Ｂを含んで構成され、画素部１０の各画素の画素値に対応付けられた各画素の座標位置を示すｘｙアドレスに基づいて、補正対象画素（以下、画素Ｐｔと称する）の位置座標を検出するものである。距離算出部２１Ａは、画素Ｐｔの距離（光学中心からの距離ｒ、像高に対応する距離）を算出するものである。算出された距離ｒに関する情報は、補正係数取得部２２と像高間係数算出部２３Ａとにそれぞれ供給される。角度算出部２１Ｂは、画素Ｐｔの画像領域内での象限位置（角度ｄ）を算出するものである。算出された角度ｄに関する情報は、補正係数取得部２２と象限間係数算出部２３Ｂとにそれぞれ供給される。

補正係数取得部２２は、位置座標算出部２１により算出された画素Ｐｔの位置座標（距離ｒ，角度ｄ）に応じて、複数の補正係数（Ｆｒ，Ｆｇ，Ｆｂ）の中から、２以上の補正係数（補正係数群Ｆgrp）を選択（取得）するものである。補正係数Ｆｒ，Ｆｇ，Ｆｂはそれぞれ、例えば複数のフィルタ係数から構成されている。取得された補正係数群Ｆgrpに関する情報は、補正係数ブレンド処理部２４に供給される。補正係数Ｆｒ，Ｆｇ，Ｆｂは、それぞれＲ，Ｇ，Ｂの色毎に設定されたものであり、予め撮像素子１内に保持されていてもよいし、または外部から入力されてもよい。これらの補正係数Ｆｒ，Ｆｇ，Ｆｂの詳細については後述する。

像高間係数算出部２３Ａは、距離算出部２１Ａにより算出された距離ｒに基づいて、像高間のブレンド処理（補間処理）で使用する係数（Ａｒ）を算出するものである。算出された係数Ａｒに関する情報は、補正係数ブレンド処理部２４に供給される。

象限間係数算出部２３Ｂは、角度算出部２１Ｂにより算出された角度ｄに基づいて、象限間のブレンド処理（補間処理）で使用する係数（Ａｄ）を算出するものである。算出された係数Ａｄに関する情報は、補正係数ブレンド処理部２４に供給される。

補正係数ブレンド処理部２４は、補正係数取得部２２により取得された補正係数群Ｆgrpを用いて、画素Ｐｔの補正係数（補正係数Ｆ１）を生成する処理を行うものである。換言すると、補正係数Ｆｒ，Ｆｇ，Ｆｂの対応づけられていない位置（像点）の画素Ｐｔに対する補正係数Ｆ１を補間によって生成する処理部である。具体的には、補正係数群Ｆgrpを構成する各補正係数と、像高間係数算出部２３Ａにより算出された係数Ａｒと、象限間係数算出部２３Ｂにより算出された係数Ａｄとを用いた補間処理（ブレンド処理）により、画素Ｐｔの補正係数Ｆ１を算出する。補正係数Ｆ１は、ＲＧＢの色毎に算出される。算出された補正係数Ｆ１に関する情報は、レンズ収差補正処理部２５に供給される。

レンズ収差補正処理部２５は、ラインメモリ２６から入力された各色の信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）に対して補正係数Ｆ１（詳細には、色毎の補正係数Ｆ１ｒ，Ｆ１ｇ，Ｆ１ｂ）を用いた補正処理を行い、補正処理後の画像信号Ｄ１（Ｒｄ，Ｇｄ，Ｂｄ）を算出するものである。算出された画像信号Ｄ１は、エッジ・平坦部ブレンド処理部２８に供給される。このレンズ収差補正処理部２５は、例えば画像のぼけを補正する処理、特に画素Ｐｔの位置座標（像高および象限位置）に依存する収差ばらつきを考慮した補正処理を行うことが可能である。

ラインメモリ２６は、画素部１０から出力された画素信号を一時的に保持するものである。このラインメモリ２６は、例えば、画素部１０の水平７ライン分の画素値を記憶し、７つの水平ラインデータを並列に順次出力するように構成されている。出力先は、レンズ収差補正処理部２５、エッジ検出部２７、およびエッジ・平坦部ブレンド処理部２８である。これらの各処理部に対して、ＲＧＢ配列１０ａを有する撮像データが７ライン単位で出力される。

尚、ラインメモリ２６は、ここでは、７ライン単位で出力するものとして説明するが、これは、特に限定されないが、後述する補正係数（フィルタ）が、例えば７×７の画素に対応したものである場合の一例である。このため、補正係数が７×７画素以外の画素数に対応するものである場合には、ラインメモリ２６は、その補正係数の画素数に応じたライン数単位で記憶および出力が可能な構成とされるとよい。

エッジ検出部２７は、ラインメモリ２６からの出力信号に基づいて、画像におけるエッジに関する情報（例えばエッジ方向とエッジ強度とを含む）を生成してエッジ・平坦部ブレンド処理部２８に出力する。具体的には、例えば、処理対象画素（７×７画素のうちの中心画素）を基準として７×７画素の画素情報から算出される平坦度（Weightflat）を算出してエッジ・平坦部ブレンド処理部２８に出力する。なお、この平坦度算出処理としては、例えば、特開２０１１−５５０３８号公報に記載された処理と同様の処理を用いることができる。

エッジ・平坦部ブレンド処理部２８は、ラインメモリ２６からの入力信号中のＲＧＢ信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）と、エッジ検出部２７から出力されるエッジ情報と、レンズ収差補正処理部２５から出力される画像信号Ｄ１（Ｒｄ，Ｇｄ，Ｂｄ）とを用いて、エッジ情報を考慮した補正処理後の画像信号Ｄ２を生成してＲＧＢ信号処理部２９に出力する。具体的には、エッジ・平坦部ブレンド処理部２８は、エッジ検出部２７により算出されたエッジ情報（例えば７×７画素の画素情報から算出される平坦度）に応じて、レンズ収差補正処理部２５から出力される補正処理後の画像信号Ｄ１（Ｒｄ，Ｇｄ，Ｂｄ）の加重平均処理を実行して、ＲＧＢ配列１０ａのＲＧＢ各画素値を算出する。具体的には、以下の３式に従ってＲＧＢ画素値を決定する。

Ｒ＝（Weightflat）×（Ｒｄ）＋（１−Weightflat）×Ｒｉｎ
Ｇ＝（Weightflat）×（Ｇｄ）＋（１−Weightflat）×Ｇｉｎ
Ｂ＝（Weightflat）×（Ｂｄ）＋（１−Weightflat）×Ｂｉｎ

この式の算出結果として得られるＲ、Ｇ、Ｂの各色信号がＲＧＢ信号処理部２９に出力される。ＲＧＢ信号処理部２９は、ＲＧＢ配列（ベイヤー配列）１１ａの信号に対する信号処理として、エッジ・平坦部ブレンド処理部２８から出力されるＲＧＢ配列１１ａの信号に対する信号処理を実行してカラー画像を生成する。ＲＧＢ信号処理部２９は、例えば、ホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理およびガンマ補正処理などを実行してカラー画像を生成する。

ＲＧＢ信号処理部２９により生成されたカラー画像についての画像信号Ｄoutは、外部へ出力されるか、装置内部のメモリーに記録される。

図示しない制御部は、上記の各処理部における一連の処理の制御を実行するものである。例えば、一連の処理を実行させるプログラムが図示しないメモリーに格納されており、制御部は、そのメモリーから読み出したプログラムを実行して一連の処理を制御する。なお、メモリーは、例えば磁気ディスク、光ディスク、フラッシュメモリ等の各種記録媒体によって構成可能である。

（補正係数について）
補正係数Ｆｒ，Ｆｇ，Ｆｂは、レンズ収差補正フィルタ係数として、予め保持されているか、外部から入力されるものである。これらの補正係数Ｆｒ，Ｆｇ，Ｆｂは、例えば、ウィナー（Wiener）フィルタを用いて算出することができる。このウィナーフィルタについて簡単に説明する。以下では、ぼけのない理想画像（原画像Ａ１）と、ぼけのある撮影画像（撮影画像Ａ２）と、撮影画像に対するフィルタ補正処理によって復元される復元画像（復元画像Ａ３）との３つの画像を想定して、説明する。

上記３つの画像のうち、原画像Ａ１および復元画像Ａ３の２つの画像の二乗誤差を最小とするフィルタが、最小二乗フィルタ、またはウィナーフィルタと呼ばれる。ここで、原画像Ａ１をｆ（ｘ，ｙ）、撮影画像Ａ２をｇ（ｘ，ｙ）、レンズ収差や手ぶれによる劣化関数をｈ（ｘ，ｙ）、ノイズ成分を、ｎ（ｘ，ｙ）とすると、以下の式（１）が成り立つ。尚、（ｘ，ｙ）は各画像の画素位置であり、ｆ（ｘ，ｙ）〜ｎ（ｘ，ｙ）は各画像の座標位置（ｘ，ｙ）の画素値を示す場合もある。また、レンズ収差や手ぶれによる劣化関数ｈ（ｘ，ｙ）は、固定値であると仮定する。

上記の式（１）の両辺をフーリエ変換すると、以下の式（２）が得られる。但し、Ｇ（ｕ，ｖ），Ｈ（ｕ，ｖ），Ｆ（ｕ，ｖ），Ｎ（ｕ，ｖ）はそれぞれ、ｇ（ｘ，ｙ），ｈ（ｘ，ｙ），ｆ（ｘ，ｙ），ｎ（ｘ，ｙ）のフーリエ変換を表す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）×Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） ………（２）

レンズ収差や手ぶれによる劣化関数に零点がなく、ノイズ成分が既知であるとすると、上記の式（２）からＦ（ｕ，ｖ）は、以下の式（３）のように表すことができる。

しかしながら、一般にノイズ成分は未知であるため、上記式（３）を厳密に解くことはできない。そこで、原画像Ａ１および復元画像Ａ３の誤差を最小とする以下の式（４）のウィナーフィルタＫ（ｕ，ｖ）を用いて補正が行われる。尚、（Ｓｎ（ｕ，ｖ）／Ｓｆ（ｕ，ｖ））は、原画像Ａ１と、ノイズ成分とのパワースペクトル密度に対応するものである。

この式（４）で表されるウィナーフィルタを逆フーリエ変換したもの（ｋ（ｘ，ｙ））と、撮影画像Ａ２とを実空間で畳み込むことで、以下の式（５）に示したように、補正がなされた復元画像Ａ３のｆ'（ｘ，ｙ）を得ることができる。

上記の式（５）に対応するウィナーフィルタの一例を、図３Ａおよび図３Ｂに示す。図３Ａは、撮影画像におけるＧ画素を中心とする７×７画素について示し、図３Ｂは、図３Ａの画素領域の中心のＧ画素を補正対象画素Ｐｔ（画素Ｐｇｔ）とするウィナーフィルタの一例を示したものである。

ここで、撮影画像は、ＲＧＢ画素からなるＲＡＷ画像である。補正対象画素Ｐｇｔは、図３Ａに示した７×７画素の中心のＧ画素である。図３Ｂに示したウィナーフィルタは、７×７画素に含まれる複数のＧ画素の各々に対する乗算係数を示したものである。７×７画素に含まれるＧ画素の画素値に各係数を乗算して加算する畳み込み演算を実行することで、中心のＧ画素の補正画素値が算出される。具体的には、以下の式（６）によりＧ画素の画素値を補正することができる。

同様に、図４Ａは、撮影画像におけるＲ画素を中心とする７×７の画素領域について示し、図４Ｂは、図４Ａの画素領域の中心のＲ画素を補正対象画素Ｐｔ（画素Ｐｒｔ）とするウィナーフィルタの一例を示したものである。図５Ａは、撮影画像におけるＢ画素を中心とする７×７の画素領域について示し、図５Ｂは、図５Ａの画素領域の中心のＢ画素を補正対象画素Ｐｔ（画素Ｐｂｔ）とするウィナーフィルタの一例を示したものである。上記のＧ画素の場合と同様にしてＲ画素およびＢ画素のそれぞれにおいて補正値が算出される。

この補正係数を算出する際は、レンズＰＳＦ（Point Spread Function：点拡がり関数）データあるいはＭＴＦ（Modulation Transfer Function）データが用いられる。レンズ３０の特性に応じて算出された補正係数が、補正係数Ｆｒ，Ｆｇ，Ｆｂとして予め保持されているか、または外部より入力される。

（補正係数の詳細構成例）
本実施の形態では、補正係数Ｆｒ，Ｆｇ，Ｆｂのそれぞれが、互いに交差する第１軸および第２軸のそれぞれに、複数対応づけられている（設定されている）。以下では、代表してＧ画素補正用の補正係数Ｆｇを用いて説明する。補正係数Ｆｇは、１つのレンズ３０に対して複数設定されている。図６にその一例を示す。尚、図６には、補正係数の一例として、７×７画素に対応する補正フィルタを図示している。

補正係数Ｆｇは、例えば互いに直交するＸ軸およびＹ軸のそれぞれに複数対応づけられている。Ｘ軸上の正の方向には、例えば４つの補正係数ｆ１１〜ｆ１４（係数列ｑ１）が設定され、Ｘ軸上の負の方向には、例えば４つの補正係数ｆ３１〜ｆ３４（係数列ｑ３）が設定されている。Ｙ軸上の正の方向には、例えば４つの補正係数ｆ２１〜ｆ２４（係数列ｑ２）が設定され、Ｙ軸上の負の方向には、例えば４つの補正係数ｆ４１〜ｆ４４（係数列ｑ４）が設定されている。尚、Ｘ軸（第１軸）およびＹ軸（第２軸）は、光軸（光学中心）において交差（ここでは直交）する。この光学中心（像高が０である点）には、補正係数ｆ０が設定されている。

補正係数ｆ１１は、係数列ｑ１のうち、例えば最も光軸寄りの（光軸に近い）像高ｉｈ１（像高ｉｈ１の位置にある像点）に設定されている。補正係数ｆ１２は、係数列ｑ１のうち、像高ｉｈ１の隣の（１つ外側の）像高ｉｈ２に設定されている。補正係数ｆ１３は、係数列ｑ１のうち、像高ｉｈ２の隣の（１つ外側の）像高ｉｈ３に設定されている。補正係数ｆ１４は、係数列ｑ１のうち、像高ｉｈ３の隣の（１つ外側の）像高ｉｈ４に設定されている。

同様に、補正係数ｆ２１は、係数列ｑ２のうち像高ｉｈ１に設定されている。補正係数ｆ２２は、係数列ｑ２のうち像高ｉｈ２に設定されている。補正係数ｆ２３は、係数列ｑ２のうち像高ｉｈ３に設定されている。補正係数ｆ２４は、係数列ｑ２のうち像高ｉｈ４に設定されている。また、補正係数ｆ３１は、係数列ｑ３のうち像高ｉｈ１に設定されている。補正係数ｆ３２は、係数列ｑ３のうち像高ｉｈ２に設定されている。補正係数ｆ３３は、係数列ｑ３のうち像高ｉｈ３に設定されている。補正係数ｆ３４は、係数列ｑ３のうち像高ｉｈ４に設定されている。また、補正係数ｆ４１は、係数列ｑ４のうち像高ｉｈ１に設定されている。補正係数ｆ４２は、係数列ｑ４のうち像高ｉｈ２に設定されている。補正係数ｆ４３は、係数列ｑ４のうち像高ｉｈ３に設定されている。補正係数ｆ４４は、係数列ｑ４のうち像高ｉｈ４に設定されている。

尚、ここでは、一例として、像高ｉｈ４が、レンズ３０のイメージサークル（最外端）に相当する場合を例に挙げて説明する。

このように本実施の形態では、補正係数Ｆｇが、複数の像高毎および複数の角度（Ｘ軸およびＹ軸上の列）毎に、複数設定されている。図６に示した例では、４つの像高と、４つの角度方向とのそれぞれの位置座標において、複数の補正係数Ｆｇ（具体的には、補正係数ｆ１１〜ｆ１４，ｆ２１〜ｆ２４，ｆ３１〜３４，ｆ４１〜ｆ４４）が設定されている。これらの補正係数Ｆｇは、上述したようなウィナーフィルタを用いた手法により算出することができる。本実施の形態では、このように２軸上に対応づけられた複数の補正係数Ｆｇの中から２以上の補正係数（補正係数群Ｆgrp）が、画素Ｐｔの位置座標に応じて取得されるようになっている。

補正係数Ｆｒ，Ｆｂについても同様で、２軸（第１軸，第２軸）上のそれぞれに複数対応づけられている。尚、Ｒ，Ｇ，Ｂ毎に、交差する２軸上に複数の補正係数が対応づけられていればよく、これら２つの軸は必ずしも直交していなくともよい（斜交していてもよい）。例えば、有効画素領域３０１の対角線に沿って２軸が配置されていてもよい。

尚、これらの補正係数Ｆｒ，Ｆｇ，Ｆｂは、例えば、レンズ３０の製造過程もしくはカメラモジュールの製造過程において算出され、レンズ３０と関連付けられて保持される。例えば、レンズ３０がカメラの本体に対して着脱可能である場合、レンズ３０の筐体部分にメモリーなどの保持機能が備えられており、その保持機能により補正係数の情報が保持される。この場合には、補正係数Ｆｒ，Ｆｇ，Ｆｂは、信号処理部２０の外部のレンズ３０側から供給される。あるいは、レンズ３０がカメラと一体型の場合には、信号処理部２０に予め補正係数Ｆｒ，Ｆｇ，Ｆｂが保持されていてもよい。このように、補正係数は、レンズ３０毎に算出され、信号処理部２０に予め保持されるか、または外部より入力される。

（像高の設定）
上述のように、１つのレンズ３０に対して、選択的な数の像高（図６では４つの像高ｉｈ１〜ｉｈ４）において補正係数が算出されるが、この像高の数を増やす、換言すれば、像高の間隔を狭めることで、補正係数を用いた補正精度は向上する。しかしながら、保持すべき補正係数が多くなり、メモリー容量が大きくなる。このため、像高の数は、補正精度とメモリー容量との兼ね合いから設定されることが望ましい。像高間の領域は、後述するように補間によって算出することが可能である。

設定される像高の間隔は、等間隔とすることが可能であり、また、その間隔は、レンズ特性によらず一定としても良い。あるいは、等間隔とせずに、図７および図８に示したように、特徴がある像高（像高０〜４）を検出してもよい。これにより、効果的に補正係数の数を削減することができる。尚、図７および図８は、像高に対するＭＴＦデータを示す図である。図８には、イメージサークル３０３と、有効画素領域３０１とについても示している。このように、ＭＴＦデータは、像高により変化する。そこで、変化の度合いが相対的に大きい像点における像高を選択し、選択した像高において補正係数を算出する。

詳細には、像高０は、レンズの中心位置として選択される。像高２は、ＭＴＦデータが落ち込む点における像高であるため、選択される。像高１は、像高０と像高２の間隔が離れているため、その略中央の像高として選択される。像高３は、像高２で一旦下がったＭＴＦデータが再度上がり、そして再度下がる転換点なので、選択される。像高４は、レンズの端部として選択される。例えば、これらの像高０〜４に相当するレンズ３０上の複数箇所から、ＭＴＦデータもしくはＰＳＦデータが取得され、上記したような処理により補正係数を算出するとよい。

このように、補正係数が算出される像高は、ＭＴＦデータにおいて変曲点となる像点における像高が選択されるとよい。また、レンズ中心や端なども、レンズ内では特徴的な位置であるため、その位置の像高も選択されるとよい。更に、特徴点となる像高の数が少ない場合や、選択された像高の間隔が広い場合等には、適切な間隔になるように像高を追加してもよい。

像高に対するＭＴＦデータは、レンズにより異なる可能性がある。よって、レンズ毎に、データが取得され、像高が選択され、レンズ収差補正フィルタ係数が算出されることが望ましい。レンズ毎に異なる特性に対応したレンズ収差補正フィルタ係数を算出できるようになり、補正処理をより精度良く行えるようになる。

［作用、効果］
上記の撮像素子１では、レンズ３０を通過した光線が画素部１０に入射することで、光電変換によって画素毎に画素信号が得られる。このとき、画素部１０では、撮像信号Ｄ０として、ＲＧＢ配列１０ａに対応したＲ，Ｇ，ＢのカラーのＲＡＷデータが取得される。得られた撮像信号Ｄ０は、信号処理部２０へ出力される。

信号処理部２０は、入力された撮像信号Ｄ０に基づいて、画像の補正処理を行う。具体的には、まず、位置座標算出部２１が、画素部１０の各画素の画素値に対応付けられた各画素の座標位置を示すｘｙアドレスに基づいて、補正対象の画素Ｐｔの位置座標を検出する。詳細には、距離算出部２１Ａが、画素Ｐｔの距離ｒを算出する。算出された距離ｒに関する情報は、補正係数取得部２２と像高間係数算出部２３Ａとのそれぞれに出力される。また、角度算出部２１Ｂが、画素Ｐｔの画像領域内での象限位置（角度ｄ）を算出する。算出された角度ｄに関する情報は、補正係数取得部２２と象限間係数算出部２３Ｂとにそれぞれ出力される。

補正係数取得部２２は、入力された画素Ｐｔの位置座標（距離ｒ，角度ｄ）に応じて、複数の補正係数（ここでは補正係数Ｆｇを例に挙げる）の中から、２以上の補正係数（補正係数群Ｆgrp）を選択（取得）する。取得された補正係数群Ｆgrpに関する情報は、補正係数ブレンド処理部２４に供給される。

像高間係数算出部２３Ａは、入力された距離ｒに基づいて、像高間のブレンド処理（補間処理）で使用する係数Ａｒを算出する。算出された係数Ａｒに関する情報は、補正係数ブレンド処理部２４に出力される。象限間係数算出部２３Ｂは、入力された角度ｄに基づいて、象限間のブレンド処理（補間処理）で使用する係数Ａｄを算出する。算出された係数Ａｄに関する情報は、補正係数ブレンド処理部２４に出力される。

補正係数ブレンド処理部２４は、入力された補正係数群Ｆgrpを用いて、画素Ｐｔの補正係数Ｆ１を補間処理により生成する。具体的には、補正係数群Ｆgrpを構成する各補正係数と、係数Ａｒ，Ａｄとを用いた補間処理（ブレンド処理）により、画素Ｐｔの補正係数Ｆ１（第１の補正係数）を算出する。

図９に、補正係数のブレンド処理の一例を示す。このようにＸＹ面内において、角度間（象限間，軸間）、および像高間のそれぞれにおいて補間処理を行う。具体的には、２以上の補正係数Ｆｇを含む補正係数群Ｆgrpと係数Ａｒ，Ａｄとを用いた補間処理により、７×７画素の中心の画素Ｐｔの補正係数Ｆ１を算出する。尚、像高ｉｈ_nは、例えば図６に示した像高ｉｈ１〜ｉｈ４のうちのいずれかの像高（像高位置）に対応し、像高ｉｈ_n+1は、像高ｉｈ_nの１つ外側の像高に対応している。また、ここでは、画素Ｐｔは、ＸＹ面内における第１象限に位置するＧ画素として説明する。

この例では、補正係数取得部２２により、複数の補正係数Ｆｇ（図６に示した補正係数ｆ１１〜ｆ１４，ｆ２１〜ｆ２４，ｆ３１〜３４，ｆ４１〜ｆ４４）の中から、画素Ｐｔの位置座標（距離ｒ，角度ｄ）に応じて、適当な２以上の補正係数Ｆｇ（補正係数群Ｆgrp）が選択（取得）される。補正係数群Ｆgrpは、例えばＸ軸上の正方向に設定された２つの補正係数Ｆ０_n，Ｆ０_n+1（図６に示した係数列ｑ１のうちのいずれか２つの補正係数）と、例えばＹ軸上の正方向に設定された２つの補正係数Ｆ９０_n，Ｆ９０_n+1（図６に示した係数列ｑ２のうちのいずれか２つの補正係数）とを含んでいる。

これらの補正係数Ｆ０_n，Ｆ０_n+1，Ｆ９０_n，Ｆ９０_n+1のうち、例えば像高ｉｈ_n上に対応づけられた補正係数Ｆ０_n，Ｆ９０_nと、角度ｄに基づいて算出された係数Ａｄ（０≦Ａｄ＜１)を用いて、線形演算により以下の式（６）から、補正係数のブレンド処理を行う。これにより、像高ｉｈ_n上において象限間（軸間）のブレンド処理がなされ、補正係数Ｆ２（第２の補正係数）が算出される。

Ｆ２＝（１−Ａｄ）×Ｆ０_n＋Ａｄ×Ｆ９０_n ………（６）

同様に、像高ｉｈ_n+1上に対応づけられた補正係数Ｆ０_n+1，Ｆ９０_n+1と、角度ｄに基づいて算出された係数Ａｄ（０≦Ａｄ＜１)を用いて、線形演算により以下の式（７）から補正係数のブレンド処理を行う。これにより、像高ｉｈ_n+1上において象限間（軸間）のブレンド処理がなされ、補正係数Ｆ３（第３の補正係数）が算出される。
Ｆ３＝（１−Ａｄ）・Ｆ０_n+1＋Ａｄ×Ｆ９０_n+1 ………（７）

続いて、これらの補正係数Ｆ２，Ｆ３を、距離ｒ（光学中心からの距離）に基づいて算出された係数Ａｒ（０≦Ａｒ＜１)を用いて、線形演算により以下の式（８）から、補正係数のブレンド処理を行う。これにより、像高間のブレンド処理がなされ、距離ｒ，角度ｄの位置の画素Ｐｔの補正係数Ｆ１が算出される。即ち、画素Ｐｔの補正係数が最適化される。
Ｆ１＝（１−Ａｒ）×Ｆ２＋Ａｄ×Ｆ３ ………（８）

上記のような補間処理（ブレンド処理）によって算出された補正係数Ｆ１についての情報は、レンズ収差補正処理部２５に出力される。

レンズ収差補正処理部２５は、ラインメモリ２６から入力された各色の信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）に対して、上記の補正係数Ｆ１を用いて画素Ｐｔにおける画素値に対して補正処理（一例として、レンズ収差補正処理）を施す。具体的には、補正係数Ｆ１が７×７画素に対応するものである場合、それらの７×７画素に対して乗算して加算をする演算処理を実行して、その中心の画素Ｐｔの画素値を補正する。距離ｒの位置の画素Ｐｔの画素値をＰｒとすると、レンズ収差補正後の画素値Ｐｒ１は、以下の式（９）で算出される。

このようにして、画素Ｐｔの画素値を補正する。同様にして、Ｒ画素およびＢ画素に対しても、象限間および像高間で補正係数のブレンド処理を行って補正係数Ｆ１を算出した後、その補正係数Ｆ１を用いた補正処理（レンズ収差補正処理）を行う。

尚、本実施の形態では、象限間および像高間の補正係数をブレンド処理した（補間した）後、画素値に対して補正処理を行っているが、ブレンド処理（補間処理）は、画素値の補正後に行ってもよい。その場合の機能ブロック構成を図１０に示す。即ち、レンズ収差補正処理部２５ａが、２軸上に対応づけられた複数の補正係数を用いて補正対象である画素Ｐｔの画素値を補正する。この後、ブレンド処理部２６ａが、補正後の画素値に基づいて、象限間および像高間での補間処理を行ってもよい。また、ブレンド処理と補正処理との各処理を行う順番を、補正係数のデータ量に応じて決定するようにしてもよい。

これにより、画像の補正処理、特に画素Ｐｔの位置座標（像高および象限位置）に依存する収差ばらつきを考慮した補正処理を行うことが可能である。レンズ収差補正処理部２５による補正処理後の画像信号Ｄ１（Ｒｄ，Ｇｄ，Ｂｄ）は、エッジ・平坦部ブレンド処理部２８に出力される。

エッジ・平坦部ブレンド処理部２８は、ラインメモリ２６から入力されたＲＧＢ信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）と、エッジ検出部２７から入力されたエッジ情報と、レンズ収差補正処理部２５から入力された画像信号Ｄ１（Ｒｄ，Ｇｄ，Ｂｄ）とを用いて、エッジ情報を考慮した補正処理後の画像信号Ｄ２を生成する。具体的には、エッジ・平坦部ブレンド処理部２８は、エッジ検出部２７により算出されたエッジ情報（例えば７×７画素の画素情報から算出される平坦度）に応じて、レンズ収差補正処理部２５から出力される補正処理後の画像信号Ｄ１（Ｒｄ，Ｇｄ，Ｂｄ）の加重平均処理を実行して、ＲＧＢ配列１０ａにおけるＲＧＢの各画素値を算出する。具体的には、以下の３式に従ってＲＧＢ画素値を決定する。

Ｒ＝（Weightflat）×（Ｒｄ）＋（１−Weightflat）×Ｒｉｎ
Ｇ＝（Weightflat）×（Ｇｄ）＋（１−Weightflat）×Ｇｉｎ
Ｂ＝（Weightflat）×（Ｂｄ）＋（１−Weightflat）×Ｂｉｎ

この式の算出結果として得られるＲ、Ｇ、Ｂの各色信号がＲＧＢ信号処理部２９に出力される。生成された画像信号Ｄ２は、ＲＧＢ信号処理部２９に出力される。

ＲＧＢ信号処理部２９は、入力されたＲＧＢ配列（ベイヤー配列）信号に対する信号処理、例えば、ホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理およびガンマ補正処理などを実行してカラー画像を生成する。生成されたカラー画像についての画像信号Ｄoutは、外部へ出力されるか、装置内部のメモリーに記録される。

上記のように本実施の形態では、互いに交差する第１軸および第２軸（Ｘ軸，Ｙ軸）のそれぞれに対応づけられた複数の補正係数の中から、補正対象の画素Ｐｔの位置座標（距離ｒ，角度ｄ）に応じて２以上の補正係数が取得され、取得された補正係数を用いて画像の補正処理が行われる。これにより、画素Ｐｔの位置座標に応じて補正係数を最適化することができる。

ここで、レンズ３０の通過光線に基づく撮影画像では、発生するぼけが、レンズ３０の特性等に応じて異なるものである。例えば、像高（光学中心からの距離）が大きくなるほど、レンズの収差に起因した画像のぼけが大きくなる。また、レンズの製造誤差等に起因して、レンズの像高に限らず、光軸に直交するＸＹ面内の領域（象限）毎に収差にばらつきが生じ、解像度にばらつきが発生する。

このように、同一像高に位置する像点であっても、レンズ３０のぼけ具合は異なっており、等方的ではないことが多い。これは、例えば、レンズの製造誤差等に起因する。レンズ３０の解像度にばらつきがある場合、補正処理を行っても、画素位置によって補正が足りない箇所あるいは過補正となる箇所が生じ、画質劣化につながる。

これに対し本実施の形態では、レンズ３０のぼけ具合が等方的ではない場合、特にレンズ３０の上下方向または左右方向の片側のみにぼけが生じる場合（いわゆる片ぼけが生じた場合）に、特に有効な信号処理を実現する。

以上のように本実施の形態の撮像素子１では、互いに交差する第１軸および第２軸（Ｘ軸，Ｙ軸）のそれぞれに対応づけられた複数の補正係数の中から、補正対象の画素Ｐｔの位置座標（距離ｒ，角度ｄ）に応じて２以上の補正係数が取得され、取得された補正係数を用いて画像の補正処理が行われる。これにより、補正係数を最適化して、レンズの製造誤差等に起因して解像度のばらつきが生じた場合にも、十分な補正効果を得ることができる。よって、レンズの解像度にばらつきが生じた場合にも、画質劣化を抑制することが可能となる。

また、特にレンズ３０の解像度が高い領域において、画素値が過補正されることを抑制でき、画質劣化の抑制に有利となる。更に、カメラモジュールの製造歩留まりを向上させることができる。加えて、撮像素子１の内部でレンズ３０の解像度ばらつきを考慮した補正処理がなされることから、ユーザによる調整作業も不要となる。

次に、上記実施の形態の変形例について説明する。以下では、上記実施の形態と同様の構成要素については同一の符号を付し、その説明を省略する。

＜変形例１＞
図１１は、変形例１に係る補正係数（Ｆｇ，Ｆｒ，Ｆｂのいずれか）と、像高および有効画素領域との対応を表す模式図である。上記実施の形態では、図６に示したように、Ｘ軸上およびＹ軸上に沿って係数列ｑ１〜ｑ４が配置された構成を例示したが、本変形例のように、係数列ｑ１〜ｑ４は、Ｘ軸およびＹ軸からそれぞれ反時計まわりに４５°回転した２軸に対応づけられていてもよい。この場合、レンズの片ぼけが斜め方向にそって発生している場合に有効となる。尚、軸の回転角度は、４５°に限らず、レンズの片ぼけの発生領域に応じて０°から９０°までの範囲で設定することが可能である。

＜変形例２＞
図１２は、変形例２に係る補正係数算出および信号処理のフローを表したものである。上記実施の形態では、補正係数Ｆｒ，Ｆｇ，Ｆｂが、レンズ３０の製造過程またはカメラモジュールの製造過程において算出され、キャリブレーションの情報として、予め回路内に保持されているか、または外部（レンズ３０を含む）から入力されることを説明した。しかしながら、本開示の信号処理（画像処理）は、このようなレンズ３０に関するキャリブレーションの情報がない場合（例えばレンズ３０が古いレンズである場合）にも適用することができる。

例えば、ユーザによる補正係数の入力が行われてもよい。具体的には、図１２に示したように、カメラ本体にレンズ３０を取り付け（ステップＳ２１）た後、撮像素子１によりテストチャート（テストパターン）を撮影する（ステップＳ２２）。続いて、撮影された画像から、レンズ収差特性（例えばＰＳＦデータまたはＭＴＦデータ等）を取得する（ステップＳ２３）。取得されたレンズ収差特性に基づいて、補正係数を算出し（ステップＳ２４）、この補正係数を用いてレンズ収差の補正がなされるようにしてもよい。

このように、補正係数は、レンズ３０の製造過程ではなく、カメラの使用時に算出されてもよい。この場合、レンズ３０として、キャリブレーション情報を持たない古いレンズを使用可能となる。また、レンズ３０の使用環境の変化や経年変化などに対応して、補正係数を適切に更新することが可能となる。また、レンズ３０がカメラ本体に対して交換可能である場合、レンズ３０が他のレンズに交換されたときなどにも対応可能となる。

以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。例えば、上述した一連の信号処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、例えばそのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

また、本明細書中に記載された効果は一例であり、他の効果であってもよいし、更に他の効果を含んでいてもよい。

尚、本開示は以下のような構成も取ることができる。
（１）
互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、
前記取得部により取得された補正係数を用いて画像の補正処理を行う補正部と
を備えた画像処理装置。
（２）
前記補正部は、
前記取得部により取得された補正係数を用いた補間処理により、前記位置座標における第１の補正係数を算出する補正係数算出部と、
前記補正係数算出部により算出された第１の補正係数を用いて前記位置座標に対応する画素値を補正する補正処理部と
を有する
上記（１）に記載の画像処理装置。
（３）
前記補正部は、前記位置座標の前記第１軸または前記第２軸に対する角度に基づいて第１の補間処理を行う
上記（２）に記載の画像処理装置。
（４）
前記補正部は、前記第１の補間処理の前または後に、前記位置座標の像高に基づいて第２の補間処理を行う
上記（３）に記載の画像処理装置。
（５）
前記第１の補間処理では、
前記第１軸において第１の像高に対応づけられた補正係数と、前記第２軸において前記第１の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第２の補正係数を算出し、
前記第１軸において前記第１の像高の隣の第２の像高に対応づけられた補正係数と、前記第２軸において前記第２の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第３の補正係数を算出する
上記（４）に記載の画像処理装置。
（６）
前記第２の補間処理では、前記第１の補間処理の後、
前記第２の補正係数と前記第３の補正係数とを、前記位置座標の像高に応じて補間することにより、前記第１の補正係数を算出する
上記（５）に記載の画像処理装置。
（７）
前記補正部は、
前記取得部により取得された補正係数を用いて画素値を補正し、
補正された画素値に基づく補間処理により前記画像の補正処理を行う
上記（１）に記載の画像処理装置。
（８）
前記取得部は、前記第１軸および前記第２軸に対応づけられた複数の補正係数を色毎に取得し、
前記補正部は、取得された色毎の補正係数を用いて画像の補正処理を行う
上記（１）〜（７）のいずれか１つに記載の画像処理装置。
（９）
互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得し、
取得された補正係数を用いて画像の補正処理を行う
画像処理方法。
（１０）
前記画像の補正処理を行う際に、
取得された補正係数を用いた補間処理により、前記位置座標における第１の補正係数を算出し、
算出された第１の補正係数を用いて前記位置座標に対応する画素値を補正する
上記（９）に記載の画像処理方法。
（１１）
前記位置座標の前記第１軸または前記第２軸に対する角度に基づいて第１の補間処理を行う
上記（１０）に記載の画像処理方法。
（１２）
前記第１の補間処理の前または後に、前記位置座標の像高に基づいて第２の補間処理を行う
上記（１１）に記載の画像処理方法。
（１３）
前記第１の補間処理では、
前記第１軸において第１の像高に対応づけられた補正係数と、前記第２軸において前記第１の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第２の補正係数を算出し、
前記第１軸において前記第１の像高の隣の第２の像高に対応づけられた補正係数と、前記第２軸において前記第２の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第３の補正係数を算出する
上記（１２）に記載の画像処理方法。
（１４）
前記第２の補間処理では、前記第１の補間処理の後、
前記第２の補正係数と前記第３の補正係数とを、前記位置座標の像高に応じて補間することにより、前記第１の補正係数を算出する
上記（１３）に記載の画像処理方法。
（１５）
取得された補正係数を用いて画素値を補正し、
補正された画素値に基づく補間処理により前記画像の補正処理を行う
上記（９）に記載の画像処理方法。
（１６）
前記第１軸および前記第２軸に対応づけられた複数の補正係数を色毎に取得し、
取得された色毎の補正係数を用いて画像の補正処理を行う
上記（９）〜（１５）のいずれか１つに記載の画像処理方法。
（１７）
前記第１軸および前記第２軸に対応づけられた複数の補正係数のデータ量に応じて、
取得された補正係数を用いた補間処理により前記位置座標における第１の補正係数を算出した後、前記第１の補正係数を用いて前記位置座標に対応する画素値を補正することにより前記画像の補正処理を行うか、または、
取得された補正係数を用いて画素値を補正し、補正された画素値に基づく補間処理により前記画像の補正処理を行うか、を決定する
上記（９）〜（１６）のいずれか１つに記載の画像処理方法。
（１８）
複数の画素を含む画素部と、
前記画素部から得られた画像に対して信号処理を施す信号処理部と
を備え、
前記信号処理部は、
互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、
前記取得部により取得された補正係数を用いて前記画像の補正処理を行う補正部と
を備えた撮像素子。
（１９）
前記画素部と前記信号処理部とは積層されている
上記（１８）に記載の撮像素子。

１…撮像素子、１０…画素部、２０…信号処理部、２１…位置座標算出部、２１Ａ…距離算出部、２１Ｂ…角度算出部、２２…補正係数取得部、２３Ａ…像高間係数算出部、２３Ｂ…象限間係数算出部、２４…補正係数ブレンド処理部、２５…レンズ収差補正処理部、２６…ラインメモリ、２７…エッジ検出部、２８…エッジ・平坦部ブレンド処理部、２９…ＲＧＢ信号処理部。

Claims (19)

1. 互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、
   前記取得部により取得された補正係数を用いて画像の補正処理を行う補正部と
   を備えた画像処理装置。
2. 前記補正部は、
   前記取得部により取得された補正係数を用いた補間処理により、前記位置座標における第１の補正係数を算出する補正係数算出部と、
   前記補正係数算出部により算出された第１の補正係数を用いて前記位置座標に対応する画素値を補正する補正処理部と
   を有する
   請求項１に記載の画像処理装置。
3. 前記補正部は、前記位置座標の前記第１軸または前記第２軸に対する角度に基づいて第１の補間処理を行う
   請求項２に記載の画像処理装置。
4. 前記補正部は、前記第１の補間処理の前または後に、前記位置座標の像高に基づいて第２の補間処理を行う
   請求項３に記載の画像処理装置。
5. 前記第１の補間処理では、
   前記第１軸において第１の像高に対応づけられた補正係数と、前記第２軸において前記第１の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第２の補正係数を算出し、
   前記第１軸において前記第１の像高の隣の第２の像高に対応づけられた補正係数と、前記第２軸において前記第２の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第３の補正係数を算出する
   請求項４に記載の画像処理装置。
6. 前記第２の補間処理では、前記第１の補間処理の後、
   前記第２の補正係数と前記第３の補正係数とを、前記位置座標の像高に応じて補間することにより、前記第１の補正係数を算出する
   請求項５に記載の画像処理装置。
7. 前記補正部は、
   前記取得部により取得された補正係数を用いて前記補正対象画素の画素値を補正し、
   補正された画素値に基づく補間処理により前記画像の補正処理を行う
   請求項１に記載の画像処理装置。
8. 前記取得部は、前記第１軸および前記第２軸に対応づけられた複数の補正係数を色毎に取得し、
   前記補正部は、取得された色毎の補正係数を用いて画像の補正処理を行う
   請求項１に記載の画像処理装置。
9. 互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得し、
   取得された補正係数を用いて画像の補正処理を行う
   画像処理方法。
10. 前記画像の補正処理を行う際に、
    取得された補正係数を用いた補間処理により、前記位置座標における第１の補正係数を算出し、
    算出された第１の補正係数を用いて前記位置座標に対応する画素値を補正する
    請求項９に記載の画像処理方法。
11. 前記位置座標の前記第１軸または前記第２軸に対する角度に基づいて第１の補間処理を行う
    請求項１０に記載の画像処理方法。
12. 前記第１の補間処理の前または後に、前記位置座標の像高に基づいて第２の補間処理を行う
    請求項１１に記載の画像処理方法。
13. 前記第１の補間処理では、
    前記第１軸において第１の像高に対応づけられた補正係数と、前記第２軸において前記第１の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第２の補正係数を算出し、
    前記第１軸において前記第１の像高の隣の第２の像高に対応づけられた補正係数と、前記第２軸において前記第２の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第３の補正係数を算出する
    請求項１２に記載の画像処理方法。
14. 前記第２の補間処理では、前記第１の補間処理の後、
    前記第２の補正係数と前記第３の補正係数とを、前記位置座標の像高に応じて補間することにより、前記第１の補正係数を算出する
    請求項１３に記載の画像処理方法。
15. 取得された補正係数を用いて前記補正対象画素の画素値を補正し、
    補正された画素値に基づく補間処理により前記画像の補正処理を行う
    請求項９に記載の画像処理方法。
16. 前記第１軸および前記第２軸に対応づけられた複数の補正係数を色毎に取得し、
    取得された色毎の補正係数を用いて画像の補正処理を行う
    請求項９に記載の画像処理方法。
17. 前記第１軸および前記第２軸に対応づけられた複数の補正係数のデータ量に応じて、
    取得された補正係数を用いた補間処理により前記位置座標における第１の補正係数を算出した後、前記第１の補正係数を用いて前記位置座標に対応する画素値を補正することにより前記画像の補正処理を行うか、または、
    取得された補正係数を用いて前記補正対象画素の画素値を補正し、補正された画素値に基づく補間処理により前記画像の補正処理を行うか、を決定する
    請求項９に記載の画像処理方法。
18. 複数の画素を含む画素部と、
    前記画素部から得られた画像に対して信号処理を施す信号処理部と
    を備え、
    前記信号処理部は、
    互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、
    前記取得部により取得された補正係数を用いて前記画像の補正処理を行う補正部と
    を備えた撮像素子。
19. 前記画素部と前記信号処理部とは積層されている
    請求項１８に記載の撮像素子。

Images