JP6579934B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、画像処理装置に関し、特に撮影画像のモアレを補正する画像処理装置に関する。

特許文献１には、多眼方式の撮像装置を利用して、被写体像の同一部分に発生するモアレの周波数が異なるように複数の画像を撮影し、該複数の画像の周波数成分を解析することによりモアレの検出および補正を行う手法が提案されている。

特開２００３−１８４７９号公報

しかしながら、特許文献１に記載の撮像装置では、被写体像の同一部分に発生するモアレの周波数が異なるよう制御することにより、特定の撮影条件下の画像では、モアレを検出したい被写体領域の一部が、撮影画角外になってしまう場合がある。

例えば、光学系の焦点距離を変えて、広角と望遠の２種類の画像を同一の画素ピッチの撮像素子で撮像したとする。この場合、広角側の画像で、光軸中心から離れた領域に、モアレの発生する被写体が存在していても、望遠側の画像には、この被写体に対応する一部領域しか撮影できていないということがある。このように、広角側と一対一で対応する望遠側の被写体領域が存在しない場合、その領域では、モアレの検出および補正ができず、画質劣化するという課題があった。

そこで、本発明は、上記課題を鑑み、モアレの補正に有利な画像処理装置を提供することを例示的目的とする。

本発明は、共通領域を含む複数の画像のうち、該共通領域とは異なる非共通領域に関して、共通領域で検出されたモアレ領域との類似度を算出することを特徴としている。そして、検出されたモアレ領域と算出された類似度に基づいて、複数の画像のモアレを補正することを特徴としている。

本発明によれば、モアレの補正に有利な画像処理装置を提供することができる。

本発明の実施例にかかる撮像装置の構成を示すブロック図である。 本発明の実施例にかかる画像生成処理の流れを示すフローチャートである。 本発明の実施例にかかる類似度算出手段の処理の流れを示すフローチャートである。 実施例１におけるモアレ検出および低減処理の作用を説明する図である。 実施例２におけるモアレ検出および低減処理の作用を説明する図である。 本発明の実施例にかかる撮像素子の画素配列を示す模式図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明の撮像装置１０が有する撮像ユニット１００の概略構成を示すブロック図である。撮像ユニット１００の動作は、制御手段１０９によって制御される。制御手段１０９は、撮像装置１０全体を統括制御する。

撮像装置（撮像ユニット）は、撮影レンズ（光学系）で形成された連続した被写体像を、ＣＭＯＳセンサ等の撮像素子でサンプリングし、デジタルデータに変換した後、デジタル信号処理を行って、輝度、色情報を含む映像信号を生成する。ここで、連続した被写体像を撮像素子でサンプリングする際、被写体像が、撮像素子の画素ピッチで決まるナイキスト周波数以上の周波数成分を持つと、折り返し歪（モアレ）が発生し、生成される映像信号の画質が損なわれることがある。なお、本発明の撮像装置は、光学系、撮像素子を複数備えた多眼方式の撮像装置を使用している。多眼方式の撮像装置では、複数の光学系、複数の撮像素子をそれぞれ独立に制御し、異なる光学条件、撮像サンプリング条件で同一の被写体を撮像することができる。また、本発明の撮像装置は、本実施例では、レンズ一体型の撮像装置を例として挙げているが、本発明はこれに限らずレンズ交換型の撮像装置、いわゆる交換レンズシステムの撮像装置にも適用することができる。

以下、図１を用いて撮像ユニット１００が備える構成部材について説明する。

撮像ユニット１００は、第１の撮像手段１０１と第２の撮像手段１０２と画像処理部１１０（画像処理装置）とを有する。第１の撮像手段１０１および第２の撮像手段１０２は、それぞれ、光学系、撮像素子、同時化補間手段を含む。ここで、第１の撮像手段１０１と第２の撮像手段１０２は、光学系の光学条件および、撮像素子の駆動条件を、それぞれ独立に制御することが可能であり、同一の被写体を異なる撮像条件で撮像することができる。

本実施例では、被写体像の同一部分に発生するモアレの周波数が異なるよう、第１の撮像手段１０１，第２の撮像手段１０２内の光学系の焦点距離を変えて、それぞれ撮像を行う。

同時化補間手段では、撮像素子の出力信号を補間し、輝度、色信号を生成する。

尚、本実施例の撮像装置では、２個の撮像手段を有する構成としているが、３個以上の独立に制御可能な撮像手段を有していても良い。

画像処理部１１０は、第１の撮像手段１０１および第２の撮像手段から出力される複数の画像（信号）を取得する取得手段１１０ａ，１１０ｂを有する。複数の画像は、後述するようにモアレ領域を判定可能とするための共通領域を含んでいる。取得手段１１０ａ，１００ｂにより取得された複数の画像は、幾何変形手段１０３、類似度算出手段１０５，１０６、およびモアレ補正手段１０７，１０８に送られる。

幾何変形手段１０３は、第１の撮像手段１０１と第２の撮像手段１０２から出力される画像に対して、幾何変形を行う。より具体的に、撮像手段から出力される複数の画像に対し、光学特性、または、撮像サンプリング特性に起因する幾何学的な画質差を補正する。多眼方式の撮像装置では、合焦状態によって、視差が発生する。したがって、複数の画像間で、同一の被写体領域に対応した周波数成分を比較するに先立って、視差による被写体像のずれを幾何変形手段１０３で補正する。

また、第１の撮像手段１０１と第２の撮像手段１０２から出力される撮像画像は、焦点距離の違いにより、像倍率が異なる。したがって、複数の画像間で、同一の被写体領域に対応した周波数成分を比較するのに先立って、像倍率が等しくなるよう、幾何変形手段１０３において、変倍処理を行う。

モアレ領域検出手段１０４は、幾何変形手段１０３の出力画像を参照し、同一の被写体領域における色信号と周波数成分を解析して、撮像素子のサンプリングに起因したモアレが発生しているか否かを判定する。

具体的に、モアレ領域検出手段１０４では、幾何変形手段１０３から出力され、異なる条件下で撮影された複数の画像から、同一の被写体像が撮影されている領域（以下、同一被写体領域と記載）を検出する。そして、該同一被写体領域での画素値の演算によって、色信号、周波数成分を算出する。そして、該同一被写体領域において、異なる条件下で撮影された複数の画像間で、特徴量に差がある場合には、モアレが発生していると判定する。このように、モアレ領域検出手段１０４は、複数の画像のうち、同一被写体領域（共通領域）におけるモアレが発生している領域（モアレ領域）を判定する判定手段として機能する。また、モアレ領域検出手段１０４は、複数の画像の差分から、モアレ領域の検出（判定）が可能な共通領域と、モアレ領域の検出（判定）ができない非共通領域と、を判定する。

類似度算出手段１０５，１０６は、それぞれ、第１の撮像手段１０１、第２の撮像手段１０２の出力画像において、モアレ領域検出手段１０４で検出されたモアレ領域との画像の類似度を算出する。具体的に、複数の画像のうち共通領域とは異なる非共通領域（すなわち、複数の画像に共通する画像領域とは異なる領域であって、複数の画像に共通しない画像領域）に関して、モアレ領域との類似度を算出する算出手段として機能する。

類似度算出手段１０５と類似度算出手段１０６の処理内容は同様である。類似度算出手段１０５では、モアレ領域検出手段１０４の出力と、第２の撮像手段１０２の出力画像との類似度を算出する。また、類似度算出手段１０６では、モアレ領域検出手段１０４の出力と、第１の撮像手段１０２の出力画像との類似度を算出する。

本実施例では、第１の撮像手段の出力画像と第２の撮像手段の出力画像のうちどちらか一方にしか、同一の被写体領域が撮像されておらず、他方の出力画像には、同一の被写体領域のうち一部の領域しか撮像されていない。類似度算出手段１０５，１０６は、モアレ領域検出手段１０４でモアレ領域の検出ができなかった領域に対して、モアレ領域検出手段１０４でモアレと確定した近傍の領域との画像の特徴量に基づき、類似度を算出する。

類似度算出手段１０５，１０６の処理内容の詳細については、後ほど図３のフローチャートを用いて説明する。

モアレ補正手段１０７，１０８は、それぞれ、モアレ領域検出手段１０４、類似度算出手段１０５，１０６の結果を参照して、第１の撮像手段１０１、第２の撮像手段１０２の出力画像に対して、モアレを低減する処理を行う。このように、モアレ補正手段１０７，１０８は、モアレ領域検出手段１０４が検出したモアレ領域と類似度算出手段１０５，１０６が算出した類似度に基づいて、複数の画像のうち少なくとも１つの画像に対してモアレを補正する補正手段として機能する。具体的には、第１の撮像手段１０１と第２の撮像手段１０２の出力画像に対して、それぞれ、画素毎に、モアレ領域検出結果と、モアレ領域との類似度を参照し、モアレ領域である場合には、モアレの信号レベルを減衰させる処理を行う。また、モアレ領域検出結果と、モアレ領域との類似度を参照し、モアレ領域との類似度が高い領域である場合には、モアレの信号レベルを減衰させる処理を行う。

モアレ領域の信号レベルを減衰させる処理の一例として、色信号の場合には、モアレによる偽色を緩和するために、彩度を低下させる処理が挙げられる。また、輝度信号の場合には、モアレによるエッジのガタ付きを緩和するために周囲の信号を用いた平滑化処理が挙げられる。また、第１の撮像手段と第２の撮像手段の出力画像を合成して、モアレ領域の信号レベルを減衰させてもよい。

また、モアレ領域でなく、かつ、モアレ領域との類似性が低い領域については、モアレ領域と類似していないほど、モアレ補正処理の度合いを弱める。換言すれば、モアレ領域と類似しているほど、モアレ補正処理の度合いを強める。すなわち、モアレ補正手段１０７，１０８は、複数の画像の非共通領域において、類似度算出手段１０５，１０６が算出する類似度に応じて補正の度合いを変更する。

なお、本発明の画像処理装置は、撮像装置に搭載されるものに限定されず、撮像装置の外部に設けられるものであってもよい。例えば、撮像装置にインターネットを介して接続されたサーバーから構成されてもよい（クラウドコンピューティング）。もちろん、画像処理装置は画像情報を保存している他のパーソナルコンピュータ（ＰＣ）、携帯電話、ＰＤＡやゲーム機などの専用端末などにネットワークを介して接続されていてもよい。

次に、本実施例の撮像ユニットで１フレーム分の画像を生成する処理の流れについて、図２のフローチャートを参照して説明する。

Ｓ１００では、制御手段１０９は、第１の撮像手段と第２の撮像手段とで撮像特性が異なるよう光学系と撮像素子の駆動を制御する。そして、第１の撮像手段と第２の撮像手段の撮影条件をＳ１００で決定した後、Ｓ１０１でそれぞれ撮影を実行させる。本実施例では、第１の撮像手段１０１において広角、第２の撮像手段１０２において望遠の画像を撮像するよう、各光学系の焦点距離を設定する。

Ｓ１０２では、幾何変形手段１０３は、第１の撮像手段１０１と第２の撮像手段１０２で撮影された複数の画像（出力画像）に対して、視差による位置ずれ、および、焦点距離の違いによる像倍率の違いを補正するよう、幾何変形処理を行う。

Ｓ１０３では、モアレ領域検出手段１０４は、第１の撮像手段１０１と第２の撮像手段１０２で撮影され、幾何変形手段１０３で変形された複数の画像を取得する。そして、取得した複数の画像を参照し、同一の被写体領域における色信号または、周波数成分の違いから、撮像素子のサンプリングに起因したモアレが発生しているか否かを判定する。

また、モアレ領域検出手段１０４では、第１の撮像手段１０１と第２の撮像手段１０２の出力画像に対して、それぞれ、２つの画像の差分に基づいて、モアレ領域の検出処理が行われた画素（領域）か否かを示す、モアレ検出対象領域情報を生成する。また、第１の撮像手段１０１と第２の撮像手段１０２の出力画像において、モアレ検出処理が行われた画素領域においては、画素毎に、所属するモアレ領域を示すモアレ領域の参照番号を生成する。モアレ検出対象領域情報と、モアレ領域の参照番号は、第１の撮像手段１０１と第２の撮像手段１０２の出力画像について、それぞれ、画素位置と対応づけて、制御手段１０９内の図示しない記憶手段に格納される。

Ｓ１０４では、類似度算出手段１０５，１０６は、第１の撮像手段１０１と第２の撮像手段１０２の出力画像に対して、それぞれ、モアレ領域検出手段１０４で検出されたモアレ領域との画像の類似度を算出する。

Ｓ１０５では、モアレ補正手段１０７，１０８は、モアレ領域の検出結果、および、算出されたモアレ領域との類似度に基づいて、第１の撮像手段１０１と第２の撮像手段１０２の出力画像に対して、それぞれ、モアレを補正する。具体的には、モアレを減衰させる、モアレ補正処理を行う。

次に図３のフローチャートを参照して、類似度算出手段１０５，１０６の処理内容について詳細に説明する。

Ｓ２０１では、モアレ領域検出手段１０４の処理結果を参照し、モアレ領域が存在しない場合には、類似度算出の処理を終了する。モアレ領域が存在する場合には、Ｓ２０２に進む。

Ｓ２０２では、制御手段１０９の記憶手段から、モアレ検出対象領域情報を参照し、入力画像において、モアレ領域検出手段１０４でモアレ検出処理が行われていない領域が存在する場合には、Ｓ２０３に進んで、類似度算出処理を継続する。モアレ検出処理が行われていない領域が存在しない場合には、類似度算出の処理を終了する。

Ｓ２０３では、入力画像のモアレ検出対象領域情報を参照し、モアレ領域検出手段１０４でモアレ検出が行われなかった領域（非共通領域）を類似度算出領域に設定する。そして、類似度算出領域内の画素毎に、類似度算出に用いる特徴量を算出し、制御手段１０９内の記憶手段に格納する。

Ｓ２０４では、モアレ領域検出手段１０４でのモアレ検出結果をクラスタリングし、連続したモアレ領域内の特徴量を算出する。連続したモアレ領域が複数ある場合には、それぞれのモアレ領域毎に、特徴量を算出し、モアレ領域の参照番号とともに、制御手段１０９内の記憶手段に格納する。

ここで、Ｓ２０３、Ｓ２０４で算出する特徴量は、色信号、支配的な周波数成分、被写体距離等の情報のうち少なくとも１つに関する情報である。該情報は、少なくとも入力画像および撮像手段の制御設定に基づいて生成され、モアレ領域と近接した画素領域が、モアレ領域と同一の被写体領域であるかを推定するために用いる。

Ｓ２０５では、類似度算出領域内の着目画素において、Ｓ２０３で求めた画像の特徴量を参照する。

Ｓ２０６では、類似度算出領域（非共通領域）内の着目画素と、着目するモアレ領域との被写体距離の差が、所定の閾値（第１の閾値）よりも小さいかを判定する。

具体的には、着目画素Ｐでの被写体距離をＤ（ｐ），着目するｉ番目のモアレ領域での被写体距離をＤ（ｍｉ）として、Ｄｈ＝（Ｄ（ｐ）−Ｄ（ｍｉ））＾２が、所定の閾値Ｔｈｄよりも小さいか（閾値以下か）どうかを判定する。

ここで、条件を満たす場合には、着目するモアレ領域と、着目画素が同一被写体であるとみなし、着目画素の信号に、近接するモアレ領域と同等の補正を行ってよいかを判断するために、Ｓ２０７に進む。条件を満たさない場合には、着目するモアレ領域と、着目画素が同一被写体ではないとみなし、Ｓ２１２に進む。換言すれば、類似度算出手段１０５，１０６は、被写体距離の差が第１の閾値よりも小さい場合には、類似度を算出すると判定し、第１の閾値よりも大きい場合には、類似度を算出しないと判定する。

Ｓ２０７では、類似度算出領域（非共通領域）内の着目画素と、着目するモアレ領域との色信号の差が、所定の閾値（第２の閾値）よりも小さいかを判定する。

具体的には、着目画素Ｐでの色信号をＣ（ｐ），着目するｉ番目のモアレ領域での色信号をＣ（ｍｉ）として、Ｃｈ＝（Ｃ（ｐ）−Ｃ（ｍｉ））＾２が、所定の閾値Ｔｈｃよりも小さいか（閾値以下か）どうかを判定する。また、Ｃ（ｐ）、Ｃ（ｍｉ）は、それぞれ、Ｒ，Ｇ，Ｂの色成分の線形和であらわされるものとする。

ここで、条件を満たす場合には、着目するモアレ領域と、着目画素が同一被写体であり、かつ、色信号の類似性が高いので、着目画素の信号を、近接するモアレ領域と同等に補正してよいとみなし、Ｓ２０８に進む。

条件を満たさない場合には、色信号の類似性が低いため、着目画素に、近接するモアレ領域と同等の補正をすべきではないと一時的に判断し、Ｓ２０９に進む。換言すれば、類似度算出手段１０５，１０６は、色信号の差が第２の閾値よりも小さい場合には、類似度を算出し、第２の閾値よりも大きい場合には、一時的に類似度を算出しない。

Ｓ２０９では、類似度算出領域（非共通領域）内の着目画素と、着目するモアレ領域との周波数成分の差が、所定の閾値（第３の閾値）よりも小さいかを判定する。

具体的には、着目画素Ｐでの周波数成分をＦ（ｐ），着目するｉ番目のモアレ領域での周波数成分をＦ（ｍｉ）として、Ｆｈ＝（Ｆ（ｐ）−Ｆ（ｍｉ））＾２が、所定の閾値Ｔｈｆよりも小さいか（閾値以下か）どうかを判定する。また、Ｆ（ｐ）、Ｆ（ｍｉ）は、それぞれ、水平、垂直、斜め方向の特定の周波数帯域で出力が最大になるようなバンドパスフィルタで抽出された信号成分の線形和であらわされるものとする。

ここで、条件を満たす場合には、着目するモアレ領域と、着目画素が同一被写体であり、かつ、周波数成分の類似度が高いため、着目画素の信号を、近接するモアレ領域と同等に補正してよいとみなし、Ｓ２０８に進む。

条件を満たさない場合には、周波数成分の類似度が低いため、着目画素に、隣接するモアレ領域と同等の補正をすべきではないと判断し、Ｓ２１２に進む。換言すれば、類似度算出手段１０５，１０６は、周波数成分の差が第３の閾値よりも小さい場合には、類似度を算出し、第３の閾値よりも大きい場合には、類似度を算出しない。

Ｓ２０８では、着目画素に隣接するモアレ領域の参照番号と、当該モアレ領域と着目画素との類似度を、制御手段１０９内の図示しない記憶手段に格納する。

類似度としては、Ｓ２０７、または、Ｓ２０８で算出された、当該モアレ領域と着目画素との色信号または周波数成分の差分の二乗値を記憶する。

上述したように、類似度算出手段１０５，１０６は、複数の画像のうち非共通領域における着目画素の特徴量と共通領域におけるモアレ領域の特徴量とに基づいて類似度を算出する。具体的には、該特徴量から、色信号の差または周波数成分の差の二乗値を類似度として算出し、該算出した類似度を、着目したモアレ領域と関連づけて図示しない記憶手段に格納する。

Ｓ２１０では、類似度算出領域内の全ての画素に対して、着目するモアレ領域との類似度の算出処理が終了したかを判定する。

全ての画素に対して、着目するモアレ領域との類似度の算出処理が終了するまで、Ｓ２１１で着目画素領域のアドレスを更新し、Ｓ２０５からＳ２１１までの処理を繰り返す。一方、全ての画素に対して処理が終了した場合には、Ｓ２１２に進む。

Ｓ２１２では、対象となる全てのモアレ領域について、類似度算出領域内の着目画素との類似度を評価したかを判定する。

全てのモアレ領域について、類似度の評価が終了するまで、Ｓ２１３でモアレ領域の参照番号を更新し、Ｓ２０４からＳ２１２までの処理を繰り返す。全てのモアレ領域について、類似度の評価処理が終了したら、類似度算出処理を終了する。

また、Ｓ２０４からＳ２１２の処理を繰り返す中で、Ｓ２０８では、着目画素と最も類似度が高いモアレ領域との類似度算出結果が格納されるよう、各画素における類似度算出結果を更新する。

尚、本実施例では、被写体距離、色信号、周波数成分に基づいて、着目画素と隣接するモアレ領域との類似度を算出したが、それ以外の特徴量を参照して類似度を算出してもかまわない。

また、隣接するモアレ領域との類似度の算出は、画素毎に行っても良いし、入力画像をブロック分割し、局所的な領域毎の特徴量に基づいて算出してもよい。

最後に図４を参照して、本実施例でのモアレ検出および低減処理の作用を説明する。

図４（ａ）は、本実施例で撮影される撮影領域の一例を示している。第１の撮像手段で撮像される画角が３０１であり、第２の撮像手段で撮像される画角が３０２である。

画角３０１に含まれる連続した被写体領域３０３のうち、領域３０４については、第１の撮像手段と第２の撮像手段でともに撮影することが可能である。

図４（ｂ）は、第１の撮像手段から出力される画像を示す模式図であり、画像領域４０１が、図４（ａ）の被写体領域３０３に対応する。被写体領域３０３の光学像には、撮像素子の画素ピッチで決まるナイキスト周波数よりも高周波の信号が含まれるため、対応する画像領域４０１には、モアレが発生している。また、領域４０２（共通領域）については、第２の撮像手段から出力される画像にも含まれる。

図４（ｃ）は、第２の撮像手段から出力される画像を示す模式図であり、画像領域５０１が、図４（ａ）の被写体領域３０４に対応する。被写体領域３０４は、被写体領域３０３の一部であるが、第２の撮像手段では、第１の撮像手段よりも望遠側の設定で撮像を行うため、撮像素子の画素ピッチで決まるナイキスト周波数よりも低域の信号として撮像され、画像領域５０１にはモアレは発生しない。

第２の撮像手段の出力画像を幾何変形手段１０３で縮小した画像が、図４（ｄ）であり、画像領域６０１が、図４（ａ）の被写体領域３０４に対応する。

ここで、図４（ｂ）の画像領域４０３と、図４（ｄ）の画像領域６０１は、同一の被写体領域だが、被写体像に含まれる周波数成分と、撮像素子の画素ピッチで決まるナイキスト周波数との相対関係が異なるため、撮像時に再現される周波数が異なる。そのため、領域６０１では、被写体本来の周波数成分が再現できるが、領域４０３では、サンプリング定理を満たさないためモアレが発生する。

したがって、モアレ領域検出手段１０４で、領域４０３と領域６０１の周波数を比較することにより、モアレが発生しているか否かを検出でき、第１の撮像手段から出力される画像において、図４（ｂ）の画像領域４０３は、モアレが発生している領域と判定される。

また、第１の撮像手段から出力される画像において、画像領域４０１も、領域４０３と連続した高周波の被写体領域であるためモアレが発生している。しかし、図４（ｂ）の画像領域４０１（非共通領域）に対応する画像は、望遠側の撮影画角から外れてしまっているため、第２の撮像手段では撮像されない。

そこで、画像領域４０１については、類似度算出手段１０５で、画像領域４０３との画像の類似度を算出し、モアレ領域との類似度に基づいて、モアレ補正手段でのモアレ補正処理を行う。モアレ領域であると確定している画像領域４０３と、画像領域４０１との類似度については、図示しない測距手段で測定された被写体距離の情報や、色信号の分散、輝度信号の分散に基づいて求める。

以上より、本発明の撮像装置では、被写体像の同一部分に発生するモアレの周波数が異なるよう、光学系を独立に制御して撮像を行い、複数の画像の差分から、モアレ領域を検出して補正することができる。また、該複数の画像の差分から、モアレ成分を検出するための情報を生成できない場合でも、モアレ検出領域との類似性に基づいて、モアレを補正し、良好な画質の映像信号を得ることができる。

次に、本発明の撮像装置の第２の実施例について説明する。第２の実施例の撮像装置の構成および、処理フローを示すフローチャートは、第１の実施例と同じであるので説明を割愛する。第２の実施例では、第１の撮像手段１０１と、第２の撮像手段１０２とで、同一の被写体像をサンプリングする際の２次元的なサンプリングの方向が、相対的に４５度異なるように、撮像手段を制御することを特徴としている。

具体的には、第１の撮像手段の撮像素子の配置に対し、光軸回りに４５度異なるように、第２の撮像手段の撮像素子を４５度回転させて撮像を行う。

図５（ａ）に、実施例２で撮影される撮影領域の一例を示す。図５（ａ）において、矩形領域７０１は、第１の撮像手段で撮像され、矩形領域７０２は第２の撮像手段で撮像される。

また、被写体領域７０３は、斜め方向で、画素ピッチで決まるナイキスト周波数よりも高周波成分を含む領域であり、モアレが発生している。

図５（ｂ）は、第１の撮像手段から出力される画像を示しており、図５（ａ）の被写体領域７０３に対応する画像領域８０１，８０２を有している。

図５（ｃ）は、第２の撮像手段から出力される画像を４５度右方向に回転させたものであり、図５（ａ）の被写体領域７０３に対応する画像領域９０１を有している。

また、第２の実施例では、モアレ領域検出手段１０４において、撮像素子で被写体像を２次元的にサンプリングする方向毎に、それぞれ周波数成分を検出する。第１の撮像手段１０１と第２の撮像手段１０２の撮像素子は、図６に示すように、水平、垂直方向に受光素子が離散的に配置されているので、モアレ領域検出手段１０４では、垂直方向の周波数成分と水平方向の周波数成分を求め、モアレ領域の検出を行う。

ここで、図５（ａ）の領域７０３に含まれる斜め方向の高周波成分は、垂直方向、および、水平方向のいずれの周波数成分も含む。

したがって、第１の撮像手段から出力される、図５（ｂ）の画像において、画像領域８０１、８０２では、垂直方向、水平方向の両方にモアレの周波数成分が検出される。

一方、第２の撮像手段から出力される、図５（ｃ）の画像では、被写体領域７０３が、４５度回転した撮像素子でサンプリングされるため、垂直方向のエッジ（横縞状のパターン）として撮像される。したがって、モアレ領域検出手段において、垂直方向、および、水平方向の周波数成分を解析すると、垂直方向にのみモアレの周波数成分が検出される。

このため、被写体領域７０３のうち、第１撮像手段、および、第２の撮像手段でともに撮影される領域については、それぞれ、垂直方向と水平方向のモアレ周波数の差分に基づいて、当該領域にモアレが発生しているか否かを検出できる。

一方、図５（ｂ）の画像領域８０２では、対応する画像領域が、第２の撮像手段から出力される画像に存在しないので、第１の撮像手段と第２の撮像手段で撮像された画像の周波数成分の差分から、モアレ領域の検出を行うことができない。

そこで、類似度算出手段１０６において、モアレ領域８０１との画像の類似度を算出し、モアレ領域との類似度に基づいて、モアレ補正手段でのモアレ補正処理を行う。

以上より、本発明の第２の実施例の撮像装置においても、被写体像の同一部分に発生するモアレの周波数が異なるよう、撮像素子でのサンプリングの方向を独立に制御して撮像を行い、複数の画像の差分から、モアレ領域を検出して補正することができる。また、該複数の画像の差分から、モアレ成分を検出するための情報を生成できない場合でも、モアレ検出領域との類似性に基づいて、モアレを補正し、良好な画質の映像信号を得ることができる。

上述したように、従来、センサのサンプリング起因で発生するモアレを、撮像条件を変えて同時撮影した複数の画像間の差分から判別する際、同一被写体が存在しない画像領域では、モアレ有無の判定ができない問題があった。

これに対し、本願発明は、同一被写体に対して、光学特性または、撮像サンプリング特性を変えて撮影した複数の画像からモアレ領域を判定し、該モアレ領域との類似性に基づいて、画像内のサンプリング起因のモアレを低減している。

これにより、本発明によれば、撮影画像の全ての領域において、撮像サンプリング特性に起因して発生するモアレを低減（補正）した、良好な画質の映像信号を生成（取得）することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。

１１０ 画像処理装置
１１０ａ，１１０ｂ 取得手段
１０４ モアレ領域検出手段
１０５，１０６ 類似度算出手段
１０７，１０８ モアレ補正手段

Claims (20)

1. 共通領域を含む複数の画像を取得する取得手段と、
   前記複数の画像のうち、前記共通領域におけるモアレが発生しているモアレ領域を判定する判定手段と、
   前記複数の画像のうち前記共通領域とは異なる非共通領域に関して、前記モアレ領域との類似度を算出する算出手段と、
   前記モアレ領域と前記類似度に基づいて、前記複数の画像のうち少なくとも１つの画像に対して前記モアレを補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記算出手段は、前記非共通領域の特徴量と前記モアレ領域の特徴量に基づいて前記類似度を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴量は、色信号、周波数成分、および被写体距離のうち少なくとも１つであることを特徴とする請求項２に記載の画像処理装置。
4. 前記算出手段は、前記非共通領域の着目画素と前記モアレ領域との被写体距離の差に基づいて前記類似度を算出することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記算出手段は、前記被写体距離の差が第１の閾値よりも小さい場合には、前記類似度を算出し、前記第１の閾値よりも大きい場合には、前記類似度を算出しないことを特徴とする請求項４に記載の画像処理装置。
6. 前記算出手段は、前記非共通領域の着目画素と前記モアレ領域との色信号の差に基づいて前記類似度を算出することを特徴とする請求項２または３に記載の画像処理装置。
7. 前記算出手段は、前記色信号の差が第２の閾値よりも小さい場合には、前記類似度を算出し、前記第２の閾値よりも大きい場合には、前記類似度を算出しないことを特徴とする請求項６に記載の画像処理装置。
8. 前記算出手段は、前記色信号の差の二乗値を前記類似度として算出し、
   該算出した類似度を、前記モアレ領域と関連づけて記憶手段に格納することを特徴とする請求項６または７に記載の画像処理装置。
9. 前記算出手段は、前記非共通領域の着目画素と前記モアレ領域との周波数成分の差に基づいて前記類似度を算出することを特徴とする請求項２または３に記載の画像処理装置。
10. 前記算出手段は、前記周波数成分の差が第３の閾値よりも小さい場合には、前記類似度を算出し、前記第３の閾値よりも大きい場合には、前記類似度を算出しないことを特徴とする請求項９に記載の画像処理装置。
11. 前記算出手段は、前記周波数成分の差の二乗値を前記類似度として算出し、
    該算出した類似度を、前記モアレ領域と関連づけて記憶手段に格納することを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記判定手段は、前記複数の画像の差分から、前記モアレ領域の判定が可能な前記共通領域と、前記モアレ領域の判定ができない前記非共通領域と、を判定することを特徴とする請求項１ないし１１のうちいずれか１項に記載の画像処理装置。
13. 前記補正手段は、前記非共通領域において前記類似度に応じて前記補正の度合いを変更することを特徴とする請求項１ないし１２のうちいずれか１項に記載の画像処理装置。
14. 前記複数の画像は、異なる撮像条件で撮像して得られた画像であることを特徴とする請求項１ないし１３のうちいずれか１項に記載の画像処理装置。
15. 前記異なる撮像条件は、光学系の焦点距離が異なること、および、撮像手段が被写体像をサンプリングする際の２次元的なサンプリングの方向が異なることの少なくともいずれかであることを特徴とする請求項１４に記載の画像処理装置。
16. 光学系と撮像素子を有する撮像手段と、
    請求項１ないし１５のうちいずれか１項に記載の画像処理装置と、を備えた撮像装置。
17. 前記撮像装置は、複数の撮像手段を備えた多眼方式の撮像装置であることを特徴とする請求項１６に記載の撮像装置。
18. 共通領域を含む複数の画像を取得するステップと、
    前記複数の画像のうち、前記共通領域におけるモアレが発生しているモアレ領域を判定するステップと、
    前記複数の画像のうち前記共通領域とは異なる非共通領域に関して、前記モアレ領域との類似度を算出するステップと、
    前記モアレ領域と前記類似度に基づいて、前記複数の画像のうち少なくとも１つの画像に対して前記モアレを補正するステップと、
    を有することを特徴とする画像処理方法。
19. 請求項１８に記載の画像処理方法の各ステップが記述されたコンピュータで実行可能なプログラム。
20. コンピュータに、請求項１８に記載の画像処理方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。