WO2012111232A1

WO2012111232A1 - 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置

Info

Publication number: WO2012111232A1
Application number: PCT/JP2011/079170
Authority: WO
Inventors: 古川　英治
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-02-16
Filing date: 2011-12-16
Publication date: 2012-08-23
Anticipated expiration: 2013-08-16
Also published as: JP2012170006A; US20130314557A1; US9167135B2; JP5576812B2

Abstract

　基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理装置は、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償部と、前記基準画像の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出部と、前記対象画素のコントラストの値に応じて、前記基準画像における前記合成処理の対象画素と、前記動き補償した参照画像において前記対象画素に対応する対応画素との合成比率を算出する合成比率算出部と、前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成部と、を備える。

Description

画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置

　本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置に関する。

　従来の動画像のノイズ量を低減する技術として、巡回型のノイズリダクション技術がある。この技術は、入力フレーム画像と処理済みの前フレーム画像との間で動き補償を行い、各画素に関する動き補償の信頼度を周辺画素の差分量から算出する。信頼度と動き量とノイズ推定量に応じて導出されたブレンド合成比率（混合比率）で、入力フレーム画像（現フレーム）と前フレーム画像は、ブレンド合成される（ＪＰ４３２１６２６ＢとＪＰ２０１０－１４７９８６Ａ参照）。

　近年、高画素・高フレームレートでの動画記録により、画素毎に動き検出することは、回路規模や計算時間を増加させる。一方、離散点での動き検出に基づいて動き補償することで回路規模や計算時間が減少するが、この場合、動き検出に誤差が生じる。また、高速に動き検出できるブロックマッチング法などでは、レンズ歪みやローリングシャッター等の影響により動き検出に誤差が生じる。さらにノイズの影響によっても、動き検出に誤差が生じる。そのため、従来のノイズ量を低減する技術は、ブレンド合成時に残像やアーティファクトが発生しないように、動き補償の信頼度が高いほど程、前フレーム画像の合成比率を高くし、動き補償の信頼度が低いほど、前フレーム画像の合成比率を低くする。なお、動き補償の信頼度は、動き補償した画像間の差分絶対値和（ＳＡＤ）などの相違度の評価値から算出でき、差分絶対値和が小さいほど信頼度は増加し、差分絶対値和が大きいほど信頼度は減少する。

　しかし、画像中の低、中、高の各コントラスト部分では、同じ動き検出誤差、例えば＋方向に０．５ピクセルの動き量又は動きベクトルの誤差があった場合でも、画像間の差分絶対値和（ＳＡＤ）の値に対する誤差の影響が著しく異なる。コントラストが高い部分ほど、誤差の影響で差分絶対値和は大きくなってしまう。そのため、異なるコントラストの部分が密接した被写体の場合、動き検出誤差があると、低中コントラスト部分は、前フレーム画像の合成比率が高くなるようブレンド合成されても、高コントラスト部分は現フレームの合成比率が高くなるようブレンド合成される。

　静止物体がパン／チルト撮影される場合において、一様なパン／チルトの動き量が変化して、高コントラスト部分に対する低中コントラスト部分の動き検出誤差（即ち動き補償誤差）が＋０．５ピクセルから－０．５ピクセルへ急激に変わる場合がある。この場合、巡回型のノイズリダクションでは、高コントラスト部分は、差分絶対値和（ＳＡＤ）が大きいので誤差がない現フレーム画像の位置にある。このために、動画像として見た際に低中コントラスト部は揺れてしまうという問題が発生する。この問題は、ノイズ量の低減効果を高くするほど、つまり、処理済みの前フレーム画像のブレンド合成比率を高くするほど顕著となる。

　本発明は、ブレンド合成比率に対する動き補償誤差の影響がコントラストにより異なることを抑制し、ノイズ量を低減しつつ揺れの少ない動画像を得ることを目的とする。

　本発明のある態様に係る画像処理装置は、基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理装置であって、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償部と、前記基準画像における前記合成処理の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出部と、前記対象画素のコントラストの値に応じて、前記基準画像の対象画素と、前記動き補償した参照画像において前記対象画素に対応する対応画素との合成比率を算出する合成比率算出部と、前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成部と、を備える。

　本発明の別の態様に係る画像処理方法は、基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理方法であって、前記基準画像と前記参照画像との間の動きベクトルを算出することと、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償することと、前記基準画像における前記合成処理の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出することと、前記対象画素のコントラストの値に応じて、前記基準画像の対象画素と、前記動き補償した参照画像において前記対象画素に対応する対応画素との合成比率を算出することと、前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成することと、を含む。

　本発明のさらに別の態様に係る画像処理プログラムは、基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理プログラムであって、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償手順と、前記基準画像における前記合成処理の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出手順と、前記対象画素のコントラストの値に応じて、前記基準画像の対象画素と、前記動き補償した参照画像において前記対象画素に対応する対応画素との合成比率を算出する合成比率算出手順と、前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成手順と、をコンピュータに実行させる。

　本発明の実施形態、本発明の利点については、添付された図面とともに以下に詳細に説明される。

図１は、本発明に係る画像処理装置を示すブロック図である。図２は、本発明に係るブレンド合成処理を示すシーケンス図である。図３は、第一実施形態に係る信頼度算出処理の手順を示すフローチャートである。図４Ａは、相違度の補正方法の一例を示す図である。図４Ｂは、相違度の補正方法の他の一例を示す図である。図４Ｃは、相違度の補正方法のさらに他の一例を示す図である。図５は、動き補償の信頼度Ｒとブレンド合成比率との関係を示すグラフである。図６は、第二実施形態に係る信頼度算出処理の手順を示すフローチャートである。図７は、第二実施形態に係るコントラスト値と相違度の算出領域のサイズを対応付けるテーブルの一例である。図８は、第三実施形態に係る信頼度算出処理の手順を示すフローチャートである。図９は、第三実施形態に係るコントラスト値とローパスフィルタ強度を対応付けるテーブルの一例である。図１０は、画像処理プログラムの手順を例示するフローチャートである。

　［第一実施形態］
　図１は、第一実施形態に係る画像処理装置のブロック構成図を示す。本実施形態では、画像処理装置は、撮像装置に搭載されている。撮像装置は、電子機器の一例として示すものであり、例えば、ビデオカメラ、電子スチルカメラなどである。

　撮像装置は、撮像部１００と画像処理装置２００とを備える。画像を撮影する撮像部１００は、画像処理装置２００へ画像（画像データ）を入力する画像入力部として機能する。画像処理装置２００は、ノイズ量が低減された画像を外部へ出力する。

　撮像部１００は、撮像光学系、撮像素子、Ａ／Ｄ変換回路などを備える。画像処理装置２００は、動きベクトル算出部１０１（動きベクトル算出手段）、動き補償部１０２（動き補償手段）、コントラスト算出部１０３（コントラスト算出手段）、信頼度算出部１０４（信頼度算出手段）、合成比率算出部１０５（合成比率算出手段）、ブレンド合成部１０６（ブレンド合成手段）を備える。なお、画像処理装置２００の上記の各部（又はこれら全体）は、ＡＳＩＣ、ＦＰＧＡなどの論理回路から構成されてよい。或いは、画像処理装置２００の上記の各部（又はこれら全体）は、データを格納するメモリ、演算プログラムを格納するメモリ、この演算プログラムを実行するＣＰＵ／ＤＳＰ（中央演算処理装置／デジタルシグナルプロセッサ）等から構成されてもよい。

　さらに、画像処理装置２００は、フレームメモリ１０７（記憶部）も備える。フレームメモリ１０７は、撮像部１００により撮像されフレームメモリ１０７に出力された現フレーム画像と、ブレンド合成部１０６から出力された前フレーム画像とを画素値データとして保存する。

　フレームメモリ１０７に保存された前フレーム画像と現フレーム画像は、動きベクトル算出部１０１に入力され、それぞれ、参照画像と基準画像として使用される。ここで、「前フレーム画像」は、前回の画像処理装置２００の処理で、ブレンド合成部１０６から出力されフレームメモリ１０７に記憶された画像である。「現フレーム画像」は、今回の画像処理装置２００の処理で、ブレンド合成の対象となる撮像部１００で撮像された画像（合成前の画像）である。

　動きベクトル算出部１０１は、テンプレートマッチング法などにより、入力された２フレームの画像間の動きベクトルを算出し、動き補償部１０２へ出力する。動き補償部１０２は、参照画像としての前フレーム画像を、基準画像としての現フレーム画像に位置合わせするように動き（位置ずれ）を補償する。さらに、動き補償部１０２は、現フレーム画像の小領域、及び、現フレーム画像に位置合わせした前フレーム画像の小領域を切り出す。前フレーム画像の小領域は、現フレーム画像の小領域に対応し、それぞれ、参照領域と基準領域と呼ばれることがある。動き補償部１０２は、動きベクトルを相殺するように、動きベクトルに基づいて前フレーム画像の小領域の切り出し位置を決定する。小領域は、ブレンド合成の対象となっている対象画素を中心とし、画像全体に比較して小さな所定のサイズの領域であって、例えば、３×３ピクセル、５×５ピクセルの領域である。

　フレームメモリ１０７に保存された現フレーム画像（基準画像）の小領域と前フレーム画像（参照画像）の小領域の画素値データは、コントラスト算出部１０３に入力される。コントラスト算出部１０３は、ブレンド合成の対象となる対象画素のコントラスト値ＣＮを算出して、信頼度算出部１０４へと出力する。

　信頼度算出部１０４は、現フレーム画像の小領域と前フレーム画像の小領域との間の相違度（ＳＡＤ：ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅなど）又は類似度（ＮＣＣ：ＮｏｒｍａｌｉｚｅｄＣｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎなど）を算出し、さらにコントラスト値ＣＮに応じてこの相違度又は類似度を補正する。さらに、信頼度算出部１０４は、補正された相違度又は類似度から動き補償の信頼度Ｒ（即ち、動きベクトルの信頼度Ｒ）を算出して、合成比率算出部１０５へ出力する。なお、相違度が大きくなるほど、類似度は小さくなる。

　合成比率算出部１０５は、入力された信頼度Ｒに基づいて、現フレーム画像の対象画素（小領域の中心画素）と前フレーム画像において対象画素に対応する対応画素とのブレンド合成比率を算出し、ブレンド合成部１０６に出力する。前フレーム画像の対応画素の合成比率をαとすると、現フレーム画像の対象画素の合成比率は（１－α）となる。ブレンド合成部１０６は、合成処理として、算出された合成比率によってこれら対象画素と対応画素をブレンド合成して、フレームメモリ１０７に出力して保存する。ブレンド合成として、対象画素と対応画素の合成比率を重みとして、重み付き加算、又は、加重平均が行われる。

　その後、全ての対象画素（即ち、現フレーム画像の全画素）に関してブレンド合成が行われた後、フレームメモリ１０７の合成画像は、記録媒体（メモリカード）などに出力され記録されるか、又は、表示部（液晶モニタ等）に出力され表示される。

　図２は、第一実施形態に係る処理シーケンス図を示す。複数の画像を連続して撮像する動画撮像の際、一枚目の入力画像は、そのまま出力画像となる。２枚目の入力画像が撮像されたら、保存してある一枚目の出力画像（前フレーム画像）と２枚目の入力画像（現フレーム画像）とが、ブレンド合成され合成画像が生成される。合成画像が２枚目の出力動画像となる。図２に示すように、３枚目の入力画像以降も、２枚目の入力画像と同様にブレンド合成が行われる。

　コントラスト算出部１０３におけるコントラスの算出方法について説明する。例えば、コントラスト算出部１０３は、現フレーム画像の輝度のうち、対象画素を含む小領域内での輝度の平均値を求め、その平均値と小領域内の各画素の輝度との差分量（差の絶対値）を算出し、その差分量が最大のものを対象画素に関するコントラスト値ＣＮとする。また、例えば、コントラスト算出部１０３は、現フレーム画像の輝度のうち、対象画素を含む小領域内で最も低い輝度と最も高い輝度の差を、対象画素に関するコントラスト値ＣＮとしてもよい。これら二つの場合、コントラスト値ＣＮは、０から２５５までの範囲の値としてよい。

　さらに、例えば、コントラスト算出部１０３は、現フレーム画像のうち対象画素を含む小領域において、エッジを抽出するフィルタ（微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタなど）を各画素にかかるようにフィルタ処理し、小領域内の各エッジ量の合計を正規化したものを、対象画素に関するコントラスト値ＣＮとしてもよい。この場合の正規化は、他の手法によるコントラスト値ＣＮと同一の尺度になるように、０から２５５までの範囲の値になるように正規化してよい。

　なお、前述した３つのコントラスト算出方法において、現フレーム画像の輝度が利用されるが、画素の明度を示すような、例えば三原色ＲＧＢのうちのＧの画素値などを利用してもよい。また、現フレーム画像からコントラスト値を算出するようにしたが、前フレーム画像の対応画素を含む小領域を利用してコントラスト値を算出してよい。これは、現フレーム画像（基準画像）の対象画素に対して動き補償によって位置が対応する前フレーム画像の対応画素が、動き補償によってわかるためである。

　図３のフローチャートに、信頼度算出部１０４が実行する信頼度算出処理の手順を示す。フローチャートにおいて、Ｓを付した番号はステップ番号を示す。

　まず、Ｓ１１において、信頼度算出部１０４は、フレームメモリ１０７から現フレーム画像の小領域の画素値データと位置合わせにより抽出された前フレーム画像の小領域の画素値データを読み込み、両小領域の相違度として差分の絶対値和（ＳＡＤ）を算出する。代わりに、信頼度算出部１０４は、相違度として画素値の差の二乗和（ＳＳＤ）を、類似度として正規化相互相関（ＮＣＣ）を算出してもよい。

　Ｓ１２において、信頼度算出部１０４は、コントラスト値ＣＮと第一の閾値ＴＨ₁を比較し、比較結果に応じてＳＡＤ（つまり相違度）を補正する必要があるか否か判断する。コントラスト値ＣＮが第一の閾値ＴＨ₁以下である場合、ＳＡＤを補正する必要はない。コントラスト値ＣＮが第一の閾値ＴＨ₁より大きい場合、ＳＡＤを補正する必要がある。ＳＡＤを補正する必要がある場合、ルーチンはＳ１３、Ｓ１４に進む。ＳＡＤを補正する必要がない場合、ルーチンはＳ１５に進む。Ｓ１３において、信頼度算出部１０４は、コントラスト値ＣＮに応じてＳＡＤ（相違度）を補正する。補正方法については後述する。

　Ｓ１４において、信頼度算出部１０４は、補正されたＳＡＤ（補正後のＳＡＤ）に基づいて、動き補償の信頼度Ｒを算出する。Ｓ１５において、信頼度算出部１０４は、補正しないＳＡＤ（Ｓ１１で計算されたＳＡＤ）に基づいて、動き補償の信頼度Ｒを算出する。なお、ＳＡＤやＳＳＤが相違度として使用される場合、信頼度Ｒは、相違度が小さいほど高くなり、相違度が大きいほど低くなるように算出される。例えば、信頼度Ｒは、相違度が大きいほど値が小さくなる関数を用いて計算できる。なお、信頼度算出部１０４は、正規化相互相関（ＮＣＣ）を類似度として使用する場合、類似度が大きいほど高くなり、類似度が小さいほど低くなるように信頼度Ｒを算出する。

　このように、信頼度算出部１０４は、Ｓ１１－Ｓ１４の信頼度算出処理により、対象画素のコントラストに応じて、信頼度Ｒを算出する。従って、合成比率算出部１０５は、信頼度Ｒに応じて合成比率を計算するため、対象画素のコントラストに応じて合成比率を得る。

　図４Ａ－Ｃを参照して、ＳＡＤ（相違度）の補正方法を説明する。例えば、コントラスト値ＣＮに応じたゲイン値ＧＮが計算され、Ｓ１１で算出されたＳＡＤに補正量としてゲイン値を乗算した値が、補正されたＳＡＤ（補正後のＳＡＤ）になる。或いは、コントラスト値ＣＮに応じたオフセット値ＶＦが計算され、Ｓ１１で算出されたＳＡＤから補正量としてオフセット値を減算した値が、補正されたＳＡＤ（補正後のＳＡＤ）になる。なお、信頼度算出部１０４が、補正されたＮＣＣ（補正後のＮＣＣ）に基づいて、動き補償の信頼度Ｒを算出するなら、Ｓ１１で算出されたＮＣＣに前述のゲイン値を除算した値又はＳ１１で算出されたＮＣＣに前述のオフセット値を加算した値が、補正されたＮＣＣ（補正後のＮＣＣ）になってよい。

　図４Ａの補正例１において、ゲイン値を乗算してＳＡＤは補正される。コントラスト値ＣＮが第一の閾値ＴＨ₁以下の場合には、ゲイン値はコントラスト値に依存しない値（第一の補正量）である。本実施形態において、ゲイン値は１．０であり、これは、補正しないことと同等である。コントラスト値ＣＮが第一の閾値ＴＨ₁より大きい場合には、コントラスト値ＣＮが高くなるほど、ゲイン値が小さくなる。図４Ａのようにゲイン値とコントラスト値を対応付ける関数、マップ又はテーブルにより、ゲイン値がコントラスト値から決定される。そして、Ｓ１１で算出されたＳＡＤに対してゲイン値を乗算した値が、補正後のＳＡＤに設定される。

　図４Ｂの補正例２において、ゲイン値を乗算してＳＡＤは補正される。コントラスト値ＣＮが第一の閾値ＴＨ₁以下の場合、ゲイン値はコントラスト値に依存しない値（第一の補正量）である。本実施形態において、ゲイン値は１．０であり、これは、補正しないことと同等である。コントラスト値ＣＮが第一の閾値ＴＨ₁から第二の閾値ＴＨ₂の範囲内では、コントラスト値ＣＮが高くなるほど、ゲイン値が小さくなる。コントラスト値ＣＮが第二の閾値ＴＨ₂以上の場合には、ゲイン値はコントラスト値に依存しない値（第二の補正量）で一定である。図４Ｂのようにゲイン値とコントラスト値を対応付ける関数、マップ又はテーブルにより、ゲイン値がコントラスト値から決定される。そして、Ｓ１１で算出されたＳＡＤに対してゲイン値を乗算した値が、補正後のＳＡＤに設定される。

　図４Ｃの補正例３において、オフセット値を減算してＳＡＤは補正される。コントラスト値ＣＮが第一の閾値ＴＨ₁以下の場合、オフセット値はコントラスト値に依存しない値（第一の補正量）である。本実施形態において、コントラスト値は０である。これは、補正しないことと同等である。コントラスト値ＣＮが第一の閾値ＴＨ₁から第二の閾値ＴＨ₂の範囲内では、コントラストが高くなるほど、オフセット値が大きくなる。コントラスト値ＣＮが第二の閾値ＴＨ₂以上の場合には、オフセット値はコントラスト値に依存しない値（第二の補正量）で一定である。図４Ｃのようにオフセット値とコントラスト値を対応付ける関数、マップ又はテーブルにより、オフセット値がコントラスト値から決定される。そして、Ｓ１１で算出されたＳＡＤに対してオフセット値を減算した値が、補正後のＳＡＤに設定される。

　なお、第一の閾値ＴＨ₁以下のコントラスト値ＣＮでも補正が行われる場合（即ちゲイン値が１．０でない場合やオフセット値が０でない場合）、Ｓ１２、Ｓ１５のステップは省略される。また、補正例１～３のそれぞれについて、第一の閾値ＴＨ₁は異なってよい。補正例２、３のそれぞれについて、第二の閾値ＴＨ₂は異なってよい。

　図５は、信頼度Ｒとブレンド合成比率との関係を示す。図５に示すように、合成比率算出部１０５は、信頼度Ｒに基づいて、前フレーム画像の対応画素の合成比率αと、現フレーム画像の対象画素の合成比率（１－α）を決定する。図５の実線のように、前フレーム画像の合成比率αは、信頼度Ｒが低いほど小さくなる。図５の破線のように、現フレーム画像の合成比率（１－α）は、信頼度Ｒが低いほど大きくなる。ブレンド合成部１０６は、決定された合成比率で現フレーム画像の対象画素と前フレーム画像の対応画素とをブレンド合成する。ブレンド合成部１０６は、ブレンド合成までの画像処理を現フレーム画像の全画素について施した画像を現フレーム画像に関する出力画像とする。フレームメモリ１０７は、この出力画像を次のフレーム処理で使用する前フレーム画像として保存する。

　なお、上記の第一実施形態において、信頼度算出部１０４は、対象画素のコントラストに応じて信頼度Ｒを算出する。従って、信頼度Ｒから合成比率を算出する合成比率算出部１０５は、間接的に、対象画素のコントラストに応じて合成比率を算出できる。しかし、代替として、信頼度算出部１０４は、ＳＡＤを補正せず、コントラストとは無関係に信頼度Ｒを算出し、合成比率算出部１０５は、信頼度Ｒから合成比率を算出した後、直接的にコントラスト値ＣＮに応じて合成比率を補正することもできる。また、合成比率は、画素ごとに求めるのではなく、画像の領域ごとに求めることもできる。

　（作用効果）
　次に、第一実施形態の作用効果を説明する。コントラスト算出部１０３は、基準画像（現フレーム画像）における合成処理の対象となる対象画素のコントラストの値を、基準画像または参照画像（前フレーム画像）から算出する。合成比率算出部１０５は、対象画素のコントラストの値に応じて、基準画像の対象画素と、動き補償した参照画像において前記対象画素に対応する対応画素との合成比率を算出する。ブレンド合成部１０６は、算出した合成比率に基づいて、基準画像の対象画素と参照画像の対応画素をブレンド合成する。このため、合成比率に対する動き補償誤差の影響がコントラストにより異なることを抑制できる。そして、動き補償誤差が生じる動き検出精度においても動画像の揺れを回避しつつ少なくとも基準画像に比べてノイズ量を低減することができる。

　信頼度算出部１０４は、対象画素のコントラストの値に応じて、対象画素について動き補償の信頼度を算出する。合成比率算出部１０５は、信頼度に応じて合成比率を算出する。従って、コントラストの値に応じた動き補償の信頼度を用いて、合成比率に対する動き補償誤差の影響がコントラストにより異なることを好適に抑制できる。また、例えば、信頼度が低い場合に、参照画像（前フレーム画像）の対応画素の合成比率を低めて、画像処理装置から出力される画像の画質を向上できる。

　信頼度算出部１０４は、基準画像の対象画素を含む基準領域と、動き補償した参照画像内で基準領域に対応する参照領域との間で相違度又は類似度を算出し、対象画素のコントラストの値に応じて、算出した相違度を小さくするように又は算出した類似度を大きくするように補正する。そして、信頼度算出部１０４は、補正した相違度が小さいほど又は補正した類似度が大きいほど信頼度が高くなるように信頼度を計算する。高コントラストの場合に相違度又は類似度が動き補償誤差に敏感になるが、コントラストの値に応じて補正された相違度又は類似度に基づいて、信頼度が求められるため、高コントラストの画像領域において、動き補償誤差が合成比率に大きく影響することを抑えられる。

　信頼度算出部１０４は、対象画素のコントラストの値が第一の閾値ＴＨ₁より高い場合、コントラストの値が高くなるほどより相違度を小さくするように又は類似度を大きくするように補正してよい。これにより、高コントラストの画像領域において、動き補償誤差が合成比率に大きく影響することをより好適に抑えられる。対象画素のコントラスト値が、第一の閾値より大きな第二の閾値ＴＨ₂以上である場合、コントラストの値に依存しない補正量で相違度又は類似度が補正されてよい。これにより、高コントラストの画像領域で、過度に相違度が低下して（過度に類似度が高くなり）、参照画像（前フレーム画像）の合成比率αが高くなりすぎることが防止できる。

　［第二実施形態］
　図６のフローチャートに、第二実施形態に係る信頼度算出部１０４が実行する信頼度算出処理の手順を示す。信頼度算出処理以外の構成は、第一実施形態と同じであり説明を省略する。第一実施形態では、信頼度算出部１０４は、現フレーム画像の小領域と前フレーム画像の小領域と間の相違度（ＳＡＤなど）（又は類似度）を算出し、算出した相違度（又は類似度）をコントラスト値に基づいて補正する。しかし、第二実施形態では、信頼度算出部１０４は、算出した相違度（又は類似度）を補正しないが、相違度（又は類似度）を算出するための算出領域（小領域）のサイズをコントラスト値に応じて変更する。算出領域は、対象画素を中心とする領域である。信頼度算出部１０４は、相違度（又は類似度）を算出するために、相互に動き補償によって対応する現フレーム画像（基準画像）の相違度算出領域（基準領域）と前フレーム画像（参照画像）の相違度算出領域（参照領域）を切り出す。

　Ｓ２１において、信頼度算出部１０４は、コントラスト算出部１０３によって算出されたコントラス値ＣＮを離散化する。例えば、信頼度算出部１０４は、コントラスト値を一定の値で除算して、小数点以下の端数を切り捨て（又は切り上げ）した値を離散化されたコントラスト値に設定してよい。例えば、コントラスト値の範囲が０から２５５までである場合、コントラスト値は、一定の値６４で除算される。或いは、信頼度算出部１０４は、ある範囲内のコントラスト値の場合だけ一定の値で除算して離散化し、コントラスト値がその範囲以下の場合とその範囲以上の場合とで区別して、それぞれ定数値を対応付けて離散化しても良い。

　Ｓ２２において、信頼度算出部１０４は、相違度を算出するための算出領域のサイズを離散化されたコントラスト値に応じて決定する。これにより、離散化される前の元のコントラスト値のある範囲に対して、一つの算出領域サイズが対応することになる。コントラスト値が高くなるほど、相違度の算出領域のサイズは大きくなる。なお、算出領域のサイズの決定方法については後述する。

　Ｓ２３において、信頼度算出部１０４は、現フレーム画像と前フレーム画像の算出領域に対して、画素値の差分の絶対値和（ＳＡＤ）を相違度として算出する。代わりに、信頼度算出部１０４は、相違度として、画素値の差の二乗和（ＳＳＤ）を、類似度として正規化相互相関（ＮＣＣ）を算出しても良い。

　Ｓ２４において、信頼度算出部１０４は、算出されたＳＡＤから信頼度Ｒを算出する。なお、和であるＳＡＤは、算出領域のサイズが大きくなるほど大きな値になる傾向があるため、ＳＡＤを算出領域の画素数で除算した値から信頼度Ｒが算出されてよい。ＳＡＤやＳＳＤで相違度を評価する場合、信頼度Ｒは、相違度が小さいほど高く、相違度が大きいほど低くなるように、算出される。信頼度算出部１０４は、対象画素のコントラストに応じて信頼度Ｒを算出することになる。従って、信頼度Ｒから合成比率を算出する合成比率算出部１０５は、間接的に、対象画素のコントラストに応じて合成比率を算出できる。

　図７は、離散化されたコントラスト値と相違度（又は類似度）の算出領域サイズを対応付けるテーブルの一例を示す。図７は、離散化されたコントラストが０から３までの例で、コントラスト値が高くなるほど、相違度（又は類似度）の算出領域のサイズは大きくなる。信頼度算出部１０４は、このテーブルを参照して、算出領域サイズを決定する。離散化されたコントラストが０、１、２、３の場合、相違度（又は類似度）の算出領域のサイズは、それぞれ３×３ピクセル、５×５ピクセル、７×７ピクセル、９×９ピクセルの領域である。

　第二実施形態によると、信頼度算出部１０４は、対象画素のコントラストの値が高くなるほど、基準画像の対象画素を含む基準領域（基準画像の算出領域）と、動き補償した参照画像内で基準領域に対応する参照領域（参照画像の算出領域）のサイズを大きく設定し、基準領域と参照領域との間で相違度（又は類似度）を算出する。従って、ノイズや、許容される範囲での動き補償誤差があっても、コントラスト値が高い画像部分でＳＡＤなどの相違度が極端に高くなる（類似度が極端に低くなる）のを避けることが可能となる。これにより、高いコントラストの画像部分で、相違度（又は類似度）、ひいては信頼度から算出される合成比率に対する動き補償誤差の影響を抑えることができる。

　［第三実施形態］
　図８のフローチャートに、第三実施形態に係る信頼度算出部１０４が実行する信頼度算出処理の手順を示す。信頼度算出処理以外の構成は、第一実施形態と同じであり説明を省略する。第一実施形態では、信頼度算出部１０４は、現フレーム画像の小領域と前フレーム画像の小領域と間の相違度（ＳＡＤなど）（又は類似度）を算出し、算出した相違度（又は類似度）をコントラスト値に基づいて補正した。しかし、第三実施形態では、信頼度算出部１０４は、算出した相違度（又は類似度）を補正しないが、相違度（又は類似度）を算出する前に、高い空間周波成分を除去するローパスフィルタを現フレーム画像（基準画像）の相違度算出領域（基準領域）と前フレーム画像（参照画像）の相違度算出領域（参照領域）にかける。両算出領域にかけるローパスフィルタの強度は、コントラスト値に応じて変更される。

　Ｓ３１において、信頼度算出部１０４は、Ｓ２１と同様に、コントラスト算出部１０３によって算出されたコントラス値ＣＮを離散化する。Ｓ３２において、信頼度算出部１０４は、離散化されたコントラスト値に基づいて相違度の算出領域にかけるローパスフィルタの強度を決定する。これにより、離散化される前の元のコントラスト値のある範囲に対して、一つのローパスフィルタの強度が対応する。

　Ｓ３３において、信頼度算出部１０４は、決定されたローパスフィルタの強度で、前フレーム画像と現フレーム画像のそれぞれの算出領域に対してフィルタ処理を行う。Ｓ３４において、信頼度算出部１０４は、現フレーム画像と前フレーム画像のフィルタ処理後の算出領域に対して、画素値の差分の絶対値和（ＳＡＤ）を相違度として算出する。代わりに、信頼度算出部１０４は、相違度として画素値の差の２乗和（ＳＳＤ）を、類似度として正規化相互相関（ＮＣＣ）を算出しても良い。

　Ｓ３５において、信頼度算出部１０４は、算出されたＳＡＤから信頼度Ｒを算出する。ＳＡＤやＳＳＤで相違度を評価する場合、信頼度Ｒは、相違度が小さいほど高く、相違度が大きいほど低くなるように、算出される。信頼度算出部１０４は、対象画素のコントラストに応じて信頼度Ｒを算出することになる。従って、信頼度Ｒから合成比率を算出する合成比率算出部１０５は、間接的に、対象画素のコントラストに応じて合成比率を算出できる。

　図９は、離散化されたコントラスト値とローパスフィルタ強度を対応付けるテーブルの一例を示す。図９は、離散化されたコントラストが０から３までの例で、コントラストが高くなるほど、ローパスフィルタの強度は大きくなる。信頼度算出部１０４は、このテーブルを参照して、ローパスフィルタの強度を決定する。離散化されたコントラストが０の場合、ローパスフィルタ処理は行われない。離散化されたコントラストが１の場合、ローパスフィルタの強度は弱い。離散化されたコントラストが２の場合、ローパスフィルタの強度は中程度である。離散化されたコントラストが３の場合、ローパスフィルタの強度は強い。

　第三実施形態によると、信頼度算出部は、基準画像の対象画素を含む基準領域（基準画像の算出領域）と、動き補償した参照画像内で前記基準領域に対応する参照領域（参照画像の算出領域）にローパスフィルタをかけ、ローパスフィルタをかけた後の基準領域と参照領域との間で相違度（又は類似度）を算出する。そして、コントラストの値が高いほどローパスフィルタの強度を強くすることで、ノイズや許容される範囲での動き補償誤差があっても、極端にＳＡＤなどの相違度が高くなる（類似度が極端に低くなる）のを避けることが可能となる。これにより、相違度（又は類似度）、ひいては信頼度から算出される合成比率に対する動き補償誤差の影響を抑えることができる。また、ローパスフィルタの強度を変更する構成であるため、実装が容易である。

　［その他の実施形態］
　上述した各実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、コンピュータに相当し、ＣＰＵと、画像データを記憶するＲＡＭ等の主記憶装置と、上記の画像処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶装置（又は非一時的な記憶媒体）とを備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、画像データの加工・演算処理を実行することにより、上述の画像処理部と同様の処理を実現させる。

　ここで、コンピュータ読み取り可能な記憶装置（又は非一時的な記録媒体）とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

　図１０のフローチャートは、画像処理装置（コンピュータ）が実行する画像処理プログラムを例示する。ステップＳ１００において、画像処理装置は、メモリカード等の記録媒体に記録された画像データ（動画の各フレーム）を読み取る。図１０のステップＳ１０１―Ｓ１０６で行われる処理は、それぞれ、図１の各部１０１－１０６が行う処理に対応する。

　以上説明した実施形態に限定されることなく、その技術的思想の範囲内において種々の変形や変更が可能であり、それらも本発明の技術的範囲に含まれることが明白である。

　本願は、２０１１年２月１６日に日本国特許庁に出願された特願２０１１－３１１１９に基づく優先権を主張し、これらの出願の全ての内容は参照により本明細書に組み込まれる。

Claims

　基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理装置であって、
　前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、
　前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償部と、
　前記基準画像における前記合成処理の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出部と、
　前記対象画素のコントラストの値に応じて、前記基準画像の対象画素と、前記動き補償した参照画像において前記対象画素に対応する対応画素との合成比率を算出する合成比率算出部と、
　前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成部と、を備える、
画像処理装置。
　前記画像処理装置は、前記対象画素のコントラストの値に応じて、前記対象画素について動き補償の信頼度を算出する信頼度算出部を備え、
　前記合成比率算出部は、前記信頼度に応じて前記合成比率を算出する、
請求項１に記載の画像処理装置。
　前記信頼度算出部は、
　前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域との間で相違度又は類似度を算出し、
　前記対象画素のコントラストの値に応じて、前記算出した相違度を小さくするように又は前記算出した類似度を大きくするように補正し、
　前記補正した相違度が小さいほど又は前記補正した類似度が大きいほど前記信頼度が高くなるように前記信頼度を計算する、
請求項２に記載の画像処理装置。
　前記信頼度算出部は、前記対象画素のコントラストの値が第一の閾値より高い場合、前記コントラストの値が高くなるほど相違度をより小さくするように又は類似度をより大きくするように補正する、
請求項３に記載の画像処理装置。
　前記信頼度算出部は、
　前記対象画素のコントラストの値が前記第一の閾値以下の場合、前記コントラストの値に依存しない第一の補正量で前記相違度又は前記類似度を補正する、
請求項４に記載の画像処理装置。
　前記信頼度算出部は、
　前記対象画素のコントラストの値が第一の閾値から第二の閾値の範囲内である場合、前記コントラストの値が高くなるほど相違度をより小さくするように又は類似度をより大きくするように補正し、
　前記対象画素のコントラスト値が前記第二の閾値以上である場合、前記コントラストの値に依存しない第二の補正量で相違度又は類似度を補正する、
請求項３に記載の画像処理装置。
　前記信頼度算出部は、
　前記対象画素のコントラストの値が高くなるほど、前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域のサイズを大きく設定し、
　前記基準領域と前記参照領域との間で相違度又は類似度を算出し、
　前記算出した相違度が小さいほど又は前記算出した類似度が大きいほど前記信頼度が高くなるように前記信頼度を計算する、
請求項２に記載の画像処理装置。
　前記信頼度算出部は、
　前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域にローパスフィルタをかけ、
　前記ローパスフィルタをかけた後の前記基準領域と前記参照領域との間で相違度又は類似度を算出し、
　前記算出した相違度が小さいほど又は前記算出した類似度が大きいほど前記信頼度が高くなるように前記信頼度を計算し、
　前記コントラストの値が高くなるほど前記ローパスフィルタの強度を強くする、
請求項２に記載の画像処理装置。
　前記コントラスト算出部は、
　前記対象画素を含む領域内において、前記領域内の輝度または明度の平均値と前記領域内の各画素の輝度または明度との差分の最大値を、前記対象画素のコントラストの値として算出する、
請求項１に記載の画像処理装置。
　前記コントラスト算出部は、
　前記対象画素を含む領域において、最も暗い画素と最も明るい画素の輝度または明度の差を、前記対象画素のコントラストの値として算出する、
請求項１に記載の画像処理装置。
　前記コントラスト算出部は、
　前記対象画素を含む領域における各画素のエッジ量を検出し、各エッジ量の合計を、前記対象画素のコントラスト値として算出する、
請求項１に記載の画像処理装置。
　請求項１に記載の画像処理装置を備える撮像装置。
　基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理方法であって、
　前記基準画像と前記参照画像との間の動きベクトルを算出することと、
　前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償することと、
　前記基準画像における前記合成処理の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出することと、
　前記対象画素のコントラストの値に応じて、前記基準画像の対象画素と、前記動き補償した参照画像において前記対象画素に対応する対応画素との合成比率を算出することと、
　前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成することと、を含む、
画像処理方法。
　基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理プログラムであって、
　前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、
　前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償手順と、
　前記基準画像における前記合成処理の対象画素のコントラストの値を、前記基準画像または前記参照画像から算出するコントラスト算出手順と、
　前記対象画素のコントラストの値に応じて、前記基準画像の対象画素と、前記動き補償した参照画像において前記対象画素に対応する対応画素との合成比率を算出する合成比率算出手順と、
　前記合成比率に基づいて、前記基準画像の対象画素と前記参照画像の対応画素を合成する合成手順と、をコンピュータに実行させる、
画像処理プログラム。