JP4980131B2 - ノイズ低減装置および方法並びにプログラム - Google Patents

Description

本発明は、画像にノイズを低減する処理を行うノイズ低減装置および方法、並びにノイズ低減方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラ等に用いられるＣＣＤは高画素化、高感度化の一途をたどっているが、高感度化に伴い、撮影により取得された画像に含まれるノイズの影響が問題となってきている。このため、画像に含まれるノイズを低減するための種々の手法が提案されている。例えば、画像の各画素におけるノイズ量を推定するとともに撮影状況を推定し、撮影状況に応じて推定されたノイズを補正し、補正したノイズ量に基づいて画像のノイズを低減する手法が提案されている（特許文献１参照）。また、ＣＣＤから出力されたＣＣＤ−ＲＡＷデータをＲＧＢ各色成分に分離し、色成分間における相関を保持しつつノイズ低減処理を行う手法も提案されている（特許文献２参照）。

ここで、特許文献２に記載された手法においては、画像における処理の対象となる対象画素および対象画素の周囲の所定範囲の領域における画素の信号値の平均値を、複数の色成分での色空間の原点位置となるように、対象画素の信号値のレベルをシフトし、シフトされた対象画素に対して、対象画素のノイズ量を表す統計値に基づいてノイズ低減処理の演算を行い、ノイズが低減された対象画素の信号値のレベルを、シフト分に応じて戻す処理を行う演算により、ノイズ低減処理を行っている。
特開２００４-８８１４９号公報 特開２００６−６０６６０号公報

しかしながら、上記特許文献２に記載された手法においては、対象画素の信号値および対象画素の周囲の所定範囲の領域の画素の信号値に基づいて、対象画素のノイズを表す統計値を算出し、この統計値を用いてノイズ低減の演算を行っている。このため、撮影感度が高感度となってノイズ量が多くなると、ノイズ低減の効果が大きくなりすぎて、画像に含まれるエッジや細かな模様がぼけてしまうおそれがある。

本発明は、上記事情に鑑みなされたものであり、とくにノイズが多い場合により適切にノイズ低減処理を行うことができるようにすることを目的とする。

本発明によるノイズ低減装置は、画像のノイズを低減する画像ノイズ低減手段を備えたノイズ低減装置において、
前記画像ノイズ低減手段は、前記画像における処理の対象となる対象画素および該対象画素の周囲の所定範囲の領域における画素の信号値の平均値が前記複数の色成分での色空間の原点位置となるように、前記対象画素の信号値のレベルをシフトし、該シフトされた前記対象画素に対してノイズ低減処理の演算を行い、前記ノイズが低減された前記対象画素の信号値のレベルを、前記シフト分に応じて戻す処理を行う演算手段と、
前記対象画素のノイズ量を推定し、前記対象画素の信号値および前記所定範囲の領域の画素の信号値に基づいて、前記対象画素のノイズを表す統計値を算出し、前記推定されたノイズ量および前記統計値を比較し、該比較結果に基づいて前記ノイズ低減処理の演算に前記推定されたノイズ量および前記統計値のいずれを使用するかを決定する判定手段とを備えたことを特徴とするものである。

なお、本発明によるノイズ低減装置においては、前記平均値を、前記所定範囲の領域における前記対象画素の信号値と該対象画素の周囲の所定範囲の領域に含まれる画素の信号値との比較結果に応じて、前記信号値の変化が比較的小さいグループに分類された画素における信号値の平均値としてもよい。

本発明によるノイズ低減方法は、画像のノイズを低減するノイズ低減方法において、
前記画像における処理の対象となる対象画素および該対象画素の周囲の所定範囲の領域における画素の信号値の平均値が前記複数の色成分での色空間の原点位置となるように、前記対象画素の信号値のレベルをシフトし、該シフトされた前記対象画素に対してノイズ低減処理の演算を行い、前記ノイズが低減された前記対象画素の信号値のレベルを、前記シフト分に応じて戻す処理を行うに際し、
前記対象画素のノイズ量を推定し、前記対象画素の信号値および前記所定範囲の領域の画素の信号値に基づいて、前記対象画素のノイズを表す統計値を算出し、前記推定されたノイズ量および前記統計値を比較し、該比較結果に基づいて前記ノイズ低減処理の演算に前記推定されたノイズ量および前記統計値のいずれを使用するかを決定することを特徴とするものである。

なお、本発明によるノイズ低減方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、画像における処理の対象となる対象画素および対象画素の周囲の所定範囲の領域における画素の信号値の平均値を、複数の色成分での色空間の原点位置となるように、対象画素の信号値のレベルをシフトし、シフトされた対象画素に対してノイズ低減処理の演算を行い、ノイズが低減された対象画素の信号値のレベルを、シフト分に応じて戻す処理を行うに際し、対象画素のノイズ量を推定し、対象画素の信号値および対象画素の周囲の所定範囲の領域の画素の信号値に基づいて、対象画素のノイズを表す統計値を算出し、推定されたノイズ量および統計値を比較し、比較結果に基づいてノイズ低減処理の演算にノイズ量および統計値のいずれを使用するかを決定するようにしたものである。

推定したノイズ量は、画像におけるノイズ量をあくまでも推定したものである。一方、統計値は、実際の信号値に基づいて算出される値であるため、推定されたノイズ量とは必ずしも一致しない。ここで、対象画素の周囲の所定範囲の領域にエッジや細かな模様が含まれている場合、統計値の値が大きくなるため、統計値のみを用いてノイズ低減の演算を行ったのでは、エッジや細かな模様がぼけてしまうおそれがある。また、推定したノイズ量と統計値とが略等しい場合には、実測した統計値を用いた方が適切にノイズ量を低減することができる。

本発明においては、推定されたノイズ量および統計値の比較結果に基づいてノイズ低減処理の演算にノイズ量および統計値のいずれを使用するかを決定しているため、エッジや細かな模様をぼかすことなく適切にノイズを低減することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態によるノイズ低減装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すようにこのデジタルカメラ１は、動作モードスイッチ、ズームレバー、上下左右ボタン、レリーズボタンおよび電源スイッチ等の操作系２と、操作系２の操作内容をＣＰＵ４０に伝えるためのインターフェース部分である操作系制御部３とを有している。

撮像系６としては、撮影レンズ１０を構成するフォーカスレンズ１０ａおよびズームレンズ１０ｂを有している。各々のレンズは、モータとモータドライバとからなるフォーカスレンズ駆動部１１およびズームレンズ駆動部１２によって光軸方向に移動可能である。フォーカスレンズ駆動部１１はＡＦ処理部３０から出力されるフォーカス駆動量データに基づいて、ズームレンズ駆動部１２はズームレバーの操作量データに基づいて、各々のレンズの移動を制御する。

また、絞り１４は、モータとモータドライバとからなる絞り駆動部１５によって駆動される。この絞り駆動部１５は、ＡＥ／ＡＷＢ処理部３１から出力される絞り値データに基づいて絞り径の調整を行う。

シャッタ１６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部１７によって駆動される。シャッタ駆動部１７は、レリーズボタンの押下により発生する信号と、ＡＥ／ＡＷＢ処理部３１から出力されるシャッタスピードデータとに応じて、シャッタ１６の開閉の制御を行う。

光学系の後方には撮像素子であるＣＣＤ１８を有している。ＣＣＤ１８は、多数の受光素子を２次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。

図２はＣＣＤ１８の受光面の一部を示す図である。図２に示すように、ＣＣＤ１８は、市松状に受光素子が配置されたハニカム配列のアレイ構造を有するものであり、例えば列方向に４０９６個、行方向に１５４０個の受光素子が配置されている。したがって、このＣＣＤ１８を用いて被写体を撮像することにより、列方向４０９６画素、行方向１５４０画素の被写体像を表す画像データが取得される。なお、受光素子のそれぞれから得られる信号値が画像の画素一つ一つの信号値に対応する。

また、ＣＣＤ１８の多数の受光素子の受光面上には、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイが配置されている。図２に示すように、カラーフィルタアレイは、赤色成分（Ｒ色成分）、青色成分（Ｂ色成分）、第１の緑色成分および第２の緑色成分（第１の緑色成分と第２の緑色成分とは同じ特性でもよい：Ｇ色成分）の複数の色成分のうち、いずれかの色成分を透過する特性を有する色フィルタが受光素子に対応して配置されている。赤色成分、青色成分、第１の緑色成分または第２の緑色成分を透過するフィルタにはそれぞれ、Ｒ，Ｂ，Ｇｒ，Ｇｂの文字が付与されている。

また、図２に示すように、奇数列の受光素子の受光面上には赤色の光成分を透過するフィルタと青色の光成分を透過するフィルタとが交互に形成されている。偶数列の受光素子の受光面上には第１の緑色の光成分を透過するフィルタと第２の緑色の光成分を透過するフィルタとが交互に形成されている。

なお、ＣＣＤ１８の受光素子としては、図２に示すハニカム配列のアレイ構造を有するもののみならず、図３に示すように正方状に画素が配置されたベイヤ配列のアレイ構造を有するＣＣＤも用いることができる。図３に示すベイヤ配列のＣＣＤにおいては、奇数列の受光素子の受光面上には赤色の光成分を透過するフィルタと第１の緑色の光成分を透過するフィルタとが交互に形成されている。偶数列の受光素子の受光面上には第２の緑色の光成分を透過するフィルタと青色の光成分を透過するフィルタとが交互に形成されている。

ＣＣＤ１８は、ＣＣＤ制御部１９から供給される垂直転送クロックおよび水平転送クロックに同期して、受光素子毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各受光素子において電荷を蓄積する時間、すなわち、露光時間は、ＣＣＤ制御部１９から与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ１８はＣＣＤ制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。

ＣＣＤ１８から取り込まれたアナログ撮影信号は、アナログ信号処理部２０に入力される。アナログ信号処理部２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。なお、アナログ信号処理部２０が行う処理をアナログ信号処理とする。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。すなわち、ＣＣＤ−ＲＡＷデータは、受光素子の受光面上に形成されている色フィルタにしたがった色成分をもつものが一行分ずつシリアルに現れるものである。ＣＣＤ−ＲＡＷデータにより表されるＣＣＤ−ＲＡＷ画像の画素は、赤色成分、青色成分、第１の緑色成分または第２の緑色成分のいずれか一つの色成分の信号値によって表され、他の色成分の信号値は有していない。他の色成分の信号値については後述する色補間処理によって補間される。

タイミングジェネレータ２１は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７、ＣＣＤ制御部１９、およびアナログ信号処理部２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、ＣＣＤ１８の電荷の取込み、およびアナログ信号処理部２０の処理の同期をとっている。

フラッシュ制御部２３は、撮影時にフラッシュ２４を発光させる。

画像入力コントローラ２５は、アナログ信号処理部２０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ２６に書き込む。

フレームメモリ２６は、画像データに対して後述の各種画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。

表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ２８に表示させたり、再生モード時に記録メディア３５に保存されている画像データをモニタ２８に表示させたりするためのものである。

ＡＦ処理部３０およびＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ４０がＣＣＤ１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。

ＡＦ処理部３０は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。

ＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいてＩＳＯ感度、絞り値およびシャッタスピード等を決定し、ＩＳＯ感度データ、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに（ＡＥ処理）、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。

図４は画像処理部３２の電気的構成を示すブロック図である。図４に示すように、画像処理部３２は、ノイズ低減部５０、オフセット補正部５１、ゲイン補正部５２、色補正部５３、ガンマ補正部５４および色補間処理部５５において、本画像のＣＣＤ−ＲＡＷデータに対して、ノイズ低減処理、オフセット補正処理、色補正処理、ガンマ補正処理およびＣＣＤ−ＲＡＷデータの各色成分を補間する色補間処理を行う。そして、ＹＣ処理部５６において色成分が補間されたＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。

なお、本実施形態の特徴はノイズ低減部５０において行われる処理にあるが、ノイズ低減部５０において行われる処理については後述する。

ここで本画像とは、レリーズボタンが全押しされることによって実行される本撮影によりＣＣＤ１８から取り込まれ、アナログ信号処理部２０、画像入力コントローラ２５経由でフレームメモリ２６に格納された画像データによる画像である。

圧縮／伸長処理部３３は、画像処理部３２によって処理が行われた本画像のＣＣＤ−ＲＡＷデータに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮／伸長処理部３３は、再生モードの場合には、記録メディア３５から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データはモニタ２８に出力され、画像データの画像が表示される。

メディア制御部３４は、記録メディア３５にアクセスして画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ３６は、デジタルカメラ１において設定される各種定数、およびＣＰＵ４０が実行するプログラム等を記憶する。

ＣＰＵ４０は、操作系２およびＡＦ処理部３０等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。

データバス４１は、各種処理部、フレームメモリ２６およびＣＰＵ４０等に接続されており、デジタル画像データおよび各種指示等のやり取りを行う。

本実施形態によるデジタルカメラ１は以上の構成により、撮影によりＣＣＤ１８が取得したＣＣＤ−ＲＡＷデータに対して画像処理部３２が画像処理を施し、さらに圧縮／伸長処理部３３が処理済みの画像データを圧縮し、さらにメディア制御部３４が圧縮された画像データを記録メディア３５に記録する。

次いで、本実施形態において行われるノイズ低減処理について詳細に説明する。図５は本実施形態におけるノイズ低減部５０の構成を示す概略ブロック図である。なお、本実施形態においては、ＣＣＤ−ＲＡＷデータの色成分のうち緑の色成分は、第１および第２の色成分Ｇｒ，Ｇｂからなるが、以降の説明においては色成分Ｇｒ，Ｇｂは同一の色成分として扱うものとする。図５に示すようにノイズ低減部５０は、入力されたＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂ）をＲＧＢ各色成分に分離して色成分画像Ｒ，Ｇ，Ｂを取得する第１の色成分分離部６１と、ＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂ）に対してプレフィルタリング処理（第１のノイズ低減処理）を施すプレフィルタリング部６２（第１のノイズ低減処理手段）と、プレフィルタリング処理後のＣＣＤ−ＲＡＷデータをＲＧＢそれぞれの色成分に分離して色成分画像ＲＬ，ＧＬ，ＢＬを取得する第２の色成分分離部６３と、色成分画像ＲＬ，ＧＬ，ＢＬに後述するように信号分類処理を施す信号分類部６４と、信号分類部６４による分類結果に基づいて、色成分画像Ｒ，Ｇ，Ｂに対してノイズ低減処理を施してノイズ低減処理済みの色成分画像Ｒｓ，Ｇｓ，Ｂｓを取得する処理部６５（画像ノイズ低減手段）と、色成分画像Ｒｓ，Ｇｓ，Ｂｓからノイズ低減処理済みのＣＣＤ−ＲＡＷデータ（ＣＣＤ−ＲＡＷ′）を生成する合成部６６とを備える。

以下、第１の色成分分離部６１、プレフィルタリング部６２、第２の色成分分離部６３、信号分類部６４および処理部６５の機能について、図６に示すフローチャートに基づいて説明する。上述したように本撮影が行われ、ＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂ）が画像処理部３２のノイズ低減部５０に入力されることにより処理が開始され、まず、第１の色成分分離部６１がＣＣＤ−ＲＡＷデータをＲＧＢ各色成分に分離して色成分画像Ｒ，Ｇ，Ｂを取得する（ステップＳＴ１）。一方、プレフィルタリング部６２がＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂ）に対してプレフィルタリング処理を施す（ステップＳＴ２）。

プレフィルタリング処理は、ＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂ）の画素配列にのみ基づき、各画素の色の分布を考慮することなく、処理対象となる対象画素および対象画素の周囲の画素に対してローパスフィルタによりフィルタリングを行う処理である。ここで、ローパスフィルタとしては、例えば処理対象となる対象画素および対象画素の周囲の４つの画素の信号値を平均または重みづけ平均するローパスフィルタを用いることができる。

なお、ＣＣＤ１８が図２に示すハニカム配列のアレイ構造を有する場合において、対象画素の色成分がＧであるとすると、プレフィルタリング処理は図７（ａ）、（ｂ）に示すように対象画素の右上、右下、左下および左上に位置するＢの色成分の画素の信号値およびＲの色成分の画素の信号値を用いたフィルタリング処理となる。また、対象画素の色成分がＲまたはＢであるとすると、プレフィルタリング処理は図７（ｃ）、（ｄ）に示すように対象画素の右上、右下、左下および左上に位置するＧの色成分の画素の信号値を用いたフィルタリング処理となる。

一方、ＣＣＤ１８が図３に示すベイヤ配列のアレイ構造を有する場合において、対象画素の色成分がＧであるとすると、プレフィルタリング処理は図８（ａ）、（ｂ）に示すように対象画素の上下左右に位置するＢの色成分の画素の信号値およびＲの色成分の画素の信号値を用いたフィルタリング処理となる。また、対象画素の色成分がＲまたはＢであるとすると、プレフィルタリング処理は図８（ｃ）、（ｄ）に示すように対象画素の上下左右に位置するＧの色成分の画素の信号値を用いたフィルタリング処理となる。

なお、ＣＣＤ１８がハニカム配列の場合のプレフィルタリング処理を下記の式（１）〜（３）に、ベイヤ配列の場合のプレフィルタリング処理を式（４）〜（６）に示す。なお、式（１）〜（６）において(0,0)は対象画素の座標を、(i,j)（ｉ，ｊ＝−１〜１、ｉは水平方向、ｊは垂直方向を表す）は対象画素の周囲の画素の座標をそれぞれ表す。またａはローパスフィルタのフィルタ係数である。また、式（２）は図７（ｂ）の処理に、式（５）は図８（ｂ）の処理にそれぞれ対応する。

RL_0,0=(a_-1,-1*G_-1,-1+a_-1,1*G_-1,1+a_1,-1*G_1,-1+a_1,1*G_1,1+a_0,0*R_0,0)/(a_-1,-1+a_-1,1+a_1,-1+a_1,1+a_0,0) (1)
GL_0,0=(a_-1,-1*R_-1,-1+a_-1,1*B_-1,1+a_1,-1*B_1,-1+a_1,1*R_1,1+a_0,0*G_0,0)/(a_-1,-1+a_-1,1+a_1,-1+a_1,1+a_0,0) (2)
BL_0,0=(a_-1,-1*G_-1,-1+a_-1,1*G_-1,1+a_1,-1*G_1,-1+a_1,1*G_1,1+a_0,0*B_0,0)/(a_-1,-1+a_-1,1+a_1,-1+a_1,1+a_0,0) (3)
RL_0,0=(a_-1,0*G_-1,0+a_0,-1*G_0,-1+a_1,0*G_1,0+a_0,1*G_0,1+a_0,0*R_0,0)/(a_-1,0+a_0,-1+a_1,0+a_0,1+a_0,0) (4)
GL_0,0=(a_-1,0*B_-1,0+a_0,-1*R_0,-1+a_1,0*B_1,0+a_0,1*R_0,1+a_0,0*G_0,0)/(a_-1,0+a_0,-1+a_1,0+a_0,1+a_0,0) (5)
BL_0,0=(a_-1,0*G_-1,0+a_0,-1*G_0,-1+a_1,0*G_1,0+a_0,1*G_0,1+a_0,0*B_0,0)/(a_-1,0+a_0,-1+a_1,0+a_0,1+a_0,0) (6)
このようにプレフィルタリング処理を行うことにより、ＣＣＤ−ＲＡＷデータに含まれるランダムなノイズをある程度低減することができることとなる。

なお、本実施形態においては、色補間処理を行う前のＣＣＤ−ＲＡＷデータに対してプレフィルタリング処理を施しているが、これはＣＣＤ−ＲＡＷデータに含まれるノイズの空間的なランダム性が保たれているからである。すなわち、ＣＣＤ−ＲＡＷデータに色補間処理を施した後では、各色成分画像においてノイズのランダム性が失われてしまうため、プレフィルタリング処理を行ってもノイズを低減することができない。したがって、本実施形態においては、色補間処理を行う前にプレフィルタリング処理を行っているものである。

次いで、第２の色成分分離部３がＣＣＤ−ＲＡＷデータ（ＲＬ，ＧＬ，ＢＬ）をＲＧＢ各色成分からなる色成分画像ＲＬ，ＧＬ，ＢＬに分離する（ステップＳＴ３）。

図９は色成分の分離を説明するための図である。本実施形態においてはＣＣＤ−ＲＡＷデータ（ＲＬ，ＧＬ，ＢＬ）によって表される画像の画素配列が、ＲＧＢ各色成分のみからなる画像を表すようにＣＣＤ−ＲＡＷデータが各色成分に分離されて色成分画像ＲＬ，ＧＬ，ＢＬが取得される。

そして、信号分類部６４が信号分類処理を行う。信号分類処理は、各色成分画像ＲＬ，ＧＬ，ＢＬの列方向および行方向にそれぞれ９×９＝８１画素のノイズ低減の処理対象領域ＢＡを設定し、処理対象領域ＢＡ内の各画素の信号値に基づいて処理対象領域ＢＡの全画素を、信号値の変化が小さい平坦部および信号値の変化が大きい信号部に分類する処理である。なお、処理対象領域ＢＡのサイズは８１画素に限定されるものではない。

図１０は信号分類処理のフローチャートである。なお、色成分画像ＲＬ，ＧＬ，ＢＬに対する信号分類処理は同一であるため、ここでは緑の色成分画像ＧＬに対する信号分離処理についてのみ説明する。信号分類処理の対象となる対象画素を最初の画素に設定し（ステップＳＴ１１）、対象画素を中心とする９×９＝８１画素の処理対象領域ＢＡ内において、処理対象領域ＢＡ内の一の画素（判定対象画素）(i,j)を最初の画素に設定し（ステップＳＴ１２）、判定対象画素(i,j)の信号値ＧＬ(i,j)と処理対象領域ＢＡの中央にある対象画素(5,5)の信号値ＧＬ(5,5)との差の絶対値｜ＧＬ(i,j)−ＧＬ(5,5)｜が、所定の領域判定しきい値Ｔｈ１を超えるか否かを判定する（ステップＳＴ１３）。なお、処理対象領域ＢＡの座標は左上隅を(1,1)としている。また、差の絶対値｜ＧＬ(i,j)−ＧＬ(5,5)｜に代えて、信号値ＧＬ(i,j)と信号値ＧＬ(5,5)との比率を用いてもよい。

ステップＳＴ１３が否定されると、判定対象画素(i,j)は対象画素(5,5)との間で相関性を有すると考えられるため、判定対象画素(i,j)を信号値の変化が小さい平坦部のグループに分類し（ステップＳＴ１４）、平坦部のグループに分類された画素の数ｋのカウントを１増やす（ステップＳＴ１５）。なお、ｋの初期値は対象画素(5,5)が基準となることから１である。

一方、ステップＳＴ１３が肯定されると、判定対象画素(i,j)は中央の対象画素(5,5)との間で相関性を有しないと考えられるため、判定対象画素(i,j)を平坦部のグループではなく、対象画素(5,5)との信号値の差が大きい信号部に分類する（ステップＳＴ１６）。

ステップＳＴ１５，ＳＴ１６に続いて、処理対象領域ＢＡ内のすべての画素について分類を終了したか否かを判定し（ステップＳＴ１７）、ステップＳＴ１７が否定されると、判定対象画素を次の画素に設定し（ステップＳＴ１８）、ステップＳＴ１３に戻ってステップＳＴ１３以降の処理を繰り返す。

これにより、図１１（ａ）に示す９×９＝８１画素の処理対象領域ＢＡが、図１１（ｂ）に示すように中央の対象画素（斜線を付与して示す）を基準とした太線で囲んだ平坦部とそれ以外の信号部とに分類される。なお、図１１（ｂ）に示す平坦部の画素数は５６である。なお、平坦部に分類された画素については平坦部であることを表すために、色成分画像ＲＬ，ＧＬ，ＢＬおよび色成分画像Ｒ，Ｇ，Ｂにおいて参照符号をＭＧとしている。なお、色成分画像ＲＬ，ＢＬにおいて平坦部に分類された画素については参照符号をＭＲ，ＭＢとする。また、平坦部に分類された画素の信号値についても参照符号ＭＲ，ＭＧ，ＭＢを用いる場合があるものとする。

そして、ステップＳＴ１７が肯定されると、処理対象領域ＢＡ内において、平坦部のグループに分類された画素ＭＧの数ｋが所定の処理判定しきい値Ｔｈ２を超えるか否かを判定する（ステップＳＴ１９）。ステップＳＴ１９が肯定されると、対象画素を後段のノイズ低減処理の対象に設定し（ステップＳＴ２０）、処理対象領域ＢＡ内における平坦部の画素ＭＧの位置およびｋを出力する（ステップＳＴ２１）。一方、ステップＳＴ１９が否定されると、対象画素をノイズ低減処理の対象から除外する（ステップＳＴ２２）。

ここで、対象画素の周囲の処理対象領域ＢＡ内において信号値の変化が小さい場合には、ｋの値は比較的大きくなりしきい値Ｔｈ２を超えるため、対象画素はノイズが目立つ平坦部に存在する可能性が高いことから、ノイズ低減処理の対象に設定される。逆に対象画素の周囲の処理対象領域ＢＡ内において、エッジや細かな模様が存在すると信号値の変化が大きくなるため、ｋの値は比較的小さくなりしきい値Ｔｈ２以下となる。このような場合、対象画素に対してノイズ低減処理を施すとエッジや細かな模様がぼけてしまうことから、対象画素はノイズ低減処理の対象から除外される。

ステップＳＴ２１，ＳＴ２２に続いて、色成分画像ＧＬのすべての画素について分類を終了したか否かを判定し（ステップＳＴ２３）、ステップＳＴ２３が否定されると、対象画素を次の画素に設定し（ステップＳＴ２４）、ステップＳＴ１２に戻り、ステップＳＴ１２以降の処理を繰り返す。ステップＳＴ２３が肯定されると、信号分類処理を終了する。

図６に戻り、信号分類処理に続いて処理部６５が色成分画像Ｒ，Ｇ，Ｂに対してノイズ低減処理を施す（ステップＳＴ５）。図１２はノイズ低減処理のフローチャートである。なお、色成分画像Ｒ，Ｇ，Ｂに対するノイズ低減処理は同一であるため、ここでは緑の色成分画像Ｇに対するノイズ低減処理についてのみ説明する。ノイズ低減処理の対象となる対象画素を最初の画素に設定し（ステップＳＴ３１）、対象画素が上記信号分類処理によりノイズ低減処理の対象に設定されているか否かを判定する（ステップＳＴ３２）。ステップＳＴ３２が否定されると後述するステップＳＴ３９に進む。

ステップＳＴ３２が肯定されると、下記の式（７）および（８）により、信号分類処理と同様のサイズを有する処理対象領域ＢＡ内における平坦部に分類された画素ＭＧの信号値の平均値ＭＧｍを算出するとともに（ステップＳＴ３３）、処理対象領域ＢＡ内の信号値に基づくノイズ量を表す分散値（ノイズを表す統計値）σ² _MGを算出する（ステップＳＴ３４）。

なお、式（７）において、ｗijは信号値ＭＧ(i,j)に対する重み係数を示す。また、式（７）、（８）においてΣはｋ個の信号値ＭＧ(i,j)をすべて加算することを示している。また、式（７）、（８）において算出しているのは色成分画像Ｇの平均値および分散値であり、色成分画像ＧＬの平均値および分散値ではない。

一方、処理部６５は、ステップＳＴ３３において算出した平均値ＭＧｍを用いて、処理対象領域ＢＡ内のノイズ量を推定する（ステップＳＴ３５）。具体的には、下記の式（９）に示すように、推定されたノイズ量を表すノイズ分散値σ² _nMGを算出する。ここで、式（９）において、Ａ，Ｂ，ＣはＣＣＤ１８に固有のダークノイズ、光ショットノイズおよび固定パターンノイズにより決定される係数である。また、式（９）のoffsetとは、ＣＣＤ１８のオフセット値である。なお、式（８）により算出した分散値σ² _MGについては、式（９）により算出したノイズ分散値σ² _nMGと区別するために、信号分散値と称するものとする。

次いで、処理部６５は信号分散値σ² _MGに対するノイズ分散値σ² _nMGの比率σ² _MG／σ² _nMGが所定のしきい値Ｔｈ３未満であるか否かを判定する（ステップＳＴ３６）。ここで、上述した信号分類処理が適切に行われていれば、信号分散値σ² _MGとノイズ分散値σ² _nMGとは略等しくなるため、上記比率σ² _MG／σ² _nMGは１に近い値となる。一方、上述した信号分類処理においては、プレフィルタリング処理によりある程度ノイズが低減された色成分画像ＲＬ，ＧＬ，ＢＬを用いているため、信号分類処理により対象画素が平坦部に分類された場合であっても、プレフィルタリング処理が施されていないノイズ低減処理の対象となっている色成分画像Ｒ，Ｇ，Ｂにはエッジや細かな模様が含まれている可能性がある。このような場合、信号分散値σ² _MGはノイズ分散値σ² _nMGよりも大きくなるため、上記比率σ² _MG／σ² _nMGは大きくなる。

このため、ステップＳＴ３６が肯定された場合、対象画素は平坦部にあるとみなせることから、下記の式（１０）においてσ^２ _ＸＧ＝信号分散値σ² _MGとして対象画素のノイズを低減する（ステップＳＴ３７）。一方、ステップＳＴ３６が否定された場合、対象画素は信号部である可能性が高いため、下記の式（１０）においてσ^２ _ＸＧ＝ノイズ分散値σ² _nMGとして対象画素のノイズを低減する（ステップＳＴ３８）。なお、式（１０）において、αはノイズ低減の程度を決定するための係数であり、０≦α≦１である。

式（１０）において、対象画素の画素値Ｇから平均値ＭＧｍを減算することにより、処理対象領域ＢＡ内の画素の信号値がＧの色成分を座標系にもつ色空間の原点位置にシフトされ、シフトされた対象画素に対して（σ^２ _ＭＧ−α・σ^２ _ＸＧ）／σ^２ _ＭＧが乗算される。そして、乗算後に平均値ＭＧｍを加算することにより、対象画素の信号値が元の信号値に相当するレベルに戻される。ここで、（σ^２ _ＭＧ−α・σ^２ _ＸＧ）／σ^２ _ＭＧは０〜１の間の値をとるため、処理済みの対象画素の画素値Ｇｓは処理前の画素値Ｇと平均値ＭＧｍとの間の値をとることとなる。

したがって、例えばα＝１であるとすると、比率σ² _MG／σ² _nMGが所定のしきい値Ｔｈ３未満である場合、σ^２ _ＸＧ＝信号分散値σ² _MGとなって、（σ^２ _ＭＧ−α・σ^２ _ＸＧ）／σ^２ _ＭＧは０となるため、処理済みの対象画素の信号値Ｇｓは平均値ＭＧｍとなる。一方、比率σ² _MG／σ² _nMGが所定のしきい値Ｔｈ３以上である場合、σ^２ _ＸＧ＝ノイズ分散値σ² _nMGとなり、σ² _MG＞＞σ² _nMGであることから（σ^２ _ＭＧ−α・σ^２ _ＸＧ）／σ^２ _ＭＧはより１に近い値となるため、処理済みの対象画素の信号値Ｇｓは処理前の信号値Ｇにより近い値となる。

次いで、すべての画素についてノイズ低減処理を終了したか否かを判定し（ステップＳＴ３９）、ステップＳＴ３９が否定されると対象を次の画素に設定し（ステップＳＴ４０）、ステップＳＴ３２に戻りステップＳＴ３２以降の処理を繰り返す。ステップＳＴ３９が肯定されるとノイズ低減処理を終了する。

図６に戻り、合成部６６が処理済みの色成分画像Ｒｓ，Ｇｓ，Ｂｓを合成して処理済みのＣＣＤ−ＲＡＷデータ（ＣＣＤ−ＲＡＷ′）を生成し（ステップＳＴ６）、ノイズ低減処理を終了する。ノイズ低減処理済みのＣＣＤ−ＲＡＷデータは、オフセット補正部５１、ゲイン補正部５２、色補正部５３、ガンマ補正部５４および色補間処理部５５において、オフセット補正処理、色補正処理、ガンマ補正処理およびＣＣＤ−ＲＡＷデータの各色成分を補間する色補間処理が施される。そして、ＹＣ処理部５６において色成分が補間されたＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換される。

そして、圧縮／伸長処理部３３が、画像処理部３２によって処理が行われたＣＣＤ−ＲＡＷデータに対して、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。生成された画像ファイルはメディア制御部３４により記録メディア３５に記録される。

このように、本実施形態においては、信号分離処理を行うに際し、ＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂ）に対してプレフィルタリング処理を施してある程度のノイズを低減するようにしたものである。ここで、プレフィルタリング処理を行うことなく、処理対象領域ＢＡ内の画素を平坦部および信号部に分類することもできる。しかしながら、ＣＣＤ−ＲＡＷデータにより表されるＣＣＤ−ＲＡＷ画像にノイズが多く含まれていると、各色成分画像Ｒ，Ｇ，Ｂにおける処理の対象となる対象画素の信号値と処理対象領域ＢＡの各画素の信号値とを比較した場合に、ノイズの影響により比較結果に差異が生じないことから、処理対象領域ＢＡの画素を平坦部および信号部に精度良く分類することができない。とくに、高感度で撮影を行うことにより取得したＣＣＤ−ＲＡＷ画像には非常に多くのノイズが含まれるため、平坦部および信号部への分類がより困難なものとなる。

本実施形態においては、ＣＣＤ−ＲＡＷデータに対してプレフィルタリング処理を施すようにしたため、高感度撮影のようにＣＣＤ−ＲＡＷ画像にノイズが多く含まれる場合であっても、ＣＣＤ−ＲＡＷデータから取得した色成分画像Ｒ，Ｇ，Ｂに含まれるノイズを低減することができる。したがって、ノイズに影響されることなく、精度良く処理対象領域ＢＡ内の画素を平坦部および信号部に分類することができる。

また、ＣＣＤ−ＲＡＷデータに対して、画素配列にのみ基づく、すなわち色成分の分布を考慮することなくプレフィルタリング処理を行っているため、実質的に画像に含まれる色成分のそれぞれが有するナイキスト周波数以上の帯域においてノイズが低減されることとなる。したがって、プレフィルタリング処理が施された画像においては若干ボケが生じるものの、色成分毎に分離することにより取得される色成分画像ＲＬ，ＧＬ，ＢＬにおいてはボケが少なくなるため、ボケに影響されることなく処理対象領域ＢＡ内の画素を比較結果に応じて平坦部および信号部に分類することができる。

ところで、画像の平坦部においては信号の変化がないまたは非常に少ないため、対象画素が平坦部に分類された場合、信号分散値σ² _MGはノイズの分散を表すものとなることから、信号分散値σ² _MGとノイズ分散値σ² _nMGとは理想的には一致する。しかしながら、ノイズ分散値σ² _nMGは上述した式（９）により算出したノイズ量を推定した値であるのに対し、信号分散値σ² _MGは、実際の信号値に基づいて画像上のある限られた範囲において算出される分散値であるため、画像上において信号分散値σ² _MGとノイズ分散値σ² _nMGとが一致しない部分が生じる場合がある。このような場合、ノイズ分散値σ² _nMGのみを用いて上記式（１０）の演算によりノイズ低減処理を行うと、信号分散値σ² _MGとノイズ分散値σ² _nMGとが一致しない部分の影響により、画像の平坦部に斑が生じてしまうおそれがある。

一方、上述した信号分類処理においては、プレフィルタリング処理によりある程度ノイズが低減された色成分画像ＲＬ，ＧＬ，ＢＬを用いているため、信号分類処理により対象画素が平坦部に分類された場合であっても、プレフィルタリング処理が施されていないノイズ低減処理の対象となっている色成分画像Ｒ，Ｇ，Ｂにはエッジや細かな模様が含まれている可能性がある。このような場合、信号分散値σ² _MGの値が大きくなるため、信号分散値σ² _MGのみを用いて式（１０）の演算を行ったのでは、エッジや細かな模様がぼけてしまうおそれがある。

ここで、信号分散値σ² _MGとノイズ分散値σ² _nMGとが略等しい、すなわち推定されたノイズ量と実測したノイズ量とが略等しい場合には、上記比率σ² _MG／σ² _nMGは１に近い値となる。この場合、本実施形態においては、対象画素は平坦部にあると見なして実測したノイズ量すなわち信号分散値σ² _MGを用いて式（１０）の演算を行っているため、斑を生じさせることなく平坦部のノイズを適切に低減することができる。一方、プレフィルタリング処理の影響によりノイズが低減されすぎてしまうと、信号分散値σ² _MGはノイズ分散値σ² _nMGよりも大きくなるため、上記比率σ² _MG／σ² _nMGは大きくなる。この場合、信号分散値σ² _MGとノイズ分散値σ² _nMGとの比率σ² _MG／σ² _nMGはしきい値Ｔｈ３以上となり、対象画素は信号部にあると見なせるため、式（１０）においてσ^２ _ＸＧ＝ノイズ分散値σ² _nMGとすることにより、エッジや細かな模様がぼけることがなくなる。したがって、エッジや細かな模様をぼかすことなく、さらには平坦部に斑を生じさせることなくノイズを低減することができる。

また、信号分類処理において、信号部に分類された画素についてはノイズ低減処理の対象から除外しているため、エッジや細かな模様をぼかすことなくノイズを低減することができる。

なお、上記実施形態においては、判定対象画素(i,j)の信号値と中央の対象画素(5,5)の信号値との差の絶対値｜ＧＬ(i,j)−ＧＬ(5,5)｜が、所定の領域判定しきい値Ｔｈ１を超えるか否かを判定しているが、例えば、２つのしきい値Ｔｈ１、Ｔｈ１′（Ｔｈ１＞Ｔｈ１′）を設定し、差の絶対値｜ＧＬ(i,j)−ＧＬ(5,5)｜がＴｈ１′未満であるか、Ｔｈ１′以上Ｔｈ１未満であるか、あるいはＴｈ１を超えるか否かを判定して、判定対象画素ＧＬ(i,j)を複数のグループに分類するようにしてもよい。具体的には、｜ＧＬ(i,j)−ＧＬ(5,5)｜＜Ｔｈ１′の場合には判定対象画素ＧＬ(i,j)を平坦部のグループに、Ｔｈ１′≦｜ＧＬ(i,j)−ＧＬ(5,5)｜＜Ｔｈ１の場合には、平坦部と信号部との中間のグループに、Ｔｈ１＜｜ＧＬ(i,j)−ＧＬ(5,5)｜の場合には信号部のグループに分類するようにしてもよい。この場合、平坦部に分類された画素の数ｋのカウントは、中間のグループに分類された画素についてはｋ＝１／２とみなしてｋのカウントに加えればよい。

また、上記実施形態においては、信号分類部６４において色成分画像ＲＬ，ＧＬ，ＢＬの全画素について分類を行った後に処理部６５においてノイズ低減処理を行っているが、信号分類部６４における信号分類処理の結果を順次出力して、処理部６５において対象画素に対して順次ノイズ低減処理を行うようにしてもよい。

また、上記実施形態においては、信号分類処理の分類結果に応じてノイズ低減処理を行っているが、信号分類処理を行うことなく、色成分画像Ｒ，Ｇ，Ｂに対して処理部６５においてノイズ低減処理を行うようにしてもよい。この場合、平均値ＭＧｍ、信号分散値σ² _MGおよびノイズ分散値σ² _nMGは、処理対象領域ＢＡ内のすべての画素の信号値を用いて算出すればよい。

また、上記実施形態においては、ノイズ低減処理において、信号分散値σ² _MGに対するノイズ分散値σ² _nMGの比率σ² _MG／σ² _nMGに応じて、式（１０）に信号分散値σ² _MGおよびノイズ分散値σ² _nMGのいずれを使用するかを決定してるが、信号分散値σ² _MGとノイズ分散値σ² _nMGとの差または差の絶対値に応じて、式（１０）に信号分散値σ² _MGおよびノイズ分散値σ² _nMGのいずれを使用するかを決定するようにしてもよい。

以上、本発明のノイズ低減装置の実施形態をデジタルカメラに適用しているが、デジタルカメラにより取得されたＣＣＤ−ＲＡＷデータに対して、上記と同様にノイズ低減処理を行うノイズ低減装置のみを提供してもよい。また、コンピュータを、上記のプレフィルタリング部６２、色成分分離部７３、信号分類部６４および処理部６５に対応する手段として機能させ、図６，１０，１２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の実施形態によるノイズ低減装置を適用したデジタルカメラの構成を示す概略ブロック図 ＣＣＤの受光面の一部を示す図（ハニカム配列） ＣＣＤの受光面の一部を示す図（ベイヤ配列） 画像処理部の電気的構成を示すブロック図 本実施形態におけるノイズ低減部の構成を示す概略ブロック図 本実施形態において行われる処理を示すフローチャート ハニカム配列のアレイ構造を有するＣＣＤに対するプレフィルタリング処理を説明するための図 ベイヤ配列のアレイ構造を有するＣＣＤに対するプレフィルタリング処理を説明するための図 色成分の分離を説明するための図 信号分類処理のフローチャート 信号分類処理を説明するための図 ノイズ低減処理のフローチャート

符号の説明

１ デジタルカメラ
３２ 画像処理部
５０ ノイズ低減部
６１ 第１の色成分分離部
６２ プレフィルタリング部
６３ 第２の色成分分離部
６４ 信号分類部
６５ 処理部
６６ 合成部

Claims (4)

1. 画像のノイズを低減する画像ノイズ低減手段を備えたノイズ低減装置において、
   前記画像ノイズ低減手段は、前記画像における処理の対象となる対象画素および該対象画素の周囲の所定範囲の領域における画素の信号値の平均値が複数の色成分での色空間の原点位置となるように、前記対象画素の信号値のレベルをシフトし、該シフトされた前記対象画素に対してノイズ低減処理の演算を行い、前記ノイズが低減された前記対象画素の信号値のレベルを、前記シフト分に応じて戻す処理を行う演算手段と、
   前記画像を取得した撮像素子に固有の係数に応じて前記対象画素のノイズ量を推定し、前記対象画素の信号値および前記所定範囲の領域の画素の信号値に基づいて、前記対象画素のノイズを表す統計値を算出し、前記推定されたノイズ量および前記統計値を比較し、該比較結果に基づいて前記ノイズ低減処理の演算に前記推定されたノイズ量および前記統計値のいずれを使用するかを決定する判定手段とを備えたことを特徴とするノイズ低減装置。
2. 前記平均値は、前記所定範囲の領域における前記対象画素の信号値と該対象画素の周囲の所定範囲の領域に含まれる画素の信号値との比較結果に応じて、前記信号値の変化が比較的小さいグループに分類された画素における信号値の平均値であることを特徴とする請求項１記載のノイズ低減装置。
3. 画像のノイズを低減するノイズ低減方法において、
   前記画像における処理の対象となる対象画素および該対象画素の周囲の所定範囲の領域における画素の信号値の平均値が複数の色成分での色空間の原点位置となるように、前記対象画素の信号値のレベルをシフトし、該シフトされた前記対象画素に対してノイズ低減処理の演算を行い、前記ノイズが低減された前記対象画素の信号値のレベルを、前記シフト分に応じて戻す処理を行うに際し、
   前記画像を取得した撮像素子に固有の係数に応じて前記対象画素のノイズ量を推定し、前記対象画素の信号値および前記所定範囲の領域の画素の信号値に基づいて、前記対象画素のノイズを表す統計値を算出し、前記推定されたノイズ量および前記統計値を比較し、該比較結果に基づいて前記ノイズ低減処理の演算に前記推定されたノイズ量および前記統計値のいずれを使用するかを決定することを特徴とするノイズ低減方法。
4. 画像のノイズを低減するノイズ低減方法をコンピュータに実行させるためのプログラムにおいて、
   前記画像における処理の対象となる対象画素および該対象画素の周囲の所定範囲の領域における画素の信号値の平均値が複数の色成分での色空間の原点位置となるように、前記対象画素の信号値のレベルをシフトし、該シフトされた前記対象画素に対してノイズ低減処理の演算を行い、前記ノイズが低減された前記対象画素の信号値のレベルを、前記シフト分に応じて戻す処理を行うに際し、
   前記画像を取得した撮像素子に固有の係数に応じて前記対象画素のノイズ量を推定し、前記対象画素の信号値および前記所定範囲の領域の画素の信号値に基づいて、前記対象画素のノイズを表す統計値を算出し、前記推定されたノイズ量および前記統計値を比較し、該比較結果に基づいて前記ノイズ低減処理の演算に前記推定されたノイズ量および前記統計値のいずれを使用するかを決定する手順を有することを特徴とするプログラム。

Images