JP2018166331A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】ｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法において、参照画素が着目画素と一致する場合にブロックが完全に一致してしまう事に起因し、ノイズ低減効果あるいはエッジの保存性が十分でない。【解決手段】着目画素に対する着目領域と複数の参照領域との情報を取得する。この取得した情報から、着目領域が参照領域のいずれかと一致するかを判定する。この判定結果に応じて、着目領域と参照領域との類似度に基づく重みの導出方法を切り替える。【選択図】図５

Description

本発明は、撮像した画像データのノイズを低減する画像処理装置、画像処理方法、およびプログラムに関する。

より暗いシーン、あるいはより速いものを撮像するために、カメラを従来よりもさらに高感度にする事が望まれている。しかしながら、カメラの感度を上げるとノイズが増えるため、ノイズをより強く低減させるノイズ低減処理が必要となる。単純なノイズ低減処理を施すと解像感が低下するため、エッジやテクスチャを保存しつつノイズを低減する技術が必要とされている。そのようなエッジを保存するノイズ低減技術の一般的な手法は、ノイズを低減しようとしている着目画素とその周辺の参照画素との類似度を求め、その類似度に応じて重みを決定して重み付き平均を計算してノイズを低減するものである。たとえばバイラテラルフィルタと呼ばれる技術は着目画素と参照画素との画素値の差、および着目画素と参照画素との画像上での距離に基づいて算出される類似度に応じて重みが決定される（非特許文献１）。また、さらに精度の高いノイズ低減処理とされているｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法と呼ばれる技術では、着目画素と参照画素との類似度の計算にブロックマッチングが用いられている（非特許文献２）。

"Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ"， Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ８３６-８４６， （１９９８） "Ａ ｎｏｎ ｌｏｃａｌ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｉｍａｇｅ ｄｅｎｏｉｓｉｎｇ" ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２００５， Ｖｏｌ． ２， ６０−６５， （２００５）

しかしながらｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法において、参照画素として着目画素と同じ領域が設定された場合にブロックが完全に一致してしまう事に起因し、ノイズ低減効果が十分でないという課題がある。

画像に対してノイズ低減処理をする画像処理装置であって、前記画像における複数の画素それぞれに対する重みを出力する出力手段と、前記複数の画素の画素値とそれぞれに対応する重みとを用いた重み付き演算を実行することにより前記画像における着目画素のノイズ低減処理した画素値を導出する導出手段と、を有し、前記出力手段は、前記着目画素以外の画素に対して、前記着目画素を含む着目領域に対する類似度が高い領域に対応する画素に対して大きい値が重みとして決定される重み決定方法に従って決定された重みを出力し、前記導出手段は、前記重み決定方法に応じた重みよりも小さい値を前記着目画素に対する重みとして前記重み付き演算を実行するか、または、前記着目画素以外の画素の画素値と前記重み決定方法に応じて決定されたそれぞれの重みとを用いて前記重み付き演算を実行することによって、前記着目画素のノイズ低減処理した画素値を導出する画像処理装置。

本発明により、参照画素が着目画素に一致する場合の類似度と重みとを適切に調節する事が可能となり、より良好なノイズ低減画像を得る事ができる。

画像処理装置の構成を示すブロック図である。 着目画素、着目領域、参照画素、参照領域の関係を説明する図である。 着目領域と参照領域の差分二乗和をノイズ分散の２倍で割った値が従う確率分布の例を示す図である。 実施例１の画像処理装置のブロック図である。 実施例１における処理の流れを示すフローチャートである。 実施例２で使用する類似度を重みに変換する関数の例である。 実施例２の画像処理装置のブロック図である。 実施例２における処理の流れを示すフローチャート図である。 実施例３の画像処理装置のブロック図である。 実施例３における処理の流れを示すフローチャート図である。 実施例４の画像処理装置のブロック図である。 実施例４における処理の流れを示すフローチャート図である。

以下、図面を参照して発明を実施するための形態について説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

本実施例における画像処理装置の構成について、図１を参照して説明する。

図１において、画像処理装置はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、メインバス１０９を備える。汎用Ｉ／Ｆはカメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、メモリーカードなどの外部メモリ１０７をメインバス１０９に接続する。

以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。

まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮像された画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータはＣＰＵ１０１からの指令に基づき各種演算を行う。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３、外部メモリ１０７に格納したりする。

上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションにノイズ低減の対象となる画像データを入力し、ノイズ低減処理を行う処理の詳細について説明する。まず、従来技術であるｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法の処理について説明する。その後、本実施例において注目する、参照画素が着目画素と一致する場合の処理における問題について述べる。そしてその問題を解決する手法の説明を行う。

＜Ｎｏｎ Ｌｏｃａｌ ｍｅａｎｓ法の説明＞
撮像で得られる画像データは、ノイズのない本来の値であるシグナル成分にノイズ成分が加わったものである。理想的なノイズ低減処理は、シグナル成分が同じである画素の画素値の平均を計算する事である。これによりシグナル成分はそのままに、ノイズ成分の標準偏差が低下してノイズ低減された画像データが得られる。ただし、撮像で得られる画像データにはノイズがあるために本来のシグナル成分が同じである画素がどれであるかは正確には分かり得ない。しかしながら、何らかの類似度を基に尤もらしい画素を選択して平均するか、又は平均の計算に類似度に応じた重みを持たせる事で、シグナル成分が同じである画素の画素値の平均を計算することに近い処理を行うことができる。それゆえ重み付き平均を計算する処理（重み付き平均処理）は、画像処理におけるノイズ低減処理の一般形となっている。以下、ノイズ低減をしようと着目している画素を着目画素とよび、平均計算に用いようとしている複数の画素のそれぞれを参照画素とよぶ。このとき、重み付き平均の式は以下のようになる。

ここで、Ｎｒは参照画素数である。左辺のＩｉ，ｎｅｗはｉ番目の着目画素のノイズ低減処理後の画素値である。Σは複数ある参照画素を識別するインデックスｊについて和を取ることを意味し、Ｉｊはｊ番目の参照画素の画素値、ｗｉｊはｉ番目の着目画素に対するｊ番目の参照画素の重みである。分母は重みの和が１となるように規格化を行うものである。Ｎｏｎ−ｌｏｃａｌｍｅａｎｓ法では、着目画素と参照画素との類似度の計算にブロックマッチングを取り入れている。すなわち、図２に示すように、まず着目画素の周辺の領域を着目領域と定義し、同様に各参照画素の周辺の領域を参照領域と定義する。着目領域は着目画素群と、参照領域は参照画素群とも称する。この際、着目領域は必ずしも着目画素を含む必要はなく、各参照領域も必ずしも各参照画素を含む必要はない。着目領域と参照領域とは同じサイズの領域を用意する。また、着目領域と参照領域との画素配列は同じものを用意する。そして、着目領域を構成する各画素と、その各画素に対応した参照領域を構成する画素との差分二乗を計算する。着目領域を構成する全ての画素について計算した差分二乗の和を取り、差分二乗和を計算する。この差分二乗和が着目画素と参照画素との類似度の指標である。差分二乗和が０に近いほど類似度が高く、逆に大きくなると類似度が低い。そしてこの差分二乗和を重みｗｉｊに変換する。変換式は以下のようになる。

Ｉｉｋは、着目領域を構成している画素のｋ番目の画素値であり、Ｉｊｋはｊ番目の参照領域を構成しているｋ番目の画素の画素値である。αｋは着目領域のｋ番目の画素に対して決められた値を持つ定数である。Ｎｂは着目領域を構成する画素の数（以下、着目領域画素数）である。なお、参照領域を構成する画素数も着目領域画素数と同じである。ｈはパラメータであり、ノイズ低減の強さを調節する役割を持つ。なお、ｎｏｎ−ｌｏｃａｌｍｅａｎｓという名前は、参照画素の範囲（参照画素範囲）を画像の局所領域ではなく、画像全体に設定する事からこう名付けられたものである。しかし参照画素範囲を画像の全体に設定することはノイズ低減に必須の要件ではなく、参照画素を画像の局所領域に限定してもノイズ低減効果は得られる。また、ノイズ低減処理後の値に着目画素自身の値を反映させる事はごく自然な事であるから、参照画素となる範囲には着目画素が含まれている。すなわち、着目画素を含む着目画素近傍の範囲を、参照画素範囲として設定することが行なわれている。従来技術では参照画素と着目画素が一致する場合でも上式に従って処理される。

＜ｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法に潜む問題＞
次に、本実施例で解決しようとしているｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法の問題点について述べる。上述のように、ｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法は、着目領域と参照領域とのブロックマッチングを用いて着目画素と参照画素との類似度を算出する。これは、着目領域の各画素の画素値と参照領域の各画素の画素値とが同一である場合に、着目画素のシグナル成分と参照画素のシグナル成分とが同一であると仮定している。しかしながら、着目領域と、ある参照領域Ａとのシグナル成分が同一である場合においても、着目領域と参照領域Ａとの類似度が高くなるような状況は統計的に稀である。例えば、着目領域と参照領域Ａとの各画素のシグナル成分が同一色のベタ領域である場合であっても、ノイズ成分に起因して着目領域と参照領域Ａとの類似度がそれほど高くならないからである。一方、参照領域として、着目領域と同一の領域である参照領域Ｂ（すなわち、着目領域自身）を用いる場合、同一の領域を用いて各画素を比較するので着目領域と参照領域Ｂとの各画素は画素値が完全に一致することになる。ｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法では、類似度が高い参照領域を構成する参照画素には高い重みをつけるので、参照領域Ｂを構成する参照画素Ｂ’（すなわち、着目画素自身）には極めて高い重みがつく。一方、シグナル成分が同一であるはずの参照領域Ａを構成する参照画素Ａ’は、比較的類似度が高いものの、参照領域Ｂを構成する参照画素Ｂ’（すなわち、着目画素自身）と比較して低い重みにしかならない。結局のところ、着目画素自身の画素の重みのみが他の参照画素の重みよりも相対的に高くなってしまうので、十分なノイズ低減効果が得られない。

以下、上記の内容をより詳細に説明する。まず、着目領域における各画素と参照領域における各画素のシグナル成分が同一である時の差分二乗和の統計的振舞いについて説明する。この差分二乗和は着目領域と参照領域との類似度となり、この参照領域を構成する参照画素に対する重みに対応することになる。なお、αｋの有無はこれから説明する問題の本質には関わらない。そこで以後の説明では、説明を容易にするためαｋは全て１と仮定する。

まず、着目領域のシグナル成分をＳｉｋ、ノイズ成分をＮｉｋとする。着目領域のｋ番目の画素値Ｉｉｋは、シグナル成分Ｓｉｋとノイズ成分のＮｉｋの和である。同様にｊ番目の参照領域のシグナル成分をＳｊｋ、ノイズ成分をＮｊｋとする。着目領域のシグナル成分と参照領域のシグナル成分とが同一（Ｓｉｋ＝Ｓｊｋ）であるとき、差分二乗和Ｄｉｊはノイズ成分の差分二乗和になる。

このようなシグナル成分が同一である場合の差分二乗和Ｄｉｊ、言い換えれば、ノイズ成分の差分二乗和は、着目領域と参照領域とが同一領域として設定される場合には０となる。しかしながら、一般の場合、すなわち、着目領域と参照領域とが同一領域として設定されない場合においては、ノイズ成分の差分二乗和が０となる確率は稀である。以下に説明する。

ノイズの分布をガウス分布とし、標準偏差をσとすると、差分二乗和Ｄｉｊをノイズ分散σ²の２倍で割った量χｉｊは、自由度が着目領域画素数Ｎｂであるカイ二乗分布に従う事が知られている。χ二乗分布Ｐ（ｘ｜Ｎｂ）は以下のような式で表される。

図３に着目領域画素数Ｎｂが１の場合と、着目領域画素数Ｎｂが９の場合のカイ二乗分布の概観を示す。図３に示すように、着目領域画素数Ｎｂが１の場合は、差分二乗和において確率的に最もありそうな値つまり最頻値は０であるが、着目領域画素数Ｎｂが９の場合は最頻値は７であり、差分二乗和が０というのは稀な現象である。カイ二乗分布においては、自由度である着目領域画素数Ｎｂが増えるほど差分二乗和が０となるのは稀な現象となる。なお、この着目領域画素数Ｎｂが増えるほど差分二乗和が０となる事が稀になるという傾向は、ガウス分布以外のノイズ分布においてもおおよそ成り立つ。これは次元の効果であり、差分を算出する画素のペアの数が増えれば増える程、この複数の画素のペアが同時に同じ値を取る確率が画素数に対して指数関数的に小さくなるためである。つまり、シグナル成分が同一である着目画素と参照画素について、着目領域のノイズ成分と参照領域のノイズ成分とが一致することが稀であることを示している。一方で、従来のｎｏｎｌｏｃａｌ ｍｅａｎｓ法では、着目画素のシグナル成分と参照画素のシグナル成分とが一致する場合には、ノイズ成分まで一致するというこのような稀な現象であるはずの現象が必ず生じていることになってしまう。このような、本来稀な現象（着目領域のノイズ成分と参照領域のノイズ成分とが一致すること）に対する重みを、確率的に発生し得る場合の重みに近づけるということが本実施例の考え方の１つである。

さて、従来のｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法において参照領域と着目領域とが同一領域として設定された場合、その差分二乗和Ｄｉｊは必ず０となる。このため参照画素として着目画素自身を設定した場合、着目画素に対する重みは式（２）に従って常に１となる。一方、参照画素として着目画素以外を設定した場合に参照画素と着目画素のシグナル成分が同一であっても重みが１になる事は非常にまれであり、典型的な値である、重みの期待値は１よりもかなり小さい。重みの期待値Ｗは以下のように計算される。Ｐ（ｘ｜Ｎｂ）は、着目領域の画素がＮｂ個のとき、かつ、シグナル成分が同一である場合の差分二乗和ｘの確率分布関数である。

例えば、着目領域画素数Ｎｂが９である時、パラメータｈをノイズの標準偏差σの２倍とした場合の重みの期待値は約０．１６となる。同様に、着目領域画素数Ｎｂが２５であり、パラメータｈが２σである時の重みの期待値は約０．００６３となる。このように、式（２）に基づいて重みを導出すると、着目画素自身の画素値に対する重みがその他の参照画素の画素値に対する重みよりも圧倒的に大きな値となる。このため、たとえシグナル成分が一様であるベタ画像にノイズが混入した画像に対して重み付き平均を計算しても、着目画素自身の画素値に対する重みが圧倒的に大きいので、ほぼ着目画素自身の値が得られることになる。結果として、着目画素について十分なノイズ低減がなされない。この効果は着目領域の画素数Ｎｂが大きくなるほど顕著であり、着目領域が４ｘ４のブロック（Ｎｂ＝１６）より大きくなると深刻になる。

一方、パラメータｈがノイズの標準偏差σよりもかなり大きい場合、式（２）に基づいて算出される重みは１よりもやや小さい程度となる。例えばｈ＝５σの場合、Ｎｂ＝９とＮｂ＝２５における重みの期待値はそれぞれ約０．７１と０．３８となる。このようにパラメータｈが大きいと、Ｎｂ＝９の場合に約１．４倍、Ｎｂ＝２５の場合に２．６倍と、参照画素の画素値が着目画素の画素値と３倍も違わないような重みにより重みづき平均される事になる。着目画素に対する重みと参照画素の重みの比がこの程度であれば重み付き平均によって着目画素のノイズが低減される。しかしながら、パラメータｈを大きくするという事は、差分二乗和が大きな値でも平均値の計算に用いるということである。これはつまり、着目画素と参照画素のシグナル成分が統計的に有意に一致しない場合でも平均に用いるということであるから、結果としてぼけた画像となってしまう。ぼけの少ないノイズ低減画像を得るためには、シグナル成分が統計的に有意に一致しない参照画素に対する重みを、シグナル成分が統計的に有意に一致する参照画素に対する重みよりも十分小さな値としなければならない。

シグナル成分が統計的に有意に一致するかしないかは、χｉｊの値で判断できる。具体的には、以下の等式を満たす値χｔｈを求め、χｉｊがその値χｔｈより大きい時には、参照領域における各画素と着目領域における各画素のシグナル成分は一致しないと判断する。

ここで、εは参照領域における各画素のシグナル成分と着目領域における各画素のシグナル成分とが一致するという帰無仮説を棄却する際の有意水準である。例えばε＝０．００１とする。式（６）の左辺は、参照領域における各画素のシグナル成分と着目領域における各画素のシグナル成分とが一致する場合において、χｉｊがχｔｈを超える確率を表す。つまり参照領域における各画素のシグナル成分と着目領域における各画素のシグナル成分とが一致する場合にχｉｊがχｔｈを超える確率が１０００分の１以下でしかない場合に、シグナル成分が一致しないと判断している事になる。そしてノイズ低減後の画像をぼかさないためには、このようなシグナル成分が一致しないと判断されるχｉｊあるいはそれに対応する差分二乗和Ｄｉｊに対する重みは、シグナル成分が一致する場合の重みの期待値Ｗの少なくとも２５分の１以下であるべきでる。１００分の１程度以下であればより好ましい。このようなシグナル成分が一致しないと判断されるχｔｈにおける重みの値を調べると、ｈ＝５σの場合、Ｎｂ＝９とＮｂ＝２５においてそれぞれ約０．１１と０．０１５となる。これは、重みの期待値の０．７１と０．３８に対してそれほど小さくはないため、いくらかぼけた画像となる。

なお詳細に調べると、Ｎｂが１６以下である場合に限り、次のパラメータｈが存在する。すなわち、従来のｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法であっても、着目画素に対する重みが重みの期待値の３倍以下で、シグナル成分が一致しない画素の重みが期待値の１００分の１以下となるパラメータｈが存在する。しかしながら、その条件を満たすパラメータｈの範囲は狭く、画質の調整の自由度が少ない。また、Ｎｂの値を小さくするとノイズの低周波成分が落ちにくいなど別の要因によって画質の劣化が起こるという問題もあり、Ｎｂを自由に小さくする事は必ずしもできる訳ではない。結局、従来のｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法においては、ノイズの低減とエッジやテクスチャの保存を両立した画像を得ることが困難であるという問題を持っている。

＜本実施例の詳細＞
以上述べたように、従来のｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法では、参照領域として着目領域と同じ領域が設定された場合に導出される参照画素（この場合着目画素が参照画素となる）に対する重みが統計的には尤もではない。そのため、ノイズの低減とエッジの保存を両立した画像を得ることが困難である。本実施例では参照領域として着目領域と同じ領域が設定された場合、すなわち参照画素が着目画素自身となる場合の重みを相対的に従来よりも小さくする事によってこの課題を解決する。ここで相対的としたのは、重み付き平均においては、全ての重みを定数倍しても結果が変わらないという自由度をもつためである。本実施例の本質は、参照領域として着目領域と同じ領域を設定した場合に導出される着目画素に対する重みを単純に所定値より小さくする事ではなく、着目画素以外の参照画素に対応する重みとの間にある相対的な差を小さくすることである。従って、例えば着目画素以外の画素を参照画素として導出される重みを相対的に高くするように１に近い値にしてもよい。このような相対的な差を小さくすることによって着目領域と同じ領域を参照領域とした場合に導出される重みが統計的に尤もであることになる。したがって、ノイズの低減とエッジの保存を両立した画像を得ることができる。

以下、本実施例について詳細を説明する。本実施例では課題を解決するために、処理を行おうとしている参照領域が着目領域と同一であるかどうかを判定し、同一である場合と同一ではない場合とで異なる処理を行う。すなわち、参照領域を構成する参照画素が着目画素自身であるか否かの判定結果に応じて異なる処理を行う例について説明する。

具体的なノイズ低減処理方法について、図４のブロック図と図５のフローチャートを用いて説明する。図４は、画像処理装置の処理ブロックの一例を示す図である。図４に示す画像処理装置は、重み導出方法切り替え部４０１と、第１の重み導出部４０２と、第２の重み導出部４０３と、重み付き平均導出部４０４とを有する。

重み導出方法切り替え部４０１は、全ての参照領域の画素値と着目領域の画素値とを入力して重み導出方法を切り替える処理を行う。

第１の重み導出部４０２は、着目画素を除く参照画素の類似度を導出し、類似度から参照画素の重みを導出する。第１の重み導出部４０２は、一般的に行われるｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法に基づく処理部とすることができる。なお、第１の重み導出部４０２は、後述する第２の重み導出部４０３と異なる重みを導出する機能を備えていればよい。

第２の重み導出部４０３は、着目画素の重みを導出する。すなわち、着目画素を参照画素として処理する場合における、その参照画素（すなわち着目画素）の重みを導出する。重みの導出方法はいずれの方法であってもよいが、第１の重み導出部４０３とは異なる導出方法により重みが導出される必要がある。例えば、仮に着目画素を参照画素とした各画素値を第１の重み導出部４０２と第２の導出部４０３とに入力した場合、各重み導出部からはそれぞれ異なる重みが導出されることになる。つまり、着目画素を参照画素とした場合の重み導出処理を、他の参照画素とは異なる処理にしている点が実施例１の特徴である。

重み付き平均導出部４０４は、第１の重み導出部と第２の重み導出部とから導出される重みを用いて、式（１）に従って着目画素の画素値となる重み付き平均を導出する。

図４に示す各ブロックは、入力画像に対して画素毎に処理を行う。この処理を全ての画素に対して行うことでノイズ低減後の画像データが得られる。

図５は、図４に示す画像処理装置の処理の流れを示すフローチャートである。図５に示す処理は、ＣＰＵ１０１がＲＡＭ１０２に格納されたプログラムを実行して、図４に示す各処理部として機能させることによって実現される。

まず、ステップＳ５０１において、重み導出方法切り替え部４０１は、着目領域の画素値と全ての参照領域の画素値と画素位置などの画素情報を取得する。ステップＳ５０２において、重み導出方法切り替え部４０１は、参照領域として設定された領域が着目領域と同じであるかどうかを判定する。ここでは、参照領域を構成する参照画素の位置が着目画素の位置と同じであるかどうかにより判定する。着目領域と参照領域が異なる領域である場合、処理はステップＳ５０３に遷移する。なおステップＳ５０２における判定はこの方法に限らない。参照画素として設定される画素の順序が決まっている場合には、参照画素として入力される画素の順番により着目画素を参照画素として設定したかどうかを判定することもできる。

ステップＳ５０３においては、第１の重み導出部４０２が、参照画素に対する類似度と重みとを導出する。

一方、着目領域と参照領域が同一の領域である場合、すなわち、参照領域を構成する参照画素が着目画素と同一である場合、処理はステップＳ５０４に遷移する。ステップＳ５０４において、第２の重み導出部４０３が、参照画素（すなわち、着目画素）に対する重みを導出する。着目領域と同じ領域を参照領域とする場合の重み、すなわち、ステップＳ５０４において第２の重み導出部４０３が導出する重みは、次のようにして決定されることが好ましい。すなわち、先述した重みの期待値か、式（４）であらわされるχｉｊの分布の最頻値（Ｎｂ−２）や期待値（Ｎｂ）に対応する重みの値とする事が好ましい。すなわち、着目領域と同じ領域を参照領域とする場合には、その参照画素（すなわち着目画素自身）に対する重みが高くなりすぎる。そこで、着目領域と同じ領域を参照領域とする場合には、確率的に類似度として尤もな値に対応する重みの値とすることが好ましい。また、ステップＳ５０４では、第２の重み導出部４０３は着目画素に対する重みを０として導出してもよい。０とした場合には参照画素にスパイク状のノイズが乗っている場合に除去されるという副次的な効果を得る。

なお、着目領域と参照領域が同一の領域である場合、ステップＳ５０４において所定値を重みとするのではなく、着目画素に対する重みがある程度幅をもつような導出方法であってもよい。しかしながら、ステップＳ５０３において導出される着目画素以外の画素を参照画素とした時の参照画素に対する重みよりもステップＳ５０４において導出される着目画素の重みが大きすぎる場合は上述した問題が解決されない。着目領域と参照領域とが同一の領域である場合の参照画素（この場合着目画素）に対する重みは、少なくともシグナル成分が同じである画素を参照画素とした場合の重みの期待値の１０倍以下である方がよく、好ましくは５倍程度を上限とするとよい。なぜならば、シグナル成分が同じ場合であっても、ノイズ成分に起因して着目領域の画素の値と参照領域の画素の値とが一致することは稀であるからである。つまり、本来、稀である事象であるにも関わらず生じてしまう重みを、統計的に尤もであり得る場合の重みとすることで、第１の重み導出部４０２と第２の重み導出部４０３とで導出される重みの差を縮めるような値とするとよい。すなわち、ステップＳ５０４において第２の重み導出部４０３は、重みを、０以上かつ前記着目領域の画素値と前記参照領域の画素値とがノイズを除いて一致する場合に期待される重みの値の５倍以下であるように導出することができる。

このように参照画素の重みの導出を、全ての参照画素に対して行う。重み導出方法切り替え部４０１は、ステップＳ５０５において、全ての参照画素を処理したか判定する。重み導出方法切り替え部４０１が全ての参照画素を処理したと判定した場合、処理はステップＳ５０６に遷移する。全ての参照画素を処理していないと判定した場合、重み導出方法切り替え部４０１はステップＳ５０２に戻る。

次に、ステップＳ５０６において、重み付き平均導出部４０４は、ステップＳ５０３およびステップＳ５０４で導出された重みに基づいて重み付き平均を導出し、出力画像の画素値を出力する。なお、全ての重みが０であると重み付き平均が定義できない。着目画素の重みを０とした場合にこの現象が起こりうるが、この場合は重み付き平均導出部４０４は着目画素の画素値をそのまま出力する。

最後にステップＳ５０７において、重み導出方法切り替え部４０１は全ての画素を処理したかどうかを判定する。処理していないと重み導出方法切り替え部４０１が判定した場合ステップＳ５０１に戻り、処理したと重み導出方法切り替え部４０１が判定した場合、終了となる。これら一連の処理によってノイズ低減処理が施された出力画像を得られる。

以上により、本実施例では参照領域が着目領域と同じ領域であるかどうかを判定して処理を切り替えることにより、着目画素自身の値に影響を受け過ぎることなく画素値を導出できる。その結果、適切にノイズ低減処理された良好な画像を得る事が可能となる。

実施例２における画像処理装置の全体の構成は実施例１の図１と同様であるため説明を省略し、以下、実施例１と異なる部分について説明する。

実施例１は参照領域として着目領域と同じ領域が設定された場合に、重みを導出する処理を切り替えることによって良好な画像を得る手法を示した。実施例２では、類似度から重みを導出する関数の形を変える事で課題を克服する手法を示す。

従来のｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法における問題は、参照画素として着目画素を設定する時に、類似度が厳密に０という統計的には極めて稀で起こり得ない事が、その定義から常に生じてしまう事から生じる。そこで、実施例１の式（２）で示すような類似度を重みに変換する関数形を変更し、統計的には起こり得ないような類似度の値が得られた際の重みを相対的に従来手法よりも小さくする事で問題を回避する事ができる。相対的の意味は実施例１にてすでに説明した通りである。

課題解決のためには、たとえ類似度が高く（つまり差分二乗和が小さく）ともその類似度が実際に観測される確率が統計的には非常に稀である場合には、重みは小さくなるような重み関数を用いればよい。そのような特性を持つ単純な重み関数としては、ある類似度が観測される確率そのものや、その確率に対して単調性を持った重み関数などが考えられる。ただし、類似度が観測される確率と重みとの間の単調性が破れて逆転現象があるとしても、それが多少であれば大きな問題とはならない。したがって、重みを求める関数の形はある程度柔軟に設定することができる。また、差分二乗和が０となる場合以外で、観測される確率が十分に小さい類似度に対する重みはどのような値であっても、実際に観測される事が無いために大きな問題とはならない。

本実施例において重み関数が最低限持つべき重要な性質は、参照領域として着目領域と同じ領域が設定された場合の重みが、シグナル成分が同じである場合の重みの期待値の１０倍よりも小さくなっていることである。参照領域として着目領域と同じ領域が設定された場合に導出される着目画素に対する重みが、シグナル成分が同じである場合の重みの期待値の１から５倍程度であるとさらに好ましい。あるいは、参照領域として着目領域と同じ領域が設定された場合に導出される着目画素に対応する重みが、重み関数の中で唯一の最大値ではないようなものも好ましい。参照領域として着目領域と同じ領域を用いる場合の重みが上記の程度であれば、統計的には起こり得ないような類似度の値が得られた際の重みが相対的に従来手法よりも小さくなり、大きな問題とはならない。

図６Ａから６Ｃに、本実施例で用いるχｉｊを重みに変換する関数の例を実線にて示す。また、従来のｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法との比較のため、式（２）によってあらわされる重み関数をｈ＝２．５σとｈ＝５σの場合についてそれぞれ二点鎖線と一点鎖線で示す。さらに、シグナル成分が一致する場合のχｉｊを着目領域画素数Ｎｂで割った値の確率分布を点線で示す。ここでＮｂ＝２５としている。横軸はχｉｊを着目領域画素数Ｎｂで割った値であり、縦軸は重み（左目盛）と確率分布の値（右目盛り）である。横軸の値が約２．１のところに垂直に破線を引いたが、これは、式（６）の左辺が０．００１となるラインである。実施例１で説明したように、横軸の値がε＝０．００１より大きい場合は、着目領域の画素値と参照領域の画素値とがノイズを除いて一致するとはみなし得ない事を表す。したがって、ε＝０．００１より大きい値については重みが極めて低い値となるような関数となっている。

図６Ａの重み関数の形状は、χｉｊが０から増加してもしばらく０ではない定数となっており、着目領域の画素値と参照領域の画素値とがノイズを除いて一致すると判断されなくなる直前まで続く。そしてさらにχｉｊが増加すると、重みは０ないしは、それ以前の値より十分小さな値となっている。従来のｎｏｎ ｌｏｃａｌ ｍｅａｎｓ法との比較のために示した、式（２）によってあらわされる重み関数（ｈ＝２．５σとｈ＝５σ）では、着目領域と参照領域とが一致した場合（図６Ａではχｉｊが０である時）に重みが１となる。一方、図６Ａの関数では、着目領域の画素値と参照領域の画素値とがノイズを除いて一致するとはみなし得ない値まで、着目領域と参照領域とが一致した場合を含めて重みが定数となっている。したがって、着目領域と参照領域とが一致した場合に重みが極端に高くなるようなことはない。

図６Ｂの重み関数の形状は、χｉｊが０である時の重みと、χｉｊ／Ｎｂの確率分布の値が高いところでの重みとの比が従来ほど大きくない。例えば、χｉｊ／Ｎｂの確率分布の値が高い１．０の重みを見ると、従来のｈ＝２．５σではほぼ０であり、ｈ＝５σでは約０．２の重みに対して、図６Ｂの重み関数では約０．６の重みとなる。そして、着目領域の画素値と参照領域の画素値がノイズを除いて一致するとはみなし得ない領域では重みは十分小さな値となっている。

図６Ｃの重み関数の形状は、χｉｊが０である時の重みをさらに抑え、χｉｊが０である時の重みが、χｉｊ／Ｎｂの確率分布の値が高いところ（横軸が１．０のところ）での重み以下となっている。この関数形では着目画素自身の重みがさらに低くなるため、高いノイズ低減度を得やすい。

以下、実施例２の処理に関して、図７のブロック図と図８のフローチャートを用いて説明する。図７は、実施例２に係る画像処理装置の処理ブロックの一例を示す図である。図７の画像処理装置は、類似度導出部７０１と、重み取得部７０２と、類似度重み変換テーブル記憶部７０３と、重み付き平均導出部７０４とを有する。

類似度導出部７０１は、全ての参照領域に含まれる画素値と着目領域に含まれる画素値とを入力し、類似度を出力する。

重み取得部７０２は、類似度導出部７０１で導出された類似度を用いて類似度重み変換テーブル記憶部７０３に記憶されている類似度重み変換テーブルから重みを導出する。

類似度重み変換テーブル記憶部７０３は、参照領域が着目領域と同じ領域である場合の重みが、参照画素のシグナル成分と着目画素のシグナル成分が同じである場合の重みの期待値の１０倍よりも小さくなっている関数系に従う変換テーブルを記憶する。また、変換テーブルは、参照領域が着目領域と同じ領域である場合の重みが、参照画素のシグナル成分と着目画素のシグナル成分が同じである場合の重みの期待値の１から５倍程度であるとさらに好ましい。あるいは、参照領域が着目領域と同じ領域である場合に対応する重みが、重み関数の中で唯一の最大値ではないようなものも好ましい。類似度重み変換テーブル記憶部７０３は、具体的には、図６Ａから図６Ｃにおいて示したいずれかの関数に対応する変換テーブルを記憶する。

重み付き平均導出部７０４は重み取得部７０２から出力された重みを用いて重み付き平均を導出して、出力画像の画素値を出力する。

図７に示す各ブロックは、入力画像に対して画素毎に処理を行う。この処理を全ての画素に対して行うことでノイズ低減後の画像が得られる。

図８は、図７に示す画像処理装置の処理の流れを示すフローチャートである。図８に示す処理は、ＣＰＵ１０１がＲＡＭ１０２に格納されたプログラムを実行して、図７に示す各処理部として機能させることによって実現される。

ステップＳ８０１において、類似度導出部７０１は、着目領域における画素の画素値と全ての参照領域における画素の画素値と画素位置などの画素情報を取得する。ステップＳ８０２において、類似度導出部７０１は、例えば式（３）のように差分二乗和を用いて着目領域と参照領域との類似度を導出する。

次にステップＳ８０３において、重み取得部７０２は、類似度導出部７０１で導出された類似度を取得する。そして重み取得部７０２は、取得した類似度に対応した重みを類似度重み変換テーブル記憶部７０３から取得する。類似度重み変換テーブル記憶部７０３に記憶されている類似度重み変換テーブルは、例えば図６（ａ）から（ｃ）において示した各関数で規定される変換テーブルである。重み取得部７０２は、例えば図６（ａ）から（ｃ）において示したいずれかの関数に対応する変換テーブルから、類似度に対応する重みを取得する。このように取得される重みは、上述したように、たとえ類似度が高く（つまり差分二乗和が小さく）ともその類似度が実際に観測される確率が統計的には非常に稀である場合には、重みは小さくなるような重み関数によって導出されることになる。

ステップＳ８０４において、類似度導出部７０１は、未処理の参照画素があるかどうかを判定する。未処理の参照画素があると類似度導出部７０１が判定した場合、ステップＳ８０２に戻る。未処理の参照画素がないと類似度導出部７０１判定した場合、処理はステップＳ８０５に遷移する。

ステップＳ８０５において、重み付き平均導出部７０４は重み取得部７０２にて取得された重みに基づいて、式（１）に従って重み付き平均を導出し、出力画像の画素値として出力する。

最後に類似度導出部７０１は、全ての画素を処理したかどうかを判定し、処理していなければステップＳ８０１に戻り、処理していれば終了となる。これら一連の処理によってノイズ低減処理が施された出力画像を得られる。

以上本実施例では、参照領域が着目領域と同じ領域である場合に対応する重みが、従来よりも相対的に小さくなる類似度重み変換関数を使用する事で、良好な画像を得る事が可能となる。

実施例３における画像処理装置の全体の構成は実施例１の図１と同様であるため説明を省略し、以下、実施例１と異なる部分について説明する。

実施例１と実施例２では、参照領域の一つとして着目領域と同じ領域を設定する場合の例を示した。実施例３においては、まず参照領域の設定時に着目領域が含まれないように設定する方法について説明する。これは数学的には、実施例１で述べたように参照領域と着目領域が等しい場合に重みを０とする場合と等価である。従って参照領域の設定時に着目領域と同じ領域が設定されないようにするのみでは、周辺にシグナル成分が全く異なる参照画素しか存在しない場合、全ての参照画素に対する重みが０となり重み付き平均が計算不可能となってしまう。また、着目画素周辺においていずれの参照画素についても、着目画素との類似度が同程度に低い場合、各参照画素の重みが小さくかつ同程度となる事がある。この場合、参照領域が着目画素と類似していないにも関わらずどの参照画素も同じように足し合わされて重み付き平均が導出されることになり、着目画素のシグナル成分とはかけ離れた値が出力される（あるいはぼける）という問題が生じる。

その問題に対応するため、本実施例では着目画素を参照画素として使用するかどうかを判定する部分を設ける。この判定は、類似度が高い参照画素があったかどうかで判定する。特に、着目領域における各画素のシグナル成分と統計的にほぼ同一と判定される参照領域があったかどうかという観点で判定されることが望ましい。具体的には、差分二乗和がある一定の値よりも小さくなる参照領域が存在したかどうか、あるいは、重みがある一定の値よりも大きくなる参照画素が存在したかどうかを調べる。そして、シグナル成分が着目領域と統計的にほぼ同一と思われる参照領域があった場合には、その参照領域を用いることで適切な重み平均が導出されることができるので、着目画素を参照画素として使用しないと判定することができる。差分二乗和で判定する場合をさらに詳細に述べると、差分二乗和をノイズ分散の２倍で割った量はシグナル成分が同じ場合にはカイ二乗分布に従う。そこで、棄却確率を設定し、シグナル成分が同じである確率が棄却確率以下となる閾値を計算しておき、その閾値よりも差分二乗和が小さい場合は、シグナル成分が同一であると判定すればよい。ノイズがガウス分布でない場合や、あるいは窓関数の係数αｋがｋに依存する場合でも、その状況に応じてシグナル成分が同じ場合にとりうる値の範囲を事前に調べておくことで、閾値を設定できる。

以下、実施例３の処理に関して、図９のブロック図と図１０のフローチャートを用いて説明する。図９は、実施例３の画像処理装置の処理ブロックの一例を示す図である。図９に示す画像処理装置は、着目領域設定部９０１と、参照領域設定部９０２と、類似度・重み導出部９０３と、着目画素重み補正部９０４と、重み付き平均導出部９０５とを有する。

図９に示す各処理部は、入力画像に対して画素毎に処理を行う。この処理を全ての画素に対して行うことでノイズ低減後の画像が得られる。

図１０は、図９に示す画像処理装置の処理の流れを示すフローチャートである。図１０に示す処理は、ＣＰＵ１０１がＲＡＭ１０２に格納されたプログラムを実行して、図９に示す各処理部として機能させることによって実現される。

ステップＳ１００１において、まず、着目領域設定部９０１は、着目画素とその周辺の領域を着目領域として設定する。次に、ステップＳ１００２において、参照領域設定部９０２は、参照する複数の参照画素と、それら周辺の領域を複数の参照領域として設定する。このとき、参照領域設定部９０２は、参照領域と着目領域が同じ領域とならないように参照領域を設定する。

ステップＳ１００３において、類似度・重み導出部９０３は、着目領域と全ての参照領域の画素値と画素位置とを含む画素情報を取得する。そしてステップＳ１００４において類似度・重み導出部９０３は、着目領域と参照領域との類似度と重みとを導出する。ステップＳ１００５において、類似度・重み導出部９０３は、未処理の参照画素があるかどうかを判定し、ステップＳ１００４の処理を全ての参照画素に対して処理が終わるまで繰り返す。

次に、ステップＳ１００６において、着目画素重み補正部９０４は参照画素の重みを調べ、シグナル成分が着目画素とほぼ同一と判定される参照領域があったかどうかを判定する。ステップＳ１００６の判定は、上述したように、差分二乗和がある一定の値よりも小さくなる参照領域が存在したかどうか、あるいは、重みがある一定の値よりも大きくなる参照画素が存在したかどうかに基づいて行うことができる。ステップＳ１００６の判定により、着目領域を参照領域として用いずとも重み付け平均の導出を可能にしたり、着目画素のシグナル成分とはかけ離れた値が出力されることを防止したりすることができる。着目画素重み補正部９０４は、ステップＳ１００６にてシグナル成分が着目画素とほぼ同一と判定される参照領域がないと判定した場合、ステップＳ１００７にて着目画素の重みを設定する。すなわち、ステップＳ１００２において着目領域と参照領域とが同じ領域にならないように参照領域を設定したものの、シグナル成分が着目画素とほぼ同一と判定される参照領域がないので、着目画素を参照画素として用いる必要がある。そこで、着目画素を参照画素として用いるものの、その重みについては実施例１で説明したように設定する。例えば、ステップＳ１００７では、着目画素重み補正部９０４は、着目画素の重みとして、シグナル成分が同じである場合の統計的に尤もらしい類似度に対応した値を使用すればよい。

一方、ステップＳ１００６において参照画素の重みを調べ、シグナル成分が着目画素とほぼ同一と判定される参照領域があった場合には、着目画素を参照画素として用いずとも、そのような参照領域を用いて重み付き平均を導出できる。よって、ステップＳ１００７を行わずにステップＳ１００８へ処理が遷移する。

ステップＳ１００８において、重み付き平均導出部９０５はステップＳ１００４で得られた重みに基づいて重み付き平均を導出し、出力画像の画素値として導出する。ステップＳ１００８においては、重み付き平均導出部９０５はステップＳ１００７で着目画素に重みが設定されていれば重み付き平均に着目画素を取り込む。

最後にステップＳ１００９において、画像処理装置は全ての画素を処理したかどうかを判定し、処理していなければステップＳ１００１に戻り、処理していれば終了する。これら一連の処理によってノイズ低減処理が施された出力画像を得られる。

以上、本実施例では参照領域が着目領域と同じ領域にならないように参照領域を設定し、後に参照画素の類似度によって、着目領域と同じ領域を参照領域として使用するかどうかを判定する事で、従来よりも良好な画像を得る事が可能となる。

実施例４における画像処理装置の全体の構成は実施例１の図１と同様であるため説明を省略し、以下、実施例１と異なる部分について説明する。

実施例１では、参照領域が着目領域と同じであるかを判定し、重みの導出方法を切り替える例を示した。実施例４においては、参照領域と着目領域が同じであるかどうかに関わらず同じ重みの導出方法を用い、その後に着目領域と同じである参照領域の重みを再算出する方法について説明する。実施例４は実施例１と同じ効果が得られるが処理の順序が異なる。

着目領域と同じ領域である参照領域の重みを再算出するため、本実施例では着目画素重み再導出部を設ける。

以下、実施例４の処理に関して、図１１のブロック図と図１２のフローチャートを用いて説明する。図１１は、実施例４の画像処理装置の処理ブロックの一例を示す図である。図１１に示す画像処理装置は、着目領域・参照領域設定部１１０１と、類似度・重み導出部１１０２と、着目画素重み再導出部１１０３と、重み付き平均導出部１１０４とを有する。

図１１に示す各処理部は、入力画像に対して画素毎に処理を行う。この処理を全ての画素に対して行うことでノイズ低減後の画像が得られる。

図１２は、図１１に示す画像処理装置の処理の流れを示すフローチャートである。図１２に示す処理は、ＣＰＵ１０１がＲＡＭ１０２に格納されたプログラムを実行して、図１１に示す各処理部として機能させることによって実現される。

ステップＳ１２０１において、まず、着目領域・参照領域設定部１１０１は、着目画素とその周辺の領域を着目領域として設定し、さらに参照する複数の参照画素と、それら複数の参照画素の周辺の領域を複数の参照領域として設定する。本実施例４では、参照領域の１つが着目領域と同じ領域となっている。着目領域と同じである参照領域は、例えば値を格納するメモリを決めておくことで容易に同定できるようにしておく。

ステップＳ１２０２において、類似度・重み導出部１１０２は、着目領域と全ての参照領域の画素値と画素位置とを含む画素情報を取得する。ステップＳ１２０３において、類似度・重み導出部１１０２は、着目領域に対する各参照領域の類似度と重みとを導出する。ここで、参照領域のうちの１つは着目領域そのものである。ステップＳ１２０４において、類似度・重み導出部１１０２は、未処理の参照画素があるかどうかを判定し、ステップＳ１２０３の処理を全ての参照画素に対して処理が終わるまで繰り返す。

次に、ステップＳ１２０５において、着目画素重み再導出部１１０３は着目領域と同一の領域である参照領域の重みを再導出する。この時、実施例１から実施例３までに説明したように、他の参照画素の重みに対して極端に大きな値ではなく着目画素の重みとして相応しい値を導出する。例えば、所定の値に置換すればよい。

ステップＳ１２０６において、重み付き平均導出部１１０４はステップＳ１２０５までに得られた重みに基づいて重み付き平均を導出し、出力画像の画素値として導出する。

最後にステップＳ１２０７において、画像処理装置は全ての画素を処理したかどうかを判定し、処理していなければステップＳ１２０１に戻り、処理していれば終了する。これら一連の処理によってノイズ低減処理が施された出力画像を得られる。

以上、本実施例では参照領域が着目領域と同じ領域であっても同じように重みを導出した後に、着目領域と同じ領域である参照領域の参照画素に対する重みを再導出する。これにより、着目画素に対する重みが極端に重くなる問題を避ける事ができ、統計的に従来よりも良好な画像を得る事が可能となる。なお、本実施例４では重みを再導出する方法を述べたが、重み付き平均を導出する過程において同様の処理を行っても良い。すなわち、重み付き平均を導出する際に、着目画素と同一である参照画素の画素値と重みとの積を取った後に、この値を適切な値として再導出する方法であっても同様の効果が得られる。適切な値として再導出する方法として、上述した各実施例で説明したような点を考慮して例えば、所定値に置換（上書き）すればよい。

以上の各実施例で説明したように、本手法では着目領域と同じ領域を参照領域とする場合の重みを従来よりも相対的に小さくする。これにより、着目領域と同じ領域を参照領域とする場合の重みが重すぎる事に起因したノイズの低減とエッジの保存とを両立した良好な画像を得ることができる。

なお、実施例１から実施例３において参照領域と着目領域との類似度として一貫して差分二乗和を用いて説明してきたが、本発明は差分二乗和を用いて類似度を評価するものに限定されない事を述べておく。実施例１及び実施例４は特定の類似度の評価方法にはよらずに実施できる。実施例２では、着目領域と同じ領域を参照領域とする場合の類似度を事前に知る必要があるが、類似度の定義があればこれはいつでも可能であり、特定の類似度の評価方法に依存しない。実施例３では着目画素を参照画素として使用するかどうかの判定を行うために類似度ないしは重みに対する閾値が必要であるが、特定の類似度の評価方法に依存しない。差分二乗和以外の類似度の評価としては、差分絶対値和や、画素値の比の積、画素値の比の和など様々なものが考えられる。これらのいずれに対しても、シグナル成分が一致する場合にどのような値を取り得るかを理論的に計算（コンピューターによる数値計算を含む）する事が常に可能であるから、閾値を事前に決定する事が可能である。また、閾値は理論的に決定せずとも、多数の画像を処理して経験的に設定する事も可能である。よって、実施例１から実施例４のいずれも、類似度の評価に差分二乗和を用いる場合に限定されるものではない。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (21)

1. 画像に対してノイズ低減処理をする画像処理装置であって、
   前記画像における複数の画素それぞれに対する重みを出力する出力手段と、
   前記複数の画素の画素値とそれぞれに対応する重みとを用いた重み付き演算を実行することにより前記画像における着目画素のノイズ低減処理した画素値を導出する導出手段と、
   を有し、
   前記出力手段は、前記着目画素以外の画素に対して、前記着目画素を含む着目領域に対する類似度が高い領域に対応する画素に対して大きい値が重みとして決定される重み決定方法に従って決定された重みを出力し、
   前記導出手段は、前記重み決定方法に応じた重みよりも小さい値を前記着目画素に対する重みとして前記重み付き演算を実行するか、または、前記着目画素以外の画素の画素値と前記重み決定方法に応じて決定されたそれぞれの重みとを用いて前記重み付き演算を実行することによって、前記着目画素のノイズ低減処理した画素値を導出することを特徴とする画像処理装置。
2. 画像に対してノイズ低減処理をする画像処理装置であって、
   前記画像における複数の画素それぞれに対する重みを出力する出力手段と、
   前記複数の画素の画素値とそれぞれに対応する重みとを用いた重み付き演算を実行することにより、前記画像における着目画素のノイズ低減処理した画素値を導出する導出手段とを有し、
   前記出力手段は、前記着目画素を含む着目領域に対する類似度が高い領域に対応する画素に対して大きい値が重みとして決定される重み決定方法に従って決定された重みを出力し、
   前記導出手段は、前記重み決定方法に応じた重みより小さい値を、前記着目画素に対する重みとして前記重み付き演算を実行することを特徴とする画像処理装置。
3. 前記画像における各画素の画素値を示す情報を前記出力手段と前記導出手段に供給することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記出力手段は、前記着目画素に対する重みを所定値とし、前記着目画素近傍の画素に対する重みは、前記着目領域と、前記着目画素近傍の画素に対応する領域との類似度に基づいて決定することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記所定値は０であることを特徴とする請求項４に記載の画像処理装置。
6. 前記出力手段は、前記着目画素に対する重みを予め保持していることを特徴とする請求項４または５に記載の画像処理装置。
7. 前記出力手段は、前記着目画素近傍の画素それぞれについて、前記着目領域と、前記着目画素近傍の画素に対応する領域とで、画素値の差分二乗和を前記類似度として導出することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記重み付き演算は、前記複数の画素の画素値とそれぞれに対応する重みとを用いて実行される重み付き平均処理であり、
   前記導出手段は、前記着目画素以外の画素の画素値のみを重み付き平均処理することを特徴とする請求項１に記載の画像処理装置。
9. さらに、前記着目画素を含む前記着目画素近傍の範囲を、参照画素範囲として設定する設定手段を有し、
   前記出力手段は、前記設定手段により設定された前記参照画素範囲に含まれる画素に対して前記重み決定方法に従って重みを決定し、
   前記導出手段は、前記着目画素に対応して決定された重み、または前記着目画素の画素値と対応する重みとの積を所定値に置換することを特徴とする請求項１に記載の画像処理装置。
10. 前記出力手段は、重みを決定する対象の画素に対して、前記着目領域と同じ画素配列の領域を設定し、ブロックマッチングを実行することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
11. さらに前記出力手段が重みを決定した画素のうち、前記ブロックマッチングの結果前記着目画素と前記類似度が高い画素があるか否かを判定する判定手段を有し、前記判定手段で前記類似度が高い画素がないと判定された場合は、前記出力手段は前記着目画素に対する前記重み決定方法に応じた重みを決定し、前記導出手段は、該着目画素の画素値と重みとに応じて前記着目画素の画素値を導出することを特徴とする請求項１０に記載の画像処理装置。
12. 前記出力手段および前記導出手段は、Ｎｏｎ Ｌｏｃａｌ ｍｅａｎｓ法により前記画像をノイズ低減することを特徴とする請求項１から１１のいずれか一項に記載の画像処理装置。
13. 前記出力手段は、前記着目画素に対応する着目領域における各画素の画素値と、重みを決定する対象画素に対応する領域における各画素の画素値との差分に応じた重み関数を用いて、前記対象画素の重みを導出し、
    前記重み関数は、前記差分の和が０であるときの重みが唯一の最大値ではない関数であることを特徴とする請求項１に記載の画像処理装置。
14. 前記複数の画素は、前記着目画素を含むことを特徴とする請求項1から１３のいずれか一項に記載の画像処理装置。
15. 画像に対してノイズ低減処理をする画像処理装置であって、
    前記画像における複数の画素それぞれに対する重みを出力する出力手段と、
    前記複数の画素の画素値とそれぞれに対応する重みとを用いた重み付き演算を実行することにより前記画像における着目画素のノイズ低減処理した画素値を導出する導出手段と、
    を有し、
    前記出力手段は、前記着目画素を含む着目領域に対する類似度が高い領域に対応する画素に対して大きい値が重みとして決定される重み決定方法に従って決定された重みを出力し、
    前記導出手段は、前記着目画素以外の画素の画素値と前記重み決定方法に応じて決定されたそれぞれの重みとを用いて前記重み付き演算を実行することによって、前記着目画素のノイズ低減処理した画素値を導出することを特徴とする画像処理装置。
16. 前記重み付き演算は、前記複数の画素の画素値とそれぞれに対応する重みとを用いて実行される重み付き平均処理であることを特徴とする請求項１５に記載の画像処理装置。
17. 前記着目領域は、前記着目画素を含む矩形領域であることを特徴とする請求項１から１６のいずれか一項に記載の画像処理装置。
18. 画像に対してノイズ低減処理をする画像処理方法であって、
    前記画像における複数の画素それぞれに対する重みを出力する出力ステップと、
    前記複数の画素の画素値とそれぞれに対応する重みとを用いた重み付き演算を実行することにより前記画像における着目画素のノイズ低減処理した画素値を導出する導出ステップと、
    を有し、
    前記出力ステップは、前記着目画素以外の画素に対して、前記着目画素を含む着目領域に対する類似度が高い領域に対応する画素に対して大きい値が重みとして決定される重み決定方法に従って決定された重みを出力し、
    前記導出ステップは、前記重み決定方法に応じた重みよりも小さい値を前記着目画素に対する重みとして前記重み付き演算を実行するか、または、前記着目画素以外の画素の画素値と前記重み決定方法に応じて決定されたそれぞれの重みとを用いて前記重み付き演算を実行することによって、前記着目画素のノイズ低減処理した画素値を導出することを特徴とする画像処理方法。
19. 画像に対してノイズ低減処理をする画像処理方法であって、
    前記画像における複数の画素それぞれに対する重みを出力する出力ステップと、
    前記複数の画素の画素値とそれぞれに対応する重みとを用いた重み付き演算を実行することにより、前記画像における着目画素のノイズ低減処理した画素値を導出する導出ステップとを有し、
    前記出力ステップは、前記着目画素を含む着目領域に対する類似度が高い領域に対応する画素に対して大きい値が重みとして決定される重み決定方法に従って決定された重みを出力し、
    前記導出ステップは、前記重み決定方法に応じた重みより小さい値を、前記着目画素に対する重みとして前記重み付き演算を実行することを特徴とする画像処理方法。
20. 画像に対してノイズ低減処理をする画像処理方法であって、
    前記画像における複数の画素それぞれに対する重みを出力する出力ステップと、
    前記複数の画素の画素値とそれぞれに対応する重みとを用いた重み付き演算を実行することにより前記画像における着目画素のノイズ低減処理した画素値を導出する導出ステップと、
    を有し、
    前記出力ステップは、前記着目画素を含む着目領域に対する類似度が高い領域に対応する画素に対して大きい値が重みとして決定される重み決定方法に従って決定された重みを出力し、
    前記導出ステップは、前記着目画素以外の画素の画素値と前記重み決定方法に応じて決定されたそれぞれの重みとを用いて前記重み付き演算を実行することによって、前記着目画素のノイズ低減処理した画素値を導出することを特徴とする画像処理方法。
21. コンピュータを、請求項１から１７のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

Images