JP2000331153A - 画像処理方法および画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】少なくとも４種以上の異なる波長領域で同一の
被写体を撮影した複数の原画像から構成されるマルチバ
ンド画像の原画像データに対し、この原画像データに含
まれるノイズ成分を、画質の低下を引き起こすことな
く、抑制除去する画像処理方法およびこの方法を実施す
る画像処理装置を提供する。 【解決手段】原画像データから平滑化画像データを作成
し、作成された平滑化画像データを原画像データから減
算してエッジ・ノイズ混在画像データを原画像ごとに求
め、このエッジ・ノイズ混在画像データ間の相関を表す
相関値を計算し、この相関値が低いほど値の大きくなる
ノイズ除去重み係数を求め、前記エッジ・ノイズ混在画
像データに前記ノイズ除去重み係数を乗算してノイズ除
去成分を作成し、前記原画像データから前記ノイズ除去
成分を変倍して減算することによって処理画像データを
得ることで前記課題を解決する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、少なくとも４種以
上の異なる波長領域で同一の被写体を撮影して得られる
マルチバンド画像の粒状などのノイズ（雑音）を抑制除
去する画像処理方法および画像処理装置の技術分野に属
する。

【０００２】

【従来の技術】今日、デジタル画像処理の進歩によっ
て、デジタル画像に求められる高品質、高画質の要求は
高い。フィルムによって撮影される撮影画像において
も、被写体がシャープに写り、しかもノイズのない色再
現の良好な画像が要求される。

【０００３】ところで、デジタル画像がカラー画像の場
合、このカラー画像は、赤（Ｒ）、緑（Ｇ）および青
（Ｂ）の３原色を用いた３画像によって形成されるのが
一般的である。しかし、絵画等の美術工芸品の分野で
は、色の忠実な再現を行なうために、少なくとも４種以
上の異なる波長領域で同一の被写体を撮影した複数の単
色画像から得られる画像、すなわちマルチバンド画像を
用いて整理保存等を行なっている。また、より色再現の
良好な画像を得ることができるように、フィルムの分光
感度やデジタルカメラの撮像素子の分光感度等の設計を
行なう際、被写体の分光反射率を定量的に求めるために
マルチバンド画像が利用されている。

【０００４】このようなマルチバンド画像を得るため
に、画像撮影手段として、例えば銀塩写真感光材料やＣ
ＣＤ（charge coupled device)等の固体撮像素子やフォ
トマルチプライヤ等の撮像管等が用いられるが、これら
の手段によって撮影された画像には、いずれにおいても
ノイズ（雑音）が含まれており、画質を低下させる原因
となっている。

【０００５】この撮影画像に含まれるノイズは、例えば
銀塩写真感光材料を用いた場合、感光材料自体が有する
粒状であり、また固体撮像素子や撮像管を用いた場合、
ショットノイズや電気回路に起因する電気的ノイズによ
って発生するものである。ところで、撮影被写体の分光
反射率を計算して推定するために、撮影された単色画像
の画像データを他の波長域で撮影された単色画像の画像
データとともに演算しなければならなず、また波長域の
異なる単色画像の画像データを用いてカラー画像等を得
る場合にも、上記画像データを演算しなければならず、
そのため画像データに含まれるノイズ成分も一緒になっ
て演算されてしまう。その結果、ノイズ成分が強調さ
れ、被写体の分光反射率に大きなノイズ成分が入ってし
まう問題がある。また、マルチバンド画像やマルチバン
ド画像を構成する単色画像の画像データを用いて得られ
るカラー画像等にノイズ成分が含まれ画質が劣化すると
いった問題が発生する。

【０００６】また、カラー画像等の画質を向上させるた
めに、一般的に、ラプラシアンフィルタやアンシャープ
マスクによるシャープネス強調を行なうが、マルチバン
ド画像やマルチバンド画像を構成する単色画像を用いて
得られるカラー画像についても、画質を向上させるため
に、ラプラシアンフィルタやアンシャープマスクによる
シャープネス強調を行なうことができる。しかし、画像
のシャープネスを向上させると、逆に画像に含まれてい
るノイズ成分が強調され画質を劣化するといった問題が
発生する。

【０００７】このようなノイズの問題に対して、ノイズ
成分の抑制や除去のための画像処理方法として、白黒等
の単色画像のノイズ成分を処理する処理方法やカラー画
像のノイズ成分除去方法等多数の方法が提案されている
一方、撮影画像のノイズ成分を除去しつつ、シャープネ
スを強調する画像処理法も幾つか提案されている。しか
し、これらはいずれもノイズ成分をクリッピングする方
法や、画像データの平均化を行なう方法やぼかす方法を
用いているため、ぼけたノイズパターンが視覚的に不快
に感じられたり、除去してはならない微小な被写体構造
がノイズ成分とともに除去される等の問題があった。

【０００８】たとえば、特表昭５７−５００３１１号公
報、同５７−５００３５４号公報および「アンシャープ
で粒状の目立つ写真画像のディジタル強調方法」、電子
画像処理国際会議録、１９８２年７月、第１７９〜１８
３頁（P.G.Powell and B.E.Bayer, ''A Method for the
Digital Enhancement of Unsharp,Grainy Photographi
c Images'' ,Proceedings of the International Confe
rence on ElectronicImage Processing,Jul.26-28,198
2,pp.179-183) に開示されたポーウェルおよびバイヤー
らの処理法では、粒状抑制方法として平滑化処理法（ロ
ーパスフィルタ）を用い、シャープネス強調方法として
アンシャープマスク（ハイパスフィルタ）による処理法
を用いている。例えば、銀塩写真感光材料の場合を例に
とって説明すると、平滑化処理はｎ×ｎ画素の信号値に
Gaussian型等の重み付けを乗じて信号を平滑化すること
によって、粒状を抑制する処理である。シャープネス強
調処理は、先ずｍ×ｍ画素の画像信号を用いて、中心画
素から周囲画素の方向の微分値を求め、その値が設定し
た閾値より小さい場合は粒状や雑音と見做してコアリン
グ処理で除去し、残った閾値より大きい微分値の和をと
り、１．０以上の定数を乗じて上記の平滑化信号に加算
することによりシャープネス強調を行う。

【０００９】この処理法では、粒状パターンをぼかして
いるので、粒状パターンの濃淡コントラストは低下する
が、粒状を構成する粒子の集落（モトル）からなる大き
いむらパターンが視覚的には目立つようになったりする
ため、不快な粒状として見えるという欠点がある。また
設定した閾値で粒状と画像の識別を行っている（コアリ
ング処理）ので、コントラストの低い画像信号が粒状と
誤認され、粒状と共に抑制あるいは除去されてしまった
り、除去した信号と強調した画像信号との境界で不連続
性が生じ、画像に不自然なアーティファクトが見られる
という欠点がある。特に、芝生や絨毯等の微細な画像、
および布地等のテクスチャが描写されている画像におい
てこの欠点が現れ、視覚的には極めて不自然で望ましく
ないアーティファクトとなる。この問題は、上記銀塩写
真感光材料の粒状性の場合のみならず、固体撮像素子や
撮像管を用いた場合のショットノイズや電気的ノイズに
起因する画像データに混入するノイズ成分においても同
様に発生する。

【００１０】

【発明が解決しようとする課題】そこで、本発明は、上
記問題点を克服して、画像に含まれる画像撮影手段、例
えば銀塩写真感光材料固有の粒状やＣＣＤ等の固体撮像
素子やフォトマルチプライヤ等の撮像管等に起因する電
気的ノイズに起因したマルチバンド画像のノイズ成分
を、画質の低下を引き起こすことなく抑制や除去がで
き、しかも、ノイズ成分除去後に、視覚的に不快に感じ
られるパターンが画像に発生することがなく、本来除去
してはならない微細構造をノイズ成分とともに除去して
しまうこともなく、また画像に不自然なアーチファクト
が生じることもなく、写真のような審美的な画像を得る
画像処理方法および画像処理装置を提供することを目的
とする。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、少なくとも４種以上の異なる波長領域で
同一の被写体を撮影した複数の原画像から構成されるマ
ルチバンド画像の原画像データに対し、この原画像デー
タから平滑化処理を行なって平滑化画像データを作成
し、作成された平滑化画像データを前記原画像データか
ら減算してエッジ成分とノイズ成分の混在するエッジ・
ノイズ混在画像データを前記複数の原画像各々について
求め、この複数のエッジ・ノイズ混在画像データ間の相
関を表す相関値を、前記原画像の各画素の位置毎に計算
し、前記相関値が低いほど値の大きくなるノイズ除去重
み係数を求め、前記エッジ・ノイズ混在画像データに前
記ノイズ除去重み係数を乗算してノイズ除去成分を作成
し、前記原画像データから前記ノイズ除去成分を変倍し
て減算することによってノイズ除去画像データを得るこ
とを特徴とする画像処理方法を提供するものである。

【００１２】その際、少なくとも６種以上の異なる波長
領域で同一の被写体を撮影した複数の原画像から構成さ
れるマルチバンド画像の原画像データに対して画像処理
を行なうのが好ましく、また前記相関値は、前記複数の
原画像の前記エッジ・ノイズ混在画像データの平均値の
絶対値をとって得られるのが好ましく、さらに、前記ノ
イズ除去重み係数は、前記相関値を正規化した後、１か
ら引いて得られる値であるのが好ましい。また、前記原
画像データは、ノイズ成分のみが前記ノイズ除去重み係
数に応じて選択的に除去されるのが好ましい。

【００１３】また、本発明は、少なくとも４種以上の異
なる波長領域で同一の被写体を撮影した複数の原画像か
ら構成されるマルチバンド画像の原画像データに対し画
像処理を行なう画像処理装置であって、前記原画像デー
タから平滑化処理を行なって平滑化画像データを作成す
る平滑化処理演算部と、この平滑化処理演算部から得ら
れる平滑化画像データを前記原画像データから減算して
エッジ成分とノイズ成分の混在するエッジ・ノイズ混在
画像データを前記複数の原画像各々について抽出するエ
ッジ・ノイズ混在画像データ抽出部と、前記エッジ・ノ
イズ混在画像データ抽出部から抽出された前記エッジ・
ノイズ混在画像データ間の相関を表す相関値を、前記原
画像の各画素の位置毎に計算して得る画像相関値演算部
と、前記画像相関値演算部によって得られた相関値か
ら、相関値が低いほど値の大きくなるノイズ除去重み係
数を求めるノイズ除去係数演算部と、前記エッジ・ノイ
ズ混在画像データ抽出部から抽出された前記エッジ・ノ
イズ混在画像データに前記ノイズ除去係数演算部で得ら
れたノイズ除去重み係数を乗算してノイズ除去成分を作
成するノイズ除去成分演算部と、前記原画像データから
前記ノイズ除去成分演算部で得られたノイズ除去成分を
変倍して減算することによってノイズ除去画像データを
得るノイズ除去処理演算部とを備えることを特徴とする
画像処理装置を提供するものである。

【００１４】その際、前記ノイズ除去処理演算部は、前
記原画像データからノイズ成分のみを前記相関値に応じ
て選択的に除去するのが好ましい。

【００１５】

【発明の実施の形態】以下、本発明の画像処理方法を実
施する本発明の画像処理装置について、添付の図面に示
される好適実施例を基に詳細に説明する。

【００１６】図１に、本発明の画像処理方法を実施す
る、本発明の画像処理装置の一実施例でもあるマルチバ
ンド画像ノイズ識別・除去画像処理演算部を組み込んだ
被写体分光反射率分布取得装置１０を示す。被写体分光
反射率分布取得装置１０は、被写体を撮影して画像処理
を行い分光反射率分布を取得して、この分光反射率分布
から得られる画像データを、例えばカラーディスプレイ
等の画像表示装置や画像データ記憶装置やコンピュータ
等に出力する装置であり、被写体を撮影するマルチバン
ド写真画像撮影入力装置１２と、本発明の画像処理方法
を実施する、すなわち得られた複数の原画像の原画像デ
ータのノイズを識別して抑制しまた除去する、本発明の
画像処理装置の一実施例でもあるマルチバンド画像ノイ
ズ識別・除去画像処理演算部１４と、被写体の分光反射
率分布を算出して推定する、被写体分光反射率分布推定
演算部１６と、被写体の分光反射率分布画像データとし
て出力する被写体分光反射率分布画像データ出力装置１
８とを有して構成される。

【００１７】マルチバンド写真画像撮影入力装置１２
は、マルチバンド画像を得るための被写体を撮影する画
像撮影手段であり、例えば、撮影用レンズおよび結像し
た光の像を光電的に読みとるＣＣＤセンサを有し、上記
撮影用レンズの前に複数個、少なくとも４個のカラーフ
ィルタからなるバンドパスフィルタを配し、撮影時にこ
のバンドパスフィルタを順次取り替えながら同一被写体
を撮影するマルチバンド画像撮影用デジタルカメラが挙
げられる。また、撮影用レンズ、および分光感度特性が
異なり、少なくとも４種の波長域で結像した画像を光電
的に読みとることのできる少なくとも４種のＣＣＤセン
サを有した、上記バンドパスフィルタのないマルチバン
ド画像撮影用デジタルカメラであってもよい。この場
合、ＣＣＤセンサにバンドパスフィルタが組み込まれて
いるものであってもよい。バンドパスフィルタは液晶チ
ューナブルフィルタであってもよい。さらには、マルチ
バンド写真画像撮影入力装置１２は、被写体を少なくと
も４個のカラーフィルタからなるバンドパスフィルタを
順次介して銀塩写真感光材料に白黒画像として複数の原
画像を形成させる通常の銀塩写真撮影用カメラと、この
カメラで撮影された上記複数の原画像を画像データとし
て得るスキャナとから構成される装置であってもよい。

【００１８】マルチバンド画像ノイズ識別・除去画像処
理演算部１４は、本発明の画像処理方法を実施し、本発
明の画像処理装置の一実施例を示すもので、原画像デー
タに画像処理を施して、原画像データＩ_0iからノイズ除
去画像データＩ_1iを得て、マルチバンド画像のノイズ成
分を、画質の低下を引き起こすことなく抑制や除去がで
きる部分であり、その構成については後述する。

【００１９】被写体分光反射率分布推定演算部１６は、
ノイズ除去画像データＩ_1iから被写体分光反射率分布ｒ
（ｘ，ｙ，λ）を推定する部分であり、例えば、銀塩写
真の場合、ノイズ除去画像データＩ_1iから、銀塩写真感
光材料の露光濃度に対する濃度の特性曲線を用いて色素
量に変換し、その際、色素量を銀塩写真感光材の分光感
度特性を原因とする重層効果を除去するため、所定の処
理を施して色素量を適宜変換し、その後色素の分光濃度
と組み合わせて被写体分光反射率分布ｒ（ｘ，ｙ，λ）
を推定するように構成される。

【００２０】被写体分光反射率分布画像データ出力装置
１８は、上記被写体分光反射率分布推定演算部１６で得
られた被写体分光反射率分布ｒ（ｘ，ｙ，λ）を、本装
置に接続されたコンピュータ等に画像データとして出力
する装置である。コンピュータに入力された被写体分光
反射率分布画像データは、ＣＲＴモニタ等の画像表示装
置で各々のバンド画像を黒白画像として表示したり、色
再現・調子再現変換等の画像処理を施してＲＧＢのカラ
ー画像データに変換したり、カラー画像として表示した
り、カラープリンタでプリントとして出力する等の様々
な利用に供することができる。

【００２１】さて、マルチバンド画像ノイズ識別・除去
画像処理演算部１４は、ｎ種（ｎは少なくとも４以上）
の異なる波長領域で同一の被写体を撮影した複数の原画
像から構成されるマルチバンド画像の原画像の原画像デ
ータＩ_0i（ｉ＝１．．．ｎ）に対し，本発明の画像処理
方法を行なう部分であり、図２に示すように、平滑化処
理演算部１４ａと、エッジ・ノイズ混在成分抽出部１４
ｂと、画像相関値演算部１４ｃと、ノイズ除去係数演算
部１４ｄと、ノイズ除去成分演算部１４ｅと、ノイズ除
去処理演算部１４ｆとを有して構成される。

【００２２】平滑化処理演算部１４ａは、原画像データ
Ｉ_0iから平滑化処理を行なって平滑化画像データ＜Ｉ_0i
＞を作成する演算部である。平滑化処理は、実空間領域
の処理と空間周波数領域の処理を挙げることができる。
実空間領域処理では、例えば隣接する画素全体の和を求
め平均値を計算してその値に置き換える方法、各画素に
重み係数、たとえば正規分布型の関数を掛けて平均値を
求める方法、メディアンフィルタのような非線型な処理
を行う方法等の種々の方法がある。一方、空間周波数領
域の処理では、ローパスフィルタを掛ける方法がある。
平滑化処理は、これらいずれの方法でもよく、制限され
ない。得られた平滑化画像データ＜Ｉ_0i＞は、エッジ・
ノイズ混在成分抽出部１４ｂに送られる。

【００２３】エッジ・ノイズ混在成分抽出部１４ｂは、
平滑化処理演算部１４ａから送られてきた平滑化画像デ
ータ＜Ｉ_0i＞を下記式（１）に従ってエッジ・ノイズ混
在画像データΔＩ_ENi （ｉ＝１．．．ｎ）を抽出する部
分であり、抽出したエッジ・ノイズ混在画像データΔＩ
_ENi を画像相関値演算部１４ｃとノイズ除去成分演算部
１４ｅに送る。なお、エッジ・ノイズ混在画像データΔ
Ｉ_ENi は、画像の各画素位置ごとに定まる値であり、注
目する画素位置を（ｘ，ｙ）とすると、ｘ，ｙの位置毎
に定まる。 ΔＩ_ENi ＝ Ｉ_0i − ＜Ｉ_0i＞ （１）

【００２４】画像相関値演算部１４ｃは、エッジ・ノイ
ズ混在成分抽出部１４ｂから原画像ごとに抽出されたエ
ッジ・ノイズ混在画像データΔＩ_ENi の原画像間の相関
を表す相関値Ｃ（ｘ，ｙ）（ｘ，ｙは注目する画素の画
素位置）を、下記式（２）に従って、原画像の各画素の
位置毎に計算して得る演算部である（ここで、エッジ・
ノイズ混在画像データΔＩ_ENi は注目画素の位置ｘ，ｙ
ごとに求まる値であるため、ΔＩ_ENi （ｘ，ｙ）と記載
している）。

【数１】 すなわち、マルチチャンネル画像を構成するｎ個のすべ
ての原画像について、エッジ・ノイズ混在画像データΔ
Ｉ_ENi の平均値をとり、その絶対値をとり、各画素の位
置毎の相関値Ｃ（ｘ，ｙ）を得る。なお、各画素の位置
毎に計算して得る相関値Ｃ（ｘ，ｙ）は、上記（２）式
によって得られるものに限定されず、マルチチャンネル
画像を構成するｎ個のすべての原画像のエッジ・ノイズ
混在画像データΔＩ_ENi （ｘ，ｙ）間の相互の相関係数
を求める方法によって求められる相関値であってもよ
い。例えば、下記式（３）を用いて、各々のエッジ・ノ
イズ混在画像データΔＩ_ENi （ｘ，ｙ）間の積の和を求
める方法を用いてもよい。

【数２】

【００２５】ノイズ除去係数演算部１４ｄは、画像相関
値演算部１４ｃによって得られた相関値Ｃ（ｘ，ｙ）か
ら、相関値Ｃ（ｘ，ｙ）が低いほど値の大きくなるノイ
ズ除去重み係数Ｗｎ（ｘ，ｙ）を下記式（４）によって
求める部分である。 Ｗｎ（ｘ，ｙ） ＝ １．０ − Ｃ（ｘ，ｙ）／Ｃ_Max （４） ここで、Ｃ_Max は、画像全体の相関値Ｃ（ｘ，ｙ）のう
ちの最大値であり、相関値Ｃ（ｘ，ｙ）をＣ_Max で割る
ことによって、０以上１以下の値に正規化するように構
成される。これによって、相関値Ｃ（ｘ，ｙ）が０の場
合、ノイズ除去重み係数Ｗｎ（ｘ，ｙ）は１となり、後
述するように、エッジ・ノイズ混在画像データΔＩ_ENi
はノイズ成分と見なして、原画像データＩ_0iからエッジ
・ノイズ混在画像データΔＩ_ENi を除去し、相関値Ｃ
（ｘ，ｙ）が１の場合、ノイズ除去重み係数Ｗｎ（ｘ，
ｙ）は０となり、エッジ・ノイズ混在画像データΔＩ
_ENi にはノイズ成分が含まれないものと見なして、原画
像データＩ_0iからエッジ・ノイズ混在画像データΔＩ
_ENi の除去を行なわない。また、相関値Ｃ（ｘ，ｙ）が
０．３の場合、ノイズ除去重み係数Ｗｎ（ｘ，ｙ）は
０．７となり、後述するように、エッジ・ノイズ混在画
像データΔＩ_ENi にノイズ成分が７０％含まれるとし
て、エッジ・ノイズ混在画像データΔＩ_ENi に０．７を
掛けてこれをノイズ除去成分ΔＩ_Niとする。

【００２６】また、Ｃ_Max は相関値Ｃ（ｘ，ｙ）の画像
全体の範囲から選ばれる最大値としているが、これに限
定されず、画像データの一部、例えば重要被写体が撮影
される場合が多い画像中央部分の特定範囲内から選ばれ
る相関値Ｃ（ｘ，ｙ）の最大値としてもよい。あるい
は、原画像データを、例えば４分の１から１００分の１
程度に画像データを間引いた間引き画像データに対し
て、エッジ・ノイズ混在画像データを作成し、相関値を
求め、この相関値の全体から選ばれる最大値をＣ_{Ma x} と
してもよい。この場合、重要被写体が撮影される場合が
多い中央部分の特定範囲の画像データや間引き画像デー
タは、マルチバンド画像の原画像データを得る前に予め
粗い画素密度で得ることのできる各種処理条件調整用原
画像データ（プレススキャン画像データ）を用いてもよ
い。また、Ｃ_Max は、相関値Ｃ（ｘ，ｙ）を大きい値か
ら順番に並べた際の上位５〜１０％に位置する値の平均
値＜Ｃ（ｘ，ｙ）＞をＣ_Max としてもよく、Ｃ（ｘ，
ｙ）がこのＣ_Max を超える場合、すべてＣ_Max に置き換
えるのが望ましい。この場合、＜Ｃ（ｘ，ｙ）＞の平均
値は、画像全体の相関値Ｃ（ｘ，ｙ）の上位５〜１０％
からでも、重要被写体が撮影される場合の多い中央部分
の所定の範囲の相関値Ｃ（ｘ，ｙ）の上位５〜１０％か
ら求めてもよい。

【００２７】ノイズ除去成分演算部１４ｅは、下記式
（５）に従って、エッジ・ノイズ混在画像データ抽出部
１４ｂから抽出されたエッジ・ノイズ混在画像データΔ
Ｉ_ENi（ｘ，ｙ）にノイズ除去係数演算部１４ｄで得ら
れたノイズ除去重み係数Ｗｎ（ｘ，ｙ）を乗算してノイ
ズ除去成分ΔＩ_Ni（ｘ，ｙ）を作成する演算部である。 ΔＩ_Ni（ｘ，ｙ） ＝ Ｗｎ（ｘ，ｙ）×ΔＩ_ENi （ｘ，ｙ） （５） エッジ・ノイズ混在画像データΔＩ_Ni（ｘ，ｙ）は、ノ
イズ成分が多い画素位置ではノイズ除去重み係数Ｗｎ
（ｘ，ｙ）が１に近いため、エッジ・ノイズ混在画像デ
ータΔＩ_ENi （ｘ，ｙ）はほとんどノイズ成分であると
判断して、ノイズ除去成分ΔＩ_Ni（ｘ，ｙ）はほぼΔＩ
_ENi （ｘ，ｙ）に近い値となる。一方、ノイズ除去重み
係数Ｗｎ（ｘ，ｙ）が０に近い場合、エッジ・ノイズ混
在画像データΔＩ_ENi （ｘ，ｙ）はほとんどノイズ成分
はないものと判断して、ノイズ除去成分ΔＩ_Ni（ｘ，
ｙ）は０に近くなる。

【００２８】ノイズ除去処理演算部１４ｆは、下記式
（６）に従って、ノイズ除去成分演算部１４ｅで得られ
たノイズ除去成分ΔＩ_Ni（ｘ，ｙ）を変倍係数αによっ
て変倍して原画像データＩ_0i（ｘ，ｙ）から減算してノ
イズ除去画像データＩ_1i（ｘ，ｙ）を得る演算部であ
る。 Ｉ_1i（ｘ，ｙ）＝ Ｉ_0i（ｘ，ｙ）−α×ΔＩ_Ni（ｘ，ｙ） （６） ここで、変倍係数αを１．０とすると、ノイズ除去成分
ΔＩ_Ni（ｘ，ｙ）を原画像データＩ_0i（ｘ，ｙ）から完
全に除くことになるが、ΔＩ_Ni（ｘ，ｙ）に若干含まれ
ている布地等の微細構造の画像データの成分も除去され
るため好ましくない。一方、変倍係数αを０とすると、
ノイズ成分は全く除去されないため好ましくない。その
ため、変倍係数αは、０．１より大きく０．９より小さ
い値であり、好ましくは、０．３より大きく０．７より
小さい値であることが好ましい。

【００２９】以上のように、マルチバンド画像ノイズ識
別・除去画像処理演算部１４は構成される。

【００３０】なお、図１に示す被写体分光反射率分布取
得装置１０は、ＣＣＤカメラ部および分光フィルタ（バ
ンドパスフィルタ）部を有するマルチバンド写真画像撮
影入力装置１２とし、マルチバンド画像ノイズ識別・除
去画像処理演算部１４および被写体分光反射率分布推定
演算部１６および被写体分光反射率分布画像データ出力
装置１８をパーソナルコンピュータのプログラムで構成
させ、本発明に係る画像処理方法や被写体分光反射率分
布推定演算等をプログラム処理で行うことができる。一
例を挙げると、ＣＣＤカメラ部は、モノクロで、ピクセ
ルサイズ１２×１２（μ）でピクセル数１０２４×１０
２４（pixel)のＣＣＤセンサを備えたＤＡＬＳＡ社製Ｃ
Ａ−Ｄ４−１０２４Ａ、ＰＣＩ Ｉ／Ｆを用いる。分光
フィルタは、波長範囲４００〜７２０nmで中心波長が任
意に選択可能であり、波長半値幅３０nm、透過率6 〜６
０％（波長に依存）のＣＲＩ社製の液晶チューナブルフ
ィルタ、Varispec Tunable Filter ＲＳ２３２Ｃ Ｉ／
Ｆを用いる。この液晶チューナブルフィルタを用いるこ
とで、例えば中心波長が２０ｎｍの波長間隔で１６枚の
マルチバンド画像を構成する原画像を得ることができ
る。また、パーソナルコンピュータは、例えば、ＣＰＵ
が１６６ＭＨｚ、ＲＡＭが１２８Ｍbyteであって、プロ
グラム言語Ｃ＋＋で本発明に係る画像処理方法をはじめ
種々の処理が施されるＰＲＯＳＩＤＥ社製のブック型Ｐ
Ｃ（Windows95)で構成する。勿論、これ以外のパーソナ
ルコンピュータやプログラム言語を用いてもよい。

【００３１】つぎに、本発明の画像処理方法を実施し、
本発明の画像処理装置を組み込んだ被写体分光反射率分
布取得装置１０の作用を図３に従って説明する。まず、
被写体をマルチバンド写真画像撮影入力装置１２によっ
て少なくとも４種以上の波長領域で撮影した原画像デー
タＩ_i を得る。例えば、少なくとも４枚のカラーフィル
タからなるバンドパスフィルタを撮影レンズとの前に配
置し、順次バンドパスフィルタを介して結像した画像を
ＣＣＤセンサによって光電的に読みとるマルチバンド画
像撮影用デジタルカメラによって、デジタル画像の各バ
ンドパスフィルタに対応した原画像データＩ_i を得、マ
ルチバンド画像ノイズ識別・除去画像処理演算部１４の
平滑処理演算部１４ａに送る。

【００３２】上記マルチバンド画像撮影用デジタルカメ
ラの例の場合、ＣＣＤセンサによって光電的に読みとる
際、ショットノイズと電気的ノイズがマルチバンド画像
を構成する複数の原画像各々に画像データにノイズ成分
として混入するが、この画像データに混入するノイズ成
分は、ランダムなノイズであるため、各原画像間で相関
のないノイズ成分となる特徴を有する。また、銀塩写真
感光材料の場合においても、フィルムの粒状性はフィル
ム１枚ずつの固有の粒状パターンであるので、原画像間
で粒状性に相関がない特徴を有する。

【００３３】次に、平滑処理演算部１４ａで、原画像デ
ータＩ_i から所定の平滑化処理を行なって平滑化画像デ
ータ＜Ｉ_0i＞を作成する（ステップ２０）。作成された
平滑化画像データ＜Ｉ_0i＞は、エッジ・ノイズ混在成分
抽出部１４ｂにおいて、上記式（１）に従って、エッジ
・ノイズ混在画像データΔＩ_ENi を抽出し（ステップ２
２）、画像相関値演算部１４ｃとノイズ除去成分演算部
１４ｅに送る。

【００３４】ここで、平滑化画像データ＜Ｉ_0i＞では、
撮影時の電気的ノイズに起因するノイズ成分や空間的に
急峻な変化をする被写体のエッジ部分の信号成分（エッ
ジ成分）が平滑化されるため、原画像の画像データＩ_i
と平滑化画像データ＜Ｉ_0i＞との差分をとることで、ノ
イズ成分やエッジ成分が多く含まれる画素位置では大き
な値を示す一方、ノイズ成分やエッジ成分が少ない画素
位置では小さな値を示す。

【００３５】次に、画像相関値演算部１４ｃに送られた
エッジ・ノイズ混在画像データΔＩ _ENi から、上記式
（２）に従って、相関値Ｃ（ｘ，ｙ）を計算して取得す
る（ステップ２４）。相関値Ｃ（ｘ，ｙ）は、画素位置
（ｘ，ｙ）毎にマルチバンド画像を構成する４以上の原
画像のエッジ・ノイズ混在画像データΔＩ_ENi の平均値
を採ることによって得られるので、得られた相関値は安
定している。特に、マルチバンド画像を６画像以上で構
成することによって、相関値をより一層安定させること
ができるため、マルチバンド画像を６画像以上で構成す
ることが好ましい。また、相関値Ｃ（ｘ，ｙ）は、エッ
ジ・ノイズ混在画像データΔＩ_ENi の平均値を採ること
によって得られるので、例えばノイズ成分が多くエッジ
成分が少ない場合、各原画像に含まれるノイズ間には相
関がないため互いに相殺され、相関値Ｃ（ｘ，ｙ）は０
に近い値となる。一方、ノイズ成分が少なくエッジ成分
が多い場合、各原画像間のエッジ成分には強い相関があ
るため、相関値Ｃ（ｘ，ｙ）は大きな値を持つ。このよ
うに、画像の各画素位置について、各画像間の画像デー
タの相関性を利用して、ノイズ成分の支配的な画素位置
から、画像処理によって除去してはならないエッジ成分
の支配的な画素位置まで相関値Ｃ（ｘ，ｙ）を用いて連
続的に数値化することができる。

【００３６】次に、ノイズ除去係数演算部１４ｄでは、
画像相関値演算部１４ｃで得られた相関値Ｃ（ｘ，ｙ）
から、上記式（４）に従って、ノイズ除去重み係数Ｗｎ
（ｘ，ｙ）を計算して取得する（ステップ２６）。ノイ
ズ除去重み係数Ｗｎ（ｘ，ｙ）は、式（４）で示される
ように、相関値Ｃ（ｘ，ｙ）を正規化し、その値を１．
０から減算して得られるので、ノイズ成分が多い場合、
ノイズ除去重み係数Ｗｎ（ｘ，ｙ）が１．０に近く、逆
にエッジ成分が多い場合は、ノイズ除去重み係数Ｗｎ
（ｘ，ｙ）が０に近い。一方、ノイズ成分やエッジ成分
が混在している場合、ノイズ除去重み係数Ｗｎ（ｘ，
ｙ）は例えば０．５程度になる。このように、画素位置
ごとにノイズ除去重み係数Ｗｎ（ｘ，ｙ）が０以上１以
下の値として自動的かつ一意的に定まるので、後述する
ように、画素位置ごとに容易にノイズ成分の抑制や除去
の画像処理を行なうことができる。

【００３７】次に、得られたノイズ除去重み係数Ｗｎ
（ｘ，ｙ）と、エッジ・ノイズ混在成分抽出部１４ｂに
おいて抽出されたエッジ・ノイズ混在画像データΔＩ
_ENi （ｘ，ｙ）とから、式（５）に従ってノイズ除去成
分Ｉ_Ni（ｘ，ｙ）を算出し取得する（ステップ２８）。
ノイズ除去成分Ｉ_Ni（ｘ，ｙ）は、ノイズ除去重み係数
Ｗｎ（ｘ，ｙ）をエッジ・ノイズ混在画像データΔＩ
_ENi （ｘ，ｙ）に乗算しているので、ノイズ成分が多い
画素位置ではノイズ除去重み係数Ｗｎ（ｘ，ｙ）が１に
近いため、エッジ・ノイズ混在画像データΔＩ
_ENi （ｘ，ｙ）はほとんどノイズ成分であると判断し
て、ノイズ除去成分ΔＩ_Ni（ｘ，ｙ）はほぼΔＩ
_ENi （ｘ，ｙ）を採用する。一方、ノイズ除去重み係数
Ｗｎ（ｘ，ｙ）が０に近いと、エッジ・ノイズ混在画像
データΔＩ_ENi （ｘ，ｙ）はほとんどノイズ成分はな
く、エッジ成分が支配的であるものと判断して、ノイズ
除去成分ΔＩ_Ni（ｘ，ｙ）は０に近い。このように、ノ
イズ除去重み係数Ｗｎ（ｘ，ｙ）は０以上１以下の値を
とることができるので、ノイズ成分に応じてノイズ除去
成分ΔＩ_Ni（ｘ，ｙ）の大きさも変化し、エッジ成分を
含むことなくノイズ成分のみを選択的に除去することが
できる。このため、ノイズ成分の除去された画像では、
ノイズ除去後のパターンが視覚的に不快に感じられた
り、本来除去してはならない微細構造をノイズ成分とと
もに除去してしまうことがなく、また画像に不自然なア
ーチファクトが生じることもない。

【００３８】次に、ノイズ除去処理演算部１４ｆにおい
て、ノイズ除去画像処理の演算を式（６）に従って行
い、ノイズ除去画像データＩ_i を得る。ここで、変倍係
数α設けるのは、上述するように、変倍係数αを１．０
とすると、ノイズ除去成分ΔＩ_Ni（ｘ，ｙ）を原画像デ
ータＩ_0i（ｘ，ｙ）から完全に除くことになるものの、
ΔＩ_Ni（ｘ，ｙ）に若干含まれている布地等のテクスチ
ャの微細構造の画像データの成分も除去されるため好ま
しくなく、一方、変倍係数αを０とすると、ノイズ成分
は全く除去されないため好ましくないからである。

【００３９】このようにして得られた各原画像の原画像
データＩ_0iに対応したノイズ除去画像データＩ_1iを得た
後、被写体分光反射率分布推定演算部１６に送られ、画
素毎に被写体分光反射率分布で表した画像データの推定
が行われる。マルチバンド画像の原画像データＩ
_0i（ｘ，ｙ）やノイズ除去画像データＩ_1i（ｘ，ｙ）か
ら被写体分光反射率分布の画像データの推定は、撮影時
に用いた被写体照明光の分光放射輝度Ｅ（λ）、被写体
分光反射率分布ｒ（ｘ，ｙ，λ）、マルチバンド画像を
構成する各原画像のカラーフィルタの分光透過率ｔ
（λ）、カメラの撮像センサであるＣＣＤ撮像素子ある
いは銀塩写真フィルムの分光感度（カメラレンズの分光
透過率も含む）および光に対するセンサの応答特性を用
いて既存の方法を用いて行う。次に、得られた被写体分
光反射率分布ｒ（ｘ，ｙ，λ）は、被写体分光反射率分
布画像データ出力装置１８によって、本装置に接続され
たコンピュータ等に画像データとして出力される。コン
ピュータに入力された被写体分光反射率分布画像データ
は、ＣＲＴモニタ等の画像表示装置で各々のバンド画像
を黒白画像として表示したり、色再現・調子再現変換等
の画像処理を施してＲＧＢのカラー画像データに変換し
たり、カラー画像として表示したり、カラープリンタで
プリントとして出力する等の様々な利用に供される。

【００４０】以上、本発明の画像処理方法および画像処
理装置について詳細に説明したが、本発明は上記実施例
に限定はされず、本発明の要旨を逸脱しない範囲におい
て、各種の改良および変更を行ってもよいのはもちろん
である。

【００４１】

【発明の効果】以上、詳細に説明したように、本発明に
よれば、少なくとも４種以上の異なる波長領域で同一の
被写体を撮影した複数の原画像から構成されるマルチバ
ンド画像の原画像データにおいて、この原画像データに
含まれるノイズ、例えば銀塩写真感光材に起因する粒状
やデジタルカメラ等の撮影時のショットノイズや電気的
ノイズに起因するノイズ等が各原画像間で相関性のない
ことを利用して、画像データの中からエッジ成分を含む
ことなくノイズ成分を選択的に抑制除去することができ
るので、ノイズ成分の少ない高画質の被写体分光反射率
画像データやマルチバンド画像を得ることができ、しか
もノイズ成分の除去された画像では、ノイズ除去後のパ
ターンが視覚的に不快に感じられたり、本来除去しては
ならない微細構造をノイズ成分とともに除去してしまう
ことがなく、また画像に不自然なアーチファクトが生じ
ることもないので、種々の被写体を撮影して写真のよう
な審美的な画像を得ることが可能となる。

【図面の簡単な説明】

【図１】 本発明の画像処理装置の一実施例であり、本
発明の画像処理方法を実施するマルチバンド画像ノイズ
識別・除去画像処理演算部を組み込んだ被写体分光反射
率分布取得装置の概念を示すブロック図である。

【図２】 図１に示すマルチバンド画像ノイズ識別・除
去画像処理演算部の概念を示すブロック図である。

【図３】 本発明の画像処理方法の一実施例を説明する
フローチャートである。

【符号の説明】

１０ 被写体分光反射率分布取得装置 １２ マルチバンド写真画像撮影入力装置 １４ マルチバンド画像ノイズ識別・除去画像処理演算
部 １４ａ 平滑化処理演算部 １４ｂ エッジ・ノイズ混在画像データ抽出部 １４ｃ 画像相関値演算部 １４ｄ ノイズ除去係数演算部 １４ｅ ノイズ除去成分演算部 １４ｆ ノイズ除去処理演算部 １６ 被写体分光反射率分布推定演算部 １８ 被写体分光反射率分布画像データ出力装置

フロントページの続き Ｆターム(参考） 5B057 BA02 BA15 CA01 CB01 CE02 CE05 DC16 DC34 5C066 AA01 AA05 BA13 BA20 CA07 EC12 EF12 GA01 KD07 KE02 KE03 KE05 KE17 KM02 KM05 5C077 LL02 LL19 MM03 MP08 PP02 PP47 PP55 SS04

Claims (7)

【特許請求の範囲】
1. 【請求項１】少なくとも４種以上の異なる波長領域で同
   一の被写体を撮影した複数の原画像から構成されるマル
   チバンド画像の原画像データに対し、 この原画像データから平滑化処理を行なって平滑化画像
   データを作成し、 作成された平滑化画像データを前記原画像データから減
   算してエッジ成分とノイズ成分の混在するエッジ・ノイ
   ズ混在画像データを前記複数の原画像各々について求
   め、 この複数のエッジ・ノイズ混在画像データ間の相関を表
   す相関値を、前記原画像の各画素の位置毎に計算し、 前記相関値が低いほど値の大きくなるノイズ除去重み係
   数を求め、 前記エッジ・ノイズ混在画像データに前記ノイズ除去重
   み係数を乗算してノイズ除去成分を作成し、 前記原画像データから前記ノイズ除去成分を変倍して減
   算することによってノイズ除去画像データを得ることを
   特徴とする画像処理方法。
2. 【請求項２】少なくとも６種以上の異なる波長領域で同
   一の被写体を撮影した複数の原画像から構成されるマル
   チバンド画像の原画像データに対して画像処理を行なう
   請求項１に記載の画像処理方法。
3. 【請求項３】前記相関値は、前記複数の原画像の前記エ
   ッジ・ノイズ混在画像データの平均値の絶対値をとって
   得られる請求項１または２に記載の画像処理方法。
4. 【請求項４】前記ノイズ除去重み係数は、前記相関値を
   正規化した後、１から引いて得られる値である請求項１
   〜３のいずれかに記載の画像処理方法。
5. 【請求項５】前記原画像データは、ノイズ成分のみが前
   記ノイズ除去重み係数に応じて選択的に除去される請求
   項１〜４のいずれかに記載の画像処理方法。
6. 【請求項６】少なくとも４種以上の異なる波長領域で同
   一の被写体を撮影した複数の原画像から構成されるマル
   チバンド画像の原画像データに対し画像処理を行なう画
   像処理装置であって、 前記原画像データから平滑化処理を行なって平滑化画像
   データを作成する平滑化処理演算部と、 この平滑化処理演算部から得られる平滑化画像データを
   前記原画像データから減算してエッジ成分とノイズ成分
   の混在するエッジ・ノイズ混在画像データを前記複数の
   原画像各々について抽出するエッジ・ノイズ混在画像デ
   ータ抽出部と、 前記エッジ・ノイズ混在画像データ抽出部から抽出され
   た前記エッジ・ノイズ混在画像データ間の相関を表す相
   関値を、前記原画像の各画素の位置毎に計算して得る画
   像相関値演算部と、 前記画像相関値演算部によって得られた相関値から、相
   関値が低いほど値の大きくなるノイズ除去重み係数を求
   めるノイズ除去係数演算部と、 前記エッジ・ノイズ混在画像データ抽出部から抽出され
   た前記エッジ・ノイズ混在画像データに前記ノイズ除去
   係数演算部で得られたノイズ除去重み係数を乗算してノ
   イズ除去成分を作成するノイズ除去成分演算部と、 前記原画像データから前記ノイズ除去成分演算部で得ら
   れたノイズ除去成分を変倍して減算することによってノ
   イズ除去画像データを得るノイズ除去処理演算部とを備
   えることを特徴とする画像処理装置。
7. 【請求項７】前記ノイズ除去処理演算部は、前記原画像
   データからノイズ成分のみを前記相関値に応じて選択的
   に除去する請求項６に記載の画像処理装置。