JP3143627B2

JP3143627B2 - エッジ保存雑音低減方式

Info

Publication number: JP3143627B2
Application number: JP03143533A
Authority: JP
Inventors: ギッスィンラミー
Original assignee: ディーブイピーテクノロジーズリミテッド
Priority date: 1991-06-14
Filing date: 1991-06-14
Publication date: 2001-03-07
Anticipated expiration: 2016-03-07
Also published as: IL100589A; IL100589A0; JPH04369780A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、デジタル画像を復原す
る画像雑音低減方式に係わり、さらに詳しくは、雑音に
よる劣化を伴った入力画像信号を平滑化して、原画像信
号を高速に且つ最適に推定する画像雑音低減方式に関す
る。

【０００２】

【従来の技術】通常、アナログ画像信号あるいは走査子
（スキャナ）による画像走査信号をディジタル変換した
入力画像信号には雑音が含まれている。この画像に含ま
れる雑音を取り除くには、従来、画像の光輝面を徐々に
変えて平滑化し、かつ、それと同時に、エッジ、線、輪
郭等の、より急峻な輝度変化部を保存するようにして行
っている。雑音の在るオリジナル画像と比較して平滑化
された画像内の残留歪みは、画像信号推定処理における
エラーとして明確化される。

【０００３】例えば、工場内の工程管理等に使用される
ＴＶ用カメラ、宣伝等の商業的な情報収集用の携帯可能
なＴＶカメラ、一斉同報通信用の画像カメラ等を用いる
場合、しばしば影像に対する照明が低い状況に直面す
る。そして、その場合、画像信号の信号／雑音比（Ｓ／
Ｎ比）が全体として低くなるため、結果として画質は低
下する。そのような場合の画像信号は、一般に電子雑音
やＣＣＤ検出器の不均一さによる雑音が強調され、表示
される映像内に明瞭な点となって観察される。この問題
は、スチール・ビデオカメラにも現れる。スチール・ビ
デオカメラでは、場面毎に一スナップショットがとられ
るが、この場合、固定パターンとランダム雑音とが結合
される結果、映像内に写し出される雑音がより明確に可
視的となって観察者を悩ませるという問題があった。

【０００４】また、店内監視、房内監視等に用いられる
テレビカメラで画像強化されたものでは、しばしば、光
源が低レベルであることに起因する高度の雑音を伴った
映像が観察されるという問題があった。

【０００５】また、画像雑音は、医学的画像システム、
例えば人体内部の状態を断層的に示す超音波造影装置
や、非常に低い照明条件で使用される特殊な電子光学的
装置である光子カウント画像システム等にも現れる。

【０００６】また、ＣＣＤスキャナ検出器による固定パ
ターンからの画像走査の場合では、得られる映像の画質
は、光源の条件や、走査されたデータ（紙またはフィル
ム上の画像や文章）に依存する。

【０００７】また、ＣＣＤスキャナ検出器の感応度の不
均一性によって起こされる雑音も存在する。そして、こ
れらの場合も雑音を低減することがしばしば必要とされ
る。

【０００８】

【発明が解決しようとする課題】このように、映像（表
示するために復原された画像）に混入する雑音を除去す
る画像復元の問題は、電気光学的走査造影、電子テレ
ビ、または図形表示等の広範囲にわたって適用される。

【０００９】ところで、この雑音は、ディジタル画像復
元処理スキームを用いて修正することが出来る。従来
の、ディジタル画像復元処理スキームは、通常、２種類
に分けることができる。すなわち、第１は、空間画像情
報のみを利用する空間平滑化演算子、第２は、ディジタ
ル化された画像の数列（ディジタル系列）を有限応答時
間によって順次積分する時間積分演算子である。これに
よって、有効な露光持続時間を拡大し、信号／雑音比を
改善する。

【００１０】空間平滑化演算子による画像処理結果は、
通常、実像すなわち原画像に比較して、エッジ、線、輪
郭等の画像内容に対して「ぼやけ」又は「にじみ」のよ
うな残留ひずみを高い頻度で発生し、観察者にとっては
不満の多い復原画像となる。しかしながら、ＴＶ映像の
場合、例えば、映像に「動き」があるあいだは、映像が
継続的に更新されるので、人間が持つ視覚矯正能力とも
相俟って、画像のぼやけは目立たなくなる。

【００１１】時間画像積分演算子による画像処理を、静
止画像に適用した場合、実像信号が一定であるのに対し
て雑音信号がランダムであることから、雑音除去が容易
であり、その復原画像の画質については十分な改善が行
われる。しかし、動く被写体に対しては、連続する映像
信号（映像フレーム）が積分されることによりビデオカ
メラの有効露出が拡張され、必然的な画像のにじみが引
き起こされる。したがって、動画の画像処理には適さな
いことが判明する。

【００１２】このように、いずれの方法にも一長一短が
あり、動画像、静止画像に係わりなく復原画像に対する
最適の雑音除去を行うことのできる方式がなかった。本
発明の第１の目的は、雑音による劣化を伴った入力画像
信号を平滑化して、原画像信号を高速に且つ最適に推定
する画像雑音低減方式を実現することである。

【００１３】そして第２の目的は、画像雑音低減方式に
おいて、画像の画素信号一つ一つについて、自動的に、
エッジ模型、線または輪郭模型、もしくは平滑面模型の
いずれか最も適切な信号模型を選択することによって、
空間平滑化を時間積分の雑音低減化の利点に結合させる
ことである。

【００１４】

【課題を解決するための手段および作用】この空間平滑
化方式は、カルマン(Kalman)・フィルタ利得因数を伴
い、定常時系列の予測・濾波のための推定フィルタとし
て例えばウィーナー(Wiener)・フィルタを、また、エッ
ジ保存平滑化のためのフィルタとして例えば中央値フィ
ルタを用いる。

【００１５】そして、反復する空間平滑化は、カスケー
ド構成の、同一形式の二次元演算装置を用いて処理を繰
り返すことにより達成される。このための空間平滑化演
算子は、二方向の巡回型二次元演算子であり、画像輝度
信号値の推定演算のための適度な映像ラインメモリを伴
ない、実時間（リアルタイム）処理に対応するために適
当するパイプライン構造をなす。

【００１６】この演算子は、画像内の加法性雑音に対し
て、局所画像統計上の簡単で的確な推定値である局所信
号／雑音比を提供する。この統計推定値は、現画素（現
在処理中の画素）がエッジ画素、線または輪郭画素、も
しくは平滑光輝面画素であるかによって、選択的に計算
され、これによって、適切なカルマン利得因数を選択す
る。信号／雑音比の完全な値域を推定するためのカルマ
ン利得因数は、巡回的に計算され一点に集約されること
により一定状態となって、ダイレクト・アクセス用メモ
リの索引テーブルに格納される。

【００１７】現画素前に平滑化された画素線（現画素が
存在する画素の横列（行）の直ぐ上の画素行）を用いる
巡回二次元計算の結合は、エッジ実像値と、線または輪
郭実像値とを混同して推定することのない入力値を、演
算子へ効率よく提供する。

【００１８】また、この空間平滑化方式は、現画素の輝
度値を推定するために、現画素前の平滑化された画像
（例えば、ビディオ画像の、現画素が存在するフレーム
またはフィールドの、直前のフレームまたはフィールド
を構成するディジタル系列）を用いて巡回三次元計算を
行ない、時間領域において関連する画素データを結合す
る。

【００１９】このように、静止画像に対する積分法の利
点を、「にじみ」を引き起こしがちな動画像に対しても
単なる空間平滑化方式により最少の巡回演算を応用して
実現する。

【００２０】この発明の方式は、演算子の一部の制御変
数や、用意されるカルマン(Kalman)・フィルタ利得因数
を変えることによって、画像の強化、符号化と圧縮、挿
項、電子ズーム（拡大）等、広範囲の画像再現処理に直
接、且つ容易に適用にできる。

【００２１】

【実施例】次に、先ず本発明の実施例の構成とその動作
を順次詳細に説明する。図１は、本発明のエッジ保存画
像雑音低減方式が実行される計算処理の函数配置と処理
手順を示す概念ブロック図である。

【００２２】同図において、ユニット１０では、先ず、
入力されるアナログ映像信号または画像走査信号がディ
ジタル化される。そして、また、入力信号の最適ディジ
タル化のための利得レベル制御を自動的に行う全て手段
が含まれる。

【００２３】ユニット１１は、完全な雑音低減計算処理
空間アルゴリズムからなり、第１番から第ｎ番まで同一
構成の演算子からなるパイプライン形式の並列配置がな
される。それ故に、データフロー処理能力と走査レート
を減ずることなく、反復計算を実行できる。

【００２４】各ユニット１１は、番号１２から１８の７
個の副ユニットから構成される。副ユニット１２は、後
述する広義の静止したマルコフ(Markov)画像模型、即
ち、区分平滑に基礎の置かれた基本的一次元カルマン推
定量からなる。

【００２５】副ユニット１３は入力信号を、副ユニット
１４及び１５は計算処理の中間結果を、それぞれ格納す
るための、遅延装置附き中間ストレージ、即ち、遅延線
ＦＩＦＯ(First In First Out)である。

【００２６】副ユニット１６は、現画素の適切な信号モ
ードを一組の論理規則、すなわち、エッジ信号、細線ま
たは輪郭信号、もしくは平滑濃度信号に対応して自動的
に選択する２方向機構を構成し、両スキャン方向のため
に平滑結果を計算する。

【００２７】副ユニット１７は、一定な状態の索引テー
ブル、即ち、期待される信号／雑音比・推定値の完全な
範囲と固定された（見做され且つプリセットされた）空
間相関値のために予め計算されたカルマンフィルタ利得
因数を有する。

【００２８】副ユニット１８は、現在の二方向平滑結果
を、前に走査され平滑化された画像ラインと結合させる
二次元平滑計算処理を構成する。ユニット１９は、雑音
低減方式に対して、画像雑音の変動推定値の形で入力さ
れるマニュアル又は自動的な雑音レベルからなる。そし
て、この値は、推定された信号変動に対する尺度因数と
して用いられ、また、副ユニット１７の、カルマン利得
因数索引テーブルの雑音計測に対する入力信号として用
いられる。

【００２９】図２に、カルマン利得因数Ｋ(i) と信号／
雑音比ｓｎｒとの関係を示す特性図を示す。また、図３
に、本発明の基本的な一次元推定計算メカニズムとデー
タの流れを示す。

【００３０】図３において、雑音混入の画像信号は、そ
れぞれの領域が関係する平均値、変動、及び相関係数に
よって第１番目の（広義の）マルコフ処理として模型化
されている隣り合う領域からなり、区分定常処理として
可能性を含んで模型化される。すなわち、図３は、関数
「S(i)=S(i-1)+K(i)[X(i)-S(i)] 」の算出方法を示して
おり、そこでは「ｉ」は画素の指標であり、Ｘ（ｉ）は
入力画素値、Ｓ（ｉ）は方向性を持った推定値、Ｋ
（ｉ）はカルマン利得因数である。このカルマン利得因
数は信号雑音比（ＳＮＲ）に対する局部信号の関数とし
て全ての画素に対して更新される。この信号雑音比（Ｓ
ＮＲ）は、隣接する画素（複数）の方向性を持った予め
の推定値（予示推定値）の関数として推定される。同図
において、ユニット３０１は、Ｘ（ｉ）、Ｓ（ｉ−１）
及び雑音標準偏差の関数として、信号雑音比ＳＮＲ
（ｉ）を演算する。したがって、ユニット３０１は或る
ルックアップテーブルをユニット３０２にＫ（ｉ）値と
共にロードする。ユニット３０２はユニット３０５の出
力（Ｘ（ｉ）とＳ（ｉ−１）間の差）を受け取り、この
値にＫ（ｉ）を乗ずる。ユニット３０３は加算器であ
る。この加算器はユニット３０２の出力にユニット３０
４の出力を加算する。ユニット３０４は遅延器である。
この遅延器は推定値Ｓ（ｉ）を受け取ってそれを１画素
分の時間遅らせる。

【００３１】一般に、画像信号は、通常的に散在する相
関性のない加法性雑音によって劣化させられる。そし
て、本構成の目的は、入力する雑音劣化画像信号を平滑
化によって最も望ましく原画像信号に推定することであ
る。

【００３２】一般的には、同時に、一方で、エッジ、
線、そして輪郭のような、本質的に高い振幅の信号内容
を保存しながら、他方で、変化する輝度（濃度）信号を
逐次平滑化するということである。そして、原画像信号
に比較される平滑化された画像内の残留ひずみは、推定
誤差として定義される。

【００３３】非ゼロ平均値を持った広義のマルコフ処理
の最小平均二乗誤差（ＭＭＳＥ）巡回不偏推定値は、

【００３４】

【数１】

【００３５】で与えられる。ここで、外１はＭＭＳＥ
巡回推定値を表し、

【００３６】

【外１】

【００３７】ｓ(i-1) は前回のマルコフ処理出力値を表
し、ρ_Sは処理の相関係数を表し、μ_Sは処理の平均値
を表す。

【００３８】ガウス分布処理でもあるマルコフ模型処理
の有用は、カルマン巡回推定値理論が、確実に有効な解
式として直接最も都合のよい意味で且つ閉じられた形で
問題に適用することにある。よく知られた分離した（不
連続の）カルマン・フィルタ方程式に依って、画像画素
推定値は状態推定値として表される。システム模型は、
画像画素数列のマルコフ模型であるｓ(i) ＝ρ_Sｓ(i-1) ＋ψ(i-1) ；ψ〜Ｎ（０，б_S ²
(1−ρ_S ²)) によって与えられる。ここで、記号法Ｎ（μ，б²）
は、非相関の通常に分布される（ガウスの）処理を表
す。雑音劣化画素の濃度計測は、ｘ(i) によって表さ
れ、本一次元分解における計測模型記号法は、ｘ(i) ＝ｓ(i) ＋ｖ(i) ；ｖ〜Ｎ（０，σ _n ²）で与えられる。

【００３９】推定処理のそれぞれの標本点ｉにおいて、
外２によって表される状態推定

【００４０】

【外２】

【００４１】値外挿式は、

【００４２】

【数２】

【００４３】によって与えられる。ここで、外３
は、前回の処理標本における状態推定値

【００４４】

【外３】

【００４５】更新を表す。標本点ｉにおける誤差共分散
外挿はＰ _- (i) で表され、Ｐ_-(i) ＝ρ_S ²Ｐ₊(i-1) ＋σ_S ²（１−ρ_S ²）で与えられる。ここで、Ｐ ₊ (i-1) は前回の処理標本に
おける誤差共分散更新を表す。画素ｉにおける状態推定
値更新は、

【００４６】

【数３】

【００４７】で与えられる。ここで、Ｋ(i) は画素ｉの
カルマン利得因数を表し、Ｋ(i) ＝Ｐ _- (i) ／（Ｐ _- (i) ＋ρ _n ² ）＝（ρ_S ²Ｐ₊(i-1) ＋σ_S ²（１−ρ_S ²))／（ρ_S ²Ｐ₊(i-1) ＋σ_S ²（１−ρ_S ²）＋σ _n ²）で与えられる。また誤差共分散更新は、Ｐ₊(i) ＝［１−Ｋ(i) ］Ｐ_-(i) ＝Ｋ(i) σ _n ² で与えられる。

【００４８】上記記号論理式から、カルマン利得因数Ｋ
(i) は、Ｋ(i-1) に依って、Ｋ(i) ＝（ρ_S ²Ｋ(i-1) σ_n ²＋σ_S ²（１−ρ_S ²))／（ρ_S ²Ｋ(i-1） σ_n ²＋σ_S ²（１−ρ_S ²）＋σ _n ²）と巡回的に表現され得る。そして、ｓｎｒ＝σ _S ² ／σ _n ² により与えられる信号／雑音比を持って、Ｋ(i) のため
の次のような簡単な式が得られる。

【００４９】Ｋ(i) ＝（ρ_S ²Ｋ(i-1) ＋snr(１−ρ_S ²))／（ρ_S ²Ｋ(i-1) ＋snr(１−ρ_S ²）＋１）推定処理において、与えられた点のＫ(i) を計算するた
めに、区分（局所）平均値、変動、及び相関推定値が計
算されねばならない。これらの諸統計値が与えられるこ
とにより、カルマン利得因数のための一定状態値が期待
されるｓｎｒ及びρ_Sの値の函数として巡回的に予め計
算され得、そして、索引テーブル内に格納される。巡回
演算は、初期値Ｋ(0) を次式Ｋ(0) ＝ｓｎｒ／（ｓｎｒ＋１）に設定することによって初期化される。

【００５０】追加的な簡略化が、推定処理に導入され
る。ρ_Sのための値は予め一つの定数に設定される。そ
して、入力信号の雑音変動σ _n ²はよく知られており、
それはｓｎｒを区分的に推定する。ｓｎｒは区分推定に
おいて不確定性の程度に関係する。画素一つ一つ毎のｓ
ｎｒの自己発見的な概略の推定は、下記の差分式

【００５１】

【数４】

【００５２】によって提起される。さらなる複合のｓｎ
ｒ推定は、現在の画素の位置の近傍に適合の窓を用いて
計算される。区分平均値μ_Sは隣り合った領域間を修正
するために期待される。区分領域平均値の反復計算を避
けるため、状態推定更新を次の外４式に修正す

【００５３】

【外４】

【００５４】る。

【００５５】

【数５】

【００５６】この式のカルマン利得因数Ｋ(i) は、

【００５７】

【数６】

【００５８】によって与えられるｓｎｒを伴う。この修
正による簡略化によって、推定処理が領域平均値から流
動することを避ける。一次元カルマン推定フィルタ（図
１の副ユニット１２）は、本発明の方式の基本となる計
算構成であり、さらに詳しくは図３に示すとおりであ
る。

【００５９】上記、結果として一次元近似されたカルマ
ン推定手順に関して、二つの点が注目されるべきであ
る。第１には、適合のカルマン利得因数は、そのカルマ
ン利得因数が推定における不確定性の程度に対して比例
しており、計測雑音に対して逆比例しているところの直
観に和合するという点である。これにより、計測雑音が
推定不確実性（低ｓｎｒ）に比較して大きいときは、現
在の推定における小さな変更がなされる。

【００６０】一方、状態推定における小さな計測雑音と
大きな不確実性（高ｓｎｒ）は、現標本計測が、考慮す
べき情報を含んでいることを提起する。即ち、推定に高
い程度の不確実性と、且つ同時に、小さな程度の計測雑
音が存在するとき、現在の測度は高い確実性があり、し
たがって、信号振幅の可能的変更に関する情報を含んで
いるとみられる。それ故に、実際と予示された計測との
間の相違は、現在の推定に対する強力な修正の根拠とし
て使用される。

【００６１】第２の点は、一次元計算方式の主たる欠点
に関係する。即ち、計算結果として画像に保存される雑
音信号の程度は、雑音の振幅と共に増大する。つまり強
度の雑音変調と変動は、変更されないままとなる。

【００６２】ところが、この問題は、本発明において、
二方向処理方式と結合することによって解決される。そ
こでは、カルマン利得因数が、エッジ信号、線または輪
郭信号、もしくは平滑濃度信号間の信号強化の区分選別
リ理論に対応する二方向推定を用いて選択される。図４
は、二方向の改善されたＳＮＲ（ｉ）を、二つの方向か
ら予め方向性を持って推定された値の関数として演算す
る二種類方向の演算方法を示す図である。図中で、例え
ば、次元は水平次元、垂直次元、空間対角線次元、或は
時間次元として定義される。なお、ここでいう次元とは
演算すべき画素の並び方向のことをいっている。説明の
便宜上、ここでは第１の次元を水平と仮定する。但し、
第２の次元以下他の次元についても巡回する方法で以下
に述べると同様の処理を繰り返すことができる。図中で
上記のように第１の次元を水平とした場合には、第１の
方向は左から右であり、水平方向次元の全ての画素は、
矢印４０９で示す第１の方向の中で、図の例では、画素
４０５、４０６、４０７、４０８、・・・、水平方向次
元に沿って画素の並びの最後まで、推定される。すなわ
ち、ここでいう方向とは、演算を順次行っていく向きの
ことをいっている。そして、上記とは逆方向となる矢印
４１０で示す第２の方向に、図の右から左へ、画素の並
びの右端から出発して、・・・、４０３、・・・、そし
て４１０に沿って、次元の左端の画素４０５までを通し
て、上記と同じ処理を行う。ここで注意すべきは、他の
諸次元も同様に二つの方向性を持ち相互に他の逆になり
得る。図４の例では最初に矢印４１０で示す方向に処理
を行って、それから矢印４０９で示す方向に処理を行う
というようにしてもよい。重要なことは、２方向が相互
に逆方向だということである。同図において、ユニット
４１１は絶対推定量Ｓ１、すなわちＳ_LR（ｉ）−Ｓ
_RL（ｉ＋１）の差の絶対値を演算する。ユニット４１２
は絶対推定量Ｓ２、すなわちＳ_LR（ｉ−１）−Ｓ_RL（ｉ
＋１）の差の絶対値を演算する。そして、ユニット４１
７は、上記Ｓ１とＳ２を用い、比較関数の論理演算を実
行し、画素ｉのための二方向ＳＮＲ（ｉ）値を演算す
る。そして、ここでは、二つの方向のために上記に記述
された方向性を持った諸推定値を再演算するために、二
方向ＳＮＲ（ｉ）値を使用する。ここで注意すべきは。
ここで達成されるものは、Ｓ１＞Ｓ２であるとき、我々
は平滑輝度信号（本説明では同様の意味で平滑濃度信号
ともいっている）であると推定し、ユニット３０１の新
しい二方向ＳＮＲ（ｉ）値の中のより小さい値のＳ２を
用いる。それゆえ、ユニット３０２は、より安定した、
より強力な、平滑化利得因数Ｋ（ｉ）を用いることがで
きる。そして、ここに尖鋭部除去の結果を得る。すなわ
ち、これによって画像から尖鋭雑音が除去される。他の
状況では、つまり、Ｓ２＞Ｓ１の場合には、エッジ信号
が存在していると推定し、その場合はユニット３０１の
新しい二方向ＳＮＲ（ｉ）値の中のＳ１の値を用いる。
それゆえに、ユニット３０２は、より安定して適正な平
滑化利得変数Ｋ（ｉ）を用いることができる。そして、
ここにエッジの鋭さの保存結果を得る。なお、図４に示
す処理は処理用の画素用メモリとして１ライン分のライ
ンバッファを用いて実現できる。

【００６３】図１に示すように、二方向平滑機構（副ユ
ニット１６）は、一次元平滑処理と一時記憶域の入力信
号と関係遅延線ＦＩＦＯ群における平滑結果とに基づい
て計算される。画像雑音に対するｓｎｒ推定値の高感度
性の故に、二方向平滑論理は、区分カルマン利得ｓｎｒ
（図４参照）のための、より確固とした測度を、画素位
置毎に推定するために、左から右平滑化推定量外５
（以下、⌒ｓ→ (i)と

【００６４】

【外５】

【００６５】表記する）と、右から左平滑化推定量外
６（以下、⌒ｓ← (i)と表記する）

【００６６】

【外６】

【００６７】の両一次元平滑結果を利用することで結合
される。完全な左から右平滑化推定量⌒ｓ→ (i)の一次
元平滑結果が予め計算され、一個のＦＩＦＯ１３に格納
されたと仮定して、二方向平滑子が、始動する。そし
て、次式

【００６８】

【数７】

【００６９】

【数８】

【００７０】で与えられる二つの絶対差分ｓ₁(i) 及び
ｓ₂(i) を比較することによって、各画素での右から左
平滑化推定量⌒ｓ← (i)の平滑結果を計算する。もし、ｓ₁(i) ＞ｓ₂(i) ならば、平滑濃度信号は識別され、そして、関係するｓ
ｎｒ測度はｓｎｒ＝ｓ₂ ²／σ_n ² で与えられる。そして、上記ｓｎｒ測度はカルマン利得
因数Ｋ(i) を選択し、選択されたカルマン利得因数Ｋ
(i) は、次式

【００７１】

【数９】

【００７２】に従って、右から左平滑化推定量⌒ｓ←
(i)を計算するために使用される。追加として、同じｓ
ｎｒ測度が、次式

【００７３】

【数１０】

【００７４】によって与えられる左から右平滑化推定量
⌒ｓ→ (i)の値を正すために利用される。二者択一的
に、もしｓ₁(i) ＜ｓ₂(i) ならば、エッジ信号は仮説され、そして、右から左平滑
化推定量⌒ｓ← (i)は次のように計算される。すなわ
ち、式

【００７５】

【数11】

【００７６】による。これと関係するｓｎｒ測度はｓｎｒ＝ｓ₁ ²／σ_n ² で与えられる。いま、現画素のために平滑化された、右
から左平滑化推定量⌒ｓ← (i)を用いて、左から右平滑
化推定量⌒ｓ→ (i)のためのｓｎｒ測度を、次式に従っ
て再推定する。

【００７７】

【数12】

【００７８】そして、これに関係するｓｎｒ測度は

【００７９】

【数１３】

【００８０】である。このようにして、二方向平滑子に
より、各画素における、右から左推定量⌒ｓ← (i)及び
左から右推定量⌒ｓ→ (i)の指向性平滑化推定量が、カ
ルマン利得因数のための最も可能性ある画素から、その
画素の推定値を利用して計算される。

【００８１】二方向平滑子を有する主たる不利な点は、
しばしば本質的な画像情報である画像細線や輪郭を平滑
化してしまうことである。この欠点を、本発明では現画
素の推定において、先行画素ライン平滑化画素を利用す
る二次元方式を結合することによって補償する。図５
は、先行画素ラインと現在画素ラインを示す図である。
画素５０３、５０４、５０５は、先行画素ライン５０１
の画素の処理に係わる３個の画素を示しており、隣接す
る１ラインの中の隣接する画素の二次元方向の予示推定
画素値としてＳ_1-1 （ｉ−１）、Ｓ_1-1（ｉ）、Ｓ_1-1
（ｉ＋１）の値で示される。尚、この先行画素ライン
は、画素ラインが図の上から下方向に進行する場合で
は、現在の画素ラインの上の画素ラインとなり、画素ラ
インが下から上方向に進行する場合では、現在の画素ラ
インの下の画素ラインとなるものである。また、図の画
素５０６、５０７、５０８は、現在画素ライン５０２の
処理に係わる３個の画素を示している。画素５０６はＳ
_LR（ｉ−１）であり現在ラインの２種類方向の推定画素
値で示される。画素５０８はＳ_RL（ｉ＋１）であり、こ
れも現在ラインの２種類方向の推定画素値で示される。
そして、画素５０７は現在の推定画素値Ｓ₁（ｉ）で示
され、それは、上述の画素と入力画素値Ｘ（ｉ）の全て
の予示推定値の重み付けされた合計に等しい値である。
尚、図４で述べた鉛直方向の次元は、図５において画素
５０７と５０４の並び方向を指し、空間対角線方向の次
元は図５において画素５０７と５０５又は画素５０７と
５０３の並び方向を指している。そして時間次元は図５
においてライン５０２とライン５０１の関係を指してい
る。同図における先行画素ラインの画素値Ｓ_1-1（ｉ−
１）、Ｓ_1-1（ｉ）、Ｓ_1-1（ｉ＋１）のそれぞれは、
現在画素の画素値Ｓ_l,i-1（ｉ）、Ｓ_1,i（ｉ）、Ｓ
_1,i+1（ｉ）を、方向性を持って推定するために用いら
れる。そしてこれら三つの中間結果は、二次元方向に推
定された下記のＳ₁,（ｉ）の結果を得るために、現在ラ
イン方向の推定値Ｓ_LR（ｉ）及びＳ_RL（ｉ）と共に合計
され平均化される。Ｓ₁,（ｉ）＝１／５（Ｓ_l，_i-1（ｉ）＋Ｓ₁,_i（ｉ）＋Ｓ₁,_i+1（ｉ）＋Ｓ_LR（ｉ）＋Ｓ_RL（ｉ））ここで、注意すべきは、上記の二次元方向の推定は、上
から下方に向けてだけでなく下から上方向にも適用さ
れ、また同様に鉛直方向の調整を達成するために、画素
ラインの進行に伴って両方の方向に繰り返し適用される
ことである。尚、図５に示す処理は処理用の画素用メモ
リとして２ライン分のラインバッファを用いて実現でき
る。これを更に説明すると、現在処理された画素外７
に隣り合っている前のラインの

【００８２】

【外７】

【００８３】中のそれぞれ二次元的に平滑化された画素
に対して、下記の差分式によって与えられる利得因数索
引値を用いて一次元カルマン平滑化演算子を適用する。

【００８４】

【数１４】

【００８５】この外延は平滑化された出力画像内の画像
細線を保存するために容易に示される。かくして、五つ
の中間平滑結果を得る。すなわち、二つの二方向性推定
値（⌒ｓ→ (i)，⌒ｓ← (i)）、及び、前のライン外
８から得られる三つの一次元

【００８６】

【外８】

【００８７】推定値である。そして、これら五つの推定
値は等しい重みに平均され、結果として二次元平滑画素
推定値

【００８８】

【数15】

【００８９】が得られる。上記二次元平滑方式は、図１
に示したと同様な計算機構を用いることにより容易に反
復され得る。即ち、最初の反復計算で平滑化された出力
信号が二番目の反復計算への入力として用いられ、これ
が順次繰り返されるものである。

【００９０】このパイプライン構造はシステム全体とし
てのデータの処理能力（スロープット・レート）に影響
しない。また、この構造は反復演算の差分合計が必要と
される様々な推定処理を実行ために都合のよい設計解式
である。

【００９１】必要とされる制御変数のみが、対応する反
復方式に従って変更され、入力信号の雑音平滑推定値と
なる。また、平滑と雑音の濃度信号に基づく平滑シミュ
レーションから予め算出される。

【００９２】また、各反復は指向的に別方向へ可変的に
行われる。たとえば、最初の反復は上から下へ、二番目
の反復は下から上へ、三番目は左から右へ、そして四番
目は右から左へと行う。このような反復を実行する場合
は、最初の反復の結果得られた画像は、２番目の反復で
走査される。この結果得られた画像は３番目の反復で走
査される。３番目の反復の結果の画像は４番目の反復で
走査される。このように、各反復は直前の反復の結果得
られた画像を用いる。それゆえ、それぞれの反復は、直
前の反復の完了後に行われる。

【００９３】指向的に行われる各反復は、原雑音包含画
像および各反復から得られた平滑化画像が、それぞれデ
ィジタル画像ＲＡＭに貯えられることを前提としてい
る。それ故、水平方向、垂直方向いずれの線順次走査も
可能であり、如何なるディジタル画像走査形状も取り得
る。

【００９４】上述の方式は、静止画像に対しては、一個
の画像ＲＡＭバッファが指向的反復のために用いられ
る。一方、動画像に対しては、４個の画像ＲＡＭバッフ
ァを用いたパイプライン構造が必要とされる。いずれの
場合も、雑音を含んだ入力オリジナル画像と平滑化処理
済み出力画像との間には、結果として、４走査実行期間
（１走査は、１フレームまたは１フィールドの線順次走
査とする）の遅れを生ずるが、実用上は全く問題となる
遅れとはならない。

【００９５】上述の二次元的平滑方式はカラー画像に適
用することができる。そこでは、例えば、赤・緑・青
（ＲＧＢ）画像では、各色毎の画像に対して同じ計算方
式を用いて個別に平滑化される。その結果として、雑音
低減ＲＧＢカラー画像が得られる。

【００９６】上記二次元平滑方式は、同様なカルマン推
定の組み合わせを用いることによって、例えば動画像の
ディジタル系列の場合に適用して、前に平滑化された画
像（フレームまたはフィールド）から、現画素の近傍の
画素を結合する推定演算が可能となり、平滑化を時間領
域に拡張することができ、これによって時空間からなる
三次元の領域が推定可能となる（図６参照）。

【００９７】図６は、図５の模式図を三次元方向に拡張
した状態を示している。図６における画素６０４〜６０
９は、図５における画素５０３〜５０８である。そし
て、図６の画素６０１〜６０３及びその下方に隠れて図
では全部は見えな３個の画素は、現行画像フレームに１
フレーム先行する画像フレームの画素である。これによ
り、現行画素の推定において、上述した現行ラインと先
行ラインで隣接した予示推定画素値を含むことに加え
て、現行画像フレームに空間的（三次元的）に隣接する
先行画像フレームの中の予示推定画素値を上記同様に用
いて現在画素を推定する。この、三次元方式は、定常数
列における時間軸の反復計算に極めて有効であり、ま
た、画像の動きが反復計算結果に影響して画質を低下さ
せるような領域推定にも有効である。尚、図６に示す処
理は処理用画素メモリとして１フレーム分のフレームバ
ッファと、図５で用いた２ライン分のラインバッファを
用いると容易に実現できる。また、この場合は空間対角
線次元は画素６０８と６０３又は画素６０８と６０１の
並び方向である。

【００９８】

【発明の効果】このように、静止画像、動映像に拘わら
ず、同一構成の演算子により、容易に最適の画素推定量
を算出して出力できるので、混入する雑音を除去する画
像復元処理として電気光学的走査造影、電子テレビ、ま
たは図形表示等の広範囲にわたって適用可能である。

【００９９】即ち、工場内の工程管理等に使用されるＴ
Ｖ用カメラ、宣伝等の商業的な情報収集用の携帯可能な
ＴＶカメラ、一斉同報通信用の画像カメラ等から得られ
る画像再生に適用すれば、照明が低く画像信号の信号／
雑音比が低いようなときでも良い画質が得られるシステ
ムを構築できる。

【０１００】これは、店内監視、房内監視等に用いられ
るテレビカメラの画像再生に用いても同様に効果があ
る。また、スチール・ビデオカメラ、超音波スキャ
ナ、ＣＣＤスキャナ等から得られる画像の再生に適用す
れば、雑音の除去された良質の画像が再現できる。ビ
デオ画像のような動画像の再生においても輪郭にニジミ
のない画像が得られる。

【図面の簡単な説明】

【図１】本発明のエッジ保存画像雑音低減方式が実行さ
れる計算処理の函数配置と処理手順を示す概念ブロック
図である。

【図２】カルマン利得因数Ｋ(i) と信号／雑音比ｓｎｒ
との関係を示す特性図である。

【図３】本発明の基本的な一次元推定計算メカニズムと
データの流れを示す図である。

【図４】本発明の一次元推定が二方向に結合されたデー
タの流れ、論理、及び計算を示す図である。

【図５】本発明の二方向推定が二次元に結合されたデー
タの流れ、論理、及び計算を示す図である。

【図６】本発明の二次元推定が時空間に結合された三次
元推定のデータの流れ、論理、及び計算を示す図であ
る。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭60−235528（ＪＰ，Ａ) 特開昭58−203745（ＪＰ，Ａ) 特開昭60−167574（ＪＰ，Ａ) 特開昭57−166663（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 5/00 G06T 5/20

Claims

(57)【特許請求の範囲】

【請求項１】尖鋭部を除去しエッジ部を保存する画像
平滑化に適用される方法であって、第１の次元にそった夫々個々の画素のために、受信した画像の画素群の第１の次元に沿って第１の方向
に連続し、該第１の方向に沿って定義された受信画像の
画素群の推定画素値の第１のシーケンスを演算する工程
と、受信した画像の画素群の第１の次元に沿って第１の方向
の逆方向である第２の方向に連続し、該第２の方向に沿
って定義された前記受信画像の画素群の推定画素値の第
２のシーケンスを演算する工程と、を有し、前記第１の次元に沿った夫々個々の画素は改善された推
定画素値を個々の画素のために演算するために、二方向
の推定画素値を隣接して連続させ、改善された推定画素値を個々の画素のために演算するた
めに、改善された推定画素値を重み付けして、構成されていることを特徴とする方法。
【請求項２】前記連続して演算する工程は、第１のシーケンスにおける受信画像画素とこれに先行し
て隣接する推定画素値との間の差値を演算する工程と、第１の方向の信号雑音比を推定するために、第１のシー
ケンスにおける、受信画像画素と少なくとも１個先行す
る推定画素値とを使用する工程と、第１の方向の信号雑音比に対応するカルマン利得変数に
従って信号雑音比を演算することによって調整された差
値を生成する工程と、前記シーケンスにおける個々の画素の推定画素値を演算
するために、隣接して連続する推定画素値を更新するた
め、前記調整された差値を使用する工程とにより構成さ
れることを特徴とする請求項１記載の方法。
【請求項３】前記連続して演算する工程は、第１及び第２のシーケンスにおいて方向付けされて推定
され隣接している画素値とこれらの差値の関数との間の
差値を演算する工程と、夫々の方向の夫々の個々の画素に対し改善された信号雑
音比を反映するために調整された差値を生成する工程
と、夫々の方向の夫々の個々の画素における改善された推定
画素値を最新のものにするために、調整された信号雑音
比を使用する工程とにより構成されることを特徴とする
請求項１又は２記載の方法。
【請求項４】前記重み付けの工程は、第１の次元における改善された方向付けされた推定画素
値を、二次元方向の個々の画素の推定画素値を演算する
ために、先行の画素ラインにおける隣接画素の予示推定
結果で重み付けする工程により構成されることを特徴と
する請求項１記載の方法。
【請求項５】受信画像画素群の少なくとも第２の次元
のために前記工程を繰り返し、これにより、前記第２の
次元が水平、垂直、空間対角線、又は時間から成る空間
的次元を構成する工程と、先行する工程の低減された雑音レベルに反映するために
それぞれ繰り返えされる工程のための画像雑音を更新す
る工程とにより構成されることを特徴とする請求項１、
２、３又は４記載の方法。
【請求項６】グレイスケール又はカラーの画像に適用
されることを特徴とする請求項１、２、３、４又は５記
載の方法。