JPH04304091A

JPH04304091A - 画像雑音除去装置

Info

Publication number: JPH04304091A
Application number: JP3068255A
Authority: JP
Inventors: Norio Suzuki; 紀雄鈴木; Masayuki Yoneyama; 匡幸米山
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1991-04-01
Filing date: 1991-04-01
Publication date: 1992-10-27
Anticipated expiration: 2014-07-26
Also published as: JP2924250B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、光・電気変換手段を有
するビデオカメラ等の画像雑音除去装置に関する。

【０００２】

【従来の技術】近年ビデオカメラ等の撮像装置において
は、光・電気変換手段として固体撮像素子を用いること
が多くなっている。固体撮像素子の出力信号をモニター
装置に表示し画像信号を観測すると、画像中に白点（白
キズ）、黒点（黒キズ）と呼ばれる画像欠陥が観測され
ることがある。このような画像欠陥は小さなものでも非
常に目立ち、画像欠陥のある撮像素子は製品として使用
することができないために歩留りの低下を招くことにな
る上、製品出荷後にも画像欠陥が生ずることがある。こ
れらの問題は固体撮像素子特有の欠点であり、固体撮像
素子を使用する上での大きな障害となっている。

【０００３】従来、前記問題点を解決する手段として、
特開昭６１−２６１９７４号公報に示されるように、注
目画素と隣接する画素群との単純な比較により注目画素
の画素欠陥を検出し除去する手法が知られている。

【０００４】

【発明が解決しようとする課題】従来の技術において、
注目画素とその近傍画素群との比較により画像欠陥を取
り除くことが可能であるのは、第１の前提条件として、
注目画素とその近傍画素群は同種の信号であり（例えば
輝度信号であれば輝度信号同士の比較）、第２前提の条
件として、画素欠陥は単発的に発生し欠陥画素と近傍画
素間の相関性は低いという前提に基づいている。ところ
が単板色差カラー化方式に基づく色フィルター配列に関
する考察がなされていなかった。単板色差カラー化方式
においては、固体撮像素子の出力を直接従来技術による
装置に入力しても近傍画素間には別種の色差情報が含ま
れており、前記第１の前提条件が成立せず、ノイズを除
去することは困難であるため、固体撮像素子の出力から
輝度信号あるいは色差信号をあらかじめ抽出しておく必
要がある。輝度信号あるいは色差信号を得るためにはフ
ィルター処理を施す必要があるが、フィルターを通すこ
とで欠陥画素の持つノイズ成分は隣接画素に拡散してし
まい、前記第２の前提条件が成立せず従来の技術ではノ
イズを除去することは困難であった。

【０００５】本発明はかかる点に鑑み、有意な画像情報
を損なうことなく、フィルター処理により複数の画素に
拡散されたものであっても、白キズ又は黒キズのように
パルシブな画像欠陥を良好に除去する装置の提供にある
。

【０００６】

【課題を解決するための手段】本発明によれば、数ライ
ンにわたる走査線の画素情報を一次的に保持する手段と
注目画素および注目画素の周囲に２次元的に近接する画
素値群を複数の出力端子より同時に出力する手段とを合
わせ持つ走査線メモリと、フィルターにより注目画素以
外の画素にも拡散されたノイズを重畳する画素値を含む
上記近傍画素値群のうちノイズが重畳されていることを
注目画素の前後に隣接する画素値の大小比較により推定
し推定された画素値を除き最大および最小の画素値を検
出し置換候補画素値群として出力する置換候補画素値検
出器と、置換候補画素値群のうち最大の画素値に対し注
目画素の画素値が所定の或値以上大であるかあるいは置
換候補画素値群のうち最小の画素値に対し注目画素の画
素値が所定の或値以上小であるかといった比較をするこ
とにより注目画素にノイズが含まれているか否かを判定
し判定結果を制御信号として出力するノイズ検出器と、
注目画素の画素値と置換候補画素値群のうち最大および
最小の画素値の３つの画素値から制御信号により何れか
一つの画素値を選択し出力する画素値選択器とを少なく
とも備えることを特徴とする。

【０００７】

【作用】画像欠陥を除去する際に、画像信号の中からど
の画素に画像欠陥が含まれているか判定する必要がある
が、除去すべき画像欠陥の判定基準をいたずらに広げて
しまうと、画像信号中のディテール成分など有意な画像
情報が失われてしまう可能性があるので、画像信号をモ
ニター装置に表示した際、目に付き易い性質を持つ画像
欠陥のみを選択的に除去する必要がある。このような性
質を持つ画像欠陥として、周囲の画素に対し際だって明
るい（暗い）画素値を持つ白（黒）キズが挙げられ、本
発明はフィルターにより周囲の画素に拡散された白（黒
）キズを選択的に除去する作用を持つことを特徴とする
。

【０００８】白キズまたは黒キズは前記性質より、キズ
の周囲の画素の画素値に対し際だって明るいか又は暗い
かで判定できる。ところが、一例として、完全色差線順
次単板カラー化方式に基づく色フィルター配列を持つ固
体撮像素子の出力から輝度信号を生成するためには一般
的に（１＋Ｚ−１）の特性を持つディジタルフィルター
を施すことで生成し、色差信号を生成するためには（１
−Ｚ−１）の特性を持つディジタルフィルターを施すこ
とで生成するため、キズ成分も走査線方向に拡散される
。前記フィルターにより拡散される画素の範囲は走査線
方向に隣接する１画素のみであるので、注目画素の１画
素前後のうちキズを含む隣接画素を除いた近傍画素群を
元に判定する必要がある。キズを含む隣接画素を除くた
めには、注目画素が白（黒）キズのとき、前後１画素の
うち画素値の大きな（小さな）ものを除くことで実現で
きる。言い換えると、前後１画素のうち画素値の小さな
（大きな）画素とそれ以外の近傍画素群を注目画素と比
較する。

【０００９】次に、ある画素がキズと判定されたならば
、その画素値を周囲の画素値と置き換えるよう作用する
ことで、キズを消し去ることができる。但しここで、周
囲の画素間に相関性が認められる場合には、相関性を保
った上でキズを消し去る必要がある。ここで相関性に関
しては、走査線に対し水平方向のみでなく、鉛直方向あ
るいは斜方向も考慮する必要がある。これを実現するに
は、注目画素が白（黒）キズと判定されたならば、注目
画素の画素値を２次元的な近傍画素値群の中からキズを
含む画素値を除いた画素置群のうち最大（小）の画素値
を持つものと置き換えるよう作用することにより達成さ
れる。

【００１０】

【実施例】以下に本発明の一実施例について図面を参照
しながら説明する。（図１）は、本発明における画像雑
音除去装置の概略ブロック図である。（図１）において
入力端子１には、一例として、完全色差線順次単板カラ
ー化方式に基づく色フィルター配列を持つ固体撮像素子
の出力にディジタルフィルターを施し、輝度信号あるい
は色差信号としたものを入力する。

【００１１】（図１）において走査線メモリは、入力端
子１より入力される画像信号ａを取り込み、注目画素の
画素値ｂおよび、注目画素を中心に走査線方向にＮ画素
、走査線に直交する方向にＭライン分の２次元的に近接
する画素群から注目画素を除いたＮ×Ｍ−１画素の画素
値よりなる近傍画素値群ｃを出力する。

【００１２】（図２）は走査線メモリの詳細な構成例で
ある。（図２）に於ては上記走査線メモリの動作説明の
中で、Ｍ＝Ｎ＝３としたときの構成例を示しており、２
台のライン遅延器と６台の画素遅延器により構成される
。画素遅延器は入力信号を一画素分の走査時間だけ遅延
させた信号を出力するものであり、ライン遅延器は入力
信号を一水平走査時間だけ遅延させた信号を出力するも
のである。また、（図６）は走査線上の注目画素と近傍
画素群の配置例を示しており、１〜８の数字を付してあ
る画素は近傍画素群を構成し注目画素は近傍画素群の中
央に位置する。尚、ここで注目画素にキズが含まれてい
たとすると、近傍画素値ｃ４またはｃ５にもキズが含ま
れていることになる。

【００１３】（図２）の入力端子２より入力される画像
信号ａは、画素遅延器１に接続され、画素遅延器１の出
力は画素遅延器２に接続される。画素遅延器１の入力端
と画素遅延器１の出力端と画素遅延器２の出力端の３箇
所より信号を取り出せば、それぞれ（図６）の近傍画素
８、７、６に相当する位置の画素値が得られる。又、（
図２）の入力端子２より入力される画像信号は、ライン
遅延器１にも接続され、ライン遅延器１の出力端に画素
遅延器３、４を直列に接続すれば、同様に（図６）の近
傍画素５、注目画素、近傍画素４に相当する位置の画素
値が得られる。さらに、（図２）のライン遅延器１の出
力端にはライン遅延器２が接続され、ライン遅延器２の
出力端に画素遅延器５、６を直列に接続すれば、同様に
（図６）の近傍画素３、２、１に相当する位置の画素値
が得られる。以上のような構成による走査線メモリであ
れば、注目画素の画素値ｂおよび近傍画素群の画素値群
ｃを複数の出力端子より同時に出力することができる。

【００１４】（図１）において置換候補画素値検出器は
、走査線メモリより同時に出力される近傍画素群の画素
値群ｃより、ｃ４とｃ５のうち画素値の小さなものと残
りの近傍画素値群との中から最大の画素値をＹｍａｘ、
さらに、ｃ４とｃ５のうち画素値の大きなものと残りの
近傍画素値群との中から最小の画素値をＹｍｉｎとして
出力する。このＹｍａｘとＹｍｉｎが置換候補画素値群
となる。

【００１５】（図３）は置換候補画素値検出器の詳細な
構成例である。（図３）に於ては前記走査線メモリの説
明に合わせ、近傍画素群が８画素で構成される場合の置
換候補画素値検出器の構成例を示しており、２個の入力
端子群を持つ最大値回路１および最小値回路１と、７個
の入力端子群を持つ最大値回路２および最大値回路２と
から構成される。最小値回路１は入力される近傍画素値
群ｃの中から注目画素の１画素前後に位置するｃ４およ
びｃ５のうち画素値の小さなものを出力し、最大値回路
２は、残りの近傍画素値群ｃ１、ｃ２、ｃ３、ｃ６、ｃ
７、ｃ８と最小値回路１の出力の中から最大の画素値（
Ｙｍａｘ）を抽出し出力する。最大値回路１は入力され
る近傍画素値群ｃの中から注目画素の１画素前後に位置
するｃ４およびｃ５のうち画素値の大きなものを出力し
、最小値回路２は、残りの近傍画素値群ｃ１、ｃ２、ｃ
３、ｃ６、ｃ７、ｃ８と最大値回路１の出力の中から最
小の画素値（Ｙｍｉｎ）を抽出し出力する。

【００１６】（図１）においてノイズ検出器は、走査線
メモリより出力される注目画素の画素値ｂと、置換候補
画素値検出器より出力されるＹｍａｘおよびＹｍｉｎと
から、注目画素にノイズが含まれているか否かを判定し
判定結果を制御信号として出力する。制御信号はＹｍａ
ｘを選択する信号であるＳＥＬｍａｘとＹｍｉｎを選択
する信号であるＳＥＬｍｉｎより構成される。

【００１７】（図４）はノイズ検出器の詳細な構成例で
あり、２台の減算器と、２台の比較器と、２台の或値設
定器から構成される。減算器１は注目画素の画素値から
Ｙｍａｘを減じ、その差（以下ＤＩＦｍａｘとする）を
生成する。比較器１はＤＩＦｍａｘと或値生成器１より
出力される或値（以下ＴＨｍａｘとする）とを比較し、
条件１としてＤＩＦｍａｘ＞ＴＨｍａｘであればＹｍａ
ｘを選択する信号ＳＥＬｍａｘをアクティブにし、条件
１が成立しない場合にはＳＥＬｍａｘをインアクティブ
にし出力する。また、減算器２はＹｍｉｎから注目画素
の画素値を減じ、その差（以下ＤＩＦｍｉｎとする）を
生成する。比較器２はＤＩＦｍｉｎと或値生成器２より
出力される或値（以下ＴＨｍｉｎとする）とを比較し、
条件２としてＤＩＦｍｉｎ＞ＴＨｍｉｎであればＹｍｉ
ｎを選択する信号ＳＥＬｍｉｎをアクティブにし、条件
２が成立しない場合にはＳＥＬｍｉｎをインアクティブ
にし出力する。

【００１８】一般的に、レンズ系および光電変換部の開
口率等による空間的ローパスフィルター効果により、光
電変換素子の出力である画像信号の高域成分（ディテー
ル）の振幅は小さくなるため、注目画素にパルスノイズ
が含まれていなければ、注目画素に対する近傍画素群の
差分も小さくなると言える。従って、ＴＨｍａｘおよび
ＴＨｍｉｎは、画素値の最大値に対して過剰に小さく設
定すると画像信号のディテール成分が失われる恐れがあ
り、過剰に大きく設定するとキズそのものが検出できな
くなるため、適切な値に設定する必要がある。

【００１９】（図１）において画素値選択器は、走査線
メモリより出力される注目画素および最大最小値検出器
より出力されるＹｍａｘおよびＹｍｉｎと、ノイズ検出
器より出力されるＳＥＬｍａｘ、ＳＥＬｍｉｎを入力し
、ＳＥＬｍａｘ、ＳＥＬｍｉｎを元に注目画素、Ｙｍａ
ｘ、Ｙｍｉｎのうち何れか一つの画素値を出力端子１に
出力する。

【００２０】（図５）は画素値選択器の詳細な構成例で
あり、１台のマルチプレクサから構成される。マルチプ
レクサは注目画素の画素値、Ｙｍａｘ、Ｙｍｉｎの３信
号を入力し、ＳＥＬｍａｘとＳＥＬｍｉｎが共にインア
クティブであれば注目画素の画素値を出力端子２に出力
し、ＳＥＬｍａｘがアクティブでＳＥＬｍｉｎがインア
クティブであればＹｍａｘを出力端子２に出力し、ＳＥ
ＬｍａｘがインアクティブでＳＥＬｍｉｎがアクティブ
であればＹｍｉｎを出力端子２に出力する。ここで、前
記ノイズ検出器の説明から解かるように、ＳＥＬｍａｘ
およびＳＥＬｍｉｎを出力する条件から、ＳＥＬｍａｘ
とＳＥＬｍｉｎが共にアクティブとなることは有り得な
い。

【００２１】次に、（図７（ａ）（ｂ）（ｃ））を用い
て本発明の動作を説明する。（図７（ａ）（ｂ）（ｃ）
）は１フィールドの画像信号のうち一部を切り出したも
のであり、水平方向および奥行き方向にそれぞれ走査線
および走査線に鉛直成分の軸を取り、垂直方向に画素値
を表すものでる。（図７（ａ））は一例として、完全色
差線順次単板カラー化方式に基づく色フィルター配列を
有する固体撮像素子より出力される信号である。ここでは説明を簡単にするため、白黒画像を撮像したも
のとする。（図７（ｂ））は（図７（ａ））の信号に（
１＋Ｚ−１）の特性を持つディジタルフィルターを施し
た後の信号であり、この信号を（図１）の入力端子１に
入力する。（図７（ｃ））は上記信号を入力した際、（
図１）の出力端子１より出力される信号である。

【００２２】（図７（ａ））において、Ｓ０１、Ｓ１１
、Ｓ２１は走査線に鉛直方向に存在するシャープな線分
を表現しており、Ｓ１４は白キズ、Ｓ１６は黒キズをそ
れぞれ表現し、またＳ１８は原画像に含まれる細かなデ
ィテールを表現している。ここでＳ０１、Ｓ１１、Ｓ２
１、Ｓ１４の画素値は全て２００、Ｓ１６の画素値は０
、Ｓ１８の画素値は１４０、残りの画素の画素値は全て
１００であったとすれば、（図７（ｂ））においては、
ディジタルフィルターによりＰ０１、Ｐ０２、Ｐ１１、
Ｐ１２、Ｐ２１、Ｐ２２、Ｐ１４、Ｐ１５の画素値は全
て１５０、Ｐ１６、Ｐ１７の画素値は５０、Ｐ１８、Ｐ
１９の画素値は７０、残りの画素の画素値は全て１００
となる。

【００２３】また、ＴＨｍａｘおよびＴＨｍｉｎは３０
であったとする。今、注目画素がＰ１１であるとすると
、最大最小値検出器より出力されるＹｍａｘは１５０、
Ｙｍｉｎは１００となり、ノイズ検出器においてＤＩＦ
ｍａｘは０、ＤＩＦｍｉｎは−５０となり、条件１、２
が共に成立せず、ＳＥＬｍａｘとＳＥＬｍｉｎは共にイ
ンアクティブとなり、画素値選択器において注目画素Ｐ
１１の画素値を出力する。注目画素がＰ０１、Ｐ０２、
Ｐ１２、Ｐ２１、Ｐ２２である場合も同様に、注目画素
の画素値が出力され、Ｐ０１、Ｐ０２、Ｐ１１、Ｐ１２
、Ｐ２１、Ｐ２２より構成される走査線に鉛直方向の線
分は保持される。尚、走査線に対し斜方向および水平方
向の線分に対しても同様の議論が成り立つ。

【００２４】また、注目画素がＰ１４またはＰ１５であ
るとすると、Ｙｍａｘ、Ｙｍｉｎは共に１００となり、
ＤＩＦｍａｘは５０、ＤＩＦｍｉｎは−５０となり、条
件１のみが成立し、ＳＥＬｍａｘがアクティブでＳＥＬ
ｍｉｎがインアクティブとなり、画素値選択器は画素値
として１００を出力するので、Ｐ１４およびＰ１５は周
囲の画素の画素値に対し平坦になるよう置き変わる。注
目画素がＰ１６またはＰ１７である場合には、Ｐ１４ま
たはＰ１５であった場合の動作とは逆に条件２のみが成
立し、ＳＥＬｍａｘがインアクティブでＳＥＬｍｉｎが
アクティブとなり、画素値選択器は画素値として１００
を出力するので、Ｐ１６およびＰ１７も周囲の画素の画
素値に対し平坦になるよう置き変わる。

【００２５】そして、注目画素がＰ１８である場合には
、ＤＩＦｍａｘは２０、ＤＩＦｍｉｎは−２０となり、
条件１、２共に成立せず、画素値選択器はＰ１８の画素
値をそのまま出力し、原画像信号に含まれるディテール
成分は保持される。

【００２６】最終的には（図７（ｃ））に示すような出
力が得られる。また、本発明においては、画像の２次元
的な相関性のみに着目して処理を行ない時間軸は関知し
ないため、被写体の動きによる影響を受けることはない
。

【００２７】

【発明の効果】以上の説明から明らかなように、本発明
によれば、被写体の動きに無関係に、有意な画像情報を
損なうこと無く、従来の技術では困難であったフィルタ
ーにより拡散された画像欠陥を良好に除去することが可
能となり、その実用的効果は大きい。

【図面の簡単な説明】

【図１】本発明の実施例の概略ブロック図である。

【図２】本発明の実施例の走査線メモリの構成図である
。

【図３】本発明の実施例の置換候補画素値検出器の構成
図である。

【図４】本発明の実施例のノイズ検出器の構成図である
。

【図５】本発明の実施例の画素値選択器の構成図である
。

【図６】本発明の実施例の注目画素と近傍画素群の配置
例の説明図である。

【図７】本発明の実施例の動作説明図である。

【符号の説明】

１　　入力端子１２　　走査線メモリ３　　置換候補画素値検出器４　　ノイズ検出器５　　画素値選択器６　　出力端子１１０　　入力端子２１１　　画素遅延器１１２　　画素遅延器２１３　　画素遅延器３１４　　画素遅延器４１５　　画素遅延器５１６　　画素遅延器６１７　　ライン遅延器１１８　　ライン遅延器２１９　　注目画素値出力端子２０　　近傍画素値群出力端子２１　　近傍画素値群入力端子２２　　最小値回路１２３　　最大値回路１２４　　最大値回路２２５　　最小値回路２２６　　Ｙｍａｘ出力端子２７　　Ｙｍｉｎ出力端子３０　　注目画素値入力端子１３１　　Ｙｍａｘ入力端子１３２　　Ｙｍｉｎ入力端子１３３　　減算器１３４　　比較器１３５　　或値設定器１３６　　減算器２３７　　比較器２３８　　或値設定器２３９　　ＳＥＬｍａｘ出力端子４０　　ＳＥＬｍｉｎ出力端子４１　　注目画素値入力端子２４２　　Ｙｍａｘ入力端子２４３　　Ｙｍｉｎ入力端子２４４　　ＳＥＬｍａｘ入力端子４５　　ＳＥＬｍｉｎ入力端子４６　　出力端子２４７　　マルチプレクサ２０１　　走査線２０２　　注目画素２０３　　近傍画素群ａ　　入力信号ｂ　　注目画素値ｃ（ｃ１〜ｃ８）　　近傍画素値群ｄ　　Ｙｍａｘｅ　　Ｙｍｉｎｆ　　ＳＥＬｍａｘｇ　　ＳＥＬｍｉｎｈ　　出力信号ｉ　　ＤＩＦｍａｘｊ　　ＴＨｍａｘｋ　　ＤＩＦｍｉｎｌ　　ＴＨｍｉｎ

Claims

【特許請求の範囲】

【請求項１】　　単板色差カラー化方式に基づく色フィ
ルター配列を有する固体撮像素子より出力される信号に
、フィルターを施すことにより得られる輝度信号あるい
は色差信号といった画像信号に重畳される固体撮像素子
において発生するパルス状ノイズを除去する画像雑音除
去装置であって、複数の走査線から構成される画像信号
より、注目画素および注目画素の周囲に２次元的に近接
する近傍画素群の画素値を出力する画素値群抽出手段と
、近傍画素値群からフィルターにより注目画素以外の画
素にも拡散されたノイズを含む画素値を推定しその画素
値を近傍画素値群から取り除いた置換候補画素値群に対
し注目画素の画素値が所定の或値以上差があるかを検出
することにより注目画素にノイズが含まれているか否か
を判定するノイズ判定手段と、ノイズ判定手段による判
定結果を元に注目画素および置換候補画素値群の画素値
のうちノイズの含まれていない画素値の何れか一つの画
素値を選択し出力する画素値選択手段とを有することを
特徴とする画像雑音除去装置。
【請求項２】　　単板色差カラー化方式に基づく色フィ
ルター配列を有する固体撮像素子より出力される信号に
、フィルターを施すことにより得られる輝度信号あるい
は色差信号といった画像信号に重畳される固体撮像素子
において発生するパルス状ノイズを除去する画像雑音除
去装置であって、複数の走査線から構成される画像信号
より、数ラインにわたる走査線の画素情報を一次的に保
持する手段と注目画素および注目画素の周囲に２次元的
に近接する画素値群を複数の出力端子より同時に出力す
る手段とを合わせ持つ走査線メモリと、フィルターによ
り注目画素以外の画素にも拡散されたノイズを重畳する
画素値を含む上記近傍画素値群のうちノイズが重畳され
ていることを注目画素の前後に隣接する画素値の大小比
較により推定し推定された画素値を除き最大および最小
の画素値を検出し置換候補画素値群として出力する置換
候補画素値検出器と、置換候補画素値群のうち最大の画
素値に対し注目画素の画素値が所定の或値以上大である
かあるいは置換候補画素値群のうち最小の画素値に対し
注目画素の画素値が所定の或値以上小であるかといった
比較をすることにより注目画素にノイズが含まれている
か否かを判定し判定結果を制御信号として出力するノイ
ズ検出器と、注目画素の画素値と置換候補画素値群のう
ち最大および最小の画素値の３つの画素値から制御信号
により何れか一つの画素値を選択し出力する画素値選択
器とを有することを特徴とする画像雑音除去装置。