JPH1153534A

JPH1153534A - 画像の修復方法及び装置

Info

Publication number: JPH1153534A
Application number: JP9206982A
Authority: JP
Inventors: Shigehiro Shimada; 繁広嶌田; Takushi Totsuka; 卓志戸塚
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-07-31
Filing date: 1997-07-31
Publication date: 1999-02-26

Abstract

(57)【要約】（修正有）【課題】画像の陰影成分を精度よく修復する。【解決手段】画像の修復方法は、画像に含まれる陰影
を境界値問題の緩和法である連続過緩和（SOR;Successi
ve Over Relaxation）法にて処理するステップＳ１と、
画像に含まれる雑音を修復するステップＳ２〜Ｓ８とを
有している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル化された
写真映像やコンピュータで作成された画像等のデジタル
映像から雑音の陰影成分を除去する画像の修復方法及び
装置に関する。

【０００２】

【従来の技術】テレビジョン放送の利用可能なチャンネ
ルの激増とマルチメディア技術の急増に伴い、多くの古
い映画フィルムや写真フィルムは、ビデオ信号やデジタ
ルフォーマットの信号に変換されて使用されることが多
くなっている。しかし、長年にわたる使用と閲覧によ
り、多くの古い映画フィルムや写真フィルムは、スクラ
ッチ（scratches:引っ掻き傷）が生じたり、埃や他のデ
ィブリ（debris: 破片）による汚れが多くなっている。

【０００３】例えば、フィルムの保管におけるスクラッ
チやディブリ等の欠陥は、視聴者に対して非常に目立つ
ものであり、高精細度テレビジョンやデジタルテレビジ
ョンフォーマットの信号や、他のデジタルマルチメディ
アフォーマットの信号と同様に、画質を劣化したり悪影
響を及ぼすことなく、デジタル画像からスクラッチを除
去する方法が切望されている。

【０００４】例えば、映画の特殊効果では、俳優／物体
を高く浮かせるためにワイア、ケーブル又はロッド等に
よって吊り下げたり、支えるものが必要である。一般的
には、これらのワイア、ケーブル、ロッド等の外観は、
後の制作において光学的な処理により除去され、近年で
はフィルムのデジタル処理によって処理することがより
一般的になっている。

【０００５】同様に、デスクトップ出版によって、画像
の不要な箇所を取り除いたり、写真からスクラッチや汚
れを消したりすることがしばしば行われている。ここ
で、スクラッチあるいはスクラッチノイズと称される用
語は、デジタル画像に生じる上述した種類のノイズ全て
を含むものである。

【０００６】デジタル画像のスクラッチは、デジタル画
像中の不要な画素である。スクラッチ雑音は、一般的に
画素の小さな独立したグループや集まりというよりはむ
しろ、多数の隣接した画素からなる。デジタル画像にお
いて、スクラッチノイズは、例えば１０画素Ｘ１００画
素のような画素の領域により構成され、スクラッチによ
って切断されたテクスチャ又はエッジなどの細部を有す
るデジタル画像の領域に存在する。

【０００７】デジタル画像からスクラッチを除去するた
めに、スクラッチ領域を構成する画素は、元のデータを
表し、あるいは元のデータに匹敵するデータで置換しな
ければならない。効果的にスクラッチ領域を修復するた
めには、この画素データが、スクラッチ領域において周
辺の領域と同程度にシャープな画像を生じさせるもので
なければならない。さらに、鮮明なエッジの連続が維持
され、ワイアあるいはスクラッチ画素を置換するために
生成されたテクスチャは周辺のテクスチャに調和しなけ
ればならない。

【０００８】デジタル技術における従来の技術の効果
は、規則的又はランダム的に発生する画像の特徴と画像
内における相対的なサイズに従って変化する。規則的に
発生する特徴の例としては、煉瓦壁や布に織り込まれた
テクスチャがある。ランダムに発生する特徴の例として
は、アスファルト道路、コンクリート歩道又は砂浜があ
る。

【０００９】従来の技術の効果は、スクラッチ領域の大
きさや種類にも依存する。画像の平滑あるいはぼやけた
領域に小さく、孤立したノイズ画素の集合は、例えばフ
ィルタリング、クローニング、ペインティングの技術等
の従来の技術により比較的簡単に除去することができ
る。しかし、従来のノイズ除去技術は、多数の隣接した
画素からなるスクラッチや、画像のテクスチャ領域又は
際立ったエッジを有する領域のスクラッチには適用でき
ない。

【００１０】一般的に、スクラッチノイズは周辺の画素
値と比較したときに画素値の突然の変化として、スクラ
ッチの位置に出現する。この突然の変化は画像の周波数
スペクトルにおける高周波成分として現れる。

【００１１】このような画像ノイズを除去するための方
法は、特願平８−２０４７７６号明細書中に提案されて
いる。この方法は、ノイズのある画素の位置と、サンプ
ル画像により、これらのノイズのある画素を自然な方法
で修復する。即ち、ユーザは、デジタルペイントブラシ
のような道具でノイズ領域にこのノイズ領域を覆うマス
クであるノイズマスクを上書きすることによって、ノイ
ズのある画素の位置と、また、ノイズの周辺のリペア領
域と、このリペア領域の修復に参照されるノイズのない
部分のサンプル領域とを特定する。

【００１２】例えば、上記リペア領域は、図１０中のＡ
に示すように、図中略々中央に図中左上を長手方向とす
るスクラッチ／ワイヤのようなノイズ６を含むような長
方形の領域に取られる。ここで、この画像には、図中横
方向を長手方向とするブロックが、互い違いに規則的に
配列されている。

【００１３】上記ノイズマスクは、同図中のＢに示すよ
うに、図中Ａに示したリペア領域３１のノイズ６をカバ
ーするように、このノイズ６に上書きされる。このノイ
ズマスク５により、上記ノイズ６は覆われている。

【００１４】また、サンプル領域は、図１１に示すよう
に、ノイズマスク５を含むリペア領域１に対して、この
リペア領域と同様の画像のノイズを含まない領域につい
て、同一形状かつ同一寸法に設定される。上記リペア領
域１は、このサンプル領域２９を参照することにより修
復される。即ち、上記リペア領域１に含まれるノイズ５
は、このリペア領域１及びサンプル領域２９の空間及び
周波数領域の情報を用いて除去される。

【００１５】従来の方法と比較すると、コピーペーステ
ィング、ペインティング、中央値フィルタリング、ロー
パスフィルタリング等の普及している従来の方法は、１
つの領域の情報のみを用いて雑音を除去する。これに対
し、上述の提案の方法による結果は、従来の周知の技術
で得られる結果よりも優れているが、広範囲に亘る輝度
の大きな変化を有する画像を考慮しているが完全ではな
い。即ち、この方法によると、図１２に示すよう不均一
な陰を有する画像を処理して、画像からこの不均一な陰
を除去することが困難であった。

【００１６】続いて、上述の明細書中に提案された方法
の具体的な手順を、図１３に示すフローチャートを参照
して説明する。

【００１７】最初のステップＳ１０１においては、リペ
ア画像の高速フーリエ変換（ＦＦＴ）を行い、ＦＦＴで
計算されたマグニチュード（Ｍ２）と位相（Ｍ２）を次
のステップＳ１０２に送る。ここで、リペア画像は、ユ
ーザが選択した雑音領域周辺の長方形の画像領域であ
る。

【００１８】一方、ステップＳ１０６においては、サン
プル画像の高速フーリエ変換（ＦＦＴ）を行う。ＦＦＴ
の出力は、サンプル画像の高速フーリエ変換の位相とマ
グニチュードである。ここでは、位相は無視され、マグ
ニチュードは、後のステップＳ１０２で使用される。

【００１９】ここで、サンプル画像Ｓとは、ユーザは雑
音の画像領域を含まずリペア画像と似ていて正確に同じ
サイズの長方形の画像領域である。この選択した領域を
サンプル画像とする。サンプル画像中の顕著なラインの
相対的位置は、リペア画像中の顕著なラインの位置とは
異なってもよい。

【００２０】ステップＳ１０２においては、マグニチュ
ードＭ１、Ｍ２の最小マグニチュードを計算する。マグ
ニチュードＭ１は、サンプル画像のＦＦＴで得られるマ
グニチュードであり、マグニチュードＭ２は、リペア画
像のＦＦＴで得られる。この最小マグニチュードの計算
は、ＤＣ成分以外の全ての周波数成分において行われ
る。ＤＣにおいては、マグニチュードＭ２の値が選択さ
れる。最小値の計算により得られた新しいマグニチュー
ドを、次のステップで使われるフーリエ変換の新しい値
として送る。リペア画像のＦＦＴで得られた位相情報Ｐ
２は、変更されず、次のステップＳ１０３に送られる。

【００２１】ステップＳ１０３においては、前のステッ
プＳ１０２で得られたマグニチュードと位相の出力を用
いて、逆高速フーリエ変換（ＩＦＦＴ）を行う。そし
て、このＩＦＦＴの結果をステップＳ１０４に送る。

【００２２】ステップＳ１０４においては、入力値を実
数にする。この入力値は、それらの内の幾つかは複素数
である可能性があるマトリクスである。マトリクスにお
いてそのような複素数の値は０に設定する。実数も０か
ら２５５の範囲外の可能性もあるので、クリッピングを
行う。即ち、値が０以下のときには、それを０にする。
それが２５５以上のときは、それを２５５にし、それ以
外であれば何もしない。そして、次のステップＳ１０５
に進む。

【００２３】ステップＳ１０５においては、バイナリマ
スク修復を行う。即ち、前のステップＳ１０４で得られ
た画素を元のリペア画像の画素と混合する。バイナリマ
スクから離れている位置の画素の値は、この位置には雑
音がないことが判っているので、元のリペア画像の値と
されるべきである。バイナリマスクの値が０である領域
内では、元のリペア画像には雑音があり、またよりよい
値が計算されたことから、それらの値はそのまま残され
るべきである。

【００２４】ここで、バイナリマスクは、ユーザが雑音
領域の上に上書き（ペイント）したマスクである。この
バイナリマスクは、雑音の画素をカバーするのに十分な
大きさを有するが、正確に同じ形状のものである必要は
ない。

【００２５】なお、ユーザは、ステップＳ１０１からス
テップＳ１０５において実行されるループの回数を選択
することができる。

【００２６】

【発明が解決しようとする課題】画像修復において、画
像にローパスフィルタをかけて画像を低周波成分と高周
波成分に分離する従来手法においては、修復画像の陰影
が大きく変化する画像を修復する場合には陰影成分の修
復ができなかった。

【００２７】これは、ローパスフィルタを用いた周波数
領域での陰影成分の分離は、陰影が十分に滑らかな場合
でしか機能しないという問題と、ローパスフィルタをか
けただけではノイズ部分の画素値を周囲に拡散させてし
まい、陰影成分だけを正確に分離できず、ノイズと周囲
の部分の輝度差が高周波成分に含まれてしまうという問
題があったからである。また、強いフィルタをかけて、
更に画像をぼかすことでノイズの影響を減少させること
ができるが、陰影成分をも分離することになり、やはり
よい修復結果は得られない。

【００２８】本発明は、上述の実情に鑑みてなされるも
のであって、従来技術の欠点を克服し、陰影成分に関し
ても積極的に修復処理を行うことで、陰影の大きな画像
からスクラッチノイズのみを除去して望ましい画像を得
るような画像の陰影成分の修復方法及び装置を提供する
ことを目的とする。

【００２９】

【発明を解決するための手段】上述の課題を解決するた
めに、この発明に係る画像の修復方法は、画像に含まれ
る雑音を境界値問題の緩和法である連続過緩和（SOR;Su
ccessive Over Relaxation）法にて処理する第１の修復
工程と、画像に含まれる雑音を修復する第２の修復工程
とを有し、具体的には画像内の雑音の陰影成分を修復す
るものである。ここで、上記連続過緩和法は、ディフュ
ージョン法であるものとする。

【００３０】即ち、上記画像の修復装置及び方法は、修
復対象となる画像中のノイズ部分に対してディフュージ
ョン法を用いた修復を行って、陰影成分を修復するもの
である。

【００３１】このため、画像修復過程において、修復処
理を開始する前に修復対象部分を予めディフュージョン
法を用いて修復する。この結果、低周波成分を修復する
こととノイズと周囲の画像の輝度差に起因する不要な高
周波成分の影響を避けることができるため、画像修復の
精度が高まる。

【００３２】また、この発明に係る画像の修復方法は、
画像の欠落部分を修復する場合に、ディフュージョン法
を施す前に当該欠落部分に初期値を設定することで計算
量を減らすことを特徴とするものである。

【００３３】即ち、ディフュージョン法は画像修復にか
かる計算回数が問題となる。修復精度が十分なものとな
るためには、リペア領域に含まれるピクセル数の平方根
を取った数値だけ繰り返しフィルタの計算しなければな
らない。仮にリペア領域の大きさが縦横とも１００ピク
セルとすると、１００回の繰り返し計算が必要になる。
そのため、繰り返し計算の回数を減らすため修復領域の
内部に予め初期値を与えることで、修復処理を高速に終
了させるものである。

【００３４】ここでは、ディフュージョン法の計算を開
始する前に、予め初期値を与える。この結果、修復に必
要な計算回数を減らすことができるため高速な計算が可
能となる。

【００３５】さらに、この発明に係る画像の修復方法
は、ディフュージョン法により処理を施すためのフィル
タの形状を当該画像に応じて変化させるものである。こ
のフィルタは、上記画像の画素に施される線形演算に対
応する行列にて表現されるものである。

【００３６】即ち、ディフュージョン法のフィルタは上
下左右の画素を参照するため、対象性を有する画像をデ
ィフュージョン法で修復した場合に、他の部分の色が互
いに混ざってしまいうまく修復することができない場合
がある。そのため、フィルタの形状を変化させて計算す
ることで、色のにじみを回避するものである。

【００３７】従って、ディフュージョン法で用いるフィ
ルタの形状を変更することができるので、画像の持つ方
向に合った修復を行うことが可能となる。

【００３８】上述の課題を解決するために、この発明に
係る画像の修復装置は、画像に含まれる雑音をディフュ
ージョン法にて処理するディフュージョン法の手段と、
画像に含まれる雑音を修復する修復手段とを有するもの
である。

【００３９】

【発明の実施の形態】以下、この発明に係る画像の修復
方法及び装置について、図面を参照して説明する。

【００４０】画像の修復装置は、図１に示すように、こ
の装置の全体を制御する制御部１０と、データの演算を
集中して行う中央処理部２１と、データを保存するメモ
リ２２とを有している。

【００４１】上記制御部１０は、この装置の各部に対し
て制御を行うコントローラである。この制御部１０は、
上記中央処理部２１と、上記メモリ２２とデータの送受
を行い、これら中央処理部２１及びメモリ２２と一体と
なって上記画像内の領域設定方法に係る一連の手順を実
行する。また、この制御部１０には、マウス２３と、ペ
ン／タブレット２４と、画像入力２６とからデータが入
力し、ＣＲＴ２５にデータを出力している。

【００４２】上記中央処理部２１は、データに係る演算
を集中して行うプロセッサである。この中央処理部２１
は、上記制御部１０に接続され、この制御部１０の制御
の下に、この制御部１０から与えられたデータについて
演算を行う。

【００４３】上記メモリ２２は、データを保存する記憶
部である。このメモリ２２は、上記制御部１０に接続さ
れ、この制御部１０の制御の下に、データの書込み及び
読み出しをなされる。

【００４４】また、上記画像の修復装置は、入力手段と
してマウス２３及びペン／タブレット２４を、また、こ
の画像内の領域設定方法の処理に係る画像を出力する出
力手段としてＣＲＴ２５を有している。

【００４５】上記マウス２３は、掌に握って操作するこ
とができる程度の大きさの筐体を有するポインティング
デバイスである。このマウス２３は、例えば机上のよう
な平坦面上を所望の方向に所望の距離摺動されることに
より、例えばＣＲＴ２５上に表示されたカーソルの位置
を入力される。そして、このマウス２３は、入力された
位置に係るデータを上記制御部１０に伝送する。

【００４６】上記ペン／タブレット２４は、略々直方体
状の平坦な筐体を有し、この平坦な主面の１にマトリッ
クス状配設された複数の検知素子を備え、このマトリッ
クス上の位置を検知するタブレットと、このタブレット
の主面をペン先にてなぞることにより位置を入力するペ
ンとの一組からなる入力手段である。このペン／タブレ
ット２４は、入力された位置に係るデータを上記制御部
１０に伝送する。

【００４７】上記ＣＲＴ２５は、画像に係るデータを陰
極線の管面に配設された複数の画素に画像として表示す
る出力手段である。このＣＲＴ２５は、上記制御部１０
から画像に係るデータを伝送され、このデータを画像と
して表示する。

【００４８】次に、画像内の修復方法にか係る一連の工
程を、図２に示すフローチャートを参照して説明する。

【００４９】最初のステップＳ１においては、ノイズを
含むリペア画像のノイズを含む部分を指定する。このノ
イズを含む部分は、例えば上記ＣＲＴ２５上にてマウス
２３等のポインティングデバイスを用いることにより指
定される。そして、次のステップＳ２に進む。

【００５０】ステップＳ２においては、ディフュージョ
ン法を用い、上記ステップＳ１にて指定した画像のノイ
ズ部分の陰影成分を修復し、ステップＳ３に進む。この
ディフュージョン法については、後に詳述する。

【００５１】ステップＳ３においては、画像を周波数領
域にて分割する。即ち、修復する画像を、周波数によっ
て、高周波成分であるテクスチャ成分と、低周波成分で
ある陰影成分とに分割する。そして、これに続くステッ
プＳ４に進む。このステップＳ３以後は、通常の画像内
の雑音修復工程に対応するものである。

【００５２】ステップＳ４においては、上記ステップＳ
４にて修復する画像を周波数領域にて分割することによ
り得られた画像のテクスチャ成分を、参照画像であるサ
ンプル画像の高周波成分であるテクスチャ成分を参照し
てＰＯＣＳ（Projection onto Convex Sets）により処
理する。そして、次のステップＳ５に進む。

【００５３】ステップＳ５においては、上記ステップＳ
４にて処理された画像に対してソフトマスク（ソフトノ
イズマスク）を参照することにより、ソフトマスク修正
を施す。そして、ステップＳ６に進む。

【００５４】ステップＳ６においては、上記ステップＳ
５にてソフトマスク修復された画像と、上記ステップＳ
３にて周波数領域にて分割された低周波成分である陰影
成分を合成する。そして、次のステップＳ７に進む。

【００５５】ステップＳ７においては、クリッピングを
行う。例えば、画素の値が０〜２５５の範囲の外にある
ときには、その値が上記範囲に収まるようにクリッピン
グを施す。そして、これに続くステップＳ８に進む。

【００５６】ステップＳ８においては、ソフトマスク修
復がなされる。即ち、上記ステップＳ７にてクリッピン
グが施された画像は、原リペア画像と、ソフトマスクを
参照することにより、ソフトマスク修復される。そし
て、この画像に陰影成分の修復方法に係る一連の工程を
終了する。このソフトマスク修復については、後に説明
する。

【００５７】このように、本手法では、ステップＳ３で
示した周波数分割を行う前の段階でディフュージョン法
を用いてノイズ部分の陰影成分のみを修復してしまい、
ステップＳ４以降で従来法を用いてテクスチャ成分を修
復する。これによって、低周波成分と高周波成分ともに
修復することが可能となり、望ましい修復結果が得られ
る。

【００５８】続いて、上記画像の修復方法の第１の具体
例について、図３に示すフローチャートを参照して説明
する。この具体例は、画像内の雑音を含むリペア領域を
参照領域であるサンプル参照領域を参照することによ
り、その際にソフトマスクを用いて修復するものであ
る。

【００５９】最初のステップＳ２１においては、リペア
画像にソフトマスク（ソフトノイズマスク）を乗算す
る。このノイズマスクとしては、バイナリマスク（バイ
ナリノイズマスク）でも、ソフトエッジのソフトマスク
でもよい。ここで、リペア画像は、ユーザが選択した雑
音領域周辺の長方形の画像領域である。

【００６０】バイナリマスクは、ユーザが雑音領域の上
に上書きしたマスクである。このバイナリマスクは、雑
音の画素をカバーするのに十分な大きさを有するが、正
確に同じ形状のものである必要はない。

【００６１】ソフトエッジマスクは、必要に応じて、ユ
ーザが上書きしたバイナリマスクからソフトエッジマス
クを生成する。ソフトマスクを生成する際、バイナリマ
スク内ではソフトマスクの値は０である。バイナリマス
ク外では、ソフトマスクの値は、０から１の間のガウス
関数である。すなわち、バイナリマスク外の画素におい
ては、バイナリマスクからの距離をｄとすると、ソフト
マスクの値は、１−ｅｘｐ（−ｋ＊ｄ＊ｄ）となり、こ
こで、ｋは、ユーザがこのソフトマスクのソフトエッジ
を急峻にしたり、なだらかにしたりするために設定する
ことができる定数である。一般的に、定数ｋの値は、
０．１５である。バイナリマスクからの距離ｄが決まる
と、ソフトマスクの１つの値が得られる。我々は、この
目的のためにおよそ約５つの画素の距離が適することを
見いだした。

【００６２】ノイズマスクとしてバイナリマスクを使用
したときは、リペア画像中の実際の雑音は、黒い領域で
覆われる。この領域の外側の領域は、雑音のない部分で
ある。乗算の結果は、マスクリペア画像である。一方、
ソフトマスクを使用するときは、そのソフトマスクのソ
フト範囲は、雑音のエッジ近傍の位置で略々０であり、
ソフトマスクのエッジから数画素離れた位置で略々０と
なり、それらの間の位置で０と１の中間の値を有する要
因を、リペア画像に乗算することにより、下の元の値は
減少する。その乗算結果を、マスクリペア画像という。
そして、次のステップＳ２２に進む。

【００６３】ステップＳ２２においては、ディフュージ
ョン法を用いて処理を行い、ステップＳ２３に進む。こ
のディフュージョン法については、後に詳細に説明す
る。

【００６４】ステップＳ２３においては、マスクリペア
画像を、ハイパスフィルタマスクリペア画像と、ローパ
スフィルタマスクリペア画像との２つの画像に分割す
る。ローパスフィルタリペア画像は、次のステップＳ２
４に送られないが、その代わりに、ステップＳ２９に送
られる。ハイパスフィルタマスクリペア画像のみが、次
のステップＳ２４に直接送られる。

【００６５】ステップＳ２４においては、ハイパスフィ
ルタマスクリペア画像の高速フーリエ変換（ＦＦＴ）を
計算して、ＦＦＴで計算されたマグニチュード（Ｍ２）
と位相（Ｐ２）を次のステップに送る。

【００６６】一方、ステップＳ３１においては、サンプ
ル画像を、ローパスフィルタを用いて濾波して、ローパ
スフィルタサンプル画像とハイパスフィルタサンプル画
像を生成する。そのローパスフィルタサンプル画像は無
視され、ハイパスフィルタサンプル画像が次のステップ
Ｓ３２の入力になる。

【００６７】ここで、サンプル画像とは、ユーザが選択
した雑音の画像領域を含まずリペア画像と似ていて正確
に同じサイズの長方形の画像領域である。この選択した
領域をサンプル画像とする。このサンプル画像はリペア
画像に比べてかなり暗いか明るくてもよい。サンプル画
像中の顕著なラインの相対的位置は、リペア画像中の顕
著なラインの位置とは異なってもよい。

【００６８】ステップＳ３２においては、ハイパスフィ
ルタサンプル画像の高速フーリエ変換（ＦＦＴ）を計算
する。ＦＦＴの出力は、ハイパスサンプル画像のフーリ
エ変換の位相とマグニチュードである。ここで、位相は
無視する。マグニチュード（Ｍ１）は次のステップＳ２
５に送られる。

【００６９】ステップＳ２５においては、マグニチュー
ド（Ｍ１）と（Ｍ２）の最小マグニチュードを計算す
る。マグニチュード（Ｍ１）は、サンプル画像のＦＦＴ
で得られるマグニチュードであり、マグニチュード（Ｍ
２）は、ハイパスフィルタマスクサンプル画像のＦＦＴ
で得られるマグニチュードである。最小値の計算により
得られた新しいマグニチュードを、次のステップＳ２６
で使われる逆フーリエ変換の新しい値として送る。ハイ
パスフィルタマスクリペア画像のＦＦＴで得られた位相
情報（Ｐ２）を変更せずに、次のステップＳ２６に送
る。

【００７０】ステップＳ２６においては、前のステップ
Ｓ２５で得られたマグニチュードと位相の出力を用い
て、逆高速フーリエ変換（ＩＦＦＴ）を計算する。そし
て、ステップＳ２７に進む。

【００７１】ステップＳ２７においては、入力値を実数
にする。この入力値は、それらの内の幾つかは複素数で
ある可能性があるマトリックスである。マトリックスに
おいてそのような複素数の値は０に設定する。実数も０
から２５５の範囲外の可能性もあるのでクリッピングを
行う。値が０以下のときは、それを０にする。それが２
５５以上のときは、それを２５５にする。それ以外で何
も変更しない。そして、ステップＳ２８に進む。

【００７２】ステップＳ２８においては、ステップＳ２
２で得られた画素を先にステップＳ２３のローフィルタ
を介したマスクリペア画像の画素と混合するソフトマス
ク修復が行われる。ノイズマスクから離れている位置の
画素の値は、この位置に雑音がないことが判っているの
で、マスクリペア画像の値とされるべきである。ノイズ
マスクの値が０である領域内では、マスクリペア画像に
は雑音があり、またよりよい値が計算されたことから、
それらの値はそのまま残されるべきである。ソフトマス
クを採用しているときは、ソフトマスクの値が０と１の
間の領域の値としては、前のステップにおいて計算され
た値とマスクリペア画像の値を混合した値とする。これ
ら３つの操作（ソフトマスクの値が０、１及び０と１と
の中間の値の処理）は、以下のように定義することがで
きる。ある位置におけるソフトマスクの値をｍとする
と、その位置での新しい画素は、ｍ＊ｒｐ＋（１−ｐ）
＊ｒとなり、ここで、ｒｐは、ハイパスフィルタを介し
たマスクリペア画像Ｒ内のその位置の値であり、ｒは、
前のステップで得られたその位置の値である。なお、ソ
フトマスクに代わってバイナリマスクを用いるバイナリ
マスク修復を行うこともできる。そして、ステップＳ２
９に進む。

【００７３】ステップＳ２９においては、前のステップ
Ｓ２８の出力と、ステップＳ２３で得られたローパスフ
ィルタマスクリペア画像と合成（マージ）する。マージ
は、２つの画像を単純に加算することにより行われる。
そして、次のステップＳ３０に進む。

【００７４】ステップＳ３０においては、クリッピング
が行われる。即ち、このステップの入力の画素のいずれ
かが２５５より大きいときは、それを２５５とする。そ
れ以外であれば、何もしないでおく。

【００７５】なお、ユーザは、ステップＳ２３からステ
ップＳ３０において実行されるループの回数を選択する
ことができる。そして、この一連の工程の結果、画像に
含まれた雑音の領域が修復された結果画像が得られる。

【００７６】また、ステップＳ２４〜Ｓ２７は、上記図
２中のステップＳ４にＰＯＣＳに対応している。

【００７７】続いて、上記一連の工程における陰影成分
の修復に用いられるディフュージョン法に係る工程を、
図４のフローチャートを参照して説明する。この画像内
の陰影成分の修復に係る部分は、ディフュージョン法を
施すステップである上記図２中のＳ２及び上記図３中の
ステップＳ２２に対応している。ここで、ディフュージ
ョン法とは境界値問題の緩和法である連続過緩和法（SO
R; Successive Overrelaxation）法（Numerical Recipe
s in C,William H. Pressなど,技術評論社）の一種であ
る。

【００７８】最初のステップＳ１１において、画像の修
復対象部分の値を０とする。修復対象部分とは、例えば
画像内でスクラッチ等の雑音が生じた部分である。そし
て、次のステップＳ１２に進む。

【００７９】ステップＳ１２においては、修復する画像
にディフュージョン法のフィルタをかける。このディフ
ュージョン法のフィルタとは、例えば次式に示すよう
に、３行３列の行列であり、第１行第２列、第２行第１
列、第２行第３列及び第３行第２列の要素がそれぞれｗ
／４、第２行第２列の要素が１−ｗ、他の部分が０であ
るものである。

【００８０】

【数１】

【００８１】この行列にて表現される上記フィルタを修
復すべき画像に施す順序としては、図５に示すように、
リペア画像３１において、フレーム内の水平方向に左か
ら右を操作の方向として、この走査線をリペア画像のフ
レームの垂直方向に対して上から下に、順に各画素と周
囲の画素を対象として適用する。

【００８２】この際、計算対象の画素の図中左方向と上
方向の成分については、直前の計算にて得られた画素値
を用いる。これら図中の左方向及び上方向の成分は、上
記行列の第１行第２列及び第２行第１列の要素にそれぞ
れ対応している。ここで、上記フィルタを表現する行列
の要素に現れたｗは、過緩和パラメータと呼ばれ、０＜
ｗ＜２の値を取る。そして、ステップＳ１３に進む。

【００８３】ステップＳ１３においては、修復後の画素
値と修復前の画素値を比較して、定められた閾値以上だ
ったら上記ステップＳ１２に戻り、修復計算を繰り返
す。閾値未満だったら、この一連の工程を終了する。

【００８４】上記ディフュージョン法による画像の修復
の一例は、図６に示されている。即ち、図中Ａに示す画
像は、輝度値が連続的に変化する正常部分８の一部に、
輝度値が著しく低い欠落部分９を有している。

【００８５】この欠落部分９を有する画像は、図中Ｂ及
びＣに示すように、反復回数を重ねる毎に、欠落部分近
傍の画素値をの画素値が流れ込むような形で徐々に値が
復元されていく。

【００８６】以上の実施例ではディフュージョン法を用
いて修復する方法を説明した。ここで、ディフュージョ
ン法で修復する場合は、フィルタを繰り返し適用する
が、その計算回数が問題となる。修復精度が十分なもの
となるためには、リペア領域に含まれるピクセル数の平
方根を取った数値だけ繰り返しフィルタの計算しなけれ
ばならない。仮にリペア領域の大きさが縦横とも１００
ピクセルとすると、１００回の繰り返し計算が必要にな
る。

【００８７】そこで、計算回数を減らすため、修復領域
の内部に予め初期値を与えて、修復計算を速める方法に
ついて、図７を参照して説明する。同図中のＡ〜Ｃは、
８×８画素から構成されるている画像であり、この画像
の中央の４×４画素が欠落している。

【００８８】従来法においては、図中のＡに示す修復領
域２にディフュージョン法を適用する際に、従来法では
図中のＢに示すように修復領域２の輝度値を０としてい
た。そのため、輝度値が十分に回復するには繰り返しの
回数も多く、計算時間がかかるものとなっていた。ここ
で、ディフュージョン法においては修復が十分に行われ
れば、値は必ず領域を囲む周囲の画素１の最も低い値以
上となる。そのため、同図中のＣに示すように、修復領
域に隣接する画素１の値の中で最も輝度の低い画素を選
び、選んだ画素値を用いて、修復領域２を埋めてしま
う。その後ディフュージョン法を用いて修復する。この
結果、修復が完了するまでにかかる回数の増加を大幅に
抑えることができる。

【００８９】また、図８中のＡに示す画像のような大き
な輝度変化がパターンを持つ場合でも、上記画像の修復
方法は容易に応用することができる。図中のＡ〜Ｃは、
図中の横方向には同じ輝度値を取るような対称性を有し
ている。同図中のＡには、図中略々横方向を長手方向と
して、スクラッチ／ワイヤのようなノイズ６が含まれて
いる。このノイズ６は、ノイズマスク５にてカバーさ
れ、このノイズ６７及びノイズマスク５を含む長方形の
領域４が設定されている。

【００９０】上記領域４をディフュージョン法で修復し
た場合に、修復結果は同図中のＢとなる。この図中のＢ
では、輝度が急激に変化している部分があるが、この部
分については上下方向の画素の値が特に中心部分で大き
く異なるため、異なる部分の色が流れ込んできた結果、
画像ににじみ７が現れてしまう。そのため、フィルタの
形状を画像のパターンの方向に合わせることで、不要な
にじみ７を防止することができる。

【００９１】ここでは、画像のパターンは横方向である
ため、フィルタの形状を次に掲げる行列を用いて修復す
る。その結果、同図中のＣに示すように縦方向の画素の
影響を受けずに陰影成分を修復することができる。この
行列は、３行３列であり、第２行第１列及び第２行第３
列の要素の値はｗ／２、第２行第２列の要素の値は１−
ｗであり、他の要素の値は０である。

【００９２】

【数２】

【００９３】次に、上記画像の陰影成分の修復方法に係
る第２の具体例を、図９のフローチャートを参照して説
明する。この第２の具体例は、上述した第１の具体例に
おけるステップＳ２３のフィルタの工程を除いたもので
ある。この第２の具体例と上記第１の具体例について共
通の部分については、簡単のために説明を省略する。

【００９４】最初のステップＳ３１においては、リペア
画像にソフトマスクを乗算する。その結果、元の雑音
は、そのソフトマスクの黒い領域により覆われる。そし
て、次のステップＳ３２に進む。

【００９５】ステップＳ３２においては、ディフュージ
ョン法による処理を施す。このディフュージョン法につ
いては、上で詳細に説明したので、ここでの説明は省略
する。そして、次のステップＳ３２に進む。

【００９６】ステップＳ３３においては、マスクリペア
画像の高速フーリエ変換（ＦＦＴ）を行い、ＦＦＴで計
算されたマグニチュード（Ｍ２）と位相（Ｍ２）を次の
ステップＳ３４に送る。

【００９７】一方、ステップＳ３８においては、サンプ
ル画像の高速フーリエ変換（ＦＦＴ）を行う。ＦＦＴの
出力は、サンプル画像の高速フーリエ変換の位相とマグ
ニチュードである。ここでは、位相は無視され、マグニ
チュードは、後で使用される。上記マグニチュードは、
ステップＳ３４に送られる。

【００９８】ステップＳ３４においては、マグニチュー
ドＭ１、Ｍ２の最小マグニチュードを計算する。マグニ
チュードＭ１は、サンプル画像のＦＦＴで得られるマグ
ニチュードであり、マグニチュードＭ２は、マスクリペ
ア画像のＦＦＴで得られるものである。この最小マグニ
チュードの計算は、ＤＣ成分以外の全ての周波数成分に
おいて行われる。ＤＣにおいては、マグニチュードＭ２
の値が選択される。最小値の計算により得られた新しい
マグニチュードを、次のステップで使われるフーリエ変
換の新しい値として送る。マスクリペア画像のＦＴで得
られた位相情報Ｐ２は、変更されずに、次のステップＳ
３５に送られる。

【００９９】ステップＳ３５においては、前のステップ
Ｓ３４で得られたマグニチュードと位相の出力を用い
て、逆高速フーリエ変換（ＩＦＦＴ）を行う。そして、
ＩＦＦＴの結果を次のステップＳ３６に送る。

【０１００】ステップＳ３６においては、入力値を実数
にする。この入力値は、それらの内の幾つかは複素数で
ある可能性があるマトリクスである。マトリクスにおい
てそのような複素数の値は０に設定する。実数も０から
２５５の範囲外の可能性もあるのでクリッピングを行
う。値が０以下のときには、それを０にする。それが２
５５以上のときは、それを２５５にし、それ以外であれ
ば、何もしない。そして、この結果を、これに続くステ
ップＳ３７に送る。

【０１０１】ステップＳ３７においては、前のステップ
Ｓ３６で得られた画素を元のリペア画像の画素と混合す
るソフトマスク修復を行う。

【０１０２】ここで、ユーザは、ステップＳ２からステ
ップＳ６において実行されるループの回数を選択するこ
とができる。そして、この一連の工程の結果、画像に含
まれた雑音の領域が修復された結果画像が得られる。

【０１０３】なお、上記画像の修復方法及び装置におい
ては、ディフュージョン法に限定されずに種々のＳＯＲ
法を使用することができる。

【０１０４】

【発明の効果】以上のように本発明によれば、従来手法
で問題となっていたノイズ部分に大きな陰影がある画像
を修復できない問題について、ＳＯＲ法、例えばディフ
ュージョン法を用いて修復する方法を開発することで解
決した。また、ディフュージョン法を用いる場合に問題
となる計算回数について、初期値を与えることで計算回
数を抑える方法を開発した。また、陰影に方向がある場
合でも、フィルタの方向を与えることで陰影の方向に合
わせた修復が行える方法を開発した。

【０１０５】これにより従来難しかった、輝度値に大き
な変化がある陰影成分を持つ領域を修復することができ
るようになった。

【図面の簡単な説明】

【図１】画像の修復装置の概略的な構成を示すブロック
図である。

【図２】画像の修復方法に係る一連の工程を示すフロー
チャートである。

【図３】上記修復方法の第１の具体例の一連の工程を示
すフローチャートである。

【図４】上記修復方法に係る工程の要部を示すフローチ
ャートである。

【図５】画像に対する処理の順序を示す図である。

【図６】画像の欠落の修復の状態を示す図である。

【図７】画像内の欠落部分に対して初期値を与える態様
を示す図である。

【図８】対称性を有する画像内の欠落部分の修復を説明
する図である。

【図９】上記修復方法の第２の具体例の一連の工程を示
すフローチャートである。

【図１０】スクラッチ／ワイヤが存在する画像を示す図
である。

【図１１】リペア領域及びサンプル領域が設定された画
像を示す図である。

【図１２】不均一な陰影を含む画像を示す図である。

【図１３】従来の画像の修復方法の一例の一連の工程を
示すフローチャートである。

【符号の説明】

１０制御部、２１中央処理部、２２メモリ

Claims

【特許請求の範囲】

【請求項１】画像に含まれる雑音を境界値問題の緩和
法である連続過緩和（SOR;Successive Over Relaxatio
n）法にて処理する第１の修復工程と、画像に含まれる雑音を修復する第２の修復工程とを有す
ることを特徴とする画像の修復方法。
【請求項２】上記連続過緩和法は、ディフュージョン
法であることを特徴とする請求項１記載の画像の修復方
法。
【請求項３】上記第２の修復工程は、上記第１の修復
工程にて処理を施された画像に高速フーリエ変換を施し
て第１の高速フーリエ係数を取得する工程と、雑音を含
む画像を修復する際に参照する画像に高速フーリエ変換
を施して第２の高速フーリエ係数を取得する工程と、上
記第１及び第２のフーリエ係数に基づいて得られたフー
リエ係数に対して逆フーリエ変換を施して画像を取得す
る工程と、上記逆フーリエ変換にて取得した画像にて雑
音を含む画像を置換する工程とを有することを特徴とす
る請求項２記載の画像の修復方法。
【請求項４】画像の欠落部分を修復する場合に、上記
ディフュージョン法を施す前に当該欠落部分に初期値を
設定することで計算量を減らすことを特徴とする請求項
２記載の画像の修復方法。
【請求項５】上記ディフュージョン法により処理を施
すためのフィルタの形状を当該画像に応じて変化させる
ことを特徴とする請求項２記載の画像の修復方法。
【請求項６】上記フィルタは、上記画像の画素に施さ
れる線形演算に対応する行列にて表現されることを特徴
とする請求項５記載の画像の修復方法。
【請求項７】画像に含まれる雑音をディフュージョン
法にて処理するディフュージョン法の手段と、画像に含まれる雑音を修復する修復手段とを有すること
を特徴とする画像の修復装置。
【請求項８】上記修復手段は、上記ディフュージョン
手段にて処理を施された画像に高速フーリエ変換を施し
て第１の高速フーリエ係数を取得する手段と、雑音を含
む画像を修復する際に参照する画像に高速フーリエ変換
を施して第２の高速フーリエ係数を取得する手段と、上
記第１及び第２のフーリエ係数に基づいて得られたフー
リエ係数に対して逆フーリエ変換を施して画像を取得す
る手段と、上記逆フーリエ変換にて取得した画像にて雑
音を含む画像を置換する手段とを有することを特徴とす
る請求項７記載の画像の修復装置。