JPH11103447A - 動画像の修復方法及び装置並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 デジタル化された動画像中のキズやノイズを
修復する。 【解決手段】 動画像の修復方法は、画像情報が欠落し
たフレームの内の修正領域に対してフレーム内修正を実
行すると共に、修正領域と前後のフレームとのマッチン
グを行うことにより前後フレームにおける対応領域を求
め、さらに連続するフレーム間で修正画素に対し平均処
理を施すことにより、修復結果画像を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、デジタル化され
た動画像中の、キズや不要物、あるいはノイズ等を除去
し、画像を復元する方法及び装置に関する。

【０００２】

【従来の技術】古い映画のフィルムには多数のゴミが付
着しておりまたキズも多数存在する。こうしたフィルム
をスキャナで電子的に読み取りデジタル画像とした後に
は、ゴミやキズの電子的な除去が必要である。当然、本
来どのような画像であったかはわからないから、ゴミや
キズ部分の画素は情報は欠落した状態にある。それを周
囲の画素の情報をもとに復元しなくてはならない。

【０００３】また、近年の映画の特殊効果では俳優や乗
り物などをワイヤーで吊して空中を飛行するなどのシー
ンを撮影し、後にこのワイヤーを電子的に消去すること
がよく行われる。この場合も、ワイヤーで隠されてしま
った、本来は見えてほしかった部分は撮影済のフィルム
からはもはや得られないから、その再現が必要になる。
これもやはり情報の欠落した画素を復元する問題として
捉えることが出来る。

【０００４】さらにまた、電波やコンピュータネットワ
ーク上の伝送の際に誤りが生じた画像に対しても、誤り
による欠損を目立たなくする復元技術が必要になる。

【０００５】画像の修正を行うにあたって、最も伝統的
でかつ今日でも広く行われているのは、人間による手描
き修正である。ペンやブラシやエアブラシで紙に絵を描
く操作をコンピュータ上に再現したソフトウェア（ペイ
ントソフトやフォトレタッチソフトと呼ばれる）を用
い、画像に対して電子的なペンやブラシで絵を描いて、
画像中のキズを修復することが今日でも一般的に行われ
ている。

【０００６】１フレームをきれいに修復するのはもちろ
ん大変であるが、動画像となると、さらに困難な作業と
なる。すなわち、手で修正しているために各フレームに
おける修復のされ方が同じ画素といえども一様ではな
く、その結果、それぞれのフレームを単独で見ると良好
な修復であっても、それらを連続して動画としてみると
時間軸方向での修復の不連続さがノイズとして人間の目
に感知されてしまうのである。このノイズを除去するの
は極めて難しい。いうまでもなくこれは時間と熟練を要
する作業であり、１００フレーム程度の動画像の修正に
１週間近い時間を要することも珍しくなく、映画やビデ
オの映像操作において、その時間的効率を下げる大きな
要因となっている。

【０００７】作業を効率化するためにコンピュータを用
いた画像処理により画像の修復を自動化する試みは従来
からなされている。

【０００８】画像処理フィルタの利用は代表的な例であ
り、例えばローパスフィルタ（低域通過フィルタ）の使
用により、情報が欠落した部分をぼかして周囲となじま
せることで、ある程度の復元が可能である。単にローパ
スフィルタを施しただけでは画像全体がぼけてしまうた
め、この点を改善するために統計的操作を用いたフィル
タであるメディアン・フィルタ (median filter)など多
数のフィルタが考案されている。こうしたフィルタによ
る画像復元の技術は、画像処理の代表的著作である A.
K. Jain 著“Fundamentals of digital image processi
ng"、Prenticehall出版、などに詳しく記載されてい
る。しかし、これらのフィルタは主として、小さな、そ
れぞれ離散的に存在する画素情報の欠落に対しては有効
であるが、連続した画素からなる大きな領域の修復には
不向きである。

【０００９】従って、主要な用途である、画像中のキズ
の除去、ワイヤなどの不要物除去後の背景の復元、画像
伝送中のバースト的な誤りの復元には十分とは言えな
い。

【００１０】ディジタル画像のスクラッチは、画像内の
不要な画素である。スクラッチ雑音は、一般的に、画素
の小さな独立したグループや集まりというよりはむし
ろ、多数の隣接した画素からなる。画像において、スク
ラッチ雑音は、例えば１０画素×１００画素のような画
素の領域により構成され、スクラッチによって切断され
たテクスチャ又はエッジ等の細部を有する画像の領域に
存在する。

【００１１】画像からスクラッチを除去するために、ス
クラッチ領域を構成する画素は、元のデータを表し、あ
るいは元のデータに匹敵するデータで置換しなければな
らない。効果的にスクラッチ領域を修復するためには、
この画素データが、スクラッチ領域において周辺の領域
と同程度にシャープな画像を生じさせるものでなければ
ならない。さらに、鮮明なエッジの連続が維持され、ワ
イヤあるいはスクラッチ画素を置換するために生成され
たテクスチャは周辺のテクスチャに調和しなければなら
ない。

【００１２】ディジタル処理における従来の技術の効果
は、規則的又はランダム的に発生する画像の特徴と画像
内における相対的なサイズに従って、変化する。規則的
に発生する特徴の例としては、煉瓦壁や布に織り込まれ
たテクスチャがある。ランダムに発生する特徴の例とし
ては、アスファルト道路、コンクリート歩道又は砂浜が
ある。従来の技術の効果は、スクラッチ領域の大きさや
種類にも依存する。画像の平滑あるいはぼやけた領域に
小さく、孤立した雑音画素の集合は、例えばフィルタリ
ング、クローニング、ペインティングの技術等の従来の
技術により、比較的簡単に除去することができる。しか
し、従来の雑音除去技術は、多数の隣接した画素からな
るスクラッチや、画像のテクスチャ領域又は際だったエ
ッジや線を有する領域のスクラッチには適用できない。

【００１３】画像雑音除去における従来の技術は、一般
的に、１）フレーム内技術、２）フレーム間技術の２種
類に分類することができる。これらの２つの一般的な技
術の違いは、主に雑音画素を置換するデータがどこから
得られるかという点にある。フレーム間技術では、一般
的に、雑音画素を置換するために必要とされる画素を、
先行するあるいは連続したフレームからコピーする。一
方、フレーム内技術では、一般的に、修復される画像フ
レーム内のデータを雑音画素の置換のために利用する。

【００１４】フレーム間技術は、極端なカメラの動きや
場面の動きを考えた画像／場面においては、良好な結果
を出すことができない。またこの技術は、幾つかの画像
フレームに亘ってスクラッチが広がっていたり、損傷し
た画像フレームが画像を修復するためのデータを提供す
る唯一の画像フレームである場合などにも適用すること
ができない。不運にも、一般的な映写機による映画フィ
ルムの動きにおいてスクラッチが幾つもの画像フレーム
に亘ることは一般的に生じ得ることである。これらの状
況においては、先行／連続する画像フレームからの対応
する画像データは、スクラッチ領域を置換／コピーする
のに利用することができない。スクラッチ雑音除去にお
ける従来の技術は、スクラッチ雑音除去の問題に対し
て、いくつかの方法を提供している。この従来の方法
は、以下の方法を含むものである。すなわち、（ａ）ロ
ーパスフィルタリングと他の線形フィルタリング、
（ｂ）メディアンフィルタリングと他の非線形フィルタ
リング、（ｃ）統計的なテクスチャの合成、（ｄ）例え
ば画像の他の部分をコピーするクローニング、（ｅ）手
でのペインティング、（ｆ）射影に基づいた方法、
（ｇ）連立方程式を解くことに基づいた方法、である。
しかし、これらの技術は、様々なスクラッチ／画像の状
態に対して、最適な結果を引き出すためのスクラッチ除
去に成功していない。

【００１５】全ての画像信号は、互いに異なる周波数を
有する多くの正弦波信号の特定の比率の組み合わせで構
成されると考えられる。そのような画像を画像成分とし
て分析するには、高速フーリエ変換（ＦＦＴ）として知
られる方法が用いられる。画像をこのような方法で分析
し、このＦＦＴで生成された情報に対する処理は、周波
数領域での処理として知られている。画像信号に対する
直接的な処理は、空間領域での処理として知られる。

【００１６】上記（ａ）から（ｅ）までの方法は、１つ
のそのような領域でしか処理しない。周波数領域での方
法は、画像の全体の構造を把握することができるが、局
所的な処理性ローカルコントロール（線連続性、鮮明
度）を失ってしまう。その結果、線及び他の細部が不鮮
明になってしまう。

【００１７】空間領域のみの方法で見られる問題は、そ
れらは、局所的な処理性ローカルコントロール及び局所
的な情報を有しているが、画像の全体の構造に関する情
報を有していないということである。局所的な近傍に対
する制限は、ある場合には、実際のコンピュータ処理に
おける制約が原因である。さらに、中間フィルタリング
のような幾つかの方法は、本来全体の情報を有意義に使
用する能力がない。

【００１８】ここで、従来の画像修復方法として、修復
に使用する領域を前後のフレームからのコピーによって
得る方法がある。図１に例を示すように、図１のＢに示
す第ｉフレーム３１中にキズ（黒い太線部分）３が含ま
れている。

【００１９】即ち、図１のＡの第ｉ−１フレーム３０、
図１のＢの第ｉフレーム３１、図１のＣの第ｉ＋１フレ
ーム３２には、図中略々中央に図中右下方向に向かって
移動する移動体４１がそれぞれ表示されている。図中の
Ｂの第ｉフレーム３１の図中略々中央には図中略々右上
方向を長手方向とする略々矩形状のキズ３が含まれてい
る。そして、図１のＡの第ｉ−１フレーム３０及び図１
のＣの第ｉ＋１フレーム３２には、図１のＢの第ｉフレ
ーム３１に含まれているキズ３に対応する部分に同一形
状の部分７がそれぞれ設定されている。ここでは、図１
のＢの第ｉフレーム３１のキズ３のデータを前後のフレ
ームに破線で示した領域７から画像領域を取得してコピ
ーすることで修復することができる。

【００２０】しかし、図２に示すように、各フレームで
明るさや陰影の調子が変化している場合がある。

【００２１】即ち、図２のＡの第ｉ−１フレーム３０、
図２のＢの第ｉフレーム３１、図２のＣの第ｉ＋１フレ
ーム３２には、上記図１における移動体４１と同一形状
の移動体４１がそれぞれ表示されている。しかし、これ
ら各フレーム３０〜３２の明るさや陰影の調子は異なっ
ている。第ｉフレーム３１に表示されている移動体４１
に比較すると、第ｉ−１フレーム３０に表示されている
移動体４１は暗く、第ｉ＋１フレーム３２に表示されて
いる移動体４１は明るい。このような場合には、単にコ
ピーをして張り付けたのでは色が合わず、修復品質が低
い。

【００２２】また、図３に示すように、キズ３が前後の
フレームで大きく重なっている場合がある。

【００２３】即ち、図３のＡの第ｉ−１フレーム３０、
図３のＢの第ｉフレーム３１、図３のＣの第ｉ＋１フレ
ーム３２には、上記図１における移動体４１と同一形状
の移動体４１がそれぞれ表示されている。図３のＡの第
ｉ−１フレーム３０には、図中中央やや左に図中の略々
右上方向を長手方向とする矩形状のキズ３が含まれてい
る。図３のＢの第ｉフレーム３１には、図中略々中央に
図中の略々右上方向を長手方向とする矩形状のキズ３が
含まれている。図３のＣの第ｉ＋１フレーム３２には、
図中中央やや右に図中の略々右上方向を長手方向とする
矩形状のキズ３が含まれている。そして、キズ３は前後
のフレームで大きく重なっている。

【００２４】このような場合には、埋めるデータをさら
に時間軸上遠方の（例えば第ｉ−２フレームや第ｉ＋２
フレーム）から求める必要がある。時間的に遠方のフレ
ームを参照するほど、上述の陰影などの差も大きくなる
から良好な修復を行うことは困難となる。

【００２５】

【発明が解決しようとする課題】以上に述べたように、
従来の技術においては、手作業による動画像の修復に
は、熟練したオペレータであっても多大の時間要してい
た。それでもなお、全フレームにわたり一様な修復を施
すことが困難であり、結果的に修復の品質が低かった。

【００２６】また、コンピュータを用いて修復する従来
の方法は連続する多数の画素の情報の欠落に対しては十
分な効果が無く、さらに動画像に対して連続で一様な修
復をすることができない。単一フレームに対する修復の
精度を従来より大きく改善した、日本特許出願の“特願
平７−３０３４２０号”及び“特願平８−２０４７７６
号”の各明細書中に開示した技術においてもなお、動画
像修復を行ったときの品質は良好とはいえない。

【００２７】さらに、前後の画像から画像をコピーして
修復を行う方法は、時間と共に陰影や明るさが変化する
場合にはよい結果が得られない。前後のフレームで情報
が欠落している領域が重なっている場合にはさらに離れ
たフレームを使用しなくてはならないが、時間的に離れ
るほど、陰影の差や形状の違いが大きくなり、この方法
での修復は困難となる。

【００２８】このように、従来の方法では、単一フレー
ムの修復は満足できる結果を得ることもできるが、動画
像全体の良好な修復は不可能であった。

【００２９】本発明は上述の実情に鑑み、動画像におい
ても良好な画像の修復が可能な動画像の修復方法及び修
復装置並びに提供媒体を提供することを目的とする。

【００３０】

【発明を解決するための手段】上述の課題を解決するた
めに、この発明に係る動画像の修復方法は、連続した複
数の画像から構成される動画像中の画素情報の欠落を修
復する動画像の修復方法において、画素情報が欠落した
修復対象画像の前後の少なくとも１つの画像における、
上記欠落画素に対応する画像部分の情報に基づいて、画
像が時間方向に連続であるように上記欠落画素を修復す
る連続性維持工程を有することにより、上述の課題を解
決する。

【００３１】また、本発明に係る動画像の修復装置は、
連続した複数の画像から構成される動画像中の画素情報
の欠落を修復する動画像の修復装置において、画素情報
が欠落した修復対象画像の前後の少なくとも１つの画像
における、上記欠落画素に対応する画像部分の情報に基
づいて、画像が時間方向に連続であるように上記欠落画
素を修復する連続性維持処理を制御する制御手段を有す
ることにより、上述の課題を解決する。

【００３２】さらに、本発明に係る提供媒体は、連続し
た複数の画像から構成される動画像中の画素情報の欠落
を修復する処理を制御装置に実行させるための制御情報
を提供する提供媒体において、画素情報が欠落した修復
対象画像の前後の少なくとも１つの画像における、上記
欠落画素に対応する画像部分の情報に基づいて、画像が
時間方向に連続であるように上記欠落画素を修復する制
御情報を有することにより、上述の課題を解決する。

【００３３】

【発明の実施の形態】以下、本発明に係る動画像の修復
方法及び装置の好ましい実施の形態について、図面を参
照しながら説明する。

【００３４】上記動画像の修復装置は、図４に示すよう
に、この装置の全体を制御する制御部１０と、データの
演算を集中して行う中央処理部２１と、データを保存す
るメモリ２２とを有している。

【００３５】上記制御部１０は、この装置の各部に対し
て制御を行うコントローラである。この制御部１０は、
上記中央処理部２１と、上記メモリ２２とデータの送受
を行い、これら中央処理部２１及びメモリ２２と一体と
なって上記画像内の領域設定方法に係る一連の手順を実
行する。また、この制御部１０には、マウス２３と、ペ
ン／タブレット２４と、画像入力２６とからデータが入
力し、ＣＲＴ２５にデータを出力している。

【００３６】上記中央処理部２１は、データに係る演算
を集中して行うプロセッサである。この中央処理部２１
は、上記制御部１０に接続され、この制御部１０の制御
の下に、この制御部１０から与えられたデータについて
演算を行う。

【００３７】上記メモリ２２は、データを保存する記憶
部である。このメモリ２２は、上記制御部１０に接続さ
れ、この制御部１０の制御の下に、データの書込み及び
読み出しをなされる。動画像の修復を行なうプログラム
も、このメモリ２２に記憶されている。また、メモリ２
２は、ＲＯＭ（Read Only Memory）とＲＡＭ（RandomAc
cess Memory）等の２種類のメモリから構成することも
可能であるし、いずれか一方で構成してもよい。２種類
のメモリで構成する場合には、例えば、ＣＤ−ＲＯＭと
半導体メモリとの組み合わせなどが考えられる。

【００３８】また、上記修復装置は、入力手段としてマ
ウス２３及びペン／タブレット２４を、出力手段として
ＣＲＴ２５を有している。

【００３９】上記マウス２３は、掌に握って操作するこ
とができる程度の大きさの筐体を有するポインティング
デバイスである。このマウス２３は、例えば机上のよう
な平坦面上を所望の方向に所望の距離摺動されることに
より、例えばＣＲＴ２５上に表示されたカーソルの位置
を入力される。そして、このマウス２３は、入力された
位置に係るデータを上記制御部１０に伝送する。

【００４０】上記ペン／タブレット２４は、略々直方体
状の平坦な筐体を有し、この平坦な主面の１にマトリッ
クス状に配設された複数の検知素子を備え、このマトリ
ックス上の位置を検知するタブレットと、このタブレッ
トの主面をペン先にてなぞることにより位置を入力する
ペンとの一組からなる入力手段である。このペン／タブ
レット２４は、入力された位置に係るデータを上記制御
部１０に伝送する。

【００４１】上記ＣＲＴ２５は、画像に係るデータを陰
極線の管面に配設された複数の画素に画像として表示す
る出力手段である。このＣＲＴ２５は、上記制御部１０
から画像に係るデータを伝送され、このデータを画像と
して表示する。

【００４２】次に、動画像の修復方法に係る一連の工程
を、図５に示すデータフロー図を参照して説明する。こ
のデータフロー図の構成要素であるブロックは、四辺形
はデータを、楕円形は処理モジュールを表している。簡
単のため、図中では動画像の最初の３フレームに関する
処理だけを示してあるが、これより長い動画像について
も図示する処理の繰り返しとなる。

【００４３】一般にｎを整数として“ＰＯＣＳｎ”と書
いてある処理モジュール、即ち図中の“ＰＯＣＳ０”Ｓ
１３、“ＰＯＣＳ１”Ｓ２３及び“ＰＯＣＳ２”Ｓ３３
は、第ｎ番目のフレームに対する、単一フレームでの修
復処理を示す。

【００４４】ここで使用するアルゴリズムは、特願平７
−３０３４２０号及び特願平８−２０４７７６号の各明
細書中に記載されている、ＰＯＣＳ（Projection Onto
Convex Sets ）という数学原理に基づく修復アルゴリズ
ムを使用する。その詳細はこれらの明細書および、発明
者らによる論文、Anil N.Hirani，Takashi Totsuka
著、"Combining frequency and spatial domain inform
ation for fast interactive image noise removal"，C
omputer Graphics Proceedings (SIGGRAPH96)，pp.296-
276.に詳細に説明されている。この“ＰＯＣＳｎ”のモ
ジュールでは繰り返しによる修復計算の１回分を実行す
る。

【００４５】このアルゴリズムは修復の対象となる（修
復すべきキズなどがある）原画像（一般には“原画像＃
ｎ”、図中では“原画像＃０”Ｓ１２、“原画像＃１”
Ｓ２２及び“原画像＃２”Ｓ３２と図示）と、この原画
像上の、修復すべき領域とその際に参照する領域との位
置の情報（一般には“位置情報＃ｎ”、図中には“位置
情報＃０”Ｓ１１、“位置情報＃１”Ｓ２１及び“位置
情報＃２”Ｓ３１と図示）とを必要とする。図６はこれ
を説明するもので、キズ（図中の黒い曲線）３を修復す
るために、これを含む修復対象領域２と、その際に見
本、つまりサンプルにして使用する参照領域１とが図示
してある。

【００４６】即ち、このフレーム３１においては、図中
略々左下に図中横方向を長手方向としてキズ３が形成さ
れている。そして、このフレーム３１においては、上記
キズ３を囲むように、このフレーム３１の対向する辺に
各辺が平行な略々矩形の修復対象領域２が設定されてい
る。また、このフレーム３１の図中の略々右上には、こ
のフレーム３１の対向する辺に各辺が平行になるように
上記修復対象領域２と同一形状の参照領域１が設定され
ている。

【００４７】これらの四辺形領域は適切なグラフィカル
・ユーザ・インタフェース（ＧＵＩ）を用いて入力する
ことができる。

【００４８】さて、ＰＯＣＳに基づく画像修復を１回行
うと、ある程度修復された結果が得られる。これが“Ｐ
ＯＣＳ結果画像＃ｎ”、図中では“ＰＯＣＳ結果画像＃
０”Ｓ１４、“ＰＯＣＳ結果画像＃１”Ｓ２４及び“Ｐ
ＯＣＳ結果画像＃２”Ｓ３４で図示する画像である。特
願平７−３０３４２０号の明細書中などに記載されてい
る従来の方法では、この結果を再び直接“ＰＯＣＳｎ”
モジュールに入れて反復し、修復画像を望ましい結果に
収束させていた。しかし、本発明では、“ＰＯＣＳ結果
画像＃ｎ”の画像をさらに“平均処理ｎ”、図中の“平
均処理０”Ｓ１５、“平均処理１”Ｓ２５及び“平均処
理２”Ｓ３５で図示する平均処理モジュールに送る。こ
こでは、前後のフレームにおける対応箇所の画像と、修
復対象領域との重み付き平均を計算し、それを修復対象
領域に書きもどす処理を行う。

【００４９】動画像であるから、画像内の物体は動いて
いる。そのため、前後のフレームにおける対応箇所は、
同じ座標の場所にあるとは限らない。従って、予め対応
箇所がどこにあるかを求めておく必要がある。これを行
うのが“マッチングｎ ｎ＋１”という名前の付いたモ
ジュール、図中では“マッチング０１”及び“マッチン
グ１２”である。

【００５０】図７はこれを説明するものである。同図中
のＡは、第ｉ−１フレーム３０であり、この第ｉ−１フ
レーム３０の中央略々左上には、図中右下方向に向かっ
て移動する移動体４１が表示されている。この第ｉ−１
フレーム３０の中央やや左下には、この第ｉ−１フレー
ム３０の対向する辺と各辺が平行な矩形状の対応領域５
が設定されている。この対応領域５については後述す
る。同図中のＢは、第ｉフレーム３１であり、この第ｉ
フレーム３１の中央やや下には、図中右下方向に移動す
る移動体４１が表示されている。この第ｉフレーム３１
中央やや左下には、図中略々右上を長手方向とする略々
矩形状のキズ３が含まれている。そして、このキズ３を
囲むように、この第ｉフレーム３１の略々中央やや下に
は、この第ｉフレーム３１の対向する辺と各辺が平行な
矩形状の修復対象領域２が設定されている。同図中のＣ
は、第ｉ＋１フレーム３２であり、この第ｉ＋１フレー
ム３２の中央右下には、図中右下方向に移動する移動体
４１が表示されている。この第ｉ＋１フレーム３２の略
々中央やや右下には、この第ｉ＋１フレーム３２の対向
する辺と各辺が平行な矩形状の対応領域５が設定されて
いる。

【００５１】対応する領域を別のフレーム上で探索する
方法としては、例えばブロックマッチングを使用する。
ブロックマッチングは、ある領域（ブロック）と最も似
ている領域を別の場所から見出す方法である。上記図７
の場合、第ｉフレーム３１上の修復対象領域２と同じ大
きさの領域を第ｉ−１フレーム３０に設け、これら領域
内の各画素値の差の二乗和を求める。この二乗和の値が
最も小さくなるように第ｉ−１フレーム３０内で上記領
域の位置をずらしていく。こうして求まったのが図中の
第ｉ−１フレーム３０において破線で示した対応領域５
である。第ｉ＋１フレーム３２の破線領域も同様にして
求まる。もちろん、二乗和の代用として、絶対値和を用
いても同様な処理が可能である。

【００５２】こうして対応する箇所の探索を実行した
ら、“マッチング０１”モジュールは第０フレームの修
復対象領域と対応する第１フレームにおける領域の位置
を“平均処理０”モジュールに、また、逆に第１フレー
ムの修復対象領域と対応する第０フレームにおける領域
の位置は“平均処理１”モジュールにそれぞれ送る。他
のフレームにおいても同様である。

【００５３】“平均処理ｎ”モジュールはこうして求ま
った対応関係を使用して前後のフレームから画像を読み
出し、前述のように重み付き平均を算出する。これは Wn-1 * Image[n-1] + Wn * Image[n] + Wn+1 * Image[n+1] ・・・ (1) という式で表される計算である。式中、Ｉｍａｇｅ
［ｉ］は第ｉフレームにおけるＰＯＣＳモジュール
（“ＰＯＣＳ ｉ”）の出力、つまり“ＰＯＣＳ結果画
像＃ｉ”で図示される画像のことであり、Ｗｉは第ｉ番
目のフレームの重みである。重みを変化させることで、
前後の連続性をどれくらい強くするかを制御できる。通
常はＷｎ−１＝０．２，Ｗｎ＝０．６，Ｗｎ＋１＝０．
２を使用する。

【００５４】以上のようにして重み付き平均を求めた結
果を修復領域内に書きもどし、領域外はもとの“ＰＯＣ
Ｓ結果画像＃ｎ”画像のままとする。こうして求まった
修復結果画像を上記図５においては“修復結果画像＃
ｎ”、具体的には図中の“修復結果画像＃０”Ｓ１６、
“修復結果画像＃１”Ｓ２６及び“修復結果画像＃２”
Ｓ３６として図示している。

【００５５】以上が画像修復のための反復計算の１サイ
クルである。これを繰り返すことで次第にきれいに修復
されていく。反復計算の結果、画像が収束し、“修復結
果画像＃ｎ”の画像が、前回の反復計算とほとんど同一
になったとき、反復処理を終了する。こうして、動画像
の修復全体が完了する。

【００５６】続いて、上述の動画像の修復方法の一連の
工程の処理をソフトウェアにより実現した第１の具体例
を、図８を参照して説明する。

【００５７】最初のステップＳ４１では、第０フレーム
から第Ｎ−１フレームまでの各フレームにおける修復す
べき修復対象領域と、その際に参照する参照領域とを、
グラフィカル・ユーザ・インタフェースを用いて入力す
る。そして、次のステップＳ４２に進む。

【００５８】ステップＳ４２においては、修復対象領域
と対応する前後のフレーム上の領域の探索を行う。これ
は上記図５における“マッチング ｎ ｎ＋１”モジュ
ールの役割に対応する。ステップＳ４２は、ステップＳ
４３、ステップＳ４４及びステップＳ４５から構成され
ている。このステップＳ４２は、第０フレームから第Ｎ
−１フレームまでの全てのフレームについて、ステップ
Ｓ４３乃至ステップＳ４５を実行する。ステップＳ４３
においては、修復対象領域と対応する前のフレーム上の
領域の探索を行い、座標オフセット（修復対象領域か
ら、どれだけずれた場所に対応領域があるか）を変数に
格納している。ステップＳ４４においては、次のフレー
ム上に対応領域を求めて、座標オフセットを変数に格納
している。さらにステップＳ４５では中間結果を格納す
る画像の配列ｉｍａｇｅ［ｉ］を、原画像の値で初期化
している。第０フレームから第Ｎ−１フレームまでの全
てのフレームについて、以上の処理が整うと、これに続
くステップＳ４６に進む。

【００５９】ステップＳ４６においては、画像修復の反
復計算全体である。このステップＳ４６は、ステップＳ
４７及びステップＳ４９から構成されている。このステ
ップＳ４６は、ステップＳ４７及びステップＳ４９を収
束するまで繰り返す。上記ステップＳ４７はステップＳ
４８から構成され、ステップＳ４９はステップＳ５０か
ら構成されている。

【００６０】ステップＳ４７のループの内部では、まず
フレーム内の修復をステップＳ４８で実施する。これは
図５におけるＰＯＣＳモジュールの処理に相当する。こ
れを第０フレームから第Ｎ−１フレームまでの全フレー
ムについて実施する。

【００６１】ついで、ステップＳ４９において、本発明
に直接関係する時間軸方向（前後フレーム）の重み付け
平均処理が実施される。ループ内の各フレームに対する
処理をステップＳ５０で行う。このステップＳ５０で
は、まず前のフレームの画像を、ステップＳ４３で求め
たオフセットだけずらす操作を行う。これは後の平均処
理を簡単にするものである。同様に、次のフレームの画
像を、今度はステップＳ４４で求めたオフセットだけず
らす操作を行う。これらの操作によって、修復領域と、
それに対応する前後フレームの対応領域が同じ座標上で
ぴったり重なるようになる。その後、修復領域と上記処
理によってずらされた前後フレームの対応領域との重み
付け平均を前述の式に基づいて演算し、演算結果をＩｍ
ａｇｅ［ｉ］に再格納する。以上の処理を第０フレーム
から第Ｎ−１フレームまでの各フレームについて繰り返
し実施してステップＳ４９は終了する。さらに画像全体
が収束したら（各フレームについて、前回の繰り返し時
と比べ、画像の差の絶対値和が所定の闘値以下であれ
ば）、修復が完了したと判断しステップＳ４６を終え
て、処理全体が完了する。

【００６２】なお、ステップＳ５０において、平均化処
理を実施する時点において前フレームの画像Ｉｍａｇｅ
［ｉ−１］についてはすでに１回目のステップＳ４９ル
ープの繰り返しにおいて平均化処理を施した画像が格納
されており、現在修復中の画像Ｉｍａｇｅ［ｉ］と次の
フレームの画像Ｉｍａｇｅ［ｉ＋１］に関してはまだス
テップＳ５０を完了していないので、当然ながら平均化
処理前の画像が格納されている。このように、Ｉｍａｇ
ｅ［ｉ−１］については先んじたデータを使用している
が、これは寧ろデータの収束を早めるもので、問題はな
い。

【００６３】以上に述べたように、従来の方法によるフ
レーム内での修復と、本発明による前後フレームとの平
均化処理とを交互に施すことにより、複数フレームにわ
たる連続性の良好な、つまり動画として高い品質の修復
が可能となる。

【００６４】さて、以上に述べた実施例では、修復処理
は全てのフレームについて同時に行う。このため修復の
連続性きわめて良好であるが、全体の処理が終了するま
で結果画像が得られない。

【００６５】続いて、フレームを順次処理しながら、次
々に結果をオペレータに出力することが可能な方式をソ
フトウェアにて実現した第２の具体例を、図９に示すフ
ローチャートを参照して説明する。

【００６６】最初のステップＳ５１では、第０フレーム
から第Ｎ−１フレームまでの各フレームにおける修復す
べき修復対象領域と、その際に参照する参照領域とを、
グラフィカル・ユーザ・インタフェースを用いて入力す
る。そして、次のステップＳ５２に進む。

【００６７】ステップＳ５２においては、修復対象領域
と対応する前後のフレーム上の領域の探索を行う。これ
は上記図５における“マッチング ｎ ｎ＋１”モジュ
ールの役割に対応する。 ステップＳ５２は、ステップ
Ｓ５３、ステップＳ５４及びステップＳ５５から構成さ
れている。このステップＳ５２は、第０フレームから第
Ｎ−１フレームまでの全てのフレームについて、ステッ
プＳ５３乃至ステップＳ５５を実行する。ステップＳ５
３においては、修復対象領域と対応する前のフレーム上
の領域の探索を行い、座標オフセット（修復体小領域か
ら、どれだけずれた場所に対応領域があるか）を変数に
格納している。ステップＳ５４においては、次のフレー
ム上に対応領域を求めて、座標オフセットを変数に格納
している。さらにステップＳ５５では中間結果を格納す
る画像の配列ｉｍａｇｅ［ｉ］を、原画像の値で初期化
している。第０フレームから第Ｎ−１フレームまでの全
てのフレームについて、以上の処理が整うと、これに続
くステップＳ５６に進む。

【００６８】なお、これらステップＳ５１及びステップ
Ｓ５２は、それぞれ上記ステップＳ４１及びステップＳ
４２と同一である。修復処理の本体は以下のステップＳ
５６であるが、ここのアルゴリズムが図８を用いて説明
した上述の具体例と異なる。

【００６９】このステップＳ５６は、ステップＳ５７及
びステップＳ５８から構成されている。そして、このス
テップＳ５６は、ステップＳ５７及びステップＳ５８を
第０フレームから第Ｎ−１フレームまでの全てのフレー
ムについて実行する。このステップＳ５８は、ステップ
Ｓ５９及びステップＳ６０から構成されている。

【００７０】そのループの中でステップＳ５７では、ま
ず前のフレームの画像を、ステップＳ５３で求めたオフ
セットだけずらす操作を行い、次いで次のフレームの画
像に対しても同様な操作を行う。この部分は、第１の具
体例、つまり図８におけるステップＳ５０の最初の部分
と同じ機能である。次いでステップＳ５８では修復処理
を反復計算によって実施する。まずステップＳ５９はフ
レーム内の修復を実施する。これは図５におけるＰＯＣ
Ｓモジュール、および、図８におけるステップＳ４８処
理と同じである。次いで、平均化処理を実施するのがス
テップＳ６０である。この処理は上記図８のステップＳ
５０に相当するが、次のフレームの対応領域ｒｅｆＮｅ
ｘｔの中にキズにより情報が欠落している画素が含まれ
る場合には、その画素の情報を使用せずに平均化を行う
点が異なる。

【００７１】次のフレームの対応領域ｒｅｆＮｅｘｔ中
の画素の正しい値がわかっている場合には第１の具体例
と場合と同じくを用いるが、次のフレームの対応領域ｒ
ｅｆＮｅｘｔ中の画素の正しい値が不明な場合は以下の
式 Kn-1 * Image[n-1] + Kn * Image[n] ・・・ (2) を用いて平均化処理を行う。

【００７２】図１０は、第ｉフレーム３１の修復中の様
子を詳しく図示するものである。図中のＡには第ｉ−１
フレーム３０が、図中のＢには第ｉフレーム３１が、図
中のＣには第ｉ＋１フレーム３２が表示されている。こ
れら図中のＡ乃至Ｃのフレーム３０乃至３２に表示され
ている画像は、上記図７中のＡ乃至Ｃに表示されている
画像と同一であるので説明を省略する。但し、図中Ｂの
第ｉフレーム３１に表示されている修復対象領域２に
は、図中縦方向に１画素幅の領域４が示されている。

【００７３】上述した第２の具体例では、修復処理は前
のフレームから順に完了するので第ｉ−１フレーム３０
はすでに完了している。図１１には、修復領域とそれと
対応する前後のフレームの領域を、１画素幅で取り出し
て並べたものを図示してある。図中の各列は左から順
に、第ｉ−１、ｉ、ｉ＋１、ｉ＋２、ｉ＋３フレームに
対応している。図中、黒で示した画素は第ｉフレーム３
１においてキズがある情報が欠落している画素を示し、
斜線を付した画素はそれ以降のフレームにおいて、やは
り情報が欠落している画素を示している。この図におけ
る黒で示した４画素が第ｉフレーム３１における修復の
対象であり、上記１画素幅の領域４に対応している。こ
のうち、上側の２画素については第ｉ−１フレーム３０
および第ｉ＋１フレーム３２において画素値の情報が存
在するから、この場合は上記式（１）に従って修復を行
う。なお、第ｉ−１フレーム３０に関しては、画素の情
報は原画像上に元々存在していた場合はもちろん、第ｉ
−１フレーム３０に対する修復処理の結果生成したデー
タである場合もある。

【００７４】さて、一方下側の２画素については、第ｉ
＋１フレーム３２の画素情報が存在しない（キズのた
め、正しい値ではないので使用できない）ので、この場
合は上記式（２）を用いて平均化処理を実施する。

【００７５】以上のように、ステップＳ６０では、画素
の正しい値がわかっているかどうかを条件に、平均化処
理の方式を切り替える。これが第１の具体例での平均化
処理との違いである。第２の具体例の方式によれば、各
フレームは順次修復が完了するので、修復が完了したも
のから画面に表示して確認するなどの用途に利用するこ
とができ、操作性の向上に寄与する。

【００７６】以上に説明した第２の具体例では処理をフ
レーム番号の増加する方向に順次（昇順）行ったが、こ
れと同様な処理をフレーム番号が減少する方向に順次
（降順）実施することも可能である。この場合は、第ｉ
−１フレーム３０の画素の正しい値が分かっているかど
うかで平均化処理の式を切り替えればよい。平均化処理
を実施するので、フレーム番号の昇順であれ、降順であ
れ、処理の進んでいく方向に、フレーム内の画素の情報
は少しずつ減衰しながら伝播していく。従って、キズの
軽微な、あるいはキズのない画像が先頭にあるときは、
このフレームの情報が伝播しやすいフレーム番号昇順の
処理が好ましく、逆に動画像の際後にキズの軽妙な画像
がある場合は降順の処理が好ましい。

【００７７】この、昇順の処理と降順の処理とを組み合
わせることでさらに高品質の修復を行うことができる。
典型的には、いったん昇順の修復を実施した後に、その
結果を出発点として降順の修復をさらに実施する。この
方法により修復の品質が向上する理由を図１２を用いて
説明する。

【００７８】図１２は、図１１と同じようにして連続す
る複数フレームから、１画素幅の領域を取り出してなら
べたものである。斜線を付した画素は、情報が欠落して
いる、つまり正しい値が不明の画素である。図上の数字
はフレーム番号を表す。この例では第０フレームと第４
フレームはキズが無く、中間のフレームにキズが存在す
る。さて、昇順の修復だけを実施した場合は、第０フレ
ームの情報は次第に減衰しながらも以降のフレームに伝
播していき連続性の確保と正しい画素値の伝播の役割も
はたすが、第４フレームに関してはせっかく正しい画素
値が分かっているにも関わらず、その情報は第３フレー
ムの修復でしか生かされない。それより前のフレームは
修復を完了しているからである。しかし、ここでさらに
降順の修復を追加すれば、今度は第４フレームの情報が
次第に前のフレームに伝播していくようになり、正しい
値が外地のフレームの情報が無駄なく周囲のフレームに
伝わるようになる。この結果、より品質の高い修復が可
能となる。

【００７９】次に、上記図５に示した、“ＰＯＣＳ０”
Ｓ１３、“ＰＯＣＳ１”Ｓ２３、“ＰＯＣＳ２”Ｓ３３
等、一般には、“ＰＯＣＳｎ”のモージュールに対応す
る画像修復方法である特願平７−３０３４２０号明細書
や、特願平８−２０４７７６号明細書に記載された画像
内の雑音の修復方法のアルゴリズムについて説明する。
まず、上記アルゴリズムの第１の例の手順を、図１３に
示すフローチャートを参照して説明する。

【００８０】最初のステップＳ６１においては、修復対
象画像の高速フーリエ変換（ＦＦＴ）を行い、ＦＦＴで
計算されたマグニチュード（Ｍ２）と位相（Ｐ２）を次
のステップＳ６２に送る。

【００８１】ここで、上記修復対象画像は、ユーザが選
択したキズ周辺の長方形の画像領域である。

【００８２】一方、ステップＳ６６においては、参照画
像の高速フーリエ変換（ＦＦＴ）を行う。ＦＦＴの出力
は、参照画像のフーリエ変換の位相（Ｐ１）とマグニチ
ュード（Ｍ１）である。ここでは、位相（Ｐ１）は無視
され、マグニチュード（Ｍ１）は、後のステップＳ６２
で使用される。

【００８３】ここで、参照画像とは、ユーザが設定した
キズの画像領域を含まず修復対象画像と似ていて正確に
同じサイズの長方形の画像領域である。この選択した領
域を参照画像とする。

【００８４】ステップＳ６２においては、マグニチュー
ドＭ１、Ｍ２の最小マグニチュードを計算する。マグニ
チュードＭ１は、参照画像のＦＦＴで得られるマグニチ
ュードであり、マグニチュードＭ２は、修復対象画像の
ＦＦＴで得られるマグニチュードである。この最小マグ
ニチュードの計算は、ＤＣ成分以外の全ての周波数成分
について行われる。ＤＣにおいては、マグニチュードＭ
２の値が選択される。最小値の計算により得られた新し
いマグニチュードを、次のステップＳ６３で行われる逆
フーリエ変換に使う値として送る。修復対象画像のＦＦ
Ｔで得られた位相情報Ｐ２は、変更されずに、次のステ
ップＳ６３に送られる。

【００８５】ステップＳ６３においては、前のステップ
Ｓ６２で得られたマグニチュードと位相の出力を用い
て、逆高速フーリエ変換（ＩＦＦＴ）を行う。そして、
このＩＦＦＴの結果をステップＳ６４に送る。

【００８６】ステップＳ６４においては、入力値を実数
にする。この入力値は、それらの内の幾つかは複素数で
ある可能性があるマトリクスである。マトリクスにおい
てそのような複素数の値は０に設定する。実数も０から
２５５の範囲外の可能性もあるので、クリッピングを行
う。即ち、値が０以下のときには、それを０にする。そ
れが２５５以上のときは、それを２５５にし、それ以外
であれば何もしない。そして、次のステップＳ６５に進
む。

【００８７】ステップＳ６５においては、バイナリマス
ク修復を行う。即ち、前のステップで得られた画素を元
の修復画像の画素と混合する。バイナリマスクは、選択
された修復対象領域を画像の他の領域から区別するため
のデータであり、例えば、修復対象領域の各画素に値
“０”を設定し、他の領域の各画素に値“１”を設定す
ることにより、修復領域を区別する。バイナリマスクか
ら離れている位置の画素の値は、この位置には雑音がな
いことが判っているので、元の修復画像の値とされる。
バイナリマスクの値が“０”である領域内では、元の修
復画像には雑音があり、またよりよい値が計算されたこ
とから、それらの値を用いる。

【００８８】ここで、バイナリマスクは、ユーザが雑音
領域の上に上書き（ペイント）したマスクである。この
バイナリマスクは、雑音の画素をカバーするのに十分な
大きさを有するが、正確に同じ形状のものである必要は
ない。

【００８９】また、ユーザは、ステップＳ６１からステ
ップＳ６５までのループを実行する回数を選択すること
ができる。

【００９０】上述の既存の画像修復方法の欠点を解決
し、連続する大きな領域の情報の欠落に対しても良好な
修復結果を得る方法として、上記特願平７−３０３４２
０号明細書や、特願平８−２０４７７６号明細書に記載
されたアルゴリズムがある。これらは、画像をきれいに
修復するための処理を周波数領域と空間領域の双方に分
けて実行することを特徴としている。これらの方式では
画像の大域的な特徴（全体の陰影や大きな模様）は別途
選んだ参照領域を参考にしつつ周波数領域にて復元し、
欠落部分と周辺領域の連続性など細部の修復は空間領域
で実施する。

【００９１】ここで、上記先願明細書中に示した画像修
復方法について、第２の例として図１４に示すフローチ
ャートを参照して説明する。

【００９２】最初のステップＳ７１においては、修復対
象画像にソフトノイズマスクを乗算する。その結果、元
のキズは、そのソフトノイズマスクの黒い領域により覆
われる。そのソフトノイズマスクのソフト範囲では、雑
音のエッジ近傍の位置で略々“０”であり、ソフトノイ
ズマスクのエッジから数画素離れた位置で略々“１”に
なり、それらの間の位置で０と１の中間の値を有する因
子を、修復対象画像に乗算することにより、下の元の画
素の値は減少する。その乗算結果を、マスク修復対象画
像という。そして、これに続くステップＳ７２に進む。

【００９３】ここで、修復対象画像は、ユーザが選択し
たキズ周辺の長方形の画像領域である。ソフトノイズマ
スクは、ユーザが上書きしたバイナリマスクから生成さ
れたソフトエッジのマスクである。ここで、バイナリマ
スクは、ユーザがキズの上に上書き（ペイント）したマ
スクである。このバイナリマスクは、雑音の画素をカバ
ーするのに十分な大きさを有するものであるが、正確に
同じ形状のものである必要はない。

【００９４】ソフトノイズマスクを生成する際、バイナ
リマスク内ではソフトノイズマスクの値は０である。バ
イナリマスク外では、ソフトノイズマスクの値は、０か
ら１の間のガウス関数である。すなわち、バイナリマス
ク外の画素においては、バイナリマスクからの距離をｄ
とすると、ソフトノイズマスクの値は、１−ｅｘｐ（−
ｋ＊ｄ＊ｄ）となり、ここで、ｋは、ユーザがこのソフ
トノイズマスクのソフトエッジを急峻にしたり、なだら
かにしたりするために設定することができる定数であ
る。一般的に、定数ｋの値は、０．１５である。バイナ
リマスクからの距離ｄが決まると、ソフトノイズマスク
の１つの値が得られる。我々は、この目的のためにおよ
そ画素５個分の距離が適することを見いだした。

【００９５】ステップＳ７２においては、マスク修復対
象画像の高速フーリエ変換（ＦＦＴ）を行い、ＦＦＴで
計算されたマグニチュード（Ｍ２）と位相（Ｐ２）を次
のステップＳ７３に送る。

【００９６】一方、ステップＳ７７においては、参照画
像１の高速フーリエ変換（ＦＦＴ）を行う。ＦＦＴの出
力は、参照画像のフーリエ変換の位相（Ｐ１）とマグニ
チュード（Ｍ１）である。ここでは、位相は無視され、
マグニチュードは、後で使用される。上記マグニチュー
ドは、ステップＳ７３に送られる。

【００９７】ここで、参照画像１は、ユーザが選択した
キズの画像領域を含まず修復対象と似ていて正確に同じ
サイズの長方形の画像領域である。この選択した領域を
参照領域とする。参照領域中の顕著なラインの相対的位
置は、修復対象領域中の顕著なラインの位置とは異な
る。

【００９８】ステップＳ７３においては、マグニチュー
ドＭ１、Ｍ２の最小マグニチュードを計算する。マグニ
チュードＭ１は、参照画像のＦＦＴで得られるマグニチ
ュードであり、マグニチュードＭ２は、マスク修復対象
画像のＦＦＴで得られる画像である。この最小マグニチ
ュードの計算は、ＤＣ成分以外の全ての周波数成分にお
いて行われる。ＤＣにおいては、マグニチュードＭ２の
値が選択される。最小値の計算により得られた新しいマ
グニチュードを、次のステップＳ７４で行われる逆フー
リエ変換で使われる新しい値として送る。マスク修復対
象画像のＦＦＴで得られた位相情報Ｐ２は、変更されず
に、次のステップＳ７４に送られる。

【００９９】ステップＳ７４においては、前のステップ
Ｓ７３で得られたマグニチュードと位相の出力を用い
て、逆高速フーリエ変換（ＩＦＦＴ）を行う。そして、
ＩＦＦＴの結果を次のステップＳ７５に送る。

【０１００】ステップＳ７５においては、入力値を実数
にする。この入力値は、それらの内の幾つかは複素数で
ある可能性があるマトリクスである。マトリクスにおい
てそのような複素数の値は０に設定する。実数も０から
２５５の範囲外の可能性もあるのでクリッピングを行
う。値が０以下のときには、それを０にする。それが２
５５以上のときは、それを２５５にし、それ以外であれ
ば、何もしない。そして、この結果を、これに続くステ
ップＳ７６に送る。

【０１０１】ステップＳ７６においては、前のステップ
Ｓ７５で得られた画素を元の修復対象画像の画素と混合
するソフトマスク修復を行う。ソフトノイズマスクから
離れている位置の画素の値は、この位置には雑音がない
ことが判っているので、元の修復対象画像の値とされる
べきである。ソフトノイズマスクの値が“０”である領
域内では、元の修復対象画像には雑音があり、またより
よい値が計算されたことから、それらの値はそのままを
用いる。ソフトノイズマスクの値が０と１の間の領域の
値としては、前のステップにおいて計算された値と修復
対象画像との値を混合した値とする。これらの３つの処
理（ソフトノイズマスクの値が０、１及び０と１の中間
の値の処理）は、以下のように定義することができる。
ある位置におけるソフトノイズマスクの値をｍとする
と、その位置の新しい画素の値は、 ｍ＊ｒ０＋（１−ｍ）＊ｒ となり、ここで、ｒ０は、修復対象画像内のその位置の
値であり、ｒは、前のステップで得られた位置の値であ
る。

【０１０２】なお、ユーザは、ステップＳ７２からステ
ップＳ７６において実行されるループの回数を選択する
ことができる。

【０１０３】続いて、上記明細書中に説明した画像修復
方法の第３の例について、図１５に示すフローチャート
を参照して説明する。最初のステップＳ８１において
は、修復対象画像にノイズマスクを乗算する。このノイ
ズマスクとしては、バイナリマスクでも、ソフトエッジ
のマスクでもよい。

【０１０４】ノイズマスクとしてバイナリマスクを使用
したときは、修復対象画像中の実際の雑音は、黒い領域
で覆われる。この領域の外側の領域は、雑音のない部分
である。乗算の結果は、マスク修復対象画像である。一
方、ソフトノイズマスクを使用するときは、そのソフト
ノイズマスクのソフト範囲は、雑音のエッジ近傍の位置
で略々“０”であり、ソフトノイズマスクのエッジから
数画素離れた位置で略々“１“となり、それらの間の位
置で０と１の中間の値を有する要因を、修復対象画像に
乗算することにより、下の元の値は減少する。その乗算
結果を、マスク修復対象画像という。そして、次のステ
ップＳ８２に進む。

【０１０５】ステップＳ８２においては、マスク修復対
象画像を、ハイパスフィルタマスク画像と、ローパスフ
ィルタマスク画像との２つの画像に分割する。ローパス
フィルタマスク修復対象画像は、次のステップＳ８３に
送られないが、その代わりに、ステップＳ８８に送られ
る。ハイパスフィルタマスク修復対象画像のみが、次の
ステップＳ８３に直接に送られる。

【０１０６】ステップＳ８３においては、ハイパスフィ
ルタマスク画像の高速フーリエ変換（ＦＦＴ）を計算し
て、ＦＦＴで計算されたマグニチュード（Ｍ２）と位相
（Ｐ２）を次のステップに送る。

【０１０７】一方、ステップＳ９０においては、参照画
像を、ローパスフィルタを用いて濾波して、ローパスフ
ィルタ参照画像とハイパスフィルタ参照画像を生成す
る。そのローパスフィルタ参照画像は無視され、ハイパ
スフィルタ参照画像が次のステップＳ９１の入力にな
る。

【０１０８】ステップＳ９１においては、ハイパスフィ
ルタ参照画像の高速フーリエ変換（ＦＦＴ）を計算す
る。ＦＦＴの出力は、ハイパスフィルタ参照画像のフー
リエ変換の位相とマグニチュードである。ここで、位相
は無視する。マグニチュード（Ｍ１）は次のステップＳ
８４に送られる。

【０１０９】ステップＳ８４においては、マグニチュー
ド（Ｍ１）と（Ｍ２）の最小マグニチュードを計算す
る。マグニチュード（Ｍ１）は、参照画像のＦＦＴで得
られるマグニチュードであり、マグニチュード（Ｍ２）
は、ハイパスフィルタ修復対象画像のＦＦＴで得られる
マグニチュードである。最小値の計算により得られた新
しいマグニチュードを、次のステップＳ８５で行われる
逆フーリエ変換で使われるの新しい値として送る。ハイ
パスフィルタマスク修復対象画像のＦＦＴで得られた位
相情報（Ｐ２）を変更せずに、次のステップＳ８５に送
る。

【０１１０】ステップＳ８５においては、前のステップ
Ｓ８４で得られたマグニチュードと位相の出力を用い
て、逆高速フーリエ変換（ＩＦＦＴ）を計算する。そし
て、ステップＳ８６に進む。

【０１１１】ステップＳ８６においては、入力値が実数
にされ、また、クリッピングが行なわれる。そして、ス
テップＳ８７に進む。

【０１１２】ステップＳ８７においては、ステップＳ８
１で得られた画素を先に生成されたステップＳ８２にお
けるハイパスフィルタを介したマスク修復対象画像の画
素と混合するソフトマスク修復が行われる。なお、ソフ
トノイズマスクに代わってバイナリマスクを用いるバイ
ナリマスク修復を行うこともできる。そして、ステップ
Ｓ８８に進む。バイナリマスク修復の場合の手順は、図
中の破線にて示されている。

【０１１３】ステップＳ８８においては、前のステップ
Ｓ８７の出力と、ステップＳ８２で得られたローパスフ
ィルタマスク修復対象画像とをマージする。マージは、
２つの画像を単純に加算することにより行われる。そし
て、次のステップＳ８９に進む。

【０１１４】ステップＳ８９においては、クリッピング
が行われる。即ち、このステップの入力の画素のいずれ
かが２５５より大きいときは、それを２５５とする。そ
れ以外であれば、何もしないでおく。

【０１１５】なお、ユーザは、ステップＳ８２からステ
ップＳ８９において実行されるループの回数を選択する
ことができる。

【０１１６】このように全般的な特徴を表現しやすい周
波数領域と、局所的な特徴を表現しやすい空間領域を使
い分けることで、従来と比べてきわめて良好な画像修復
が可能となる。

【０１１７】以上述べたように、画像の修復はデジタル
画像を扱う幅広い分野で使用できる技術である。上述の
動画像の修復方法では、この画像の修復を動画像に対し
て実施した際の問題点を解決し高品位な画像修復を提供
する。

【０１１８】即ち、上述の動画像の修復方法では、重み
付き平均を用いた前後のフレームの対応箇所との平均化
処理により動画像における修復に連続性を与えることが
でき、高品位な画像修復が可能となる。

【０１１９】また、フレームの修復を順次行い、この時
平均化処理は修復が終了していないフレームについて
は、画素の情報が存在する（正しい値が分かっている）
場合のみ平均化処理に使用することで、動画像において
連続性を保ちつつ、しかも修復をフレーム単位で順次完
了させることが可能となる。これにより、動画像全体の
修復を待たずに修復完了したものから使用することがで
き、操作性が向上する。

【０１２０】さらに、フレームの修復を順次行うとき
に、フレーム番号の昇順と降順の修復とを組み合わせる
ことで、正しい値が分かっている画素の情報を効率よく
前後のフレームに伝播させることができるので、より高
品位な修復が可能となる。

【図面の簡単な説明】

【図１】従来の画像の修復方法を説明する図である。

【図２】従来の画像の修復方法を説明する図である。

【図３】従来の画像の修復方法を説明する図である。

【図４】動画像の修復装置の概略的な構成を示すブロッ
ク図である。

【図５】動画像の修復方法の工程を示すデータフロー図
である。

【図６】フレームに設定された修復対象領域及び参照領
域を示す図である。

【図７】複数のフレームに設定される対応領域を説明す
る図である。

【図８】上記修復方法の第１の具体例のフローチャート
である。

【図９】上記修復方法の第２の具体例のフローチャート
である。

【図１０】上記修復対象領域における１画素幅の画素の
取り出しを示す図である。

【図１１】各フレームから取り出した１画素幅の画素を
順に並べた図である。

【図１２】画素の修復の際のフレーム番号の昇順及び降
順の実施の相違を説明する図である。

【図１３】フレーム内処理による画像の修復方法の第１
の例のフローチャートである。

【図１４】フレーム内処理による画像の修復方法の第２
の例のフローチャートである。

【図１５】フレーム内処理による画像の修復方法の第３
の例のフローチャートである。

【符号の説明】

１０ 制御部、 ２１ 中央処理部、 ２２ メモリ

Claims (23)

【特許請求の範囲】
1. 【請求項１】 連続した複数の画像から構成される動画
   像中の画素情報の欠落を修復する動画像の修復方法にお
   いて、 画素情報が欠落した修復対象画像の前後の少なくとも１
   つの画像における、上記欠落画素に対応する画像部分の
   情報に基づいて、画像が時間方向に連続であるように上
   記欠落画素を修復する連続性維持工程を有する動画像の
   修復方法。
2. 【請求項２】 上記連続性維持工程は、情報が欠落した
   修復対象画像について、この修復対象画像の前後の少な
   くとも１つの画像における欠落画素に対応する画像領域
   の重み付き平均を求めることで連続性を確保する請求項
   １記載の動画像の修復方法。
3. 【請求項３】 欠落画素を有する修復対象画像内自身の
   情報を用いて修復処理を行なう画像内修復工程を更に有
   し、 画像内修復工程と連続性維持工程とを繰り返し実行して
   動画像の修復を行なう請求項１記載の動画像の修復方
   法。
4. 【請求項４】 欠落画素を有する修復対象画像の画素情
   報の修復処理を行なう修復工程を更に有し、 修復工程と連続性維持工程とを繰り返し実行して動画像
   の修復を行なう請求項１記載の動画像の修復方法。
5. 【請求項５】 上記修復工程を欠落画素を有する複数の
   修復対象画像に対し並列的に行なった後に、上記修復工
   程を施した修復対象画像のそれぞれに対して連続性維持
   工程を実行する請求項４記載の動画像の修復方法。
6. 【請求項６】 欠落画素を有する複数の修復対象画像に
   対して、順に上記修復工程と上記連続性維持工程とを実
   行する請求項４記載の動画像の修復方法。
7. 【請求項７】 上記連続性維持工程は、修復対象画像の
   前後の画像における欠落画素に対応する画像部分におい
   て画素情報が欠落している場合には、その対応する画像
   部分の画素情報を用いずに連続性維持処理をする請求項
   １記載の動画像の修復方法。
8. 【請求項８】 上記連続性維持工程は、修復対象画像の
   前後の画像における欠落画素に対応する画像部分におい
   て画素情報が欠落している場合には、そのフレームが既
   に修復されているのであれば修復した結果の画像の画素
   値に基づいて連続性維持処理をする請求項１記載の動画
   像の修復方法。
9. 【請求項９】 修復対象画像を時間の順方向に順次選択
   し、上記連続性維持工程は、時間的に古い側の既に修復
   が終了した画像部分を用いると共に、画素情報が存在す
   る場合には時間的に新しい側の対応する画像部分をも用
   いて当該修復対象画像の修復を行う請求項８記載の動画
   像の修復方法。
10. 【請求項１０】 修復対象画像を時間の逆方向に順次選
    択し、上記連続性維持工程は、時間的に新しい側の既に
    修復が終了した画像部分を用いると共に、画素情報が存
    在する場合には時間的に古い側の対応する画像部分をも
    用いて当該修復対象画像の修復を行う請求項８記載の動
    画像の修復方法。
11. 【請求項１１】 修復対象画像を時間の順方向に順次選
    択し、上記連続性維持工程は、時間的に古い側の既に修
    復が終了した画像部分を用いると共に、画素情報が存在
    する場合には時間的に新しい側の対応する画像部分をも
    用いて当該修復対象画像の修復を行う順方向工程と、 修復対象画像を時間の逆方向に順次選択し、上記連続性
    維持工程は、時間的に新しい側の既に修復が終了した画
    像部分を用いると共に、画像情報が存在する場合には時
    間的に古い側の対応する画像部分をも用いて当該修復対
    象画像の修復を行う逆方向工程とを交互に処理する請求
    項８記載の動画像の修復方法。
12. 【請求項１２】 連続した複数の画像から構成される動
    画像中の画素情報の欠落を修復する動画像の修復装置に
    おいて、 画素情報が欠落した修復対象画像の前後の少なくとも１
    つの画像における、上記欠落画素に対応する画像部分の
    情報に基づいて、画像が時間方向に連続であるように上
    記欠落画素を修復する連続性維持処理を制御する制御手
    段を有する動画像の修復装置。
13. 【請求項１３】 上記制御手段は、情報が欠落した修復
    対象画像について、この修復対象画像の前後の少なくと
    も１つの画像における欠落画素に対応する画像領域の重
    み付き平均を求めることで連続性を確保する請求項１２
    記載の動画像の修復装置。
14. 【請求項１４】 上記制御手段は、欠落画素を有する修
    復対象画像内自身の情報を用いて修復処理を行なう画像
    内修復処理と上記連続性維持処理とを繰り返し実行する
    制御を行なって動画像の修復を行なう請求項１２記載の
    動画像の修復装置。
15. 【請求項１５】 上記制御手段は、欠落画素を有する修
    復対象画像の画素情報の修復処理と上記連続性維持処理
    とを繰り返し実行する制御を行なって動画像の修復を行
    なう請求項１２記載の動画像の修復装置。
16. 【請求項１６】 上記制御手段は、上記修復処理を欠落
    画素を有する複数の修復対象画像に対し並列的に行なっ
    た後に、上記修復処理を施した修復対象画像のそれぞれ
    に対して連続性維持処理を実行する請求項１５記載の動
    画像の修復装置。
17. 【請求項１７】 上記制御手段は、欠落画素を有する複
    数の修復対象画像に対して、順に上記修復処理と上記連
    続性維持処理とを実行する請求項１５記載の動画像の修
    復装置。
18. 【請求項１８】 上記制御手段は、修復対象画像の前後
    の画像における欠落画素に対応する画像部分において画
    素情報が欠落している場合には、その対応する画像部分
    の画素情報を用いずに連続性維持処理をする請求項１２
    記載の動画像の修復装置。
19. 【請求項１９】 上記制御手段は、修復対象画像の前後
    の画像における欠落画素に対応する画像部分において画
    素情報が欠落している場合には、そのフレームが既に修
    復されているのであれば修復した結果の画像の画素値に
    基づいて連続性維持処理をする請求項１２記載の動画像
    の修復装置。
20. 【請求項２０】 上記制御手段は、修復対象画像を時間
    の順方向に順次選択し、時間的に古い側の既に修復が終
    了した画像部分を用いると共に、画素情報が存在する場
    合には時間的に新しい側の対応する画像部分をも用いて
    連続性維持処理を行う請求項１９記載の動画像の修復装
    置。
21. 【請求項２１】 上記制御手段は、修復対象画像を時間
    の逆方向に順次選択し、時間的に新しい側の既に修復が
    終了した画像部分を用いると共に、画素情報が存在する
    場合には時間的に古い側の対応する画像部分をも用いて
    連続性維持処理を行う請求項１９記載の動画像の修復装
    置。
22. 【請求項２２】 上記制御手段は、 修復対象画像を時間の順方向に順次選択し、時間的に古
    い側の既に修復が終了した画像部分を用いると共に、画
    素情報が存在する場合には時間的に新しい側の対応する
    画像部分をも用いて連続性維持処理を行う順方向処理
    と、 修復対象画像を時間の逆方向に順次選択し、時間的に新
    しい側の既に修復が終了した画像部分を用いると共に、
    画像情報が存在する場合には時間的に古い側の対応する
    画像部分をも用いて連続性維持処理を行う逆方向処理と
    を交互に処理する制御を行なう請求項１９記載の動画像
    の修復装置。
23. 【請求項２３】 連続した複数の画像から構成される動
    画像中の画素情報の欠落を修復する処理を制御装置に実
    行させるための制御情報を提供する提供媒体において、 画素情報が欠落した修復対象画像の前後の少なくとも１
    つの画像における、上記欠落画素に対応する画像部分の
    情報に基づいて、画像が時間方向に連続であるように上
    記欠落画素を修復する制御情報を有する提供媒体。