JP2003143401A - オリジナル画像の自動的なリアルタイムの修復方法 - Google Patents

オリジナル画像の自動的なリアルタイムの修復方法

Info

Publication number
JP2003143401A
JP2003143401A JP2002293797A JP2002293797A JP2003143401A JP 2003143401 A JP2003143401 A JP 2003143401A JP 2002293797 A JP2002293797 A JP 2002293797A JP 2002293797 A JP2002293797 A JP 2002293797A JP 2003143401 A JP2003143401 A JP 2003143401A
Authority
JP
Japan
Prior art keywords
image
scratch
area
pixels
repaired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002293797A
Other languages
English (en)
Inventor
Jean-Fabien Dupont
ジャン−ファビアン・デュポン
Christophe E Papin
クリストフ・エドモン・パパン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JP2003143401A publication Critical patent/JP2003143401A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/253Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 オリジナル画像または一連のオリジナル画像
を改変した直線的または実質上直線的なスクラッチを、
自動的に除去する方法を提供する。 【解決手段】 本発明は、画像生成、特に画像分析の技
術分野に属する。本発明の目的は、前記画像中の直線的
または実質上直線的なスクラッチを除去することによっ
て、オリジナル画像または一連のオリジナル画像を自動
的に除去する方法を提供することである。本発明の方法
は、前記画像の、影響を受けた領域の残余画像情報を用
いて、静止画または動画のデジタル画像のスクラッチを
除去するものである。本発明の方法は、特に、光学画像
を修正して修復するために、フィルムおよびテレビ・ド
キュメントの修復分野に用いられる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像生成、特に画
像分析の技術分野に属する。本発明は、より詳しくは、
画像に見られる、直線的または実質上直線的なスクラッ
チを除去することにより、画像または一連の画像を、自
動的に修復する方法に関する。スクラッチ(scratch:か
き傷)は、オリジナル画像を改変する欠陥である。
【0002】
【従来の技術】画像生成の分野において、従来のサポー
トに記録された画像は、これらの画像の前もってデジタ
ル化されたバージョンを処理することにより、修復また
は復元可能である。これらの画像に対する従来のサポー
トは、一般にフィルム、印画紙または磁気テープからな
る。こうした画像の復元は、例えば、経年変化、または
写真のフィルムまたは磁気サポートの処理や取り扱いに
起因する、他のダメージのため、品質の落ちたオリジナ
ル画像の表示を、修復するものである。修復する画像
は、静止画像でも動画でもよい。静止画像は、一般に、
例えば人物、景色、またはプリントの写真(図面、テー
ブルなど)である。動画は、一般にフィルム・シーケン
スである;例えば、映画、または、例えば、テレビ放送
されたドキュメントまたはアマチュア・ビデオからのビ
デオ・シーケンスである。一般に、当業者に知られてい
るデジタル修復プロセスは、元々銀、フィルム、または
磁気サポートに記録された画像をデジタル化し、その後
それを修復するために、オリジナルのデジタル化された
画像を処理することからなる。この種の方法は、画像処
理ソフトウェアのアルゴリズムにより与えられる指示に
したがい、オリジナルのデジタル化された画像を変換す
ることからなる。ここで、変換され、または修復された
デジタル化画像は、記録され、後日デジタル形式で用い
られ、または、例えばフィルムまたは印画紙にプリント
されることができる。
【0003】デジタル画像の修復またはスクラッチ除去
のいくつかの技術は、当業者にとり公知であり、発表さ
れているものである。スクラッチの除去方法は、一般に
映画の修復に用いられる。以下の文書の開示は、例とし
て引用することもできる:非特許文献1。非特許文献
2。または、非特許文献3。こうした方法は、デジタル
化画像からスクラッチを除去するために利用可能である
が、この種の画像を完全には修復できない。さらに、高
解像度画像を含むフィルムに用いられるなら、多くの場
合、それらはむしろ遅い:解像度とは、(例えば、1セ
ンチメートル当たりのピクセル数として表される)点ま
たは線の密度である。
【0004】非特許文献4には、デジタル画像(ビデ
オ、フィルム)のシーケンスにおける、垂直スクラッチ
の自動除去の方法が記載されている。2つのプロセス
が、連続して実行される:修復は、まず低解像度で、そ
のパラメータが最小二乗方法を用いると推定される、キ
ュービック多項式補間(cubic polynomial interpola
tion)を用いて行われる。その後、修復は、マルコフ・
フィールド(Markovian fields)に基づき、マキシマ
ムアポステリオリ(Maximum A Posteriori)(MAP)
タイプの意思決定基準に関連した、統計モデルを活用す
る高解像度分析によって完成される。この時空方法(sp
ace-time method)は、比較的複雑で、多数のパラメー
タを使用する。
【0005】スクラッチは、1つのスクラッチ当たり平
均時間ほぼ2秒で修復可能である。
【0006】上の方法で用いられる処理では、前記画像
の改変領域の各々に存在し得る残余情報は、一般に、修
復のためには利用されない。画像の残余情報とは、スク
ラッチによる劣化の影響を受けなかった、オリジナル信
号(きめを含む)の一部である。したがって、用いられ
る方法は、画像データが欠損しているという仮説に基づ
いている。欠損したデジタル・データは、スクラッチ上
の画像のピクセルの強度に一致する。したがって、これ
らの方法は、より大きいまたはより小さい複雑さの数学
モデル(例えば確率的な)を使用する;それらは、しば
しば時空分析(例えば、スクラッチの影響を受けた画像
の、前後の画像からのデータを用いる)に基づき、特別
な、高価なハードウェア(例えば、シリコングラフィッ
クス(Silicon Graphics)、または、サンワークステ
ーション(Sun workstations))を用いる必要があ
る。画像の改変領域の残余信号を用いないという事実
は、前記画像のスクラッチ上の改変画像のテクスチャ
(グレイ・レベルまたは色の強度の均質性)次第では、
この修復方法をランダムな、多少効果的なものにする。
スクラッチ領域の残余情報を使用も利用もしないこの種
の方法の不利な点は、それらが、オリジナル画像を含む
エマルジョンの塗膜の実際の変化を考慮に入れていない
ことである。これが原因となり、この種の修復方法は比
較的効果がなく、時間がかかるものとなっている;例え
ば、改変領域のオリジナル画像のテクスチャを修復した
後、きめを加える必要が生じることもある。画像におけ
るスクラッチの空間的広がり、さらに、時間的継続の重
要性は、アニメーション画像のシーケンスの場合、人間
の目を、この種のスクラッチに特に敏感にしてしまう。
特に、映写されたフィルムのコピーの、テキスチャに相
同性がない連続画像のスクラッチは、これらの以前の技
術を用いた修復の後でさえ、人間の目により認知可能で
ある。この種の修復方法は、一般に改変領域の画像の残
余情報を考慮に入れないため、十分にロバストではな
い。したがって、多少効果的である修復の後にも、人間
の目は、なおもスクラッチ除去を認知するのである。例
えば、経験的には、数秒間に数ダースのアニメーション
画像が投影されるシーケンスで、人間の目は、最もわず
かなスクラッチ跡をも認知することがわかる。
【0007】
【非特許文献1】「映画フィルムの線スクラッチの検出
および除去(Detection andremoval of line scrat
ches in motion picture films)」(著者:B.Bes
serer, S. Boukir, 0. Buisson, L. Joye
ux)、548から553ページ、1999年6月発行、
CVPR’99, IEEE International Conference On
Computer Vision and Pattern Recognition, F
ort Collins, Colorado
【非特許文献2】「映画修復システムのコンピュータ化
(Computerized motion picture restoration syst
em)」(著者:M.N. Chong, S. Kalra, S.Kr
ishnan, A. Laud)、153から159ページ、1
998年6月発行、Broadcast Asia International
Conference, Singapore
【非特許文献3】「経年画像の自動修復(Restauration
automatique de anciens)」(著者:外1)、19
97年11月発行の論文、Ecole Normale 外2des M
ines in Paris。
【外1】
【外2】
【非特許文献4】論文「KalmanフィルタリングおよびBa
yesian修復を用いたフィルム線スクラッチ除去(Film
line scratch removal using Kalman filteringan
d Bayesian restoration)」(著者:B. Bessere
r, S. Boukir, L. Joyeux) 、2000年1
2月発行、WACV’2000, IEEE Workshopon the
Application of Computer Vision, Palm Sprin
gs, California
【0008】
【発明が解決しようとする課題】本発明の目的は、オリ
ジナル画像または一連のオリジナル画像を改変した直線
的または実質上直線的なスクラッチを、自動的に除去す
る方法を提供することである。
【課題を解決するための手段】
【0009】本発明の方法は、前記画像の、影響を受け
た領域の残余画像情報を用いて、静止画または動画のデ
ジタル画像のスクラッチを除去するものである。本発明
の方法では、修復画像が目視される場合、前記方法のユ
ーザはいかなるスクラッチも知覚しないことが可能であ
る。本発明は、スクラッチと一致する、修復画像領域の
検出マスク、または等価物を提供することによる、1つ
以上の直線的あるいは実質上直線的なスクラッチにより
改変された、少なくとも1つのオリジナルのデジタル化
画像のための、自動的なリアルタイム修復に関するもの
である。本方法は、以下のステップを含む: a) スクラッチの理論軸に対して垂直な、修復予定領
域のピクセルの各ラインのために、前記領域の外側で、
修復予定領域のすぐ左右に位置する、前記ピクセルライ
ン上の2つのピクセル間の強度の違いの絶対値を算出し
て、記録すること; b) 修復予定領域の各ピクセルラインのために、前記
ピクセルラインの回りの、中央に位置したピクセルの領
域を表す、作業領域の、修復予定領域の幅とほぼ同じ幅
と、ステップa)において算出した値に依存する高さを
算出して、記録すること; c) スクラッチの理論軸と平行な、ステップb)にお
いて決定された作業領域の各ピクセル・コラムのため
に、改変画像内の前記ピクセル・コラムを形成するピク
セルの、それぞれの強度の平均値を算出して、記録する
こと; d) ステップa)において決定された、修復予定領域
のすぐ左右に位置する、ピクセル間のスクラッチの理論
軸に対して垂直な直線補間によって、作業領域のピクセ
ルライン内の各ピクセルのために、スクラッチの推定さ
れる輪郭および特徴の強度のローカル値を算出して、記
録すること; e) 自動的にオリジナル画像を修復するために、改変
画像の前記ピクセルの強度値からステップd)で得られ
たローカル値を減ずることにより、作業領域のピクセル
ライン内の各ピクセルのための、ローカル修正強度値を
算出して、記録すること。
【0010】本発明の主要な効果のうちの1つは、それ
が改変画像の残余情報、すなわち、前記画像を改変した
スクラッチの位置にある情報を利用する点である。これ
が、本発明の方法に要求される、唯一の操作条件であ
る;それは、画像の残余情報と一致する信号を必要とす
る。換言すれば、本発明の方法は、スクラッチの実際の
輪郭を考慮に入れるが、画像の改変に依存し、ランダム
であってもよい。本発明の方法により、スクラッチ領域
のきめの強度が分析可能となる。この情報は重要であ
り、これにより、本発明の方法は、従来の技術よりロバ
ストなものとなる。本発明の方法の他の効果は、それが
空間分析を用いるだけで、時間ベースの分析を用いない
点である。これは、結果として、特に比較的短い画像修
復時間(1つのスクラッチ当たり、ほぼ10分の1秒以
下)、および比較的安価なハードウェアの使用を実現す
る。本発明の方法で、表示スクリーンを有する端末を有
するユーザは、前記方法をインプリメントすることによ
り、実質的にリアル・タイムに、修復画像からスクラッ
チを除去可能である。本方法はまた、修復画像が目視さ
れる場合、スクラッチ修復をユーザに見られることを避
けるために使用可能である。
【0011】他の特徴および効果は、種々の図の線描を
参照しながら、以下の説明を読むことで明らかとなる。
【0012】
【発明の実施の形態】本発明の方法は、種々の画像の処
理および修復の作業において用いられる。本発明の方法
は、印画紙、フィルムまたは磁気テープからデジタル化
される静止画像、または動画画像の修正に用いられる。
本発明の方法は、特に、フィルム(映画、ビデオ・シー
ケンス)および写真画像の修復のために用いられる。本
発明の方法は、改変された画像の残余情報を保持および
利用して、直線的または実質上直線的なスクラッチを、
静止画像または動画のデジタル画像から除去することが
できる。画像の改変領域の残余情報は、スクラッチによ
る妨害でダメージを受けていない信号およびオリジナル
のきめの一部に一致する。したがって、この残余情報
は、スクラッチ位置にある画像の、残余のきめに存在し
ている。例えば、銀のサポートから得られる、オリジナ
ル画像のエマルジョンの銀構造は、そのきめにより特徴
づけられる。残余のきめは、画像改変前の本来のきめに
対する、擦過されたエマルジョンの構造と一致する。ス
クラッチという語は、例えば画像の外部にある物により
生じ、前記画像の損害を与え、または改変する、この種
のスクラッチのあらゆる欠陥を意味している。
【0013】図1は、本発明の方法をインプリメントす
るために用いられるハードウェアの例を示す。1つ以上
の改変されたオリジナル画像の修復を所望するユーザ
は、端末1を使用する。端末1は、例えば表示スクリー
ン2からなるパソコンすなわちPCである。端末1は、
キーボード7、および少なくとも1つの制御ボタン5を
有するマウス4とインターフェイスで接続されている。
端末1のオペレーティング・システムは、例えばユニッ
クス(Unix(登録商標))、ウインドウズ(Windows(登録
商標))またはリナックス(Linux)である。これらのオ
ペレーティング・システムは、ビデオ・データをキャプ
チャするために用いられる、スキャナまたはデジタイザ
8のような認識周辺機器、プリンタ9またはPC 1に
接続された他のいかなる装置10も全て認識可能であ
る。オリジナル画像または連続画像を分析したいユーザ
は、例えば、特に前記オリジナル画像のサポートが銀フ
ィルムまたは印画紙サポートである場合、スキャナ8を
用いて、オリジナル画像または連続画像をデジタル化す
る。したがって、変換画像は、デジタル・データにコー
ド化される。デジタル化されたオリジナル画像3は、端
末1の表示スクリーン2で見ることができる。デジタル
化されたオリジナル画像3は、単一の画像、または連続
画像または一組の独立画像のサブセットのいずれかであ
る。デジタル化されたオリジナル画像3は、その後記録
されるか、または端末1のメモリに格納される。ユーザ
は、オリジナルの改変画像を表すデジタル化された画像
3内の、いかなるスクラッチも検出することができる、
適切な検出アルゴリズムに由来するソフトウェアにより
提供される検出結果を使用する。
【0014】本発明は、画像3の修復予定領域にあった
オリジナル信号は、完全には失われてはおらず、単にノ
イズにより改変されたか影響を受けたに過ぎないとい
う、単純な仮説に基づく。換言すれば、画像はまだ残余
情報を含んでいる。すなわち、例えば、銀サポートのエ
マルジョン側上にスクラッチが作られた場合において、
前記スクラッチは、最初の銀画像のエマルジョンまたは
きめの全てを除去してはいない。スクラッチは、また、
下側(エマルジョンの反対側に)につけられることもあ
り、この場合は、全てのエマルジョン、つまり情報は、
保持されている。加えて、記号、特徴プロフィールまた
はスクラッチに関するいかなる仮説もなされてはいな
い。本発明の方法は、例えば、画像3の、明るいまたは
暗い、不連続なまたは連続した、水平31、垂直32ま
たは傾斜33したスクラッチを、除去の対象として考慮
するものである。垂直位置は、画像3の主軸6の位置に
一致する。したがって、軸6に平行な全てのスクラッチ
は、垂直として述べられている。本発明の方法によって
除去されるスクラッチは、直線的または実質上直線的で
ある。実質上直線的なスクラッチは、その理論軸12に
関して、前記スクラッチの実際軸を表す線上のピクセル
のうちの、少なくとも1つの最大位置偏差が、3ピクセ
ル以下の場合である。スクラッチの実際軸は、スクラッ
チを、長手方向に2つの同等部分に分割する線である。
理論軸12は、スクラッチの実際軸に最も近い直線であ
る。スクラッチは、本修復発明方法が正しく適用可能な
程度に、長くなければならない。一般に、スクラッチの
長さの最小値は、オリジナルの改変画像3のフレームの
最小寸法のほぼ15%である。本発明の方法は、一般
に、15ピクセル以下の幅のスクラッチを除去対象とし
ている。換言すれば、本発明の方法では、幅15ピクセ
ル以下のスクラッチが、除去可能となる。本修復発明方
法をインプリメントする前に、ユーザは、適切な検出ア
ルゴリズムにより自動的に提供される検出結果を有利に
用いる。検出アルゴリズムは、例えば図2に示されるよ
うに、バイナリ画像を表示するために用いられる。バイ
ナリ画像という語は、各スクラッチが、修復予定領域を
表すマスク21、22の形で明瞭に現れることを意味す
る。マスク21、22は、画像3内の、対応するスクラ
ッチの位置および形(幅、高さ)を決定する。好ましい
実施例によれば、マスク21、22は矩形である。しか
し、またユーザは、自動検出アルゴリズムを使用する代
わりに、例えばマウス4のボタン5を用いて、スクラッ
チのマスク21、22を手動で定めることにより、表示
スクリーン2上で、損害を受けた画像を手動処理しても
よい。換言すれば、検出は、修復予定領域を手動で区切
るユーザによって行われ、各領域は、オリジナル画像を
改変した傷に一致する。本発明の方法の最適なインプリ
メンテーションのために、前記スクラッチをぴったり覆
うよう、マスク21、22の幅は、ごく僅かだけ、マス
クされたスクラッチの幅より大きな幅にされる。本発明
の方法の修復またはインプリメンテーションは、マスク
21、22を用いてなされる。マスクの形状および特に
幅と高さに関する情報は、ファイルに自動的に格納され
る。このファイルは、端末1のメモリに格納される。さ
らに、本発明の方法は、デジタル画像を形成する各平面
に適用される。画像がグレー・レベルのみでコード化さ
れる場合、本発明の方法は、1つのチャンネルに適用さ
れるだけである。しかし、赤色、緑色および青色に対応
する3つの特定のチャンネルにコード化されるカラー画
像では、本発明の方法は、赤色、緑色および青色に対応
する画像にそれぞれ適用される。例えば、エマルジョン
または銀のフィルム・サポートの摩滅または変質は、種
々の損害の程度を呈することがある;例えば、フィルム
における画像の1塗膜だけ、例えば青色が、損傷を受け
ることがある。修復は、青色のみに行われ、他の(緑
色、赤色)チャンネルには行われない。しかし、フィル
ムの他の画像では、エマルジョンの数層が変質したり損
害を受けていることもあり、この場合には、本発明の方
法は、前記各画像の残余の情報を用いて適用される。本
発明の方法は、1枚の画像の情報を用いるだけである。
この方法は、修復予定画像の前または後の画像から、時
間に依存したデータを用いないため、純粋に空間的であ
る。最初の信号がまだ残っていると仮定する基本仮説に
より、画像修復の間、本来のきめが保持されることが可
能となり、こうして、例えば、後にきめを加えるなどの
デジタル再処理を避けることができる。
【0015】図1、図2および図3にしたがって、本発
明の方法により、端末1のメモリに格納されたデジタル
画像3のスクラッチを自動的に除去することが可能とな
る。本発明の好ましい実施例によれば、本修復発明方法
の初期段階で使用される検出ソフトウェアは、例えば表
示スクリーン2上に、目視可能なデジタル化画像30を
提供する。デジタル化画像30は、オリジナルの、改変
された、およびデジタル化された画像3の検出結果のグ
ラフィック表現の表示に一致する。検出結果画像30
は、前記画像30の背景色またはグレイ・レベル20、
および、検出マスク21、22の1つ以上の他の色、ま
たはグレー・レベルにより特徴づけられる。検出マスク
は、適切な検出ソフトウェアによって提供され、スクラ
ッチにより改変されたオリジナル画像3内の修復予定領
域に一致する。本発明の修復方法は、また、画像30内
の修復予定領域の空間座標により特徴づけられる、スク
ラッチのリストを入力することによっても使用可能であ
る。これらの座標は、その後、端末1のメモリに格納さ
れる。軸6に平行でない、すなわち、沿っていない、非
垂直なスクラッチの座標の算出は、本発明の方法のアル
ゴリズムに組み込まれる座標改変システムにより、垂直
なスクラッチ座標算出に変換される。図2によれば、例
えばマスク21に一致する修復予定領域は、画像3の軸
6の垂直な、直交する方向に対して、および原点x0に
対して、水平座標(x1,x2)により特徴づけられ
る。一般に、原点x0は、画像30の角の1つを形成す
るピクセルの1つである;例えば、我々は、画像内の最
も低く、最も左のピクセルを選ぶ。マスク22に一致す
る修復予定領域は、水平横座標(x3,x4)により特
徴づけられる。検出マスク21、22は、修復予定領域
のグラフィック表現である。スクラッチはまた、軸6と
平行に、垂直に測定される長さにより、特徴づけられ
る。図2によれば、検出されたスクラッチは、例えばオ
リジナル画像3の全体高さを改変している。したがっ
て、修復予定領域をグラフィック表現する検出マスク
は、軸6と平行に、画像30の全体高さを横切ってい
る。第1のスクラッチの幅は、ほぼx2マイナスx1
(x2−x1)であり、第2のスクラッチのそれは、ほ
ぼx4マイナスx3(x4−x3)である。検出された
スクラッチは、別々に、交互に、処理され、除去され
る。修復方法は、検出された第1のスクラッチと一致す
る、マスク21を継承して適用され、その後、検出され
た第2のスクラッチと一致する、マスク22を継承して
適用される。スクラッチの自動修復は、デジタル画像3
0においてライン毎に行われる。本発明の方法により、
検出されたスクラッチのピクセル25の各ラインのため
に、前記領域の外側の、前記ピクセルのライン上の、修
復予定領域のすぐ左右に位置する2つのピクセル23、
24間の強度の違いの絶対値を算出し、記録することが
可能となる。ピクセル23、24は、前記マスクの幅2
7を決定する垂直線の両側の、検出マスクに最も近い、
外側のピクセルである。ピクセル25の各ラインのため
に、画像内の修復予定領域の外側で、2つのピクセル2
3、24を決定するために用いられ、前記領域の範囲を
定めるのは、入力された検出データである。この操作の
結果、すなわち画像30の各ライン25上の2つのピク
セル23、24間の強度の差の絶対値は、マスク21、
22、およびライン25上に中心をおく作業領域26の
幅27と高さ28の、ピクセル25の各ラインを算出
し、および記録するために用いられる。表示スクリーン
2上の作業領域のグラフィック表示26は、好ましくは
矩形でなければならない。作業領域26の水平伸張すな
わち幅27は、スクラッチ検出の間に決定された修復予
定領域の幅に一致する。作業領域26の垂直伸張すなわ
ち高さ28の算出は、スクラッチの両側にあるテクスチ
ャの類似性または均質性に依存する。例えば、オリジナ
ル改変画像3のテクスチャは、修復予定領域の両側2
1、22が異なり、垂直伸張28は長くなりがちであ
る。他方、例えば、オリジナル画像3内で均一色の領域
は、低垂直伸張の作業領域26を生成する。本発明の方
法の第1の実施例によれば、作業領域26のために算出
される高さ28は、修復予定領域のすぐ左右に位置し、
前記領域の外部に位置する、ピクセル25のライン上の
2つのピクセル23、24間の強度の差の絶対値に正比
例する。本発明の方法の第2の実施例は、2つのピクセ
ル23、24間の強度の差の絶対値が、オリジナル画像
のテクスチャの均質性に依存する所与の強度閾値以上で
ある場合、ライン25を除外することにより、高さ28
を算出するために用いられる。この除外は、例えば、相
当な強度差を生じる画像内の物体のエッジ効果を除去す
る。作業領域の高さは、一般に5から100ラインのピ
クセルのウインドウ範囲内である。本発明の方法は、そ
の後、作業領域26のピクセルの各コラムiのために、
ピクセルの前記コラムのそれぞれの強度Iの平均強度
値外3を算出して記録するために用いられる。
【0016】
【外3】
【0017】これら全ての平均強度値外3は、作業領域
26内の、カレント・ライン25で処理されるスクラッ
チの輪郭を表すと考えられる。本発明の方法は、その
後、修復予定領域の両側の、2つのピクセル23、24
間のスクラッチの理論軸に対して直交する直線補間によ
り、作業領域26内のカレント・ライン25上の各ピク
セルのために、前記スクラッチの推定される強度のロー
カル値δiおよび特性輪郭を算出して記録するために用
いられる。δiは、以前に算出された、平均強度値を基
礎に算出される。δiは、数1を用いて算出される:
【0018】
【数1】 ここでは:外4は、ピクセル23を含むピクセルのコラ
ムの平均強度値を表す;
【0019】
【外4】 外3は、作業領域近くのあらゆるピクセルのコラムiの
平均強度値を表す;外5は、ピクセル24を含むピクセ
ルのコラム(「第n番目の」コラム)の平均強度値を表
す;
【0020】
【外5】 δiは、作業領域26内のライン25に属する、x軸ピ
クセルxの強度Iに対してなされる修正を表す。A
およびAは、共に、分析されたライン25上のピク
セルの水平位置を考慮に入れた、重みづけ係数である。
およびAは、以下の式を用いて得られる: A=(x−x)/(xn−1−x); A=(xn−1−x)/(xn−1−x); ここでは: xは、ピクセル23を含むピクセルのコラムの水平座
標を表す; xn−1は、ピクセル24を含むピクセルのコラム
(「第n番目の」コラム)の水平座標を表す; xは、作業領域近くのあらゆるコラムiの水平座標を
表す。
【0021】直線補間の結果は、関係するライン25上
のスクラッチの、推定された特性輪郭を提供する。スク
ラッチの輪郭は、前記スクラッチの理論軸12に対して
垂直に分析される。提供される展開結果を用いて、本発
明の方法は、自動的にオリジナルの修復画像3を得て、
例えば前記修復画像が表示スクリーン2で目視される場
合、前記オリジナル修復画像上に、いかなる修復された
スクラッチもユーザが認識しないように、改変画像の前
記ピクセルの値Iiから、スクラッチの推定輪郭強度ロ
ーカル値δiを減ずることにより、作業領域内のピクセ
ルラインの各ピクセルのためのローカル修正強度値Ic
を算出して、記録するために用いられる。修正値Ic
は、以下の公式を用いて得られる: Ic=I−δi
【0022】したがって、オリジナル画像のスクラッチ
の効果的除去は、ピクセルの各ラインのために、オリジ
ナルの改変され、または損害を受けた画像の強度I
ら、スクラッチの推定される輪郭を減ずることによって
得ることができる。本発明修復方法をすべてインプリメ
ントすることで、オリジナルの改変された画像のスクラ
ッチを、実質的にリアル・タイムに除去可能である。平
均して、本発明修復方法のインプリメンテーションによ
り、1つのスクラッチを、10分の1秒未満で画像から
除去可能である。本発明の方法の一実施例によれば、例
えば、450MHzのPentium(登録商標)IIプロセ
ッサを備えたPCを用いて、例えば、300万ピクセル
(2000×1500ピクセル)オリジナル画像内の、
高さ1500ピクセルで幅5から8ピクセルのスクラッ
チを修復する時間は、10分の1秒未満である。述べら
れた修復発明方法は、被処理画像内のいかなるきめも含
め、スクラッチの近くのオリジナル・データを格納す
る。
【0023】画像がユーザの好みに修復される場合、そ
れは端末1のデジタル・ファイルに格納可能である。そ
れはまた、端末1に接続されたプリンタ9を用いて、例
えば文書に印刷可能である。
【0024】本発明が好ましい実施例に関して説明され
る一方で、本出願が、本発明の目的に沿う、なされ得る
全ての改変態様または変化をカバーすることは明瞭であ
る。したがって、この種の実施例は、例示として与えら
れおり、クレームされた保護を制限するものではない。
【図面の簡単な説明】
【図1】 本発明の方法をインプリメントするために用
いる、ハードウェアの線図である。
【図2】 本発明の方法を使用して修復されるべき、ス
クラッチによって改変された画像の例の線図である。
【図3】 図2に加えて、本発明の方法のインプリメン
テーションを説明する線図である。
【符号の説明】
1 端末(PC)、 2 表示スクリーン、 3 画
像、 4 マウス、 5制御ボタン、 6 軸、 7
キーボード、 8 スキャナ、 9 プリンタ、 10
装置、 31 水平なスクラッチ、 32 垂直なス
クラッチ、 33 傾斜したスクラッチ。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 AA11 BA02 BA24 BA28 CC02 CE02 CH08 CH18 DA08 5C021 XB07 YA01 5C077 LL02 MP01 MP07 PP21 PP46 PP47 PP58 PP61 PQ08 RR11 RR19 SS05 SS07

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 a) スクラッチの理論軸に対して垂直
    な、修復予定領域のピクセルの各ラインのために、前記
    領域の外側で、修復予定領域のすぐ左右に位置する、前
    記ピクセルライン上の2つのピクセル間の強度の違いの
    絶対値を算出して、記録すること; b) 修復予定領域の各ピクセルラインのために、前記
    ピクセルラインの回りの、中央に位置したピクセルの領
    域を表す、作業領域の、修復予定領域の幅とほぼ同じ幅
    と、ステップa)において算出した値に依存する高さを
    算出して、記録すること; c) スクラッチの理論軸と平行な、ステップb)にお
    いて決定された作業領域の各ピクセル・コラムのため
    に、改変画像内の前記ピクセル・コラムを形成するピク
    セルの、それぞれの強度の平均値を算出して、記録する
    こと; d) ステップa)において決定された、修復予定領域
    のすぐ左右に位置する、ピクセル間のスクラッチの理論
    軸に対して垂直な直線補間によって、作業領域のピクセ
    ルライン内の各ピクセルのために、スクラッチの推定さ
    れる輪郭および特徴の強度のローカル値を算出して、記
    録すること; e) 自動的にオリジナル画像を修復するために、改変
    画像の前記ピクセルの強度値からステップd)で得られ
    たローカル値を減ずることにより、作業領域のピクセル
    ライン内の各ピクセルのための、ローカル修正強度値を
    算出して、記録すること を含む、スクラッチに一致する修復予定画像領域の検出
    マスクまたは同等物を提供することにより、1つ以上の
    直線または実質上直線的なスクラッチによって改変され
    た、少なくとも1つのデジタル化されたオリジナル画像
    の自動的なリアルタイムの修復方法。
  2. 【請求項2】 実質上直線的なスクラッチは、前記スク
    ラッチの実際軸を表す線上のピクセルの少なくとも1つ
    が、理論軸に対して最大で3ピクセル以下の位置偏差を
    有するものである請求項1に記載の方法。
  3. 【請求項3】 作業領域のために算出される高さが、請
    求項1のステップa)において算出される強度の差の絶
    対値に正比例する請求項1に記載の方法。
JP2002293797A 2001-10-10 2002-10-07 オリジナル画像の自動的なリアルタイムの修復方法 Pending JP2003143401A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0113004 2001-10-10
FR0113004A FR2830648B1 (fr) 2001-10-10 2001-10-10 Procede d'elimination de rayures dans des images numeriques

Publications (1)

Publication Number Publication Date
JP2003143401A true JP2003143401A (ja) 2003-05-16

Family

ID=8868101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002293797A Pending JP2003143401A (ja) 2001-10-10 2002-10-07 オリジナル画像の自動的なリアルタイムの修復方法

Country Status (4)

Country Link
US (1) US7020346B2 (ja)
EP (1) EP1302897A1 (ja)
JP (1) JP2003143401A (ja)
FR (1) FR2830648B1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130472B2 (en) * 2002-01-21 2006-10-31 Canon Kabushiki Kaisha Image distribution apparatus, communication terminal apparatus, and control method thereof
US7324704B2 (en) * 2003-09-11 2008-01-29 Primax Electronics Ltd. Method of repairing scratches in digital images
DE102004005299B4 (de) * 2004-01-29 2006-09-07 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Erkennung von Fehlern in Filmvorlagen
US7634151B2 (en) 2005-06-23 2009-12-15 Hewlett-Packard Development Company, L.P. Imaging systems, articles of manufacture, and imaging methods
WO2007029235A2 (en) * 2005-09-05 2007-03-15 Algosoft Limited Automatic digital film and video restoration
US8023766B1 (en) 2007-04-30 2011-09-20 Hewlett-Packard Development Company, L.P. Method and system of processing an image containing undesirable pixels
US8078002B2 (en) * 2008-05-21 2011-12-13 Microsoft Corporation Matte-based video restoration
GB2479414B (en) * 2010-04-09 2015-11-11 Snell Ltd Repairing scratch impairments to an image
KR101665977B1 (ko) * 2014-09-23 2016-10-24 주식회사 신도리코 이미지 보정 장치 및 방법
CN110189699B (zh) * 2019-05-10 2020-11-10 深圳市华星光电半导体显示技术有限公司 智能驱动画面的方法
CN117078639B (zh) * 2023-08-21 2025-10-21 浙江工业大学 一种基于动态规划的钢板表面划痕检测方法
CN119672380B (zh) * 2025-02-20 2025-05-13 庆安集团有限公司 一种用于复杂曲面零件光整加工的材料去除厚度测量方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3942273A1 (de) * 1989-12-21 1991-06-27 Broadcast Television Syst Verfahren zum verdecken von fehlern in einem videosignal
US5179419A (en) * 1991-11-22 1993-01-12 At&T Bell Laboratories Methods of detecting, classifying and quantifying defects in optical fiber end faces
SE9201182L (sv) * 1992-04-13 1993-06-28 Dv Sweden Ab Saett att detektera och avlaegsna fel oeverstigande en specifik kontrast i digitala videosignaler
US5509086A (en) * 1993-12-23 1996-04-16 International Business Machines Corporation Automatic cross color elimination
DE4432787A1 (de) * 1994-09-15 1996-03-21 Philips Patentverwaltung Verfahren und Schaltung zum Erkennen und Verdecken von Fehlern in einem Videosignal
DE19636864C1 (de) * 1996-09-11 1998-01-02 Philips Patentverwaltung Längendetektion von schräglaufenden Kratzern
DE19636865C1 (de) * 1996-09-11 1998-01-02 Philips Patentverwaltung Erkennung von schräglaufenden Kratzern in Videosignalen

Also Published As

Publication number Publication date
FR2830648B1 (fr) 2004-01-16
US20030068096A1 (en) 2003-04-10
US7020346B2 (en) 2006-03-28
EP1302897A1 (en) 2003-04-16
FR2830648A1 (fr) 2003-04-11

Similar Documents

Publication Publication Date Title
US8285070B2 (en) Methods and apparatus for image restoration
US7221776B2 (en) Video stabilizer
US6548800B2 (en) Image blur detection methods and arrangements
Seeger et al. Binarising camera images for OCR
US7218795B2 (en) Assisted scratch removal
US7020346B2 (en) Method for the removal of scratches from digital images
CN106934806A (zh) 一种基于结构清晰度的无参考图失焦模糊区域分割方法
CN115078365A (zh) 一种软包装印刷质量缺陷检测方法
US20050196070A1 (en) Image combine apparatus and image combining method
CN111539238A (zh) 二维码图像修复方法、装置、计算机设备和存储介质
US5621825A (en) Image processor, image processing method and apparatus applying same
JP4214507B2 (ja) データ処理方法、装置、プログラムおよび記録媒体
JPH09130614A (ja) 画像処理装置
US9412188B2 (en) Method and image processing system for removing a visual object from an image
CN110163212B (zh) 一种碑帖图像中的文字切割方法
JP2004219291A (ja) 画面の線欠陥検出方法及び装置
CN114419006B (zh) 一种随背景变化的灰度视频文字类水印去除方法及系统
US20030053140A1 (en) Method of controlling image reading system and control program thereof
CN107481253B (zh) 一种基于边缘的斑点检测方法
US20240275903A1 (en) Storage medium storing computer-readable instructions causing computer to execute image process on image data to generate output data related to defect in appearance of object
JP3959547B2 (ja) 画像処理装置、画像処理方法、及び情報端末装置
JPH08329253A (ja) エッジ検出方法及びエッジ検出装置
Malashin et al. Restoring a silhouette of the hand in the problem of recognizing gestures by adaptive morphological filtering of a binary image
Bibikov et al. Shadow artifacts correction on fine art reproductions
JP2023067731A (ja) コンピュータプログラム、および、データ処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081014