JPH11284834A - 画像情報結合方法 - Google Patents

画像情報結合方法

Info

Publication number
JPH11284834A
JPH11284834A JP11008923A JP892399A JPH11284834A JP H11284834 A JPH11284834 A JP H11284834A JP 11008923 A JP11008923 A JP 11008923A JP 892399 A JP892399 A JP 892399A JP H11284834 A JPH11284834 A JP H11284834A
Authority
JP
Japan
Prior art keywords
field
fields
motion
auxiliary
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP11008923A
Other languages
English (en)
Other versions
JPH11284834A5 (ja
Inventor
David S Taubman
ディビッド・エス・ターブマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JPH11284834A publication Critical patent/JPH11284834A/ja
Publication of JPH11284834A5 publication Critical patent/JPH11284834A5/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/4448—Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】複数ビデオ・フィールドから情報を結合して高
品質静止画像を作成する方法およびシステムを提供す
る。 【解決手段】基準フィールドおよび補助フィールドを選
択し、基準フィールドに対する方位マップを構築する。
基準と補助フィールドの間の変位をモデル化するため運
動マップを構築する。方位マップを使用して、補助フィ
ールドを方向的に補間する。マージ・マスクを使用し
て、最終画像に使用しない特定ピクセルをマスクする。
マスクされなかった基準フィールド・ピクセルから加重
平均を作成する。最後に、更に水平補間を行って、最終
的静止画像を得る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、複数のビデオ・フ
ィールドからの情報を単一の高品質静止画像へ結合する
方法および装置に関するものである。
【０００２】
【従来の技術】ビデオ・ソースからの個々のフィールド
には一般に次のような短所が観察される。すなわち、セ
ンサ、テープおよび伝送ノイズ、光学場面の不充分な密
度空間サンプリングによる輝度エリアジング、光学場面
における特定カラー・コンポーネントの不充分な密度空
間サンプリングによるクロミナンス・エリアジング(各
ピクセル位置において単一カラー・コンポーネントしか
感知することができるないＣＣＤビデオ・カメラでしば
しば発生する)、および、相対的に貧弱な解像度、であ
る。
【０００３】しかしながら、ビデオ・ソースは、連続す
るフィールド間で場面エレメント変位を比較的小さく保
ちながら同じ場面の多くのピクチャを利用できるという
利点を持つ。運動の適切な補正の後、これら複数のピク
チャを組み合わせて、より少ないノイズの静止画像を生
成することができる。しかしながら、一層重要な点であ
るが、運動の存在によって、いかなる単一フィールドに
よって得られるものより密度の濃い光学場面サンプリン
グを効果的に得ることが可能である。これは、解像度強
化だけでなくエリアジング除去の可能性に道を開く。
【０００４】アナログ・ビデオを考慮しながら、種々の
デジタル・ビデオ・ソースに対して次のような観察を行
うことができる。１つの観察は、クロミナンス・コンポ
ーネントの解像度が輝度コンポーネントの解像度より著
しく低いことである。特に、ＮＴＳＣ(National Televi
sion System Standard)放送ビデオ・ソースの水平クロ
ミナンス解像度は、輝度解像度の７分の１である。ま
た。ＮＴＳＣ規格はクロミナンス・コンポーネントの垂
直解像度を輝度コンポーネントの解像度より低く制限し
てはいないが、最も普及しているビデオ・カメラは、そ
の単一ＣＣＤ設計のため垂直クロミナンス解像度を半分
にしている。クロミナンス・コンポーネントが持つ空間
情報は輝度コンポーネントに比較して少ないので、解像
度強化の努力は輝度経路に集中しがちである。更に、輝
度コンポーネントに関して使用されるものより粗いクロ
ミナンス・サンプル・セットを用いて作業することによ
って、複数フィールド強化システムに対する計算処理要
求が減少される。
【０００５】アナログ・ビデオに関する２番目の観察
は、輝度コンポーネントは垂直方向において頻繁に顕著
なエリアジングを発生するが水平方向ではさほどではな
いという点である。これは、光学バンド幅が水平および
垂直両方向においてほぼ同じであるが、垂直サンプリン
グ密度は水平方向の半分以下であることによるものと見
られる。
【０００６】更に、より新しいビデオ・カメラは、行当
たりのセンサ数が増加しているＣＣＤセンサを使用して
いるのに対して、ＮＴＳＣ規格はセンサ行の数を規定し
ている。高い水平周波数は無視できるほどのエイリアシ
ングしか発生しないが、高い垂直周波数は顕著なエイリ
アシングに出会うという点が経験的に予測できる。この
ように、多数フィールド処理を通して最終的静止画像の
水平解像度を増加させることができる可能性は小さい
が、エリアジング・コンポーネントを「開梱」して、垂
直解像度を強化し、非垂直エッジ周囲の悩みの種である
エリアジング欠陥「すなわちジャギー」を削除すること
ができる可能性はある。
【０００７】
【発明が解決しようとする課題】かくして、複数ビデオ
・フィールドから単一の高品質静止画像に情報を結合す
る方法およびシステムに対する要求が存在する。
【０００８】
【課題を解決するための手段】本発明は、複数ビデオ・
フィールドからの情報を単一高品質静止画像に結合する
システムを提供する。フィールドのうちの１つが基準と
して選択され、残りのフィールドは補助フィールドとし
て識別される。該システムは、補助フィールドからの情
報を利用することによって、解像度を強化させながら、
基準フィールドに関する輝度およびカラー・エリアジン
グ欠陥のみならず、ノイズをも減少させる。
【０００９】基準フィールドに関して方位マップが作成
され、この方位マップを使用して、基準フィールドは、
垂直フィールド解像度の最高４倍に補間される。サブピ
クセル検索を達成するため補間した基準フィールドを使
用して、垂直方向にピクセル精度を４分の１に、水平方
向にピクセル精度を２分の１にした運動が計算される。
【００１０】先ず、補助フィールドの各々に関する方位
マップを基準フィールドの方位マップから直接推量し
(注：計算処理量が過大でないと見なされる場合方位マ
ップは各フィールド毎に別々に計算することもでき
る)、次に、補助フィールドから基準フィールドへの情
報の統合を誘導するため、運動マップが使用される。推
論した方位マップを使用して、補助フィールドは補間し
た基準フィールドと同じ解像度に補間される。
【００１１】最終改良静止画像において使用されてはな
らないピクセルを除くようにマスクするため、各補助フ
ィールドに関してマージ・マスクが決定される。マスク
されるピクセルは、運動マップが基準フィールドと補助
フィールドの間の関係を正しくモデル化することができ
ない領域に一般的に対応する。例えば、そのような領域
はカバーされてない背景を含むものである。
【００１２】基準フィールド・ピクセルおよびマスクさ
れていない運動補正された補助フィールド・ピクセルか
ら加重平均が作成される。この加重平均演算に関わる加
重は空間的に変化するもので、運動マップに記録される
マージ・マスクおよび変位に依存する。既存のフィール
ド平均技術と相違して、この手法は、エリアジング欠陥
を除去するプロセスにおいて利用可能なピクチャ解像度
を破壊しない。
【００１３】(上述の４倍垂直補間の後正しい面比率を
得るために行われる)追加係数２による水平補間および
上述の加重平均プロセスから作成された画像を鮮明にす
るオプションとしての事後処理演算の後、最終的静止画
像が取得される。クロミナンス・コンポーネントが輝度
コンポーネントより非常に少ない空間周波数コンテント
を持つという事実を反映するようにため、上記の処理ス
テップは若干修正される。
【００１４】このような画像強化システムの重要な特性
は、どのような数のビデオ・フィールドをも取り扱うこ
とができるという点である。ただ１つのフィールドが供
給される場合、該システムは、上述された精巧な方向的
補間技術を使用する。フィールドが更に追加される場
合、それらフィールドは方向的に補間され、次に、補完
された基準フィールドにマージされ、この結果空間周波
数コンテントが次第に改善され、ノイズおよびその他の
人工的欠陥が減少する。利用できるフィールドが２つと
いう特別のケースでは、システムは、"インターレス解
除"ツールと理解することもできる。
【００１５】
【発明の実施の形態】以下に本発明の特定の形態を記述
するが、本発明がそれら特定の形態または部分構成に限
定されるべきではないことは理解されなければならな
い。本発明の理念から逸脱することなく、以下に記述の
実施形態に種々の変更を加えることが可能であり、ま
た、本発明が添付図面および以下の記述に示されている
ものに限定されると見なされるべきではないことは当業
者に明らかであろう。
【００１６】以下の記述を容易にするため、ＨFおよび
ＷFが、デジタル化されたビデオ・フィールドの各々の
行数(すなわち高さ)および列数(すなわち幅)を表すこと
とする。多くのビデオ・デデジタル機構は、ＷF＝６４
０列およびＨF＝２４０行を生成するが、必ずしもその
ようである必要はない。複数フィールド処理システム
は、ＨI＝４ＨFおよびＷI＝ＷFという解像度に(すなわ
ち係数４による垂直方向の拡大によって)基準フィール
ドを方向的に補間し、次に、方向的に補間し、運動補正
し、適切に加重した補助フィールドをこの補間した基準
フィールドに適応するようにマージすることによって、
垂直方向情報コンテントを強化する。この適応型マージ
・プロセスは、また、エリアジングを除去し、ノイズを
減らすのに役立つ。
【００１７】これらの特質がビデオ信号の輝度コンポー
ネントにしか及ばない点に留意する必要がある。クロミ
ナンス・コンポーネントは別に取り扱われる。オリジナ
ルのクロミナンス・フィールドは、各々、行については
ＨF行を持つが、列についてはＷF／４列を持つにすぎな
い。ビデオ・デジタル化および復号演算が、このような
解像度のクロミナンス・コンポーネントを生成する場合
もあるが、そうでない場合は、プロセスは、すでに復号
されているビデオ・フィールド集合のクロミナンス・コ
ンポーネントを間引くかもしれない。このようにして、
プロセスは、実際の情報を犠牲にすることなく、メモリ
必要容量および計算量を減少させる。複数フィールド処
理システムは、ＨI／２＝２ＨＦ対ＷI／４＝ＷF／４と
いう解像度へ(すなわち係数2による垂直方向拡大)基準
フィールドのクロミナンス・コンポーネントを方向的に
補間し、次に、方向的に補間し、運動補正し、適切に加
重した補助フィールドのクロミナンス・コンポーネント
を基準フィールドに適応するようにマージすることによ
って、クロミナンスのノイズおよび人為欠陥を減少させ
る。
【００１８】算定されたフィールド間運動モデルに合致
しない領域からの無効なピクセルが除去のためマスクさ
れた後、種々のフィールドからのクロミナンス・コンポ
ーネントが単純平均によってマージされる点に注意する
必要がある。この暫定的平均化はノイズおよびカラー・
エリアジング欠陥を減少させることはできるが、画像の
空間的周波数コンテントを改良することはできない。し
かしながら、種々のフィールドからの輝度コンポーネン
トは空間的可変加重平均を使用してマージされる。この
場合、そのような加重は、画像の空間周波数コンテント
を改良しながら一方でエリアジングを除去するように、
算定されたフィールド間運動から計算される。
【００１９】システムによって生成される最終的画像
は、Ｈ＝ＨI＝４ＨF行対Ｗ＝２ＷI＝２ＷF列を持つ。こ
れは、輝度コンポーネントの水平解像度を２倍にし、上
記方法によって生成されるクロミナンス・コンポーネン
トの水平解像度を４倍、垂直解像度を２倍にすることに
よって、最終画像が形成される。輝度コンポーネントを
正しい面比率に戻し、クロミナンス・サンプル値の完全
なセットをあらゆるピクセル位置で取得するため、上記
のような演算が必要とされる。本発明の好ましい実施形
態において、輝度解像度を水平方向に２倍にすること
は、補間フィルタ・カーネル、すなわち、 (-1/8,5/8,5/8,-1/8) (1) を適用することによって達成することができる。
【００２０】このカーネルは、乗算不要実施形態を可能
にしながらオリジナル映像信号の水平周波数レスポンス
を保持するため選択されている。同じ補間カーネルを使
用して、水平クロミナンス解像度が係数２によって拡大
され、その後、クロミナンス・コンポーネントは、既存
の２線形補間を使用して、追加の係数２によって両方向
に拡大される。
【００２１】下記の第２項は、算定された方位マップに
従って基準フィールドおよび補助フィールドを方向的に
補間するために使用される補間プロシジャと共に、基準
フィールドの範囲内でローカル方位を算定する方法を開
示する。第１項は、基準フィールドと補助フィールドの
間の運動マップを取得する方法を開示する。最後に、第
３項は、基準フィールドおよび補助フィールドを実際に
マージして改良静止画像を生成するために使用される迅
速アルゴリズムと共に、マージ・マスクを構築し加重係
数をマージする方法を開示する。
【００２２】１. 基準フィールドと補助フィールドの間
の運動算定 最初に、基準フィールドが、本発明の本実施形態におい
て、各々が１５フィールド行および２３フィールド列を
持ついくつかの非オーバーラップ・ブロックに分割され
る この分割形態は図１の(ａ)に示されている。これら
の分割ブロック１０の各々は、図１の(ｂ)に示されてい
るように、わずかに大きい運動ブロックによって囲まれ
ている。本実施形態において、隣接運動ブロックは、２
フィールド行１４および４フィールド列１６だけ相互に
オーバーラップしている。運動算定サブシステムは、各
補助フィールドに関して運動ブロックの各々について１
つの運動ベクトルを計算する機能を持つ。運動ベクトル
は、基準フィールドと関連補助フィールドの間での運動
ブロック範囲内場面オブジェクトの変位を記述するよう
に意図されている。このような運動ベクトルは、第３項
で記述されるプロセスを誘導するために使用される。こ
のプロセスによって、補間された基準および補助フィー
ルドが単一の画像にマージされる。このマージ・プロセ
スは運動ブロックの各々に対して独立して実行され、そ
の後、マージされた運動ブロックすべてが縫い合わさ
れ、最終的画像が形成される。平滑加重機能を使用し
て、隣接運動ブロックのオーバーラップ領域が平均され
る。本項は、任意の所与の運動ブロックに関する運動ベ
クトルを算定するために使用される方法だけを記述する
ことを目的とする。
【００２３】システムは、補助フィールドの各々毎に、
辞書順に運動ブロックを処理する。これらのブロックの
各々に関する運動ベクトルの算定は、３つの独立したフ
ェーズの実行からなる。第１のフェーズは、前に処理さ
れた隣接運動ブロックから得られる運動ベクトルに基づ
いて運動ベクトルを予測することを試みる。予測方式
は、次の１.１項に記述される。この予測された運動ベ
クトルを使用して、効率的かつ強力な粗い運動算定技術
にバイアスをかけ、ピクセル単位精度で運動を算定する
(この技術は１.２項に記述される)。垂直方向の４分の
１ピクセル精度および水平方向の２分の１ピクセル精度
への最終的仕上げは、既存のＭＡＤブロック合致技術を
使用して実行される。この詳細は１.３項で提供され
る。
【００２４】１.１ 運動予測 記述を容易にするため、v m,n=(vx m,n,vy m,n)が(m,n)番
目の運動ブロックすなわち基準ブロックに関連するm番
目の行のｎ番目の運動ブロックに関する粗いすなわちピ
クセル解像度の運動ベクトルを表すこととする。
【００２５】運動ベクトルは辞書順に算定されるので、
隣接する粗い運動ベクトルv m,n-1、v m-1,n-1、v m-1,nお
よびv m-1,n+1は既に算定されていて、それらを使用し
て、v m,nに関する初期的予測を行うことができる。特
に、運動算定サブシステムは、予測されるベクトルv m,n
をこれら４つの隣接運動ベクトルの３つの最小格差の算
術平均として設定する。この計算の目的のため、３つの
ベクトルv 1、v 2およびv 3の任意の集合の間の格差(dispa
rity)は、次の[数１]として定義される。すなわち、格
差はベクトルの各々とそれらの算術平均の間の距離Llの
合計である。
【００２６】
【数１】 この予測値すなわち
【００２７】
【数２】
【００２８】を作成するのは、運動ベクトル検索を減ら
すためではなく、むしろ平滑運動マップの開発を促進す
るためである。運動を算定すべき対象に情報がほとんど
含まれないような場面の領域において、合理的である限
り、予測されたベクトルが採用されることが好ましい。
採用されないとすれば、基準フィールドおよび補助フィ
ールドを単一静止画像にマージしようとする時、これら
の領域においてブロック運動算定アルゴリズムによって
通常生成される「ランダムな」運動ベクトルが煩わしい
視覚上の欠陥を発生する原因となる。
【００２９】１.２ 粗い運動算定 本プロセスは、一般的には、(m,n)番目の運動ブロック
に関して基準フィールドと所与の補助フィールドの間の
粗いすなわちピクセル単位精度の算定を行う。更に、２
つのフィールドで観察される特性と整合している場合は
必ず算定値を予測されたベクトル(上記[数２])方向へ偏
向させることが好ましい。粗い運動算定サブシステム
は、システムの１つの実施形態において、|vx m,n|≦10
フィールド列および|vx m,n|≦5フィールド行という検索
範囲を含む全体検索を実行する。
【００３０】この範囲内で、各ベクトルv毎に、本プロ
セスは以下に述べる目的関数ο(v)を計算する。以下の
記述において、οminは検索範囲内のο(v)によって到達
される最小値を意味し、υはο(v)≦οmin+Tm(但しTmは
あらかじめ定められたしきい値)であるようなすべての
運動ベクトルvのセットを意味することとする。v∈νで
あるように最終的粗い運動算定が実行される。これは予
測されたベクトル(上記[数２])にもっとも近いものであ
る。ここで、vと予測ベクトル(上記[数２])の間の距離
が
【００３１】
【数３】 であるようにするため、距離測定値Llが使用される。
【００３２】粗い運動算定に使用される実際の目的関数
ο(v)を以下に記述する。本プロセスは、計算処理集約
的な最大絶対距離法(すなわちＭＡＤ)を使用せずに、基
準フィールドおよび補助フィールドを表す新機軸のピク
セルあたり２ビット表現を用いて目的関数を構築する。
具体的に述べれば、基準および補助フィールドの輝度コ
ンポーネントは、先ず、１.２.１項に記述されるよう
に、空間バンドパス・フィルタで事前調整される。バン
ドパス・フィルタされた輝度サンプルの各々の２ビット
表現が、１.２.２項に記述されるように、単純なしきい
値技術によって作成され、次に、１.２.３項に記述され
るように、排他ＯＲおよび数え上げ演算の組み合わせを
上記２ビット表現に適用することによって、目的関数が
評価される。
【００３３】１.２.１ 粗い運動算定のためのバンドパ
ス・フィルタ 本発明の１つの実施形態において、２つの移動窓パスフ
ィルタの差分を取り出すことによって、単純なバンドパ
ス・フィルタが構築される。具体的に述べれば、y[i,j]
を行iおよび列jにおける所与のフィールドからの輝度サ
ンプルを表すこととすれば、バンドパス・フィルタされ
たピクセルは次の[数４]に従って計算される。
【００３４】
【数４】
【００３５】但し、[数４]において、LxおよびLyは"ロ
ーカル尺度"移動平均窓の幅および高さであり、Wxおよ
びWyは"ワイド尺度"移動平均窓の幅および高さである。
【００３６】これらの４つの次元の各々は２の累乗であ
り、従って、バンドパス・フィルタ操作全体がピクセル
あたり４つの加算、４つの減算および２つのシフト演算
で実施することが可能であるので、尺度演算をシフト演
算に縮減することができる。本発明の特定の実施形態に
おいて、Lx=Ly=4、Wx=32およびWy=16という次元が全般
的運動算定方式の堅固性を最適化することが判明してい
る。注意すべき点であるが、このバンドパス・フィルタ
リング演算は、個々のフィールドにおける高周波数エリ
アジング欠陥と共にフィールド間の明るさ変動に対する
運動算定機能の感度を低下させる。同時に、それは、ゼ
ロ平均を持つピクセルを生成する。この点は、以下の節
で記述される方法に従うピクセルあたり２ビット表現の
生成にとって重要な要件である。
【００３７】１.２.２ 粗い運動算定のための２ビット
・ピクセル表現 本発明の好ましい実施形態において、バンドパス・フィ
ルタリングの後、上記[数４]で表されるフィルタされた
サンプルの各々が２つのビット表現を割り当てられる。
この表現はパラメータTbに基づいている。以下の記述の
便宜上、
【００３８】
【数５】
【００３９】であるとする。最初のビットは、y'[i,j]>
Tbであれば１に、さもなければ０にセットされ、一方、
第２のビットは、y'[i,j]<-Tbであれば1に、さもなけれ
ば０にセットされる。この２ビット表現は、それがy'
[i,j]を３つの異なる様式にのみ量子化するという意味
において若干の冗長性を持つ。しかしながら、この表現
は以下のような重要な特性を持つ。y'1およびy'2に関連
する２ビット表現における対応するビットの排他ＯＲを
とることによって得られる２ビット結果におけるビット
１の総数をο(y'1,y'2)が表すとすれば、ο(y'1,y'2)が
次の[数６]の関係を満たすことを容易に証明することが
できる。
【００４０】
【数６】
【００４１】このように、ο(y'1,y'2)は、y'1とy'2の
間の距離の測定値と解釈することができる。
【００４２】１.２.３ 粗い運動算定目的関数 本発明の目的関数ο(v)は、粗い合致ブロックに位置す
るすべてのピクセル(i,j)に対して２ビット距離測定値
ο(y'r[i,j],y'a[i+vy,j+vx])の合計をとることによっ
て構築される。この粗い合致ブロックは一般にその運動
ブロック自体より大きい。ここで、y'r[i,j]は基準フィ
ールドの行ｉおよび列jにおけるバンドパス・フィルタ
されたサンプルであり、一方、y'a[i,j]は補助フィール
ドの行ｉおよび列jにおけるバンドパス・フィルタされ
たサンプルである。本発明の１つの実施形態において、
粗い合致ブロックは、３２フィールド列対２０フィール
ド行から成り、対象の運動ブロックを取り囲む。
【００４３】１.３ サブピクセル精度への一層の改良 本発明の１つの実施形態において、粗い運動算定サブシ
ステムによって戻されるベクトルの周囲の１フィールド
列および２分の１フィールド行の範囲に対して、２分の
１フィールド列分離および４分の１フィールド行の単位
で増分しながら、従来技術の平均絶対距離法(ＭＡＤ)が
実行される。このサブピクセル精度検索を達成するた
め、基準フィールドだけが一層高い解像度に(すなわち
４倍の垂直解像度および２倍の水平解像度に)補間され
ればよい。補助フィールドは、この運動検索実行に先行
して、カーネル(1/16,4/16,6/16,4/16/,1/16)を用いて
５つのタップ垂直ローパス・フィルタを適用することに
よって事前調整される。このローパス・フィルタリング
は垂直エイリアシングに対する感度を低下させる。
【００４４】２. 各フィールドの両方向補間 ２.１ 方位算定 方位算定の目的は、任意の所与のピクセルの近傍におけ
る画像エッジの方向を識別して、以下の2.2項で記述さ
れるフィールド間垂直補間演算が、エッジを横切らずに
むしろエッジに沿って補間することができるようにする
ことである。エッジ方位の正しい識別に加えて、この算
定機能にとって１つの重要な要件は、結果として生ずる
方位マップが可能な限り円滑であるということである。
方位マップはテクスチャ領域または実際の画像エッジの
近くに存在する円滑領域において広範囲に変動しないこ
とが好ましい。なぜならば、そのような変動が補間の後
に視覚的に幻惑させる人工欠陥として現れる可能性があ
るからである。従って、算定技術の数量的複雑さを制御
することが重要である。
【００４５】方位算定サブシステムは、基準フィールド
の輝度コンポーネントに関して動作する。このフィール
ドにおける「目標」輝度ピクセルの各々に対して、１つ
の方位クラスが選択される。所与の目標行および目標列
に関連する方位クラスは、目標フィールド列と次フィー
ルド列の間および目標フィールド行と次フィールド行の
間にその重心が位置する近傍に観察される支配的特性方
位として解釈されるべきものである。図２において、こ
の重心はパターンＸ２０として示されている。図２は、
また、各目標輝度ピクセルに関連する８方位クラスのセ
ットを示している。それら８方位クラスは次の通りであ
る。 ２２ Ｎ：明確な方位はない。 ２４ Ｖ：９０度(垂直)明確な方位特性。 ２６ Ｖ-：左上から右下へ６３度(垂直に近い線)の明
確な方位特性。 ２８ Ｖ+：右上から左下へ６３度(垂直に近い線)の明
確な方位特性。 ３０ Ｄ-：左上から右下へ４５度(斜線)の明確な方位
特性。 ３２ Ｄ+：右上から左下へ４５度(斜線)の明確な方位
特性。 ３４ Ｏ-：左上から右下へ２７度(斜角)の明確な方位
特性。 ３６ Ｏ+：右上から左下へ２７度(斜角)の明確な方位
特性。 基準フィールドの各輝度ピクセルに関する方位クラス関
係が方位マップを構成する。
【００４６】方位手法は多数のエレメントからなるが、
以下にそれらの詳細をそれぞれ記述する。基本的には、
数値Lcが、明確に方向を持つクラスC∈{V,V-,V+,D-,D+,
O-,O+}の各々に割り当てられる。それらの各々は、ロー
カル方位特性が対応する方位を持って存在するという見
込み値として解釈される。算定される方位クラスは、最
大値Lcを持つ明確な方位クラスCに仮に設定される。
【００４７】選択されたクラスに関する見込み値Lcは、
直角方向に関連する見込み値を表現するL1/cと比較され
る。LcとL1/cの間の差がしきい値より小さければ、方位
クラスは明確な方位のないＮに設定される。直角見込み
値は図３の表から得られる。このようにして得られる方
位マップは、方向補間の間に生成される人工欠陥の数を
最小にする最終的な形態的円滑化演算にかけられる。こ
の円滑化演算は２.１.３項に記述される。
【００４８】方位クラスCの各々毎に見込み値Lcを計算
するため、先ず、Ｃの方向に対してほぼ垂直である方向
に円滑なローパス・フィルタを使用して、輝度ピクセル
が処理される。次に、総変動(ＴＶ)測定値に基づいて、
LcがCの方位と平行する弾道に沿って計算される。変動
が大きいほど、見込み値は小さくなる。７つの方向フィ
ルタリング演算は２.１.１項に、ＴＶ測定値は２.１.２
項にそれぞれ記述される。
【００４９】２.１.１ 輝度フィールドにおける方位づ
けされる事前フィルタリング 最初に、基準フィールドの輝度コンポーネントは、３タ
ップ・カーネル(1/4,1/2,1/4)を用いて垂直ローパス・
フィルタを適用することによって事前調整される。この
事前調整フィルタリングの目的の１つは、評価サブシス
テムに悪影響を及ぼす可能性のある垂直エリアジング欠
陥の影響を減少させることにある。
【００５０】垂直見込み値Lvおよび近垂直見込み値Lv-
ならびにLv+の計算のために事前調整される輝度フィー
ルドを準備するため、図４の(ａ)に示される５タップの
水平ローパス・フィルタが適用される。斜線見込み値LD
-の計算のために事前調整される輝度フィールドを準備
するため、図４の(b)に示される3タップ４２の斜線ロー
パス・フィルタが適用される。図４の(ｃ)に示される3
タップ４４の補正フィルタは補正斜線見込み値LD+の計
算を準備するため使用される。
【００５１】最後に、斜角見込み値Lo-およびLo+の計算
のために事前調整される輝度フィールドを準備するた
め、図４の(ｄ)および(ｅ)に示される近垂直ローパス・
フィルタ４６、４８が適用される。
【００５２】２.１.２ 方向性ＴＶ測定値 方向づけられた方位クラスCの各々毎に、対応する"見込
みなし"値UCのセットを否定することによって、見込み
値LCが見い出される。前述の事前調整および適切な方向
性事前フィルタリングの後、適切な"総変動"測定値を基
準フィールドの輝度コンポーネントに適用することによ
って、方向づけられた方位クラスCの各々毎の"見込みな
し"値が計算される。
【００５３】垂直の見込みなし値は、次の[数７]によっ
て計算される。
【００５４】
【数７】
【００５５】但し、v1、v2、v3およびv4は、事前調整さ
れ、水平に事前フィルタされた輝度フィールドからのピ
クセルの線形結合である。これらの線形結合が図５に示
されている。この計算の重心は、目標フィールド行５０
と次フィールド行５２の間に位置し、目標フィールド列
５４と次フィールド列５６の間に位置している(図２と
一致している)。
【００５６】近垂直の見込みなし値は、次の[数８]およ
び[数９]によって計算される。
【００５７】
【数８】
【００５８】
【数９】
【００５９】但し、v± iは、事前調整され、水平に事前
フィルタされた輝度フィールドからのピクセル値を表わ
す。該当するピクセルが図６の(ａ)および(ｂ)に図示さ
れている。この計算の重心も、方位クラスの定義の要件
と整合するように、目標フィールド行６０および列６２
の下に２分の１フィールド行、右側に２分の１フィール
ド列の位置にある。
【００６０】斜線見込みなし値は、次の[数１０]および
[数１１]に従って計算される。
【００６１】
【数１０】
【００６２】
【数１１】
【００６３】但し、d± iは、事前調整され、斜線に事前
フィルタされた輝度フィールドからの２つのピクセルの
線形結合を表わす。d- iは図４の(ｂ)に示される斜線事
前フィルタを適用することによって形成され、一方、d+
iは図４の(ｃ)に示される斜線事前フィルタを適用する
ことによって形成される。この計算の重心も、方位クラ
スの定義の要件と整合するように、目標フィールド行７
０および列７２の下に２分の１フィールド行、右側に２
分の１フィールド列の位置にある。
【００６４】最後に、斜角見込みなし値は次の[数１２]
および[数１３]に従って計算される。
【００６５】
【数１２】
【００６６】
【数１３】
【００６７】但し、o± iは、事前調整され、斜角に事前
フィルタされた輝度フィールドからの２つのピクセルの
線形結合を表わす。o- iは図４の(ｄ)に示される近垂直
事前フィルタを適用することによって形成され、一方、
o+ iは図４の(ｅ)に示される近垂直事前フィルタを適用
することによって形成される。o- iおよびo+ iを形成する
ために使用されるピクセルおよび重心は図８に示されて
いる。この計算の重心も、方位クラスの定義の要件と整
合するように、目標フィールド行８０および列８２の下
に２分の１フィールド行、右側に２分の１フィールド列
の位置にある。
【００６８】２.１.３ 方位マップの形態的円滑化 形態的円滑化演算子は、その入力として、方位クラス
V、V-、V+、D-、D+、O-またはO+のうちの１つへ基準フ
ィールドの各ピクセルの初期分類を取り、一般により少
ないクラス間変位を持つ新しい分類を生成する。記述を
容易にするため、Cm,nを目標フィールド行m(９０)およ
び目標フィールド列n(９２)に関連する初期方位分類を
表すこととする。円滑化演算子は、図９に示される１４
個の隣接ピクセル９４と共にCm,nを考察することによっ
て潜在的に異なる分類を生成する。この潜在的に異なる
分類は次の数１４のように表記される。
【００６９】
【数１４】
【００７０】円滑化手法に従えば、目標ピクセルの左に
ある６個の隣接ピクセル９６の大多数および目標ピクセ
ルの右にある６個の隣接ピクセル９８の大多数が同じ分
類Cを持たない限り、あるいは、目標ピクセルの上にあ
る５個の隣接ピクセル１００の大多数および目標ピクセ
ルの下にある５個の隣接ピクセル１０２の大多数が同じ
分類Cを持たない限り、上記数１４の値はCm,nに等しく
なければならない。上記２つのケースのいずれにおいて
も、上記数１４の値はCにセットされる。
【００７１】２.２ 補間 本節は、輝度行の数を４倍にしクロミナンス行の数を２
倍にするために使用される方向性補間手法を記述する。
記述を容易にするため、図１０に示されるY4m,nは、フ
ィールド行mおよびフィールド列nにおける輝度ピクセル
を表すものとする。輝度補間の目的は、オリジナルの輝
度行Y4m,n１２０および輝度列Y4m+4,n１２２のあらゆる
ペアの間の３つの新しい輝度行Y4m+1,n、Y4m+2,nおよび
Y4m+3,nを導出することである。同様に、クロミナンス
補間の目的は、オリジナルのクロミナンス行C2m,kおよ
びC2m+2,kのあらゆるペアの間に１つの新しいクロミナ
ンス行C2m+1,kを導出することである。両方のクロミナ
ンス・コンポーネントが同じように処理されなければな
らないという理解の上でクロミナンス・コンポーネント
のうちの１つだけを明示的に言及する。クロミナンス列
を示すため、nではなくむしろkを使用するのは、水平輝
度解像度が水平クロミナンス解像度のわずか４分の１に
すぎないからである。
【００７２】上述のように、Cm,nは、その重心がフィー
ルド行mとm+1の間にある領域と関連したローカル方位ク
ラスを指す。消失輝度サンプルY4m+4,n、Y4m+4,n-1およ
びY4m+4,n+1は、方位Cm,nに関して消失サンプル位置１
２６を通過して描かれる直線１２４に基づいて線形に補
間される。図１０は、Cm,n=V+という近垂直方位クラス
に関するこのプロセスを示している。オリジナルのフィ
ールド行Y4m,n１２０およびY4m+4,n１２２は、方位性補
間線分の終端点１２０上でサンプル値を見いだすように
水平に補間されることが多い点に注意する必要がある。
１つの実施形態にいて、この補間プロセスの間空間周波
数コンテントの損失を最小にするため、式(１)の補間フ
ィルタが使用される。Ｖクラスと同じ垂直補間手法にと
って非方向性方位クラスNはデフォルトとされる。
【００７３】クロミナンス・コンポーネントも同じよう
に取り扱われる。具体的には、消失クロミナンス・サン
プルC2m+1,kは、方位Cm,2kに関して消失サンプル位置を
通過して描かれる直線に基づいて線形に補間される。オ
リジナルのフィールド行C2m,kおよびC2m+2,nも、また、
方位性補間線分の終端点上でサンプル値を見いだすよう
に水平に補間されることが多い。
【００７４】３. 補間フィールドの適応型非静止マージ 本節では、高品質静止画像を生成するため、補助フィー
ルドから基準フィールドへ空間的に補間されたピクセル
をマージする方法が記述される。上記1項において記述
されたように、マージ演算は、図１に示されるオーバー
ラップ運動ブロックの各々に関して独立して実行され
る。オーバーラップする領域内で円滑変位機能を使用し
てこれらオーバーラップする領域からの画像が縫い合わ
せられる。以下の記述は、単一運動ブロックをマージす
るために使用される演算を考察する。単純化のため、こ
の運動ブロックが基準フィールド全体を占めているかの
ようにこれらの演算を記述する。
【００７５】マージ・プロセスは、補助フィールドの各
々毎に単一のサブピクセル精度運動ベクトルによって、
誘導される。最初のステップは、各補助フィールドに関
するマージ・マスクを生成して、この運動ベクトルが、
基準フィールドと関連補助フィールドの間の場面運動を
記述するように考慮されることができる領域を識別す
る。マージ・マスク生成は３.１項に記述される。次の
ステップは、基準および補助フィールドにおいて空間的
に補間されたピクセルの各々に加重を割り当て、マージ
される画像に対する各々の貢献度を識別する。このステ
ップは３.２項に記述される。最後に、３.３項に記述さ
れる迅速技術を使用して、種々のフィールドからのピク
セルの加重平均が作成される。
【００７６】３.１ マージ・マスクの生成 任意の所与の補助フィールドに関するマージ・マスク生
成サブシステムの一般的目的は、補間された基準フィー
ルドではなく、オリジナルの基準フィールドにおける各
ピクセルに対するバイナリのマスク値を決定することで
ある。ある特定のピクセルのためのマスク値は、所与の
補助フィールドに関連する運動ベクトルがそのピクセル
の近傍における基準フィールドと補助フィールドの間の
場面運動を正しく記述するかを識別する。これらのマス
クを生成するための本実施形態の手法は、基準フィール
ドにおける隣接ピクセルと補助フィールドにおける対応
する運動補正されたピクセルの方向的加重平均を計算
し、それらの平均を比較することを含む。この方法の成
功の１つの鍵は、ローカル・ピクセル平均の方向的感度
である。
【００７７】記述を容易にするため、yr[i,j]を基準フ
ィールドにおける行iおよび列jにおける輝度サンプルを
表すこととする。また、ya[i,j]を算定された運動ベク
トルを補正した後の補助フィールドにおける対応するピ
クセルを表すこととする。本実施形態の運動ベクトルが
サブピクセル精度で算定されているので、運動補正はサ
ブピクセル補間を含むかもしれない点に注意する必要が
ある。運動ベクトルがピクセル(i,j)の近くの運動を正
しく記述するとすれば、yr[i,j]およびya[i,j]の周囲の
隣接平均が同様の結果を生むと予想される。１つの関心
は画像エッジに関するもので、後続のフィールド・マー
ジの成功は、エッジ方位に垂直な方向の運動ベクトル精
度に非常に依存する。この関心は、方位マップとして、
２.１項に記述されている。
【００７８】本発明の１つの実施形態において、ピクセ
ル(i,j)に対する方位クラスがNすなわち明確な方位を持
たないという特別のケースにおいてのみ、加重が７タッ
プ水平カーネル(1/2,1,1,1,1,1,1/2)および ５タップ垂直カーネル(1/2,1,1,1,1/2) から形成される非方向性加重平均を当該プロセスは使用
する。この場合、yr[i,j]およびya[i,j]の周囲で形成さ
れる加重平均があらかじめ定められるしきい値以上に異
なっている場合、マージ・マスクmi,jは、この領域にお
ける運動モデルが有効とみなされるべきでないこを標示
するように０にセットされる。
【００７９】すべてのその他の方位クラスに関しては、
基準フィールドおよび補助フィールドは、先ず、 ３タップ水平ローパス・カーネル(1/4,1/2,1/4) を用いてフィルタされ、次に、４つの１次元加重平均ρ
[i,j]、α1[i,j]、α2[i,j]およびα3[i,j]が計算され
る。 加重値(1/2,1,1,1,1/2) を使用してピクセル(i,j)に関する方位クラスによって
識別される方向に向かう線分に沿ってこれらの加重平均
の各々はとられる。
【００８０】ρ[i,j]を形成するために使用される方位
づけされた線分は、基準フィールドのピクセル(i,j)を
通過する。同様に、α2[i,j]を形成するために使用され
る線分は、補助フィールドのピクセル(i,j)を通過す
る。α1[i,j]およびα2[i,j]のための線分は、補助フィ
ールドにおけるピクセル(i,j)のいずれかの側に位置す
る中心を持ち、必要に応じて、方位クラスによって識別
される方向に対して垂直方向に約２分の１フィールド行
または１フィールド列だけ変位される。かくして、方位
クラスが一様に垂直な領域では、結果はα1[i,j]=α
2[i,j-1]=α3[i,j-2]となる。一方、方位クラスが一様
に斜角すなわちO-またはO+の領域では、水平平均α1[i,
j]はα2[i,j]およびα2[i,j-1]の算術平均にほぼ等しく
なければならない。これらの方向性平均値から、次の
[数１５]のような３つの絶対差が作り上げられる。
【００８１】
【数１５】
【００８２】k=2に関する[数１５]の値があらかじめ定
められたしきい値を越えれば、ピクセル(i,j)の近傍で
運動ベクトルは場面運動を示してないと結論づけられ、
mi,jはゼロにセットされる。そうでない場合、運動ベク
トルはほぼ正確であると結論づけられるが、プロセス
は、エッジ特性の品質を改善する上でマージ・フィール
ドが十分に正確であるか否か更に検査しなければならな
い。小さい運動誤差が一般的には上記[数１５]のkが1お
よび2の両方の絶対差ではなく１つがk=2の場合の値より
小さくさせるので、プロセスが、この条件を検査して、
真であると判明する時は必ずmi,jをゼロにセットする。
【００８３】３.２ 空間的加重係数の生成 マージ・サブシステムは、各フィールドから取り出され
方向補間されたピクセルの間の加重平均を作成する。本
節は、適切な加重を決定する方法を記述する。大部分の
空間情報が輝度経路で搬送されるので、クロミナンスお
よび輝度コンポーネントは基本的に異なる方法で取り扱
われる。基準フィールドのすべてのクロミナンス・サン
プルは１という重さを割り当てられるが、補助フィール
ドからのクロミナンス・サンプルは、該当補助フィール
ドに関するマージ・マスクの値に従って、１または０の
いずれかを割り当てられる。このように、クロミナンス
・コンポーネントは、運動ベクトルが基礎をなす場面運
動を反映しない領域を除いてすべてのフィールドにわた
って単純に平均される。これはクロミナンス・ノイズを
大幅に減少させる効果を持つ。更に、大部分の場面が少
くともなんらかのフィールド間運動を含むという事実
は、クロミナンス・コンポーネントのフィールド平均化
が、単一ＣＣＤビデオ・カメラにおいて使用されるカラ
ー・モザイクを持つ場面特性の調和のとれた鼓動から発
生するカラー・エリアジング欠陥を除去する傾向を持つ
ことを意味する。
【００８４】同様の手法を輝度コンポーネントのマージ
に採用することができるが、空間周波数コンテントの改
善に関して制約が存在する。方向的空間補間技術が、方
向を持つエッジの特性である空間周波数コンテントを改
善することができるけれども、テキスチャ領域の解像度
強化は複数フィールドからの情報に完全に依存する。利
用できるフィールドの数が非常に大きくなるという制約
の中で、補間されたフィールドの単純な平均化は、場面
におけるオリジナルの空間周波数をその衝撃反応が空間
的補間カーネルに同一であるローパス・フィルタに委ね
る効果を持つ。"理想的"sinc補間回路が各フィールドに
おける消失行を垂直的に補間するため使用されるなら
ば、単一フィルードに関するナイキスト(Nyquist)限度
を越える垂直周波数コンテントを持たない画像が生成さ
れる。
【００８５】本発明の実施例において、マージの前に、
消失フィールド行を補間するため線形補間が使用され、
その平均化プロセスがエリアジング欠陥を除去する傾向
を持つ。エリアジングを除去し、輝度コンポーネントに
おけるノイズを減少させる一方で高い空間周波数を保持
するため、空間可変加重機能を採用することができる。
具体的に述べれば、任意の所与の補助フィールドにおけ
る各輝度サンプルは、それが当該フィールドのオリジナ
ルのピクセルに対応していれば、２という加重を割り当
てられ、それがオリジナル・ピクセルから１補間行(す
なわち４分の１フィールド行)の範囲内に位置していれ
ば、１という加重を割り当てられ、それ以外は０を割り
当てられる。関連マージ・マスクが０であれば、サンプ
ルとオリジナルのフィールド・サンプルの間の距離に関
係なく、プロセスはゼロを割り当てる。基準フィールド
輝度サンプルも同じ方法で加重されるが、ただし、この
場合、マージされる画像のあらゆるサンプルに対して少
くとも１つの非ゼ加重が存在するようにするため、すべ
てのサンプルは少なくとも１という加重が割り当てられ
る。この加重手法は、単純な均一加重で平均することに
比較して一層厳しいローパス・フィルタに垂直周波数を
委ねるという効果を持つ。
【００８６】３.３ 迅速加重平均実施方法 本節は、基準および補助フィールドの補間されたサンプ
ル値の加重平均を実施するために使用される効率的方法
を記述する。同じ技術は輝度およびクロミナンス・サン
プルの両方に使用されることができる。記述を容易にす
るため、v1,v2,v3,...vFが、最終的画像において単一輝
度またはクロミナンス・サンプルを形成するためF個の
フィールドの各々からマージされるべきサンプル値を表
し、w1,w2,w3,...wFが、上記3.2項の記述に従って０，
１または２という値を取る対応する加重値を表すことと
する。所望の加重平均は、次の[数１６]として計算され
る。
【００８７】
【数１６】
【００８８】この式は、高価な除算演算を含む。この問
題を解決するため、本発明の１つの実施形態において、
プロセスは、各サンプル毎に下記[数１７]のように表記
される単一１６ビット・ワードを構築する。
【００８９】
【数１７】
【００９０】このワードの下位９ビットは加重サンプル
値vf・wfを含み、次の３ビットはゼロにセットされ、上
位４ビットは加重値wfを含む。次に、下記[数１８]のよ
うに総和を作成することによって加重平均が実施され、
216個のエントリを持つルックアップ・テーブルへのイ
ンデックスとしてこの総和が使用される。
【００９１】
【数１８】
【００９２】この手法は、フィールドの数(F)が８を上
回らない限り、効果的である。この条件に従えば、上記
総和の下位１２ビットは加重サンプル値の合計を保持
し、上位４ビットか加重値の総和を保持するので、テー
ブル・ルックアップ演算は、加重平均を十分復元するこ
とができる。
【００９３】４. 性能 以上記述した複数フィールド強化システムは、多数の演
算を含むように見えるかもしれないが、効率的実施が汎
用コンピュータの計算またはメモリ資源に対して過大な
要求を行う必要はない点留意されるべきであろう。なぜ
ならば、前述された種々のサブシステムを実施するため
に必要とされ、生成される多数の中間的結果は行から行
への処理の過程で逐次破棄することが可能である。更
に、そのような中間結果は、異なるサブシステムの間で
共用することが可能である。フィルタ係数および次元の
ような多くのパラメータは実施効率の観点から選択され
ている。例をあげれば、各々が２４０行および６４０列
を持つ４つのフル・カラー・ビデオ・フィールドを処理
するため、システムは、わずか１.１ＭＢの記憶容量を
必要とする(その大半の０.９２ＭＢはソース・フィール
ド自体の記憶に使用される)。これらの４つのフィール
ドの処理は、例えば９９ＭＨｚで動作するＨＰシリーズ
７３５ワークステーションの上では約８秒のＣＰＵ時間
を必要とする。２００ＭＨｚペンティアム・プロセッサ
を持つＰＣ上では、同じ演算が必要とするＣＰＵ時間は
４秒未満である。本発明の複数フィールド処理システム
は、従来の単一フィールド強化手法またはインターレー
ス解除手法に比較して顕著に高い静止画像品質を達成す
ることが観察されている。更に、本システムは、単純な
カメラ亜面の歪みから場面オブジェクトの一層複雑な運
動まで、広範囲にわたるフィールド間運動に対して強力
である。
【００９４】本発明には、例として次のような実施様態
が含まれる。 （１）ピクセルを有する複数ビデオ・フィールドからの
情報を強化された静止画像に結合する方法であって、基
準フィールドの役目を果たす少くとも１つのフィールド
を選択するステップ(a)と、残りのフィールドを補助フ
ィールドの役目を果たすフィールドとして使用するステ
ップ(b)と、基準フィールドを方向的に補間するために
使用されるべき方位マップを構築するステップ(c)と、
基準フィールドの特性と対応する補助フィールドの特性
の間のローカル変位をモデル化するため運動マップを構
築するステップ(d)と、運動マップを使用して、補助フ
ィールドの各々に関する方位マップを基準フィールドの
方位マップから直接推量するステップ(e)と、補助フィ
ールドの方位マップを使用して、補間された基準フィー
ルドと同じ解像度に補助フィールドを方向的に補間する
ステップ(f)と、特定のピクセルを除外するため各補助
フィールド毎のマージ・マスクを決定するステップ(g)
と、基準フィールド・ピクセルおよびマスクされなかっ
た補助フィールド・ピクセルから加重平均画像を作成す
るステップ(h)と、加重平均画像を水平に補間して、強
化された静止画像を作成するステップ(i)と、を含む画
像情報結合方法。
【００９５】（２）上記諸ステップがビデオ・フィール
ドの輝度コンポーネントに適用される、上記（１）に記
載の画像情報結合方法。 （３）上記諸ステップがビデオ・フィールドのクロミナ
ンス・コンポーネントに適用される、上記（１）に記載
の画像情報結合方法。 （４）上記諸ステップが、対応する輝度コンポーネント
より比較的少ない空間周波数コンテントを持つクロミナ
ンス・コンポーネントに対して実行される、上記（３）
に記載の画像情報結合方法。 （５）上記ステップ(d)における運動マップが、方向的
に補間された基準フィールドを使用して、垂直方向にお
いてサブピクセル４分の１ピクセル精度および水平方向
において２分の１ピクセル精度に計算される、上記
（１）に記載の画像情報結合方法。
【００９６】（６）上記ステップ(e)が各フィールド毎
に別々に方位マップを計算するステップと置き換えられ
る、上記（１）に記載の画像情報結合方法。 （７）上記ステップ(g)における特定ピクセルが、運動
マップが基準フィールドと補助フィールドの間の関係を
正しくモデル化することができないような領域に対応し
ているものである、上記（１）に記載の画像情報結合方
法。 （８）上記加重平均ステップ(h)において作成される画
像を鮮明にする事後処理演算ステップを更に含む、上記
（１）に記載の画像情報結合方法。 （９）上記水平補間ステップ(i)が２という水平補間係
数を含む、上記（１）に記載の画像情報結合方法。
【００９７】（１０）ピクセルを有する複数ビデオ・フ
ィールドからの情報を強化された静止画像に結合するシ
ステムであって、基準フィールドの役目を果たす少くと
も１つのフィールドを選択し、残りのフィールドを補助
フィールドの役目を果たすフィールドとして使用する選
択手段(a)と、基準フィールドを方向的に補間するため
に使用されるべき方位マップを構築し(i)、基準フィー
ルドの特性と対応する補助フィールドの特性の間のロー
カル変位をモデル化するため運動マップを構築し(ii)、
運動マップを使用して、補助フィールドの各々に関する
方位マップを基準フィールドの方位マップから直接推量
する(iii)マップ作成手段(b)と、補助フィールドの方位
マップを使用して、補間された基準フィールドと同じ解
像度に補助フィールドを方向的に補間する補間手段(c)
と、特定のピクセルを除外するため各補助フィールド毎
のマージ・マスクを決定するマスク手段(d)と、基準フ
ィールド・ピクセルおよびマスクされなかった補助フィ
ールド・ピクセルから加重平均画像を作成する平均化手
段(e)と、加重平均画像を水平に補間して、強化された
静止画像を作成する補間手段(f)と、を含む画像情報結
合システム。
【００９８】（１１）２つのビデオ・フィールドの間の
運動を効率的に算定するシステムであって、フィールド
の各々をバンドパス・フィルタする手段(a)と、バンド
パス・フィルタされたフィールドにおける各サンプルの
２ビット表現を取得する手段(b)と、ピクセル単位精度
の初期粗い運動算定を決定するため、２つのフィールド
から相対的に変位された領域に関連する２ビット表現を
比較する手段(c)と、初期粗い運動算定をサブピクセル
単位精度に精錬する手段(d)と、を備えるシステム。 （１２）フィールドがフレームを含む、上記（１１）に
記載のシステム。 （１３）バンドパス・フィルタ手段(a)が、２つの移動
平均の間の差をとることによって達成される、上記（１
１）に記載のシステム。
【００９９】（１４）移動平均が異なる窓サイズを持
つ、上記（１３）に記載のシステム。 （１５）バンドパス・フィルタ・サンプルが、正のしき
い値を上回るか、負のしきい値いかになるか、あるいは
正と負のしきい値の間となるかに従って、２ビット表現
(b)が３つの状態を含む、上記（１１）に記載のシステ
ム。 （１６）２つの異なるバンドパス・フィルタされたサン
プルに関する２ビット表現が、論理的排他ＯＲ演算子を
２ビット・ワードのペアに適用し、結果として生ずる２
ビット値における１の数を数えることによって上記手段
(c)において比較される２ビット・ワードである、上記
（１１）に記載のシステム。
【０１００】
【発明の効果】本発明は、複数のビデオ・フィールドか
ら高品質静止画像を効率的に作成すると共に、ノイズの
みならず、輝度ならびにカラーのエリアジング欠陥を減
少させる効果を奏する。
【図面の簡単な説明】
【図１】運動算定およびフィールド・マージを示すブロ
ック図である。
【図２】図２は、８つの方位クラスおよびそれらの目標
輝度ピクセルに対する関係を示すブロック図である。
【図３】方位クラスの各々に対する見込み値を示す図表
である。
【図４】方位クラス見込み値の計算を準備するため事前
条件付けされた基準フィールドの輝度コンポーネントに
適用される方向性ローパス・フィルタを示すブロック図
である。
【図５】垂直見込み値を作成するために使用される水平
に事前フィルタされた輝度ピクセルの中間線形結合を示
すブロック図である。
【図６】近垂直見込み値を形成するために使用される水
平に事前フィルタされた輝度ピクセルの中間線形結合を
示すブロック図である。
【図７】斜線見込み値を形成するために使用される斜線
方向に事前フィルタされた輝度ピクセルの中間線形結合
せを示すブロック図である。
【図８】斜角見込み値を形成するために使用される斜角
方向に事前フィルタされた輝度ピクセルの中間線形結合
を示すブロック図である。
【図９】目標ピクセルに関連する円滑化方位クラスを形
成するために使用される隣接クラス値を示すブロック図
である。
【図１０】消失輝度サンプルを復元する線形方向性補間
法の１例を示すブロック図である。
【符号の説明】
１０ 基準フィールドの非オーバーラップ・ブロック １２ 運動ブロック １４ オーバーラップ運動ブロック行 １６ オーバーラップ運動ブロック列

Claims (1)

    【特許請求の範囲】
  1. 【請求項１】ピクセルを有する複数ビデオ・フィールド
    からの情報を強化された静止画像に結合する方法であっ
    て、 基準フィールドの役目を果たす少くとも１つのフィール
    ドを選択するステップと、 残りのフィールドを補助フィールドの役目を果たすフィ
    ールドとして使用するステップと、 基準フィールドを方向的に補間するために使用されるべ
    き方位マップを構築するステップと、 基準フィールドの特性と対応する補助フィールドの特性
    の間のローカル変位をモデル化するため運動マップを構
    築するステップと、 運動マップを使用して、補助フィールドの各々に関する
    方位マップを基準フィールドの方位マップから直接推量
    するステップと、 補助フィールドの方位マップを使用して、補間された基
    準フィールドと同じ解像度に補助フィールドを方向的に
    補間するステップと、 特定のピクセルを除外するため各補助フィールド毎のマ
    ージ・マスクを決定するステップと、 基準フィールド・ピクセルおよびマスクされなかった補
    助フィールド・ピクセルから加重平均画像を作成するス
    テップと、 加重平均画像を水平に補間して、強化された静止画像を
    作成するステップと、を含む画像情報結合方法。
JP11008923A 1998-01-22 1999-01-18 画像情報結合方法 Withdrawn JPH11284834A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US010803 1998-01-22
US09/010,803 US6122017A (en) 1998-01-22 1998-01-22 Method for providing motion-compensated multi-field enhancement of still images from video

Publications (2)

Publication Number Publication Date
JPH11284834A true JPH11284834A (ja) 1999-10-15
JPH11284834A5 JPH11284834A5 (ja) 2005-08-18

Family

ID=21747507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11008923A Withdrawn JPH11284834A (ja) 1998-01-22 1999-01-18 画像情報結合方法

Country Status (4)

Country Link
US (2) US6122017A (ja)
EP (2) EP1296515A3 (ja)
JP (1) JPH11284834A (ja)
DE (1) DE69812882T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492396B2 (en) 2003-12-22 2009-02-17 Samsung Electronics Co., Ltd Digital image processing apparatus and method thereof

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19730305A1 (de) * 1997-07-15 1999-01-21 Bosch Gmbh Robert Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion
DE19746214A1 (de) * 1997-10-21 1999-04-22 Bosch Gmbh Robert Verfahren zur bewegungskompensierenden Prädiktion von Bewegtbildfolgen
US6122017A (en) * 1998-01-22 2000-09-19 Hewlett-Packard Company Method for providing motion-compensated multi-field enhancement of still images from video
JP3734362B2 (ja) * 1998-03-09 2006-01-11 パイオニア株式会社 補間方法
US7067473B1 (en) * 1998-07-14 2006-06-27 Janssen Pharmaceutica N.V. Neurotrophic growth factor
US6778758B1 (en) * 1998-09-11 2004-08-17 Canon Kabushiki Kaisha Image processing apparatus
US6983018B1 (en) 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6731790B1 (en) * 1999-10-19 2004-05-04 Agfa-Gevaert Method of enhancing color images
DE60010524T2 (de) * 2000-01-28 2004-09-23 Fujitsu General Ltd., Kawasaki Scanning-umsetzschaltung
JP4779282B2 (ja) * 2000-03-30 2011-09-28 ソニー株式会社 情報処理装置
US6414719B1 (en) * 2000-05-26 2002-07-02 Sarnoff Corporation Motion adaptive median filter for interlace to progressive scan conversion
US6804392B1 (en) * 2000-10-16 2004-10-12 Eastman Kodak Company Removing color aliasing artifacts from color digital images
US7095445B2 (en) * 2000-12-20 2006-08-22 Samsung Electronics Co., Ltd. Method of detecting motion in an interlaced video sequence based on logical operation on linearly scaled motion information and motion detection apparatus
US20020094026A1 (en) * 2001-01-12 2002-07-18 Edelson Steven D. Video super-frame display system
US7088467B1 (en) * 2001-07-06 2006-08-08 Hewlett-Packard Development Company, L.P. Digital video imaging with high-resolution still imaging capability
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US20030059089A1 (en) * 2001-09-25 2003-03-27 Quinlan James E. Block matching at the fractional pixel level for motion estimation
US7630566B2 (en) * 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
US7711044B1 (en) 2001-10-29 2010-05-04 Trident Microsystems (Far East) Ltd. Noise reduction systems and methods
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7379501B2 (en) 2002-01-14 2008-05-27 Nokia Corporation Differential coding of interpolation filters
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US7116831B2 (en) * 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7110459B2 (en) * 2002-04-10 2006-09-19 Microsoft Corporation Approximate bicubic filter
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US8384790B2 (en) * 2002-08-20 2013-02-26 Hewlett-Packard Development Company, L.P. Video image enhancement method and apparatus using reference and auxiliary frames
US7729563B2 (en) 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US7027143B1 (en) 2002-10-15 2006-04-11 Kla-Tencor Technologies Corp. Methods and systems for inspecting reticles using aerial imaging at off-stepper wavelengths
US7379175B1 (en) 2002-10-15 2008-05-27 Kla-Tencor Technologies Corp. Methods and systems for reticle inspection and defect review using aerial imaging
US7123356B1 (en) 2002-10-15 2006-10-17 Kla-Tencor Technologies Corp. Methods and systems for inspecting reticles using aerial imaging and die-to-database detection
US7120195B2 (en) * 2002-10-28 2006-10-10 Hewlett-Packard Development Company, L.P. System and method for estimating motion between images
JP2004336717A (ja) * 2003-04-15 2004-11-25 Seiko Epson Corp 低画質の複数の画像から高画質な画像を合成する画像合成
US7499081B2 (en) * 2003-04-30 2009-03-03 Hewlett-Packard Development Company, L.P. Digital video imaging devices and methods of processing image data of different moments in time
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US9160897B2 (en) * 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US7672528B2 (en) * 2003-06-26 2010-03-02 Eastman Kodak Company Method of processing an image to form an image pyramid
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8698924B2 (en) 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7636486B2 (en) 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US7432979B2 (en) * 2003-09-03 2008-10-07 Sony Corporation Interlaced to progressive scan image conversion
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7623574B2 (en) 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7620106B2 (en) 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7616692B2 (en) 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7577200B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US20050157949A1 (en) * 2003-09-30 2005-07-21 Seiji Aiso Generation of still image
JP4461937B2 (ja) * 2003-09-30 2010-05-12 セイコーエプソン株式会社 低解像度の複数の画像に基づく高解像度の画像の生成
US7526025B2 (en) * 2003-10-24 2009-04-28 Sony Corporation Lifting-based implementations of orthonormal spatio-temporal transformations
US20050117639A1 (en) * 2003-10-24 2005-06-02 Turaga Deepak S. Optimal spatio-temporal transformations for reduction of quantization noise propagation effects
JP4286124B2 (ja) * 2003-12-22 2009-06-24 三洋電機株式会社 画像信号処理装置
US7362376B2 (en) * 2003-12-23 2008-04-22 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
WO2005073807A1 (en) 2004-01-29 2005-08-11 Kla-Tencor Technologies Corporation Computer-implemented methods for detecting defects in reticle design data
US20050168589A1 (en) * 2004-01-30 2005-08-04 D. Amnon Silverstein Method and system for processing an image with an image-capturing device
US7529423B2 (en) * 2004-03-26 2009-05-05 Intel Corporation SIMD four-pixel average instruction for imaging and video applications
DE102004026782A1 (de) * 2004-06-02 2005-12-29 Infineon Technologies Ag Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element
US7653260B2 (en) * 2004-06-17 2010-01-26 Carl Zeis MicroImaging GmbH System and method of registering field of view
EP1631068A3 (en) * 2004-08-26 2008-09-03 Samsung Electronics Co., Ltd. Apparatus and method for converting interlaced image into progressive image
JP4904034B2 (ja) 2004-09-14 2012-03-28 ケーエルエー−テンカー コーポレイション レチクル・レイアウト・データを評価するための方法、システム及び搬送媒体
US7639888B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US20060291751A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution)
US7542095B2 (en) * 2005-01-20 2009-06-02 Samsung Electronics Co., Ltd. Method and system of noise-adaptive motion detection in an interlaced video sequence
JP4736456B2 (ja) * 2005-02-15 2011-07-27 株式会社日立製作所 走査線補間装置、映像表示装置、映像信号処理装置
US7321400B1 (en) * 2005-02-22 2008-01-22 Kolorific, Inc. Method and apparatus for adaptive image data interpolation
US7634152B2 (en) 2005-03-07 2009-12-15 Hewlett-Packard Development Company, L.P. System and method for correcting image vignetting
US7522220B2 (en) * 2005-03-30 2009-04-21 Samsung Electronics Co., Ltd. Dual-channel adaptive 2D noise reduction for video signals
US20060285597A1 (en) * 2005-06-20 2006-12-21 Flextronics International Usa, Inc. Reusing interpolated values in advanced video encoders
CN2804798Y (zh) * 2005-06-21 2006-08-09 吴东明 一种带磁性装置的水平尺
US7209577B2 (en) 2005-07-14 2007-04-24 Logitech Europe S.A. Facial feature-localized and global real-time video morphing
US7769225B2 (en) 2005-08-02 2010-08-03 Kla-Tencor Technologies Corp. Methods and systems for detecting defects in a reticle design pattern
US7538824B1 (en) * 2005-08-18 2009-05-26 Magnum Semiconductor, Inc. Systems and methods for reducing noise during video deinterlacing
US8041103B2 (en) 2005-11-18 2011-10-18 Kla-Tencor Technologies Corp. Methods and systems for determining a position of inspection data in design data space
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7970239B2 (en) * 2006-01-19 2011-06-28 Qualcomm Incorporated Hand jitter reduction compensating for rotational motion
US8120658B2 (en) * 2006-01-19 2012-02-21 Qualcomm Incorporated Hand jitter reduction system for cameras
US8019179B2 (en) * 2006-01-19 2011-09-13 Qualcomm Incorporated Hand jitter reduction for compensating for linear displacement
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
GB2439119B (en) * 2006-06-12 2011-04-20 Tandberg Television Asa Motion estimator
FR2906093A1 (fr) * 2006-09-18 2008-03-21 Canon Kk Procedes et dispositifs de codage et de decodage, systeme de telecommunication et programme d'ordinateur les mettant en oeuvre
WO2008077100A2 (en) 2006-12-19 2008-06-26 Kla-Tencor Corporation Systems and methods for creating inspection recipes
WO2008086282A2 (en) 2007-01-05 2008-07-17 Kla-Tencor Corporation Methods and systems for using electrical information for a device being fabricated on a wafer to perform one or more defect-related functions
US8189061B1 (en) 2007-03-21 2012-05-29 Ambarella, Inc. Digital still camera with multiple frames combined into a single frame for digital anti-shake/anti-blur
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
US7738093B2 (en) 2007-05-07 2010-06-15 Kla-Tencor Corp. Methods for detecting and classifying defects on a reticle
US7962863B2 (en) 2007-05-07 2011-06-14 Kla-Tencor Corp. Computer-implemented methods, systems, and computer-readable media for determining a model for predicting printability of reticle features on a wafer
US8213704B2 (en) 2007-05-09 2012-07-03 Kla-Tencor Corp. Methods and systems for detecting defects in a reticle design pattern
US20080309770A1 (en) * 2007-06-18 2008-12-18 Fotonation Vision Limited Method and apparatus for simulating a camera panning effect
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US7796804B2 (en) * 2007-07-20 2010-09-14 Kla-Tencor Corp. Methods for generating a standard reference die for use in a die to standard reference die inspection and methods for inspecting a wafer
US7711514B2 (en) 2007-08-10 2010-05-04 Kla-Tencor Technologies Corp. Computer-implemented methods, carrier media, and systems for generating a metrology sampling plan
TWI469235B (zh) 2007-08-20 2015-01-11 Kla Tencor Corp 決定實際缺陷是潛在系統性缺陷或潛在隨機缺陷之由電腦實施之方法
FR2925200A1 (fr) * 2007-12-13 2009-06-19 Thomson Licensing Sas Procede de conversion de format d'image video et dispositif correspondant
US8139844B2 (en) 2008-04-14 2012-03-20 Kla-Tencor Corp. Methods and systems for determining a defect criticality index for defects on wafers
KR101729669B1 (ko) 2008-07-28 2017-04-24 케이엘에이-텐코어 코오포레이션 웨이퍼 상의 메모리 디바이스 영역에서 검출된 결함들을 분류하기 위한 컴퓨터-구현 방법들, 컴퓨터-판독 가능 매체, 및 시스템들
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8775101B2 (en) 2009-02-13 2014-07-08 Kla-Tencor Corp. Detecting defects on a wafer
US8204297B1 (en) 2009-02-27 2012-06-19 Kla-Tencor Corp. Methods and systems for classifying defects detected on a reticle
US8112241B2 (en) 2009-03-13 2012-02-07 Kla-Tencor Corp. Methods and systems for generating an inspection process for a wafer
US8571355B2 (en) * 2009-08-13 2013-10-29 Samsung Electronics Co., Ltd. Method and apparatus for reconstructing a high-resolution image by using multi-layer low-resolution images
US8781781B2 (en) 2010-07-30 2014-07-15 Kla-Tencor Corp. Dynamic care areas
TWI471010B (zh) * 2010-12-30 2015-01-21 晨星半導體股份有限公司 一種具有移動補償的解交錯影像處理裝置及其相關方法
US9170211B2 (en) 2011-03-25 2015-10-27 Kla-Tencor Corp. Design-based inspection using repeating structures
US9087367B2 (en) 2011-09-13 2015-07-21 Kla-Tencor Corp. Determining design coordinates for wafer defects
US8831334B2 (en) 2012-01-20 2014-09-09 Kla-Tencor Corp. Segmentation for wafer inspection
US8826200B2 (en) 2012-05-25 2014-09-02 Kla-Tencor Corp. Alteration for wafer inspection
US9189844B2 (en) 2012-10-15 2015-11-17 Kla-Tencor Corp. Detecting defects on a wafer using defect-specific information
US9053527B2 (en) 2013-01-02 2015-06-09 Kla-Tencor Corp. Detecting defects on a wafer
US9134254B2 (en) 2013-01-07 2015-09-15 Kla-Tencor Corp. Determining a position of inspection system output in design data space
US9311698B2 (en) 2013-01-09 2016-04-12 Kla-Tencor Corp. Detecting defects on a wafer using template image matching
US9092846B2 (en) 2013-02-01 2015-07-28 Kla-Tencor Corp. Detecting defects on a wafer using defect-specific and multi-channel information
US9865512B2 (en) 2013-04-08 2018-01-09 Kla-Tencor Corp. Dynamic design attributes for wafer inspection
US9310320B2 (en) 2013-04-15 2016-04-12 Kla-Tencor Corp. Based sampling and binning for yield critical defects
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
CN105701772B (zh) * 2014-11-28 2019-07-23 展讯通信（上海）有限公司 一种图像后处理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0294960B1 (en) * 1987-06-09 1994-09-28 Sony Corporation Motion vector processing in television images
JPH01138858A (ja) * 1987-11-26 1989-05-31 Matsushita Electric Ind Co Ltd 画像処理方法
JPH01138859A (ja) * 1987-11-26 1989-05-31 Matsushita Electric Ind Co Ltd 画像処理方法
JP2811909B2 (ja) * 1990-04-27 1998-10-15 キヤノン株式会社 画像処理装置
EP0474285B1 (en) * 1990-09-03 1996-05-08 Koninklijke Philips Electronics N.V. Edge direction detector for image processing video systems
US5191413A (en) * 1990-11-01 1993-03-02 International Business Machines System and method for eliminating interlace motion artifacts in captured digital video data
JP2611591B2 (ja) * 1991-10-31 1997-05-21 日本ビクター株式会社 動き補償装置
US5185664A (en) * 1991-10-31 1993-02-09 North American Philips Corporation Method and apparatus for combining field and frame recursive noise reduction for video signals
US5657402A (en) * 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5309243A (en) * 1992-06-10 1994-05-03 Eastman Kodak Company Method and apparatus for extending the dynamic range of an electronic imaging system
US5341174A (en) * 1992-08-17 1994-08-23 Wright State University Motion compensated resolution conversion system
US5642170A (en) * 1993-10-11 1997-06-24 Thomson Consumer Electronics, S.A. Method and apparatus for motion compensated interpolation of intermediate fields or frames
EP0648046B1 (en) * 1993-10-11 1999-12-22 THOMSON multimedia Method and apparatus for motion compensated interpolation of intermediate fields or frames
DE4344924A1 (de) * 1993-12-30 1995-08-10 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Bewegungsschätzung
FR2717648B1 (fr) * 1994-03-16 1996-05-15 France Telecom Procédé et dispostif d'estimation de mouvement entre images de télévision d'une séquence d'images.
GB2297450B (en) * 1995-01-18 1999-03-10 Sony Uk Ltd Video processing method and apparatus
US5579054A (en) * 1995-04-21 1996-11-26 Eastman Kodak Company System and method for creating high-quality stills from interlaced video
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
MY117289A (en) * 1996-01-17 2004-06-30 Sharp Kk Image data interpolating apparatus
US5784115A (en) * 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6122017A (en) * 1998-01-22 2000-09-19 Hewlett-Packard Company Method for providing motion-compensated multi-field enhancement of still images from video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492396B2 (en) 2003-12-22 2009-02-17 Samsung Electronics Co., Ltd Digital image processing apparatus and method thereof

Also Published As

Publication number Publication date
US6122017A (en) 2000-09-19
EP1296515A2 (en) 2003-03-26
US6381279B1 (en) 2002-04-30
EP1296515A3 (en) 2003-04-02
EP0944251B1 (en) 2003-04-02
DE69812882T2 (de) 2004-02-05
EP0944251A1 (en) 1999-09-22
DE69812882D1 (de) 2003-05-08

Similar Documents

Publication Publication Date Title
JPH11284834A (ja) 画像情報結合方法
US7406208B2 (en) Edge enhancement process and system
CN110324664B (zh) 一种基于神经网络的视频补帧方法及其模型的训练方法
JP4352371B2 (ja) 適応モザイク減少法を実装するディジタル画像処理方法
US8208565B2 (en) Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using temporal filtering
JP4162621B2 (ja) フレームレート変換時のフレーム補間方法およびその装置
US8498498B2 (en) Apparatus and method of obtaining high resolution image
EP2330817B1 (en) Video signal converting system
US20120269457A1 (en) Method for Synthesizing a Virtual Image from a Reduced Resolution Depth Image
US20040001705A1 (en) Video processing system and method for automatic enhancement of digital video
JPH08186714A (ja) 画像データのノイズ除去方法及びその装置
CN104683783B (zh) 一种自适应深度图滤波方法
US20080008243A1 (en) Method and apparatus for frame interpolation
JPH10336668A (ja) 動きベクトル検出装置
KR20020053014A (ko) 데이터 처리 방법
He et al. Spatio-temporal saliency-based motion vector refinement for frame rate up-conversion
Zhang et al. Nonlocal edge-directed interpolation
CN115760903A (zh) 图像运动区域的定位方法、装置、存储介质及终端
CN103258318B (zh) 一种图像降噪处理方法及系统
EP0654941A2 (en) Motion detection circuit and method using spatial information
RU2310911C1 (ru) Способ интерполяции изображений
US7085427B2 (en) Image filter processing apparatus and method
JP3318248B2 (ja) 画質改善装置及び記録媒体
JP2005521310A (ja) ビデオ信号後処理方法
CN116962698B (zh) 一种高压缩率的图像压缩及解压缩方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050202

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070326