JPH08214317A - 後処理で順次のビデオフィールドの適応的かつ全体的な動き補正されたデインターレース方法及び装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 推定全体フィールド間変位を用いた全体の動
き補正の精度に基づき全体的な動き補正した補間と空間
補間との間の切り替えをする適応補間を用いインターレ
ースしたビデオ信号の複数のフィールドから順次スキャ
ンし、又はデインターレースした画像フレームを得るメ
カニズム。 【解決手段】 複数の順次のインターレースした画像フ
ィールドから選択した１つを処理し、該選択した画像フ
ィールド間の全体的な並進運動の動きベクトル推定を形
成する。動き補正の精度マップは全体的な動きベクトル
推定により形成される。適応的デインターレース器は精
度マップにより画像フィールドの１つを選択的にデイン
ターレースする。該画像フィールドはデインターレース
した画像フィールドの１以上の画像領域内で正確な全体
的な動きベクトル推定の誤った分類の結果デインターレ
ースした画像フィールド内に現れるジャッダーアーティ
ファクトの除去用に後処理する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像信号処理に関
し、さらに詳細には推定された全体のフィールド間変位
を用いた全体の動き補正の精度に基づいて全体的な動き
補正された補間と空間補間との間の切り替えをする適応
補間を用いてインターレースされたビデオ信号の複数の
フィールドから順次スキャンされ、又はデインターレー
スされた画像フレームを得るメカニズムに関する。

【０００２】

【従来の技術】高品質にプログレッシブ又は順次のライ
ン表示上にインターレースビデオ信号を表示するため
に、ビデオ信号のインターレースされた奇数及び偶数フ
ィールドを（ライン間の）ギャップなしに画素の順次の
連続したフィールドに「デインターレース」することが
必要である。加えて印刷に先立つデインターレースはビ
デオからの高品質な静止画像を結果として生ずる。

【０００３】図１に偶数フィールドと奇数フィールドの
二つの時間的に順次のフィールドのインターレースされ
たビデオフレームを概略的に示す。画素のラインを失わ
ずに連続するラインの全フレームと比較して各（偶数又
は奇数）フィールドは縦方向に２倍の尺度でサブサンプ
ルされる。結果として偶数フィールドは偶数番号を付け
られたライン位置（例えばライン０、２、４、６、８）
のみのデータを含み、奇数フィールドは奇数番号を付け
られたライン位置（例えばライン１、３、５、７）のみ
のデータを含む。故に偶数フィールドは全フレームの奇
数で番号付けられたラインに対して画素値を有せず、奇
数フィールドは全フレームの偶数で番号付けられたライ
ンに対して画素値を有さない。

【０００４】偶数（又は奇数）フィールドを画素のライ
ンを失うことなく全フレームにデインターレースするた
めに失われた奇数（又は偶数）のラインを推定すること
が必要である。この目的に対するよく知られている方法
の１つは、奇数及び偶数のフィールドを共にマージする
ことであり、即ち奇数（偶数）フィールドの失われたラ
イン内をすぐ隣のライン偶数（奇数）フィールドで単に
満たすことである。しかしながら、そのような試みは動
く対象（即ち２つの連続したフィールドの期間内で動く
対象）を含む画像の部分で「ジッター」アーティファク
トを導く。他方でマージングは静止している画像領域
（即ち画像が連続したフィールド間で変化しない画素の
位置）で最適の空間解像度を与える。

【０００５】他の試みは単一のフィールドのみに（即ち
奇数フィールド）集中し、空間補間を用いて失われたラ
インをインターポレートする。比較的簡単な空間的な補
間技術の一例は失われたライン内の問題画素のすぐ上又
は下のライン内で得られる画素値の平均が失われた画素
に割り当てられる双線形（ｂｉｌｉｎｅａｒ）補間を含
む。しかしながらこの方法は失われた画素がその方向が
垂直でないエッジ上である場合にアーティファクトを生
ずる。

【０００６】これらのアーティファクトを克服するため
に、Ｄｏｕｇａｌｌ等によるアメリカ特許第５、０１
９、９０３号「Ｓｐａｔｉａｌ Ｉｎｔｅｒｐｏｌａｔ
ｉｏｎＢｅｔｗｅｅｎ Ｌｉｎｅｓ Ｏｆ Ａ Ｓｕｐ
ｅｒｓａｍｐｌｅｄ Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｓ
ｉｇｎａｌ Ｉｎ Ａｃｃｏｒｄａｎｃｅ ＷｉｔｈＡ
Ｇｒａｄｉｅｎｔ Ｖｅｃｔｏｒ Ｓｅｌｅｃｔｅｄ
Ｆｏｒ Ｍａｘｍｕｍ Ｍａｔｃｈｉｎｇ Ｏｆ Ｂ
ｌｏｃｋｓ Ｏｆ Ｓａｍｐｌｅｓ Ｗｈｉｃｈ Ａｒ
ｅ Ｏｆｆｓｅｔ Ｉｎ Ｏｐｐｏｓｉｔｅ Ｄｉｒｅ
ｃｔｉｏｎｓ」に記載されるエッジ適合空間補間法が試
みられている。この特許化された技術は最初に失われた
画素での画像傾斜（ｉｍａｇｅ ｇｒａｄｉｅｎｔ）の
方向を決めるよう試みられ、それから「エッジを横切」
り望まないアーティファクトを生ずることのないよう補
間がこの決められた方向に沿って配置された画像値を用
いてなされる Ｄｏｕｇａｌｌ等による特許は、潜在的により効果的な
方法はデインターレース処理は失われた画素の位置での
画像のダイナミックスに依存して画素毎に基づきマージ
と（エッジ適合）空間補間との間で切り換えるハイブリ
ッドスキームを用いることを提案し、それにより画像の
定常的な領域内でマージを用いるという複雑さを減らす
利点が維持される。

【０００７】各画素のダイナミックスを「動いている画
素」又は「定常な画素」として分類するために、動き検
出スキームをマージ又は補間を選択するための前処理
（ｐｒｅｃｕｒｓｏｒ）として用いる必要がある。しか
しながらＤｏｕｇａｌｌ等による特許はそのようなメカ
ニズムを実施する方法に関しては言及していない。画像
内の動きを検出するために、反対の極性（偶数ー奇数又
は奇数ー偶数）の連続した画像フィールドの内容は相互
に比較されうる。しかしながら動きの検出の正確さはそ
れらの間で奇数（偶数）フィールド（ｉ）が生ずる同じ
極性の２つの連続するフィールド（即ちすぐ前の偶数
（奇数）フィールド（ｉ−１）とすぐ後の偶数（奇数）
フィールド（ｉ＋１））が動きの検出に対して用いられ
る時に顕著に増加しうる。

【０００８】Ｂｅｎｎｅｔ等のアメリカ特許第４、４７
２、７３２号に動きの検出をなすためにデインターレー
スされるべきフィールドのすぐ次の及びすぐ前の同じ極
性の隣のフィールド（例えば偶数フィールド）の画素対
画素の相違を用いる方法が記載されている。それからこ
の方法は異なる値を閾値決めすることにより決定される
動きがあるかないかに依存してマージと垂直補間との間
で切り換わる。

【０００９】まずいことに、単一画素の相違の使用は場
面が２つの隣り合ったフィールド内で比較される画素の
グレーレベルが類似でしかもその場面に動きがある場合
に「動きがない」と誤って検出しやすい。そのような状
況は例えば文字（ｔｅｘｔ）がその上にある動く構造を
含む場面の場合に生ずる。この環境の例は図２に示さ
れ、ここでは何が本質的に９０°の角度で時計回りに回
転され、白い背景に対して位置された黒い文字「Ｅ」で
あるかを概略的に示している。この示された画像に対し
てその画素位置で動きがあるにもかかわらず、「動きが
ない」決定は時間ｔ２でのフィールド内の（失われた）
画素位置（ｘ、ｙ）で時間ｔ１及びｔ３でのフィールド
の同じ位置（ｃｏ−ｌｏｃａｔｅ）にある値の差により
なされる。この場合に時間ｔ１及びｔ２で画素位置
（ｘ、ｙ）でフィールドをマージすることはこの誤った
分類によるアーティファクトを結果として生ずる。

【００１０】そのような誤った分類の発生は画素のＮ１
ｘＮ２ブロック（例えばＮ１＝Ｎ２＝３）の差を取り、
閾値決めすることにより単一の画素よりむしろ減少す
る。失われた画素ｆ（ｘ，ｙ，ｔ２）が動きのある領域
に属しているかどうかを検出のために例えば１ｘ２ブロ
ック（即ちＮ１＝１、Ｎ２＝２）を用い、差（１／２）
（｜ｆ（ｘ，ｙ，ｔ１）−ｆ（ｘ，ｙ，ｔ３）｜＋｜ｆ
（ｘ＋１，ｙ，ｔ１）−ｆ（ｘ＋１，ｙ，ｔ３）｜）を
閾値決めする利点は図３に示され、ここで
ｆ（．，．，．）はフィールドの時空間的な分布を表
す。

【００１１】図４に時間ｔ４で示されているように更な
る第四のフィールドが動きの検出に用いられる場合に時
間ｔ２及びｔ４でのフィールドの比較（時間ｔ１及びｔ
３でのフィールドの比較に加えて）は動きの検出の信頼
性を向上させる。図４の例では「動いている」決定は時
間ｔ２及びｔ４でのフレームでの（空間位置（ｘ，ｙ＋
１）での）対応する画素との比較の結果として時間ｔ２
でのフレーム内の問題画素に対してなされうる。

【００１２】Ｉｓｈｉｋａｗａに対するアメリカ特許第
４、７８５、３５１号には例えばインターレースされた
ＴＶビデオ信号のようなインターレースされたフィール
ドの時間シーケンスに対して適用されたデインターレー
ス方式が記載されており、ここでは動きの検出がすぐ隣
の（例えば図５に示されるフィールドｔ２とｔ４のよう
な）画素−対−画素の差のみならず、４つの連続したフ
ィールドを効果的に用いるためにｔ１及びｔ３を用いた
ｔ２のデインターレースに対してあらかじめ得られた動
き検出信号にも基づく。

【００１３】’３５１特許に記載された方式ではノイズ
を減少する努力において隣接画素の値を直接用いる（例
えばマージ（ｍｅｒｇｅ））よりもむしろ問題フィール
ドを囲むフィールドの存在する画素値の平均が失われた
画素の位置に配置される。しかしながら画像のデインタ
ーレースされたバージョン内で直接再生産された問題の
フィールド内に存在するラインはノイズ減少に対して処
理されない故に、失われた画素に対する平均処理は得ら
れる画像フレーム内にある望ましくないアーティファク
トを導入する。

【００１４】このようなアーティファクトは得られたフ
レームが動画で表示されるＴＶ視聴応用では見えないが
得られたデインターレースされたフレームが静止画（表
示又は印刷用の）として再生されるときにはそれらは障
害となる。例えば静止領域上で時間的な補間により形成
された失われたラインは隣接する未処理の（存在する）
フィールドラインよりノイズが少なくなり、特に印刷に
用いられる場合に顕著な可視的な妨害効果を引き起こ
す。

【００１５】他の４フィールドに基づく動き検出の試み
はＭｏｔｏｅ等に対するアメリカ特許第５、０２１、８
７０号に記載され、ここでは問題の失われた画像は同じ
パリティを有する周りのフィールドに属する値の時間的
平均の結果と問題のフィールドの存在する画素値を用い
てなされた縦の空間的補間の結果との線形結合に等しい
値に設定される。動き検出信号は線形結合を形成するこ
れら２つの量に割り当てられた重みを決定する。この方
法は３画素を記憶するよう形成され、表示システムに対
して画素によりデインターレースされたフレーム画素の
値を供給するローリングメモリーシステムを用いる。上
記に参照された’３５１特許によれば画素毎の差は動き
検出信号を発生させるために用いられる。

【００１６】動き検出信号を用いる動きの存在又は出現
にそれ自身を適応するこれらの技術は定常な領域の含ま
れないビデオ画像の場合には有用でない。そのような場
合にはこれらの技術のそれぞれは設計により空間補間に
後退する；斯くして解像度での更なる改善は得られな
い。そのようなビデオ画像は例えば手持ちのカメラ及び
／又は問題の場面をパンするカメラにより収集されう
る。手持ちのビデオカメラは消費者用の機材としてます
ます通常のものとなってきている故に隣接フィールドに
含まれる新たな情報を用いて動きが補正された時間的な
補間を介して解像度を向上するデインターレースメカニ
ズム（例えビデオからの高画質プリントを形成するのに
用いられる）を組み込むことへの関心が高まっている。

【００１７】Ｗａｎｇ等によるアメリカ特許第５１３４
４８０号に記載される一つの動き補正されたデインター
レース技術はブロックマッチングによる局部に基づく
（斯く画素に対する）動きの推定及び補正をなす時間リ
カーシブ方法である。この方法の時間リカーシブな性質
により問題フィールドに先立つフィールドのデインター
レースされたバージョンの履歴は維持される。局部推定
の精度を向上させるためにクオドトリー（ｑｕａｄ−ｔ
ｒｅｅ）ハイアラーキがブロックの大きさを調節するの
に用いられる。

【００１８】この方法では、デインターレースは空間的
縦補間と動き補正補間の結果を線形にブレンドすること
により達成され、ここで動き補正は問題フィールドのす
ぐに後の又はに続く更なるフィールドを用い又はすぐに
前の又はに続くリカーシブ的にデインターレースされた
バージョンを用いるかのどちらかを用いてなされる。一
般的に、全ての画素位置に対して局部動き推定のみが計
算上で高価なだけでなく、それは覆われる／覆われない
領域（即ち閉鎖）の存在により複雑にされ、相互に独立
に動く対象の境界で動きベクトルが急激に変化する。

【００１９】ブロックマッチングを用いる各画素に対し
て推定された動きベクトルの精度を向上する問題の見直
しに対して、以下のアメリカ特許に開示がなされてい
る、アメリカ特許第：５０２７２０３号；５０２５４９
５号；５１６２９０７号；５０１６１０２号；５０１２
３３７号；５００５０７８号；５０１２３３６号；４９
９２８７０号；５０２７２０５号；５００５０７７号；
５０３６３９３号；４９９８１６８号。これらの特許は
推定された局部動きベクトルの精度を向上する試みで一
連の動きベクトル測定、動きベクトル選択、動きベクト
ル減少の使用を記載している。しかしながらこれらの方
法は計算が非常に多い。

【００２０】

【発明が解決しようとする課題】本発明は全体的なフィ
ールド間の動きを補正し、それからそれ自身を全体的な
動き補正の精度に適合させる新たな改善されたデインタ
ーレースシステムを目的とする。全体的なフィールド間
の動きは例えば手持ちのカメラの動きによる。全体の動
きのベクトルの推定と全体の動き補正が正確な場合には
全体的な動き補正された補間が選択される。そうでなけ
れば空間的な補間が用いられる。例えば独立に動く対象
を含む画像領域でこのような後退する状況が全体の動き
と異なる動きを有するように生ずる。これらの画像領域
で全体の動きベクトルはそれがそれぞれの動きを表さな
い故に不正確である。

【００２１】

【課題を解決するための手段】本発明によるデインター
レースシステムはある画像領域で正確な全体的な動きベ
クトルの推定の誤ったクラス分けの結果としてのデイン
ターレースされた画像が画像内に現れるジャッダーアー
ティファクトを除去するために処理される。特定のフィ
ールドのデインターレースはフィールドそれ自体とそれ
の２つのすぐ次に続くフィールドを用いてなされる。例
えばそれぞれの偶数フィールドをデインターレースする
ためにその偶数フィールドとそれのすぐに続く奇数フィ
ールド及びその奇数フィールドにすぐに続く次の偶数フ
ィールドが用いられる。

【００２２】以下に詳細に説明するように、本発明のデ
インターレースシステムはこれらの３つのすぐに続くフ
ィールド上で動作する４つの主な機能的部分を用い、３
つのシーケンス内の第一のフィールドのデインターレー
スされたバージョンを形成するためにこれは３つのそれ
ぞれのフィールド記憶に記憶される。これらの４つの機
能的な部分は； （１）−全体の動きベクトル（ＧＭＶ）推定値、ここで
第一と第三のフィールド間の全体的な並進運動の推定値
が決定される； （２）−各画素位置でのＧＭＶ推定器を用い２進精度マ
ップを形成する動き補正の精度の検出； （３）−動き補正精度適応デインターレース； （４）−後処理 である。

【００２３】単一の全体的な動きベクトル推定を用いる
全体的な動き補正の使用は上記Ｗａｎｇ等によるアメリ
カ特許第５１３４４８０号を参照して記載されるような
局部的に推定された複数の動きベクトルを用いる局部的
な動き補正と対照をなす。加えてＷａｎｇ等による方法
と違って本発明は２進精度マップにより記載された動き
推定の精度に適応する。動き補正精度適応デインターレ
ース動作は動き補正された補間と動きベクトル精度に依
存する空間補間との間で切り替えられ得る。前者は全体
的な動きベクトルを用いて正確に動き補正されうる画素
に対して選択される。

【００２４】そのような構成は発明に柔軟性を与える。
何故ならばどんな空間補間もハードウエア、動作の速
度、画質の制約に依存して用いられうるからである。更
に本発明はＷａｎｇ等による特許に記載されている時間
リカーシブ方法と対照的にリカーシブでない。本発明の
デインターレースメカニズムは前のデインターレース結
果の履歴を要求しない。時間リカーシブ法のリカーシブ
の性質により導かれたそのような要求は入来するインタ
ーレースされたビデオ信号が継続的にデインターレース
されるプログレッシブディスプレーＴＶ環境内で許容さ
れうるがそれはビデオプリンターの場合には不適切であ
り、ここでは画像プリントは望ましい場面が観察された
ときにデインターレースの履歴にアクセスを有する必要
なしに瞬時にプリント処理を作動することにより形成さ
れる。

【００２５】本発明はカメラと場面との間の相対的な並
進的変位に対応する単一な全体的な動きベクトルを推定
する。例えばもとの場面が定常的な背景に対して位置さ
れている動く対象を含み、カメラが並進的な動き（例え
ば腕の動きによる）にさらされる場合にビデオシーケン
ス内の背景はカメラの動きに対して等しい量で動き、そ
れの動きは全体のの動きベクトルにより記述される。そ
のような場合には本発明はアリエイジングアーティファ
クトの全くない鮮明でクリスプな背景を含むデインター
レースされたフレームを生ずる。

【００２６】全体の動きの推定及び補間は画素毎の局部
の動きに基づく推定及び補間より計算量がかからない。
多くの場合にそれは空間的に変化する動きのベクトル場
より正確な動きの全体の成分の推定を得られる。これは
全体及び独立した対象の動きの両方により影響される画
素に比べて全体の動きのみにより影響される画素のより
多くの数が一般にあるという事実による。正確な推定は
正確な位置動きベクトルを推定する操作を強化する必要
なしにこの点の大きな組を用いることにより可能とな
る。

【００２７】本発明の好ましい実施例によれば全体の動
きベクトル推定ユニットは同じ画像極性のすぐに連続す
るフィールド（例えば第一と第三（偶数）フィールド）
間の単位変位ベクトルを推定するために位相補正を用い
る。位相補正処理では動きベクトルは画像の境界に近接
して位置する問題の領域（ＲＯＩ）と呼ばれる画像の測
定された４つの長方形の副領域にわたり、全体の動きの
みにより影響されうる。位相補正は個々に基づく各ＲＯ
Ｉ上でなされ、それによりそれぞれの位相補正表面は各
ＲＯＩに対して得られる。位相補正は２つのフィールド
の同じ位置のＲＯＩブロック間で計算される。各位相補
正表面は所定の数の動きベクトルの候補を形成するため
に閾値操作される。この操作は全ての４つの長方形ＲＯ
Ｉに関するそれぞれ４つの位相補正表面に対して繰り返
される。

【００２８】各ＲＯＩに対してその関連するベクトルの
組の各構成要素は検査され，ＲＯＩの動きを最もよく表
現するベクトルはそのＲＯＩ内で推定された全体的な変
位ベクトルとして指定される。この目的のために１フィ
ールドのＲＯＩの内の画素値は他のフィールドの同じ大
きさのブロック内の画素と比較され、ここで他のフィー
ルド内のブロックは検査された変位ベクトルの候補によ
り１フィールド内のブロックに関して変位される。他の
フィールド内のブロックは動きの意味からは１フィール
ドの対応するブロックである。

【００２９】１フィールド内のブロックの画素毎の差の
絶対値の和（ＳＡＤ）及びその他のフィールド内の対応
する変位されたブロックは各候補ベクトルに対して計算
される。最小のＳＡＤ内で得られたベクトルはそれの全
体的な変位ベクトルとして１フィールド内のブロックに
割り当てられる。他のＲＯＩに対する全体的な変位ベク
トルはそれらのＲＯＩに対する段階の同じシーケンスを
実行することにより決定される。

【００３０】次の段階は全てのフィールドの全体的な変
位の代表としてこれらのベクトルの１つを選択すること
である。これは４つのベクトルの各１つを用いて、全て
のフィールドの全体的な動きを記述する全体的な変位ベ
クトルとして全てのフィールドにわたるＳＡＤ値を計算
することにより達成され、そのベクトルは最小のＳＡＤ
を生ずる。この全体的な画素の正確なベクトルは画素以
下（ｓｕｂｐｉｘｅｌ）の精度に改善される。

【００３１】改善された全体的な動きのベクトルの推定
は精度検出ユニットに結合され、これは入力として各３
つのフィールドを受け、各画素位置での推定値を用いる
動き補正の精度を決定する。この決定の結果は２進精度
マップとして出力される。全体的な動き補正の精度は１
フィールド（デインターレースされるべきフィールド）
内の全ての失われた画素に対して決定される。この精度
決定操作の目的は全体的な変位ベクトルが失われた画素
の動きを記述するために充分正確であるかどうか、そし
てそれ故に失われた画素値に対する動き補正デインター
レーシング（即ち補間）をなすのに有用であるかどうか
を決定することである。

【００３２】全体的な変位ベクトルは全体的な動きを有
する画像の領域内にある失われた画素に対して正確であ
ることが期待される。他方では独立に動く対象上に位置
される画素に対しては全体的な変位ベクトルは不正確で
あると期待される。全体的な変位ベクトルの垂直成分の
値に依存して正確な検出とそれに続く適応デインターレ
ーシングを記述することは異なる。

【００３３】デインターレーシング操作は動き補正され
た補間と該精度マップに依存する空間補間との間で適応
的に切り替えられる。補間は失われた画素の上及び下の
画素の垂直補間又は失われた画素を通過するエッジ方向
に沿った方向の補間のどちらかのような隣接する画素に
基づく失われた画素の空間補間を含む。最終的に後処理
は偶数ラインと相互に隣接する偶数と奇数ラインとの間
の第一と第二の相関をそれぞれ決定し、２つの相関を上
記閾値と比較し、その比較の結果に依存する補間された
隣接する画素値により選択的に画素値を置換することに
よりジャッダーアーティファクトを除去することにより
なされる。選択的な置換は置換された画素のすぐ上及び
下である存在する画素値の平均値により画素値を置換す
ることからなる。

【００３４】除去されたジャッダーアーティファクトは
最もあるまじき種類のものであり、ある失われた画素位
置で正確であるような動き補正の可能な誤った分類によ
る。後処理は偶数ラインと相互に隣接する偶数及び奇数
ラインとの間の相関をまず決定する。それから２つの相
関の比はジャッダーを決定するために閾値決めされる。
ジャッダーがある場合にはデインターレーシングにより
決定される奇数ライン上の画素値はこれらの画素のすぐ
に上及び下にあるそんざいする画素値（偶数ライン上
の）の平均により置き換えられる。そうでなければ値は
そのままであり、次のブロックが処理される。

【００３５】

【発明の実施の形態】本発明による新たな改善されたデ
インターレースメカニズムを詳細に説明する前に、本発
明は特に遅延（シフトレジスタ）部品及び計算論理回路
である従来技術のデジタル信号処理回路により実施さ
れ、又はデジタル画像処置ワークステーションの制御処
理により実行可能な画像処理アプリケーションソフトウ
エア内で実施されえ、それを介して場面の連続的なイン
ターレースされた画像フィールドが処理される上記デジ
タル画像処理技術を何が効率的にするかを主眼にしたも
のであることを理解すべきである。そのようなインター
レースされた画像フィールドのソースは非限定的な例と
してＮＴＳＣシステムからのテレビジョン信号のインタ
ーレースされたラインのような従来技術の画像化ハード
ウエアでありえ、これは本発明の一部とは考えられな
い。

【００３６】従ってそのようなインターレースされた画
像フィールドソースはハードワイアードデジタル回路部
品又はデジタル画像処理ワークステーションのどちらか
でインターフェイスされる方法は既に理解し易いブロッ
ク図のフォーマットで図示されており、これは本発明の
目的とするこれらの特定の詳細のみを示す。何故ならば
当業者にとって既に明らかな詳細により本発明の開示を
不明瞭にしないためである。斯くしてブロック図の説明
は便利な機能グループ分けでシステムの主要な部品を説
明するよう意図され、それにより本発明はより容易に理
解されうる。

【００３７】上記で簡単に指摘したように本発明による
デインターレーシングシステムはそのフィールドそれ自
体とその２つ次のすぐに連続されたフィールドとを用い
ることにより特定のフィールドをデインターレースす
る。図５に３つの連続するフィールドの第一のフィール
ドＥ１をデインターレーシングする本発明のデインター
レーシングシステムで用いられる３つの時間的に連続す
るフィールドＥ１ーＯ１ーＥ２の垂直部分を示す。図５
の各フィールドで失われた画素は符号「Ｘ」で示され
る。

【００３８】図６に本発明によるデインターレーシング
システムの機能ブロック図を示し、これは３つのすぐに
連続するフィールドＥ１−Ｏ１−Ｅ２上で動作する４つ
の主な機能部分を含み、それの内容画素内容は３つのそ
れぞれのフィールド記憶６１、６２、６３に記憶され
る。上記のように本発明のデインターレーシング処理を
用いてこれら３つのフィールドは３つの連続の中の最初
のフィールド（Ｅ１）のデインターレースされたバージ
ョンを形成するために用いられる。図６のデインターレ
ースシステムは第一（Ｅ１）と第三（Ｅ２）のフィール
ドの間の全体的な並進運動の推定を決定するよう動作す
る全体的な動きベクトル（ＧＭＶ）推定ユニット６４を
含む。全体的な動きベクトル推定ユニット６４の出力は
各３つのフィールドを入力として受け、各画素位置でＧ
ＭＶ推定器として用いられる動き補正の精度を決定する
ユニット６５と結合される。この決定の結果は下流の動
き補正精度適応デインターレーシングユニット６６に２
進精度マップとして出力され、これは３つの各フィール
ドを入力としてまた受けるよう結合される。デインター
レーシングユニット６６により形成された結果として生
ずるデインターレースされたフレームは更なる下流の後
処理ユニット６７に出力され、それは上記のようにデイ
ンターレースされたフレームを後処理する。図６の各画
像処理ユニットは以下に詳細に説明される。 全体的な動きベクトル（ＧＭＶ）推定ユニット６４ 本発明の好ましい実施例ではユニット６４は第一と第三
（偶数）フィールドＥ１とＥ２との間の全体的な変位ベ
クトルを推定するための位相相関オペレーターを含む。
位相相関それ自体はよく知られているので同じ機械的な
説明はここではしない。しかしながら情報として参照す
る目的でアメリカ特許第４８９０１６０号、ＢＢＣ Ｒ
ｅｓｅａｒｃｈ Ｄｅｐａｒｔｍｅｎｔ Ｒｅｐｏｒｔ
１９８７／１１のＧ．Ａ．Ｔｏｍａｓによる「Ｔｅｌ
ｅｖｉｓｉｏｎ ＭｏｔｉｏｎＭｅａｓｕｒｅｍｅｎｔ
ｆｏｒ ＤＡＴＶ ａｎｄ Ｏｔｈｅｒ Ａｐｐｌｉ
ｃａｔｉｏｎ」、Ｊ，Ｊ，Ｐｅａｒｓｏｎ 等による論
文「Ｖｉｄｅｏ Ｒａｔｅ Ｉｍａｇｅ Ｃｏｒｒｅｌ
ａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ」ＳＰＩＥ ｖｏｌ．
１１９、Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｄｉｇｉｔａ
ｌ ＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，（１９９７），
ｐｐ１９７−２０５を挙げる。

【００３９】図７に概略を示すように全体的な動きベク
トル（ＧＭＶ）推定ユニット６４により実行された位相
相関処理で動きのベクトルは画像境界付近に位置し、全
体的な動きのみに影響されやすい問題の領域（ＲＯＩ）
と呼ばれる画像の４つの矩形の副領域上で測定される。
これらの問題の領域（ＲＯＩ１−ＲＯＩ４）は大きさが
Ｎ１ｘＭ１、Ｎ２ｘＭ２、Ｎ３ｘＭ３、Ｎ４ｘＭ４で、
それらの位置はそれらの左上の画像座標（ｘ１，ｙ
１）、（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ
４）として図７に示される。

【００４０】非限定的な例として、図のフィールドの大
きさを３６０画素／ライン、２４０ライン／フィールド
として、以下のパラメータを用いる：Ｎ１＝１００、Ｍ
１＝５０、（ｘ１，ｙ１）＝（１３０、２０）；Ｎ２＝
１００、Ｍ２＝１００、（ｘ２，ｙ２）＝（２４０、７
０）；Ｎ３＝１００、Ｍ３＝５０、（ｘ３，ｙ３）＝
（１３０、１７０）；Ｎ４＝１００、Ｍ４＝１００、
（ｘ４，ｙ４）＝（２０、７０）。

【００４１】ＧＭＶ推定ユニット６４はそれぞれに基づ
いて各ＲＯＩに対する位相相関をなし、それぞれの位相
相関表面は各ＲＯＩに対して得られ、ここで位相相関は
偶数画像Ｅ１とＥ２の同じ位置のＲＯＩブロック間で計
算される。それで各位相相関表面は閾値操作をなされ、
それにより動きベクトルの候補の所定の数を形成する。
この操作は全ての４つのＲＯＩに関する４つのそれぞれ
の位相補正表面に対して繰り返される。

【００４２】動きベクトルの組の候補に対応して符号
は：Ｓ１，Ｓ２，Ｓ３，Ｓ４と付けられ、各組はある数
Ｎｃ（例えばＮｃ＝３）の候補ベクトルを含む。この点
で、候補ベクトルは整数値を有する成分からなり；それ
故にそれらは画素正確（ｐｉｘｅｌーａｃｃｕｒａｔ
ｅ）である。ＲＯＩブロックは上記のＴｈｏｍａｓ論文
に記載されるようににノイズの影響を減少するためにプ
レフィルターされ，ＦＦＴ境界不整合の影響を減少する
ためにウインドウされる。

【００４３】次に、各ｉ番目のＲＯＩに対してその関連
するベクトル組Ｓｉ（ここでｉ＝１、２、３、４）の各
構成要素は検査され、ＲＯＩの動きを最もよく記述する
ベクトルはそのＲＯＩ内で推定される全体的な変位ベク
トルとして指定される。例えばＲＯＩ１（例えばｉ＝
１）に対する候補ベクトルが検査される方法は図８に示
されており、ここで候補変位ベクトルは符号（Δｘ，Δ
ｙ）で示される。図８で偶数フィールドＥ１のＲＯＩ内
の画素値は偶数フィールドＥ２内の同じ大きさのブロッ
ク内の画素値と比較され、ここでＤＲＯＩ１で示される
偶数フィールドＥ２内のブロックは検査されている又は
テスト中の変位ベクトルの候補を有するＲＯＩ１に関し
て変位される（Ｄ）。偶数フィールドＥ２内のブロック
は動きの意味で偶数フィールドＥ１内のＲＯＩ１に対応
するブロックである。ＲＯＩ１の画素毎の差の絶対値の
和とそれに対応するブロックＤＲＯＩ１は各３つの候補
ベクトルに対して計算される。

【００４４】例えば、偶数フィールドＥ１内のＲＯＩ１
ブロックは値ｐ１，ｐ２，ｐ３，．．．，ｐＫを有する
画素を含み、ここでＫは全画素の数であり、対応するブ
ロックＤＲＯＩ１は値ｒ１，ｒ２，ｒ３，．．．，ｒＫ
を有する画素を含み、画素毎の差の絶対値の（規格化さ
れた）和は（１／Ｋ）Σ^K _j=1｜ｐｊ−ｒｊ｜であり、Σ
｜ＲＯＩ１ーＤＲＯＩ１｜で表される。規格化された差
の絶対値の和（ＳＡＤ）は各候補ベクトルに対して計算
される。最小のＳＡＤで得られるベクトルはその全体的
な変位ベクトルとしてＲＯＩ１に割り当てられ、（ｄｌ
ｘ，ｄｌｙ）と表される。（ｄ２ｘ，ｄ２ｙ），（ｄ３
ｘ，ｄ３ｙ），（ｄ４ｘ，ｄ４ｙ）で表される他のＲＯ
Ｉに対する全体的な変位ベクトルはこれらのＲＯＩに対
する段階の同じシーケンスを実行することにより決定さ
れる。変位が偶数フィールドＥ２内の変位されたＲＯＩ
即ちＤＲＯＩｉ（ｉ＝１，２，３，４）が偶数フィール
ドＥ２の境界の外側である場合にはＳＡＤはＲＯＩとＤ
ＲＯＩｉとの間で重なる最大の共通領域に属する画素を
用いて計算される。

【００４５】次の段階は全フィールドの全体的な変位の
表現としてこれら４つのベクトルの１つを選択すること
である。これは４つのベクトルの各１つを用いて全フィ
ールド上のＳＡＤ値を計算することにより達成され、そ
れから全フィールドの全体的な動きを記述する全体的な
変位ベクトルとして選択され、そのベクトルは最小のＳ
ＡＤを結果として生ずる。

【００４６】より詳細には図９を参照するに偶数フィー
ルドＥ２はＲＯＩｉ（ｉ＝１，２，３，４）に関連する
ベクトル（ｄｉｘ，ｄｉｙ）をテストするために（ｄｉ
ｘ，ｄｉｙ）により変位されるのが示される。ＳＡＤの
値は偶数フィールドＥ１と偶数フィールドＥ２の変位さ
れたバージョンとの間の画素の最大共通領域内に含まれ
るそれらの画素に基づいて計算される。この最大共通領
域は図９にＡで示される。共通領域Ａ上の最小ＳＡＤを
得る変位ベクトルは全フィールドに対する全体的な変位
ベクトルとして選択され、（ｄｘ，ｄｙ）で表される。
このベクトルの成分は整数値であり、それ故にこのベク
トルは画素的に正確である。

【００４７】この全体的な画素正確なベクトル（ｄｘ，
ｄｙ）は次に画素以下の精度に改善される。非限定的な
例を提供する目的で解像度の改善は四分の１の画素精度
に対して実行される。しかしながらそのような画素以下
の解像度は例としてのみの目的に対して提供される；他
の画素以下の解像度はここに記載される画素以下の改善
ルーチンの一般化の損失なしに本発明の改善処理を用い
ることにより所望のように得られる。

【００４８】図１０の（Ａ）に２つのなされうる画素以
下の改善過程の第一が示される。この第一のルーチンに
従って偶数フィールドＥ２は左上隅の空間座標が図１０
の（Ａ）に示されるグリッド点と一致するようにシフト
され、ここでグリッド点は相対的な画素正確変位（ｄ
ｘ，ｄｙ）の周囲の点に位置する画素（黒）、二分の１
画素（灰色）、四分の１画素（白）に対応する。図１０
の（Ａ）に示すように（８１）点の９ｘ９配列はベクト
ル（ｄｘ，ｄｙ）をこの例の望ましい四分の１画素精度
に改善する捜索グリッドを供する。対応するＳＡＤは位
置（ｄｘ，ｄｙ）の周囲の８１−１＝８０位置の各１つ
に対して計算される。何故ならば（ｄｘ，ｄｙ）に対す
る図９内のＡ上の対応するＳＡＤは既に上記のように前
の段階で計算されているからである。

【００４９】例えば変位（ｄｘ＋０．２５，ｄｙ＋０．
２５）をテストするために計算されたＳＡＤは図１０の
（Ｂ）に円で印を付けられた点を用い計算はこの変位に
対して偶数フィールドＥ１とＥ２との間の最大の重複領
域を包含するように続けられる。結果としてＳＡＤ計算
は偶数フィールドＥ２内の必要な画素間の値の補間を必
要とし、、必要な保管された画素の組はテストされる変
位に依存する。（偶数フィールドＥ１が補間される必要
はないことに注意するべきである。）本発明の好ましい
実施例によれば双線形補間の使用がなされる。

【００５０】用いられた第二の改善過程はより少ないＳ
ＡＤ計算の数を含み、２段階で改善をなす。第一の段階
は改善を画素半分の精度でなし、第二の段階は目標であ
る四分の１画素精度に画素半分の精度の結果を改善す
る。この方法は図１０の（Ｃ）に示され、ここでは
「１」で印を付けられた点は変位された（画素精度ベク
トル（ｄｘ，ｄｙ）で）フィールドＥ２の左上隅の画素
位置を示す。

【００５１】再び、図９の（ｄｘ，ｄｙ）に対する重複
領域Ａ上の対応するＳＡＤは、図９を参照して上記のよ
うに前の段階で既に計算されている。画素半分の精度に
対する改善をなすために偶数フィールドＥ２はシフトさ
れ、それにより、その左上隅の空間座標は図１０の
（Ｃ）に灰色の正方形で示すように半分画素間の位置と
一致する；それぞれのＳＡＤは各８つの可能な位置に対
して計算され、最小のＳＡＤ値で得られるその位置は画
素半分の精度の動きベクトルを決定する。

【００５２】図１０の（Ｃ）で示された例で、ＳＡＤは
「２」により示された位置で最小であり、即ちベクトル
は（ｄｘ＋０．５，ｄｙ）に改善される。四分の１画素
の精度への更なる改善は図１０の（Ｃ）に白い正方形で
示された連続した四分の１画素位置へＥ２を変位する結
果としてＳＡＤを計算し、最小化することによりなされ
る。最小のＳＡＤ値が「３」により示された位置で形成
されるとすると最終的な四分の１画素精度の全体的な変
位ベクトルは（ｄｘ＋０．７５，ｄｙ−０．２５）とな
る。上記の第一ルーチンの場合ではＳＡＤ計算は偶数フ
ィールドＥ１とＥ２との間の重複する最大領域に限定さ
れ、Ｅ２の双線形補間は必要ならなされる。

【００５３】上記のルーチンのいずれかを用いて得られ
た四分の１画素精度の全体的な変位ベクトルは（ｇｄ
ｘ，ｇｄｙ）で示される。計算速度を増加するために四
分の１画素精度への変位ベクトルの改善は全体のフィー
ルドを用いるよりもむしろ最大の画素精度変位ベクトル
を供するＲＯＩに基づいてなされうる。２つの偶数フィ
ールドＥ１とＥ２に対するそれぞれのＲＯＩに対する画
素以下の精度変位ベクトル（この例では例えば四分の１
画素精度）を推定するための処理フロー全体は図１１に
示される。（変位ベクトル推定は一般性をなくすことな
くビデオデータのみの輝度成分についてなされるもので
ある。） 上記で指摘されたように、図６に示された全体をデイン
ターレースするシステムを参照するに、全体的な動きベ
クトル（ＧＭＶ）推定ユニット６４は精度検出ユニット
６５に結合され、これは各３つのフィールドを入力とし
て受け、各画素位置でＧＭＶ推定器を用いた動き補正の
精度を決定する。この決定の結果は２進精度マップとし
て出力される。精度検出ユニット６５及び適応デインタ
ーレーシングユニット６６の動作を以下に説明する。 全体的な動き補正ユニット６５及び適応デインターレー
シングユニット６６の精度の画素毎の検出 全体的な動き補正の精度は偶数フィールドＥ１（デイン
ターレースされるべきフィールド）内の失われた画素全
てについて決定される。この精度検出動作の目的はＧＭ
Ｖユニット６４により供された全体的な変位ベクトルが
失われた画素の動きを記述するために充分正確であり、
それ故に失われた画素値に対する動き補正されたデイン
ターレーシング（即ち補間）をなすのに有用であるかど
うかを決定することである。全体的な変位ベクトルは全
体的な動きにさらされている画像の領域内にある失われ
た画素に対して正確であると予想される。他方では動く
対象と独立な画素位置に対して全体的な変位ベクトルは
不正確であると予想される。全体的な変位ベクトル（ｇ
ｄｘ，ｇｄｙ）の垂直成分の値に依存して精度検出を記
述する異なる５つの場合と、それに続く以下のような適
応デインターレーシングがある： 場合１：ｇｄｙは偶数、即ちｇｄｙ＝±２ｋ、 ここでｋ＝０，１，２，．．．． 場合２：ｇｄｙは奇数、即ちｇｄｙ＝±（２ｋ＋１）、 ここでｋ＝０，１，２，．．．． 場合３：ｇｄｙは０．５の少数部分を有する、 即ちｇｄｙ＝±（２ｋ＋１）０．５、 ここでｋ＝０，１，２，．．．． 場合４：ｇｄｙは±［２ｋ±０．２５］、 ここでｋ＝０，１，２，．．．． 場合５：ｇｄｙは±［２ｋ＋１）±０．２５］、 ここでｋ＝０，１，２，．．．． これら５つの場合に対してｇｄｙにより示される全体的
な変位ベクトルの垂直成分を図１２の（Ａ）乃至（Ｅ）
に示し、これは垂直フィールドサンプルのみを示し、こ
こで一般性を失わずにｋ＝０である。動き補正された補
間の以下の記載で動きの軌跡は線形であり、即ち速度は
一定であり、偶数フィールドＥ１、Ｅ２間の加速された
動きはない。失われた画素はそれのすぐ上に位置する利
用可能な画素として同じようにして変位されるとまた仮
定される。（これは変位ベクトル上の空間的に平滑な束
縛として見られ得る。） 図１２の（Ａ）乃至（Ｂ）に全体的な変位ベクトルが太
い実線のベクトルとして示されている。太い全体的な変
位ベクトルに平行な波線又は点線のベクトルは失われた
画素の仮定された動きの軌跡を表す。非限定的な例を供
する目的のために失われた画素は空間的な位置ａに位置
する。以下に説明される処理は既に用いられており他の
全ての失われた画素位置に対しても同様に有効である。

【００５４】図１２の（Ａ）に示される場合１では、位
置ａに位置する失われた画素に対する動き補正の精度は
画素のＮｘＭブロックのＳＡＤ（例えばＮ＝Ｍ＝３）を
閾値決めすることによりテストされ、１つは図１２の
（Ａ）でＡ１として示される偶数フィールドＥ１内の位
置ｂで中心に置かれ、他は図１２の（Ａ）でＢ１として
示される偶数フィールドＥ２内の位置ｄで中心に置かれ
る。ＳＡＤをΣ｜Ａ１−Ｂ１｜により示すと、全体的な
変位ベクトル（ｇｄｘ，ｇｄｙ）はΣ｜Ａ１−Ｂ１｜＿
Ｔ１の場合には位置ａで位置される失われた画素に対す
る動き補正補間をなすことに対して正確である。Ｔ１の
典型的な値は１０である。これがこの場合ならば「１」
はＢＤＡと称される２進「精度検出配列」の対応する配
置で示される。（ＢＤＡの大きさはフィールドの大きさ
と等しく、各失われた画素位置に対してＢＤＡ内に対応
する位置があることに注意すべきである。） 動き補正された補間は失われた画素位置ａに対する奇数
フィールドＯ１内の位置ｃに位置する画素の値をコピー
することにより達成される。言い替えれば失われた画素
値は位置ｃでの画素値により置き換えられ、即ち値
（ａ）＝値（ｃ）であり、ここで値（ｙ）は位置（ｙ＝
ａ，ｃ）に位置する画素の値を表す。しかしながら動き
補正が正確でなければ「０」がＢＤＡのその位置に入
る。そのような場合には位置ａでの失われた画素の値は
隣接する値の空間的な補間により決定される。

【００５５】この場合に柔軟性を供するために、垂直補
間即ち失われた画素の上及び下の利用できる画素の値の
平均又は位置ａを通過する方向のエッジに沿った方向性
補間のどちらかが質及び速さの束縛に依存して適用可能
である。好ましい実施例では垂直平均は空間補間に対し
て用いられ得る。図１２の（Ａ）でこれは計算値（ａ）
＝１／２［値（ｂ）＋値（ｓ）］に対応する。一般に全
体的な変位ベクトルを用いる動き補正が不正確な画素位
置に対する固定された空間補間方法を直接適用するより
もむしろ精度マップを用いるとこの柔軟性が役に立つ。

【００５６】図１２の（Ｂ）に示される場合２では、位
置ａに位置する失われた画素に対する動き補正の精度は
画素のＮｘＭブロックのＳＡＤ（例えばＮ＝Ｍ＝３）を
閾値決めすることによりテストされ、１つは図１２の
（Ｂ）でＡ１として示される偶数フィールドＥ１内の位
置ｂで中心に置かれ、他は図１２の（Ｂ）でＢ１として
示される偶数フィールドＥ２内の位置ｄで中心に置かれ
る。ＳＡＤをΣ｜Ａ１−Ｂ１｜により示すと、全体的な
変位ベクトル（ｇｄｘ，ｇｄｙ）はΣ｜Ａ１−Ｂ１｜＿
Ｔ１の場合には位置ａで位置される失われた画素に対す
る動き補正補間をなすことに対して正確である。この場
合では「１」はＢＤＡと称される「２進精度検出配列」
の対応する配置で示される。

【００５７】動き補正された補間は失われた画素位置ａ
に対する奇数フィールドＯ１内の位置ｃに位置する画素
の値をコピーすることにより達成される。言い替えれば
失われた画素値は位置ｃでの画素値により置き換えら
れ、即ち値（ａ）＝値（ｃ）である。しかしながら動き
補正が正確でなければ「０」がＢＤＡのその位置に入
る。そのような場合には位置ａでの失われた画素の値は
隣接する値の空間的な補間により決定される。再び垂直
補間が好ましくは適用可能である。図１２の（Ｂ）で垂
直補間は、値（ａ）＝１／２［値（ｂ）＋値（ｓ）］に
より決定される。

【００５８】図１２の（Ｃ）に示される場合３では、全
体的な変位ベクトル（ｇｄｘ，ｇｄｙ）を用いた動き補
正がａに位置する失われた画素に対する動き補正された
補間をなすことに対して正確である時には動き補正され
た補間はフィールドＥ２の位置ｅに位置する画素の値を
フィールドＥ１に位置する失われた画素にコピーするこ
とにより達成される。この操作は位置ｅが失われた画素
の仮定された動きの軌跡上にあり、その値が用いられ得
る故に実行される。精度は第一にＮｘＭブロック（例え
ばＮ＝Ｍ＝３）のＡ１及びＣ１を比較することにより決
定され、それらはそれぞれ位置ａ及びｃで中心に置かれ
る。

【００５９】ブロックＣ１は推定された動きの軌跡に最
も近いそれが利用できる画素位置ｃで中心に置かれる故
に用いられる。しかしながらＡ１とＣ１それだけに基づ
いて正確な決定をなすことの潜在的な欠点があり、特に
背景（斜線のパターンで示される）に対して対象（黒で
示される）の垂直変位を示す図１３に示されるような状
況ではそうである。この例ではブロックＡ１とＣ１を比
較することに基づくｅでの画素値を失われた画素位置ａ
にコピーし返すことは背景に誤差即ち「ジャッダー」を
生じる。場合３でそのような状況を回避するために動き
の精度は以下のように決定される。

【００６０】図１２の（Ｃ）と図１３を参照するに、Ｓ
ＡＤはＡ１とＣ１にたいして決定され、即ちΣ｜Ａ１−
Ｃ１｜が決定される。ＳＡＤはまたＡ１とＢ１（位置ｆ
で中心決めされる）及びＡ１とＢ２（位置ｅで中心決め
される）にたいして計算され、即ちそれぞれΣ｜Ａ１−
Ｂ１｜及びΣ｜Ａ１−Ｂ２｜である。ＭｉｎＳｕｍをＭ
ｉｎＳｕｍ＝Ｍｉｎｉｍｕｍ［Σ｜Ａ１−Ｂ１｜、Σ｜
Ａ１−Ｂ２｜］として決定し、動きの補正は正確である
よう決定され、動き補正された補間はΣ｜Ａ１−Ｃ１｜
＿Ｔ１及びＭｉｎＳｕｍ＜Ｔ２の場合に達成される。一
般にＴ１＿Ｔ２であり、Ｔ２の典型的な値は２５であ
る。この場合に「１」がＢＡ内の適切な位置に置かれ
る。さもなければ「０」がＢＤＡのその場所に置かれ、
空間的な垂直補間が用いられる。図１２の（Ｃ）で垂直
は値（ａ）＝１／２［値（ｂ）＋値（ｓ）］により決定
される。

【００６１】図１２の（Ｄ）に示される場合４では、位
置ａに位置する失われた画素に対する動き補正の精度は
画素のＮｘＭブロックのＳＡＤ（例えばＮ＝Ｍ＝３）を
閾値決めすることによりテストされ、１つは図１２の
（Ｂ）でＡ１として示される偶数フィールドＥ１内の位
置ｂで中心に置かれ、他は図１２の（Ｄ）でＢ１として
示される偶数フィールドＥ２内の位置ｆで中心に置かれ
る。ＳＡＤをΣ｜Ａ１−Ｂ１｜により示すと、全体的な
変位ベクトル（ｇｄｘ，ｇｄｙ）はΣ｜Ａ１−Ｂ１｜＿
Ｔ１の場合には位置ａで位置される失われた画素に対す
る動き補正補間をなすことに対して正確である。この場
合では「１」はＢＤＡと称される「２進精度検出配列」
の対応する配置で示される。動き補正された補間は失わ
れた画素位置ａに対する奇数フィールドＯ１内の位置ｃ
に位置する画素の値をコピーすることにより達成され
る。言い替えれば失われた画素値は位置ｃでの画素値に
より置き換えられる。

【００６２】これは位置ｃでの画素は失われた画素の仮
定された動きの軌跡に対して最も近い利用できる画素で
あるためである。しかしながら動き補正が正確でなけれ
ば「０」がＢＤＡのその位置に入る。そのような場合に
は位置ａでの失われた画素の値は隣接する値の空間的な
補間により決定される。また、望ましい実施例では垂直
補間を用い、それは、値（ａ）＝１／２［値（ｂ）＋値
（ｓ）］により決定される。

【００６３】図１２の（Ｅ）に示される場合５では、全
体的な変位ベクトル（ｇｄｘ，ｇｄｙ）を用いた動き補
正がａに位置する失われた画素に対する動き補正された
補間をなすことに対して正確である時には、動き補正さ
れた補間はフィールドＥ２の位置ｅに位置する画素の値
をフィールドＥ１に位置する失われた画素にコピーする
ことにより達成される。これは位置ｅが失われた画素の
仮定された動きの軌跡の最も近い用いられ得る画素位置
である故に生じる。精度は第一にＡ１及びＣ１を比較す
ることにより決定され、それらはそれぞれ位置ａ及びｃ
で中心に置かれる。ブロックＣ１は推定された動きの軌
跡に最も近いそれが利用できる画素位置ｃで中心に置か
れる故に用いられる。

【００６４】しかしながらＡ１とＣ１それだけに基づい
て正確な決定をなすことの潜在的な欠点があり、特に背
景（斜線のパターンで示される）に対して対象（黒で示
される）の垂直変位を示す図１３に示されるような状況
ではそうである。この例ではブロックＡ１とＣ１を比較
することに基づくｅでの画素値を失われた画素位置ａに
コピーし返すことは背景に誤差即ち「ジャッダー」を生
じる。

【００６５】場合５（場合３と同様に）でそのような状
況を回避するために動きの精度は以下のように決定され
る。図１２の（Ｅ）と１３を参照するにＳＡＤはＡ１と
Ｃ１にたいして決定され、即ちΣ｜Ａ１−Ｃ１｜が決定
される。ＳＡＤはまたＡ１とＢ１（位置ｆで中心決めさ
れる）をΣ｜Ａ１−Ｂ１｜と同様に決定する。動きの補
正は正確であるよう決定され、動き補正された補間はΣ
｜Ａ１−Ｃ１｜＿Ｔ１及びΣ｜Ａ１−Ｂ１｜＿Ｔ２の場
合に達成される。この場合に「１」がＢＤＡ内の適切な
位置に置かれる。さもなければ「０」がＢＤＡのその場
所に置かれ、空間的な垂直補間が用いられる。図１２の
（Ｅ）で垂直は値（ａ）＝１／２［値（ｂ）＋値
（ｓ）］により決定される。

【００６６】場合３、４、５に対する代替的な実施例
は、失われた画素位置に配置されるべき値と同様に比較
ブロックを決定するために双線形空間補間を用いる。図
１４の（Ａ）に示すように場合３に対して画素間位置
ｉ，ｄでそれぞれ中心に置かれるブロックＣ１’とＢ
１’が動き補正の精度を検出するために用いられる。こ
れはΣ｜Ａ１−Ｃ１’｜＿Ｔ１及びΣ｜Ａ１−Ｂ１’｜
＿Ｔ２の場合に動き補正が正確であるよう決定される。
上記のようにブロックの大きさはＮｘＭ（例えばＮ＝Ｍ
＝３）である。比較ブロックＣ１’，Ｂ１’内の値は双
線形補間により決定される。上記のように動き補正され
た補間は値（ａ）＝値（ｅ）を設定することによりなさ
れ、動き補正が不正確な場合には空間補間は値（ａ）＝
１／２［値（ｂ）＋値（ｓ）］を設定することによりな
される。

【００６７】図１４の（Ｂ）に場合４の代替実施例を示
し、ここで動き補正の精度を検出するために偶数フィー
ルドＥ２内の位置ｄで中心に置かれたＮｘＭブロックの
Ｂ１’はＮｘＭブロックＡ１と比較され、位置ｈでの値
は動き補正された補間をなすために失われた画素位置ａ
内に置かれ、即ち値（ａ）＝値（ｈ）である。画素間の
位置ｄ，ｈでの画像値とブロックＢ１’内での画像値は
双線形補間で決定される。空間補間は動き補正が不正確
な場合には値（ａ）＝１／２［値（ｂ）＋値（ｓ）］の
関係によりなされる。

【００６８】図１４の（Ｃ）に場合５の代替実施例を示
し、ここで動き補正の精度を検出するために画素間位置
ｉ，ｄでそれぞれ中心に置かれるブロックＣ１’とＢ
１’はブロックＡ１と比較され、偶数フィールドＥ２内
の位置ｒでの値は動き補正された補間をなすために失わ
れた画素位置ａ内に置かれ、即ち値（ａ）＝値（ｒ）で
ある。画素間の位置ｄ，ｒ，ｉでの画像値とブロックＢ
１’、Ｃ１’内での画像値は双線形補間で決定される。
空間補間は動き補正が不正確な場合には値（ａ）＝１／
２［値（ｂ）＋値（ｓ）］の関係によりなされる。

【００６９】上記の精度決定ルーチンはビデオ信号の輝
度チャンネルに応用されうる。これは同じような輝度値
で異なる色を有する対象の場合には潜在的な欠点を有す
る。この場合には動き補正は正確になるよう不正確に決
定されうる。この潜在的な欠点を克服するために本発明
は３つのカラーチャンネル（Ｒ，Ｇ，Ｂ）を全て処理
し、その動き補正は３つのチャンネル全ての比較ブロッ
クが上記ＳＡＤテストをパスする時のみに決定する。換
言すると論理ＡＮＤ操作は３つのチャンネルからの２進
値に適用され結果は精度検出配列ＢＤＡで入力される。 後処理ユニット６７ 図６に示したシステムの最終的な動作は後処理ユニット
６７により実行され、これは最もあるまじき、及びある
失われた画素位置で正確であるような動き補正の可能な
誤った分類によるジャッダーアーティファクトを減少す
るためにデインターレースされたフレームを後処理す
る。 ジャッダーを有する及び有さないデインターレー
スされた画像領域の例は図１５（Ａ）、１５（Ｂ）にそ
れぞれ示され、ここで領域は対角エッジを含む。後処理
操作はジャッダーを検出するよう供され、それにより検
出されたジャッダーを除去する。ジャッダーの検出は以
下の前提に基づく。ジャッダーの不在では偶数ラインは
良く相関し、ジャッダーの存在では相互に隣接する偶数
及び奇数のラインの相関は良くない。故に処理は第一に
偶数ライン（Ｃｅで示される）間と相互に隣接する偶数
及び奇数ライン（Ｃｅｏで示される）間の相関を決定す
る。２つの相関の比即ちＣｅｏ／Ｃｅは閾値決めされ
る。Ｃｅｏ／Ｃｅ＿Ｔの場合にジャッダーがある。

【００７０】より詳細には後処理ユニット６７はデイン
ターレースされたフレームの矩形ブロックを検査する。
各矩形ブロックは画素により幅と高さを有する。幅（Ｎ
Ｗ）は各行の画素数であり、高さ（ＮＨ）はブロック内
の奇数ラインの数である。一般性を喪失することなしに
奇数ラインは失われ、斯くしてデインターレーシング中
に補間される。ＮＷ＝４，ＮＨ＝２を有するそのような
２つのブロックは図１６に示される。一般的には全体の
フレームはそのようなブロックの連合により覆われる。

【００７１】ジャッダーの検出は図１７から理解され、
ここで４ｘ２の後処理ブロックが示される。値ｏ１乃至
ｏ６はデインターレーシングから決定される。Ｃｅは以
下の関係式により決定される： Ｃｅ＝１／６（｜ｅ１−ｅ４｜＋｜ｅ２−ｅ５｜＋｜ｅ
３−ｅ６｜＋｜ｅ４−ｅ７｜＋｜ｅ５−ｅ８｜＋｜ｅ６
−ｅ９｜） Ｃｅｏは以下の関係式により決定される： Ｃｅｏ＝１／１２（｜ｅ１−ｏ１｜＋｜ｅ２−ｏ２｜＋
｜ｅ３−ｏ３｜＋｜ｅ１−ｏ４｜＋｜ｅ２−ｏ５｜＋｜
ｅ４−ｏ４｜｜ｅ５−ｏ５｜＋｜ｅ６−ｏ６｜＋｜ｅ４
−ｏ７｜＋｜ｅ５−ｏ８｜＋｜ｅ６−ｏ９｜） それからＣｅｏのＣｅに対する比は検査される。Ｃｅｏ
／Ｃｅ＿Ｔの場合にジャッダーと奇数ライン上の画素値
があり、それはデインターレーシングにより決定され、
これらの画素のすぐに上及び下に存在する画素値の平均
値により置き換えられる。即ち値ｏ１は１／２（ｅ１＋
ｅ４）により置き換えられ、値ｏ２は１／２（ｅ２＋ｅ
５）により置き換えられ、値ｏ３は１／２（ｅ３＋ｅ
６）により置き換えられ、値ｏ４は１／２（ｅ４＋ｅ
７）により置き換えられ、等々。さもなければ値はその
まま残り、次のブロックが処理される。最終的にユニッ
ト６７の後処理操作をたとえ後処理動作６７が図６のシ
ステムズに別のブロックとして示されていても簡単な方
法で適切な遅延メカニズムを用いて適応デインターレー
シングユニット６６内に設けることもまた可能である。

【００７２】上記からわかるように本発明によるデイン
ターレーシングシステムはそれは手持ちカメラの動きか
ら得られ、それからそれ自身を全体の動き補正の精度に
適応するようにフィールド間の全体的な動きに対して補
正する。本発明のデインターレーシング方法はカメラと
場面との間の相対的な並進変位に対応する単一の全体的
な動きベクトルを推定する故に、それはエリアシングア
ーティファクトのない鮮明でクリスプな背景を含むデイ
ンターレーシングフレームを形成する。全体的な動きベ
クトルの推定と全体的な動き補正が正確な場合には全体
的な動き補正された補間が用いられる。そうでなければ
空間的な補間が用いられる。本発明のデインターレーシ
ングシステムはデインターレースされた画像がある画像
領域で正確な全体的な動きベクトルの誤った分類の結果
として画像内に現れるジャッダーアーティファクトを除
去するために処理される。さらにまた本発明はリカーシ
ブでなく、前のデインターレーシング結果の履歴を要求
しない。上記のようにそのような要求が入力するインタ
ーレースされたビデオ信号が連続的にデインターレース
されるプログレッシブ表示ＴＶ環境内で受け入れられ得
る一方で、それはビデオプリンタの場合に不適切であ
り、ここでは画像プリントは所望の場面が見られたとき
にデインターレーシング履歴にアクセスする必要なしに
その時にプリント処理を動作させることにより形成され
る。

【００７３】本発明による実施例を説明する一方で同じ
ことはそれに対しての制限ではなく当業者に知られてい
る種々の変更及び改良をなしえ、故に記載された詳細に
制限されず、当業者には明らかなその様な改良及び変更
の全てにわたることを意図しているものである。

【図面の簡単な説明】

【図１】インターレースされたビデオフレームの奇数及
び偶数フィールドを示す図である。

【図２】隣接するフィールド内に存在する同じ位置にあ
る画素を用いることにより時間ｔ２でフレーム内の空間
位置（ｘ、ｙ）に位置された失われた画素に対する動き
の検出を示す図である。

【図３】画素の１ｘ２ブロックを比較することにより図
２の画像フィールドの動きの決定の向上された信頼性を
示す図である。

【図４】第四の連続するフィールドを用いることにより
図２の画像フィールドの動きの決定の向上された信頼性
を示す図である。

【図５】フィールドＥ１をデインターレーシングする本
発明のデインターレーシングシステムで用いられる３つ
の（時間的に）連続するフィールド（Ｅ１，Ｏ１，Ｅ
２）の垂直部分を示す図である。

【図６】本発明によるデインターレーシングシステムの
機能ブロック図である。

【図７】動きベクトルが位相相関を用いて測定される４
つの問題の画像領域（ＲＯＩ）を示す図である。

【図８】問題の領域ＲＯＩ１がテストされる変位ベクト
ル（Δｘ、Δｙ）の候補の妥当性がテストされる方法を
示す図である。

【図９】それが全体の画像フィールドの全体的な変位を
記述しうるかどうかを決定するためにｉ番目の問題領域
に属する変位ベクトル（ｄｉｘ，ｄｉｙ）が処理される
方法を示す図である。

【図１０】（ａ）は画素の正確な全体の変位ベクトル
（ｄｘ，ｄｙ）を１と４分の１画素の精度改善する第一
の方法を示す画素配列を示す図であり、（ｂ）はベクト
ル（ｄｘ＋０．２５，ｄｙ＋０．２５）をテストするの
に用いられる（ａ）の偶数フィールドのサンプル中の複
数の点を含む画素配列を示す図であり、（ｃ）は画素の
正確な全体の変位ベクトル（ｄｘ，ｄｙ）を１と４分の
１画素の精度改善する第二の方法に関する画素座標分布
を示す図である。

【図１１】全体の変位ベクトルを１と４分の１画素の精
度で推定する段階を示す本発明によるデインターレーシ
ングシステムの機能ブロック図である。

【図１２】（ａ）は全体の動き補正と適応インターレー
シングの精度を画素毎に決定する第一の場合（ケース
１）を示す図である。（ｂ）は全体の動き補正と適応イ
ンターレーシングの精度を画素毎に決定する第二の場合
（ケース２）を示す図である。（ｃ）は全体の動き補正
と適応インターレーシングの精度を画素毎に決定する第
三の場合（ケース３）を示す図である。（ｄ）は全体の
動き補正と適応インターレーシングの精度を画素毎に決
定する第四の場合（ケース４）を示す図である。（ｅ）
は全体の動き補正と適応インターレーシングの精度を画
素毎に決定する第五の場合（ケース５）を示す図であ
る。

【図１３】図１２の（ｃ）と１２の（ｅ）のケース３と
５で用いられた精度検出の背後の意図を示す図である。

【図１４】（ａ）は双線形空間補間を用いた図１２の
（ｃ）のケース３を代替する構成を示す図である。
（ｂ）は双線形空間補間を用いた図１２の（ｄ）のケー
ス３を代替する構成を示す図である。（ｃ）は双線形空
間補間を用いた図１２の（ｅ）のケース３を代替する構
成を示す図である。

【図１５】それぞれジャッダーなし及びありの対角線エ
ッジを含む画像領域を示す図である。

【図１６】それぞれ４及び２に等しい幅（ＮＷ）及び高
さ（ＮＨ）パラメータを有する２つの後処理ブロックを
示す図である。

【図１７】後処理で用いられる後処理ブロックの例を示
す図である。

【符号の説明】

６１、６２、６３ 画像フィールド記憶 ６４ 全体的動きベクトル推定（ＧＭＶ）ユニット ６５ ＧＭＶ推定器を用いる全体的な動き補正の精度を
画素毎に検出するユニット ６６ 動き補正精度適応デインターレーシングユニット ６７ 後処理器

Claims (2)

【特許請求の範囲】
1. 【請求項１】（ａ） 複数の順次のインターレースされ
   た画像フィールドのうちの選択されたフィールド間の全
   体的な並進運動の全体的な動きのベクトル推定値を生成
   するために複数の順次のインターレースされた画像フィ
   ールドのうちの選択されたフィールドを処理し； （ｂ） 段階（ａ）で生成された該全体的な動きベクト
   ル推定値に応じて動き補正の精度を表す精度マップを発
   生し； （ｃ） 段階（ｂ）で発生された該精度マップに応じて
   該複数の順次のインターレースされた画像フィールドの
   一つを選択的にデインターレースする各段階からなる複
   数の順次のインターレースされた画像フィールドからデ
   ジタル出力画像を発生する方法。
2. 【請求項２】 該複数の順次のインターレースされた画
   像フィールドの第一、第二、第三画像フィールドの画素
   を表す画素値信号を供給する画像フィールド供給路と；
   該画像フィールド供給路に結合され、該選択された画像
   フィールド間の全体的な並進運動の全体的な並進運動ベ
   クトル推定値を生成するために該第一、第二、第三画像
   フィールドの選択された一つを処理するよう動作する全
   体的な動きベクトル推定ユニットと；該画像フィールド
   供給路と該全体的な動きベクトル推定ユニットとに結合
   され、該全体的な動きベクトル推定ユニットにより生成
   された該全体的な動きベクトル推定値に応じた動き補正
   の精度を表す精度マップを発生するよう動作する精度マ
   ップ発生ユニットと；該精度マップ発生ユニットと該画
   像フィールド供給路とに結合され、該精度マップに応じ
   て該第一、第二、第三画像フィールドの一つを制御可能
   にデインターレースするよう動作するデインターレース
   器とからなる複数の順次のインターレースされた画像フ
   ィールドからデジタル出力画像を発生する装置。