JPH07154754A - 動き補正ビデオ信号処理方式 - Google Patents
動き補正ビデオ信号処理方式Info
- Publication number
- JPH07154754A JPH07154754A JP6178451A JP17845194A JPH07154754A JP H07154754 A JPH07154754 A JP H07154754A JP 6178451 A JP6178451 A JP 6178451A JP 17845194 A JP17845194 A JP 17845194A JP H07154754 A JPH07154754 A JP H07154754A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- correlation
- video
- motion
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Television Systems (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
択の際に不正確な動きベクトルが選択されないようにす
る。 【構成】 入力ビデオ信号の入力映像対間の映像の動き
を表す複数の動きベクトルを発生し、動きベクトルのグ
ループから出力映像の出力ピクセルの補間に用いる動き
ベクトルを選択するために該グループをテストする。そ
のテストでは、被テスト動きベクトルにより指し示され
る入力映像のテストブロック間の相関度を示す相関値を
検出し、ゼロ動きベクトルに関する相関度が上記グルー
プ内の他の動きベクトルに関する相関度より増すように
相関値を加重し、最高相関度を示す加重相関値をもつ動
きベクトルを選択する。
Description
理方式に関するものである。動き補正ビデオ信号処理
は、テレビジョン標準方式変換、フィルム標準方式変換
及びビデオ・フィルム標準方式間変換のような装置に用
いられている。英国公開特許出願GB−A−22317
49号に記載された変換装置の如き動き補正テレビジョ
ン標準方式変換装置では、連続入力映像の対を処理して
該入力映像対間の映像の動きを表す複数組の動きベクト
ルを発生している。該処理は、映像の個別ブロックにつ
いて行われるので、各動きベクトルは、夫々のブロック
の内容の映像間の動きを表す。
器に供給され、そこで、各ブロックに対する動きベクト
ルの組(セット)の部分集合(サブセット)が導出され
る。ゼロ動きベクトルを含むこのサブセットは、それか
ら動きベクトル選択器に送られ、そこで、動きベクトル
の該サブセットの1つが各映像ブロックにおける各画素
(ピクセル)に割当てられる。各ピクセルに対して選択
された動きベクトルは動き補正補間器に供給され、該補
間器は、入力映像間の動きを考慮に入れて連続出力映像
を補間する動作を行う。
クセルを補間するのに用いるため、ベクトル減数器より
供給される動きベクトルのサブセット(例えば、4個の
動きベクトル)から1つの動きベクトルを選択するため
に用いられる。ベクトル選択処理には、被テスト(テス
トされている)動きベクトルによって指し示される2入
力映像のテストブロック間の相関度を検出することが含
まれる。テストブロック間で最大相関度をもつ動きベク
トルが、出力ピクセルの補間に使うために選択される。
をもつ入力映像について行われるとき、問題が発生する
可能性がある。この場合、入力映像におけるノイズ領域
(部分)間の擬似的な見かけ上の相関によって、不正確
な動きベクトルが選択されることがある。このような条
件の下で動作する動き補正ビデオ信号処理装置は、或る
レベルの映像ノイズが到達した場合、劇的な動作不良を
起こし、動き補正をしない装置よりも性能が悪くなる虞
れがある。
補正ビデオ信号処理におけるベクトル選択の際に、入力
映像におけるノイズ領域間の偽の相関によって不正確な
動きベクトルが選択されるのを阻止し、映像ノイズが大
きい場合における動き補正ビデオ信号処理装置の性能の
低下を防止することである。
き補正ビデオ信号処理装置は、入力ビデオ信号の入力映
像対間の映像の動きを表す複数の動きベクトルを発生す
る手段と、ゼロの映像の動きを示すゼロ動きベクトルを
含む動きベクトルのグループから、出力映像の出力ピク
セルの補間に用いる1つの動きベクトルを選択するため
に、上記グループをテストする手段とを具え、該テスト
する手段は、被テスト動きベクトルによって指し示され
る入力映像のテストブロック間の相関度を示す相関値を
検出する手段と、ゼロ動きベクトルに対する相関値によ
って示される相関度が、上記グループ内の他の動きベク
トルに対する相関値によって示される相関度に比べて増
すように、上記相関値を加重(重み付け)する手段と、
上記動きベクトルのグループから、最も高い相関度を示
す加重(された)相関値をもつ動きベクトルを選択する
手段とを有する。
では、ゼロ動きベクトルに対して得られるベクトル選択
相関テストの結果が、上記グループにおける他の動きベ
クトルに比べて加重される。これは、他の条件が同じな
らば、動きベクトルのサブセットの中の他のベクトルが
もっとよいテストブロック間相関度を示さない限り、動
きベクトル選択時にゼロ動きベクトルをもつと選択すべ
きである、ということを意味する。
の方向に傾くので、動き補正ビデオ処理装置は、ノイズ
がある入力映像により信頼できる動きベクトル選択が妨
げられる場合、非動き補正装置より悪くない性能に戻る
ことができる。
対応位置にあるピクセル対間の絶対輝度差を検出する手
段と、相関値を発生するために絶対輝度差を合算する手
段とを含むのがよい。この場合、上記加重手段は、ゼロ
動きベクトルに対する相関値に1より小さい所定の一定
値を乗じる手段を含むを可とする。即ち、加重は、ゼロ
動きベクトルに対する相関値を他の動きベクトルに対す
る相関値に比べて減らす(もっと大きい相関度を示すた
め)作用をする。
きベクトル以外の1以上の動きベクトルに対する相関値
に、夫々1より大きな加重値を乗じる手段を含むのがよ
い。
用してもよい。この目的のためには、加重手段は、ゼロ
動きベクトルに対する相関値から所定の一定値を減じる
手段を含むのがよい。同じく、加重手段は、上記グルー
プにおけるゼロ動きベクトル以外の1以上の動きベクト
ルに対する相関値に、夫々加重値を加算する手段を含む
を可とする。
記グループにおける各動きベクトルに対する相関値によ
って示される相関度が、当該動きベクトルの大きさに比
例する量だけ減るように、上記相関値を加重する動作を
する。これは、選択されるためには、他の要因がすべて
等しければ、大きい動きベクトルが、小さい動きベクト
ルよりもテストブロック間でよりよい相関を生じるべき
である、ということを意味する。
デオ信号処理方法を提供する。その方法は、入力ビデオ
信号の入力映像対間の映像の動きを表す複数の動きベク
トルを発生するステップと、ゼロの映像の動きを示すゼ
ロ動きベクトルを含む動きベクトルのグループから、出
力映像の出力ピクセルの補間に用いる1つの動きベクト
ルを選択するために、上記グループをテストするステッ
プとを含み、そのテストするステップは、被テスト(テ
スト中)の動きベクトルによって指し示される入力映像
のテストブロック間の相関度を示す相関値を検出するこ
と、ゼロ動きベクトルに対する相関値によって示される
相関度が、上記グループ内の他の動きベクトルに対する
相関値によって示される相関度に比べて増すように、上
記相関値を加重すること、上記動きベクトルのグループ
から、最も高い相関度を示す加重相関値をもつ動きベク
トルを選択することの各過程を含む。
細な詳細部分(相関テストに用いるテストブロックの1
つよりも小さい)をもつビデオ素材に適用する場合、動
く部分の補間に対して不正確なベクトルが選択される可
能性がある。これは、2入力映像における動く部分の周
りの領域間の相関が全く異なり、この差が相関テストの
結果を左右するためである。この潜在的な問題の例を図
1及び2に示す。
の映像に対するベクトル選択処理における問題点を示
す。ベクトル推定において、静止映像の背景と自動車の
動きを表すものとして、少なくともゼロ動きベクトル及
び水平動きベクトルが夫々特定されている。車体の部分
に対しては、ベクトル選択時に行われる相関テストは容
易に「車」動きベクトルを選択できる筈である。しか
し、車(カー)ラジオアンテナのような品物に対して
は、「車」動きベクトルによって指し示されるテストブ
ロック10,20(図1のa,b)は、圧倒的に映像背
景の様々な部分によって左右される。これらのテストブ
ロックの相関は低い。これに対し、ゼロ動きベクトルに
よって指し示されるテストブロック30,40(図2の
a,b)間の相関は高い。これは、これらのテストブロ
ックが映像背景の同一部分を表し、僅かに、テストブロ
ックの一方が車ラジオアンテナの一部を含む点で異なる
ことによる。したがって、ゼロ動きベクトルに対する相
関テストの結果は、「車」動きベクトルに対する結果よ
り大きな相関を示すので、車ラジオアンテナの一部の補
間に用いるためにゼロ動きベクトルが間違って選択され
ることになる。
の大きさを小さくしてもよいが、この方法は、ベクトル
選択処理において入力映像内ノイズの影響を受け易くす
るであろう。
成を有する動き補正ビデオ信号処理装置を提供する。そ
の装置は、入力ビデオ信号の入力映像対間の映像の動き
を表す複数の動きベクトルを発生する手段と、動きベク
トルのグループから出力映像の出力ピクセルの補間に用
いる1つの動きベクトルを選択するために、上記グルー
プをテストする手段と、選択された動きベクトルを用い
て、入力ビデオ信号の入力映像対から出力ピクセルを補
間する動き補正補間器とを具え、上記テストする手段
は、被テスト動きベクトルによって指し示される入力映
像の少なくともテストブロックの映像内容を強調する映
像強調手段と、映像強調されたテストブロック間の相関
度を検出する手段と、夫々の映像強調されたテストブロ
ック間で最高の相関度をもつ動きベクトルを選択する手
段とを有する。
力映像対の少なくともテストブロックを強調するために
使用される。こうすると、上述の車ラジオアンテナのよ
うな微細部の可視度或いはテストブロック内の重要度を
増すことができる。微細部が強調されるので、ベクトル
選択時に行われる相関テストの結果に与える影響が大き
くなる。これにより、ベクトル選択処理において、例え
ば静止背景に対して動く小さい微細な物体に対し、正確
な動きベクトルが選択される可能性が高まる。
を導出する前又は後で行ってもよい。
元ハイパス空間フィルタを含む。しかし、ハイパスフィ
ルタを使用すると、テストブロック内の微細部を強調で
きるが、フィルタは映像ノイズをも一層目立たせるの
で、全体のシステムの性能が低下する。よって、他の具
体構成では、垂直ソベル(Sobel )映像フィルタ及び水
平ソベル映像フィルタを使用する(これらのフィルタ
は、一方向でハイパスろ波を行い、他方向でローパスろ
波を行う。)。そして、テストブロックにおける1以上
のピクセルの周囲の所定の詳細度より大きいことを示
す、垂直ソベル映像フィルタ又は水平ソベル映像フィル
タによる出力を検出する手段と、該検出手段に応答し、
テストブロックの1以上のピクセルを所定輝度のピクセ
ルで置換える手段とを設ける。所定輝度のピクセルは、
白ピクセルであるのがよい。
ソベル映像フィルタと、水平ソベル映像フィルタと、テ
ストブロックにおける1以上のピクセルの周囲の所定詳
細度より小さいことを示す、垂直ソベル映像フィルタ又
は水平ソベル映像フィルタによる出力を検出する第2検
出手段と、第2検出手段に応答し、テストブロックの1
以上のピクセルを第2の所定輝度のピクセルで置換える
手段とを含む。
クセルであるのがよい。
テストブロックにおける1以上のピクセルの周囲の所定
詳細度より大きいことを示す、垂直ソベル映像フィルタ
又は水平ソベル映像フィルタによる出力を検出する手段
と、該検出手段に応答し、テストブロックの1以上のピ
クセルの輝度成分に所定輝度成分を加算する手段とを含
む。
相関値の加重と組合せるのがよい。この目的のために
は、上記動きベクトルのグループがゼロの映像の動きを
示すゼロ動きベクトルを含み、本装置が、被テスト動き
ベクトルによって指し示される入力映像の映像強調テス
トブロック間の相関度を表す相関値を検出する手段と、
該相関値を、ゼロ動きベクトルに対する相関値によって
示される相関度が、上記グループ内の他の動きベクトル
に対する相関値によって示される相関度に比べて増すよ
うに、加重する手段とを有し、且つ選択手段が、最高相
関度を示す加重(された)相関値をもつ動きベクトルを
選択する動作をするのがよい。
における対応位置にあるピクセル対間の絶対輝度差を検
出する手段と、該絶対輝度差を合計して絶対差の合計
(SAD)値を発生する手段とを含むのがよい。
デオ信号処理方法を提供する。その方法は、入力ビデオ
信号の入力映像対間の映像の動きを表す複数の動きベク
トルを発生するステップと、動きベクトルのグループか
ら出力映像の出力ピクセルの補間に用いる動きベクトル
を選択するために、上記グループをテストするステップ
と、選択された動きベクトルを用いて、入力ビデオ信号
の入力映像対から出力ピクセルを補間するステップとを
含み、上記テストするステップは、被テスト動きベクト
ルによって指し示される入力映像の少なくともテストブ
ロックの映像内容を映像強調すること、映像強調テスト
ブロック間の相関度を検出すること、夫々の映像強調テ
ストブロック間で最高の相関度をもつ動きベクトルを選
択することの各過程を含んでいる。
前を動く場合に起こる他の問題点を示す(図中、O字状
背景がフィールド間で左から右に動いている。)。この
場合、ベクトル選択で行われる相関テストは、単純背景
の2領域間で極めてよい整合(合致)を与えることがあ
る。実際に、2つの単純な領域間で得られる整合は、微
細物体の対応する2つの部分間で得られる整合よりもよ
い整合に見えることが多い。テストブロック間の最高相
関度をもつ動きベクトルは、補間に使用するために選択
されるのであるから、単純領域間の極めてよい整合は、
微細物体の動きを表す正しいベクトルに優先して正しく
ないベクトルが選択されるという結果を引起こす。この
エラーの結果は、微細物体に目に見えるギャップ(実際
は背景の一部分)となって現れる。
有する動き補正ビデオ信号処理装置を提供する。その装
置は、入力ビデオ信号の入力映像対間の映像の動きを表
す複数の動きベクトルを発生する手段と、出力映像の出
力ピクセルの補間に用いる動きベクトルを選択するため
に、動きベクトルのグループをテストする手段とを具
え、該テストする手段は、被テスト動きベクトルによっ
て指し示された入力映像のテストブロック間の相関度を
検出する手段と、テストブロックの映像詳細度を示す解
析値を発生する手段と、動きベクトルによって指し示さ
れたテストブロック及び動きベクトルによって指し示さ
れたテストブロックに対する解析値間の相関度に応じ
て、上記動きベクトルのグループから1つの動きベクト
ルを選択する手段とを有する。
ストブロックにおける詳細度を表すために発生され、ベ
クトル選択処理に影響を与えるように使用される。こう
すると、詳細なテストブロック間で検出される相関に、
単純な(詳細でない)テストブロック間で検出される相
関よりも大きな重みを付けることができる。これによ
り、上述の誤りベクトル選択の問題を軽減できる。
る。例えば、1以上のソベル・フィルタの出力を利用し
てもよい。好適な具体構成では、解析値を発生する手段
は、テストブロックにおけるピクセルの最高輝度成分と
該テストブロックにおけるピクセルの最低輝度成分との
間の差を検出する手段を有する。
は、各テストブロック内の隣接ピクセル対間の輝度差を
合計する手段を含む。その合計手段は、テストブロック
における各ピクセルについて、当該ピクセルと垂直に隣
接するピクセルとの間の輝度差のうち高い方と、当該ピ
クセルと水平に隣接するピクセルとの間の輝度差とを加
算する手段を含む。
法でベクトル選択処理に影響を与えることができる。或
る好適な具体構成では、本装置は、当該動きベクトルに
よって指し示されたテストブロックが所定の映像詳細度
より低いことを示す解析値をもつ動きベクトルの選択を
防ぐ手段を含む。
スト結果に重みを加えてもよい。この場合、本装置は、
テストブロック間の相関度を示す相関値を検出する手段
と、解析値に応じて、動きベクトルに対する相関値によ
って示される相関度が、検出された映像詳細度が増すと
共に増すように、上記相関値を加重する手段とを含み、
選択手段が、最高相関度を示す加重相関値をもつ動きベ
クトルを選択する動作をするのがよい。
する手段は、テストブロック内の対応位置にあるピクセ
ル対間の絶対輝度差を検出する手段と、絶対輝度差を合
計して絶対差合計(SAD)値を発生する手段とを含
む。この場合、加重手段は、絶対差合計値に、検出され
た映像詳細度が増すと共に減少する加重係数を乗じる手
段を含むのがよい。
ができる。この場合、被テスト動きベクトルによって指
し示された入力映像の少なくともテストブロックの映像
内容を強調する映像強調手段を用いる。
るのがよい。この目的のためには、動きベクトルのグル
ープがゼロの映像の動きを示すゼロ動きベクトルを含
み、本装置は、被テスト動きベクトルによって指し示さ
れる入力映像のテストブロック間の相関度を示す相関値
を検出する手段と、ゼロ動きベクトルに対する相関値に
よって示される相関度が、上記グループ内の他の動きベ
クトルに対する相関値によって示される相関度に比べて
増すように、上記相関値を加重する手段とを有し、選択
手段が最高相関度を示す加重相関値をもつ動きベクトル
を選択する動作をするのがよい。
し入力ビデオ信号の連続する2フィールドを含む。出力
映像は、飛越し出力ビデオ信号の1フィールドを含むの
がよい。
プを含む動き補正ビデオ信号処理方法を提供する。その
方法は、入力ビデオ信号の入力映像対間の映像の動きを
表す複数の動きベクトルを発生するステップと、出力映
像の出力ピクセルの補間に用いる動きベクトルを選択す
るために、動きベクトルのグループをテストするステッ
プとを含み、該テストするステップは、被テスト動きベ
クトルによって指し示される入力映像のテストブロック
間の相関度を検出すること、テストブロックの空間周波
数内容を示す解析値を発生すること、動きベクトルによ
って指し示されたテストブロックと、動きベクトルによ
って指し示されたテストブロックに対する解析値との間
の相関度に応じて、上記動きベクトルのグループから動
きベクトルに選択することの各過程を含む。
準方式変換装置に用いて好適である。
る。図4は、本発明を用いうる動き補正テレビジョン標
準方式変換装置を示すブロック図である。本装置は、入
力飛越しデジタルビデオ信号250(例えば、1125
/60、2:1高精細度ビデオ信号(HDVS))を受
信し、出力飛越しデジタルビデオ信号260(例えば、
1250/50、2:1信号)を発生するものである。
ッカー310に供給される。通常精細度入力信号の場
合、入力バッファ・パッカー310は、映像データを高
精細度(16:9縦横比)フォーマットに変え、必要に
応じ黒ピクセルを詰める。HDVS入力の場合、入力バ
ッファ・パッカー310は、単にデータを一時記憶する
だけである。
からマトリクス回路320に送られ、該回路では(必要
に応じ)入力ビデオ信号の測色法を標準の「CCIR
勧告601」(Y,Cr,Cb)測色法に変換する。
からタイムベース変換(TBC)及びディレー(遅延)
回路330に、またサブサンプラー370を介してサブ
サンプルされたTBC及びディレー回路380に送られ
る。TBC及びディレー回路330は、出力ビデオ信号
の各フィールドの時間位置を決め、出力フィールドの補
間に用いるため、当該出力フィールドに時間的に最も近
い2フィールドの入力ビデオ信号を選択する。出力ビデ
オ信号の各フィールドのために、上記TBC回路で選択
された2入力フィールドは、当該出力フィールドを補間
する補間器340に送る前に適正に遅らされる。制御信
号tは、各出力フィールドの選択された2入力フィール
ドに対する時間位置を指示するもので、タイムベース変
換(TBC)及びディレー回路330から補間器340
に供給される。
路380も、同様な動作をするが、サブサンプラー37
0により供給される空間的にサブ(ダウン)サンプルさ
れたビデオを使用する点が異なる。上記TBC回路33
0で選択されたフィールド対に対応するフィールド対
が、サブサンプルされたTBC及びディレー回路380
によりサブサンプルされたビデオから選択され、動きベ
クトルの発生に使用される。
オ信号、出力ビデオ信号又はその双方に関連した同期信
号に従って動作することができる。ただ1つの同期信号
しか供給されない場合、上記2ビデオ信号の他方のフィ
ールドのタイミングは、TBC回路330,380で決
定論的に発生することができる。
路380によって選択された、サブサンプルされた入力
ビデオ信号のフィールド対は、直接ブロック突合せ器3
90、相関面処理器400、動きベクトル推定器41
0、動きベクトル減数器420、動きベクトル選択器4
30及び動きベクトルあと処理器440より成る動き処
理装置385に供給される。上記入力フィールド対はま
ず直接ブロック突合せ器390に送られ、そこで、選択
された2入力フィールドのうち時間的に早いものにおけ
るサーチブロックと、上記2入力フィールドのうち時間
的に遅いものにおける(より大きい)サーチ領域との間
の空間的相関を表す相関面を計算する。
390より出力された相関面から多数の補間された相関
面を発生し、これらは動きベクトル推定器410に送ら
れる。動きベクトル推定器410は、補間された相関面
における最大相関点を検出する。(元の相関面は実際上
2入力フィールドのブロック間の差を表すので、最大相
関点は相関面では最小点になる。よって、以下「最小
点」という。)最小点を検出するために、相関面に点を
補足して補間し、相関面発生のためにサブサンプルされ
たビデオを用いたことにより生じる解像度のロスを或る
程度補償する。動きベクトル推定器410は、検出した
各相関面における最小点から動きベクトルを発生し、こ
れを動きベクトル減数器420に送る。
た各動きベクトルについて確認(信頼)テストを行い、
当該動きベクトルが平均データレベルよりかなり上にあ
るかをどうかを確かめ、確認テストの結果を示す確認フ
ラグを各動きベクトルに付ける。確認テストは、「閾
値」テストとして知られ、前記GB−A−2,231,
749号に(図1の装置の幾つかの他の特色と共に)記
載されている。
トルが偽物であるかどうかを検出するテストも行う。こ
のテストでは、相関面(検出した最小点の周りの除外域
は除く。)を調べて次の最小点を検出する。この2番目
の最小点が除外域のエッジ(端縁)にない場合、最初の
最小点から導出された動きベクトルは、偽物の可能性が
あるものとしてフラグが付けられる。
ルドの各ピクセルについて可能性のある動きベクトルの
選択幅を減らしてから、動きベクトルを動きベクトル選
択器430に送る。出力フィールドは、概念的に複数の
ピクセルブロックに分割される。それら各ブロックは、
出力フィールド内に上記選択された入力フィールドのう
ち早いものにおけるサーチブロックと対応する位置を有
する。動きベクトル減数器は、4つの動きベクトルのグ
ループを出力フィールドの各ブロックに対応させ、当該
ブロック内の各ピクセルは、当該グループの4動きベク
トルの選択された1つを用いて補間される。
ルは、すぐ近くのブロックにおけるフラグの付かないベ
クトルと同一である場合、ベクトル減数時に再適格化さ
れる。
一部として、「適正な」動きベクトル(即ち、確認テス
ト及び偽物テストに合格した動きベクトル、又は偽物で
ないと再適格化されたもの)の発生頻度を、それらの動
きベクトルを得るのに用いた入力フィールドのブロック
の位置を考慮することなくカウントする。適正な動きベ
クトルをそれから、頻度が減少する順に格付けする。互
いにかなり異なる適正動きベクトルのうち最も共通する
ものを、「広域」動きベクトルとして分類する。確認テ
ストに合格した3つの動きベクトルがそれから、出力ピ
クセルの各ブロックに対して選択され、ゼロ動きベクト
ルと共に、動きベクトル選択器430に送られ更に処理
される。これら3つの選択された動きベクトルは、所定
の優先順で次のものから選択される。 (i)対応するサーチブロックから発生された動きベク
トル(「局部」動きベクトル)、(ii) 周囲のサーチブ
ロックから発生されたもの(「隣接」動きベクトル)、
(iii) 広域動きベクトル。
ルされたTBC及びディレー回路380によって選択さ
れ、動きベクトルの計算に使用された2入力フィールド
をも入力として受信する。これらのフィールドは、適当
に遅延されて、動きベクトル選択器430にこれらのフ
ィールドから導出されたベクトルと同時に供給される。
動きベクトル選択器430は、出力フィールドのピクセ
ル当たり1つの動きベクトルを含む出力を供給する。こ
の動きベクトルは、動きベクトル減数器420によって
供給される当該ブロックに対する4つの動きベクトルか
ら選択される。
クトルによって指し示される2つの入力フィールドのテ
ストブロック間の相関度の検出を含んでいる。テストブ
ロック間の最大相関度をもつ動きベクトルが、出力ピク
セルの補間に使用するために選択される。ベクトル選択
器はまた、「動きフラグ」を発生する。このフラグは、
ゼロ動きベクトルによって指し示されるブロック間の相
関度がプリセットされた閾値より大きい場合、「静止」
(動きなし)にセットされる。
ル選択器430により選択された動きベクトルのフォー
マットを、画像の垂直又は水平のスケーリングがある場
合これを表すように改め、このフォーマットを変えたベ
クトルを補間器340に供給する。補間器340は、動
きベクトルを用いて、TBC及びディレー回路330に
より選択された対応する2つの(サブサンプルされな
い)飛越し入力フィールドから出力フィールドを補間す
る。この場合、現在補間器340に供給されている動き
ベクトルによって示されるいかなる映像の動きをも考慮
する。
の動き部分内に在ることを示す場合、補間器に供給され
る2つの選択されたフィールドからのピクセルが、出力
フィールドの上記2入力フィールド(制御信号tで示さ
れる如き)に対する時間位置に応じて、相対的比率で結
合される。即ち、より近い入力フィールドがより大きな
比率で結合される。動きフラグが「静止」にセットされ
ている場合、時間的加重(重み付け)は各入力フィール
ドの50%に固定される。補間器340の出力は、出力
バッファ350に送られ高精細度出力信号として出力さ
れると共に、ダウンコンバータ360に送られ通常精細
度出力信号365として出力される。
(例えば、高精細度ビデオ信号)の表示を従来精細度の
装置を用いてモニタしたり、送信したり、又は記録した
りすることを可能とする。これは、従来精細度記録機器
が高精細度機器よりかなり安価で、遙かに広く普及して
いるので、有益である。例えば、夫々地上及び衛星チャ
ンネルによって送信するには、通常及び高精細度ビデオ
の同時出力が必要であろう。
0より受信した入力ビデオフィールドを水平及び垂直方
向に空間的にサブ(ダウン)サンプリングしてから、そ
れらの入力フィールドをタイムベース変換(TBC)及
びディレー回路380に供給する。水平サブサンプリン
グは、入力フィールドがまず半帯域幅ローパスフィルタ
(2:1水平デシメーション(間引き)の本例の場合)
により予めフィルタリング(ろ波)され、各ビデオライ
ンに沿ってビデオサンプルが1つおきに捨てられ、これ
によって、各ビデオラインに沿うサンプルの数が半分に
減るという点において、容易な動作である。
は、入力ビデオ信号250が飛越し走査されているた
め、複雑である。これは、各飛越しフィールドにおける
ビデオサンプルの連続するラインが実効的に2つのビデ
オラインに分かれ、各フィールドにおけるラインが前後
のフィールドのラインより完全フレームの1ビデオライ
ンだけ垂直にずれていることを意味する。
ログレッシブ(連続又は順次)走査変換を行い(各々が
1125ラインをもつ連続するブログレッシブ走査され
たビデオフレームを発生し)、該プログレッシブ走査さ
れたフレームを2の率でサブサンプルして、垂直サブサ
ンプルを行うことであろう。しかし、効率のよいプログ
レッシブ走査変換は、或る程度の動き補正処理を必要と
し、その処理が動き処理装置385の動作に悪い影響を
与えることがある。更に、高精細度ビデオ信号の実時間
プログレッシブ走査変換は、特別に強力で複雑な処理装
置を必要とすることであろう。
方法は、図5に示すように、入力フィールドをまず垂直
方向にローパスろ波し(潜在的エイリアシング(重複歪
み)を避けるため)、次いで、各ピクセルを垂直方向に
ビデオラインの1/2だけ下方(偶数フィールドの場
合)又は上方(奇数フィールドの場合)に実効的にずら
す如きろ波を行うことである。その結果得られるずれた
フィールドは、2の率で垂直方向にサブサンプルされた
プログレッシブ走査フレームと広い意味で等価である。
ンプリング動作の結果、動き処理装置385は、水平及
び垂直方向に2の率で空間的にサブサンプルされた入力
フィールド対について動作することになる。これによ
り、動きベクトル推定に要する処理が1/4に減少す
る。
の比較を示す説明図である。同図は、出力フィールド5
30における出力ピクセル520を含むブロックに関連
する2つの動きベクトル500及び510を示す。図を
分かり易くするため、動きベクトル減数器420によ
る、出力ピクセル520に関連する他の2つの動きベク
トルは、示していない。
ベクトルの1つ(例えば、動きベクトル510)をテス
トするために、当該動きベクトルを補外して、出力フィ
ールド530がそれから補間される入力フィールド56
0,570におけるピクセルのテストブロック540,
550を夫々指し示させる。該ピクセルのテストブロッ
ク間の相関度を、2つのテストブロックにおける対応位
置にあるピクセル対間の絶対輝度差を計算することによ
り、決定する。これらの絶対輝度差値をそれから加算し
て、被テスト(テストされている)動きベクトルに関連
する絶対輝度差合計(SAD)を作る。高いSAD値
は、当該動きベクトルによって指し示されたピクセルの
周囲の入力フレームにおけるブロック間の相関度が低い
ことを示し、低SAD値は、それらのブロック間の相関
度が高いことを示す。このテストは、動きベクトル減数
器420より動きベクトル選択器430に供給される4
つの動きベクトルの各々に対して行われる。このテスト
から、最低のSAD値をもつ動きベクトルが、動きベク
トル選択器430により出力ピクセル520の補間に使
用するために選ばれる。
を示すブロック図である。出力ピクセルの各ブロックに
対する4つの動きベクトルが、動きベクトル減数器42
0より動きベクトル選択器430に供給される。これら
4つの動きベクトル、即ちゼロ動きベクトル及び3つの
他のベクトルv1,v2,v3は、夫々4つの処理ユニ
ット600,610,620及び630に供給される。
各処理ユニット600〜630は、アドレスずれ計算器
640、2つのランダムアクセスメモリ(RAM)65
0,660並びにブロック突合せ及び比較器670を有
し、2つのRAMは、TBC(タイムベース変換)及び
ディレー回路380により選択された入力フィールド対
の夫々1つの関連部分を記憶する。
算器640は、当該処理ユニット向けの動きベクトルと
共にTBC及びディレー回路380により発生された時
間ずれ制御信号(t)を受信する。アドレスずれ計算器
640は、これら2つの値から、当該動きベクトルによ
って指し示されRAM650,660に記憶されたピク
セル・テストブロックにアクセスするための複数のメモ
リアドレスを発生する。アドレスずれ計算器より供給さ
れたアドレスに応答して、RAM650,660の各々
は、テストブロック(t.b.)を表すピクセル値のア
レイをブロック突合せ及び比較器670に供給する。
のテストブロックにおける対応位置にあるピクセル値
(詳しくは、ピクセル値の輝度成分)を比較する。各ピ
クセル対間の絶対輝度差が計算され、2つのテストブロ
ック間の総合相関を示すため、絶対輝度差全部の合計
(SAD)が発生される。測定の動きベクトルに対する
低いSAD値は、当該動きベクトルによって指し示され
たテストブロック間の相関度が高いことを示す。
を受信し、当該動きベクトルによって指し示されたテス
トブロックに対するSAD値を計算する。処理ユニット
630はそれから、SAD値及びベクトルv3の識別子
を処理ユニット620に供給する。
合せ及び比較器670によってベクトルv2に対するS
AD値が発生される。v2に対するSAD値はそれか
ら、処理ユニット630から受信したv3に対するSA
D値と比較される。これら2つのSAD値のうち低い方
は、当該動きベクトルによって指し示されたテストブロ
ック間の高い相関度をもつ動きベクトル(v2又はv
3)を表す。したがって、処理ユニット620は、低い
方のSAD値675と、この最低SAD値が導出された
ベクトルを識別するベクトル識別子680とを出力す
る。
信し、当該ベクトルからSAD値を計算する。v1に対
するSAD値をそれから、処理ユニット620から供給
されたベクトルv2,v3の最低SAD値675と比較
する。処理ユニット610はそれから、ベクトルv1,
v2及びv3の最低SAD値と共に、当該SAD値が発
生されたベクトルの識別子を出力する。
に対するSAD値を発生し、これを、処理ユニット61
0から受けたベクトルv1,v2及びv3の現在の最低
SAD値と比較する。処理ユニット600のブロック突
合せ及び比較器670は、この比較から、最低SAD値
が発生された4つの動きベクトルの中の1つを示す選択
(された)ベクトル(の)識別子690を出力する。
ユニット600のブロック突合及び比較器670によっ
て発生される)は、比較器700に供給され、そこで予
め設定された閾値710と比較される。ゼロ動きベクト
ルに対するSAD値は、4つの動きベクトル(ゼロ,v
1,v2,v3)のどれが出力ピクセルの補間に用いる
ために選択されたかに関係なく、比較器700に供給さ
れる。
るSAD値が閾値710より大きいときに「セット」さ
れる動きフラグ720を発生する。ゼロ動きベクトルに
対するSAD値が閾値710より小さいとき、動きフラ
グはセットされず、現在の出力ピクセルが画像のほぼ静
止した部分に在ることを示す。
(ブロック突合せ及び比較器670)を詳細に示すブロ
ック図である。同図において、ゼロ動きベクトルによっ
て指し示された2つのテストブロック(処理ユニット6
00内のRAM650,660より出力される)が、ブ
ロック突合せ及び比較器670の一部をなすブロック突
合せ器672に供給される。ブロック突合せ器672
は、2つのテストブロックの各々における対応位置にあ
るピクセルを比較して、ゼロ動きベクトルによって指し
示されたテストブロック間の相関を表すSAD値を発生
する。このSAD値は、直接比較器700に出力され、
乗算器750にも供給される。
て発生されたSAD値に係数1−δを乗じる。これは、
ゼロ動きベクトルに対するSAD値を減らすため、比例
加重を適用するものである。例えば、δが0.2に等し
ければ、ゼロ動きベクトルに対するSAD値は、20%
減少する。
ベクトルに対する加重(された)SAD値は、ブロック
突合せ及び比較器670の一部をなす比較器674に供
給される。比較器674は、処理ユニット610から、
現在の最低SAD値と、動きベクトルv1,v2,v3
のうちどれが現在の最低SAD値に対応するかを示す識
別子とを受ける。比較器674は、現在の最低SAD値
を乗算器750より出力された加重SAD値と比較し、
ゼロ動きベクトル(ゼロ動きベクトルに対する加重SA
D値が、処理ユニット610から受けた現在の最低SA
D値より低いか又は等しいとき)又は処理ユニット61
0から受けたベクトル識別子(ゼロ動きベクトルに対す
る加重SAD値が、処理ユニット610から受けた現在
の最低SAD値より大きいとき)のどちらか一方を識別
する出力690を発生する。
関するSADに対してのみ、加重を適用する。よって、
他の3つ(非ゼロ)の動きベクトルの1つを選択すべき
場合は、それらの他の3動きベクトルの1つによって指
し示されたテストブロック間の相関が、ゼロ動きベクト
ルに関する相関よりも比例してよくなければならない。
δ(δは1より小)を乗じる代わりに(又はそれに加え
て)、他の動きベクトル(v1,v2又はv3)に対す
るSAD値に1より大きな係数を乗じるようにしてもよ
い。他の具体構成では、加算的加重を使用することもで
きる。即ち、加重値をゼロ動きベクトルに対するSAD
値より減じるか又は残りの3動きベクトルに対するSA
D値に足すか、或いはその両方を用いるのである。ま
た、3つの動きベクトルv1,v2,v3のうち最もよ
いもののSAD値(現在の最低SAD)が処理ユニット
610から処理ユニット600に送られるとき、加重値
をそのSAD値に足すようにもできる。
上に対するSAD値に加重を施す上記すべての場合に、
夫々の動きベクトルの大きさに応じて(例えば、ベクト
ルの大きさに比例して)加重を増すようにしてもよい。
これは、選択をするためには、他のすべての要因が同じ
ならば、大きい動きベクトルの方が小さい動きベクトル
よりテストブロック間の相関がよく(即ち、SAD値が
低く)ならねばならないことを意味する。
選択に用いるテストブロックに映像強調を施し、それら
のテストブロック内の微細部がある小領域を強調してい
る。このプロセス(処理)は、小さな微細物体の可視度
を増すので、ブロック突合せ及び比較器670で行うブ
ロック突合せ処理に一層大きな影響を与える。
に使用するに適した映像強調技法の1つは、従来の2次
元フィルタ装置を用いてテストブロックに高周波エンフ
ァシスを施すことである。例えば、図9及び10に示す
ような2次元ハイパス空間ろ波係数を使用する3×3空
間フィルタを用いてもよい。ただし、図9及び10に示
すようなハイパスフィルタを用いると、テストブロック
内の微細部を強調するものの、映像ノイズを一層目立た
せ、総合的システム性能を低下させる。
bel )フィルタの出力に応答して映像データを修正する
ものである。これらのフィルタを用いると、映像データ
は、一方向においてローパスフィルタにより、他方向に
おいてハイパスフィルタにより効率よくろ波される。こ
の技法によれば、得られる強調(された)映像は、図9
及び10の2次元ハイパスフィルタを用いてろ波された
類似の映像よりもノイズを免かれている。ソベルろ波処
理はまた、水平及び垂直線のような自然映像の特徴に対
する感度がよい。
る1組の係数を示し、図12は、水平ソベル空間フィル
タに対する1組の係数を示す。テストブロックのソベル
ろ波されたものは、後述のように、ピクセルデータの選
択的置換を制御するのに使用する。
ク図である。同図の映像強調回路は、テストブロックを
ブロック突合せ及び比較器670に送る前にRAM65
0,660により出力されるテストブロックを処理する
ために、図7の装置の中に挿入することができる。或い
は、図13の映像強調回路を、RAM650,660に
記憶しようとする全映像を強調するのに使用してもよ
い。どちらの場合も、映像強調は、ベクトル選択に用い
るテストブロックに適用し、最終的に出力ピクセルが発
生される映像には適用しない。
800(例えば、RAM650,660から)は、垂直
ソベルフィルタ810及び水平ソベルフィルタ820に
並列に供給される。垂直ソベルフィルタ810は、入力
ビデオデータ800の各ピクセルに対し、当該位置にお
ける垂直映像詳細度を示す出力dvを発生する。同様
に、水平ソベルフィルタ820は、当該位置における水
平映像詳細度を示す出力dhを発生する。
0の出力は、夫々比較器の対に並列に供給される。詳し
くいえば、垂直ソベルフィルタ810からの出力dvは
比較器830,840に、水平ソベルフィルタ820か
らの出力dhは比較器850,860に供給される。比
較器830及び850は、夫々の入力dv及びdhを閾
(t)870と比較し、dv又はdhが閾値870より
大きいかどうかを示す出力を夫々発生する。同様に、比
較器840及び860は、夫々の詳細値dv又はdh
を、大きさが閾870に等しい負の閾値と比較する。負
の閾値は、夫々閾値870に−1を乗じる乗算器88
0,890によって発生される。比較器840及び86
0は、詳細値dv又はdhが負の閾(−t)より小さい
かどうかを示す出力を夫々発生する。
ト900に供給され、その出力でスイッチ910を制御
する。即ち、水平詳細値又は垂直詳細値のどちらか一方
が閾870より大きいとき、入力ビデオの当該位置に白
ピクセルを当てるように制御する。同様に、比較器84
0及び860の出力はORゲート920に供給され、そ
の出力でスイッチ930を制御する。即ち、詳細値dv
又はdhのどちらかが負の閾値より小さいとき、入力ビ
デオの当該位置に黒ピクセルを入れるように制御する。
て(例えば、ブロック突合せ及び比較器670に)供給
される。
0による白及び黒ビデオの置換はまた、現ピクセルの周
囲の小ブロックにおける強さの平均化を受ける。即ち、
強さが低い領域では微細部を白ピクセルで置換え、強さ
が高い領域では微細部を黒ピクセルで置換える。
のピクセルを入れる代わりに、微細領域のピクセル値に
一定信号を加えてもよい。
ビデオ素材によって決まるので、これらの様々な代替策
の間で切替えが可能な動的システムを使用することがで
きる。
したような)に対し映像強調テストブロック950,9
60を用いたベクトル選択処理上の効果を示す。図13
の装置で行った映像強調を、図14では、車ラジオアン
テナを表すのに太く印刷して示した。映像強調の結果、
アンテナは、動きベクトル選択に使用されたテストブロ
ック950,960の遙かに重要な部分となる。これ
は、ベクトル選択における相関テストが、車ラジオアン
テナを表すピクセルの補間に用いるのに正確なベクトル
(「車」動きベクトル)を選択する可能性が多くなるこ
とを意味する。
に用いるテストブロックを解析して該ブロックに含まれ
る詳細部の量を検出する。それから相関テスト結果を調
整もしくは加重して、詳細部を殆ど含まないテストブロ
ック(例えば、単純背景領域からのブロック)を用いて
得られた高い相関度を、もっと詳細なテストブロックか
ら得られた低い相関度より重要性が低いものとして扱う
ようにする。
色々な方法で行うことができる。例えば、テストブロッ
クにおけるダイナミックレンジ(最大ピクセル値−最小
ピクセル値)を定量化する。その改良として、テストの
前にブロックを平滑化する(従来の2次元ローパスろ波
装置により)ことにより、他の点では単純な背景上の1
つの偽ピクセルが、テストブロックにおける詳細部を示
すものと受取られないようにすることができる。もう1
つの具体構成では、ソベルろ波処理を用いることができ
る。
法は、隣接ピクセル値間の差を計算し、これらの差を該
ブロックについて合計することである。
絶対差 Line diff=垂直隣接ピクセル間の絶対差 ブロックに詳細部があると、隣接ピクセル間の輝度値の
差は、上記の総量を高周波数内容に応じた量だけ非ゼロ
とする。
示すブロック図である。同図において、ブロック突合せ
器672にて発生されたSAD値は、テストブロックに
て検出された詳細度に従って加重される(1000,1
010)。これは、相関テストの結果が、単にブロック
が詳細度に欠けるとの理由だけでは排斥されないことを
意味する。テストブロック間の高い相関度は、テストブ
ロックから発生された低いSAD値によって示されるこ
とを記憶しておけば、加重を次のように行うことができ
るであろう。 差値=原SAD×加重値 ただし、詳細度テスト結果が所定閾値より大きい場合、
加重値=閾/(詳細度テスト結果+1)であり、詳細テ
スト結果が所定閾値より小さいか又はこれに等しい場
合、加重値=1である。
よって指し示された2つのテストブロック(t.b.)
の各々は、各処理ユニット600,610,620,6
30内の詳細度検出器1000及びブロック突合せ器6
72に並列に供給される。ブロック突合せ器672によ
り発生されたSAD値は乗算器1010に供給され、そ
こで、SAD値に上述のように詳細度検出器1000に
より発生された加重値が乗じられる。
ロックにおける詳細度を示すテスト結果は、閾値と比較
される。詳細度が閾値で表されるものより低ければ、そ
れらのブロックを用いて行われた相関テストは無視され
る。
60より出力されたテストブロックはまた、ブロック突
合せ器672及び詳細度検出器1020に並列に供給さ
れる。詳細度検出器1020は、テストブロックにおけ
る詳細度を示す詳細値を出力する。この詳細値は、比較
器1030に送られ、そこで詳細閾1040と比較され
る。
からのSAD値を発生し、これは、先行処理ユニット
(図7参照)からの現在の最低SAD値675と一緒に
比較器1050に供給される。比較器1050は、ブロ
ック突合せ器672により発生されたSAD値が現在の
最低SAD値675より低いかどうかを示す出力を発生
する。
NDゲート1060に供給される。該ANDゲートの出
力は、マルチプレクサ(並直列変換器)1070を制御
して、被テスト動きベクトル識別子1080又は先行処
理ユニットから受けた現ベクトル識別子680のどちら
か一方を識別する出力を発生させる。ANDゲート10
60及びマルチプレクサ1070は、マルチプレクサの
出力が、次の条件が満たされるときのみ現在の被テスト
動きベクトルを識別するように動作する。即ち、現在被
テスト動きベクトルに対するSAD値が、先行処理ユニ
ットから受けた現在の最低SAD値675より低いこ
と、及び、現在の被テスト動きベクトルによって指し示
されたテストブロックにおける、詳細度検出器1020
により検出された詳細量が、詳細閾1040より大きい
か又はこれに等しいことである。
したが、これら個々の具体構成の特徴(例えば、ゼロベ
クトルSADの加重、映像強調の使用及び詳細度テスト
の使用)を色々と並べ替えて一緒に組合せてもよいこと
に留意されたい。
動き補正ビデオ信号処理におけるベクトル選択の際に、
入力映像におけるノイズ領域間の見せかけの相関によっ
て不正確な動きベクトルが選択されることを防ぐ効果が
ある。
題点を示す図(その1)である。
題点を示す図(その2)である。
択処理上の問題点を示す図である。
式変換装置を示すブロック図である。
明図である。
説明図である。
ロック図である。
を示すブロック図である。
す図である。
示す図である。
る。
る。
る。
ストブロックを用いるベクトル選択処理上の効果を示す
図である。
示すブロック図である。
る。
段 910,930 ピクセル置換手段 1000,1020 詳細度検出器
Claims (32)
- 【請求項1】 入力ビデオ信号の入力映像対間の映像の
動きを表す複数の動きベクトルを発生する手段と、 ゼロの映像の動きを示すゼロ動きベクトルを含む動きベ
クトルのグループから、出力映像の出力ピクセルの補間
に用いる1つの動きベクトルを選択するために、上記グ
ループをテストする手段とを具え、上記テストする手段
は、 被テスト動きベクトルによって指し示される入力映像の
テストブロック間の相関度を示す相関値を検出する手段
と、 上記ゼロ動きベクトルに対する相関値によって示される
相関度が、上記グループ内の他の動きベクトルに対する
相関値によって示される相関度に比べて増すように、上
記相関値を加重する手段と、 上記動きベクトルのグループから、最も高い相関度を示
す加重相関値をもつ動きベクトルを選択する手段とを有
する動き補正ビデオ信号処理装置。 - 【請求項2】 上記検出する手段は、 テストブロックにおける対応位置にあるピクセル対間の
絶対輝度差を検出する手段と、 上記相関値を発生するために上記絶対輝度差を合計する
手段とを含む請求項1の装置。 - 【請求項3】 上記加重手段は、上記ゼロ動きベクトル
に対する相関値に1より小さい所定の一定値を乗じる手
段を含む請求項2の装置。 - 【請求項4】 上記加重手段は、上記グループにおける
ゼロ動きベクトル以外の1つ以上の動きベクトルに対す
る相関値に、夫々1より大きな加重値を乗じる手段を含
む請求項2又は3の装置。 - 【請求項5】 上記加重手段は、上記ゼロ動きベクトル
に対する相関値から所定の一定値を減じる手段を含む請
求項2の装置。 - 【請求項6】 上記加重手段は、上記グループにおける
ゼロ動きベクトル以外の1つ以上の動きベクトルに対す
る相関値に、夫々加重値を加算する手段を含む請求項2
又は5の装置。 - 【請求項7】 上記加重手段は、上記グループにおける
各動きベクトルに対する相関値によって示される相関度
が、当該動きベクトルの大きさに比例する量だけ減るよ
うに、上記相関値を加重する動作をする請求項1,2,
4又は6のいずれか1項の装置。 - 【請求項8】 入力ビデオ信号の入力映像対間の映像の
動きを表す複数の動きベクトルを発生するステップと、 ゼロの映像の動きを示すゼロ動きベクトルを含む動きベ
クトルのグループから、出力映像の出力ピクセルの補間
に用いる1つの動きベクトルを選択するために、上記グ
ループをテストするステップとを含み、該テストするス
テップは、 被テスト動きベクトルによって指し示される入力映像の
テストブロック間の相関度を示す相関値を検出するこ
と、 ゼロ動きベクトルに対する相関値によって示される相関
度が、上記グループ内の他の動きベクトルに対する相関
値によって示される相関度に比べて増すように、上記相
関値を加重すること、 上記動きベクトルのグループから、最も高い相関度を示
す加重相関値をもつ動きベクトルを選択することの各過
程を含む動き補正ビデオ信号処理方法。 - 【請求項9】 入力ビデオ信号の入力映像対間の映像の
動きを表す複数の動きベクトルを発生する手段と、 動きベクトルのグループから出力映像の出力ピクセルの
補間に用いる1つの動きベクトルを選択するために、上
記グループをテストする手段と、 選択された動きベクトルを用いて、入力ビデオ信号の入
力映像対から出力ピクセルを補間する動き補正補間器と
を具え、上記テストする手段は、 被テスト動きベクトルによって指し示される入力映像の
少なくともテストブロックの映像内容を強調する映像強
調手段と、 映像強調されたテストブロック間の相関度を検出する手
段と、 夫々の映像強調されたテストブロック間で最高の相関度
をもつ動きベクトルを選択する手段とを有する動き補正
ビデオ信号処理装置。 - 【請求項10】 上記映像強調手段は2次元ハイパス空
間フィルタを含む請求項9の装置。 - 【請求項11】 上記映像強調手段は、 垂直ソベル映像フィルタと、 水平ソベル映像フィルタと、 上記垂直ソベル映像フィルタ又は上記水平ソベル映像フ
ィルタによる、テストブロックにおける1つ以上のピク
セルの周囲の所定の詳細度より大きいことを示す出力を
検出する手段と、 上記検出手段に応答し、テストブロックの1つ以上のピ
クセルを所定輝度のピクセルで置換える手段とを有する
請求項9の装置。 - 【請求項12】 上記所定輝度のピクセルは白ピクセル
である請求項11の装置。 - 【請求項13】 上記映像強調手段は、 上記垂直ソベル映像フィルタ又は上記水平ソベル映像フ
ィルタによる、テストブロックにおける1つ以上のピク
セルの周囲の所定の詳細度より小さいことを示す出力を
検出する第2検出手段と、 上記第2検出手段に応答し、テストブロックの1つ以上
のピクセルを第2の所定輝度のピクセルで置換える手段
とを有する請求項11又は12の装置。 - 【請求項14】 上記第2の所定輝度のピクセルは黒ピ
クセルである請求項13の装置。 - 【請求項15】 上記映像強調手段は、 垂直ソベル映像フィルタと、 水平ソベル映像フィルタと、 上記垂直ソベル映像フィルタ又は上記水平ソベル映像フ
ィルタによる、テストブロックにおける1つ以上のピク
セルの周囲の所定詳細度より大きいことを示す出力を検
出する手段と、 上記検出手段に応答し、上記テストブロックの1つ以上
のピクセルの輝度成分に所定の輝度成分を加算する手段
とを有する請求項9の装置。 - 【請求項16】 上記動きベクトルのグループがゼロの
映像の動きを示すゼロ動きベクトルを含み、 被テスト動きベクトルによって指し示される入力映像の
映像強調テストブロック間の相関度を表す相関値を検出
する手段と、 上記ゼロ動きベクトルに対する相関値によって示される
相関度が、上記グループ内の他の動きベクトルに対する
相関値によって示される相関度に比べて増すように、上
記相関値を加重する手段とを有し、且つ選択手段が、最
高相関度を示す加重相関値をもつ動きベクトルを選択す
る動作をする請求項9〜15のいずれか1項の装置。 - 【請求項17】 上記検出手段は、 映像強調テストブロックにおける対応位置にあるピクセ
ル対間の絶対輝度差を検出する手段と、 上記絶対輝度差を合計して絶対差の合計(SAD)値を
発生する手段とを有する請求項9〜16のいずれか1項
の装置。 - 【請求項18】 入力ビデオ信号の入力映像対間の映像
の動きを表す複数の動きベクトルを発生するステップ
と、 動きベクトルのグループから出力映像の出力ピクセルの
補間に用いる動きベクトルを選択するために、上記グル
ープをテストするステップと、 選択された動きベクトルを用いて、入力ビデオ信号の入
力映像対から出力ピクセルを補間するステップとを含
み、上記テストするステップは、 被テスト動きベクトルによって指し示される入力映像の
少なくともテストブロックの映像内容を映像強調するこ
と、 映像強調テストブロック間の相関度を検出すること、 夫々の映像強調テストブロック間で最高の相関度をもつ
動きベクトルを選択することの各過程を含む動き補正ビ
デオ信号処理方法。 - 【請求項19】 入力ビデオ信号の入力映像対間の映像
の動きを表す複数の動きベクトルを発生する手段と、 出力映像の出力ピクセルの補間に用いる動きベクトルを
選択するために、動きベクトルのグループをテストする
手段とを具え、上記テストする手段は、 被テスト動きベクトルによって指し示される入力映像の
テストブロック間の相関度を検出する手段と、 上記テストブロックの映像詳細度を示す解析値を発生す
る手段と、 動きベクトルによって指し示されたテストブロックと、
動きベクトルによって指し示されたテストブロックに対
する解析値との間の相関度に応じて、上記動きベクトル
のグループから1つの動きベクトルを選択する手段とを
有する動き補正ビデオ信号処理装置。 - 【請求項20】 上記解析値を発生する手段は、テスト
ブロックにおけるピクセルの最高輝度成分と該テストブ
ロックにおけるピクセルの最低輝度成分との間の差を検
出する手段を含む請求項19の装置。 - 【請求項21】 上記解析値を発生する手段は、各テス
トブロック内の隣接ピクセル対間の輝度差を合計する手
段を含む請求項19の装置。 - 【請求項22】 上記合計手段は、テストブロックにお
ける各ピクセルについて、当該ピクセルと垂直に隣接す
るピクセルとの間の輝度差のうち高い方と、当該ピクセ
ルと水平に隣接するピクセルとの間の輝度差とを加算す
る手段を含む請求項22の装置。 - 【請求項23】 当該動きベクトルによって指し示され
たテストブロックが所定の映像詳細度より低いことを示
す解析値をもつ動きベクトルの選択を防ぐ手段を含む請
求項19〜22のいずれか1項の装置。 - 【請求項24】 テストブロック間の相関度を示す相関
値を検出する手段と、 解析値に応じて、動きベクトルに対する相関値によって
示される相関度が、検出された映像詳細度が増すと共に
増すように、上記相関値を加重する手段とを有し、且つ
選択手段が、最高相関度を示す加重相関値をもつ動きベ
クトルを選択する動作をする請求項19〜22のいずれ
か1項の装置。 - 【請求項25】 上記相関度を検出する手段は、 テストブロック内の対応位置にあるピクセル対間の絶対
輝度差を検出する手段と、 上記絶対輝度差を合計して絶対差合計(SAD)値を発
生する手段とを有する請求項24の装置。 - 【請求項26】 上記加重手段は、上記絶対差合計値
に、検出された映像詳細度が増すと共に減少する加重係
数を乗じる手段を含む請求項25の装置。 - 【請求項27】 被テスト動きベクトルによって指し示
される入力映像の少なくともテストブロックの映像内容
を強調する映像強調手段を有する請求項19〜26のい
ずれか1項の装置。 - 【請求項28】 上記動きベクトルのグループがゼロの
映像の動きを示すゼロ動きベクトルを含み、 被テスト動きベクトルによって指し示される入力映像の
テストブロック間の相関度を示す相関値を検出する手段
と、 上記ゼロ動きベクトルに対する相関値によって示される
相関度が、上記グループ内の他のベクトルに対する相関
値によって示される相関度に比べて増すように、上記相
関値を加重する手段とを有し、且つ選択手段が、最高相
関度を示す加重相関値をもつ動きベクトルを選択する動
作をする請求項19〜27のいずれか1項の装置。 - 【請求項29】 上記入力映像対は飛越し入力ビデオ信
号の連続する2つのフィールドを含む請求項1〜7,9
〜17又は19〜28のいずれか1項の装置。 - 【請求項30】 上記出力映像は飛越し出力ビデオ信号
の1フィールドを含む請求項1〜7,9〜17又は19
〜29のいずれか1項の装置。 - 【請求項31】 入力ビデオ信号の入力映像対間の映像
の動きを表す複数の動きベクトルを発生するステップ
と、 出力映像の出力ピクセルの補間に用いる動きベクトルを
選択するために、動きベクトルのグループをテストする
ステップとを含み、上記テストするステップは、 被テスト動きベクトルによって指し示される入力映像の
テストブロック間の相関度を検出すること、 テストブロックの空間周波数内容を示す解析値を発生す
ること、 動きベクトルによって指し示されるテストブロックと、
動きベクトルによって指し示されるテストブロックに対
する解析値との間の相関度に応じて、上記動きベクトル
のグループから動きベクトルを選択することの各過程を
含む動き補正ビデオ信号処理方法。 - 【請求項32】 請求項1〜7,9〜17又は19〜1
3のいずれか1項の装置を具えたテレビジョン標準方式
変換装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9316051A GB2280811B (en) | 1993-08-03 | 1993-08-03 | Motion compensated video signal processing |
| GB9316051:3 | 1993-08-03 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07154754A true JPH07154754A (ja) | 1995-06-16 |
| JP3619542B2 JP3619542B2 (ja) | 2005-02-09 |
Family
ID=10739880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17845194A Expired - Fee Related JP3619542B2 (ja) | 1993-08-03 | 1994-07-29 | 動き補正ビデオ信号処理装置及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP3619542B2 (ja) |
| GB (3) | GB2280811B (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008219876A (ja) * | 2007-02-09 | 2008-09-18 | Matsushita Electric Ind Co Ltd | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 |
| US8243801B2 (en) | 2007-09-21 | 2012-08-14 | Kabushiki Kaisha Toshiba | Motion prediction apparatus and motion prediction method |
| JP2013243630A (ja) * | 2012-05-23 | 2013-12-05 | Jvc Kenwood Corp | 動きベクトル生成装置及び方法 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2312806B (en) * | 1993-04-08 | 1998-01-07 | Sony Uk Ltd | Motion compensated video signal processing |
| US6275532B1 (en) | 1995-03-18 | 2001-08-14 | Sharp Kabushiki Kaisha | Video coding device and video decoding device with a motion compensated interframe prediction |
| GB2332113A (en) * | 1997-12-04 | 1999-06-09 | Samsung Electro Mech | Video encoding apparatus providing weighting signal for scaled motion vector interframe decoding |
| KR100305582B1 (ko) * | 1999-02-22 | 2001-11-05 | 이형도 | 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속예측방법 |
| GB2431795A (en) * | 2005-10-31 | 2007-05-02 | Sony Uk Ltd | Motion vector selection based on integrity |
| GB2431800A (en) | 2005-10-31 | 2007-05-02 | Sony Uk Ltd | Interpolation involving motion vectors and mutiple tap spatial filters. |
| GB2431805A (en) * | 2005-10-31 | 2007-05-02 | Sony Uk Ltd | Video motion detection |
| GB2431798A (en) * | 2005-10-31 | 2007-05-02 | Sony Uk Ltd | Motion vector selection based on integrity |
| GB2443857A (en) * | 2006-11-14 | 2008-05-21 | Sony Uk Ltd | Pixel interpolation using image feature direction based pixel block comparision. |
| KR20090011515A (ko) * | 2007-07-26 | 2009-02-02 | 삼성전자주식회사 | 화질 개선방법, 이를 적용한 영상신호 처리장치 및av기기 |
| JP5200788B2 (ja) | 2008-09-09 | 2013-06-05 | 富士通株式会社 | 映像信号処理装置、映像信号処理方法および映像信号処理プログラム |
| EP2732615A1 (en) * | 2011-07-13 | 2014-05-21 | Entropic Communications, Inc. | Method and apparatus for motion estimation in video image data |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4663665A (en) * | 1985-01-07 | 1987-05-05 | Nippon Hoso Kyokai | TV system conversion apparatus |
| GB2248361B (en) * | 1990-09-28 | 1994-06-01 | Sony Broadcast & Communication | Motion dependent video signal processing |
| FI89121C (fi) * | 1991-11-11 | 1993-08-10 | Nokia Oy Ab | Foerfarande foer soekning av roerelsevektorer foer en videosignal |
| GB2309350B (en) * | 1993-04-08 | 1998-01-07 | Sony Uk Ltd | Motion compensated video signal processing |
-
1993
- 1993-08-03 GB GB9316051A patent/GB2280811B/en not_active Expired - Fee Related
- 1993-08-03 GB GB9716972A patent/GB2313515B/en not_active Expired - Fee Related
- 1993-08-03 GB GB9716971A patent/GB2313514B/en not_active Expired - Fee Related
-
1994
- 1994-07-29 JP JP17845194A patent/JP3619542B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008219876A (ja) * | 2007-02-09 | 2008-09-18 | Matsushita Electric Ind Co Ltd | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 |
| US8526498B2 (en) | 2007-02-09 | 2013-09-03 | Panasonic Corporation | Video coding apparatus, video coding method, and video decoding apparatus |
| US8243801B2 (en) | 2007-09-21 | 2012-08-14 | Kabushiki Kaisha Toshiba | Motion prediction apparatus and motion prediction method |
| JP2013243630A (ja) * | 2012-05-23 | 2013-12-05 | Jvc Kenwood Corp | 動きベクトル生成装置及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| GB9716972D0 (en) | 1997-10-15 |
| JP3619542B2 (ja) | 2005-02-09 |
| GB2280811B (en) | 1998-02-25 |
| GB2313514A (en) | 1997-11-26 |
| GB9716971D0 (en) | 1997-10-15 |
| GB2313514B (en) | 1998-02-25 |
| GB2313515B (en) | 1998-02-25 |
| GB9316051D0 (en) | 1993-09-15 |
| GB2313515A (en) | 1997-11-26 |
| GB2280811A (en) | 1995-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6262773B1 (en) | System for conversion of interlaced video to progressive video using edge correlation | |
| US5631706A (en) | Converter and method for converting video signals of interlace format to video signals of progressive format | |
| EP0757482B1 (en) | An edge-based interlaced to progressive video conversion system | |
| US5784115A (en) | System and method for motion compensated de-interlacing of video frames | |
| US5600377A (en) | Apparatus and method for motion compensating video signals to produce interpolated video signals | |
| KR0183149B1 (ko) | 동화상 검출방법 | |
| US5526053A (en) | Motion compensated video signal processing | |
| US6141056A (en) | System for conversion of interlaced video to progressive video using horizontal displacement | |
| JPH0614305A (ja) | 映像信号のフィールド又はフレーム間の動きを表す運動ベクトルを導出する方法及びこれを使用する映像方式変換装置 | |
| JPH07154754A (ja) | 動き補正ビデオ信号処理方式 | |
| EP2107521B1 (en) | Detecting a border region in an image | |
| WO2009052430A1 (en) | Systems and methods of motion and edge adaptive processing including motion compensation features | |
| US5485224A (en) | Motion compensated video signal processing by interpolation of correlation surfaces and apparatus for doing the same | |
| GB2277005A (en) | Detecting motion vectors in video signal processing; comparison with threshold. | |
| KR100931110B1 (ko) | 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법 | |
| JP3121519B2 (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路 | |
| GB2277004A (en) | Motion compensated video signal processing; motion/no motion flag | |
| GB2281167A (en) | Motion compensated video signal processing | |
| JP3745425B2 (ja) | 動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタ | |
| GB2277003A (en) | Determining the motion of regular patterns in video images | |
| GB2276999A (en) | Motion compensated video signal processing; detecting "ridge" motion | |
| KR100382650B1 (ko) | 비디오신호 처리 시스템에서의 스케일 움직임 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치 | |
| KR100382651B1 (ko) | 비디오신호 처리 시스템에서의 영역별 움직임 판단 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4597282B2 (ja) | 画像情報変換装置、変換方法および表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040727 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041018 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041115 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |