JP2003209848A - 動き推定及びモード決定装置並びにその方法 - Google Patents
動き推定及びモード決定装置並びにその方法Info
- Publication number
- JP2003209848A JP2003209848A JP2002263307A JP2002263307A JP2003209848A JP 2003209848 A JP2003209848 A JP 2003209848A JP 2002263307 A JP2002263307 A JP 2002263307A JP 2002263307 A JP2002263307 A JP 2002263307A JP 2003209848 A JP2003209848 A JP 2003209848A
- Authority
- JP
- Japan
- Prior art keywords
- macroblock
- vector
- motion
- candidate
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
低下させず符号化速度をアップする動き推定及びモード
決定のための装置並びにその方法を提供するところにあ
る。 【解決手段】 本発明の動き推定及びモード決定装置並
びにその方法は、候補ベクトル群生成部はスケーリング
以前の第1マクロブロックの属する映像と同一な下位映
像グループに存する隣接映像の動きベクトルのうち第1
マクロブロックを通過する動きベクトルで構成された候
補ベクトル群を生成する。動きベクトル推定部はスケー
リング以後の第2マクロブロックと重畳される第1マク
ロブロックに対する候補ベクトル群及び第1マクロブロ
ックの動きベクトルから第2マクロブロックの基準動き
ベクトルを推定する。モード決定部は推定された動きベ
クトル及び第1マクロブロックのモードから第2マクロ
ブロックのモードを決める。
Description
決定装置並びに方法に係り、さらに詳しくは走査フォー
マットを変換する場合高速で動き推定及びモード決定を
行うための装置及びその方法に関する。
は、フレームの構成方法に応じて飛越走査(interlaced)
方式及び順次走査(progressive)方式とに区分される。
図1aを参照すれば、飛越走査方式は二フィールドを一
行ずつ順番に具現した後、二つフィールドを一列ずつ挟
み込むことによって一つのフレームを構成する。すなわ
ち、一フィールド(top field)は奇数ライン(実線で示
す)だけ、他のフィールド(bottom field)は偶数ライン
(点線で示す)だけ走査した後、二つのフィールドを用い
て一フレームを具現する。従って、各フィールドの高さ
はフレーム高さの半分である。この方式は低周波数でも
1024*768のような高解像度の画面を具現するた
めに使われるが、画面のちらつきと映像ジッタが酷い。
一方、図1bを参照すれば、順次走査方式は一つのフレ
ームの具現時一列ずつ順番に映像信号を走査して一つの
フレームを構成する。順次走査方式は飛越走査方式に比
べて画面ジッタが少ない。
oded frame : Iフレーム)、予測符号化(predictive co
ded frame Pフレーム)及び両方向予測符号化(bi-direc
tionally-predicitve coded frame : Bフレーム)など
の三つのタイプのフレームが定義されている。Pフレー
ム及びBフレームは動き補償予測を行なうことによって
高い圧縮率を有する。
号化される。Pフレームは過去、すなわち以前Iフレー
ムや以前Pフレームを参照して符号化される。デジタル
映像の圧縮符号化は以前Iフレームや以前Pフレームと
現在Pフレーム間の移動情報推定及び移動補償予測を行
なった後予測誤差と移動情報を符号化すれば効率よくな
される。
る。そして、Bフレームは以後IまたはPフレームだけ
ではなく、以後IまたはPフレームも参照して予測を行
なう。BフレームはPフレームと同様に移動補償予測を
用いる。また、Bフレームは二つの参照フレームを使用
し、このうち一層優れた予測性能を選択するため圧縮率
が最大である。しかし、Bフレームは他のフレームのた
めの参照フレームにならない。これとは違って、I及び
Pピクチャは参照フレームと呼ばれる。
概略的に示した図である。図2を参照すれば、トランス
コーダ200は可変長復号器(Variable Length Decode
r :VLD)201、第1及び第2逆量子化器(Inverse Q
uantizater : IQ)203a、203bと、第1及び第
2逆DCT変換器(Inverse Discrete Cosine Transfor
mer: IDCT)205a、205bと、第1及び第2加
算器207a、207b、動き補償器(Motion Compensa
ter : MC)209a、動き予測補償器(Motion Estimat
ion Compensater : MEC)209b、ダウンサンプラ
(Down sampler: DSamp)211、減算器213、DCT
変換器(Discrete Cosine Transformer: DCT)215
と、量子化器(Quantizater : Q)217、及び可変長符
号器(Variable Length Coder : VLC)219と、を備
える。
符号の長さを相違に表現することによってデータ量を減
らす。IQ1(203a)はVLD201によって符号
化されたDCT係数を逆量子化する。IQ1(203a)
は逆量子化されたDCT係数をIDCT1及びIDCT
2(205a、205b)に提供する。IDCT1及びI
DCT2(205a、205b)は逆量子化されたDCT
係数を逆DCT変換して得られた予測誤差信号を第1加
算器207aに提供する。第1加算器207aは入力さ
れた予測誤差信号と予測信号を加算する。ここで、予測
とはフレーム/フィールド間画素データの差を求めるこ
とを指す。すなわち、過去に処理された他のフレーム/
フィールド上のデータのうち現在処理しようとするフレ
ーム/フィールド上のマクロブロックと最上に一致する
マクロブロックを探索した後、最上に一致したマクロブ
ロックが動く方向に基づき動きベクトル(motion vecto
r)を検出する。
ら符号化順序に従って一つ以上の過去のフレームから動
き補償を予測し、予測した予測信号を第1加算器207
aに転送する。第1加算器207aは入力された予測誤
差信号及び予測信号を加算し、加算された信号をDSa
mp211に転送する。DSamp211は復元及び加
算された信号のサイズを縮めるよう働く。サイズが縮小
された映像信号は減算器213に入力される。減算器2
13は入力された映像信号から予測信号を減算して得ら
れた予測誤差信号をDCT215に提供する。DCT2
15は入力された予測誤差信号をDCT変換した後DC
T係数をQ217に提供する。Q217は入力されたD
CT係数を量子化する。
C219に提供すると同時に、IQ2(203b)に提供
する。IQ2(203b)は入力されたDCT係数を逆量
子化する。IQ2(203b)は逆量子化されたDCT係
数をIDCT205bに提供する。IDCT205bは
入力されたDCT係数を逆DCT変換して得られた予測
誤差信号を加算器207bに提供する。加算器207b
は入力された予測誤差信号と予測信号を加算し、加算さ
れた信号をMEC209bに提供する。MEC209b
は入力された動きベクトルから符号化順序に従って一つ
以上の過去フレームから動き補償を予測する。MEC2
09bは得られた予測信号を減算器213に提供すると
同時に、第2加算器207bに提供する。VLC219
は入力されたピクチャタイプ、動きベクトル及び量子化
されたDCT係数を可変長符号化して得られたビットス
トリームを出力する。
コーダ300に入力されるMPEG2ビットストリーム
が飛越走査方式である一方、出力は順次走査方式に変換
する必要がある。ところが、従来のトランスコーダは入
力される走査フォーマット及び出力される走査フォーマ
ットが同一な場合にトランスコーディングが可能であ
る。従って、トランスコーダのデコーダに入力される走
査フォーマット(scan format)とエンコーダから出力さ
れる走査フォーマットが相異なる場合、変換されたシー
ケンスを効率よく再符号化できるトランスコーダは提示
されていない。
TSCフォーマットを支援できない。すなわち映像のサ
イズ及びビット率を減らしたり、あるいはフレーム率を
減らすトランスコーディングは提示されたが、スキャン
フォーマットが変る場合は提示されていないとの問題点
がある。例えば、1920×1080インタレース入力
映像が720×480順次出力映像に変換される場合、
トランスコーディング時フレームタイプが変って高速で
動き推定するのに限界があった。
点を解決するために案出されたもので、その目的は走査
フォーマット変換において再圧縮性能を劣化させず符号
化速度をアップさせる動き推定及びモード決定のための
装置及び方法を提供するところにある。
ための本発明に係る動き推定及びモード決定装置は、ス
ケーリング以前映像のマクロブロックである第1マクロ
ブロックが属する映像と同一な下位映像グループ(sub-G
OP)に存在する隣接映像の動きベクトルのうち前記第1
マクロブロックを通過する動きベクトルで構成された候
補ベクトル群を生成する候補ベクトル群生成部と、スケ
ーリング以後映像のマクロブロックである第2マクロブ
ロックと重畳される前記第1マクロブロックに対する前
記候補ベクトル群及び重畳される前記第1マクロブロッ
クの動きベクトルから前記第2マクロブロックの基準ベ
クトルを推定する動きベクトル推定部と、選択された前
記基準ベクトル及び前記第1マクロブロックのモードか
ら前記第2マクロブロックのモードを決定するモード決
定部と、を備える。
は、映像の種類に応じて、前記第2マクロブロックと重
畳される前記第1マクロブロックに対する候補ベクトル
群及び重畳される前記第1マクロブロックの動きベクト
ルに対応するSAD(Sum ofAbsolute Difference)を求
め、前記SADが最小の動きベクトルを前記第2マクロ
ブロックの前記基準ベクトルと推定する。
ロブロックと重畳される前記第1マクロブロックの動き
ベクトルから中間値を求め、前記中間値と近接した動き
ベクトルを有する候補マクロブロックを前記第2マクロ
ブロックと重畳される前記第1マクロブロックから抽出
する候補マクロブロック抽出部と、抽出された前記候補
マクロブロックの候補ベクトル群及び前記候補マクロブ
ロックの動きベクトルに対応する前記SADを求め、前
記SADが最小の動きベクトルを前記第2マクロブロッ
クの前記基準ベクトルと推定する基準ベクトル推定部
と、を備える。
ックと重畳される前記第1マクロブロックのうちイント
ラモードの占める比重が所定値以上ならば、前記第2マ
クロブロックをイントラモードと決定し、前記第2マク
ロブロックと重畳される前記第1マクロブロックのうち
イントラモードの占める比重が所定値以下ならば、前記
第2マクロブロックをインターモードと決定する。
モードであると決定され、前記第1マクロブロックの前
記候補ベクトル群が存在しない場合、前記動きベクトル
推定部は、前記第2マクロブロックに隣接した少なくと
も一つ以上の周辺マクロブロックの動きベクトルから候
補ベクトルを求める候補ベクトル抽出部と、抽出された
前記候補ベクトル及び前記第2マクロブロックと重畳さ
れる前記第1マクロブロックの動きベクトルのSADを
比較して最小SADを有する動きベクトルを前記基準ベ
クトルと推定する基準ベクトル推定部と、を備える。前
記候補ベクトルは少なくとも一つ以上の前記周辺マクロ
ブロックの動きベクトルの中間値及び/または平均値で
ある。
た前記周辺マクロブロックがない場合、前記動きベクト
ル推定部は前記第2マクロブロックと重畳される前記第
1マクロブロックの動きベクトルのSADを比較して最
小SADを有する動きベクトルを前記基準ベクトルと定
める。また、前記第2マクロブロックと重畳される前記
第1マクロブロックのモードがイントラモードの場合、
前記モード決定部は前記第2マクロブロックのモードタ
イプをイントラモードと決定する。
査方式及び前記第2マクロブロックの走査方式を比較・
判断する走査方式判断部をさらに備える。前記第1マク
ロブロックの走査方式及び前記第2マクロブロックの走
査方式が相異なると判断されれば、前記候補ベクトル群
生成部は前記候補ベクトル群を生成する。
定のための方法は、スケーリング以前映像のマクロブロ
ックである第1マクロブロックの属する映像と同一な下
位映像グループ(sub-GOP)に存在する隣接映像の動きベ
クトルのうち前記第1マクロブロックを通過する動きベ
クトルで構成された候補ベクトル群を生成する候補ベク
トル群生成段階と、スケーリング以後映像のマクロブロ
ックである第2マクロブロックと重畳される前記第1マ
クロブロックに対する前記候補ベクトル群及び重畳され
る前記第1マクロブロックの動きベクトルから前記第2
マクロブロックの基準ベクトルを推定する動きベクトル
推定段階と、選択された前記基準ベクトル及び前記第1
マクロブロックのモードから前記第2マクロブロックの
モードを決定するモード決定段階と、を備える。
階は、映像の種類に応じて、前記第2マクロブロックと
重畳される前記第1マクロブロックに対する候補ベクト
ル群及び重畳される前記第1マクロブロックの動きベク
トルに対応するSAD(Sum of Absolute Difference)を
求め、前記SADが最小の動きベクトルを前記第2マク
ロブロックの前記基準ベクトルと推定する。
クロブロックと重畳される前記第1マクロブロックの動
きベクトルから中間値を求め、該中間値と近接した動き
ベクトルを有する候補マクロブロックを前記第2マクロ
ブロックと重畳される前記第1マクロブロックから抽出
する候補マクロブロック抽出段階と、抽出された前記候
補マクロブロックの候補ベクトル群及び前記候補マクロ
ブロックの動きベクトルに対応する前記SADを求め、
前記SADが最小の動きベクトルを前記第2マクロブロ
ックの前記基準ベクトルと推定する基準ベクトル推定段
階と、を備える。
ロックと重畳される前記第1マクロブロックのうちイン
トラモードの占める比重が所定値以上ならば前記第2マ
クロブロックをイントラモードと決定し、前記第2マク
ロブロックと重畳される前記第1マクロブロックのうち
イントラモードの占める比重が所定値以下ならば前記第
2マクロブロックをインターモードと決定する。
モードであると決定され、前記第1マクロブロックの前
記候補ベクトル群が存在しない場合、前記動きベクトル
推定段階は、前記第2マクロブロックに隣接した少なく
とも一つ以上の周辺マクロブロックの動きベクトルから
候補ベクトルを求める段階と、前記候補ベクトル及び前
記第2マクロブロックと重畳される前記第1マクロブロ
ックの動きベクトルのSADを比較して最小SADを有
する動きベクトルを前記基準ベクトルと推定する段階
と、を備える。前記候補ベクトルは少なくとも一つ以上
の前記周辺マクロブロックの動きベクトルの中間値及び
/または平均値である。
辺マクロブロックがない場合、前記動きベクトル推定段
階は前記第2マクロブロックと重畳される前記第1マク
ロブロックの動きベクトルのSADを比較して最小SA
Dを有する動きベクトルを前記基準ベクトルと定める段
階をさらに備える。また、前記第2マクロブロックと重
畳される前記第1マクロブロックのモードがイントラモ
ードの場合、前記モード決定段階は前記第2マクロブロ
ックのモードタイプをイントラモードと決定する。
査方式及び前記第2マクロブロックの走査方式を比較・
判断する走査方式判断段階をさらに備える。前記第1マ
クロブロックの走査方式及び前記第2マクロブロックの
走査方式が相異なると判断されれば、前記候補ベクトル
群生成段階は前記候補ベクトル群を生成する。
から順次走査に、または順次走査から飛越走査に走査方
式が変換する場合、再圧縮性能を劣化させず再符号化速
度を向上させることができる。また、復号された動きベ
クトルで候補ベクトル群を生成して走査変換された映像
の動きを推定することによって少ない計算量で動き推定
することができる。ひいては、本発明を用いることによ
って18種のATSCDTVフォーマットを支援するト
ランスコーディングが可能である。
明をさらに詳述する。図3は本発明に係る動き推定及び
モード決定のための装置が適用されたトランスコーダの
基本的な構成を示したブロック図であり、図4は本発明
に係る動き推定及びモード決定のための装置の詳細な構
成を示したブロック図である。
コーダ300はデコーダ310とエンコーダ330との
間に走査フォーマット変換部320を有する。本発明に
係るトランスコーダ300は順次走査(progressive sca
n)及び飛越走査(interlacedscan)を初めとした18種の
ATSC DTVフォーマットを支援する。デコーダ3
10は入力ビットストリームを復号化して入力映像を復
元する。復号過程が完了されれば、走査フォーマット変
換部320は復元された映像のサイズを縮めるスケーリ
ング(down-scaling)だけではなく、復元された映像を再
符号化して走査フォーマットを変換する。
で懸示するディスプレイ装置がパソコンの場合、走査フ
ォーマット変換部320は飛越走査を順次走査に変換す
る。また、走査フォーマット変換部320はパソコンの
画面サイズに合わせて入力される映像のサイズを縮める
スケーリング作業を行なう。すなわち、走査フォーマッ
ト変換部320は、ダウンスケ-ラモジュール、デイン
タレースモジュール及びインタレースモジュールを含
む。映像スケ-ラ及び走査フォーマット変換はエンコー
ダ330に入力される前になされる。エンコーダ330
は走査フォーマット変換部320によって縮小または同
一なサイズに変換された映像を与えられたビット率で再
符号化する。
ケンスは、図4に示した通り復号化(Decoding)及び再符
号化(Re-encoding)される。トランスコーディングの基
本処理単位はIBBP、PBBI、PBBPなどのよう
な下位-映像グループ(sub-Group of Picture : sub-GO
P)の場合を考慮する。以下、GOP=12、M(Pフレー
ム間の距離)=3の場合に例えば説明する。示されたそれ
ぞれの下付け数字は入力される映像シーケンスの順序、
上付けのtはトップフィールド(top、例えば奇数ライ
ン)、上付けのbはボトムフィールド(例えば偶数ライ
ン)、I・B・Pは映像フレーム、矢印は各フレーム間
の対応関係を示す。デコーダ310の復号化は図4に示
した順序通りなされる。復号された映像は走査フォーマ
ット変換部320によって映像のサイズが変り、順次走
査方式(または飛越走査方式)に変更される。変更された
映像はエンコーダ330に符号化順序通り入力される。
は、一番目Iフレームを除いた一番目sub-GOP内の全て
のマクロブロックについて、各マクロブロックの候補ベ
クトル群を生成するためには少なくともB2 bフレーム
まで復号過程を終える。Iフレームは動き推定が要らな
いため除かれる。一方、B−2とB−1を除いて始めに
動き推定が必要なフレームはP3である。P3を符号化
する時点から一番目sub-GOPから生成された候補ベク
トル群を使用すべきなので、符号化の最も早い時点はB
1 bが復号される時である。
査の映像に変換するデインタレース(de-interlaced)に
例えて説明する。エンコーダ330は、図5のような動
き推定/補償部(Motion Estimation/Motion Compensate
r)500を有する。動き推定/補償部500は動き推定
及びモード決定のための装置である。動き推定/補償部
500はデコーダ310で復号された各マクロブロック
の動きベクトル及びモード情報を用いて新たな映像のマ
クロブロックの動きベクトルを推定及び補償する。
0は、走査方式判断部510、候補ベクトル群生成部5
20、動きベクトル推定部530及びモード決定部54
0を有する。走査方式判断部510は入力映像の走査方
式と出力映像の走査方式とを比較する。入力映像はスケ
ーリング以前の映像であり、出力映像はスケーリング以
後の映像である。入力映像と出力映像の走査方式が同一
であると判断されれば、動き推定/補償部500は動き
推定のための候補ベクトル群を生成せず、復号された動
きベクトルだけを用いて動き推定を行なう。これとは違
って、各走査方式が相異なることと判断されれば、動き
推定/補償部500は候補ベクトル群を生成して動き推
定を行なう。
ング以前映像の第1マクロブロックが属する映像と同一
なsub-GOP内に存在する隣接映像の動きベクトルのうち
第1マクロブロックを通過する動きベクトルで構成され
た候補ベクトル群を生成する。
P内の各マクロブロックに該当する候補ベクトル群を決
定する例を示した図である。図6を参照すれば、一番目
Btフレームの斜線で示したマクロブロックは第1マク
ロブロックMB1'と称する。以下、第1マクロブロッ
クMB_1'の候補ベクトル群生成過程を説明する。図6
において太線で示したマクロブロックMB'は空間的に
同じ位置に存するマクロブロックを意味する。Ptフレ
ームの一つのマクロブロックMB'の動きベクトルMV'
が第1マクロブロックMB_1'を通過すれば、該当動き
ベクトルMV'は第1マクロブロックMB_1'の候補ベ
クトルになる。
の一つのマクロブロックMB"の動きベクトルMV"が第
1マクロブロックMB_1"を通過すれば、動きベクトル
MV"は第1マクロブロックMB_1"の候補ベクトルに
なる。すなわち、sub-GOP内の全てのマクロブロックの
動きベクトルのうち第1マクロブロックを通過する動き
ベクトルを候補ベクトル群と設定する。このような方法
でトランスコーディングを行なう全てのマクロブロック
それぞれに対する候補ベクトル群を生成する。しかし、
マクロブロックによって候補ベクトル群が存在しない場
合もある。すなわち、走査方式判断部510で入力及び
出力映像の走査方式が同一であると判断されれば、候補
ベクトル群生成部520は候補ベクトル群を生成しな
い。
30の詳細な構成を示したブロック図である。図8を参
照すれば、本発明に係る動きベクトル推定部530は候
補マクロブロック抽出部532と、候補ベクトル抽出部
534及び基準ベクトル推定部536を有する。
グ以後映像のマクロブロックである第2マクロブロック
MB_0と重畳されるそれぞれのマクロブロックMB_1
に対する候補ベクトル群及び重畳されるマクロブロック
MB_1の動きベクトルから第2マクロブロックMB_0
の基準ベクトルを推定する。
ベクトルのサイズはスケーリング以後の画面サイズの変
化、すなわちスケーリング比率によって変る。もし、与
えられた比率によって画面のサイズが縮小されれば、エ
ンコーダ330に入力される映像の第2マクロブロック
MB_0は図9に示した通りデコーダ310から出力さ
れる映像のマクロブロックMB_1、 MB_2、 MB_
3、 MB_4を一個以上含む。
イズの変化を示した図である。図9を参照すれば、(a)
はスケーリング以前の映像(Original Resolution)、
(b)はスケーリング以後の映像(Scaled Resolution)の
一部を示す。図9において(a)の点線内のブロックは第
2マクロブロックMB_0に対応するブロックである。
しかし、点線内のブロックのうち16×16サイズを有
するそれぞれのマクロブロックMB_1、MB_2、MB
_3、MB_4だけが第2マクロブロックMB_0の動き
推定に考慮される。すなわち、図9はエンコーダ330
でマクロブロック一個当たりデコーダ310から出力さ
れる四つのマクロブロックを考慮して動き推定する場合
である。すなわち、第2マクロブロックMB_0は各マ
クロブロックMB_1、MB_2、MB_3、MB_4の数
に該当する4倍ほどの動きベクトル及び候補群を考慮す
る。第2マクロブロックMB_0の動き推定は各マクロ
ブロックMB_1、MB_2、MB_3、MB_4の復号さ
れた動きベクトル及び各マクロブロックMB_1、MB_
2、MB_3、MB_4の候補ベクトル群を考慮して推定
される。
530は各マクロブロックMB_1、MB_2、MB_
3、MB_4の復号された動きベクトル及び各マクロブ
ロックMB_1、MB_2、MB_3、MB_4の候補ベク
トル群に対応するSAD(Sum of Absolute Difference)
を計算する。そして、最小SADを有する動きベクトル
を第2マクロブロック(MB_0)の基準ベクトル(base
MV)と推定する。SADは[数式1]によって求める。
56画素で構成される。x(i.j)は現在マクロブロッ
クの動きベクトルが示す(i、j)位置の画素、x'(i+
x、j+y)は以前フレームにおいて動きベクトル(x、
y)が示す(i+x、j+y)位置の画素である。すなわ
ち、SADは二つのマクロブロック内の同じ位置に存在
する画素の差に絶対値を取った後絶対値を加えて求め
る。SADが小さいほど二つのマクロブロックは類似で
あり、SADが大きいほど二つのマクロブロックは相違
である。
記スケーリングの対象になるマクロブロックであって、
時間的に第1マクロブロックと第2マクロブロックとの
間に位置するマクロブロックである。
重畳されるそれぞれのマクロブロックMB_1、MB_
2、MB_3、MB_4の候補ベクトル群を求め、それぞ
れのマクロブロックMB_1、MB_2、MB_3、MB_
4の動きベクトル及び候補ベクトル群に対するSADを
比較すれば、正確で鮮明な輪郭線及び映像を画面にディ
スプレイすることができる。
ックMB_0と重畳されるそれぞれのマクロブロックM
B_1、MB_2、MB_3、MB_4のうち一つのマクロ
ブロックを選定して早くて少ない計算で第2マクロブロ
ックMB_0の動きベクトル、すなわち基準ベクトル(ba
se MV)を推定する高速動き推定も可能である。
準ベクトル(base MV)を推定する高速動き推定に例え
て説明する。候補マクロブロック抽出部532は第2マ
クロブロックMB_0と重畳されるそれぞれのマクロブ
ロックMB_1、MB_2、MB_3、MB_4のうち一つ
のマクロブロックを選定した後、各マクロブロックMB
_1、MB_2、MB_3、MB_4の復号された動きベク
トルの第1中間値を求める。そして、候補マクロブロッ
ク抽出部532は求められた第1中間値と最も近接した
動きベクトルを有するマクロブロックをそれぞれのマク
ロブロックMB_1、MB_2、MB_3、MB_4から抽
出して候補マクロブロックと指定する。例えば、図9に
おいて第1中間値と最も近接した動きベクトルがマクロ
ブロックMB_3に位置する場合、候補マクロブロック
抽出部532はマクロブロックMB_3を候補マクロブ
ロックと指定する。
ル群生成部520で生成された候補マクロブロックMB
_3の候補ベクトル群及び候補マクロブロックMB_3の
復号された動きベクトルに対応するSADを[数式1]に
よって求める。そして、最小SADを有する動きベクト
ルを第2マクロブロックMB_0の基準ベクトル(baseM
V)と推定する。
トル推定部530は各マクロブロックMB_1、MB_
2、MB_3、MB_4の復号された動きベクトル及び各
マクロブロックMB_1、MB_2、MB_3、MB_4の
候補ベクトル群に対応する中間値または平均値を算出す
る。そして、動きベクトル推定部530は算出された中
間値または平均値を有する動きベクトルを第2マクロブ
ロックMB_0の基準ベクトル(base MV)と推定する。
この場合、基準ベクトル推定部536は候補ベクトル群
生成部520で生成された候補マクロブロックMB_3
の候補ベクトル群及び候補マクロブロックMB_3の復
号された動きベクトルに対応する中間値または平均値を
算出する。そして、算出された中間値または平均値を有
する動きベクトルを第2マクロブロックMB_0の基準
ベクトル(base MV)と推定する。
536で推定された基準ベクトル(base MV)及び各マ
クロブロックMB_1、MB_2、MB_3、MB_4のモ
ードから第2マクロブロックMB_0のモードを決定す
る。
MB0と重畳されるそれぞれのマクロブロック(MB_
1、MB_2、MB_3、MB_4のうち25%以上がイ
ントラモード(intra mode)ならば、第2マクロブロック
MB_0はイントラモードと決定する。そうでない場合
は第2マクロブロックMB_0はインターモード(interm
ode)と決定して動き推定を行なう。一方、モード決定部
540はそれぞれのマクロブロックMB_1、MB_2、
MB_3、MB_4のうち少なくとも一つのマクロブロッ
クがスキップした形態のマクロブロックならば、第2マ
クロブロックMB_0はインターモードと決定する。ま
た、モード決定部540は全てのマクロブロックMB_
1、MB_2、MB_3、MB_4がスキップした形態の
マクロブロックならば、第2マクロブロックMB_0も
スキップしたマクロブロックと決定する。
モード決定は次の通りである。フレームまたはピクチャ
タイプ(I、B及びP)の変換パターンによって候補ベ
クトル群を必要としない場合、モード決定部540はス
ケーリング以後の第2マクロブロックMB_0をイント
ラモードと決定する。例えば、BフレームからIフレー
ムに変換する場合、スケーリング以後の第2マクロブロ
ックMB_0はイントラモードと決定される。そして、
スケーリング以前の各マクロブロックMB_1、MB_
2、MB_3、MB_4の復号されたモードがイントラモ
ードの場合、モード決定部540はスケーリング以後の
第2マクロブロックMB_0を候補ベクトル群とは無関
係にイントラモードと決定する。
在しない場合の基準ベクトル設定方法を説明するための
図である。場合によっては、第2マクロブロックMB_
0がインターモードでありながら、第2マクロブロック
MB_0と重畳されるそれぞれのマクロブロック(MB_
1、 MB_2、MB_3、MB_4に候補ベクトル群が存
在しない場合もある。例えば、第2マクロブロックMB
_0が境界線を示したり、または周辺のマクロブロック
MB_1、MB_2、MB_3、MB_4がイントラモード
ならば候補ベクトル群は存在しない。この場合、動きベ
クトル推定部530は図8のように候補ベクトル抽出部
534をさらに有する。
534は第2マクロブロックMB_0に隣接した一つ以
上の周辺マクロブロックの動きベクトルMV1、MV
2、MV3から候補ベクトルを抽出する。候補ベクトル
抽出部534は周辺マクロブロックの動きベクトルMV
1、MV2、MV3の中間値または平均値を第2マクロ
ブロックMB_0の候補ベクトルとして使用する。基準
ベクトル推定部536は候補ベクトル及び第2マクロブ
ロックMB_0と重畳されるそれぞれのマクロブロック
MB_1、MB_2、MB_3、MB_4の動きベクトルに
対するSADを[数式1]によって計算する。そして、最
小SADを有する動きベクトルを第2マクロブロックM
B_0の基準ベクトル(base MV)と推定する。
接した周辺マクロブロックが一つもない場合はそれぞれ
のマクロブロックMB_1、MB_2、MB_3、MB_4
の動きベクトル及び動きベクトル(0、0)のSADを
[数式1]によって計算する。そして、最小SADを有す
る動きベクトルを第2マクロブロックMB_0の基準ベ
クトル(base MV)と推定する。
決定方法を示した流れ図である。図11において、スケ
ーリング以前映像のマクロブロックである第1マクロブ
ロックはMB_1、MB_2、スケーリング以後映像のマ
クロブロックである第2マクロブロックはMB_0と称
する。図11を参照すれば、本発明に係る動き推定及び
モード決定方法は、MB_1、MB_2及びMB_0の走
査方式を比較する(S1110)。比較結果、二つの走査
方式が相異なると、MB_1及びMB_2の属する映像と
同一な下位映像グループ(sub-GOP)に存在する隣接映像
の動きベクトルのうちMB_1及びMB_2を通過する動
きベクトルがあるかを確認する(S1120)。そして、
MB_1及びMB_2を通過する動きベクトルによってM
B_1及びMB_2の候補ベクトル群を生成する(S11
30)。各MB_1及びMB_2の候補ベクトル群が生成
されれば高速で動き推定を行なうため、各MB_1及び
MB_2の復号された動きベクトルの第1中間値を求め
る。それから求められた第1中間値と近接した動きベク
トルを有するマクロブロックを各MB_1及びMB_2の
中から選択して候補マクロブロックを抽出する(S11
40)。そして、抽出された候補マクロブロックの候補
ベクトル群及び動きベクトルのSAD(Sum of Absolute
Difference)、中間値及び平均値のうちいずれか一つを
求める(S1150)。本発明ではSADを用いて基準ベ
クトルを求める。SADは[数式1]によって求める。求
められた各動きベクトルのSADを比較して最小SAD
を有する動きベクトルをMB_0の基準ベクトルと推定
する(S1160)。最終的に、MB_0の基準ベクトル
及びMB_1、MB_2のモードからMB_0のモードを
決定する(S1170)。
びMB_2の属する映像と同一な下位映像グループ(sub-
GOP)に存在する隣接映像の動きベクトルのうちMB_1
及びMB_2を通過する動きベクトルが存在しなければ
(S1120)、MB_0の周辺に位置した周辺マクロブ
ロックの動きベクトルから候補動きベクトルを抽出する
(S1180)。候補動きベクトルは各動きベクトルの中
間値または平均値を使用する。そして、抽出された候補
動きベクトル及び各MB_1、MB_2の動きベクトルの
SADを[数式1]によって計算する(S1190)。最小
SADを有する動きベクトルをMB_0の基準ベクトル
と推定した後(S1160)モードを決定する(S117
0)。
果、二つの走査方式が同一であると判断されれば、MB
_1、MB_2の復号された動きベクトルだけを考慮して
(S1115)MB_0の基準ベクトルを推定した後(S1
160)モードを決定する(S1170)。
決定の実施例を示した図である。図12を参照すれば、
映像グループ(GOP)=9、M=3であり、I・B・Pは走
査方式変換前後のピクチャタイプ、tはトップ(top)フ
ィールド、bはボトム(bottom)フィールド、各数字はフ
レーム番号、丸内の数字は再符号化される順序を意味
し、デインタレースの場合を考慮する。この際、画面サ
イズは変るかまたはそうでない場合もありうる(De-inte
rlacing with/without resizing)。また、動き推定は復
号されたモードがインターモードの場合だけ考慮する。
以下、図12aのインタレース映像の各マクロブロック
が図12bのプログレッシーブ映像に走査変換された後
どうように適用されるか説明する。また、スケーリング
以前のマクロブロックはMB_b、スケーリング以後の
マクロブロックはMB_n、動きベクトルはMVと表示
する。
する場合、全てのMB_nのモードはイントラモードで
ある。
する場合。 第1に、MB_bの復号されたモードがフォワード(forw
ard)MCモードの場合、MB_bの候補ベクトル群はM
B_bを通過するMVのうちフォワード(forward)MV及
びMB_bの復号されたMVとからなる。そして、求め
られた候補ベクトル群によって前述した方法(例えば、
中間値を用いた高速推定技法)を用いて基準ベクトル(ba
se MV)を決める。第2に、MB_bの復号されたモー
ドがバックワード(backward)MCモードの場合、MB_
bの候補ベクトル群はMB_bを通過するMVのうちフ
ォワード(forward)MVとからなる。そして、求められ
た候補ベクトル群によって前述した方法を用いて基準ベ
クトル(base MV)を決める。第3に、復号されたモー
ドが両方向(bi-direcitional)MCモードの場合、MB_
bの候補ベクトル群はMB_bを通過するMVのうちフォ
ワード(forward)MV及びMB_bのMVのうちバックワ
ード(backward)MVとからなる。そして、求められた候
補ベクトル群によって前述した方法を用いて基準ベクト
ル(base MV)を決定する。
する場合。 MB_bの候補ベクトル群はMB_bを通過するMVのう
ち全てのバックワード/フォワード(backward/forward)
MVとからなる。そして、求められた候補ベクトル群に
よって前述した方法を用いて同時に基準ベクトル(base
MV)及びバックワード・フォワード・両方向MCモー
ドを決定する。
する場合。 第1に、MB_bの復号されたモードがフォワード(forw
ard)MCモードの場合、MB_bの候補ベクトル群はM
B_bを通過するMVのうちバックワード及びフォワー
ド(backward/forward)MV及びMB_bの復号されたM
VのフォワードMVとからなる。そして、求められた候
補ベクトル群を用いて基準ベクトル(baseMV)及びバッ
クワード・フォワード・両方向(backward/forward/bi-d
irectional)MCモードを決定する。第2に、MB_bの
復号されたモードがバックワード(backward)MCモード
の場合、MB_bの候補ベクトル群はMB_bを通過する
MVのうちバックワード及びフォワード(backward/forw
ard)MV及びMB_bの復号されたMVのバックワード
MVとからなる。そして、求められた候補ベクトル群を
用いて基準ベクトル(base MV)及びバックワード・フ
ォワード・両方向(backward/forward/bi-directional)
MCモードを決定する。第3に、復号されたモードが両
方向(bi-direcitional)MCモードの場合、MB_bの候
補ベクトル群はMB_bを通過するMVのうちバックワ
ード及びフォワード(backward/forward)MV及びMB_
bのMVのうちバックワード及びフォワード(backward/
forward)MVとからなる。そして、求められた候補ベク
トル群を用いて基準ベクトル(base MV)及びバックワ
ード・フォワード・両方向(backward/forward/bi-direc
tional)MCモードを決定する。
する場合 MB_bの候補ベクトル群はMB_bを通過するMVのう
ち(forward)MV及びMB_bのMVとからなる。そし
て、求められた候補ベクトル群を用いて基準ベクトル(b
ase MV)を決定する。
する場合は前記4.B1 tフレームがB2フレームに対
応する場合と同様である。
する場合は前記4.B1 tフレームがB2フレームに対
応する場合と同様である。
する場合、全てのMB_nのモードはイントラモードで
ある。
する場合 MB_bの候補ベクトル群はMB_bを通過するMVのう
ちバックワード/フォワード(backward/forward)MV及
びMB_bのMVとからなる。そして、求められた候補
ベクトル群を用いて基準ベクトル(base MV)及びバッ
クワード・フォワード・両方向(backward/forward/bi-d
irectional)MCモードを決定する。
対応する場合は前記4.B1 tフレームがB2フレーム
に対応する場合と同様である。
を説明するための図
を示した図
の復号化及び再符号化順序の実施形態を示した図
構成を示したブロック図
ロックに該当する候補ベクトル群を決定する実施形態を
示した図
ロックに該当する候補ベクトル群を決定する実施形態を
示した図
細な構成を示した図
化を実施形態を挙げて示した図
場合の基準ベクトル設定方法を説明するための図
めの方法を示した流れ図
実施形態を示した図
実施形態を示した図
Claims (24)
- 【請求項1】 スケーリング以前映像のマクロブロック
である第1マクロブロックが属する映像と同一な下位映
像グループ(sub-GOP)に存在する隣接映像の動きベクト
ルのうち前記第1マクロブロックを通過する動きベクト
ルで構成された候補ベクトル群を生成する候補ベクトル
群生成部と、 スケーリング以後映像のマクロブロックである第2マク
ロブロックと重畳される前記第1マクロブロックに対す
る前記候補ベクトル群及び重畳される前記第1マクロブ
ロックの動きベクトルから前記第2マクロブロックの基
準ベクトルを推定する動きベクトル推定部と、 選択された前記基準ベクトル及び前記第1マクロブロッ
クのモードから前記第2マクロブロックのモードを決定
するモード決定部と、を備えることを特徴とする動き推
定及びモード決定装置。 - 【請求項2】 前記動きベクトル推定部は、映像の種類
に応じて前記第2マクロブロックと重畳される前記第1
マクロブロックに対する候補ベクトル群及び重畳される
前記第1マクロブロックの動きベクトルに対応するSA
D(Sum of Absolute Difference)を求め、前記SADが
最小の動きベクトルを前記第2マクロブロックの前記基
準ベクトルと推定することを特徴とする請求項1に記載
の動き推定及びモード決定装置。 - 【請求項3】 前記動きベクトル推定部は、前記第2マ
クロブロックと重畳される前記第1マクロブロックの動
きベクトルから第1中間値を求め、該第1中間値と近接
した動きベクトルを有する候補マクロブロックを前記第
2マクロブロックと重畳される前記第1マクロブロック
から抽出する候補マクロブロック抽出部と、 抽出された前記候補マクロブロックの候補ベクトル群及
び前記候補マクロブロックの動きベクトルに対応する前
記SADを求め、前記SADが最小の動きベクトルを前
記第2マクロブロックの前記基準ベクトルと推定する基
準ベクトル推定部と、を備えることを特徴とする請求項
2に記載の動き推定及びモード決定装置。 - 【請求項4】 前記動きベクトル推定部は、映像の種類
に応じて前記第2マクロブロックと重畳される前記第1
マクロブロックに対する候補ベクトル群及び重畳される
前記第1マクロブロックの動きベクトルの中間値及び平
均値のうちいずれか一つを算出して基準ベクトルと推定
することを特徴とする請求項1に記載の動き推定及びモ
ード決定装置。 - 【請求項5】 前記動きベクトル推定部は、前記第2マ
クロブロックと重畳される前記第1マクロブロックの動
きベクトルから第1中間値を求め、該第1中間値と近接
した動きベクトルを有する候補マクロブロックを前記第
2マクロブロックと重畳される前記第1マクロブロック
から抽出する候補マクロブロック抽出部と、 抽出された前記候補マクロブロックの候補ベクトル群及
び前記候補マクロブロックの動きベクトルの前記中間値
及び前記平均値のうちいずれか一つの値を算出し、算出
された前記値を前記第2マクロブロックの前記基準ベク
トルと推定する基準ベクトル推定部と、を備えることを
特徴とする請求項4に記載の動き推定及びモード決定装
置。 - 【請求項6】 前記モード決定部は、前記第2マクロブ
ロックと重畳される前記第1マクロブロックのうちイン
トラモードが占める比重が所定値以上ならば前記第2マ
クロブロックをイントラモードと決定し、前記第2マク
ロブロックと重畳される前記第1マクロブロックのうち
イントラモードの占める比重が所定値以下ならば前記第
2マクロブロックをインターモードと決定することを特
徴とする請求項1に記載の動き推定及びモード決定装
置。 - 【請求項7】 前記第2マクロブロックがインターモー
ドであると決定され、前記第1マクロブロックの前記候
補ベクトル群が存在しない場合、前記動きベクトル推定
部は、前記第2マクロブロックに隣接した少なくとも一
つ以上の周辺マクロブロックの動きベクトルから候補ベ
クトルを求める候補ベクトル抽出部と、 抽出された前
記候補ベクトル及び前記第2マクロブロックと重畳され
る前記第1マクロブロックの動きベクトルのSADを比
較して最小SADを有する動きベクトルを前記基準ベク
トルと推定する基準ベクトル推定部と、を備えることを
特徴とする請求項6に記載の動き推定及びモード決定装
置。 - 【請求項8】 前記候補ベクトルは、少なくとも一つ以
上の前記周辺マクロブロックの動きベクトルの中間値及
び/または平均値であることを特徴とする請求項7に記
載の動き推定及びモード決定装置。 - 【請求項9】 前記第2マクロブロックに隣接した前記
周辺マクロブロックがない場合、前記動きベクトル推定
部は前記第2マクロブロックと重畳される前記第1マク
ロブロックの動きベクトルのSADとを比較して最小S
ADを有する動きベクトルを前記基準ベクトルと定める
ことを特徴とする請求項7に記載の動き推定及びモード
決定装置。 - 【請求項10】 前記第2マクロブロックと重畳される
前記第1マクロブロックのモードがイントラモードの場
合、前記モード決定部は前記第2マクロブロックのモー
ドタイプをイントラモードと決定することを特徴とする
請求項1に記載の動き推定及びモード決定装置。 - 【請求項11】 前記第1マクロブロックの走査方式及
び前記第2マクロブロックの走査方式を比較・判断する
走査方式判断部をさらに備えることを特徴とする請求項
1に記載の動き推定及びモード決定装置。 - 【請求項12】 前記第1マクロブロックの走査方式及
び前記第2マクロブロックの走査方式が相異なると判断
されれば、前記候補ベクトル群生成部は前記候補ベクト
ル群を生成することを特徴とする請求項10に記載の動
き推定及びモード決定装置。 - 【請求項13】 スケーリング以前映像のマクロブロッ
クである第1マクロブロックが属する映像と同一な下位
映像グループ(sub-GOP)に存在する隣接映像の動きベク
トルのうち前記第1マクロブロックを通過する動きベク
トルで構成された候補ベクトル群を生成する候補ベクト
ル群生成段階と、 スケーリング以後映像のマクロブロックである第2マク
ロブロックと重畳される前記第1マクロブロックに対す
る前記候補ベクトル群及び重畳される前記第1マクロブ
ロックの動きベクトルから前記第2マクロブロックの基
準ベクトルを推定する動きベクトル推定段階と、 選択された前記基準ベクトル及び前記第1マクロブロッ
クのモードから前記第2マクロブロックのモードを決定
するモード決定段階と、を備えることを特徴とする動き
推定及びモード決定方法。 - 【請求項14】 前記動きベクトル推定段階は、映像の
種類に応じて前記第2マクロブロックと重畳される前記
第1マクロブロックに対する候補ベクトル群及び重畳さ
れる前記第1マクロブロックの動きベクトルに対応する
SAD(Sum of Absolute Difference)を求め、前記SA
Dが最小の動きベクトルを前記第2マクロブロックの前
記基準ベクトルと推定することを特徴とする請求項13
に記載の動き推定及びモード決定方法。 - 【請求項15】 前記動きベクトル推定段階は、前記第
2マクロブロックと重畳される前記第1マクロブロック
の動きベクトルから第1中間値を求め、該第1中間値と
近接した動きベクトルを有する候補マクロブロックを前
記第2マクロブロックと重畳される前記第1マクロブロ
ックから抽出する候補マクロブロック抽出段階と、 抽出された前記候補マクロブロックの候補ベクトル群及
び前記候補マクロブロックの動きベクトルに対応する前
記SADを求め、前記SADが最小の動きベクトルを前
記第2マクロブロックの前記基準ベクトルと推定する基
準ベクトル推定段階と、を備えることを特徴とする請求
項14に記載の動き推定及びモード決定方法。 - 【請求項16】 前記動きベクトル推定段階は、映像の
種類に応じて前記第2マクロブロックと重畳される前記
第1マクロブロックに対する候補ベクトル群及び重畳さ
れる前記第1マクロブロックの動きベクトルの中間値及
び平均値のうちいずれか一つを算出して基準ベクトルと
推定することを特徴とする請求項13に記載の動き推定
及びモード決定方法。 - 【請求項17】 前記動きベクトル推定段階は、 前記第2マクロブロックと重畳される前記第1マクロブ
ロックの動きベクトルから第1中間値を求め、前記第1
中間値と近接した動きベクトルを有する候補マクロブロ
ックを前記第2マクロブロックと重畳される前記第1マ
クロブロックから抽出する候補マクロブロック抽出段階
と、 抽出された前記候補マクロブロックの候補ベクトル群及
び前記候補マクロブロックの動きベクトルの前記中間値
及び前記平均値のうちいずれか一つの値を算出し、算出
された前記値を前記第2マクロブロックの前記基準ベク
トルと推定する基準ベクトル推定段階と、を備えること
を特徴とする請求項16に記載の動き推定及びモード決
定装置。 - 【請求項18】 前記モード決定段階は、前記第2マク
ロブロックと重畳される前記第1マクロブロックのうち
イントラモードの占める比重が所定値以上ならば前記第
2マクロブロックをイントラモードと決定し、前記第2
マクロブロックと重畳される前記第1マクロブロックの
うちイントラモードの占める比重が所定値以下ならば前
記第2マクロブロックをインターモードと決定すること
を特徴とする請求項13に記載の動き推定及びモード決
定方法。 - 【請求項19】 前記第2マクロブロックがインターモ
ードであると決定され、前記第1マクロブロックの前記
候補ベクトル群が存しない場合、前記動きベクトル推定
段階は、前記第2マクロブロックに隣接した少なくとも
一つ以上の周辺マクロブロックの動きベクトルから候補
ベクトルを求める段階と、前記候補ベクトル及び前記第
2マクロブロックと重畳される前記第1マクロブロック
の動きベクトルのSADを比較して最小SADを有する
動きベクトルを前記基準ベクトルと推定する段階と、を
備えることを特徴とする請求項18に記載の動き推定及
びモード決定方法。 - 【請求項20】 前記候補ベクトルは、少なくとも一つ
以上の前記周辺マクロブロックの動きベクトルの中間値
及び/または平均値であることを特徴とする請求項19
に記載の動き推定及びモード決定方法。 - 【請求項21】 前記第2マクロブロックに隣接した前
記周辺マクロブロックがない場合、前記動きベクトル推
定段階は前記第2マクロブロックと重畳される前記第1
マクロブロックの動きベクトルのSADを比較して最小
SADを有する動きベクトルを前記基準ベクトルと定め
る段階をさらに備えることを特徴とする請求項19に記
載の動き推定及びモード決定方法。 - 【請求項22】 前記第2マクロブロックと重畳される
前記第1マクロブロックのモードがイントラモードの場
合、前記モード決定段階は前記第2マクロブロックのモ
ードタイプをイントラモードと決定することを特徴とす
る請求項13に記載の動き推定及びモード決定方法。 - 【請求項23】 前記第1マクロブロックの走査方式及
び前記第2マクロブロックの走査方式を比較・判断する
走査方式判断段階をさらに備えることを特徴とする請求
項13に記載の動き推定及びモード決定方法。 - 【請求項24】 前記第1マクロブロックの走査方式及
び前記第2マクロブロックの走査方式が相異なると判断
されれば、前記候補ベクトル群生成段階は前記候補ベク
トル群を生成することを特徴とする請求項23に記載の
動き推定及びモード決定方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR2002-000110 | 2002-01-02 | ||
| KR10-2002-0000110A KR100446083B1 (ko) | 2002-01-02 | 2002-01-02 | 움직임 추정 및 모드 결정 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003209848A true JP2003209848A (ja) | 2003-07-25 |
| JP3908633B2 JP3908633B2 (ja) | 2007-04-25 |
Family
ID=19718091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002263307A Expired - Fee Related JP3908633B2 (ja) | 2002-01-02 | 2002-09-09 | 動き推定及びモード決定装置並びにその方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7251279B2 (ja) |
| JP (1) | JP3908633B2 (ja) |
| KR (1) | KR100446083B1 (ja) |
| CN (1) | CN1183489C (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006109418A (ja) * | 2004-10-02 | 2006-04-20 | Samsung Electronics Co Ltd | トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ |
| JP2008167449A (ja) * | 2006-12-28 | 2008-07-17 | Samsung Electronics Co Ltd | 映像の符号化、復号化方法及び装置 |
| JP2009532741A (ja) * | 2006-04-03 | 2009-09-10 | クゥアルコム・インコーポレイテッド | 顕微鏡スライド自動読み取りシステム |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| US8879635B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1395061A1 (en) * | 2002-08-27 | 2004-03-03 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for compensation of erroneous motion vectors in video data |
| KR100517504B1 (ko) * | 2003-07-01 | 2005-09-28 | 삼성전자주식회사 | B-픽처의 움직임 보상 모드 결정방법 및 장치 |
| JP4470431B2 (ja) * | 2003-10-01 | 2010-06-02 | ソニー株式会社 | データ処理装置およびその方法 |
| KR101044934B1 (ko) * | 2003-12-18 | 2011-06-28 | 삼성전자주식회사 | 움직임 벡터 추정방법 및 부호화 모드 결정방법 |
| EP1592249B1 (en) * | 2004-04-30 | 2007-06-13 | Matsushita Electric Industrial Co., Ltd. | Reverse film mode extrapolation |
| US20060088105A1 (en) * | 2004-10-27 | 2006-04-27 | Bo Shen | Method and system for generating multiple transcoded outputs based on a single input |
| KR100727989B1 (ko) * | 2005-10-01 | 2007-06-14 | 삼성전자주식회사 | 동영상 부호화시의 인터 모드 결정 방법 및 장치 |
| DE102005049017B4 (de) * | 2005-10-11 | 2010-09-23 | Carl Zeiss Imaging Solutions Gmbh | Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum |
| US8085849B1 (en) * | 2006-11-03 | 2011-12-27 | Keystream Corporation | Automated method and apparatus for estimating motion of an image segment using motion vectors from overlapping macroblocks |
| US8208745B2 (en) * | 2008-01-31 | 2012-06-26 | Analog Devices, Inc. | Spatial domain video enhancement/scaling system and method |
| KR101543301B1 (ko) * | 2008-10-15 | 2015-08-10 | 에스케이 텔레콤주식회사 | 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치 |
| EP2378776B1 (en) * | 2009-01-15 | 2018-03-21 | Renesas Electronics Corporation | Image processing device, decoding method, intra-frame decoder, intra-frame decoding method, and intra-frame encoder |
| KR101348613B1 (ko) * | 2009-12-23 | 2014-01-10 | 한국전자통신연구원 | 영상의 부호화/복호화 장치 및 그 방법 |
| WO2011093688A2 (ko) * | 2010-02-01 | 2011-08-04 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
| US8498334B1 (en) * | 2010-02-03 | 2013-07-30 | Imagination Technologies Limited | Method and system for staggered parallelized video decoding |
| CN107483928B (zh) | 2011-09-09 | 2020-05-12 | 株式会社Kt | 用于解码视频信号的方法 |
| TWI499283B (zh) * | 2012-07-05 | 2015-09-01 | Ind Tech Res Inst | 視訊壓縮方法與視訊壓縮裝置 |
| JP2014225718A (ja) * | 2013-05-15 | 2014-12-04 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| CN104980737B (zh) * | 2014-04-01 | 2018-04-13 | 扬智科技股份有限公司 | 帧间模式选择方法 |
| KR102195663B1 (ko) | 2020-08-27 | 2020-12-28 | 백기선 | 귀걸이 끈 없는 목걸이용 끈 조절 마스크 |
| CN114422793B (zh) * | 2022-01-14 | 2025-03-21 | 稿定(厦门)科技有限公司 | 计算视频帧中的目标宏块的运动向量的方法及装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE469866B (sv) * | 1991-04-12 | 1993-09-27 | Dv Sweden Ab | Metod för estimering av rörelseinnehåll i videosignaler |
| JP2549479B2 (ja) * | 1991-12-06 | 1996-10-30 | 日本電信電話株式会社 | 動き補償フレーム間帯域分割符号化処理方法 |
| KR0128859B1 (ko) * | 1993-08-20 | 1998-04-10 | 배순훈 | 적응적인 영상부호화 제어장치 |
| KR100266708B1 (ko) * | 1997-10-16 | 2000-09-15 | 전주범 | 양방향 예측 픽쳐의 조건부 보충 부호화 방법 |
| DE69803195T2 (de) * | 1997-11-27 | 2002-08-29 | British Telecommunications P.L.C., London | Codeumsetzung |
| US6128047A (en) * | 1998-05-20 | 2000-10-03 | Sony Corporation | Motion estimation process and system using sparse search block-matching and integral projection |
| WO2001006793A1 (en) * | 1999-07-20 | 2001-01-25 | Koninklijke Philips Electronics N.V. | Drift-free transcoder and related method |
| US6671319B1 (en) * | 1999-12-28 | 2003-12-30 | Sony Corporation | Methods and apparatus for motion estimation using neighboring macroblocks |
| KR100364748B1 (ko) * | 2001-01-05 | 2002-12-16 | 엘지전자 주식회사 | 영상 변환 부호화 장치 |
| KR100460950B1 (ko) * | 2001-12-18 | 2004-12-09 | 삼성전자주식회사 | 트랜스코더 및 트랜스코딩 방법 |
-
2002
- 2002-01-02 KR KR10-2002-0000110A patent/KR100446083B1/ko not_active Expired - Fee Related
- 2002-08-08 US US10/214,310 patent/US7251279B2/en not_active Expired - Fee Related
- 2002-09-05 CN CNB021319383A patent/CN1183489C/zh not_active Expired - Fee Related
- 2002-09-09 JP JP2002263307A patent/JP3908633B2/ja not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006109418A (ja) * | 2004-10-02 | 2006-04-20 | Samsung Electronics Co Ltd | トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ |
| US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
| US9071822B2 (en) | 2005-09-27 | 2015-06-30 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| US8879635B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
| US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
| US9088776B2 (en) | 2005-09-27 | 2015-07-21 | Qualcomm Incorporated | Scalability techniques based on content information |
| US9113147B2 (en) | 2005-09-27 | 2015-08-18 | Qualcomm Incorporated | Scalability techniques based on content information |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| JP2009532741A (ja) * | 2006-04-03 | 2009-09-10 | クゥアルコム・インコーポレイテッド | 顕微鏡スライド自動読み取りシステム |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| JP2008167449A (ja) * | 2006-12-28 | 2008-07-17 | Samsung Electronics Co Ltd | 映像の符号化、復号化方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1430182A (zh) | 2003-07-16 |
| JP3908633B2 (ja) | 2007-04-25 |
| CN1183489C (zh) | 2005-01-05 |
| US20030123547A1 (en) | 2003-07-03 |
| KR20030058873A (ko) | 2003-07-07 |
| US7251279B2 (en) | 2007-07-31 |
| KR100446083B1 (ko) | 2004-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3908633B2 (ja) | 動き推定及びモード決定装置並びにその方法 | |
| US7426308B2 (en) | Intraframe and interframe interlace coding and decoding | |
| US8687697B2 (en) | Coding of motion vector information | |
| EP1528812B1 (en) | Predicting motion vectors for fields forward-predicted interlaced video frames | |
| US7609763B2 (en) | Advanced bi-directional predictive coding of video frames | |
| EP2677753B1 (en) | Method for decoding motion vectors | |
| CN110786013B (zh) | 用于运动向量细化的搜索区域 | |
| US8514939B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
| Wee et al. | Field-to-frame transcoding with spatial and temporal downsampling | |
| JP2002125236A (ja) | 動きベクトル変換方法及び変換装置 | |
| US7839933B2 (en) | Adaptive vertical macroblock alignment for mixed frame video sequences | |
| JP3649370B2 (ja) | 動き補償符号化装置及び動き補償符号化方法 | |
| KR20040070490A (ko) | 비월 주사 방식의 동영상 부호화/복호화 방법 및 그 장치 | |
| US8098946B2 (en) | Apparatus and method for image encoding and decoding using prediction | |
| US20070133689A1 (en) | Low-cost motion estimation apparatus and method thereof | |
| CN119299690A (zh) | 用于解码图像的方法及其装置 | |
| JP2868445B2 (ja) | 動画像圧縮方法および装置 | |
| JP2002044669A (ja) | 画像情報変換装置及び方法 | |
| JP2002218468A (ja) | 動きベクトル変換装置及び動きベクトル変換方法 | |
| Golin | Fast Transcoding of Compressed Bitstreams by Reusing Incoming Motion Vectors | |
| HK1155017B (en) | Predicting motion vectors for fields of forward-predicted interlaced video frames | |
| HK1155017A (en) | Predicting motion vectors for fields of forward-predicted interlaced video frames |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060830 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060904 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070118 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |