JPH0984017A - 動画像の動き補償予測符号化方法 - Google Patents
動画像の動き補償予測符号化方法Info
- Publication number
- JPH0984017A JPH0984017A JP7236994A JP23699495A JPH0984017A JP H0984017 A JPH0984017 A JP H0984017A JP 7236994 A JP7236994 A JP 7236994A JP 23699495 A JP23699495 A JP 23699495A JP H0984017 A JPH0984017 A JP H0984017A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- motion
- image
- vector field
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 従来の動き補償予測方法は、各符号化単位の
平行移動のみを補償するものであったが、被写体の拡大
・縮小・回転等の変形または符号化単位内の複数被写体
の異なる動きを補償する動き補償予測符号化方法を提供
することである。 【解決手段】 符号化対象画像を符号化単位に分割し、
符号化対象画像と予測参照画像との間の動ベクトルを符
号化単位ごとに検出し、対象符号化単位と参照画像との
相対位置を動ベクトルとして、評価関数値が最小となっ
たパターンを動ベクトル場パターンを示す符号の元にな
る予測参照画像の画素単位の動ベクトル場を蓄積し、蓄
積されている予測参照画像のどの位置の動ベクトル場を
動き補償予測に利用するかを示す動ベクトル場パターン
参照ベクトルを用いて画素単位の動ベクトルを算出す
る。
平行移動のみを補償するものであったが、被写体の拡大
・縮小・回転等の変形または符号化単位内の複数被写体
の異なる動きを補償する動き補償予測符号化方法を提供
することである。 【解決手段】 符号化対象画像を符号化単位に分割し、
符号化対象画像と予測参照画像との間の動ベクトルを符
号化単位ごとに検出し、対象符号化単位と参照画像との
相対位置を動ベクトルとして、評価関数値が最小となっ
たパターンを動ベクトル場パターンを示す符号の元にな
る予測参照画像の画素単位の動ベクトル場を蓄積し、蓄
積されている予測参照画像のどの位置の動ベクトル場を
動き補償予測に利用するかを示す動ベクトル場パターン
参照ベクトルを用いて画素単位の動ベクトルを算出す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、画像通信、画像記
録等に利用される画像信号のディジタル圧縮符号化方法
に関し、詳しくは動画像の動き補償予測符号化方法に関
する。
録等に利用される画像信号のディジタル圧縮符号化方法
に関し、詳しくは動画像の動き補償予測符号化方法に関
する。
【０００２】
【従来の技術】動画像のディジタル圧縮符号化におい
て、動画像信号の時間冗長性を抑圧する手段として、動
き補償フレーム間予測がしばしば用いられる。このフレ
ーム間予測では、通常、符号化対象画像を１６画素×１
６ライン等の矩形の符号化単位（以下ブロックと称す）
に区切り、各ブロックごとに動きを求める対象となって
いるブロックを中心とする探索範囲を予測参照画像内に
設定し、その範囲内で対象ブロックを平行移動させなが
ら、対象ブロックと最も類似するブロックを、絶対値差
分や差分自乗和等を評価関数として使用することで探し
出し、参照画像との相対位置を動ベクトル（ｖx 、
ｖy ）として検出する。
て、動画像信号の時間冗長性を抑圧する手段として、動
き補償フレーム間予測がしばしば用いられる。このフレ
ーム間予測では、通常、符号化対象画像を１６画素×１
６ライン等の矩形の符号化単位（以下ブロックと称す）
に区切り、各ブロックごとに動きを求める対象となって
いるブロックを中心とする探索範囲を予測参照画像内に
設定し、その範囲内で対象ブロックを平行移動させなが
ら、対象ブロックと最も類似するブロックを、絶対値差
分や差分自乗和等を評価関数として使用することで探し
出し、参照画像との相対位置を動ベクトル（ｖx 、
ｖy ）として検出する。
【０００３】符号化対象画像の座標（ｘ、ｙ）上の画像
データと最もよくマッチングする画像は、予測参照画像
中の座標（ｘr 、ｙr ）上の画像データとして対応づけ
られる。
データと最もよくマッチングする画像は、予測参照画像
中の座標（ｘr 、ｙr ）上の画像データとして対応づけ
られる。
【０００４】
【数１】 このように、予測参照画像中の同じ位置（ｘ、ｙ）のブ
ロックではなく、この動ベクトル（ｖx 、ｖy ）分平行
移動した位置のブロックを予測画像とし、前記予測画像
と符号化対象画像との差分（動き補償予測誤差）信号を
符号化することにより、動画像のフレーム間相関は飛躍
的に向上し、フレーム間予測効率を大幅に向上すること
が可能となる。
ロックではなく、この動ベクトル（ｖx 、ｖy ）分平行
移動した位置のブロックを予測画像とし、前記予測画像
と符号化対象画像との差分（動き補償予測誤差）信号を
符号化することにより、動画像のフレーム間相関は飛躍
的に向上し、フレーム間予測効率を大幅に向上すること
が可能となる。
【０００５】
【発明が解決しようとする課題】 前記従来技術における
動き補償予測方法は、１６画索×１６ライン等の矩形ブ
ロックを１つの剛体とみなし、各ブロックの平行移動の
みを補償するものである。従って、被写体の拡大・縮小
・回転等の変形を補償することは不可能である。すなわ
ち、物体の変形を伴う場合には動き予測が当たらず、予
測効率が大幅に低下するのみならず、予測画像の品質が
劣化し、予測誤差画像の符号化に十分な符号量を割り当
てることのできない低レート符号化時には、視覚的に大
きな妨害となる。
動き補償予測方法は、１６画索×１６ライン等の矩形ブ
ロックを１つの剛体とみなし、各ブロックの平行移動の
みを補償するものである。従って、被写体の拡大・縮小
・回転等の変形を補償することは不可能である。すなわ
ち、物体の変形を伴う場合には動き予測が当たらず、予
測効率が大幅に低下するのみならず、予測画像の品質が
劣化し、予測誤差画像の符号化に十分な符号量を割り当
てることのできない低レート符号化時には、視覚的に大
きな妨害となる。
【０００６】上記問題点を解決する手段として、平行移
動のみならず、拡大・縮小・回転などを表現し得る線形
変換としてアフィン変換を動き補償に用いる手法が提案
されている。
動のみならず、拡大・縮小・回転などを表現し得る線形
変換としてアフィン変換を動き補償に用いる手法が提案
されている。
【０００７】
【数２】 ここで、ａ、ｂ、ｃ、ｄ、ｖx 、ｖy はアフィン変換係
数を表す。
数を表す。
【０００８】平行移動に加えて動き補償予測にアフィン
変換を用いることにより、回転・拡大・縮小などの動き
を補償することが可能となり、従来平行移動補償に比べ
て予測画像の品質を一層向上することが可能となる。
変換を用いることにより、回転・拡大・縮小などの動き
を補償することが可能となり、従来平行移動補償に比べ
て予測画像の品質を一層向上することが可能となる。
【０００９】しかし、フレーム間の動きを記述するの
に、従来平行移動補償が（ｖx 、ｖy）の２パラメータ
であるのに対し、アフィン変換動き補償は（ａ、ｂ、
ｃ、ｄ、ｖx 、ｖy ）の６パラメータが必要であるの
で、予測画像を作成するのに（ａ、ｂ、ｃ、ｄ）の４パ
ラメータ分付加情報が必要であり、予測誤差信号の符号
化に、十分な符号量を割り当てることが不可能となり、
復号画像の品質が劣化してしまう。
に、従来平行移動補償が（ｖx 、ｖy）の２パラメータ
であるのに対し、アフィン変換動き補償は（ａ、ｂ、
ｃ、ｄ、ｖx 、ｖy ）の６パラメータが必要であるの
で、予測画像を作成するのに（ａ、ｂ、ｃ、ｄ）の４パ
ラメータ分付加情報が必要であり、予測誤差信号の符号
化に、十分な符号量を割り当てることが不可能となり、
復号画像の品質が劣化してしまう。
【００１０】本発明の目的は、上記問題点を解決し、少
ない付加情報で、動き補償による予測効率の改善を行な
うことにある。
ない付加情報で、動き補償による予測効率の改善を行な
うことにある。
【００１１】
【課題を解決するための手段】本発明の動画像の動き補
償予測符号化方法は、符号化対象画像を複数個の符号化
単位に分割し、前記符号化単位内の画素単位の動ベクト
ル場を表すパターンを作成し、前記符号化単位ごとの動
ベクトルと、前記画素単位の動ベクトル場を表すパター
ンから、求められる符号化単位内の各画素ごとの動ベク
トルを用いて動き補償予測を行ない、各符号化単位ごと
に符号化対象画像と予測参照画像との間で動き補償予測
を行なう動画像の動き補償予測符号化方法において、前
記符号化単位の動ベクトルと、動ベクトル場パターンを
示す元になる予測参照画像の画素単位の動ベクトル場を
蓄積するステップと、前記符号化単位の動ベクトルと、
前記蓄積された前記予測参照画像のどの位置の動ベクト
ル場を動き補償予測に利用するかを示す動ベクトル場パ
ターン参照ベクトルを用いて画素単位の動ベクトルを算
出するステップを有する。
償予測符号化方法は、符号化対象画像を複数個の符号化
単位に分割し、前記符号化単位内の画素単位の動ベクト
ル場を表すパターンを作成し、前記符号化単位ごとの動
ベクトルと、前記画素単位の動ベクトル場を表すパター
ンから、求められる符号化単位内の各画素ごとの動ベク
トルを用いて動き補償予測を行ない、各符号化単位ごと
に符号化対象画像と予測参照画像との間で動き補償予測
を行なう動画像の動き補償予測符号化方法において、前
記符号化単位の動ベクトルと、動ベクトル場パターンを
示す元になる予測参照画像の画素単位の動ベクトル場を
蓄積するステップと、前記符号化単位の動ベクトルと、
前記蓄積された前記予測参照画像のどの位置の動ベクト
ル場を動き補償予測に利用するかを示す動ベクトル場パ
ターン参照ベクトルを用いて画素単位の動ベクトルを算
出するステップを有する。
【００１２】また、前記符号化単位の動ベクトルと、動
ベクトル場パターン参照ベクトルを用いて画素単位の動
ベクトルを算出するステップは、符号化対象の符号化単
位から動ベクトル場パターン参照ベクトルだけの相対位
置にある画素単位動ベクトル場パターンの各画素毎のベ
クトルに、前記符号化単位の動ベクトルを加算すること
で画素単位動ベクトルを算出するステップを有する。
ベクトル場パターン参照ベクトルを用いて画素単位の動
ベクトルを算出するステップは、符号化対象の符号化単
位から動ベクトル場パターン参照ベクトルだけの相対位
置にある画素単位動ベクトル場パターンの各画素毎のベ
クトルに、前記符号化単位の動ベクトルを加算すること
で画素単位動ベクトルを算出するステップを有する。
【００１３】
【発明の実施の形態】動ベクトルを検出するにあたり、
予測参照画像の画素単位の動ベクトル場を動ベクトル場
パターンとして参照する。具体的には動き補償を行なう
対象となっているブロックを中心とする探索範囲を予測
参照画像内に設定し、ブロックの平行移動量
（Ｖmove）、および、動ベクトル場パターン参照ベクト
ル（Ｖvector）だけの相対位置にあるブロックの動ベク
トル場パターンから得られる画素単位の動ベクトルを用
い、対象ブロックと最も類似する参照画像の位置を絶対
値差分や差分自乗和等を評価関数として使用することで
探し出す。
予測参照画像の画素単位の動ベクトル場を動ベクトル場
パターンとして参照する。具体的には動き補償を行なう
対象となっているブロックを中心とする探索範囲を予測
参照画像内に設定し、ブロックの平行移動量
（Ｖmove）、および、動ベクトル場パターン参照ベクト
ル（Ｖvector）だけの相対位置にあるブロックの動ベク
トル場パターンから得られる画素単位の動ベクトルを用
い、対象ブロックと最も類似する参照画像の位置を絶対
値差分や差分自乗和等を評価関数として使用することで
探し出す。
【００１４】そして、評価関数値が最小となった参照画
像との相対位置（動ベクトル）、および、動ベクトル場
の相対位置（動ベクトル場パターン参照ベクトル）を出
力する。
像との相対位置（動ベクトル）、および、動ベクトル場
の相対位置（動ベクトル場パターン参照ベクトル）を出
力する。
【００１５】また、ブロック内の各画素の予測値とし
て、前記画素単位の動ベクトルぶん平行移動した位置の
輝度値を用いることで、予測画像を作成する。
て、前記画素単位の動ベクトルぶん平行移動した位置の
輝度値を用いることで、予測画像を作成する。
【００１６】
【実施例】以下、図面により本発明の実施例を詳細に説
明する。
明する。
【００１７】図１は、本発明の一実施例における動画像
の動き補償予測符号化方法の符号器の構成を示す図であ
り、１は符号化対象画像、２は予測画像の動ベクトル
場、３は動ベクトル・動ベクトル場パターン参照ベクト
ル検出部、４は動ベクトル場パターン参照ベクトル、５
は動ベクトル、６はブロック内動ベクトル場生成器、７
はブロック内動ベクトル場パターン、８は加算器、９は
画素単位動ベクトル、１０は予測画像の動ベクトル場蓄
積メモリ、１１は画素単位動き補償部、１２は予測画
像、１３は減算器、１４は動き補償予測誤差である。
の動き補償予測符号化方法の符号器の構成を示す図であ
り、１は符号化対象画像、２は予測画像の動ベクトル
場、３は動ベクトル・動ベクトル場パターン参照ベクト
ル検出部、４は動ベクトル場パターン参照ベクトル、５
は動ベクトル、６はブロック内動ベクトル場生成器、７
はブロック内動ベクトル場パターン、８は加算器、９は
画素単位動ベクトル、１０は予測画像の動ベクトル場蓄
積メモリ、１１は画素単位動き補償部、１２は予測画
像、１３は減算器、１４は動き補償予測誤差である。
【００１８】符号器では、まず始めに符号化対象画像１
が、予測参照画像の動ベクトル場２と共に動ベクトル・
動ベクトル場パターン参照ベクトル検出部３に入力さ
れ、各符号化対象ブロックごとに動ベクトル場パターン
参照ベクトル４と動ベクトル５が求められる。
が、予測参照画像の動ベクトル場２と共に動ベクトル・
動ベクトル場パターン参照ベクトル検出部３に入力さ
れ、各符号化対象ブロックごとに動ベクトル場パターン
参照ベクトル４と動ベクトル５が求められる。
【００１９】動ベクトル場パターン参照ベクトル４と動
ベクトル５の検出方法に関しては後で詳しく述ベる。
ベクトル５の検出方法に関しては後で詳しく述ベる。
【００２０】求められた動ベクトル場パターン参照ベク
トル４は、予測参照画像の動ベクトル場２と共に、ブロ
ック内動ベクトル場生成器６に入力され、動ベクトル場
パターン７が決定され、この各画素単位の値（ベクト
ル）に動ベクトル５を加算器８で加算することにより、
画素単位の動ベクトル９が求められる。画素単位の動ベ
クトル９は、予測画像の動ベクトル場蓄積メモリ（フレ
ームメモリとも称す）１０に蓄積されると同時に、画素
単位動き補償部１１に入力され、画素単位動き補償を行
い、予測画像１２が求められる。
トル４は、予測参照画像の動ベクトル場２と共に、ブロ
ック内動ベクトル場生成器６に入力され、動ベクトル場
パターン７が決定され、この各画素単位の値（ベクト
ル）に動ベクトル５を加算器８で加算することにより、
画素単位の動ベクトル９が求められる。画素単位の動ベ
クトル９は、予測画像の動ベクトル場蓄積メモリ（フレ
ームメモリとも称す）１０に蓄積されると同時に、画素
単位動き補償部１１に入力され、画素単位動き補償を行
い、予測画像１２が求められる。
【００２１】復号器側には、動ベクトル５と、動ベクト
ル場パターン参照ベクトル４と、符号化対象画像１と予
測画像１２から減算器１３で求められる予測誤差１４が
多重化して伝送される。
ル場パターン参照ベクトル４と、符号化対象画像１と予
測画像１２から減算器１３で求められる予測誤差１４が
多重化して伝送される。
【００２２】また、符号化参照画像に動ベクトル場が存
在しない場合がある。図２は、本発明の一実施例におけ
る動画像の動き補償予測符号化方法において、各符号化
対象画像（フレームとも称す）を符号化する際に、参照
する情報を示したものである。
在しない場合がある。図２は、本発明の一実施例におけ
る動画像の動き補償予測符号化方法において、各符号化
対象画像（フレームとも称す）を符号化する際に、参照
する情報を示したものである。
【００２３】最初のフレーム（Ｉ）は符号化参照画像が
存在しないため、動き補償フレーム間予測を用いること
が不可能であり、フレーム内で符号化する。このため、
Ｉフレームは動きベクトル場情報を保持しておらず、次
のフレーム（Ｐ１）を符号化する際にＩフレームの動ベ
クトル場を参照することはできない。
存在しないため、動き補償フレーム間予測を用いること
が不可能であり、フレーム内で符号化する。このため、
Ｉフレームは動きベクトル場情報を保持しておらず、次
のフレーム（Ｐ１）を符号化する際にＩフレームの動ベ
クトル場を参照することはできない。
【００２４】そこで、Ｐ１フレームを予測符号化する際
には、アフィン変換や、動ベクトル内挿など画素単位の
動き補償を行なえる手法を用いて符号化する。動ベクト
ル内挿はGary J. Sullivanらによる”Motion Compensat
ion for Video CompressionUsing Control Grid Interp
olation”（IEEE ICASSP '91, pp. 2713-2716, 1991
年）などに詳しい。これにより、３枚目のフレーム（Ｐ
２）を符号化する際に必要な画素単位の動ベクトル場を
得ることができる。
には、アフィン変換や、動ベクトル内挿など画素単位の
動き補償を行なえる手法を用いて符号化する。動ベクト
ル内挿はGary J. Sullivanらによる”Motion Compensat
ion for Video CompressionUsing Control Grid Interp
olation”（IEEE ICASSP '91, pp. 2713-2716, 1991
年）などに詳しい。これにより、３枚目のフレーム（Ｐ
２）を符号化する際に必要な画素単位の動ベクトル場を
得ることができる。
【００２５】したがって３枚目以降のフレームでは、動
ベクトルと、動ベクトル場パターン参照ベクトルを用い
て画素単位の動き補償を行なうので、画素単位の動ベク
トル場の情報を保持しており、次のフレームを符号化す
る際、符号化参照画像の動ベクトル場を参照することが
可能であり、本手法を用いることが可能である。
ベクトルと、動ベクトル場パターン参照ベクトルを用い
て画素単位の動き補償を行なうので、画素単位の動ベク
トル場の情報を保持しており、次のフレームを符号化す
る際、符号化参照画像の動ベクトル場を参照することが
可能であり、本手法を用いることが可能である。
【００２６】動ベクトル場パターン参照ベクトル４と動
ベクトル５の検出方法を詳しく述べる。
ベクトル５の検出方法を詳しく述べる。
【００２７】図３は、動ベクトル場パターン参照ベクト
ルにより予測参照画像の動ベクトル場からブロック内の
動ベクトル場パターンを参照することを示す図であり、
第１図の回路図における、動ベクトル・動ベクトル場パ
ターン参照ベクトル検出部３の一部分を示したものであ
る。
ルにより予測参照画像の動ベクトル場からブロック内の
動ベクトル場パターンを参照することを示す図であり、
第１図の回路図における、動ベクトル・動ベクトル場パ
ターン参照ベクトル検出部３の一部分を示したものであ
る。
【００２８】今、動ベクトル場パターン参照ベクトルの
探索範囲を（土Ｓvector, 士Ｓvect or）画素とする。符
号化対象ブロックを中心とする動ベクトル場パターン参
照ベクトル探索範囲を予測参照画像の画素単位の動ベク
トル場内に設定し、上記探索範囲内で符号化対象ブロッ
クを動ベクトル場パターン参照ベクトル（Ｖvector）だ
け平行移動した場所のブロックの動ベクトル場を動ベク
トル場パターンとして用いる。
探索範囲を（土Ｓvector, 士Ｓvect or）画素とする。符
号化対象ブロックを中心とする動ベクトル場パターン参
照ベクトル探索範囲を予測参照画像の画素単位の動ベク
トル場内に設定し、上記探索範囲内で符号化対象ブロッ
クを動ベクトル場パターン参照ベクトル（Ｖvector）だ
け平行移動した場所のブロックの動ベクトル場を動ベク
トル場パターンとして用いる。
【００２９】この時、図３で、求められたブロック内動
ベクトル場パターンは、簡単のため、５×５で考える
と、
ベクトル場パターンは、簡単のため、５×５で考える
と、
【００３０】
【数３】 という動ベクトル場であり、これは、図４に示すよう
に、ブロックの拡大を表す動ベクトル場である。このよ
うな動ベクトル場は、（２Ｓvector）2 パターン参照す
ることができる。
に、ブロックの拡大を表す動ベクトル場である。このよ
うな動ベクトル場は、（２Ｓvector）2 パターン参照す
ることができる。
【００３１】動ベクトルの探索範囲を（土Ｓmove, 土Ｓ
move）画素とし、検索の精度を一画素単位にすると、同
様に動ベクトルは、（２Ｓmove）2 パターン参照するこ
とができる。
move）画素とし、検索の精度を一画素単位にすると、同
様に動ベクトルは、（２Ｓmove）2 パターン参照するこ
とができる。
【００３２】したがって、動ベクトル場パターン参照ベ
クトル４と動ベクトル５を検出する際には、動ベクトル
場パターン参照ベクトル４より定まるブロック内動ベク
トル場パターン７の各要素（各画素単位のベクトル）に
動ベクトル５を加算することで、画素単位動ベクトルを
求め、この画素単位動ベクトルを用いて（２Ｓvector）
2 ×（２Ｓvector）2 パターンのフルサーチを行ない、
両者を検出する。
クトル４と動ベクトル５を検出する際には、動ベクトル
場パターン参照ベクトル４より定まるブロック内動ベク
トル場パターン７の各要素（各画素単位のベクトル）に
動ベクトル５を加算することで、画素単位動ベクトルを
求め、この画素単位動ベクトルを用いて（２Ｓvector）
2 ×（２Ｓvector）2 パターンのフルサーチを行ない、
両者を検出する。
【００３３】
【発明の効果】以上説明したように、本発明によれば、
符号化対象画像と予測参照画像より、動き補償を用いて
予測画像を作成するにあたり、動ベクトル場パターン参
照ベクトルにより予測参照画像の画素単位の動ベクトル
場から得られる動ベクトル場パターンと、ブロックごと
の動ベクトルから得られる画素単位の動ベクトルをもと
め、それを用いて動き予測をすることで、画素単位の被
写体の動きを記述することが可能となり、特に、従来法
の平行移動補償では非効率であるカメラのパン・ズーム
など複数のフレームに渡って同じ射影変換が行なわれる
場合などでは、効率的に予測できるという効果がある。
符号化対象画像と予測参照画像より、動き補償を用いて
予測画像を作成するにあたり、動ベクトル場パターン参
照ベクトルにより予測参照画像の画素単位の動ベクトル
場から得られる動ベクトル場パターンと、ブロックごと
の動ベクトルから得られる画素単位の動ベクトルをもと
め、それを用いて動き予測をすることで、画素単位の被
写体の動きを記述することが可能となり、特に、従来法
の平行移動補償では非効率であるカメラのパン・ズーム
など複数のフレームに渡って同じ射影変換が行なわれる
場合などでは、効率的に予測できるという効果がある。
【００３４】例としては図５は、参照フレームから符号
化対象画像にむけて、カメラがズームしながら右に移動
した場合、すなわち被写体が拡大しながら左に移動した
場合を示したものだが、これは従来の平行移動動き補償
では動きが予測できなかった。
化対象画像にむけて、カメラがズームしながら右に移動
した場合、すなわち被写体が拡大しながら左に移動した
場合を示したものだが、これは従来の平行移動動き補償
では動きが予測できなかった。
【００３５】図６に示すように、本手法を用いることに
より、これを平行移動と拡大の二つの段階に分け、平行
移動ベクトルと、動ベクトル場パターン参照ベクトルに
より定まる動ベクトルパターンを用いることで物体の画
素単位の動ベクトルで、予測することが可能になる。さ
らに、動ベクトルパターンは前フレームの動ベクトル場
を用いる。したがって、復号器側に動ベクトルパターン
を伝送する必要はなく、どの位相位置の前フレームの動
ベクトル場パターンを用いれば良いかの示す符号のみを
伝送すれば良い。
より、これを平行移動と拡大の二つの段階に分け、平行
移動ベクトルと、動ベクトル場パターン参照ベクトルに
より定まる動ベクトルパターンを用いることで物体の画
素単位の動ベクトルで、予測することが可能になる。さ
らに、動ベクトルパターンは前フレームの動ベクトル場
を用いる。したがって、復号器側に動ベクトルパターン
を伝送する必要はなく、どの位相位置の前フレームの動
ベクトル場パターンを用いれば良いかの示す符号のみを
伝送すれば良い。
【００３６】従来法の平行移動動き補償方法では効率的
に予測できない、被写体の拡大・縮小・回転などの物体
の変形のように、ブロックの動きが平行移動で表されな
い場合、従来の平行移動に加え、付加情報として予測参
照画像の動ベクトル場を表す動ベクトル場パターン参照
ベクトルを用いることで、被写休の動きをより正確に記
述することが可能になり、予測画像の品質を向上するこ
とが可能となり、フレーム間差分信号の符号化に要する
符号量を大幅に削減することができる。
に予測できない、被写体の拡大・縮小・回転などの物体
の変形のように、ブロックの動きが平行移動で表されな
い場合、従来の平行移動に加え、付加情報として予測参
照画像の動ベクトル場を表す動ベクトル場パターン参照
ベクトルを用いることで、被写休の動きをより正確に記
述することが可能になり、予測画像の品質を向上するこ
とが可能となり、フレーム間差分信号の符号化に要する
符号量を大幅に削減することができる。
【００３７】このように、少ない付加情報量で予測画像
の品質が向上するため、予測誤差信号の符号化に必要な
符号量を抑圧することができ、符号化効率が改普する。
の品質が向上するため、予測誤差信号の符号化に必要な
符号量を抑圧することができ、符号化効率が改普する。
【００３８】また、復号器側に付加情報として２パラメ
ータのみを伝送するので、アフィン変換動き補償に比
べ、付加情報量も低減され、予測効率が改善する。
ータのみを伝送するので、アフィン変換動き補償に比
べ、付加情報量も低減され、予測効率が改善する。
【図１】本発明の実施例における動き補償予測符号化方
式の符号器の構成を示す図である。
式の符号器の構成を示す図である。
【図２】本発明の一実施例における動画像の動き補償予
測符号化方法において、各フレームを符号化する際に、
参照する情報を示したものである。
測符号化方法において、各フレームを符号化する際に、
参照する情報を示したものである。
【図３】符号化対象ブロックから動ベクトル場パターン
参照ベクトルだけの相対位置にあるブロック内動ベクト
ル場パターンを参照することを示す図である。
参照ベクトルだけの相対位置にあるブロック内動ベクト
ル場パターンを参照することを示す図である。
【図４】ブロックの拡大を表す動ベクトル場である。実
線は符号化対象画像であり、点線は予測参照画像であ
る。ます目は画素を表す。
線は符号化対象画像であり、点線は予測参照画像であ
る。ます目は画素を表す。
【図５】被与体が拡大しながら移動した場合な示してお
り、従来平行移動補償では、予測できないことを示す図
である。
り、従来平行移動補償では、予測できないことを示す図
である。
【図６】動ベクトル場パターンから求められる、動ベク
トル場パターン参照ベクトルにより一意に定まるブロッ
ク内動ベクトル場パターンと、物休の画素単位の動ベク
トルを用いて、物体の動きを予測する方法を示す図であ
る。
トル場パターン参照ベクトルにより一意に定まるブロッ
ク内動ベクトル場パターンと、物休の画素単位の動ベク
トルを用いて、物体の動きを予測する方法を示す図であ
る。
１ 符号化対象画像 ２ 予測画像の動ベクトル場 ３ 動ベクトル・動ベクトル場パターン参照ベクトル
検出部 ４ 動ベクトル場パターン参照ベクトル ５ 動ベクトル ６ ブロック内動ベクトル場生成器 ７ ブロック内動ベクトル場パターン ８ 加算器 ９ 画素単位動ベクトル １０ 予測画像の動ベクトル場蓄積メモリ １１ 画素単位動き補償部 １２ 予測画像 １３ 減算器 １４ 動き補償予測誤差
検出部 ４ 動ベクトル場パターン参照ベクトル ５ 動ベクトル ６ ブロック内動ベクトル場生成器 ７ ブロック内動ベクトル場パターン ８ 加算器 ９ 画素単位動ベクトル １０ 予測画像の動ベクトル場蓄積メモリ １１ 画素単位動き補償部 １２ 予測画像 １３ 減算器 １４ 動き補償予測誤差
Claims (2)
- 【請求項１】 符号化対象画像を複数個の符号化単位に
分割し、前記符号化単位内の画素単位の動ベクトル場を
表すパターンを作成し、前記符号化単位ごとの動ベクト
ルと、前記画素単位の動ベクトル場を表すパターンか
ら、求められる符号化単位内の各画素ごとの動ベクトル
を用いて動き補償予測を行ない、各符号化単位ごとに符
号化対象画像と予測参照画像との間で動き補償予測を行
なう動画像の動き補償予測符号化方法において、 前記符号化単位の動ベクトルと、動ベクトル場パターン
を示す元になる予測参照画像の画素単位の動ベクトル場
を蓄積するステップと、 前記符号化単位の動ベクトルと、前記蓄積された前記予
測参照画像のどの位置の動ベクトル場を動き補償予測に
利用するかを示す動ベクトル場パターン参照ベクトルを
用いて画素単位の動ベクトルを算出するステップを有す
ることを特徴とする動画像の動き補償予測符号化方法。 - 【請求項２】 前記符号化単位の動ベクトルと、動ベク
トル場パターン参照ベクトルを用いて画素単位の動ベク
トルを算出するステップが、 符号化対象の符号化単位から動ベクトル場パターン参照
ベクトルだけの相対位置にある画素単位動ベクトル場パ
ターンの各画素毎のベクトルに、前記符号化単位の動ベ
クトルを加算することで画素単位動ベクトルを算出する
ステップを有する請求項１に記載の動画像の動き補償予
測符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7236994A JPH0984017A (ja) | 1995-09-14 | 1995-09-14 | 動画像の動き補償予測符号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7236994A JPH0984017A (ja) | 1995-09-14 | 1995-09-14 | 動画像の動き補償予測符号化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0984017A true JPH0984017A (ja) | 1997-03-28 |
Family
ID=17008819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7236994A Pending JPH0984017A (ja) | 1995-09-14 | 1995-09-14 | 動画像の動き補償予測符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0984017A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998059496A1 (fr) * | 1997-06-25 | 1998-12-30 | Nippon Telegraph And Telephone Corporation | Procede de codage predictif de vecteur de mouvement et procede de decodage de vecteur de mouvement, dispositif de codage predictif et dispositif de decodage predictif, support d'information memorise par programme de codage predictif de vecteur de mouvement et programme de decodage de vecteur de mouvement |
| JP2009510929A (ja) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | より正確な動作情報を用いたフレーム補間 |
| US9154789B2 (en) | 1997-06-25 | 2015-10-06 | Nippon Telegraph And Telephone Corporation | Motion vector predictive encoding and decoding method using prediction of motion vector of target block based on representative motion vector |
| JP2018529270A (ja) * | 2015-08-24 | 2018-10-04 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 動きベクトル場の符号化方法、復号方法、符号化装置、および復号装置 |
-
1995
- 1995-09-14 JP JP7236994A patent/JPH0984017A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998059496A1 (fr) * | 1997-06-25 | 1998-12-30 | Nippon Telegraph And Telephone Corporation | Procede de codage predictif de vecteur de mouvement et procede de decodage de vecteur de mouvement, dispositif de codage predictif et dispositif de decodage predictif, support d'information memorise par programme de codage predictif de vecteur de mouvement et programme de decodage de vecteur de mouvement |
| US9154789B2 (en) | 1997-06-25 | 2015-10-06 | Nippon Telegraph And Telephone Corporation | Motion vector predictive encoding and decoding method using prediction of motion vector of target block based on representative motion vector |
| JP2009510929A (ja) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | より正確な動作情報を用いたフレーム補間 |
| JP2012010381A (ja) * | 2005-09-27 | 2012-01-12 | Qualcomm Inc | より正確な動き情報を用いたフレーム補間 |
| JP2018529270A (ja) * | 2015-08-24 | 2018-10-04 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 動きベクトル場の符号化方法、復号方法、符号化装置、および復号装置 |
| US11102501B2 (en) | 2015-08-24 | 2021-08-24 | Huawei Technologies Co., Ltd. | Motion vector field coding and decoding method, coding apparatus, and decoding apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2801559B2 (ja) | 動き大小に適応する動き補償符号化方法及びその装置 | |
| JP4373702B2 (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
| US6628711B1 (en) | Method and apparatus for compensating for jitter in a digital video image | |
| KR101383612B1 (ko) | 비디오 시퀀스에서 데이터 압축 방법 | |
| KR100275694B1 (ko) | 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법 | |
| JP4724459B2 (ja) | 適応時間予測を用いた動きベクトル検出 | |
| JPH08265781A (ja) | 動きベクトル特定方法及び装置 | |
| JPH10304383A (ja) | 動き補償符号化装置、動き補償符号化方法及び符号化記録媒体 | |
| KR100204478B1 (ko) | 전역 움직임에 의한 빈 공간 보상 방법 및 그 장치 | |
| JP2914448B2 (ja) | 動きベクトル予測符号化方法および動きベクトル復号方法、予測符号化装置および復号装置、並びに、動きベクトルの予測符号化プログラムおよび復号プログラムを記録した記録媒体 | |
| GB2348559A (en) | Motion vector estimation using multi-resolution techniques | |
| JP3681784B2 (ja) | 映像信号符号化装置 | |
| JP2005167976A (ja) | 動きベクトル検出装置及び動きベクトル検出プログラム | |
| JPH0984017A (ja) | 動画像の動き補償予測符号化方法 | |
| JPH06209466A (ja) | 動ベクトル検出装置 | |
| JP2009290889A (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
| JPH06165164A (ja) | 動画像処理装置 | |
| KR0185841B1 (ko) | 영상 부호기에서의 움직임 추정 장치 | |
| JPH11122619A (ja) | 動画像符号化および復号化方法 | |
| JPH0974568A (ja) | 動画像の動き補償予測符号化方法 | |
| JP2002344949A (ja) | 動画像監視装置 | |
| JP2765528B2 (ja) | 半画素精度動きベクトル探索装置 | |
| KR100228675B1 (ko) | 전방예측부호화방법 및 그 장치 | |
| JPH07240923A (ja) | 画像符号化方法 | |
| JP3031638B2 (ja) | 蓄積用動画像符号化方式における補間フレームのベクトル探索方法 |