JPH10136375A - 動画像の動き補償方法 - Google Patents
動画像の動き補償方法Info
- Publication number
- JPH10136375A JPH10136375A JP28793296A JP28793296A JPH10136375A JP H10136375 A JPH10136375 A JP H10136375A JP 28793296 A JP28793296 A JP 28793296A JP 28793296 A JP28793296 A JP 28793296A JP H10136375 A JPH10136375 A JP H10136375A
- Authority
- JP
- Japan
- Prior art keywords
- value
- block
- motion compensation
- image
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
出されやすくなるように、動き推定に用いる基本評価値
から特定の動きベクトルの場合のみ一定量を引いて評価
を行う場合、その値が常に一定では、動きベクトルの符
号化情報量の削減に伴う予測特性の劣化の影響が考慮で
きない。 【解決手段】 変換係数を量子化する際の量子化ステッ
プ幅を決める量子化パラメータによって、量子化ステッ
プ幅が小さいほど評価値より引く差分値が小さくなるよ
うに設定することで、予測特性の劣化を防ぐ。 【効果】 動き補償方法に伴う動きベクトルの符号化情
報量を全体の符号化情報を考慮に入れて制御することが
可能となる。
Description
符号化技術に属するものである。
て、時間的に隣接するフレーム間の相関を利用する動き
補償方法は大きな圧縮効果を生むことが知られている。
このため、動画像符号化方式の国際標準MPEG1とMPEG2で
も半画素精度のブロックマッチングの技術が用いられて
いる。この方式では、符号化しようとする画像を多数の
ブロックに分割し、ブロック毎にその動きベクトルを水
平・垂直方向に隣接画素間距離の半分の長さを最小単位
として求めている。この処理を数式を用いて表現すると
以下のようになる。符号化しようとするフレーム(現フ
レーム)の予測画像をP(x, y)、参照画像(Pと時間的に
近接しており、既に符号化が完了しているフレームの復
号画像)をR(x, y)とする。またx、yは整数であるとし
て、PとRでは座標値が整数である点に画素が存在すると
仮定する。このとき、PとRの関係は
クに分割されるとして、Biは画像のi番目のブロックに
含まれる画素、(ui,vi)はi番目のブロックの動きベクト
ルを表している。
とviはそれぞれ画素間距離の半分、つまりこの場合は1
/2を最小単位として求められることになる。従って、
座標値が整数ではなく、参照画像において実際には画像
が存在しない点(以後、このような点を内挿点とよぶ)
の輝度値を求めることが必要となる。この際の処理とし
ては、周辺4画素を用いた共1次内挿が使われることが
多い。この内挿方式を数式で記述すると、座標値の少数
部分をαとβ(0≦α, β<1)として、参照画像の内
挿点(x+α, y+β)における輝度値R(x+α, y+β)は
ク毎にを行う動き補償方法を局所的な動きを検出すると
いう意味から、以後ローカル動き補償と呼ぶことにす
る。
ックマッチングが用いられている。またH.263では、1
6画素×16画素のマクロブロックを8画素×8画素の
4個の小ブロックに分割し、各小ブロック毎にブロック
マッチングを行うことも可能となっている。H.263の詳
細なアルゴリズムは「DRAFT ITU-T Recommendation H.2
63, 1995.12.5」に述べられているが、ここでは時間的
に正方向の既符号化フレームのみを参照画像として動き
補償が行われるPピクチャを対象として、符号化アルゴ
リズムを説明する。
る。マクロブロックは16画素×16画素のY信号ブロ
ック100とそれと空間的に対応する8画素×8画素の
2個の色差信号ブロック5と6で構成される。更にY信
号ブロック100は4個の8画素×8画素ブロック1、
2、3、4から構成されている。 H.263では、予測誤差
信号に離散コサイン変換(DCT)をかけた後、その結
果として生じる変換係数を量子化して符号化を行うが、
このDCTは1〜6の8画素×8画素ブロック単位で行
われる。また、 H.263には3種類の予測タイプがあり、
マクロブロック単位で選択される。具体的な予測タイプ
は以下の通りである。
素に直接DCTを施すINTRAモード。
動き補償を行い、1個の動きベクトルの符号化を伴うIN
TERモード。
8画素×8画素の小ブロックに4分割し、小ブロック毎
に動き補償を行い、4個の動きベクトルの符号化を伴う
INTER4Vモード。
ヤグラムを示している。ここでは、時間的に正の方向で
動きの予測を行うPピクチャを例に取って説明する。ま
ず、入力画像がローカル動き補償処理部31に入力さ
れ、フレームメモリ32から取り出される参照画像との
間で各Y信号マクロブロックのローカル動き補償が行わ
れる。 その結果、各マクロブロックの予測に伴うロー
カル動きベクトルが符号化器38へ出力され、動き補償
画像がINTRA/INTERスイッチ39−1へ出力される。こ
の動き補償処理部31の詳細については、図4において
説明する。次に符号化ブロック、予測方法、量子化方法
等を取り決める制御装置33より送られる制御信号によ
って制御されるINTRA/INTERスイッチ39−1と39−
2に従って、動き補償画像と入力画像から生成される符
号化対象画像が変換器34に入力され、DCTが行われ
る。そこで生成される各マクロブロックの変換係数は、
制御装置33で要求条件(符号化レート、再生画質等)
から選択された量子化パラメータQP(H.263のdescripti
onではQUANTと記述されているが本明細書ではQPと記述
する)に従って、量子化器35により量子化される。こ
のQPは1から31までの正の整数である。変換係数CO
Fは
量子化値、DCは変換係数の直流成分、ACは交流成分
を表す。演算子‘/’は小数点以下切り捨てを表し、演
算子‘//’は小数点以下四捨五入を表す。
に送られる、また逆量子化器36で逆量子化される。量
子化値LEVELのうちINTRAモードの直流分は
は
COFは逆量子化値を表す。算出された逆量子化値は逆
変換器37により逆DCTがかけられる。この逆変換値
は、制御装置33によって制御されているINTRA/INTER
スイッチ39−3の選択結果に従って動き補償画像と合
成された後、フレームメモリ32に入力される。符号化
器38では、制御装置33により決められたマクロブロ
ック毎の符号化ブロックの情報(図2の1〜6のうち、
どのブロックに符号化すべき情報があるかを示す)、予
測タイプ情報、量子化パラメータに加えて、各DCT係数
の量子化値やローカル動きベクトルが入力された上で多
重符号化される。
1の詳細を示した図である。入力画像(現フレーム)は
まず、INTERローカル動き推定装置311とINTER4Vロー
カル動き推定装置312に入力される。この311と3
12では、フレームメモリ32から取り出される参照画
像との間で、INTERモードのローカル動き推定とINTER4V
モードのローカル動き推定(16×16ブロックを図2
の1〜4の小ブロックに分割して、それぞれ動き推定を
行う)が行われる。ここで入力画像がa個のマクロブロ
ック(1≦i≦a)に分割されるものと仮定すると、IN
TERローカル動き推定装置では
の候補ローカル動きベクトルに対して行われ、Ei(u,v)
および4Ei,j(uj,vj|1≦j≦4)を最小とするローカル動き
ベクトルがそれぞれ検出される。この数7および数8で
使用している記号の意味は次の通りである。
フレーム)の原画像のY信号。x、yは整数。
参照画像(Fと時間的に近接しており、既に符号化が完
了しているフレームの復号画像)のY信号。 x、yは整
数。ローカル動きベクトルが実数の内挿方式は数2に従
う。
ックに分割したとき、i番目のブロックのローカル動き
ベクトル(u,v)に対する評価値。
6×16ブロックに分割したとき、i番目のブロックに
おける4個の8×8ブロックのローカル動きベクトル(u
1,v1),(u2,v2),(u3,v3),(u4,v4)に対する評価値。
分割したとき、i番目のブロックに含まれる画素。各画
素は Xi≦x<Xi+16、Yi≦y<Yi+16の範囲に属する
(x、yは整数)。(Xi, Yi)はブロックiの左上端の画
素。
クに分割したとき、j番目のブロックに含まれる画素。
jの値は1〜4の整数であり、図2のY信号ブロックの
1〜4に相当する。各画素は Xi,j≦x<Xi,j+8、Yi,j
≦y<Yi,j+8の範囲に属する(x、yは整数)。(Xi,j,
Yi,j)はブロックi内のj番目の8×8ブロックの左
上端の画素。
索範囲内のローカル動きベクトル。画素精度は半画素。
水平・垂直方向の各成分u、vは0.5刻みの値に制限され
た実数。
ち、j番目の8×8ブロックの動き探索範囲内のローカ
ル動きベクトル。jの値は1〜4の整数であり、図2の
Y信号ブロックの1〜4に相当する。水平・垂直方向の
各成分uj、vjは0.5刻みの値に制限された実数。
評価値Eiの最小値とINTER4Vモードのローカル動き推定
の評価値4Ei,jの最小値が制御装置33に伝達される。
制御装置は、その2値を比較して、Eiの最小値が4Ei,j
の最小値より小さいまたはEiの最小値と4Ei,jの最小値
が同値の場合にはINTERモードをマクロブロックiの動
き予測タイプとして選択し、4Ei,jの最小値がEiの最小
値より小さい場合にはINTER4Vモードをマクロブロック
iの動き予測タイプとして選択する。さらに、入力画像
のアクティビティーと上記の評価値からINTRA/INTERの
判定を行う。
測タイプスイッチを313制御し、選択された予測タイ
プに従ってローカル動きベクトルがローカル動き補償装
置314に出力される。ローカル動き補償装置314で
は、フレームメモリ32より取り出される参照画像を対
象として各マクロブロックのローカル動きベクトルを補
償し、動き予測画像を生成する。そして、動き予測画像
がINTER/INTRAスイッチ39−1に、各マクロブロック
のローカル動きベクトルが符号化器38に出力される。
に、予測誤差信号の絶対値和を動き推定時の基本的な評
価値としている。そして、動きベクトルの符号化情報量
の少ない特定の動きが優先的に検出されるように、その
動きについてのみその基本的な評価値から一定値を引く
という手段を用いている(この場合は、動きベクトルが
水平・垂直方向とも0の場合には258、動きベクトル
が0でない場合には129を引いている)。これは、予
測誤差信号における符号化情報量の多少の増加を許容す
ることにより、動きベクトルの符号化情報量を抑制する
という方法である。このような技術は、動きベクトルの
符号化に要する情報量の割合が全体の符号化情報に対し
て大きい場合には有効である。数7の場合には、0ベク
トルの符号化に要する符号化ビット数がその他の動きベ
クトルの符号化に要する符号化ビット数よりも少ないと
いう点と、INTERモードで符号化される動きベクトルが
1本であるのに対して、INTER4Vでは4本の動きベクト
ルを符号化しなければならないという点に注目してい
る。
(H.261、MPEG1、MPEG2に関しては、例えば、藤原 洋
監修「最新MPEG教科書」(1994.8)などに解説されてい
る)で用いられている動き補償は、すべてローカル動き
補償の技術を用いた予測方法である。このローカル動き
補償に対して、スポーツ放送のようにカメラのパンやズ
ーム操作を伴う画像シーケンスでは、画像全体の総体的
な動きを補償する方法が効果的であることが報告されて
いる(例えば、上倉他、「動画像符号化におけるグロー
バル動き補償法」、電子情報通信学会論文誌、Vol.J76-
B-1、No.12、pp944-952、平5-12参照)。この動き補償
方法はグローバル動き補償方法と呼ばれている。グロー
バルな動きを補償する方法はいくつか存在するが、ここ
では、共1次変換を用いる方法を例として挙げる。この
変換では隣接する画素が異なる動きベクトルを持つこと
が許容されるため、平行移動の他に回転、拡大縮小、変
形等の動きにも対応できる。ここで、グローバル動き補
償によって作成される動き補償画像をグローバル動き補
償予測画像と呼ぶことにし、このグローバル動き補償予
測画像上の画素(x,y)を算出する方法を共1次変換を用
いた例で説明する。
画像との間の時間的な経過により、空間的に(tx(x,y),
ty(x,y))で表される画素位置から移動したものと仮定す
る。この時、現フレームの予測画像であるグローバル動
き補償予測画像上の画素(x,y)の動きベクトルは、(x-tx
(x,y), y-ty(x,y)) で表わされる。共1次変換を用いる
場合、空間的な対応点(tx(x,y), ty(x,y))は、
らグローバル動き補償予測画像を作成するためには、動
き推定パラメータb1からb8を求めなければならない
が、これらのパラメータは4個の画素に対する動きベク
トルから一意に算出できる。また、動き推定パラメータ
の符号化においても、b1からb8を直接符号化、伝送
するのではなく、その算出に利用された4個の動きベク
トルを符号化、伝送すれば、グローバル動き補償予測画
像の再生は可能である。なお、グローバル動き補償によ
り発生する動き推定パラメータをグローバル動き推定パ
ラメータと定義する。
号化側での取り決めが成されていれば、その画素位置に
規定される必要はない。但し、グローバル動き補償予測
画像の端に存在する画素の動きベクトルが探索の範囲を
超えてしまう場合には、グローバル動き補償予測画像を
復号側で完全に再生することができない。そこで、一般
的には、画像の4隅の画素に対する動きベクトルを伝送
することが多い。
ている。501は現フレームの原画像、502はその参
照画像を示している。503は原画像全体を1つの領域
(パッチ)と見た場合のパッチを示しており、504、
505、506、507がその格子点の配置を示してい
る。ここで、パッチ503を用いて、501から502
への動き・変形分を補償すると、参照画像502は50
8のように変形する。また、この動き補償により格子点
504、505、506、507はそれぞれ509、5
10、511、512に移動し、各格子点はその動き量
に伴う動きベクトルをそれぞれ保持することになる。従
って、この4個の動きベクトルを復号化側に伝送すれ
ば、数9を用いて符号化側と復号化側で共通のグローバ
ル動き補償予測画像が作成できる。なお、このグローバ
ル動き補償予測画像の作成方法には、「特願平 8−6
0572」に参照されるような、高速アルゴリズムも存
在する。
一的に同じ動きをしている場合には有効的であるが、画
像内に異なる動きをする領域が存在する場合には、その
うちの1パターンの動きにしか対応できない。そこで、
原画像とグローバル動き補償予測画像との間に存在する
空間的な動き量を補償するため、グローバル動き補償予
測画像を参照画像としてローカル動き補償を行う方法も
用いられている。更に、静止領域や従来の単純な平行移
動にも対応するため、グローバル動き補償を行っていな
い画像とグローバル動き補償を行った画像に対してそれ
ぞれローカル動き補償を行い、ブロック単位で適応化す
る方法もある。
ない動きベクトルが検出されやすくなるように、動き推
定に用いる基本評価値から特定の動きベクトルの場合の
み一定量を引いて評価を行う場合、その値が常に一定で
は、動きベクトルの符号化情報量の削減に伴う予測特性
の劣化の影響が考慮できない。
の量子化ステップ幅を決める量子化パラメータによっ
て、量子化ステップ幅が小さいほど評価値より引く差分
値が小さくなるように設定することで、予測特性の劣化
を防ぐ。
したような動き推定の評価値の制御方法は、動きベクト
ルの符号化情報量の割合が全体の符号化情報量に対して
大きい場合には有効に機能する。しかし、この動き推定
の基本評価値から一定量を差し引くという動きベクトル
の情報量の削減技術は動き補償の性能劣化も伴ってい
る。そのため、動きベクトルの符号化情報量の割合が予
測誤差信号の符号化情報量に対して小さい場合にこの方
法を用いると、動きベクトルの符号化情報の削減量よ
り、予測誤差信号の符号化情報の増加量の方が多くなる
こともあり、結果的に符号化効率が劣化する場合も考え
られる。そこで、本発明ではDCT係数を量子化する際の
量子化パラメータQP(QPについては「従来の技術」の項
目にH.263の例を記載)が予測誤差信号の符号化情報量
に関与しているという事実(QPが小さければ、量子化ス
テップ幅が小さくなるため符号量は増大する)に着目し
た。数3で示されている通りH.263のQPは値が小さいほ
ど量子化ステップ幅が小さくなる仕組みとなっている。
従って、QPが大きいほどDCT係数の符号化に要する情
報量が少なくなることは明らかである。これに伴い、QP
が大きくなるほど全符号量に対する動きベクトルの符号
化情報量が増加することも明らかである。本発明では、
数7のような動き推定時の0ベクトルやINTER4Vモード
に対するINTERモードの評価値等への差分値を、QPが小
さいときには小さく、QPが大きいときには大きくするこ
とでDCT係数の符号化情報量の変動に対応する。
する場合の符号化ブロックダイヤグラムを示している。
この図がH.263の基本ダイヤグラム図3と異なるのはロ
ーカル動き補償処理部61と制御装置63のみである。
これは、即ち制御装置63により決定される量子化パラ
メータをローカル動き補償処理部61が必要とするかど
うかの違いだけである。つまり、本発明を実現させるた
めの装置上の付加およびアルゴリズム上の付加は非常に
少ない。61と63以外の図6の説明は図3の説明と重
なるためここでは割愛する。
成を図7で説明する。この図7は「従来の技術」では図
4に相当する。図7が図4と異なるのはINTERローカル
動き推定装置611が量子化パラメータによる制御を必
要としている点のみである。
(1≦i≦a)に分割されると仮定すると、INTERロー
カル動き推定装置611では
の候補ローカル動きベクトルに対して行われ、Ei(u,v)
を最小とするローカル動きベクトルが検出される。数1
0で使用している記号の意味はn、m以外は数7と同じ
である。nはローカル動きベクトルが水平・垂直方向と
も0である場合に、ブロック内の予測誤差信号の絶対値
和から引く差分値であり、mは水平・垂直方向のローカ
ル動きベクトルのうち少なくとも一方が0でない場合に
ブロック内の予測誤差信号の絶対値和から引く差分値で
ある。この2値は量子化パラメータQPにより制御される
が、通常全てのQPに対してmはnより大きく設定しては
ならない。もし、mがnより大きい場合には、動きベク
トルの符号化情報量の多い動きベクトルが優先的に検出
されてしまうため、動きベクトルの符号化情報量が増加
し、かつDCT係数の符号化情報量も増大することにな
る。同様な理由からmは全てのQPに対して0以上の値で
なければならない。この2点さえ注意すれば、nとmの
制御方法はいろいろと考えられる。ここでは簡単のため
mは129固定(数7と同様)とし、nを効果的に制御
する方法を
=201、QP=20でn=258、QP=31でn=29
1となる。つまり、n固定の場合と比較すると、QPが2
0より大きい場合には、更に0ベクトルが選ばれやすく
なっており、QPが20より小さい場合には、0ベクトル
が選ばれにくくなっている。これは、QPが小さい場合に
は細かな量子化が行われるため、動きベクトル情報量の
削減効果はDCT係数の符号化情報の増加分に相殺され
るという傾向に合致している。またQPが大きい場合には
量子化が大ざっぱにしか行われないため、多少の誤差信
号の増加によるDCT係数の符号化情報の増加は量子化
により許容され 、動きベクトル情報量の削減効果が期
待できる。
処理過程は図4と同様である。つまり、INTERモードの
ローカル動き推定の評価値Eiの最小値とINTER4Vモード
のローカル動き推定の評価値4Ei,jの最小値がまず制御
装置63に伝達される。制御装置63では、この2値を
比較して、Eiの最小値が4Ei,jの最小値より小さいまた
はEiの最小値と4Ei,jの最小値が同値の場合にはINTERモ
ードをマクロブロックiの動き予測タイプとして選択
し、4Ei,jの最小値がEiの最小値より小さい場合にはINT
ER4Vモードをマクロブロックiの動き予測タイプとして
選択する。さらに、入力画像のアクティビティーと上記
の評価値からINTRA/INTERの判定を行う。その評価結果
を受けて、制御装置63は予測タイプスイッチを313
制御し、選択された予測タイプ従ってローカル動きベク
トルがローカル動き補償装置314に出力される。ロー
カル動き補償装置314では、フレームメモリ32より
取り出される参照画像に各マクロブロックのローカル動
きベクトルを補償して、動き予測画像を生成する。そし
て、動き予測画像がINTRA/INTERスイッチ39−1に、
各マクロブロックのローカル動きベクトルが符号化器3
8に出力される。
補償を組み入れた場合の例について説明する。図8はそ
の符号化ダイヤグラムである。ここでは、時間的に正の
方向で動きの予測を行うPピクチャを例に取って説明す
る。まず、入力画像がローカル動き補償処理部61とグ
ローバル動き補償処理部81に入力される。ローカル動
き補償処理部61は図6と同様の動作をするものである
ため、その内容は上記で説明した図7の通りである。こ
こでは説明を割愛する。グローバル動き補償処理部81
はまず入力画像とフレームメモリ32から取り出される
参照画像との間でグローバル動き補償を行い、その結果
生じる画像を参照画像として新たにローカル動き推定お
よび動き補償を行うという仕組みになっている。詳細は
後で説明するが、このローカル動き推定時に本発明によ
る量子化パラメータを用いた評価値の制御を行ってい
る。ローカル動き補償処理部61およびグローバル動き
補償処理部81により生成された予測画像はGMCオンオ
フスイッチ82−1へ、検出されたローカル動きベクト
ルはGMCオンオフスイッチ82−2へそれぞれ出力され
る(GMCはGlobal Motion Compensationすなわちグロー
バル動き補償の略)。この2個のスイッチは制御装置8
3によって制御されている。その制御は、61より制御
装置に伝達されるINTERモードとINTER4Vモードの最小評
価値と、81より制御装置に伝達される最小評価値と、
入力画像より算出されるINTRAモードの評価値を比較し
て、最小のものを選択するという方法によって行われ
る。つまり、81より伝達された最小評価値が選択され
た場合にはグローバル動き補償オン、その他の場合には
オフとなる。その選択結果はGMC on/off情報として、制
御装置83から符号化器88へ出力される。この評価結
果を受けて、制御装置83はスイッチ82−1、82−
2を制御し、スイッチ82−1からは合成予測画像がIN
TRA/INTERスイッチ39−1に出力され、スイッチ82
−2からは各マクロブロックのローカル動きベクトルが
符号化器88に出力される。また、グローバル動き補償
処理部81からグローバル動きベクトルが88に出力さ
れる。その他のDCT、量子化の方法については図3お
よび図6と同様であるためここでは割愛する。
81の詳細を示した図である。入力画像(現フレーム)
はまず、グローバル動き推定装置811に入力され、フ
レームメモリ32から取り出される参照画像との間でグ
ローバル動き推定が行われる。具体的には図5に示した
4個のグローバル動きベクトルGMV1,GMV2,GMV3,GMV4が
推定され、符号化器88に出力される。その方法は数多
く存在するが、例えば、ブロック単位のローカル動きベ
クトルからグローバルな動きに相当するものを予測した
後、その最適値を算出するという手段がある。4個の動
きベクトルが推定できれば、数9のb1〜b8は一意に
算出できるため、数9を用いてグローバル動き補償装置
812により、グローバル動き補償画像が生成できる。
次にINTERローカル動き推定装置813では、このグロ
ーバル動き補償画像と入力画像との間でINTERモードの
ローカル動き推定が行われる。ここで入力画像がa個の
マクロブロック(1≦i≦a)に分割されているものと
仮定すると、INTERローカル動き推定装置813では
の候補ローカル動きベクトルに対して行われ、GEi(u,v)
を最小とするローカル動きベクトルが検出される。この
数12で使用している記号の意味は次の通りである。
フレーム)の原画像のY信号。x、yは整数。
号。 x、yは整数。ローカル動きベクトルが実数の内挿
方式は数2に従う。
ックに分割したとき、i番目のブロックのローカル動き
ベクトル(u,v)に対する評価値。
分割したとき、i番目のブロックに含まれる画素。各画
素は Xi≦x<Xi+16、Yi≦y<Yi+16の範囲に属する
(x、yは整数)。(Xi, Yi)はブロックiの左上端の画
素。
探索範囲内のローカル動きベクトル。画素精度は半画
素。水平・垂直方向の各成分u、vは0.5刻みの値に制限
された実数。
向とも0である場合にブロック内の予測誤差信号の絶対
値和から引く差分値であり、hは水平・垂直方向ローカ
ル動きベクトルのうち少なくとも一方が0でない場合に
ブロック内の予測誤差信号の絶対値和から引く差分値で
ある。この2値は量子化パラメータQPにより制御される
が、数10のn、mと同様に、通常全てのQPに対してh
はkより大きく設定してはならない。一般的には
行う。ここで検出された動きベクトルはGMCオンオフス
イッチ82−2に出力され、また最小評価値は制御装置
83に出力される。また、ローカル動き補償画像はGMC
オンオフスイッチ82−1に出力される。
動きベクトルは全体的に小さい値、特に0ベクトルを多
く持つという特徴がある。そのため、グローバル動き補
償画像に対するローカル動き推定はローカル動きベクト
ルが水平・垂直方向とも0である場合のみ行う方法が考
えられる。図1にその符号化ダイヤグラムを示す。図8
との変更点はグローバル動き補償処理部11(図8では
81)からGMCオンオフスイッチ82−2へのローカル
動きベクトルの出力がないという点である。従って82
−2でグローバル動き補償をオンとする場合にはそのマ
クロブロックのローカル動きベクトルは符号化されな
い。図10はグローバル動き補償処理部11の内部構成
を示したものである。図9と同様にグローバル動き推定
装置811とグローバル動き補償装置812によりグロ
ーバル動きベクトルの検出およびグローバル動き補償画
像の生成が行われ、それぞれ符号化器18、GMCオンオ
フスイッチ82−1に出力される。次に、量子化バラメ
ータQPの制御の基にグローバル動き補償評価装置113
により、0ベクトルに対する評価値が数12により算出
される。その情報は制御装置83に伝達される。この数
12におけるkは数11で設定されるnよりも大きく設
定しておくと有効的である。これは、GMCオンオフスイ
ッチでグローバル動き補償がオンとなるときには、ロー
カル動きベクトルを符号化する必要がないことから明ら
かである。ここでは、kをn、hに対して効果的に制御
する方法を
=216、QP=15でk=258、QP=31でk=3
06となる。つまり、k固定の場合と比較すると、QP
が15より大きい場合には、更に0ベクトルが選ばれや
すくなっており、QPが15より小さい場合には、0ベク
トルが選ばれにくくなっている。また、kは全てのQPに
対してnよりも大きくなっており、グローバル動き補償
がオンである時の0動きベクトルはグローバル動き補償
がオフの時の0動きベクトルよりも選ばれやすくなって
いる。これにより、QPが大きい場合には、ローカル動き
ベクトルの情報量が効果的に削減され、QPが小さい場合
には、特定動きベクトルを優先する制御に伴うDCT係
数量子化値の符号化情報量の増大も抑制される。
って説明してきたが、本発明は動き補償とその結果とし
て生成される予測誤差信号に直交変換係数を行った後、
その係数を量子化するという技術を用いる場合には全て
適用できる。従って、本発明の量子化パラメータQPには
H. 263のQUANTばかりでなく、 H.261、MPQG1、MPEG
2(H.261、MPEG1、MPEG2に関しては、例えば、藤原 洋
監修「最新MPEG教科書」(1994.8)などに解説されてい
る)で用いられているMQUANTも当然含まれる。また、異
なる量子化ステップ幅のパターンを2個以上持つ符号化
方式であれば、パターンそのものや特定量子化ステップ
幅を量子化パラメータQPとして利用することも可能であ
る。更に、INTER4Vのように1個のマクロブロックに2
個以上の動きベクトルが必要となるモードがない符号化
方式やMPEG1やMPEG2などの標準動画像符号化方式にお
いて用いられている2つの方向(正方向と逆方向)から
予測した画像を平均化する操作を行う両方向予測を含む
符号化方式等、様々な動き予測方式を含む動画像符号化
方式にも適用できる。例えば、両方向予測に適用する場
合には、正方向と逆方向のそれぞれの動き補償において
本発明を用いることも可能である。
価関数からの差分値をQPの値によって2個以上設けるこ
とが主眼であるため、そのQPの制御方法は本発明では規
定しない。従って、制御の方法としては、数11、数1
2、数13のようにQPを関数変数のように扱う方法のほ
かに、QPを数個に場合分けする方法等も考えられる。例
えば、基本評価関数からの差分値をQPが1〜5では16
1とし、6〜10では193とし、11〜20では25
7とし、21〜25では321とし、26〜31では3
87とするような場合も本発明に含まれる。数11のm
と数12のhは上記では固定値(129)としていた
が、これらをQPで制御する方法も本発明に含まれる。こ
の場合も、全てのQPに対してm、hは0より大きく、か
つmはnより大きくはならず、hはkより大きくはなら
ないことが前提となる。そして、2個の差分値を比較し
たとき、QPが小さい時の差分値が大きい時の差分値より
も大きくならないように設定する。このようにmまたは
hを制御すると、QPが大きい場合にはINTER4Vモードで
必要になる4個の動きベクトルをINTERの1個に減らす
効果があり、QPが小さい場合には動きベクトルを1個に
限定することによる予測誤差電力の増大が削減できる。
について述べてきたが、長方形ブロックや任意形状ブロ
ックを含むフレームにおいても、本発明は実現可能であ
る。従ってその場合も本発明に含まれる。
ベクトルの符号化情報量を全体の符号化情報を考慮に入
れて制御することができる。
化ブロックダイヤグラムの例を示した図である。
グラムを示した図である。
グラムにおけるローカル動き補償処理部の詳細を示した
図である。
る。
の符号化ブロックダイヤグラムの例を示した図である。
の符号化ブロックダイヤグラムの例におけるローカル動
き補償処理部の詳細を示した図である。
ーバル動き補償画像へのローカル動き補償を含む符号化
ブロックダイヤグラムの例を示した図である。
ーバル動き補償画像へのローカル動き補償を含む符号化
ブロックダイヤグラムの例におけるグローバル動き補償
処理部の詳細を示した図である。
号化ブロックダイヤグラムの例におけるグローバル動き
補償処理部の詳細を示した図である。
ローカル動き補償処理部、32…フレームメモリ、3
3、63、83…制御装置、82−1、82−2…GMC
オンオフスイッチ、113…グローバル動き補償評価装
置、311、611…INTERローカル動き推定装置、3
12…INTER4Vローカル動き推定装置、313…INTER/I
NTER4Vスイッチ、314…ローカル動き補償装置、50
4〜507…現フレームの原画像の格子点、509〜5
12…グローバル動き推定後の格子点、313…INTER/
INTER4Vスイッチ、314…ローカル動き補償装置、8
11…グローバル動き推定装置、812…グローバル動
き補償装置。
Claims (10)
- 【請求項1】画像をa個(aは正の整数)の任意形状ブ
ロックに分割して行う動き補償と、その結果発生するブ
ロック内の予測誤差信号に直交変換を施した後の変換係
数を、値が小さいほど量子化ステップ幅の平均値が小さ
くなるように設定されている量子化パラメータQP(QPは
正の整数)を用いて量子化する手順を含む動画像符号化
方法において、 水平・垂直方向の動きベクトルが共に0となるときには
ブロック内の予測誤差信号の絶対値和あるいは自乗和か
らn(nは整数)を引いた値を評価値とし、水平・垂直
方向の動きベクトルのうち少なくとも一方が0でないと
きにはブロック内の予測誤差信号の絶対値和あるいは自
乗和を評価値とし、予測に用いる全ての動き補償方法に
ついて探索の対象となっている全ての候補動きベクトル
に対する評価値を比較して、その値が最小となるときの
動きベクトルを当該ブロックの動きベクトルとする場
合、 上記nの値がQPの値によってr個(rは2以上の正の整
数)に場合分けされており、2つの異なるQPに対するn
の値を比較した際に、QPの小さい方のnの値がQPの大き
い方のnの値より大きくなることがないことを特徴とす
る動き補償方法。 - 【請求項2】画像をa個(aは正の整数)の任意形状ブ
ロックに分割し、ブロックに1本の動きベクトルを設け
る動き補償と、ブロックを2個以上の小ブロック分割
し、その小ブロック毎に動きベクトルを設ける動き補償
と、上記2種類を含む予測に用いる全ての動き補償方法
の中からブロック毎に1個を選択する手段と、 その結果発生するブロック内の予測誤差信号に直交変換
を施した後の変換係数を、値が小さいほど量子化ステッ
プ幅の平均値が小さくなるように設定されている量子化
パラメータQP(QPは正の整数)を用いて量子化する手順
を含む動画像符号化方法において、 ブロックの動きベクトルが1本であり、水平・垂直方向
の動きベクトルが共に0となるときにはブロック内の予
測誤差信号の絶対値和あるいは自乗和からn(nは整
数)を引いた値を評価値とし、ブロックの動きベクトル
が1本であり、水平・垂直方向の動きベクトルのうち少
なくとも一方が0でないときにはブロック内の予測誤差
信号の絶対値和あるいは自乗和からm(mは整数)を引
いた値を評価値とし、ブロックの動きベクトルが2本以
上であるときにはブロック内の予測誤差信号の絶対値和
あるいは自乗和を評価値とし、 予測に用いる全ての動き補償方法について探索の対象と
なっている全ての候補動きベクトルに対する評価値を比
較して、その値が最小となるときの動きベクトルを当該
ブロックの動きベクトルとする場合、 上記nの値がQPの値によってr個(rは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するn
の値を比較した際に、QPの小さい方のnの値がQPの大き
い方のnの値より大きくなることはなく、 上記mの値がQPの値によってs個(sは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するm
の値を比較した際に、QPの小さい方のmの値がQPの大き
い方のmの値より大きくなることはなく、 上記rとsのうちいずれか一方は2以上の値であること
を特徴とする動き補償方法。 - 【請求項3】画像をa個(aは正の整数)の任意形状ブ
ロックに分割し、参照画像を画像全体の動きを補償する
グローバル動き補償を行った画像として行う動き補償
と、参照画像をグローバル動き補償を行っていない画像
として行う動き補償と、上記2種類を含む予測に用いる
全ての動き補償方法の中からブロック毎に1個を選択す
る手段と、 その結果発生するブロック内の予測誤差信号に直交変換
を施した後の変換係数を、値が小さいほど量子化ステッ
プ幅の平均値が小さくなるように設定されている量子化
パラメータQP(QPは正の整数)を用いて量子化する手順
を含む動画像符号化方法において、 グローバル動き補償を行った画像が参照画像であり、水
平・垂直方向の動きベクトルが共に0となるときにはブ
ロック内の予測誤差信号の絶対値和あるいは自乗和から
k(kは整数)を引いた値を評価値とし、 グローバル動き補償を行っていない画像が参照画像であ
り、水平・垂直方向の動きベクトルが共に0となるとき
にはブロック内の予測誤差信号の絶対値和あるいは自乗
和からn(nは整数)を引いた値を評価値とし、 グローバル動き補償を行っていない画像が参照画像であ
り、水平・垂直方向の動きベクトルのうち少なくとも一
方が0でないときにはブロック内の予測誤差信号の絶対
値和あるいは自乗和を評価値とし、 予測に用いる全ての動き補償方法について探索の対象と
なっている全ての候補動きベクトルに対する評価値を比
較して、その値が最小となるときの動きベクトルおよび
参照画像を当該ブロックの動きベクトルおよび参照画像
とする場合、 上記nの値がQPの値によってr個(rは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するn
の値を比較した際に、QPの小さい方のnの値がQPの大き
い方のnの値より大きくなることはなく、 上記kの値がQPの値によってt個(tは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するk
の値を比較した際に、QPの小さい方のkの値がQPの大き
い方のkの値より大きくなることはなく、 上記rとtのうちいずれか一方は2以上の正の整数値で
あることを特徴とする動き補償方法。 - 【請求項4】画像をa個(aは正の整数)の任意形状ブ
ロックに分割し、参照画像を画像全体の動きを補償する
グローバル動き補償を行った画像として行う動き補償
と、参照画像をグローバル動き補償を行っていない画像
として行う動き補償と、上記2種類を含む予測に用いる
全ての動き補償方法の中からブロック毎に1個を選択す
る手段と、 その結果発生するブロック内の予測誤差信号に直交変換
を施した後の変換係数を、値が小さいほど量子化ステッ
プ幅の平均値が小さくなるように設定されている量子化
パラメータQP(QPは正の整数)を用いて量子化する手順
を含む動画像符号化方法において、 グローバル動き補償を行った画像が参照画像であり、水
平・垂直方向の動きベクトルが共に0となるときにはブ
ロック内の予測誤差信号の絶対値和あるいは自乗和から
k(kは整数)を引いた値を評価値とし、 グローバル動き補償を行った画像が参照画像であり、水
平・垂直方向の動きベクトルのうち少なくとも一方が0
でないときにはブロック内の予測誤差信号の絶対値和あ
るいは自乗和からh(hは整数)を引いた値を評価値と
し、 グローバル動き補償を行っていない画像が参照画像であ
り、水平・垂直方向の動きベクトルが共に0となるとき
にはブロック内の予測誤差信号の絶対値和あるいは自乗
和からn(nは整数)を引いた値を評価値とし、 グローバル動き補償を行っていない画像が参照画像であ
り、水平・垂直方向の動きベクトルのうち少なくとも一
方が0でないときにはブロック内の予測誤差信号の絶対
値和あるいは自乗和を評価値とし、 予測に用いる全ての動き補償方法について探索の対象と
なっている全ての候補動きベクトルに対する評価値を比
較して、その値が最小となるときの動きベクトルおよび
参照画像を当該ブロックの動きベクトルおよび参照画像
とする場合、 上記nの値がQPの値によってr個(rは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するn
の値を比較した際に、QPの小さい方のnの値がQPの大き
い方のnの値より大きくなることはなく、 上記hの値がQPの値によってu個(uは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するh
の値を比較した際に、QPの小さい方のhの値がQPの大き
い方のhの値より大きくなることはなく、 上記kの値がQPの値によってt個(tは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するk
の値を比較した際に、QPの小さい方のkの値がQPの大き
い方のkの値より大きくなることはなく、 上記r、u、tのうちいずれか1つは2以上の正の整数
であることを特徴とする動き補償方法。 - 【請求項5】画像をa個(aは正の整数)の任意形状ブ
ロックに分割し、参照画像を画像全体の動きを補償する
グローバル動き補償を行った画像として行う動き補償
と、参照画像をグローバル動き補償を行っていない画像
とし、ブロックに1本の動きベクトルを設ける動き補償
と、参照画像をグローバル動き補償を行っていない画像
とし、ブロックを2個以上の小ブロック分割し、その小
ブロック毎に動きベクトルを設ける動き補償と、上記3
種類を含む予測に用いる全ての動き補償方法の中からブ
ロック毎に1個を選択する手段と、 その結果発生するブロック内の予測誤差信号に直交変換
を施した後の変換係数を、値が小さいほど量子化ステッ
プ幅の平均値が小さくなるように設定されている量子化
パラメータQP(QPは正の整数)を用いて量子化する手順
を含む動画像符号化方法において、 グローバル動き補償を行った画像が参照画像であり、水
平・垂直方向の動きベクトルが共に0となるときにはブ
ロック内の予測誤差信号の絶対値和あるいは自乗和から
k(kは整数)を引いた値とし、 グローバル動き補償を行っていない画像が参照画像であ
り、ブロックの動きベクトルが1本であり、水平・垂直
方向の動きベクトルが共に0となるときにはブロック内
の予測誤差信号の絶対値和あるいは自乗和からn(nは
整数)を引いた値とし、 グローバル動き補償を行っていない画像が参照画像であ
り、ブロックの動きベクトルが1本であり、水平・垂直
方向の動きベクトルのうち少なくとも一方が0でないと
きにはブロック内の予測誤差信号の絶対値和あるいは自
乗和からm(mは整数)を引いた値とし、 グローバル動き補償を行っていない画像が参照画像であ
り、ブロックの動きベクトルが2本以上であるときには
ブロック内の予測誤差信号の絶対値和あるいは自乗和を
評価値とし、 予測に用いる全ての動き補償方法について探索の対象と
なっている全ての候補動きベクトルに対する評価値を比
較して、その値が最小となるときの動きベクトルおよび
参照画像を当該ブロックの動きベクトルおよび参照画像
とする場合、 上記nの値がQPの値によってr個(rは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するn
の値を比較した際に、QPの小さい方のnの値がQPの大き
い方のnの値より大きくなることはなく、 上記mの値がQPの値によってs個(sは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するm
の値を比較した際に、QPの小さい方のmの値がQPの大き
い方のmの値より大きくなることはなく、 上記kの値がQPの値によってt個(tは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するk
の値を比較した際に、QPの小さい方のkの値がQPの大き
い方のkの値より大きくなることはなく、 上記r、s、tのうちいずれか1つは2以上の正の整数
であることを特徴とする動き補償方法。 - 【請求項6】画像をa個(aは正の整数)の任意形状ブ
ロックに分割し、参照画像を画像全体の動きを補償する
グローバル動き補償を行った画像として行う動き補償
と、参照画像をグローバル動き補償を行っていない画像
とし、ブロックに1本の動きベクトルを設ける動き補償
と、参照画像をグローバル動き補償を行っていない画像
とし、ブロックを2個以上の小ブロック分割し、その小
ブロック毎に動きベクトルを設ける動き補償と、上記3
種類を含む予測に用いる全ての動き補償方法の中からブ
ロック毎に1個を選択する手段と、 その結果発生するブロック内の予測誤差信号に直交変換
を施した後の変換係数を、値が小さいほど量子化ステッ
プ幅の平均値が小さくなるように設定されている量子化
パラメータQP(QPは正の整数)を用いて量子化する手順
を含む動画像符号化方法において、 グローバル動き補償を行った画像が参照画像であり、水
平・垂直方向の動きベクトルが共に0となるときにはブ
ロック内の予測誤差信号の絶対値和あるいは自乗和から
k(kは整数)を引いた値とし、 グローバル動き補償を行った画像が参照画像であり、水
平・垂直方向の動きベクトルうち少なくとも一方は0で
ないときにはブロック内の予測誤差信号の絶対値和ある
いは自乗和からh(hは整数)を引いた値とし、 グローバル動き補償を行っていない画像が参照画像であ
り、ブロックの動きベクトルが1本であり、水平・垂直
方向の動きベクトルが共に0となるときにはブロック内
の予測誤差信号の絶対値和あるいは自乗和からn(nは
整数)を引いた値とし、 グローバル動き補償を行っていない画像が参照画像であ
り、ブロックの動きベクトルが1本であり、水平・垂直
方向の動きベクトルのうち少なくとも一方は0でないと
きにはブロック内の予測誤差信号の絶対値和あるいは自
乗和からm(mは整数)を引いた値とし、 グローバル動き補償を行っていない画像が参照画像であ
り、ブロックの動きベクトルが2本以上であるときには
ブロック内の予測誤差信号の絶対値和あるいは自乗和を
評価値とし、 予測に用いる全ての動き補償方法について探索の対象と
なっている全ての候補動きベクトルに対する評価値を比
較して、その値が最小となるときの動きベクトルおよび
参照画像を当該ブロックの動きベクトルおよび参照画像
とする場合、 上記nの値がQPの値によってr個(rは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するn
の値を比較した際に、QPの小さい方のnの値がQPの大き
い方のnの値より大きくなることはなく、 上記mの値がQPの値によってs個(sは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するm
の値を比較した際に、QPの小さい方のmの値がQPの大き
い方のmの値より大きくなることはなく、 上記kの値がQPの値によってt個(tは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するk
の値を比較した際に、QPの小さい方のkの値がQPの大き
い方のkの値より大きくなることはなく、 上記hの値がQPの値によってu個(uは1以上の正の整
数)に場合分けされており、2つの異なるQPに対するh
の値を比較した際に、QPの小さい方のhの値がQPの大き
い方のhの値より大きくなることはなく、 上記r、s、t、uのうちいずれか1つは2以上の正の
整数であることを特徴とする動き補償方法。 - 【請求項7】請求項1乃至6に記載の動き補償方法にお
いて、rの値を5以上とすることを特徴とする動き補償
方法。 - 【請求項8】請求項1乃至6に記載の動き補償方法にお
いて、rの値を3以上とすることを特徴とする動き補償
方法。 - 【請求項9】請求項1乃至8に記載の動き補償方法を含
む動画像符号化方法。 - 【請求項10】請求項1乃至8に記載の動き補償方法を
含む動画像符号化方法を用いた動画像符号化装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28793296A JP3774954B2 (ja) | 1996-10-30 | 1996-10-30 | 動画像の符号化方法 |
| US08/961,156 US6256343B1 (en) | 1996-10-30 | 1997-10-30 | Method and apparatus for image coding |
| US09/897,091 US6563872B2 (en) | 1996-10-30 | 2001-07-03 | Method and apparatus for image coding |
| US10/410,251 US6937656B2 (en) | 1996-10-30 | 2003-04-10 | Method and apparatus for image coding |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28793296A JP3774954B2 (ja) | 1996-10-30 | 1996-10-30 | 動画像の符号化方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005207958A Division JP4042772B2 (ja) | 2005-07-19 | 2005-07-19 | 動画像の動き補償方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10136375A true JPH10136375A (ja) | 1998-05-22 |
| JP3774954B2 JP3774954B2 (ja) | 2006-05-17 |
Family
ID=17723604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28793296A Expired - Lifetime JP3774954B2 (ja) | 1996-10-30 | 1996-10-30 | 動画像の符号化方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (3) | US6256343B1 (ja) |
| JP (1) | JP3774954B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002247586A (ja) * | 2001-02-15 | 2002-08-30 | Sony Corp | 画像情報変換装置及び画像情報変換方法 |
| JP2002532026A (ja) * | 1998-11-30 | 2002-09-24 | マイクロソフト コーポレイション | 動き推定とブロックマッチング・パターンの改良 |
| WO2003019950A1 (en) * | 2001-08-23 | 2003-03-06 | Sharp Kabushiki Kaisha | Method and apparatus for motion vector coding with global motion parameters |
| JP2007028574A (ja) * | 2005-07-20 | 2007-02-01 | Renei Kagi Kofun Yugenkoshi | 動き予測のための方法および装置 |
| US7711050B2 (en) | 2000-02-22 | 2010-05-04 | Sony Corporation | Apparatus and method for converting signals |
| JP2011239394A (ja) * | 2010-05-07 | 2011-11-24 | Thomson Licensing | ピクチャ・シーケンスを符号化する方法、それに対応する再構築方法、および当該シーケンスを表す符号化データのストリーム |
| US8155195B2 (en) | 2006-04-07 | 2012-04-10 | Microsoft Corporation | Switching distortion metrics during motion estimation |
| US8494052B2 (en) | 2006-04-07 | 2013-07-23 | Microsoft Corporation | Dynamic selection of motion estimation search ranges and extended motion vector ranges |
| JP2016208541A (ja) * | 2013-03-26 | 2016-12-08 | ドルビー ラボラトリーズ ライセンシング コーポレイション | マルチレイヤvdr符号化における知覚量子化ビデオコンテンツのデコーディング |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1037471B1 (en) * | 1998-10-05 | 2012-02-08 | Sony Corporation | Image transform device and method and recording medium |
| EP1119975B1 (en) * | 1998-10-13 | 2003-04-23 | STMicroelectronics Asia Pacific Pte Ltd. | Motion vector detection with local motion estimator |
| JP3753578B2 (ja) * | 1999-12-07 | 2006-03-08 | Necエレクトロニクス株式会社 | 動きベクトル探索装置および方法 |
| JP2001251632A (ja) * | 1999-12-27 | 2001-09-14 | Toshiba Corp | 動きベクトル検出方法および装置並びに動きベクトル検出プログラム |
| EP1152621A1 (en) * | 2000-05-05 | 2001-11-07 | STMicroelectronics S.r.l. | Motion estimation process and system. |
| US7663695B2 (en) * | 2000-05-05 | 2010-02-16 | Stmicroelectronics S.R.L. | Method and system for de-interlacing digital images, and computer program product therefor |
| US6711211B1 (en) * | 2000-05-08 | 2004-03-23 | Nokia Mobile Phones Ltd. | Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder |
| US7123655B2 (en) * | 2001-08-09 | 2006-10-17 | Sharp Laboratories Of America, Inc. | Method for reduced bit-depth quantization |
| JP2003143609A (ja) * | 2001-08-21 | 2003-05-16 | Canon Inc | 画像処理装置、画像処理方法、記録媒体及びプログラム |
| JP4769392B2 (ja) * | 2001-09-25 | 2011-09-07 | キヤノン株式会社 | 信号処理装置 |
| US6993078B2 (en) * | 2002-03-28 | 2006-01-31 | International Business Machines Corporation | Macroblock coding technique with biasing towards skip macroblock coding |
| JP2003319391A (ja) * | 2002-04-26 | 2003-11-07 | Sony Corp | 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム |
| US7072399B2 (en) * | 2002-07-17 | 2006-07-04 | Lsi Logic Corporation | Motion estimation method and system for MPEG video streams |
| SG111093A1 (en) * | 2002-11-18 | 2005-05-30 | St Microelectronics Asia | Motion vector selection based on a preferred point |
| JP4617644B2 (ja) * | 2003-07-18 | 2011-01-26 | ソニー株式会社 | 符号化装置及び方法 |
| DE60312981D1 (de) * | 2003-08-26 | 2007-05-16 | St Microelectronics Srl | Verfahren und System zum Aufheben des Zeilensprungverfahrens während der Darstellung von Videobildern |
| US20050105621A1 (en) * | 2003-11-04 | 2005-05-19 | Ju Chi-Cheng | Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof |
| US7602849B2 (en) * | 2003-11-17 | 2009-10-13 | Lsi Corporation | Adaptive reference picture selection based on inter-picture motion measurement |
| US7889792B2 (en) | 2003-12-24 | 2011-02-15 | Apple Inc. | Method and system for video encoding using a variable number of B frames |
| US7986731B2 (en) * | 2004-02-06 | 2011-07-26 | Apple Inc. | H.264/AVC coder incorporating rate and quality controller |
| US7869503B2 (en) * | 2004-02-06 | 2011-01-11 | Apple Inc. | Rate and quality controller for H.264/AVC video coder and scene analyzer therefor |
| US7492820B2 (en) | 2004-02-06 | 2009-02-17 | Apple Inc. | Rate control for video coder employing adaptive linear regression bits modeling |
| US20050238102A1 (en) * | 2004-04-23 | 2005-10-27 | Samsung Electronics Co., Ltd. | Hierarchical motion estimation apparatus and method |
| US7864839B2 (en) * | 2005-04-01 | 2011-01-04 | Broadcom Corporation | Method and system for rate control in a video encoder |
| US20070025442A1 (en) * | 2005-07-28 | 2007-02-01 | Sanyo Electric Co., Ltd. | Coding method for coding moving images |
| US8170102B2 (en) * | 2005-12-19 | 2012-05-01 | Seiko Epson Corporation | Macroblock homogeneity analysis and inter mode prediction |
| JP2008005163A (ja) * | 2006-06-21 | 2008-01-10 | Matsushita Electric Ind Co Ltd | 画像符号化装置および画像符号化方法 |
| KR101365445B1 (ko) * | 2007-01-03 | 2014-02-19 | 삼성전자주식회사 | 전역 및 국부 움직임 보상을 순차적으로 이용하는 움직임보상 방법, 복호화 방법, 장치, 인코더 및 디코더 |
| JP4506875B2 (ja) * | 2008-05-19 | 2010-07-21 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| CN102257817B (zh) * | 2008-12-19 | 2014-10-08 | 汤姆森特许公司 | 基于全局运动补偿的视频编码 |
| KR101200491B1 (ko) * | 2008-12-22 | 2012-11-16 | 한국전자통신연구원 | 사람 검출 장치 및 방법 |
| GB2499843B (en) * | 2012-03-02 | 2014-12-03 | Canon Kk | Methods for encoding and decoding an image, and corresponding devices |
| GB2499844B (en) * | 2012-03-02 | 2014-12-17 | Canon Kk | Methods for encoding and decoding an image, and corresponding devices |
| JP5900024B2 (ja) * | 2012-03-02 | 2016-04-06 | 沖電気工業株式会社 | 動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システム |
| GB2499841B (en) * | 2012-03-02 | 2015-08-26 | Canon Kk | Methods for encoding and decoding an image, and corresponding devices |
| JP6769302B2 (ja) * | 2016-12-28 | 2020-10-14 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム |
| US11995511B2 (en) | 2018-02-08 | 2024-05-28 | Digimarc Corporation | Methods and arrangements for localizing machine-readable indicia |
| US10958807B1 (en) * | 2018-02-08 | 2021-03-23 | Digimarc Corporation | Methods and arrangements for configuring retail scanning systems |
| US10880451B2 (en) | 2018-06-08 | 2020-12-29 | Digimarc Corporation | Aggregating detectability metrics to determine signal robustness |
| US10753736B2 (en) * | 2018-07-26 | 2020-08-25 | Cisco Technology, Inc. | Three-dimensional computer vision based on projected pattern of laser dots and geometric pattern matching |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5235419A (en) * | 1991-10-24 | 1993-08-10 | General Instrument Corporation | Adaptive motion compensation using a plurality of motion compensators |
| SE9201183L (sv) * | 1992-04-13 | 1993-06-28 | Dv Sweden Ab | Saett att adaptivt estimera icke oenskade globala bildinstabiliteter i bildsekvenser i digitala videosignaler |
| KR0152013B1 (ko) | 1992-05-08 | 1998-10-15 | 강진구 | 가변장부호화를 고려한 움직임추정장치 |
| US5592228A (en) * | 1993-03-04 | 1997-01-07 | Kabushiki Kaisha Toshiba | Video encoder using global motion estimation and polygonal patch motion estimation |
| US5473379A (en) * | 1993-11-04 | 1995-12-05 | At&T Corp. | Method and apparatus for improving motion compensation in digital video coding |
| KR0148154B1 (ko) * | 1994-06-15 | 1998-09-15 | 김광호 | 움직임크기에 따른 동영상데이타의 부호화방법 및 장치 |
| JP3889040B2 (ja) * | 1994-09-02 | 2007-03-07 | メディアテック インコーポレイション | 広域−局所ブロック動き推定用の方法及び装置 |
| US5812197A (en) * | 1995-05-08 | 1998-09-22 | Thomson Consumer Electronics, Inc. | System using data correlation for predictive encoding of video image data subject to luminance gradients and motion |
| JP3183155B2 (ja) * | 1996-03-18 | 2001-07-03 | 株式会社日立製作所 | 画像復号化装置、及び、画像復号化方法 |
| US5801778A (en) * | 1996-05-23 | 1998-09-01 | C-Cube Microsystems, Inc. | Video encoding with multi-stage projection motion estimation |
| US6735253B1 (en) * | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
| US6249318B1 (en) * | 1997-09-12 | 2001-06-19 | 8×8, Inc. | Video coding/decoding arrangement and method therefor |
| US6014181A (en) * | 1997-10-13 | 2000-01-11 | Sharp Laboratories Of America, Inc. | Adaptive step-size motion estimation based on statistical sum of absolute differences |
-
1996
- 1996-10-30 JP JP28793296A patent/JP3774954B2/ja not_active Expired - Lifetime
-
1997
- 1997-10-30 US US08/961,156 patent/US6256343B1/en not_active Expired - Lifetime
-
2001
- 2001-07-03 US US09/897,091 patent/US6563872B2/en not_active Expired - Lifetime
-
2003
- 2003-04-10 US US10/410,251 patent/US6937656B2/en not_active Expired - Lifetime
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002532026A (ja) * | 1998-11-30 | 2002-09-24 | マイクロソフト コーポレイション | 動き推定とブロックマッチング・パターンの改良 |
| US7711050B2 (en) | 2000-02-22 | 2010-05-04 | Sony Corporation | Apparatus and method for converting signals |
| JP2002247586A (ja) * | 2001-02-15 | 2002-08-30 | Sony Corp | 画像情報変換装置及び画像情報変換方法 |
| WO2003019950A1 (en) * | 2001-08-23 | 2003-03-06 | Sharp Kabushiki Kaisha | Method and apparatus for motion vector coding with global motion parameters |
| US7050500B2 (en) | 2001-08-23 | 2006-05-23 | Sharp Laboratories Of America, Inc. | Method and apparatus for motion vector coding with global motion parameters |
| JP2007028574A (ja) * | 2005-07-20 | 2007-02-01 | Renei Kagi Kofun Yugenkoshi | 動き予測のための方法および装置 |
| US7949194B2 (en) | 2005-07-20 | 2011-05-24 | Novatek Microelectronics Corp. | Method and apparatus for motion estimation |
| US8155195B2 (en) | 2006-04-07 | 2012-04-10 | Microsoft Corporation | Switching distortion metrics during motion estimation |
| US8494052B2 (en) | 2006-04-07 | 2013-07-23 | Microsoft Corporation | Dynamic selection of motion estimation search ranges and extended motion vector ranges |
| JP2011239394A (ja) * | 2010-05-07 | 2011-11-24 | Thomson Licensing | ピクチャ・シーケンスを符号化する方法、それに対応する再構築方法、および当該シーケンスを表す符号化データのストリーム |
| JP2016208541A (ja) * | 2013-03-26 | 2016-12-08 | ドルビー ラボラトリーズ ライセンシング コーポレイション | マルチレイヤvdr符号化における知覚量子化ビデオコンテンツのデコーディング |
Also Published As
| Publication number | Publication date |
|---|---|
| US6563872B2 (en) | 2003-05-13 |
| US20030202595A1 (en) | 2003-10-30 |
| JP3774954B2 (ja) | 2006-05-17 |
| US20020034251A1 (en) | 2002-03-21 |
| US6256343B1 (en) | 2001-07-03 |
| US6937656B2 (en) | 2005-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3774954B2 (ja) | 動画像の符号化方法 | |
| JP2801559B2 (ja) | 動き大小に適応する動き補償符号化方法及びその装置 | |
| KR0181069B1 (ko) | 움직임 추정장치 | |
| KR100209793B1 (ko) | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 | |
| EP1155573A1 (en) | Transcoding between different dct-based image compression standards | |
| US8325807B2 (en) | Video coding | |
| US7236529B2 (en) | Methods and systems for video transcoding in DCT domain with low complexity | |
| JP2001016594A (ja) | 動画像の動き補償方法 | |
| JP2011091772A (ja) | 画像符号化装置 | |
| KR0154920B1 (ko) | 동영상 부호화 장치에 있어서 움직임 추정기 | |
| Varma et al. | Search range reduction for uni-prediction and bi-prediction in HEVC | |
| JPH07336695A (ja) | 動画像の符号化及び復号化方法 | |
| KR100599935B1 (ko) | 정화소 탐색시의 사드값 및 확률 변수에 기반한 고속의반화소 탐색 방법 | |
| JP4042772B2 (ja) | 動画像の動き補償方法 | |
| JP4760810B2 (ja) | 動画像の動き補償方法 | |
| KR100295327B1 (ko) | 적응적 임계치를 이용한 움직임 추정 장치 | |
| KR100203714B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 | |
| KR100207396B1 (ko) | 영상부호기의 에러 보정방법 | |
| KR0181068B1 (ko) | 움직임 추정장치 | |
| KR100242653B1 (ko) | 프레임내 부호화방법 및 그 장치 | |
| KR100778473B1 (ko) | 비트율 제어 방법 | |
| JPH05308629A (ja) | 動画像符号化方式 | |
| JP2865847B2 (ja) | 動画像符号化方法 | |
| KR100203630B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 | |
| KR0124162B1 (ko) | 예측 부호화 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050719 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060213 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110303 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |