JP3183155B2 - 画像復号化装置、及び、画像復号化方法 - Google Patents
画像復号化装置、及び、画像復号化方法Info
- Publication number
- JP3183155B2 JP3183155B2 JP6057296A JP6057296A JP3183155B2 JP 3183155 B2 JP3183155 B2 JP 3183155B2 JP 6057296 A JP6057296 A JP 6057296A JP 6057296 A JP6057296 A JP 6057296A JP 3183155 B2 JP3183155 B2 JP 3183155B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- pixel
- integer
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
線形内・外挿または共1次内・外挿に基づくグローバル
動き補償を適用する画像符号化および復号化方法に関す
るものである。
に近接するフレーム間の類似性を活用する動き補償は情
報圧縮に大きな効果を示すことが知られている。現在の
画像符号化技術の主流となっている動き補償方式は、動
画像符号化方式の国際標準であるH.261,MPEG
1,MPEG2に採用されているブロックマッチングで
ある。この方式では、符号化しようとする画像を多数の
ブロックに分割し、ブロックごとにその動きベクトルを
求める。
0を示す。H.261は、符号化方式として、ブロック
マッチングとDCT(離散コサイン変換)を組み合わせ
たハイブリッド符号化方式(フレーム間/フレーム内適
応符号化方式)を採用している。減算器102は入力画
像(現フレームの原画像)101とフレーム間/フレー
ム内符号化切り換えスイッチ119の出力画像113
(後述)との差を計算し、誤差画像103を出力する。
この誤差画像は、DCT変換器104でDCT係数に変
換された後に量子化器105で量子化され、量子化DC
T係数106となる。この量子化DCT計数は伝送情報
として通信路に出力されると同時に、符号化器内でもフ
レーム間予測画像を合成するために使用される。以下に
予測画像合成の手順を説明する。上述の量子化DCT係
数106は、逆量子化器108と逆DCT変換器109
を経て復号誤差画像110(受信側で再生される誤差画
像と同じ画像)となる。これに、加算器111において
フレーム間/フレーム内符号化切り換えスイッチ119
の出力画像113(後述)が加えられ、現フレームの復
号画像112(受信側で再生される現フレームの復号画
像と同じ画像)を得る。この画像は一旦フレームメモリ
114に蓄えられ、1フレーム分の時間だけ遅延され
る。したがって、現時点では、フレームメモリ114は
前フレームの復号画像115を出力している。この前フ
レームの復号画像と現フレームの入力画像101がブロ
ックマッチング部116に入力され、ブロックマッチン
グの処理が行われる。ブロックマッチングでは、画像を
複数のブロックに分割し、各ブロックごとに現フレーム
の原画像に最も似た部分を前フレームの復号画像から取
り出すことにより、現フレームの予測画像117が合成
される。このときに、各ブロックが前フレームと現フレ
ームの間でどれだけ移動したかを検出する処理(動き推
定処理)を行う必要がある。動き推定処理によって検出
された各ブロックごとの動きベクトルは、動き情報12
0として受信側へ伝送される。受信側は、この動き情報
と前フレームの復号画像から、独自に送信側で得られる
ものと同じ予測画像を合成することができる。予測画像
117は、「0」信号118と共にフレーム間/フレー
ム内符号化切り換えスイッチ119に入力される。この
スイッチは、両入力のいずれかを選択することにより、
フレーム間符号化とフレーム内符号化を切り換える。予
測画像117が選択された場合(図2はこの場合を表し
ている)には、フレーム間符号化が行われる。一方、
「0」信号が選択された場合には、入力画像がそのまま
DCT符号化されて通信路に出力されるため、フレーム
内符号化が行われることになる。受信側が正しく復号化
画像を得るためには、送信側でフレーム間符号化が行わ
れたかフレーム内符号化が行われたかを知る必要があ
る。このため、識別フラグ121が通信路へ出力され
る。最終的なH.261符号化ビットストリーム123
は多重化器122で量子化DCT係数,動きベクトル,
フレーム内/フレーム間識別フラグの情報を多重化する
ことによって得られる。
ットストリームを受信する復号化器200の構成例を示
す。受信したH.261ビットストリーム217は、分
離器216で量子化DCT係数201,動きベクトル2
02,フレーム内/フレーム間識別フラグ203に分離
される。量子化DCT係数201は逆量子化器204と
逆DCT変換器205を経て復号化された誤差画像20
6となる。この誤差画像は加算器207でフレーム間/
フレーム内符号化切り換えスイッチ214の出力画像2
15を加算され、復号化画像208として出力される。
フレーム間/フレーム内符号化切り換えスイッチはフレ
ーム間/フレーム内符号化識別フラグ203に従って、
出力を切り換える。フレーム間符号化を行う場合に用い
る予測画像212は、予測画像合成部211において合
成される。ここでは、フレームメモリ209に蓄えられ
ている前フレームの復号画像210に対して、受信した
動きベクトル202に従ってブロックごとに位置を移動
させる処理が行われる。一方フレーム内符号化の場合、
フレーム間/フレーム内符号化切り換えスイッチは、
「0」信号213をそのまま出力する。
れている動き補償方式であるが、画像全体が拡大・縮小
・回転している場合には、すべてのブロックに対して動
きベクトルを伝送しなければならず、符号化効率が悪く
なる問題が発生する。この問題に対し、画像全体の動き
ベクトル場を少ないパラメータを用いて表現するグロー
バル動き補償(例えば、M.Hotter, "Differential esti
mation of the globalmotion parameters zoom and pa
n", Signal Processing, vol. 16, no. 3, pp.249-265,
Mar. 1989)が提案されている。これは、画像内の画素
(x,y)の動きベクトル(ug(x,y),vg(x,y))
を、
て動き補償を行う方式である。ここでa0〜a5,b0〜
b7 は動きパラメータである。動き補償を行う際には、
送信側と受信側で同じ予測画像が得られなければならな
い。このために、送信側は受信側へ a0〜a5 または
b0〜b7 の値を直接伝送しても良いが、代わりにいく
つかの代表点の動きベクトルを伝送する方法もある。い
ま、画像の左上端,右上端,左下端,右下端の画素の座
標がそれぞれ(0,0),(r,0),(0,s),(r,s)で
表されるとする(ただし、rとsは正の整数)。このと
き、代表点(0,0),(r,0),(0,s)の動きベクト
ルの水平,垂直成分をそれぞれ(ua,va),(ub,v
b),(uc,vc)とすると、(数1) は
a0〜a5 を伝送する代わりに ua,va,ub,vb,u
c,vc を伝送しても同様の機能が実現できることを意
味する。この様子を図3に示す。現フレームの原画像3
02と参照画像301の間でグローバル動き補償が行わ
れたとして、動きパラメータの代わりに代表点303,
304,305の動きベクトル306,307,308
(このとき、動きベクトルは現フレームの原画像の点を
出発点として、参照画像内の対応する点を終点とするも
のとして定義する)を伝送しても良い。これと同じよう
に、4個の代表点(0,0),(r,0),(0,s),(r,
s)の動きベクトルの水平,垂直成分(ua,va),(u
b,vb),(uc,vc),(ud,vd)を用いて (数2) は、
b0〜b7 を伝送する代わりに ua,va,ub,vb,u
c,vc,ud,vd を伝送しても同様の機能が実現でき
る。本明細書では (数1) を用いる方式を線形内・外挿
に基づくグローバル動き補償,(数2) を用いる方式を
共1次内・外挿に基づくグローバル動き補償とよぶこと
とする。
外挿に基づくグローバル動き補償方式を採用した画像符
号化器の動き補償処理部401の構成例を図4に示す。
図1と同じ番号は同じものを指すとする。図1のブロッ
クマッチング部116をこの動き補償処理部401に入
れ替えることにより、グローバル動き補償を行う画像符
号化装置を構成することができる。グローバル動き補償
部402で前フレームの復号画像115と現フレームの
原画像101との間でグローバル動き補償に関する動き
推定が行われ、上記 ua,va,ub,vb,uc,vc の
値が推定される。これらの値に関する情報403は動き
情報120の一部として伝送される。グローバル動き補
償の予測画像404は数3を用いて合成され、ブロック
マッチング部405に供給される。ここでは、グローバ
ル動き補償の予測画像と現フレームの原画像との間でブ
ロックマッチングによる動き補償が行われ、ブロックの
動きベクトル情報406と最終的な予測画像117が得
られる。この動きベクトル情報は動きパラメータ情報と
多重化部407において多重化され、動き情報120と
して出力される。
成例を図5に示す。図1と同じ番号は同じものを指すと
する。図1のブロックマッチング部116をこの動き補
償処理部501に入れ替えることにより、グローバル動
き補償を行う画像符号化装置を構成することができる。
この例では、グローバル動き補償の予測画像にブロック
マッチングを適用するのではなく、各ブロックに関して
グローバル動き補償かブロックマッチングのいずれかが
適用される。前フレームの復号画像115と現フレーム
の原画像101との間で、グローバル動き補償部502
とブロックマッチング部505でそれぞれグローバル動
き補償とブロックマッチングが並列に行われる。選択ス
イッチ508は、グローバル動き補償による予測画像5
03とブロックマッチングによる予測画像506の間で
ブロックごとに最適な方式を選択する。代表点の動きベ
クトル504,ブロックごとの動きベクトル507,グ
ローバル動き補償/ブロックマッチングの選択情報50
9は多重化部510で多重化され、動き情報120とし
て出力される。
ことにより、画像の大局的な動きを少ないパラメータを
用いて表現することが可能となり、より高い情報圧縮率
が実現できる。しかし、その一方で符号化および復号化
における処理量は従来の方式と比較して増加する。特に
(数3) および (数4) に見られる除算は、処理を複雑
にする大きな要因となってしまう。
ル場を少ないパラメータによって近似するグローバル動
き補償では、予測画像の合成のための処理量が多くなる
問題が発生する。本発明の目的は、グローバル動き補償
における除算の処理を2進数のシフト演算に置き換える
ことにより、演算量を減少させることにある。
う際の代表点の座標をうまく選択することにより、除算
処理をシフト演算で実現できるようにする。
ング間隔を水平,垂直方向共に1とし、画像の左上端,
右上端,左下端,右下端の画素の座標がそれぞれ(0,
0),(r,0),(0,s),(r,s)で表されるとする
(ただし、rとsは正の整数)。
次内・外挿(共1次変換)を用いた動き補償を行う際に
は、画素ごとの動きベクトルに対して量子化を行うと、
ミスマッチの防止や演算の簡略化などの効果を得ること
ができる(特願平06-193970)。以下では、画素の動き
ベクトルの水平成分と垂直成分が1/m(mは正の整
数)の整数倍であるとする。また、「従来の技術」で説
明した代表点の動きベクトルを用いるグローバル動き補
償を行うと仮定し、各代表点の動きベクトルは1/k
(kは正の整数)の整数倍であるとする。なお、本明細
書では、「画素の動きベクトル」はグローバル動き補償
を行う際に、実際に予測画像を合成するために用いる動
きベクトルのことを指す。一方、「代表点の動きベクト
ル」は画素の動きベクトルを計算するために用いるパラ
メータを意味している。したがって、量子化ステップサ
イズの違いなどが原因で、同じ座標上に存在していても
画素の動きベクトルと代表点の動きベクトルが一致しな
い場合も起こり得る。
6を用いて説明する。このとき、「従来の技術」で述べ
たように代表点を画像601の隅に位置する点とはせ
ず、(i,j),(i+p,j),(i,j+q)に位置する点
602,603,604とする(i,j,p,qは整
数)。このとき、点602,603,604は画像の内
部に存在していても外部に存在していても良い。代表点
の動きベクトルの水平,垂直成分をk倍したものをそれ
ぞれ(u0,v0),(u1,v1),(u2,v2)とすると(u
0,v0,u1,v1,u2,v2 は整数)、画素(x,y)
の動きベクトルの水平,垂直成分をm倍したもの(u
(x,y),v(x,y))は以下の式で表すことができる
(ただし、x,y,u(x,y),v(x,y)は整数)。
果が整数ではない場合にこれを近隣の整数に丸め込む除
算で、演算子としての優先順位は乗除算と同等である。
演算誤差を小さくするためには、非整数値は最も近い整
数に丸め込まれることが望ましい。このとき整数に1/
2を加えた値の丸め込み方法は、(1) 0に近づける方向
に丸め込む、(2) 0から遠ざける方向に丸め込む、(3)
被除数が負の場合は0に近づける方向,正の場合は0か
ら遠ざける方向に丸め込む(除数は常に正であるとす
る)、(4) 被除数が負の場合は0から遠ざける方向,正
の場合は0に近づける方向に丸め込む(除数は常に正で
あるとする)、などが考えられる。これらの中で(3)
と(4)は、被除数の正負に関わらず丸め込みの方向が
変化しないため、正負判定が必要ない分だけ処理量の点
で有利である。(3)を用いた高速処理は以下の式によっ
て実現される。
切り捨てる整数の除算であり、一般に計算機では最も実
現しやすい形式の除算である。ここで、LとMは除算の
被除数を常に正に保つための数で、十分に大きな正の整
数である。また、(pqk#2)の項は、除算結果を最
も近い整数に丸め込むために用いられる。
低減に貢献するが、ここで p,q,k をそれぞれ2の
α,β,h0 乗(α,βは正の整数、h0は負ではない
整数)とすると、(数5) の除算は α+β+h0 ビット
のシフト演算で実現できるため、計算機や専用ハードウ
ェアにおける処理量を大きく減らすことができる。さら
にmを2のh1乗とすれば(h1は負ではない整数、h1
<α+β+h0)、(数6) は、
をαビット左にシフトして下位αビットに0を入れる、
「x>>α」はxをαビット右にシフトして上位αビット
に0または1を入れる(xが2の補数表現の場合、xの
最上位ビットが1のときは1,0のときは0を入れる)
ことを意味し、これらの演算子の優先順位は加減算と乗
除算の中間であるとする)、さらに演算を簡略化するこ
とができる。
p,j+q)に位置する代表点の動きベクトルの水平,垂
直成分をk倍したものを(u3,v3)として、(数5) は
(i,j),(i+p,j),(i+p,j+q)を代表点とすれ
ば、
代表点とすれば、
q)を代表点とすれば、
2の正の整数乗とすることによって同様に処理量を減ら
すことができる。
(i,j),(i+p,j),(i,j+q),(i+p,j+q)そ
れぞれの動きベクトルの水平,垂直成分をk倍したもの
である(u0,v0),(u1,v1),(u2,v2),(u3,v3)
を用いて(u(x,y),v(x,y))は以下の式で表すこ
とができる。
2の α,β,h0,h1 乗とすることによって、
量を減らすことができる。
予測画像を得るためには、代表点の動きベクトルに関す
る情報を何らかの形で受信側に伝える必要がある。代表
点の動きベクトルそのまま伝送する方法もあるが、画像
の隅の点の動きベクトルを伝送し、この値から代表点の
動きベクトルを計算する方法もある。この方法に関し、
以下に説明する。
いて説明する。画像の隅の3個の点(0,0),(r,
0),(0,s)の動きベクトルが1/n整数倍の値のみ
とれるとして、これらの水平,垂直成分をn倍した(u
00,v00),(u01,v01),(u02,v02)が伝送されると
する。このとき、点(i,j),(i+p,j),(i,j+
q),(i+p,j+q)それぞれの動きベクトルの水平,
垂直成分をk倍したものである(u0,v0),(u1,v
1),(u2,v2),(u3,v3)を、
(x,y)は、(数5) を変形して、
算による演算結果が整数ではない場合にこれを近隣の整
数に丸め込む除算で、演算子としての優先順位は乗除算
と同等である。(u0,v0),(u1,v1),(u2,v2),(u
3,v3)の中から3点を選び、それらを代表点とするグ
ローバル動き補償を行えば、(0,0),(r,0),(0,
s)を代表点とするグローバル動き補償を近似すること
ができる。もちろんこのときにpとqを2の正の整数乗
とすれば、上で述べたように処理を簡略化することが可
能となる。なお、演算誤差を小さくするためには、「//
/」は非整数値を最も近い整数に丸め込むことが望まし
い。このとき整数に1/2を加えた値の丸め込み方法と
しては、上で述べた(1)〜(4)の方法が考えられる。
ただし、(数5)(画素ごとに計算)の場合と比較して、
(数14) (1枚の画像で3回のみ計算)は演算が実行
される回数が少ないため、(1)または(2)の方法を選
んだとしても全体の演算量に大きな影響は与えない。
なる3点が選ばれた場合も数8〜10を変形することに
よって同様の処理を実現することができる。上記の例に
加え、さらに画像の隅の点(r,s)の動きベクトルの
水平,垂直成分をn倍したものを(u03,v03)とすれ
ば、(数14) は、(u00,v00),(u01,v01),(u03,
v03)が伝送される場合には、
03)が伝送される場合には、
03)が伝送される場合には、
る。上と同様に画像の隅の4個の代表点(0,0),(r,
0),(0,s),(r,s)の動きベクトルが1/n整数倍
の値のみとれるとして、これらの水平,垂直成分をn倍
した(u00,v00),(u01,v01),(u02,v02),(u03,
v03)が伝送されるとする。このときの代表点(i,
j),(i+p,j),(i,j+q),(i+p,j+q)それぞ
れの動きベクトルの水平,垂直成分をk倍したものであ
る(u0,v0),(u1,v1),(u2,v2),(u3,v3)は上
と同様、(数13) で与えられる。ただし、u'(x,
y),v'(x,y)は、(数11) を変形して、
れに対して内・外挿を行うことによって代表点の動きベ
クトルを求める方式の長所は、画素ごとの動きベクトル
の範囲を限定しやすい点である。例えば、(数4) で与
えられる共1次内・外挿では、(x,y)が画像内の点で
あるとき、ug(x,y)の値は ua,ub,uc,udの最
大値を超えることも、最小値を下まわることもない。し
たがって、グローバル動き推定のときに ua,ub,u
c,ud の値がある制限範囲内(例えば±32画素以内
の範囲)に収まるような制約条件を加えれば、全ての画
素に関して ug(x,y)の値を同じ制限範囲内入れてお
くことができる(もちろんこれは vg(x,y)に関して
も成立する)。こうすると演算に必要な桁数を明確にす
ることができ、ソフトウェアまたはハードウェアを設計
する上で便利である。ただし、以上の議論は計算がすべ
て浮動小数点演算で行われた場合の議論なので、実際の
処理では注意が必要である。画像の隅の点の動きベクト
ルから代表点の動きベクトルを求める演算 (数18) に
は整数への丸め込みが存在するため、計算誤差の影響で
(数12) で求まる動きベクトルが上で述べた制限範囲
内から出る可能性を考慮する必要がある。特に代表点が
画像の内側に位置するような場合には注意が必要であ
る。これは、代表点が囲む長方形の外側に位置する画素
に関しては外挿によって動きベクトルが求められるた
め、丸め込み誤差が増幅される可能性があるためであ
る。外挿によって動きベクトルが求まる例を図7に示
す。画像701に対し、代表点702,703,70
4,705を用いてグローバル動き補償を行うと、画像
内の斜線で示された部分は外挿により動きベクトルが計
算されることになる。これは、斜線部が代表点が囲む長
方形706の外にあるためである。
を、代表点が囲む長方形が画像全体を含むように配置す
る方法が有効である。この例を図8に示す。代表点80
2,803,804,805が囲む長方形806は、画
像801を含んでいる。こうすれば、全ての画素の動き
ベクトルは代表点からの内挿により求められるため、代
表点における丸め込み誤差の影響は画像内では増幅され
ない。したがって、代表点の丸め込み誤差より大きな誤
差が画像内で発生することはなく、誤差の上限が明確に
なる。ただし、代表点が囲む長方形を大きくし過ぎる
と、代表点の動きベクトルがとり得る値の範囲が広くな
るため、演算に必要な桁数が増加し、実装する上では不
利となる。
さくするため、pの値はr以上であり、qの値はs以上
であるが望ましい。p,q はそれぞれ r,s より小
さい場合にも、なるべく大きな値をとることが望まし
い。また、i,j の値は、画像内のできるだけ広い部
分が代表点により囲まれる領域に入るような値とするこ
とが望ましい。
共1次内・外挿を用いた場合には、4個の代表点が囲む
長方形に含まれる画素の動きベクトルの各成分は、代表
点の動きベクトルの各成分の最大値と最小値の間の値し
かとれないという性質がある。これに対し、線形内・外
挿が使用された場合には、3個の代表点が囲む3角形内
の画素の動きベクトルが同様の性質を持つ。したがっ
て、線形内・外挿を用いるグローバル動き補償を行う場
合には、画像の四隅の点の動きベクトルを伝送し、画像
の対角線によって分割される2個の直角3角形に対して
それぞれ独立にグローバル動き補償を行う方法が有効で
ある。こうすることにより、4隅の点に対する動きベク
トルの範囲に関する制約が、そのまま画像内のすべての
画素の動きベクトルに適用できる。このとき、i,j,
p,q の値は、2個の直角3角形の間で異なっていて
も良い。また、演算誤差の観点から言えば、外挿によっ
て画素の動きベクトルを計算するケースを避けるため、
代表点の囲む3角形が、グローバル動き補償の対象とな
る直角3角形を含むことが望ましい。この例を図9に示
す。画像901の4隅である点909,903,90
8,910の動きベクトルが伝送され、点909,90
3,910によって構成される直角3角形と、点90
9,910,908によって構成される直角3角形それ
ぞれに対し、独立にグローバル動き補償が行われる。し
たがって、頂点の動きベクトルの範囲に関して制約を設
ければ、画像内の全ての画素の動きベクトルもこの制約
範囲内に入ることになる。点909,903,910に
よって構成される直角3角形は代表点として点902,
903,904を使用し、点909,910,908に
よって構成される直角3角形は代表点として点906,
907,908を使用する。代表点によって構成される
3角形は、それぞれグローバル動き補償の対象となる直
角3角形を中に含んでいる。このため、代表点の動きベ
クトルの丸め込み誤差の影響は、画像内の点において増
幅されることはない。なお、この例では代表点が構成す
る2個の三角形は相似となっているが、必ずしもそうで
ある必要はない。
測画像合成処理における除算の処理をシフト演算で代用
することが可能となり、ソフトウェアや専用ハードウェ
アによる処理を簡略化することが可能となる。
である。
である。
き補償の例を示した図である。
クマッチングを行う画像符号化器の動き補償処理部を示
した図である。
マッチングを選択する画像符号化器の動き補償処理部を
示した図である。
した図である。
求める領域を示した図である。
点の動きベクトルからの内挿によって求められる場合を
示した図である。
対して代表点の動きベクトルからの内挿によるグローバ
ル動き補償を適用した例を示した図である。
算器、103…誤差画像、104…DCT変換器、10
5…DCT係数量子化器、106,201…量子化DC
T係数、108,204…DCT係数逆量子化器、10
9,205…逆DCT変換器、110,206…復号誤
差画像、111,207…加算器、112…現フレーム
の復号画像、113,215…フレーム間/フレーム内
符号化切り換えスイッチの出力画像、114,209…
フレームメモリ、115,210…前フレームの復号画
像、116,405,505…ブロックマッチング部、
117,212…現フレームの予測画像、118,21
3…「0」信号、119,214…フレーム間/フレー
ム内符号化切り換えスイッチ、120,202,40
6,507…動きベクトル情報、121,203…フレ
ーム間/フレーム内識別フラグ、122,407,51
0…多重化器、123…伝送ビットストリーム、200
…画像復号化器、208…出力画像、211…予測画像
合成部、216…分離器、301…参照画像、302…
現フレームの原画像、303,304,305,60
2,603,604,702,703,704,70
5,802,803,804,805,902,90
4,906,907…代表点、306,307,308
…代表点の動きベクトル、401,501…グローバル
動き補償を行う動き補償処理部、402,502…グロ
ーバル動き補償部、403,504…動きパラメータ、
404,503…グローバル動き補償の予測画像、50
6…ブロックマッチングによる予測画像、508…ブロ
ックマッチング/グローバル動き補償切り換えスイッ
チ、509…ブロックマッチング/グローバル動き補償
の選択情報、601,701,801,901…グロー
バル動き補償の対象となる画像、706…代表点が囲む
長方形、903,908…画像の隅の点と代表点を兼用
する点、909,910…画像の隅の点。
Claims (16)
- 【請求項1】復号化されたフレームの復号化画像を記憶
するフレームメモリと、 現フレームに係る情報と上記復号化画像とから上記現フ
レームの予測画像を合成する予測画像合成部を有する画
像復号化装置において、 上記予測画像合成部は、 画素の間隔を1とした座標上で、座標(i,j),(i+
p,j),及び(i,j+q)をもつ3つの代表点を選択し
(但し、上記i及びjは整数、上記p及びqの値は、2
の正の整数によるべき乗)、上記代表点の動きベクトル
から上記予測画像の画素ごとの動きベクトルを求める手
段と、 上記画素ごとの動きベクトルと上記復号化画像とから上
記予測画像を合成する手段とを有することを特徴とする
画像復号化装置。 - 【請求項2】請求項1に記載の画像復号化装置におい
て、 上記画素ごとの動きベクトルを求める手段は、上記代表
点の動きベクトルから線形内・外挿で上記画素ごとの動
きベクトルを求めることを特徴とする画像復号化装置。 - 【請求項3】復号化されたフレームの復号化画像を記憶
するフレームメモリと、現フレーム に係る情報と上記復号化画像とから上記現フ
レームの予測画像を合成する予測画像合成部を有する画
像復号化装置において、 上記予測画像合成部は、 画素の間隔を1とした座標上で、座標(i,j),(i+
p,j),及び(i,j+q)をもつ3つの代表点を選択し
(但し、上記i及びjは整数、上記p及びqの値は、2
の正の整数によるべき乗)、上記代表点の動きベクトル
から上記予測画像の画素ごとの動きベクトルを求める手
段と、 上記画素ごとの動きベクトルと上記復号化画像とから上
記予測画像を合成する手段とを有し、 上記画素ごとの動きベクトルの水平・垂直成分は1/m
の整数倍をとり、画素(x,y) の動きベクトルの水平・
垂直成分をm倍したものを(u(x,y),v(x,y))と
し、上記 代表点 (i,j),(i+p,j),(i,j+q) の動き
ベクトルの水平・垂直成分は1/kの整数倍をとり、各
代表点の動きベクトルの水平・垂直成分をk倍したもの
を(u0,v0),(u1,v1),(u2,v2) としたときに、 上記画素ごとの動きベクトルを求める手段は、 u(x,y)=((u0pq+(u1-u0)(x-i)q+(u2-u0)(y-j)p)m)//(pqk) v(x,y)=((v0pq+(v1-v0)(x-i)q+(v2-v0)(y-j)p)m)//(pqk) によって上記(u(x,y),v(x,y))を求めることを特
徴とする画像復号化装置(但し、u(x,y),v(x,y),
u0,v0,u1,v1,u2, 及びv2は整数とし、 k、mは
2の整数乗とし、「//」は通常の除算による演算結果が
整数ではない場合にこれを近隣の整数に丸め込む除算
で、演算子としての優先順位は乗除算と同等とする)。 - 【請求項4】請求項3に記載の画像復号化装置におい
て、 上記「//」の演算による演算結果が、整数に1/2を加えた
値の場合の丸め込み方法は、(1)0から遠ざける整数に
丸め込む、(2)0の方向に丸め込む、(3)被除数が負の
場合は0から遠ざける方向に丸め込み、被除数が正の場
合は0に近づける方向に丸め込む、又は(4)被除数が正
の場合は0から遠ざける方向に丸め込み、被除数が負の
場合は0に近づける方向に丸め込む、のいずれかである
ことを特徴とする画像復号化装置。 - 【請求項5】復号化されたフレームの復号化画像を記憶
するフレームメモリと、 現フレームに係る情報と上記復号化画像とから上記現フ
レームの予測画像を合成する予測画像合成部を有する画
像復号化装置において、 上記予測画像合成部は、 画素の間隔を1とした座標上で、座標(i,j),(i+
p,j),(i,j+q)及び(i+p,j+q)をもつ4つの代
表点を選択し(但し、上記i及びjは整数、上記p及び
qの値は、2の正の整数によるべき乗)、上記代表点の
動きベクトルから上記予測画像の画素ごとの動きベクト
ルを求める手段と、 上記画素ごとの動きベクトルと上記復号化画像とから上
記予測画像を合成する手段とを有することを特徴とする
画像復号化装置。 - 【請求項6】請求項5に記載の画像復号化装置におい
て、 上記画素ごとの動きベクトルを求める手段は、上記代表
点の動きベクトルから共一次内・外挿で上記画素ごとの
動きベクトルを求めることを特徴とする画像復号化装
置。 - 【請求項7】復号化されたフレームの復号化画像を記憶
するフレームメモリと、現フレーム に係る情報と上記復号化画像とから上記現フ
レームの予測画像を合成する予測画像合成部を有する画
像復号化装置において、 上記予測画像合成部は、 画素の間隔を1とした座標上で、座標(i,j),(i+
p,j),(i,j+q)及び(i+p,j+q)をもつ4つの代
表点を選択し (但し、上記i及びjは整数、上記p及び
qの値は、2の正の整数によるべき乗)、上記代表点の
動きベクトルから上記予測画像の画素ごとの動きベクト
ルを求める手段と、 上記画素ごとの動きベクトルと上記復号化画像とから上
記予測画像を合成する手段とを有し、 上記画素ごとの動きベクトルの水平・垂直成分は1/m
の整数倍をとり、画素(x,y) の動きベクトルの水平・
垂直成分をm倍したものを(u(x,y),v(x,y))と
し、 上記代表点 (i,j),(i+p,j),(i,j+q) 及び(i
+p,j+q)の動きベクトルの水平・垂直成分は1/
kの整数倍をとり、各代表点の動きベクトルの水平・垂
直成分をk倍したものを(u0,v0),(u1,v1),(u2,
v2) (u3,v3)としたときに、 上記画素ごとの動きベクトルを求める手段は、 u(x,y)= ( ((j+q-y)((i+p-x)u0+(x-i)u1)+(y-j)((i+p-x)u2+(x-)u3))m ) //(pqk ) v(x,y)= ( ((j+q-y)((i+p-x)v0+(x-i)v1)+(y-j)((i+p-x)v2+(x-)v3))m ) //(pqk ) によって上記(u(x,y),v(x,y))を求めることを特
徴とする画像復号化装置(但し、u(x,y),v(x,y),
u0,v0,u1,v1,u2,v2u3,及びv3は整数とし、
k、mは2の整数乗とし、「//」は通常の除算による演
算結果が整数ではない場合にこれを近隣の整数に丸め込
む除算で、演算子としての優先順位は乗除算と同等とす
る)。 - 【請求項8】請求項7に記載の画像復号化装置におい
て、 上記「//」の演算による演算結果が、整数に1/2を加えた
値の場合の丸め込み方法は、(1)0から遠ざける整数に
丸め込む、(2)0の方向に丸め込む、(3)被除数が負の
場合は0から遠ざける方向に丸め込み、被除数が正の場
合は0に近づける方向に丸め込む、又は(4)被除数が正
の場合は0から遠ざける方向に丸め込み、被除数が負の
場合は0に近づける方向に丸め込む、のいずれかである
ことを特徴とする画像復号化装置。 - 【請求項9】現フレームに係る情報とすでに復号化され
たフレームの復号化画像とから上記現フレームの予測画
像を合成する画像復号化方法において、 画素の間隔を1とした座標上で、座標(i,j),(i+
p,j),及び(i,j+q)をもつ3つの代表点を選択し
(但し、上記i及びjは整数、上記p及びqの値は、2
の正の整数によるべき乗)、上記代表点の動きベクトル
から上記予測画像の画素ごとの動きベクトルを求め、 上記画素ごとの動きベクトルと上記復号化画像とから上
記予測画像を合成することを特徴とする画像復号化方
法。 - 【請求項10】請求項9に記載の画像復号化方法におい
て、 上記画素ごとの動きベクトルは、上記代表点の動きベク
トルから線形内・外挿で求めることを特徴とする画像復
号化方法。 - 【請求項11】現フレームに係る情報とすでに復号化さ
れたフレームの復号化画像とから上記現フレームの予測
画像を合成する画像復号化方法において、 画素の間隔を1とした座標上で、座標(i,j),(i+
p,j),及び(i,j+q)をもつ3つの代表点を選択し
(但し、上記i及びjは整数、上記p及びqの値は、2
の正の整数によるべき乗)、上記代表点の動きベクトル
から上記予測画像の画素ごとの動きベクトルを求め、 上記画素ごとの動きベクトルと上記復号化画像とから上
記予測画像を合成し、 上記画素ごとの動きベクトルの水平・垂直成分は1/m
の整数倍をとり、画素(x,y) の動きベクトルの水平・
垂直成分をm倍したものを(u(x,y),v(x,y))と
し、上記 代表点 (i,j),(i+p,j),(i,j+q) の動き
ベクトルの水平・垂直成分は1/kの整数倍をとり、各
代表点の動きベクトルの水平・垂直成分をk倍したもの
を(u0,v0),(u1,v1),(u2,v2) としたときに、 上記画素ごとの動きベクトルを u(x,y)=((u0pq+(u1-u0)(x-i)q+(u2-u0)(y-j)p)m)//(pqk) v(x,y)=((v0pq+(v1-v0)(x-i)q+(v2-v0)(y-j)p)m)//(pqk) によって求めた上記(u(x,y),v(x,y))から求める
ことを特徴とする画像復号化方法 (但し、u(x,y),v
(x,y), u0,v0,u1,v1,u2, 及びv2は整数とし、
k、mは2の整数乗とし、「//」は通常の除算による演
算結果が整数ではない場合にこれを近隣の整数に丸め込
む除算で、演算子としての優先順位は乗除算と同等とす
る)。 - 【請求項12】請求項11に記載の画像復号化方法にお
いて、 上記「//」の演算による演算結果が、整数に1/2を加えた
値の場合の丸め込み方法は、(1)0から遠ざける整数に
丸め込む、(2)0の方向に丸め込む、(3)被除数が負の
場合は0から遠ざける方向に丸め込み、被除数が正の場
合は0に近づける方向に丸め込む、又は(4)被除数が正
の場合は0から遠ざける方向に丸め込み、被除数が負の
場合は0に近づける方向に丸め込む、のいずれかである
ことを特徴とする画像復号化方法。 - 【請求項13】現フレームに係る情報とすでに復号化さ
れたフレームの復号化画像とから上記現フレームの予測
画像を合成する画像復号化方法において、画素 の間隔を1とした座標上で、座標(i,j),(i+
p,j),(i,j+q)及び(i+p,j+q)をもつ代表点を
選択し(但し、上記i及びjは整数、上記p及びqの値
は、2の正の整数によるべき乗)、上記代表点の動きベ
クトルから上記予測画像の画素ごとの動きベクトルを求
め、上記画素ごとの動きベクトルと上記復号化画像 とから上
記予測画像を合成することを特徴とする画像復号化方
法。 - 【請求項14】請求項13に記載の画像復号化方法にお
いて、 上記画素ごとの動きベクトルは、上記代表点の動きベク
トルから共一次内・外挿で求めることを特徴とする画像
復号化方法。 - 【請求項15】現フレームに係る情報とすでに復号化さ
れたフレームの復号化画像とから上記現フレームの予測
画像を合成する画像復号化方法において、 画素の間隔を1とした座標上で、座標(i,j),(i+
p,j),(i,j+q)及び(i+p,j+q)をもつ4つの
代表点を選択し(但し、上記i及びjは整数、上記p及
びqの値は、2の正の整数によるべき乗)、上記代表点
の動きベクトルから上記予測画像の画素ごとの動きベク
トルを求め、 上記画素ごとの動きベクトルと上記復号化画像とから上
記予測画像を合成し、 上記画素ごとの動きベクトルの水平・垂直成分は1/m
の整数倍をとり、画素(x,y) の動きベクトルの水平・
垂直成分をm倍したものを(u(x,y),v(x,y))と
し、 上記代表点 (i,j),(i+p,j),(i,j+q) 及び(i
+p,j+q)の動きベクトルの水平・垂直成分は1/
kの整数倍をとり、各代表点の動きベクトルの水平・垂
直成分をk倍したものを(u0,v0),(u1,v1),(u2,
v2) (u3,v3)としたときに、 上記画素ごとの動きベクトルを、 u(x,y)= ( ((j+q-y)((i+p-x)u0+(x-i)u1)+(y-j)((i+p-x)u2+(x-)u3))m ) //(pqk ) v(x,y)= ( ((j+q-y)((i+p-x)v0+(x-i)v1)+(y-j)((i+p-x)v2+(x-)v3))m ) //(pqk ) によって求めた上記(u(x,y),v(x,y))から求める
ことを特徴とする画像復号化方法(但し、u(x,y),v
(x,y), u0,v0,u1,v1,u2,v2u3,及びv3は整数
とし、 k、mは2の整数乗とし、「//」は通常の除算に
よる演算結果が整数ではない場合にこれを近隣の整数に
丸め込む除算で、演算子としての優先順位は乗除算と同
等とする)。 - 【請求項16】請求項15に記載の画像復号化方法にお
いて、 上記「//」の演算による演算結果が、整数に1/2を加えた
値の場合の丸め込み方法は、(1)0から遠ざける整数に
丸め込む、(2)0の方向に丸め込む、(3)被除数が負の
場合は0から遠ざける方向に丸め込み、被除数が正の場
合は0に近づける方向に丸め込む、又は(4)被除数が正
の場合は0から遠ざける方向に丸め込み、被除数が負の
場合は0に近づける方向に丸め込む、のいずれかである
ことを特徴とする画像復号化方法。
Priority Applications (18)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6057296A JP3183155B2 (ja) | 1996-03-18 | 1996-03-18 | 画像復号化装置、及び、画像復号化方法 |
| TW86102741A TW421972B (en) | 1996-03-18 | 1997-03-06 | Method of coding and decoding image |
| US08/819,628 US6008852A (en) | 1996-03-18 | 1997-03-17 | Video coder with global motion compensation |
| EP20050026249 EP1646242A3 (en) | 1996-03-18 | 1997-03-18 | Apparatus for decoding images |
| DE69739762T DE69739762D1 (de) | 1996-03-18 | 1997-03-18 | Videokoder |
| EP19970104595 EP0797357B1 (en) | 1996-03-18 | 1997-03-18 | Video Coder |
| KR1019970009225A KR100412622B1 (ko) | 1996-03-18 | 1997-03-18 | 화상복호화장치및화상복호화방법 |
| US09/438,528 US6178202B1 (en) | 1996-03-18 | 1999-11-12 | Video coder with global motion compensation |
| US09/694,686 US6442205B1 (en) | 1996-03-18 | 2000-10-24 | Method of coding and decoding image |
| KR1020010026363A KR100411525B1 (ko) | 1996-03-18 | 2001-05-15 | 화상 부호화 장치 및 화상 부호화 방법 |
| US09/987,212 US6483877B2 (en) | 1996-03-18 | 2001-11-13 | Method of coding and decoding image |
| US10/262,936 US6711210B2 (en) | 1996-03-18 | 2002-10-03 | Method of coding and decoding image |
| US10/262,934 US6687302B2 (en) | 1996-03-18 | 2002-10-03 | Method of coding and decoding image |
| US10/714,627 US6987810B2 (en) | 1996-03-18 | 2003-11-18 | Method of coding and decoding image |
| US11/147,421 US7298781B2 (en) | 1996-03-18 | 2005-06-08 | Method of coding and decoding image |
| US11/902,969 US7817720B2 (en) | 1996-03-18 | 2007-09-27 | Method of coding and decoding image |
| US12/838,866 US8233543B2 (en) | 1996-03-18 | 2010-07-19 | Method of coding and decoding image |
| US12/838,871 US8204110B2 (en) | 1996-03-18 | 2010-07-19 | Method of coding and decoding image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6057296A JP3183155B2 (ja) | 1996-03-18 | 1996-03-18 | 画像復号化装置、及び、画像復号化方法 |
Related Child Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP494899A Division JP3183277B2 (ja) | 1999-01-12 | 1999-01-12 | 画像符号化装置、及び、画像符号化方法 |
| JP2000285235A Division JP3520846B2 (ja) | 2000-09-14 | 2000-09-14 | 画像復号化装置および画像復号化方法 |
| JP2000285234A Division JP3520845B2 (ja) | 2000-09-14 | 2000-09-14 | 画像符号化装置及び画像符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09252470A JPH09252470A (ja) | 1997-09-22 |
| JP3183155B2 true JP3183155B2 (ja) | 2001-07-03 |
Family
ID=13146120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6057296A Expired - Lifetime JP3183155B2 (ja) | 1996-03-18 | 1996-03-18 | 画像復号化装置、及び、画像復号化方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (11) | US6008852A (ja) |
| EP (2) | EP1646242A3 (ja) |
| JP (1) | JP3183155B2 (ja) |
| KR (2) | KR100412622B1 (ja) |
| DE (1) | DE69739762D1 (ja) |
| TW (1) | TW421972B (ja) |
Families Citing this family (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3183155B2 (ja) | 1996-03-18 | 2001-07-03 | 株式会社日立製作所 | 画像復号化装置、及び、画像復号化方法 |
| JPH1098729A (ja) * | 1996-09-20 | 1998-04-14 | Hitachi Ltd | フレーム間予測画像の合成方法 |
| JP3774954B2 (ja) | 1996-10-30 | 2006-05-17 | 株式会社日立製作所 | 動画像の符号化方法 |
| DE69838639T2 (de) * | 1997-02-14 | 2008-08-28 | Nippon Telegraph And Telephone Corp. | Prädiktives kodierungs- und dekodierungsverfahren für dynamische bilder |
| WO1998042134A1 (fr) * | 1997-03-17 | 1998-09-24 | Mitsubishi Denki Kabushiki Kaisha | Codeur et decodeur d'image, methode de codage et de decodage d'image, et systeme de codage/decodage d'image |
| JP3764488B2 (ja) | 1997-06-03 | 2006-04-05 | 株式会社日立製作所 | 画像符号化及び復号化方法及び装置 |
| DE69808519T2 (de) | 1997-06-09 | 2003-06-26 | Hitachi, Ltd. | Verfahren zur Bildsequenzcodierung |
| US7801380B2 (en) | 1997-06-09 | 2010-09-21 | Hitachi, Ltd. | Recording medium having recorded thereon coded information using plus and/or minus rounding of images |
| US6574371B2 (en) | 1997-06-09 | 2003-06-03 | Hitachi, Ltd. | Image decoding method |
| US7206346B2 (en) * | 1997-06-25 | 2007-04-17 | Nippon Telegraph And Telephone Corporation | Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs |
| KR100289862B1 (ko) * | 1997-10-16 | 2001-05-15 | 정선종 | 2차원병진움직임벡터와회기법을이용한전역움직임존재유무판정방법 |
| DE69828950T2 (de) * | 1997-11-07 | 2006-01-12 | Koninklijke Philips Electronics N.V. | Kodierung einer bildfolge |
| US7982740B2 (en) | 1998-11-09 | 2011-07-19 | Broadcom Corporation | Low resolution graphics mode support using window descriptors |
| US6768774B1 (en) * | 1998-11-09 | 2004-07-27 | Broadcom Corporation | Video and graphics system with video scaling |
| US6573905B1 (en) * | 1999-11-09 | 2003-06-03 | Broadcom Corporation | Video and graphics system with parallel processing of graphics windows |
| US6636222B1 (en) * | 1999-11-09 | 2003-10-21 | Broadcom Corporation | Video and graphics system with an MPEG video decoder for concurrent multi-row decoding |
| US6661422B1 (en) * | 1998-11-09 | 2003-12-09 | Broadcom Corporation | Video and graphics system with MPEG specific data transfer commands |
| US6501480B1 (en) * | 1998-11-09 | 2002-12-31 | Broadcom Corporation | Graphics accelerator |
| US6853385B1 (en) * | 1999-11-09 | 2005-02-08 | Broadcom Corporation | Video, audio and graphics decode, composite and display system |
| US6798420B1 (en) | 1998-11-09 | 2004-09-28 | Broadcom Corporation | Video and graphics system with a single-port RAM |
| US7446774B1 (en) | 1998-11-09 | 2008-11-04 | Broadcom Corporation | Video and graphics system with an integrated system bridge controller |
| JP4226730B2 (ja) * | 1999-01-28 | 2009-02-18 | 株式会社東芝 | 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
| US6480537B1 (en) * | 1999-02-25 | 2002-11-12 | Telcordia Technologies, Inc. | Active techniques for video transmission and playback |
| GB9920256D0 (en) | 1999-08-26 | 1999-10-27 | Wave Limited M | Motion estimation and compensation in video compression |
| ES2276696T3 (es) | 1999-09-21 | 2007-07-01 | Koninklijke Philips Electronics N.V. | Metodo de estimacion de movimiento global. |
| US6975324B1 (en) | 1999-11-09 | 2005-12-13 | Broadcom Corporation | Video and graphics system with a video transport processor |
| JP2001251632A (ja) * | 1999-12-27 | 2001-09-14 | Toshiba Corp | 動きベクトル検出方法および装置並びに動きベクトル検出プログラム |
| JP3681342B2 (ja) * | 2000-05-24 | 2005-08-10 | 三星電子株式会社 | 映像コーディング方法 |
| KR100359115B1 (ko) * | 2000-05-24 | 2002-11-04 | 삼성전자 주식회사 | 영상 코딩 방법 |
| KR100386583B1 (ko) * | 2000-11-30 | 2003-06-02 | 엘지전자 주식회사 | 영상 변환 부호화 장치 및 방법 |
| US7050500B2 (en) * | 2001-08-23 | 2006-05-23 | Sharp Laboratories Of America, Inc. | Method and apparatus for motion vector coding with global motion parameters |
| US7227896B2 (en) * | 2001-10-04 | 2007-06-05 | Sharp Laboratories Of America, Inc. | Method and apparatus for global motion estimation |
| US7899924B2 (en) | 2002-04-19 | 2011-03-01 | Oesterreicher Richard T | Flexible streaming hardware |
| US7119837B2 (en) * | 2002-06-28 | 2006-10-10 | Microsoft Corporation | Video processing system and method for automatic enhancement of digital video |
| PT1742479E (pt) * | 2002-07-11 | 2009-11-17 | Panasonic Corp | Método de descodificação de imagens para h.264 utilizando uma memória tampão virtual de visualização |
| US7421129B2 (en) * | 2002-09-04 | 2008-09-02 | Microsoft Corporation | Image compression and synthesis for video effects |
| KR100985236B1 (ko) | 2002-11-25 | 2010-10-04 | 파나소닉 주식회사 | 움직임 보상 방법, 화상 부호화 방법 및 화상 복호화 방법 |
| US6954501B2 (en) * | 2003-02-17 | 2005-10-11 | Xvd Corporation | Method and apparatus for object based motion compensation |
| US7433085B2 (en) * | 2003-04-15 | 2008-10-07 | Lexmark International, Inc. | Intelligent hardware for detecting color value of an image |
| US7558320B2 (en) * | 2003-06-13 | 2009-07-07 | Microsoft Corporation | Quality control in frame interpolation with motion analysis |
| US7408986B2 (en) * | 2003-06-13 | 2008-08-05 | Microsoft Corporation | Increasing motion smoothness using frame interpolation with motion analysis |
| US8063916B2 (en) * | 2003-10-22 | 2011-11-22 | Broadcom Corporation | Graphics layer reduction for video composition |
| US20050105621A1 (en) * | 2003-11-04 | 2005-05-19 | Ju Chi-Cheng | Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof |
| NO319629B1 (no) * | 2003-11-28 | 2005-09-05 | Tandberg Telecom As | Fremgangsmate for korrigering av interpolerte pikselverdier |
| JP4805160B2 (ja) | 2004-10-07 | 2011-11-02 | 日本電信電話株式会社 | 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 |
| IL170320A (en) * | 2005-08-17 | 2010-04-29 | Orad Hi Tec Systems Ltd | System and method for managing the visual effects insertion in a video stream |
| DE102005041633B4 (de) * | 2005-08-26 | 2007-06-06 | Adam Stanski | Verfahren und Vorrichtung zur Positions- und Ähnlichkeitsbestimmung von Objektpunkten in Bildern |
| US8340185B2 (en) * | 2006-06-27 | 2012-12-25 | Marvell World Trade Ltd. | Systems and methods for a motion compensated picture rate converter |
| US8023732B2 (en) * | 2006-07-26 | 2011-09-20 | Siemens Aktiengesellschaft | Accelerated image registration by means of parallel processors |
| KR20100015456A (ko) * | 2007-04-09 | 2010-02-12 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
| JP2007312425A (ja) * | 2007-07-30 | 2007-11-29 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびそれらのプログラムを記録した記録媒体 |
| CN101127908B (zh) * | 2007-08-27 | 2010-10-27 | 宝利微电子系统控股公司 | 引入全局特征分类的视频图像运动处理方法及其实现装置 |
| US20090161011A1 (en) * | 2007-12-21 | 2009-06-25 | Barak Hurwitz | Frame rate conversion method based on global motion estimation |
| JP2009200985A (ja) * | 2008-02-25 | 2009-09-03 | Hitachi Ltd | 映像処理装置 |
| US20100158130A1 (en) * | 2008-12-22 | 2010-06-24 | Mediatek Inc. | Video decoding method |
| US9179161B2 (en) | 2009-05-20 | 2015-11-03 | Nissim Nissimyan | Video encoding |
| US20110299597A1 (en) * | 2010-06-07 | 2011-12-08 | Sony Corporation | Image processing method using motion estimation and image processing apparatus |
| EP2424243B1 (en) * | 2010-08-31 | 2017-04-05 | OCT Circuit Technologies International Limited | Motion estimation using integral projection |
| US8823746B2 (en) * | 2010-10-19 | 2014-09-02 | Apple Inc. | System and method for motion blur using velocity vectors |
| CN102611887B (zh) * | 2011-01-21 | 2015-08-05 | 华为技术有限公司 | 非整像素位置运动矢量的坐标值取整方法和装置 |
| JP6665611B2 (ja) * | 2016-03-18 | 2020-03-13 | 富士通株式会社 | 符号化処理プログラム、符号化処理方法及び符号化処理装置 |
| US10681374B2 (en) | 2017-11-16 | 2020-06-09 | Google Llc | Diversified motion using multiple global motion models |
| CN107948573B (zh) * | 2017-11-22 | 2020-11-03 | 深圳市华星光电技术有限公司 | 一种数字信号线性内插值方法及装置 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4727506A (en) * | 1985-03-25 | 1988-02-23 | Rca Corporation | Digital scaling circuitry with truncation offset compensation |
| JPS63212948A (ja) * | 1987-02-28 | 1988-09-05 | Ricoh Co Ltd | 画像形成システム |
| DE3869475D1 (de) * | 1987-06-02 | 1992-04-30 | Siemens Ag | Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen. |
| US5617482A (en) * | 1990-08-15 | 1997-04-01 | Televerket | Method of motion compensation and elastic deformation in picture sequences |
| SE9002647L (sv) * | 1990-08-15 | 1991-09-02 | Televerket | Metod foer roerelsekompensering och elastisk deformation i bildsekvenser |
| JP2506500B2 (ja) | 1990-11-14 | 1996-06-12 | 松下電器産業株式会社 | 画像の動き検出装置 |
| US5353119A (en) * | 1990-11-15 | 1994-10-04 | Sony United Kingdom Limited | Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images |
| US5647049A (en) * | 1991-05-31 | 1997-07-08 | Kabushiki Kaisha Toshiba | Video recording/reproducing apparatus which uses a differential motion vector determined using two other motion vectors |
| CA2065184C (en) * | 1992-04-06 | 1996-12-03 | Richard Brault | Valve means for training manikin |
| JPH05336514A (ja) * | 1992-05-29 | 1993-12-17 | Sony Corp | 画像符号化装置 |
| US5461423A (en) * | 1992-05-29 | 1995-10-24 | Sony Corporation | Apparatus for generating a motion vector with half-pixel precision for use in compressing a digital motion picture signal |
| JPH06193970A (ja) | 1992-12-25 | 1994-07-15 | Noritz Corp | 給湯用熱交換器 |
| FI97008C (fi) * | 1993-06-02 | 1996-09-25 | Nokia Oy Ab | Menetelmä videokuvan ennustamiseksi käsittelyjärjestyksessä edellisen kuvan perusteella |
| EP0717905B1 (en) * | 1993-09-08 | 1998-04-22 | THOMSON multimedia | Method and apparatus for motion estimation using block matching |
| KR0148154B1 (ko) | 1994-06-15 | 1998-09-15 | 김광호 | 움직임크기에 따른 동영상데이타의 부호화방법 및 장치 |
| US5684538A (en) * | 1994-08-18 | 1997-11-04 | Hitachi, Ltd. | System and method for performing video coding/decoding using motion compensation |
| JP3218874B2 (ja) * | 1994-08-18 | 2001-10-15 | 株式会社日立製作所 | 画像符号化装置及び画像符号化方法 |
| US6178265B1 (en) * | 1994-09-22 | 2001-01-23 | Intel Corporation | Method and apparatus for motion vector compression |
| JP2738325B2 (ja) * | 1995-01-24 | 1998-04-08 | 日本電気株式会社 | 動き補償フレーム間予測装置 |
| US5757670A (en) * | 1995-07-28 | 1998-05-26 | S3, Incorporated | Frame reconstruction for video data compression |
| US5764807A (en) * | 1995-09-14 | 1998-06-09 | Primacomp, Inc. | Data compression using set partitioning in hierarchical trees |
| JP3183155B2 (ja) * | 1996-03-18 | 2001-07-03 | 株式会社日立製作所 | 画像復号化装置、及び、画像復号化方法 |
| FR2818128B1 (fr) | 2000-12-18 | 2004-04-02 | Oreal | Compositions cosmetiques antisolaires a base d'un melange synergetique de filtres et utilisations |
| JP3938150B2 (ja) * | 2004-01-29 | 2007-06-27 | キヤノン株式会社 | 画像形成装置 |
-
1996
- 1996-03-18 JP JP6057296A patent/JP3183155B2/ja not_active Expired - Lifetime
-
1997
- 1997-03-06 TW TW86102741A patent/TW421972B/zh not_active IP Right Cessation
- 1997-03-17 US US08/819,628 patent/US6008852A/en not_active Expired - Lifetime
- 1997-03-18 EP EP20050026249 patent/EP1646242A3/en not_active Withdrawn
- 1997-03-18 DE DE69739762T patent/DE69739762D1/de not_active Expired - Lifetime
- 1997-03-18 EP EP19970104595 patent/EP0797357B1/en not_active Expired - Lifetime
- 1997-03-18 KR KR1019970009225A patent/KR100412622B1/ko not_active Expired - Lifetime
-
1999
- 1999-11-12 US US09/438,528 patent/US6178202B1/en not_active Expired - Lifetime
-
2000
- 2000-10-24 US US09/694,686 patent/US6442205B1/en not_active Expired - Lifetime
-
2001
- 2001-05-15 KR KR1020010026363A patent/KR100411525B1/ko not_active Expired - Lifetime
- 2001-11-13 US US09/987,212 patent/US6483877B2/en not_active Expired - Lifetime
-
2002
- 2002-10-03 US US10/262,934 patent/US6687302B2/en not_active Expired - Lifetime
- 2002-10-03 US US10/262,936 patent/US6711210B2/en not_active Expired - Lifetime
-
2003
- 2003-11-18 US US10/714,627 patent/US6987810B2/en not_active Expired - Fee Related
-
2005
- 2005-06-08 US US11/147,421 patent/US7298781B2/en not_active Expired - Fee Related
-
2007
- 2007-09-27 US US11/902,969 patent/US7817720B2/en not_active Expired - Fee Related
-
2010
- 2010-07-19 US US12/838,871 patent/US8204110B2/en not_active Expired - Fee Related
- 2010-07-19 US US12/838,866 patent/US8233543B2/en not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 中屋雄一郎他、「動き補償における3種類の量子化パラメータに関する基礎検討」テレビジョン学会技術報告 vol.18 No.80 BCS94−54 p.1−8 1994年12月 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1646242A3 (en) | 2010-10-27 |
| US6442205B1 (en) | 2002-08-27 |
| US6178202B1 (en) | 2001-01-23 |
| EP0797357B1 (en) | 2010-02-17 |
| US20030043914A1 (en) | 2003-03-06 |
| US6711210B2 (en) | 2004-03-23 |
| US6687302B2 (en) | 2004-02-03 |
| US20100284463A1 (en) | 2010-11-11 |
| KR970068189A (ko) | 1997-10-13 |
| US20020044608A1 (en) | 2002-04-18 |
| US20040096000A1 (en) | 2004-05-20 |
| US20050226336A1 (en) | 2005-10-13 |
| US8204110B2 (en) | 2012-06-19 |
| EP0797357A3 (en) | 1999-11-24 |
| JPH09252470A (ja) | 1997-09-22 |
| DE69739762D1 (de) | 2010-04-01 |
| TW421972B (en) | 2001-02-11 |
| US20030035483A1 (en) | 2003-02-20 |
| EP0797357A2 (en) | 1997-09-24 |
| US7298781B2 (en) | 2007-11-20 |
| KR100411525B1 (ko) | 2003-12-18 |
| EP1646242A2 (en) | 2006-04-12 |
| US20080025404A1 (en) | 2008-01-31 |
| US8233543B2 (en) | 2012-07-31 |
| US6987810B2 (en) | 2006-01-17 |
| US20100284470A1 (en) | 2010-11-11 |
| US6483877B2 (en) | 2002-11-19 |
| US6008852A (en) | 1999-12-28 |
| US7817720B2 (en) | 2010-10-19 |
| KR100412622B1 (ko) | 2004-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3183155B2 (ja) | 画像復号化装置、及び、画像復号化方法 | |
| US7139314B2 (en) | Inter-frame predicted image synthesizing method | |
| JP3764488B2 (ja) | 画像符号化及び復号化方法及び装置 | |
| JP3183277B2 (ja) | 画像符号化装置、及び、画像符号化方法 | |
| JP3777998B2 (ja) | グローバル動き補償方法 | |
| JP3520800B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP3520846B2 (ja) | 画像復号化装置および画像復号化方法 | |
| JP3520845B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JPH0865675A (ja) | 画像符号化装置および画像復号化装置 | |
| JP3520858B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| KR100240620B1 (ko) | 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치 | |
| JPH10150665A (ja) | 予測画像の作成方法及び画像符号化方法及び画像符号化装置 | |
| JP3591483B2 (ja) | 画像復号化方法及び画像復号化装置 | |
| JP3509610B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JPH11317948A (ja) | 画像符号化装置および画像復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080427 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090427 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090427 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100427 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140427 Year of fee payment: 13 |
|
| EXPY | Cancellation because of completion of term |