CN1058596C - 对编码图象信号译码时实行半象素移动补偿的方法 - Google Patents

对编码图象信号译码时实行半象素移动补偿的方法 Download PDF

Info

Publication number
CN1058596C
CN1058596C CN94117399A CN94117399A CN1058596C CN 1058596 C CN1058596 C CN 1058596C CN 94117399 A CN94117399 A CN 94117399A CN 94117399 A CN94117399 A CN 94117399A CN 1058596 C CN1058596 C CN 1058596C
Authority
CN
China
Prior art keywords
pixels
pixel
macroblock
sub
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN94117399A
Other languages
English (en)
Other versions
CN1117245A (zh
Inventor
尹相皓
榷五相
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengye Vision Technology Co., Ltd.
Original Assignee
Daewoo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daewoo Electronics Co Ltd filed Critical Daewoo Electronics Co Ltd
Publication of CN1117245A publication Critical patent/CN1117245A/zh
Application granted granted Critical
Publication of CN1058596C publication Critical patent/CN1058596C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

对编码图象信号解码的方法，包括：按第一预定扫描顺序，通过在各宏块的象素上实行熵解码，反向数字变换和反向变换，提供差宏块的差象素；对差象素扫描，以按第二预定扫描顺序，提供扫描转换差宏块的扫描转换差象素；按第二预定扫描顺序，按照一对应于第二预定扫描顺序的顺序选取原来帧中的象素，提供半象素分解宏块的半象素分解象素，并根据其分解位移矢量在原来帧中的象素上执行空间插入；逐象素地把扫描转换差宏程序块加到半象素分解宏块，以形成目前帧的宏块。

Description

对编码图象信号译码时实行半象素移动补偿的方法
本发明涉及一个编码图象信号的译码过程，特别是涉及在编码图象信号的译码过程中实行半象素移位补偿的方法。
技术上已公知，数字图象信号的传送比模拟信号的传递所获得的图象质量高得多。当一个包含图象“帧”的序列的图象信号用数字形式表示的时候，就产生大量的数据要传送，特别是在高清晰度电视系统情况下。不过，由于传统的发送信道的可用频率带宽的限制，要传递大量的数字数据，不可避免的就要压缩或减少传递数据的容量。在各种图象信号压缩技术中，把时间的、空间的压缩技术，连同统计编码技术结合在一起的所谓混合编码技术，被认为是最有效的。
图1是一个使用混合编码技术的混合编码器。如图1所示，来自数字化输入帧的每个象素块，被送到减法器101。在减法器101中，表示图象元素幅值的每个象素块，逐元素地，和根据先前帧的预测象素块，相差地结合。所得差数据块，通过在一个两维转换器102上实行两维转换算法，被转换成一个转换系数块，每个转换系数块中的系数在数字转换器103中被数字转换，并且信息熵在熵编码器104上被编码，以便通过传送信道将它们传递。在编码器100中，每个块以及整个的帧，通过逆向数字转换并转换被数字转换过的系数并把它们在加法器107中加到相应的预测块的象素中，而重新形成。一个帧存储器108存储重新形成的象素，以便紧接着逐块地预测在下一个图象帧中的象素。类似地，在图2所示的，与编码器100相对应的解码器200中，一个信息熵解码器202对熵编码数据串进行解码，并且一个反向数字转换器203和一个反向转换器204恢复每个块的差象素，这些象素在加法器205中被加到相应的预测块的象素中去。一个帧存储器207存储所得到的重新形成的象素。
混合编码器100的编码效率，通过使用移动补偿或移动补偿预测方法可以得到提高。移动补偿预测是根据对目前帧和原来帧之间的块的平移移动的估计，预测来自其原先帧中的象素的目前帧中的每个象素块的方法。这样估算的移动可以通过移动向量来描述，该移动向量是由水平和垂直分量组成，它们分别表示原来帧中的预定块位置相对于目前块的位置的水平和垂直运动。
在某些目前可用的形式中，例如ISO/IEC MPEG标准形式，为了进一步提高编码效率，移动矢量可以被检测到半象素精度(见MPEG视频仿真模型3，标准化国际组织，图象和音频信息代码，1990，ISO-IEC/JTC1/SC2/WG8 MPEG 90/0 41)。半象素分解移动矢量由三步确定。首先，估算一个整数值的全象素分散移动矢量。然后，根据全象素分解移动矢量得到半象素分散移动矢量。在全象素和半象素分散移动矢量中，能给出最佳预测性能者被选作最后的半象素分散移动矢量。半象素分散移动矢量可以有非整数水平/垂直分量，指向全象素位置之间的一个位置。在这种形式中，被用于移动补偿予测的半象素分解块，可通过在半象素分散移动矢量控制下，选取原来帧的象素的方法获得，并且如果半象素分解移动矢量具有一个非整数分量，就在原来帧的象素上实行空间插入(见美国专利5,134,477号，1992，7，28，Knauer等人，和EP公报，0560577A2)。
半象素分解移动矢量和熵编码数据一起，经传递信道向前发送到相关解码器200中，以便在进行移动补偿预测时使用。
在图2所示的解码器200中，移动补偿预测是按宏块进行的，其中每个宏块，例如含有16×8个象素的宏块进一步被分解为例如4×4象素的子块，因为编码器100通常不能对于半象素分解移动矢量的传递信道中的比特堆积(bitbudget)中的4×4子块的半象素分解移动矢量的全组进行编码，因此就要把半象素分散移动矢量和含有4×4子块的整个16×8的宏块结合起来。
当移动补偿预测以宏块为基础，在图2的解码器200中进行的时候，来自反向变换器204的每个差块中的象素的子块通常按“行方向(row-wise)子块间扫描”规则供给加法器205，即，对不同的子块水平地从左向右，从上到下进行扫描；并且，在每个不同的子块中，象素按“行方向子块内扫描”规则供给加法器205，即，对象素水平地由左向右和由上到下地进行扫描，如图3A和3B所示。还有，在来自移动补偿预测器206的每个半象素分解宏块中，子块及其象素分别按行方向子块间和行方向子块内扫描规则供给加法器205。如前所述，半分解宏块，是通过在半象素分解)移动矢量和差宏块同时控制下，选取来自帧存储器207的原来帧的象素而被测定的，并且，如果半象素分解移动矢量有一个非整数分量，则就在原来帧的象素上实行空间插入。
因为当半象素分解运动矢量有一个非整数值(例如+0.5)作为它的水平分量，5×4像素(或5×5象素，如果半象素分解移矢量有一个非整数垂直分量也同样)需要被插入，以产生一个4×4象素的半象素分解子块，一个4×4象素的子块和一个4象素的与之水平相邻的附加的列，应该从原来帧中被选取，(去产生半象素分解宏块的每一个子块)，如图4所述。
当子块和附加的象素列，按照行方向子块内扫描规则的顺序，从原来帧中被选取，以便按照行方向子块内扫描规则产生每个半象素分解子块的象素时，象素的附加的列可能从原来帧中两次被选取。一次是产生半象素分解子块，另一次是产生下一个水平相邻的半象素分解子块，如图5所示，这可能引起明显的处理过头。
不过，如果在上述情况下，象素的子块和附加的列可以从原先帧中按不同规则选取，即如果象素是被垂直地从上到下和从左向右地被扫描，如图6所示，并当附加象素列可容易地得到，以便空间插入，产生下一个水平相邻的半相素分解子块时，如图6所述，象素的附加的列可以一次选取。
本发明的主要目的是，提供一个在对编码图象信号译码时，实行半相素移动补偿预测的方法，其中原来帧选取的数可以被减少。
本发明提供了一种对一序列编码的图象帧形式提供的编码图象信号解码的方法，每个编码图象帧被分成多个象素宏块，每个宏块具有一个相关的半象素分解运动矢量，它表示在该编码图形信号的当前帧的和其在先帧之间的宏块的平移移动达到半象素的精度，所述方法包括如下步骤：
通过在该当前帧的每个宏块中的象素上实行熵解码，反量化和反向变换，按照第一个预定的扫描顺序提供一差宏块的差象素；
对差象素进行扫描，以便按第二个预定扫描顺序，提供扫描转换差宏块的扫描转换差象素；
通过在半象素分解运动矢量控制下，按照一对应于第二预定扫描顺序的顺序访问在先帧中的象素，并且，根据半象素分解运动矢量，在在先帧中的象素上执行空间插入，按照该第二预定扫描顺序提供半象素分解宏块的半象素分解象素，；以及
逐象素地，把扫描转换差宏块加到半象素分解宏块，由此形成当前帧的重构的宏块。
本发明上述目的和其他目的和特点，通过结合附图对实施例的描述就会变得更清楚，其中：
图1是已有技术混合编码器的方块图；
图2是与图1相配合的现有技术的译码的方块图；
图3A和3B分别是行方向和行方向内子块扫描图形；
图4示出了对于形成8×8象素的一个半象素分解子块所需要的象素数；
图5是对原来帧中的象素传统选取方式；
图6是对原来帧中的象素的不同选取方式；
图7是与图1编码的相配合的解码器的方块图，其方法是可以实施的；
图8是列方向(column-wise)子块内扫描方案。
图7是与混合编码器100(图1)相配合的译码器700，其中本发明的方法是可以被实现的。
来自混合编码器100的编码图象信号，以编码图象帧序列的形式被加到解码器700中，其每个帧被分成多个第一相同尺寸16×8象素的宏块。每个宏块有一个相关的半象素分解移动矢量，宏块被进一步分成多个第二相同尺寸；如4×4象素的子块。因此，在解码器700中，移动补偿预测以宏块为基础进行。
如图7所示，信号分离器701拾取编码图象信号，识别其组成部分(例如，半象素分解移动矢量，熵代码数据，等等)，并把它们选送到解码器700的相关部分中。熵编码数据在熵解码器702中被解码，并通过反量化器703和反向变换器704，被反相数字变换和反变换。然后，每个从反向变换器704得到差象素的宏程序块，在加法器中，通过在半象素分解移动矢量和差宏块的共同控制下的移动补偿预测器706提供的半象素分解宏块相加，并由此形成目前帧的重新形成的宏块，而被存储到帧存储器706中去。
来自反向变换器704的每个差宏块中的象素的子块，按照上述行方向子块间扫描规则，即：不同的子块，被从左向右从上到下地被扫描，而加到加法器705中去。因此，来自移动补偿预测器706的每个半象素分解宏块中的子程序块，按照行方向子块间扫描规则，被提供到加法器705中，和传统的一样。
不过，按照本发明的方法，每个差或半象素分解子块中的象素，被提供到加法器中的顺序和传统的行方向子块内扫描顺序不同。
特别是，在每个差子块内的象素，是经过本发明的一个扫描转换器708供给加法器7.5，是按照“列方向子块内扫描规则：象素垂直地从上到下和从左向右地被扫描，如图8所示。
同时，在移动补偿预测器706上，当半象素分解移动矢量有一个非整数水平分量时，则4×4象素的子块和一个被要求在原来帧里通过执行空间插入来产生每个半象素分解子块的，附加的4象素列，从帧存储器707中，按照如图6所示的列方向子块内扫描顺序被选取，以便按照列方向子块内扫描规则供给加法器705每半象素分解子块的象素。
如前面结合图6，关于本发明的上述半象素移动补偿预测方法的讨论，帧存储器选取的数目只为了产生半象素分解子块，因此半象素分解宏块就减少了。
同时，本发明关于实施例的描述，对于那些熟悉本技术的人来说是明显的，在不脱离本发明权利要求书限定的范围内，做各种变化和修改是可能的。

Claims (2)

1.一种对一序列编码的图象帧形式提供的编码图象信号解码的方法，每个编码图象帧被分成多个象素宏块，每个宏块具有一个相关的半象素分解运动矢量，它表示在该编码图形信号的当前帧的和其在先帧之间的宏块的平移移动达到半象素的精度，所述方法包括如下步骤：
通过在该当前帧的每个宏块中的象素上实行熵解码，反量化和反向变换，按照第一个预定的扫描顺序提供一差宏块的差象素；
对差象素进行扫描，以便按第二个预定扫描顺序，提供扫描转换差宏块的扫描转换差象素；
通过在半象素分解运动矢量控制下，按照一对应于第二预定扫描顺序的顺序访问在先帧中的象素，并且，根据半象素分解运动矢量，在在先帧中的象素上执行空间插入，按照该第二预定扫描顺序提供半象素分解宏块的半象素分解象素，；以及
逐象素地，把扫描转换差宏块加到半象素分解宏块，由此形成当前帧的重构的宏块。
2.按照权利要求1的方法，其中每个宏块进一步被分成多个子块，并且，所述第一个预定的扫描顺序使用行方向子块间和行方向子块内扫描方法，并且所述第二预定扫描顺序使用一个行方向子块间和列方向子块内扫描方法。
CN94117399A 1993-09-17 1994-09-17 对编码图象信号译码时实行半象素移动补偿的方法 Expired - Lifetime CN1058596C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR18874/93 1993-09-17
KR18874/1993 1993-09-17
KR1019930018874A KR970003102B1 (ko) 1993-09-17 1993-09-17 영상 복호기에서의 하프 픽셀 움직임 보상 회로

Publications (2)

Publication Number Publication Date
CN1117245A CN1117245A (zh) 1996-02-21
CN1058596C true CN1058596C (zh) 2000-11-15

Family

ID=19363874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN94117399A Expired - Lifetime CN1058596C (zh) 1993-09-17 1994-09-17 对编码图象信号译码时实行半象素移动补偿的方法

Country Status (6)

Country Link
US (1) US5532747A (zh)
EP (1) EP0644697B1 (zh)
JP (1) JP3686436B2 (zh)
KR (1) KR970003102B1 (zh)
CN (1) CN1058596C (zh)
DE (1) DE69422564T2 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0702485A3 (en) * 1994-09-19 1997-05-28 Graphics Communication Lab Motion estimation device
KR0151210B1 (ko) * 1994-09-23 1998-10-15 구자홍 엠펙2를 수용하는 반화소 움직임 보상조절장치
KR0185911B1 (ko) * 1994-11-30 1999-05-01 김광호 에러 은폐에 동화상의 움직임 방향을 고려하는 복호화장치
KR0178746B1 (ko) * 1995-12-13 1999-05-01 김광호 매크로블럭의 반픽셀처리장치
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
US6233356B1 (en) 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6259734B1 (en) * 1998-04-03 2001-07-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
US7286724B2 (en) * 1999-12-06 2007-10-23 Hyundai Curitel, Inc. Method and apparatus for searching, browsing and summarizing moving image data using fidelity for tree-structure moving image hierarchy
US6724818B1 (en) * 2000-07-17 2004-04-20 Telefonaktiebolaget Lm Ericsson (Publ) Alternative block orders for better prediction
GB2387056A (en) * 2002-03-28 2003-10-01 Sony Uk Ltd Differential encoding and decoding
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
CN1306823C (zh) * 2004-07-30 2007-03-21 联合信源数字音视频技术（北京）有限公司 一种并行处理行程解码、反扫描和反量化的方法及装置
US8937997B2 (en) * 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
JP5134001B2 (ja) * 2006-10-18 2013-01-30 アップル インコーポレイテッド 下層のフィルタリングを備えたスケーラブルビデオ符号化
US8824046B2 (en) * 2007-01-18 2014-09-02 Stewart Filmscreen Corporation Projection screen with digitally printed overscan border
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US20100051193A1 (en) * 2008-08-27 2010-03-04 Stewart Grant W Projection screen fabrication method
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
CN107529709B (zh) * 2011-06-16 2019-05-07 Ge视频压缩有限责任公司 解码器、编码器、解码和编码视频的方法及存储介质
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0497586A2 (en) * 1991-01-31 1992-08-05 Sony Corporation Motion detection circuit
JPH05227527A (ja) * 1991-10-30 1993-09-03 G C Technol Kk インターレース画像符号化方法と装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2638924B1 (fr) * 1988-11-09 1991-01-25 Artieri Alain Procede et circuit de traitement par bloc de signal bidimensionnel d'images animees
US4937666A (en) * 1989-12-04 1990-06-26 Bell Communications Research, Inc. Circuit implementation of block matching algorithm with fractional precision
US5134477A (en) * 1990-12-11 1992-07-28 At&T Bell Laboratories Hdtv receiver
JP2611591B2 (ja) * 1991-10-31 1997-05-21 日本ビクター株式会社 動き補償装置
JPH05236466A (ja) * 1992-02-25 1993-09-10 Nec Corp 動き補償フレーム間予測画像符号化装置及び方法
JPH05336514A (ja) * 1992-05-29 1993-12-17 Sony Corp 画像符号化装置
US5461423A (en) * 1992-05-29 1995-10-24 Sony Corporation Apparatus for generating a motion vector with half-pixel precision for use in compressing a digital motion picture signal
US5398079A (en) * 1993-01-27 1995-03-14 General Instrument Corporation Half-pixel interpolation for a motion compensated digital video system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0497586A2 (en) * 1991-01-31 1992-08-05 Sony Corporation Motion detection circuit
JPH05227527A (ja) * 1991-10-30 1993-09-03 G C Technol Kk インターレース画像符号化方法と装置

Also Published As

Publication number Publication date
KR950010657A (ko) 1995-04-28
JP3686436B2 (ja) 2005-08-24
EP0644697A3 (en) 1995-04-26
KR970003102B1 (ko) 1997-03-14
US5532747A (en) 1996-07-02
CN1117245A (zh) 1996-02-21
EP0644697B1 (en) 2000-01-12
EP0644697A2 (en) 1995-03-22
DE69422564D1 (de) 2000-02-17
JPH07170520A (ja) 1995-07-04
DE69422564T2 (de) 2000-07-13

Similar Documents

Publication Publication Date Title
CN1058596C (zh) 对编码图象信号译码时实行半象素移动补偿的方法
US6275533B1 (en) Image processing method, image processing apparatus, and data recording medium
EP1096801B1 (en) Device for predicting and decoding images
EP1257127B1 (en) Video transcoder with spatial resolution reduction
EP1135934B1 (en) Efficient macroblock header coding for video compression
EP2268040B1 (en) Macroblock level adaptive frame/field coding for digital video content
CN101352046B (zh) 图像编码/解码方法与装置
EP0618731A2 (en) High efficiency encoding of picture signals
EP1076998B1 (en) Method and apparatus for padding interlaced macroblock texture information
WO2002093937A2 (en) Video transcoder with drift compensation
JP4572210B2 (ja) 輝度情報の復号化方法
JP2003061091A (ja) 圧縮ビットストリームをアップサンプリングする方法および装置
KR20080041935A (ko) 영상 보간 방법 및 장치
JP2006197575A (ja) 画像予測符号化装置及び方法、並びに画像予測復号化装置及び方法
KR0134496B1 (ko) 적응적 주사방식을 이용한 동영상 부호화장치
KR20010101916A (ko) 픽쳐 영역 변환을 위한 방법 및 장치
JP2004215296A (ja) 画像予測符号化方法及び装置
HK1115256B (zh) 解碼宏塊類型和編碼的塊模式信息
HK1115966B (zh) 用空間預測編碼/解碼的代碼塊圖形

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20030509

Patentee after: Daewoo Electronics Co., Ltd.

Patentee before: Daewoo Electronics Co., Ltd.

ASS Succession or assignment of patent right

Owner name: FENGYE VISION TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: DAEWOO ELECTRONICS CO., LTD.

Effective date: 20130418

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130418

Address after: Ontario

Patentee after: Fengye Vision Technology Co., Ltd.

Address before: Seoul special city

Patentee before: Daewoo Electronics Co., Ltd.

C17 Cessation of patent right
CX01 Expiry of patent term

Expiration termination date: 20140917

Granted publication date: 20001115