CN103202014A - 空间运动向量预测的方法及其装置 - Google Patents

Abstract

本发明提供一种为当前块获取运动向量预测或运动向量预测候选或运动向量或运动向量候选的装置及方法。在视频编码系统中，利用空间及时间冗余使用空间及时间预测来降低欲传输或储存的信息。运动向量预测更用于保存运动向量编码相关的比特率。用于当前HEVC的正在发展中的运动向量预测技术仅考虑与当前块具有相同参考列表及相同参考图像索引的运动向量，来作为可用的空间运动向量预测候选。有需要发展一种运动向量预测机制，基于来自空间相邻块的运动向量，能提高运动向量预测候选的可用性。相应地，提供一种基于与相邻块的列表0及列表1中的参考图像相关的运动向量，决定用于当前块的运动向量预测或运动向量预测候选或运动向量或运动向量候选的装置及方法。改善的运动向量预测机制可减少运动向量残余量从而提高编码效率。此外，运动向量预测机制是基于优先级顺序，所以可在解码器使用解码信息来得到预测，而不需要边信息。

Description

空间运动向量预测的方法及其装置

【交叉引用及相关申请】

本发明主张在2010年11月23日提交的标题为“新空间运动向量预测”的美国临时专利申请No.61/416,413，以及在2011年1月11日提交的标题为“改善的高级运动向量预测”的美国临时专利申请No.61/431,454的优先权。这些美国临时专利申请因此在全文中被引用。

【技术领域】

本发明关于视频编码，尤其关于运动向量预测相关的编码技术。

【背景技术】

在视频编码系统中，利用空间及时间冗余（spatial and temporal redundancy）使用空间及时间预测来减少欲传输的信息。空间及时间预测利用分别来自相同的图像和参考图像的解码像素来产生预测以用于当前要编码的像素。在传统编码系统中，必须传输空间及时间预测相关的边信息（side information），这会占用压缩视频（compressed video）数据的一些带宽。尤其在低比特率（low-bitrate）应用中，用于时间预测的运动向量的传输往往会占据了大部分的压缩视频数据。为进一步减少运动向量相关的比特率，近年来在视频编码领域中使用了一种称为运动向量预测（motion vector prediction，MVP）的技术。运动向量预测技术利用邻近的运动向量之间空间及时间上的统计冗余（statistic redundancy）。

在高性能视频编码（HEVC）发展中，一种名为高级运动向量预测（AdvancedMotion Vector Prediction，AMVP）的技术目前正被考虑。高级运动向量预测技术使用明确的（explicit）预测信号来指示从运动向量预测候选集（candidate set）中选出的运动向量预测候选。运动向量预测候选集包含空间运动向量预测候选及时间候选，空间运动向量预测候选包含从当前块（current block）的三个各自的邻近群组（neighboring group）中选出的三个候选。所提出的用于高级运动向量预测的空间运动向量预测候选集也包含三个空间候选和一个时间运动向量预测候选的中值。高级运动向量预测技术仅考虑与当前块具有相同参考图像列表及相同参考图像索引的运动向量（motion vector）来作为可用的（available）空间运动向量预测候选。如果具有相同参考图像列表及相同参考图像索引的运动向量不可用，则高级运动向量预测技术寻找来自群组中下一相邻块（neighboringblock）的可用运动向量。有需要发展一种能提高相邻块的运动向量预测候选可用性的运动向量预测机制。改善的运动向量预测机制会产生较小的运动向量残余量（residue），从而可提高编码效率。此外，期望运动向量预测机制允许基于解码信息在解码器得到预测，如此便没有附加的边信息必须被传输。

【发明内容】

本发明提供一种基于来自空间相邻块的运动向量，为图像中的当前块获取运动向量预测或运动向量预测候选或运动向量或运动向量候选的装置及方法。依据本发明一实施例，为当前块获取运动向量预测或运动向量预测候选或运动向量或运动向量候选的装置及方法包含步骤：接收该空间相邻块的一第一参考图像列表中的一第一参考图像相关的一第一运动向量以及一第二参考图像列表中的一第二参考图像相关的一第二运动向量；以及依据一优先级顺序基于该第一运动向量、该第二运动向量、该第一参考图像、该第二参考图像、以及一所选择的参考图像，为当前块决定一所选择的参考图像列表中的该所选择的参考图像相关的运动向量预测或至少一个运动向量预测候选或运动向量或至少一个运动向量候选。该第一参考图像列表及该第二参考图像列表可以是列表0及列表1，反之亦然，以及该所选择的参考图像列表可以是列表0或列表1。根据本发明一实施例，优先级顺序是预定义的，以及根据本发明另一实施例，优先级顺序依据自适应机制来被决定。当使用预定义顺序时，与预定义优先级顺序相关的信息可被包含于序列头、图像头或片图片头中。自适应机制可基于从包含先前块的重建过的运动向量的统计量、该当前块的分区类型、该运动向量的相关性、该运动向量的方向、以及该运动向量的距离的一组中选择出来的标准。依据本发明实施例，运动向量预测或运动向量预测候选或运动向量或运动向量候选是基于该第一运动向量及/或该第二运动向量的一比例版本，或该第一运动向量及/或该第二运动向量的该比例版本及非比例版本的一组合。依据本发明另一实施例，运动向量预测或至少一个运动向量预测候选或运动向量或运动向量候选的获得是基于第一情况及第二情况，其中该第一情况与该第一运动向量是否存在及该第一参考图像是否与该所选择的参考图像相同有关，以及该第二情况与该第二运动向量是否存在及该第二参考图像是否与该所选择的参考图像相同有关。此外，运动向量预测候选集或运动向量候选集可基于第一运动向量及第二运动来得到。

【附图说明】

图1为依据现有技术的B片编码中直接模式的运动向量比例的示意图；

图2为依据现有技术的基于第一先前B帧的协同定位运动向量的B片编码中的运动向量比例；

图3为基于高级运动向量预测中相邻块的运动向量的空间运动向量预测的相邻块配置的示意图，该高级运动向量预测正在被考虑用于HEVC标准；

图4为基于具有预定义顺序的相邻块b的参考图像（refL0，refL1）及运动向量（mvL0，mvL1），用于当前块的空间运动向量预测候选推导的范例；

图5A-B为决定列表0空间运动向量预测候选（refL0_b,mvL0_b）以用于当前块的范例，该空间运动向量预测候选来自具有预定义顺序的相邻块b；

图6为基于具有预定义顺序的相邻块的参考图像（refL0,mvL1）及运动向量(mvL0,mvL1)，用于当前块的空间运动向量预测候选集推导的范例；

图7A-B为决定列表0空间运动向量预测候选集{(ref0L0_b,mv0L0_b),(ref1L0_b,mv1L0_b)}以用于当前块的范例，该空间运动向量预测候选集来自具有预定义顺序的相邻块b；

图8为基于具有预定义顺序的相邻块的参考图像（refL0,mvL1）及运动向量(mvL0,mvL1)，用于当前块的空间运动向量预测候选推导的范例；

图9为基于来自具有预定义顺序的相邻块b的比例及非比例运动向量，决定列表0空间运动向量预测候选(refL0_b,mvL0_b)以用于当前块的范例；

图10为基于具有预定义顺序的相邻块b的参考图像（refL0，refL1）及比例和非比例运动向量（mvL0，mvL1），用于当前块的空间运动向量预测候选集推导的范例；

图11为基于来自具有预定义顺序的相邻块b的比例及非比例运动向量，决定列表0空间运动向量预测候选集{(ref0L0_b,mv0L0_b),(ref1L0_b,mv1L0_b)}以用于当前块的范例。

【具体实施方式】

在视频编码系统中，利用空间及时间冗余使用空间及时间预测降低比特率来传输或储存。空间预测利用来自相同图像的解码像素来产生预测以用于欲编码的当前像素。空间预测通常操作在逐块（block by block）基础上，例如在H.264/AVC帧内编码（Intra coding）中用于亮度（luminance）信号的16×16或4×4的块。在视频序列中，相邻图像通常携带（bear）极大的相似性，并且仅仅使用图像差异能有效减少与静态背景区域相关的传输信息（transmittedinformation）。然而，在视频序列中的移动目标（moving object）会导致大量的残余量并会要求更高的比特率来编码该残余量。因此，常常使用运动补偿预测（Motion Compensated Prediction，MCP）来利用视频序列中的时间相关性（temporal correlation）。

运动补偿预测可在正向预测（forward prediction）方式中被使用，其中使用显示顺序中当前图像之前的一个或多个解码图像来预测当前图像块。除了正向预测外，反向预测（backward prediction）也可被使用以提升运动补偿预测的性能。反向预测利用显示顺序中当前图像之后的一个或多个解码图像。自2003年最终确定的H.264/AVC第一版以来，正向预测及反向预测已经分别被扩展到列表（list）0预测及列表1预测，其中列表0和列表1都可包含显示顺序中当前图像之前或/及之后的多个参考图像。以下描述默认（default）参考图像列表配置。对于列表0，当前图像之前的参考图像具有比当前图像之后的参考图像较低的（lower）参考图像索引。对于列表1，当前图像之后的参考图像具有比当前图像之前的参考图像较低的参考图像索引。对于列表0和列表1两者，在应用先前的规则后，时间距离（temporal distance）被看作为如下：更靠近当前图像的参考图像具有较低的参考图像索引（index）。为了说明列表0及列表1参考图像配置，提供以下范例，其中当前图像为图像5且图像0，2，4，6及8为参考图像，数字表示显示顺序。具有升序（ascending）参考图像索引且从索引等于0开始的列表0参考图像为4，2，0，6及8。具有升序参考图像索引且从索引等于0开始的列表1参考图像为6，8，4，2及0。具有索引0的第一参考图像被称为协同定位（co-located）图像，且在此例中图像5为当前图像，图像6为列表1协同定位图像，图像4为列表0协同定位图像。当在列表0协同定位图像或列表1协同定位图像中的块（block）具有与当前图像中的当前块相同的块位置时，其被称为列表0或列表1协同定位块（co-located block），或称为列表0或列表1中的协同定位块。用于早期视频标准如MPEG-1，MPEG-2及MPEG-4的运动估计模式的单元主要是基于宏块（macroblock）。对于H.264/AVC，16×16宏块可被分割为16×16、16×8、8×16及8×8的块以用于运动估计。此外，8×8的块可被分割为8×8、8×4、4×8及4×4的块以用于运动估计。对于发展中的高性能视频编码标准（High Efficiency Video Coding，HEVC），用于运动估计/补偿模式的单元被称为预测单元（Prediction Unit，PU），其中预测单元从最大的块大小中分层次地分割出来。在H.263/AVC标准中，运动补偿预测类型被选择以用于每一片（slice）。运动补偿预测仅限于列表0预测的片被称为P-片。对于B-片，除列表0预测外，运动补偿预测也包含列表1预测。

在视频编码系统中，运动向量和编码残余量被传输至解码器以用于在解码器端重建视频。此外，在具有灵活的参考图像结构的系统中，与所选择的参考图像相关的信息也必须被传输。运动向量的传输会需要全部带宽的显著部分，尤其是在低比特率应用中或在运动向量与较小块或较高运动精度相关的系统中。为进一步降低与运动向量相关的比特率，近年来在视频编码领域已经使用一种称为运动向量预测（MVP）的技术。在本发明揭露中，MVP也可指运动向量预测（Motion Vector Predictor）且当没有歧义时可以使用这样的缩写。运动向量预测技术利用邻近运动向量之间空间上及时间上的统计冗余（statisticredundancy）。当使用运动向量预测时，用于当前运动向量的预测（predictor）被选择且运动向量残余量（亦即，运动向量及预测之间的差异）被传输。运动向量预测机制可被应用在闭合回路（closed-loop）设置中，其中可在解码器基于解码信息得到预测且无附加的边信息必须被传输。或者，可在比特流中明确地传输边信息以告知解码器考虑被选择的运动向量预测。

在H.264/AVC标准中，除了传统的帧内及帧间模式，用于P片中宏块的也有跳跃（SKIP）模式。由于没有量化误差信号、运动向量，也没有参考索引参数要被传输，SKIP是一种实现大规模压缩的非常有效的方式。用于跳跃模式中16×16宏块所需要的唯一信息是一个信号以指示跳跃模式正在被使用，所以实现了减少大量的比特率的目的。用于重建SKIP宏块的运动向量类似于用于宏块的运动向量预测。一个好的运动向量预测机制可导致更多的（more）零运动向量残余量及零量化预测误差。所以，一个好的运动向量预测机制可增加SKIP编码块的数量并提高编码效率。

在H.264/AVC标准中，支持帧间预测的四种不同类型以用于B片，包括列表0、列表1、双预测性（bi-predictive）及直接（DIRECT）预测，其中列表0和列表1指的是分别使用参考图像群组0及群组1的预测。对于双预测性模式，预测信号由运动补偿列表0及列表1预测信号的加权平均值形成。直接预测模式从先前传输的语法元素（syntax element）来推测且可为列表0或列表1预测或双预测性。因此，在直接模式中无须传输用于运动向量的信息。在无量化误差信号被传输的情况下，直接宏块模式被称为B跳跃模式且该块可被有效地编码。再者，一个好的运动向量预测机制可导致更多的零运动向量残余量及较小的预测误差。因此，一个好的运动向量预测机制可增加DIRECT编码块的数量并提高编码效率。

在正在发展的HEVC中，H.264/AVC运动向量预测的一些改善正在被考虑。在本揭露中，揭露了一种基于来自空间相邻块的运动向量来获得运动向量预测候选以用于当前块的系统及方法。用于当前块的运动向量由列表0参考图像及列表1参考图像相关的空间相邻块的运动向量来预测。这些运动向量被视为用于当前块的预测候选且这些候选按照优先级顺序（priority order）被排列。具有较高优先级顺序的候选会被视为在具有较低优先级顺序的候选之前的预测。基于优先级的运动向量预测推导（derivation）的优势在于增加空间运动向量预测候选的可用性，而不需要附加的边信息。

在H.264/AVC标准中，时间直接模式被用于B片，其中用于B片中当前块的运动向量从第一列表1参考图像中协同定位块的运动向量获得，如图1所示。用于时间直接模式的运动向量推导在“Direct Mode Coding for Bipredictive Slicesin the H.264Standard”（Tourapis et al.,in IEEE Trans.on Circuits and Systems forVideo Technology,Vol.15,No.1,pp.119-126,Jan.2005）中有描述。用于第一列表1参考的协同定位块120的运动向量表示为用于当前块110的运动向量表示为关于列表0参考图像及列表1参考图像的

及

当前图像及列表0参考图像之间的时间距离（temporal distance）表示为TD_B且列表0参考图像及列表1参考图像之间的时间距离表示为TD_D。用于当前块的运动向量可根据下式导出：

${\stackrel{\→}{\mathrm{MV}}}_{L0}=\frac{{\mathrm{TD}}_B}{{\mathrm{TD}}_D}\×\stackrel{\→}{\mathrm{MV}}---\left(1\right)$

${\stackrel{\→}{\mathrm{MV}}}_{L1}=\frac{({\mathrm{TD}}_B-{\mathrm{TD}}_D)}{{\mathrm{TD}}_D}\×\stackrel{\→}{\mathrm{MV}}---\left(2\right)$

上述等式稍后被替代为：

$X=\frac{16384+\mathrm{abs}({\mathrm{TD}}_D/2)}{{\mathrm{TD}}_D},---\left(3\right)$

ScaleFactor＝clip(-1024,1023,(TD_B×X+32)□6),    (4)

    及(5)

${\stackrel{\→}{\mathrm{MV}}}_{L1}={\stackrel{\→}{\mathrm{MV}}}_{L0}-\stackrel{\→}{\mathrm{MV}},---\left(6\right)$

所以X及比例因子（Scale Factor）可在片/图像层（level）被预计算（pre-compute）。在时间直接模式中，运动向量预测仅基于用于第一列表1参考的协同定位块的运动向量。

在另一现有技术中，标题为“RD Optimized Coding for Motion VectorPredictor Selection”（Laroche et al.,in IEEE Trans.on Circuits and Systems forVideo Technology,Vol.18,No.12,pp.1681-1691,Dec.2008）揭露了基于运动向量竞争（competition）的运动向量预测选择。运动向量竞争机制使用速率失真（rate-distortion，RD）最优化来决定来自运动向量预测候选的最佳运动向量预测。举例来说，如图2所示，时间运动向量预测候选可包含相应于列表1协同定位图像Ref1中的协同定位块的列表0运动向量，以及用于列表0协同定位图像B-1中的协同定位块的列表0及列表1运动向量。相应于列表1协同定位图像Ref₁中的协同定位块的列表0运动向量可以在H.264/AVC标准中定义的相同方式来计算：

${\mathrm{mv}}_1^{L0}=\frac{{\mathrm{mv}}_{{\mathrm{col}}_{L1}}}{d_{L0L1}}\×d_{L0},$ 及(7)

${\mathrm{mv}}_1^{L1}=\frac{{\mathrm{mv}}_{{\mathrm{col}}_{L1}}}{d_{L0L1}}\×(d_{L0}-d_{L0L1}).---\left(8\right)$

可使用用于列表0协同定位图像B-1中的协同定位块的列表0及列表1运动向量来获得用于当前块的运动向量预测。如果在图像B-1中只有协同定位运动向量指向存在（exist）的前向（forward）P图像，则运动预测

及

可根据下式来计算：

${\mathrm{mv}}_3^{L0}=\frac{{\mathrm{mv}}_{{\mathrm{col}}_{{B-1}_{L0}}}}{d_{L0B-1}}\×d_{L0},$ 及(9)

${\mathrm{mv}}_3^{L1}=\frac{{\mathrm{mv}}_{{\mathrm{col}}_{B-1_{L0}}}}{d_{L0B-1}}\×(d_{L0}-d_{L0L1}).$     (10)

运动向量

在图2中被描述且d_L0B-1为前向P帧与帧B-1之间的时间距离。在反向预测的情况中，预测及

可根据下式来计算：

${\mathrm{mv}}_4^{L0}=\frac{{\mathrm{mv}}_{{\mathrm{col}}_{B-1_{L1}}}}{(d_{L0B-1}-d_{L0L1})}\×d_{L0},$ 及(11)

${\mathrm{mv}}_4^{L1}=\frac{{\mathrm{mv}}_{{\mathrm{col}}_{B-1_{L-1}}}}{(d_{L0L1}-d_{L0B-1})}\×(d_{L0L1}-d_{L0}).---\left(12\right)$

运动向量为图像B-1中指向过去的（past）P帧的协同定位运动向量，如图2所示。取决于可用性，等式(7)-(12)中基于时间运动向量及

的相应的预测，以及空间运动向量可被用于当前块，且应用速率失真最优化来选择最佳运动向量预测。依据Laroche等人的运动向量预测机制，会需要传输边信息至解码器端以指示所选择的特定运动向量预测。与所选择的运动向量预测相关的边信息的传输会消耗一些带宽。无论运动向量竞争机制是启用（enable）还是关闭（disable）的，空间及时间运动向量预测可有益于减少运动向量残余量。需要发展一种空间及/或时间运动向量预测技术来提高（enhance）任意空间及/或时间运动向量预测的可用性，无论运动向量竞争被使用与否都不需要边信息。针对具有运动向量竞争或无运动向量竞争的系统，本发明焦点为提高任意空间运动向量预测以改善编码系统性能的空间运动向量预测技术的开发。

在HEVC发展中，由McCann等人提出一种名为高级运动向量预测的技术，标题为“amsung’s Response to the Call for Proposals on Video CompressionTechnology”（Document JCTVC-A124,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG1,1st Meeting:Dresden,Germany,15-23April,2010）。高级运动向量预测技术使用明确的预测信号来指示运动向量预测候选或所选择的运动向量预测候选集。运动向量预测候选集包含空间运动向量预测候选和时间候选，其中空间运动向量预测候选包含三个候选a’,b’及c’，如图3所示。候选a’为来自如图3所示当前块顶部的块{a₀,a₁,…,a_na}群组的第一可用运动向量，其中na为该群组中块的数量。候选b’为来自如图3所示当前块左边的块{b₀,b₁,…,b_nb}群组的第一可用运动向量，其中nb为该群组中块的数量。候选c’为来自如图3所示当前块邻近角落的块{c,d,e}群组的第一可用运动向量。由McCann等人提出的运动向量预测候选集被定义为{中值(a’,b’,c’),a’,b’,c’,时间运动向量预测候选}。时间运动向量预测候选为协同定位运动向量。用于HEVC的正在发展的高级运动向量预测技术仅考虑了具有与可用空间运动向量预测候选相同参考列表及相同参考图像索引的运动向量。如果来自相邻块的具有相同参考列表及相同参考图像索引的运动向量为不可用，则高级运动向量预测技术寻找来自该群组中下一相邻块的可用运动向量。非常需要发展一种可提高来自相邻块的运动向量预测或运动向量预测候选的可用性的运动向量预测机制。改进的运动向量预测机制可导致较小的运动向量残余量从而可提高编码效率。此外，运动向量预测机制会允许在解码器基于解码信息得到预测，所以没有附加的边信息必须被传输，这是令人满意的。

相应地，揭露了一种基于优先级的运动向量预测机制，其中空间运动向量预测或空间运动向量预测候选可从基于空间相邻块的不同列表及不同参考图像的空间相邻块得到。图4为用于当前块410的空间运动向量预测候选的范例，该空间运动向量预测候选来自基于具有预定义（pre-define）顺序的相邻块b的参考图像（refL0，refL1）及运动向量（mvL0，mvL1）得到的相邻块420，其中mvL0及refL0表示相邻块b的列表0运动向量及参考图像，以及mvL1及refL1表示相邻块b的列表1运动向量及参考图像。运动向量预测机制扩展运动向量预测候选至列表0及列表1，此外，来自列表0及列表1的不同的参考图像可在运动向量预测推导中被使用。取决于运动向量预测的配置，来自空间相邻块所得到的运动向量可被用来作为预测以用于当前块，或者所得到的运动向量为被当前块考虑用于运动向量预测的若干运动向量预测候选的其中之一。此外，依据本发明的一些实施例可以得到多于一个运动向量作为运动向量预测候选且运动向量预测候选被共同地称为一个运动向量预测候选集。候选运动向量会以预定义顺序或自适应（adaptive）顺序被选择以节省所需要的边信息。运动向量的列表0及列表1参考图像可被设置至预定义值（例如，参考图像索引=0）或被明确地发送出去。

图5A-B为依据图4运动向量预测机制的决定空间运动向量预测候选的范例，其中用于当前块的空间运动向量预测候选与当前块的列表0中的参考图像相关。虽然当前块的列表0中的参考图像被当作一个范例，但对于当前块，当前运动向量预测机制也可应用于与当前块的列表1中的参考图像相关的运动向量预测候选。如图5A-B所示，用于当前块的列表0空间运动向量预测候选（refL0_b,mvL0_b）从具有预定义顺序的相邻块b中得到。在图5A中，如果mvL0存在且refL0与当前块的列表0参考图像相同，则用于当前块410的基于相邻块b420的空间运动向量预测候选的选择首先被考虑为（refL0,mvL0）。如果mvL0不存在或者refL0与当前块的列表0参考图像不相同，若mvL1存在且refL1与当前块的列表0参考图像相同，则该过程把运动向量预测候选（refL1,mvL1）看作用于当前块410的第二选择。如果mvL1不存在或者refL1与当前块的列表0参考图像不相同，则用于当前块的运动向量预测候选（refL0_b,mvL0_b）为不可用。运动向量预测候选推导的过程描述为以下伪代码（pseudo code）：

如果mvL0存在且refL0与当前块的列表0参考图像相同，则refL0_b=refL0且mvL0_b=mvL0；

否则，如果mvL1存在且refL1与当前块的列表0参考图像相同，则refL0_b=refL1且mvL0_b=mvL1；

否则，（refL0_b,mvL0_b）为不可用。

虽然图5A-B为决定用于当前块的来自具有预定义顺序的相邻块b的列表0空间运动向量预测候选（refL0_b,mvL0_b）的范例，本领域的技术人员可使用其他预定义优先级顺序来实现相同或类似目的。此外，虽然在上述运动向量预测机制中当前块的列表0参考图像被用来作为范例，但是当前块的列表1参考图像也可被使用。

依据图5A-B所示的本发明的实施例得到来自具有预定义顺序的相邻块b的单一空间运动向量预测候选以用于当前块。运动向量预测机制可被扩展来得到空间运动向量预测候选集，可提供更好的运动向量预测及/或提供更多的选择用于挑选最佳的运动向量预测。依据本发明一个实施例得到用于当前块的来自具有预定义顺序的相邻块b的空间运动向量预测候选集{(ref0L0_b,mv0L0_b),(ref1L0_b,mv1L0_b)}如图6所示。再者，mvL0及refL0表示相邻块b的列表0运动向量及参考图像，以及mvL1及refL1表示相邻块b的列表1运动向量及参考图像。图7A-B为决定用于当前块的来自具有预定义顺序的相邻块b的列表0空间运动向量预测候选集{(ref0L0_b,mv0L0_b),(ref1L0_b,mv1L0_b)}的范例。如图7A所示，与来自空间相邻块b的(refL0,mvL0)相关的运动向量首先被考虑。如果mvL0存在且refL0与当前块的列表0参考图像相同，则用于当前块410的基于相邻块b420的运动向量预测候选(ref0L0_b,mv0L0_b)被设置至(refL0,mvL0)。如果mvL0不存在或refL0与当前块的列表0参考图像不相同，则运动向量预测候选(ref0L0_b,mv0L0_b)为不可用。如图7B所示，与来自空间相邻块b的(refL1,mvL1)相关的运动向量接着被考虑。如果mvL1存在且refL1与当前块的列表0参考图像相同，则用于当前块410的基于相邻块b420的运动向量预测候选(ref1L0_b,mv1L0_b)被设置至(refL1,mvL1)。如果mvL1不存在或refL1与当前块的列表0参考图像不相同，则运动向量预测候选(ref1L0_b,mv1L0_b)为不可用。运动向量预测候选集推导的过程描述为以下伪代码：

如果mvL0存在且refL0与当前块的列表0参考图像相同，则ref0L0_b=refL0且mv0L0_b=mvL0；

否则，(ref0L0_b,mv0L0_b)为不可用。

如果mvL1存在且refL1与当前块的列表0参考图像相同，则ref1L0_b=refL1且mv1L0_b=mvL1；

否则，（ref1L0_b,mv1L0_b）为不可用。

虽然图7A-B为决定用于当前块的来自具有预定义顺序的相邻块b的列表0空间运动向量预测候选集{(ref0L0_b,mv0L0_b),(ref1L0_b,mv1L0_b)}的范例，本领域的技术人员可使用其他预定义优先级顺序来实现相同或类似目的。此外，虽然在上述运动向量预测机制中使用当前块的列表0参考图像，但是当前块的列表1参考图像也可被使用。

虽然图4为获得用于当前块的空间运动向量预测候选的范例，该空间运动向量预测候选来自基于具有预定义顺序的相邻块的参考图像（refL0，refL1）及运动向量（mvL0，mvL1）的相邻块，然而，如图8所示，除了非比例（non-scaled）的（mvL0，mvL1），（mvL0，mvL1）的比例版本（scaled version）810-820也可被用来获得运动向量预测候选。比例因子（scaling factor）依据时间距离或图像顺序计数（count）间的差异来得到，其可为正，也可为负。Tourapis（IEEE Trans.on Circuits and Systems for Video Technology,Vol.15,No.1,pp.119-126,Jan.2005）及Laroche(IEEE Trans.on Circuits and Systems for Video Technology,Vol.18,No.12,pp.1681-1691,Dec.2008）等人提出的运动向量比例的范例可被用于获得比例运动向量。然而，针对运动向量预测机制，其他时间运动向量比例也被可用于获得比例运动向量。运动向量的列表0及列表1参考图像可被设置至预定义值（例如，参考图像索引=0）或被明确地发送出去。使用来自相邻块b的比例运动向量（mvL0，mvL1）得到运动向量预测候选的范例如图9所示。当相邻块的参考图像与当前块的列表0参考图像不相同时，除了使用比例运动向量预测候选之外，得到运动向量预测候选的过程类似于图5A-B所示的过程。用于当前块的列表0参考图像索引在图9的范例中为0，亦即refL0_b=j。首先考虑运动向量mvL0。如果mvL0存在，若refL0与当前块的列表0参考图像相同，则用于当前块的运动向量预测候选的选择转到mvL0。如果refL0与当前块的列表0参考图像不相同，则使用比例（scaled）mvL0810作为运动向量预测候选，如图9所示。如果mvL0不存在，运动向量预测机制接着检查mvL1是否存在。如果mvL1存在，若refL1与当前块的列表0参考图像相同，则用于当前块的运动向量预测候选的选择转到mvL1。如果refL1与当前块的列表0参考图像不相同，则选择比例mvL1820作为运动向量预测候选，如图9所示。运动向量预测候选推导的过程描述为以下伪代码：

如果mvL0存在，

如果refL0与当前块的列表0参考图像相同，则mvL0_b=mvL0;

否则mvL0_b=比例mvL0;

否则，如果mvL1存在，

如果refL1与当前块的列表0参考图像相同，则mvL0_b=mvL1;

否则mvL0_b=比例mvL1;

否则，mvL0_b为不可用。

虽然图6为用于当前块的空间运动向量预测候选集的范例，该空间运动向量预测候选集来自基于具有预定义顺序的相邻块的参考图像（refL0，refL1）及运动向量（mvL0，mvL1）的相邻块，然而，除了非比例的（mvL0，mvL1），（mvL0，mvL1）的比例版本也可包含于运动向量预测候选集{(ref0L0_b,mv0L0_b),(ref1L0_b,mv1L0_b)}中，如图10所示。比例因子可根据前面提到的范例中描述的时间距离来得到，其他比例法也可被使用。类似于图8的范例，用于空间相邻块b420的运动向量的列表0及列表1参考图像可被设置至预定义值（例如，参考图像索引=0）或被明确地发送出去。在运动向量预测候选集中包含相邻块b420的比例运动向量（mvL0，mvL1）的运动向量预测机制的范例如图11所示，其中此例中使用的列表0参考图像索引为0，亦即ref0L0_b=ref1L0_b=j。除了比例运动向量也可包含于候选集中之外，得到运动向量预测候选集的过程类似于图7A-B所示的过程。再者，首先考虑mvL0以用于获得运动向量预测候选集。如果mvL0存在，如果refL0与图11中所示当前块的列表0参考图像相同，则用于当前块的运动向量预测候选的选择转到mvL0，亦即mv0L0_b=mvL0。如果refL0与当前块的列表0参考图像不相同，则选择比例mvL0810作为运动向量预测候选，亦即mv0L0_b=比例mvL0，如图11所示。运动向量预测机制接着检查mvL1是否存在。如果mvL1存在，若refL1与当前块的列表0参考图像相同，则用于当前块的候选集的第二运动向量预测候选的选择转至mvL1，亦即mv1L0_b=mvL1。若refL1与当前块的列表0参考图像不相同，则选择比例mvL1820作为如图11所示的候选集的第二运动向量预测候选，亦即mv1L0_b=比例mvL1。运动向量预测候选集推导的过程描述为以下伪代码：

如果mvL0存在，

如果refL0与当前块的列表0参考图像相同，则mv0L0_b=mvL0;

否则mv0L0_b=比例mvL0;

否则，mv0L0_b为不可用，

如果mvL1存在，

如果refL1与当前块的列表0参考图像相同，则mv1L0_b=mvL1;

否则mv1L0_b=比例mvL1;

否则，mv1L0_b为不可用。

对于本领域技术人员来说对上述实施例作出修改是显而易见的，所以只有运动向量的比例版本被使用来获取运动向量预测候选或运动向量预测候选集。举例来说，基于比例运动向量的运动向量预测候选推导的过程描述为以下伪代码：

如果mvL0存在，

则mvL0_b=比例mvL0;

否则，如果mvL1存在，

则mvL0_b=比例mvL1;

否则，mvL0_b为不可用。

基于比例运动向量的运动向量预测候选集推导的过程描述为以下伪代码：

如果mvL0存在，

则mv0L0_b=比例mvL0;

否则，mv0L0_b为不可用，

如果mvL1存在，

则mv1L0_b=比例mvL1;

否则，mv1L0_b为不可用。

在上述依据预定义优先级顺序的运动向量预测候选推导的实施例中，在每一实施例中使用各自的优先级顺序来说明基于来自空间相邻块的运动向量获得预测或预测候选的过程。使用的特定优先级顺序并不解释为本发明的限制。本领域的技术人员可使用不同的优先级顺序用于运动向量预测候选以实现本发明。此外，虽然上述实施例阐述了候选中的运动向量预测的顺序是依据预定义优先级顺序来决定的，但是候选的优先级顺序也可依据自适应机制来被执行。自适应优先级顺序机制可基于先前块的重建过的运动向量的统计量、当前块的分区类型（partition type）、运动向量的相关性（correlation）、运动向量的方向、以及运动向量的距离。并且，自适应机制也可基于两个或多个上述因素的组合。

当先前块的重建过的运动向量的统计量被用于自适应机制时，作为一个范例，该统计量可与运动向量候选的计数相关。优先级顺序适应于运动向量候选的计数，其中具有较高计数的运动向量候选会被分配较高的优先级以用于运动向量预测。当当前块的分区类型被用于自适应机制时，例如，如果大小为2N×2N的当前编码单元被划分成大小为N×2N的两个矩形预测单元且当前块为左预测单元，则与当前编码单元左边相邻单元具有较高相似性的运动向量会被分配较高的优先级；如果大小为2N×2N的当前编码单元被划分成大小为N×2N的两个矩形预测单元且当前块为右预测单元，则与当前编码单元右边以上相邻单元具有较高相似性的运动向量会被分配较高的优先级。当运动向量的相关性被用于自适应机制时，具有较高相关性的运动向量会被分配较高的优先级。例如，如果在优先级表中两个运动向量完全相同，则该运动向量被认为具有较高相关性。当运动向量的方向被用于自适应机制时，指向例如目标参考图像方向的运动向量会被分配较高的优先级。当运动向量的距离被用于自适应机制时，例如，从当前块到目标参考图像的运动向量的较短时间距离会被分配较高的优先级。

虽然上述用于当前块的运动向量预测或运动向量预测候选的推导的范例是关于当前块的列表0中的参考图像，但是类似技术可被应用来得到运动向量预测或运动向量预测候选以用于当前块，其是关于当前块的列表1中的参考图像。此外，虽然上述运动向量预测或运动向量预测候选的每一示范性推导采用当前块的参考图像列表、空间相邻块的参考图像列表、空间相邻块的非比例运动向量及比例运动向量的特定组合，但是其他组合可也被用于运动向量预测候选推导。

需要注意的是，本发明不仅可被应用于帧间（INTER）模式也可应用于跳跃（SKIP）、直接（DERECT）及合并（MERGE）模式。在帧间模式中，给定一个当前列表，运动向量预测被用于来预测预测单元的运动向量，且运动向量残余量被传输。当没有使用运动向量竞争机制时，本发明可用来获取运动向量预测，或者当使用运动向量竞争机制时，本发明可用来得到运动向量预测候选。对于跳跃、直接及合并，它们可被认为是帧间模式的特殊情况，其中运动向量残余量没有被传输且一直被推测为零。在这些情况中，当没有使用运动向量竞争机制时，本发明可用来获得运动向量，或者当没有使用运动向量竞争机制时，本发明可用来得到运动向量候选。

上述依据本发明的运动向量预测的实施例可以各种硬件、软件编码或两者组合的形式实现。例如，本发明的一个实施例可为集成在视频压缩芯片的电路或集成在视频压缩软件的程序代码，以执行所述的处理过程。本发明的一个实施例也可为在数字信号处理器上实现的程序代码，以执行所述的处理过程。本发明也可包含由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列执行的若干功能。依据本发明，这些处理器可被配置以通过执行定义本发明呈现的特定实施方式的机器可读软件编码或固件编码来执行特定任务。软件编码或固件编码可以不同的编程语言及不同格式或类型来开发。软件编码也可被编译用于不同的目标平台。然而，依据本发明，不同的编码格式、类型及软件编码的语言以及其他配置编码的方式来执行任务不会脱离本发明的精神和范围。

本发明可以其他特殊形式被实现而不脱离本发明的精神或本质特征。从各方面来看所述实施例被认为仅是说明性的，而非限制性的。因此，本发明的范围当视所附权利要求指示的为准，而不是以前述说明为准。权利要求均等含义及范围内的所有变化都包含在其范围内。

Claims (20)

1.一种获取运动向量相关信息的方法，用于基于来自一空间相邻块的运动向量为一图像中的一当前块获取运动向量预测或运动向量预测候选或运动向量或运动向量候选，其特征在于，该方法包含：

接收该空间相邻块的一第一参考图像列表中的一第一参考图像相关的一第一运动向量以及一第二参考图像列表中的一第二参考图像相关的一第二运动向量；以及

依据一优先级顺序基于该第一运动向量、该第二运动向量、该第一参考图像、该第二参考图像、以及一所选择的参考图像，为该当前块决定一所选择的参考图像列表中的该所选择的参考图像相关的该运动向量预测或该至少一个运动向量预测候选或该运动向量或该至少一个运动向量候选。

2.如权利要求1所述的方法，其特征在于，该优先级顺序为一预定义的优先级顺序。

3.如权利要求2所述的方法，其特征在于，与该预定义优先级顺序相关的信息包含于一序列头、一图像头或一片图片头中。

4.如权利要求1所述的方法，其特征在于，该优先级顺序是依据一自适应机制被决定。

5.如权利要求4所述的方法，其特征在于，该自适应机制是基于从一组数据选出的标准，该组数据包含先前块的重建过的运动向量的统计量、该当前块的分区类型、该运动向量的相关性、该运动向量的方向、以及该运动向量的距离。

6.如权利要求1所述的方法，其特征在于，该运动向量预测或该至少一个运动向量预测候选或该运动向量或该至少一个运动向量候选是基于该第一运动向量及/或该第二运动向量的一比例版本或一非比例版本，或该第一运动向量及/或该第二运动向量的该比例版本及非比例版本的一组合。

7.如权利要求1所述的方法，其特征在于，该决定该运动向量预测或该至少一个运动向量预测候选或该运动向量或该至少一个运动向量候选是基于一第一情况及一第二情况，其中该第一情况与该第一运动向量是否存在及该第一参考图像是否与该所选择的参考图像相同有关，以及该第二情况与该第二运动向量是否存在及该第二参考图像是否与该所选择的参考图像相同有关。

8.如权利要求1所述的方法，其特征在于，该至少一个运动向量预测候选或该至少一个运动向量候选包含一运动向量预测候选集或一运动向量候选集，该运动向量预测候选集或该运动向量候选集具有与该第一参考图像相关的一第一运动向量预测候选或一第一运动向量候选及与该第二参考图像相关的一第二运动向量预测候选或一第二运动向量候选。

9.如权利要求8所述的方法，其特征在于，该第一运动向量预测候选或该第一运动向量候选是依据该第一运动向量的可用性来决定，以及该第二运动向量预测候选或该第二运动向量候选是依据该第二运动向量的可用性来决定。

10.如权利要求9所述的方法，其特征在于，如果该第一参考图像与该所选择的参考图像不相同，该第一运动向量预测候选或该第一运动向量候选是基于该第一运动向量的一比例版本，以及如果该第二参考图像与该所选择的参考图像不相同，该第二运动向量预测候选或该第二运动向量候选是基于该第二运动向量的一比例版本。

11.一种获取运动向量相关信息的装置，用于基于来自一空间相邻块的运动向量为一图像中的一当前块获取运动向量预测或运动向量预测候选或运动向量或运动向量候选，其特征在于，该装置包含：

一接收装置，用以接收该空间相邻块的一第一参考图像列表中的一第一参考图像相关的一第一运动向量以及一第二参考图像列表中的一第二参考图像相关的一第二运动向量；以及

一决定装置，用以依据一优先级顺序基于该第一运动向量、该第二运动向量、该第一参考图像、该第二参考图像、以及一所选择的参考图像，为该当前块决定一所选择的参考图像列表中的该所选择的参考图像相关的该运动向量预测或该至少一个运动向量预测候选或该运动向量或该至少一个运动向量候选。

12.如权利要求11所述的装置，其特征在于，该优先级顺序为一预定义的优先级顺序。

13.如权利要求12所述的装置，其特征在于，与该预定义优先级顺序相关的信息包含于一序列头、一图像头或一片图片头中。

14.如权利要求11所述的装置，其特征在于，该优先级顺序是依据一自适应机制被决定。

15.如权利要求14所述的装置，其特征在于，该自适应机制是基于从一组数据选出的标准，该组数据包含先前块的重建过的运动向量的统计量、该当前块的分区类型、该运动向量的相关性、该运动向量的方向、以及该运动向量的距离。

16.如权利要求11所述的装置，其特征在于，该运动向量预测或该至少一个运动向量预测候选或该运动向量或该至少一个运动向量候选是基于该第一运动向量及/或该第二运动向量的一比例版本或一非比例版本，或该第一运动向量及/或该第二运动向量的该比例版本及非比例版本的一组合。

17.如权利要求11所述的装置，其特征在于，该决定装置是基于一第一情况及一第二情况来决定该运动向量预测或该至少一个运动向量预测候选或该运动向量或该至少一个运动向量候选，其中该第一情况与该第一运动向量是否存在及该第一参考图像是否与该所选择的参考图像相同有关，以及该第二情况与该第二运动向量是否存在及该第二参考图像是否与该所选择的参考图像相同有关。

18.如权利要求11所述的装置，其特征在于，该至少一个运动向量预测候选或该至少一个运动向量候选包含一运动向量预测候选集或一运动向量候选集，该运动向量预测候选集或该运动向量候选集具有与该第一参考图像相关的一第一运动向量预测候选或一第一运动向量候选及与该第二参考图像相关的一第二运动向量预测候选或一第二运动向量候选。

19.如权利要求18所述的装置，其特征在于，该第一运动向量预测候选或该第一运动向量候选是依据该第一运动向量的可用性来决定，以及该第二运动向量预测候选或该第二运动向量候选是依据该第二运动向量的可用性来决定。

20.如权利要求19所述的装置，其特征在于，如果该第一参考图像与该所选择的参考图像不相同，该第一运动向量预测候选或该第一运动向量候选是基于该第一运动向量的一比例版本，以及如果该第二参考图像与该所选择的参考图像不相同，该第二运动向量预测候选或该第二运动向量候选是基于该第二运动向量的一比例版本。

Images