CN1157954C

CN1157954C - 编码视频数据的转换

Info

Publication number: CN1157954C
Application number: CNB998025097A
Authority: CN
Inventors: N; N·拜洛伊尔
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Pendragon Wireless LLC
Priority date: 1998-09-29
Filing date: 1999-09-09
Publication date: 2004-07-14
Anticipated expiration: 2019-09-09
Also published as: EP1046303A1; KR20010032509A; KR100686480B1; CN1289511A; US6895053B1; JP2002526997A; WO2000019723A1

Abstract

通过编码(ENC1)数据(D)，获得编码的数据(CD)以及一组用于解码(DEC1)编码数据(CD)的参数PAR。通过执行下面的步骤修改编码的数据(CD)。编码数据(CD)至少被部分地解码(DEC1)以获得解码数据(DD)。解码数据(DD)被修改(MOD)以获得修改的数据(MD)。把修改数据(MD)编码(ENC)，从而获得编码的修改数据(CMD)。如果用于解码编码数据(CD)的参数组(PAR)用于解码(DEC2)编码的修改数据(CMD)，则检查(EXAM)是否能获得令人满意的结果。如果结果令人满意，则用于解码编码数据(CD)的参数组(PAR)添加到编码的修改数据(CMD)。如果结果不能令人满意，则创建(ADP)一组新的参数(PAR)并且新参数组(APAR)添加到编码的修改数据(CMD)。相应地，编码数据(CD)可具有较小失真的进行修改。能够以这种方式执行的修改的实例是MPEG编码的视频的422/420格式转换。

Description

编码视频数据的转换

技术领域

本发明涉及修改编码的数据，该编码数据带有一组用于解码该编码数据的参数。本发明适用于对已经根据运动图象专家组(MPEG)定义的标准进行编码的图象序列进行格式转换。

背景技术

文献ISO/IEC13818-2涉及MPEG-2标准。第6.1.1.2节定义了一个包括三个整数矩阵的帧：一个亮度矩阵(Y)和两个色度矩阵(Cb和Cr)。第6.1.1.8节描述了以下称作420格式的4:2:0格式。在这种格式中，Cb和Cr矩阵的垂直和水平尺寸均为Y矩阵尺寸的一半。第6.1.1.9节描述了以下称作422格式的4:2:2格式。在这种格式中，Cb和Cc矩阵的水平尺寸是Y矩阵尺寸的一半，而垂直尺寸则与Y矩阵尺寸相同。

第7.6.3.7节描述了色度分量的运动矢量。对于420格式来说，运动矢量的水平和垂直分量均通过除以二定量。对于422格式来说，运动矢量的水平分量通过除以二定量，而垂直分量保持不变。

发明内容

本发明的一个目的是修改具有较小失真的编码数据。

本发明考虑下面的方案。MPEG视频编码是一种具有下述性质的数据编码技术的实例。通过编码数据(宏块)，可以获得编码的数据(编码的宏块)以及一组用于解码该编码数据的参数(运动矢量、预测模式等)。通过执行下面的步骤可以修改以编码形式获得的数据。该编码数据至少被部分地解码，从而获得解码的数据。修改该解码数据以获得修改的数据。将该修改数据编码以获得编码的修改数据。

基本上，获得一组用于编码的修改数据的参数有两种不同的方法。一种方法是通过不依赖于为编码数据所创建的参数组编码修改的数据产生一组新的参数。这种方法的不利之处在于它可能引入新的编码误差，并因而引起额外的失真。例如，如果这种方法用于修改MPEG编码的视频数据，则产生可能引入额外图象预测误差的运动矢量。

另一种方法是把已经为编码数据所创建的参数组再次用于编码的修改数据。这意味着最初为编码数据所创建的参数组将用于解码编码的修改数据。就失真而言，这并不总是最佳选择。

例如，假定对MPEG编码的视频数据执行422/420格式转换。另外假定应用于422格式的运动矢量和预测模式再次用于420格式。在420格式中，运动矢量的垂直分量一分为二并且四舍五入为最接近的整数以用于色度采样的运动补偿，而在420格式中，垂直分量按原样使用。如果422格式的运动矢量和其它参数再次用于420格式，可能会有下述影响。对于在一行上的一组色度采样来说，在422格式中，运动矢量指的是偶数行上的色度采样，而在420格式中，它指的是奇数行上的色度采样，反之亦然。对于具有帧预测的隔行扫描来说，这种行的奇偶性变化将在解码器端引起图象预测中的时间误差。因而，这将在解码的视频数据中引起失真。

除了上面所讨论的解码，修改和编码步骤外，根据本发明还执行下面的步骤。如果用于解码编码数据的参数组用于解码编码的修改数据，则检查是否能获得令人满意的结果。如果结果令人满意，则用于解码编码数据的参数组应用于编码的修改数据。如果结果不能令人满意，则创建一组新参数并且新的参数组添加到编码的修改数据。

相应地，本发明要在再次使用为编码数据所创建的参数组和为编码的修改数据所创建的一组新参数之间进行选择，而不是总是采用一种方法。选择的依据是在接收编码的修改数据的解码端是否能获得令人满意的结果。因此，本发明允许修改具有较小失真的编码数据。

本发明可应用于对MPEG编码的视频数据执行422/420格式转换。在此应用中要检查下面的参数：可以是帧或场的预测模式以及运动矢量。检查预测模式是否是帧，并且检查在一分为二时运动矢量的垂直分量的奇偶性是否变化。若是如此的话，则会有行奇偶性的变化。因此，如果用于422格式的参数再次用于420格式，则在解码端将会存在失真。为了避免解码端的这种失真，一些数据要被修改。预测模式从帧变为场。结果，偶数行的场和奇数行的场具有各自的图象预测。实际上，运动矢量分裂为两个运动矢量：每个场一个运动矢量。而且，在MPEG-2标准的第6.3.17.2节中定义的参数运动-垂直-场-选择给定了一个适当的值，这样每个运动矢量均指的是正确的场。

附图说明

通过参考附图进行下面的描述，本发明以及其它可有选择地用于执行本发明优点的特征将变得显而易见并且可以被阐述。

图1所示为权利要求1所要求的本发明基本特征的原理图；

图2a和2b分别示出了422格式和420格式的隔行扫描图象的原理图；

图3所示为422/420格式转换的原理图；

图4所示为根据本发明的422/420格式转换器的框图；

图5所示为图4所示422/420格式转换器中的色度处理器的框图；

图6所示为操作图4所示422/420格式转换器所需方法的流程图；以及

图7的表格表示图6所示方法中的一部分的参数修改。

具体实施方式

首先对参考符号的使用进行一些说明。在所有的附图中，相似的实体以相同的字母符号表示。在一个单个附图中，可能会显示各种相似的实体。那样的话，则给字母符号添加数字以识别彼此相似的实体。如果相似实体的数字是一个操作(running)参数，则把该数字包括在括号中。在说明书和权利要求书中，如果可以的话，参考符号中的任何数字都可以忽略。

图1以实线示出了本发明的基本特征。通过编码ENC1数据D，获得编码的数据CD以及一组用于解码DEC1编码数据CD的参数PAR。通过执行下面的步骤修改编码的数据CD。编码数据CD至少被部分地解码DEC1以获得解码数据DD、解码数据DD被修改MOD以获得修改的数据MD。把修改数据MD编码ENC，从而获得编码的修改数据CMD。

如果用于解码编码数据CD的参数组PAR用于解码DEC2编码的修改数据CMD，则检查EXAM是否能获得令人满意的结果。如果结果令人满意，则用于解码编码数据CD的参数组PAR添加到编码的修改数据CMD。如果结果不能令人满意，则创建ADP一组新的参数APAR。新参数组APAR添加到编码的修改数据CMD。通过修改最初为编码数据所创建的一个或多个参数可获得新参数组APAR。

图1所示特征可用于执行MPEG编码视频的422/420格式转换。在那种情况下，数据D通过图象P序列形成。编码数据CD和参数组PAR根据MPEG标准编码ENC1图象P序列获得。

图2a示出了根据MPEG-2标准定义的422格式的隔行扫描的图象。图2b示出了420格式的隔行扫描的图象。在图2a中和2b中，实线表示属于图象奇数行的色度采样，并且虚线表示属于偶数行的色度采样。在422格式中，垂直方向上的色度采样是420格式中的两倍。

图3所示为422/420格式转换。在图3中，小圆圈代表色度采样CS。通过对422格式中最一致的色度采样和其它色度采样进行加权组合，场滤波器VFIL提供420格式的色度采样。这些其它色度采样与最一致的色度采样具有相同的水平位置，但属于相邻的与最一致色度采样所属的行具有相同奇偶性的行。

图4示出了获得图1所示特征的422/420格式转换器。该422/420格式转换器可连接于编码端CE和解码端DE之间，二者均以虚线示出。编码端CE根据MPEG-2标准的422格式把图象P序列编码。从而获得MPEG数据流DS。422/420格式转换器通过响应数据流DS提供修改的MPEG数据流MDS。修改的MPEG数据流MDS根据MPEG-2标准的420格式表示图象P序列。因此，实际上422/420格式转换器在编码端CE通过把垂直方向上的色度分辩率减半来修改图象P序列。

图4所示422/420格式转换器包括下面的主要功能块：一个预测误差解码器PED，一个色度处理器CP，一个参数处理器PP和一个预测误差编码器PEE。预测误差解码器PED包括一个输入缓冲器IBUF，一个可变长解码器VLD，一个去量化器DQ1和一个反相离散余弦变换器IDCT1。预测误差解码器DEC还包括一个参数解码器PD。预测误差编码器PEE包括一个编码误差补偿器CEC，一个离散余弦变换器DCT，一个量化器Q，一个加法器ADD，一个可变长编码器VLC和一个输出缓冲器OBUF。编码误差补偿器CEC包括一个减法器SUB1，一个去量化器DQ2，一个反向离散余弦变换器IDCT2，一个减法器SUB2，一个存储器MEM和一个运动补偿器MC。

图4所示422/420格式转换器基本上进行如下操作。预测误差解码器PED从接收的MPEG数据流DS获得预测误差采样的宏块R。由于MPEG数据流是422格式，所以一个宏块包括4个亮度预测误差采样块和2个色度预测误差采样块。预测误差解码器PED还从MPEG数据流DS获得一组参数PARi。参数PARi中的一些参数，例如运动补偿参数，应用于预测误差采样的专用块R中。因此，应用于一个宏块的运动补偿参数可能与应用于另一个宏块的类似运动补偿参数在数值上不同。

色度处理器CP根据图3所示422/420转换处理预测误差采样的宏块R。也就是说，它对偶数行和奇数行的色度采样单独执行场滤波。相应地，色度处理器CP根据420格式提供处理的预测误差采样的宏块RP。这种处理的宏块包括4个亮度预测误差采样块和1个色度预测误差采样块。

参数处理器PP根据它从预测误差解码器PED接收的参数组PARi提供一组参数PARo。参数处理器还根据参数组PARi计算运动矢量Vi，并且根据参数组PARo计算运动矢量Vo。运动矢量Vi构成色度处理器除了预测误差采样块之外的输入数据。运动矢量Vo构成预测误差编码器PEP除了处理的预测误差采样块RP之外的输入数据。

预测误差编码器PEE把处理的预测误差采样块RP编码。相应地，修改的MPEG数据流MDS包括编码形式的处理的预测误差采样块RP。事实上，预测误差编码器PEE还把参数组PARo添加到修改的数据流MDS中。

首先，参照图5将更详细地描述色度处理器CP的操作。随后，参照图6和7将更详细地描述参数处理器PP的操作。最后将更详细地描述编码误差补偿器CEC的操作。

图5示出了图4所示422/420格式转换器中的色度处理器CP的某些细节。色度处理器CP包括一个存储器MEM，一个场滤波器VFIL，一个控制器CON。色度处理器CP以下面的方式操作。色度预测误差采样块R(C)和运动矢量Vi写入到存储器MEM中，这样场滤波器VFIL能够从垂直方向上彼此相邻的不同块中收集色度预测误差采样，以及属于这些块的运动矢量。对于某个色度预测误差采样来说，控制器CON检查色度预测误差采样所属的块和上下分别相邻的块是否具有类似的运动矢量Vi。如果确实如此，则场滤波器VFIL使用这些块以提供420格式的色度预测误差采样。如果不是，场滤波器VFIL使用色度预测误差采样所属的块，并且实际上反映该块，从而模拟提供滤波输入数据的上下相邻的块。

图6所示为使用该方法可操作参数处理器PP以创建参数组PARo的方法。这种方法基于下面的认识。在420格式中，运动矢量的垂直分量除以二并且四舍五入为最接近的整数，以用于色度采样的运动补偿，而在422格式中，垂直分量按原样使用。如果422格式的运动矢量和其它参数再次用于420格式，则可能会产生下面的影响。对于一行上的一组色度采样来说，在422格式中，运动矢量指的是偶数行上的色度采样，而在420格式中，它指的是奇数行上的色度采样，或者反之亦然。对于具有帧预测的隔行扫描图象来说，这种行的奇偶性变化可能在解码端引起图象预测中的时间误差。从而引起解码视频数据中的失真。如果必要的话，图6所示方法通过修改图象预测参数可防止这种失真。

图6所示方法包括各类步骤S1-S5，每个预测误差采样宏块R至少是部分地执行这些步骤。步骤S1-S5可能会得出第一最终结果E1和第二最终结果E2。第一最终结果E1是参数组PARo对应于参数组PARi。这意味着422/420格式转换不影响可能为帧或场的预测模式。第二最终结果E2是参数组PARo仅仅部分对应于参数组PARi，这是因为修改了图象预测参数。这种参数修改使得预测模式从帧变为场。因此在解码端将进行两个单独的预测：上半场的上半场预测和下半场的下半场预测。MPEG-2标准的第6.1.1.3节定义了上半场和下半场。

在步骤S1，参数处理器PP检查某个预测误差采样宏块R的预测模式PTi是场FI还是帧FR。如果预测模式PTi是场FI，则获得第一最终结果EI：参数组PARo完全对应于参数组PARi。如果预测模式PTi是帧FR，则进一步执行步骤S2和S3。值得注意的是，预测模式PTi由MPEG-2标准的第6.3.17.1节中的参数帧-运动-类型定义。

在步骤S2，控制器计算所考虑的预测误差采样宏块R的运动矢量的垂直分量Viy/HP。MPEG-2标准的第7.6.3.1节描述了计算运动矢量及其垂直分量的方法。如MPEG-2标准所描述的，这样计算的运动矢量的垂直分量Viy/HP以半个像素为单位表示。

在步骤S3，参数处理器PP检查运动矢量的垂直分量的最低有效位LSB(Viy/HP)为1或0。如果运动矢量的垂直分量是1则获得第一最终结果EI：参数组PARo完全对应于参数组PARi。如果运动矢量的垂直分量是0，则进一步执行步骤S4和S5。

在步骤S4中，参数处理器PP运动矢量的垂直分量Viy/HP一分为二。由于运动矢量的垂直分量Viy/HP以半个像素为单位表示，所以步骤S4提供以全像素为单位表示的运动矢量的垂直分量的二进制值Viy/FP。值得注意的是把运动矢量的垂直分量Viy/HP一分为二对应于将其为0的最低有效位删除。

在步骤S5，参数处理器PP检查运动矢量的垂直分量Viy/HP除以二是否会引起奇偶性的变化。也就是说，控制器检查除以二的输出是否是偶数值，而运动矢量的垂直分量Viy/HP是否是偶数值，反之亦然。如果不是(N)则获得第一最终结果EI：参数组PARo完全对应于参数组PARi。如果以二相除引起了奇偶性的变化(Y)，则获得第二最终结果E2：参数组PARo仅仅部分对应于参数组PARi，这是因为一些图象预测参数被修改。

图7的表格表示在第二终止结果E2中运动补偿参数的修改。如上所述，预测模式从帧FR变为场FI：PTi＝FR＝＞PTo＝FI。这意味着在解码端进行两个独立的预测：上半场的上半场预测和下半场的下半场预测。在该表格中，称为TF的列列出了用于上半场预测的参数值，而称为BF的列列出了用于下半场预测的参数值。用于上半场预测的参数值具有一个指数r＝0，而用于下半场预测的参数值具有一个指数r＝1。MPEG-2标准的第7.6.3节的表格7.7定义用于图象预测参数的指数r和其它指数。

在图7所示表格中，称为FSo的行规定MPEG-2标准的第6.3.17.3节中定义的参数运动-垂直-场-选择的值。对于上半场预测来说，这个参数值是以全像素为单位的运动矢量的垂直分量Viy/FP的绝对值的模2。对于下半场预测来说，这个参数值是一减去以全像素为单位的运动矢量的垂直分量Viy/FP的绝对值的模2。

称为Voy/FP的行以全像素为单位分别定义上半场运动矢量和下半场运动矢量的垂直分量的值。以全像素为单位的上半场运动矢量的垂直分量的值除以二，并且四舍五入为下面项目的最接近的整数：以全像素为单位的初始运动矢量的垂直分量Viy/FP减去上半场预测的参数运动-垂直-场-选择的值。在该表格中，参考符号FSo-tf表示在行FSo的列TF中后面的值。以全像素为单位的下半场运动矢量的垂直分量除以二并且四舍五入为下面项目的最接近的整数：一加上以全像素为单位的运动矢量的垂直分量Viy/FP，再减去下半场预测的参数运动-垂直-场-选择的值。在该表格中，参考符号FSo-bf表示在列BF的行Fso上后面的值。

称为Voy/HP的行分别规定以半个像素为单位的上半场运动矢量和下半场运动矢量的垂直分量的值。对于每个垂直分量来说，在上面的行中所列的以半像素为单位的值是以全像素为单位的值的两倍。在该表格中，参考符号Voy-tf/FP表示以全像素为单位的上半场运动矢量的垂直分量的值。这个值在列TF的行Voy/FP上。在该表格中，参考符号Voy-bf/HP表示以全像素为单位的下半场运动矢量的垂直分量的值。这个值在列BF的行Voy/FP上。

图4所示参数控制器PP创建下述的修改的运动矢量参数：运动-码，运动-剩余，dm矢量(dmvector)。MPEG-2标准的第6.3.17.3节中定义了这些参数。所修改的运动-矢量参数在解码端分别提供具有在图7所示表格中的行Voy/HP上的列TF和BF中所规定的垂直分量的上半场运动矢量和下半场运动矢量。上半场运动矢量和下半场运动矢量的水平分量对应于包含在所接收的MPEG-数据流DS中的运动矢量的水平分量。

现在将更详细地描述编码误差补偿器CEC。编码误差补偿器CEC把采样的编码误差补偿宏块EC从处理的预测误差采样宏块RP中减去。相应地获得编码误差补偿处理的预测误差采样的宏块RPC。离散余弦变换器DCT把编码误差补偿处理的预测误差采样宏块RPC中的每个块单独变换为空间频率系数的块。量化器Q量化该块中的每个空间频率系数。从而获得提供到可变长编码器VLC的量化的空间频率系数的块。作为响应，可变长编码器VLC提供写入到输出缓冲器OBUF的可变长码，并且在某一时间之后从输出缓冲器OBUF中读出以形成修改的MPEG数据流MDS的一部分。

编码误差补偿器CEC以下述方式创建采样EC的误差补偿宏块。对于每个编码误差补偿处理的预测误差采样宏块RPC来说，去量化器DQ2之后的反相离散余弦变换器IDCT2提供编码误差补偿处理的预测误差采样宏块RPC的解码模式RPCD。减法器SUB1把最初的编码误差补偿处理的预测误差采样宏块RPC从其解码模式RPCD中减去。因而获得存储在存储器MEM中的采样的编码误差宏块E。因此，当预测误差编码器PEE接收属于图象P(n)的处理的预测误差采样的宏块RP的时候，存储器MEM将包括属于前个图象P(n-1)的采样的编码误差宏块E。运动补偿器MC根据与处理的预测误差采样的宏块RP相关的运动矢量Vo选择这些采样的编码误差宏块E中的一个。所选采样的编码误差宏块E组成采样的误差补偿宏块EC。

如上所述，图4所示并且参照图5-7进一步描述了其操作的422/420格式转换器再次体现了图1所示的特征。正因如此才进行了下面的说明。如果用于解码所接收的编码视频数据的参数组PARi用于解码编码的修改视频数据，图6所示的方法将检查是否能获得令人满意的结果。如果结果令人满意，则用于解码所接收的编码视频数据的参数组PARi添加到编码的修改的视频数据：PARo＝PARi。如果结果不能令人满意，则创建一组新参数，并且新的参数组添加到编码的修改的视频数据中。新的参数组是通过修改最初为编码数据所创建的一个或多个参数而创建的。

以上的附图及其描述显示了本发明而不是限制了本发明。显然，在本发明附属权利要求的范围内可进行很多变化。因而会有下面的结束语。

对于各种单元来说，可以有很多种方式进行物理扩展功能或功能元件。因此，附图是非常示意性的，每个附图仅表示本发明的一种可能实施例。因此，尽管附图把不同的功能元件显示为不同的块，但这并不排除把某些功能块或所有的功能块作为一个单个的物理单元实施。

尽管图4所示422/420格式转换器仅部分解码输入的MPEG数据流，但这并不排除完全解码所接收的编码数据的实施例。例如，图4所示422/420格式转换器能够以下面的方式改进。预测误差编码器PED由完全解码MPEG数据流的解码器代替，从而获得包括色度图象采样的图象采样宏块。色度处理器CP由进行图3所示垂直方向的色度图象采样的加权组合的场滤波器代替。由于场滤波器对色度图象采样操作而不是对色度预测误差采样进行操作，所以必须检查垂直相邻的宏块是否具有相似的运动矢量。也就是说不需要与色度处理器CP中的控制器CON相似的控制器。预测误差编码器PEE由编码由场滤波器处理的图象采样宏块的编码器所取代。该编码器执行根据参数组PARo的运动补偿，并且特别执行根据图7所示的修改的图象预测参数的运动补偿。

Claims

1.一种修改与一组参数结合在一起的输入的已编码数据的方法，该参数组用于解码所述输入的已编码数据，该方法包括步骤：

对该输入的已编码数据解码以获得预测误差采样；

修改预测误差采样以获得修改的数据；

编码该修改的数据以获得编码的修改数据；

如果所述参数组用于解码编码的修改数据，则检查是否能获得令人满意的结果；以及

如果结果令人满意，则把所述参数组添加到编码的修改数据中，或者如果结果不能令人满意，则创建一组新的参数并且把所述新的参数组添加到编码的修改数据中。

2.一种数据修改器，用于修改与一组参数结合在一起的输入的已编码数据，该参数组用于解码所述输入的已编码数据，该数据修改器包括：

解码器，用于解码该输入的已编码数据以获得预测误差采样；

修改器单元，用于修改预测误差采样以获得修改的数据；

编码器，用于编码修改的数据以获得编码的修改数据；

检查器，如果所述参数组用于解码编码的修改数据，则用于检查是否能获得令人满意的结果；

加法器，如果结果令人满意，则用于把所述参数组添加到编码的修改数据中，或者如果结果不能令人满意，则用于创建一组新的参数并且把新的参数组添加到编码的修改数据中。

3.一种用于把输入的已编码视频数据从第一格式转换到第二格式的方法，该方法包括步骤：

对第一格式的输入的已编码视频数据解码以获得第一格式的预测误差采样；

对包括在第一格式的预测误差采样中的色度采样垂直滤波以获得第二格式的预测误差采样；

对第二格式的预测误差采样编码以获得第二格式的编码视频数据；

如果属于第一格式的编码视频数据的运动参数用于解码第二格式的编码视频数据，则检查是否能获得令人满意的结果；以及

如果结果令人满意，则把所述运动参数添加到第二格式的编码视频数据中，或者如果结果不能令人满意，则创建一个新的运动参数并且把所述新运动参数添加到第二格式的编码视频数据中。

4.一种视频转换器，用于把输入的已编码视频数据从第一格式转换到第二格式，该视频转换器包括：

解码器，用于对第一格式的输入的已编码视频数据解码以获得第一格式的预测误差采样；

垂直滤波器，用于对包括在第一格式的预测误差采样中的色度采样垂直滤波以获得第二格式的预测误差采样；

编码器，用于对第二格式的预测误差采样编码以获得第二格式的编码视频数据；

检查器，如果属于第一格式的编码视频数据的运动参数用于解码第二格式的编码视频数据，则用于检查是否能获得令人满意的结果；以及

加法器，如果结果令人满意，则用于把所述运动参数添加到第二格式的编码视频数据中，或者如果结果不能令人满意，则用于创建一个新的运动参数并且把所述新运动参数添加到第二格式的编码视频数据中。