CN101193302A - 照明补偿方法和设备以及视频编解码方法和设备 - Google Patents

Abstract

提供了一种照明补偿方法和设备以及使用所述照明补偿方法的视频编码/解码方法和设备。对用于运动估计的参考块的照明补偿方法包括：接收将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值，以及基于输入的所述当前块周围的重构邻接像素的像素值和输入的所述参考块周围的重构邻接像素的像素值对所述参考块执行照明补偿。

Description

照明补偿方法和设备以及视频编解码方法和设备

本申请要求于2006年12月1日提交到韩国知识产权局的第10-2006-0120949号韩国专利申请的优先权，该申请的公开完全合并于此，以资参考。

技术领域

符合本发明的方法和设备涉及照明补偿，更具体地说，涉及用于视频编码和解码的照明补偿。

背景技术

当在相邻视点之间的预测期间在所述相邻视点之间执行用于三维(3D)显示应用的多视点编码(MVC)时，由于未完全校准相机、不同的透视投影方向、不同的反射效果等原因可能发生照明变化，造成编码效率降低。由于照明改变，在场景切换期间单视点编码也可能造成编码效率降低。

为了解决该问题，H.264采用加权预测。加权预测方案应用于片级的运动补偿，并根据适当的加权因子W和附加偏移量0来补偿照明。照明变化自适应运动估计/运动补偿(ICA ME/MC)改进了所述加权预测方案。

以16×16的块为单位对Y分量执行ICA ME/MC，并获取每个宏块的照明变化差分值(DVIC)。

ICA ME/MC具有两种模式：一种是IC帧间(IC-inter)16×16模式，其使用ICA ME/MC，并用于预测(P)片或双向预测(B)片，另一种是IC直接式(IC-direct)16×16模式，其不使用ICA ME，并仅用于B片。为了补偿本地照明变化，IC帧间16×16模式和IC直接式16×16模式中的每一个都需要1比特标志(即，mb_ic_flag)。

由于当前块的DVIC与所述当前块相邻的邻接块的DVIC具有高相关性，因此，通过对当前块的DVIC和邻接块的DVIC之间的差进行编码来对所述当前块执行DVIC。

以下，将描述在IC帧间16×16模式下以宏块为单位执行的ICA ME/MC。

对于ICAME/MC，必须定义绝对差(SAD)的新的总和。位于当前帧中(i，j)处的像素被表示为f(i，j)，位于参考帧中(i，j)处的像素被表示为r(i，j)，计算SxT块的SAD(其中SxT可以是16×16、16×8、8×16、8×8、8×4、4×8或4×4)的步骤如下：

$\mathrm{SAD}(x,y)=\underset{i=m}{\overset{m+S-1}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+T-1}{\mathrm{\Σ}}}|f(i,j)-r(i+x,j+y)|............................\left(1\right)$

其中，(x，y)指示候选运动矢量，(i，j)指示当前块的位置。

为了补偿照明变化，需要如下的新的SAD：

$M_{\mathrm{cur}}=\frac{1}{S\×T}\underset{i=m}{\overset{m+S-1}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+T-1}{\mathrm{\Σ}}}f(i,j)$

$M_{\mathrm{ref}}(p,q)=\frac{1}{S\×T}\underset{i=p}{\overset{p+S-1}{\mathrm{\Σ}}}\underset{j=q}{\overset{q+T-1}{\mathrm{\Σ}}}r(i,j)..........................\left(2\right)$

其中，M_cur指示当前块中的像素值的平均值，M_ref指示参考块中的像素值的平均值，(p，q)指示参考块的位置。以下给出新的SAD(即，NewSAD(x，y))：

$\mathrm{NewSAD}(x,y)=\underset{i=m}{\overset{m+S-1}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+T-1}{\mathrm{\Σ}}}\left|\right\{f(i,j)-M_{\mathrm{cur}}\}-\{r(i+x,j+y)-M_{\mathrm{ref}}(m+x,n+y)\left\}\right|$

................................(3)

搜索基于等式3使NewSAD(x，y)最小的块(例如，16×16块)，并且还搜索与找到的块相应的运动矢量。

一旦找到使NewSAD(x，y)最小的运动矢量MV(x’，y’)，下面确定照明补偿残余信号NewR(i，j)：

NewR(i，j)＝{f(i，j)-M_cur}-{r(i+x′，j+y′)-M_ref(m+x′，n+y′)}

          ＝{f(i，j)-r(i+x′，j+y′)}-{M_cur-M_ref(m+x′，n+y′)}

          ＝{f(i，j)-r(i+x′，j+y′)}-DVIC

                                 .............................(4)

为了指示是否使用了ICA ME/MC，在语法中存储1比特标志mb_ic_flag。在该语法中还包括DVIC的差分脉冲编码调制(DPCM)值。如果mb_ic_flag是“0”，则其指示未对当前块执行ICA MC。如果mb_ic_flag是“1”，则其指示对当前块执行ICA MC。

当mb_ic_flag是“1”时，解码器的ICAME/MC单元获得如下重构像素：

f′(i，j)＝{NewR″(x′，y′，i，j)+r(i+x′，j+y′)}+{M_cur-M_ref(m+x′，n+y′)}

            ＝{NewR″(x′，y′，i，j)+r(i+x′，j+y′)}+DVIC

                                  ...............................(5)

其中，NewR″(i，j)指示重构的照明补偿残余信号，f′(i，j)指示在当前帧中的重构像素。

由于必须根据传统ICA ME/MC发送DVIC信息，因此编码效率降低。

发明内容

本发明提供一种不需要传输照明变化的差分值(DVIC)信息的照明补偿方法和设备，以及一种使用所述照明补偿方法的视频编码/解码方法和设备。

根据本发明的一方面，提供一种对用于运动估计的参考块的照明补偿方法。该照明补偿方法包括：接收将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值，并基于输入的所述当前块周围的重构邻接像素的像素值和输入的参考块周围的重构邻接像素的像素值对参考块执行照明补偿。

执行照明补偿的步骤可包括：基于当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值之间的相关性来计算对参考块的照明补偿参数，以及基于计算的照明补偿参数来产生照明补偿参考块。

执行照明补偿的步骤还可包括：确定使等式 $J=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}{[f^{\′}(i,-1)-a_{x,y}\×r_{x,y}^{\′}(i,-1)-b_{x,y}]}^2+\underset{j=0}{\overset{15}{\mathrm{\Σ}}}{[f^{\′}(-1,i)-a_{x,y}\×r_{x,y}^{\′}(-1,j)-b_{x,y}]}^2$ 中的J最小的a_x，y和b_x，y的值，并使用确定的a_x，y和b_x，y的值基于 $\stackrel{\‾}{f}(i,j)=a_{x,y}\·r_{x,y}^{\′}(i,j)+b_{x,y}$ 来产生照明补偿参考块，其中，a_x，y和b_x，y取决于运动矢量(x，y)并且关于运动矢量(x，y)是常数，f′(i，-1)和f′(-1，j)指示当前块周围的重构邻接像素的像素值，r_x，y′(i，-1)和r_x，y′(-1，j)指示参考块周围的重构邻接像素的像素值，r_x，y′(i，j)指示运动补偿参考块，

指示照明补偿参考块。

执行照明补偿的步骤还可包括：使用当前块周围的重构邻接像素的像素值与参考块周围的重构邻接像素的像素值之间的差的平均值来产生照明补偿参考块。

执行照明补偿的步骤还可包括：使用当前块周围的重构邻接像素的像素值的平均值与参考块周围的重构邻接像素的像素值的平均值之间的差来产生照明补偿参考块。

在多视点编码中，参考块可以是包括在相邻视点的重构帧中的参考块中的块。

根据本发明的另一方面，提供一种对用于运动估计的参考块的照明补偿设备。该照明补偿设备包括：照明补偿单元，基于将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对参考块执行照明补偿。

照明补偿单元可包括：计算单元，基于当前块周围的重构邻接像素的像素值与参考块周围的重构邻接像素的像素值之间的相关性计算对参考块的照明补偿的照明补偿参数；以及照明补偿参考块产生单元，基于计算的照明补偿参数产生照明补偿参考块。

根据本发明的另一方面，提供一种基于照明补偿的视频编码方法。该视频编码方法包括：基于将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对用于运动估计的参考块执行照明补偿，并基于照明补偿参考块执行运动估计。

根据本发明的另一方面，提供一种基于照明补偿的视频编码设备。该视频编码设备包括：照明补偿单元，基于将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对用于运动估计的参考块执行照明补偿；以及运动估计单元，基于照明补偿参考块执行运动估计。

根据本发明的另一方面，提供一种基于照明补偿的视频解码方法。该视频解码方法包括：基于将被解码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对用于运动补偿的参考块执行照明补偿，并基于照明补偿参考块执行运动补偿。

根据本发明的另一方面，提供一种基于照明补偿的视频解码设备。该视频解码设备包括：照明补偿单元，基于将被解码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对用于运动补偿的参考块执行照明补偿；以及运动补偿单元，基于照明补偿参考块执行运动补偿。

根据本发明的另一方面，提供一种计算机可读记录介质，其上记录有实施用于运动估计的对参考块的照明补偿方法的程序。所述照明补偿方法包括：接收将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值，以及基于输入的所述当前块周围的重构邻接像素的像素值和输入的参考块周围的重构邻接像素的像素值对参考块执行照明补偿。

根据本发明的另一方面，提供一种计算机可读记录介质，其上记录有实施基于照明补偿的视频编码方法的程序。该视频编码方法包括：基于将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对用于运动估计的参考块执行照明补偿，并基于照明补偿参考块执行运动估计。

根据本发明的另一方面，提供一种计算机可读记录介质，其上记录有实施基于照明补偿的视频解码方法的程序。该视频解码方法包括：基于将被解码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对用于运动补偿的参考块执行照明补偿，并基于照明补偿参考块执行运动补偿。

附图说明

通过下面参照附图对其示例性实施例的详细描述，本发明的上述和其他方面将会变得更加清楚，其中：

图1是根据本发明示例性实施例的照明补偿设备的框图；

图2A和图2B是根据本发明示例性实施例的用于解释计算照明补偿参数的示图；

图3是示出根据本发明示例性实施例的照明补偿方法的流程图；

图4是根据本发明示例性实施例的使用照明补偿方法的视频编码设备的框图；

图5是示出根据本发明示例性实施例的使用照明补偿方法的视频编码方法的流程图；

图6是根据本发明示例性实施例的使用照明补偿方法的视频解码设备的框图；

图7是示出根据本发明示例性实施例的使用照明补偿方法的视频解码方法的流程图；

图8是用于解释在8×8模式下的编码顺序的示图；以及

图9是用于解释在4×4模式下的编码顺序的示图。

具体实施方式

以下，将参照附图详细描述本发明的示例性实施例。在整个附图中相同的标号指示相同的部件。

图1是根据本发明示例性实施例的照明补偿设备100的框图。

参照图1，照明补偿设备100包括照明补偿参数计算单元120和照明补偿参考块产生单元140。

照明补偿参数计算单元120基于当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值计算照明补偿参数，并将计算的照明补偿参数输出到照明补偿参考块产生单元140。在单视点编码中，参考块可以是重构先前帧中的块。在多视点编码中，参考块可以是相邻视点的重构帧中的参考块中的块。

将参照图2A和图2B描述根据本发明的照明补偿参数的计算。将分别进行关于16×16模式、8×8模式、4×4模式和自适应模式的描述。

现在将参照图2A和图2B描述在16×16模式下计算照明补偿参数。稍后将描述在其他模式下的计算。

在图2A中，用粗线标记的块是16×16 Y块，该块是与参考帧中的运动矢量(x，y)对应的重构参考块。与运动矢量(x，y)对应的参考块中位于(i，j)处的重构像素被表示为r′_x，y(i，j)。这里，撇号′的意思是重构值。打点的像素是当前块周围的重构邻接像素。参考帧在单视点编码情况下是先前帧，而在多视点编码情况下是相邻视点的重构帧。

在图2B中，用粗线标记的块是16×16当前Y块。当前块中位于(i，j)处的原始像素被表示为f(i，j)。打点的邻接像素用于运动估计补偿。用于运动估计补偿的邻接像素已经被重构。如图2A，撇号′的意思是重构值。

当前块中的像素f(i，j)的预测值可由r′_x，y(i，j)的线性函数表达如下：

$\stackrel{\‾}{f}(i,j)=a_{x,y}\·r_{x,y}^{\′}(i,j)+b_{x,y}...........................\left(6\right)$

在8比特图像的情况下，使用等式6获得的预测值被截取为在[0，255]的范围中。

如等式6，一旦确定了a_x，y和b_x，y就可以计算预测值。在本发明的当前示例性实施例中，基于这样的事实，即当前块中的像素的照明与当前块周围的邻接像素的照明相差不大，使用图2A和图2B中示出的邻接像素来计算与运动矢量(x，y)对应的照明补偿参数a_x，y和b_x，y。

换句话说，由于可使用当前块和参考块的邻接重构像素来确定a_x，y和b_x，y，因此解码器可以在不需要编码器使用预定的语法将a_x，y和b_x，y发送到解码器的情况下计算a_x，y和b_x，y，从而减少了发送数据。

现在将描述根据本发明用于确定a_x，y和b_x，y的三个示例性实施例，即，线性回归、基于预测值的差的平均值(ADP)和基于预测值的平均值的差(DAP)。

首先将参照等式7和等式8描述线性回归。

在线性回归方法中，可确定使等式7的值最小的a_x，y和b_x，y的值。

$J=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}{[f^{\′}(i,-1)-a_{x,y}\×r_{x,y}^{\′}(i,-1)-b_{x,y}]}^2+\underset{j=0}{\overset{15}{\mathrm{\Σ}}}{[f^{\′}(-1,i)-a_{x,y}\×r_{x,y}^{\′}(-1,j)-b_{x,y}]}^2$

                                 ...........................(7)

其中，f′(i，-1)和f′(-1，j)指示当前块周围的邻接像素的像素值，r_x，y′(i，-1)和r_x，y′(-1，j)指示运动补偿参考块周围的邻接像素的像素值，a_x，y和b_x，y取决于运动矢量(x，y)并且关于运动矢量(x，y)是常数。

使用部分差分方法，以下给出使等式7的J最小的a_x，y和b_x，y的值：

$a_{x,y}=\frac{N\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{f}^{\′}\left(n\right)\·r_{x,y}^{\′}\left(n\right)-\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{f}^{\′}\left(n\right)\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{r}_{x,y}^{\′}\left(n\right)}{N\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left(r_{x,y}^{\′}\left(n\right)\right)}^2-{\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{r}_{x,y}^{\′}\left(n\right)\right)}^2},$

$b_{x,y}=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{f}^{\′}\left(n\right)-a_{x,y}\·\underset{n=1}{\overset{n}{\mathrm{\Σ}}}{r}_{x,y}^{\′}\left(n\right)}{N}..........................\left(8\right)$

其中，当每个当前块和每个参考块都是16×16大小时，N等于32，f′(n)指示当前块周围的重构邻接像素，并且是f′(i，-1)和f′(-1，j)中的一个，r_x，y′(n)是r_x，y′(i，-1)和r_x，y′(-1，j)中的一个。这里，i和j可以在0和15之间的范围中。

现在将参照等式9描述使用ADP计算a_x，y和b_x，y。

根据ADP，在将a_x，y固定为1的同时仅计算b_x，y。换句话说，以下b_x，y被确定为重构邻接像素的像素值之间的差的平均值：

$b_{x,y}=\frac{\underset{i=0}{\overset{15}{\mathrm{\Σ}}}(f^{\′}(i,-1)-r_{x,y}^{\′}(i,-1))+\underset{j=0}{\overset{15}{\mathrm{\Σ}}}(f^{\′}(-1,j)-r_{x,y}^{\′}(-1,j))}{32}.........................\left(9\right)$

以下，将参照等式10描述使用DAP计算a_x，y和b_x，y。

在DAP中，在将a_x，y固定为1的同时仅计算b_x，y。换句话说，以下b_x，y被确定为重构邻接像素的像素值的平均值之间的差：

$b_{x,y}=\frac{\underset{i=0}{\overset{15}{\mathrm{\Σ}}}{f}^{\′}(i,-1)+\underset{j=0}{\overset{15}{\mathrm{\Σ}}}{f}^{\′}(-1,j)}{32}-\frac{\underset{i=0}{\overset{15}{\mathrm{\Σ}}}{r}_{x,y}^{\′}(i,-1)+\underset{j=0}{\overset{15}{\mathrm{\Σ}}}{r}_{x,y}^{\′}(-1,j)}{32}..............\left(10\right)$

如上所述，照明补偿参数计算单元120使用线性回归、ADP和DAP来计算照明补偿参数a_x，y和b_x，y，并将计算的a_x，y和b_x，y输出到照明补偿参考块产生单元140。

照明补偿参考块产生单元140产生包括使用等式6获得的像素f(i，j)的预测值的照明补偿参考块，并将产生的照明补偿参考块输出到运动估计单元(未示出)。

图3是示出由照明补偿设备100实现的照明补偿方法。

在操作310，输入当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值。在单视点编码中，参考块可以是重构先前帧中的块。在多视点编码中，参考块可以是相邻视点的重构帧中的参考块中的块。

在操作320，基于输入的当前块周围的重构邻接像素的像素值和输入的参考块周围的重构邻接像素的像素值对参考块执行照明补偿。在操作320，如等式7至等式10，基于输入的当前块周围的重构邻接像素的像素值和输入的当前帧中的参考块周围的重构邻接像素的像素值之间的相关性来产生照明补偿参数，并使用等式6利用产生的照明补偿参数来产生照明补偿参考块。

图4是根据本发明示例性实施例的使用照明补偿方法的视频编码设备的框图。

根据本发明的视频编码设备包括：变换/量化单元410、反变换/反量化单元420、帧存储单元430、照明补偿单元440、ME/MC单元450、第一加法单元460、第二加法单元462和熵编码单元470。

变换/量化单元410变换输入视频数据以移除输入视频数据的空间冗余。变换/量化单元410使用预定的量化步骤对通过执行变换编码而获得的变换系数进行量化，从而获得包括量化的变换系数的二维(2D)NxM数据。可使用DCT作为所述变换。使用预定的量化步骤执行量化。

反量化/反变换单元420对变换/量化单元410量化的视频数据进行反量化，并且使用例如反DCT(IDCT)对反量化的视频数据进行反变换。

第二加法单元462将反变换/反量化单元420获得的重构视频数据与从ME/MC单元450输出的预测视频数据相加，从而产生重构视频数据。

帧存储单元430以帧为单位存储第二加法单元462获得的重构视频数据。

照明补偿单元440接收从帧存储单元430输入的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值，以便产生照明补偿参考决，并将产生的照明补偿参考块输出到ME/MC单元450。当输入的视频数据是基于MVC时，参考块周围的重构邻接像素可以是位于相邻视点的帧中的像素。在这种情况下，可以从基于MVC的参考块帧存储单元(未示出)输入参考块周围的重构邻接像素。

照明补偿单元440的工作方式与图1中示出的照明补偿设备100相同，因此为了简化解释，将不再详细描述。

ME/MC单元450基于当前帧的输入视频数据和从照明补偿单元440输出的照明补偿参考块估计每个宏块的运动矢量MV。ME/MC单元450还基于估计的运动矢量产生运动补偿预测区域P(例如，通过运动估计选择的16×16区域)，并将运动补偿预测区域P输出到第一加法单元460。

换句话说，下面ME/MC单元450基于照明补偿单元440获得的照明补偿参考块来获取与当前块对应的照明补偿(IC)SAD。ME/MC单元450还对各IC SAD进行比较并搜索最终的运动矢量。

$\mathrm{IC}-\mathrm{SAD}(x,y)=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}|f(i,j)-\stackrel{\‾}{f}(i,j)|$

$=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}|f(i,j)-a_{x,y}\·r_{x,y}^{\′}(i,j)-b_{x,y}|...............\left(11\right)$

其中，a_x，y和b_x，y取决于运动矢量(x，y)，并且关于运动矢量(x，y)是常数。

ME/MC单元450还可包括比较单元(未示出)。

比较单元将基于输入的当前帧的视频数据和从照明补偿单元440输出的照明补偿参考块的编码效率与基于输入的当前帧的视频数据和从帧存储单元430输出的未经照明补偿的参考块的编码效率进行比较，并选择具有较高效率的一个。此时，ME/MC单元450产生使用选择的ME/MC获得的运动补偿预测区域P，并将运动补偿预测区域P输出到第一加法单元460。

另外，可将指示是否应用了照明补偿的1比特标志信息发送到以宏块为单位使用预定语法的解码器。此外，可按照画面组(GOP)或片为单位来估计照明补偿的性能，并且可以按照GOP或片为单位来发送指示是否应用了照明补偿的标志信息。

第一加法单元460以预定块为单位将原始视频数据与从ME/MC单元450输出的预测值之间的差输入到变换/量化单元410。当通过运动矢量搜索确定了当前块的最终运动矢量(p，q)时，第一加法单元460如下计算当前块的残余(p，q)，并将残余(p，q)输出到变换/量化单元410。

residue(p，q)＝{f(i，j)-a_p，q·r_p，q′(i，j)-b_p，q|0≤i，j≤15} ................(12)

其中，a_p，q和b_p，q与运动矢量(p，q)不同，并且关于运动矢量(p，q)是常数。

熵编码单元470接收从变换/量化单元410输出的量化的变换系数和从ME/MC单元450输出的运动矢量，并对接收的变换系数和运动矢量执行熵编码，从而输出最终的编码比特流。

图5是示出根据本发明示例性实施例由使用照明补偿方法的视频编码设备实现的视频编码方法的流程图。

在操作510，执行变换和量化。

在操作520，对经过变换和量化的数据执行反变换和反量化，以便产生重构视频数据。

在操作530，基于将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对参考块执行照明补偿。在本发明的当前示例性实施例中，参考块是被包括在先前帧中的块。然而，当输入的视频数据是基于MVC时，参考块可以是位于相邻视点的帧中的块。

在操作540，基于照明补偿参考块执行ME和MC以便产生预测块。

在操作550，基于原始视频数据和产生的预测块产生残余视频数据。对产生的残余视频数据执行变换和量化。利用ME获得的运动矢量对经过变换和量化的残余视频数据进行熵编码。

图6是根据本发明示例性实施例的使用照明补偿方法的视频解码设备的框图。

参照图6，视频解码设备包括：熵解码单元610、反量化/反变换单元620、帧存储单元630、照明补偿单元640、ME/MC单元650和加法单元660。

熵解码单元610对输入的编码比特流执行熵解码以便提取视频数据、运动矢量信息等。熵解码视频数据被输入到反量化/反变换单元620，并且运动矢量信息被输入到ME/MC单元650

反变换/反量化单元620对熵解码单元610提取的视频数据执行反变换/反量化。

帧存储单元630以帧为单位存储由反变换/反量化单元620反量化和反变换后的数据。

照明补偿单元640接收当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值以便产生照明补偿参考块，并将产生的照明补偿参考块输出到ME/MC单元650。照明补偿单元640的工作方式与图1中示出的照明补偿设备100相同，因此为了简化解释，将不再详细描述。

可选地，当在图6中示出的视频解码设备是基于MVC时，参考块周围的重构邻接像素可以是位于相邻视点的帧中的像素。在这种情况下，可从基于MVC的参考帧存储单元(未示出)输入参考块周围的重构邻接像素。

ME/MC单元650基于当前帧的视频数据和从照明补偿单元640输出的照明补偿参考块来估计每个宏块的运动矢量MV。ME/MC单元650还基于估计的运动矢量产生运动补偿预测区域P(例如，通过运动估计选择的16×16区域)，并将运动补偿预测区域P输出到加法单元660。

换句话说，ME/MC单元650基于照明补偿单元640获得的照明补偿参考块来获得与当前块对应的照明补偿(IC)SAD。ME/MC单元650还对各ICSAD进行比较并搜索最终的运动矢量。

ME/MC单元650还可包括比较单元(未示出)。比较单元将基于输入的当前帧的视频数据和从照明补偿单元640输出的照明补偿参考块的编码效率与基于输入的当前帧的视频数据和从帧存储单元630输出的未经照明补偿的参考块的编码效率进行比较，并选择具有较高效率的一个。此时，ME/MC单元650产生使用选择的ME/MC获得的运动补偿预测区域P，并将运动补偿预测区域P输出到加法单元660。

熵解码单元610还可提取指示是否应用了照明补偿的标志信息，ME/MC单元650将基于照明补偿参考块或基于未经过照明补偿的参考块(由提取的标志信息确定)进行运动估计和运动补偿的预测块输出到加法单元660。

加法单元660将由反变换/反量化单元620重构的视频数据与从ME/MC单元650输出的预测值相加，并将相加的结果输出到显示单元(未示出)和帧存储单元630。

在本发明的当前示例性实施例中，加法单元660将从反量化/反变换单元620输入的残余信号residue(p，q)的重构残余信号residue′(p，q)与从ME/MC单元650输入的预测块的像素值相加，从而计算当前块中的最终重构像素f′(x，y)如下：

f′(i，j)＝residue_p，q′(i，j)+a_p，q·r′(i，j)+b_p，q ...................(13)

其中，a_p，q和b_p，q与运动矢量(p，q)不同，并且关于运动矢量(p，q)是常数。

图7是示出根据本发明示例性实施例的由视频解码设备使用照明补偿方法实现的视频解码方法的流程图。

在操作710，对输入编码比特流进行熵解码以便提取视频数据和运动矢量信息。

在操作720，对提取的视频数据执行反变换和反量化。

在操作730，通过反变换和反量化获得的重构视频数据被存储在帧单元中。

在操作740，基于将被解码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对参考块执行照明补偿。当输入比特流是基于MVC时，参考块周围的重构邻接像素是位于相邻块的帧中的像素。

在操作750，基于照明补偿参考块和提取的运动矢量信息执行ME和MC，从而产生预测块。

在操作760，使用产生的预测块产生重构视频数据。例如，通过将预测块与经过反变换和反量化的视频数据相加来产生重构视频数据。

现在将参照图8描述8×8模式下的照明补偿和MC。

在8×8模式下，16×16块包括总共四个具有不同运动矢量的8×8子块。在这种情况下，处理顺序如图8所示。虽然8×8模式将8×8子块用作将被照明补偿的基本单元，但是其操作方式与16×16模式相同。换句话说，使用线性回归、ADP和DAP来获得照明补偿参数a_x，y和b_x，y。除了将8×8块用作将被运动补偿的单元之外，视频编码设备和视频解码设备中的8×8模式下的MC处理的方式与16×16模式下相同。

现在将参照图9描述4×4模式下的照明补偿和MC。

在4×4模式下，16×16块包括总共十六个具有不同运动矢量的4×4子块。在这种情况下，处理顺序如图9所示。虽然4×4模式将4×4子块用作将被照明补偿的基本单元，但是其操作方式与16×16模式相同。换句话说，使用线性回归、ADP和DAP来获得照明补偿参数a_x，y和b_x，y。除了将4×4块用作将被运动补偿的单元之外，视频编码设备和视频解码设备中的4×4模式下的MC处理的方式与16×16模式下相同。

现在将描述自适应模式下的照明补偿和MC。

在自适应模式下，视频编码设备可在16×16模式、8×8模式和4×4模式下以宏块为单位执行照明补偿和编码，并选择16×16模式、8×8模式和4×4模式中的一个。此时，与16×16模式、8×8模式和4×4模式中的每一个相应的残余块被编码和发送。可将指示模式的模式信息发送给视频解码设备。可选择地，如果视频解码设备可以在16×16模式、8×8模式和4×4模式中的每一个下执行照明补偿和ME，则可以不发送模式信息。

虽然以16×16模式、8×8模式和4×4模式作为本发明的示例性实施例的例子，然而根据本发明的照明补偿也可以应用于基于其他大小或形状的块单元的MC。

还可以将本发明实施为计算机可读记录介质上的计算机可读信息。计算机可读记录介质可以是能够存储其后将由计算机系统读取的数据的任意数据存储装置。计算机可读记录介质的例子包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储装置。计算机可读记录介质还可以分布于相连接的计算机系统的网络上，从而以非集中的方式存储和执行计算机可读代码。

如上所述，根据本发明的示例性实施例，不需要发送照明补偿参数，从而提高了编码效率。

虽然已经参照本发明示例性实施例具体地示出和描述了本发明，但是本领域的普通技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可以在形式和细节上对其做出各种改变。

Claims (23)

1.一种照明补偿方法，包括：

接收将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值；以及

基于所述当前块周围的重构邻接像素的像素值和所述参考块周围的重构邻接像素的像素值对所述参考块执行照明补偿。

2.如权利要求1所述的照明补偿方法，还包括：

基于所述当前块周围的重构邻接像素的像素值和所述参考块周围的重构邻接像素的像素值之间的相关性来计算对所述参考块的照明补偿的照明补偿参数；以及

基于计算的照明补偿参数产生照明补偿参考块。

3.如权利要求1所述的照明补偿，其中，执行照明补偿的步骤包括：

确定使等式 $J=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}{[f^{\′}(i,-1)-a_{x,y}\×r_{x,y}^{\′}(i,-1)-b_{x,y}]}^2+\underset{i=0}{\overset{15}{\mathrm{\Σ}}}{[f^{\′}(-1,j)-a_{x,y}\×r_{x,y}^{\′}(-1,j)-b_{x,y}]}^2$ 中的J最小的a_x，y和b_x，y的值；以及

使用确定的a_x，y和b_x，y的值基于 $\stackrel{\‾}{f}(i,j)=a_{x,y}\·r_{x,y}^{\′}(i,j)+b_{x,y}$ 来产生照明补偿参考块，其中，a_x，y和b_x，y取决于运动矢量(x，y)并且关于运动矢量(x，y)是常数，f′(i，-1)和f′(-1，j)指示当前块周围的重构邻接像素的像素值，r_x，y′(i，-1)和r_x，y′(-1，j)指示参考块周围的重构邻接像素的像素值，r_x，y′(i，j)指示运动补偿参考块，

指示照明补偿参考块。

4.如权利要求1所述的照明补偿方法，其中，执行照明补偿的步骤包括：使用所述当前块周围的重构邻接像素的像素值的平均值和所述参考块周围的重构邻接像素的像素值之间的差的平均值来产生照明补偿参考块。

5.如权利要求1所述的照明补偿方法，其中，执行照明补偿的步骤包括：使用所述当前块周围的重构邻接像素的像素值和所述参考块周围的重构邻接像素的像素值的平均值之间的差来产生照明补偿参考块。

6.如权利要求1所述的照明补偿方法，其中，在多视点编码中，所述参考块是包括在相邻视点的重构帧中的参考块中的块。

7.一种照明补偿设备，包括：

照明补偿单元，基于将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对所述参考块执行照明补偿。

8.如权利要求7所述的照明补偿设备，其中，照明补偿单元包括：

计算单元，基于所述当前块周围的重构邻接像素的像素值和所述参考块周围的重构邻接像素的像素值之间的相关性来计算对所述参考块的照明补偿的照明补偿参数；以及

照明补偿参考块产生单元，基于计算的照明补偿参数产生照明补偿参考块。

9.如权利要求7所述的照明补偿设备，其中，照明补偿单元包括照明补偿参考块产生单元，所述照明补偿参考块产生单元确定使等式 $J=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}{[f^{\′}(i,-1)-a_{x,y}\×r_{x,y}^{\′}(i,-1)-b_{x,y}]}^2+\underset{j=0}{\overset{15}{\mathrm{\Σ}}}{[f^{\′}(-1,i)-a_{x,y}\×r_{x,y}^{\′}(-1,j)-b_{x,y}]}^2$ 中的J最小的a_x，y和b_x，y的值；并使用确定的a_x，y和b_x，y的值基于 $\stackrel{\‾}{f}(i,j)=a_{x,y}\·r_{x,y}^{\′}(i,j)+b_{x,y}$ 来产生照明补偿参考块，其中，a_x，y和b_x，y取决于运动矢量(x，y)并且关于运动矢量(x，y)是常数，f′(i，-1)和f′(-1，j)指示当前块周围的重构邻接像素的像素值，r_x，y′(i，-1)和r_x，y′(-1，j)指示参考块周围的重构邻接像素的像素值，r_x，y′(i，j)指示运动补偿参考块，

指示照明补偿参考块。

10.如权利要求7所述的照明补偿设备，其中，照明补偿单元包括照明补偿参考块产生单元，所述照明补偿参考块产生单元使用所述当前块周围的重构邻接像素的像素值和所述参考块周围的重构邻接像素的像素值之间的差的平均值来产生照明补偿参考块。

11.如权利要求7所述的照明补偿设备，照明补偿单元包括照明补偿参考块产生单元，所述照明补偿参考块产生单元使用所述当前块周围的重构邻接像素的像素值和所述参考块周围的重构邻接像素的像素值的平均值之间的差来产生照明补偿参考块。

12.如权利要求7所述的照明补偿设备，其中，在多视点编码中，所述参考块是包括在相邻视点的重构帧中的参考块中的块。

13.一种视频编码方法，包括：

基于将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对用于运动估计的所述参考块执行照明补偿；

基于照明补偿参考块执行运动估计。

14.如权利要求13所述的视频编码方法，其中，执行照明补偿的步骤包括：

基于所述当前块周围的重构邻接像素的像素值和所述参考块周围的重构邻接像素的像素值之间的相关性来产生对所述参考块的照明补偿的照明补偿参数；以及

基于产生的照明补偿参数产生照明补偿参考块。

15.一种视频编码设备，包括：

照明补偿单元，基于将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对用于运动估计的所述参考块执行照明补偿；

运动估计单元，基于照明补偿参考块执行运动估计。

16.如权利要求15所述的视频编码设备，还包括：

照明补偿参数产生单元，基于所述当前块周围的重构邻接像素的像素值和所述参考块周围的重构邻接像素的像素值之间的相关性来产生对所述参考块的照明补偿的照明补偿参数；以及

照明补偿参考块产生单元，基于产生的照明补偿参数产生照明补偿参考块。

17.一种视频解码方法，包括：

基于将被解码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对用于运动补偿的所述参考块执行照明补偿；

基于照明补偿参考块执行运动补偿。

18.如权利要求17所述的视频解码方法，其中，执行照明补偿的步骤包括：

基于所述当前块周围的重构邻接像素的像素值和所述参考块周围的重构邻接像素的像素值之间的相关性来产生对所述参考块的照明补偿的照明补偿参数；以及

基于产生的照明补偿参数产生照明补偿参考块。

19.一种视频解码设备，包括：

照明补偿单元，基于将被解码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对用于运动补偿的所述参考块执行照明补偿；

运动补偿单元，基于照明补偿参考块执行运动补偿。

20.如权利要求19所述的视频解码设备，其中，照明补偿单元包括：

照明补偿参数产生单元，基于所述当前块周围的重构邻接像素的像素值和所述参考块周围的重构邻接像素的像素值之间的相关性来产生对所述参考块的照明补偿的照明补偿参数；以及

照明补偿参考块产生单元，基于产生的照明补偿参数产生照明补偿参考块。

21.一种其上记录有用于实现照明补偿方法的程序的计算机可读记录介质，所述照明补偿方法包括：

接收将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值；以及

基于所述当前块周围的重构邻接像素的像素值和所述参考块周围的重构邻接像素的像素值对所述参考块执行照明补偿。

22.一种其上记录有用于实现视频编码方法的程序的计算机可读记录介质，所述视频编码方法包括：

基于将被编码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对用于运动估计的所述参考块执行照明补偿；

基于照明补偿参考块执行运动估计。

23.一种其上记录有用于实现视频解码方法的程序的计算机可读记录介质，所述视频解码方法包括：

基于将被解码的当前块周围的重构邻接像素的像素值和参考块周围的重构邻接像素的像素值对用于运动补偿的所述参考块执行照明补偿；

基于照明补偿参考块执行运动补偿。

Images