CN101494792A - 一种基于边缘特征的h.264/avc帧内预测方法 - Google Patents

Abstract

本发明一种基于边缘特征的H.264/AVC帧内预测方法，该方法根据描述图像边缘分布的边缘直方图描述子算出的主要边缘强度(DES)等边缘方向特征，在进行帧内预测之前先对数据块预判，选择出与该特征相对应的模式子集进行RDO计算，降低了帧内预测的模式选择数；同时根据色度预测模式与亮度预测模式的相关性，直接从Intra_16×16亮度预测模式来确定了Intra_8×8色度预测模式，进一步减少了算法复杂度。该方法有六个步骤，方便易行。实践显示，该方法可以明显提高编码速度，且能保证编码的码率(增加3％)和峰值信噪比(减小0.02dB左右)与全搜索方法相比变化不大。它有很好的实用价值和应用前景。

Description

一种基于边缘特征的H.264/AVC帧内预测方法

(一)技术领域

本发明涉及一种帧内预测方法，尤其涉及一种基于边缘特征的H.264/AVC帧内预测方法，它是通过在进行预测之前先对数据块预判以减少要处理的预测模式数，属于视频压缩编码技术领域。

(二)背景技术

H.264/AVC标准是由国际电信联盟(ITU-T)的视频编码专家组(VideoCoding Experts Group，VCEG)与国际标准化组织(IS0/lEC)运动图像专家组(Moving Picture Experts Group，MPEG)共同组成的Joint Video Team(JVT)所开发的视频编码标准，也被称为MPEG-4第10部分标准和ITU-T H.264建议。H.264/AVC采用了一系列先进的技术，获得了优秀的压缩性能，在相同的重建图像质量下，能够比H.263节约50％左右的码率，可获得更好的压缩效果，代表了视频编码技术的最新研究成果。

H.264/AVC编码标准中，为了提高帧内编码的效率而引进了帧内预测编码。帧内预测是消除空间冗余的关键技术，充分利用帧内相邻宏块间的信息相关性，只对预测值与实际值的差值进行编码，只用很少的比特就可以表示该宏块的信息。H.264采用全搜索方法，从众多的帧内编码候选模式中选出最适合的预测模式；为了确定一个宏块(Macroblock，MB)的帧内预测模式，需要计算4×(9×16+4)＝592种组合模式的率失真(RD)代价(RD-Cost)。这使编码器的复杂度高，难以实现实时编码。所以必须使用新方法，降低帧内预测编码模式选择的运算复杂度。

(三)发明内容

1、目的：本发明的目的是提供一种基于边缘特征的H.264/AVC帧内预测方法，该方法克服了现有技术的不足，对比于全搜索方法，它可以在信噪比和码率变化很小的情况下，减少60％左右的计算时间。

2、技术方案：

本发明一种基于边缘特征的H.264/AVC帧内预测方法，该方法根据描述图像边缘分布的边缘直方图描述子算出的主要边缘强度(DES)等边缘方向特征，在进行帧内预测之前先对数据块预判，选择出与该特征相对应的模式子集进行率失真优化(RDO)计算，降低了帧内预测的模式选择数；同时根据色度预测模式与亮度预测模式的相关性，直接从Intra_16×16亮度预测模式来确定了Intra_8×8色度预测模式，进一步减少了算法复杂度。

本发明一种基于边缘特征的H.264/AVC帧内预测方法，具体实现的步骤如下：

(1)在帧内预测中，预测块P是基于已编码重建块和当前块形成的。对亮度像素而言，P块用于4×4子块或者16×16宏块的相关操作；对色度像素而言，P块用于8×8宏块的相关操作。

(2)对序列中某一帧进行编码之前，先对该帧图像的4×4块(16×16块)亮度分量进行均值化处理并求取边缘强度ES，分别为ES^v，ES^h，ES^45°，ES^135°，ES^nd(ES^v，ES^h，ES^45°)，

${\mathrm{ES}}^v=|\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{m}_i\×f_i^v|---\left(1\right)$

${\mathrm{ES}}^h=|\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{m}_i\×f_i^h|---\left(2\right)$

${\mathrm{ES}}^{\mathrm{nd}}=|\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{m}_i\×f_i^{\mathrm{nd}}|---\left(5\right)$

式(1)-(5)中，m_i表示2×2伪子块的第i个像素f_i ^v，f_i ^h，f_i ^45°，f_i ^135°，f_i ^nd(i＝0，1，2，3)分别代表垂直边缘、水平边缘、45°边缘、135°边缘和无方向边缘的滤波器系数。

定义式(1)-(5)中最大值为主要方向边缘强度DES(Dominant EdgeStrength)，如式(6)所示。与DES对应的边缘方向及其相邻的方向被确定为候选模式，以提高预测的准确性。然后根据块的方向性明显与否来决定是否选用DC模式，定义式(1)-式(4)的平均值为MES(Mean Edge Strength)，如式(7)所示。

通过比较MES与ES^nd大小，来确定是否选用DC模式。即当块的方向性比较明显时，对于4×4亮度块，选择主要边缘强度对应的模式及其相邻方向的模式；当方向性不明显时，只采用DC模式。

(3)宏块编码时，据求得的Intra_4×4亮度块的边缘强度及DES、MES的值按图4中与DES对应的边缘方向及其相邻的方向被确定为候选模式，同时通过比较MES与ES^nd大小，来确定是否选用DC模式。以此来确定确定Intra4×4亮度块的候选预测模式。

(4)根据求得的Intra_16×16亮度块的边缘强度及DES的值按图5中与DES对应的边缘方向及其相邻的方向被确定为候选模式，以此来确定Intra_16×16亮度块的候选预测模式。

(5)根据色度预测模式与亮度预测模式的相关性，Intra_8×8色度预测的候选模式方向于亮度Intra_16×16块的候选预测模式一一对应。

(6)根据步骤(2)-(5)中选出的候选预测模式，利用H.264/AVC的RD代价进行求取最优预测。

3、优点及功效：本发明综合利用上述方法进行帧内预测模式选择。实验结果显示，可以明显提高编码速度，且能保证编码的码率(增加3％)和峰值信噪比(减小0.02dB左右)与全搜索算法相比变化不大。它有很好的实用价值和应用前景。

(四)附图说明

图1是Intra_4×4亮度块当前块的临近位置及预测方向示意图

图2是Intra_16×16亮度块当前块的临近位置及预测方向示意图

图3是4×4亮度块均值化过程示意图

图4是Intra_4×4亮度块候选模式选择示意图

图5是Intra_16×16亮度块候选模式选择示意图

图中符号说明如下：

a-p是待预测图像块像素

A-L，M是预测块P的像素

0-8是Intra_4×4亮度块预测方向

H是水平方向的预测像素

V是垂直方向的预测像素；

m_i是2×2伪子块的第i个像素值

DES是主要边缘强度

MES是平均边缘强度

ES^v，ES^h，ES^45°，ES^135°，ES^nd是垂直、水平、45°方向、135°方向以没有无方向情况下各自边缘强度

(五)具体实施方式

见图1、图2、图3、图4、图5所示，一种基于边缘特征的H.264/AVC帧内预测方法，该方法具体实施步骤如下：

采用H.264/AVC的参考软件JM8.6为平台进行了仿真实验。实验测试条件满足H.264的Baseline Profile要求，编码序列为IIII，使用哈达玛变换和率失真优化；对于QCIF(4:2:0)和CIF(4:2:0)序列，编码长度均为100帧，帧率为30f/s。

(1)在帧内预测中，预测块P是基于已编码重建块和当前块形成的。对亮度像素而言，P块用于4×4子块或者16×16宏块的相关操作；对色度像素而言，P块用于8×8宏块的相关操作。图1是Intra_4×4亮度块当前块的临近位置像素及预测方向示意图。图1(a)为当前块及预测块P。其中a-p为当前块块像素；A-L，M为用来对当前块进行预测的预测块P像素；图1(b)Intra_4×4亮度块的帧内预测方向示意图。图2是Intra_16×16亮度块当前块的临近位置及预测方向示意图。H，V为用来对当前块进行预测的预测块P像素，箭头所示为预测方向。色度块预测方法与Intra_16×16亮度块预测方法类似，只是块的大小不同，为Intra_8×8。

(2)对序列中某一帧进行帧内编码之前，先对该帧图像的4×4块(16×16块)亮度分量进行预处理，其过程如图3所示，对待处理块进行像素均值化处理，变成一个2×2的伪子块，其每个像素值为4个像素值的均值。将2×2的伪子块的4个像素值与各方向滤波器系数想成求得取边缘强度(ES)，各个方向的边缘强度值分别为ES^v，ES^h，ES^45°，ES^135°，ES^nd(ES^v，ES^h，ES^45°)。

${\mathrm{ES}}^v=|\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{m}_i\×f_i^v|---\left(1\right)$

${\mathrm{ES}}^h=|\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{m}_i\×f_i^h|---\left(2\right)$

${\mathrm{ES}}^{\mathrm{nd}}=|\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{m}_i\×f_i^{\mathrm{nd}}|---\left(5\right)$

式(1)-(5)中，m_i表示2×2伪子块的第i个像素值，f_i ^v，f_i ^h，f_i ^45°，f_i ^135°，f_i ^nd(i＝0，1，2，3)分别代表垂直边缘、水平边缘、45°边缘、135°边缘和无方向边缘的滤波器系数。

定义式(1)-(5)中最大值为主要方向边缘强度DES(Dominant EdgeStrength)，如式(6)所示。与DES对应的边缘方向及其相邻的方向被确定为候选模式，以提高预测的准确性。然后根据块的方向性明显与否来决定是否选用DC模式，定义式(1)-式(4)的平均值为MES(Mean Edge Strength)，如式(7)所示。

通过比较MES与ES^nd大小，来确定是否选用DC模式。即当块的方向性比较明显时，对于4×4亮度块，选择主要边缘强度对应的模式及其相邻方向的模式；当方向性不明显时，只采用DC模式。

(3)宏块编码时，据求得的Intra_4×4亮度块的边缘强度及DES、MES的值来确定Intra4×4亮度块的候选预测模式。如图4中，若DES为ES^v：ES^nd大于MES，则候选模式只有DC；ES^nd小于MES，候选模式为7，0，5。DES为其他方向边缘强度是候选模式的选择方法类似。

(4)根据求得的Intra_16×16亮度块的边缘强度及DES的值来确定Intra_16×16亮度块的候选预测模式。如图5中，若DES为ES^v，候选模式为0和DC。DES为其他方向边缘强度是候选模式的选择方法类似。

(5)根据色度预测模式与亮度预测模式的相关性，Intra_8×8色度预测的候选模式方向于亮度Intra_16×16块的候选预测模式一一对应。

(6)根据步骤(2)-(5)中选出的候选预测模式，利用H.264/AVC的RD代价进行求取最优预测。通过提出的算法Intra_4×4亮度块帧内预测模式由9种变为3种或1中，Intra_16×16亮度块或Intra_18×8色度块帧内预测模式由4种变为2种。通过改进，与JM8.6算法相比，所提出的算法在比特率略有增加(增加3％左右)而峰值信噪比(减小0.02dB左右)维持基本不变的情况下，计算复杂度明显降低，平均减少大约60％的计算时间

Claims (1)

1、一种基于边缘特征的H.264/AVC帧内预测方法，其特征在于：该方法根据描述图像边缘分布的边缘直方图描述子算出的主要边缘强度即DES等边缘方向特征，在进行帧内预测之前先对数据块预判，选择出与该特征相对应的模式子集进行RDO计算，降低了帧内预测的模式选择数；同时根据色度预测模式与亮度预测模式的相关性，直接从Intra_16×16亮度预测模式来确定了Intra_8×8色度预测模式，进一步减少了算法复杂度；该方法具体实现的步骤如下：

步骤一：在帧内预测中，预测块P是基于已编码重建块和当前块形成的；对亮度像素而言，P块用于4×4子块或者16×16宏块的相关操作；对色度像素而言，P块用于8×8宏块的相关操作；

步骤二：对序列中某一帧进行编码之前，先对该帧图像的4×4块(16×16块)亮度分量进行均值化处理并求取边缘强度ES，分别为ES^v，ES^h，ES^45°，ES^135°，ES^nd(ES^v，ES^h，ES^45°)，

${\mathrm{ES}}^v=\left|\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{m}_i{\×f}_i^v\right|---\left(1\right)$

${\mathrm{ES}}^h=|\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{m}_i\×f_i^h|---\left(2\right)$

${\mathrm{ES}}^{\mathrm{nd}}=|\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{m}_i\×f_i^{\mathrm{nd}}|---\left(5\right)$

式(1)-(5)中，m_i表示2×2伪子块的第i个像素f_i ^v，f_i ^h，f_i ^45°，f_i ^135°，f_i ^nd(i＝0，1，2，3)分别代表垂直边缘、水平边缘、45°边缘、135°边缘和无方向边缘的滤波器系数；

定义式(1)-(5)中最大值为主要方向边缘强度DES(Dominant Edge Strength)，如式(6)所示；与DES对应的边缘方向及其相邻的方向被确定为候选模式，以提高预测的准确性。然后根据块的方向性明显与否来决定是否选用DC模式，定义式(1)-式(4)的平均值为MES(Mean Edge Strength)，如式(7)所示。

DES＝MAX{ES^v，ES^h，ES^45°，ES^135°，ES^nd}    (6)

MES＝1/4∑(ES^v+ES^h+ES^45°+ES^135°)           (7)

通过比较MES与ES^nd大小，来确定是否选用DC模；即当块的方向性比较明显时，对于4×4亮度块，选择主要边缘强度对应的模式及其相邻方向的模式；当方向性不明显时，只采用DC模式；

步骤三：宏块编码时，据求得的Intra_4×4亮度块的边缘强度及DES、MES的值与DES对应的边缘方向及其相邻的方向被确定为候选模式，同时通过比较MES与ES^nd大小，来确定是否选用DC模式。以此来确定确定Intra4×4亮度块的候选预测模式；

步骤四：根据求得的Intra_16×16亮度块的边缘强度及DES的值与DES对应的边缘方向及其相邻的方向被确定为候选模式，以此来确定Intra_16×16亮度块的候选预测模式；

步骤五：根据色度预测模式与亮度预测模式的相关性，Intra_8×8色度预测的候选模式方向于亮度Intra_16×16块的候选预测模式一一对应；

步骤六：根据步骤(2)-(5)中选出的候选预测模式，利用H.264/AVC的RD代价进行求取最优预测。

Images