CN120569964A - 用于根据帧内色度跨元件预测模型在视频编解码中改进变换信息编解码方法和设备 - Google Patents

Abstract

一种用于视频编解码的方法和装置，使用编解码工具包含一个或多个跨元件模型相关模式。根据解码器端的方法，解析与应用于当前块的变换编解码或残差编解码相关的一个或多个语法的编解码语法数据。根据与跨元件预测(Cross‑Component Prediction，简称CCP)相关的信息，使用一个或多个上下文模型解码所述编解码语法数据以生成所述一个或多个语法。使用所述CCP解码当前块，其中所述解码包括使用所述一个或多个语法对当前块的变换编解码或当前块的残差编解码。在编码器端，编码与变换编解码或残差编解码相关的一个或多个语法以生成编解码语法数据，根据与CCP相关的信息，使用一个或多个上下文模型。

Description

用于根据帧内色度跨元件预测模型在视频编解码中改进变换 信息编解码方法和设备

【交叉引用】

本发明是美国临时专利申请第63/479,556号(申请日期为2023年1月12日)和美国临时专利申请第63/487,633号(申请日期为2023年3月1日)的非临时申请，并要求其优先权。上述美国临时专利申请通过引用整体并入本文。

【技术领域】

本发明涉及视频编解码系统。特别地，本发明涉及在视频编解码系统中，根据与跨元件预测相关的信息，使用一个或多个上下文模型进行变换或残差编解码的编解码语法。

【背景技术】

多功能视频编解码(Versatile Video Coding，简称VVC)是由ITU-T视频编解码专家组(Video Coding Experts Group，简称VCEG)和ISO/IEC动态影像专家组(MovingPicture Experts Group，简称MPEG)的联合视频专家团队(Joint Video Experts Team，简称JVET)开发的最新国际视频编解码标准。该标准已作为ISO标准发布：ISO/IEC 23090-3:2021，信息技术-沉浸式媒体的编码表示-第3部分：多功能视频编解码，于2021年2月发布。VVC是在其前身高效视频编解码(High Efficiency Video Coding，简称HEVC)的基础上开发的，通过添加更多编解码工具来提高编解码效率，并处理各种类型的视频源，包括三维(3D)视频信号。

图1A展示了一个包含环路处理的示例性适应性帧间/帧内视频编码系统。对于帧内预测110，预测数据是基于当前图片中先前编码的视频数据得出的。对于帧间预测112，运动估计(Motion Estimation，简称ME)在编码器端进行，并根据ME的结果进行运动补偿(Motion Compensation，简称MC)，以提供从其他图片和运动数据中得出的预测数据。开关114选择帧内预测110或帧间预测112，所选的预测数据被提供给加法器116以形成预测误差，也称为残差。然后预测误差经过变换(Transform，简称T)118处理，随后进行量化(Quantization，简称Q)120。变换和量化后的残差随后由熵编码器(EntropyEncoder)122编码，以包含在对应于压缩视频数据的视频比特流中。与变换系数相关的比特流随后与附加信息一起打包，例如与帧内预测和帧间预测相关的运动和编解码模式，以及应用于底层图像区域的环路滤波器相关的参数等其他信息。与帧内预测110、帧间预测112和环路滤波器130相关的附加信息如图1A所示被提供给熵编码器122。当使用帧间预测模式时，参考图片或图片也必须在编码器端重建。因此，变换和量化后的残差经过逆量化(InverseQuantization，简称IQ)124和逆变换(Inverse Transformation，简称IT)126处理以恢复残差。然后残差在重建(REC)128处加回到预测数据136中以重建视频数据。重建的视频数据可以存储在参考图片缓冲区(Reference Picture Buffer)134中，并用于其他帧的预测。

如图1A所示，输入视频数据在编码系统中经历了一系列处理。来自REC128的重建视频数据可能由于一系列处理而受到各种损害。因此，环路滤波器130通常在重建视频数据存储到参考图片缓冲区134之前应用于重建视频数据，以提高视频质量。例如，可以使用去块滤波器(Deblocking Filter，简称DF)、样本适应性偏移(Sample Adaptive Offset，简称SAO)和适应性环路滤波器(Adaptive Loop Filter，简称ALF)。环路滤波器信息可能需要被合并到比特流中，以便解码器能够正确恢复所需信息。因此，环路滤波器信息也被提供给熵编码器122以合并到比特流中。在图1A中，环路滤波器130在重建样本存储到参考图片缓冲区134之前应用于重建视频。图1A中的系统旨在展示典型视频编码器的示例性结构。它可能对应于高效视频编解码(High Efficiency Video Coding，简称HEVC)系统、VP8、VP9、H.264或VVC。

如图1B所示，解码器可以使用与编码器相同或部分相同的功能模块，除了变换118和量化120，因为解码器只需要逆量化124和逆变换126。解码器使用熵解码器(EntropyDecoder)140来将视频比特流解码为量化变换系数和所需的编解码信息(例如ILPF信息、帧内预测信息和帧间预测信息)。解码器端的帧内预测150不需要执行模式搜索。相反，解码器只需要根据从熵解码器140接收到的帧内预测信息生成帧内预测。此外，对于帧间预测，解码器只需要根据从熵解码器140接收到的帧间预测信息执行运动补偿(MC 152)，而不需要进行运动估计。

根据VVC，输入图片被划分为称为编解码树单元(Coding Tree Units，简称CTUs)的不重叠方块区域，类似于HEVC。每个CTU可以划分为一个或多个较小尺寸的编解码单元(Coding Units，简称CUs)。生成的CU分区可以是方形或矩形形状。此外，VVC将CTU划分为预测单元(Prediction Units，简称PUs)，作为应用预测过程的单元，例如帧间预测、帧内预测等。

VVC标准结合了各种新的编解码工具，以进一步提高编解码效率超过HEVC标准。与本发明相关的一些新工具如下所述。

使用树结构划分CTUs

在HEVC中，CTU通过使用四元树(quaternary-tree，简称QT)结构划分为CUs，称为编解码树，以适应各种局部特性。是否使用帧间(时间)或帧内(空间)预测对图片区域进行编码的决策是在叶CU级别做出的。每个叶CU可以根据PU划分类型进一步划分为一个、两个或四个PUs。在一个PU内，应用相同的预测过程，并且相关信息以PU为基础传输到解码器。在根据PU划分类型应用预测过程后获得残差块后，叶CU可以根据另一个类似于CU的编解码树的四元树结构划分为变换单元(Transform Units，简称TUs)。HEVC结构的一个关键特征是它具有包含CU、PU和TU的多重划分概念。

在VVC中，使用二进制和三进制分割的四叉树与嵌套多类型树的分割结构取代了多种分割单元类型的概念，即除了需要处理尺寸过大的CU的最大变换长度外，移除了CU、PU和TU概念的分离，并支持CU分割形状的更多灵活性。在编解码树结构中，CU可以是方形或矩形。编解码树单元(CTU)首先通过四元树(又称四叉树)结构进行分割。然后，四元树叶节点可以进一步通过多类型树结构进行分割。如图2所示，多类型树结构中有四种分割类型，垂直二进制分割(SPLIT_BT_VER 210)、水平二进制分割(SPLIT_BT_HOR 220)、垂直三进制分割(SPLIT_TT_VER 230)和水平三进制分割(SPLIT_TT_HOR 240)。多类型树叶节点称为编解码单元(CUs)，除非CU的尺寸过大以至于超过最大变换长度，否则此分割用于预测和变换处理而不进行进一步分割。这意味着在大多数情况下，CU、PU和TU在具有嵌套多类型树的四叉树编解码块结构中具有相同的块大小。例外情况发生在最大支持的变换长度小于CU的颜色分量的宽度或高度时。

图3展示了在具有嵌套多类型树的四叉树编解码树结构中分割信息的信号传送机制。编解码树单元(CTU)被视为四元树的根，并首先通过四元树结构进行分割。每个四元树叶节点(当足够大时)然后进一步通过多类型树结构进行分割。在具有嵌套多类型树的四叉树编解码树结构中，对于每个CU节点，信号传送第一个标志(split_cu_flag)以指示节点是否进一步分割。如果当前CU节点是四叉树CU节点，则信号传送第二个标志(split_qt_flag)以指示是QT分割模式还是MTT分割模式。当节点以MTT分割模式进行分割时，信号传送第三个标志(mtt_split_cu_vertical_flag)以指示分割方向，然后信号传送第四个标志(mtt_split_cu_binary_flag)以指示分割是二进制分割还是三进制分割。根据mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值，CU的多类型树分割模式(MttSplitMode)如表1所示。

表1–基于多类型树语法元素的MttSplitMode推导

MttSplitMode	mtt_split_cu_vertical_flag	mtt_split_cu_binary_flag
			SPLIT_TT_HOR	0	0
SPLIT_BT_HOR	0	1
			SPLIT_TT_VER	1	0
SPLIT_BT_VER	1	1

图4显示了一个CTU被分割为多个CU，具有四叉树和嵌套多类型树编解码块结构，其中粗体块边缘表示四叉树分割，其余边缘表示多类型树分割。具有嵌套多类型树分割的四叉树提供了由CU组成的内容适应性编解码树结构。CU的大小可以与CTU一样大，也可以在亮度样本单位中小至4×4。对于4:2:0色度格式，最大色度CB大小为64×64，最小大小色度CB由16个色度样本组成。

在VVC中，最大支持的亮度变换大小为64×64，最大支持的色度变换大小为32×32。当CB的宽度或高度大于最大变换宽度或高度时，CB会自动在水平和/或垂直方向上分割以满足该方向的变换大小限制。

为具有嵌套多类型树的四叉树编解码树方案定义了以下参数。这些参数由序列参数集(Sequence Parameter Set，简称SPS)语法元素指定，并可以通过图像标头语法元素进一步细化。

–CTU大小：四元树的根节点大小

–MinQTSize：允许的最小四元树叶节点大小

–MaxBtSize：允许的最大二进制树根节点大小

–MaxTtSize：允许的最大三进制树根节点大小

–MaxMttDepth：从四叉树叶节点开始的多类型树分割的最大允许层次深度

–MinCbSize：允许的最小编解码块节点大小

在具有嵌套多类型树的四叉树编解码树结构的一个示例中，CTU大小设置为128×128亮度样本，具有两个对应的64×64的4:2:0色度样本块，MinQTSize设置为16×16，MaxBtSize设置为128×128，MaxTtSize设置为64×64，MinCbsize(宽度和高度)设置为4×4，MaxMttDepth设置为4。首先对CTU应用四元树分割以生成四元树叶节点。四元树叶节点的大小可以从16×16(即MinQTSize)到128×128(即CTU大小)。如果叶QT节点为128×128，则不会进一步通过二进制树分割，因为大小超过MaxBtSize和MaxTtSize(即64×64)。否则，叶四叉树节点可以进一步通过多类型树进行分割。因此，四元树叶节点也是多类型树的根节点，其多类型树深度(mttDepth)为0。当多类型树深度达到MaxMttDepth(即4)时，不考虑进一步分割。当多类型树节点的宽度等于MinCbsize时，不考虑进一步的水平分割。同样，当多类型树节点的高度等于MinCbsize时，不考虑进一步的垂直分割。

在VVC中，编解码树方案支持亮度和色度具有独立的块树结构。对于P和B切片，一个CTU中的亮度和色度CTBs必须共享相同的编解码树结构。然而，对于I切片，亮度和色度可以具有独立的块树结构。当应用独立块树模式时，亮度CTB通过一个编解码树结构划分为CUs，而色度CTBs通过另一个编解码树结构划分为色度CUs。这意味着在I切片中的CU可能由亮度元件的编解码块或两个色度元件的编解码块组成，而在P或B切片中的CU总是由所有三个颜色元件的编解码块组成，除非视频是单色的。

虚拟管道数据单元(VPDUs)

虚拟管道数据单元(VPDUs)被定义为图像中的非重叠单元。在硬件解码器中，多个管道阶段同时处理连续的VPDUs。VPDU的大小大致与大多数管道阶段中的缓冲区大小成比例，因此保持VPDU的大小较小是很重要的。在大多数硬件解码器中，VPDU的大小可以设置为最大变换块(TB)大小。然而，在VVC中，三叉树(TT)和二叉树(BT)划分可能导致VPDUs大小的增加。

为了保持VPDU大小为64x64亮度样本，在VTM中应用了以下规范划分限制(伴随语法信号修改)，如图5所示：

对于宽度或高度，或宽度和高度均等于128的CU，不允许TT分割(如图5中的“X”所示)。

对于128xN CU且N≤64(即宽度等于128且高度小于128)，不允许水平BT。

对于Nx128 CU且N≤64(即高度等于128且宽度小于128)，不允许垂直BT。在图5中，亮度块大小为128x128。虚线表示块大小为64x64。根据上述约束，不允许的划分示例如图5中的各种示例(510-580)所示，以“X”表示。

帧内色度划分和预测限制

在典型的硬件视频编码器和解码器中，当图像具有较小的帧内块时，由于邻近帧内块之间的样本处理数据依赖性，处理吞吐量下降。帧内块的预测器生成需要来自邻近块的顶部和左边界重建样本。因此，帧内预测必须逐块顺序处理。

在HEVC中，最小的帧内CU是8x8亮度样本。最小帧内CU的亮度元件可以进一步分割为四个4x4亮度帧内预测单元(PUs)，但最小帧内CU的色度元件不能进一步分割。因此，最坏情况下的硬件处理吞吐量发生在处理4x4色度帧内块或4x4亮度帧内块时。在VVC中，为了改善最坏情况下的吞吐量，通过限制色度帧内CBs的划分，禁止小于16色度样本(大小为2x2、4x2和2x4)的色度帧内CBs和宽度小于4色度样本(大小为2xN)的色度帧内CBs。

在单编解码树中，最小色度帧内预测单元(SCIPU)被定义为一个编解码树节点，其色度块大小大于或等于16色度样本，并且至少有一个子亮度块小于64亮度样本，或者一个编解码树节点，其色度块大小不是2xN，并且至少有一个子亮度块为4xN亮度样本。要求在每个SCIPU中，所有CBs都是帧间的，或者所有CBs都是非帧间的，即帧内或帧内块复制(IBC)。在非帧间SCIPU的情况下，进一步要求非帧间SCIPU的色度不得进一步分割，而SCIPU的亮度可以进一步分割。通过这种方式，去除了小于16色度样本或大小为2xN的小色度帧内CBs。此外，在非帧间SCIPU的情况下不应用色度缩放。这里没有额外的语法信号传送，是否为非帧间SCIPU可以通过SCIPU中第一个亮度CB的预测模式推导出。如果当前切片是I切片或当前SCIPU在进一步分割一次后具有4x4亮度划分(因为在VVC中不允许帧间4x4)，则推断SCIPU的类型为非帧间；否则，SCIPU的类型(帧间或非帧间)通过在解析SCIPU中的CUs之前的一个标志指示。

对于帧内图像中的双树，通过禁用4xN和8xN色度划分的垂直二叉和垂直三叉分割，去除了2xN帧内色度块。通过划分限制也去除了大小为2x2、4x2和2x4的小色度块。

此外，考虑到图像宽度和高度是max(8,MinCbSizeY)的倍数，考虑了图像大小的限制，以避免在图像角落出现2x2/2x4/4x2/2xN帧内色度块。

帧内模式编解码具有67帧内预测模式。

为了捕捉自然视频中呈现的任意边缘方向，VVC中的方向帧内模式数量从HEVC中使用的33个扩展到65个。HEVC中没有的新方向模式在图6中以红色虚线箭头表示，而平面和DC模式保持不变。这些更密集的方向帧内预测模式适用于所有块大小以及亮度和色度帧内预测。

在VVC中，几个传统的角度帧内预测模式被自适应地替换为非方形块的宽角度帧内预测模式。

在HEVC中，每个帧内编码块都是方形的，其每条边的长度是2的幂。因此，不需要进行除法运算来使用DC模式生成帧内预测器。在VVC中，块可以是矩形的，在一般情况下需要对每个块使用除法运算。为了避免DC预测的除法运算，仅使用较长的一边来计算非方形块的平均值。

为了保持最可能模式(MPM)列表生成的复杂性较低，使用了一种具有6个MPM的帧内模式编解码方法，考虑了两个可用的邻近帧内模式。构建MPM列表时考虑以下三个方面：

–默认帧内模式

–邻近帧内模式

–派生帧内模式。

无论是否应用MRL和ISP编解码工具，帧内块都使用统一的6-MPM列表。MPM列表基于左侧和上方邻近块的帧内模式构建。假设左侧的模式记为Left，上方块的模式记为Above，统一的MPM列表构建如下：

当邻近块不可用时，其帧内模式默认设置为平面。

如果Left和Above模式都是非角度模式：

MPM列表→{Planar，DC，V，H，V-4，V+4}

如果Left和Above模式之一是角度模式，另一个是非角度模式：

将较大的模式设为Max

MPM列表→{Planar，Max，Max-1，Max+1，Max-2，Max+2}

如果Left和Above都是角度模式且不同：

将较大的模式设为Max

如果Max-Min等于1：

MPM列表→{Planar，Left，Above，Min-1，Max+1，Min-2}

否则，如果Max-Min大于或等于62：

MPM列表→{Planar，Left，Above，Min+1，Max-1，Min+2}

否则，如果Max-Min等于2：

MPM列表→{Planar，Left，Above，Min+1，Min-1，Max+1}

否则：

MPM列表→{Planar，Left，Above，Min-1，Min+1，Max-1}

如果Left和Above都是角度模式且相同：

MPM列表→{Planar，Left，Left-1，Left+1，Left-2，Left+2}

此外，MPM索引码字的第一个bin是CABAC上下文编码的。总共使用了三个上下文，分别对应于当前帧内块是否启用了MRL、ISP或是普通帧内块。

在6MPM列表生成过程中，使用修剪来移除重复的模式，以便仅将唯一模式包含在MPM列表中。对于61个非MPM模式的熵编解码，使用截断二进制码(TBC)。

非方形块的宽角度帧内预测

传统的角度帧内预测方向定义为顺时针方向从45度到-135度。在VVC中，几个传统的角度帧内预测模式被自适应地替换为非方形块的宽角度帧内预测模式。替换的模式使用原始模式索引进行信号传送，解析后重新映射到宽角度模式的索引。帧内预测模式的总数保持不变，即67个，帧内模式编解码方法保持不变。

为了支持这些预测方向，定义了长度为2W+1的顶部参考和长度为2H+1的左侧参考，分别如图7A和图7B所示。

宽角度方向模式中替换的模式数量取决于块的纵横比。替换的帧内预测模式在表2中说明。

表2–被宽角度模式替换的帧内预测模式

在VVC中，支持4:2:2和4:4:4色度格式以及4:2:0。4:2:2色度格式的色度派生模式(DM)派生表最初从HEVC移植，将条目数量从35扩展到67，以与帧内预测模式的扩展对齐。由于HEVC规范不支持低于-135度和高于45度的预测角度，亮度帧内预测模式范围从2到5映射到2。因此，通过替换映射表条目的一些值来更新4:2:2色度格式的色度DM派生表，以更精确地转换色度块的预测角度。

跨元件线性模型(CCLM)预测

为了减少跨元件冗余，VVC中使用了一种跨元件线性模型(CCLM)预测模式，其中色度样本基于同一CU的重建亮度样本使用线性模型进行预测，如下所示：

pred_C(i,j)＝α·rec_L′(i,j)+β(1)

在一个编码单元(CU)中，pred_C(i,j)表示预测的色度样本，rec_L′(i,j)表示相同CU的下采样重建亮度样本。

CCLM参数(α和β)是通过最多四个邻近色度样本及其对应的下采样亮度样本得出的。假设当前色度块的尺寸为W×H，则当应用CCLM_LT模式时，W’和H’设置为

W’＝W,H’＝H；

当应用CCLM_T模式时，W’＝W+H；

当应用CCLM_L模式时，H’＝H+W。

上述邻近位置表示为S[0,-1]…S[W’-1,-1]，左侧邻近位置表示为S[-1,0]…S[-1,H’-1]。然后选择四个样本为

–当应用CCLM_LT模式且上述和左侧邻近样本均可用时，选择S[W’/4,

-1]，S[3*W’/4,-1]，S[-1,H’/4]，S[-1,3*H’/4]；

–当应用CCLM_T模式或仅有上述邻近样本可用时，选择S[W’/8,-1]，S[3*W’/8,-1]，S[5*W’/8,-1]，S[7*W’/8,-1]；

–当应用CCLM_L模式或仅有左侧邻近样本可用时，选择S[-1,H’/8]，S[-1,3*H’/8]，S[-1,5*H’/8]，S[-1,7*H’/8]。

在选定位置的四个邻近亮度样本被下采样并进行四次比较以找到两个较大值：x⁰ _A和x¹ _A，以及两个较小值：x⁰ _B和x¹ _B。其对应的色度样本值表示为y⁰ _A，y¹ _A，y⁰ _B和y¹ _B。然后x_A，x_B，y_A和y_B被推导为：

x_A＝(x⁰ _A+x¹ _A+1)>>1；

x_B＝(x⁰ _B+x¹ _B+1)>>1；

y_A＝(y⁰ _A+y¹ _A+1)>>1；

y_B＝(y⁰ _B+y¹ _B+1)>>1 (2)

最后，根据以下方程式获得线性模型参数α和β。

β＝y_B-α·x_B (4)

图8显示了在CCLM_LT模式下涉及的左侧和上方样本以及当前块样本的位置示例。图8显示了N×N色度块810、对应的2N×2N亮度块820及其邻近样本(显示为实心圆)的相对样本位置。

计算参数α的除法运算通过查找表实现。为了减少存储表所需的内存，差值(最大值和最小值之间的差异，diff)和参数α以指数表示。例如，差值用4位有效部分和一个指数来近似。因此，1/diff的表被缩减为16个元素，适用于16个有效值，如下所示：

DivTable[]＝{0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0} (5)

这将有助于减少计算的复杂性以及存储所需表的内存大小。

除了上述模板和左侧模板可以一起用于计算线性模型系数外，它们还可以在其他2个LM模式中交替使用，称为CCLM_T和CCLM_L模式。

在CCLM_T模式中，仅使用上方模板来计算线性模型系数。为了获得更多样本，上方模板扩展为(W+H)个样本。在CCLM_L模式中，仅使用左侧模板来计算线性模型系数。为了获得更多样本，左侧模板扩展为(H+W)个样本。

在CCLM__LT模式中，左侧和上方模板用于计算线性模型系数。

为了匹配4:2:0视频序列的色度样本位置，对亮度样本应用两种类型的下采样滤波器，以在水平方向和垂直方向上实现2比1的下采样比率。下采样滤波器的选择由SPS级别标志指定。这两种下采样滤波器分别对应于“type-0”和“type-2”内容。

Rec_L′(i,j)＝[rec_L(2i-1,2j-1)+2·rec_L(2i,2j-1)+rec_L(2i+1,2j-1)+rec_L(2i-1,2j)+2·rec_L(2i,2j)+rec_L(2i+1,2j)+4]＞＞3 (6)

Rec_L′(i,j)＝rec_L(2i,2j-1)+rec_L(2i-1,2j)+4·rec_L(2i,2j)+rec_L(2i+1,2j)+rec_L(2i,2j+1)+4]＞＞3 (7)

注意，当上参考线位于CTU边界时，仅使用一条亮度线(帧内预测中的通用线缓冲区)来生成下采样的亮度样本。

此参数计算作为解码过程的一部分进行，而不仅仅是编码器搜索操作。因此，不使用语法将α和β值传递给解码器。

对于色度帧内模式编解码，允许总共8种帧内模式用于色度帧内模式编解码。这些模式包括五种传统帧内模式和三种跨元件线性模型模式(CCLM_LT、CCLM_T和CCLM_L)。色度模式信号传送和推导过程如表3所示。色度模式编解码直接依赖于对应亮度块的帧内预测模式。由于在I切片中启用了亮度和色度元件的独立块分割结构，一个色度块可能对应多个亮度块。因此，对于色度DM模式，直接继承覆盖当前色度块中心位置的对应亮度块的帧内预测模式。

表3启用CCLM时从亮度模式推导色度预测模式

无论sps_cclm_enabled_flag的值如何，均使用单一二值化表，如表4所示。

表4–色度预测模式的统一二值化表

在表4中，第一个bin指示是常规模式(0)还是CCLM模式(1)。如果是LM模式，则下一个bin指示是否为CCLM_LT(0)或不是。如果不是CCLM_LT，接下来的1个bin指示是否为CCLM_L(0)或CCLM_T(1)。对于这种情况，当sps_cclm_enabled_flag为0时，可以在熵编解码之前丢弃对应的intra_chroma_pred_mode的二值化表的第一个bin。换句话说，第一个bin被推断为0，因此不编码。此单一二值化表用于sps_cclm_enabled_flag等于0和1的情况。表4中的前两个bin使用其自身的上下文模型进行上下文编码，其余bin则进行旁路编码。

此外，为了减少双树中的亮度-色度延迟，当64x64亮度编解码树节点未分割(且未使用ISP用于64x64 CU)或QT分割时，允许32x32/32x16色度编解码树节点中的色度CU使用CCLM，具体如下：

–如果32x32色度节点未分割或分割为QT分割，则32x32节点中的所有色度CU可以使用CCLM

–如果32x32色度节点分割为水平BT，并且32x16子节点未分割或使用垂直BT分割，则32x16色度节点中的所有色度CU可以使用CCLM。

在所有其他亮度和色度编解码树分割条件下，不允许色度CU使用CCLM。

多模型CCLM(MMLM)

在JEM(J.Chen,E.Alshina,G.J.Sullivan,J.-R.Ohm,和J.Boyce，联合探索测试模型7的算法描述，文档JVET-G1001，ITU-T/ISO/IEC联合视频探索团队(JVET)，2017年7月)中，提出了多模型CCLM模式(MMLM)，用于使用两个模型从亮度样本预测整个CU的色度样本。在MMLM中，当前块的邻近亮度样本和邻近色度样本被分类为两组，每组用作训练集以推导线性模型(即，为特定组推导出特定的α和β)。此外，当前亮度块的样本也基于相同的规则进行分类，以对邻近亮度样本进行分类。允许三种MMLM模型模式(MMLM_LT、MMLM_T和MMLM_L)分别从左侧和上侧、仅上侧和仅左侧选择邻近样本。

图9显示了将邻近样本分类为两组的示例。阈值计算为邻近重建亮度样本的平均值。具有Rec′_L[x,y]<＝阈值的邻近样本被分类为组1；而具有Rec′_L[x,y]>阈值的邻近样本被分类为组2。

因此，MMLM根据邻近样本的样本级别使用两个模型。

CCLM的斜率调整

CCLM使用具有两个参数的模型将亮度值映射到色度值，如图10A所示。斜率参数“a”和偏置参数“b”定义了映射，如下所示：

chromaVal＝a*lumaVal+b

斜率参数的调整“u”通过信号传送更新模型为以下形式，如图10B所示：

chromaVal＝a’*lumaVal+b’

其中

a’＝a+u,

b’＝b-u*y_r。

通过这种选择，映射函数围绕具有亮度值y_r的点倾斜或旋转。用于模型创建的参考亮度样本的平均值为y_r，以便对模型进行有意义的修改。图10A和10B说明了该过程。

CCLM斜率调整的实现

斜率调整参数作为-4到4之间的整数提供，并在比特流中信号传送。斜率调整参数的单位是每个亮度样本值的(1/8)色度样本值(对于10位内容)。

调整适用于同时使用块上方和左侧参考样本的CCLM模型(例如，“LM_CHROMA_IDX”和“MMLM_CHROMA_IDX”)，但不适用于“单侧”模式。此选择基于编解码效率与复杂性权衡的考虑。“LM_CHROMA_IDX”和“MMLM_CHROMA_IDX”在本发明中指的是CCLM_LT和MMLM_LT。“单侧”模式在本发明中指的是CCLM_L、CCLM_T、MMLM_L和MMLM_T。

当对多模式CCLM模型应用斜率调整时，可以调整两个模型，因此对于单个色度块最多信号传送两个斜率更新。

CCLM斜率调整的编码器方法

所提出的编码器方法执行基于SATD(绝对变换差异和)的搜索，以找到Cr的最佳斜率更新值，并对Cb进行类似的基于SATD的搜索。如果任一结果为非零斜率调整参数，则组合斜率调整对(Cr的基于SATD的更新，Cb的基于SATD的更新)被包含在TU的RD(率失真)检查列表中。

卷积跨元件模型(CCCM)-单模型和多模型

在CCCM中，应用卷积模型以提高色度预测性能。卷积模型具有7-抽头滤波器，由5-抽头加号形空间组件、非线性项和偏置项组成。滤波器的空间5-抽头组件的输入包括与要预测的色度样本共址的中心(C)亮度样本及其上/北(N)、下/南(S)、左/西(W)和右/东(E)邻居，如图11所示。

非线性项(表示为P)表示为中心亮度样本C的平方，并缩放到内容的样本值范围：

P＝(C*C+midVal)>>bitDepth.

例如，对于10位内容，非线性项计算为：

P＝(C*C+512)>>10

偏置项(表示为B)表示输入和输出之间的标量偏移(类似于CCLM中的偏移项)，并设置为中间色度值(对于10位内容为512)。

滤波器的输出计算为滤波器系数c_i和输入值之间的卷积，并裁剪到有效色度样本的范围：

predChromaVal＝c₀C+c₁N+c₂S+c₃E+c₄W+c₅P+c₆B

滤波器系数c_i通过最小化参考区域中预测和重建色度样本之间的MSE来计算。图12说明了参考区域的示例，该区域由PU上方和左侧的6行色度样本组成。参考区域向右扩展一个PU宽度，向下扩展一个PU高度。区域调整为仅包括可用样本。区域的扩展(表示为“填充”)是为了支持图11中加号形空间滤波器的“侧样本”，并在不可用区域进行填充。

均方误差(MSE)最小化通过计算亮度输入的自相关矩阵和亮度输入与色度输出之间的互相关向量来实现。自相关矩阵进行LDL分解，最终滤波器系数通过回代计算得出。该过程大致遵循ECM中ALF滤波器系数的计算，但选择了LDL分解而非Cholesky分解以避免使用平方根运算。在较新的ECM中，CCM的MSE最小化使用基于高斯消元法的方法。

此外，与CCLM类似，CCCM有单模型或多模型变体的选项。多模型变体使用两个模型，一个模型用于高于平均亮度参考值的样本，另一个模型用于其余样本(遵循CCLM设计的精神)。对于至少有128个参考样本可用的PU，可以选择多模型CCCM模式。

梯度线性模型(GLM)

与CCLM相比，GLM利用亮度样本梯度来推导线性模型，而不是下采样的亮度值。具体而言，当应用GLM时，CCLM过程的输入，即下采样的亮度样本L，被亮度样本梯度G替代。CCLM的其他部分(例如，参数推导，预测样本线性变换)保持不变。

C＝α·G+β

对于信号传送，当当前CU启用CCLM模式时，分别为Cb和Cr分量传送两个标志以指示是否为每个分量启用GLM。如果为一个分量启用了GLM，则进一步传送一个语法元素以选择用于梯度计算的4个梯度滤波器(图13中的1310-1340)之一。GLM可以通过在比特流中传送一个额外标志与现有的CCLM结合使用。当应用这种组合时，用于推导线性模型输入亮度样本的滤波器系数被计算为GLM选择的梯度滤波器和CCLM的下采样滤波器的组合。

空间候选推导

VVC中的空间合并候选推导与HEVC中的相同，只是前两个合并候选的位置交换。当前CU 1410的最多四个合并候选(B_0,A_0,B₁和A₁)从图14中所示位置的候选中选择。推导顺序为B_0,A_0,B_1,A₁和B₂。位置B₂仅在位置B₀、A₀、B₁、A₁的一个或多个邻近CU不可用(例如，属于另一个切片或图块)或是帧内编码时才考虑。在位置A₁的候选被添加后，剩余候选的添加需进行冗余检查，以确保具有相同运动信息的候选被排除在列表之外，从而提高编解码效率。为减少计算复杂度，在上述冗余检查中并未考虑所有可能的候选对。相反，仅考虑图15中用箭头连接的对，且仅当用于冗余检查的对应候选不具有相同运动信息时，才将候选添加到列表中。

时间候选推导

在此步骤中，仅向列表中添加一个候选。特别地，在当前CU 1610的时间合并候选推导中，基于属于共定位参考图像的共定位CU 1620推导出一个缩放运动矢量，如图16所示。用于共定位CU推导的参考图像列表和参考索引在切片标头中明确传送。时间合并候选的缩放运动矢量1630如图16中的虚线所示，通过使用POC(图像顺序计数)距离tb和td从共定位CU的运动矢量1640缩放得到，其中tb定义为当前图像的参考图像与当前图像之间的POC差，td定义为共定位图像的参考图像与共定位图像之间的POC差。时间合并候选的参考图像索引设为零。

时间候选的位置在候选C₀和C₁之间选择，如图17所示。如果位置C₀的CU不可用，是帧内编码，或在当前CTU行之外，则使用位置C₁。否则，在时间合并候选的推导中使用位置C₀。

非相邻空间候选

在VVC标准的开发过程中，提出了一种称为非相邻运动矢量预测(NAMVP)的编解码工具，见JVET-L0399(Yu Han等，“CE4.4.6:Improvement on Merge/Skipmode”，ITU-T SG16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探索团队(JVET)，第12次会议：澳门，CN，2018年10月3-12日，文件：JVET-L0399)。根据NAMVP技术，非相邻空间合并候选在常规合并候选列表中插入在TMVP(即时间MVP)之后。空间合并候选的模式如图18所示。非相邻空间候选与当前编解码块之间的距离基于当前编解码块的宽度和高度。在图18中，每个小方块对应一个NAMVP候选，候选根据距离排序(如方块内的数字所示)。不适用行缓冲限制。换句话说，远离当前块的NAMVP候选可能需要存储，这可能需要较大的缓冲区。

在本发明中，公开了提高跨元件预测编解码性能的方法和设备。

【发明内容】

一种用于视频编解码的方法和装置，使用编解码工具包含一个或多个跨元件模型相关模式。根据解码器端的方法，接收与当前块相关的编解码数据，包括第一颜色块和第二颜色块，其中当前块使用跨元件预测(Cross-ComponentPrediction，简称CCP)进行编解码。解析与应用于当前块的变换编解码或残差编解码相关的一个或多个语法的编解码语法数据。根据与CCP相关的信息，使用一个或多个上下文模型解码所述编解码语法数据以生成所述一个或多个语法。使用CCP解码当前块，其中所述解码包括使用所述一个或多个语法对当前块的变换编解码或当前块的残差编解码。

在一个实施例中，所述一个或多个语法来自包括root_cbf、cb_cbf、cr_cbf、transform_skip_flag、lfnst_idx、mts_idx、tu_joint_cbcr_residual_flag、last_significant_position、cu_qp_delta_abs、cu_qp_delta_sign_flag、cu_chroma_qp_offset_flag、cu_chroma_qp_offset_idx或其组合的组。

在一个实施例中，所述一个或多个上下文模型对应于多个上下文模型，并且所述多个上下文模型中的选择取决于当前块的CCP类型。在另一个实施例中，所述多个上下文模型中的选择取决于当前块的邻近块的预测模式。例如，邻近块的预测模式对应于一个CCP模式。在另一个实施例中，所述多个上下文模型中的选择取决于以CCP模式编解码的邻近块的数量。

在一个实施例中，所述一个或多个上下文模型对应于CCP单模型、CCP多模型、卷积跨元件模型(Convolutional Cross-Component Mode，简称CCCM)、梯度线性模型(GradientLinear Model，简称GLM)或其组合。

还公开了对应于编码器端的方法。

根据另一种方法，使用CCP对当前块进行编码或解码，其中所述编码或解码使用包括与一个或多个编解码块标志对应的色度语法的信息，所述一个或多个编解码块标志包括根色度编解码块标志。

在一个实施例中，从邻近块继承的CCP候选被包含在当前块的合并候选列表中，并且合并标志指示当前块是否从继承的CCP候选继承一个或多个跨元件模型参数。

在一个实施例中，所述一个或多个编解码块标志进一步包括对应于所述两个或多个色度块的两个或多个元件编解码块标志。在一个实施例中，如果根色度编解码块标志为假，则对应于所述两个或多个色度块的每个元件编解码块标志等于0；或者如果根色度编解码块标志为真，则对应于所述两个或多个色度块的所述两个或多个元件编解码块标志中的至少一个等于1。

在一个实施例中，所述一个或多个编解码块标志进一步包括对应于所述两个或多个色度块的两个或多个元件编解码块标志。在一个实施例中，如果根色度编解码块标志为假，则对应于所述两个或多个色度块的每个元件编解码块标志等于0；或者如果根色度编解码块标志为真，则对应于所述两个或多个色度块的所述两个或多个元件编解码块标志中的至少一个等于1。

根据另一种方法，为当前块生成合并候选列表，其中合并候选列表包括从邻近块继承的CCP候选。信号传送或解析合并标志，指示当前块是否从继承的CCP候选继承一个或多个跨元件模型参数。在合并标志之前信号传送或解析跳过标志，其中当跳过标志为真时，合并标志被推断。使用包括合并候选列表的信息对当前块进行编码或解码。

在一个实施例中，当跳过标志为真时，信号传送或解析与继承的CCP候选相关的索引。在一个实施例中，当合并标志被推断为1时，当前块从继承的CCP候选中继承一个或多个跨元件模型参数。在一个实施例中，当合并标志被推断为0时，信号传送或解析CCP模式索引。

在一个实施例中，在序列参数集(Sequence Parameter Set，简称SPS)、图像参数集(Picture Parameter Set，简称PPS)、图像标头(Picture header，简称PH)或切片标头(Slice header，简称SH)中用信号传送或解析高级语法，来指示是否允许当前序列、图像或切片使用跳过标志。

【附图说明】

图1A示例性地展示了一个包含环路处理的适应性帧间/帧内视频编解码系统。

图1B展示了图1A中编码器的对应解码器。

图2展示了对应于垂直二元分割(SPLIT_BT_VER)、水平二元分割(SPLIT_BT_HOR)、垂直三元分割(SPLIT_TT_VER)和水平三元分割(SPLIT_TT_HOR)的多类型树结构的示例。

图3展示了在四叉树中具有嵌套多类型树编解码树结构的分区分割信息的信令机制示例。

图4展示了一个CTU被划分为多个CU的示例，使用四叉树和嵌套多类型树编解码块结构，其中粗体块边缘表示四叉树分区，其余边缘表示多类型树分区。

图5展示了一些当亮度编解码块的宽度或高度大于64时禁止的TT分割示例。

图6展示了VVC视频编解码标准采用的帧内预测模式。

图7A-B展示了宽角度帧内预测的示例，其中图7A为宽度大于高度的块，图7B为高度大于宽度的块。

图8展示了CCLM_LT模式中涉及的左侧和上方样本以及当前块样本的位置示例。

图9展示了将邻近样本分类为两组的示例。

图10A展示了CCLM模型的示例。

图10B展示了用于模型更新的斜率调整参数“u”的效果示例。

图11展示了卷积滤波器的空间部分示例。

图12展示了用于推导滤波器系数的带填充的参考区域示例。

图13展示了梯度线性模型(Gradient Linear Model，简称GLM)的4种梯度模式。

图14展示了用于推导VVC空间合并候选的邻近块。

图15展示了VVC中用于冗余检查的可能候选对。

图16展示了时间候选推导的示例，其中根据POC(Picture Order Count)距离推导出缩放运动矢量。

图17展示了在候选C₀和C₁之间选择的时间候选的位置。

图18展示了非相邻空间合并候选的示例性模式。

图19展示了CCM信息传播的示例，其中虚线块(即A、E、G)在跨元件模式(例如CCLM、MMLM、GLM、CCCM)中编码。

图20展示了继承时间邻近模型参数的示例。

图21A-B展示了继承非相邻空间邻近模型的两种搜索模式。

图22A-B展示了从具有当前区域相同起始几何位置的区域的历史表(图22A)或从包含当前区域中心几何位置的区域的历史表(图22B)构建当前区域历史表的示例。

图23展示了将不可用区域中待参考位置的运动信息映射到预定义位置的示例，其中预定义位置位于上方第一CTU行的上一行。

图24展示了将不可用区域中待参考位置的运动信息映射到预定义位置的示例，其中预定义位置位于相应CTU行的底部行。

图25展示了将不可用区域中待参考位置的运动信息映射到预定义位置的示例，其中预定义位置位于相应CTU行的底部行或中心行。

图26展示了将不可用区域中待参考位置的运动信息映射到预定义位置的示例，其中预定义位置位于相应CTU行的底部行或相应CTU行的上一CTU行。

图27展示了用于计算模型误差的邻近模板示例。

图28展示了从邻近块的候选列表中的候选继承候选的示例。

图29展示了在信息保存到图像级缓冲区之前，在CTU级缓冲区中每个2x2网格的左上位置对帧间编解码或CCM信息进行子采样的示例。

图30展示了本发明的一个实施例，其中如果跳过标志为真，合并标志将被推断为1，并且Cb分量的CBF和Cr分量的CBF都被推断为0。

图31展示了本发明的一个实施例，其中如果跳过标志为真，合并标志将被推断为1，并且Cb分量的CBF和Cr分量的CBF都被推断为0，且合并标志被推断为0，Cb和Cr分量的CBF都被推断为0。

图32展示了本发明一个实施例的示例性视频解码系统的流程图，该系统根据与跨元件预测相关的信息使用一个或多个上下文模型解码语法数据。

图33展示了本发明一个实施例的示例性视频编码系统的流程图，该系统根据与跨元件预测相关的信息使用一个或多个上下文模型编码语法数据。

图34展示了本发明一个实施例的示例性视频编解码系统的流程图，该系统使用信息对当前块进行编码或解码，包括与一个或多个色度块共享的编码块标志对应的色度语法。

图35展示了本发明一个实施例的示例性视频编解码系统的流程图，该系统使用合并标志指示当前块是否从继承的CCP候选继承一个或多个跨元件模型参数。

【具体实施方式】

可以很容易地理解，本发明的组件，如图中一般描述和示意的，可以以各种不同的配置进行安排和设计。因此，以下对本发明系统和方法的实施例的更详细描述，如图所示，并不旨在限制所要求保护的发明范围，而仅仅是本发明选定实施例的代表。整个说明书中对“一种实施例”、“一个实施例”或类似语言的引用意味着在与该实施例相关的描述中，特定特征、结构或特性可以包含在本发明的至少一个实施例中。因此，说明书中各处出现的“在一种实施例中”或“在一个实施例中”的短语不一定都指的是同一个实施例。

此外，所描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。然而，相关技术领域的技术人员将认识到，本发明可以在没有一个或多个具体细节的情况下进行实践，或者使用其他方法、组件等。在其他情况下，为了避免遮蔽发明的方面，未详细展示或描述众所周知的结构或操作。通过参考附图，其中相似的部分在整个过程中用相似的数字标记，将最好地理解本发明的实施例。以下描述仅作为示例，并仅仅说明与本文所要求保护的发明一致的某些选定的设备和方法实施例。

为了提高跨元件预测的编解码性能，披露了各种方案。

在ECM中，提出了各种跨元件预测(CCP)的方法，以提高帧内色度编解码效率。例如，

-CCLM_L,CCLM_T,CCLM_LT,MMLM_L,MMLM_T,MMLM_LT

-CCCM_L,CCCM_T,CCCM_LT,MMCCCM_L,MMCCCM_T,MMCCCM_LT

-GLM_L,GLM_T,GLM_LT,MMGLM_L,MMGLM_T,MMGLM_LT

-GLM2_L,GLM2_T,GLM2_LT,MMGLM2_L,MMGLM2_T,MMGLM2_LT(GLM2是具有相应亮度项的GLM)

-对于每种GLM模式，可以选择4个梯度内核。

借助这些跨元件模型，帧内色度预测变得更加准确，残差的熵也变得更小。基于这一观察，本发明提出了以下方法来提高帧内色度预测的编解码性能：

改进CBF编解码

在以前的编解码标准中，由于帧内编解码通常不能完美预测，当当前块通过帧内模式进行编解码时，不会信号传送root_cbf(即，指示所有颜色组件的任何变换块是否具有变换系数)。然而，通过使用各种跨元件模型，这些模型利用亮度重建样本作为模型输入，色度组件可以更准确地预测，并且在帧内编解码模式中所有色度组件的CBF(编解码块标志)或编码标志等于0的概率正在增加。基于这一假设，提出了各种方法来提高CBF编解码效率。

在一种实施例中，root_cbf语法可以用于帧内编码块，以指示每个颜色组件的任何变换块是否具有任何变换系数。

在一种实施例中，提出了一种新标志root_chroma_cbf，用于指示色度组件的任何变换块是否具有任何变换系数。例如，如果root_chroma_cbf标志为真，则意味着Cb或Cr组件中的至少一个具有CBF标志等于1。因此，当Cb组件的CBF为0时，Cr组件的CBF被隐含推断为1，并且不进行信号传送。否则，如果root_chroma_cbf标志为假，则意味着Cb组件的CBF和Cr组件的CBF都等于0。

通过为帧内色度CCP模式和继承的跨元件模型添加上下文模型来改进变换编解码和残差编解码

由于使用CCP模式的帧内色度预测可以比使用非CCP模式更准确，并且继承的跨元件模型也是一种CCP模式，因此可以通过根据CCP模式相关信息添加一个或多个上下文模型和/或额外的上下文模型来改进变换编解码和残差编解码中的语法，具体取决于当前块是否使用继承的跨元件模型。

在一种实施例中，与变换编解码和残差编解码相关的语法可以包括但不限于root_cbf、Cb组件的CBF、Cr组件的CBF、transform_skip_flag、lfnst_idx、mts_idx、tu_joint_cbcr_residual_flag、last_significant_position、cu_qp_delta_abs、cu_qp_delta_sign_flag、cu_chroma_qp_offset_flag和/或cu_chroma_qp_offset_idx。

在一种实施例中，变换编解码和残差编解码中的所有语法可以根据CCP模式相关信息具有一个或多个上下文模型。在另一种实施例中，变换编解码和残差编解码中的部分语法可以根据CCP模式相关信息具有一个或多个上下文模型。在另一种实施例中，变换编解码和残差编解码中的所有语法元素可以根据当前块是否使用继承的跨元件模型具有额外的上下文模型。

在另一种实施例中，变换编解码和残差编解码中的部分语法元素可以根据当前块是否使用继承的跨元件模型具有一个或多个上下文模型。

在一种实施例中，当当前块通过帧内模式进行编解码并且帧内预测模式是所有CCP模式之一或继承的跨元件模型时，使用与变换编解码和残差编解码相关的语法的额外上下文模型。

在另一种实施例中，当当前块通过帧内模式进行编解码并且帧内预测模式是所有CCP模式的子组之一时，使用与变换编解码和残差编解码相关的语法的额外上下文模型。

在另一种实施方式中，存在多个附加上下文模型，并且上下文模型的决策可以依赖于当前编解码块的CCP类型。例如，如果当前块通过CCP单模型进行编解码，则使用第一个附加上下文模型；如果当前块通过CCP多模型进行编解码，则使用第二个附加上下文模型。另一个例子是，如果当前块通过LM模型进行编解码，则使用第一个附加上下文模型；如果当前块通过卷积跨元件模型(Convolutional Cross-Component Mode，简称CCCM)进行编解码，则使用第二个附加上下文模型；如果当前块通过梯度线性模型(Gradient LinearModel，简称GLM)进行编解码，则使用第三个附加上下文模型。

在另一种实施方式中，存在多个附加上下文模型，并且与变换编解码(TransformCoding)和残差编解码(Residual Coding)相关的语法的上下文模型决策可以与邻近编解码块的预测模式相关。例如，如果只有上方块通过CCP模式进行编解码，则使用第一个附加上下文模型；如果只有左侧块通过CCP模式进行编解码，则使用第二个附加上下文模型；如果上方块和左侧块都通过CCP模式进行编解码，则使用第三个附加上下文模型。

在另一种实施方式中，存在多个附加上下文模型，并且上下文模型的决策可以依赖于通过CCP模式编解码的邻近块的数量。例如，如果通过CCP模式编解码的邻近块的数量等于第一个数字，则使用第一个附加上下文模型；如果通过CCP模式编解码的邻近块的数量等于第二个数字，则使用第二个附加上下文模型，依此类推。

为了提高跨元件预测的预测准确性或编解码性能，披露了各种与继承跨元件模型相关的方案。

用于细化跨元件模型参数的引导参数集

根据这种方法，引导参数集用于通过指定的CCLM模式细化导出的模型参数。例如，引导参数集在比特流中明确信号传送，在导出模型参数后，引导参数集被添加到导出的模型参数中作为最终模型参数。引导参数集至少包含一个差分缩放参数(dA)、一个差分偏移参数(dB)和一个差分移位参数(dS)。例如，方程(1)可以重写为：

pred_C(i,j)＝((α′·rec_L′(i,j))>>s)+β，

如果dA被信号传送，则最终预测为：

pred_C(i,j)＝(((α′+dA)·rec_L′(i,j)}>>s)+β。

类似地，如果dB被信号传送，则最终预测为：

pred_C(i,j)＝((α′·rec_L′(i,j))＞＞s)+(β+dB)。

如果dS被信号传送，则最终预测为：

pred_c(i,j)＝((α′·rec_L′(i,j))＞＞(s+dS))+β。

如果dA和dB被信号传送，则最终预测为：

pred_C(i,j)＝(((α′+dA)·rec_L′(i,j))＞＞s)+(β+dB)。

引导参数集可以针对每个颜色分量进行信号传送。例如，为Cb分量信号传送一个引导参数集，为Cr分量信号传送另一个引导参数集。或者，可以信号传送一个引导参数集并在颜色分量之间共享。信号传送的dA和dB可以是正值或负值。当信号传送dA时，信号传送一个bin以指示dA的符号。类似地，当信号传送dB时，信号传送一个bin以指示dB的符号。

对于另一种实施方式，dA和dB可以是最终缩放和偏移参数的最低有效位(LeastSignificant Bits，简称LSB)部分。例如，如果需要m位来表示最终缩放参数，则dA是最终缩放参数的LSB部分，并且使用n位(m>n)来表示dA，其中最终缩放参数的最高有效位(m-n位)是隐式导出的。换句话说，对于最终缩放参数，最终缩放参数的最高有效位取自α′的最高有效位部分，最终缩放参数的LSB部分来自信号传送的dA。类似地，如果需要p位来表示最终偏移参数，则dB是最终偏移参数的LSB部分，并且使用q位(p>q)来表示dB，其中最终偏移参数的最高有效位(p-q位)是隐式导出的。换句话说，对于最终偏移参数，最终偏移参数的最高有效位取自β的最高有效位部分，最终偏移参数的LSB部分来自信号传送的dB。

对于另一种实施例，如果dA被信号传送，dB可以从邻近(例如L形)重建样本的平均值中隐式推导出来。例如，在VVC中，选择四个邻近的亮度和色度重建样本来推导模型参数。假设邻近亮度和色度样本的平均值分别为lumaAvg和chromaAvg，那么β通过β＝chromaAvg-(α′+dA)·lumaAvg推导出来。邻近亮度样本的平均值(即，lumaAvg)可以通过所有选定的亮度样本、当前亮度CB的亮度DC模式值或最大和最小亮度样本的平均值(例如， 或计算出来。类似地，邻近色度样本的平均值(即，chromaAvg)可以通过所有选定的色度样本、当前色度CB的色度DC模式值或最大和最小色度样本的平均值(例如， 或 计算出来。注意，对于非4:4:4颜色子采样格式，选定的邻近亮度重建样本可以来自CCLM下采样过程的输出。

对于另一种实施例，移位参数s可以是一个常数值(例如，s可以是3、4、5、6、7或8)，并且dS等于0且无需信号传送。

对于另一种实施例，在MMLM中，引导参数集也可以按模型信号传送。例如，一个引导参数集为一个模型信号传送，另一个引导参数集为另一个模型信号传送。或者，一个引导参数集被信号传送并在线性模型之间共享。或者仅为一个选定的模型信号传送一个引导参数集，而另一个模型不再通过引导参数集进一步细化。

在另一种实施例中，α'的MSB部分根据可能的最终缩放参数的成本选择。也就是说，一个可能的最终缩放参数根据信号传送的dA和α'的一个可能的MSB值推导出来。对于每个可能的最终缩放参数，计算由CCLM模型生成的邻近重建色度样本和相应色度值之间的绝对差之和定义的成本，最终缩放参数是具有最小成本的那个。在一个实施例中，成本函数定义为平方误差的总和。

继承邻近模型参数以细化跨元件模型参数

当前块的最终缩放参数从邻近块继承，并通过dA进一步细化(例如，dA的推导或信号传送可以与前面“用于细化跨元件模型参数的引导参数集”中的方法相似或相同)。一旦确定了最终缩放参数，偏移参数(例如，CCLM中的β)基于继承的缩放参数和当前块的邻近亮度和色度样本的平均值推导出来。例如，如果最终缩放参数从选定的邻近块继承，并且继承的缩放参数是α′_nei，那么最终缩放参数是(α′_nei+dA)。对于另一种实施例，最终缩放参数从历史列表继承，并通过dA进一步细化。例如，历史列表记录了先前CCLM编码块的最近j个最终缩放参数条目。然后，最终缩放参数从历史列表的一个选定条目继承，α′_list，最终缩放参数是(α′_list+dA)。对于另一种实施例，最终缩放参数从历史列表或邻近块继承，但仅取继承缩放参数的MSB(最高有效位)部分，最终缩放参数的LSB(最低有效位)来自dA。对于另一种实施例，最终缩放参数从历史列表或邻近块继承，但不通过dA进一步细化。

对于另一种实施方式，在继承模型参数后，偏移量可以通过dB进一步优化。例如，如果最终偏移参数是从选定的邻近块继承的，并且继承的偏移参数是β′_nei，那么最终缩放参数是(β′_nei+dB)。对于再一种实施方式，最终偏移参数是从历史列表中继承的，并通过dB进一步优化。例如，历史列表记录了先前CCLM编码块的最近j个最终缩放参数条目。然后，最终缩放参数是从历史列表中选定的一个条目继承的，β′_list，并且最终缩放参数是(β′_list+dB)。

对于另一种实施方式，如果继承的邻近块是使用卷积跨元件模型(ConvolutionalCross-Component Mode，简称CCCM)编码的，则滤波器系数(c_i)被继承。偏移参数(例如，c₆×B或c₆在CCCM中)可以基于继承的参数和当前块的邻近对应位置亮度和色度样本的平均值重新推导。对于再一种实施方式，仅部分滤波器系数被继承(例如，仅继承6个滤波器系数中的n个，其中1≤n<6)，其余滤波器系数使用当前块的邻近亮度和色度样本进一步重新推导。

对于再一种实施方式，如果继承的候选对其亮度重建样本应用梯度线性模型(Gradient Linear Model，简称GLM)梯度模式，则当前块也应继承候选的GLM梯度模式并应用于当前亮度重建样本。

对于再一种实施方式，如果继承的邻近块是使用多个跨元件模型(例如，多模型线性模型(Multi-Model Linear Model，简称MMLM)或CCCM多模型)编码的，则分类阈值也被继承以将当前块的邻近样本分类为多个组，并且继承的多个跨元件模型参数进一步分配给每个组。对于另一种实施方式，分类阈值是邻近重建亮度样本的平均值，并且继承的多个跨元件模型参数进一步分配给每个组。同样，一旦确定每个组的最终缩放参数，每个组的偏移参数基于继承的缩放参数和当前块的每个组的邻近亮度和色度样本的平均值重新推导。对于另一个例子，如果使用CCCM多模型，一旦确定每个组的最终系数参数(例如，c₀到c₅，除了CCCM中的c₆)，每个组的偏移参数(例如，CCCM中的c₆×B或c₆)基于继承的系数参数和当前块的每个组的邻近亮度和色度样本重新推导。

对于再一种实施方式，继承模型参数可能取决于颜色分量。例如，Cb和Cr分量可以从相同或不同的候选中继承模型参数或模型推导方法。对于另一个例子，仅一个颜色分量继承模型参数，另一个颜色分量基于继承的模型推导方法推导模型参数(例如，如果继承候选是通过MMLM或CCCM编码的，当前块也基于MMLM或CCCM使用当前邻近重建样本推导模型参数)。对于再一个例子，仅一个颜色分量继承模型参数，另一个颜色分量使用当前邻近重建样本推导其模型参数。

对于再一个例子，如果Cb和Cr分量可以从不同的候选中继承模型参数或模型推导方法。Cr的继承模型可以依赖于Cb的继承模型。例如，可能的情况包括但不限于：(1)如果Cb的继承模型是CCCM，则Cr的继承模型应为CCCM；(2)如果Cb的继承模型是CCLM，则Cr的继承模型应为CCLM；(3)如果Cb的继承模型是MMLM，则Cr的继承模型应为MMLM；(4)如果Cb的继承模型是CCLM，则Cr的继承模型应为CCLM或MMLM；(5)如果Cb的继承模型是MMLM，则Cr的继承模型应为CCLM或MMLM；(6)如果Cb的继承模型是GLM，则Cr的继承模型应为GLM。

对于另一种实施方式，在解码一个块之后，当前块的跨元件模型(CCM)信息被导出并存储，以便在使用继承的邻近模型参数重建邻近块时使用。本披露中提到的CCM信息包括但不限于预测模式(例如，CCLM、MMLM、CCCM)、GLM模式索引、模型参数或分类阈值。例如，即使当前块通过帧间预测编码，当前块的跨元件模型参数也可以通过使用当前亮度和色度重建或预测样本来导出。之后，如果另一个块通过使用继承的邻近模型参数进行预测，它可以从当前块继承模型参数。另一个例子是，当前块通过跨元件预测编码，当前块的跨元件模型参数通过使用当前亮度和色度重建或预测样本重新导出。再例如，存储的跨元件模型可以是CCCM、LM_LA(即，使用上方和左侧邻近样本导出模型的单模型LM)或MMLM_LA(使用上方和左侧邻近样本导出模型的多模型LM)。再例如，即使当前块通过非跨元件帧内预测编码(例如，DC、平面、帧内角模式、MIP或ISP)，当前块的跨元件模型参数也可以通过使用当前亮度和色度重建或预测样本来导出。另一个例子是，即使当前块通过跨元件预测编码，当前块的跨元件模型参数通过使用当前亮度和色度重建或预测样本重新导出。之后，重新导出的模型参数与用于重建当前块的原始跨元件模型结合。为了与原始跨元件模型结合，可以使用标题为“基于其他继承模型生成的模型”和“继承多个跨元件模型”部分中提到的模型组合方法。例如，假设原始跨元件模型参数为重新导出的跨元件模型参数为最终的跨元件模型为 其中α是一个加权因子，可以通过邻近模板成本预定义或隐式导出。

对于另一种实施方式，当从通过跨元件模式(例如，CCLM和CCCM等)编码的邻近合并候选继承跨元件模型时，可以通过信号传送一个标志来指示/选择是否使用重新导出的模型。如果标志为0，则继承用于编码邻近合并候选的跨元件模型。如果标志为1，则继承基于邻近合并候选的亮度和色度重建或预测样本重新导出的跨元件模型。

再例如，当当前切片是非帧内切片(例如，P切片或B切片)时，当前块的跨元件模型被导出并存储，以便在使用继承的邻近模型参数重建邻近块时使用。对于另一种实施方式，当当前块是帧间编码时，通过从其参考块复制具有CCM信息的参考图像中的CCM信息来导出当前帧间编码块的CCM信息。举例来说，如图19所示，P/B图像1920中的块B是帧间编码的，然后通过从I图像1910中的参考块A复制CCM信息来获得块B的CCM信息。应注意，当前块也可以从P/B图像中的帧内编码块复制CCM信息。例如，如图19所示，P/B图像1930中的块D是帧间编码的，然后通过从P/B图像1920中帧内编码的参考块E复制CCM信息来获得块D的CCM信息。对于另一种实施方式，如果参考图像中的参考块也是帧间编码的，则通过从另一个参考图像中的另一个参考块复制CCM信息来获得参考块的CCM信息。例如，如图19所示，当前P/B图像1930中的当前块C是帧间编码的，其参考块B也是帧间编码的，由于块B的CCM信息是通过从块A复制CCM信息获得的，因此块A的CCM信息也传播到当前块C。对于另一种实施方式，当当前块通过双向预测进行帧间编码时，如果其一个参考块是帧内编码并具有CCM信息，则通过从参考图像中的帧内编码参考块复制CCM信息来获得当前块的CCM信息。例如，假设块F通过双向预测进行帧间编码，并具有参考块G和H。块G是帧内编码的并具有CCM信息。块F的CCM信息通过从以CCM模式编码的块G复制CCM信息来获得。对于另一种实施方式，当当前块通过双向预测进行帧间编码时，当前块的CCM信息是其参考块的CCM模型的组合(如标题为“继承多个跨元件模型”部分中提到的方法)。

当通过使用当前亮度和色度重建或预测样本为当前块导出跨元件模型时，在一个实施例中，如果当前导出的模型误差大于阈值，则当前导出的模型被丢弃且不存储。例如，可以将当前亮度重建样本输入到模型中，计算模型输出与当前色度重建样本之间的失真，然后将计算出的失真通过当前块的大小或用于计算失真的样本数量进行归一化。如果归一化后的失真大于或等于阈值，则当前导出的模型被丢弃且不存储。

是否为当前块导出跨元件模型可以取决于当前块的大小或面积。例如，对于小块(例如，块宽度/高度小于或等于阈值，或块面积小于或等于阈值)，不允许导出跨元件模型。对于另一个例子，对于大块(例如，块宽度/高度大于或等于阈值，或块面积大于或等于阈值)，不允许导出跨元件模型。

继承CCM信息

在一个实施例中，继承的跨元件模型的跨元件模型(CCM)信息可以与继承的模型参数一起存储。如本披露中前面所述，CCM信息包括但不限于预测模式(例如，CCLM、MMLM、CCCM)、用于指示卷积模型中使用哪个模型形状的模型索引、多模型的分类阈值、下采样滤波标志、下采样滤波索引、用于导出模型的邻近线数量、用于导出模型的模板类型、后滤波标志或模型参数。

在一个实施例中，可以继承CCLM模型。除了存储模型参数外，还可以在CCM信息中存储预测模式，以指示继承的模型是CCLM模型。

在另一个实施例中，可以继承具有非线性项的CCLM模型。除了存储模型参数外，还可以在CCM信息中存储预测模式，以指示继承的模型是具有非线性项的CCLM模型。

在一个实施例中，可以继承CCCM模型。除了存储模型参数外，还可以在CCM信息中存储预测模式，以指示继承的模型是CCCM模型。用于调整CCCM模型输入的亮度偏移和色度偏移也可以存储在CCM信息中。

在另一个实施例中，可以继承具有不同卷积滤波形状的CCCM模型。除了模型参数和预测模式外，还可以在CCM信息中存储CCCM模式索引，以指示用于继承的CCCM模型的卷积滤波形状。例如，具有不同卷积滤波形状的CCCM模型可以仅包含水平方向的空间项。对于另一个例子，具有不同卷积滤波形状的CCCM模型可以仅包含垂直方向的空间项。对于另一个例子，具有不同卷积滤波形状的CCCM模型可以仅包含对角线方向的空间项。对于另一个例子，具有不同卷积滤波形状的CCCM模型可以仅包含反对角线方向的空间项。对于另一个例子，具有不同卷积滤波形状的CCCM模型可以包含X形空间项。

在另一个实施例中，可以继承使用非下采样样本的CCCM模型。除了存储模型参数外，还可以在CCM信息中存储预测模式，以指示继承的模型是使用非下采样样本的CCCM模型。

在另一个实施例中，可以继承具有多个下采样滤波器的CCCM模型。除了存储模型参数外，还可以在CCM信息中存储预测模式，以指示继承的模型是具有多个下采样滤波器的CCCM模型，并且还可以在CCM信息中存储模型索引，以指示继承了哪个变体的具有多个下采样滤波器的CCCM模型。

在另一个实施例中，可以继承由各种项(例如，空间项、梯度项、位置项、非线性项和偏差项)组成的混合CCCM模型。梯度项可以在下采样域或非下采样域中计算。位置项可以相对于当前块或图像的左上坐标进行计算。除了存储模型参数外，还可以在CCM信息中存储预测模式，以指示继承的模型是由各种项组成的混合CCCM模型。如果有多种类型的混合CCCM模型，还可以在CCM信息中存储模型索引，以指示继承了哪种类型的混合CCCM模型。例如，在JVET-AB0119中提出的基于梯度和位置的CCCM(GL-CCCM)是一个混合CCCM模型，它包含中心位置的一个空间项、用于水平方向和垂直方向的两个梯度项、用于相对水平位置和相对垂直位置的两个位置项X和Y、一个非线性项和一个偏差项。除了存储模型参数外，还可以在CCM信息中存储预测模式，以指示继承的模型是GL-CCCM模型。

在一个实施例中，可以继承GLM模型。除了存储模型参数外，还可以在CCM信息中存储预测模式，以指示继承的模型是GLM模型，并且还可以在CCM信息中存储下采样滤波索引，以指示用于继承的GLM模型的梯度下采样滤波器。

在另一实施例中，可以继承具有亮度项的梯度线性模型(Gradient LinearModel，简称GLM)模型。除了存储模型参数外，还可以在跨元件模型(CCM)信息中存储一个预测模式，以指示继承的模型是具有亮度项的GLM模型，并且还可以在CCM信息中存储一个下采样滤波索引，以指示用于继承的具有亮度项的GLM模型的梯度下采样滤波器。

在一个实施例中，可以继承任何类型的跨元件多模型。除了存储模型参数和预测模式外，还可以在CCM信息中存储一个多模型开/关标志，以指示继承的CCM模型是否为多模型。如果多模型开/关标志为真，则多模型分类阈值也存储在CCM信息中。

在一个实施例中，CCM信息可以包括信息以指示继承的模型是如何导出的。例如，CCM信息可以包括用于导出跨元件模型的邻近行的数量和/或用于导出模型的模板类型。例如，一组模板可以用于导出卷积跨元件模型(CCCM)模型。该组模板包括具有不同位置、大小和形状的模板。CCM信息可以存储继承的CCCM模型所基于的模板的索引。例如，继承的CCCM模型可以基于仅顶部模板、仅左侧模板或左侧和顶部模板导出。另一个例子是，继承的CCCM模型可以基于6行模板或2行模板导出。

在一个实施例中，可以在CCM信息中存储一个后滤波标志。此信息描述了继承的模型在其来源块中如何使用。如果后滤波标志开启，这表示对继承模型来源块的预测应用了滤波器。

继承模型参数的优化

在一个实施例中，可以基于继承的CCM信息进一步优化继承的模型参数。继承的CCM信息可以包括继承的模型是如何导出的，例如模板的类型和/或用于导出模型的邻近行的数量。优化的参数是基于局部信息导出的。优化过程可以遵循继承模型的导出方式，并使用相同类型的模板和/或相同数量的邻近行。例如，如果继承的模型是跨色度亮度模型(CCLM)并基于仅左侧模板导出(即，继承的模型为CCLM_L)，则偏移参数β可以从当前块的邻近左模板重建样本的平均值导出。例如，如果继承的模型是CCLM并基于仅顶部模板导出(即，继承的模型为CCLM_T)，则偏移参数β可以从当前块的邻近顶部模板重建样本的平均值导出。另一个例子是，如果继承的模型是CCCM并基于2行模板导出，则偏移值(例如，CCCM中的c₆)可以基于当前块的2行模板重建样本重新导出。另一个例子是，如果继承的模型是多模型(MMLM，具有多模型的CCCM)并基于仅左侧模板导出，则分类阈值可以基于当前块的左模板重建样本重新导出。

在一个实施例中，继承的模型参数通过不同类型的模板和/或不同数量的行进一步优化，最终的模型参数由模板成本决定。模板成本通过将候选优化模型参数应用于邻近模板以预测模板样本并计算预测样本与重建样本之间的差异(例如，SAD或SATD)来计算。例如，如果继承的模型是CCLM，则优化的偏移参数β′_L,β′_T,β′_LT分别使用当前块的重建样本的左模板、顶部模板和左顶部模板导出。如果应用β′_L的模板成本在β′_L,β′_T,β′_LT中是最小的，则选择β′_L作为最终的偏移参数。

在另一实施例中，继承的模型参数可以通过预定义值进一步优化。模板成本用于确定继承的模型参数是否进一步优化。模板成本通过将候选优化模型参数应用于邻近模板以预测模板样本并计算预测样本与重建样本之间的差异(例如，SAD或SATD)来计算。例如，对于CCCM模式，对于每个继承的模型参数c_i，该值通过dc_i优化，并比较应用c_i+dc_i和c_i的模板成本以确定哪个是最终的模型参数值。

继承空间邻近模型参数

对于另一实施例，继承的模型参数可以来自一个直接邻近的块。来自预定义位置的块的模型以预定义顺序添加到候选列表中。例如，预定义位置可以是图14中描绘的位置，预定义顺序可以是B₀,A₀,B₁,A₁和B₂，或A₀,B₀,B₁,A₁和B₂。

对于另一个实施例，预定义位置包括在立即上方(W>>1)或((W>>1)–1)位置的那些位置，如果W大于或等于TH，并且在立即左侧(H>>1)或((H>>1)–1)位置的那些位置，如果H大于或等于TH，其中W和H是当前块的宽度和高度，TH是可以是4、8、16、32或64的阈值。对于另一个实施例，从空间邻居继承的模型的最大数量小于预定义位置的数量。例如，如果预定义位置如图14所示，则有5个预定义位置。如果预定义顺序是B_0,A_0,B_1,A₁和B₂，并且从空间邻居继承的模型的最大数量是4，则只有当前面的块之一不可用或未在跨元件模型中编码时，才将来自B2的模型添加到候选列表中。

继承时间邻近模型参数

对于另一个实施例，如果当前切片/图像是非帧内切片/图像，则继承的模型参数可以来自先前编码的切片/图像中的块。例如，如图20所示，当前块的位置在(x,y)，块大小为w×h。继承的模型参数可以来自先前编码的切片/图像中位置为(x’,y’)、(x’,y’+h/2)、(x’+w/2,y’)、(x’+w/2,y’+h/2)、(x’+w,y’)、(x’,y’+h)或(x’+w,y’+h)的块，其中x’＝x+Δx和y’＝y+Δy。在一个实施例中，如果当前块的预测模式是帧内，Δx和Δy设置为0。如果当前块的预测模式是帧间预测，Δx和Δy设置为当前块的水平和垂直运动矢量。在另一个实施例中，如果当前块是帧间双向预测，Δx和Δy设置为参考图像列表0中的水平和垂直运动矢量。在另一个实施例中，如果当前块是帧间双向预测，Δx和Δy设置为参考图像列表1中的水平和垂直运动矢量。

对于另一个实施例，如果当前块是帧间双向预测，继承的模型参数可以来自参考列表中先前编码的切片/图像中的块。例如，如果参考图像列表0中的水平和垂直运动矢量是Δx_L0和Δy_L0，则运动矢量可以缩放到参考列表0和1中的其他参考图像。如果运动矢量缩放到参考列表0中的i^th参考图像为(Δx_L0,i0,Δy_L0,i0)。模型可以来自参考列表0中的i^th参考图像中的块，并且Δx和Δy设置为(Δx_L0,i0,Δy_L0,i0)。对于另一个例子，如果参考图像列表0中的水平和垂直运动矢量是Δx_L0和Δy_L0，并且运动矢量缩放到参考列表1中的i^th参考图像为(Δx_L0,i1,Δy_L0,i1)。模型可以来自参考列表1中的i^th参考图像中的块，并且Δx和Δy设置为(Δx_L0,i1,Δy_L0,i1)。

继承非邻近空间邻居模型

对于另一个实施例，继承的模型参数可以来自空间邻近块。来自预定义位置的块的模型按照预定义顺序添加到候选列表中。例如，位置和顺序的模式可以如图18所示，其中每个位置之间的距离是当前编解码块的宽度和高度。对于另一个实施例，距离当前编码块较近的位置之间的距离小于距离当前块较远的位置之间的距离。

对于另一个实施例，从非邻近空间邻居继承的模型的最大数量小于预定义位置的数量。例如，如果预定义位置如图21A-B所示，其中显示了两个模式(图21A中的模式2110和图21B中的模式2120)。如果从非邻近空间邻居继承的模型的最大数量是N，则仅当来自搜索模式1的可用模型数量小于N时才使用搜索模式2。

从历史表继承模型参数

在一个实施例中，继承的模型参数可以来自跨元件模型历史表。历史表中的跨元件模型可以按照预定义的顺序添加到候选列表中。在一个实施例中，历史候选的添加顺序可以是从表的开始到表的结束。在另一个实施例中，历史候选的添加顺序可以是从某个预定义位置到表的结束。在另一个实施例中，历史候选的添加顺序可以是从表的结束到表的开始。在另一个实施例中，历史候选的添加顺序可以是从某个预定义位置到表的开始。在另一个实施例中，历史候选的添加顺序可以是交错的方式(例如，第一个添加的是从表的开始，第二个添加的候选从表的结束，依此类推)。

在一个实施例中，可以维护单个跨元件模型历史表以存储先前的跨元件模型，并且跨元件模型历史表可以在当前图片、当前切片、当前图块、每M个CTU行或每N个CTU开始时重置，其中N和M可以是大于0的任何值。在另一个实施例中，跨元件模型历史表可以在当前图片、当前切片、当前图块、当前CTU行或当前CTU结束时重置。

在另一个实施例中，一幅图像可以被划分为多个区域，并且对于每个区域，保留一个历史表。在编码/解码过程中，历史表0和一个额外的历史表将被更新。额外的历史表可以由当前位置决定。例如，如果当前CU位于第二个区域，则要更新的额外历史表是历史表2。

在另一个实施例中，多个历史表用于不同的更新频率。例如，第一个历史表每个CU更新，第二个历史表每两个CU更新，第三个历史表每四个CU更新，依此类推。

在另一个实施例中，多个历史表用于存储不同类型的跨元件模型。例如，第一个历史表用于存储单一模型，第二个历史表用于存储多模型。另一个例子，第一个历史表用于存储梯度模型，第二个历史表用于存储非梯度模型。再例如，第一个历史表用于存储简单线性模型(例如，y＝ax+b)，第二个历史表用于存储复杂模型(例如，CCCM)。

在另一个实施例中，多个历史表用于不同的重建亮度强度。例如，如果当前块中重建亮度样本的平均值大于预定义的阈值，跨元件模型将存储在第一个历史表中；否则，跨元件模型将存储在第二个历史表中。在另一个实施例中，多个历史表用于不同的重建色度强度。例如，如果当前块中邻近重建色度样本的平均值大于预定义的阈值，跨元件模型将存储在第一个历史表中；否则，跨元件模型将存储在第二个历史表中。

在一个实施例中，当从多个历史表中添加历史候选到候选列表时，添加顺序可以是从某个表的开始到某个表的结束，然后以相同顺序或相反顺序添加下一个历史表。在另一个实施例中，添加顺序可以是从某个表的结束到某个表的开始，然后以相同顺序或相反顺序添加下一个历史表。在另一个实施例中，添加顺序可以是从某个表的某个预定义位置到某个表的结束，然后以相同顺序或相反顺序添加下一个历史表。在另一个实施例中，添加顺序可以是从某个表的某个预定义位置到某个表的开始，然后以相同顺序或相反顺序添加下一个历史表。在另一个实施例中，历史候选的添加顺序可以在某个历史表中以交错方式进行(例如，第一个添加的候选从某个历史表的开始，第二个添加的候选从某个历史表的结束，依此类推)，然后以相同顺序或相反顺序添加下一个历史表。

在另一个实施例中，添加顺序可以是从每个历史表的开始到每个历史表的结束。在另一个实施例中，添加顺序可以是从每个历史表的结束到每个历史表的开始。在另一个实施例中，添加顺序可以是从每个历史表的某个预定义位置到每个历史表的结束。在另一个实施例中，添加顺序可以是从每个历史表的某个预定义位置到每个历史表的开始。在另一个实施例中，历史候选的添加顺序可以在每个特定历史表中以交错方式进行(例如，第一个添加的候选从所有历史表的开始，第二个添加的候选从所有历史表的结束，依此类推)。

在一个实施例中，使用多个跨元件模型历史表，但并非所有历史表都用于创建候选列表。只有其区域接近当前块区域的历史表可以用于创建候选列表。

在一个实施例中，如果使用历史候选，可以通过使用较小的非邻近候选位置之间的距离来减少选择非邻近候选的范围。在另一个实施例中，如果使用历史候选，可以通过测量从当前块的左上位置到候选位置的距离，然后排除距离大于预定义阈值的候选来减少非邻近候选的数量。在另一个实施例中，如果使用历史候选，可以通过跳过不位于同一区域的候选来减少非邻近候选的数量。在另一个实施例中，如果使用历史候选，可以通过跳过不位于邻近区域的候选来减少非邻近候选的数量。邻近区域的范围是预定义的，可以是M乘N的区域，其中M和N可以是任何大于0的值。在另一个实施例中，如果使用历史候选，可以通过跳过第二搜索模式来减少选择非邻近候选的范围。

在另一个实施例中，一张图片可以被划分为多个区域，并且在每个区域中至少保留一个历史表。对于当前图片的一个区域，它可以使用或结合前一个编码图片中的一个或多个区域的历史表作为初始历史表。例如，如果一张图片被划分为N个区域，它可以隐式或显式地选择前一个编码图片中的N个区域之一的历史表作为初始历史表。N个区域之一的索引可以通过前一个编码图片中的对应区域信号传送或隐式推导出来。如图22A-B所示，其中当前图片2220是一个P/B编码图片，前一个图片2210是一个帧内编码图片。每个图片被划分为4个区域，如4个矩形框所示。根据本发明的一个实施例，前一个编码图片中的对应区域可以是如图22A所示的与当前区域2222具有相同起始几何位置的区域2212，或者如图22B所示的包含当前区域2222中心几何位置的区域。对于另一个例子，它可以结合前一个编码区域/图片中的多个历史表来构建当前区域的历史表(例如，在题为“从邻居的候选列表中继承候选”的部分中的方法)。

非邻近空间候选的可用区域

为了限制所需的缓冲/存储资源，包含非邻近空间候选的可用范围应该受到限制。在一个实施例中，只有当前CTU中的跨元件模型(Cross-Component Model，简称CCM)信息可以被非邻近空间候选引用。在另一个实施例中，只有当前CTU或左侧M个CTU中的CCM信息可以被非邻近空间候选引用。M可以是任何大于0的整数。在另一个实施例中，只有当前CTU行中的CCM信息可以被非邻近空间候选引用。在另一个实施例中，只有当前CTU行或上方N个CTU行内的待引用位置可以被引用。N可以是任何大于0的整数。注意，本披露中提到的CCM信息包括但不限于预测模式(例如，CCLM、MMLM、CCCM)、GLM模式索引、模型参数或分类阈值。

在另一个实施例中，当前CTU、当前CTU行、当前CTU行+上方N个CTU行、当前CTU+左侧M个CTU或当前CTU+上方N个CTU行+左侧M个CTU中的CCM信息可以不受限制地被引用。此外，其他区域中的CCM信息只能通过更大的预定义单元引用。例如，当前CTU行中的CCM信息存储在一个4x4网格中，而当前CTU行外的其他CCM信息存储在一个16x16网格中。换句话说，一个16x16区域只需要存储一个CCM信息，因此待引用位置应四舍五入到16x16网格，或更改为16x16网格的最近位置。

在另一个实施例中，当前CTU行或当前CTU行+M个CTU行中的CCM信息可以不受限制地被引用，并且对于上方CTU行中的待引用位置，位置将被映射到当前CTU上方的一行，或当前CTU行+M个CTU行进行引用。该设计可以保留大部分编解码效率，并且不会增加太多缓冲来存储上方CTU行的CCM信息。例如，当前CTU行(2310)和上方第一CTU行(2312)中的CCM信息可以不受限制地被引用；而对于上方第二(2320)、上方第三(2322)、上方第四CTU行等中的待引用位置，位置将被映射到上方第一CTU行(2312)上方的一行(2330)进行引用(如图23所示)。在图23中，深色圆圈表示不可用候选2340，点填充圆圈表示可用候选2342，空圆圈表示映射候选2344。例如，上方第三(2322)CTU行中的不可用候选2350被映射到上方第一CTU行(2312)上方的一行(2330)中的可用候选2352。

在上述示例中，可以无限制引用的区域靠近当前CTU(例如，当前CTU行或上方第一CTU行)。然而，根据本发明的区域不限于上述示例性区域。该区域可以比上述示例更大或更小。一般来说，该区域可以限制在距当前CTU的垂直方向、水平方向或两者之一或多个预定义距离内。在上述示例中，该区域在上方垂直方向上限制为1CTU高度，如果需要，可以扩展到2或3CTU高度。在使用左侧M个CTU的情况下，限制为当前CTU行的M CTU宽度。待引用位置的水平位置和映射的预定义位置的水平位置可以相同(例如，位置2350和位置2352在相同的水平位置)。然而，也可以使用其他水平位置。

在另一实施例中，当前CTU行或当前CTU行+M CTU行中的CCM信息可以无限制引用。此外，对于上述CTU行中的待引用位置，位置将映射到对应CTU行的最后一行以进行引用。例如，如图24所示，当前CTU行(2310)和上方第一CTU行(2312)中的CCM信息可以无限制引用，对于上方第二CTU行(2320)中的待引用位置，位置将映射到上方第二CTU行(2320)的底线(2330)。对于上方第三CTU行(2322)中的待引用位置，位置将映射到上方第三CTU行(2322)的底线(2420)。例如，上方第三CTU行(2322)中的不可用候选2350映射到上方第三CTU行(2322)的底线(2420)中的映射候选2430。图24的候选类型(即2340、2342和2344)的图例与图23中的相同。在此示例中，无约束区域可以包括一个或多个上方CTU行(例如，图24中的1CTU)。上方第二CTU行位于无约束区域上方。上方第三CTU行也称为上上方CTU行，因为它位于无约束区域上方的CTU行(即，上方第二CTU行)上方。

在另一实施例中，当前CTU行或当前CTU行+M CTU行中的CCM信息可以无限制引用，并且对于上方CTU行中的待引用位置，位置将根据待引用CCM信息的位置映射到对应CTU行的最后一行或底线或中心线以进行引用。例如，如图25所示，当前CTU行(2310)和上方第一CTU行(2312)中的CCM信息可以无限制引用，对于上方第二CTU行(2320)中的待引用位置1，位置将在引用之前映射到上方第二CTU行的底线(2330)。然而，对于上方第二CTU行中的待引用位置2，位置将在引用之前映射到上方第二CTU行(2320)的中心线(2510)，因为它比底线(2330)更接近中心线(2510)。图25的候选类型(即2340、2342和2344)的图例与图23中的相同。

在另一实施例中，当前CTU行或当前CTU行+M CTU行中的CCM信息可以无限制引用，并且对于上方CTU行中的待引用位置，位置将根据待引用CCM信息的位置映射到对应CTU行的最后一行或底线以进行引用。例如，如图26所示，当前CTU行(2310)和上方第一CTU行(2312)中的CCM信息可以无限制引用，对于上方第二CTU行(2320)中的待引用位置1，位置将在引用之前映射到上方第二CTU行(2320)的底线(2330)。然而，对于上方第二CTU行(2320)中的待引用位置2，位置将在引用之前映射到上方第三CTU行(2322)的底线(2420)，因为它比上方第二CTU行的底线(2330)更接近上方第三CTU行的底线(2420)，如图26所示。候选类型(即2340、2342和2344)的图例与图23中的相同。

在另一种实施例中，可以不受限制地引用当前编码树单元(CTU)中的CCM信息，或当前CTU加上左侧N个CTU中的CCM信息，对于左侧的CTU，待引用的位置将被映射到最靠近当前CTU或当前CTU加上左侧N个CTU的最右侧行。例如，可以不受限制地引用当前CTU和第一个左侧CTU中的CCM信息，如果待引用的位置在第二个左侧CTU中，则这些位置将被映射到第一个左侧CTU左侧的一行。如果待引用的位置在第三个左侧CTU中，则这些位置将被映射到第一个左侧CTU左侧的一行。例如，可以不受限制地引用当前CTU和第一个左侧CTU中的CCM信息，如果待引用的位置在第二个左侧CTU中，则这些位置将被映射到第二个左侧CTU的最右侧行。如果待引用的位置在第三个左侧CTU中，则这些位置将被映射到第三个左侧CTU的最右侧行。

在另一种实施例中，当可用范围对包含非相邻候选者进行限制时，如果非相邻候选者的位置超出了可用范围，则该候选者将被跳过并不会插入到候选列表中。可用区域可以是当前CTU、当前CTU行、当前CTU行加上上方N个CTU行、当前CTU加上左侧M个CTU，或当前CTU加上上方N个CTU行加上左侧M个CTU。

基于其他继承模型生成的模型

在另一种实施例中，可以从多个跨元件模型生成单个跨元件模型。例如，如果一个候选者使用多个跨元件模型进行编码(例如，MMLM或具有多模型的CCCM)，则可以通过选择多跨元件模型中的第一个或第二个跨元件模型来生成单个跨元件模型。

候选列表构建

在一种实施例中，候选列表通过以预定义顺序添加候选者直到达到最大候选者数量来构建。添加的候选者可以包括所有或部分上述候选者，但不限于上述候选者。例如，候选列表可以包括空间邻近候选者、时间邻近候选者、历史候选者、非相邻邻近候选者、基于其他继承模型或组合模型生成的单模型候选者(如后面章节中提到的：继承多个跨元件模型)。在另一种情况下，候选列表可以包括与前一个例子相同的候选者，但候选者以不同的顺序添加到列表中。

在另一种实施例中，如果所有预定义的邻近和历史候选者都已添加但未达到最大候选者数量，则会将一些默认候选者添加到候选列表中，直到达到最大候选者数量。

在一个子实施例中，默认候选者包括但不限于下面描述的候选者。最终缩放参数α来自集合{0,1/8,-1/8,+2/8,-2/8,+3/8,-3/8,+4/8,-4/8}，偏移参数β＝1/(1<<bit_depth)基于邻近亮度和色度样本得出。例如，如果邻近亮度和色度样本的平均值分别为lumaAvg和chromaAvg，则β通过β＝chromaAvg-α·lumaAvg得出。邻近亮度样本的平均值(lumaAvg)可以通过所有选定的亮度样本、当前亮度CB的亮度DC模式值或最大和最小亮度样本的平均值(例如， 或计算得出。同样，邻近色度样本的平均值(chromaAvg)可以通过所有选定的色度样本、当前色度CB的色度DC模式值或最大和最小色度样本的平均值(例如， 或计算得出。

在另一个子实施例中，默认候选包括但不限于以下描述的候选。默认候选为α·G+β，其中G是亮度样本梯度而不是下采样的亮度样本L。应用了在“梯度线性模型(GradientLinear Model，简称GLM)”一节中描述的16个GLM滤波器。最终缩放参数α来自集合{0,1/8,-1/8,+2/8,-2/8,+3/8,-3/8,+4/8,-4/8}。偏移参数β＝1/(1＜＜bit_depth)或基于邻近的亮度和色度样本导出。

在另一个实施例中，默认候选可以是具有增量缩放参数优化的早期候选。例如，如果早期候选的缩放参数是α，则默认候选的缩放参数是(α+Δα)，其中Δα可以来自集合{1/8,-1/8,+2/8,-2/8,+3/8,-3/8,+4/8,-4/8}。默认候选的偏移参数将通过(α+Δα)和当前块的邻近亮度和色度样本的平均值导出。

在另一个实施例中，默认候选可以是指示跨元件模式的快捷方式(即，使用当前邻近的亮度/色度重建样本来导出跨元件模型)，而不是从邻居继承参数。例如，默认候选可以是CCLM_LA、CCLM_L、CCLM_A、MMLM_LA、MMLM_L、MMLM_A、单模型CCCM、多模型CCCM或具有指定GLM模式的跨元件模型。

在另一个实施例中，默认候选可以是跨元件模式(即，使用当前邻近的亮度/色度重建样本来导出跨元件模型)，而不是从邻居继承参数，并且还具有缩放参数更新(Δα)。然后，默认候选的缩放参数是(α+Δα)。例如，默认候选可以是CCLM_LA、CCLM_L、CCLM_A、MMLM_LA、MMLM_L或MMLM_A。对于另一个例子，Δα可以来自集合{1/8,-1/8,+2/8,-2/8,+3/8,-3/8,+4/8,-4/8}。默认候选的偏移参数将通过(α+Δα)和当前块的邻近亮度和色度样本的平均值导出。对于另一个例子，Δα可以对每个颜色分量不同。

在另一个实施例中，默认候选可以是具有部分选定模型参数的早期候选。例如，假设早期候选有m个参数，它可以从早期候选中选择m个参数中的k个作为默认候选，其中0<k<m且m>1。

在另一个实施例中，默认候选可以是早期MMLM候选的第一个模型(即，当样本值小于或等于分类阈值时使用的模型)。在另一个实施例中，默认候选可以是早期MMLM候选的第二个模型(即，当样本值大于或等于分类阈值时使用的模型)。在另一个实施例中，默认候选可以是早期MMLM候选的两个模型的组合。例如，如果早期MMLM候选的模型是和默认候选的模型参数可以是 其中α是一个加权因子，可以预定义或基于邻近模板成本隐式导出，是第y个模型的第x个参数。

在另一种实施例中，可以从非相邻邻近区域的重建样本中导出默认候选。设当前块的位置为(x,y)，块大小为w×h。如果位于(x+dx,y+dy)的MxN区域中的重建样本是“可用的”，则可以使用该区域中的重建亮度和色度样本导出默认候选。例如，MxN可以是8x8。另一个例子，MxN可以是16x8。再一个例子，MxN可以是16x16。再一个例子，MxN可以是w×h。“可用的”含义可以是当前块内的重建样本是可用的，或者邻近样本的k行内的重建样本是可用的。k可以由IBC邻近搜索区域定义，或者由其他帧内编解码工具(例如，多参考线帧内预测，CCLM或CCCM)的邻近缓冲区区域定义。

在另一种实施例中，设当前块的位置为(x,y)，块大小为w×h，如果位于(x_mid+dx,y_mid+dy)的MxN区域中的重建样本是可用的，则可以使用该区域中的重建样本导出默认候选，其中(x_mid,y_mid)＝(x+w/2,y+h/2)。

在另一种实施例中，从非相邻邻近区域的重建样本中导出的默认候选可以是任何类型的跨元件模型或某些特定类型的跨元件模型。例如，导出的模型可以是CCLM、MMLM、CCCM、CCCM多模型或其他跨元件模型。另一个例子，导出的模型是CCCM模型。再一个例子，导出的模型是CCLM模型。再一个例子，导出的模型是CCCM或CCCM多模型。

在另一种实施例中，假设定义了两个值集α_x和α_y：

α_x＝{α_x1,α_x2,α_x3,…,α_xn},α_xi<α_xjif i<j

α_y＝{α_y1,α_y2,α_y3,…,α_yn},α_yi<α_yjif i<j。

α_x和α_y中的所有值都是正数。(dx,dy)可以是(α_xi×w,-α_yi×h),(-α_xi×w,α_yi×h),(-α_xi×w,-α_yi×h),(α_xi×w,0),(-α_xi×w,0),(0,α_yi×h),(0,y_mid-α_yi×h)。

在另一种实施例中，当前块的位置为(x,y)，块大小为w×h。设δx和δy为两个固定的正数，(dx,dy)可以是(α_xi×δx,-α_yi×δy),(-α_xi×δx,+α_yi×δy),(-α_xi×δx,-α_yi×δy),(α_xi×δx,0),(-α_xi×δx,0),(0,α_yi×δy),or(0,-α_yi×δy)。

在构建候选列表时，候选项根据预定义的顺序插入列表。例如，预定义的顺序可以是空间相邻候选项、时间候选项、空间非相邻候选项、历史候选项，然后是默认候选项。在一个实施例中，如果为非LM编码块导出跨元件模型(例如，如在标题为“继承邻近模型参数以优化跨元件模型参数”一节中提到的)，则非LM编码块的候选模型在包含LM编码块的候选模型之后被包含到列表中。在另一个实施例中，如果为非LM编码块导出跨元件模型，则非LM编码块的候选模型在包含默认候选项之前被包含到列表中。在再一个实施例中，如果为非LM编码块导出跨元件模型，则非LM编码块的候选模型比来自LM编码块的候选模型具有更低的优先级被包含到列表中。

在构建候选列表时，只有具有特定预测模式的候选项可以被添加到列表中。例如，可以限制只有通过CCLM或MMLM模式导出的候选项被允许添加到列表中。另一个例子是，可以限制只有通过单模型模式(例如，CCLM，或带有单模型的CCLM)导出的候选项被允许添加到列表中。再一个例子是，可以限制只有通过多模型模式(例如，MMLM，或带有多模型的CCCM)导出的候选项被允许添加到列表中。再一个例子是，可以限制只有通过GLM模式导出的候选项被允许添加到列表中。再一个例子是，可以限制只有通过特定模式(例如，CCLM，MMLM，CCCM，带有多模型的CCCM，或GLM)导出的候选项被允许添加到列表中。在一个实施例中，如果只有具有特定预测模式的候选项可以被添加到列表中，当进行预测模式信号传送时，可以先信号传送预测模式，然后信号传送是否使用所提出的跨元件合并模式。如果使用所提出的跨元件合并模式，则信号传送候选项索引。

在色度帧内融合模式中，非CCLM编码的帧内预测和CCLM编码的帧内预测被融合在一起以获得最终的帧内预测。在一个实施例中，当从由色度帧内融合模式编码的块/位置继承跨元件模型参数时，用于获得CCLM编码的帧内预测的模型参数被继承并进一步优化。在另一个实施例中，融合权重、非CCLM编码的帧内预测的编解码模式和用于获得CCLM编码的帧内预测的模型参数被继承并进一步优化。在再一个实施例中，非CCLM编码的帧内预测的编解码模式被隐式导出(例如，导出为DM或平面模式)，并且用于获得CCLM编码的帧内预测的融合权重和模型参数被继承并进一步优化。在再一个实施例中，如果由色度帧内融合模式编码的块/位置的非CCLM编码的帧内预测可以被隐式导出(例如，非CCLM编码的帧内预测是DM或平面模式)，则用于获得CCLM编码的帧内预测的融合权重和模型参数被继承并进一步优化。

移除或修改相似的邻近模型参数

当从其他块继承跨元件模型参数时，可以进一步检查继承模型与候选列表中的现有模型或那些由当前块的邻近重建样本导出的模型候选项之间的相似性(例如，使用当前块的邻近重建样本导出的模型，如CCLM、MMLM或CCCM)。如果候选参数的模型与现有模型相似，则该模型将不被包含在候选列表中。在一个实施例中，可以比较现有候选项之间的(α×lumaAvg+β)或α的相似性，以决定是否包含候选项的模型。例如，如果候选项的(α×lumaAvg+β)或α与现有候选项之一相同，则不包含候选项的模型。另一个例子是，如果候选项与现有候选项之一之间的(α×lumaAvg+β)或α的差异小于阈值，则不包含候选项的模型。此外，阈值可以基于编解码信息(例如，当前块的大小或面积)自适应地调整。再一个例子是，当比较相似性时，如果候选项和现有模型都使用CCCM，可以通过检查(c₀C+c₁N+c₂S+c₃E+c₄W+c₅P+c₆B)的值来决定是否包含候选项的模型。在另一个实施例中，如果候选位置指向与现有候选项相同的CU，则不包含候选参数的模型。在再一个实施例中，如果候选项的模型与现有候选模型之一相似，可以调整继承的模型参数，使得继承的模型与现有候选模型不同。例如，如果继承的缩放参数与现有候选模型之一相似，可以添加预定义的偏移量(例如，1＞＞S或-(1＞＞S)，其中S是移位参数)，使得继承的参数与现有候选模型不同。

在另一个实施例中，仅与候选列表中的现有模型的部分模型参数进行比较。例如，一个CCLM候选项具有缩放和偏移参数，可能只比较缩放或偏移参数是否与现有候选项相同或相似。如果缩放或偏移参数相同或相似，则模型将不被包含在候选列表中。再一个例子是，一个CCCM候选项具有c₀到c₆参数，可能只比较n个参数(n<7)是否与现有候选项相同或相似。如果缩放或偏移参数相同或相似，则模型将不被包含在候选列表中。

在另一种实施方式中，可以将候选模型应用于当前块的邻近重建样本，并与现有候选模型比较差异。如果差异值小于或等于阈值，则该模型将不包含在候选列表中。例如，假设应用结果为而候选列表中现有模型的对应结果为到如果或则该模型将不包含在候选列表中。对于邻近重建样本的选择，可以选择具有最大值的邻近重建样本、具有最小值的邻近重建样本、邻近重建样本的平均值/中位数/众数、左侧邻近重建样本、上侧邻近重建样本或上左侧邻近重建样本。

在另一种实施方式中，当将候选包含到列表中时，具有相同类型(例如，MMLM、CCCM或GLM)的候选数量是有限制的。例如，如果当前列表中有k个MMLM类型的候选，则不允许进一步将MMLM类型的候选包含到列表中。另一个例子是，如果当前列表中有k个CCCM类型的候选，则不允许进一步将CCCM类型的候选包含到列表中。再一个例子是，如果当前列表中有k个GLM类型的候选，则不允许进一步将GLM类型的候选包含到列表中。

在另一种实施方式中，默认候选将不与候选列表中的现有模型进行比较，并将包含在候选列表中。

重新排序列表中的候选

列表中的候选可以重新排序，以减少信号传送所选候选索引时的语法开销。重新排序规则可以依赖于邻近块的编解码信息或模型误差。例如，如果邻近的上侧或左侧块通过MMLM进行编解码，则列表中的MMLM候选可以移到当前列表的开头。同样地，如果邻近的上侧或左侧块通过单模型LM或CCCM进行编解码，则列表中的单模型LM或CCCM候选可以移到当前列表的开头。同样地，如果邻近的上侧或左侧块使用GLM，则列表中的GLM相关候选可以移到当前列表的开头。

在另一种实施方式中，重新排序规则是基于通过将候选模型应用于当前块的邻近模板，然后与邻近模板的重建样本比较误差。例如，如图27所示，当前块的上侧邻近模板2720的大小为w_a×h_a，当前块2710的左侧邻近模板2730的大小为w_b×h_b。假设当前候选列表中有K个模型，α_k和β_k是继承候选k后的最终比例和偏移参数。候选k对应于上侧邻近模板的模型误差为：

其中，和是上模板中位置(i,j)处的亮度重建样本(例如，经过下采样过程或应用GLM模式后)和色度重建样本，0≤i<w_a和0≤j<h_a。

同样地，候选k通过左侧邻近模板的模型误差为：

其中和是左侧模板中位置(m,n)处的亮度重建样本(例如，经过下采样过程或梯度线性模型(Gradient Linear Model，简称GLM)模式处理后)和色度重建样本，0≤m<w_b和0≤n<h_b。然后候选k的模型误差为：在计算所有候选的模型误差后，可以得到一个模型误差列表E＝{e⁰,e¹,e²,…,e^k,…,e^K}。然后，可以通过对模型误差列表进行升序排序来重新排列继承候选列表中的候选索引。

在另一个实施例中，如果候选k使用卷积跨元件模型(ConvolutionalCross-Component Mode，简称CCCM)预测，和定义为：

其中c0_k,c1_k,C2_k,c3_k,c4_k,c5_k和c6_k是继承候选k后的最终滤波系数。P和B是非线性项和偏置项。

在另一个实施例中，如果上述邻近模板不可用，则类似地，如果左侧邻近模板不可用，则如果两个模板都不可用，则不应用使用模型误差的候选索引重新排序方法。

在另一种实施例中，并非使用上方和左侧邻近模板内的所有位置来计算模型误差。可以选择上方和左侧邻近模板内的部分位置来计算模型误差。例如，可以定义一个起始位置和一个取样间隔，取决于当前块的宽度，以部分选择上方邻近模板内的位置。同样地，可以定义第二个起始位置和第二个取样间隔，取决于当前块的高度，以部分选择左侧邻近模板内的位置。再例如，h_a或w_b可以是一个常数值(例如，h_a或w_b可以是1、2、3、4、5或6)。再例如，h_a或w_b可以依赖于块的大小。如果当前块的大小大于或等于一个阈值，h_a或w_b等于第一个值。否则，h_a或w_b等于第二个值。

在另一种实施例中，不同类型的候选在被添加到最终候选列表之前分别重新排序。对于每种类型的候选，候选被添加到具有预定义大小N₁的初级候选列表中。初级列表中的候选被重新排序。具有最小成本的候选(N₂))然后被添加到最终候选列表中，其中N₂≤N₁。在另一种实施例中，候选根据其来源被分类为不同类型，包括但不限于空间邻近模型、时间邻近模型、非相邻空间邻近模型和历史候选。在另一种实施例中，候选根据跨元件模型模式被分类为不同类型。例如，类型可以是CCLM、MMLM、CCCM和CCCM多模型。再例如，类型可以是GLM非活动或GLM活动。

在另一种实施例中，在候选根据模板成本重新排序后，可以进一步检查候选的冗余。如果候选与其在列表中的前一个候选之间的模板成本差异小于一个阈值，则该候选被认为是冗余的。如果一个候选被认为是冗余的，它可以从列表中移除，或者可以被移动到列表的末尾。

从邻近块的候选列表中继承候选

当前继承候选列表中的候选可以来自邻近块。例如，可以继承邻近块的继承候选列表中的前k个候选。如图28所示，当前块可以继承上方邻近块的继承候选列表中的前两个候选和左侧邻近块的继承候选列表中的前两个候选。在一个实施例中，在添加邻近空间候选和非相邻空间候选后，如果当前继承候选列表未满，则邻近块的候选列表中的候选被包含到当前继承候选列表中。在另一种实施例中，当包含邻近块的候选列表中的候选时，左侧邻近块的候选列表中的候选在上方邻近块的候选列表中的候选之前被包含。在另一种实施例中，当包含邻近块的候选列表中的候选时，上方邻近块的候选列表中的候选在左侧邻近块的候选列表中的候选之前被包含。

在列表中信号传送继承候选索引

可以信号传送一个开/关标志以指示当前块是否从邻近块继承跨元件模型参数。该标志可以在每个CU/CB、每个PU、每个TU/TB、每个颜色元件或每个色度颜色元件上信号传送。可以在SPS、PPS(图像参数集)、PH(图像标头)或SH(切片标头)中信号传送高级语法，以指示所提出的方法是否允许用于当前序列、图像或切片。

信号传送最大允许候选数量以指示合并候选列表的最大大小。该数量可以在每个CU/CB、每个PU、每个TU/TB、每个颜色元件或每个色度颜色元件上信号传送。可以在SPS、PPS、PH或SH中信号传送高级语法，以指示所提出的方法是否允许用于当前序列、图像或切片。所提出方法的最大允许候选数量(即，CCP合并模式)可以与用于帧间合并模式的最大允许候选数量共享。

如果当前块从邻近块继承跨元件模型参数，则信号传送继承的候选索引。该索引可以被信号传送(例如，使用截断一元码、Exp-Golomb码或固定长度码信号传送)并在当前Cb和Cr块之间共享。再例如，该索引可以在每个颜色元件上信号传送。例如，为Cb元件信号传送一个继承索引，为Cr元件信号传送另一个继承索引。再例如，可以使用色度帧内预测语法(例如，IntraPredModeC[xCb][yCb])来存储继承索引。

如果当前块从邻近块继承跨元件模型参数，则当前色度帧内预测模式(例如，VVC标准中定义的IntraPredModeC[xCb][yCb])在比特流语法解析阶段暂时设置为跨元件模式(例如，CCLM_LA)。随后，在预测阶段或重建阶段，候选列表被推导，并通过继承的候选索引确定继承的候选模型。在获得继承的模型后，当前块的编解码信息根据继承的候选模型进行更新。当前块的编解码信息包括但不限于预测模式(例如，CCLM_LA或MMLM_LA)、相关子模式标志(例如，CCCM模式标志)、预测模式(例如，GLM模式索引)以及当前模型参数。然后，根据更新的编解码信息生成当前块的预测。

在将候选添加到历史表时移除或修改相似模型参数

在将跨元件模型添加到历史表时，可以进一步检查待添加模型与历史表中现有模型之间的相似性。如果待添加模型与现有模型相似，则待添加模型将不包含在历史表中。在一个实施例中，可以比较(α×lumaAvg+β)或α与现有候选的相似性，以决定是否包含待添加模型。例如，如果待添加模型的(α×lumaAvg+β)或α与现有候选之一相同，则待添加模型不包含。另一个例子是，如果待添加模型与现有模型之间的(α×lumaAvg+β)或α的差异小于阈值，则待添加模型不包含。此外，阈值可以基于编解码信息(例如，当前块的大小或面积)进行适应性调整。另一个例子是，在比较相似性时，如果待添加模型和现有模型都使用CCCM，可以通过检查(c₀C+c₁N+c₂S+c₃E+c₄W+c₅P+c₆B)的值来决定是否包含待添加模型。在另一个实施例中，如果当前待添加模型的CU位置与现有候选的CU位置相同，则待添加模型参数不包含。在另一个实施例中，如果待添加模型与现有候选模型之一相似，可以调整继承的模型参数，使待添加模型与现有候选模型不同。例如，如果待添加的缩放参数与现有候选模型之一相似，则待添加的缩放参数可以添加预定义的偏移量(例如，1>>S或-(1>>S)，其中S是移位参数)，使待添加模型与现有候选模型不同。

在另一个实施例中，仅部分模型参数与历史表中的现有模型进行比较。例如，一个CCLM候选具有缩放和偏移参数，可以仅比较缩放或偏移参数是否与现有候选相同或相似。如果缩放或偏移参数相同或相似，则待添加模型不会包含到历史表中。另一个例子是，一个CCCM候选具有c₀到c₆参数，可以仅比较n个参数(n<7)是否与现有候选相同或相似。如果缩放或偏移参数相同或相似，则待添加模型不会包含到历史表中。

在另一个实施例中，可以将待添加模型应用于当前块的邻近重建样本，并与现有候选模型比较差异。如果差异值小于或等于阈值，则待添加模型不会包含到历史表中。例如，假设应用结果是而历史表中现有模型的对应结果是到如果或则待添加模型不会包含到历史表中。对于邻近重建样本的选择，可以选择具有最大值的邻近重建样本、具有最小值的邻近重建样本、邻近重建样本的平均值/中值/众数、左侧邻近重建样本、上侧邻近重建样本或左上侧邻近重建样本。

在另一个实施例中，当将候选包含到历史表中时，具有相同类型(例如，MMLM、CCCM或GLM)的候选数量是有限制的。例如，如果当前历史表中有k个MMLM类型的候选，则不允许进一步包含MMLM类型的候选到历史表中。另一个例子是，如果当前历史表中有k个CCCM类型的候选，则不允许进一步包含CCCM类型的候选到历史表中。再一个例子是，如果当前历史表中有k个GLM类型的候选，则不允许进一步包含GLM类型的候选到历史表中。

在另一种实施例中，用于防止将冗余候选添加到历史表中的约束或规则将与防止将冗余候选添加到候选列表中的约束或规则相同(例如，在标题为“移除或修改相似邻近模型参数”一节中提到的约束或规则)。

继承多个跨元件模型

当前块的最终预测可以是多个跨元件模型的组合，或所选跨元件模型与非跨元件编解码工具(例如，帧内角度预测模式、帧内平面/DC模式或帧间预测模式)的预测的融合。在一个实施例中，如果当前候选列表的大小为N，可以从总共N个候选中选择k个候选(其中k≤N)。然后，通过使用所选k个候选的跨元件模型应用于相应的亮度重建样本，分别生成k个预测。当前块的最终预测是这些k个预测的组合结果。例如，如果两个候选预测(表示为p_cand1和p_cand2)被组合，当前块在(x,y)位置的最终预测为p_final(x,y)＝(1-α)×p_cand1(x,y)+α×p_cand2(x,y)，其中α是一个加权因子。此外，加权因子α可以通过邻近模板成本预定义或隐式推导。例如，通过使用在标题为“继承非相邻空间邻近模型”一节中定义的模板成本，两个候选的相应模板成本为e^cand1和e^cand2，则α为e^cand1/(e^cand1+e^cand2)。在另一种实施例中，如果两个候选模型被组合，所选模型来自列表中的前两个候选。在再一种实施例中，如果i个候选模型被组合，所选模型来自列表中的前i个候选。

在另一种实施例中，如果当前候选列表的大小为N，可以从总共N个候选中选择k个候选(其中k≤N)。这k个跨元件模型可以通过对相应模型参数进行加权平均组合成一个最终的跨元件模型。例如，如果一个跨元件模型有M个参数，最终跨元件模型的第j个参数是所选k个候选的第j个参数的加权平均，其中j为1…M。然后，通过将最终跨元件模型应用于相应的亮度重建样本生成最终预测。例如，如果两个候选模型为和最终跨元件模型为 其中α是一个加权因子，可以通过邻近模板成本预定义或隐式推导，是第y个候选的第x个模型参数。例如，通过使用在标题为“继承非相邻空间邻近模型”一节中定义的模板成本，两个候选的相应模板成本为e^cand1和e^cand2，则α为e^cand1/(e^cand1+e^cand2)。再例如，两个候选模型一个来自空间相邻邻近候选，另一个来自非相邻空间候选或历史候选。如果空间相邻邻近候选不可用，则两个候选模型都来自非相邻空间候选或历史候选。在另一种实施例中，如果两个候选模型被组合，所选模型来自列表中的前两个候选。在再一种实施例中，如果i个候选模型被组合，所选模型来自列表中的前i个候选。

在另一种实施例中，通过对相应模型参数进行加权平均，将两个跨元件模型组合成一个最终模型，其中两个跨元件模型分别来自上述空间邻近候选和左侧空间邻近候选。上述空间邻近候选是指垂直位置小于或等于当前块的顶部边界位置的邻近候选。左侧空间邻近候选是指水平位置小于或等于当前块的左侧边界位置的邻近候选。加权因子α根据当前块内的水平和垂直空间位置确定。例如，如果两个候选预测(表示为p_above和p_left)被组合，则当前块在(x,y)位置的最终预测为p_final(x,y)＝(1-α)×p_above(x,y)+α×p_left(x,y)，其中α＝y/(x+y)。在另一种实施例中，上述空间邻近候选是列表中垂直位置小于或等于当前块的顶部边界位置的第一个候选。左侧空间邻近候选是列表中水平位置小于或等于当前块的左侧边界位置的第一个候选。

在另一种实施例中，可以将跨元件模型候选与非跨元件编解码工具的预测相结合。例如，从列表中选择一个跨元件模型候选，其预测表示为p_ccm。另一种预测可以来自色度DM、色度DIMD或帧内角度模式，表示为p_non-ccm。当前块在(x,y)位置的最终预测为p_final(x,y)＝(1-α)×p_ccm(x,y)+α×p_non-ccm(x,y)，其中α是加权因子，可以通过预定义或通过邻近模板成本隐式推导出来。对于仍然相同的示例，非跨元件编解码工具的预测可以是预定义的或通过信号传送。非跨元件编解码工具的预测是色度DM或色度DIMD。对于另一个示例，非跨元件编解码工具的预测是通过信号传送的，但跨元件模型候选的索引是预定义的或由邻近块的编解码模式确定。对于仍然相同的示例，如果至少一个邻近空间块使用CCCM模式编码，则选择第一个具有CCCM模型参数的候选。如果至少一个邻近空间块使用GLM模式编码，则选择第一个具有GLM模式参数的候选。类似地，如果至少一个邻近空间块使用MMLM模式编码，则选择第一个具有MMLM参数的候选。

在另一种实施例中，可以将跨元件模型候选与当前跨元件模型的预测相结合。例如，从列表中选择一个跨元件模型候选，其预测表示为p_ccm。另一种预测可以来自当前邻近重建样本的跨元件预测模式，表示为p_curr-ccm。当前块在(x,y)位置的最终预测为p_final(x,y)＝(1-α)×p_ccm(x,y)+α×p_curr-ccm(x,y)，其中α是加权因子，可以通过预定义或根据邻近模板成本隐式推导出来。对于仍然相同的示例，当前跨元件模型的预测可以是预定义的或通过信号传送。非跨元件编解码工具的预测是色度DM或色度DIMD。对于另一个示例，非跨元件编解码工具的预测是通过信号传送的，但跨元件模型候选的索引是预定义的或由邻近块的编解码模式确定。对于仍然相同的示例，如果至少一个邻近空间块使用CCCM模式编码，则选择第一个具有CCCM模型参数的候选。如果至少一个邻近空间块使用GLM模式编码，则选择第一个具有GLM模式参数的候选。类似地，如果至少一个邻近空间块使用MMLM模式编码，则选择第一个具有MMLM参数的候选。

在另一实施例中，可以将多个跨元件模型组合成一个最终的跨元件模型。例如，可以从一个候选中选择一个模型，并从另一个候选中选择第二个模型作为多模型模式。所选候选可以是CCLM/MMLM/GLM/CCCM编码候选。多模型分类阈值可以是两个选定模式的偏移参数(例如，CCLM中的offset/β，或CCCM中的c₆×B或c₆)的平均值。在一个实施例中，如果两个候选模型被组合，所选模型是列表中的前两个候选。在另一实施例中，分类阈值设置为当前块的邻近亮度和色度样本的平均值。

精炼继承候选位置

在一个实施例中，当前块的最终继承模型来自于指示的候选位置的跨元件模型，并具有一个位置增量。例如，如果当前选定的候选位置是则可以进一步信号一个位置增量，以指示最终继承模型的位置。也就是说，当前块的最终继承模型来自于的跨元件模型。在一个实施例中，信号位置增量只能有水平位置增量或垂直位置增量，即或此外，信号位置增量可以在多个颜色组件之间共享或针对每个颜色组件信号。例如，信号位置增量是为当前Cb和Cr块共享的，或者信号位置增量仅用于当前Cb块或当前Cr块。此外，信号或可能有一个符号位以指示正位置增量或负位置增量。当指示或的大小时，可以通过查找表索引信号。例如，查找表为{1,2,4,8,16,…}，如果等于8，则信号表索引3(第一个表索引为0)。

在一个实施例中，当从候选列表中选择一个候选时，进一步搜索所选候选的邻近位置的模型。最终继承模型可以来自所选候选的邻近位置。搜索所选候选周围区域内预定义搜索模式的位置。在一个实施例中，搜索的邻近位置与所选候选在水平或垂直方向上不同，即位置增量为或在另一实施例中，搜索的邻近位置与所选候选在对角线上不同，即位置增量为其中注意，位置增量可以是正数或负数。

在另一实施例中，仅当选定候选是非邻近候选时，才进一步搜索候选的邻近位置的模型。搜索选定候选周围区域内预定义搜索模式的位置。例如，假设非邻近候选之间的距离是当前编解码块的宽度和高度。在选定非邻近候选后，进一步搜索水平距离和垂直距离均小于当前编解码块宽度和高度的位置，即，在±width的范围内，在±height的范围内。在一个实施例中，搜索的邻近位置与选定候选在水平或垂直方向上不同，即，位置差异为或在另一实施例中，搜索的邻近位置与选定候选在对角线上不同，即，位置差异为其中

从共享跨元件模型继承

在一个实施例中，当前图片被分割成多个不重叠的区域，每个区域的大小为M×N。分别为每个区域导出一个共享跨元件模型。当前区域的邻近可用亮度/色度重建样本用于导出当前区域的共享跨元件模型。然后，对于当前区域内的块，可以通过块的邻近可用亮度/色度重建样本来确定是否继承共享跨元件模型或导出跨元件模型。在一个实施例中，M×N可以是预定义值(例如，关于色度格式为32x32)、信号传送值(例如，在序列/图片/切片/图块级别信号传送)、导出值(例如，取决于CTU大小)或最大允许变换块大小。

在另一实施例中，每个区域可能有多个共享跨元件模型。例如，可以使用各种邻近模板(例如，顶部和左侧邻近样本、仅顶部邻近样本、仅左侧邻近样本)来导出多个共享跨元件模型。此外，当前区域的共享跨元件模型可以从先前使用的跨元件模型继承。例如，共享模型可以从相邻空间邻居、非相邻空间邻居、时间邻居或历史列表中的模型继承。

在进行信号传送时，可以使用第一个标志来确定当前跨元件模型是否从共享跨元件模型继承。如果当前跨元件模型从共享跨元件模型继承，则第二语法指示共享跨元件模型的继承索引(例如，使用截断一元码、Exp-Golomb码或固定长度码进行信号传送)。

与现有编解码工具共享缓冲资源

为了进一步模型继承而存储跨元件模型(CCM)信息(例如，预测模式、相关子模式标志、预测模式或模型参数)，用于存储帧间编解码信息(例如，运动矢量缓冲区)的缓冲区与跨元件合并模式共享以存储CCM信息。通过在不同编解码工具之间共享缓冲区，可以减少缓冲区大小。否则，必须分别分配缓冲区空间来存储CCM信息和帧间编解码信息。共享缓冲区的关键思想是一个块仅使用多个候选中的一个选定编解码模式进行编码。因此，各种编解码模式的编解码信息可以共享一个公共缓冲区。假设允许的最小块大小是m×n，当前CTU大小是p×q，当前图片大小是r×s。CTU级缓冲区和图片级缓冲区分别用于存储当前CTU和每个图片的帧间编解码和CCM信息。创建一个CTU级缓冲区用于存储最终的帧间编解码或CCM信息，该CTU级缓冲区大小是由于对应于水平方向的块数，对应于垂直方向的块数，对应于CTU中的总块数。创建一个图片级缓冲区用于存储当前图片的最终帧间编解码或CCM信息，该图片级缓冲区大小是其中i≥m和j≥n。换句话说，编解码信息以i×j为单位存储在图片缓冲区中。由于对应于水平方向的第二块数，对应于垂直方向的第二块数，对应于图片中的第二块总数。在对当前块进行编码或解码后，当前块的帧间编解码或CCM信息首先以m×n为单位保存到CTU级缓冲区的相应位置，其中相应位置是当前块以m×n为单位覆盖的位置。稍后，在对当前CTU进行编码或解码后，当前CTU级缓冲区中的帧间编解码或CCM信息以i×j为单位保存到图片级缓冲区的相应位置。

然而，如果CTU级缓冲区和图片级缓冲区的单位不相同(例如，i>m或j>n)，则应对CTU级缓冲区中的帧间编解码或CCM信息进行子采样以保存到图片级缓冲区。假设i/m＝g和j/n＝h，从CTU级缓冲区的每个g×h网格中选择一个保存帧间编解码或CCM信息到图片级缓冲区的相应位置。例如，如图29所示，如果g＝2和h＝2，则从每个2x2网格中选择一个位置保存帧间编解码或CCM信息到图片级缓冲区的相应位置。在一个实施例中，选择的位置可以是每个2x2网格的左上、左下、右上或右下位置。如图29所示，每个2x2网格中标记为斜线的左上位置的帧间编解码或CCM信息被保存到图片级缓冲区。在另一个实施例中，当对CTU级缓冲区中的CCM信息进行子采样以保存到图片级缓冲区时，可以有条件地检查g×h网格内的预测模式。例如，如果g×h网格内的超过一定百分比的位置是帧内模式(例如，超过50％或75％)，则选择和保存的数据是CCM信息。否则(即，g×h网格内的大多数位置是帧间模式)，选择和保存的数据是帧间编解码信息。在选择保存到图片级缓冲区的候选时，可以遵循预定义的扫描顺序选择第一个允许的候选。例如，如果选择和保存的数据是CCM信息，可以通过预定义的扫描顺序选择g×h网格内的第一个具有CCM信息的网格。对于另一个例子，如果选择和保存的数据是帧间编解码信息，可以通过预定义的扫描顺序选择g×h网格内的第一个具有帧间编解码信息的网格。

由于用于存储帧间编解码信息的缓冲区与跨元件合并模式共享，可以检查CU预测模式(例如，帧内预测或帧间预测)以识别存储在某个缓冲区位置的信息是帧间编解码还是CCM信息。在一个实施例中，如果CU预测模式是帧内预测，则存储的信息是CCM信息。否则(即，CU预测模式是非帧内预测)，存储的信息是帧间编解码信息。在另一个实施例中，可以设置无效的帧间预测参考索引或无效的MV值(例如，水平或垂直MV值)以识别存储的信息是CCM信息。否则(即，有效的帧间预测索引)，存储的信息是帧间编解码信息。例如，在VVC标准规范中，帧间预测参考索引大于2是无效的，则可以将帧间预测参考索引设置为大于2的值以识别存储的信息是CCM信息(例如，帧间预测参考索引为3)。

根据该方法，当前块被划分为两个或多个预测区域/子块，其中每个区域可以通过帧间或帧内编解码工具进行预测。此外，至少一个预测区域通过CC合并模式进行编码，其中至少一个区域的跨元件模型从空间、历史或时间的邻近块/位置继承。在一个实施例中，当前块通过四叉树、二叉树或三叉树分割进行划分。分割可以是对称或非对称的分割。

在另一个实施例中，当前块被划分为两个区域，其中两个区域之一通过帧间或帧内编解码工具进行预测，另一个通过CC合并模式进行预测。通过CC合并模式预测的区域的继承候选索引可以显式或隐式指示。例如，可以通过标题为“在列表中信号传送继承候选索引”的部分中的方法显式信号传送候选索引。另一个例子是，可以隐式选择列表中的第一个候选作为候选索引。列表中的候选可以通过标题为“在列表中重新排序候选”的部分中提到的方法重新排序。

在另一个实施例中，当前块被划分为两个区域，两个区域都通过CC合并模式进行预测，列表中的前两个候选是两个区域的候选索引。可以隐式地将第一个区域(例如，具有当前块左上角样本的区域)的候选索引设置为第一个候选，并将第二个区域的候选索引设置为第二个候选。此外，列表可以通过标题为“在列表中重新排序候选”的部分中提到的方法重新排序。另一个例子是，如果两个区域都通过CC合并模式进行预测，则显式信号传送一个索引以指示第一个区域的候选索引，第二个区域的候选索引为信号传送的索引+k或信号传送的索引-k，其中k可以是1、2、3、4或5。对于仍然相同的例子，第一个区域的候选索引是从存储在当前块相对于先前编码切片/图像的左上角位置的跨元件模型中隐式导出的，如标题为“继承时间邻近模型参数”的部分中提到的方法。在另一个实施例中，如果两个区域都通过CC合并模式进行预测，列表中的第一个候选是两个区域的候选索引。

跨元件跳过模式

借助于许多跨元件模型，帧内色度预测变得更加准确，残差的熵也变得更小。此外，与先前的视频编解码标准相比，帧内编解码模式中色度分量的所有CBF(编解码块标志)或编码标志等于0的概率增加。基于这一观察，提出了几种与跳过模式快捷方式相关的方法，以提高帧内色度预测的编解码性能。

在一个实施例中，可以在合并标志之前信号传送一个跳过标志，该标志指示当前编码块是否从邻近块继承跨元件模型参数。

在一个实施例中，如果跳过标志为真(即，使用跳过模式)，合并标志将被推断为1，继承候选的索引将被直接信号传送，并且Cb分量的CBF和Cr分量的CBF都被推断为0，如图30所示。在图30中，当跳过标志(即skipFlag)为真(即，值为1)时，继承候选的索引(即mergeIdx)被信号传送(3010)。合并标志被推断为1，Cb和Cr分量的CBF都被推断为0，由虚线框3012指示。

在另一个实施例中，如果跳过标志为真，合并标志将被推断为0，CCP模式索引将被信号传送，并且Cb分量的CBF和Cr分量的CBF都被推断为0，如图31所示。在图31中，当跳过标志(即skipFlag)为真(即，值为1)时，继承候选的索引(即LMModeIdx)被信号传送(3110)。合并标志被推断为0，Cb和Cr分量的CBF都被推断为0，由虚线框3112指示。

在一个实施例中，可以在SPS、PPS、PH或SH中信号传送高级语法，以指示是否允许当前序列、图像或切片使用所提出的跳过标志。

上述改进的跨元件预测的语法编解码可以在编码器端或解码器端实现。例如，任何所提出的跨元件预测的语法编解码方法可以在解码器中的帧内/帧间编解码模块(例如，图1B中的Intra Pred.150/MC 152)中实现，或者帧内/帧间编解码模块是编码器中的一个模块(例如，图1A中的Intra Pred.110/Inter Pred.112)。任何所提出的用于在多个编解码工具之间存储编解码信息的共享缓冲区，包括CCM模式，也可以实现为与解码器或编码器的帧内/帧间编解码模块耦合的电路。然而，解码器或编码器也可以使用额外的处理单元来实现所需的跨元件预测处理。虽然帧内预测单元(例如，图1A中的单元110/112和图1B中的单元150/152)显示为单独的处理单元，但它们可能对应于存储在媒体(如硬盘或闪存)上的可执行软件或固件代码，用于中央处理单元(Central Processing Unit，简称CPU)或可编程设备(例如，数字信号处理器(Digital Signal Processor，简称DSP)或现场可编程门阵列(Field Programmable Gate Array，简称FPGA))。

图32展示了一个示例性视频解码系统的流程图，该系统根据本发明的一个实施例，使用与跨元件预测相关的信息，通过一个或多个上下文模型解码语法数据。流程图中显示的步骤可以实现为在编码器端由一个或多个处理器(例如，一个或多个中央处理器)可执行的程序代码。流程图中显示的步骤也可以基于硬件实现，例如一个或多个电子设备或处理器被安排执行流程图中的步骤。根据解码器端的方法，在步骤3210中接收与当前块相关的编码数据，包括第一颜色块和第二颜色块，其中当前块使用跨元件预测(Cross-Component Prediction，简称CCP)进行编码。在步骤3220中解析与应用于当前块的变换编解码或残差编解码相关的一个或多个语法的编码语法数据。在步骤3230中，根据与CCP相关的信息，使用一个或多个上下文模型解码编码语法数据以生成所述一个或多个语法。在步骤3240中，使用CCP解码当前块，其中解码包括使用所述一个或多个语法对当前块的变换编解码或当前块的残差编解码。

图33展示了一个示例性视频编码系统的流程图，该系统根据本发明的一个实施例，使用与跨元件预测相关的信息，通过一个或多个上下文模型编码语法数据。根据解码器端的方法，在步骤3310中接收与当前块相关的输入数据，包括第一颜色块和第二颜色块。在步骤3320中，使用跨元件预测(Cross-ComponentPrediction，简称CCP)对当前块进行编码，其中当前块的编码过程包括对当前块的变换编解码以生成变换数据或对当前块的残差编解码以生成残差数据。在步骤3330中，根据与CCP相关的信息，使用一个或多个上下文模型编码与变换编解码或残差编解码相关的一个或多个语法以生成编码语法数据。在步骤3340中信号传送编码语法数据。

图34展示了一个示例性视频编解码系统的流程图，该系统根据本发明的一个实施例，使用信息包括与一个或多个编解码块标志对应的色度语法对当前块进行编码或解码。步骤3410中接收与当前块相关的输入数据，包括一个亮度块和两个或多个色度块，其中输入数据包括在编码器端要编码的像素数据或与当前块相关的已编码数据以便在解码器端解码，并且当前块使用跨元件预测(Cross-Component Prediction，简称CCP)进行帧内编解码。在步骤3420中，使用CCP对当前块进行编码或解码，其中编码或解码使用信息包括与一个或多个编解码块标志对应的色度语法，所述一个或多个编解码块标志包括根色度编解码块标志。

图35展示了一个示例性视频编解码系统的流程图，该系统根据本发明的一个实施例，使用合并标志指示当前块是否从继承的CCP候选继承一个或多个跨元件模型参数。根据该方法，在步骤3510中接收与当前块相关的输入数据，包括一个亮度块和两个或多个色度块，其中输入数据包括在编码器端要编码的像素数据或与当前块相关的已编码数据以便在解码器端解码，并且当前块使用跨元件预测(Cross-Component Prediction，简称CCP)进行帧内编解码。在步骤3520中为当前块生成合并候选列表，其中合并候选列表包括从邻近块继承的CCP候选。在步骤3530中信号传送或解析合并标志，指示当前块是否从继承的CCP候选继承一个或多个跨元件模型参数。在步骤3540中在合并标志之前信号传送或解析跳过标志，其中当跳过标志为真时，合并标志被推断。在步骤3550中使用包括合并候选列表的信息对当前块进行编码或解码。

所示的流程图旨在说明根据本发明的视频编解码的一个示例。技术领域的专业人员可以修改每个步骤，重新安排步骤，拆分步骤，或组合步骤以实践本发明而不偏离本发明的精神。在本披露中，使用了特定的语法和语义来说明实现本发明实施例的示例。技术领域的专业人员可以通过用等效的语法和语义替换来实践本发明而不偏离本发明的精神。

上述描述旨在使技术领域的普通技术人员能够在特定应用及其要求的背景下实践本发明。对于技术领域的专业人员来说，对所描述的实施例的各种修改将是显而易见的，并且本文定义的一般原则可以应用于其他实施例。因此，本发明并不旨在限于所示和所述的特定实施例，而是应给予与本文披露的原则和新颖特征一致的最大范围。在上述详细描述中，展示了各种具体细节以提供对本发明的透彻理解。然而，技术领域的专业人员将理解，本发明可以被实践。

根据上述权利要求中英对照和规则，以下是Spec的翻译：

本发明的实施例如上所述，可以在各种硬件、软件代码或两者的组合中实现。例如，本发明的一个实施例可以是一个或多个电路集成到视频压缩芯片中，或程序代码集成到视频压缩软件中，以执行本文所述的处理。本发明的一个实施例也可以是要在数字信号处理器(Digital Signal Processor，简称DSP)上执行的程序代码，以执行本文所述的处理。该发明还可能涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array，简称FPGA)执行的多个功能。这些处理器可以通过执行机器可读的软件代码或固件代码来配置，以执行根据本发明体现的特定任务。软件代码或固件代码可以用不同的编程语言和不同的格式或风格开发。软件代码也可以为不同的目标平台编译。然而，软件代码的不同代码格式、风格和语言以及其他配置代码以执行符合本发明任务的方法不会偏离本发明的精神和范围。

本发明可以以其他具体形式体现，而不偏离其精神或基本特征。所描述的示例在各方面仅作为说明而非限制。因此，本发明的范围由所附权利要求而非前述描述来指示。所有在权利要求的意义和等效范围内的变化都应包含在其范围内。

Claims (23)

1.一种使用编解码工具解码彩色图像的方法，包含一个或多个跨元件模型相關模式(Cross Component Models Related Modes)，所述方法包括:

接收与当前块相关的编解码数据，包括第一颜色块和第二颜色块，其中所述当前块使用跨元件预测(Cross-Component Prediction，简称CCP)进行编解码；

解析与应用于所述当前块的变换编解码(Transform Coding)或残差编解码(ResidualCoding)相关的一个或多个语法(Syntaxes)的编解码语法数据；

根据与所述CCP相关的信息，使用一个或多个上下文模型(Context Models)解码所述编解码语法数据以生成所述一个或多个语法；以及

使用所述CCP解码所述当前块，其中所述解码包括使用所述一个或多个语法对所述当前块的变换编解码或所述当前块的残差编解码。

2.如权利要求1所述的方法，其中所述一个或多个语法来自包括root_cbf、cb_cbf、cr_cbf、transform_skip_flag、lfnst_idx、mts_idx、tu_joint_cbcr_residual_flag、last_significant_position、cu_qp_delta_abs、cu_qp_delta_sign_flag、cu_chroma_qp_offset_flag、cu_chroma_qp_offset_idx或其组合。

3.如权利要求1所述的方法，其中所述一个或多个上下文模型对应于多个上下文模型，并且所述多个上下文模型中的选择取决于所述当前块的CCP类型。

4.如权利要求1所述的方法，其中所述一个或多个上下文模型对应于多个上下文模型，并且所述多个上下文模型中的选择取决于所述当前块的邻近块的预测模式。

5.如权利要求4所述的方法，其中所述邻近块的预测模式对应于一个CCP模式。

6.如权利要求1所述的方法，其中所述一个或多个上下文模型对应于多个上下文模型，并且所述多个上下文模型之间的选择取决于以CCP模式编解码的邻近块的数量。

7.如权利要求1所述的方法，其中所述一个或多个上下文模型对应于CCP单模型、CCP多模型、卷积跨元件模型(Convolutional Cross-Component Mode，简称CCCM)、梯度线性模型(Gradient Linear Model，简称GLM)或其组合。

8.一种用于视频解码的装置，所述装置包括一个或多个电子设备或处理器，安排为：

接收与当前块相关的编解码数据，包括第一颜色块和第二颜色块，其中所述当前块使用跨元件预测(Cross-Component Prediction，简称CCP)进行编解码；

解析与应用于所述当前块的变换编解码(Transform Coding)或残差编解码(ResidualCoding)相关的一个或多个语法(Syntaxes)的编解码语法数据；

根据与所述CCP相关的信息，使用一个或多个上下文模型(Context Models)解码所述编解码语法数据以生成所述一个或多个语法；以及

使用所述CCP解码所述当前块，其中所述当前块的解码过程包括使用所述一个或多个语法对所述当前块的变换编解码或所述当前块的残差编解码。

9.一种使用编解码工具编码彩色图像的方法，包含一个或多个跨元件模型相關模式(Cross Component Models Related Modes)，所述方法包括:

接收与当前块相关的输入数据，包括第一颜色块和第二颜色块；

使用跨元件预测(Cross-Component Prediction，简称CCP)编码所述当前块，其中所述编码包括对所述当前块的变换编解码(Transform Coding)以生成变换数据或对所述当前块的残差编解码(Residual Coding)以生成残差数据；以及

根据与所述CCP相关的信息，使用一个或多个上下文模型(Context Models)编码与所述变换编解码或所述残差编解码相关的一个或多个语法以生成编解码语法数据；以及

信号传送所述编解码语法数据。

10.一种用于视频编码的装置，所述装置包括一个或多个电子设备或处理器，安排为：

接收与当前块相关的输入数据，包括第一颜色块和第二颜色块；

使用跨元件预测(Cross-Component Prediction，简称CCP)编码所述当前块，其中所述当前块的编码过程包括对所述当前块的变换编解码(Transform Coding)以生成变换数据或对所述当前块的残差编解码(Residual Coding)以生成残差数据；以及

根据与所述CCP相关的信息，使用一个或多个上下文模型(Context Models)编码与所述变换编解码或所述残差编解码相关的一个或多个语法以生成编解码语法数据；以及

信号传送所述编解码语法数据。

11.一种使用编解码工具编解码彩色图像的方法，包含一个或多个跨元件模型相關模式(Cross Component Models Related Modes)，所述方法包括:

接收与当前块相关的输入数据，包括一个亮度块和两个或多个色度块，其中所述输入数据包括在编码器端要编码的像素数据或与所述当前块相关的已编码数据以便在解码器端解码，并且所述当前块使用跨元件预测(Cross-Component Prediction，简称CCP)进行帧内编解码；以及

使用所述CCP对所述当前块进行编码或解码，其中所述编码或解码使用包括与一个或多个编解码块标志(Coded Block Flags)对应的色度语法(Chroma Syntax)的信息，所述一个或多个编解码块标志包括根色度编解码块标志(Root Chroma Coded Block Flag)。

12.如权利要求11所述的方法，其中从邻近块继承的CCP候选被包含在所述当前块的合并候选列表(Merge Candidate List)，中，并且合并标志指示所述当前块是否从所述继承的CCP候选继承一个或多个跨元件模型参数。

13.如权利要求11所述的方法，其中所述一个或多个编解码块标志进一步包括对应于所述两个或多个色度块的两个或多个元件编解码块标志(Component Coded BlockFlags)。

14.如权利要求13所述的方法，其中如果所述根色度编解码块标志为假，则对应于所述两个或多个色度块的每个元件编解码块标志等于0；或者如果所述根色度编解码块标志为真，则对应于所述两个或多个色度块的所述两个或多个元件编解码块标志中的至少一个等于1。

15.一种用于视频编解码的设备，所述设备包括一个或多个电子设备或处理器，安排为：

接收与当前块相关的输入数据，包括一个亮度块和两个或多个色度块，其中所述输入数据包括在编码器端要编码的像素数据或与所述当前块相关的已编码数据以便在解码器端解码，并且所述当前块使用跨元件预测(Cross-Component Prediction，简称CCP)进行帧内编解码；以及

使用所述CCP对所述当前块进行编码或解码，其中所述当前块的编码或解码过程使用包括一个或多个编解码块标志(Coded Block Flags)的语法的信息，所述一个或多个编解码块标志包括根色度编解码块标志(Root Chroma Coded Block Flag)。

16.如权利要求15所述的设备，其中所述一个或多个编解码块标志进一步包括对应于所述两个或多个色度块的两个或多个元件编解码块标志。

17.如权利要求16所述的设备，其中如果所述根色度编解码块标志为假，则对应于所述两个或多个色度块的所述两个或多个元件编解码块标志中的每一个等于0；或者如果所述根色度编解码块标志为真，则对应于所述两个或多个色度块的所述两个或多个元件编解码块标志中的至少一个等于1。

18.一种使用编解码工具编解码彩色图像的方法，包含一个或多个跨元件模型相關模式(Cross Component Models Related Modes)，所述方法包括:

接收与当前块相关的输入数据，包括一个亮度块和两个或多个色度块，其中所述输入数据包括在编码器端要编码的像素数据或与所述当前块相关的已编码数据以便在解码器端解码，并且所述当前块使用跨元件预测(Cross-Component Prediction，简称CCP)进行帧内编解码；

为所述当前块生成合并候选列表(Merge Candidate List)，其中所述合并候选列表包括从邻近块继承的CCP候选；

信号传送或解析合并标志(Merge Flag)，指示所述当前块是否从所述继承的CCP候选继承一个或多个跨元件模型参数；

在所述合并标志之前信号传送或解析跳过标志(Skip Flag)，其中当所述跳过标志为真时，所述合并标志被推断；以及

使用包括所述合并候选列表的信息对所述当前块进行编码或解码。

19.如权利要求18所述的方法，其中当所述跳过标志为真时，信号传送或解析与所述继承的CCP候选相关的索引。

20.如权利要求18所述的方法，其中当所述合并标志被推断为1时，所述当前块从所述继承的CCP候选中继承一个或多个跨元件模型参数(Cross-Component ModelParameters)。

21.如权利要求18所述的方法，其中当所述合并标志被推断为0时，信号传送或解析CCP模式索引。

22.如权利要求18所述的方法，其中在序列参数集(Sequence Parameter Set，简称SPS)、图像参数集(Picture Parameter Set，简称PPS)、图像标头(Picture header，简称PH))或切片标头(Slice header，简称SH)中用信号传送或解析高级语法，来指示是否允许当前序列、图像或切片使用所述跳过标志。

23.一种用于视频编解码的装置，所述装置包括一个或多个电子设备或处理器，配置为：

接收与当前块相关的输入数据，包括一个亮度块和两个或多个色度块，其中所述输入数据包括在编码器端要编码的像素数据或与当前块相关的在解码器端要解码的编解码数据，并且所述当前块使用跨元件预测(Cross-Component Prediction，简称CCP)进行帧内编解码；

生成所述当前块的合并候选列表(Merge Candidate List)，其中所述合并候选列表包括来自邻近块的继承CCP候选；

信号传送或解析合并标志(Merge Flag)，指示所述当前块是否从所述继承CCP候选继承一个或多个跨元件模型参数；

在所述合并标志之前信号传送或解析跳过标志(Skip Flag)，其中当所述跳过标志为真时，所述合并标志被推断；

使用包括所述合并候选列表的信息编码或解码所述当前块。