CN121729888A - 用于在图像处理应用中提供色度格式可扩缩性的技术 - Google Patents

Abstract

公开了用于表示具有全分辨率颜色分量信息的视频和图像并且仍然与处理具有降低分辨率信息的图像的传统处理系统兼容的技术。新图像表示可包括由基础层组成的可扩缩格式，该基础层被编码以匹配传统编码器的预期。新图像表示还可包括实现降低分辨率的颜色分量到更高分辨率的上转换的附加增强层。图像表示不仅在对全分辨率表示进行解码时提供功率节省，而且还提供其他益处，诸如可扩缩且功率感知解码。

Description

用于在图像处理应用中提供色度格式可扩缩性的技术

优先权要求

本申请要求2024年7月15日提交和2023年8月14日提交的两者名称均为“Techniques For Providing Chroma Format Scalability In Image ProcessingApplications（用于在图像处理应用中提供色度格式可扩缩性的技术）”的美国申请序列第18/772,408号和第63/519,306号的优先权权益，两个美国申请的公开内容全文并入本文。

背景技术

本公开涉及用于表示图像信息的数字技术，并且具体地涉及用于多色图像信息的技术。

在现代计算应用中，存在多种方式来表示多色图像信息。在许多情况下，图像信息由多种正交颜色分量（有时称为“平面”）表示。例如，多色图像可由“RGB”颜色空间中的红色、绿色和蓝色分量表示。在另一示例中，相同的多色图像可在Y-Cr-Cb颜色空间中由亮度和两个色度颜色分量表示。已经开发了用于管理图像中的颜色的表示的标准，这促进了现代计算应用中的图像交换。

4:2:0色度格式当前是面向消费者的视频应用中的最流行色度采样格式。在该格式中，视频序列的每个帧用亮度分量和两个色度分量表示。然而，两个色度分量在垂直和水平上使用与亮度分量相比的一半分辨率来表示。发生这种情况是因为，对于大部分内容，色度信号的特性允许在对图像质量影响有限的情况下其分辨率的降低。这种分辨率降低可帮助减少存储器存储和带宽，并且在压缩视频序列时提供一些可压缩性益处（例如，按比例缩小过程可帮助减少可能存在于每个色度分量的原始4:4:4全分辨率表示中的一些噪声，从而使得更容易压缩色度数据）。诸如4:2:2格式的另选降低分辨率格式也是已知的。

存在期望更高分辨率的色度信息的一些应用，诸如屏幕共享、游戏和静止图像摄影。在一些情况下，与亮度分辨率相比降低色度分辨率可能导致对象边缘/边界周围的伪影，尤其是在边缘具有显著色差（例如，红色对象靠近蓝色背景）的情况下。色度二次采样还可能加剧压缩期间的色度泄漏。由于二次采样引起的色度泄漏在HDR内容中尤其可见，其中已经提出了一些技术（诸如用于色度转换的亮度调整方法）来抑制此类伪影。用户通常希望例如出于归档目的而维持其内容的最高质量版本（其可包括全分辨率色度样本），同时在需要时将较低分辨率版本分配给其他人。

遗憾的是，尽管全分辨率色度特征是高度期望的，但当前部署的大多数面向消费者的设备（诸如机顶盒解码器、移动设备、计算机等）仅可支持高达4:2:0色度格式的硬件解码。尽管对原生编码的4:4:4内容的软件解码是可能的，但此类软件应用可能在电池供电的设备中消耗过多功率，或者在涉及某些分辨率和帧率的实时编码应用中可能是不可能的。

附图说明

图1例示了根据本公开的一个实施方案的编码系统。

图2例示了根据本公开的一个实施方案的示例性图像。

图3例示了根据本公开的一个实施方案的处理。

图4例示了根据本公开的一个实施方案的基础层图像和增强层图像之间的过程流程。

图5例示了根据本公开的一个实施方案的示例性图像文件。

图6例示了根据本公开的另一实施方案的示例性图像文件。

图7例示了根据本公开的另一实施方案的示例性图像文件。

图8是例示根据本公开的一个实施方案的基础层图像和增强层图像之间的编码数据流的数据流程图。

图9是例示根据本公开的一个实施方案的基础层图像和增强层图像之间的解码数据流的数据流程图。

图10例示了根据本公开的另一实施方案的编码系统。

图11例示了根据本公开的一个实施方案的处理流程。

图12例示了根据本公开的一个实施方案的过程流程。

图13例示了根据本公开的一个实施方案的解码系统。

图14例示了根据本公开的另一实施方案的编码系统。

具体实施方式

本公开的实施方案提供了用于利用全分辨率颜色分量信息来表示视频和图像并且仍还与利用降低分辨率信息来处理图像的传统处理系统（诸如亮度-色度图像表示中流行的4:2:2和/或4:2:0表示）保持兼容的技术。图像表示可包括由基础层组成的可扩缩格式，其中图像数据被编码以匹配传统编码器的预期。图像表示还可包括支持降低分辨率的颜色分量到更高分辨率的上转换的附加增强层。图像表示不仅在对全分辨率表示进行解码时提供功率节省，而且还提供其他益处，诸如可扩缩且功率感知解码。

以下讨论在亮度-色度颜色平面中对图像进行编码的系统的上下文中呈现了本公开所提出的技术。如本文所讨论，图像和/或视频（为方便起见，称为“图像”）的亮度-色度表示通常以4:2:0格式表示，其中色度图像分量以与亮度颜色分量相比降低的分辨率表示。然而，本公开的原理可扩展至其他图像格式，如可能期望的，其中一个颜色分量以与另一颜色分量相比的降低分辨率的表示来表示。以下讨论内亮度-色度示例的使用不应被解释为将所提出的技术的应用限于任何特定颜色空间。

图1例示了根据本公开的一个实施方案的编码系统100。系统100可包括下采样器110、基础层缓冲器120、上采样器130、残差生成器140和增强层缓冲器150。系统100可接受呈多种颜色表示的图像数据；对于以非亮度/色度格式接收的图像，颜色平面转换器160可将图像从其原生格式转换为亮度-色度颜色格式。因此，在本讨论中，源图像被描述为以其中亮度、Cr和Cb颜色分量具有彼此相同的分辨率的格式输入到系统100（即使源图像在输入时被转换为该格式，也是如此）。

下采样器110可将色度颜色分量的分辨率下采样到符合基础层图像所遵循的颜色格式的更低分辨率。因此，在使用4:2:2格式的具体实施中，下采样器110可对色度颜色分量（Cr, Cb）进行下采样，使得每个色度颜色分量在水平方向上具有对应亮度颜色分量的一半分辨率。类似地，在使用4:2:0格式的具体实施中，下采样器110可对色度颜色分量（Cr, Cb）进行下采样，使得每个色度颜色分量在水平方向和垂直方向两者上具有对应亮度颜色分量的一半分辨率。下采样器110可将下采样的Cr和Cb色度数据输出到基础层缓冲器120。

基础层缓冲器120可存储亮度分量数据和下采样的色度分量数据，直到要将其传递到文件为止。存储在基础层缓冲器120中的数据可形成要由系统100生成的图像的基础层图像（图2）。通常，基础层数据在存储在文件中之前由编码器170进行压缩。压缩可根据互操作性编码标准（诸如ISO/ITU-T的HEVC/H.265标准或AOMedia的视频1标准（通常称为AV1））发生。在此类情况下，由下采样器110提供的下采样可符合适合于所使用的编码器170的图像数据的分辨率（例如，4:2:2、4:2:0或另一分辨率）。在实践中，编码器170可以是由系统100在其上操作的处理设备提供的编码系统。

上采样器130可将来自基础层缓冲器120的下采样的色度数据上采样到更高分辨率。例如，Cr和Cb色度数据可从存储在基础层缓冲器120中的4:2:2或4:2:0分辨率上采样到全分辨率格式（例如，4:4:4）。上采样器130可根据预定义的按比例放大技术（诸如lanczos5、双线性、双三次或某种其他上采样器）来操作。另选地，系统100可动态地选择上采样器130的参数并且在文件中提供标识所选择的参数的元数据。上采样技术考虑与亮度的色度位置类型相比的色度位置类型，即色度位置类型是否等于0、1、2等，这可影响所使用的放大器的相位。

残差生成器140可基于上采样的Cr和Cb色度信号与系统输入处的源Cr和Cb色度信号之间的比较来生成Cr和Cb色度数据的残差信号。Cr和Cb色度残差信号可被输入到增强层缓冲器150。这些Cr和Cb色度残差信号可形成源图像的增强层图像的基础。

图2例示了可由图1的系统100生成的示例性图像文件200。该文件被示出为包括基础层图像210和一个或多个增强层图像220、230。基础层图像210可包括拥有与源图像的亮度分量相对应的信息的亮度平面212、拥有与由下采样器110（图1）生成的下采样的Cr色度分量相对应的信息的Cr平面214和拥有与源图像的下采样的Cb色度分量相对应的信息的Cb平面216。基础层图像210的亮度分量212以及Cr色度分量214和Cb色度分量216可以诸如4:2:0的降低分辨率表示来表示源图像。

增强层图像220、230可包括处于更高分辨率的拥有与来自基础层图像210的一个或多个降低分辨率的颜色分量214、216相对应的信息的颜色残差。继续上文的4:2:0示例，基础层图像210的Cr平面214和Cb平面216可在水平和垂直上具有相对于基础层图像210的亮度平面212的一半分辨率。Cr色度残差增强层图像220和Cb色度残差增强层图像230可提供与由残差生成器140生成的Cr色度残差和Cb色度残差相对应的信息。增强层图像220、230可提供可从其导出全分辨率Cr色度残差和Cb色度残差的信息。

图2的示例中示出了两个增强层图像220、230，一个增强层图像与由残差生成器140生成的Cr色度残差和Cb色度残差中的每一者相对应。不要求在所有情况下都生成两个增强层图像220、230。本公开的原理适用于为单个颜色分量生成增强层数据的具体实施。预期系统设计者将定制本公开的系统100（图1）和文件格式（图2）的应用，以适合他们的个人需求。

本公开的原理可被应用于提供可能期望的多个级别的可扩缩性。图2中以虚线例示了一个这样的实施方案，其中图像200包含若干Cr增强层图像220、240和若干Cb增强层图像230、250。例如，可能期望提供呈基础层表示（比如4:2:0）的图像内容、呈中间表示（比如4:2:2）的图像内容和呈全分辨率表示（比如4:4:4）的图像内容。在这种应用中，第一对残差增强层图像240、250可以中间分辨率表示提供降低分辨率图像数据（在该示例中为Cr和Cb色度）的残差信息。第一残差增强层图像240、250可由第一组残差生成器140（图1）从基础层表示差分地导出。第二对残差增强层图像220、230可以下一更高分辨率提供降低分辨率图像数据（在该示例中为Cr和Cb色度）的残差信息。第二残差增强层图像220、230可由另一组残差生成器（图1中未示出）从第一残差增强层图像240、250差分地导出。降低分辨率颜色信息的基础层表示和增强层图像的越来越高的分辨率表示之间的这些关系可重复用于可能期望的尽可能多的分辨率。

作为多级可扩缩性的另一示例，一个或多个增强层图像可支持图像内的感兴趣区域的增加分辨率。感兴趣区域（也称为“ROI”）可以是源图像的被确定为包含人类观看者很可能感兴趣的图像数据的空间区域。图2的示例标识亮度平面212中的示例性感兴趣区域260，该感兴趣区域可与源图像（未示出）中的对应位置相关。

在此类应用中，可由可提供源图像的整个空间区域的增强信息的增强层图像220、230提供第一可扩缩性层，并且可由与感兴趣区域260的空间区域相对应的增强层图像240、250提供第二可扩缩性层。增强层图像220、230可提供源图像的整个空间区域的增强信息，该增强信息在与基础层210的内容一起解码时增加如此获得的图像的分辨率（比如从4:2:0格式增加到4:2:2格式）。ROI增强层图像240、250可提供增强信息，该增强信息在与基础层图像210的内容一起解码时将与感兴趣区域260相对应的区域的分辨率增加到最大分辨率（例如，从4:2:0格式增加到4:4:4格式）。ROI增强层图像240、250可相对于增强层图像220、230（它们本身可相对于基础层图像210差分地编码）的空间上重合的内容差分地编码。在另一具体实施中，ROI增强层图像240、250可直接从基础层图像210（例如，不考虑增强层图像220、230）差分地编码。

本公开的原理适用于其中基础层编码器180诸如通过使用HEVC单色配置文件或通过使用其中编码丢弃色度平面的HEVC主/主10配置文件来支持单色编码的系统。在这种应用中，基础层图像210的Cr色度平面214和Cb色度平面216将是空的。Cr残差增强层图像220和Cb残差增强层图像230将包含色度信息的全分辨率表示（例如，它们不是残差）。

本公开的原理也适用于其中Cr残差增强层220和Cb残差增强层230不相对于来自基础层图像210的上采样的Cr和Cb色度信息差分地编码的系统。例如，可省略上采样器130和残差生成器140（图1），并且增强层缓冲器150可视情况从源图像或颜色平面转换器160获取它们的Cr色度输入和Cb色度输入。与Cr残差增强层220和Cb残差增强层230包含残差信息的具体实施相比，这种具体实施可能导致更低的压缩效率，但它们可能受益于解码时的降低复杂度。此外，系统具体实施可在其中启用上采样器130和残差生成器140的编码与其中禁用残差生成器140的编码之间切换；编码系统100（图1）可提供元数据以标识用于编码的残差生成器140的状态。

在一个实施方案中，图像文件200可使用由MPEG例如在ISO/IEC 23008-12（MPEG-H第12部分）中定义的高效率图像文件（通常称为“HEIF”）格式来表示。具体地，具体实施可使用呈该格式的导出的图像项和另选群组概念。例如，基础层图像210可作为主要项存储在HEIF文件中。增强层图像220、230、240、250可放置在“altr”另选群组中，这指示基础层图像210（例如，具有4:2:0格式）和增强层图像220、230、240、250是彼此的另选形式。

图3例示了根据本公开的一个实施方案的基础层图像310的分量和增强层图像320、325之间的处理流程300。图3例示了用于从基础层图像分量和源色度数据生成增强层图像320、325的过程。如所讨论，基础层图像310可包含亮度平面312、Cr平面314和Cb平面316，并且增强层图像320、325可分别包含Cr色度残差和Cb色度残差。相应上采样器330和335可对来自Cr平面314和Cb平面318的分量数据进行上采样。一对比较器340和345可从上采样的色度数据生成Cr和Cb色度残差信号。具体地，第一比较器340可将由上采样器330生成的上采样的Cr色度数据与源Cr色度数据进行比较，并且第二比较器345可将由上采样器335生成的上采样的Cb色度数据与源Cb色度数据进行比较。这些色度残差信号可用于增强层图像320中的Cr色度残差和增强层图像325中的Cb色度残差的基础。

图4例示了根据本公开的一个实施方案的基础层图像410和增强层图像420、425之间的过程流程400。图4例示了用于从基础层图像410和增强层图像420恢复源色度数据的过程。如所讨论，基础层图像410可包含亮度平面412、Cr平面414和Cb平面416，并且增强层图像420、425可包含Cr色度残差和Cb色度残差。相应上采样器430和435可对来自Cr平面414和Cb平面418的分量数据进行上采样。一对加法器440和445可从上采样的Cr和Cb色度数据以及Cr色度残差420和Cb色度残差425生成恢复的Cr色度信号440和Cb色度信号412。具体地，第一加法器440可将由上采样器430生成的上采样的Cr色度数据与Cr色度残差420相加，并且第二比较器445可将由上采样器435生成的上采样的Cb色度数据与Cb色度残差425相加。因此，可从基础层图像410和增强层图像420恢复全分辨率Cr色度分量和Cb色度分量。

返回图1，存储在缓冲器150中的增强层数据可由编码器180进行压缩，该编码器可但不必根据与编码器170中相同的编码协议来操作。例如，基础层图像可能已使用HEVC主或主10配置文件或甚至8或10位的AV1主配置文件进行编码，并且增强层图像可使用AVC无交错高配置文件或仅HEVC主（8位）或甚至JPEG。可使用其他编解码器/编码规范。元数据信息可与经编码的图像一起被发信号通知，该元数据信息向解码器通知每个层如何被编码以及每个层可如何与基础层组合。

在应用中，增强层图像很可能将主要包含通常移位到位深表示的中心的残差数据（即，如果经编码的表示是8位，则将值128添加到残差信号并将其限幅在0至255内），并且因此，对于编码器180来说，减小信号的动态范围并以较低的位深对其进行编码可能是合适的。不同位深可用于不同层，同时对样本的扩缩也还可用于增加精度，并且这对于每个层可不同。

在一个实施方案中，编码器180可在色度分量数据由增强图像打包单元190打包成虚拟图像格式之后对色度分量数据进行操作。增强图像打包单元190可将Cr和Cb色度分量数据布置成将分量数据以就好像它是亮度数据一样呈现给编码器180的格式。编码器180可将编码协议应用于由增强图像打包单元190呈现的虚拟图像，这可导致具有呈另选格式的增强层图像的文件的生成。另选格式的两个示例分别在图3和图4中示出。

在图5的示例中，增强层图像520包含若干元素：经编码的亮度元素522、虚设Cr色度元素526和虚设Cb色度元素528。经编码的亮度元素522可包含由残差生成器140（图1）生成的Cr色度残差523和Cb色度残差524，这些色度残差被打包到虚拟亮度元素中并且由编码器180进行编码以产生亮度元素522。在这种应用中，编码器180可将其编码协议应用于Cr色度残差523和Cb色度残差524，就好像这些色度残差构成亮度信息的图像一样。在图5的示例中，Cr色度残差523和Cb色度残差524相对于彼此垂直地堆叠；因此，虚拟亮度元素可具有构成亮度平面512的内容的高度的两倍的图像高度。

在图5具体实施中，虚设Cr色度图像526和Cb色度图像528可包含空数据。预期，当虚设Cr色度图像526和Cb色度图像528由编码器180进行编码时，它们将具有极小的位大小。

元数据字段530可标识由增强层打包单元190和/或编码器180执行的处理。例如，元数据530可标识虚拟亮度图像内的Cr色度残差523和Cb色度残差524之间的打包关系。在系统100可动态地选择要应用的编码类型的具体实施中，元数据530还可标识由编码器180应用的编码类型。

在图6的示例中，增强层图像620也包含经编码的亮度元素622、虚设Cr色度元素626和虚设Cb色度元素628。经编码的亮度元素622可包含由残差生成器140（图1）生成的Cr色度残差623和Cb色度残差624，这些色度残差被打包到虚拟亮度元素中并且由编码器180进行编码以产生亮度元素622。如图5实施方案中那样，编码器180可将其编码协议应用于图6实施方案的Cr色度残差623和Cb色度残差624，就好像这些色度残差构成亮度信息的图像一样。在图6的示例中，Cr和Cb色度残差623、624彼此水平相邻地放置；因此，亮度元素可具有构成亮度平面612的内容的宽度的两倍的图像宽度。

元数据字段630可标识由增强层打包单元190和/或编码器180执行的处理。例如，元数据630可标识虚拟亮度图像内的Cr色度残差623和Cb色度残差624之间的打包关系（例如，它们相对于彼此的水平放置）。在系统100可动态地选择要应用的编码类型的具体实施中，元数据630还可标识由编码器180应用的编码类型。

在图6具体实施中，虚设Cr色度图像626和Cb色度图像628可包含空数据。预期，当虚设Cr色度图像626和Cb色度图像628由编码器180进行编码时，它们将具有极小的位大小。

图7例示了可由增强打包单元190（图1）形成的另一打包关系。在该示例中，可通过由残差生成器140（图1）产生的Cr和Cb色度残差的空间交织来形成虚拟亮度元素。在一方面，可选择空间元素以匹配当虚拟亮度元素被编码时由编码器180（图1）使用的空间粒度。例如，Cr和Cb色度残差可以超级块粒度、编码单元粒度或有助于由编码器180进行高效编码的其他粒度进行交织。

元数据字段730可标识由增强层打包单元190和/或编码器180执行的处理。例如，元数据730可标识虚拟亮度图像内的Cr色度残差723和Cb色度残差724之间的打包关系（例如，它们相对于彼此的交织关系以及它们被选择的粒度）。在系统100可动态地选择要应用的编码类型的具体实施中，元数据730还可标识由编码器180应用的编码类型。

如其他实施方案中那样，虚设Cr色度图像726和Cb色度图像728可包含空数据。预期，当虚设Cr色度图像726和Cb色度图像728由编码器180进行编码时，它们将具有极小的位大小。

图8是例示根据本公开的实施方案的基础层图像810和增强层图像820、830之间的数据流的数据流程图。在该实施方案中，基础层图像810包含以诸如4:2:0或4:2:2的传统表示布置的亮度平面812、Cr色度平面814和Cb色度平面816。第一Cr增强层图像820可包含虚拟亮度平面822、虚拟Cr色度平面824和虚拟Cb色度平面826。第二Cb增强层图像830可包含虚拟亮度平面832、虚拟Cr色度平面834和虚拟Cb色度平面836。基础层图像810、Cr增强层图像820和Cr增强层图像830中的每一者可由相应编码器840、850、860进行编码。

在图8的示例中，源图像的Cr色度数据（未示出）被打包到Cr增强层图像820的亮度平面822中。Cr增强层图像820的虚拟Cr色度场824和虚拟Cb色度场826可包含虚设数据。Cr增强层图像820可以传统表示（例如，4:2:0或4:2:2）呈现给第一增强层编码器850，这允许Cr增强层图像820由常规消费电子设备的传统编码器进行编码。

类似地，源图像的Cb色度数据（也未示出）可被打包到Cb增强层图像830的亮度平面832中。Cb增强层图像830的虚拟Cr色度场834和虚拟Cb色度场836可包含虚设数据。Cb增强层图像830可以传统表示（例如，4:2:0或4:2:2）呈现给第二增强层编码器860，这允许Cb增强层图像830由常规消费电子设备的传统编码器进行编码。

图8还示出了复用器870，该复用器可根据诸如HEIF的文件存储协议的要求来组织来自编码器840、850、860的经编码的数据。

图9是例示由图8的数据流产生的基础层图像和增强层图像的解码过程的数据流程图。在该实施方案中，解复用器910可将来自文件的数据解析为表示经编码的基础层图像和增强层图像的经编码的分量，并且将这些分量转发到相应解码器920、930和940。基础层解码器920可反转由基础层编码器840（图8）执行的编码过程，并且从其生成恢复的基础层图像950。基础层解码器950可根据传统解码过程来操作，在这种情况下，它可产生呈诸如4:2:0或4:2:2的传统表示的解码的图像950。

第一增强层解码器930可反转由第一增强层编码器850（图8）执行的编码过程，并且从其生成恢复的Cr增强层图像960。第一增强层解码器930还可根据传统解码过程来操作，在这种情况下，它可产生呈诸如4:2:0或4:2:2的传统表示的解码的图像960。由于Cr增强层图像820（图8）包含打包到Cr增强层图像820的虚拟亮度平面822中的源图像的Cr色度数据，因此恢复的Cr增强层图像960也可包含打包到Cr增强层图像960的虚拟亮度平面962中的恢复的Cr色度数据。Cr增强层图像960的虚拟Cr色度平面964和Cb色度平面966可包含虚设数据。

第二增强层解码器940可反转由第二增强层编码器860（图8）执行的编码过程，并且从其生成恢复的Cb增强层图像970。第二增强层解码器940还可根据传统解码过程来操作，在这种情况下，它可产生呈诸如4:2:0或4:2:2的传统表示的解码的图像970。由于Cb增强层图像830（图8）包含打包到Cb增强层图像83的虚拟亮度平面832中的源图像的Cb色度数据，因此恢复的Cb增强层图像970也可包含打包到Cb增强层图像970的虚拟亮度平面972中的恢复的Cb色度数据。Cb增强层图像970的虚拟Cr色度平面974和Cb色度平面976可包含虚设数据。

图像重构器980可从恢复的基础层图像950和增强层图像960、970生成重构的图像990。如所讨论，Cr增强层图像960和Cb增强层图像970的虚拟亮度平面962、972可分别包含恢复的Cr色度数据和Cb色度数据。那些亮度平面962、972中的数据可以全分辨率（例如，匹配恢复的基础层图像950的亮度平面952内所包含的亮度数据的分辨率）表示Cr分量和Cb分量。图像重构器可以全分辨率（例如，4:4:4）从基础层图像950的亮度平面952内所包含的全分辨率亮度表示、第一增强层图像960的亮度平面962内所包含的全分辨率Cr色度表示和第二增强层图像970的亮度平面972内所包含的Cb色度表示导出重构的图像990。当然，在较低分辨率图像信息合适（例如，源图像的恢复的4:2:0表示足够）的处理应用中，解码器可在不处理来自文件的任何经编码的增强层图像的情况下对基础层图像950进行解码。

图8和图9的数据流程图例示了其中增强层图像820、830（图8）和960、970（图9）的Cr和Cb色度信息不相对于基础层图像810的Cr色度信息814和Cb色度信息816差分地形成的编码示例。

图10例示了根据本公开的另一实施方案的编码系统1000。系统1000可包括下采样器1010、基础层缓冲器1020、编码器/解码器1030、上采样器1040、残差生成器1050、增强层缓冲器1060和编码器1070。如图1实施方案中那样，系统1000可接受呈多种颜色表示的图像数据；对于以非亮度/色度格式接收的图像，可将它们转换为亮度/色度颜色格式。因此，系统1000被示出为处理其中亮度、Cr和Cb颜色分量具有彼此相同的分辨率的源图像。

下采样器1010可将色度颜色分量的分辨率下采样到符合基础层图像所遵循的颜色格式的更低分辨率。因此，在使用4:2:2格式的具体实施中，下采样器1010可对色度颜色分量（Cr, Cb）进行下采样，使得每个色度颜色分量在水平方向上具有对应亮度颜色分量的一半分辨率。类似地，在使用4:2:0格式的具体实施中，下采样器1010可对色度颜色分量（Cr, Cb）进行下采样，使得每个色度颜色分量在水平方向和垂直方向两者上具有对应亮度颜色分量的一半分辨率。下采样器1010可将下采样的Cr和Cb色度数据输出到基础层缓冲器1020。

基础层缓冲器1020可存储亮度分量数据和下采样的色度分量数据，直到要将其传递到文件为止。存储在基础层缓冲器1020中的数据可形成要由系统1000生成的图像的基础层图像（图2）。在该实施方案中，基础层数据在存储到文件中之前由编码器1070进行压缩。压缩可根据诸如HEVC或AV1的互操作性编码标准发生。在此类情况下，由下采样器1010提供的下采样可符合适合于所使用的编码器1070的图像数据的分辨率（例如，4:2:2、4:2:0或另一分辨率）。在实践中，编码器1070可以是由系统1000在其上操作的处理设备提供的编码系统。

编码器/解码器1030可根据由编码器1070应用的编码算法来对下采样的Cr和Cb色度信号进行编码，并且对所编码的信号进行解码。许多编码算法是有损编码过程，这些有损编码过程使信号在被编码和解码时引起编码损失。因此，编码器/解码器1030可输出Cr和Cb色度信号，这些色度信号表示被输入到编码器/解码器1030但表现出一些编码错误的Cr和Cb色度信号。由编码器/解码器1030引入的编码错误很可能类似于当图像文件被解码时由解码系统（未示出）引起的编码错误。

上采样器1040可将从编码器/解码器1030输入到该上采样器的下采样的Cr和Cb色度信号上采样到更高分辨率。例如，Cr和Cb色度数据可从存在于基础层缓冲器1020中的4:2:2或4:2:0分辨率上采样到全分辨率格式（例如，4:4:4）。同样，上采样器1040可根据预定义的按比例放大技术（诸如lanczos 5、双线性、双三次或某种其他上采样器）来操作。上采样技术考虑与亮度的色度位置类型相比的色度位置类型，即色度位置类型是否等于0、1、2等，这可影响所使用的放大器的相位。

残差生成器1050可基于上采样的Cr和Cb色度信号与系统输入处的源Cr和Cb色度信号之间的比较来生成Cr和Cb色度数据的残差信号。Cr和Cb色度残差信号可被输入到相应增强层缓冲器1060。这些Cr和Cb色度残差信号可形成源图像的增强层图像的基础。

存储在增强层缓冲器1060中的增强层数据可由编码器1090进行压缩，该编码器可（但不必）根据与编码器1070中相同的编码协议来操作。编码器1090可直接对Cr和Cb色度分量进行操作，在这种情况下，增强层图像220（图2）可具有如图2所例示的用于Cr平面214和Cb平面216的对象。另选地，编码器1090可如关于图5至图7中的任一者所讨论地使用由增强层打包单元1080生成的虚拟图像来操作。

在另选实施方案中，编码器/解码器1030可仅被实现为反转由编码器1070执行的编码操作的解码器。在这种实施方案中，经编码的Cr和Cb色度数据可从编码器1070输入到解码器1030（以虚线所示的路径）。

图11例示了根据本公开的一个实施方案的基础层图像1110的分量和增强层图像1120、1125之间的处理流程1100。图11例示了用于从基础层图像分量和源色度数据生成增强层图像1120、1125的过程。如所讨论，基础层图像1110可包含亮度平面1112、Cr平面1114和Cb平面1116，第一增强层图像1120可包含Cr色度残差，并且第二增强层图像1125可包含Cb色度残差。相应编码器/解码器单元1130、1135可对来自基础层图像1110的Cr色度信号1114和Cb色度信号1116进行编码，然后进行解码。相应上采样器1140和1145可对来自Cr平面1114和Cb平面1118的解码的分量数据进行上采样。一对比较器1150和1155可从上采样的色度数据生成Cr和Cb色度残差信号。具体地，第一比较器1150可将由上采样器1140生成的上采样的Cr色度数据与源Cr色度数据进行比较，并且第二比较器1155可将由上采样器1145生成的上采样的Cb色度数据与源Cb色度数据进行比较。这些色度残差信号可形成Cr色度残差增强层图像1120和Cb色度残差增强层图像1125的基础。

图12例示了根据本公开的一个实施方案的基础层图像1210和增强层图像1220、1225之间的过程流程1200。图12例示了用于从基础层图像1210和增强层图像1220、1225恢复源色度数据的过程。如所讨论，基础层图像1210可包含亮度平面1212、Cr平面1214和Cb平面1216，第一增强层图像1220可包含Cr色度残差，并且第二增强层图像1225可包含Cb色度残差。相应解码器1230、1235可对来自基础层图像1210的Cr色度信号1214和Cb色度信号1216进行解码。相应上采样器1240和1245可对来自解码器1230、1235的解码的Cr和Cb色度数据进行上采样。一对加法器1250和1255可从上采样的Cr和Cb色度数据以及Cr色度残差1220和Cb色度残差1225生成恢复的Cr色度信号1260和Cb色度信号1265。具体地，第一加法器1250可将由上采样器1240生成的上采样的Cr色度数据与Cr色度残差1220相加，并且第二比较器1255可将由上采样器1245生成的上采样的Cb色度数据与Cb色度残差1225相加。因此，可从基础层图像1210和增强层图像1220、1225恢复全分辨率Cr色度分量和Cb色度分量。

图13例示了根据本公开的一个实施方案的用于生成具有全分辨率色度的恢复的图像的解码系统1300。系统1300可包括基础层解码器1310，该基础层解码器可通过反转由创建基础层图像的系统的编码器（图1、图10）应用的编码过程来对基础层图像（图2、图5至图7）进行解码。因此，对于根据HEVC技术编码的基础层图像，也可根据HEVC技术来对基础层图像进行解码。并且，对于根据AV1技术编码的基础层图像，可根据AV1技术对基础层图像进行解码。基础层解码器1310可输出恢复的亮度、Cr色度和Cb色度数据。与从其生成恢复的图像数据的源图像（图1、图10）相比，由基础层解码器1310输出的恢复的图像数据可具有降低分辨率Cr和Cb色度。例如，来自基础层解码器1310的恢复的图像数据可具有适合于基础层解码器1310的4:2:2或4:2:0格式。

系统1300还可包括增强层解码器1320、图像重新打包单元1330、加法器1340和用于处理增强层图像（图2、图5至图7）的上采样器1350。增强层解码器1320可对增强层图像进行解码以反转由增强图像编码器（诸如图1的编码器180或图10的编码器1090）执行的任何处理技术。图像重新打包单元1330可将从增强层解码器1320输出的解码的数据重新格式化，以反转由增强图像打包单元190（图1）或1080（图10）执行的格式化操作。因此，在虚拟亮度图像由Cr和Cb色度残差形成并被编码的具体实施中，诸如图5至图7的示例所示，图像重新打包单元1330可将虚拟亮度图像重新格式化为Cr和Cb色度残差。

上采样器1350可对从基础层解码器1310输出的Cr和Cb色度信号执行上采样操作。上采样操作可模拟图1、图3至图4和/或图10所示的上采样器所执行的上采样操作。作为上采样操作的结果，从基础层解码器1310输出的Cr和Cb色度信号可被转换到表示来自增强层解码器1320的Cr和Cb残差信号的更高分辨率。加法器1340可从来自上采样器1350的上采样的Cr和Cb色度信号以及来自增强层解码器1320的Cr和Cb残差信号生成全分辨率恢复的Cr和Cb色度信号。因此，系统1300可输出来自基础层解码器1310的亮度信号和来自加法器的恢复的Cr和Cb色度信号作为从其生成文件的源图像的全分辨率表示。因此，在基础层图像可以4:2:2或4:2:0格式表示源图像的情况下，当使用如由加法器1340恢复的全分辨率Cr或Cb色度数据时，系统1300可以4:4:4格式输出恢复的图像。系统1300的数据流可如例如图4或图12所示进行。

图14例示了根据本公开的另一实施方案的编码系统1400。系统1400可包括下采样器1410、基础层缓冲器1420、颜色转换器1430、一个或多个分量处理器1440.1-1440.n、增强层缓冲器1450和基础层编码器1460。如图1实施方案中那样，系统1400可接受呈多种颜色表示的图像数据；对于以非亮度/色度格式接收的图像，可将它们转换为亮度/色度颜色格式。因此，系统1400被示出为处理其中亮度、Cr和Cb颜色分量具有彼此相同的分辨率的源图像。

下采样器1410可将色度颜色分量的分辨率下采样到符合基础层图像所遵循的颜色格式的更低分辨率。因此，在使用4:2:2格式的具体实施中，下采样器1410可对色度颜色分量（Cr, Cb）进行下采样，使得每个色度颜色分量在水平方向上具有对应亮度颜色分量的一半分辨率。类似地，在使用4:2:0格式的具体实施中，下采样器1410可对色度颜色分量（Cr, Cb）进行下采样，使得每个色度颜色分量在水平方向和垂直方向两者上具有对应亮度颜色分量的一半分辨率。下采样器1410可将下采样的Cr和Cb色度数据输出到基础层缓冲器1420。

基础层缓冲器1420可存储亮度分量数据和下采样的色度分量数据，直到要将其传递到文件为止。存储在基础层缓冲器1420中的数据可形成要由系统1400生成的图像的基础层图像（图2）。在该实施方案中，基础层数据由编码器1470进行压缩。

编码器1460可在系统1400将基础层图像存储在文件中之前对亮度数据以及下采样的Cr和Cb色度数据进行编码。如先前实施方案中那样，压缩可根据诸如HEVC或AV1的互操作性编码标准发生。在此类情况下，由下采样器1410提供的下采样可符合适合于所使用的编码器1470的图像数据的分辨率（例如，4:2:2、4:2:0或另一分辨率）。在实践中，编码器1460可以是由系统1400在其上操作的处理设备提供的编码系统。

颜色转换器1430可将源亮度分量以及下采样的Cr和Cb色度分量从亮度/色度颜色空间转换到另选颜色空间，诸如红色/绿色/蓝色颜色空间或Y'UV颜色空间。可使用其他表示，例如具有不同原色和不同传递特性（例如，从YCbCr BT.709到RGB BT.2100 PQ）的不同RGB表示。颜色转换器1430可将分量数据输出到分量处理器1440.1-1440.n。当颜色转换器1430具有将输入图像数据转换到多个颜色空间的能力时，颜色转换器1430可输出标识所选择颜色空间的元数据。

系统1400可具有多个分量处理器1440.1-1440.n，为颜色转换器1430将其输入数据转换到的颜色空间的每个颜色分量提供一个分量处理器。每个分量处理器1440.1、……、1440.n可拥有上采样器1442和滤波器系统1444。如先前实施方案中那样，上采样器1442可将其相应颜色分量上采样到源图像的全分辨率。上采样器1440可将从编码器/解码器1430输入到该上采样器的下采样的Cr和Cb色度信号上采样到更高分辨率。例如，Cr和Cb色度数据可从存在于基础层缓冲器1420中的4:2:2或4:2:0分辨率上采样到全分辨率格式（例如，4:4:4）。滤波器系统1444可将滤波操作应用于上采样的颜色分量。来自滤波器1444的滤波后的输出可存储在增强层缓冲器1450中，并且可形成增强层图像的基础。

系统1400还可拥有图像打包单元1470，该图像打包单元将存储在增强层缓冲器1450中的分量数据布置成虚拟图像，该虚拟图像可由编码器1480进行编码。如先前实施方案中那样，编码器1480可（但不必）根据与编码器1460的压缩标准不同的压缩标准来操作。

在一个实施方案中，系统1400还可包括如图10实施方案中所述的编码器/解码器（未示出）。在该具体实施中，编码器/解码器可在来自基础层缓冲器1420的数据输入到颜色转换器1430之前对该数据进行操作。

由于图14的实施方案将增强颜色信息转换到另选颜色空间，因此Cr和Cb分量很可能对另选颜色空间的每个分量提供贡献。在此类应用中，解码器（未示出）可基于其本地计算资源来选择要解码哪些解码层。例如，在一些情况下，解码器可选择仅对基础层进行解码并跳过对所有增强层进行解码（例如，用户正在观看图像并非常快地滚动或缩放），或者仅对来自增强层的一个分量而不是所有分量进行解码。

在前述实施方案中，基础层图像和增强层图像可以容器格式诸如HEIF容器进行存储。在HEIF容器的情况下，为了向后兼容并允许较旧播放器渲染“传统”4:2:0图像，可将基础层图像（例如，4:2:0图像）作为主要项存储在HEIF文件中，并且可将增强层图像存储在另选群组中。另选地，可将两个图像项（基础层图像和增强层图像）放置在“altr”另选群组中，这可指示图像是彼此的另选形式。将基础层图像作为第一图像放置在altr群组中并且将增强层图像作为辅助图像放置可促进与未被编程为识别增强层图像的解码器的向后兼容性，因为解码器通常被编程为忽略它们未识别的数据表示。然而，被编程为理解增强层图像的系统可访问、解码和显示更大分辨率（例如，4:4:4）。

在另一实施方案中，根据前述实施方案的系统可对操作进行级联，从而生成一连串增强层图像。例如，“altr”群组可具有处于4:4:4分辨率的图像、处于4:2:2分辨率的另一图像和处于4:2:0分辨率的另一图像。在级联操作中，4:4:4版本可从4:2:2版本导出，并且4:2:2版本可从4:2:0版本导出。在图1实施方案的上下文中，第一级上采样器130可被编程为将输入图像数据按比例放大到中间分辨率（例如，从4:2:0放大到4:2:2），并且第二级上采样器（未示出）可按比例放大存储在增强层缓冲器150中的数据（例如，从4:2:2放大到4:4:4）。为此目的，可提供上采样器、残差生成器和增强层缓冲器的第二序列（图1中未示出）。

在另一实施方案中，可包括诸如HDR的其他特征。例如，“altr”群组可具有4:4:4HDR、4:2:0 HDR和4:2:0 SDR（主要），或者是4:4:4 HDR、4:4:4 SDR和4:2:0 SDR。在第一种情况下，首先导出HDR增强图像，后跟4:4:4生成，而在第二种情况下，首先导出4:4:4 SDR增强图像，并且之后导出HDR增强图像。针对所有这些情况，可在编码器端采用闭环转换以实现改进的性能。

前述讨论在编码系统、解码系统和它们采用的过程流程的上下文中描述了本公开的各种实施方案。实际上，这些系统可应用于多种设备，诸如具有集成视频摄像机的移动设备(例如，具有相机功能的电话，娱乐系统和计算机)和/或有线通信系统诸如视频会议设备和支持相机的台式计算机。在一些应用中，上文描述的功能块可以作为集成软件系统的元件提供，其中块可以作为计算机程序的元件提供，这些块作为程序指令存储在存储器中并由通用处理系统执行。在其他应用中，功能块可以作为处理系统的分立电路部件提供，例如数字信号处理器或专用集成电路内的功能单元。本发明的其他应用可以体现为专用硬件和软件部件的混合系统。此外，不需要将本文所述的功能块作为单独的组件提供。例如，尽管图1至图14例示了作为单独单元的视频编码器和解码器的部件，但在一个或多个实施方案中，它们中的一些或全部可进行集成，并且它们无需是单独的单元。除非另有说明，否则这些实施细节对于本发明的操作并不重要。

此外，本文所例示的附图仅提供了必要的细节来呈现本发明的主题。在实施过程中，视频编码器和解码器通常将包括除本文所述的那些之外的功能单元，包括用于在所示的编码流水线中存储数据的缓冲器以及用于管理与通信网络和对应的编码器/解码器设备的通信的通信收发器。为了清楚起见，上述讨论省略了此类元件。

本文具体示出和/或描述了本发明的若干实施方案。然而，应当理解，在不脱离本发明的实质和预期范围的情况下，本发明的修改和变型由上述教导内容涵盖并且在所附权利要求的范围内。

Claims (29)

1.一种编码方法，所述编码方法包括：

以可扩缩编码表示对多色源图像进行编码，所述可扩缩编码表示包括：

基础层图像，所述基础层图像包含多个颜色分量中的每个颜色分量的经编码的表示，至少第一颜色分量具有与第二颜色分量的分辨率相比降低的分辨率，

增强层图像，所述增强层图像包含所述第一颜色分量的经编码的表示，所述经编码的表示处于相对于所述第一颜色分量的所述降低的分辨率增加的分辨率。

2.根据权利要求1所述的方法，其中所述第一颜色分量的所述经编码的表示处于与所述基础层图像中的所述第二颜色分量的所述分辨率相匹配的分辨率。

3.根据权利要求1所述的方法，其中所述第一颜色分量的所述经编码的表示处于介于所述基础层图像中的所述第二颜色分量的所述分辨率与所述基础层图像中的所述第一颜色分量的所述降低的分辨率之间的中间分辨率。

4.根据权利要求1所述的方法，其中所述增强层中的所述第一颜色分量的所述经编码的表示是相对于所述基础层图像中的所述经编码的表示差分地编码的。

5.根据权利要求1所述的方法，其中所述增强层图像中的所述第一颜色分量的所述经编码的表示均是相对于所述基础层图像中的所述第一颜色分量非差分地从所述源图像导出的。

6.根据权利要求1所述的方法，所述方法还包括第二增强层图像，所述第二增强层图像包含所述第一颜色分量的经编码的表示，所述第一颜色分量的所述经编码的表示处于介于所述基础层图像中的所述第一颜色分量的所述分辨率与所述第一增强层图像中的所述第一颜色分量的所述分辨率之间的中间分辨率。

7.根据权利要求1所述的方法，所述方法还包括第二增强层图像，所述第二增强层图像包含所述第一颜色分量的经编码的表示，所述第一颜色分量的所述经编码的表示位于与所述源图像中的感兴趣区域相对应的空间位置处。

8.根据权利要求1所述的方法，所述方法还包括通过以下动作来形成所述增强层图像：

从所述基础层图像的所述降低的分辨率对所述第一颜色分量进行上采样，

从所述基础层图像的所上采样的第一颜色分量与所述源图像的分辨率之间的比较生成残差。

9.根据权利要求8所述的方法，所述方法还包括在所述上采样之前，通过与对所述基础层图像进行编码的压缩技术相匹配的压缩技术来对所述降低的分辨率的第一颜色分量数据进行编码，然后进行决策处理。

10.根据权利要求1所述的方法，所述方法还包括通过以下动作来形成所述增强层图像：

将所述第一颜色分量从所述源图像的颜色空间转换到另选颜色空间，

对所述增强层图像中的所转换的颜色分量数据进行编码。

11.根据权利要求6所述的方法，所述方法还包括对所述残差进行带宽压缩。

12.根据权利要求1所述的方法，其中：

所述基础层图像的所述经编码的表示是从所述基础层图像颜色分量的带宽压缩形成的，并且

所述增强层图像的所述经编码的表示是从所述增强层图像颜色分量的带宽压缩形成的。

13.根据权利要求12所述的方法，其中所述基础层图像颜色分量的所述带宽压缩和所述增强层图像颜色分量的所述带宽压缩是根据相同可操作性标准来执行的。

14.根据权利要求1所述的方法，其中所述基础层图像和所述增强层图像各自以相应HEIF另选群组表示。

15.根据权利要求1所述的方法，其中所述第一颜色分量和所述第二颜色分量是亮度-色度颜色空间的成员。

16.根据权利要求1所述的方法，其中所述基础层图像以4:2:0格式表示所述源图像。

17.根据权利要求1所述的方法，其中所述基础层图像以4:2:2格式表示所述源图像。

18.根据权利要求1所述的方法，其中所述基础层图像和所述增强层图像以4:4:4格式表示所述源图像。

19.一种编码方法，所述编码方法包括：

以可扩缩编码表示对多色源图像进行编码，所述可扩缩编码表示包括：

基础层图像，所述基础层图像包含多个颜色分量中的每个颜色分量的经编码的表示，第一颜色分量和第二颜色分量各自具有与第三颜色分量的分辨率相比降低的分辨率，

增强层图像，所述增强层图像包含所述第一颜色分量和所述第二颜色分量的经编码的表示，所述经编码的表示处于相对于所述基础层图像的所述降低的分辨率增加的分辨率。

20.根据权利要求19所述的方法，所述方法还包括通过以下动作来形成所述增强层图像：

对来自所述基础层图像的所述第一颜色分量的降低分辨率表示进行上采样，

从所述基础层图像的所上采样的第一颜色分量与所述源图像的分辨率之间的比较生成第一颜色分量残差。

对来自所述基础层图像的所述第二颜色分量的降低分辨率表示进行上采样，

从所述基础层图像的所上采样的第二颜色分量与所述源图像的分辨率之间的比较生成第二颜色分量残差；以及

从所述第一颜色分量残差和所述第二颜色分量残差的空间合并形成虚拟图像，以及

将所述虚拟图像编码为所述增强层图像。

21.根据权利要求20所述的方法，其中所述形成将所述第一颜色分量残差和所述第二颜色分量残差水平地彼此相邻放置。

22.根据权利要求20所述的方法，其中所述形成将所述第一颜色分量残差和所述第二颜色分量残差垂直地彼此相邻放置。

23.根据权利要求20所述的方法，其中所述形成使所述第一颜色分量残差和所述第二颜色分量残差在空间上交织。

24.一种编码方法，所述编码方法包括：

以可扩缩编码表示对多色源图像进行编码，所述可扩缩编码表示包括：

基础层图像，所述基础层图像包含根据单色编码算法的所述源图像的第一颜色分量的经编码的表示，

增强层图像，所述增强层图像包含所述源图像的不同的第二颜色分量的经编码的表示，

其中所述基础层图像和所述增强层图像在被解码时提供恢复的源图像数据，在所述恢复的源图像数据中，所述第一颜色分量和所述第二颜色分量具有共同分辨率。

25.一种解码方法，所述解码方法包括：

响应于确定要以基本分辨率水平获得恢复的图像，对基础层图像进行解码以获得所述恢复的图像，所述基础层图像包含源图像的多个颜色分量中的每个颜色分量的经编码的表示，至少第一颜色分量具有与第二颜色分量的分辨率相比降低的分辨率，

响应于确定要以增强的分辨率水平获得所述恢复的图像：

对包含源图像的所述多个颜色分量中的每个颜色分量的所述经编码的表示的所述基础层图像进行解码，

对包含所述第一颜色分量的经编码的表示的增强层图像进行解码以获得所述第一颜色分量的残差，所述经编码的表示处于相对于所述第一颜色分量的所述降低的分辨率增加的分辨率，以及

合并所解码的基础层图像和所述增强层图像以获得所述恢复的图像。

26.一种编码器，所述编码器包括：

基础层编码器，所述基础层编码器具有用于表示源图像的颜色分量数据的输入，

增强层编码系统，所述增强层编码系统包括：

上采样器，所述上采样器具有用于与第一颜色分量相对应的数据的输入和用于上采样的第一颜色分量数据的输出，所述第一颜色分量处于与颜色分量的基础层分辨率相对应的分辨率，和

残差生成器，所述残差生成器具有耦合到所述上采样器输出的第一输入、用于来自所述源图像的第一颜色分量数据的第二输入和用于残差第一颜色分量数据的输出。

27.根据权利要求26所述的编码器，所述编码器还包括具有用于与第一颜色分量相对应的数据的输入和耦合到所述上采样器输入的输出的编码器/解码器，所述第一颜色分量处于与所述颜色分量的基础层分辨率相对应的分辨率。

28.根据权利要求26所述的编码器，所述编码器还包括用于第二颜色分量的数据的第二上采样器和第二残差生成器。

29.根据权利要求28所述的编码器，所述编码器还包括虚拟图像生成器，所述虚拟图像生成器具有耦合到用于所述第一颜色分量和所述第二颜色分量的所述残差生成器的输出的输入。