CN113632142B - 点云编解码的方法和装置 - Google Patents

点云编解码的方法和装置 Download PDF

Info

Publication number
CN113632142B
CN113632142B CN202080023446.XA CN202080023446A CN113632142B CN 113632142 B CN113632142 B CN 113632142B CN 202080023446 A CN202080023446 A CN 202080023446A CN 113632142 B CN113632142 B CN 113632142B
Authority
CN
China
Prior art keywords
quantization
octree
node
depth
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080023446.XA
Other languages
English (en)
Other versions
CN113632142A (zh
Inventor
张翔
高文
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN113632142A publication Critical patent/CN113632142A/zh
Application granted granted Critical
Publication of CN113632142B publication Critical patent/CN113632142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/29—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes
    • H03M13/2906—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes using block codes
    • H03M13/2927—Decoding strategies
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/42—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开的各方面提供了点云编解码的方法和装置。在方法中，从已编码比特流中解码量化空间中的点云的语法信息，所述语法信息包括所述点云的边界框的划分信息和自适应几何量化信息。基于所述划分信息，将所述点云的边界框划分为多个部分。基于所述自适应几何量化信息，确定所述边界框中的所述多个部分的量化参数。基于所述边界框中的各个部分的量化参数，重建所述点云的边界框中的每个部分中的点。

Description

点云编解码的方法和装置
通过引用并入本文
本申请要求于2020年6月30日提交的、申请号为16/916,944、名称为″点云压缩的方法和装置″的美国专利申请的优先权，其要求于2019年7月2日提交的、申请号为62/869,946、名称为″点云编码中自适应几何量化的QP变化的信令″的美国临时申请、于2019年10月3日提交的、申请号为62/910,387、名称为″点云编码的自适应几何量化和隐式几何分区的附加信息″的美国临时申请、以及于2020年1月7日提交的、申请号为62/958,131、名称为″点云编码的自适应几何量化和并行八叉树编码的附加信息″的美国临时申请的优先权。在先申请的全部公开内容通过引用整体并入本文。
技术领域
本公开描述了总体上涉及点云编解码的实施例。
背景技术
本文所提供的背景描述旨在总体上呈现本公开的背景。在背景技术部分以及本说明书的各个方面中所描述的目前已署名的发明人的工作所进行的程度，并不表明其在本公开提交时作为现有技术，且从未明示或暗示其被承认为本公开的现有技术。
人们开发了各种技术来捕获和表示世界，例如世界中的对象、世界中的环境以及3维(3D)空间中的类似事物。世界的3D表示可以实现更身临其境的交互和沟通形式。点云可用作世界的3D表示。点云是3D空间中点的集合，每个点都具有关联的属性，例如颜色、材料特性、纹理信息、强度属性、反射率属性、运动相关属性、模态属性以及其它各种属性。这样的点云可能包含大量的数据，并且存储和传输可能既昂贵且又耗时。
发明内容
本公开的各方面提供了点云压缩和解压缩的方法。在方法中，从已编码比特流中解码量化空间中的点云的语法信息，所述语法信息包括所述点云的边界框的划分信息和自适应几何量化信息。基于所述划分信息，将所述点云的边界框划分为多个部分。基于所述自适应几何量化信息，确定所述边界框中的所述多个部分的量化参数。基于所述边界框中的各个部分的量化参数，重建所述点云的边界框中的每个部分中的点。
在实施例中，基于所述划分信息中包括的八叉树分区结构，将所述边界框划分为多个分区。
在实施例中，基于所述划分信息中包括的多个区域的坐标信息，将所述边界框划分为所述多个区域。
在实施例中，基于所述自适应几何量化信息中包括的基本量化参数，确定所述量化参数。
在实施例中，当第一语法元素指示启用一个或多个增量量化参数的信令时，基于所述一个或多个增量量化参数确定所述量化参数。所述第一语法元素包括在所述自适应几何量化信息中。
在实施例中，基于所述第一语法元素指示启用所述一个或多个增量量化参数的信令，所述自适应几何量化信息包括第二语法元素和第三语法元素的其中之一。所述第二语法元素指示八叉树分区深度，在所述八叉树分区深度处允许所述一个或多个增量量化参数的信令，所述第三语法元素指示最小八叉树分区深度，从所述最小八叉树分区深度处允许所述一个或多个增量量化参数的信令。
在实施例中，所述量化参数、所述基本量化参数、以及所述一个或多个增量量化参数中的至少一个是2的幂。
在实施例中，(i)所述量化参数和(ii)所述一个或多个增量量化参数的其中之一包括在查找表中。
在实施例中，所述自适应几何量化信息包括以下其中之一：(i)所述查找表的索引，以及(ii)所述索引与所述索引的预测值之间的差。
在实施例中，基于与所述各个部分相对应的节点的父节点的量化参数、相同分区深度中与所述各个部分相对应的节点的先前已编码兄弟节点的量化参数、以及所述基本量化参数中的至少一个，预测所述边界框中的每个部分的增量量化参数。
在实施例中，所述一个或多个增量量化参数基于量化参数预测值的候选列表来预测。
本公开的各方面还提供了点云压缩和解压缩的装置。一种装置包括处理电路，所述处理电路从已编码比特流中解码量化空间中的点云的语法信息，所述语法信息包括所述点云的边界框的划分信息和自适应几何量化信息。所述处理电路基于所述划分信息，将所述点云的边界框划分为多个部分。所述处理电路基于所述自适应几何量化信息，确定所述边界框中的所述多个部分的量化参数。所述处理电路基于所述边界框中的各个部分的量化参数，重建所述点云的边界框中的每个部分中的点。
本公开的各方面还提供了一种非易失性计算机可读介质，用于存储指令，当所述指令由用于点云压缩/解压缩的计算机执行时，使所述计算机执行所述点云压缩/解压缩的方法中的任一个或组合。
附图说明
根据以下详细描述和附图，所公开的主题的其他特征、性质和各种优点将进一步明确，其中
图1示出了根据本公开实施例的通信系统的简化框图的示意图。
图2示出了根据本公开实施例的流式传输系统的简化框图的示意图。
图3示出了根据本公开实施例的示例性编码器。
图4示出了根据本公开实施例的示例性解码器。
图5示出了根据本公开实施例的3D立方体中的示例性八叉树分区。
图6示出了根据本公开实施例的两级八叉树分区和相应的占用码的示例。
图7示出了根据本公开实施例的由激光雷达系统生成的示例性点云。
图8A示出了一些示例中的恒定量化和无损八叉树编码。
图8B示出了根据本公开实施例的具有自适应量化的示例性八叉树编码。
图9A和9B示出了根据本公开实施例的1D中的简化量化和分区。
图10示出了根据本公开实施例的与不同QP相关联的三个边界框。
图11示出了根据本公开实施例的概述过程示例的流程图。
图12示出了根据本公开实施例的计算机系统的示意图。
具体实施方式
I.点云压缩系统
图1示出了根据本公开实施例的通信系统(100)的简化框图。通信系统(100)包括多个终端装置，所述终端装置可以通过例如网络(150)彼此通信。例如，通信系统(100)包括通过网络(150)互连的一对终端装置(110)和(120)。在图1的示例中，第一对终端装置(110)和(120)执行点云数据的单向传输。例如，终端装置(110)可以压缩由与终端装置(110)连接的传感器105捕获的点云(例如，表示结构的点)。压缩的点云可以例如以比特流的形式通过网络(150)传输到另一终端装置(120)。终端装置(120)可以从网络(150)接收压缩的点云，解压缩该比特流以重建点云，并适当地显示重建的点云。单向数据传输在媒体服务等应用中可能很常见。
在图1的示例中，终端装置(110)和(120)可以为服务器和个人计算机，但是本公开的原理可以不限于此。本公开的实施例适用于膝上型计算机、平板电脑、智能电话、游戏终端、媒体播放器和/或专用三维(3D)设备。网络(150)表示在终端装置(110)和(120)之间传输压缩的点云的任何数目的网络。网络(150)可以包括例如有线(连线的)和/或无线通信网络。网络(150)可以在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的，除非在下文中有所解释，否则网络(150)的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
图2示出了针对点云的所公开主题的应用的示例。所公开的主题可以等同地应用于其他支持点云的应用，包括3D远程呈现应用、虚拟现实应用。
流式传输系统(200)可以包括捕获子系统(213)。捕获子系统(213)可以包括点云源(201)，例如光检测和测距(LIDAR)系统、3D相机、3D扫描仪、在软件中生成未压缩的点云的图形生成组件、以及生成例如未压缩的点云(202)的类似组件。在示例中，点云(202)包括由3D相机捕获的点。与压缩的点云(204)(压缩的点云的比特流)相比，点云(202)被描绘为粗线以强调高数据量。压缩的点云(204)可以由电子设备(220)生成，所述电子设备(220)包括耦合到点云源(201)的编码器(203)。编码器(203)可以包括硬件、软件或硬件和软件的组合，以使能或实现如下文更详细地描述的所公开主题的各个方面。与点云(202)的流相比，压缩的点云(204)(或压缩的点云(204)的比特流)被描绘为细线以强调较低的数据量，其可以存储在流式传输服务器(205)上以供将来使用。一个或多个流式传输客户端子系统，例如图2中的客户端子系统(206)和(208)，能够访问流式传输服务器(205)以检索压缩的点云(204)的副本(207)和(209)。客户端子系统(206)可以包括例如在电子设备(230)中的解码器(210)。解码器(210)对压缩的点云的输入副本(207)进行解码，并创建可以在呈现设备(212)上呈现的重建的点云(211)的输出流。在一些流式传输系统中，可以根据某些标准对压缩的点云(204)、(207)和(209)(例如，压缩的点云的比特流)进行压缩。在一些示例中，视频编码标准被用于点云的压缩。这些标准的示例包括高效视频编码(HEVC)、通用视频编码(VVC)等。
应注意，电子装置(220)和电子装置(230)可包括其它组件(未示出)。举例来说，电子装置(220)可包括解码器(未示出)，且电子装置(230)还可包括编码器(未示出)。
图3示出了根据实施例的示例性编码器(300)。编码器可被配置为接收点云数据，并对点云数据进行压缩，以生成携带压缩的点云数据的比特流。在实施例中，编码器(300)可以包括位置量化模块(310)、重复点去除模块(312)、八叉树编码模块(330)、属性传递模块(320)、LOD(Level of Detai1，细节级别)生成模块(340)、属性预测模块(350)、残差量化模块(360)、算术编码模块(370)、逆残差量化模块(380)、加法模块(381)、以及用于存储重建属性值的存储器(390)。
如图所示，可以在编码器(300)处接收输入点云(301)。将点云(301)的位置(例如，3D坐标)提供给量化模块(310)。量化模块(310)被配置为对坐标进行量化，以生成量化位置。可选的重复点去除模块(312)被配置为接收量化位置并执行滤波过程，以识别和去除重复点。八叉树编码模块(330)被配置为从重复点去除模块接收滤波后的位置，并且执行基于八叉树的编码过程，以生成描述三维体素网格(3D grid of voxels)的占用码(occupancycode)序列。将占用码提供给算术编码模块(370)。
属性传递模块(320)被配置为接收输入点云的属性，并且当多个属性值与各个体素相关联时，执行属性传递过程，以确定每个体素的属性值。可以对从八叉树编码模块(330)输出的重新排序的点执行属性传递过程。将传递操作之后的属性提供给属性预测模块(350)。LOD生成模块(340)被配置为对从八叉树编码模块(330)输出的重新排序的点进行操作，并将这些点重新组织成不同的LOD。将LOD信息提供给属性预测模块(350)。
属性预测模块(350)根据来自LOD生成模块(340)的LOD信息所指示的基于LOD的顺序来处理这些点。属性预测模块(350)基于存储在存储器(390)中的当前点的一组相邻点的重建属性生成当前点的属性预测。随后可以基于从属性传递模块(320)接收的原始属性值和本地生成的属性预测来获得预测残差。当在各个属性预测过程中使用候选索引时，可以将与所选择的预测候选对应的索引提供给算术编码模块(370)。
残差量化模块(360)被配置为从属性预测模块(350)接收预测残差，并执行量化以生成量化残差。将量化残差提供给算术编码模块(370)。
逆残差量化模块(380)被配置为从残差量化模块(360)接收量化残差，并通过执行在残差量化模块(360)处执行的量化操作的逆操作来生成重建预测残差。加法模块(381)被配置为从逆残差量化模块(380)接收重建预测残差，以及从属性预测模块(350)接收各个属性预测。通过组合重建预测残差和属性预测，生成重建属性值，并将其存储到存储器(390)。
算术编码模块(370)被配置为接收占用码、候选索引(如果使用)、量化残差(如果生成)和其它信息，并执行熵编码以进一步压缩接收的值或信息。因此，可以生成携带压缩信息的压缩比特流(302)。可以将比特流(302)发送给或以其它方式提供给解码压缩比特流的解码器，或者可以将比特流(302)存储在存储设备中。
图4示出了根据实施例的示例性解码器(400)。解码器(400)可被配置为接收压缩比特流，并执行点云数据解压缩以解压缩该比特流，以生成解码的点云数据。在实施例中，解码器(400)可以包括算术解码模块(410)、逆残差量化模块(420)、八叉树解码模块(430)、LOD生成模块(440)、属性预测模块(450)和用于存储重建属性值的存储器(460)。
如图所示，可以在算术解码模块(410)处接收压缩比特流(401)。算术解码模块(410)被配置为对压缩比特流(401)进行解码，以获得量化残差(如果生成)和点云的占用码。八叉树解码模块(430)被配置为根据占用码确定点云中的点的重建位置。LOD生成模块(440)被配置为基于重建位置将点重新组织成不同的LOD，并确定基于LOD的顺序。逆残差量化模块(420)被配置为基于从算术解码模块(410)接收的量化残差生成重建残差。
属性预测模块(450)被配置为执行属性预测过程，以根据基于LOD的顺序确定点的属性预测。例如，可以基于存储在存储器(460)中的当前点的相邻点的重建属性值确定当前点的属性预测。属性预测模块(450)可以将属性预测与各自的重建残差相组合，以生成当前点的重建属性。
在一个示例中，从属性预测模块(450)生成的重建属性序列以及从八叉树解码模块(430)生成的重建位置对应于从解码器(400)输出的已解码点云(402)。此外，重建属性也存储到存储器(460)中，并且随后可用于导出后续点的属性预测。
在各种实施例中，编码器(300)和解码器(400)可以用硬件、软件或其组合来实现。例如，编码器(300)和解码器(400)可以用处理电路来实现，例如使用或不使用软来件操作的一个或多个集成电路(IC)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。在另一示例中，编码器(300)和解码器(400)可以实现为包括指令的软件或固件，这些指令存储在非暂时性(或非易失性)计算机可读存储介质中。这些指令在由处理电路(例如一个或多个处理器)执行时，使得该处理电路执行编码器(300)和解码器(400)的功能。
应注意，被配置为实现本文所公开的属性预测技术的属性预测模块(350)或(450)可以包括在其它解码器或编码器中，这些解码器或编码器可以具有与图3和图4所示的结构类似或不同的结构。另外，编码器(300)和解码器(400)可以包括在同一设备中，或者在各种示例中包括在单独的设备中。
II.点云编码中的几何量化和分区
1、点云数据
点云在近年来得到了广泛的应用。例如，点云数据在自动驾驶车辆中用于目标检测和定位。点云数据还可以在地理信息系统(GIS)中用于制图，以及在文化遗产中用于对文化遗产对象和收藏品进行可视化和归档等。
点云包含一组高维点(通常是三维(3D))，每个点包括3D位置信息和诸如颜色、反射率等的附加属性。这些点可以使用多个摄像头和深度传感器、或各种设置中的激光雷达来捕获，并且可能由数千到数十亿点组成，以真实地表示原始场景。
因此，需要使用压缩技术来减少表示点云所需的数据量，以便更快地传输或减少存储。
2、八叉树分区的几何编码
几何信息和相关属性(例如颜色或反射率)可以单独压缩(例如，在测试模型13(TMC13)模型中)。几何信息(包括点云的3D坐标)可以使用其占用信息通过八叉树分区进行编码。可以使用例如预测和提升技术(1ifting technique)基于重建的几何结构来压缩属性。
八叉树分区的输入是变换位置的集合，即Pi，i＝1，2，...，N。图5示出了根据本公开实施例的3D立方体中的示例性八叉树分区。实线的3D立方体被划分成八个较小的、大小相等的虚线立方体。递归地执行八叉树分区(例如，在TMC13中)，以将原始3D空间划分为最小单元，并由熵编码器对每个子空间的占用信息进行编码，以有效地表示几何位置。
八叉树编码可以是无损的。也就是说，对所有输入位置进行编码而不进行任何进一步的量化。例如，在TMC13中，如果使用八叉树几何编解码器，则几何编码进行如下。
首先，立体轴对齐的边界框由两个点(0，0，0)和(2d，2d，2d)定义，其中2d定义了边界框的大小，并且d被编码到比特流。假设所有点Pi都在边界框内。
然后，通过递归地细分边界框来构建八叉树分区结构。在每个阶段，边界框的立方体被细分为8个子立方体。然后，通过将1位(1-bit)值与每个子立方体相关联来生成8位码(称为占用码)，以指示相应的子立方体是包含点(例如，对于完整子立方体，对应位的值为1)还是不包含点(例如，对于空子立方体，对应位的值为0)。只有大小大于一个值(例如1)的完整子立方体(即非体素)才会进一步细分。然后，边界框的每个立方体的占用码由算术编码器进行压缩。边界框的每个立方体对应于八叉树分区结构的一个节点。因此，每个立方体的占用码对应于相应立方体的节点。
3、占用码的编码
八叉树分区结构的当前节点的占用码可以由算术编码器进行压缩。占用码可以表示为8位整数S，并且S中的每一位表示当前节点的每个子节点的占用状态。占用码的两种示例性编码方法(例如，在TMC13中)是逐位编码和逐字节编码。在TMCl3中，默认情况下启用逐位编码。这两种方法都使用上下文建模执行算术编码，以对占用码进行编码，其中上下文状态在整个编码过程开始时被初始化，并在编码过程期间进行更新。
对于逐位编码，S中的八个二进制数(bin)按照一定的顺序进行编码，其中每个bin通过参考相邻节点和相邻节点的子节点的占用状态进行编码，其中相邻节点与当前节点处于同一级别。
对于逐字节编码，通过参考以下内容对S进行编码：(1)自适应查找表(A-LUT)，其跟踪N个(例如，32个)最频繁的占用码；以及(2)缓存，其跟踪最后观察到的M个(例如，16个)不同的占用码。
对指示S是否在A-LUT中的二进制标志进行编码。如果S在A-LUT中，则使用二进制算术编码器对A-LUT中的索引进行编码。如果S不在A-LUT中，则对指示S是否在缓存中的二进制标志进行编码。如果S在缓存中，则使用二进制算术编码器对其在缓存中的索引的二进制表示进行编码。否则，如果S不在缓存中，则使用二进制算术编码器对S的二进制表示进行编码。
解码过程可以通过从比特流解析边界框的维度开始。然后，通过根据解码的占用码细分边界框来构建相同的八叉树结构。图6示出了两级八叉树分区和相应的占用码的示例，其中深色的立方体和节点表示它们被点占用。
图7示出了由激光雷达系统生成的示例性点云。在点云中，点的密度会在空间中变化，其中靠近激光雷达传感器位置的点(例如，世界坐标中的原点)往往比远离原点的点密度更大。这些与原点距离较小的点也可以具有更高的精度，这意味着压缩的优先级更高。可以通过自适应编码器优化以在重要点上分配更多比特，来提高整体编解码性能。然而，由于恒定的量化参数(QP)，在一些情况(例如TMC13)下采用的几何量化方案阻止了几何的自适应比特分配。
4、TMC13中的几何量化
在一些相关情况(例如，TMC13)下，点云是3D中点的集合，每个点的位置为 其中N是点云中的点的总数。原始的特定应用点位置(application-specific point position)通常由浮点数表示，并且可以具有任何类型的结构。
几何量化(例如，在TMC13中)可以在任何压缩之前作为预处理阶段执行，如图8A所示。也就是说，几何量化的QP对于所有位置都是固定常数。具体地，位置变换如下：
其中，S＝(sx，sy，sz)T是一个移位矢量，用于将的原点移动到零。Q是几何量化的标量参数，Round(·)是舍入运算符，用于使变换后的位置Pi为非负整数。可以将Q发信号通知给解码器以重建点云。
几何结构的重建是(1)的逆过程，如下所示，
其中，表示重建位置。Q和S与(1)中的Q和S相同并在比特流头中发信号通知。
固定量化方案在一些应用(包括速率控制和其它优化)中禁用有用的编码功能。在传统的2D视频编码场景中，这些功能已被认为在应用中至关重要。
III.提出的点云编码的自适应量化
根据本公开的各方面，在PCC中的八叉树编码过程中引入了一种新的量化方案，其能够实现自适应几何量化。如图8B所示，这种新的量化涉及八叉树编码中的QP变化，其中QP可针对八叉树分区结构的不同节点而变化。每个节点对应于点云的边界框的一个立方体(或一部分)。八叉树分区和对应的占用编码可以相应地调整。还阐述了发信号通知QP变化的方法。本公开实现了跨几何编码空间的自适应比特分配的新功能，因此速率控制和其它较低级别的优化变得更加可行。注意，本公开不限于TMC13软件或MPEG-PCC标准，它是各种PCC系统的通用解决方案。
在本公开中，自适应量化被引入八叉树分区阶段，因此由于额外的量化，八叉树编码可能是有损的。预处理阶段中的量化保持不变，并且预处理量化的目标是体素化，使所有位置为整数，从而可以执行八叉树分区。注意，这两个量化过程彼此独立。下面进一步描述具有自适应量化的八叉树分区的一个示例性实施方案。然而，应注意，能够实现PCC的自适应几何量化的任何其它形式的实施方案都包括在本公开中。例如，如果QP被限制为2的幂，则可以简化以下实施方案。
在执行八叉树分区时应用示例性自适应量化。在八叉树分区的每个节点处，对应子立方体内的所有点都可以基于指定的QP进行量化，该QP可针对不同节点而变化。更具体地，设为对应于当前子节点的当前子立方体的ith(i＝1，2，...，Nl，k)点的位置(由l和k指定)，其中l(l＝0，1，..，d)是当前子节点的八叉树分区深度(depth)，k(k＝1，2，...，2l)是当前子节点在深度l中的索引，Nl，k是当前子节点对应的当前子立方体内的点的总数。当前子立方体的边界框可以由起点Ps l，k＝(xs l，k，ys l，k，zs l，k)T和终点Pe l，k＝(xe l，k，ye l，k，ze l，k)T定义。所有的点都应该在边界框内，即，对于所有i＝1，2，...，Nl，k， 和
设Ql，k为当前子立方体的对应QP。
首先，将示例性自适应量化应用于当前子立方体的边界框的起点和终点，如下所示：
其中，和分别表示向上取整(ceiling)和向下取整(flooring)操作。 和是示例性自适应量化之后的开始位置和结束位置，并且它们定义了量化子立方体的边界框。此外，它们可以决定当前子立方体的八叉树分区。
其次，可以将示例性自适应量化应用于当前子立方体内的所有点，如下所示：
其中，是分段线性函数，应用于位置的每个分量，以确保量化位置在量化子立方体的边界框内，即
然后，可以在量化后的开始位置和结束位置上确定当前子立方体的八叉树分区。
首先，如果其表示Ql，k足够大，可以将当前子立方体中的所有点量化为一个点，则在这种情况下不需要进一步分区。否则，可以基于量化子立方体中的分区点执行八叉树分区，该分区点例如在和的中间，即例如，如果示例性自适应量化之后的点的所有维度都小于分区点的维度，则可以将其划分为第一个子立方体(或节点)。如果示例性自适应量化之后的点的所有维度都大于或等于则可以将其划分为最后一个子立方体(或节点)。同时，原始子立方体中的分区点可以计算如下：
通过从当前子立方体(或节点)执行八叉树分区，下一个分区深度中的八个子立方体(或节点)的起点和终点可以如下所示：
其中，j＝0，1，...，7是图5所示顺序的八个子节点的索引。运算符“&”和“^”分别是位“与”和位“异或”运算符。如果x为非零，则z(x)等于1，否则等于0。
图9A和图9B示出了根据本公开实施例的一维(1D)中的简化量化和分区。简化分区从深度0开始，其中原始空间中的开始位置和结束位置是Ps 0，0＝0和Pe 0，0＝16。原始空间(或节点)的QP是Q0，0＝3。原始空间和量化空间中的中间点，即分区点，可以根据等式(3)-(6)计算。如图9A所示，原始空间中的中间点是Pm 0，0＝8。然后，基于该中间点，将原始空间中的点划分成两组子点(或子节点)，以新的开始位置和结束位置到达下一个深度，如图9B所示。基于等式(7)-(8)，第一子节点具有开始位置Ps 1，0＝0和结束位置Ps 1，0＝8，第二子节点具有开始位置Ps 1，1＝8和结束位置Ps 1，1＝16。
注意，所提出的八叉树分区内的自适应量化独立于预处理阶段的量化。如果对于所有l和k，Ql，k＝1，则八叉树编码可以是无损的并且与TMC13相同。所提出的自适应量化可以通过改变不同子节点的Ql，k来实现。在下一节中，将进一步详细描述发信号通知QP变化的方法。
IV.用于自适应几何量化的QP变化的信令
1、发信号通知控制标志
可以添加第一高级语法元素，以指示是否启用一个或多个QP变化(增量QP)的信令。如果是，则可以添加第二高级语法元素，以指示八叉树分区深度，在此深度处允许一个或多个增量QP的信令。
例如，可以在序列头和/或切片头中发信号通知一个一位标志，以启用或禁用增量QP的信令。如果标志为0，则不允许进一步的信令，并且可以将恒定QP应用于八叉树分区；否则，可以发信号通知增量QP。
此外，如果启用增量QP的信令，则可以发信号通知非负整数，以指示八叉树分区的一个或多个深度，在此深度处允许增量QP的信令。
此外，可以在序列头或其它级别(例如在切片头中)中发信号通知基本QP。基本QP应用于没有指定增量QP的所有子节点。如果禁用增量QP的信令，则基本QP可以应用于八叉树分区的所有子节点。在一些实施例中，基本QP是增量QP的预测值。
在实施例中，在序列头中发信号通知一个标志，以指示是否启用增量QP的信令。如果是，则进一步发信号通知深度，以指定八叉树分区的某个深度，在此深度处允许增量QP的信令。表1示出了示例性语法表。
表1
变量sps_geo_qp_base指定可以在八叉树分区中使用的基本QP，即qpBase＝sps-geo_qp_base。然后，当不应用增量QP时，qpBase可以用作八叉树分区中的默认QP。它也可以用作增量QP的预测值。
如果变量sps_geo_delta_qp_flag等于1，则指定对比特流序列启用增量QP的信令。如果变量sps_geo_delta_qp_flag等于0，则指定对比特流序列禁用增量QP的信令。如果启用增量QP的信令，则变量sps_geo_delta_qp_signal_depth指定八叉树分区的深度，在此深度处发信号通知增量QP。当八叉树分区深度低于指定的变量sps_geo_delta_qp_signal_depth时，qpBase用作八叉树分区中的默认QP。
在实施例中，基本QP被限制为2的幂的数字。表2示出了示例性语法表。
表2
变量sps_geo_qp_base_log2指定可以在八叉树分区中使用的基本QP，即qpBase＝2sps_geo_qp_base-log2。然后，当不应用增量QP时，qpBase可以用作八叉树分区中的默认QP。它也可以用作增量QP的预测值。
在实施例中，在切片头中发信号通知一个标志，以指示是否启用增量QP的信令。如果是，则进一步发信号通知深度，以指定八叉树分区的某个深度，在此深度处允许增量QP的信令。表3示出了示例性语法表。
表3
如果变量gsh_geo_delta_qp_flag等于1，则指定对切片启用增量QP的信令。如果变量gsh_geo_delta_qp_flag等于0，则指定对切片禁用增量QP的信令。如果启用增量QP的信令，则变量gsh_geo_delta_qp_signal_depth指定八叉树分区的深度，在此深度处发信号通知增量QP。当八叉树分区的深度低于指定的变量sps_geo_delta_qp_signal_depth时，变量sps_geo_qp_bese指定的qpBase用作默认QP。
在实施例中，仅在切片级别允许QP变化，表示由固定QP分配每个切片并且在切片中不允许增量QP。表4示出了示例性语法表。
表4
如果变量sps_geo_delta_qp_flag等于1，则变量gsh_geo_slice_qp指定可应用于当前切片的QP，表示切片中的所有子节点(或子立方体)的QP相同，即Ql，k＝gsh_geo_slice_qp。如果变量sps_geo_delta_qp_flag等于0，则Ql，k＝qpBase。
在实施例中，仅在切片级别允许QP变化，表示由固定QP分配每个切片并且在切片中不允许增量QP。在这种情况下，将切片QP作为增量QP发信号通知给由序列头中的变量ps_geo_qp_base指定的基本QP。表5示出了示例性语法表。
表5
如果变量sps_geo_delta_qp_flag等于1，则变量gsh_geo_slice_delta_qp_from_base指定可应用于当前切片的QP，即，Ql，k＝qpBase+gsh_geo_slice_delta_qp_from_base，表示切片中的所有子节点的QP可以相同。如果变量sps_geo_delta_qp_flag等于0，则Ql，k＝qpBase。
在实施例中，在序列头中发信号通知一个标志，以指示是否启用增量QP的信令。如果是，则进一步发信号通知深度，以指定八叉树分区的深度，在此深度处允许增量QP的信令。表6示出了示例性语法表。
表6
如果变量sps_geo_delta_qp_flag等于1，则变量sps_geo_delta_qp_signal_min_depth指定八叉树分区的某个深度，发信号通知从该深度到增量QP以上的所有深度。当八叉树分区深度未达到变量sps_geo_delta_qp_signal_min_depth时，默认使用变量sps_geo_qp_bese指定的qpBase。
在实施例中，在切片头中发信号通知一个标志，以指示是否启用增量QP的信令。如果是，则进一步发信号通知深度，以指定八叉树分区的深度，从该深度处允许增量QP的信令。表7示出了示例性语法表。
表7
如果变量gsh_geo_delta_qp_flag等于1，则变量gsh_geo_delta_qp_signal_min_depth指定八叉树分区的深度，从该深度允许增量QP的信令。
2、通过表发信号通知QP
不是直接发信号通知增量QP值，而是可以将增量QP包括在查找表中，然后通过表的索引来引用。该表可以是固定的，也可以在比特流中发信号通知。如果该表在比特流中发信号通知，则可以独立地发信号通知该表的元素，或者通过该表的元素的差值(即，该表的两个元素之间的差)发信号通知该表的元素。该表的元素可以是QP值或增量QP值。在以下实施例中，在比特流的序列头中发信号通知QP表。注意，也可以在其它级别(例如，切片头)中发信号通知QP表。
在一个实施例中，在表8中发信号通知查找表，其指定可用于自适应几何量化的所有QP值(除了基本QP之外)。
表8
如果变量sps_geo_qp_table_flag等于1，则指定QP可以由它们在QP表中的索引来表示(并发信号通知)。如果变量sps_geo_qp_table_flag等于0，则指定QP可以直接由它们的值来表示(并发信号通知)。如果变量sps_geo_qp_table_flag等于1，则发信号通知变量sps_geo_qp_table_size_minus_one，以指定查找表的大小为sps_geo_qp_table_size＝sps_geo_qp_table_size_minus_one+1。
然后，QP表的每个元素都通过变量sps_geo_qp_table_element[i]发信号通知。这些元素将可能用于自适应几何量化的所有QP指定为QTi＝sps_geo_qp_table_element[i]，其中QTi表示QP表中的一个元素。当八叉树分区深度低于指定的变量sps_geo_delta_qp_signal_depth时，将变量sps_geo_qp_bese指定的qpBase用作默认QP。否则，可以通过参考QP表的索引来指定QP。
在实施例中，在表9中发信号通知查找表，其指定可能用于自适应几何量化的所有增量QP值。
表9
如果变量sps_geo_delta_qp_table_flag等于1，则指定QP可以由增量QP表中的索引来表示(并发信号通知)。如果变量sps_geo_delta_qp_table_flag等于0，则指定QP可以直接由QP的值来表示(并发信号通知)。如果变量sps_geo_delta_qp_table_flag等于1，则发信号通知变量sps_geo_delta_qp_table_size_minus_one，以指定查找表的大小为sps_geo_delta_qp_table_size＝sps_geo_delta_qp_table_size_minus_one+1。
然后，增量QP表的每个元素都通过变量sps_geo_delta_qp_table_element[i]发信号通知。它们将可能用于自适应几何量化的所有增量QP指定为DQTi＝sps_geo_delta_qp_table_element[i]，其中DQTi指示增量QP表中的一个元素。当八叉树分区深度低于指定的变量sps_geo_delta_qp_signal_depth时，将变量sps_geo_qp_bese指定的qpBase用作默认QP。否则，可以通过参考增量QP表的索引来指定QP。
3、基于区域发信号通知QP
根据本公开的各方面，可以(例如在3D空间中)定义某些区域，并且可以针对不同区域分配不同的区域QP。这可以称为基于区域的自适应几何量化，其可以由边界框和对应区域QP指定。图10示出了根据本公开实施例的与不同的区域QP相关联的三个边界框。
为了发信号通知基于区域的QP变化，首先可以通过开始位置和结束位置或者通过开始位置和每个维度的长度来指定边界框。边界框可以相互重叠或不重叠。对于指定了多个区域QP的重叠区域，可以将多个区域QP中的一个应用于重叠区域，例如第一个指定区域、最后一个指定区域、所有区域中的最大区域、所有区域中的最小区域、所有区域的平均值或所有区域的中值等。
其次，每个边界框的区域QP可以通过它们的值直接发信号通知，或者通过差值(例如，两个QP之间的差)发信号通知，或者作为与默认值的差值发信号通知。注意，因为除了区域QP之外，增量QP也可以发信号通知并且应用于每个单个区域，因此每个区域的最终QP可以在基于区域的自适应几何量化中变化。在这种情况下，区域QP对每个区域执行类似基本QP的操作。在以下实施例中，在比特流的序列头中发信号通知区域QP。注意，也可以在切片头中发信号通知区域QP。
在实施例中，区域由开始位置和结束位置指定，并且为每个区域指定对应的区域QP值，如表10所示。
表10
如果变量sps_geo_region_qp_flag等于1，则指定启用基于区域的自适应量化。如果这样，变量sps_geo_region_qp_size_minus_one将区域数量指定为sps_geo_region_qp_size＝sps_geo_region_qp_size_minus_one+1。
然后，对于每个区域，变量sps_geo_region_qp_start_pos_x[i]、sps_geo_region_qp_start_pos_y[i]和sps_geo_region_qp_start_pos_z[i]指定在笛卡尔坐标中区域的开始位置，变量sps_geo_region_qp_end_pos_z[i]指定在笛卡尔坐标中区域的结束位置，变量sps_geo_region_qp[i]指定该区域对应的区域QP。在这种情况下，变量sps_geo_qp_base指定的qpBase用作语法中未指定的其余区域的默认QP。
在实施例中，区域由开始位置和每个维度的长度来指定，并且为每个区域指定相应的区域QP值，如表11所示。
表11
变量sps_geo_region_qp_diff[i]通过与基本QP的差值将每个区域的对应QP指定为变量sps_geo_region_qp[i]＝qpBase+sps_geo_region_diff[i]。
在这种情况下，变量sps_geo_qp_base指定的qpBase也用作语法中未指定的其余区域的默认QP。
在实施例中，区域通过开始位置和每个维度的长度来指定，并且每个区域的QP值通过与默认值的差值来指定。在这种情况下，同时发信号通知变量sps_geo_region_qp_flag和sps_geo_delta_qp_signal_depth，因此通过发信号通知增量QP允许同一区域内的QP变化。注意，变量sps_geo_region_qp_flag也可以与变量sps_geo_delta_qp_signal_min_depth一起发信号通知。表12示出了示例性语法表。
表12
当八叉树分区深度低于指定的变量sps_geo_delta_qp_signal_depth时，变量sps_geo_qp_bese指定的qpBase用作默认QP。否则，由区域QP指定QP。
4、发信号通知增量QP
以上部分描述了用于发信号通知QP变化的示例性高级语法，本部分进一步描述使用八叉树编码发信号通知增量QP的方式。八叉树分区的每个子节点可以应用不同的QP，即Ql，k。可以直接发信号通知Ql，k的值，或者可以发信号通知其与预测的差值(增量QP)以节省比特。然后，子立方体(或子节点)的增量QP可以表示为Δl，k＝Ql，k-Pl，k，其中Pl，k是增量QP的预测值。
在一些实施例中，为了发信号通知增量QP的值，首先发信号通知一个比特，以指示增量QP是否等于0。如果不是，则发信号通知另一个比特，以指示增量QP的符号，然后，例如通过Exp-Golomb编解码，发信号通知其绝对值减1。注意，如果增量QP被限制为非负，则不发信号通知增量QP的符号。
或者，也可以通过定义的查找表的索引发信号通知QP。该表对于编码器和解码器可以是固定的，也可以在比特流的开始处发信号通知。在这种情况下，可以通过查找表的差值索引来引用增量QP。
在一个实施例中，增量QP的信令取决于变量sps_geo_delta_qp_signal_depth(或gsh_geo_delta_qp_signal_depth)，其指定八叉树分区的深度，在此深度处可以发信号通知增量QP。表13示出了示例性语法表。
表13
当depth＝＝sps_geo_delta_qp_signal_depth时，从比特流中解码当前节点的增量QP，即Δl，k。当depth！＝sps_geo_delta_qp_signal_depth时，Δl，k＝0。如果Δl，k是从比特流中解码的，则其可以重建如下：
变量NodeX[depth][nodeIdx]、NodeY[depth][nodeIdx]和NodeZ[depth][nodeIdx]表示在给定深度处按解码顺序的节点nodeIdx的x、y和z坐标。变量NumNodesAtDepth[depth]表示在给定深度处待解码的节点数。
变量depthShift指定由Ql，k引起的深度值变化，如下所示，depthShift＝ilog2(Ql ，k)，其中ilog2(v)计算小于或等于v的log2的最大整数。Ql，k是应用于当前子节点的QP，可以计算为Ql，k＝Pl，k+Δl，k，其中Pl，k是增量QP的预测值。导出的参数depthShift会影响当前节点的几何编码，如表14所示。
表14
当depth+depthshift＞＝MaxGeometryOctreeDepth-1时，表示Ql，k大于最大值，因此当前节点中的所有点都被量化为一个点。在这种情况下，可以结束八叉树分区。对于几何编码中的直接模式，编码长度可以改为ChildNodeSizeLog2-depthShift，其中变量ChildNodeSizeLog2表示子节点大小。
在实施例中，增量QP的信令取决于变量sps_geo_delta_qp_signal_min_depth(或gsh_geo_delta_qp_signal_min_depth)，其指定发信号通知从八叉树分区的某个深度到QP增量以上的所有深度。表15示出了示例性语法表。
表15
在这种情况下，当depth＞＝sps_geo_delta_qp_signal_min_depth时，从比特流中解码当前节点的增量QP，即Ql，k。当depth＜sps_geo_delta_qp_signal_min_depth时，Ql，k＝0。
在实施例中，增量QP被限制为非负，因此不发信号通知增量QP的符号。表16示出了示例性语法表。
表16
在这种情况下，如果Ql，k是从比特流中解码的，则它可以重建如下：
if(geo_delta_qp_is_nonzero_flag){
Ql，k＝geo_delta_qp_abs_minus_one+1
}else{
Ql，k＝0
}。
在实施例中，QP被限制为2的幂的数字，因此增量QP的值也可以以log2的形式发信号通知。表17示出了示例性语法表。
表17
在这种情况下，如果Ql，k是从比特流中解码的，则它可以重建如下：
if(geo_delta_qp_is_nonzero_flag){
Ql，k＝geo_delta_qp_log2_abs_minus_one+1
}else{
Ql，k＝0
}。
在实施例中，预测Pl，k和解码后的Δl，k都是log2的形式。因此，当前节点(或子立方体)的最终QP被指定为并且depthShift＝Pl，k+Δl，k。
在实施例中，QP查找表是固定的或者由变量sps_geo_qp_table_flag和sps_geo_qp_table_element[i]指定。在这种情况下，QP变化可以通过QP表中索引的差值来指定。表18示出了示例性语法表。
表18
如果变量sps_geo_qp_table_flag等于1，则解码后的Δl，k指定查找表中索引的差值，并且当前节点(或子立方体)的最终QP被指定为其中QTi是QP表中的第i个元素，Pl，k是查找表中索引的预测值。
如果变量sps_geo_qp_table_flag等于0，则表示未构造查找表，当前节点的最终QP被指定为Ql，k＝Pl，k+Δl，k，其中Pl，k在这种情况下是增量QP值的预测值。
在实施例中，QP查找表是固定的或者由sps_geo_qp_table_flag和sps_geo_qp_table_element[i]指定。在这种情况下，QP变化可以通过QP表中的索引来指定。表19示出了示例性语法表。
表19
如果变量sps_geo_qp_table_flag等于1，则解码后的Δl，k指定查找表中的索引，并且当前节点(或子立方体)的最终QP被指定为其中QTi是QP表中的第i个元素。
如果变量sps_geo_qp_table_flag等于0，则表示未构造查找表，当前节点(或子立方体)的最终QP被指定为Ql，k＝Δl，k。在这种情况下，QP由Δl，k直接指定，无需预测值。
在实施例中，增量QP查找表是固定的或者由变量sps_geo_delta_qp_table_flag和sps_geo_delta_qp_table_element[i]指定。表20示出了示例性语法表。
表20
如果变量sps_geo_delta_qp_table_flag等于1，则已解码的Δl，k指定增量QP查找表中的索引，并且当前节点的最终QP被指定为其中DQTi是增量QP表中的第i个元素，Pl，k是增量QP的预测值。
5、增量QP的预测值
根据本公开的各方面，增量QP的预测值，即Pl，k，可以来自当前节点的父节点的QP，即或者可以来自相同分区深度中当前节点的先前已编码的兄弟节点(sibling node)之一的QP，即Pl，k＝Ql，j，其中j＜k，或者可以来自基本QP，即Pl，k＝qpBase，或者可以为前述预测值的任意组合(例如，平均值或中值)。
在实施例中，对于所有情况，预测值的选择可以是固定的。在替代实施例中，可以构建预测值的候选列表，并且可以发信号通知列表的索引，以指示应用了哪个预测值。当解析八叉树分区时，可以在序列头或切片头或几何切片数据中指定该索引。
在实施例中，指示预测值的源的索引在序列头中指定，如表21所示。
表21
如果变量sps_geo_delta_qp_predict_from_index等于0，则指定预测值来自基本QP，即Pl，k＝qpBase。如果变量sps_geo_delta_qp_predict_from_index等于1，则指定预测值来自父节点的QP，即如果变量sps_geo_delta_qp_predict_from_index等于2，则指定预测值来自相同分区深度中先前已编码的兄弟节点的QP，即Pl，k＝Ql，k-1。
6、八叉树级别几何量化
根据本公开的各方面，在某个八叉树分区深度处应用所提出的自适应几何量化，其中该深度在高级语法中指定。
在实施例中，将控制标志添加到几何参数集，以指示是否启用QP变化的信令。如果启用，则在发信号通知QP差值时，将基本QP作为预测值发信号通知。表22示出了示例性语法表。
表22
如果变量gps_geo_delta_qp_flag等于1，则指定启用QP变化的信令。如果变量gps_geo_delta_qp_flag等于0，则指定禁用QP变化的信令。如果启用QP变化的信令，则变量gps_geo_qp_base将可用于发信号通知QP差值的基本QP指定为baseQP＝gps_geo_qp_base。
表23示出了几何切片头中的语法变化。
表23
如果变量gsh_geo_octree_delta_qp_flag等于1，则指定在当前切片中启用基于八叉树的增量QP信令。如果变量gsh_geo_octree_delta_qp_flag等于0，则指定在当前切片中禁用基于八叉树的增量QP信令。如果启用基于八叉树的增量QP信令，则变量gsh_geo_octree_delta_qp_depth指定八叉树分区深度，在此深度处发信号通知QP的增量。
在实施例中，为了发信号通知增量QP的值，首先发信号通知一个比特，以指示增量QP是否等于0。如果不是，则编码并发信号通知另一比特，以指示增量QP的符号，并且其绝对值减去1，然后通过Exp-Golomb编码进行编码。表24示出了几何切片数据中的增量QP信令。
表24
变量GeometryNodeOccupancyCnt[depth][xN][yN][zN]表示在八叉树的给定深度的位置(xN，yN，zN)处几何八叉树节点中存在的子节点的数量。变量GeometryNodeOccupancyCnt的未定义值被视为0。
变量NodeX[depth][idx]、NodeY[depth][idx]和NodeZ[depth][idx]表示在给定深度处按解码顺序的第idx个节点的x、y和z坐标。变量NumNodesAtDepth[depth]表示在给定深度处待解码的节点的数量。
变量NodeBaseX[depth][idx]、NodeBaseY[depth][idx]和NodeBaseZ[depth][idx]表示在给定深度处按解码顺序的第idx个节点的量化位置的基本x、y和z坐标。变量NodeQuantX[depth][idx]、NodeQuantY[depth][idx]和NodeQuantZ[depth][idx]表示相对于在给定深度处按解码顺序的第idx个节点的基本位置的、量化后的x、y和z坐标。变量geoOctreeQP[depth][nodeIdx]指示在给定深度处按解码顺序的第nodeIdx个节点的QP。
变量NodeX、NodeY、NodeZ、NodeBaseX、NodeBaseY、NodeBaseZ、NodeQuantX、NodeQuantY、NodeQuantZ、geoQp、NumNodesAtDepth、GeometryNodeOccupancyCnt和GeometryNodeOccupancyMap初始化如下：
NodeX[0]＝NodeY[0]＝NodeZ[0]＝0
NumNodesAtDepth[0]＝1
GeometryNodeOccupancyCnt[-1][0][0][0]＝8
geoOctreeQP[0]＝4
NodeBaseX[0]＝NodeBaseY[0]＝NodeBaseZ[0]＝0
NodeQuantX[0]＝NodeQuantY[0]＝NodeQuantZ[0]＝0。
当变量gsh_geo_octree_delta_qp_flag等于1，并且深度等于变量gsh_geo_octree_delta_qp_depth时，当前节点的增量QP，即变量geo_octree_dqp，被指定如下：
当变量geo_octree_dqp被解码时，变量geoOctreeQP[depth][nodeIdx]被更新如下：
geoOctreeQP[depth][nodeIdx]＝geo_octree_dqp+baseQP。
当前节点的QS可以导出如下：
geoQp＝geoOctreeQP[depth][nodeIdx]，
geoOctreeQS＝geomLevelScale[geoQp％6]＜＜(geoQp/6)，
其中变量geomLevelScale[k]＝{659445，741374，831472，933892，1048576，1175576}，k＝0...5。
变量depthShift指定几何位深度的移位，如下所示：
depthShift＝floor((geoQp-4)/6)。
导出的参数depthShift会影响当前节点的几何编码，如表25所示。
表25
当(depth+depthShift)＞＝MaxGeometryOctreeDepth-1时，表示内部量化足够大，使得当前子立方体或当前节点中的所有点都被量化为一个点。在这种情况下，因为变量OccupancyMap可以推断为1，因此可以结束八叉树分区，并且可以跳过占用编码。对于几何编码中推断的直接编码模式(IDCM)，编码长度更改为ChildNodeSizeLog2-depthShift，其中变量ChildNodeSizeLog2表示子节点大小。
当变量direct_mode_flag等于0时，以下适用：
7、八叉树级别几何量化的八叉树节点解码过程
该过程的输入包括：(1)八叉树节点位置(深度，nodeIdx)，其指定当前几何八叉树节点在打包的几何八叉树中的位置；(2)空间位置(xN，yN，zN)，其指定当前几何八叉树节点在当前切片中的位置；(3)空间位置(xNBase，yNBase，zNBase)，其指定当前几何八叉树节点在当前切片中的基本位置，其中应用具有QP的几何量化；以及(4)空间位置(xNQuant，yNQuant，zNQuant)，其指定当前几何八叉树节点在当前切片中相对于(xNBase，yNBase，zNBase)指定的基本位置的量化位置。
该过程的输出是修改后的数组PointPos和更新后的变量PointCount。
如果两个深度都不等于MaxGeometryOctreeDepth-1，并且变量direct_mode_flag等于0，则该过程不输出任何点。否则，如果深度等于MaxGeometryOctreeDepth-1，或者变量direct_mode_flag等于1，则该过程的其余部分生成一个或多个点位置。
每个被占用子节点中点的空间位置可以根据每个子节点中重复点的数量和直接编码位置的使用来确定，如下所示：
8、切片级别几何量化
根据本公开的各方面，可以在切片级别指定QP变化，指示每个切片可以分配不同的QP。
在实施例中，将激活标志添加到几何参数集，以指示是否在切片级别启用QP变化的信令。如果启用，则在发信号通知QP差值时，将基本QP作为预测值发信号通知。
表26示出了几何参数集中的语法变化。
表26
如果变量gps_geo_delta_qp_flag等于1，则指定启用增量QP信令。如果变量gps_geo_delta_qp_flag等于0，则指定禁用增量QP信令。如果启用增量QP信令，变量gps_geo_qp_base将可用于发信号通知QP差值的基本QP指定为baseQP＝gps_geo_qp_base。表27示出了几何切片头中的语法变化。
表27
变量gsh_geo_slice_dqp将可应用于当前切片的QP指定为sliceQP＝gsh_geo_slice_dqp+baseQP。然后，QS可以导出为geoSliceQS＝geomLevelScale[sliceQP％6]＜＜(sliceQP/6)，其中geomLevelScale[k]＝{659445，741374，831472，933892，1048576，1175576}，k＝0...5。
在当前切片的八叉树解码过程完成后，应用以下解量化过程：
9、切片级别和八叉树级别几何量化的组合
根据本公开的各方面，基于切片的几何量化可以与基于八叉树的几何量化对齐。不是应用两个内部量化步骤，而是可以将它们合并为一个操作，即八叉树级别中的内部量化。解决方案如下：(1)如果只启用基于八叉树的量化，则与基于八叉树的方案相同，其中在某一指定的八叉树分区深度处应用内部量化；(2)如果只启用基于切片的量化，则可以在第一个八叉树分区深度中应用内部量化；以及(3)如果基于切片的量化和基于八叉树的量化都被启用，则可以在基于八叉树的方案中指定的八叉树分区深度处应用实际量化。切片级别确定的QP可用作基本QP，用于在八叉树级别发信号通知增量QP。
在实施例中，将控制标志添加到几何参数集，以指示是否启用QP变化的信令。如果启用，则当在切片级别发信号通知QP差值时，将基本QP作为预测值发信号通知。
表28示出了几何参数集中的语法变化。
表28
如果变量gps_geo_delta_qp_flag等于1，则指定启用QP变化的信令。如果变量gps_geo_delta_qp_flag等于0，则指定禁用QP变化的信令。如果启用QP变化的信令，则变量gps_geo_qp_base将可用于发信号通知QP差值的基本QP指定为baseQP＝gps_geo_qp_base。
表29示出了几何切片头中的语法变化。
表29
变量gsh_geo_slice_dqp将作为当前切片中的基本QP应用的QP指定为sliceQP＝gsh_geo_slice_dqp+baseQP。
如果变量gsh_geo_octree_delta_qp_flag等于1，则指定在当前切片中启用基于八叉树的增量QP的信令。如果变量gsh_geo_octree_delta_qp_flag等于0，则指定在当前切片中禁用基于八叉树的增量QP的信令。如果变量gsh_geo_octree_delta_qp_flag等于1，则变量gsh_geo_octree_delta_qp_depth指定八叉树分区的深度，在此深度处发信号通知QP的增量。如果变量gsh_geo_oCtree_delta_qp_flag等于0，则变量gsh_geo_octree_delta_qp_depth被推断为0，表示可以在第一个八叉树分区深度处应用量化。
在实施例中，为了在八叉树级别发信号通知增量QP的值，首先发信号通知一个比特，以指示增量QP是否等于0。如果不是，则编码并发信号通知另一个比特，以指示增量QP的符号，并且其绝对值减去1，然后通过Exp-Golomb编码进行编码。表30示出了几何切片数据中的增量QP的信令。
表30
变量GeometryNodeOccupancyCnt[depth][xN][yN][zN]表示在八叉树的给定深度的位置(xN，yN，zN)处几何八叉树节点中存在的子节点的数量。变量GeometryNodeOccupancyCnt的未定义值被视为0。
变量NodeX[depth][idx]、NodeY[depth][idx]和NodeZ[depth][idx]表示在给定深度处按解码顺序的第idx个节点的x、y和z坐标。变量NumNodesAtDepth[depth]表示在给定深度处待解码的节点的数量。
变量NodeBaseX[depth][idx]、NodeBaseY[depth][idx]和NodeBaseZ[depth][idx]表示在给定深度处按解码顺序的第idx个节点的量化位置的基本x、y和z坐标。变量NodeQuantX[depth][idx]，NodeQuantY[depth][idx]和NodeQuantZ[depth][idx]表示相对于在给定深度处按解码顺序的第idx个节点的基本位置的、量化后的x、y和z坐标。变量geoOctreeQP[depth][nodeIdx]指示在给定深度处按解码顺序的第nodeIdx个节点的QP。
变量NodeX、NodeY、NodeZ、NodeBaseX、NodeBaseY、NodeBaseZ、NodeQuantX、NodeQuantY、NodeQuantZ、geoQp、NumNodesAtDepth、GeometryNodeOccupancyCnt和GeometryNodeOecupancyMap初始化如下：
NodeX[0]＝NodeY[0]＝NodeZ[0]＝0
NumNodesAtDepth[0]＝1
GeometryNodeOccupancyCnt[一1][0][0][0]＝8
geoOctreeQP[0]＝4
NodeBaseX[0]＝NodeBaseY[0]＝NodeBaseZ[0]＝0
NodeQuantX[0]＝NodeQuantY[0]＝NodeQuantZ[0]＝0。
当变量gsh_geo_octree_delta_qp_flag等于1，并且深度等于变量
gsh_geo_octree_delta_qp_depth时，当前节点的增量QP，即变量geo_oetree_dqp，被指定如下：
当变量geo_octree_dqp被解码时，变量geoOctreeQP[depth][nodeIdx]被更新为变量geoOctreeQP[depth][nodeIdx]＝geo_octree_dqp+baseQP。
当前节点的QS可以导出如下：
geoQp＝geoOctreeQP[depth][nodeIdx]，
geoOctreeQS＝geomLevelScale[geoQp％6]＜＜(geoQp/6)，
其中geomLevelScale[k]＝{659445，741374，831472，933892，1048576，1175576}，k＝0...5。
变量depthShift将几何体位深度的移位指定为depthShift＝floor((geoQp-4)/6)。
导出的参数depthShift会影响当前节点的几何编码，如表31所示。
表31
当(depth+depthShift)＞＝MaxGeometryOctreeDepth-1时，表示内部量化足够大，使得当前节点中的所有点都被量化为一个点。在这种情况下，因为变量OccupancyMap可以推断为1，因此可以结束八叉树分区，并且跳过占用编码。对于几何编码中的IDCM模式，编码长度更改为ChildNodeSizeLog2-depthShift，其中变量ChildNodeSizeLog2表示子节点大小。
当变量direct_mode_flag等于0时，以下适用：
10、用于切片级别和八叉树级别几何量化的组合的八叉树节点解码过程
该过程的输入包括：(1)八叉树节点位置(深度，nodeIdx)，其指定当前几何八叉树节点在打包的几何八叉树中的位置；(2)空间位置(xN，yN，zN)，其指定当前几何八叉树节点在当前切片中的位置；(3)空间位置(xNBase，yNBase，zNBase)，其指定当前几何八叉树节点在当前切片中的基本位置，其中应用具有QP的几何量化；以及(4)空间位置(xNQuant，yNQuant，zNQuant)，其指定当前几何八叉树节点在当前切片中相对于(xNBase，yNBase，zNBase)指定的基本位置的量化位置。
该过程的输出是修改后的数组PointPos和更新后的变量PointCount。
如果两个深度都不等于MaxGeometryOctreeDepth-1，并且变量direct_mode_flag等于0，则该过程不输出任何点。否则，如果深度等于MaxGeometryOctreeDepth-1，或者变量direct_mode_flag等于1，则该过程的其余部分生成一个或多个点位置。
每个被占用子节点中点的空间位置可以根据每个子节点中重复点的数量和直接编码位置的使用来确定，如下所示：
11、对所提出的自适应几何量化的约束
根据本公开的各方面，所提出的自适应几何量化可以针对不同的几何八叉树节点允许不同的量化步长。可以对几何量化方案引入约束以简化该过程。
在实施例中，仅允许对特定分区深度处的节点应用自适应几何量化。
在实施例中，量化步长只能是2的幂的数字。在这种情况下，可以以log2的形式发信号通知量化步长的增量，并且可以通过位移位来简化量化/解量化的实现。
在实施例中，一些几何相关编解码工具会与自适应几何量化交互。为了避免交互，可以利用额外的约束。例如，在一些情况下可以禁用平面编码模式。在仅允许在特定分区深度处应用自适应几何量化的实施例中，可以在指定深度以上的深度处禁用平面编码模式。
V.隐式几何分区
本部分介绍隐式几何分区。它描述了如何更新两个参数K和M以及如何基于K和M确定分区类型和方向。
首先，在表32所示的几何参数集中指定一个控制标志和两个参数K和M。
表32
如果变量gps_implicit_geom_partition_flag等于1，则指定对序列或切片启用隐式几何分区。如果变量gps_implicit_geom_partition_flag等于0，则指定对序列或切片禁用隐式几何分区。如果变量gps_implicit_geom_partition_flag等于1，则发信号通知以下两个参数：(1)gps_max_num_implicit_qtbt_before_ot指定在OT分区之前隐式QT和BT分区的最大数量，即，K＝gps_max_num_implicit_qtbt_before_ot；(2)gps_min_size_implicit_qtbt指定隐式QT和BT分区的最小大小，即，M＝gps_min_size_implicit_qtbt。
当所有维度都小于或等于M时，该参数防止隐式QT和BT分区。
如果启用隐式QTBT，则边界框的大小由几何切片头中的三个值来指定，如表33所示。
表33
变量gsh_log2_max_nodesize_x指定x维中的边界框大小，即解码过程中使用的MaxNodesizeXLog2，如下所示：
MaxNodeSizeXLog2＝gsh_log2_max_nodesize_x，
MaxNodeSizeX＝1＜＜MaxNodeSizeXLog2。
变量gsh_log2_max_nodesize_y_minus_x指定y维中的边界框大小，即解码过程中使用的MaxNodesizeYLog2，如下所示：
MaxNodeSizeYLog2＝gsh_log2_max_nodesize_y_minus_x+MaxNodeSizeXLog2，
MaxNodeSizeY＝1＜＜MaxNodeSizeYLog2。
变量gsh_log2_max_nodesize_z_minus_y指定z维中的边界框大小，即解码过程中使用的MaxNodesizeZLog2，如下所示：
MaxNodeSizeZLog2＝gsh_log2_max_nodesize_z_minus_y+MaxNodeSizeYLog2，
MaxNodeSizeZ＝1＜＜MaxNodeSizeZLog2。
然后，参数K和M更新如下：
表34示出了几何切片数据的示例性修改。表35示出了示例性语法表。
表34
表35
变量MaxGeometryOctreeDepth导出如下：
MaxGeometryOctreeDepth＝gsh_log2_max_nodesize-log2_trisoup_node_size。
变量NodeX[depthX][nodeIdx]、NodeY[depthY][nodeIdx]和NodeZ[depthZ][nodeIdx]表示在给定深度处按解码顺序的第nodeIdx个节点的x、y和z坐标。变量NumNodesAtDepth[depth]表示在给定深度处待解码的节点的数量。变量depthX、depthY和depthZ分别指定x、y和z维中的深度。变量partitionSkip指定分区类型和方向，如表36所示。变量partitionSkip使用三个位b_x b_y b_z以二进制形式表示，这三个位分别指定是否沿x、y和z维跳过分区。例如，b_x＝1表示沿x维没有分区。表37示出了示例性语法表。
表36
分区 沿x-y轴的QT 沿x-z轴的QT 沿y-z轴的QT OT
分区跳过 b001 b010 b100 b000
分区 沿x轴的BT 沿y轴的BT 沿z轴的BT
分区跳过 b011 b101 b110
表37
变量ChildNodeSizeXLog2、ChildNodeSizeYLog2和ChildNodeSizeZLog2指定每个维度的子节点大小，它们由隐式QT和BT分区确定，如下所示：
VI.并行八叉树编码
在本部分中，进一步描述并行八叉树编码中上下文和历史变量的重新初始化的细节。
假设八叉树分区深度为d＝0，1，...，M-1，其中M是八叉树分区深度的总数。在以下实施例中，并行八叉树编码应用于从dmin到M-1的深度，其中0＜dmin≤M-1，表示这些深度的八叉树编码可以并行执行。在以下实施例中，深度d(dmin≤d≤M-1)中的上下文变量和所有其它相关上下文和历史变量的概率被重新初始化为与深度dmin-1编码后的概率相同，即在这种情况下，需要提前缓存的状态，以用于其余八叉树分区深度。
当八叉树分区达到指定深度dmin时，需要将用于逐位编码的上下文变量的概率存储到存储器中。对于将并行进行的剩余八叉树分区深度，需要重新初始化上下文变量的概率，使其与存储的概率相同。
该过程在开始编码每个八叉树深度时被调用。如果(gps_parallel_octree_coding_flag&&depth＝＝dmin)，CtxMap缓存在条目CtxMapSvld[i]＝CtxMap[i]中，其中i在0到NumCtx-1的范围内。如果(gps_parallel_octree_coding_flag&&depth＞＝dmin)，在条目CtxMap[i]＝CtxMapSvld[i]中恢复CtxMap，其中i在0到NumCtx-1的范围内。其中NumCtx表示上下文的总数。
当八叉树分区达到指定深度dmin时，需要将用于逐字节编码的查找表的值存储到存储器中。对于将并行进行的剩余八叉树分区深度，需要重新初始化查找表的值，使其与存储的值相同。
需要存储和恢复的相关变量包括：(1)值lut0[k]的数组，用于存储最频繁符号，其中k在0到31的范围内(包括端值)；(2)值lut0Histogram[k]的数组，用于存储符号出现(occurrence)，其中k在0到255的范围内(包括端值)；(3)两个变量lut0UpdatePeriod和lut0SymbolsUntilUpdate，分别用于存储lut0的更新周期和下一次更新之前剩余的符号数；(4)变量lut0Reset，用于指定在下一个lut0更新期间是否应重置lut0；(5)值lut1[k]的数组，用于存储具有不同值的最后16个已解码符号，其中k在0到15的范围内(包括端值)；(6)变量lutlIndexLastSymbol，用于存储最后一个已解码符号的索引；(7)一组自适应二进制算术上下文ctxLut0Hit，ctxLut1Hit和ctxSymbolBit；(8)如果limitedContextMode等于1，则自适应二进制算术上下文ctxLut0Index的大小为5，否则(即limitedContextMode等于0)为31。变量limitedContextMode指定是否使用有限数量的上下文。
该重新初始化的过程在开始编码每个八叉树深度时被调用，如下所示：
当八叉树分区达到指定深度dmin时，需要将平面编码模式的历史值存储到存储器中。对于将并行进行的剩余八叉树分区深度，需要重新初始化历史值，使其与存储的值相同。
该重新初始化的过程在开始编码每个八叉树深度时被调用，如下所示：
在一个实施例中，启用并行八叉树编码的最小八叉树深度(即d_min)由TMC13中设置的几何参数中的gps_parallel_octree_coding_max_nodesize_log2_minus1来指定，如表38所示。
表38
变量gps_parallel_octree_coding_max_nodesize_log2指定启用并行八叉树编码的最小八叉树深度，即dmin，如下所示：
dmin＝M-gps_parallel_octree_coding_max_nodesize_log2_minus1-1。
在这种情况下，变量gps_parallel_octree_coding_flag不发信号通知，但是可以从变量gps_parallel_octree_coding_max_nodesize_log2_minus1推断出来。如果变量gps_parallel_octree_coding_max_nodesize_log2_minus1等于零，则变量gps_parallel_octree_coding_flag被推断为0。否则，变量gps_parallel_octree_coding_flag被推断为1。
VII.流程图
图11示出了根据本公开实施例的概述过程(1100)的流程图。过程(1100)可用于对点云进行编码的编码过程中。在各种实施例中，过程(1100)由处理电路执行，例如终端装置(110)中的处理电路、执行编码器(203)的功能的处理电路、执行编码器(300)的功能的处理电路等。在一些实施例中，过程(1100)以软件指令实现，因此，当处理电路执行该软件指令时，处理电路执行过程(1100)。该过程从(S1110)开始。
在(S1110)，过程(1100)从已编码比特流中解码量化空间中的点云的语法信息，所述语法信息包括所述点云的边界框的划分信息和自适应几何量化信息。然后，过程(1100)进行到步骤(S1120)。
在(S1120)，过程(1100)基于所述划分信息，将所述点云的边界框划分为多个部分。所述部分可以对应于分区或区域，如上所述。然后，过程(1100)进行到步骤(S1130)。
在(S1130)，过程(1100)基于所述自适应几何量化信息，确定所述边界框中的所述多个部分的量化参数。然后，过程(1100)进行到步骤(S1140)。
在(S1140)，过程(1100)基于所述边界框中的各个部分的量化参数，重建所述点云的边界框中的每个部分中的点。
在实施例中，基于所述划分信息中包括的八叉树分区结构，将所述边界框划分为多个分区。
在实施例中，基于所述划分信息中包括的多个区域的坐标信息，将所述边界框划分为所述多个区域。
在实施例中，基于所述自适应几何量化信息中包括的基本量化参数，确定所述量化参数。
在实施例中，当第一语法元素指示启用一个或多个增量量化参数的信令时，基于所述一个或多个增量量化参数确定所述量化参数。所述第一语法元素包括在所述自适应几何量化信息中。
在实施例中，基于所述第一语法元素指示启用所述一个或多个增量量化参数的信令，所述自适应几何量化信息包括第二语法元素和第三语法元素的其中之一。所述第二语法元素指示八叉树分区深度，在所述八叉树分区深度处允许所述一个或多个增量量化参数的信令，所述第三语法元素指示最小八叉树分区深度，从所述最小八叉树分区深度处允许所述一个或多个增量量化参数的信令。
在实施例中，所述量化参数、所述基本量化参数、以及所述一个或多个增量量化参数中的至少一个是2的幂。
在实施例中，(i)所述量化参数和(ii)所述一个或多个增量量化参数的其中之一包括在查找表中。
在实施例中，所述自适应几何量化信息包括以下其中之一：(i)所述查找表的索引，以及(ii)所述索引与所述索引的预测值之间的差。
在实施例中，基于与所述各个部分相对应的节点的父节点的量化参数、相同分区深度中与所述各个部分相对应的节点的先前已编码兄弟节点的量化参数、以及所述基本量化参数中的至少一个，预测所述边界框中的每个部分的增量量化参数。
在实施例中，所述一个或多个增量量化参数基于量化参数预测值的候选列表来预测。
VIII.计算机系统
上述技术可以通过计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图12示出了计算机系统(1200)，其适于实现所公开主题的某些实施例。
所述计算机软件可通过任何合适的机器代码或计算机语言进行编码，通过汇编、编译、链接等机制创建包括指令的代码，所述指令可由一个或多个计算机中央处理单元(CPU)，图形处理单元(GPU)等直接执行或通过译码、微代码等方式执行。
所述指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。
图12所示的用于计算机系统(1200)的组件本质上是示例性的，并不用于对实现本公开实施例的计算机软件的使用范围或功能进行任何限制。也不应将组件的配置解释为与计算机系统(1200)的示例性实施例中所示的任一组件或其组合具有任何依赖性或要求。
计算机系统(1200)可以包括某些人机界面输入设备。这种人机界面输入设备可以通过触觉输入(如：键盘输入、滑动、数据手套移动)、音频输入(如：声音、掌声)、视觉输入(如：手势)、嗅觉输入(未示出)，对一个或多个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体，气与人类有意识的输入不必直接相关，如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
人机界面输入设备可包括以下中的一个或多个(仅绘出其中一个)：键盘(1201)、鼠标(1202)、触控板(1203)、触摸屏(1210)、数据手套(未示出)、操纵杆(1205)、麦克风(1206)、扫描仪(1207)、照相机(1208)。
计算机系统(1200)还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感觉。这样的人机界面输出设备可包括触觉输出设备(例如通过触摸屏(1210)、数据手套(未示出)或操纵杆(1205)的触觉反馈，但也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如，扬声器(1209)、耳机(未示出))、视觉输出设备(例如，包括阴极射线管屏幕、液晶屏幕、等离子屏幕、有机发光二极管屏的屏幕(1210)，其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出；虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。
计算机系统(1200)还可以包括人可访问的存储设备及其相关介质，如包括具有CD/DVD的高密度只读/可重写式光盘(CD/DVD ROM/RW)(1220)或类似介质(1221)的光学介质、拇指驱动器(1222)、可移动硬盘驱动器或固体状态驱动器(1223)，诸如磁带和软盘(未示出)的传统磁介质，诸如安全软件保护器(未示出)等的基于ROM/ASIC/PLD的专用设备，等等。
本领域技术人员还应当理解，结合所公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。
计算机系统(1200)还可以包括通往一个或多个通信网络的接口。例如，网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络还包括以太网、无线局域网、蜂窝网络(GSM、3G、4G、5G、LTE等)等局域网、电视有线或无线广域数字网络(包括有线电视、卫星电视、和地面广播电视)、车载和工业网络(包括CANBus)等等。某些网络通常需要外部网络接口适配器，用于连接到某些通用数据端口或外围总线(1249)(例如，计算机系统(1200)的USB端口)；其它系统通常通过连接到如下所述的系统总线集成到计算机系统(1200)的核心(例如，以太网接口集成到PC计算机系统或蜂窝网络接口集成到智能电话计算机系统)。通过使用这些网络中的任何一个，计算机系统(1200)可以与其它实体进行通信。所述通信可以是单向的，仅用于接收(例如，无线电视)，单向的仅用于发送(例如CAN总线到某些CAN总线设备)，或双向的，例如通过局域或广域数字网络到其它计算机系统。上述的每个网络和网络接口可使用某些协议和协议栈。
上述的人机界面设备、人可访问的存储设备以及网络接口可以连接到计算机系统(1200)的核心(1240)。
核心(1240)可包括一个或多个中央处理单元(CPU)(1241)、图形处理单元(GPU)(1242)、以现场可编程门阵列(FPGA)(1243)形式的专用可编程处理单元、用于特定任务的硬件加速器(1244)等。这些设备以及只读存储器(ROM)(1245)、随机存取存储器(1246)、内部大容量存储器(例如内部非用户可存取硬盘驱动器、固态硬盘等)(1247)等可通过系统总线(1248)进行连接。在某些计算机系统中，可以以一个或多个物理插头的形式访问系统总线(1248)，以便可通过额外的中央处理单元、图形处理单元等进行扩展。外围装置可直接附接到核心的系统总线(1248)，或通过外围总线(1249)进行连接。外围总线的体系结构包括外部外围组件互联PCI、通用串行总线USB等。
CPU(1241)、GPU(1242)、FPGA(1243)和加速器(1244)可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM(1245)或RAM(1246)中。过渡数据也可以存储在RAM(1246)中，而永久数据可以存储在例如内部大容量存储器(1247)中。通过使用高速缓冲存储器可实现对任何存储器设备的快速存储和检索，高速缓冲存储器可与一个或多个CPU(1241)、GPU(1242)、大容量存储器(1247)、ROM(1245)、RAM(1246)等紧密关联。
所述计算机可读介质上可具有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可以是为本公开的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
作为实施例而非限制，具有体系结构(1200)的计算机系统，特别是核心(1240)，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供执行包含在一个或多个有形的计算机可读介质中的软件的功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质，以及具有非易失性的核心(1240)的特定存储器，例如核心内部大容量存储器(1247)或ROM(1245)。实现本公开的各种实施例的软件可以存储在这种设备中并且由核心(1240)执行。根据特定需要，计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心(1240)特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括定义存储在RAM(1246)中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代，计算机系统可以提供逻辑硬连线或以其它方式包含在电路(例如，加速器(1244))中的功能，该电路可以代替软件或与软件一起运行以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC))，包含执行逻辑的电路，或两者兼备。本公开包括任何合适的硬件和软件组合。
虽然本公开已对多个示例性实施例进行了描述，但实施例的各种变更、排列和各种等同替换均属于本公开的范围内。因此应理解，本领域技术人员能够设计多种系统和方法，所述系统和方法虽然未在本文中明确示出或描述，但其体现了本公开的原则，因此属于本公开的精神和范围之内。

Claims (14)

1.一种进行点云编解码的方法，其特征在于，包括：
从已编码比特流中解码量化空间中的点云的语法信息，所述语法信息包括所述点云的边界框的划分信息和自适应几何量化信息；
基于所述划分信息，将所述点云的边界框划分为多个部分；
基于所述自适应几何量化信息，确定所述边界框中的所述多个部分中一个部分的量化参数；
从所述已编码比特流中解码所述一个部分的节点数据，其中，所述节点数据包括八叉树节点的深度、八叉树节点在八叉树的所述深度处的位置、八叉树节点在当前切片中的经过几何量化的基本位置、八叉树节点在当前切片中的相对于所述基本位置的量化位置；以及
基于所述量化参数和所述节点数据，确定所述一个部分中每个被占用子节点中点的空间位置；
根据所述点的空间位置重建所述点云的边界框中的所述一个部分中的点。
2.根据权利要求1所述的方法，其特征在于，所述划分信息包括八叉树分区结构；以及
所述将所述点云的边界框划分为多个部分包括：基于所述八叉树分区结构将所述边界框划分为多个分区。
3.根据权利要求1所述的方法，其特征在于，所述语法信息指示只启用基于切片的量化；以及
基于所述量化参数和所述节点数据，确定所述一个部分中每个被占用子节点中点的空间位置包括：
针对所述切片中位于第一个八叉树分区深度的节点，基于所述量化参数和所述节点的节点数据，确定所述节点中每个被占用子节点中点的空间位置。
4.根据权利要求1所述的方法，其特征在于，所述自适应几何量化信息包括基本量化参数；以及
所述确定所述边界框中的所述多个部分的量化参数包括：基于所述基本量化参数确定所述量化参数。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述自适应几何量化信息包括第一语法元素，所述第一语法元素指示是否启用一个或多个增量量化参数的信令；以及
所述确定所述边界框中的所述多个部分的量化参数包括：当所述第一语法元素指示启用所述一个或多个增量量化参数的信令时，基于所述一个或多个增量量化参数确定所述量化参数。
6.根据权利要求5所述的方法，其特征在于，基于所述第一语法元素指示启用所述一个或多个增量量化参数的信令，所述自适应几何量化信息包括第二语法元素和第三语法元素的其中之一，所述第二语法元素指示八叉树分区深度，在所述八叉树分区深度处允许所述一个或多个增量量化参数的信令，所述第三语法元素指示最小八叉树分区深度，从所述最小八叉树分区深度处允许所述一个或多个增量量化参数的信令。
7.根据权利要求4所述的方法，其特征在于，所述自适应几何量化信息包括第一语法元素，所述第一语法元素指示是否启用一个或多个增量量化参数的信令；
所述确定所述边界框中的所述多个部分的量化参数包括：当所述第一语法元素指示启用所述一个或多个增量量化参数的信令时，基于所述一个或多个增量量化参数确定所述量化参数；
其中，所述量化参数、所述基本量化参数、以及所述一个或多个增量量化参数中的至少一个是2的幂。
8.根据权利要求5所述的方法，其特征在于，(i)所述量化参数和(ii)所述一个或多个增量量化参数的其中之一包括在查找表中。
9.根据权利要求8所述的方法，其特征在于，所述自适应几何量化信息包括以下其中之一：(i)所述查找表的索引，以及(ii)所述索引与所述索引的预测值之间的差。
10.根据权利要求4所述的方法，其特征在于，所述自适应几何量化信息包括第一语法元素，所述第一语法元素指示是否启用一个或多个增量量化参数的信令；
所述确定所述边界框中的所述多个部分的量化参数包括：当所述第一语法元素指示启用所述一个或多个增量量化参数的信令时，基于所述一个或多个增量量化参数确定所述量化参数；
其中，基于与所述各个部分相对应的节点的父节点的量化参数、相同分区深度中与所述各个部分相对应的节点的先前已编码兄弟节点的量化参数、以及所述基本量化参数中的至少一个，预测所述边界框中的每个部分的增量量化参数。
11.根据权利要求5所述的方法，其特征在于，所述一个或多个增量量化参数基于量化参数预测值的候选列表来预测。
12.一种点云编解码的装置，其特征在于，包括处理电路，被配置为执行权利要求1-11任一项所述的方法。
13.一种点云编解码的装置，其特征在于，包括：
第一解码模块，用于从已编码比特流中解码量化空间中的点云的语法信息，所述语法信息包括所述点云的边界框的划分信息和自适应几何量化信息；
划分模块，用于基于所述划分信息，将所述点云的边界框划分为多个部分；
确定模块，用于基于所述自适应几何量化信息，确定所述边界框中的所述多个部分中一个部分的量化参数；
第二解码模块，用于从所述已编码比特流中解码所述一个部分的节点数据，其中，所述节点数据包括八叉树节点的深度、八叉树节点在当前切片中所述深度处的位置、八叉树节点在当前切片中的经过几何量化的基本位置、八叉树节点在当前切片中相对于所述基本位置的量化位置；以及
重建模块，用于基于所述量化参数和所述节点数据，确定所述一个部分中每个被占用子节点中点的空间位置；根据所述点的空间位置重建所述点云的边界框中的每个部分中的点。
14.一种非易失性计算机可读介质，其特征在于，用于存储指令，当所述指令由用于点云编解码的计算机执行时，使所述计算机执行权利要求1-11任一项所述的方法。
CN202080023446.XA 2019-07-02 2020-06-30 点云编解码的方法和装置 Active CN113632142B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962869946P 2019-07-02 2019-07-02
US62/869,946 2019-07-02
US201962910387P 2019-10-03 2019-10-03
US62/910,387 2019-10-03
US202062958131P 2020-01-07 2020-01-07
US62/958,131 2020-01-07
PCT/US2020/040328 WO2021003173A1 (en) 2019-07-02 2020-06-30 Method and apparatus for point cloud compression

Publications (2)

Publication Number Publication Date
CN113632142A CN113632142A (zh) 2021-11-09
CN113632142B true CN113632142B (zh) 2024-07-26

Family

ID=74065234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080023446.XA Active CN113632142B (zh) 2019-07-02 2020-06-30 点云编解码的方法和装置

Country Status (5)

Country Link
US (1) US11469771B2 (zh)
EP (1) EP3994668A4 (zh)
JP (1) JP7233561B2 (zh)
CN (1) CN113632142B (zh)
WO (1) WO2021003173A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12165368B2 (en) * 2019-06-26 2024-12-10 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US11368717B2 (en) 2019-09-16 2022-06-21 Tencent America LLC Method and apparatus for point cloud compression
CN113286152B (zh) 2020-02-20 2023-05-23 腾讯美国有限责任公司 视频解码方法、装置、计算机设备及存储介质
US11363285B2 (en) * 2020-02-20 2022-06-14 Tencent America LLC Block partitioning at picture boundaries
WO2022075326A1 (ja) * 2020-10-07 2022-04-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN115474058B (zh) * 2021-06-11 2025-06-24 维沃移动通信有限公司 点云编码处理方法、点云解码处理方法及相关设备
WO2023059136A1 (ko) * 2021-10-08 2023-04-13 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
EP4250235A1 (en) * 2022-03-25 2023-09-27 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding positions of points of a point cloud emcompassed in a cuboid volume
CN119366154A (zh) * 2022-09-28 2025-01-24 Oppo广东移动通信有限公司 点云编解码方法、装置、设备及存储介质
CN120569962A (zh) * 2023-03-01 2025-08-29 上海交通大学 编解码方法、码流、编码器、解码器以及存储介质
WO2025157224A1 (en) * 2024-01-23 2025-07-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for quantization parameter update process for geometry displacement components of dynamic mesh

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019012975A1 (ja) * 2017-07-10 2019-01-17 ソニー株式会社 情報処理装置および方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102484706B (zh) * 2009-06-26 2015-09-16 汤姆森特许公司 使用自适应几何划分进行视频编码和解码的方法及装置
WO2013026210A1 (en) 2011-08-25 2013-02-28 Technicolor (China) Technology Co., Ltd. Hierarchical entropy encoding and decoding
US9332283B2 (en) 2011-09-27 2016-05-03 Broadcom Corporation Signaling of prediction size unit in accordance with video coding
US9736488B2 (en) 2013-11-27 2017-08-15 Nxp Usa, Inc. Decoding for high efficiency video transcoding
US9734595B2 (en) 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
US20170214943A1 (en) 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
US11297346B2 (en) 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US10223810B2 (en) 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
WO2017217191A1 (ja) 2016-06-14 2017-12-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置
EP3293702B1 (en) * 2016-09-13 2020-04-29 Dassault Systèmes Compressing a signal that represents a physical attribute
JP6876822B2 (ja) * 2017-03-21 2021-05-26 ドルビー ラボラトリーズ ライセンシング コーポレイション ルミナンス情報を用いた量子化パラメーター予測
US10984541B2 (en) * 2018-04-12 2021-04-20 Samsung Electronics Co., Ltd. 3D point cloud compression systems for delivery and access of a subset of a compressed 3D point cloud
CN110662087B (zh) * 2018-06-30 2021-05-11 华为技术有限公司 点云编解码方法和编解码器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019012975A1 (ja) * 2017-07-10 2019-01-17 ソニー株式会社 情報処理装置および方法

Also Published As

Publication number Publication date
EP3994668A1 (en) 2022-05-11
CN113632142A (zh) 2021-11-09
EP3994668A4 (en) 2023-11-22
US20210004991A1 (en) 2021-01-07
WO2021003173A1 (en) 2021-01-07
JP2022526232A (ja) 2022-05-24
US11469771B2 (en) 2022-10-11
JP7233561B2 (ja) 2023-03-06

Similar Documents

Publication Publication Date Title
CN113632142B (zh) 点云编解码的方法和装置
US11750839B2 (en) Method and apparatus for point cloud compression
CN113615181B (zh) 用于点云编解码的方法、装置
CN115336243B (zh) 点云数据处理方法、装置和介质
KR102584519B1 (ko) 포인트 클라우드 압축을 위한 변환 계수들의 알파벳-파티션 코딩을 위한 기술들 및 장치들
US11983907B2 (en) Techniques and apparatus for explicit quad-tree and binary-tree partitioning for geometry coding
CN117917078A (zh) 计算用于点云编解码的基于距离的加权平均的方法和装置
CN113115019B (zh) 视频编解码方法、装置、计算机设备及存储介质
HK40064136A (zh) 点云编解码的方法和装置
HK40064136B (zh) 点云编解码的方法和装置
HK40047928A (zh) 视频编解码方法、装置、计算机设备及存储介质
HK40047928B (zh) 视频编解码方法、装置、计算机设备及存储介质
HK40047927A (zh) 点云属性编解码方法、装置、计算机设备及存储介质
HK40064138A (zh) 用於点云编解码的方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40064136

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant