WO2023003349A1 - 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 - Google Patents

포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 Download PDF

Info

Publication number
WO2023003349A1
WO2023003349A1 PCT/KR2022/010606 KR2022010606W WO2023003349A1 WO 2023003349 A1 WO2023003349 A1 WO 2023003349A1 KR 2022010606 W KR2022010606 W KR 2022010606W WO 2023003349 A1 WO2023003349 A1 WO 2023003349A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
cloud data
data
point
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/010606
Other languages
English (en)
French (fr)
Inventor
한재신
서종열
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to US18/290,676 priority Critical patent/US20250086842A1/en
Priority to EP22846219.8A priority patent/EP4375947A4/en
Priority to CN202280057293.XA priority patent/CN117836815A/zh
Publication of WO2023003349A1 publication Critical patent/WO2023003349A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/647—Three-dimensional [3D] objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms

Definitions

  • Embodiments relate to a method and apparatus for processing point cloud content.
  • the point cloud content is content expressed as a point cloud, which is a set of points belonging to a coordinate system representing a 3D space.
  • Point cloud content can express three-dimensional media, and provides various services such as VR (Virtual Reality), AR (Augmented Reality), MR (Mixed Reality), and autonomous driving service. used to provide However, tens of thousands to hundreds of thousands of point data are required to express point cloud content. Therefore, a method for efficiently processing a vast amount of point data is required.
  • Embodiments provide an apparatus and method for efficiently processing point cloud data.
  • Embodiments provide a point cloud data processing method and apparatus for solving latency and encoding/decoding complexity.
  • a point cloud data transmission method may include encoding the point cloud data and transmitting a bitstream including the point cloud data. Receiving a bitstream including point cloud data according to embodiments and decoding the point cloud data may be included.
  • Apparatus and method according to embodiments may process point cloud data with high efficiency.
  • Devices and methods according to embodiments may provide a point cloud service of high quality.
  • Devices and methods according to embodiments may provide point cloud content for providing general-purpose services such as VR services and autonomous driving services.
  • FIG. 1 is a block diagram illustrating an example of a communication system 1 according to embodiments.
  • FIG. 2 illustrates a block configuration diagram of a wireless communication system to which methods according to embodiments may be applied.
  • 3 shows an example of a 3GPP signal transmission/reception method.
  • FIG. 4 shows an example in which a physical channel is mapped into a self-contained slot according to embodiments.
  • FIG. 5 shows an example of an ACK/NACK transmission process and a PUSCH transmission process.
  • FIG. 6 shows a downlink structure for media transmission of a 5GMS service according to embodiments.
  • FIG. 7 shows an example of a FLUS structure for Uplink service.
  • FIG. 8 shows a point cloud data processing system according to embodiments.
  • FIG 9 shows an example of a point cloud data processing device according to embodiments.
  • FIG. 10 shows an example of a point cloud data processing device according to embodiments.
  • FIG. 11 shows an example of a point cloud data processing device according to embodiments.
  • FIG. 12 shows an example of a point cloud data processing device according to embodiments.
  • FIG. 13 shows an example of a point cloud data processing device according to embodiments.
  • FIG. 14 shows an example of a point cloud data processing device according to embodiments.
  • 15 shows a transmission structure for a UE on a visited network according to embodiments.
  • 16 illustrates a call connection between UEs according to embodiments.
  • FIG 17 shows an apparatus for transmitting and receiving point cloud data according to embodiments.
  • FIG. 18 shows an architecture for XR communication on a 5G network according to embodiments.
  • Figure 19 shows a structure for XR communication according to embodiments
  • 20 illustrates a protocol stack for XR interactive service on 3GPP 5G according to embodiments.
  • 21 illustrates point-to-point XR videoconferencing according to embodiments.
  • FIG. 22 shows an XR videoconferencing extension according to embodiments.
  • Figure 23 shows XR videoconferencing extensions according to embodiments.
  • FIG. 24 shows an example of a Point Cloud Encoder according to embodiments according to embodiments.
  • FIG. 25 shows an example of a point cloud decoder according to embodiments.
  • 26 shows an example of an operational flowchart of a transmitting device according to embodiments.
  • FIG. 27 shows an example of an operation flowchart of a receiving device according to embodiments.
  • 29 shows an example of filtering according to embodiments.
  • FIG. 30 shows a vector configuration according to embodiments.
  • 32 shows an example of generating an axis for an object of interactive point cloud data according to embodiments.
  • 33 illustrates axis selection, estimation, transformation, angle generation, and rotation matrix generation according to an embodiment.
  • 34 shows a method of converting point cloud data according to embodiments.
  • 35 illustrates a camera point, an image point, and an image plane according to embodiments.
  • 36 shows a criterion of point cloud data according to embodiments.
  • FIG. 37 shows a relationship between a point, a camera, and a laser projector according to embodiments.
  • 40 shows a method of obtaining a sampling eye according to embodiments.
  • 41 shows normal vectors of a matrix for neighboring points according to embodiments.
  • FIG. 42 shows an example of generating a planar reference axis from vectors related to the user's shoulder and axial vertebrae according to embodiments.
  • FIG. 43 shows a face point source and an eye point source according to embodiments.
  • 44 shows a vector for a source point according to embodiments.
  • 49 shows metadata according to embodiments.
  • 50 shows metadata according to embodiments.
  • 51 shows a point cloud data transmission method according to embodiments.
  • FIG. 52 shows a method for receiving point cloud data according to embodiments.
  • FIG. 1 is a block diagram illustrating an example of a communication system 1 according to embodiments.
  • a communication system 1 includes wireless devices 100a to 100f, a base station (BS) 200 and a network 300 .
  • a base station (BS) 200 includes a fixed station, a Node B, an evolved-NodeB (eNB), a Next Generation NodeB (gNB), a base transceiver system (BTS), an access point (AP) ), a network or a 5G (5th generation) network node, an Artificial Intelligence (AI) system, a road side unit (RSU), a robot, an Augmented Reality/Virtual Reality (AR/VR) system, a server, and the like.
  • AI Artificial Intelligence
  • RSU road side unit
  • AR/VR Augmented Reality/Virtual Reality
  • a wireless device refers to a device that communicates with a base station and / or other wireless devices using a radio access technology (eg, 5G New RAT (NR), Long Term Evolution (LTE)), It may be called a communication/wireless/5G device or a user equipment (UE).
  • a radio access technology eg, 5G New RAT (NR), Long Term Evolution (LTE)
  • NR 5G New RAT
  • LTE Long Term Evolution
  • UE user equipment
  • the wireless device is not limited to the above embodiments, and includes a robot 100a, a vehicle 100b-1 and 100b-2, an XR (eXtended Reality) device 100c, and a hand-held device 100d.
  • home appliances 100e Internet of Thing (IoT) devices 100f
  • AI devices/servers 400 e.g., Internet of Thing (IoT) devices 100f, and AI devices/servers 400.
  • the XR device 100c represents a device that provides XR content (eg, Augmented Reality (AR)/Virtual Reality (VR)/Mixed Reality (MR) content).
  • an XR device may be referred to as an AR/VR/MR device.
  • the XR device 100c is a Head-Mounted Device (HMD), a Head-Up Display (HUD) installed in a vehicle, a television, a smartphone, a computer, a wearable device, a home appliance, and a digital signage. , can be implemented in the form of vehicles, robots, etc.
  • HMD Head-Mounted Device
  • HUD Head-Up Display
  • the vehicles 100b-1 and 100b-2 are vehicles equipped with a wireless communication function, self-driving vehicles, vehicles capable of performing inter-vehicle communication, UAVs (Unmanned Aerial Vehicles) (eg, drones), and the like.
  • the mobile device 100d may include a smart phone, a smart pad, a wearable device (eg, a smart watch, a smart glass), a computer (eg, a laptop computer), and the like.
  • the home appliance 100e may include a TV, a refrigerator, a washing machine, and the like.
  • the IoT device 100f may include a sensor, a smart meter, and the like.
  • the wireless devices 100a to 100f may be connected to the network 300 through the base station 200 .
  • the wireless devices 100a to 100f may be connected to the AI server 400 through the network 300 .
  • the network 300 may be configured using a 3G network, a 4G (eg, LTE) network, a 5G (eg, NR) network, or a 6G network.
  • the wireless devices 100a to 100f may communicate with each other through the base station 200/network 300, but may also communicate directly (eg, sidelink communication) without going through the base station/network.
  • the wireless devices 100a to 100f/base station 200 and base station 200/base station 200 may transmit and receive radio signals through wireless communication/connection 150a, 150b, and 150c.
  • Wireless communication/connection includes uplink/downlink communication (150a), which is communication between wireless devices and base stations, sidelink communication (150b) (or D2D communication), which is communication between wireless devices, and communication between base stations (150c). ) (e.g. relay, integrated access backhaul (IAB) and various radio access technologies (eg, 5G, NR, etc.).
  • IAB integrated access backhaul
  • the wireless devices 100a to 100f and the base station 200 according to the embodiments Signals can be transmitted/received through various physical channels of the wireless communication/connection 150a, 150b, and 150c.
  • various types of transmission/reception of radio signals can be performed.
  • At least one or more of a configuration information setting process, various signal processing processes (eg, channel encoding/decoding, modulation/demodulation, resource mapping/demapping, etc.), resource allocation process, etc. may be performed.
  • a user terminal (eg, an XR device (eg, the XR device 100c of FIG. 1 )) according to embodiments provides XR content such as audio/video data, voice data, and surrounding information data. Specific information including XR data (or AR/VR data) required for this may be transmitted to a base station or other user terminal through a network.
  • a user terminal may perform an initial access operation to a network. During the initial access process, the user terminal may acquire cell search and system information for acquiring downlink (DL) synchronization.
  • Downlink represents communication from a base station (eg, BS) or a transmitter that is part of the base station to a user equipment (UE) or a receiver included in the user equipment.
  • a user terminal may perform a random access operation for accessing a network.
  • the user terminal may transmit a preamble for uplink (UL) synchronization acquisition or UL data transmission, and may perform a random access response reception operation.
  • Uplink represents communication from a UE or a transmitting unit that is part of a UE to a BS or a receiving unit that is part of a BS.
  • the UE may perform an UL Grant reception operation to transmit specific information to the BS.
  • the uplink grant is for receiving time/frequency resource scheduling information for uplink data transmission.
  • a user terminal may transmit specific information to a base station through a 5G network based on a UL grant.
  • a base station may perform XR content processing.
  • the user terminal may perform a downlink grant (DL Grant) reception operation to receive a response to specific information through the 5G network.
  • DL Grant downlink grant
  • a downlink grant represents receiving time/frequency resource scheduling information to receive downlink data.
  • the user terminal may receive a response to specific information through the network based on the downlink grant.
  • FIG. 2 illustrates a block configuration diagram of a wireless communication system to which methods according to embodiments may be applied.
  • the wireless communication system includes a first communication device 910 and/or a second communication device 920 .
  • 'A and/or B' may be interpreted as having the same meaning as 'including at least one of A or B'.
  • the first communication device may represent a BS and the second communication device may represent a UE (or the first communication device may represent a UE and the second communication device may represent a BS).
  • the first communication device and the second communication device include processors 911 and 921, memories 914 and 924, one or more Tx/Rx RF modules (radio frequency modules 915 and 925), Tx processors 912 and 922, and Rx processors 913 and 923. , antennas 916 and 926. Tx/Rx modules are also called transceivers.
  • the processor 911 may perform a signal processing function of a layer higher than the physical layer (eg, layer 2 (L2)). For example, in the Downlink, or DL (communication from a first communication device to a second communication device), higher layer packets from the core network are provided to the processor 911 .
  • L2 layer 2
  • the processor 911 provides multiplexing between logical channels and transport channels and radio resource allocation to the second communication device 920, and is responsible for signaling to the second communication device do.
  • the first communication device 910 and the second communication device 920 are processors (eg, audio/video encoder, audio/video decoder, etc. ) may further include.
  • the processor according to the embodiments processes video data corresponding to various video standards (eg, video standards such as MPEG2, AVC, HEVC, and VVC) and various audio standards (eg, MPEG 1 Layer 2 Audio, AC3, and HE).
  • video standards eg, video standards such as MPEG2, AVC, HEVC, and VVC
  • various audio standards eg, MPEG 1 Layer 2 Audio, AC3, and HE
  • -Audio data processed by audio standards such as AAC, E-AC-3, HE-AAC, NGA, etc.
  • the processor may process XR data or XR media data processed using Video-based Point Cloud Compression (V-PCC) or Geometry-based Point Cloud Compression (G-PCC).
  • a processor processing higher layer data may be implemented as a single processor or a single chip by being combined with the processors 911 and 921 .
  • a processor processing upper layer data may be implemented as a separate chip or a separate processor from the processors 911 and 921 .
  • the transmit (TX) processor 912 implements various signal processing functions for the L1 layer (ie, physical layer).
  • the signal processing function of the physical layer can facilitate forward error correction (FEC) in the second communication device.
  • the signal processing function of the physical layer includes coding and interleaving.
  • a signal that has undergone encoding and interleaving is modulated into complex valued modulation symbols through scrambling and modulation.
  • BPSK, QPSK, 16QAM, 64QAM, 246QAM, etc. may be used for modulation depending on the channel.
  • Complex-valued modulation symbols (hereafter referred to as modulation symbols) are divided into parallel streams, each stream mapped to an OFDM subcarrier, multiplexed with a reference signal in the time and/or frequency domain, and put together using IFFT. Combined to create a physical channel carrying a stream of time domain OFDM symbols.
  • OFDM symbol streams are spatially precoded to create multiple spatial streams.
  • Each spatial stream may be provided to a different antenna 916 via a separate Tx/Rx module (or transceiver 915).
  • Each Tx/Rx module can frequency upconvert each spatial stream to an RF carrier for transmission.
  • each Tx/Rx module (or transceiver) 925 receives a signal of an RF carrier through each antenna 926 of each Tx/Rx module.
  • Each Tx/Rx module restores the signal of the RF carrier to a baseband signal and provides it to the receive (RX) processor 923.
  • the RX processor implements various signal processing functions of L1 (ie, physical layer).
  • the RX processor may perform spatial processing on the information to recover any spatial stream destined for the second communication device.
  • multiple spatial streams are destined for the second communication device, they may be combined into a single OFDMA symbol stream by multiple RX processors.
  • the RX processor converts the OFDM symbol stream, which is a time domain signal, into a frequency domain signal using a Fast Fourier Transform (FFT).
  • FFT Fast Fourier Transform
  • the frequency domain signal includes a separate OFDM symbol stream for each subcarrier of the OFDM signal.
  • the modulation symbols and reference signal on each subcarrier are recovered and demodulated by determining the most probable signal constellation points transmitted by the first communication device. These soft decisions may be based on channel estimate values.
  • the soft decisions are decoded and deinterleaved to recover the data and control signals originally transmitted by the first communication device on the physical channel. Corresponding data and control signals are provided to processor 921 .
  • the UL (communication from the second communication device to the first communication device) is handled in the first communication device 910 in a manner similar to that described with respect to the receiver function in the second communication device 920 .
  • Each Tx/Rx module 925 receives a signal through a respective antenna 926.
  • Each Tx/Rx module provides an RF carrier and information to the RX processor 923.
  • Processor 921 may be associated with memory 924 that stores program codes and data. Memory may be referred to as a computer readable medium.
  • FIGS. 3 to 5 show examples of one or more signal processing methods and/or operations for a physical L1 layer (ie, physical layer). Examples disclosed in FIGS. 3 to 5 may be the same as or similar to examples of signal processing methods and/or operations performed by the transmit (TX) processor 912 and/or the transmit (TX) processor 922 described in FIG. 2 . there is.
  • 3 shows an example of a 3GPP signal transmission/reception method.
  • the UE when the UE is powered on or enters a new cell, it may perform an initial cell search task such as synchronizing with a BS (S201).
  • the UE may synchronize with the BS by receiving a primary synchronization channel (P-SCH) and a secondary synchronization channel (S-SCH) from the BS and obtain information such as a cell ID. .
  • the P-SCH and the S-SCH may be referred to as a primary synchronization signal (PSS) and a secondary synchronization signal (SSS), respectively.
  • the UE may obtain intra-cell broadcast information by receiving a physical broadcast channel (PBCH) from the BS. Meanwhile, the UE may check the downlink channel state by receiving a downlink reference signal (DL RS) in the initial cell search step.
  • PBCH physical broadcast channel
  • DL RS downlink reference signal
  • the UE can obtain more detailed system information by receiving the PDSCH according to the PDCCH and the information carried on the PDCCH (S202).
  • the UE may perform a random access procedure for the BS (steps S203 to S206).
  • the UE may transmit a specific sequence as a preamble through PRACH (S203 and S205) and receive a random access response (RAR) message for the preamble through a PDCCH and a corresponding PDSCH (S204 and S205).
  • RAR random access response
  • a contention resolution procedure may be additionally performed.
  • the UE may perform PDCCH/PDSCH reception (S207) and PUSCH/PUCCH transmission (S208) as a general uplink/downlink signal transmission process.
  • the UE receives DCI through the PDCCH.
  • the UE monitors a set of PDCCH candidates at monitoring occasions configured in one or more control element sets (CORESETs) on the serving cell according to corresponding search space configurations.
  • the set of PDCCH candidates to be monitored by the UE may be defined in terms of search space sets.
  • a search space set according to embodiments may be a common search space set or a UE-specific search space set.
  • a CORESET consists of a set of (physical) resource blocks having a time duration of 1 to 3 OFDM symbols.
  • the network may configure the UE to have multiple CORESETs.
  • the UE monitors PDCCH candidates in one or more search space sets.
  • monitoring means attempting to decode PDCCH candidate(s) within the search space. If the UE succeeds in decoding one of the PDCCH candidates in the search space, the UE determines that it has detected a PDCCH in the corresponding PDCCH candidate, and can perform PDSCH reception or PUSCH transmission based on the DCI in the detected PDCCH.
  • PDCCH may be used to schedule DL transmissions on PDSCH and UL transmissions on PUSCH.
  • the DCI on the PDCCH is a downlink assignment (i.e., DL grant) that includes at least modulation and coding format and resource allocation information related to the downlink shared channel, or related to the uplink shared channel. , may include a UL grant including modulation and coding formats and resource allocation information.
  • the UE can acquire DL synchronization by detecting the SSB.
  • the UE can identify the structure of the SSB burst set based on the detected SSB (time) index (SSB index, SSBI), and can detect the symbol/slot/half-frame boundary accordingly.
  • the frame/half-frame number to which the detected SSB belongs may be identified using system frame number (SFN) information and half-frame indication information.
  • SFN system frame number
  • the UE may obtain a 10-bit SFN for a frame to which the PBCH belongs from the PBCH.
  • the UE may acquire 1-bit half-frame indication information to determine whether the corresponding PBCH belongs to the first half-frame or the second half-frame among frames.
  • the half-frame indication bit value when the half-frame indication bit value is 0, it indicates that the SSB to which the PBCH belongs belongs to the first half-frame within the frame. If the half-frame indication bit value is 1, it indicates that the SSB to which the PBCH belongs belongs to the second half-frame within the frame.
  • the UE may acquire the SSBI of the SSB to which the PBCH belongs based on the DMRS sequence and the PBCH payload carried by the PBCH.
  • Table G1 below shows the random access procedure of the UE.
  • Step 1 PRACH preamble in UL * initial beam acquisition
  • Step 4 Contention resolution on DL * Temporary C-RNTI on PDCCH for initial access
  • the random access process is used for a variety of purposes.
  • the random access procedure may be used for network initial access, handover, and UE-triggered UL data transmission.
  • the UE may acquire UL synchronization and UL transmission resources through a random access procedure.
  • the random access process is divided into a contention-based random access process and a contention-free random access process.
  • FIG. 4 shows an example in which a physical channel is mapped into a self-contained slot according to embodiments.
  • PDCCH may be transmitted in the DL control region, and PDSCH may be transmitted in the DL data region.
  • PUCCH may be transmitted in the UL control region, and PUSCH may be transmitted in the UL data region.
  • the GP provides a time gap between the base station and the UE in a process of switching from a transmission mode to a reception mode or a process of switching from a reception mode to a transmission mode. Some symbols at the time of transition from DL to UL within a subframe may be set as GPs.
  • a PDCCH carries Downlink Control Information (DCI).
  • DCI Downlink Control Information
  • PCCCH includes transmission format and resource allocation of downlink shared channel (DL-SCH), resource allocation information for uplink shared channel (UL-SCH), paging information for paging channel (PCH), It carries system information on DL-SCH, resource allocation information for higher layer control messages such as random access response transmitted on PDSCH, transmission power control command, and activation/cancellation of Configured Scheduling (CS).
  • the DCI includes a cyclic redundancy check (CRC), and the CRC is masked/scrambled with various identifiers (eg, Radio Network Temporary Identifier, RNTI) according to the owner or usage of the PDCCH.
  • CRC cyclic redundancy check
  • the CRC is masked with a terminal identifier (eg, Cell-RNTI, C-RNTI). If the PDCCH is for paging, the CRC is masked with Paging-RNTI (P-RNTI). If the PDCCH is related to system information (eg, System Information Block, SIB), the CRC is masked with System Information RNTI (SI-RNTI). If the PDCCH is for a random access response, the CRC is masked with RA-RNTI (Random Access-RNTI).
  • a terminal identifier eg, Cell-RNTI, C-RNTI
  • P-RNTI Paging-RNTI
  • SIB System Information Block
  • SI-RNTI System Information RNTI
  • RA-RNTI Random Access-RNTI
  • the PDCCH is composed of 1, 2, 4, 8, and 16 Control Channel Elements (CCEs) according to Aggregation Levels (ALs).
  • CCE is a logical allocation unit used to provide a PDCCH of a predetermined code rate according to a radio channel state.
  • CCE consists of six REGs (Resource Element Groups).
  • REG is defined as one OFDM symbol and one (P)RB.
  • the PDCCH is transmitted through a CORESET (Control Resource Set).
  • CORESET is defined as a set of REGs with a given numonology (eg SCS, CP length, etc.).
  • a plurality of CORESETs for one UE may overlap in the time/frequency domain.
  • CORESET may be set through system information (eg, Master Information Block, MIB) or UE-specific upper layer (eg, Radio Resource Control, RRC, layer) signaling. Specifically, the number of RBs and the number of OFDM symbols constituting the CORESET (up to 3) may be set by higher layer signaling.
  • MIB Master Information Block
  • RRC Radio Resource Control
  • the UE monitors PDCCH candidates.
  • the PDCCH candidate indicates CCE(s) that the UE should monitor for PDCCH detection.
  • Each PDCCH candidate is defined as 1, 2, 4, 8, or 16 CCEs according to AL.
  • Monitoring includes (blind) decoding of PDCCH candidates.
  • a set of PDCCH candidates monitored by the UE is defined as a PDCCH search space (Search Space, SS).
  • the search space includes a Common Search Space (CSS) or a UE-specific search space (USS).
  • the UE may obtain DCI by monitoring PDCCH candidates in one or more search spaces configured by MIB or higher layer signaling.
  • Each CORESET is associated with one or more search spaces, and each search space is associated with one COREST.
  • a search space can be defined based on the following parameters.
  • controlResourceSetId Indicates a CORESET related to the search space
  • An opportunity (eg, time / frequency resource) to monitor PDCCH candidates is defined as a PDCCH (monitoring) opportunity.
  • PDCCH (monitoring) opportunity One or more PDCCH (monitoring) opportunities may be configured within a slot.
  • UCI Uplink Control Information
  • -HARQ (Hybrid Automatic Repeat request)-ACK (Acknowledgement): This is a response to a downlink data packet (eg, codeword) on the PDSCH. Indicates whether a downlink data packet has been successfully received. In response to a single codeword, 1 bit of HARQ-ACK may be transmitted, and 2 bits of HARQ-ACK may be transmitted in response to two codewords.
  • HARQ-ACK responses include positive ACK (simply, ACK), negative ACK (NACK), DTX or NACK/DTX.
  • HARQ-ACK is mixed with HARQ ACK/NACK and ACK/NACK.
  • MIMO-related feedback information includes a Rank Indicator (RI) and a Precoding Matrix Indicator (PMI).
  • PUSCH carries uplink data (eg, UL-SCH transport block, UL-SCH TB) and / or uplink control information (UCI), and CP-OFDM (Cyclic Prefix - Orthogonal Frequency Division Multiplexing) waveform or It is transmitted based on a DFT-s-OFDM (Discrete Fourier Transform - spread - Orthogonal Frequency Division Multiplexing) waveform.
  • DFT-s-OFDM Discrete Fourier Transform - spread - Orthogonal Frequency Division Multiplexing
  • the terminal when transform precoding is impossible (eg, transform precoding is disabled), the terminal transmits a PUSCH based on a CP-OFDM waveform, and when transform precoding is possible (eg, transform precoding is enabled), the terminal transmits a CP-OFDM waveform.
  • the PUSCH may be transmitted based on an OFDM waveform or a DFT-s-OFDM waveform.
  • PUSCH transmission is dynamically scheduled by the UL grant in DCI or semi-static based on higher layer (eg, RRC) signaling (and/or Layer 1 (L1) signaling (eg, PDCCH)) It can be scheduled (configured grant).
  • PUSCH transmission may be performed on a codebook basis or a non-codebook basis.
  • FIG. 5 shows an example of an ACK/NACK transmission process and a PUSCH transmission process.
  • 5(a) shows an example of an ACK/NACK transmission process.
  • the UE may detect the PDCCH in slot #n.
  • the PDCCH includes downlink scheduling information (eg, DCI formats 1_0 and 1_1), and the PDCCH indicates a DL assignment-to-PDSCH offset (K0) and a PDSCH-HARQ-ACK reporting offset (K1).
  • DCI formats 1_0 and 1_1 may include the following information.
  • -Frequency domain resource assignment Represents a set of RBs allocated to PDSCH
  • K0 indicating the start position (eg, OFDM symbol index) and length (eg, number of OFDM symbols) of the PDSCH in the slot
  • HARQ process ID (Identity) for data (eg, PDSCH, TB)
  • the UE may receive PDSCH in slot #(n+K0) according to the scheduling information of slot #n, and then transmit UCI through PUCCH in slot #(n+K1).
  • UCI includes a HARQ-ACK response for PDSCH. If the PDSCH is configured to transmit up to 1 TB, the HARQ-ACK response may consist of 1-bit. When the PDSCH is configured to transmit up to two TBs, the HARQ-ACK response may consist of 2-bits if spatial bundling is not configured and 1-bit if spatial bundling is configured.
  • the UCI transmitted in slot #(n+K1) includes HARQ-ACK responses for the plurality of PDSCHs.
  • MAC medium access control
  • Each DL HARQ process manages state variables related to the number of transmissions of MAC PDUs (Physical Data Blocks) in the buffer, HARQ feedback for the MAC PDUs in the buffer, and the current redundancy version.
  • MAC PDUs Physical Data Blocks
  • Each HARQ process is distinguished by a HARQ process ID.
  • 5(b) shows an example of a PUSCH transmission process.
  • the UE may detect the PDCCH in slot #n.
  • the PDCCH includes uplink scheduling information (eg, DCI format 0_0, 0_1).
  • DCI formats 0_0 and 0_1 may include the following information.
  • -Frequency domain resource assignment Represents a set of RBs allocated to the PUSCH
  • Time domain resource assignment Indicates the slot offset K2, the start position (eg, symbol index) and length (eg, number of OFDM symbols) of the PUSCH in the slot.
  • the start symbol and length may be indicated through SLIV (Start and Length Indicator Value) or may be indicated separately.
  • the UE may transmit PUSCH in slot #(n+K2) according to the scheduling information of slot #n.
  • PUSCH includes UL-SCH TB.
  • Embodiments may be applied to a 5G-based media streaming (hereinafter referred to as 5GMS) system.
  • the 5GMS structure is a system that supports MNO (Mobile Network Operator) and third party's media downlink streaming service.
  • MNO Mobile Network Operator
  • the 5GMS structure supports related network or UE functions and APIs, and provides backward compatibles regardless of whether MBMS is supported or not and/or 5G standard or EUTRAN installation.
  • the definition of Streaming used in media using 5G is defined as the generation and delivery of time-continuous media, and the definition of Streaming Point indicates that the transmitter and receiver directly transmit and consume.
  • the 5GMS structure basically operates in downlink and uplink environments and has bidirectionality.
  • the 5GMS service may use 3G, 4G, and 6G networks as well as 5G networks, and is not limited to the above-described embodiments.
  • Embodiments may also provide a network slicing function according to service types.
  • FIG. 6 shows a downlink structure for media transmission of a 5GMS service according to embodiments.
  • FIG. 6 shows a media transmission structure for at least one of 4G, 5G, and 6G networks and is a device method capable of operating in a unidirectional downlink media streaming environment. Since it is a downlink system, media is produced in the network and Trusted Media Function, and the media is delivered to the UE.
  • Each block diagram is conceptually composed of a set of functions necessary for media transmission and reception.
  • Inter-Connection Interface refers to a link for sharing or controlling a specific part of each media block, and is used when not all necessary element technologies are utilized. For example, 3rd party external application and operator application can be connected to enable communication through Inter-Connection Interface when functions such as information sharing (user data, media track, etc.) are required even though independent application operation is performed.
  • Media includes all information and media such as time continuous, time discontinuous, image, picture, video, audio, text, etc., and additionally includes all the format and size of the format in which the corresponding media is to be transmitted. .
  • Sink in FIG. 6 represents a UE, a processor included in the UE (for example, the processor 911 for signal processing of a higher layer described in FIG. 2 ), or hardware constituting the UE.
  • the sink according to the embodiments may perform a receiving operation in which a streaming service is received in the form of unicast from a source providing media to the sink.
  • a sink according to embodiments may receive control information from a source and perform a signal processing operation based on the control information.
  • Sink according to embodiments may receive media/metadata (eg, XR data or extended media data) from a source.
  • Sink according to embodiments may include a 3rd Party External Application block, an Operator Application block, and/or a 5G Media Reception Function block.
  • the 3rd Party External Application block and the Operator Application block represent UE Applications operating in the Sink stage.
  • the 3rd Party External Application block according to the embodiments is an application operated by a third party that exists other than 4G, 5G, and 6G networks, and can drive API access of Sink.
  • the 3rd Party External Application block according to embodiments may receive information using 4G, 5G, or 6G networks or through direct Point-to-Point Communication. Therefore, Sink's UE can receive additional services through Native or Download Installed Applications.
  • the operator application block may manage applications (5G Media Player) associated with a media streaming driving environment including media applications. When the application is installed, Sink's UE can start accessing media services through API using Application Socket and send and receive related data information.
  • the API enables data to be transmitted to a specific end-system through a session configuration using a socket.
  • Socket connection method can be transmitted through general TCP-based internet connection.
  • the sink can receive control/data information from the Cloud Edge and perform offloading to transmit the control/data information to the Cloud Edge.
  • a sink may include an offloading management block. Offloading management according to embodiments may control operations of an operator application block and/or a 3rd party application block in order to control sink offloading.
  • the 5G Media Reception Function block may receive operations related to offloading from the offloading management block, obtain media that can be received through 4G, 5G, and 6G networks, and process the media.
  • a 5G Media Reception Function block may include a general Media Access Client block, a DRM Client block, a Media Decoder, a Media Rendering Presentation block, an XR Rendering block, an XR Media Processing block, and the like.
  • the corresponding block is only an example, and the name and/or operation are not limited to the embodiments.
  • the Media Access Client block may receive data, eg, a media segment, received through at least one or more of 4G, 5G, and 6G networks.
  • the Media Access Client block may de-format (or decapsulate) various media transmission formats such as DASH, CMAF, and HLS.
  • Data output from the Media Access Client block can be processed and displayed according to each decoding characteristic.
  • the DRM Client block may determine whether to use the received data. For example, the DRM client block can perform a control operation so that authorized users can use media information within the access range.
  • the Media Decoding block is a general audio/video decoder, and among deformatted data, various standards (video standards such as MPEG2, AVC, HEVC, VVC, and MPEG 1 Layer 2 Audio, AC3, HE-AAC, E- Audio/video data processed according to audio standards such as AC-3, HE-AAC, NGA, etc.) can be decoded.
  • a Media Rendering Presentation block may render media suitable for a receiving device.
  • a Media Rendering Presentation block according to embodiments may be included in a Media decoding block.
  • An XR Media Processing block and an XR Rendering block according to embodiments are blocks for processing XR data among deformatted data (or decapsulated data).
  • the XR Media Processing block (for example, the processor 911 described in FIG. 2 or a processor that processes higher layer data) is the XR data received from the source or the information received from the offloading management block (for example, Object information, Position information). etc.) can be used to perform processing on XR media.
  • An XR rendering block according to embodiments may render and display XR media data among received media data.
  • An XR Media Processing block and an XR rendering block according to embodiments may process and render point cloud data processed according to a Video-based Point Cloud Compression (V-PCC) or Geometry-based Point Cloud Compression (G-PCC) method.
  • V-PCC Video-based Point Cloud Compression
  • G-PCC Geometry-based Point Cloud Compression
  • V-PCC Video-based Point Cloud Compression
  • G-PCC Geometry-based Point Cloud Compression
  • Source indicates a media server using at least one of 4G, 5G, and 6G networks or a UE capable of providing media and can perform Control Function and Server Function functions.
  • the Server Function starts and hosts 4G, 5G, and 6G media services.
  • 3rd Party Media Server refers to various media servers operated by third parties that exist outside of 4G, 5G, and 6G networks, and can be a Network External Media Application Server.
  • External Server which is generally operated by a third party service, can equally perform media creation, encoding, formatting, etc. in a non-4G, 5G, or 6G network.
  • the control function represents a network-based application function, and may include a control-oriented information delivery function when performing authentication of Sink and other media servers and media.
  • the source can start a connection through the API connection of the internal application through the control function, form a media session, or perform other additional information requests.
  • the source exchanges PCF information with other network functions through the control function.
  • the source can check the external network capability using NEF through the control function and perform general monitoring and provisioning through the exposure process. Therefore, NEF can receive other network information and store the received information as structured data using a specific standardized interface. The stored information can be exposed/re-exposure to other networks and applications by NEF, and the information exposed in various network environments can be collected and used for analysis.
  • an API control plane is formed, and when a session connection is made, an environment in which media can be transmitted is formed including tasks such as security (authentication, authorization, etc.).
  • multiple APIs can be created or a Control Plane can be created through one API.
  • APIs can be created from third party media servers, and Media Control Functions and APIs of UEs can form Media User Plane APIs.
  • Source can generate and deliver media in various ways to perform Downlink media service functions, and includes all functions that can deliver media to the UE corresponding to the sink, the final destination, starting from simply storing media and serving as a media relaying. can do.
  • Modules or blocks inside Sink and Source may transmit and share information through an Inter-Connection Link and Inter-Connection Interface having bi-directionality.
  • Embodiments describe a UL structure and method for transmitting media produced content in real time in a 5GMS system to social media, users, and servers.
  • Uplink basically defines that media is not delivered to users in the form of distribution, but media is produced from the user terminal UE's point of view and delivered to the media server.
  • the uplink system is configured in a form in which individual users directly provide content, so the use case and system structure to utilize the system configuration method handled by the terminal can be configured in a form different from that of the downlink.
  • the FLUS system consists of a source entity that produces media and a sink entity that consumes media, and services such as voice, video, and text are delivered through 1:1 communication.
  • the FLUS Source can be a single UE or multiple scattered UEs or Capture Devices. Since it is based on the 5G network, it can support 3GPP IMS/MTSI service, support IMS service through IMS Control Plane, and support service by complying with MTSI Service Policy regulations. If IMS/MTSI service is not supported, various user plane instantiation services can be supported through Network Assistance function for Uplink service.
  • FIG. 7 shows an example of a FLUS structure for Uplink service.
  • the FLUS structure may include the Source and Sink described in FIG. 6 .
  • a Source according to embodiments may correspond to a UE.
  • Sink according to embodiments may correspond to a UE or a network.
  • Uplink is composed of Source and Sink according to media creation and delivery goals, and Source can be a terminal device, UE, and Sink can be another UE or network.
  • a Source can receive media content from one or more Capture Devices.
  • a Capture Device may or may not be connected as part of a UE. If the sink receiving the media exists in the UE rather than the network, the decoding and rendering functions are included in the UE, and the received media must be delivered to the corresponding function. Conversely, if the sink corresponds to the network, the received media can be delivered to the Processing or Distribution Sub-Function.
  • F Link is more specifically Media Source and Sink (F-U end-points), Control Source and Sink (F-C end-points), Remote Controller and Remote Control Target (F-RC end-points) and Assistance Sender and Receiver (F-A end-points). All of these source sinks are classified as logical functions. Therefore, the corresponding functions may exist on the same physical device or may not exist on the same device due to separation of functions.
  • Each function can also be separated into multiple physical devices and connected by different interfaces.
  • Multiple F-A and F-RC points can exist in a single FLUS Source. Each point is independent of FLUS Sink and can be created according to Offered Service. As described above, the F Link Point assumes the security function of all sub-functions and links that exist in the F Point, and the corresponding authentication process can be included.
  • FIG. 8 shows a point cloud data processing system according to embodiments.
  • the point cloud processing system 1500 shown in FIG. 8 obtains, encodes, and transmits point cloud data (e.g., a BS or UE described in FIGS. 1 to 7) and receives and decodes video data. It may include a receiving device (eg, the UE described in FIGS. 1 to 7) that acquires point cloud data.
  • point cloud data may be acquired through a process of capturing, synthesizing, or generating point cloud data (S1510).
  • 3D position (x, y, z)/property (color, reflectance, transparency, etc.) data eg, PLY (Polygon File format or the Stanford Triangle format) file, etc.
  • PLY Polygon File format or the Stanford Triangle format
  • V-PCC Video-based Point Cloud Compression
  • G-PCC Geometry-based Point Cloud Compression
  • a geometry stream may be generated by reconstructing and encoding positional information of points, and an attribute stream may be generated by reconstructing and encoding attribute information (eg, color) associated with each point.
  • attribute information eg, color
  • V-PCC it is compatible with 2D video, but requires more data (e.g., geometry video, attribute video, occupancy map video) than G-PCC to recover V-PCC processed data. And additional information (auxiliary information) is required, so a longer delay time may occur when providing a service.
  • One or more output bit streams may be encapsulated in the form of a file (for example, a file format such as ISOBMFF) together with related metadata and transmitted through a network or a digital storage medium (S1530).
  • point cloud related metadata itself may be encapsulated in a file.
  • a device or processor (for example, the processor 911 or processor 921 described in FIG. 2, the upper layer processor, or the Sink described in FIG. 6 or the XR Media Processing block included in the Sink) according to the embodiments is
  • the received video data is decapsulated to obtain one or more bit streams and related meta data, and the obtained bit streams are decoded using a V-PCC or G-PCC method to restore 3D point cloud data. It can (S1540).
  • a renderer for example, the sink described in FIG. 6 or an XR rendering block included in the sink
  • a device or processor may perform a feedback process of transferring various feedback information acquired in a rendering/display process to a transmitting device or a decoding process (S1560).
  • Feedback information may include head orientation information, viewport information indicating a region currently viewed by a user, and the like. Since the interaction between the user and the service (or content) provider is made through the feedback process, the device according to the embodiments can provide various services considering higher user convenience, as well as the above-described V-PCC or By using the G-PCC method, there is a technical effect of providing a faster data processing speed or enabling a clear video composition.
  • FIG 9 shows an example of a point cloud data processing device according to embodiments.
  • FIG. 9 shows a device that performs a point cloud data processing operation according to the G-PCC scheme.
  • the point cloud data processing apparatus shown in FIG. 9 is the UE described in FIGS. 1 to 7 (for example, the processor 911 or processor 921 described in FIG. 2, the processor for processing higher layer data, or the processor described in FIG. 6).
  • a point cloud data processing apparatus includes a point cloud acquisition unit (Point Cloud Acquisition), a point cloud encoding unit (Point Cloud Encoding), a file / segment encapsulation unit (File / Segment Encapsulation), and / or a delivery unit (Delivery) included.
  • Each component of the processing device may be a module/unit/component/hardware/software/processor or the like.
  • the geometry, attribute, auxiliary data, and mesh data of the point cloud can be configured as separate streams or stored in different tracks in a file. Furthermore, it may be included in a separate segment.
  • the Point Cloud Acquisition unit acquires a point cloud.
  • point cloud data may be acquired through a process of capturing, synthesizing, or generating a point cloud through one or more cameras.
  • point cloud data including the 3D position of each point (which can be expressed as x, y, z position values, etc., hereinafter referred to as geometry) and the properties of each point (color, reflectance, transparency, etc.) It can be obtained and can be generated as, for example, a PLY (Polygon File format or the Stanford Triangle format) file including it.
  • PLY Polygon File format or the Stanford Triangle format
  • point cloud-related metadata for example, metadata related to capture, etc.
  • point cloud-related metadata for example, metadata related to capture, etc.
  • the Point Cloud Encoding unit performs a Geometry-based Point Cloud Compression (G-PCC) procedure, which performs a series of procedures such as prediction, transformation, quantization, and entropy coding, and the encoded data ( Encoded video/video information) may be output in the form of a bitstream.
  • G-PCC Geometry-based Point Cloud Compression
  • the point cloud encoding unit may divide point cloud data into geometry (or geometry information) and attribute (attribute information) and encode them respectively. Also, the encoded geometry information and attribute information may be output as bitstreams, respectively. Output bitstreams may be multiplexed into one bitstream.
  • the point cloud encoding unit may receive metadata. Metadata represents metadata related to content for Point Cloud. For example, there may be initial viewing orientation metadata.
  • Metadata indicates whether the point cloud data indicates forward or backward data, and the like.
  • the point cloud encoding unit may receive orientation information and/or viewport information. Encoding may be performed based on point cloud encoding unit metadata, orientation information, and/or viewport information.
  • a non-stream output from the point cloud encoding unit according to embodiments may include point cloud related metadata.
  • the Point Cloud Encoding unit according to embodiments performs geometry compression, attribute compression, auxiliary data compression, and mesh data compression.
  • Geometry compression encodes the geometry information of point cloud data. Geometry (or geometry information) represents points (or location information of each point) on a 3D space.
  • Attribute compression encodes attributes of point cloud data. Attributes (or attribute information) represent attributes of each point (for example, attributes such as color and reflectance).
  • Attribute compression can process one or more attributes of one or more points.
  • Auxiliary data compression encodes auxiliary data associated with a point cloud.
  • Auxiliary data represents metadata about a Point Cloud.
  • Mesh data compression encodes Mesh data.
  • Mesh data represents connection information between point clouds.
  • Mesh data according to embodiments may include mesh data representing a triangular shape.
  • the Point Cloud encoding unit encodes the geometry, attributes, auxiliary data, and mesh data related to the point, which are information necessary for rendering the point.
  • the point cloud encoding unit can encode geometry, attributes, auxiliary data, and mesh data and transmit them as a single bitstream.
  • the point cloud encoding unit may encode geometry, attribute, auxiliary data, and mesh data, respectively, and output one or more bitstreams or encoded data for transmitting the encoded data (for example, a geometry bitstream , attribute bitstream, etc.).
  • Each operation of the point cloud encoding unit may be performed in parallel.
  • the file/segment encapsulation unit performs media track encapsulation and/or metadata track encapsulation.
  • the file/segment encapsulation unit creates tracks to deliver encoded geometry (geometry information), encoded attributes, encoded auxiliary data, and encoded mesh data in a file format.
  • a bitstream including encoded geometry (geometry information), a bitstream including encoded attributes, a bitstream including encoded Auxiliary data, and a bitstream including encoded Mesh data are assigned to one or more tracks.
  • the file/segment encapsulation unit encapsulates geometry (geometry information), attributes, auxiliary data, and mesh data into one or more media tracks.
  • the file/segment encapsulation unit includes metadata in a media track or encapsulates metadata in a separate metadata track.
  • the file/segment encapsulation unit encapsulates the point cloud stream(s) in the form of files and/or segments. When the point cloud stream(s) is encapsulated in the form of segment(s) and delivered, it is delivered in DASH format.
  • the file/segment encapsulation unit delivers the file when encapsulating the point cloud stream(s) in the form of a file.
  • the delivery unit may deliver a point cloud bitstream or a file/segment including the corresponding bitstream to a receiving unit of a receiving device through a digital storage medium or a network. For transmission, processing according to any transmission protocol may be performed. Data that has been processed for transmission can be delivered through a broadcasting network and/or broadband. These data may be delivered to the receiving side in an on-demand manner. Digital storage media may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD.
  • the delivery unit may include an element for generating a media file through a predetermined file format, and may include an element for transmission through a broadcasting/communication network. The delivery unit receives orientation information and/or viewport information from the receiver.
  • the delivery unit may deliver the acquired orientation information and/or viewport information (or information selected by the user) to the file/segment encapsulation unit and/or the point cloud encoding unit.
  • the point cloud encoding unit may encode all point cloud data or encode point cloud data indicated by the orientation information and/or viewport information.
  • the file/segment encapsulation unit may encapsulate all point cloud data or encapsulate point cloud data indicated by the orientation information and/or viewport information.
  • the delivery unit may deliver all point cloud data or point cloud data indicated by the orientation information and/or the viewport information.
  • FIG. 10 shows an example of a point cloud data processing device according to embodiments.
  • FIG. 10 shows an example of a device performing an operation of receiving and processing point cloud data processed according to the G-PCC method.
  • the device of FIG. 10 may process data in a manner corresponding to the manner described in FIG. 9 .
  • the point cloud data processing device shown in FIG. 10 corresponds to or may be included in the UE described in FIGS. 1 to 10 (for example, the processor 911 or processor 921 described in FIG. 2 or described in FIG. 8 ). Sink or the XR Media Processing block included with the Sink, etc.).
  • Point Cloud data processing device includes a delivery client, a sensing/tracking unit, a file/segment decapsulation unit, a Point Cloud decoding unit ) and/or Point Cloud Rendering, and a display.
  • Each configuration of the receiving device may be a module/unit/component/hardware/software/processor or the like.
  • a delivery client may receive point cloud data, a point cloud bitstream, or a file/segment including the corresponding bitstream transmitted by the point cloud data processing device described in FIG. 9 .
  • the device of FIG. 10 may receive point cloud data through a broadcasting network or point cloud data through a broadband.
  • point cloud video data may be received through a digital storage medium.
  • the device of FIG. 10 may perform a process of decoding the received data and rendering it according to the user's viewport.
  • the apparatus of FIG. 10 may include a reception processing unit (eg, the processor 911 of FIG. 2 ) for processing the received point cloud data according to a transmission protocol.
  • the reception processing unit may perform the reverse process of the transmission processing unit so as to correspond to processing for transmission performed on the transmission side.
  • the reception processing unit can deliver the acquired point cloud data to the decapsulation processing unit, and the acquired point cloud related metadata to the metadata parser.
  • a sensing/tracking unit obtains orientation information and/or viewport information.
  • the sensing/tracking unit may transmit the obtained orientation information and/or viewport information to a delivery client, a file/segment decapsulation unit, and a point cloud decoding unit.
  • the delivery client may receive all point cloud data based on the orientation information and/or viewport information or point cloud data indicated by the orientation information and/or viewport information.
  • the file/segment decapsulation unit may decapsulate all point cloud data or point cloud data indicated by the orientation information and/or viewport information based on the orientation information and/or the viewport information.
  • the point cloud decoding unit may decode all point cloud data or decode point cloud data indicated by the orientation information and/or viewport information, based on the orientation information and/or viewport information.
  • the file/segment decapsulation unit performs media track decapsulation and/or metadata track decapsulation.
  • the decapsulation processing unit (file/segment decapsulation) may decapsulate point cloud data in the form of a file received from the reception processing unit.
  • the decapsulation processor may decapsulate files or segments according to ISOBMFF and the like to obtain a point cloud bitstream or point cloud related metadata (or a separate metadata bitstream).
  • the acquired point cloud bitstream can be delivered to the point cloud decoder, and the acquired metadata (or metadata bitstream) related to the point cloud can be delivered to the metadata processing unit.
  • a point cloud bitstream may contain metadata (metadata bitstream).
  • the metadata processing unit may be included in the point cloud video decoder or configured as a separate component/module.
  • Point cloud-related metadata acquired by the decapsulation processing unit may be in the form of a box or track in a file format.
  • the decapsulation processing unit may receive metadata necessary for decapsulation from the metadata processing unit, if necessary. Metadata related to the point cloud may be transmitted to the point cloud decoder and used for the point cloud decoding procedure, or may be transmitted to the renderer and used for the point cloud rendering procedure.
  • the Point Cloud Decoding unit performs geometry decompression, attribute decompression, auxiliary data decompression, and/or mesh data decompression.
  • the Point Cloud decoder can decode data by receiving a bitstream and performing an operation corresponding to the operation of the Point Cloud encoder. In this case, the point cloud decoder can decode the point cloud data by dividing it into geometry and attributes as will be described later.
  • a Point Cloud decoder can restore (decode) geometry from a geometry bitstream contained within an input bitstream, and restore (decode) attribute values based on an attribute bitstream contained within the input bitstream and the restored geometry. )can do.
  • the mesh may be restored (decoded) based on the mesh bitstream included in the input bitstream and the restored geometry.
  • Point cloud can be restored by restoring the position of each point in 3D and the attribute information of each point based on the position information according to the restored geometry and the (color) texture attribute according to the decoded attribute value.
  • Each operation of the point cloud decoding unit may be performed in parallel.
  • Geometry decompression decodes the geometry data from the point cloud stream(s). Attribute decompression decodes attribute data from the point cloud stream(s). Auxiliary data decompression decodes Auxiliary data from point cloud stream(s). Mesh data decompression decodes the mesh data from the point cloud stream(s).
  • the Point Cloud Rendering unit restores the position of each point in the point cloud and attributes of the point based on the decoded geometry, attribution, auxiliary data, and mesh data, and renders the corresponding point cloud data. .
  • the point cloud rendering unit generates and renders mesh (connection) data between point clouds based on the restored geometry, the restored attributes, the restored auxiliary data, and/or the restored mesh data.
  • the point cloud rendering unit receives metadata from the file/segment encapsulation unit and/or the point cloud decoding unit.
  • the point cloud rendering unit may render point cloud data based on metadata according to an orientation or a viewport.
  • the device of FIG. 10 may include a display.
  • a display according to embodiments may display a rendered result.
  • FIG. 11 shows an example of a point cloud data processing device according to embodiments.
  • the point cloud data processing apparatus shown in FIG. 11 is the UE described in FIGS. 1 to 8 (for example, the processor 911 or processor 921 described in FIG. 2, or the sink described in FIG. 6 or XR Media included in the sink) Processing block, etc.) or BS, or may correspond to the UE.
  • Point Cloud data processing apparatus includes Point Cloud Acquisition, Patch Generation, Geometry Image Generation, Attribute Image Generation, Accupancy Map Generation Occupancy Map Generation, Auxiliary Data Generation, Mesh Data Generation, Video Encoding, Image Encoding, File/Segment Encapsulation ), including the delivery department.
  • patch generation, geometry image generation, attribute image generation, accupancy map generation, auxiliary data generation, and mesh data generation are referred to as point cloud pre-processing, pre-processor, or controller. can do.
  • Video encoding unit includes Geometry video compression, Attribute video compression, Occupancy map compression, Auxiliary data compression, and Mesh data compression do.
  • the image encoding unit includes Geometry video compression, Attribute video compression, Occupancy map compression, Auxiliary data compression, and Mesh data compression do.
  • the file/segment encapsulation unit includes video track encapsulation, metadata track encapsulation, and image encapsulation.
  • Each configuration of the transmission device may be a module/unit/component/hardware/software/processor or the like.
  • the geometry, attribute, auxiliary data, and mesh data of the point cloud can be configured as separate streams or stored in different tracks in a file. Furthermore, it may be included in a separate segment.
  • the Point Cloud Acquisition unit acquires a point cloud.
  • point cloud data may be acquired through a process of capturing, synthesizing, or generating a point cloud through one or more cameras.
  • point cloud data including the 3D position of each point (which can be expressed as x, y, z position values, etc., hereinafter referred to as geometry) and the properties of each point (color, reflectance, transparency, etc.) It can be obtained and can be generated as, for example, a PLY (Polygon File format or the Stanford Triangle format) file including it.
  • PLY Polygon File format or the Stanford Triangle format
  • point cloud-related metadata for example, metadata related to capture, etc.
  • point cloud-related metadata for example, metadata related to capture, etc.
  • a patch generation or patch generator generates patches from point cloud data.
  • a patch generator generates point cloud data or point cloud video into one or more pictures/frames.
  • a picture/frame may generally mean a unit representing one image in a specific time period.
  • the points constituting the point cloud video are one or more patches (a set of points constituting a point cloud, points belonging to the same patch are adjacent to each other in the 3D space, and in the process of mapping to a 2D image, among the planes of the 6-sided bounding box Occupancy, which is a binary map that indicates whether data exists at the corresponding location on the 2D plane as a value of 0 or 1 when divided into a set of points mapped in the same direction) and mapped on a 2D plane You can create map pictures/frames.
  • a geometry picture/frame which is a picture/frame in the form of a depth map that expresses the location information (geometry) of each point constituting the point cloud video in a patch unit
  • a texture picture/frame which is a picture/frame that expresses the color information of each point constituting a point cloud video in units of patches
  • metadata needed to reconstruct a point cloud from individual patches can be generated, which can include patch information such as the location and size of each patch in 2D/3D space.
  • the patch can be used for 2D image mapping.
  • point cloud data can be projected onto each face of a cube.
  • a geometry image, one or more attribute images, an accupancy map, auxiliary data, and/or mesh data may be generated based on the generated patch.
  • Geometry Image Generation Geometry Image Generation, Attribute Image Generation, Occupancy Map Generation, Auxiliary Data Generation and/or Mesh by a pre-processor or controller Data generation (Mesh Data Generation) is performed.
  • Geometry Image Generation generates a geometry image based on a result of patch generation.
  • a geometry represents a point in a three-dimensional space.
  • a geometry image is generated using an accupancy map including information related to the 2D image packing of the patch, auxiliary data (patch data), and/or mesh data.
  • the geometry image is related to information such as depth (e.g., near, far) of the patch generated after patch generation.
  • Attribute Image Generation creates an attribute image.
  • an attribute may indicate a texture.
  • the texture may be a color value matched to each point.
  • a plurality of (N) attributes attributes (attributes such as color and reflectance) images including textures may be generated.
  • a plurality of attributes may include material (information about a material), reflectance, and the like.
  • an attribute may additionally include information that can change color by time and light, even in the same texture.
  • Occupancy Map Generation generates an Occupancy Map from patches.
  • the accupancy map includes information indicating whether data exists in a pixel of a corresponding geometry or attribute image.
  • Auxiliary Data Generation generates auxiliary data including patch information. That is, Auxiliary data represents metadata about patches of Point Cloud objects. For example, information such as a normal vector for a patch may be indicated. Specifically, according to embodiments, auxiliary data may include information necessary for reconstructing a point cloud from patches (eg, information about the position and size of a patch in 2D/3D space, projection normal ) identification information, patch mapping information, etc.)
  • Mesh Data Generation generates mesh data from patches.
  • Mesh represents connection information between adjacent points.
  • triangular data may be represented.
  • mesh data according to embodiments means connectivity information between points.
  • the point cloud pre-processor or control unit generates metadata related to patch generation, geometry image generation, attribute image generation, accupancy map generation, auxiliary data generation, and mesh data generation.
  • the point cloud transmission device performs video encoding and/or image encoding in response to the result generated by the pre-processor.
  • the point cloud transmission device may generate point cloud image data as well as point cloud video data.
  • point cloud data includes only video data, only image data, and/or both video data and image data. there may be
  • the video encoding unit performs geometry video compression, attribute video compression, accupancy map compression, auxiliary data compression, and/or mesh data compression.
  • the video encoding unit generates video stream(s) containing each encoded video data.
  • geometry video compression encodes point cloud geometry video data.
  • Attribute video compression encodes attribute video data in a point cloud.
  • Auxiliary data compression encodes auxiliary data associated with point cloud video data.
  • Mesh data compression encodes the mesh data of point cloud video data. Each operation of the point cloud video encoding unit may be performed in parallel.
  • the image encoding unit performs geometry image compression, attribute image compression, accupancy map compression, auxiliary data compression, and/or mesh data compression.
  • the image encoding unit generates image(s) including each encoded image data.
  • geometry image compression encodes point cloud geometry image data.
  • Attribute image compression encodes the attribute image data of a point cloud.
  • Auxiliary data compression encodes auxiliary data associated with point cloud image data.
  • Mesh data compression encodes mesh data associated with point cloud image data. Each operation of the point cloud image encoding unit may be performed in parallel.
  • the video encoding unit and/or the image encoding unit may receive metadata from the pre-processor.
  • the video encoding unit and/or the image encoding unit may perform each encoding process based on metadata.
  • a file/segment encapsulation unit encapsulates video stream(s) and/or image(s) in the form of a file and/or segment.
  • the file/segment encapsulation unit performs video track encapsulation, metadata track encapsulation, and/or image encapsulation.
  • Video track encapsulation may encapsulate one or more video streams in one or more tracks.
  • Metadata track encapsulation may encapsulate metadata related to a video stream and/or image into one or more tracks. Metadata includes data related to the content of point cloud data. For example, initial viewing orientation metadata may be included. According to embodiments, metadata may be encapsulated in a metadata track, or may be encapsulated together in a video track or an image track.
  • Image encapsulation may encapsulate one or more images in one or more tracks or items.
  • 4 video streams and 2 images may be encapsulated in one file.
  • the file/segment encapsulation unit may receive metadata from the pre-processor.
  • the file/segment encapsulation unit may perform encapsulation based on metadata.
  • the files and/or segments generated by the file/segment encapsulation are transmitted by the point cloud transmission device or transmission unit.
  • segment(s) may be delivered based on a DASH-based protocol.
  • the delivery unit may deliver a point cloud bitstream or a file/segment including the corresponding bitstream to a receiving unit of a receiving device through a digital storage medium or a network. For transmission, processing according to any transmission protocol may be performed. Data that has been processed for transmission can be delivered through a broadcasting network and/or broadband. These data may be delivered to the receiving side in an on-demand manner. Digital storage media may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD.
  • the delivery unit may include an element for generating a media file through a predetermined file format, and may include an element for transmission through a broadcasting/communication network. The delivery unit receives orientation information and/or viewport information from the receiver.
  • the delivery unit may deliver the acquired orientation information and/or viewport information (or information selected by the user) to a pre-processor, a video encoding unit, an image encoding unit, a file/segment encapsulation unit, and/or a point cloud encoding unit.
  • the point cloud encoding unit may encode all point cloud data or encode point cloud data indicated by the orientation information and/or viewport information.
  • the file/segment encapsulation unit may encapsulate all point cloud data or encapsulate point cloud data indicated by the orientation information and/or viewport information.
  • the delivery unit may deliver all point cloud data or point cloud data indicated by the orientation information and/or the viewport information.
  • the pre-processor may perform the above-described operation for all point cloud data or for point cloud data indicated by orientation information and/or viewport information.
  • the video encoding unit and/or the image encoding unit may perform the above-described operation for all point cloud data or may perform the above-described operation for point cloud data indicated by orientation information and/or viewport information.
  • the file/segment encapsulation unit may perform the above-described operation for all point cloud data or for point cloud data indicated by orientation information and/or viewport information.
  • the transmitter may perform the above-described operation for all point cloud data or for point cloud data indicated by orientation information and/or viewport information.
  • FIG. 12 shows an example of a point cloud data processing device according to embodiments.
  • the point cloud data processing apparatus shown in FIG. 12 may process data in a method corresponding to the method described in FIG. 11 .
  • the point cloud data processing apparatus shown in FIG. 12 corresponds to the UE described in FIGS. 1 to 8 or may be included in the UE (for example, the processor 911 or processor 921 described in FIG. 2), which processes higher layer data. processor, or the Sink described in FIG. 6 or the XR Media Processing block included in the Sink).
  • Point Cloud data processing apparatus includes a delivery client, a sensing/tracking unit, a file/segment decapsulation unit, a video decoding unit, It includes an image decoding unit, point cloud processing and/or point cloud rendering unit, and a display.
  • the video decoding unit performs geometry video decompression, attribute video decompression, occupancy map decompression, auxiliary data decompression, and/or mesh data decompression.
  • the image decoding unit performs geometry image decompression, attribute image decompression, occupancy map decompression, auxiliary data decompression, and/or mesh data decompression.
  • Point cloud processing includes Geometry Reconstruction and Attribute Reconstruction.
  • a delivery client may receive point cloud data, a point cloud bitstream, or a file/segment including the corresponding bitstream transmitted by the point cloud data processing apparatus according to the embodiments of FIG. 13 .
  • the device of FIG. 14 may receive point cloud data through a broadcasting network or point cloud data through a broadband.
  • point cloud video data may be received through a digital storage medium.
  • the device of FIG. 14 may perform a process of decoding the received data and rendering it according to the user's viewport.
  • the device of FIG. 14 may include a reception processing unit (eg, the processor 911 of FIG. 2 ) although not shown in the drawing.
  • the reception processing unit according to embodiments may perform processing according to a transport protocol on the received point cloud data.
  • the receiving processing unit may perform the reverse process of the above-described transmission processing unit so as to correspond to processing for transmission performed on the transmission side.
  • the reception processing unit can deliver the acquired point cloud data to the decapsulation processing unit, and the acquired point cloud related metadata to the metadata parser.
  • a sensing/tracking unit obtains orientation information and/or viewport information.
  • the sensing/tracking unit may transmit the obtained orientation information and/or viewport information to a delivery client, a file/segment decapsulation unit, and a point cloud decoding unit.
  • the delivery client may receive all point cloud data based on the orientation information and/or viewport information or point cloud data indicated by the orientation information and/or viewport information.
  • the file/segment decapsulation unit may decapsulate all point cloud data or point cloud data indicated by the orientation information and/or viewport information based on the orientation information and/or the viewport information.
  • the point cloud decoding unit (video decoding unit and/or image decoding unit) may decode all point cloud data or decode point cloud data indicated by the orientation information and/or viewport information, based on the orientation information and/or viewport information.
  • the point cloud processing unit may process all point cloud data or process point cloud data indicated by orientation information and/or viewport information.
  • the file/segment decapsulation unit performs video track decapsulation, metadata track decapsulation, and/or image decapsulation.
  • the decapsulation processing unit may decapsulate point cloud data in the form of a file received from the reception processing unit.
  • the decapsulation processor may decapsulate files or segments according to ISOBMFF and the like to obtain a point cloud bitstream or point cloud related metadata (or a separate metadata bitstream).
  • the acquired point cloud bitstream can be delivered to the point cloud decoder, and the acquired metadata (or metadata bitstream) related to the point cloud can be delivered to the metadata processing unit.
  • a point cloud bitstream may contain metadata (metadata bitstream).
  • the metadata processing unit may be included in the point cloud video decoder or configured as a separate component/module.
  • Point cloud-related metadata acquired by the decapsulation processing unit may be in the form of a box or track in a file format.
  • the decapsulation processing unit may receive metadata necessary for decapsulation from the metadata processing unit, if necessary. Metadata related to the point cloud may be transmitted to the point cloud decoder and used for the point cloud decoding procedure, or may be transmitted to the renderer and used for the point cloud rendering procedure.
  • the file/segment decapsulation unit may generate metadata related to point cloud data.
  • Video Track Decapsulation decapsulates video tracks contained in files and/or segments. Decapsulate video stream(s) including geometry video, attribute video, accupancy map, Auxiliary data and/or Mesh data.
  • Metadata track decapsulation decapsulates a bitstream including metadata and/or additional data related to point cloud data.
  • Image decapsulation decapsulates image(s) including geometry image, attribute image, accupancy map, auxiliary data and/or mesh data.
  • the video decoding unit performs geometry video decompression, attribute video decompression, accupancy map decompression, auxiliary data decompression, and/or mesh data decompression.
  • the video decoding unit decodes geometry video, attribute video, auxiliary data, and/or mesh data in response to a process performed by the video encoding unit of the point cloud transmission device according to embodiments.
  • the image decoding unit performs geometry image decompression, attribute image decompression, accupancy map decompression, auxiliary data decompression, and/or mesh data decompression.
  • the image decoding unit decodes the geometry image, the attribute image, the auxiliary data and/or the mesh data in response to the process performed by the image encoding unit of the point cloud transmission device according to the embodiments.
  • the video decoding unit and/or the image decoding unit may generate metadata related to video data and/or image data.
  • the point cloud processing unit performs geometry reconstruction and/or attribute reconstruction.
  • the geometry reconstruction reconstructs a geometry video and/or a geometry image from decoded video data and/or decoded image data based on an accupancy map, auxiliary data, and/or mesh data.
  • Attribute Reconstruction reconstructs an attribute video and/or an attribute image from a decoded attribute video and/or a decoded attribute image based on an accupancy map, auxiliary data, and/or mesh data.
  • the attribute may be a texture.
  • an attribute may mean a plurality of attribute information.
  • the point cloud processing unit may receive metadata from the video decoding unit, the image decoding unit and/or the file/segment decapsulation unit, and process the point cloud based on the metadata.
  • the point cloud rendering unit renders the reconstructed point cloud.
  • the point cloud rendering unit may receive metadata from the video decoding unit, the image decoding unit and/or the file/segment decapsulation unit, and render the point cloud based on the metadata.
  • the device of FIG. 12 may include a display.
  • a display according to embodiments may display a rendered result.
  • FIG. 13 shows an example of a point cloud data processing device according to embodiments.
  • An apparatus for processing point cloud data includes a data input unit 12000, a quantization processing unit 12001, a voxelization processing unit 12002, an octree occupancy code generation unit 12003, a four-surface model processing unit 12004, intra/inter coding processing unit 12005, arithmetic coder 12006, metadata processing unit 12007, color conversion processing unit 12008, attribute conversion processing unit 12009, prediction/lifting/RAHT conversion processing unit 12010, arithmetic coder 12011 and/or Alternatively, the transmission processing unit 12012 may be included.
  • the data input unit 12000 receives or acquires point cloud data.
  • the data input unit 12000 may correspond to the point cloud acquisition unit 10001 of FIG. 1 according to embodiments.
  • the quantization processing unit 12001 quantizes the geometry of point cloud data, for example, position value information of points.
  • the voxelization processing unit 12002 according to the exemplary embodiments voxels position value information of quantized points.
  • the octree occupancy code generation unit 12003 may represent position value information of voxelized points as an octree based on an octree occupancy code.
  • the four-surface model processing unit 12004 may express and process an octree for location value information of points of a point cloud based on a surface model method.
  • the intra/inter coding processing unit 12005 may intra/inter code the point cloud data.
  • the arithmetic coder 12006 may encode point cloud data based on an arithmetic coding scheme.
  • the metadata processing unit 12007 processes metadata related to point cloud data, eg, setting values, and provides them to a necessary process such as a geometry encoding process and/or an attribute encoding process. Also, the metadata processing unit 12007 according to embodiments may generate and/or process signaling information related to geometry encoding and/or attribute encoding. Signaling information according to embodiments may be encoded separately from geometry encoding and/or attribute encoding. Also, signaling information according to embodiments may be interleaved.
  • the color conversion processing unit 12008 may convert colors of point cloud data based on attributes of the point cloud data, for example, attribute value information and/or reconstructed position values of points.
  • the attribute conversion processing unit 12009 may convert attribute values of point cloud data.
  • the prediction/lifting/RAHT conversion processing unit 12010 may attribute-code point cloud data based on a combination of a prediction method, a lifting method, and/or a RAHT method.
  • the arithmetic coder 12011 may encode point cloud data based on an arithmetic coding scheme.
  • the transmission processing unit 12012 transmits each bitstream including encoded geometry information and/or encoded attribute information and metadata information, or transmits encoded geometry information and/or encoded attribute information and metadata Information can be configured and transmitted as one bit stream.
  • encoded geometry information,/or encoded attribute information, and meta data information according to embodiments are composed of one bitstream, the bitstream may include one or more sub-bitstreams.
  • a bitstream includes a Sequence Parameter Set (SPS) for signaling at the sequence level, a Geometry Parameter Set (GPS) for signaling of geometry information coding, an Attribute Parameter Set (APS) for signaling of attribute information coding, and a tile It may include signaling information and slice data including TPS (Tile Parameter Set) for level signaling.
  • Slice data may include information about one or more slices.
  • One slice according to embodiments may include one geometry bitstream Geom00 and one or more attribute bitstreams Attr00 and Attr10.
  • a TPS according to embodiments may include information about each tile (for example, coordinate value information and height/size information of a bounding box) for one or more tiles.
  • a geometry bitstream may include a header and a payload.
  • the header of the geometry bitstream may include identification information (geom_geom_parameter_set_id) of a parameter set included in GPS, a tile identifier (geom_tile id), a slice identifier (geom_slice_id), and information about data included in a payload.
  • the metadata processing unit 12007 may generate and/or process signaling information and transmit it to the transmission processing unit 12012.
  • a process for position values of points and a process for attribute values of points may perform each process by sharing data/information with each other.
  • FIG. 14 shows an example of a point cloud data processing device according to embodiments.
  • FIG. 14 shows an example of a device that performs a point cloud data processing operation according to the G-PCC scheme described in FIG. 10 .
  • the point cloud data processing apparatus shown in FIG. 14 may perform the reverse process of the point cloud data processing apparatus described in FIG. 13 .
  • An apparatus for processing point cloud data includes a receiving unit 13000, a receiving processing unit 13001, an arithmetic decoder 13002, an octree reconstruction processing unit 13003 based on an Occupancy code, and a surface model processing unit (triangle reconstruction, up-sampling, voxel). image) 13004, inverse quantization processing unit 13005, metadata parser 13006, arithmetic decoder 13007, inverse quantization processing unit 13008, prediction/lifting/RAHT inverse transformation processing unit 13009, color inverse transformation processing unit 13010 and/or a renderer 13011.
  • the receiving unit 13000 receives point cloud data.
  • the reception processing unit 13001 may obtain a geometry bitstream and/or an attribute bitstream included in the received point cloud data, metadata including signaling information, and the like.
  • the arithmetic decoder 13002 may decode a geometry bitstream based on an arithmetic scheme.
  • the octree reconstruction processing unit 13003 based on the occupancy code may reconstruct the decoded geometry into an octree based on the occupancy code.
  • the surface model processing unit 13004 performs triangle reconstruction, up-sampling, voxelization, and/or a combination thereof on point cloud data based on a surface model method. processing can be performed.
  • the inverse quantization processing unit 13005 may inverse quantize point cloud data.
  • the metadata parser 13006 may parse metadata included in the received point cloud data, for example, setting values.
  • the metadata parser 13006 can pass metadata to each of the geometry decoding process and/or attribute decoding process. Each process according to embodiments may be performed based on necessary metadata.
  • the arithmetic decoder 13007 may decode an attribute bitstream of point cloud data in an arithmetic manner based on a reconstructed position value.
  • the inverse quantization processing unit 13008 may inverse quantize point cloud data.
  • the prediction/lifting/RAHT inverse transform processing unit 13009 may process point cloud data based on a prediction/lifting/RAHT method and/or a method according to a combination thereof.
  • the inverse color transformation processing unit 13010 may inversely transform color values of point cloud data.
  • the renderer 13011 may render point cloud data.
  • 15 shows a transmission structure for a UE on a visited network according to embodiments.
  • 3GPP The 3rd Generation Partnership Project
  • the Multimedia Division establishes and distributes standards for transmitting and receiving media by defining protocols related to media codecs.
  • the definition of media and transmission scenarios covers a wide range. This includes cases in which mobile/fixed reception is performed by a personal computer or portable receiver along with Radio Access and Internet-based technology.
  • This wide-ranging standard enactment in 3GPP enabled ubiquitous multimedia services to cover various users and use cases, and enable users to quickly experience high-quality media anytime, anywhere.
  • media services are classified according to their unique characteristics and are divided into Conversational, Streaming, and other services according to the target application. Conversational Service is extended from Session Initiation Protocol (SIP) based telephone service network.
  • SIP Session Initiation Protocol
  • the Multimedia Telephony Service for the IP Multimedia Subsystem aims at a low-latency real-time conversation service.
  • Streaming service delivers real-time or re-acquired content in Unicast based on Packet Switched Service (PSS).
  • PSS Packet Switched Service
  • broadcasting services within the PSS system can use mobile TV through Multimedia Broadcast/Multicast Service (MBMS).
  • MBMS Multimedia Broadcast/Multicast Service
  • 3GPP provides Messaging or reality services.
  • the three basic services described above are continuously being revised or updated in order to satisfy the highest possible user experience, and provide scalability so that they can be mutually compatible with available network resources or existing standards.
  • Media includes video codec, voice, audio, image, graphic, and text corresponding to each service.
  • IMS IP Multimedia Subsystem
  • IETF Internet Engineering Task Force
  • IMS is used as the basic protocol of SIP protocol, and it manages multimedia sessions efficiently through this.
  • MTSI Multimedia Telephony Service for IMS
  • MTSI includes not only Signaling, Transport, Jitter Buffer, Management, Packet-Loss Handling, and Adaptation, but also Adding/Dropping Media During Call, etc., so that predictable media can be created, transmitted, and received.
  • MTSI uses the 3GPP network
  • NR, LTE, and HSPA are connected to IMS
  • Wi-Fi and Bluetooth are also extended and connected.
  • MTSI transmits and receives data negotiation messages to the existing IMS network, and has a structure in which data is transmitted between users when transmission and reception are completed. Therefore, the IMS network can be equally used, and MTSI additionally defines only Audio Encoder/Decoder, Video Encoder/Decoder, Text, Session Setup and Control, and Data Channel.
  • Data Channel Capable MTSI represents an enabling channel to support media transmission and uses Stream Control Transmission Protocol (SCTP) over Datagram Transport Layer Security (DTLS) and Web Real-Time Communication (WebRTC).
  • SCTP Stream Control Transmission Protocol
  • DTLS Datagram Transport Layer Security
  • WebRTC Web Real-Time Communication
  • SCTP is used to provide security services between Network Layer and Transport Layer of TCP. Since it is extended from the existing platform, it defines Media Control Data as well as Media Control and Media Codec for media management, and general control is handled through Media Streaming Setup through SIP/SDP. Since Setup/Control is passed between clients, Adding/Dropping of media is also included. MTSI also includes IMS Messaging, a non-conversational service. Media is carried over 3GPP Layer 2 using the Packet Data Convergence Protocol (PDCP). PDCP delivers IP packets from the client to the base station and generally performs user plane data, control plane data, header compression, and ciphering/protection.
  • PDCP Packet Data Convergence Protocol
  • UE 15 is a transmission structure in which a call session can be transferred between two UEs existing in an arbitrary visited network when User Equipment (UE) A/B exists.
  • UE A/B may exist in operator A or B or the same network, and it is assumed that four other networks exist to describe the entire system of MTSI.
  • UE A and B perform session establishment to transmit media within the IMS system. After the session is established, UE A and B transmit media through the IP network.
  • the main function of IMS is the Call State Control Function (CSCF), which manages multimedia sessions using SIP.
  • CSCF Call State Control Function
  • Each CSCF plays the role of server or proxy and performs different types of functions according to each purpose.
  • Proxy CSCF acts as a SIP proxy server.
  • the P-CSCF internally analyzes and transmits SIP messages in order to receive all SIP messages and deliver them to the UE to transmit.
  • P-CSCF can perform resource management and is closely connected to the gateway of the network.
  • the gateway is associated with the IP access bearer General Packet Radio Service (GPRS).
  • GPRS General Packet Radio Service
  • GPRS is a second-generation wireless system, it is linked with basic functions to support PS services.
  • P-CSCF and GPRS must be in the same network.
  • UE A exists in any Visited Network, and UE A and P-CSCF exist in the network.
  • S-CSCF Serving CSCF
  • HSS Home Subscriber Server
  • the S-CSCF can receive the message and connect to another CSCF in the vicinity or connect to the Application Server (AS) and forward the SIP message to another AS.
  • Interrogating CSCF (I-CSCF) performs the same proxy server function as P-CSCF, but is connected to an external network.
  • the process of encrypting SIP messages can be performed by observing network availability and network configuration.
  • HSS is a central data server that contains user-related information.
  • the Subscriber Location Function (SLF) represents an information map linking a user's address to a corresponding HSS.
  • the Multimedia Resource Function (MRF) includes multimedia resources in the home network. MRF consists of Multimedia Resource Function Controller (MRFC) and Multimedia Resource Function Processor (MRFP).
  • MRFC is a control plane of MRC and plays a control role of managing stream resources within MRFP.
  • the Breakout Gateway Control Function (BGCF) is a SIP server that is connected to Public-Switched Telephone Network (PSTN) or Communication Server (CS) and represents a gateway that transmits SIP messages.
  • PSTN Public-Switched Telephone Network
  • CS Communication Server
  • MGWF Media Gateway Control Function
  • MGW Media Gateway
  • 16 illustrates a call connection between UEs according to embodiments.
  • IP connection In an IMS-based network, an environment where IP connection is possible is required, and IP connection is performed in the Home Network or the Visited Network.
  • an IP connection When an IP connection is established, an interactive environment composition, which is a detailed element of XR, is formed, and the transmitted data is virtual reality such as 360 Video/G-PCC (Geometry-based Point Cloud Compression)/V-PCC (Video-based Point Cloud Compression). Information in which data is compressed is exchanged or data is transmitted. XR data can be subdivided into two areas and delivered.
  • the AS When transmitted based on the MTSI standard, the AS transfers the Call/Hold/Resume method through Route Control Plane signaling using the CSCF mechanism and performs a third party call connection.
  • media transmission When a call connection is performed, media transmission is simply transmitted between UEs A and B, and when two UEs exist, MTSI operates as shown in FIG. 16 within the IMS network.
  • FIG 17 shows an apparatus for transmitting and receiving point cloud data according to embodiments.
  • the video encoder and audio encoder may correspond to the XR device 100c, the encoding in FIG. 8 (S1520), and the point cloud encoder in FIG. 9, FIG. 11, and FIG. 13.
  • the video decoder and the audio decoder may correspond to the XR device 100c, the decoding in FIG. 8 (S1540), the point cloud decoder in FIG. 10, FIG. 12, and FIG. 14.
  • MTSI limits the relevant elements and connection points of Client Terminals within the IMS network. Therefore, the scope for the configuration is defined as shown in FIG.
  • the determination of the physical interaction of synchronization related to the speaker, display, user interface, microphone, camera, and keyboard is not discussed in MTSI.
  • the area within box 170 determines the scope of how to control media or related media.
  • transmitting SIP corresponds to IMS
  • MTSI does not include a part that controls specific SIP. Therefore, the range of MTSI and IMS can be determined according to the data structure, delivery method, and service definition. If it is defined like MTSI, it can be defined as a standard within the following range.
  • RFC 4566-based SDP and SDP Capability Negotiation must be used and related Streaming Setup must be used.
  • the transmission medium that transmits media must comply with not only Coded Media (to which Transport Protocol is applied) but also Packet-based Network Interface.
  • the method of transmitting data uses RTP Stream of RFC 3550, and SCTP (RFC 4960) or WebRTC Data Channel can be used for Data Channel.
  • Devices for transmitting and receiving point cloud data may include all devices configured as devices such as mobile phones, desktops, and AR glasses. Assuming that it is a mobile phone, there are a speaker, display, user interface, microphone, camera, and keyboard, and the input signal can be transmitted to the encoding/decoding block.
  • Methods/operations according to embodiments may be processed by the video encoder of FIG. 17 . It can be linked with software.
  • the G-PCC structure call flow may be included in a session setup & control part.
  • Each component of FIG. 17 may correspond to hardware, software, processor, and/or a combination thereof.
  • An apparatus for transmitting and receiving point cloud data may support IP connection.
  • XR range exists in RAN (Radio Access Network) such as UMTS (Universal Mobile Telecommunications System) and Visited Networks such as SGSN (Serving SPRC Support Node) and GGSN (Gateway GPRS Support Note) roaming service and IP connectivity scenarios should be considered. If IP connectivity is to be considered, IP service must be provided even where the IMS network does not exist, and GPRS (General Packet Radio Service) roaming must also be connected to the home network. If an IMS-based network is provided, End-to-End QoS (Quality of Service) must be provided to maintain IP connectivity.
  • RAN Radio Access Network
  • UMTS Universal Mobile Telecommunications System
  • Visited Networks such as SGSN (Serving SPRC Support Node) and GGSN (Gateway GPRS Support Note) roaming service and IP connectivity scenarios should be considered. If IP connectivity is to be considered, IP service must be provided even where the IMS network does not exist, and GPRS (General Packet Radio Service) roaming must also
  • QoS Requirement generally uses SIP (Session Initiation Protocol) to define a session, change a session, or terminate a session, and can deliver the following information: type of media, direction of traffic (upward or downward), Bitrate, Packet Size, Packet Transport Frequency, RTP Payload, Bandwidth Adaptation.
  • SIP Session Initiation Protocol
  • An apparatus for transmitting and receiving point cloud data may perform IP policy control/secure communication.
  • the Policy Control Element can activate a bearer suitable for media traffic through a SIP message, and prevents the operator from using bearer resources incorrectly.
  • the IP address and bandwidth of transmission and reception can also be adjusted equally at the bearer level.
  • a start or stop point of media traffic can be set using a policy control element, and problems related to synchronization can be solved.
  • a acknowledgment message can be transmitted through the IP network using the Policy Control Element, and the Bearer service can be modified, stopped, or terminated.
  • Privacy can be requested for the security of the UE.
  • An apparatus for transmitting and receiving point cloud data may be associated with other networks.
  • the IMS network of any type of terminal should be able to connect various users and networks as much as possible. It can include PSTN or ISDN as well as mobile and Internet users.
  • the entity visiting the Visited Network provides service and control information for the user and performs Registration/Session Establishment within the Internet network. In this way, if it exists in the Visited Network, service control restrictions occur, and considerations arise according to multiple roaming model scenarios.
  • the quality may deteriorate due to the service speed of the Visited Network.
  • a role such as security or charging is added, the area of service control and execution method for the Home Network/Visited Network should be considered.
  • the 3GPP standard defines the architecture layered in the IMS network. Therefore, Transport/Bearer are defined separately.
  • the application plane generally covers the scope of the application server, the control plane can be divided into HSS, CSCF, BGCF, MRFC, MRFP, SGW, SEG, and the user plane can be divided into SGSN, GGSN, IM-MGW, etc.
  • FIG. 18 shows an architecture for XR communication on a 5G network according to embodiments.
  • An apparatus for transmitting and receiving point cloud data may efficiently perform XR communication based on a communication network, as shown in FIG. 18 .
  • Real-time point cloud two-way conversation using 5G networks can be achieved using three methods. 1) point cloud data exchange using IMS telephone network, 2) point cloud data streaming using 5GMS media network, 3) web-based media transmission method using WebRTC. Therefore, it is necessary to define an XR interactive service scenario to transmit data. Scenarios can be delivered in various forms, and can be divided into the process of acquiring data, the process of all end-to-end services using the 5G network, and the composition of scenarios.
  • Application Download In order to proceed with the XR Teleconference, Application Download must be performed in advance.
  • a built-in or downloadable application program is required. This program can transmit data by selecting 1) telephone network 2) media network 3) web network as the transmission type of data transmitted through 5G.
  • the program When the program is installed, check the access authority of the general device and the account personal information authority to check the basic environment for sending and receiving data.
  • Capture equipment of point cloud equipment including a receiving device and a transmitting device for receiving the other party's data, or a converter capable of converting dimensional data into 3D, or any video input capable of transmitting or converting data in 3D at 360 degrees.
  • Voice data includes a built-in microphone or speaker, and also includes a check of hardware capabilities to minimally process point cloud data.
  • Hardware includes GPU/CPU functions that can perform Pre-Rendering or Post-Rendering, and may include hardware capacity and memory size performed during processing.
  • Personal information includes things that can additionally deliver real-time information of users such as account information for accessing applications, IP, and cookies, and use consent is performed to transmit in advance.
  • Figure 19 shows a structure for XR communication according to embodiments
  • an identifier that can distinguish between user authentication and user is created.
  • users are distinguished by using e-mail or ID and password, and the authenticated user's tag is formed by itself.
  • a guide mode for an initial user to effectively exchange point cloud data or use a system may be provided.
  • it can determine how the field of view can be accessed. If it is a device capable of directly capturing or receiving a point cloud, data can be transmitted and received as it is. If a point cloud is received using an HMD, scaling or transformation suitable for a 360 degree environment must be preceded.
  • the received display is a 2D display based on a commonly used mobile phone or monitor rather than a device that receives 3D data, it should be able to faithfully express 3D within a 2D screen.
  • a method of rotating or enlarging the screen with a finger it is possible to implement or check a 3D image in a 2D display.
  • an avatar In order for a user to express himself in a 3D space, an avatar must be created.
  • the avatar can be virtual data by graphic, 3D transformation form of a person or object directly acquired as a point cloud, or audio without any data.
  • Avatar expressed in 3D can be modified by the user's definition or selection. For example, a person can change the shape of their face or wear clothes, hats, accessories, etc. that can represent their individuality, and can transform into various forms to express their individuality.
  • emotions can be expressed through conversations between people, and emotions can be adjusted according to changes in the face shape of text or graphics.
  • the created avatar participates in a virtual space. If it is 1:1 interactive, each data is transmitted to the other party, but the space where the other party receives it also needs to be formed simply. When there are multiple participants, spaces that can be shared by multiple participants must be created, and these spaces can be spaces composed of arbitrary graphics or data spaces directly obtained as point clouds. Depending on the size and situation of the data to be shared, the data can be stored in each device and processed quickly, and if the size of the data is large, it can be stored in the cloud or central server and shared. As the user's avatar, an avatar created in advance using a library or the like may be used. A basic common avatar therefore does not need to be newly created from the user's point of view or to capture and transmit data.
  • various objects used in the space may be added according to a user request, and the data may be graphics or data acquired as a point cloud.
  • objects can be objects that are easily accessible or familiar in the conference room, such as documents, cups, and laser pointers.
  • users composed of respective avatars can participate in the space, and the user can participate in the meeting place by moving his or her avatar to the created space.
  • the space is determined by the host in charge of the meeting, and the host can change the space by selecting it. Acquisition of a well-known conference hall in advance can give the effect of attending a company meeting room at home, and obtaining an overseas travel or famous historical site can give the effect of meeting at home at the historic site.
  • the space created with virtual random graphics rather than point clouds may vary depending on the idea or implementation method of the space organizer who creates the user's space.
  • a user participates in a space, he or she can enter by forming a user profile.
  • the user's profile is used to classify the list of conference hall or space participants, and if multiple users participate, it is possible to check whether a conversation is possible and whether the user's receiving status is working correctly.
  • the user's name or nickname should be displayed, and whether the user is currently busy or muted should be displayed.
  • Space limitations may vary depending on the application constituting the host or server. In an environment where free movement in space is restricted, the user must be able to move to a desired location.
  • 20 illustrates a protocol stack for XR interactive service on 3GPP 5G according to embodiments.
  • 5G XR media can be transmitted in a variety of ways. 1) point cloud data exchange using IMS telephone network, 2) point cloud data streaming using 5GMS media network, 3) web-based media transmission method using WebRTC, WebRTC method shares two data at the application level .
  • each transmission protocol is defined, and transmission and reception must be performed in compliance with the specifications.
  • XR Conversational Service needs to add dimension information and data parameters to observe QoS.
  • fast data processing and low-latency conversation service are possible because the data is transmitted using the real-time telephone network.
  • there is no protocol for recovering errors in transmission escape there is a disadvantage of having to proceed with a conversation by relying on continuous feedback information.
  • Point cloud-based real-time two-way video conversation can be divided into 1:1 conversation transmission and participation in multiple video conferences like a single phone call.
  • both scenarios require a processor that handles media rather than directly delivering data, and must be provided in an environment where virtual meetings can be held.
  • 21 illustrates point-to-point XR videoconferencing according to embodiments.
  • the basic phone call request of the conversation is processed by the network function, and when using the MTSI network, the transmission and reception media uses MRF (Media Source Function) or MCU (Media Control Unit).
  • MRF Media Source Function
  • MCU Media Control Unit
  • the MRF/MCU receives point cloud compressed data, and when the sender wants to transmit additional information (view screen, camera information, view direction, etc.) in addition to the compressed data, the data is also transmitted to the MRF/MCU.
  • a video is created through an internal process, and one video includes a main video and several thumbnails.
  • the processed video is delivered to each receiver again, and processing such as transcoding and resize may occur. If MRF requires a process such as transcoding, it may have an effect of increasing the maximum delay time by the processing time.
  • a pre-processing process may be performed by transmitting thumbnail data to each sender and receiver in advance.
  • MRF performs audio and media analysis, application server, billing server linkage, and resource management functions.
  • the AS (Application Server) connected to the MRF includes the HSS linkage function for checking the subscriber's status in the telephone network and provides MRF connection and additional functions. Additional functions include a password call service, lettering service, ringback tone service, incoming and outgoing call blocking service, etc. on a real phone.
  • each user must have a 3D point cloud capture camera.
  • the camera must include the user's color information, location information, and depth information. If depth cannot be expressed, a converter capable of expressing a 2D image in 3D can be used.
  • the captured information used includes geometry-based point cloud compression (G-PCC) or video-based point cloud compression (V-PCC) data.
  • G-PCC geometry-based point cloud compression
  • V-PCC video-based point cloud compression
  • the transmitter must have equipment capable of receiving the other party's data.
  • Receiving equipment generally refers to any equipment that can represent the acquired point cloud data. Therefore, it can be a 2D-based display and can include all equipment capable of visually expressing point cloud graphics such as HMD and holographic.
  • the expressed data must be capable of receiving and processing the data transmitted from the MRF/MCU where the transmission and receiver data are processed.
  • the captured point cloud data is transmitted to the MRF/MCU, and the received data generates and transmits data to each user by an internal process. It transmits basic information necessary for a conversation, a virtual space of a conversation where a conversation is required, or view information of a point of view desired by the other party, or transmits compressed data.
  • the virtual space is simply used as a space to simplify by projecting a point cloud, and if the projection space is not used, all data captured by the camera is simply transmitted to the other party.
  • B and C require an application to operate a video conference.
  • the application checks the following basic service operations.
  • Transmitter Check AR Glass, 360 Camera, Fisheye Camera, Phone Camera, Mic, Kinnect, LiDAR, etc.
  • B and C acquire point data to transmit to the other party using a point cloud capture camera before participating in a conversation.
  • the point data is generally data obtained by acquiring faces or shapes of B and C, and data acquired through each unique equipment can be output.
  • the above scenario can be implemented based on a simple telephone network in an environment that does not know any media.
  • Prior data must be received through MRF/MCU before creating a telephone network, and MRF/MCU receives all data transmitted from B and C.
  • the video conversation scenario of two people in a point cloud is divided into two types as follows.
  • scenario (a) all data is transmitted in a one-to-one conversation. All point cloud information of B is directly delivered to C, and C can process all of B's data or partially process it based on the additional information delivered from B. Similarly, B needs to receive all the point cloud data transmitted by C and can process some based on the additional information transmitted by C.
  • scenario (b) MRF/MCU exists between the telephone networks, and B and C deliver point cloud data to the MRF/MCU existing between the two. The MRF/MCU processes the received data and delivers the corresponding data to B and C according to the specific conditions requested by B and C. Therefore, B and C may not receive all the data from the point cloud they send to each other.
  • the multiperson video conference function can also be expanded, and an additional virtual space A can be included and delivered to B or C.
  • an additional virtual space A can be included and delivered to B or C.
  • B and C rather than directly receiving a point cloud, it is possible to place B and C in a virtual meeting space and transmit the entire virtual space to B and C in the form of a third person or a first person.
  • David (D) participating, B, C, and D can freely talk to each other in the space of A.
  • FIG. 22 shows an XR videoconferencing extension according to embodiments.
  • the MRF/MCU can receive each data and process one data, and its schematic diagram is represented as shown in FIG. 22.
  • B, C, and D deliver the acquired point cloud data to MRF/MCU.
  • Each received data forms one unit frame by transcoding and creates a scene that can compose the data of the aggregated points.
  • the composition of the scene is given to the person who requested hosting among B, C, and D, and in general, a point space can be created by forming various scenes.
  • MRF/MCU transmits all or part of the point cloud data based on the received data information and the camera Viewpoint and Viewport requested by B, C, and D. can be conveyed
  • Figure 23 shows XR videoconferencing extensions according to embodiments.
  • B who has host authority, can share his data or screen with conference participants.
  • Data that can be shared includes media that can be delivered to a third party, such as overlay form, independent screen, data, etc., other than image dialogue.
  • B transmits the data to be shared to the MRF/MCU, and C and D can receive the shared data by their own request.
  • SDP can be used to determine the number of Overlays or Laying, and capability must be measured whether all data can be received during the Offer/Answer process and whether all data to be delivered can be received. This process can be determined at the beginning of participation in multiple conferences, and data processing capability for each user can be confirmed when a telephone network is created when a data sharing function must be provided by default.
  • Sharing data is generally created to share some or all of the screens of applications running in the host during a conversation, such as presentation files, excel files, and desktop screens. The generated data is compressed or the resolution is converted and delivered to the user who wants to receive it.
  • FIG. 24 shows an example of a Point Cloud Encoder according to embodiments according to embodiments.
  • FIG. 24 shows the GPCC encoder of FIG. 9 in detail.
  • the point cloud encoder converts point cloud data (eg, positions of points and/or attributes) and perform encoding operations.
  • point cloud data eg, positions of points and/or attributes
  • the point cloud content providing system may not be able to stream the corresponding content in real time. Therefore, the point cloud content providing system may reconstruct the point cloud content based on the maximum target bitrate in order to provide it according to the network environment.
  • the point cloud encoder may perform geometry encoding and attribute encoding. Geometry encoding is performed before attribute encoding.
  • a point cloud encoder includes a transformation coordinates (240000), a quantization unit (Quantize and Remove Points (Voxelize), 240001), an analyze octree (240002), a surface approximation analysis unit ( Analyze Surface Approximation, 240003), Arithmetic Encode, 240004, Reconstruct Geometry, 240005, Transform Colors, 40006, Transfer Attributes, 240007, RAHT Transformation unit 40008, LOD generation unit (Generated LOD, 240009), lifting conversion unit (Lifting) 240010, coefficient quantization unit (Quantize Coefficients, 240011), and/or Arithmetic Encode (240012).
  • Geometry encoding may include octree geometry coding, direct coding, trisoup geometry encoding, and entropy encoding. Direct coding and trisup geometry encoding are applied selectively or in combination. Also, geometry encoding is not limited to the above example.
  • a coordinate system conversion unit 40000 receives positions and converts them into a coordinate system.
  • the positions may be converted into positional information in a 3D space (eg, a 3D space expressed in XYZ coordinates).
  • Location information in a 3D space may be referred to as geometry information.
  • a quantization unit 40001 quantizes geometry.
  • the quantization unit 40001 may quantize points based on minimum position values of all points (for example, minimum values on each axis for the X axis, Y axis, and Z axis).
  • the quantization unit 40001 multiplies the difference between the minimum position value and the position value of each point by a preset quatization scale value, and then performs a quantization operation to find the nearest integer value by performing rounding or rounding.
  • one or more points may have the same quantized position (or position value).
  • the quantization unit 40001 performs voxelization based on quantized positions to reconstruct quantized points.
  • points of point cloud content may be included in one or more voxels.
  • the quantization unit 40001 may match groups of points in the 3D space to voxels.
  • one voxel may include only one point.
  • one voxel may include one or more points.
  • the position of the center of a corresponding voxel may be set based on the positions of one or more points included in one voxel.
  • attributes of all positions included in one voxel may be combined and assigned to the corresponding voxel.
  • the octree analyzer 240002 performs octree geometry coding (or octree coding) to represent voxels in an octree structure.
  • the octree structure represents points matched to voxels based on an octal tree structure.
  • the surface approximation analysis unit 240003 may analyze and approximate an octree.
  • Octree analysis and approximation according to embodiments is a process of analyzing to voxelize a region including a plurality of points in order to efficiently provide octree and voxelization.
  • Arithmetic encoder 240004 entropy encodes the octree and/or the approximated octree.
  • the encoding method includes an Arithmetic encoding method.
  • a geometry bitstream is created.
  • Color conversion unit 240006, attribute conversion unit 240007, RAHT conversion unit 40008, LOD generation unit 240009, lifting conversion unit 240010, coefficient quantization unit 240011 and/or Arithmetic encoder 240012 performs attribute encoding.
  • one point may have one or more attributes. Attribute encoding according to embodiments is equally applied to attributes of one point. However, when one attribute (for example, color) includes one or more elements, independent attribute encoding is applied to each element.
  • Attribute encoding may include color transform coding, attribute transform coding, region adaptive hierarchical transform (RAHT) coding, interpolaration-based hierarchical nearest-neighbour prediction-prediction transform coding, and interpolation-based hierarchical nearest transform (RAHT) coding.
  • RAHT region adaptive hierarchical transform
  • RAHT interpolaration-based hierarchical nearest-neighbour prediction-prediction transform
  • RAHT interpolation-based hierarchical nearest transform
  • -neighbor prediction with an update/lifting step (Lifting Transform)) coding may be included.
  • the above-described RAHT coding, predictive transform coding, and lifting transform coding may be selectively used, or a combination of one or more codings may be used.
  • attribute encoding according to embodiments is not limited to the above-described example.
  • the color conversion unit 240006 performs color conversion coding to convert color values (or textures) included in attributes.
  • the color conversion unit 240006 may convert the format of color information (for example, convert RGB to YCbCr).
  • An operation of the color conversion unit 240006 according to embodiments may be optionally applied according to color values included in attributes.
  • the geometry reconstructor 240005 reconstructs (decompresses) an octree and/or an approximated octree.
  • the geometry reconstructor 240005 reconstructs an octree/voxel based on a result of analyzing the distribution of points.
  • the reconstructed octree/voxel may be referred to as reconstructed geometry (or reconstructed geometry).
  • the attribute transformation unit 240007 performs attribute transformation for transforming attributes based on positions for which geometry encoding has not been performed and/or reconstructed geometry. As described above, since attributes depend on geometry, the attribute conversion unit 240007 can transform attributes based on reconstructed geometry information. For example, the attribute conversion unit 240007 may convert an attribute of a point at a position based on a position value of a point included in a voxel. As described above, when the position of the central point of one voxel is set based on the positions of one or more points included in one voxel, the attribute conversion unit 240007 transforms attributes of one or more points. When tri-soup geometry encoding is performed, the attribute conversion unit 240007 may transform attributes based on tri-soup geometry encoding.
  • the attribute conversion unit 240007 is an average value of attributes or attribute values (for example, color or reflectance of each point) of neighboring points within a specific position/radius from the position (or position value) of the center point of each voxel. Attribute conversion can be performed by calculating .
  • the attribute conversion unit 240007 may apply a weight according to the distance from the central point to each point when calculating the average value. Therefore, each voxel has a position and a calculated attribute (or attribute value).
  • the attribute conversion unit 240007 may search for neighboring points existing within a specific location/radius from the position of the center point of each voxel based on the K-D tree or the Morton code.
  • the K-D tree is a binary search tree and supports a data structure that can manage points based on location so that a quick Nearest Neighbor Search (NNS) is possible.
  • the Morton code is generated by expressing coordinate values (for example, (x, y, z)) representing the three-dimensional positions of all points as bit values and mixing the bits. For example, if the coordinate value indicating the position of the point is (5, 9, 1), the bit value of the coordinate value is (0101, 1001, 0001).
  • the attribute conversion unit 40007 may sort points based on Molton code values and perform a nearest neighbor search (NNS) through a depth-first traversal process. After the attribute transformation operation, if a nearest neighbor search (NNS) is required in another transformation process for attribute coding, a K-D tree or Morton code is used.
  • NSS nearest neighbor search
  • the converted attributes are input to the RAHT conversion unit 40008 and/or the LOD generation unit 240009.
  • the RAHT conversion unit 240008 performs RAHT coding for predicting attribute information based on reconstructed geometry information. For example, the RAHT converter 240008 may predict attribute information of a node at a higher level of the octree based on attribute information associated with a node at a lower level of the octree.
  • An LOD generator 240009 generates a level of detail (LOD) to perform predictive transform coding.
  • LOD according to embodiments is a degree representing detail of point cloud content. A smaller LOD value indicates lower detail of point cloud content, and a larger LOD value indicates higher detail of point cloud content. Points can be classified according to LOD.
  • the lifting transform unit 240010 performs lifting transform coding for transforming attributes of a point cloud based on weights. As described above, lifting transform coding may be selectively applied.
  • the coefficient quantization unit 240011 quantizes attribute-coded attributes based on coefficients.
  • the Arithmetic encoder 240012 encodes the quantized attributes based on Arithmetic coding.
  • the elements of the point cloud encoder are not shown in the figure, hardware, software, including one or more processors or integrated circuits configured to communicate with one or more memories included in the point cloud providing device, It may be implemented in firmware or a combination thereof.
  • One or more processors may perform at least one or more of operations and/or functions of elements of the point cloud encoder.
  • one or more processors may operate or execute a set of software programs and/or instructions to perform operations and/or functions of elements of the point cloud encoder.
  • One or more memories may include high speed random access memory, and may include non-volatile memory (eg, one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid state memory devices). memory devices (Solid-state memory devices, etc.).
  • FIG. 25 shows an example of a point cloud decoder according to embodiments.
  • the point cloud decoder may perform a decoding operation that is a reverse process of the encoding operation of the point cloud encoder.
  • a point cloud decoder can perform geometry decoding and attribute decoding. Geometry decoding is performed before attribute decoding.
  • a point cloud decoder includes an arithmetic decoder (25000), an octree synthesizer (synthesize octree, 25001), a surface approximation synthesizer (synthesize surface approximation, 25002), and a geometry reconstructor (reconstruct geometry). . ), an inverse lifting unit (25009), and/or an inverse transform colors (25010).
  • the Arismetic decoder 25000, the octree synthesis unit 25001, the surface deoxymation synthesis unit 25002, the geometry reconstruction unit 25003, and the coordinate system inverse transformation unit 25004 may perform geometry decoding.
  • Geometry decoding according to embodiments may include direct coding and trisoup geometry decoding. Direct coding and tri-sup geometry decoding are selectively applied. Also, geometry decoding is not limited to the above example, and is performed in the reverse process of geometry encoding.
  • the Arismetic decoder 25000 decodes the received geometry bitstream based on Arithmetic coding.
  • the operation of the Arithmetic Decoder 25000 corresponds to the reverse process of the Arithmetic Encoder 240004.
  • the octree synthesizer 25001 may generate an octree by obtaining an occupancy code from a decoded geometry bitstream (or information on geometry secured as a result of decoding). A detailed description of the occupancy code is as described with reference to FIG. 24 .
  • the surface deoxymation synthesis unit 25002 may synthesize a surface based on the decoded geometry and/or the generated octree.
  • the geometry reconstructor 25003 may regenerate geometry based on surfaces and/or decoded geometry. As described in FIG. 24, direct coding and trisup geometry encoding are selectively applied. Accordingly, the geometry reconstructor 251003) directly brings and adds position information of points to which direct coding is applied. In addition, when tri-soup geometry encoding is applied, the geometry reconstructor 25003 may restore the geometry by performing reconstruction operations of the geometry reconstructor 240005, for example, triangle reconstruction, up-sampling, and voxelization operations. there is.
  • the reconstructed geometry may include a point cloud picture or frame that does not include attributes.
  • the coordinate system inverse transformation unit 25004 may obtain positions of points by transforming the coordinate system based on the restored geometry.
  • the Arithmetic Decoder 25005, Inverse Quantization Unit 25006, RAHT Transformation Unit 25007, LOD Generator 25008, Inverse Lifting Unit 25009, and/or Color Inverse Transformation Unit 25010 perform attribute decoding.
  • can Attribute decoding according to embodiments includes Region Adaptive Hierarchial Transform (RAHT) decoding, Interpolaration-based hierarchical nearest-neighbour prediction-Prediction Transform decoding, and interpolation-based hierarchical nearest-neighbour prediction with an update/lifting transform. step (Lifting Transform)) decoding.
  • RAHT Region Adaptive Hierarchial Transform
  • Interpolaration-based hierarchical nearest-neighbour prediction-Prediction Transform decoding and interpolation-based hierarchical nearest-neighbour prediction with an update/lifting transform.
  • step (Lifting Transform)) decoding The above three decodings may be selectively used, or a combination of one or more decodings may be used.
  • the Arismetic decoder 25005 decodes the attribute bitstream by Arithmetic coding.
  • the inverse quantization unit 25006 inverse quantizes a decoded attribute bitstream or information about an attribute obtained as a result of decoding, and outputs inverse quantized attributes (or attribute values). Inverse quantization may be selectively applied based on attribute encoding of the point cloud encoder.
  • the RAHT conversion unit 25007, the LOD generation unit 25008, and/or the inverse lifting unit 25009 may process the reconstructed geometry and inverse quantized attributes.
  • the RAHT converter 11007, the LOD generator 11008, and/or the inverse lifter 11009 may selectively perform a decoding operation corresponding to the encoding of the point cloud encoder.
  • the color inverse transform unit 11010 performs inverse transform coding for inverse transform of color values (or textures) included in decoded attributes.
  • An operation of the inverse color transform unit 11010 may be selectively performed based on an operation of the color transform unit 240006 of the point cloud encoder.
  • Elements of the point cloud decoder of FIG. 25 are hardware including one or more processors or integrated circuits configured to communicate with one or more memories included in the point cloud providing device, although not shown in the drawing. , may be implemented in software, firmware, or a combination thereof.
  • One or more processors may perform at least one or more of the operations and/or functions of the elements of the point cloud decoder of FIG. 25 described above.
  • one or more processors may operate or execute a set of software programs and/or instructions to perform operations and/or functions of elements of the point cloud decoder of FIG. 25 .
  • 26 shows an example of an operational flowchart of a transmitting device according to embodiments.
  • Each component of the transmitting device may correspond to software, hardware, processor and/or a combination thereof.
  • An operation process of a transmitter for compressing and transmitting point cloud data using V-PCC may be as shown in the drawing.
  • a point cloud data transmission device may be referred to as a transmission device or the like.
  • a patch for mapping a 2D image of a point cloud is created.
  • additional patch information is generated, and the corresponding information can be used in geometry image generation, texture image generation, and geometry restoration processes for smoothing.
  • the generated patches undergo a patch packing process of mapping into a 2D image.
  • an occupancy map can be generated, and the occupancy map can be used in a geometry image generation, texture image generation, and geometry restoration process for smoothing.
  • the geometry image generation unit 26002 generates a geometry image using the additional patch information and the occupancy map, and the generated geometry image is encoded into a single bitstream through video encoding.
  • the encoding pre-processing 26003 may include an image padding procedure.
  • the generated geometry image or the geometry image regenerated by decoding the encoded geometry bitstream may be used for 3D geometry reconstruction and may then undergo a smoothing process.
  • the texture image generation unit 26004 may generate a texture image using the (smoothed) 3D geometry, a point cloud, additional patch information, and an occupancy map.
  • the generated texture image may be coded into one video bitstream.
  • the metadata encoding unit 26005 may encode additional patch information into one metadata bitstream.
  • the video encoder 26006 may encode the occupancy map into one video bitstream.
  • the multiplexer 26007 multiplexes the video bitstream of the created geometry, texture image, and occupancy map and the additional patch information metadata bitstream into one bitstream.
  • the transmitter 26008 may transmit the bitstream to the receiver.
  • the generated geometry, texture image, video bitstream of the occupancy map and additional patch information metadata bitstream may be generated as a file with one or more track data or encapsulated into segments and transmitted to a receiver through a transmitter.
  • FIG. 27 shows an example of an operation flowchart of a receiving device according to embodiments.
  • Each component of the receiving device may correspond to software, hardware, processor, and/or a combination thereof.
  • An operation process of a receiving end for receiving and restoring point cloud data using V-PCC may be as shown in the drawing.
  • the operation of the V-PCC receiver may follow the reverse process of the operation of the V-PCC transmitter of FIG. 26 .
  • a device for receiving point cloud data may be referred to as a receiving device or the like.
  • the bitstream of the received point cloud is demultiplexed by the demultiplexer 27000 into compressed geometry image, texture image, and video bitstreams of the occupancy map and additional patch information metadata bitstream after file/segment decapsulation. do.
  • a video decoder 27001 and a metadata decoder 27002 decode the demultiplexed video bitstreams and metadata bitstreams.
  • the 3D geometry is restored using the geometry image decoded by the geometry restoration unit 27003, the occupancy map, and additional patch information, and then a smoothing process is performed by the smoother 27004.
  • a color point cloud image/picture may be reconstructed by the texture restoration unit 27005 by assigning a color value to the smoothed 3D geometry using a texture image.
  • a color smoothing process can be additionally performed to improve objective/subjective visual quality, and the modified point cloud image/picture derived through this process is rendered through a rendering process (ex. by point cloud renderer). displayed to the user through Meanwhile, the color smoothing process may be omitted in some cases.
  • FIG. 28 shows an XR device 100c, a wireless communication system including an encoder/decoder (FIG. 2), a point cloud data processing system connected to a communication network (FIGS. 8 to 14), and a device for transmitting/receiving point cloud data (FIGS. 17, 24- 27) shows an example of interactive point cloud data processed by the method/device according to the corresponding embodiments.
  • the method/apparatus for transmitting and receiving point cloud data according to embodiments may compress and restore interactive point cloud data as shown in FIG. 28 .
  • a method/device for transmitting/receiving point cloud data according to embodiments may be referred to as a method/device according to embodiments.
  • a method/device may include and perform a method of generating a body-based rotation axis and parameters for a real-time virtual conversation and conferencing system (Method of shoulder-neck reference axis for XR conversational systems).
  • Embodiments include an efficient human recognition method of a realistic virtual conversation and conferencing system capable of acquiring a user's face in 3D in real time and interactively and having a conversation in a virtual environment.
  • a camera field that can recognize multiple people
  • a point camera that can physically acquire the user's shape or face
  • a color camera and a camera that can express depth
  • a method of recognizing and classifying objects of people or objects is considered important.
  • Most 3D technology methods use a sensor recognition method using LiDAR and a method of recognizing point cloud data acquired in real time as objects such as animals, people, and cars.
  • the embodiments may include an object recognition method capable of quickly acquiring points and obtaining features in an environment in which object recognition and motion are determined based on a fixed screen.
  • Embodiments include MTSI's Virtual Reality (VR) of 3GPP TS 26.114 and XR (Extended Reality) of TR26.928 and include the 3GPP TS26.223 standard that discusses IMS-based Telepresence.
  • VR Virtual Reality
  • XR Extended Reality
  • 3GPP TS26.223 3GPP TS26.223 standard that discusses IMS-based Telepresence.
  • a mobile or separate receiver can participate in a immersive conference by attending a virtual conference.
  • Examples where interactive data can be delivered in a media format include 5G Media Architecture 3GPP TS26.501, TS26.512, TS26.511. Additionally, related standards may include TS26.238, TS26.939, TS24.229, TS26.295, TS26.929, and TS26.247 for the specification of services.
  • the existing method for recognizing objects in real time through an encoder/decoder obtains a point cloud in a two-dimensional form and acquires it in a bird-view or front-view form. and form a depth map in each acquisition method.
  • the RGP camera uses the formed point and depth to form a 3D object and performs an algorithm for determining the object based on the acquired information.
  • a bounding box is created and an object is recognized within the box. Since points existing in the point cloud do not exchange information with each other, a method of tracking the shape of an object using an object recognized in a box and an existing database is widely used.
  • the pre-processing process and the process of learning and recognizing objects are less required than in the real-time automation system.
  • the recognition form of an object is limited to a person or an object, and a relatively fixed form of point cloud is formed rather than a changing object form.
  • a person's perception creates a criterion of points based on a person's full body shape.
  • the axis of rotation of the person is created based on the spine of the pelvis based on the waist, stomach, and hands where points are relatively dense.
  • a skeleton is formed by averaging the density of points at the center of the pelvis and arbitrary points on the head, shoulders, hands, legs, and feet. The skeleton value is then applied to the avatar of the 3D graphic to express the movement or movement of the graphic image or is used for recognizing the movement of objects in games.
  • the method/apparatus according to the embodiments is a fast recognition method that does not require a pre-processing function by using the characteristics of an interactive camera and using the fact that the main user of the user is a person and the change of the object included in the camera is relatively small. devised about The devised method uses the initial recognition method using the angle of the head, shoulders and neck that proceeds interactively rather than the waist and spine of a person. The angle can be easily obtained using the angle of the vector expressed on the 2D screen of the point, and the reference point can be easily created in the 3D conversion system, which can simplify the processing speed in the real-time 3D interactive system.
  • the method/device recognizes a person based on the neck and shoulders of a 3D object recognized in a 2D plane for low computation and low latency processing of interactive point cloud data.
  • actual point data requires data information to recognize whether the 2D screen of the input point cloud is a person or an object. Since information about objects other than people is not transmitted in 3D real-time conversation, the location of the central object can be roughly identified with a set of points centered on the camera.
  • the figure below represents various cases in which a person can be recognized on a 2D screen when a real 3D recognition camera is applied.
  • the recognition structure of an object shown in front of a camera can be expressed differently according to the shape of the shoulder and face of a real person, and the screen is transmitted based on the upper body, unlike the whole body point.
  • information of a 2D space and 3D depth information using an IR camera may be obtained in advance.
  • 3D depth information is used to express the dimension of an object and has depth information of points on a 2D plane. Therefore, noise of surrounding objects can be removed in advance through the intersection of the outermost depth data of the objects in the point cluster, and the primary filtered information in the 2D picture can be obtained.
  • the filtering process proceeds in two steps.
  • 29 shows an example of filtering according to embodiments.
  • the picture determined by the three filtering can be schematized as shown in FIG.
  • FIG. 30 shows a vector configuration according to embodiments.
  • FIG. 29 shows that the data of FIG. 29 is generated in various types of vector configurations.
  • a method/apparatus creates a vector of point cloud data as shown in FIG. 30, divides the data into 16 pieces within a point cloud box range, and detects a dense area based on a distribution map of points, as shown in FIG. 31. and can express
  • the method/apparatus according to the embodiments may generate a central axis according to an object of an object as shown in FIG. 31 and may generate a head-vertebral angle and an arbitrary shoulder angle.
  • 32 shows an example of generating an axis for an object of interactive point cloud data according to embodiments.
  • the method/device may obtain a central axis and a center point of a person on an interactive 2D screen as shown in FIG. 32 . If the Shoulder Axis is not found, it can be recognized as an object rather than a person, but only the Rotation Head Spine Axis is defined based on the center point of the point. When two axes are generated, they can be recognized as Head Spine and Shoulder Axis, and form a central coordinate and a shoulder reference. If only one reference is recognized in two axes, the existing data processing method or data pre-processing is omitted, and the recognized data is saved in an interactive format and transmitted. In addition, when all data is not recognized, changes in action parameters that can recognize human actions may not be applied.
  • a crystallization-based centroid coordinate and transformation system is used to find the angle of the Shoulder Axis.
  • the angle of the head and shoulders is used for each transformation that corrects the front of the user's screen, or is used as a correction value for 2D tilt auto transformation and 3D graphic mapping.
  • the method of finding the optimal angle by stochastic distribution represents the angle of the vector that meets the reference head/shoulder angle, and is 50% within the range of the point cloud box formed based on the non-regression method. All the angles of the vector can be extracted from the places where the above points are concentrated.
  • 33 illustrates axis selection, estimation, transformation, angle generation, and rotation matrix generation according to an embodiment.
  • Theta_k represents an angle between one vector k_1 and k_2 in the k-th box, and each vector is (x_k1, y_k1, z_k1) and (x_k2, y_k2, z_k2) x, It is composed of y and z-axis position values.
  • the T matrix is a transformation matrix and generally consists of a diagonal matrix, but when a transformation bias is generated, a transformation constant may be considered after zero padding. When bias is generated, conversion matrix T may be the same as in step 3302.
  • a_1, a_2, and a_3 represent weight values corresponding to the first, second, and third input values
  • t_1, t_2, and t_3 represent addition values corresponding to the first, second, and third input values.
  • ⁇ Diag[ ⁇ ... Among ⁇ ] ⁇ angles the variable is processed only when it is the same as the initial input Theta value (eg ⁇ ), and the Head/Shoulder Angle Alpha_i ⁇ HS value of the ith 2D frame is calculated as in step 3303.
  • the rotation angle is used as an initial visual field correction value when tracking the front of a person.
  • the rotation conversion can be converted into (x, y) axis, (y, z) axis, or (z, x) axis according to the depth of view and the position of the box of the point.
  • the Head/Shoulder Angle Alpha_i ⁇ HS value can convert x, y, z points by rotation as shown below, and the rotation matrix is defined as in step 3304.
  • step 3304 Psi represents the rotation of the z axis, theta represents the rotation of the y axis, and phi represents the rotation value of the x axis, and each value can be applied by substituting Alpha_i ⁇ HS.
  • the transmitting device and the receiving device according to the embodiments may provide the following effects.
  • the initial data recognition method is based on the point distribution rather than the database method, so the human shape can be recognized quickly, efficiently and accurately.
  • the formed central axis is simple and fast compared to data learning recognition, and easily obtains a correction angle capable of rotation correction, reducing the preprocessing function of calculation and obtaining a more accurate rotation initial value.
  • Objects on the entire screen can be divided and used as fixed reference information for calculation criteria when switching to global coordinates.
  • the generated simplified object may be used as a reference value for tracking an elaborated object that is tracked based on an object as needed.
  • 34 shows a method of converting point cloud data according to embodiments.
  • FIG. 34 is a wireless communication system including an XR device 100c, an encoder/decoder (FIG. 2), a point cloud data processing system connected to a communication network (FIGS. 8 to 14), and a device for transmitting and receiving point cloud data (FIGS. 17, 24- 27) shows a method/apparatus according to embodiments corresponding to converting point cloud data for conversation convenience.
  • a method/device may include and perform a method of tracking of eyes and facial direction for real-time XR conversational systems for a real-time virtual conversation and conferencing system.
  • Embodiments further include a method for efficiently tracking and recognizing human eyes in an immersive virtual conversation and conferencing system capable of 3D acquiring a user's face in real time and interactively and having a conversation in a virtual environment.
  • a camera field that can recognize multiple people
  • a point camera that can physically acquire the user's shape or face
  • a color camera and a camera that can express depth
  • a method of recognizing and classifying objects of people or objects is considered important.
  • Most 3D technology methods use a sensor recognition method using LiDAR and a method of recognizing point cloud data acquired in real time as objects such as animals, people, and cars.
  • a person's eyes and mouth are important elements that can recognize a person's psychology or mood.
  • a user can feel the realism of a conversation just by looking at a certain place, and it can be an important clue to behavioral elements that cannot be expressed verbally.
  • Eye-tracking technology is primarily designed to prevent accidents in self-driving cars by looking into the driver's eyes and recognizing eye patterns.
  • many technologies are designed to track the direction of the eyes.
  • Embodiments may further include a method of expressing a conversation with a person in a realistic manner by comprehensively extracting features of the eye, which is a standard of conversation, the direction of the face, and the direction of the nose, for real-time conversation with a person.
  • the feature method is a method of recognizing a person's face by extracting facial features, but when the face is rotated more than 45 degrees, the feature may not be recognized.
  • the appearance method is a method that utilizes the position of the head or the face of an individual by using prior data information. It is easy to recognize a person, but errors in recognition occur when light or strong shadows occur. In addition, the appearance method requires a lot of prior information to learn data.
  • the 3D recognition method uses a method of making a part of a patch into a database and tracking it, a method of averaging multiple people's faces and storing them in a graphic card for comparison, and a method of abbreviating simplified information and using it for an avatar.
  • high-resolution images are required to track eyes, and elliptical images of eyes looking straight ahead can be tracked depending on the performance of the camera, but high-resolution three-dimensional information is required for imaging.
  • This patent relates to a method for minimizing prior information in relation to the above and recognizing a human face in real time and determining a direction.
  • a method to track the main characteristics of a person obtained in 2D and 3D and determine the direction a person is looking from a large directional perspective.
  • this method it is possible to quickly determine the reference axis and the angle of the direction in real-time conversation, and it helps to efficiently create a reference axis in human-to-human conversation.
  • Embodiments allow 3D point cloud data to be processed within a fixed range for low computation and low latency processing of objects recognized as 3D.
  • the drawing below shows the recognition on the screen when a real 3D recognition camera is applied.
  • the camera acquires surface area information of an object using a 2D or infrared camera, and an additional device such as a distance measurement capable of measuring depth may be used with the infrared camera.
  • the initial recognition method of an object is [simplicity of recognition method: Box is formed at a fixed position in a 6-sided 3-dimensional space within the Field of View, and the unit of the object is based on a fixed form regardless of the location of the object or point or the shape of the image.
  • T is a transformation matrix
  • RT is a three-dimensional rotation matrix
  • t is a translation transformation vector
  • 0 represents a zero vector.
  • u_n and v_n are median values obtained on a two-dimensional plane and are values used to predict the median value.
  • c_x, and c_y, f_x, f_y are intrinsic camera parameters, a pinhole camera model, a principal point and a focal length, and a schematic diagram of their values is shown in FIG. and the following
  • 35 illustrates a camera point, an image point, and an image plane according to embodiments.
  • o_x, o_y, and o_z are offset movement values within the center reference and are determined as arbitrary values by the conversion system or movement value.
  • Points that are determined without a database are generally created by the center pinhole of the camera as shown in the figure above.
  • a picture of the standardized data can be expressed as shown in FIG.
  • 36 shows a criterion of point cloud data according to embodiments.
  • Line 3600 is a schematic diagram of the reflection of a wave obtained as line 3601 after being fired by a laser. Assuming that a 3D solid rectangle is obtained as a 2D plane among 3D points, the arrival and reflection of the point is virtually created.
  • the initial point is created based on the currently widely used center principal point. If an axis is formed, only the depth map information of the set bounding box where points excluding the shoulder axis exist based on the head spine axis is filtered (box 3602).
  • FIG. 37 shows a relationship between a point, a camera, and a laser projector according to embodiments.
  • the d (distance) value of the z-axis within the projector can be measured with the above-mentioned value, and the formula for obtaining d is defined as the 3800 method of FIG. 38.
  • u ⁇ d_n and v ⁇ d_n represent u and v vectors corresponding to d ⁇ n.
  • d ⁇ n represents the distance constant according to the reflection distance of the object plane and the reference plane
  • d ⁇ n represents the optimal value that exists in the set of alphabet D that exists in the 3602 bounding box.
  • the constant z represents the distance between the camera for measuring the distance and the actual captured screen
  • z' represents the distance of the screen where the loss of the actually measured distance occurs.
  • the proposed method instead of determining the image of an existing point as the median value of the camera, it is determined by a simple formula, and the actual measurement reference value of the z-axis is determined as in the 3801 method of FIG. 38 as follows.
  • z_0 is a fixed constant
  • f_z is a focal length
  • d (distance) represents a projection distance difference between a reference plane and an object plane e with respect to the camera.
  • the method according to the embodiments can quickly acquire a reference point and an optimal direction for a person, but since it is not based on human face data, the following errors may occur. 1) If a person wears glasses or makeup, the starting position may fluctuate compared to the median value. 2) If the angle of looking at the object is not the front, an error may occur in initial data acquisition. 3) If you are in front of the camera with a pointed object such as a finger or a straw in front of your face, the starting point can be based on the pointed object.
  • the point that occurs as above is the existing [Box formation at a fixed position in the 6-sided 3-dimensional space within the Field of View/how to calculate the unit of an object based on a fixed shape regardless of the location of an object or point or the shape of an image] and [Omit the pre-processor of the 3D video to generate the human spine and shoulder axis based on the data as it is input, and extract the automatic conversion Rotation Angle (calculate the 2D vector angle of the point dense area. Rotation angle for frontal tracking. automatic extraction), use as an initial value for the calculation standard when converting the Global Coordinate through a 2- or 3-dimensional converter for frontal data acquisition] to correct errors or easily compensate by general methods.
  • the direction value will have a value similar to that of the center point.
  • the above error may occur in the process of acquiring the initial data and converging in the optimal direction, but the speed of convergence does not significantly differ from the median value.
  • the resolution of a set of stored point clouds should be high.
  • the resolution of the point cluster is determined by the performance of the camera to be transmitted or an error occurs due to the rendering method. Therefore, the general gaze of a person is determined by the face and the vector R.
  • the eye tracking method starts by tracking the state of the eye, and can form blind areas corresponding to the left eye and the right eye on the human face in the same way as the object tracking method.
  • XR device 100c a wireless communication system including an encoder/decoder (Fig. 2), a point cloud data processing system connected to a communication network (Figs. 8 to 14), a point cloud data transmitting and receiving device (Figs. 17 and 24-27), etc.
  • a method/device according to corresponding embodiments may track an eye, as shown in FIG. 39 .
  • a mask sampling filter is used to track the 3D sampling eye in the plane of the squared eye.
  • the mask sampling filter requires data based on the shape of the eye, samples close to a circular shape are acquired within a two-dimensional plane.
  • Acquisition method can be performed in a list square (Least Square) method, and the method is determined as shown in FIG.
  • 40 shows a method of obtaining a sampling eye according to embodiments.
  • a_l, b_l, a_r, and b_r represent the center points of the left eye and the right eye, and R refers to a fitting circle radius that can replace the black ruler of the eye.
  • X_i and y_i represent points present in the point alphabet E present in each eye. Assuming that the direction vector of a person's nose is v_n, and the direction vectors of both eyes are v_l and v_r, the information on the direction recognized by the person is finally calculated as in the 4001 method.
  • the transmitting device and the receiving device according to the embodiments may provide the following effects.
  • operation is not limited to the type of point cloud or the capture device.
  • the proposed method can be easily linked with geometry information used in general geometry-based point cloud or video-based point cloud compression methods.
  • the method/apparatus may include and perform a method of merging different point cloud view over 5G networks in a real-time realistic virtual conversation using a 5G network.
  • Embodiments are when 3D data is received from multiple places when a 5G network is used in a realistic virtual conversation and conference system capable of acquiring a user's face in 3D in real time and bidirectionally and having a conversation in a virtual environment. It is about how to synthesize that data.
  • a camera field that can recognize multiple people
  • a point camera that can physically acquire the user's shape or face
  • a color camera and a camera that can express depth
  • a method of recognizing and classifying objects of people or objects is considered important.
  • Most 3D technology methods use a sensor recognition method using LiDAR and a method of recognizing point cloud data acquired in real time as objects such as animals, people, and cars.
  • a service network In order to achieve interactive service of real-time point cloud, a service network must be premised.
  • the service using the 5G network connects to the Internet or a wireless network to deliver bi-directional user information and acquire initial data. Acquired data includes all of acquiring overall information about what kind of user the user is and what kind of service the user wants.
  • the real-time point cloud can perform a service using a network to be previously delivered in order to acquire the service. Depending on the flow of planning the service, it may be transmitted as media data or may be transmitted using a telephone network.
  • point data is allocated from two or more cameras or two or more resources, it is required to combine the input data into one structure and deliver it to the user.
  • the combining method of the point cloud may be a method of simply combining points, but a modified method rather than a simple combining method may be required in order to recognize objects in real time and transmit higher quality realistic data.
  • Embodiments include MTSI's Virtual Reality (VR) of 3GPP TS 26.114 and XR (Extended Reality) of TR26.928 and include the 3GPP TS26.223 standard that discusses IMS-based Telepresence. Through this standard, a mobile or separate receiver can participate in a immersive conference by attending a virtual conference. If interactive data can be delivered in media format, this patent covers 5G Media Architecture 3GPP TS26.501, TS26.512, TS26.511. Additionally, related standards may include TS26.238, TS26.939, TS24.229, TS26.295, TS26.929, and TS26.247 for the specification of services. Also, technologies related to data processing include ISO/IEC JTC 1/SC 29/WG3 NBMP.
  • Embodiments propose a point combining method suitable for an XR Conversational service requiring real-time conversation in a threshold environment in which the above related points are combined.
  • the proposed method acquires point data in real time and uses a method of combining the acquired data in real time, and the combined data enables two-way data to be exchanged through the 5G network.
  • Embodiments are extended and used for two techniques: partial face neck orient calibration and eye nose direction.
  • the following information can be obtained in real time.
  • the method/device includes: 1. Index of a point existing in a bounding box 2. Point depth information 3. Reference axes of the head and shoulders and automatic In relation to rotation angle, eye_nose_direction_calibration (see FIGS. 34 to 40), information such as 4. the direction of a person's character and 5. the direction of a person's eyes can be obtained.
  • the five parameters are information that can be obtained by using a point capture camera to process interactive virtual reality points in real time. Unlike conventional methods, the above information is designed to be suitable for an interactive virtual environment in a way that quickly acquires data and quickly grasps human components.
  • point data may be obtained by taking pictures from multiple angles with a plurality of cameras in a large-scale conference hall instead of one direction of the user's third person.
  • two or more point generating input sets may occur, and there is a need for combining point sets rather than 1:1 delivery by a specific request.
  • the method/device according to the embodiments basically assumes that the user's face is photographed from the front or the back. If the change in the user's face is significant (e.g., one camera shoots the user's front, but another camera is directed from the soles of the feet to the user's face, or from the top of the user's head), the initial user's face
  • a difficulty in combining user data in a data combining method that occurs in an environment in which there is a large difference between different cameras.
  • a conventionally widely used method is used rather than a fast data processing method of a point cloud, and a method of combining a given point set by referring to multiple models or adjusting the location of the combined points by iterative correction is adopted.
  • the metadata index value that can obtain the value must be shared in advance. If such data does not exist, the camera recognizes surrounding objects, analyzes the data combination method, and connects two point data by matching them.
  • Possible reference objects that can exist in the center of a person can be chairs, desks, computers, potted plants, and windows of buildings. After performing the object recognition process by using the existing data information about the object, the data of the point of the human head and the front point can be equally transformed and synthesized/combined with the reference point of the recognized object as the center.
  • a point From one point p, it is possible to configure a set of neighboring points existing within a radius r close to a specific sphere or plane.
  • a point has information about each normal value, and if the normal value of the point p does not exist, the normal vector can be predicted by analyzing the normal value of the neighboring node.
  • a normal vector of a 2x2 Matrix A composed of is predicted and calculated as shown in FIG.
  • 41 shows normal vectors of a matrix for neighboring points according to embodiments.
  • XR device 100c a wireless communication system including an encoder/decoder (Fig. 2), a point cloud data processing system connected to a communication network (Figs. 8 to 14), a point cloud data transmitting and receiving device (Figs. 17 and 24-27), etc.
  • a method/apparatus according to corresponding embodiments may generate a normal vector of a metric for combining points having similar characteristics, as shown in FIG. 41 .
  • V represents an Eigen Vector and Sigma represents an Eigen Value.
  • Vector V generated in the neighboring node is used as the normal value. If the normal values and directions of all nodes are determined, based on basic data such as point position and normal information [face neck orientation: see Figs. 28 to 33] and [eye nose direction calibration: see Figs. 34 to 40] Through the process of forming the main reference feature (Reference Feature). For XR Conversational, a person-centered feature can be obtained. First, the vector result value of the spine of the user's shoulder is made as a reference axis in a two-dimensional plane, an example of which is shown in FIG.
  • FIG. 42 shows an example of generating a planar reference axis from vectors related to the user's shoulder and axial vertebrae according to embodiments.
  • the XR device 100c may generate axes for the shoulder and spine of a human object participating in a conversation based on normal information, five parameters according to embodiments, and a reference feature. .
  • an example of an axis for a person is a figure in which a person's silhouette is formed based on the external information of a point cloud obtained from a random user, and the axis of the person's shoulder and head is determined based on the shaped two-dimensional data. [face neck orientation: see Figs. 28 to 33 1].
  • the two axes in FIG. 42 form a basis axis, such as the x and y axes of a two-dimensional plane, with two axes formed from the human axis, v_s represents a shoulder reference vector, and w_h represents a head spine reference vector. reference vector).
  • the angles of the two basis vectors may or may not be orthogonal.
  • FIG. 43 shows a face point source and an eye point source according to embodiments.
  • the XR device 100c may generate source points related to a face such as the eyes and nose of a human object participating in a conversation.
  • (u_n, v_n) is an optimal point position value representing (or predicted) the human nose obtained in the process of calculating the distance constant according to the reflection distance between the object plane and the reference plane.
  • indicates (a_l, b_l) and (a_r, b_r) represent the center points of the predicted person's left eye and right eye.
  • the circles in FIG. 43 may be sources for determining a person's eyes and nose.
  • 44 shows a vector for a source point according to embodiments.
  • n_l (u_n-x, v_n-y)
  • n_l (a_l-x, b_l-y)
  • n_r (a_r-x, b_r-y)
  • the orientation-based axis configuration has two advantages. One is easy to rotate, so it can be easily combined in various ways based on the axis of the person. Since the axis is a reference point, it is possible to reduce errors caused by detailed movements. If the existing method is based on a set of points, all errors due to combinations or errors of some points must be considered. Based on a total of 3 reference vectors and 2 main reference axes, 3 point reference feature references can be created based on the head and shoulders.
  • the feature reference forms a total of six feature bins as a combination of three vector directions based on two main axes, and the feature bins indicate the degree of repetition or overlap of the points formed. Compare and combine two or more sets of points.
  • HSP Head-Spine Feature Point
  • XR device 100c a wireless communication system including an encoder/decoder (Fig. 2), a point cloud data processing system connected to a communication network (Figs. 8 to 14), a point cloud data transmitting and receiving device (Figs. 17 and 24-27), etc.
  • the method/apparatus according to the corresponding embodiments may generate a Head-Spine Feature Point (HSP) based on the method of FIGS. 43 to 44 as shown in 4500 of FIG. 45 .
  • HSP Head-Spine Feature Point
  • '.' represents the inner product of two vectors.
  • HSP can be calculated as a rotation angle, and the value is calculated as in the 4501 method of FIG.
  • the Shoulder Feature Point (SP) is calculated as in the 4502 method of FIG. 45 .
  • '' represents the inner product of two vectors.
  • SP can be calculated as a rotation angle, and the value is calculated as in the 4503 method.
  • the created 12 feature values can be used in a widely known way. 1) By forming a feature map using histogram-based data accumulation, it is possible to store and categorize feature information composed of step functions. 2) Parameter Restriction can be applied, such as determining the Interval as a criterion between adjacent neighbors within a point using the Sphere radius value, and mathematical conversion is easily possible with Feature distribution. 3) Average using the average and variance values of all points Statistical values based on can be extracted, and unique features can be found using bias values. 4) The generated value can be compared with the existing histogram or reference value using the Kullback-Leibler distance (divergence) model to facilitate the consistency or analysis of the data set.
  • Data is verified through 9 feature references between point sets p and q of data acquired with two or more cameras, and combining can be performed if the two features are similar.
  • the distribution and comparison of all points are composed of the points classified in the feature set, and the error minimization method is generally known as the Iterative Closest Point method, and the conversion formula is the same as the 4504 method.
  • the point p_i of all n point indexes i is subjected to a combining method that satisfies an error constant that minimizes a new q_i value that is combined with the R transformation value and the translation value of T.
  • the method according to the embodiments assumes that objects of the same method are acquired by a plurality of cameras. If the points are combined assuming that there are two people, a phenomenon in which two or more people are combined may occur because the points to be combined cannot be combined by separating the detailed characteristics (personal distinction, etc.) of the person. In order to prevent this phenomenon, it is possible to use a method to minimize errors by adding one or more widely known features (Shape, Sphere, Plane, Edge, Blank, etc.) other than the basic feature. There are also cases in which human bonding does not occur. Data for which basic human characteristics (Head-Spine Axis, Shoulder Axis) are not formed may cause a situation in which it may be difficult to obtain the value due to noise noise or interference.
  • a person's basic axis can be created using the re-acquisition method. If two or more point values are not obtained in the Bounding Box 1) Data error signals can be detected by creating a signal flag such as No Detected. If the flag signal is not detected, an axis is formed and feature values can be extracted. Thirdly, there is a case in which basic feature values are obtained in terms of human characteristics, but nose and eye values are not obtained. In such an environment, the Principal Point of an image is determined as a large set of points such as a person's face, not a person's nose, and data can be transmitted without acquiring detailed eye values. In this case, classification that can be recognized as a person or non-human object or animal within the meta data is required. Since XR Conversational needs to acquire human information and process data in real time, metadata of required errors is also required to a minimum, and possible recognition information is shown in FIG. 46 .
  • XR device 100c a wireless communication system including an encoder/decoder (Fig. 2), a point cloud data processing system connected to a communication network (Figs. 8 to 14), a point cloud data transmitting and receiving device (Figs. 17 and 24-27), etc.
  • a method/device according to corresponding embodiments may generate and transmit metadata as shown in FIG. 46 . If the Coarse Indicator field is 0, the field is No Detected (Human), that is, no human is detected, if the field is 1, it is Coarse Detected (Human), that is, that is human is detected, and if the field is 2, Others , that is, other.
  • Metadata related to FIG. 46 may be created and transmitted in the form shown in FIG. 47 .
  • simple data can be exchanged by generating dictionary information of attributes using a telephone network.
  • Parameters to be connected are transmitted by constructing a data-ized reference template, and elements transmitted according to the form of point cloud data may be transmitted together with data as shown in FIGS. 48-50.
  • Metadata may include media parameters 4800 and feature parameters 4801 as shown in FIG. 48 , and an encoder may transmit a bitstream including point cloud data, media parameters, and feature parameters to a decoder.
  • the media parameter 4800 may include the following elements.
  • Codec Indicates a codec type such as 264/avc or h.265/hevc, and may indicate an image compression type such as PNG or JPG.
  • Chroma Indicates a chroma subsampling type such as yuv420, yuv422, or yuv444.
  • Frame rate Indicates the number of frames per second, such as 30 seconds or 60 seconds.
  • Resolution Indicates a resolution such as 3840x2160, 7680 x 4320, etc.
  • Feature parameter 4801 may include the following elements.
  • Feature extraction method Indicates a feature extraction method such as SIFT, SURF, KAZE, AKAZE, ORB, BRISK, BRIEF, or LoG.
  • Feature point number Indicates the number of feature points.
  • Feature point positions Indicates feature point positions identified by X, Y coordinates.
  • Feature correspondence Represents a corresponding point for each feature point.
  • 49 shows metadata according to embodiments.
  • Metadata may include camera parameters as shown in FIG. 49 , and an encoder may transmit a bitstream including point cloud data and camera parameters to a decoder.
  • a camera parameter may include the following elements.
  • Camera shutter type May indicate rolling or global.
  • Camera sync skew (Camera_sync_skew): 0 if synchronized, otherwise -1 indicates sync out in milliseconds.
  • Capture_settings Indicates the scene type, such as indoor or outdoor, ambient light, exposure, etc.
  • Camera extrinsics object Represents camera transformation parameters (translation and rotation for global to camera transformation) used to align the image in 3D space.
  • Camera Intrinsics object Represents the camera-specific parameters (focal length, principal points, and distortion coefficients) used to align images in 3D space.
  • 50 shows metadata according to embodiments.
  • Metadata may include stitching parameters as shown in FIG. 50, and an encoder may transmit a bitstream including point cloud data and stitching parameters to a decoder.
  • Seam positions Represents the interpolation region that affects the final stitching quality.
  • a region structure can be represented by a series of pixel points (start, intersection, end).
  • the interpolated region locations can be represented by a mask image with only 1 or 0 values for a more sophisticated stitching process.
  • a mask image can also be placed in a URL or URI.
  • Stitching_method Can indicate a specific stitching algorithm for partial or full stitching approaches.
  • Seam_extent_of_freedom may indicate a degree of freedom for moving the seam area, for example, a degree of freedom such as horizontal.
  • Convergence selection Indicates the convergence (convergence) selection criteria. It can indicate the level of semantics of decisions dealing with ROI-related inclusion/exclusion/weighting criteria.
  • Camera weighting Indicates the weight in the stitching (sewing) process. The higher the weight value, the more important the camera is. Or it may be the alignment number of the camera array. This value can be dynamic, for example depending on the user's viewing preferences.
  • the transmitting device and the receiving device according to the embodiments may provide the following effects.
  • Data of a person's point cloud obtained by two or more cameras can be efficiently combined.
  • the extracted features are composed of axes of points, so that the combination algorithm can be used efficiently and the convergence rate is reduced.
  • 51 shows a point cloud data transmission method according to embodiments.
  • S5100 a method for transmitting point cloud data according to embodiments, may include encoding point cloud data.
  • FIG. 1 XR device 100c Encoding operations according to the embodiments are shown in FIG. 1 XR device 100c, FIG. 2 terminal, FIG. 8 acquisition/encoding, FIG. 9-14 encoder, FIG. 17 video/audio encoder 1700, FIG. 24 encoder, FIG. 26 transmission device, FIG. 28 It may correspond to or include encoding of point cloud data according to -45.
  • the method for transmitting point cloud data may further include transmitting a bitstream including point cloud data.
  • Transmission operations according to embodiments correspond to FIG. 8 transmission, FIGS. 9 and 11 transmission, FIG. 13 transmission, FIG. 17 transmission and reception, FIGS. 24 and 26 bitstream transmission, transmission of a bitstream including metadata in FIGS. 46-50, and the like. or may contain
  • FIG. 52 shows a method for receiving point cloud data according to embodiments.
  • a method for receiving point cloud data may include receiving a bitstream including point cloud data.
  • the reception operation according to the embodiments corresponds to reception in FIG. 8, reception in FIGS. 10 and 12, reception in FIG. 14, transmission and reception in FIG. 17, reception of a bitstream in FIGS. 25 and 27, and reception of a bitstream including metadata in FIGS. 46-50. or may contain
  • the method for receiving point cloud data may further include decoding the point cloud data.
  • FIG. 1 XR device 100c, FIG. 2 terminal, FIG. 8 decoding, FIG. 9-14 decoder, FIG. 17 video/audio encoder 1700, FIG. 25 decoder, FIG. 27 receiving device, FIG. 28-45 It may correspond to or include decoding of point cloud data according to Fig. 46-50, metadata-based decoding, and the like.
  • a transmission method includes encoding point cloud data; and transmitting a bitstream including point cloud data; can include
  • encoding the point cloud data includes filtering the point cloud data, and the filtering step is performed on points of the point cloud data.
  • An object of point cloud data may be a person/human attending a meeting. Since the object includes the upper body region including the face and neck, an object recognized as 3D can be efficiently processed using a 2D image. Filtering according to embodiments may filter points on a 2D image to detect information on the outline of an object and an area in which important points are concentrated. A bounding box corresponding to a region including points may be generated, and regions of the 2D image may be divided into a plurality of bounding boxes. Based on the divided regions, information about a head-vertebral axis, a head-vertebral angle, a shoulder axis, and a shoulder angle may be obtained.
  • the encoding of point cloud data includes, based on information about the shape of an object and a 2D image, the point cloud A 2D image may be segmented using boxes for data, and based on the distribution of points included in the 2D image, an area where points are dense may be expressed, and a center point of an object and two axes may be obtained.
  • the two axes may mean the head spine axis and the shoulder axis.
  • the head-vertebral axis and the shoulder axis can be used as important information on the shape of a person. Human behavior can be recognized through two axes.
  • the two axes may be referred to as a first axis, a second axis, and the like.
  • To obtain the axes based on the vector to the points, we can generate the angle of the vector (see Fig. 33). Based on the vector, a matrix about the coordinates of a point can be created, and based on the matrix, an angle value about an axis can be created (see Fig. 33).
  • encoding the point cloud data includes filtering depth information of a bounding box in which a point exists based on a first axis among two axes, and bounding A constant for the reflection distance with respect to the plane for the box can be generated based on the focal length of the coordinate axis.
  • data on the direction and gaze of the person can be acquired through a matrix (see FIG. 34).
  • a point serving as a principal point may exist on an image plane, and the image plane may exist on a focal length and a coordinate axis.
  • An image point and a camera point may be located on the same line, and two vector information about a principal point or an image center may be used (see FIG. 35).
  • the head/spine axis may have more influence on a person's line of sight.
  • an error in the direction of a person's gaze can be corrected.
  • the step of encoding point cloud data includes generating gaze information about the center points of the left eye and right eye of an object, a direction vector of the nose of the object, and left eye and Based on the direction vector of the right eye, the gaze direction of the object may be generated.
  • a sampling filter can be used to track them (see Fig. 39).
  • Vector values for both eyes and pupils may be generated, and direction information recognized by the object may be obtained based on the vectors.
  • the step of encoding the point cloud data in relation to the shoulder/head reference vector is to generate reference vectors for the object based on the two axes, and based on the reference vectors, the object cloud data. It is possible to generate point sources for , and based on the point sources, vectors for three points.
  • main points existing on or near the axis may be the left eye, the right eye, the nose, etc. related to a person's line of sight. Based on the vector information of the main points, feature points related to a person's line of sight may be extracted.
  • the step of encoding point cloud data is based on vectors and reference vectors for three points, the point reference feature reference , and the point reference feature reference may include a head spine feature point and a shoulder feature point.
  • the bitstream includes signaling information indicating an error related to detection of an object, and the bitstream further includes a media parameter, a feature parameter, a camera parameter, and a stitching parameter. can do.
  • a camera field capable of recognizing multiple people a point camera capable of physically obtaining a user's shape or face, a color camera, and a camera capable of expressing depth can be used.
  • objects of people or objects may be recognized and classified.
  • Point cloud data acquired in real time can be recognized as objects such as animals, people, and cars.
  • point data is allocated from two or more cameras or two or more resources
  • a structure for processing input data can be combined into one structure.
  • the point cloud combining method goes further than simply combining points, and can recognize objects in real time and transmit realistic data of a little higher quality. Therefore, it is possible to perform network-based communication by recognizing and classifying people through feature points and additional feature information, and synthesizing point cloud data about a plurality of people.
  • a method for transmitting point cloud data according to embodiments is performed by a transmission device, and the transmission device according to embodiments includes an encoder encoding point cloud data; and a transmitter that transmits a bitstream including point cloud data; can include
  • the receiving method corresponding to the transmitting method may include a method corresponding to the transmitting method and/or a reverse process.
  • a receiving method includes receiving a bitstream including point cloud data; and decoding the point cloud data; can include
  • the step of decoding the point cloud data includes the step of filtering the point cloud data, and the step of filtering includes the step of filtering a two-dimensional image of a point of the point cloud data based on the depth of the attribute data of the point and the location information of the point. It may include generating, excluding points based on a vector for a 2D image, and generating information about a shape of an object of point cloud data.
  • the decoding of the point cloud data may include dividing the 2D image using a box for the point cloud data based on the information about the shape of the object and the 2D image, and dividing the 2D image based on the distribution of points included in the 2D image.
  • a method for receiving point cloud data is performed by a receiving device, the receiving device comprising: a receiving unit receiving a bitstream including point cloud data; and a decoder to decode the point cloud data; can include
  • a decoder for decoding the point cloud data performs an operation of filtering the point cloud data, and the filtering operation converts a two-dimensional image of a point of the point cloud data into a two-dimensional image based on the depth of attribute data of the point and the location information of the point. It may include generating, excluding points based on a vector of a 2D image, and generating information about a shape of an object of point cloud data.
  • a decoder for decoding the point cloud data divides the 2D image using a box for the point cloud data, based on the information about the shape of the object and the 2D image, and determines the distribution of points included in the 2D image. Based on this, it is possible to express an area where points are dense, and obtain a center point and two axes of an object.
  • each drawing has been divided and described, but it is also possible to design to implement a new embodiment by merging the embodiments described in each drawing. And, according to the needs of those skilled in the art, designing a computer-readable recording medium in which programs for executing the previously described embodiments are recorded falls within the scope of the embodiments.
  • the device and method according to the embodiments are not limited to the configuration and method of the embodiments described above, but the embodiments are selectively combined with all or part of each embodiment so that various modifications can be made. may be configured.
  • Various components of the device of the embodiments may be implemented by hardware, software, firmware or a combination thereof.
  • Various components of the embodiments may be implemented as one chip, for example, as one hardware circuit.
  • components according to the embodiments may be implemented as separate chips.
  • at least one or more of the components of the device according to the embodiments may be composed of one or more processors capable of executing one or more programs, and the one or more programs may be executed. Any one or more of the operations/methods according to the examples may be performed or may include instructions for performing the operations/methods.
  • Executable instructions for performing methods/operations of an apparatus may be stored in a non-transitory CRM or other computer program products configured for execution by one or more processors, or may be stored in one or more may be stored in transitory CRM or other computer program products configured for execution by processors.
  • the memory according to the embodiments may be used as a concept including not only volatile memory (eg, RAM) but also non-volatile memory, flash memory, PROM, and the like. Also, those implemented in the form of a carrier wave such as transmission through the Internet may be included.
  • the processor-readable recording medium is distributed in computer systems connected through a network, so that the processor-readable code can be stored and executed in a distributed manner.
  • first, second, etc. may be used to describe various components of the embodiments. However, interpretation of various components according to embodiments should not be limited by the above terms. These terms are only used to distinguish one component from another. Only thing For example, a first user input signal may be referred to as a second user input signal. Similarly, the second user input signal may be referred to as the first user input signal. Use of these terms should be construed as not departing from the scope of the various embodiments. Although both the first user input signal and the second user input signal are user input signals, they do not mean the same user input signals unless the context clearly indicates otherwise.
  • operations according to embodiments described in this document may be performed by a transceiver including a memory and/or a processor according to embodiments.
  • the memory may store programs for processing/controlling operations according to embodiments, and the processor may control various operations described in this document.
  • a processor may be referred to as a controller or the like.
  • Operations in embodiments may be performed by firmware, software, and/or a combination thereof, and the firmware, software, and/or combination thereof may be stored in a processor or stored in a memory.
  • the transmitting/receiving device may include a transmitting/receiving unit for transmitting/receiving media data, a memory for storing instructions (program codes, algorithms, flowcharts and/or data) for processes according to embodiments, and a processor for controlling operations of the transmitting/receiving device.
  • a transmitting/receiving unit for transmitting/receiving media data
  • a memory for storing instructions (program codes, algorithms, flowcharts and/or data) for processes according to embodiments
  • a processor for controlling operations of the transmitting/receiving device.
  • a processor may be referred to as a controller or the like, and may correspond to, for example, hardware, software, and/or combinations thereof. Operations according to the above-described embodiments may be performed by a processor. Also, the processor may be implemented as an encoder/decoder for the operations of the above-described embodiments.
  • the embodiments may be applied in whole or in part to an apparatus and system for transmitting and receiving point cloud data.
  • Embodiments may include changes/variations, which do not depart from the scope of the claims and their equivalents.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

실시예들에 따른 포인트 클라우드 데이터 송신 방법은 포인트 클라우드 데이터를 인코딩하는 단계; 및 포인트 클라우드 데이터를 포함하는 비트스트림을 전송하는 단계; 를 포함할 수 있다. 실시예들에 따른 포인트 클라우드 데이터 수신 방법은 포인트 클라우드 데이터를 포함하는 비트스트림을 수신하는 단계; 및 포인트 클라우드 데이터를 디코딩하는 단계; 를 포함할 수 있다.

Description

포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
실시예들은 포인트 클라우드 콘텐트(Point Cloud Content)를 처리하는 방법 및 장치에 대한 것이다.
포인트 클라우드 콘텐트는 3차원 공간을 표현하는 좌표계에 속한 점(포인트)들의 집합인 포인트 클라우드로 표현되는 콘텐트이다. 포인트 클라우드 콘텐트는3차원으로 이루어진 미디어를 표현할 수 있으며, VR (Virtual Reality, 가상현실), AR (Augmented Reality, 증강현실), MR (Mixed Reality, 혼합현실), 및 자율 주행 서비스 등의 다양한 서비스를 제공하기 위해 사용된다. 하지만 포인트 클라우드 콘텐트를 표현하기 위해서는 수만개에서 수십만개의 포인트 데이터가 필요하다. 따라서 방대한 양의 포인트 데이터를 효율적으로 처리하기 위한 방법이 요구된다.
실시예들은 포인트 클라우드 데이터를 효율적으로 처리하기 위한 장치 및 방법을 제공한다. 실시예들은 지연시간(latency) 및 인코딩/디코딩 복잡도를 해결하기 위한 포인트 클라우드 데이터 처리 방법 및 장치를 제공한다.
다만, 전술한 기술적 과제만으로 제한되는 것은 아니고, 기재된 전체 내용에 기초하여 당업자가 유추할 수 있는 다른 기술적 과제로 실시예들의 권리범위가 확장될 수 있다.
실시예들에 따른 포인트 클라우드 데이터 송신 방법은 포인트 클라우드 데이터를 인코딩하는 단계, 포인트 클라우드 데이터를 포함하는 비트스트림을 전송하는 단계를 포함할 수 있다. 실시예들에 따른 포인트 클라우드 데이터를 포함하는 비트스트림을 수신하는 단계, 포인트 클라우드 데이터를 디코딩하는 단계를 포함할 수 있다.
실시예들에 따른 장치 및 방법은 높은 효율로 포인트 클라우드 데이터를 처리할 수 있다.
실시예들에 따른 장치 및 방법은 높은 퀄리티의 포인트 클라우드 서비스를 제공할 수 있다.
실시예들에 따른 장치 및 방법은 VR 서비스, 자율주행 서비스 등 범용적인 서비스를 제공하기 위한 포인트 클라우드 콘텐트를 제공할 수 있다.
도면은 실시예들을 더욱 이해하기 위해서 포함되며, 도면은 실시예들에 관련된 설명과 함께 실시예들을 나타낸다. 이하에서 설명하는 다양한 실시예들의 보다 나은 이해를 위하여, 하기 도면들에 걸쳐 유사한 참조 번호들이 대응하는 부분들을 포함하는 다음의 도면들과 관련하여 이하의 실시예들의 설명을 반드시 참조해야 한다.
도 1은 실시예들에 따른 통신 시스템(1)의 예시를 나타내는 블록도이다.
도 2는 실시예들에 따른 방법들이 적용될 수 있는 무선 통신 시스템의 블록 구성도를 예시한다.
도 3은 3GPP 신호 전송/수신 방법의 예시를 나타낸다.
도 4는 실시예들에 따른 자기-완비 슬롯 내에 물리 채널이 매핑되는 예시를 나타낸다.
도 5은 ACK/NACK 전송 과정 및 PUSCH 전송 과정의 예시를 나타낸다.
도 6은 실시예들에 따른 5GMS 서비스의 미디어 전송을 위한 다운링크 구조를 나타낸다.
도 7은 Uplink서비스를 위한 FLUS 구조의 예시를 나타낸다.
도 8은 실시예들에 따른 포인트 클라우트 데이터 처리 시스템을 나타낸다.
도 9는 실시예들에 따른 포인트 클라우드(point cloud) 데이터 처리 장치의 예시를 나타낸다.
도 10은 실시예들에 따른 포인트 클라우드(point cloud) 데이터 처리 장치의 예시를 나타낸다.
도 11은 실시예들에 따른 포인트 클라우드(point cloud) 데이터 처리 장치의 예시를 나타낸다.
도 12는 실시예들에 따른 포인트 클라우드(point cloud) 데이터 처리 장치의 예시를 나타낸다.
도 13은 실시예들에 따른 포인트 클라우드(point cloud) 데이터 처리 장치의 예시를 나타낸다.
도 14는 실시예들에 따른 포인트 클라우드(point cloud) 데이터 처리 장치의 예시를 나타낸다.
도15는 실시예들에 따른 임의 방문 네트워크(Visited Network) 상 UE를 위한 전송 구조를 나타낸다.
도16은 실시예들에 따른 UE간 콜 연결을 나타낸다.
도17은 실시예들에 따른 포인트 클라우드 데이터 송수신 장치를 나타낸다.
도18은 실시예들에 따른 5G 네트워크 상 XR 커뮤니케이션을 위한 구조를 나타낸다.
도19는 실시예들에 따른 XR 커뮤니케이션을 위한 구조를 나타낸다
도20은 실시예들에 따른 3GPP 5G 상 XR 대화형 서비스를 프로토콜 스택을 나타낸다.
도21은 실시예들에 따른 포인트-투-포인트 XR 화상회의를 나타낸다.
도22는 실시예들에 따른 XR 화상회의 확장을 나타낸다.
도23은 실시예들에 따른 XR 화상회의 확장을 나타낸다.
도24는 실시예들에 따른 실시예들에 따른 포인트 클라우드 인코더(Point Cloud Encoder)의 예시를 나타낸다.
도25는 실시예들에 따른 포인트 클라우드 디코더(Point Cloud Decoder)의 예시를 나타낸다.
도26은 실시예들에 따른 송신 장치의 동작 흐름도의 예시를 나타낸다.
도27는 실시예들에 따른 수신 장치의 동작 흐름도의 예시를 나타낸다.
도28은 실시예들에 따른 대화형 포인트 클라우드 데이터를 나타낸다.
도29는 실시예들에 따른 필터링의 예시를 나타낸다.
도30은 실시예들에 따른 벡터 구성을 나타낸다.
도31은 실시예들에 따른 분할 예시를 나타낸다.
도32는 실시예들에 따른 대화형 포인트 클라우드 데이터의 오브젝트에 관한 축을 생성하는 예시를 나타낸다.
도33은 실시예드렝 따른 축 선택, 추정, 변환, 각도 생성, 회전 매트릭스 생성을 나타낸다.
도34는 실시예들에 따른 포인트 클라우드 데이터를 변환하는 방법을 나타낸다.
도35는 실시예들에 따른 카메라 포인트, 이미지 포인트, 이미지 플레인을 나타낸다.
도36은 실시예들에 따른 포인트 클라우드 데이터의 기준을 나타낸다.
도37은 실시예들에 따른 포인트, 카메라, 레이저 프로젝터 간 관계를 나타낸다.
도38은 실시예들에 따른 거리 및 상수 값을 나타낸다.
도39는 실시예들에 따른 마스크 샘플링을 나타낸다.
도40은 실시예들에 따른 샘플링 눈을 획득하는 방법을 나타낸다.
도41은 실시예들에 따른 인접 포인트들에 대한 매트릭스의 노멀 벡터를 나타낸다.
도42는 실시예들에 따른 사용자의 어깨와 축추에 관한 벡터로부터 평명 참조 축을 생성하는 예시를 나타낸다.
도43은 실시예들에 따른 얼굴 포인트 소스 및 눈 포인트 소스를 나타낸다.
도44는 실시예들에 따른 소스 포인트에 관한 벡터를 나타낸다.
도45는 실시예들에 따른 머리 척추 특징 포인트를 나타낸다.
도46은 실시예들에 따른 메타데이터를 나타낸다.
도47은 실시예들에 따른 메타데이터를 나타낸다.
도48은 실시예들에 따른 메타데이터를 나타낸다.
도49는 실시예들에 따른 메타데이터를 나타낸다.
도50은 실시예들에 따른 메타데이터를 나타낸다.
도51은 실시예들에 따른 포인트 클라우드 데이터 송신 방법을 나타낸다.
도52는 실시예들에 따른 포인트 클라우드 데이터 수신 방법을 나타낸다.
실시예들의 바람직한 실시예에 대해 구체적으로 설명하며, 그 예는 첨부된 도면에 나타낸다. 첨부된 도면을 참조한 아래의 상세한 설명은 실시예들의 실시예에 따라 구현될 수 있는 실시예만을 나타내기보다는 실시예들의 바람직한 실시예를 설명하기 위한 것이다. 다음의 상세한 설명은 실시예들에 대한 철저한 이해를 제공하기 위해 세부 사항을 포함한다. 그러나 실시예들이 이러한 세부 사항 없이 실행될 수 있다는 것은 당업자에게 자명하다.
실시예들에서 사용되는 대부분의 용어는 해당 분야에서 널리 사용되는 일반적인 것들에서 선택되지만, 일부 용어는 출원인에 의해 임의로 선택되며 그 의미는 필요에 따라 다음 설명에서 자세히 서술한다. 따라서 실시예들은 용어의 단순한 명칭이나 의미가 아닌 용어의 의도된 의미에 근거하여 이해되어야 한다.
도 1은 실시예들에 따른 통신 시스템(1)의 예시를 나타내는 블록도이다.
도 1에 도시된 바와 같이 실시예들에 따른 통신 시스템(1)은 무선 기기(100a-100f), 기지국(BS)(200) 및 네트워크(300)를 포함한다. 실시예들에 따른 기지국(BS)(200)는 고정국(fixed station), Node B, eNB(evolved-NodeB), gNB(Next Generation NodeB), BTS(base transceiver system), 접속 포인트(access point, AP), 네트워크 혹은 5G (5th generation) 네트워크 노드, AI (Artificial Intelligence) 시스템, RSU(road side unit), 로봇, AR/VR(Augmented Reality/Virtual Reality) 시스템, 서버 등으로 호칭될 수 있다. 실시예들에 따라, 무선 기기는 무선 접속 기술(예, 5G NR(New RAT), LTE(Long Term Evolution))을 이용하여, 기지국 및/또는 다른 무선 기기와 통신을 수행하는 기기를 의미하며, 통신/무선/5G 기기, 사용자 단말(User Equipment, UE)라고 호칭될 수 있다. 또한 무선 기기는 위 실시예들에 국한되지 않으며, 로봇(100a), 차량(100b-1, 100b-2), XR(eXtended Reality) 기기(100c), 휴대 기기(Hand-held device)(100d), 가전(100e), IoT(Internet of Thing) 기기(100f), AI기기/서버(400)를 포함할 수 있다. XR 기기(100c)는 XR 컨텐트 (예를 들면 AR(Augmented Reality)/VR(Virtual Reality)/MR(Mixed Reality) 컨텐트 등)를 제공하는 기기를 나타낸다. 실시예들에 따라 XR 기기는 AR/VR/MR 기기로 호칭될 수 있다. XR 기기(100c)는 실시예들에 따라 HMD(Head-Mounted Device), 차량에 구비된 HUD(Head-Up Display), 텔레비전, 스마트폰, 컴퓨터, 웨어러블 디바이스, 가전 기기, 디지털 사이니지(signage), 차량, 로봇 등의 형태로 구현될 수 있다. 예를 들어, 차량(100b-1, 100b-2)은 무선 통신 기능이 구비된 차량, 자율 주행 차량, 차량간 통신을 수행할 수 있는 차량, UAV(Unmanned Aerial Vehicle)(예, 드론)등을 포함할 수 있다. 휴대 기기(100d)는 스마트폰, 스마트패드, 웨어러블 기기(예, 스마트워치, 스마트글래스), 컴퓨터(예, 노트북 등) 등을 포함할 수 있다. 가전(100e)은 TV, 냉장고, 세탁기 등을 포함할 수 있다. IoT 기기(100f)는 센서, 스마트미터 등을 포함할 수 있다. 무선 기기(100a~100f)는 기지국(200)을 통해 네트워크(300)와 연결될 수 있다. 무선 기기(100a~100f)는 네트워크(300)를 통해 AI 서버(400)와 연결될 수 있다. 네트워크(300)는 3G 네트워크, 4G(예, LTE) 네트워크 또는 5G(예, NR) 네트워크, 6G 네트워크 등을 이용하여 구성될 수 있다. 무선 기기(100a~100f)는 기지국(200)/네트워크(300)를 통해 서로 통신할 수도 있지만, 기지국/네트워크를 통하지 않고 직접 통신(e.g. 사이드링크 통신(sidelink communication))할 수도 있다.
무선 기기(100a~100f)/기지국(200), 기지국(200)/기지국(200)은 무선 통신/연결(150a, 150b, 150c)을 통해 무선 신호를 송수신 할 수 있다. 실시예들에 따른 무선 통신/연결은 무선기기와 기지국간 통신인 상향/하향링크 통신(150a), 무선 기기 사이의 통신인 사이드링크 통신(150b)(또는, D2D 통신), 기지국간의 통신(150c)(e.g. relay, IAB(Integrated Access Backhaul)과 같은 다양한 무선 접속 기술들(예, 5G, NR등)을 포함할 수 있다. 실시예들에 따른 무선 기기(100a~100f), 기지국(200)은 무선무선 통신/연결(150a, 150b, 150c)의 다양한 물리 채널을 통해 신호를 송신/수신할 수 있다. 무선무선 통신/연결(150a, 150b, 150c)을 위하여 무선 신호의 송신/수신을 위한 다양한 구성정보 설정 과정, 다양한 신호 처리 과정(예, 채널 인코딩/디코딩, 변조/복조, 자원 매핑/디매핑 등), 자원 할당 과정 등 중 적어도 하나 이상의 과정이 수행될 수 있다.
실시예들에 따른 사용자 단말(UE)(예를 들면 XR 디바이스(예를 들면 도 1의 XR 디바이스(100c)등))은 오디오/비디오 데이터, 음성 데이터, 주변 정보 데이트 등의 XR 컨텐트를 제공하기 위해 필요한 XR 데이터(또는 AR/VR 데이터)를 포함하는 특정 정보를 네트워크를 통해 기지국 또는 다른 사용자 단말로 전송할 수 있다. 실시예들에 따른 사용자 단말은 네트워크에 초기 접속 동작(initial access operation)을 수행할 수 있다. 초기 접속 과정에서, 사용자 단말은 하향링크(Downlink, DL) 동기 획득을 위한 셀 서치 및 시스템 정보를 획득할 수 있다. 실시예들에 따른 하향링크는 기지국(예를 들면 BS) 또는 기지국의 일부인 송신부로부터 사용자 단말(UE) 또는 사용자 단말에 포함된 수신부로의 통신을 나타낸다. 실시예들에 따른 사용자 단말은네트워크에 접속하기 위한 임의 접속 동작(random access operation)을 수행할 수 있다. 임의 접속 동작에서, 사용자 단말은 상향링크(Uplink, UL) 동기 획득 또는 UL 데이터 전송을 위해 프리앰블을 전송하고, 임의 접속 응답 수신 동작을 수행할 수 있다. 실시예들에 따른 상향링크는 UE 또는 UE의 일부인 송신부로부터 BS 또는 BS의 일부인 수신부로의 통신을 나타낸다. 또한 사용자 단말은 BS로 특정 정보를 전송하기 위해 상향링크 그랜트 (UL Grant) 수신 동작을 수행할 수 있다. 실시예들에 상향링크 그랜트는 상향링크 데이터 전송을 위해 시간/주파수 자원 스케쥴링 정보를 수신하기 위한 것이다. 실시예들에 따른 사용자 단말은 UL 그랜트에 기반하여 특정 정보를 5G 네트워크를 통해 기지국으로 전송할 수 있다. 실시예에 따른 기지국은 XR 컨텐트 프로세싱을 수행할 수 있다. 사용자 단말은 5G 네트워크를 통해 특정 정보에 대한 응답을 수신하기 위해 다운링크 그랜트 (DL Grant) 수신 동작을 수행할 수 있다. 실시예들에 따른 다운링크 그랜트는 다운링크 데이터를 수신하기 위하여 시간/주파수 자원 스케쥴링 정보를 수신하는 것을 나타낸다. 사용자 단말은 다운링크 그랜트를 기반으로 네트워크를 통해 특정 정보에 대한 응답을 수신할 수 있다.
도 2는 실시예들에 따른 방법들이 적용될 수 있는 무선 통신 시스템의 블록 구성도를 예시한다.
무선 통신 시스템은 제 1 통신 장치(910) 및/또는 제 2 통신 장치(920)을 포함한다. 'A 및/또는 B'는 'A 또는 B 중 적어도 하나를 포함한다'와 동일한 의미로 해석될 수 있다. 제 1 통신 장치가 BS를 나타내고, 제 2 통신 장치가 UE를 나타낼 수 있다(또는 제 1 통신 장치가 UE를 나타내고, 제 2 통신 장치가 BS를 나타낼 수 있다).
제 1 통신 장치와 제 2 통신 장치는 프로세서(processor, 911,921), 메모리(memory, 914,924), 하나 이상의 Tx/Rx RF 모듈(radio frequency module, 915,925), Tx 프로세서(912,922), Rx 프로세서(913,923), 안테나(916,926)를 포함한다. Tx/Rx 모듈은 트랜시버라고도 한다. 실시예들에 따른 프로세서(911)는 물리계층 이상의 레이어 (예를 들면 레이어 2(L2)) 계층의 신호처리기능을 수행할 수 있다. 예를 들어, 다운링크(Downlink), 또는 DL(제 1 통신 장치에서 제 2 통신 장치로의 통신)에서, 코어 네트워크로부터의 상위 계층 패킷은 프로세서(911)에 제공된다. 실시예들에 따른 프로세서(911)는 DL에서, 프로세서는 논리 채널과 전송 채널 간의 다중화(multiplexing), 무선 자원 할당을 제 2 통신 장치(920)에 제공하며, 제 2 통신 장치로의 시그널링을 담당한다. 제 1 통신 장치(910) 및 제 2 통신 장치(920)는 프로세서(911,921)에서 처리된 상위 계층 패킷 보다 더 상위 계층의 데이터를 처리하는 프로세서(예를 들면 오디오/비디오 인코더, 오디오/비디오 디코더 등)를 더 포함할 수 있다. 실시예들에 따른 프로세서는 다양한 비디오 표준(예를 들면 MPEG2, AVC, HEVC, VVC등의 비디오 표준)에 대응하여 처리된 비디오 데이터 및 다양한 오디오 표준(예를 들면 MPEG 1 Layer 2 Audio, AC3, HE-AAC, E-AC-3, HE-AAC, NGA등과 같은 오디오 표준 등)에 의해 처리된 오디오 데이터를 처리할 수 있다. 또한 실시예들에 따른 프로세서는 Video-based Point Cloud Compression (V-PCC) 또는 Geometry-based Point Cloud Compression (G-PCC) 방식으로 처리된 XR 데이터 또는 XR 미디어 데이터를 처리할 수 있다. 상위 계층 데이터를 처리하는 프로세서는 프로세서(911,921)와 결합되어 하나의 프로세서 또는 하나의 칩 등으로 구현될 수 있다. 또한 상위 계층 데이터를 처리하는 프로세서는 프로세서(911,921)와 별도의 칩, 별도의 프로세서로 구현될 수 있다. 전송(TX) 프로세서(912)는 L1 계층(즉, 물리 계층)에 대한 다양한 신호 처리 기능을 구현한다. 물리 계층의 신호 처리 기능은 제 2 통신 장치에서 FEC(forward error correction)을 용이하게 할 수 있다. 물리 계층의 신호 처리 기능은 코딩 및 인터리빙(coding and interleaving)을 포함한다. 인코딩 및 인터리밍을 거친 신호는 스크램블링(scrambling) 및 변조(modulation)을 거쳐 복소 값(complex valued) 변조 심볼들로 변조된다. 변조에는 채널에 따라 BPSK, QPSK, 16QAM, 64QAM, 246QAM 등이 사용될 수 있다. 복소 값 변조 심볼들(이하, 변조 심볼들)은 병렬 스트림으로 분할되고, 각각의 스트림은 OFDM 부반송파에 매핑되고, 시간 및/또는 주파수 도메인에서 참조 신호와 다중화(multiplexing)되며, IFFT를 사용하여 함께 결합되어 시간 도메인 OFDM 심볼 스트림을 운반하는 물리적 채널을 생성한다. OFDM 심볼 스트림은 다중 공간 스트림을 생성하기 위해 공간적으로 프리코딩된다. 각각의 공간 스트림은 개별 Tx/Rx 모듈(또는 트랜시버, 915)를 통해 상이한 안테나(916)에 제공될 수 있다. 각각의 Tx/Rx 모듈은 전송을 위해 각각의 공간 스트림을 RF 반송파로 주파수 상향변환(upconvert)할 수 있다. 제 2 통신 장치에서, 각각의 Tx/Rx 모듈(또는 트랜시버, 925)는 각 Tx/Rx 모듈의 각 안테나(926)을 통해 RF 반송파의 신호를 수신한다. 각각의 Tx/Rx 모듈은 RF 반송파의 신호를 기저대역(baseband) 신호로 복원하여, 수신(RX) 프로세서(923)에 제공한다. RX 프로세서는 L1(즉, 물리 계층)의 다양한 신호 프로세싱 기능을 구현한다. RX 프로세서는 제 2 통신 장치로 향하는 임의의 공간 스트림을 복구하기 위해 정보에 공간 프로세싱을 수행할 수 있다. 만약 다수의 공간 스트림들이 제 2 통신 장치로 향하는 경우, 다수의 RX 프로세서들에 의해 단일 OFDMA 심볼 스트림으로 결합될 수 있다. RX 프로세서는 고속 푸리에 변환 (FFT)을 사용하여 시간 도메인 신호인 OFDM 심볼 스트림을 주파수 도메인 신호로 변환한다. 주파수 도메인 신호는 OFDM 신호의 각각의 부반송파에 대한 개별적인 OFDM 심볼 스트림을 포함한다. 각각의 부반송파 상의 변조 심볼들 및 참조 신호는 제 1 통신 장치에 의해 전송된 가장 가능성 있는 신호 성상(constellation) 포인트들을 결정함으로써 복원되고 복조된다. 이러한 연 판정(soft decision)들은 채널 추정 값들에 기초할 수 있다. 연판정들은 물리 채널 상에서 제 1 통신 장치에 의해 원래 전송된 데이터 및 제어 신호를 복원하기 위해 디코딩 및 디인터리빙되다. 해당 데이터 및 제어 신호는 프로세서(921)에 제공된다.
UL(제 2 통신 장치에서 제 1 통신 장치로의 통신)은 제 2 통신 장치(920)에서 수신기 기능과 관련하여 기술된 것과 유사한 방식으로 제 1 통신 장치(910)에서 처리된다. 각각의 Tx/Rx 모듈(925)는 각각의 안테나(926)을 통해 신호를 수신한다. 각각의 Tx/Rx 모듈은 RF 반송파 및 정보를 RX 프로세서(923)에 제공한다. 프로세서 (921)는 프로그램 코드 및 데이터를 저장하는 메모리 (924)와 관련될 수 있다. 메모리는 컴퓨터 판독 가능 매체로서 지칭될 수 있다.
도 3 내지 도 5는 물리적인 L1 계층(즉, 물리 계층)에 대한 하나 또는 그 이상의 신호처리 방법 및/또는 동작들의 예시를 나타낸다. 도 3 내지 도 5에 개시된 예시들은 도 2에서 설명한 전송(TX) 프로세서(912) 및/또는 전송(TX) 프로세서(922)에서 수행되는 신호처리 방법 및/또는 동작들의 예시와 동일 또는 유사할 수 있다.
도 3은 3GPP 신호 전송/수신 방법의 예시를 나타낸다.
실시예들에 따르면 UE는 전원이 켜지거나 새로운 셀에 진입한 경우 BS와 동기를 맞추는 등의 초기 셀 탐색(initial cell search) 작업을 수행할 수 있다(S201). UE는 BS로부터 1차 동기 채널(primary synchronization channel, P-SCH) 및 2차 동기 채널(secondary synchronization channel, S-SCH)을 수신하여 BS와 동기를 맞추고, 셀 ID 등의 정보를 획득할 수 있다. LTE 시스템과 NR 시스템에서 P-SCH와 S-SCH는 각각 1차 동기 신호(primary synchronization signal, PSS)와 2차 동기 신호(secondary synchronization signal, SSS)로 호칭될 수 있다. 초기 셀 탐색 후, UE는 BS로부터 물리 브로드캐스트 채널(physical broadcast channel, PBCH)를 수신하여 셀 내 브로드캐스트 정보를 획득할 수 있다. 한편, UE는 초기 셀 탐색 단계에서 하향링크 참조 신호(downlink reference Signal, DL RS)를 수신하여 하향링크 채널 상태를 확인할 수 있다.
초기 셀 탐색을 마친 UE는 PDCCH 및 PDCCH에 실린 정보에 따라 PDSCH를 수신함으로써 좀더 구체적인 시스템 정보를 획득할 수 있다(S202).
한편, BS에 최초로 접속하거나 신호 전송을 위한 무선 자원이 없는 경우 UE는 BS에 대해 임의 접속 과정(random access procedure)을 수행할 수 있다(단계 S203 내지 단계 S206). 이를 위해, UE는 PRACH를 통해 특정 시퀀스를 프리앰블로서 전송하고(S203 및 S205), PDCCH 및 대응하는 PDSCH를 통해 프리앰블에 대한 임의 접속 응답(random access response, RAR) 메시지를 수신할 수 있다(S204 및 S206). 경쟁 기반 임의 접속 과정의 경우, 추가적으로 충돌 해결 과정(contention resolution procedure)를 수행할 수 있다.
상술한 과정을 수행한 UE는 이후 일반적인 상향링크/하향링크 신호 전송 과정으로서 PDCCH/PDSCH 수신(S207) 및 PUSCH/PUCCH 전송(S208)을 수행할 수 있다. 특히 UE는 PDCCH를 통하여 DCI를 수신한다. UE는 해당 탐색 공간 설정(configuration)들에 따라 서빙 셀 상의 하나 이상의 제어 요소 세트(control element set, CORESET)들에 설정된 모니터링 기회(occasion)들에서 PDCCH 후보(candidate)들의 세트를 모니터링한다. UE가 모니터할 PDCCH 후보들의 세트는 탐색 공간 세트들의 관점에서 정의될 수 있다. 실시예들에 따른 탐색 공간 세트는 공통 탐색 공간 세트 또는 UE-특정 탐색 공간 세트일 수 있다. CORESET은 1~3개 OFDM 심볼들의 시간 지속기간을 갖는 (물리) 자원 블록들의 세트로 구성된다. 네트워크는 UE가 복수의 CORESET들을 갖도록 설정할 수 있다. UE는 하나 이상의 탐색 공간 세트들 내 PDCCH 후보들을 모니터링한다. 여기서 모니터링이라 함은 탐색 공간 내 PDCCH 후보(들)에 대한 디코딩을 시도하는 것을 의미한다. UE가 탐색 공간 내 PDCCH 후보들 중 하나에 대한 디코딩에 성공하면, UE는 해당 PDCCH 후보에서 PDCCH를 검출했다고 판단하고, 검출된 PDCCH 내 DCI를 기반으로 PDSCH 수신 혹은 PUSCH 전송을 수행할 수 있다. 실시예들에 따른 PDCCH는 PDSCH 상의 DL 전송들 및 PUSCH 상의 UL 전송들을 스케줄링하는 데 사용될 수 있다. PDCCH 상의 DCI는 하향링크 공유 채널과 관련된, 변조(modulation) 및 코딩 포맷과 자원 할당(resource allocation) 정보를 적어도 포함하는 하향링크 배정(assignment)(즉, DL 그랜트), 또는 상향링크 공유 채널과 관련된, 변조 및 코딩 포맷과 자원 할당 정보를 포함하는 상향링크 그랜트(UL grant)를 포함할 수 있다.
UE는 SSB를 검출함으로써 DL 동기를 획득할 수 있다. UE는 검출된 SSB (시간) 인덱스(SSB index, SSBI)에 기반하여 SSB 버스트 세트의 구조를 식별할 수 있고, 이에 따라 심볼/슬롯/하프-프레임 경계를 검출할 수 있다. 검출된 SSB가 속하는 프레임/하프-프레임의 번호는 시스템 프레임 번호(system frame number, SFN) 정보와 하프-프레임 지시 정보를 이용하여 식별될 수 있다. UE는 PBCH로부터 PBCH가 속한 프레임에 대한 10 비트의 SFN을 획득할 수 있다. UE는 1 비트의 하프-프레임 지시 정보를 획득하여 해당 PBCH가 프레임 중 첫번째 하프-프레임에 속하는지 두번째 하프-프레임에 속하는지 판단할 수 있다. 예를 들어 하프-프레임 지시 비트 값이 0 인 경우, PBCH가 속한 SSB가 프레임 내 첫 번째 하프-프레임에 속한다는 것을 나타낸다. 하프-프레임 지시 비트 값이 1 인 경우, PBCH가 속한 SSB가 프레임 내 두 번째 하프-프레임에 속한다는 것을 나타낸다. UE는 DMRS 시퀀스와 PBCH가 나르는 PBCH 페이로드에 기반하여 PBCH가 속한 SSB의 SSBI를 획득할 수 있다.
다음의 표 G1는 UE의 임의 접속 과정을 나타낸다.
표 G1
신호의 타입 획득되는 동작/정보
제 1단계 UL에서의 PRACH 프리앰블(preamble) * 초기 빔 획득
* 임의 접속 프리앰블 ID의 임의 선택
제 2단계 PDSCH 상의 임의 접속 응답 * 타이밍 어드밴스 정보
* 임의 접속 프리앰블 ID
* 초기 UL 그랜트, 임시 C-RNTI
제 3단계 PUSCH 상의 UL 전송 * RRC 연결 요청
* UE 식별자
제 4단계 DL 상의 경쟁 해결(contention resolution) * 초기 접속을 위한 PDCCH 상의 임시 C-RNTI
* RRC_CONNECTED인 UE에 대한 PDCCH 상의 C-RNTI
임의 접속 과정은 다양한 용도로 사용된다. 예를 들어, 임의 접속 과정은 네트워크 초기 접속, 핸드오버, UE-트리거드(triggered) UL 데이터 전송에 사용될 수 있다. UE는 임의 접속 과정을 통해 UL 동기와 UL 전송 자원을 획득할 수 있다. 임의 접속 과정은 경쟁 기반(contention-based) 임의 접속 과정과 경쟁 프리(contention free) 임의 접속 과정으로 구분된다.
도 4는 실시예들에 따른 자기-완비 슬롯 내에 물리 채널이 매핑되는 예시를 나타낸다.
DL 제어 영역에서는 PDCCH가 전송될 수 있고, DL 데이터 영역에서는 PDSCH가 전송될 수 있다. UL 제어 영역에서는 PUCCH가 전송될 수 있고, UL 데이터 영역에서는 PUSCH가 전송될 수 있다. GP는 기지국과 UE가 송신 모드에서 수신 모드로 전환하는 과정 또는 수신 모드에서 송신 모드로 전환하는 과정에서 시간 갭을 제공한다. 서브프레임 내에서 DL에서 UL로 전환되는 시점의 일부 심볼이 GP로 설정될 수 있다.
실시예들에 따른 PDCCH는 DCI(Downlink Control Information)를 운반한다. 예를 들어, PCCCH (즉, DCI)는 DL-SCH(downlink shared channel)의 전송 포맷 및 자원 할당, UL-SCH(uplink shared channel)에 대한 자원 할당 정보, PCH(paging channel)에 대한 페이징 정보, DL-SCH 상의 시스템 정보, PDSCH 상에서 전송되는 랜덤 접속 응답과 같은 상위 계층 제어 메시지에 대한 자원 할당 정보, 전송 전력 제어 명령, CS(Configured Scheduling)의 활성화/해제 등을 나른다. DCI는 CRC(cyclic redundancy check)를 포함하며, CRC는 PDCCH의 소유자 또는 사용 용도에 따라 다양한 식별자(예, Radio Network Temporary Identifier, RNTI)로 마스킹/스크램블 된다. 예를 들어, PDCCH가 특정 단말을 위한 것이면, CRC는 단말 식별자(예, Cell-RNTI, C-RNTI)로 마스킹 된다. PDCCH가 페이징에 관한 것이면, CRC는 P-RNTI(Paging-RNTI)로 마스킹 된다. PDCCH가 시스템 정보(예, System Information Block, SIB)에 관한 것이면, CRC는 SI-RNTI(System Information RNTI)로 마스킹 된다. PDCCH가 랜덤 접속 응답에 관한 것이면, CRC는 RA-RNTI(Random Access-RNTI)로 마스킹 된다.
PDCCH는 AL(Aggregation Level)에 따라 1, 2, 4, 8, 16개의 CCE(Control Channel Element)로 구성된다. CCE는 무선 채널 상태에 따라 소정 부호율의 PDCCH를 제공하기 위해 사용되는 논리적 할당 단위이다. CCE는 6개의 REG(Resource Element Group)로 구성된다. REG는 하나의 OFDM 심볼과 하나의 (P)RB로 정의된다. PDCCH는 CORESET(Control Resource Set)를 통해 전송된다. CORESET는 주어진 뉴모놀로지(예, SCS, CP 길이 등)를 갖는 REG 세트로 정의된다. 하나의 UE를 위한 복수의 CORESET는 시간/주파수 도메인에서 중첩될 수 있다. CORESET는 시스템 정보(예, Master Information Block, MIB) 또는 단말-특정(UE-specific) 상위 계층(예, Radio Resource Control, RRC, layer) 시그널링을 통해 설정될 수 있다. 구체적으로, CORESET을 구성하는 RB 개수 및 OFDM 심볼 개수(최대 3개)가 상위 계층 시그널링에 의해 설정될 수 있다.
PDCCH 수신/검출을 위해, 단말은 PDCCH 후보들을 모니터링 한다. PDCCH 후보는 PDCCH 검출을 위해 UE가 모니터링 해야 하는 CCE(들)을 나타낸다. 각 PDCCH 후보는 AL에 따라 1, 2, 4, 8, 16개의 CCE로 정의된다. 모니터링은 PDCCH 후보들을 (블라인드) 디코딩 하는 것을 포함한다. UE가 모니터링 하는 PDCCH 후보들의 세트를 PDCCH 검색 공간(Search Space, SS)이라고 정의한다. 검색 공간은 공통 검색 공간(Common Search Space, CSS) 또는 단말-특정 검색 공간(UE-specific search space, USS)을 포함한다. 단말은 MIB 또는 상위 계층 시그널링에 의해 설정된 하나 이상의 검색 공간에서 PDCCH 후보를 모니터링 하여 DCI를 획득할 수 있다. 각각의 CORESET는 하나 이상의 검색 공간과 연관되고, 각 검색 공간은 하나의 COREST과 연관된다. 검색 공간은 다음의 파라미터들에 기초하여 정의될 수 있다.
- controlResourceSetId: 검색 공간과 관련된 CORESET를 나타냄
- monitoringSlotPeriodicityAndOffset: PDCCH 모니터링 주기 (슬롯 단위) 및 PDCCH 모니터링 구간 오프셋 (슬롯 단위)을 나타냄
- monitoringSymbolsWithinSlot: 슬롯 내 PDCCH 모니터링 심볼을 나타냄(예, CORESET의 첫 번째 심볼(들)을 나타냄)
- nrofCandidates: AL={1, 2, 4, 8, 16} 별 PDCCH 후보의 수 (0, 1, 2, 3, 4, 5, 6, 8 중 하나의 값)를 나타냄
* PDCCH 후보들을 모니터링을 해야 하는 기회(occasion)(예, 시간/주파수 자원)을 PDCCH (모니터링) 기회라고 정의된다. 슬롯 내에 하나 이상의 PDCCH (모니터링) 기회가 구성될 수 있다.
PUCCH는 UCI(Uplink Control Information)를 나른다. UCI는 다음을 포함한다.
- SR(Scheduling Request): UL-SCH 자원을 요청하는데 사용되는 정보이다.
- HARQ(Hybrid Automatic Repeat reQuest)-ACK(Acknowledgement): PDSCH 상의 하향링크 데이터 패킷(예, 코드워드)에 대한 응답이다. 하향링크 데이터 패킷이 성공적으로 수신되었는지 여부를 나타낸다. 단일 코드워드에 대한 응답으로 HARQ-ACK 1비트가 전송되고, 두 개의 코드워드에 대한 응답으로 HARQ-ACK 2비트가 전송될 수 있다. HARQ-ACK 응답은 포지티브 ACK(간단히, ACK), 네거티브 ACK(NACK), DTX 또는 NACK/DTX를 포함한다. 여기서, HARQ-ACK은 HARQ ACK/NACK, ACK/NACK과 혼용된다.
- CSI(Channel State Information): 하향링크 채널에 대한 피드백 정보이다. MIMO(Multiple Input Multiple Output)-관련 피드백 정보는 RI(Rank Indicator) 및 PMI(Precoding Matrix Indicator)를 포함한다.
PUSCH는 상향링크 데이터(예, UL-SCH transport block, UL-SCH TB) 및/또는 상향링크 제어 정보(UCI)를 운반하고, CP-OFDM(Cyclic Prefix - Orthogonal Frequency Division Multiplexing) 파형(waveform) 또는 DFT-s-OFDM(Discrete Fourier Transform - spread - Orthogonal Frequency Division Multiplexing) 파형에 기초하여 전송된다. PUSCH가 DFT-s-OFDM 파형에 기초하여 전송되는 경우, 단말은 변환 프리코딩(transform precoding)을 적용하여 PUSCH를 전송한다. 일 예로, 변환 프리코딩이 불가능한 경우(예, transform precoding is disabled) 단말은 CP-OFDM 파형에 기초하여 PUSCH를 전송하고, 변환 프리코딩이 가능한 경우(예, transform precoding is enabled), 단말은 CP-OFDM 파형 또는 DFT-s-OFDM 파형에 기초하여 PUSCH를 전송할 수 있다. PUSCH 전송은 DCI 내 UL 그랜트에 의해 동적으로 스케줄링 되거나, 상위 계층(예, RRC) 시그널링 (및/또는 Layer 1(L1) 시그널링(예, PDCCH))에 기초하여 반-정적(semi-static)으로 스케줄링 될 수 있다(configured grant). PUSCH 전송은 코드북 기반 또는 비-코드북 기반으로 수행될 수 있다.
도 5은 ACK/NACK 전송 과정 및 PUSCH 전송 과정의 예시를 나타낸다.
도 5(a)는 ACK/NACK 전송 과정의 예시를 나타낸다.
UE는 슬롯 #n에서 PDCCH를 검출할 수 있다. 여기서, PDCCH는 다운링크 스케줄링 정보(예, DCI 포맷 1_0, 1_1)를 포함하며, PDCCH는 DL assignment-to-PDSCH offset (K0)과 PDSCH-HARQ-ACK reporting offset (K1)를 나타낸다. 예를 들어, DCI 포맷 1_0, 1_1은 다음의 정보를 포함할 수 있다.
- Frequency domain resource assignment: PDSCH에 할당된 RB 세트를 나타냄
- Time domain resource assignment: K0, 슬롯 내의 PDSCH의 시작 위치(예, OFDM 심볼 인덱스) 및 길이(예 OFDM 심볼 개수)를 나타냄
- PDSCH-to-HARQ_feedback timing indicator: K1를 나타냄
- HARQ process number (4비트): 데이터(예, PDSCH, TB)에 대한 HARQ process ID(Identity)를 나타냄
이후, 단말은 슬롯 #n의 스케줄링 정보에 따라 슬롯 #(n+K0)에서 PDSCH를 수신한 뒤, 슬롯 #(n+K1)에서 PUCCH를 통해 UCI를 전송할 수 있다. 여기서, UCI는 PDSCH에 대한 HARQ-ACK 응답을 포함한다. PDSCH가 최대 1개 TB를 전송하도록 구성된 경우, HARQ-ACK 응답은 1-비트로 구성될 수 있다. PDSCH가 최대 2개의 TB를 전송하도록 구성된 경우, HARQ-ACK 응답은 공간(spatial) 번들링이 구성되지 않은 경우 2-비트로 구성되고, 공간 번들링이 구성된 경우 1-비트로 구성될 수 있다. 복수의 PDSCH에 대한 HARQ-ACK 전송 시점이 슬롯 #(n+K1)로 지정된 경우, 슬롯 #(n+K1)에서 전송되는 UCI는 복수의 PDSCH에 대한 HARQ-ACK 응답을 포함한다. 기지국/UE에는 DL 전송을 위해 복수의 병렬 DL HARQ 프로세스가 존재한다. 복수의 병렬 HARQ 프로세스는 이전 DL 전송에 대한 성공 또는 비성공 수신에 대한 HARQ 피드백을 기다리는 동안 DL 전송이 연속적으로 수행되게 한다. 각각의 HARQ 프로세스는 MAC(Medium Access Control) 계층의 HARQ 버퍼와 연관된다. 각각의 DL HARQ 프로세스는 버퍼 내의 MAC PDU(Physical Data Block)의 전송 횟수, 버퍼 내의 MAC PDU에 대한 HARQ 피드백, 현재 리던던시 버전(redundancy version) 등에 관한 상태 변수를 관리한다. 각각의 HARQ 프로세스는 HARQ 프로세스 ID에 의해 구별된다.
도 5(b)는 PUSCH 전송 과정의 예시를 나타낸다.
UE는 슬롯 #n에서 PDCCH를 검출할 수 있다. 여기서, PDCCH는 업링크스케줄링 정보(예, DCI 포맷 0_0, 0_1)를 포함한다. DCI 포맷 0_0, 0_1은 다음의 정보를 포함할 수 있다.
- Frequency domain resource assignment: PUSCH에 할당된 RB 세트를 나타냄
- Time domain resource assignment: 슬롯 오프셋 K2, 슬롯 내의 PUSCH의 시작 위치(예, 심볼 인덱스) 및 길이(예 OFDM 심볼 개수)를 나타냄. 시작 심볼과 길이는 SLIV(Start and Length Indicator Value)를 통해 지시되거나, 각각 지시될 수 있음. UE는 슬롯 #n의 스케줄링 정보에 따라 슬롯 #(n+K2)에서 PUSCH를 전송할 수 있다. 여기서, PUSCH는 UL-SCH TB를 포함한다.
실시예들은 5G 기반 미디어 스트리밍(이하 5GMS) 시스템에 적용될 수 있다. 5GMS구조는 MNO (Mobile Network Operator) 및 제 3자의 미디어 다운링크 Streaming서비스를 지원하는 시스템이다. 또한 5GMS구조는 관련된 네트워크나 UE 기능 및 API를 지원하며, MBMS지원 여부 및/또는 5G표준, EUTRAN 설치와 상관 없이 상호호환성 (backward compatibles)을 제공한다. 5G를 이용한 미디어에서 사용되는 Streaming의 정의란 시간 연속적인 미디어의 생성, 전달로 정의되며 Streaming Point의 정의란 송신기와 수신기가 직접적으로 송신하며 소비하는 것을 나타낸다. 5GMS구조는 기본적으로 다운링크 (Downlink) 및 업링크 (Uplink)환경에서 동작하며 양방향성을 가지고 있다. 사용하고자 하는 시나리오와 단말과 서버간 디바이스 캐퍼빌리티(Device Capability)에 따라 Streaming을 하는 방식이며 기술적으로 다르게 기능 블록이 구성되어 운용된다. 미디어가 다운링크를 통해 전달되는 경우 네트워크가 미디어의 생산 주체이며 UE가 미디어를 소비하는 소비자 장치로 정의된다. 5GMS 서비스는 5G네트워크 뿐만 아니라 3G, 4G, 6G 등의 네트워크를 이용할 수 있으며 상술한 실시예에 국한되지 않는다. 실시예들은 서비스 형태에 따라 네트워크 슬라이스 (Network Slicing)기능도 제공할 수 있다.
도 6은 실시예들에 따른 5GMS 서비스의 미디어 전송을 위한 다운링크 구조를 나타낸다.
도 6은 4G, 5G, 6G 네트워크 중 적어도 어느 하나 이상의 네트워크를 위한 미디어 전송 구조를 나타내며 단방향 다운링크 미디어 Streaming환경에서 동작할 수 있는 장치 방법이다. Downlink 시스템이기 때문에 네트워크 및 Trusted Media Function에서 미디어를 생산하고 미디어는 UE로 전달되는 형태를 갖게 된다. 각 블록도는 개념적으로 미디어 송수신에 필요한 기능의 집합의 구성 형태로 이루어 진다. Inter-Connection Interface는 미디어 블록별 특정 일부의 기능을 공유하거나 조절하기 위한 Link를 의미하며 필요 요소 기술을 모두 활용하지 않는 경우 사용된다. 예를 들어, 3rd Party External Application과 Operator Application은 독립적인 Application 작동이 이루어 지나 필요에 의해 정보 공유 (사용자 데이터, 미디어 Track 등)과 같은 기능이 필요한 경우 Inter-Connection Interface를 통해 통신 가능하도록 연결될 수 있다. 실시예들에 따른 미디어는 시간 연속적, 시간 비연속적, 이미지, 그림, 동영상, 오디오, 텍스트 등의 정보, 매개체를 모두 포함하며, 추가적으로 해당 미디어를 전송하고자 하는 포멧, 포멧의 크기 등을 모두 포함한다.
도 6의 Sink는 UE, UE에 포함된 프로세서(예를 들면 도 2 에서 설명한 상위 계층의 신호처리를 위한 프로세서(911) 등) 또는 UE를 구성하는 하드웨어를 나타낸다. 실시예들에 따른 Sink는 미디어를 제공하는 Source에서 Sink까지 Streaming 서비스를 Unicast형태로 받는 수신 동작을 수행할 수 있다. 실시예들에 따른 Sink는 Source 로부터 Control 정보를 수신하여 Control 정보를 기반으로 신호처리 동작을 수행할 수 있다. 실시예들에 따른 Sink는 Source로부터 미디어/메타데이터(예를 들면 XR 데이터 또는 확장된 미디어 데이터 등)를 수신할 수 있다. 실시예들에 따른 Sink는 3rd Party External Application 블록, Operator Application 블록 및/또는 5G Media Reception Function 블록 등을 포함할 수 있다. 실시예들에 따른 Sink는 3rd Party External Application 블록 및 Operator Application 블록은 Sink단에서 작동하는 UE Application을 나타낸다. 실시예들에 따른 3rd Party External Application 블록은 4G, 5G, 6G망 이외에 존재하는 제 3자에 의해 운용되는 어플리케이션으로, Sink의 API접속을 구동시킬 수 있다. 실시예들에 따른 3rd Party External Application 블록은 4G, 5G, 6G망을 이용하거나 직접적인 Point-to-Point Communication을 통해 정보를 수신할 수 있다. 따라서 Sink의 UE에서는 Native또는 Download Installed된 Application을 통해 추가 서비스를 제공받을 수 있다. 실시예들에 따른 Operator application블록은 미디어 Application을 포함한 미디어 스트리밍 구동 환경에 연관된 Application (5G Media Player) 들을 관리할 수 있다. Application이 설치되면, Sink의 UE는 Application Socket을 이용하여 API를 통한 미디어 서비스를 접속을 시작하고 관련된 데이터 정보를 주고받을 수 있다. 실시예들에 따른 API는 Socket을 이용한 세션 구성으로 데이터를 특정 end-system까지 전달할 수 있게 한다. Socket연결 방식은 일반적인 TCP기반의 인터넷 연결을 통해 전달될 수 있다. Sink는 Cloud Edge로부터 control/data 정보 등을 수신하고, Cloud Edge에 control/data 정보 등을 전송하는 Offloading을 수행할 수 있다. 도면에 도시되지 않았으나 실시예들에 따른 Sink는 Offloading Management 블록을 포함할 수 있다. 실시예들에 따른 Offloading Management는 Sink의 Offloading을 제어하기 위하여 operator application 블록 및/또는 3rd party application 블록의 동작을 제어할 수 있다.
실시예들에 따른 5G Media Reception Function 블록은 Offloading Management 블록으로부터 offloading 과 관련된 동작을 수신하고 4G, 5G, 6G망을 통해 수신할 수 있는 미디어를 획득 하고 미디어를 처리할 수 있다. 실시예들에 따른 5G Media Reception Function 블록은 일반적인 Media Access Client 블록, DRM Client 블록, Media Decoder, Media Rendering Presentation블록, XR Rendering 블록, XR Media Processing 블록 등을 포함할 수 있다. 해당 블록은 예시에 불과하며 명칭 및/또는 동작 등은 실시예들에 한정되지 않는다.
실시예들에 따른 Media Access Client 블록은 4G, 5G, 6G 네트워크 중 적어도 어느 하나 이상의 네트워크를 통해 수신된 데이터, 예를 들어, 미디어 Segment를 수신할 수 있다. 실시예들에 따른 Media Access Client 블록은 DASH, CMAF, HLS등과 같이 다양한 미디어 전송 Format을 De-formatting(또는 디캡슐레이션)할 수 있다. Media Access Client 블록에서 출력된 데이터는 각 디코딩 특성에 따라 처리되어 디스플레이 될 수 있다. 실시예들에 따른 DRM Client 블록은 수신된 데이터의 이용여부를 판단할 수 있다. 예를 들어 DRM client 블록은 허가된 사용자가 Access 범위 내 미디어 정보를 이용할 수 있도록 제어하는 동작을 수행할 수 있다. 실시예들에 따른 Media Decoding 블록은 일반적인 오디오/비디오 디코더로서, 디포맷된 데이터 중 다양한 표준(MPEG2, AVC, HEVC, VVC등의 비디오 표준 및 MPEG 1 Layer 2 Audio, AC3, HE-AAC, E-AC-3, HE-AAC, NGA등과 같은 오디오 표준 등)에 따라 처리된 오디오/비디오 데이터를 디코딩할 수 있다. 실시예들에 따른 Media Rendering Presentation 블록은 수신 장치에 적합하도록 미디어를 렌더링을 할 수 있다. 실시예들에 따른 Media Rendering Presentation 블록은 Media decoding 블록에 포함될 수 있다. 실시예들에 따른 XR Media Processing 블록 및 XR Rendering 블록은 디포맷된 데이터(또는 디 캡슐레이션된 데이터) 중 XR 데이터를 처리하기 위한 블록들이다. XR Media Processing 블록(예를 들면 도 2에서 설명한 프로세서(911) 또는 상위 계층 데이터를 처리하는 프로세서 등)은 source로부터 수신한 XR 데이터 또는 offloading management블록으로부터 수신한 정보 (예를 들면 Object정보, Position정보 등)를 이용하여 XR 미디어에 대한 Processing을 수행할 수 있다. 실시예들에 따른 XR Rendering 블록은 수신한 미디어 데이터 중 XR 미디어 데이터를 렌더링하여 디스플레이 할 수 있다. 실시예들에 따른 XR Media Processing 블록 및 XR rendering 블록은 Video-based Point Cloud Compression (V-PCC) 또는 Geometry-based Point Cloud Compression (G-PCC) 방식에 따라 처리된 포인트 클라우드 데이터를 프로세싱 및 렌더링 할 수 있다. Video-based Point Cloud Compression (V-PCC) 또는 Geometry-based Point Cloud Compression (G-PCC) 방식에 대해서는 도 8 내지 도 14에서 상세히 설명한다. 실시예들에 따른 XR Media Processing 블록 및 XR Rendering 블록은 하나의 XR decoder로 구성될 수 있다.
Source는 4G, 5G, 6G 네트워크 중 적어도 어느 하나 이상의 네트워크를 이용한 미디어 서버 또는 미디어를 제공할 수 있는 UE를 나타내며 Control Function과 Server Function 기능을 수행할 수 있다. Server Function은 4G, 5G, 6G 미디어 서비스를 시작하고 Hosting한다. 3rd Party Media Server는 4G, 5G, 6G 망 이외에 존재하는 제 3자에 의해 운용되는 다양한 미디어 서버를 의미하며, Network External Media Application Server가 될 수 있다. 일반적으로 제 3자 서비스에 의해 운용되는 External Server에서는4G, 5G, 6G망이 아닌 곳에서 미디어 제작, 인코딩, formatting등을 동일하게 수행할 수 있다. Control Function은 네트워크 기반 어플리케이션 기능 (Application Function)을 나타내며, Sink 및 기타 미디어 서버, 미디어 인증을 수행할 경우 컨트롤 위주의 정보 전달 기능을 포함할 수 있다. 따라서 Source는 Control Function을 통해 내부 Application의 API접속을 통해 접속을 시작하고 미디어 세션을 형성하거나, 기타 부가 정보 Request등을 수행할 수 있다. 또한 Source는 Control Function을 통해 타 네트워크 기능과의 PCF 정보 교환을 수행한다. Source는 Control Function을 통해 NEF를 이용하여 외부 네트워크 Capability를 확인하고 노출 과정을 통해 일반적으로 Monitoring, Provisioning을 수행할 수 있다. 그러므로 NEF는 다른 네트워크 정보를 수신하고 특정 표준화된 인터페이스를 이용하여 구조화된 데이터로서 수신된 정보를 저장할 수 있다. 저장된 정보는 NEF에 의해 다른 네트워크 및 어플리케이션 에게 Exposure/Re-exposure를 수행할 수 있으며 다양한 네트워크 환경에서 Exposure된 정보를 모아 분석의 목적으로 이용될 수 있다. 도 6과 같이 서비스 구성 연결이 이루어 지면 API Control Plane이 형성되며 세션 접속이 이루어 지면 보안 (인증, 권한 부여 등)과 같은 작업을 포함되어 미디어를 전송할 수 있는 환경이 형성된다. Source에서 다수개의 4G, 5G, 6G Media Function이 존재할 경우 다수개의 API를 생성하거나 한 개의 API를 통해서 Control Plane을 생성할 수 있다. 마찬가지로 제 3자의 Media 서버로부터 API가 생성될 수 있으며 Media Control Function과 UE의 API는 Media User Plane API를 형성할 수 있다. Source는 Downlink미디어 서비스 기능을 수행하기 위해 다양한 방법으로 미디어를 생성, 전달 가능하며 단순히 미디어를 저장하는 것부터 시작해서 미디어 Relaying 역할 등 미디어를 최종 목적지인 Sink에 해당하는 UE까지 전달할 수 있는 모든 기능을 포함할 수 있다. 실시예들에 따른 Sink 및 Source 내부의 모듈, 또는 블록들은 양방향성을 지닌 Inter-Connection Link 및 Inter-Connection Interface을 통해 정보를 전달 및 공유할 수 있다.
실시예들은 5GMS시스템에서 실시간으로 미디어를 제작된 Content가 소셜미디어, 사용자, 서버 등에 전송할 수 있는 UL 구조 및 방법에 대하여 설명한다. Uplink는 기본적으로 Distribution의 형태로 사용자에게 미디어가 전달되는 것이 아닌 사용자 단말 UE입장에서 미디어를 제작하고 Media Server쪽으로 전달되는 것으로 정의한다. Downlink 시스템과는 달리 Uplink시스템은 개인 사용자가 직접적인 Content를 제공하는 형태로 구성되어 있기 때문에 단말에서 처리하는 시스템 구성 방법 활용하고자 하는 Use Case, 시스템 구조가 Downlink와는 다른 형태로 구성될 수 있다. FLUS 시스템은 미디어를 제작하는 Source Entity와 미디어를 소비하는 Sink Entity로 구성되며 1:1 커뮤니케이션을 통해 음성, 비디오, 텍스트등과 같은 서비스가 전달된다. 따라서 Signalling, Transport Protocol, Packet-loss Handling, Adaptation등과 같은 기법이 적용될 수 있으며 FLUS시스템을 통해 예상 가능한 미디어의 품질과 Flexibility를 제공할 수 있다. FLUS Source는 단일개의 UE 또는 다수 개로 흩어져 있는 UE, Capture Device등이 될 수 있다. 5G망을 전제로 하고 있기 때문에 3GPP IMS/MTSI서비스를 지원할 수 있으며 IMS Control Plane을 통해 IMS 서비스를 지원하고 MTSI Service Policy규정을 준수하여 서비스를 지원할 수 있다. 만약 IMS/MTSI서비스를 지원하지 않는다면 Uplink서비스를 위해 Network Assistance기능을 통해 다양한 User Plane Instantiation으로 서비스가 지원될 수 있다.
도 7은 Uplink서비스를 위한 FLUS 구조의 예시를 나타낸다.
FLUS 구조는 도 6에서 설명한 Source 및 Sink를 포함할 수 있다. 실시예들에 따른 Source는 UE에 해당할 수 있다. 실시예들에 따른 Sink는 UE 또는 Network에 해당할 수 있다. Uplink는 미디어의 생성과 전달 목표에 따라 Source와 Sink로 구성되며 Source는 단말 장치인 UE에 그리고 Sink는 또 다른 UE또는 네트워크가 될 수 있다. Source는 미디어 Content를 한 개 또는 그 이상의 Capture Device로부터 전달 받을 수 있다. Capture Device는 UE의 일부로 연결되어 있거나 연결되지 않을 수 있다. 미디어를 수신하는 Sink가 네트워크가 아닌 UE에 존재할 경우 Decoding 및 Rendering Function기능이 UE에 포함되며 수신된 미디어는 해당 기능에 전달해야 한다. 반대로 Sink가 네트워크에 해당하는 경우 수신된 미디어는 Processing 또는 Distribution Sub-Function으로 전달할 수 있다. Sink가 네트워크에 위치한 경우 때로는 역할에 따라서 Media Gateway Function 또는 Application Function의 역할을 포함할 수 있다. 도 9에 도시된 F link는 Source와 Sink를 연결하는 역할을 하며 세부적으로 이 Link를 통해 FLUS 세션의 Control과 Establishment를 가능하게 한다. 또한 F link를 통해 Source와 Sink간 Authentication/Authorization을 포함할 수 있다. F Link는 조금 더 세부적으로 Media Source and Sink (F-U end-points), Control Source and Sink (F-C end-points), Remote Controller and Remote Control Target (F-RC end-points) 그리고 Assistance Sender and Receiver (F-A end-points)로 구분화 할 수 있다. 이러한 Source Sink간은 모두 Logical Function으로 구분된다. 그러므로 해당 기능들은 같은 물리적 장치에 존재해도 되거나 때로는 기능의 분리가 이루어져 같은 장치에 존재하지 않아도 된다. 각각의 기능들은 또한 다수개의 물리적 장치로 분리되어 서로 다른 Interface에 의해 연결될 수 있다. 단일개의 FLUS Source에서 다수개의 F-A, F-RC point가 존재할 수 있다. 각각의 point는 FLUS Sink와 독립적이며 Offered Service에 따라 생성될 수 있다. 앞서 설명한 바와 같이 F Link Point는 F Point 세부적 존재하는 모든 Sub-function 및 Link의 Security 기능을 가정하고 해당 인증 과정이 포함될 수 있다.
도 8은 실시예들에 따른 포인트 클라우트 데이터 처리 시스템을 나타낸다.
도 8에 도시된 포인트 클라우드 처리 시스템(1500)은 포인트 클라우드 데이터를 획득하여 인코딩 처리하여 전송하는 전송 디바이스(예를 들면 도 1 내지 도 7에서 설명한 BS 또는 UE) 및 비디오 데이터를 수신하여 디코딩 처리하여 포인트 클라우드 데이터를 획득하는 수신 디바이스(예를 들면 도 1 내지 도 7에서 설명한 UE)를 포함할 수 있다. 도 8에 도시된 바와 같이 실시예들에 따른 포인트 클라우드 데이터는 포인트 클라우드 데이터의 캡처, 합성 또는 생성 과정 등을 통하여 획득될 수 있다(S1510). 획득 과정에서 포인트들에 대한 3D 위치(x, y, z)/속성 (color, reflectance, transparency 등) 데이터 (예를 들어, PLY(Polygon File format or the Stanford Triangle format) 파일 등)이 생성될 수 있다. 여러 개의 프레임을 갖는 비디오의 경우 하나 이상의 파일들이 획득될 수 있다. 캡처 과정에서 포인트 클라우드 데이터 관련 메타데이터 (예를 들어 캡처와 관련된 메타데이터 등)가 생성될 수 있다. 실시예들에 따른 전송 디바이스 또는 인코더는 Video-based Point Cloud Compression (V-PCC) 또는 Geometry-based Point Cloud Compression (G-PCC) 방식을 이용하여 포인트 클라우드 데이터를 인코딩하여 하나 또는 그 이상의 비디오 스트림들을 출력할 수 있다(S1520). V-PCC는 HEVC, VVC 등의 2D 비디오 코덱 (video codec)을 기반으로 포인트 클라우드 데이터를 압축하는 방법이고, G-PCC는 포인트 클라우드 데이터를 지오메트리 (geometry) (또는 지오메트리 정보)및 어트리뷰트(attribute) (또는 어트리뷰트 정보)의 두 가지 스트림으로 나누어 인코딩하는 방법이다. 지오메트리 스트림은 포인트들의 위치 정보를 재구성하고 인코딩하여 생성될 수 있으머, 어트리뷰트 스트림은 각 포인트와 연관된 속성 정보 (예를 들면 색상 등)를 재구성하고 인코딩하여 생성될 수 있다. V-PCC의 경우, 2D 비디오와 호환 가능하나, V-PCC 처리된 데이터를 복구하는데 G-PCC 대비 더 많은 데이터(예를 들면, 지오메트리 비디오, 어트리뷰트(attribute) 비디오, 어큐판시(occupancy) 맵 비디오 및 부가 정보(auxiliary information))가 필요하여 서비스 제공 시 더 긴 지연시간이 발생할 수 있다. 출력된 하나 또는 그 이상의 비트 스트림들은 관련 메타데이터와 함께 파일 등의 형태 (예를 들면 ISOBMFF 등의 파일 포맷 등)로 인캡슐레이션되어 네트워크 또는 디지털 저장매체를 통해 전송될 수 있다(S1530). 실시 예에 따라, Point cloud관련 메타데이터 자체는 파일로 인캡슐레이션될 수 있다.
실시예들에 따른 디바이스(UE) 또는 프로세서(예를 들면 도 2에서 설명한 프로세서(911) 또는 프로세서(921), 상위 계층 프로세서, 또는 도 6에서 설명한 Sink 또는 Sink에 포함된 XR Media Processing 블록)는 수신한 비디오 데이터를 디캡슐레이션 처리하여 하나 또는 그 이상의 비트 스트림들을 및 관련 메타 데이터를 획득하고, 획득한 비트 스트림들을 V-PCC 또는 G-PCC 방식으로 디코딩하여 3차원의 포인트 클라우드 데이터를 복원할 수 있다(S1540). 렌더러(예를 들면 도 6에서 설명한 Sink 또는 Sink에 포함된 XR rendering 블록 등)는 디코딩된 포인트 클라우드 데이터를 렌더링하고 디스플레이부를 통해 사용자에게 VR/AR/MR/ 서비스에 맞는 콘텐트를 제공할 수 있다(S1550). 도 8에 도시된 바와 같이, 실시예들에 따른 디바이스 또는 프로세서는 렌더링/디스플레이 과정에서 획득한 다양한 피드백 정보들을 송신 디바이스로 전달하거나, 디코딩 과정에 전달하는 피드백 프로세스를 수행할 수 있다(S1560). 실시예들에 따른 피드백 정보는 헤드 오리엔테이션(Head Orientation) 정보, 사용자가 현재 보고 있는 영역을 나타내는 뷰포트(Viewport) 정보 등을 포함할 수 있다. 피드백 프로세스를 통해 사용자와 서비스 (또는 콘텐트) 프로바이더 간의 상호작용이 이루어지므로, 실시예들에 따른 디바이스는 보다 높은 사용자 편의가 고려된 다양한 서비스들을 제공할 수 있을 뿐만 아니라, 전술한 V-PCC 또는 G-PCC 방식을 이용하여 보다 빠른 데이터 처리 속도를 제공하거나 선명한 비디오 구성이 가능한 기술적 효과가 있다.
도 9는 실시예들에 따른 포인트 클라우드(point cloud) 데이터 처리 장치의 예시를 나타낸다.
도 9는 G-PCC 방식에 따른 포인트 클라우드 데이터 처리 동작을 수행하는 장치를 나타낸다. 도 9에 도시된 포인트 클라우드 데이터 처리 장치는 도 1 내지 도 7에서 설명한 UE (예를 들면 도 2에서 설명한 프로세서(911) 또는 프로세서(921), 상위 계층 데이터를 처리하는 프로세서, 또는 도 6에서 설명한 Sink 또는 Sink에 포함된 XR Media Processing 블록 등) 또는 BS에 포함되거나 UE에 해당할 수 있다.
실시예들에 따른 Point Cloud 데이터 처리 장치는 Point Cloud 획득부(Point Cloud Acquisition), Point Cloud 인코딩부(Point Cloud Encoding), 파일/세그먼트 인캡슐레이션부(File/Segment Encapsulation),및/또는 딜리버리부(Delivery)를 포함한다. 처리 장치의 각 구성은 모듈/유닛/컴포넌트/하드웨어/소프트웨어/프로세서 등일 수 있다. Point cloud 의 geometry, attribute, auxiliary data, mesh data 등은 각각 별도의 스트림으로 구성되거나 혹은 파일 내 각각 다른 트랙에 저장될 수 있다. 더 나아가 별도의 세그먼트에 포함될 수 있다.
Point Cloud 획득부(Point Cloud Acquisition)은 point cloud 를 획득한다. 예를 들어 하나 이상의 카메라를 통하여 Point Cloud의 캡쳐, 합성 또는 생성 과정 등을 통한 Point Cloud 데이터를 획득할 수 있다. 이러한 획득 과정에 의해 각 포인트의 3D 위치(x, y, z 위치 값 등으로 나타낼 수 있다. 이하 이를 지오메트리라고 일컫는다), 각 포인트의 속성 (color, reflectance, transparency 등)을 포함하는 point cloud 데이터를 획득할 수 있으며 이를 포함하는, 예를 들어, PLY(Polygon File format or the Stanford Triangle format) 파일 등으로 생성 될 수 있다. 여러 개의 프레임을 갖는 point cloud 데이터의 경우 하나 이상의 파일들이 획득될 수 있다. 이러한 과정에서 point cloud 관련 메타데이터 (예를 들어 캡처 등과 관련된 메타데이터 등)가 생성될 수 있다.
Point Cloud 인코딩부(Point Cloud Encoding)는 Point Cloud인코더는 Geometry-based Point Cloud Compression (G-PCC) 절차를 수행하며 이는 예측, 변환, 양자화, 엔트로피 코딩 등의 일련의 절차를 수행하고 인코딩된 데이터(인코딩된 비디오/영상 정보)는 비트스트림(bitstream) 형태로 출력될 수 있다. Point Cloud 인코딩부는 포인트 클라우드 데이터를 지오메트리 (Geometry)(또는 지오메트리 정보) 및 어트리뷰트(attribute) (어트리뷰트 정보)로 나누어 각각 인코딩 할 수 있다. 또한 인코딩된 지오메트리 정보 및 어트리뷰트 정보는 각각 비트스트림으로 출력될 수 있으며. 출력된 비트스트림들은 하나의 비트 스트림으로 멀티플렉싱될 수 있다. Point Cloud 인코딩부는 메타데이터(Metadata)를 수신할 수 있다. 메타데이터는 Point Cloud를 위한 콘텐츠에 관련된 메타데이터를 나타낸다. 예를 들어 이니셜 뷰잉 오리엔테이션 메타데이터(Initial viewing orientation metadata)가 있을 수 있다. 메타데이터는 포인트 클라우드 데이터가 앞을 나타내는 데이터인지 뒤를 나타내는 데이터인지 등을 나타낸다. Point Cloud 인코딩부는 오리엔테이션 정보 및/또는 뷰포트 정보를 수신할 수 있다. Point Cloud 인코딩부 메타데이터, 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여 인코딩을 수행할 수 있다. 실시예들에 따른 포인트 클라우드 인코딩 부에서 출력된 비스트림은 포인트 클라우드 관련 메타데이터를 포함할 수 있다. 실시예들에 따른 Point Cloud 인코딩부(Point Cloud Encoding)는 지오메트리 컴프레션(Geometry compression), 어트리뷰트 컴프레션(Attribute compression), Auxiliary 데이터 컴프레션(Auxiliary data compression), Mesh 데이터 컴프레션(Mesh data compression)을 수행한다. 지오메트리 컴프레션(Geometry compression)은 point cloud 데이터의 지오메트리 정보를 인코딩한다. 지오메트리 (또는 지오메트리 정보)는 3차원 공간상의 포인트(또는 각 포인트의 위치 정보)를 나타낸다. 어트리뷰트 컴프레션(Attribute compression)은 point cloud 데이터의 어트리뷰트를 인코딩한다. 어트리뷰트 (또는 어트리뷰트 정보)는 각 포인트의 속성(예를 들면 color, reflectance 등의 속성)을 나타낸다. 어트리뷰트 컴프레션은 하나 또는 그 이상의 포인트들에 대한 하나 또는 그 이상의 어트리뷰트들을 처리할 수 있다. Auxiliary 데이터 컴프레션(Auxiliary data compression)은, point cloud 와 연관된 Auxiliary 데이터를 인코딩한다. Auxiliary 데이터는 Point Cloud에 관한 메타데이터를 나타낸다. Mesh 데이터 컴프레션(Mesh data compression)은 Mesh 데이터를 인코딩한다. Mesh 데이터는 Point Cloud간의 연결 정보를 나타낸다. 실시예들에 따른 Mesh 데이터는 삼각형 형태를 나타내는 Mesh 데이터를 포함할 수 있다.
Point Cloud 인코딩부는 포인트를 렌더링하기 위해 필요한 정보들인 포인트에 관한 지오메트리, 어트리뷰트, Auxiliary 데이터, Mesh데이터를 인코딩한다. Point Cloud 인코딩부는 지오메트리, 어트리뷰트, Auxiliary 데이터, Mesh 데이터를 인코딩하여 하나의 비트스트림으로 전달할 수 있다. 또는, Point Cloud 인코딩부는 지오메트리, 어트리뷰트, Auxiliary 데이터, Mesh 데이터를 각각 인코딩하고, 인코딩된 데이터들을 전송하는 하나 또는 그 이상의 비트스트림들 또는 인코딩된 데이터를 각각 출력할 수 있다(예를 들면 지오메트리 비트스트림, 어트리뷰트 비트스트림등). 포인트 클라우드 인코딩부의 각 동작은 병렬적으로 수행될 수 있다.
파일/세그먼트 인캡슐레이션부(File/Segment Encapsulation)는 미디어 트랙 인캡슐레이션(Media track encapsulation) 및/또는 메타데이터 트랙 인캡슐레이션(metadata track encapsulation)을 수행한다. 파일/세그먼트 인캡슐레이션부는 인코딩된 지오메트리(지오메트리 정보), 인코딩된 어트리뷰트, 인코딩된 Auxiliary 데이터, 인코딩된 Mesh데이터를 파일 형태로 전달하기 위한 트랙을 생성한다. 인코딩된 지오메트리(지오메트리 정보)를 포함하는 비트스트림, 인코딩된 어트리뷰트를 포함하는 비트스트림, 인코딩된 Auxiliary데이터를 포함하는 비트스트림, 인코딩된 Mesh데이터를 포함하는 비트스트림을 하나 또는 하나 이상의 복수의 트랙에 포함시킬 수 있다. 파일/세그먼트 인캡슐레이션부는 지오메트리(지오메트리 정보), 어트리뷰트, Auxiliary 데이터, Mesh 데이터를 하나 또는 하나 이상의 미디어 트랙으로 인캡슐레이션한다. 또한, 파일/세그먼트 인캡슐레이션부는 메타데이터를 미디어 트랙에 포함하거나 별도의 메타데이터 트랙으로 인캡슐레이션한다. 파일/세그먼트 인캡슐레이션부는 포인트 클라우드 스트림(들)을 파일 및/또는 세그먼트의 형태로 인캡슐레이션한다. 포인트 클라우드 스트림(들)을 세그먼트(들) 형태로 인캡슐레이션하여 전달하는 경우 DASH포맷으로 딜리버리한다. 파일/세그먼트 인캡슐레이션부는 포인트 클라우드 스트림(들)을 파일 형태로 인캡슐레이션하는 경우 파일을 딜리버리한다.
딜리버리부(Delivery)는 point cloud 비트스트림 혹은 해당 비트스트림을 포함하는 파일/세그먼트를 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스의 수신부로 전달할 수 있다. 전송을 위해 임의의 전송 프로토콜에 따른 처리가 수행될 수 있다. 전송을 위한 처리를 마친 데이터들은 방송망 및/또는 브로드밴드를 통해 전달될 수 있다. 이 데이터들은 온 디맨드(On Demand) 방식으로 수신측으로 전달될 수도 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 딜리버리부는 미리 정해진 파일 포멧을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘레멘트를 포함할 수 있다. 딜리버리부는 수신부로부터 오리엔테이션 정보 및/또는 뷰포트 정보를 수신한다. 딜리버리부는 획득한 오리엔테이션 정보 및/또는 뷰포트 정보(또는 사용자가 선택한 정보)를 파일/세그먼트 인캡슐레이션부 및/또는 포인트 클라우드 인코딩부에 전달할 수 있다. 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여, 포인트 클라우드 인코딩부는 모든 포인트 클라우드 데이터를 인코딩하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 인코딩할 수 있다. 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여, 파일/세그먼트 인캡슐레이션부는 모든 포인트 클라우드 데이터를 인캡슐레이션하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 인캡슐레이션할 수 있다. 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여, 딜리버리부는 모든 포인트 클라우드 데이터를 딜리버리하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 딜리버리할 수 있다.
도 10은 실시예들에 따른 포인트 클라우드(point cloud) 데이터 처리 장치의 예시를 나타낸다.
도 10은 G-PCC 방식에 따라 처리된 포인트 클라우드 데이터를 수신하고 처리하는 동작을 수행하는 장치의 예시를 나타낸다. 도 10의 장치는 도 9에서 설명한 방식에 대응하는 방식으로 데이터를 처리할 수 있다. 도 10에 도시된 포인트 클라우드 데이터 처리 장치는 도 1 내지 도 10에서 설명한 UE에 해당하거나 UE에 포함될 수 있다(예를 들면 도 2에서 설명한 프로세서(911) 또는 프로세서(921), 또는 도 8에서 설명한 Sink 또는 Sink에 포함된 XR Media Processing 블록 등).
실시예들에 따른 Point Cloud 데이터 처리 장치는 딜리버리 클라이언트(Delivery Client), 센싱/트랙킹부(Sensing/Tracking), 파일/세그먼트 디캡슐레이션부(File/Segment decapsulation),Point Cloud 디코딩부(Point Cloud Decoding) 및/또는 Point Cloud 렌더링부(Point Cloud Rendering), 디스플레이를 포함한다. 수신 장치의 각 구성은 모듈/유닛/컴포넌트/하드웨어/소프트웨어/프로세서 등일 수 있다.
딜리버리 클라이언트(Delivery Client)는 도 9에서 설명한 point cloud 데이터 처리 장치가 전송한 point cloud 데이터, point cloud 비트스트림 혹은 해당 비트스트림을 포함하는 파일/세그먼트를 수신할 수 있다. 전송되는 채널에 따라 도 10의 장치는 방송망을 통하여 point cloud데이터를 수신할 수도 있고, 브로드밴드를 통하여 point cloud데이터를 수신할 수도 있다. 혹은 디지털 저장 매체를 통하여 point cloud 비디오 데이터를 수신할 수도 있다. 도 10의 장치는 수신한 데이터를 디코딩 하고 이를 사용자의 뷰포트 등에 따라 랜더링하는 과정을 수행할 수 있다. 도 10의 장치는 수신된 point cloud데이터에 대해 전송 프로토콜에 따른 처리를 수행하기 위한 수신 처리부(예를 들면 도 2의 프로세서(911) 등)를 포함할 수 있다. 즉, 전송측에서 전송을 위한 처리가 수행된 것에 대응되도록, 수신 처리부는 전송 처리부의 역과정을 수행할 수 있다. 수신 처리부는 획득한 point cloud 데이터는 디캡슐레이션 처리부로 전달하고, 획득한 point cloud 관련 메타데이터는 메타데이터 파서로 전달할 수 있다.
센싱/트랙킹부(Sensing/Tracking)는 오리엔테이션 정보 및/또는 뷰포트 정보를 획득한다. 센싱/트랙킹부는 획득한 오리엔테이션 정보 및/또는 뷰포트 정보를 딜리버리 클라이언트, 파일/세그먼트 디캡슐레이션부, 포인트 클라우드 디코딩부에 전달할 수 있다.
딜리버리 클라이언트는 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여, 모든 포인트 클라우드 데이터를 수신하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 수신할 수 있다. 파일/세그먼트 디캡슐레이션부는 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여, 모든 포인트 클라우드 데이터를 디캡슐레이션하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 디캡슐레이션할 수 있다. 포인트 클라우드 디코딩부는 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여, 모든 포인트 클라우드 데이터를 디코딩하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 디코딩할 수 있다.
파일/세그먼트 디캡슐레이션부(File/Segment decapsulation)는 미디어 트랙 디캡슐레이션(Media track decapsulation) 및/또는 메타데이터 트랙 디캡슐레이션(Metadata track decapsulation)을 수행한다. 디캡슐레이션 처리부(file/segment decapsulation)는 수신 처리부로부터 전달받은 파일 형태의 point cloud데이터를 디캡슐레이션할 수 있다. 디캡슐레이션 처리부는 ISOBMFF 등에 따른 파일 혹은 세그먼트들을 디캡슐레이션하여, point cloud비트스트림 내지 point cloud 관련 메타데이터(혹은 별도의 메타데이터 비트스트림)를 획득할 수 있다. 획득된 point cloud비트스트림은 point cloud디코더로, 획득된 point cloud관련 메타데이터(혹은 메타데이터 비트스트림)는 메타데이터 처리부로 전달할 수 있다. point cloud비트스트림은 메타데이터(메타데이터 비트스트림)를 포함할 수도 있다. 메타데이터 처리부는 point cloud 비디오 디코더에 포함될 수도 있고, 또는 별도의 컴포넌트/모듈로 구성될 수도 있다. 디캡슐레이션 처리부가 획득하는 point cloud관련 메타데이터는 파일 포맷 내의 박스 혹은 트랙 형태일 수 있다. 디캡슐레이션 처리부는 필요한 경우 메타데이터 처리부로부터 디캡슐레이션에 필요한 메타데이터를 전달받을 수도 있다. point cloud관련 메타데이터는 point cloud디코더에 전달되어 point cloud디코딩 절차에 사용될 수도 있고, 또는 렌더러에 전달되어 point cloud렌더링 절차에 사용될 수도 있다.
Point Cloud 디코딩부(Point Cloud Decoding)는 지오메트리 디컴프레션(Geometry decompression), 어트리뷰트 디컴프레션(Attribute decompression), Auxiliary 데이터 디컴프레션(Auxiliary data decompression) 및/또는 Mesh 데이터 디컴프레션(Mesh data decompression)을 수행한다. Point Cloud디코더는 비트스트림을 입력 받아 Point Cloud인코더의 동작에 대응하는 동작을 수행하여 데이터를 디코딩할 수 있다. 이 경우 Point Cloud디코더는 Point Cloud데이터를 후술하는 바와 같이 지오메트리 및 속성(attribute)로 나누어 디코딩할 수 있다. 예를 들어, Point Cloud디코더는 입력 비트스트림 내 포함된 지오메트리 비트스트림으로부터 지오메트리를 복원(디코딩)할 수 있고, 입력 비트스트림 내 포함된 속성 비트스트림 및 복원된 지오메트리를 기반으로 속성값을 복원(디코딩)할 수 있다. 입력 비트스트림 내 포함된 메쉬 비트스트림 및 복원된 지오메트리를 기반으로 메쉬를 복원(디코딩)할 수 있다. 복원된 지오메트리에 따른 위치 정보 및 디코딩된 속성값에 따른 (컬러) 텍스처 어트리뷰트를 기반으로 3차원의 각 포인트의 위치와 각 포인트의 속성정보를 복원하여 point cloud을 복원할 수 있다. 포인트 클라우드 디코딩부의 각 동작은 병렬적으로 수행될 수 있다.
지오메트리 디컴프레션은 포인트 클라우드 스트림(들)으로부터 지오메트리 데이터를 디코딩한다. 어트리뷰트 디컴프레션은 포인트 클라우드 스트림(들)으로부터 어트리뷰트 데이터를 디코딩한다. Auxiliary 데이터 디컴프레션은 포인트 클라우드 스트림(들)으로부터 Auxiliary 데이터를 디코딩한다. Mesh데이터 디컴프레션은 포인트 클라우드 스트림(들) 으로부터 Mesh 데이터를 디코딩한다.
Point Cloud 렌더링부(Point Cloud Rendering)는 디코딩된 지오메트리, 어투리뷰트, auxiliary 데이터, 메쉬데이터를 기반으로 포인트 클라우드의 각 포인트의 위치 및 해당 포인트의 에트리뷰티를 복원하고 해당 포인트 클라우드 데이터를 렌더링한다. 포인트 클라우드 렌더링부는 복원된 지오메트리, 복원된어트리뷰트, 복원된Auxiliary데이터 및/또는복원된Mesh데이터에 기초하여 포인트 클라우드 간의 메쉬(연결) 데이터를 생성하고 렌더링한다. 포인트 클라우드 렌더링부는 파일/세그먼트 인캡슐레이션부 및/또는 포인트 클라우드 디코딩부로부터 메타데이터를 수신한다. 포인트 클라우드 렌더링부는 오리엔테이션 혹은 뷰포트에 따라 메타데이터에 기반하여 포인트 클라우드 데이터를 렌더링할 수 있다. 도 10에 도시되지 않았으나 도 10의 장치는 디스플레이를 포함할 수 있다. 실시예들에 따른 디스플레이는 랜더링된 결과를 디스플레이할 수 있다.
도 11은 실시예들에 따른 포인트 클라우드(point cloud) 데이터 처리 장치의 예시를 나타낸다.
도 11은 V-PCC 방식에 따른 포인트 클라우드 데이터 처리 동작을 수행하는 장치를 나타낸다. 도 11에 도시된 포인트 클라우드 데이터 처리 장치는 도 1 내지 도 8에서 설명한 UE (예를 들면 도 2에서 설명한 프로세서(911) 또는 프로세서(921), 또는 도 6에서 설명한 Sink 또는 Sink에 포함된 XR Media Processing 블록 등) 또는 BS에 포함되거나 UE에 해당할 수 있다.
실시예들에 따른 Point Cloud 데이터 처리 장치는 Point Cloud 획득부(Point Cloud Acquisition), 패치 제너레이션(Patch Generation), 지오메트리 이미지 제너레이션(Geometry Image Generation), 어트리뷰트 이미지 제너레이션(Attribute Image Generation), 어큐판시 맵 제너레이션(Occupancy Map Generation), Auxiliary 데이터 제너레이션(Auxiliary Data Generation), Mesh 데이터 제너레이션(Mesh Data Generation), 비디오 인코딩(Video Encoding), 이미지 인코딩(Image Encoding), 파일/세그먼트 인캡슐레이션부(File/Segment Encapsulation),딜리버리부(Delivery)를 포함한다. 실시예들에 따라서, 패치 제너레이션, 지오메트리 이미지 제너레이션, 어트리뷰트 이미지 제너레이션, 어큐판시 맵 제너레이션, Auxiliary 데이터 제너레이션, Mesh 데이터 제너레이션은 포인트 클라우드 프리-프로세싱(Point Cloud Pre-processing), 프리-프로세서 또는 제어부라고 명명할 수 있다. 비디오 인코딩부는 지오메트리 비디오 컴프레션(Geometry video compression), 어트리뷰트 비디오 컴프레션(Attribute video compression), 어큐판시 맵 컴프레션(Occupancy map compression), Auxiliary 데이터 컴프레션(Auxiliary data compression), Mesh 데이터 컴프레션(Mesh data compression)을 포함한다. 이미지 인코딩부는 지오메트리 비디오 컴프레션(Geometry video compression), 어트리뷰트 비디오 컴프레션(Attribute video compression), 어큐판시 맵 컴프레션(Occupancy map compression), Auxiliary 데이터 컴프레션(Auxiliary data compression), Mesh 데이터 컴프레션(Mesh data compression)을 포함한다. 파일/세그먼트 인캡슐레이션부는 비디오 트랙 인캡슐레이션(Video Track Encapsulation), 메타데이터 트랙 인캡슐레이션(Metadata Track Encapsulation), 이미지 인캡슐레이션(Image Encapsulation)을 포함한다. 전송 장치의 각 구성은 모듈/유닛/컴포넌트/하드웨어/소프트웨어/프로세서 등일 수 있다.
Point cloud 의 geometry, attribute, auxiliary data, mesh data 등은 각각 별도의 스트림으로 구성되거나 혹은 파일 내 각각 다른 트랙에 저장될 수 있다. 더 나아가 별도의 세그먼트에 포함될 수 있다.
Point Cloud 획득부(Point Cloud Acquisition)은 point cloud 를 획득한다. 예를 들어 하나 이상의 카메라를 통하여 Point Cloud의 캡쳐, 합성 또는 생성 과정 등을 통한 Point Cloud 데이터를 획득할 수 있다. 이러한 획득 과정에 의해 각 포인트의 3D 위치(x, y, z 위치 값 등으로 나타낼 수 있다. 이하 이를 지오메트리라고 일컫는다), 각 포인트의 속성 (color, reflectance, transparency 등)을 포함하는 point cloud 데이터를 획득할 수 있으며 이를 포함하는, 예를 들어, PLY(Polygon File format or the Stanford Triangle format) 파일 등으로 생성 될 수 있다. 여러 개의 프레임을 갖는 point cloud 데이터의 경우 하나 이상의 파일들이 획득될 수 있다. 이러한 과정에서 point cloud 관련 메타데이터 (예를 들어 캡처 등과 관련된 메타데이터 등)가 생성될 수 있다.
패치 제너레이션(Patch Generation) 또는 패치 제너레이터는 포인트 클라우드 데이터로부터 패치를 생성한다. 패치 제너레이터는 포인트 클라우드 데이터 또는 포인트 클라우드 비디오를 하나 이상의 픽처(picture)/프레임(frame)으로 생성한다. 픽처(picture)/프레임(frame)은 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미할 수 있다. Point cloud 비디오를 구성하는 점들을 하나 이상의 패치(point cloud를 구성하는 점들의 집합으로, 같은 patch에 속하는 점들은 3차원 공간상에서 서로 인접해 있으며 2D 이미지로의 맵핑 과정에서 6면의 bounding box 평면 중 같은 방향으로 맵핑되는 점들의 집합)로 나누어2D 평면에 맵핑할 때 2D 평면의 해당 위치에 데이터가 존재하는 여부를 0 또는 1의 값으로 알려주는 2진 맵 (binary map) 인 어큐판시(occupancy) 맵 픽처/프레임을 생성할 수 있다. 그리고 Point Cloud 비디오를 이루는 각 점들의 위치 정보 (geometry)를 패치 단위로 표현하는 depth map 형태의 픽처/프레임인 지오메트리 픽처/프레임을 생성할 수 있다. Point cloud 비디오를 이루는 각 점들의 색상 정보를 패치 단위로 표현하는 픽처/프레임인 텍스처 픽처/프레임을 생성할 수 있다. 이러한 과정에서 개별 패치들로부터 point cloud를 재구성하기 위해 필요한 메타데이터가 생성될 수 있으며 이는 각 패치의2D/3D 공간에서의 위치, 크기 등 패치에 대한 정보를 포함할 수 있다. 이러한 픽처/프레임들이 시간순으로 연속적으로 생성되어 비디오 스트림 혹은 메타데이터 스트림을 구성할 수 있다.
또한, 패치는 2D 이미지 맵핑을 위해 사용될 수 있다. 예를 들어, 포인트 클라우드 데이터가 정육면체의 각 면에 프로젝션될 수 있다. 패치 제너레이션 후, 생성된 패치를 기반으로 지오메트리 이미지, 하나 또는 하나 이상의 어트리뷰트 이미지, 어큐판시 맵, Auxiliary 데이터 및/또는 Mesh 데이터 등이 생성될 수 있다.
프리-프로세서 또는 제어부(controller)에 의해 지오메트리 이미지 제너레이션(Geometry Image Generation), 어트리뷰트 이미지 제너레이션(Attribute Image Generation), 어큐판시 맵 제너레이션(Occupancy Map Generation), Auxiliary 데이터 제너레이션(Auxiliary Data Generation) 및/또는 Mesh 데이터 제너레이션(Mesh Data Generation)이 수행된다.
지오메트리 이미지 제너레이션(Geometry Image Generation)은 패치 제너레이션의 결과물에 기반하여 지오메트리 이미지를 생성한다. 지오메트리는 3차원 공간상의 포인트를 나타낸다. 패치에 기반하여 패치의 2D이미지 패킹에 관련된 정보를 포함하는 어큐판시 맵, Auxiliary 데이터(패치 데이터) 및/또는 Mesh 데이터 등을 사용하여, 지오메트리 이미지가 생성된다. 지오메트리 이미지는 패치 제너레이션 후 생성된 패치에 대한 뎁스(e.g., near, far) 등의 정보와 관련된다.
어트리뷰트 이미지 제너레이션(Attribute Image Generation)은 어트리뷰트 이미지를 생성한다. 예를 들어, 어트리뷰트는 텍스쳐(Texture)를 나타낼 수 있다. 텍스쳐는 각 포인트에 매칭되는 컬러 값일 수 있다. 실시예들에 따라서, 텍스쳐를 포함한 복수 개(N개)의 어트리뷰트(color, reflectance 등의 속성) 이미지가 생성될 수 있다. 복수 개의 어트리뷰트는 머터리얼 (재질에 대한 정보), 리플렉턴스 등을 포함할 수 있다. 또한, 실시예들에 따라 어트리뷰트는 같은 텍스쳐라도 시각, 빛에 의해 컬러가 달라질 수 있는 정보를 추가적으로 포함할 수 있다.
어큐판시 맵 제너레이션(Occupancy Map Generation)은 패치로부터 어큐판시 맵을 생성한다. 어큐판시 맵은 해당 지오메트리 혹은 에트리뷰트 이미지 등의 픽셀에 데이터의 존재 유무를 나타내는 정보를 포함한다.
Auxiliary 데이터 제너레이션(Auxiliary Data Generation)은 패치에 대한 정보를 포함하는Auxiliary 데이터를 생성한다. 즉, Auxiliary 데이터는 Point Cloud객체의 패치에 관한 메타데이터를 나타낸다. 예를 들어, 패치에 대한 노멀(normal) 벡터 등의 정보를 나타낼 수 있다. 구체적으로, 실시예들에 따라 Auxiliary 데이터는 패치들로부터 포인트 클라우드를 재구성하기 위해서 필요한 정보를 포함할 수 있다(예를 들어, 패치의 2D/3D 공간 상 위치, 크기 등에 대한 정보, 프로젝션 평명(normal) 식별 정보, 패치 매핑 정보 등)
Mesh 데이터 제너레이션(Mesh Data Generation)은 패치로부터 Mesh 데이터를 생성한다. Mesh 는 인접한 포인트 들간의 연결정보를 나타낸다. 예를 들어, 삼각형 형태의 데이터를 나타낼 수 있다. 예를 들어, 실시예들에 따른 Mesh 데이터는 각 포인트 간의커넥티비티(connectivity) 정보를 의미한다.
포인트 클라우드 프리-프로세서 또는 제어부는 패치 제너레이션, 지오메트리 이미지 제너레이션, 어트리뷰트 이미지 제너레이션, 어큐판시 맵 제너레이션, Auxiliary 데이터 제너레이션, Mesh 데이터 제너레이션에 관련된 메타데이터(Metadata)를 생성한다.
포인트 클라우드 전송 장치는 프리-프로세서에서 생성된 결과물에 대응하여 비디오 인코딩 및/또는 이미지 인코딩을 수행한다. 포인트 클라우드 전송 장치는 포인트 클라우드 비디오 데이터뿐만 아니라 포인트 클라우드 이미지 데이터를 생성할 수 있다.실시예들에 따라 포인트 클라우드 데이터는 오직 비디오 데이터, 오직 이미지 데이터 및/또는 비디오 데이터 및 이미지 데이터 둘 다를 포함하는 경우가 있을 수 있다.
비디오 인코딩부는 지오메트리 비디오 컴프레션, 어트리뷰트 비디오 컴프레션, 어큐판시 맵 컴프레션, Auxiliary 데이터 컴프레션 및/또는 Mesh 데이터 컴프레션을 수행한다. 비디오 인코딩부는 각 인코딩된 비디오 데이터를 포함하는 비디오 스트림(들)을 생성한다.
구체적으로, 지오메트리 비디오 컴프레션은 point cloud 지오메트리 비디오 데이터를 인코딩한다. 어트리뷰트 비디오 컴프레션은 point cloud 의 어트리뷰트 비디오 데이터를 인코딩한다. Auxiliary 데이터 컴프레션은 point cloud 비디오 데이터와 연관된 Auxiliary 데이터를 인코딩한다. Mesh 데이터 컴프레션(Mesh data compression)은 Point Cloud 비디오 데이터의 Mesh 데이터를 인코딩한다. 포인트 클라우드 비디오 인코딩부의 각 동작은 병렬적으로 수행될 수 있다.
이미지 인코딩부는 지오메트리 이미지 컴프레션, 어트리뷰트 이미지 컴프레션, 어큐판시 맵 컴프레션, Auxiliary 데이터 컴프레션 및/또는 Mesh 데이터 컴프레션을 수행한다. 이미지 인코딩부는 각 인코딩된 이미지 데이터를 포함하는 이미지(들)을 생성한다.
구체적으로, 지오메트리 이미지 컴프레션은 point cloud 지오메트리 이미지 데이터를 인코딩한다. 어트리뷰트 이미지 컴프레션은 point cloud 의 어트리뷰트 이미지 데이터를 인코딩한다. Auxiliary 데이터 컴프레션은 point cloud 이미지 데이터와 연관된 Auxiliary 데이터를 인코딩한다. Mesh 데이터 컴프레션(Mesh data compression)은 point cloud 이미지 데이터와 연관된 Mesh 데이터를 인코딩한다. 포인트 클라우드 이미지 인코딩부의 각 동작은 병렬적으로 수행될 수 있다.
비디오 인코딩부 및/또는 이미지 인코딩부는 프리-프로세서로부터 메타데이터를 수신할 수 있다. 비디오 인코딩부 및/또는 이미지 인코딩부는 메타데이터에 기반하여 각 인코딩 과정을 수행할 수 있다.
파일/세그먼트 인캡슐레이션(File/Segment Encapsulation)부는 비디오 스트림(들) 및/또는 이미지(들)을 파일 및/또는 세그먼트의 형태로 인캡슐레이션한다. 파일/세그먼트 인캡슐레이션부는 비디오 트랙 인캡슐레이션, 메타데이터 트랙 인캡슐레이션 및/또는 이미지 인캡슐레이션을 수행한다.
비디오 트랙 인캡슐레이션은 하나 또는 하나 이상의 비디오 스트림을 하나 또는 하나 이상의 트랙에 인캡슐레이션할 수 있다.
메타데이터 트랙 인캡슐레이션은 비디오 스트림 및/또는 이미지에 관련된 메타데이터를 하나 또는 하나 이상의 트랙에 인캡슐레이션할 수 있다. 메타데이터는 포인트 클라우드 데이터의 컨텐츠에 관련된 데이터를 포함한다. 예를 들어, 이니셜 뷰잉 오리엔테이션 메타데이터(Initial Viewing Orientation Metadata)를 포함할 수 있다. 실시예들에 따라 메타데이터는 메타데이터 트랙에 인캡슐레이션 될 수 있고, 또는 비디오 트랙이나 이미지 트랙에 함께 인캡슐레이션될 수 있다.
이미지 인캡슐레이션은 하나 또는 하나 이상의 이미지들을 하나 또는 하나 이상의 트랙 혹은 아이템에 인캡슐레이션할 수 있다.
예를 들어, 실시예들에 따라 비디오 스트림이 4개 및 이미지가 2개를 인캡슐레이션부에 입력되는 경우, 4개의 비디오 스트림 및 2개의 이미지를 하나의 파일 안에 인캡슐레이션할 수 있다.
파일/세그먼트 인캡슐레이션부는 프리-프로세서로부터 메타데이터를 수신할 수 있다. 파일/세그먼트 인캡슐레이션부는 메타데이터에 기반하여 인캡슐레이션을 할 수 있다.
파일/세그먼트 인캡슐레이션에 의해 생성된 파일 및/또는 세그먼트는 포인트 클라우드 전송 장치 또는 전송부에 의해서 전송된다. 예를 들어, DASH 기반의 프로토콜에 기반하여 세그먼트(들)이 딜리버리(Delivery)될 수 있다.
딜리버리부(Delivery)는 point cloud 비트스트림 혹은 해당 비트스트림을 포함하는 파일/세그먼트를 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스의 수신부로 전달할 수 있다. 전송을 위해 임의의 전송 프로토콜에 따른 처리가 수행될 수 있다. 전송을 위한 처리를 마친 데이터들은 방송망 및/또는 브로드밴드를 통해 전달될 수 있다. 이 데이터들은 온 디맨드(On Demand) 방식으로 수신측으로 전달될 수도 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 딜리버리부는 미리 정해진 파일 포멧을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘레멘트를 포함할 수 있다. 딜리버리부는 수신부로부터 오리엔테이션 정보 및/또는 뷰포트 정보를 수신한다. 딜리버리부는 획득한 오리엔테이션 정보 및/또는 뷰포트 정보(또는 사용자가 선택한 정보)를 프리-프로세서, 비디오 인코딩부, 이미지 인코딩부, 파일/세그먼트 인캡슐레이션부 및/또는 포인트 클라우드 인코딩부에 전달할 수 있다. 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여, 포인트 클라우드 인코딩부는 모든 포인트 클라우드 데이터를 인코딩하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 인코딩할 수 있다. 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여, 파일/세그먼트 인캡슐레이션부는 모든 포인트 클라우드 데이터를 인캡슐레이션하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 인캡슐레이션할 수 있다. 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여, 딜리버리부는 모든 포인트 클라우드 데이터를 딜리버리하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 딜리버리할 수 있다.
예를 들어, 프리-프로세서는 모든 포인트 클라우드 데이터에 대해 상술한 동작을 수행하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터에 대해 상술한 동작을 수행할 수 있다. 비디오 인코딩부 및/또는 이미지 인코딩부는 모든 포인트 클라우드 데이터에 대해 상술한 동작을 수행하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터에 대해 상술한 동작을 수행할 수 있다. 파일/세그먼트 인캡슐레이션부는 모든 포인트 클라우드 데이터에 대해 상술한 동작을 수행하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터에 대해 상술한 동작을 수행할 수 있다. 전송부는 모든 포인트 클라우드 데이터에 대해 상술한 동작을 수행하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터에 대해 상술한 동작을 수행할 수 있다.
도 12는 실시예들에 따른 포인트 클라우드(point cloud) 데이터 처리 장치의 예시를 나타낸다.
도 12는 V-PCC 방식에 따라 처리된 포인트 클라우드 데이터를 수신하고 처리하는 동작을 수행하는 장치의 예시를 나타낸다. 도 12에 도시된 point cloud 데이터 처리 장치는 도 11에서 설명한 방식에 대응하는 방식으로 데이터를 처리할 수 있다. 도 12에 도시된 포인트 클라우드 데이터 처리 장치는 도 1 내지 도 8에서 설명한 UE에 해당하거나 UE에 포함될 수 있다(예를 들면 도 2에서 설명한 프로세서(911) 또는 프로세서(921), 상위 계층 데이터를 처리하는 프로세서, 또는 도 6에서 설명한 Sink 또는 Sink에 포함된 XR Media Processing 블록 등).
실시예들에 따른 Point Cloud 데이터 처리 장치는 딜리버리 클라이언트(Delivery Client), 센싱/트랙킹부(Sensing/Tracking), 파일/세그먼트 디캡슐레이션부(File/Segment decapsulation), 비디오 디코딩부(Video Decoding), 이미지 디코딩부(Image Decoding), 포인트 클라우드 프로세싱 및/또는 Point Cloud 렌더링부(Point Cloud Rendering), 디스플레이를 포함한다. 비디오 디코딩부는 지오메트리 비디오 디컴프레션(Geometry Video Decompression), 어트리뷰트 비디오 디컴프레션(Attribute Video Decompresssion), 어큐판시 맵 디컴프레션(Occupancy Map Decompression), Auxiliary 데이터 디컴프레션(Auxiliary Data Decompression) 및/또는 Mesh 데이터 디컴프레션(Mesh Data Decompression)를 포함한다. 이미지 디코딩부는 지오메트리 이미지 디컴프레션(Geometry Image Decompression), 어트리뷰트 이미지 디컴프레션(Attribute Image Decompresssion), 어큐판시 맵 디컴프레션(Occupancy Map Decompression), Auxiliary 데이터 디컴프레션(Auxiliary Data Decompression) 및/또는 Mesh 데이터 디컴프레션(Mesh Data Decompression)를 포함한다. 포인트 클라우드 프로세싱은 지오메트리 리컨스턱션(Geometry Reconstruction), 어트리뷰트 리컨스트럭션(Attribute Reconstruction)를 포함한다.
딜리버리 클라이언트(Delivery Client)는 도 13의 실시예들에 따른 point cloud 데이터 처리 장치가 전송한 point cloud 데이터, point cloud 비트스트림 혹은 해당 비트스트림을 포함하는 파일/세그먼트를 수신할 수 있다. 전송되는 채널에 따라 도 14의 장치는 방송망을 통하여 point cloud데이터를 수신할 수도 있고, 브로드밴드를 통하여 point cloud데이터를 수신할 수도 있다. 혹은 디지털 저장 매체를 통하여 point cloud 비디오 데이터를 수신할 수도 있다. 도 14의 장치는 수신한 데이터를 디코딩 하고 이를 사용자의 뷰포트 등에 따라 랜더링하는 과정을 수행할 수 있다. 도 14의 장치는 도면에 도시되지 않았으나 수신 처리부(예를 들면 도 2의 프로세서(911) 등)를 포함할 수 있다. 실시예들에 따른 수신 처리부는 수신된 point cloud데이터에 대해 전송 프로토콜에 따른 처리를 수행할 수 있다. 전송측에서 전송을 위한 처리가 수행된 것에 대응되도록, 수신 처리부는 전술한 전송 처리부의 역과정을 수행할 수 있다. 수신 처리부는 획득한 point cloud 데이터는 디캡슐레이션 처리부로 전달하고, 획득한 point cloud 관련 메타데이터는 메타데이터 파서로 전달할 수 있다.
센싱/트랙킹부(Sensing/Tracking)는 오리엔테이션 정보 및/또는 뷰포트 정보를 획득한다. 센싱/트랙킹부는 획득한 오리엔테이션 정보 및/또는 뷰포트 정보를 딜리버리 클라이언트, 파일/세그먼트 디캡슐레이션부, 포인트 클라우드 디코딩부에 전달할 수 있다.
딜리버리 클라이언트는 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여, 모든 포인트 클라우드 데이터를 수신하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 수신할 수 있다. 파일/세그먼트 디캡슐레이션부는 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여, 모든 포인트 클라우드 데이터를 디캡슐레이션하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 디캡슐레이션할 수 있다. 포인트 클라우드 디코딩부(비디오 디코딩부 및/또는 이미지 디코딩부)는 오리엔테이션 정보 및/또는 뷰포트 정보에 기반하여, 모든 포인트 클라우드 데이터를 디코딩하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 디코딩할 수 있다. 포인트 클라우드 프로세싱부는 모든 포인트 클라우드 데이터를 처리하거나 또는 오리엔테이션 정보 및/또는 뷰포트 정보가 나타내는 포인트 클라우드 데이터를 처리할 수 있다.
파일/세그먼트 디캡슐레이션부(File/Segment decapsulation)는 비디오 트랙 디캡슐레이션(Video Track Decapsulation), 메타데이터 트랙 디캡슐레이션(Metadata Track Decapsulation) 및/또는 이미지 디캡슐레이션(Image Decapsulation)을 수행한다. 디캡슐레이션 처리부(file/segment decapsulation)는 수신 처리부로부터 전달받은 파일 형태의 point cloud데이터를 디캡슐레이션할 수 있다. 디캡슐레이션 처리부는 ISOBMFF 등에 따른 파일 혹은 세그먼트들을 디캡슐레이션하여, point cloud비트스트림 내지 point cloud 관련 메타데이터(혹은 별도의 메타데이터 비트스트림)를 획득할 수 있다. 획득된 point cloud비트스트림은 point cloud디코더로, 획득된 point cloud관련 메타데이터(혹은 메타데이터 비트스트림)는 메타데이터 처리부로 전달할 수 있다. point cloud비트스트림은 메타데이터(메타데이터 비트스트림)를 포함할 수도 있다. 메타데이터 처리부는 point cloud 비디오 디코더에 포함될 수도 있고, 또는 별도의 컴포넌트/모듈로 구성될 수도 있다. 디캡슐레이션 처리부가 획득하는 point cloud관련 메타데이터는 파일 포맷 내의 박스 혹은 트랙 형태일 수 있다. 디캡슐레이션 처리부는 필요한 경우 메타데이터 처리부로부터 디캡슐레이션에 필요한 메타데이터를 전달받을 수도 있다. point cloud관련 메타데이터는 point cloud디코더에 전달되어 point cloud디코딩 절차에 사용될 수도 있고, 또는 렌더러에 전달되어 point cloud렌더링 절차에 사용될 수도 있다. 파일/세그먼트 디캡슐레이션부는 포인트 클라우드 데이터에 관련된 메타데이터를 생성할 수 있다.
비디오 트랙 디캡슐레이션(Video Track Decapsulation)은 파일 및/또는 세그먼트에 포함된 비디오 트랙을 디캡슐레이션한다. 지오메트리 비디오, 어트리뷰트 비디오, 어큐판시 맵, Auxiliary 데이터 및/또는 Mesh 데이터를 포함하는 비디오 스트림(들)을 디캡슐레이션한다.
메타데이터 트랙 디캡슐레이션(Metadata Track Decapsulation)은 포인트 클라우드 데이터에 관련된 메타데이터 및/또는 부가 데이터 등을 포함하는 비트스트림을 디캡슐레이션한다.
이미지 디캡슐레이션(Image Decapsulation)은 지오메트리 이미지, 어트리뷰트 이미지, 어큐판시 맵, Auxiliary 데이터 및/또는 Mesh 데이터를 포함하는 이미지(들)을 디캡슐레이션한다.
비디오 디코딩부(Video Decoding)는 지오메트리 비디오 디컴프레션, 어트리뷰트 비디오 디컴프레션, 어큐판시 맵 디컴프레션, Auxiliary 데이터 디컴프레션 및/또는 Mesh데이터 디컴프레션을 수행한다. 비디오 디코딩부는 실시예들에 따른 포인트 클라우드 전송 장치의 비디오 인코딩부가 수행한 프로세스에 대응하여 지오메트리 비디오, 어트리뷰트 비디오, Auxiliary데이터 및/또는 Mesh데이터를 디코딩한다.
이미지 디코딩부(Image Decoding)는 지오메트리 이미지 디컴프레션, 어트리뷰트 이미지 디컴프레션, 어큐판시 맵 디컴프레션, Auxiliary 데이터 디컴프레션 및/또는 Mesh데이터 디컴프레션을 수행한다. 이미지 디코딩부는 실시예들에 따른 포인트 클라우드 전송 장치의 이미지 인코딩부가 수행한 프로세스에 대응하여 지오메트리 이미지, 어트리뷰트 이미지, Auxiliary데이터 및/또는 Mesh데이터를 디코딩한다.
비디오 디코딩부 및/또는 이미지 디코딩부는 비디오 데이터 및/또는 이미지 데이터에 관련된 메타데이터를 생성할 수 있다.
포인트 클라우드 프로세싱부(Point Cloud Processing)은 지오메트리 리컨스트럭션(Geometry Reconstruction) 및/또는 어트리뷰트 리컨스트럭션(Attribute Reconstruction)을 수행한다.
지오메트리 리컨스턱션은 디코딩된 비디오 데이터 및/또는 디코딩된 이미지 데이터로부터 어큐판시 맵, Auxiliary 데이터 및/또는 Mesh데이터에 기반하여 지오메트리 비디오 및/또는 지오메트리 이미지를 복원한다.
어트리뷰트 리컨스럭션은 디코딩된 어트리뷰트 비디오 및/또는 디코딩된 어트리뷰트 이미지로부터 어큐판시 맵, Auxiliary 데이터 및/또는 Mesh데이터에 기반하여 어트리뷰트 비디오 및/또는 어트리뷰트 이미지를 복원한다. 실시예들에 따라, 예를 들어, 어트리뷰트는 텍스쳐일 수 있다. 실시예들에 따라 어트리뷰트는 복수 개의 속성 정보를 의미할 수 있다. 복수개의 어트리뷰트가 있는 경우, 실시예들에 따른 포인트 클라우드 프로세싱부는 복수개의 어트리뷰트 리컨스럭션을 수행한다.
포인트 클라우드 프로세싱부는 비디오 디코딩부, 이미지 디코딩부 및/또는 파일/세그먼트 디캡슐레이션부로부터 메타데이터를 수신하고, 메타데이터게 기반하여 포인트 클라우드를 처리할 수 있다.
포인트 클라우드 렌더링부(Point Cloud Rendering)는 리컨스럭션된 포인트 클라우드를 렌더링한다. 포인트 클라우드 렌더링부는 비디오 디코딩부, 이미지 디코딩부 및/또는 파일/세그먼트 디캡슐레이션부로부터 메타데이터를 수신하고, 메타데이터게 기반하여 포인트 클라우드를 렌더링할 수 있다. 도 12에 도시되지 않았으나 도 12의 장치는 디스플레이를 포함할 수 있다. 실시예들에 따른 디스플레이는 랜더링된 결과를 디스플레이할 수 있다.
도 13은 실시예들에 따른 포인트 클라우드(point cloud) 데이터 처리 장치의 예시를 나타낸다.
도 13은 도 9에서 설명한 G-PCC 방식에 따라 포인트 클라우드 데이터 처리 동작을 수행하는 장치의 예시를 나타낸다. 실시예들에 따른 point cloud 데이터 처리 장치는 데이터 입력부(12000), 양자화 처리부(12001), 복셀화 처리부(12002), 옥트리 Occupancy 코드 생성부(12003), 포면 모델 처리부(12004), 인트라/인터 코딩 처리부(12005), Arithmetic 코더(12006), 메타데이터 처리부(12007), 색상 변환 처리부(12008), 속성 변환 처리부(12009), 예측/리프팅/RAHT 변환 처리부(12010), Arithmetic 코더(12011) 및/또는 전송 처리부(12012)를 포함할 수 있다.
실시예들에 따른 데이터 입력부(12000)는 포인트 클라우드 데이터를 수신 또는 획득한다. 데이터 입력부(12000)는 실시예들에 따른 도1의 포인트 클라우드 획득부(10001)에 대응될 수 있다.
실시예들에 따른 양자화 처리부(12001)는 포인트 클라우드 데이터의 지오메트리, 예를 들어, 포인트들의 위치값 정보를 양자화한다.
실시예들에 따른 복셀화 처리부(12002)는 양자화된 포인트들의 위치값 정보를 복셀화한다.
실시예들에 따른 옥트리 Occupancy 코드 생성부(12003)는 복셀화된 포인트들의 위치값 정보를 옥트리 어큐판시 코드에 기반하여 옥트리로 나타낼 수 있다.
실시예들에 따른 포면 모델 처리부(12004)는 포인트 클라우드의 포인트들의 위치값 정보에 대한 옥트리를 표면 모델 방식에 기반하여 표현 처리할 수 있다
실시예들에 따른 인트라/인터 코딩 처리부(12005)는 포인트 클라우드 데이터를 인트라/인터 코딩할 수 있다.
실시예들에 따른 Arithmetic 코더(12006)는 포인트 클라우드 데이터를 아리스메틱 코딩 방식에 기반하여 인코딩할 수 있다.
실시예들에 따른 메타데이터 처리부(12007)는 포인트 클라우드 데이터에 관한 메타데이터, 예를 들어 설정 값 등을 처리하여 지오메트리 인코딩 프로세스 및/또는 어트리뷰트 인코딩 프로세스 등 필요한 과정에 제공한다. 또한 실시예들에 따른 메타데이터 처리부(12007)는 지오메트리 인코딩 및/또는 어트리뷰트 인코딩과 관련된 시그널링 정보를 생성 및/또는 처리할 수 있다. 실시예들에 따른 시그널링 정보는 지오메트리 인코딩 및/또는 어트리뷰트 인코딩과 별도로 인코딩처리될 수 있다. 또한 실시예들에 따른 시그널링 정보는 인터리빙 처리 될 수도 있다.
실시예들에 따른 색상 변환 처리부(12008)는 포인트 클라우드 데이터의 어트리뷰트, 예를 들어, 포인트들의 속성값 정보 및/또는 재구성된 위치값에 기반하여 포인트 클라우드 데이터의 컬러를 변환할 수 있다.
실시예들에 따른 속성 변환 처리부(12009)는 포인트 클라우드 데이터의 속성값을 변환할 수 있다.
실시예들에 따른 예측/리프팅/RAHT 변환 처리부(12010)는 포인트 클라우드 데이터를 예측 방법, 리프팅 방법 및/또는 RAHT 방법 등의 조합 등에 기반하여 속성 코딩할 수 있다.
실시예들에 따른 Arithmetic 코더(12011)는 포인트 클라우드 데이터를 아리스메틱 코딩 방식에 기반하여 인코딩할 수 있다.
실시예들에 따른 전송 처리부(12012)는 인코딩된 지오메트리 정보 및/또는 인코딩된 어트리뷰트정보, 메타 데이터 정보를 포함하는 각 비트스트림을 전송하거나, 인코딩된 지오메트리 정보 및/또는 인코딩된 어트리뷰트 정보, 메타 데이터 정보를 하나의 비트스트림으로 구성하여 전송할 수 있다. 실시예들에 따른 인코딩된 지오메트리 정보 및/또는 인코딩된 어트리뷰트 정보, 메타 데이터 정보가 하나의 비트스트림으로 구성되는 경우, 비트스트림은 하나 또는 그 이상의 서브 비트스트림들을 포함할 수 있다. 실시예들에 따른 비트스트림은 시퀀스 레벨의 시그널링을 위한 SPS (Sequence Parameter Set), 지오메트리 정보 코딩의 시그널링을 위한 GPS(Geometry Parameter Set), 속성 정보 코딩의 시그널링을 위한 APS(Attribute Parameter Set), 타일 레벨의 시그널링을 위한 TPS (Tile Parameter Set)를 포함하는 시그널링 정보 및 슬라이스 데이터를 포함할 수 있다. 슬라이스 데이터는 하나 또는 그 이상의 슬라이스들에 대한 정보를 포함할 수 있다. 실시예들에 따른 하나의 슬라이스는 하나의 지오메트리 비트스트림(Geom00) 및 하나 또는 그 이상의 어트리뷰트 비트스트림들(Attr00, Attr10)을 포함할 수 있다. 실시예들에 따른 TPS는 하나 또는 그 이상의 타일들에 대하여 각 타일에 관한 정보(예를 들면 bounding box의 좌표값 정보 및 높이/크기 정보 등)을 포함할 수 있다. 지오메트리 비트스트림은 헤더와 페이로드를 포함할 수 있다. 실시예들에 따른 지오메트리 비트스트림의 헤더는 GPS에 포함된 파라미터 세트의 식별 정보(geom_geom_parameter_set_id), 타일 식별자(geom_tile id), 슬라이스 식별자(geom_slice_id) 및 페이로드에 포함된 데이터에 관한 정보 등을 포함할 수 있다. 상술한 바와 같이 실시예들에 따른 메타데이터 처리부(12007)는 시그널링 정보를 생성 및/또는 처리하여 전송 처리부(12012)로 전송할 수 있다. 실시예들에 따라, 포인트들의 위치값에 대한 프로세스 및 포인트들의 속성값에 대한 프로세스는 서로의 데이터/정보를 공유하여 각 과정을 수행할 수 있다.
도 14는 실시예들에 따른 포인트 클라우드(point cloud) 데이터 처리 장치의 예시를 나타낸다.
도 14는 도 10에서 설명한 G-PCC 방식에 따라 포인트 클라우드 데이터 처리 동작을 수행하는 장치의 예시를 나타낸다. 도 14에 도시된 포인트 클라우드 데이터 처리 장치는 도 13에서 설명한 Point Cloud 데이터 처리 장치의 역과정을 수행할 수 있다.
실시예들에 따른 point cloud 데이터 처리 장치는 수신부(13000), 수신 처리부(13001), Arithmetic 디코더(13002), Occupancy코드 기반 옥트리 재구성 처리부(13003), 표면 모델 처리부(삼각형 재구성, 업-샘플링, 복셀화)(13004), inverse 양자화 처리부(13005), 메타데이터 파서(13006), arithmetic 디코더(13007), inverse양자화 처리부(13008), 예측/리프팅/RAHT 역변환 처리부(13009), 색상 역변환 처리부(13010) 및/또는 렌더러(13011)를 포함할 수 있다.
실시예들에 따른 수신부(13000)는 포인트 클라우드 데이터를 수신한다. 실시예들에 따른 수신 처리부(13001)는 수신한 포인트 클라우드 데이터에 포함된 지오메트리 비트스트림 및/또는 속성 비트스트림, 시그널링 정보를 포함하는 메타 데이터 등을 획득할 수 있다.
실시예들에 따른 Arithmetic 디코더(13002)는 지오메트리 비트스트림을 아리스메틱 방식에 기반하여 디코딩할 수 있다.
실시예들에 따른 Occupancy코드 기반 옥트리 재구성 처리부(13003)는 디코딩된 지오메트리를 Occupancy 코드에 기반하여 옥트리로 재구성할 수 있다.
실시예들에 따른 표면 모델 처리부(삼각형 재구성, 업-샘플링, 복셀화)(13004)는 표면 모델 방식에 기반하여 포인트 클라우드 데이터에 대해 삼각형 재구성, 업-샘플링, 복셀화 및/또는 그것들의 조합에 따른 처리를 수행할 수 있다.
실시예들에 따른 inverse 양자화 처리부(13005)는 포인트 클라우드 데이터를 인버스 양자화할 수 있다.
실시예들에 따른 메타데이터 파서(13006)는 수신한 포인트 클라우드 데이터에 포함된 메타데이터, 예를 들어 설정 값 등을 파싱할 수 있다. 메타데이터 파서(13006)는 메타데이터를 지오메트리 디코딩 프로세스 및/또는 속성 디코딩 프로세스의 각 과정에 전달할 수 있다. 실시예들에 따른 각 프로세스는 필요한 메타데이터에 기반하여 수행될 수 있다.
실시예들에 따른 arithmetic 디코더(13007)는 포인트 클라우드 데이터의 속성 비트스트림을 재구성된 위치값에 기반하여 아리스메틱 방식에 기반하여 디코딩할 수 있다.
실시예들에 따른 inverse양자화 처리부(13008)는 포인트 클라우드 데이터를 인버스 양자화할 수 있다.
실시예들에 따른 예측/리프팅/RAHT 역변환 처리부(13009)는 포인트 클라우드 데이터를 예측/리프팅/RAHT 방식 및/또는 그것들의 조합에 따른 방식에 기반하여 처리할 수 있다.
실시예들에 따른 색상 역변환 처리부(13010)는 포인트 클라우드 데이터의 색상 값을 역변환할 수 있다. 실시예들에 따른 렌더러(13011)는 포인트 클라우드 데이터를 렌더링할 수 있다.
도15는 실시예들에 따른 임의 방문 네트워크(Visited Network) 상 UE를 위한 전송 구조를 나타낸다.
3GPP (The 3rd Generation Partnership Project) 에서 Multimedia 분과는 미디어 코덱과 관련된 프로토콜을 정의하여 미디어를 송신 및 수신할 수 있는 표준을 제정하고 배포한다. 미디어라고 하는 정의와 전송 시나리오는 다양한 범위를 포함한다. Radio Access 그리고 Internet기반의 기술과 함께 개인 컴퓨터 또는 휴대 수신기가 이동/고정 수신을 하였을 경우를 포함한다. 3GPP에서 진행된 이러한 광범위한 표준 제정은 유비쿼터스 멀티미디어 서비스를 다양한 사용자와 Use Case를 포괄하며 언제, 어디서든 고품질 미디어를 빠르게 경험할 수 있게 하였다. 특히, 3GPP에서 미디어 서비스는 각각의 고유의 특성에 따라 분류 되며 Target Application에 따라 Conversational, Streaming, 그 외 서비스로 나뉘어 진다. Conversational Service는 Session Initiation Protocol (SIP) 기반의 전화 서비스망에서 확장 된다. 이 중 Multimedia Telephony Service for the IP Multimedia Subsystem (MTSI)는 저 지연 실시간 대화 서비스를 목표로 하고 있다. Streaming서비스는 Packet Switched Service (PSS)기반으로 실시간 또는 재 획득되는 콘텐트를 Unicast방식으로 전달한다. 3GPP는 PSS시스템 내 방송 서비스는 Multimedia Broadcast/Multicast Service (MBMS)를 통해 모바일 TV를 이용할 수 있다. 그 외 3GPP에서는 Messaging 또는 현실감 서비스를 제공한다. 앞서 설명한 3가지 기반 서비스는 가능한 고품질의 유저 경험을 만족하기 위해 표준의 개정 또는 업데이트가 지속적으로 이루어 지고 있으며 Scalability를 제공하여 가용 내 네트워크 자원 또는 기존 표준에 상호 호환이 될 수 있도록 하고 있다. 미디어는 비디오 코덱, 음성, 오디오, 이미지, 그래픽, 그리고 각각의 서비스에 해당하는 텍스트까지 포함한다.
3GPP에서는 이동형 멀티미디어 수신을 위해 규격화된 플랫폼을 구성하여 네트워크 확장 또는 이동 수신에 용이하도록 설계 하였다. IP Multimedia Subsystem (IMS)는 이러한 요구사항에 적합하도록 설계 되어 있으며 다양한 기술을 접근할 수 있거나 로밍 서비스를 가능하게 하였다. IMS는 Internet Engineering Task Force (IETF)표준을 기반으로 구성되어 있으며 IETF 표준은 인터넷 플랫폼에서 작동하기 때문에 기존 인터넷 프로토콜의 Setup, Establishment, Management기능을 단순하게 확장할 수 있다. 따라서 IMS는 SIP프로토콜이 기본 프로토콜로 사용하고 있으며 이를 통해 멀티미디어 세션을 효율적으로 관리한다.
3GPP표준 기술에서는 서비스를 모바일 플랫폼을 기반으로 하기 때문에 유저가 제 3 또는 타 지역의 모바일 네트워크 또는 플랫폼에 연결 되었을 경우 다른 네트워크로 로밍을 해야 하는 문제점이 발생 하였다. 이런 시나리오에서 클라이언트는 다수의 모바일 네트워크 망에서 세션을 유지할 수 있는 방법이 요구되었다. 또한 IP기반의 미디어 서비스 요구사항이 증가하면서 고용량의 IP기반 데이터 전송, 대화, 멀티미디어를 전송 해야 하는 요구사항이 증가하였다. 따라서 일반적인 IP 라우팅 방식이 아닌 3G, 4G, 5G 네트워크 망에서 상호 교환적인 형태로 IP패킷이 전달되어야만 했다. 혼합적인 망 환경에서 QoS를 유지하기 위해 서비스를 교환화는 과정에서 유연한 데이터 정보 교환 및 플랫폼이 필요하게 되었다. 과거 10년 이상 인터넷 망과 무선 모바일 망을 통합하기 위해 3GPP 표준에서는 IP기반의 IP Multimedia Subsystem (IMS) 표준을 제정하였으며 PS 도메인에셔 IP 음성, 비디오, 오디오, 텍스트를 전송할 수 있게 하였다. MTSI (Multimedia Telephony Service for IMS)는 IMS기반에서 Conversational Speech, Video, Text를 RTP/RTCP를 통해 전송하기 위한 표준이며 Flexible Data Channel Handling을 통해 사용자가 기존 Circuit Switched (CS)기반 Conversational Service 대비 동일 또는 고 효율 서비스를 제공하기 위해 제정되었다. MTSI는 Signalling, Transport, Jitter Buffer, Management, Packet-Loss Handling, Adaptation 뿐 아니라 Adding/Dropping Media During Call등의 포함되어 예측 가능한 미디어를 생성하고 전달하고 수신할 수 있도록 형성되어 있다. MTSI는 3GPP 망을 사용하기 때문에, NR, LTE, HSPA 등이 IMS에 연결되어 있으며 Wi-Fi, Bluetooth등과도 확장되어 연결된다. MTSI는 기존 IMS망에 데이터 협상 메시지를 송신 및 수신하게 되며 송수신이 완료되면 데이터는 유저간 전달되는 구조를 가지고 있다. 그러므로 IMS망을 동일하게 이용할 수 있으며 MTSI는 Audio Encoder/Decoder, Video Encoder/Decoder, Text, Session Setup and Control, Data Channel만을 추가적으로 정의 한다. Data Channel Capable MTSI (DCMTSC)는 미디어 전송을 지원하기 위한 가능 채널을 나타내며 Stream Control Transmission Protocol (SCTP) over Datagram Transport Layer Security (DTLS), Web Real-Time Communication (WebRTC)을 사용한다. SCTP를 사용하여 TCP의 Network Layer/Transport Layer간 보안 서비스를 제공한다. 기존 존재하는 플랫폼에서 확장되기 때문에 미디어를 관리하기 위한 Media Control, Media Codec 뿐만 아니라 Media Control Data를 정의하며 일반적인 컨트롤은 SIP/SDP를 통해 Media Streaming Setup을 통해 처리된다. 클라이언트 사이에 Setup/Control이 전달되기 때문에 미디어의 Adding/Dropping도 포함된다. MTSI는 Non-conversational Service인 IMS Messaging도 포함한다. 미디어는 3GPP Layer 2를 통해 전달되는데 사용 되는 것은 Packet Data Convergence Protocol (PDCP)를 사용한다. PDCP는 클라이언트에 있는 IP패킷을 Base Station까지 전달하며 일반적으로 User Plane Data, Control Plane Data, Header Compression, Ciphering/Protection을 수행한다.
도15는 UE (User Equipment) A/B가 존재할 때 콜 세션(Call Session)이 임의의 방문 네트워크 (Visited Network)에 존재하는 두 개의 UE간 전달될 수 있는 전송 구조이다. UE A/B는 오퍼레이터(Operator) A혹은 B 혹은 동일 네트워크 안에 존재할 수 있으며 MTSI의 전체 시스템을 설명하기 위해 4개의 타 네트워크가 존재한다고 가정한다. Call을 수행하기 위해서 UE A와 B는 IMS시스템 내에서 미디어를 전송하기 위한 세션 성립(Session Establishment)를 수행한다. 세션이 형성되고 나면 UE A와 B는 IP망을 통해 미디어를 전송한다. IMS 주요 기능은 Call State Control Function (CSCF)로 SIP를 사용하여 멀티미디어 세션을 관리한다. 각각의 CSCF는 서버 또는 Proxy역할을 수행하며 각각의 목적에 따라 다른 형태의 기능을 수행한다. Proxy CSCF (P-CSCF)는 SIP Proxy 서버 역할을 수행한다. IMS네트워크게 가장 먼저 접근하며 UE A와 B를 연결하는 가장 최초의 블록이다. P-CSCF는 모든 SIP 메시지를 수신하고 송신하고자 하는 UE까지 전달하기 위해서 내부적으로 SIP 메시지를 분석하고 전달하는 역할을 수행한다. P-CSCF는 자원관리를 수행할 수 있으며 네트워크의 Gateway와 밀접하게 연결되어 있다. 게이트웨이는 IP 접속 베어러인 General Packet Radio Service (GPRS)와 연결된다. GPRS는 2세대 무선 시스템이지만 PS 서비스를 지원하기 위한 기본 기능과 연결되어 있다. P-CSCF, GPRS는 같은 네트워크 안에 있어야 한다. 위 그림에서 UE A는 임의의 Visited Network에 존재하며 네트워크 내 UE A, P-CSCF가 존재한다. Serving CSCF (S-CSCF)는 SIP서버로 구독자의 홈 네트워크에 존재하며 구독자를 위한 세션 컨트롤 서비스를 제공한다. Proxy또는 Visited 네트워크가 존재하지 않는 경우 UE A 또는 B는 Operator A, B에 존재할 수 있으며 홈 네트워크 내 UE가 존재할 수 있다. IMS 시스템에서 S-CSCF는 Signalling에서 주요 기능 역할을 하며 SIP register역할을 수행한다. 따라서. 유저의 SIP IP주소를 생성하거나 현재 IP주소를 생성할 수 있다. S-CSCF는 또한 Home Subscriber Server (HSS)를 통해 인증 또는 HSS에 존재하는 다양한 유저의 프로파일을 획득할 수 있다. 수신되는 모든 SIP메시지는 S-CSCF를 거쳐야 한다. S-CSCF는 메시지를 수신하여 근처에 있는 다른 CSCF와 연결하거나 Application Server (AS)와 연결하여 다른 AS에 SIP메시지를 전달할 수 있다. Interrogating CSCF (I-CSCF)는 P-CSCF와 동일하게 Proxy서버 기능을 수행하나 외부 네트워크와 연결되어 있다. 네트워크 가용성, 네트워크 구성 형태 등을 관찰하여 SIP 메시지를 암호화 하는 과정을 수행할 수 있다. HSS는 중앙 데이터 서버로 유저와 관련된 정보를 포함한다. Subscriber Location Function (SLF)는 유저의 주소를 해당하는 HSS에 연결하는 정보 맵을 나타낸다. Multimedia Resource Function (MRF)는 홈 네트워크에서 멀티미디어 자원을 포함한다. MRF는 Multimedia Resource Function Controller (MRFC)와 Multimedia Resource Function Processor (MRFP)로 구성된다. MRFC는 MRC의 컨트롤 플레인으로 MRFP내에서 스트림 리소스를 관리하는 컨트롤 역할을 수행한다. Breakout Gateway Control Function (BGCF)는 SIP서버로 Public-Switched Telephone Network (PSTN) 또는 Communication Server (CS)와 연결되어 SIP메시지를 전달하는 게이트웨이를 나타낸다. Media Gateway Control Function (MGWF)과 Media Gateway (MGW)는 미디어를 CS네트워크로 전달하기 위한 인터페이스와 시그널링을 전달하는 역할을 한다.
도16은 실시예들에 따른 UE간 콜 연결을 나타낸다.
IMS기반 망에서는 IP연결이 가능한 환경이어야 하며 IP 연결은 Home Network 또는 Visited Network에서 수행된다. IP연결이 이루어지면 XR 세부 요소인 대화형 환경 구성이 이루어 지며 전송되는 데이터는 360 Video/G-PCC (Geometry-based Point Cloud Compression)/V-PCC (Video-based Point Cloud Compression)등의 가상 현실 데이터가 압축된 정보들이 교환되거나 데이터가 전달된다. XR의 데이터는 2가지 영역으로 세분화되어 전달될 수 있다. MTSI 표준을 기반으로 전송되는 경우 CSCF 메커니즘을 이용하여 Route Control Plane 시그널링을 통해 AS는 Call/Hold/Resume방식을 전달하고 제 3자의 Call연결을 수행한다. Call연결이 수행되면 Media전송은 단순히 UE A/B사이에 전달되며 2개의 UE가 존재하는 경우 IMS망 내에서 MTSI는 도16과 같이 작동한다.
도17은 실시예들에 따른 포인트 클라우드 데이터 송수신 장치를 나타낸다.
비디오 인코더, 오디오 인코더는 XR디바이스(100c), 도8 인코딩(S1520), 도9, 도11, 도13 포인트 클라우드 인코더 등에 대응할 수 있다.
비디오 디코더, 오디오 디코더는 XR디바이스(100c), 도8 디코딩(S1540), 도10, 도12, 도14 포인트 클라우드 디코더 등에 대응할 수 있다.
MTSI는 IMS망 내에서 Client Terminal의 관련 요소들과 연결점을 제한한다. 따라서 그 구성에 대한 Scope은 도17과 같이 정의된다.
도17에서, 스피커(Speaker), 디스플레이(Display), 유저 인터페이스(User Interface), 마이크로폰(Microphone), 카메라(Camera), 키보드(Keyboard)와 관련된 동기화의 물리적 상호 작용에 대한 결정은 MTSI에서 논의되지 않는다. 박스(170) 안에 있는 부분에서 미디어를 조절하거나 관련된 미디어를 컨트롤하는 방법에 대한 범위를 결정한다. 일반적으로 SIP를 전달하는 것은 IMS에 해당하여 구체적인 SIP를 컨트롤 하는 부분도 MTSI에 포함하지 않는다. 따라서 데이터의 구조와 전달 방식, 서비스의 정의에 따라 MTSI, IMS의 범위로 결정될 수 있다. MTSI와 같이 정의되는 경우 아래와 같은 범위의 표준으로 정의될 수 있다.
Conversational XR서비스를 지원하기 위해서는 RFC 4566 기반의 SDP와 SDP Capability Negotiation을 사용하고 이와 관련된 Streaming Setup을 사용해야 한다
Setup 및 Control을 위해서는 UE A/B의 독립적인 상호작용이 필요하며 미디어 컴포넌트는 Adding 또는 Dropping작업을 수행한다.
미디어를 전송하는 전송매개체는 Coded Media (Transport Protocol을 적용한)것 뿐만 아니라 Packet기반의 Network Interface를 준수해야 한다.
데이터를 전송하는 방법은 RFC 3550의 RTP Stream을 사용하고 Data Channel은 SCTP (RFC 4960) 또는 WebRTC Data Channel등을 사용할 수 있다.
실시예들에 따른 포인트 클라우드 데이터 송수신 장치는 휴대폰, 데스크톱, AR Glass등 장치구성이 되는 모든 기기들을 포함할 수 있다. 휴대폰이라고 가정하면 speaker, display, user interface, microphone, camera, keyboard가 존재하고 입력된 신호는 인코딩/디코딩 블록으로 전달될 수 있다.
실시예들에 따른 방법/동작은 도17의 비디오 인코더(Video Encod)에 의해 처리될 수 있다. 소프트웨어와 연동될 수 있다.
실시예들에 따른 방법/동작은 G-PCC 구조 콜 플로우(Structure call flow)는 세션 셋업 및 컨트롤(session setup & control) 부분에 포함될 수 있다.
도17의 각 구성요소는 하드웨어, 소프트웨어, 프로세서, 및/또는 그것들의 조합에 대응할 수 있다.
IP 연결성(IP Connectivity)
실시예들에 따른 포인트 클라우드 데이터 송수신 장치는 IP 연결을 지원할 수 있다.
멀티미디어 서브시스템(Multimedia Subsystem)의 범위에서 XR 범위는 UMTS (Universal Mobile Telecommunications System) 등의 RAN (Radio Access Network)그리고 SGSN (Serving SPRC Support Node), GGSN (Gateway GPRS Support Note)등의 Visited Network에 존재한다고 가정하며 Roaming서비스등과 IP Connectivity에 대한 시나리오를 고려해야 한다. IP Connectivity를 고려해야 하는 경우 IMS 네트워크에 존재하지 않는 곳에서도 IP서비스를 제공해야 하며 GPRS (General Packet Radio Service) 로밍 역시 홈 네트워크에 연결되어야 한다. IMS기반의 네트워크를 제공하면 IP Connectivity를 유지하기 위해 End-to-End QoS (Quality of Service)를 제공해야만 한다. QoS Requirement는 일반적으로 SIP (Session Initiation Protocol)을 사용하여 세션을 정의하거나 세션을 변경하거나 세션을 종료하며 다음과 같은 정보를 전달할 수 있다: 미디어의 타입, 트래픽의 방향 (상향 또는 하향), 미디어의 비트레이트(Bitrate), 패킷 사이즈(Packet Size), 패킷 트랜스포트 프리퀀시(Packet Transport Frequency), RTP 페이로드(Payload), 밴드위스 어댑테이션(Bandwidth Adaptation).
IP 정책 컨트롤/보안 통신(IP Policy Control/Secure Communication)
실시예들에 따른 포인트 클라우드 데이터 송수신 장치는 IP 정책 컨트롤/보안 통신을 수행할 수 있다.
네고시에이션(Negotiation) 협상은 어플리케이션 레벨(Application Level)에서 수행된다. 만약 UE간의 QoS가 형성되면은 UE 또는 XR을 서비스하고자 하는 주체는 데이터를 압축하고 패킷화하여 적절한 전송 프로토콜 (RTP등)과 같은 프로토콜을 이용하여 TCP 또는 UDP의 Transport Protocol을 IP망을 통해 전달 한다. 또한 IP망을 이용하는 경우 Bearer 트래픽의 조종하고 관리해야 하며 IMS Session내에서 Access Network와 IMS사이에 다음과 같은 업무를 수행할 수 있다.
정책 제어 엘리먼트(Policy Control Element)는 SIP메시지를 통해서 미디어 트래픽에 적합한 Bearer를 활성화 할 수 있고 Operator입장에서는 Bearer 자원을 잘못 사용하지 않게 방지를 한다. 송신과 수신의 IP주소, 대역폭 또한 Bearer Level을 동일하게 조절할 수 있다.
정책 제어 엘리먼트(Policy Control Element)를 이용하여 미디어 트래픽의 시작 또는 중지 지점을 설정할 수 있으며 동기화에 관련된 문제를 해결할 수 있다.
정책 제어 엘리먼트(Policy Control Element)를 이용하여 수신 확인 메시지를 IP네트워크를 통해 전달할 수 있으며 Bearer의 서비스의 수정, 중지, 종료를 수행할 수 있다.
UE의 보안을 위해 Privacy를 요청할 수 있다.
다른 네트워크와 인터넷워킹(서비스 제어)(Internetworking with Other Networks (Service Control))
실시예들에 따른 포인트 클라우드 데이터 송수신 장치는 다른 네트워크와 연계될 수 있다.
3GPP에서 제공하는 IMS서비스는 같은 시간에 유지 관리가 되지 않기 때문에 터미널간, 네트워크 구독 연결 및 및 해지 빠르게 전달되지 않는다. 따라서 어떤 종류의 터미널이라도 IMS망은 다양한 사용자와 네트워크를 최대한 많이 연결할 수 있어야 한다. PSTN 또는 ISDN 뿐 아니라 모바일, 인터넷 유저까지 포함될 수 있다. 현재는 거의 사용하지 않는 2G망의 경우 만약 로밍을 사용 경우 Visited Network에 방문하는 Entity는 Service 및 Control정보를 유저를 위해 제공하여 인터넷 망 내에서 Registration/Session Establishment를 수행한다. 이와 같이 Visited Network에 존재하게 되는 경우 서비스 컨트롤의 제약이 발생하게 되고 다수개의 로밍 모델 시나리오에 따라 고려해야 할 점이 발생하게 된다. 또한 서비스를 제공하게 될 경우 Visited Network의 서비스 속도 등으로 품질이 저하될 수 있다. 중간에 만약 보안 또는 Charging과 같은 역할이 추가된다면 Home Network/Visited Network에 대한 서비스 컨트롤과 수행 방식의 영역에 대하여 고려해야 한다.
플레인 분리(Plane Separation)
3GPP표준은 IMS 망 내에서 Architecture를 Layer화하여 정의하고 있다. 따라서 Transport/Bearer를 구분하여 정의하고 있다. 특히 Application Plane은 일반적으로 Application Server의 범위, Control Plane은 HSS, CSCF, BGCF, MRFC, MRFP, SGW, SEG등 User Plane은 SGSN, GGSN, IM-MGW등으로 영역을 나눌 수 있다.
도18은 실시예들에 따른 5G 네트워크 상 XR 커뮤니케이션을 위한 구조를 나타낸다.
실시예들에 따른 포인트 클라우드 데이터 송수신 장치는 도18과 같이, 통신 네트워크에 기반하여 XR 커뮤니케이션을 효율적으로 수행할 수 있다.
5G네트워크를 이용하여 실시간 포인트 클라우드 양방향 대화는 3가지 방식을 이용하여 달성할 수 있다. 1) IMS 전화망을 이용한 포인트 클라우드의 데이터 교환, 2) 5GMS 미디어 망을 이용한 포인트 클라우드의 데이터 스트리밍, 3) WebRTC를 이용한 웹 기반의 미디어 전송 방식. 따라서 데이터를 전송하기 위해 XR 대화형 서비스 시나리오에 대한 정의가 필요하다. 시나리오는 다양한 형태로 전달될 수 있으며 데이터를 획득하는 과정에서부터 5G망을 이용하는 모든 end-to-end서비스에 대한 과정과 시나리오의 구성으로 나눌 수 있다.
XR Teleconference를 진행하기 위해서는 선행적으로 Application Download가 진행 되어야 한다. 5G망을 이용하여 데이터를 교환하는 경우 내장되어 있거나 또는 다운로드를 받을 수 있는 Application 프로그램이 필요하다. 이 프로그램은 5G로 전송되는 데이터의 전송 타입을 1)전화망 2)미디어 망 3)Web 망을 선택하여 전송할 수 있다. 프로그램이 설치되는 경우 일반적인 디바이스의 접근권한, 그리고 계정 개인정보 권한을 확인하여 데이터를 주고 받을 수 있는 기본 환경을 점검한다. 상대방의 데이터를 수신하기 위한 수신장치 및 송신장치를 포함하는 포인트 클라우드 장비의 캡쳐 장비, 또는 차원 데이터를 3차원으로 변환할 수 있는 변환기 또는 데이터를 3차원으로 360도로 전송 또는 변환이 가능한 모든 비디오 입력 장치를 포함한다. 음성 데이터는 마이크 또는 스피커를 내장하고 있으며 포인트 클라우드 데이터를 최소한으로 처리하기 위한 하드웨어 기능의 점검도 포함한다. 하드웨어는 Pre-Rendering 또는 Post-Rendering을 수행할 수 있는 GPU/CPU의 기능을 포함하며 처리 과정에서 수행되는 하드웨어의 용량, 메모리의 크기까지 포함될 수 있다. 개인 정보는 Application에 접근하기 위한 계정 정보, IP, 쿠키 등의 사용자의 실시간 정보를 부가적으로 전달 할 수 있는 것들을 포함하며 사전에 전송하기 위해 이용 동의를 수행하게 된다.
도19는 실시예들에 따른 XR 커뮤니케이션을 위한 구조를 나타낸다
초기 데이터를 획득할 수 있는 권한과 장치의 상태를 확인하고 난 후 사용자의 인증과 사용자를 구분할 수 있는 구분자를 생성하게 된다. 일반적으로 이메일 또는 아이디와 비밀번호를 이용하여 사용자를 구분하게 되며 인증되는 사용자의 Tag가 자체적으로 형성된다. 또한 초기 사용자가 포인트 클라우드의 데이터를 효과적으로 교환하거나 시스템을 이용할 수 있는 가이드 모드 등이 제공될 수 있다. 사용자의 장치의 상태에 따라 시야를 접근할 수 있는 방식을 결정할 수 있다. 만약 포인트 클라우드를 직접 캡쳐하거나 수신할 수 있는 장치일 경우 데이터를 그대로 송수신 할 수 있으며 만약 HMD를 이용하여 포인트 클라우드를 수신하는 경우 360 환경에 적합한 Scaling 또는 Transformation이 선행되어야 한다. 수신되는 디스플레이가 3차원 데이터를 수신하는 장비가 아닌 일반적으로 널리 사용되는 휴대폰 또는 모니터 기반의 2D디스플레이인 경우 2차원 화면 내에서 3차원을 성실하게 표현할 수 있어야 한다. 예를 들어, 손가락으로 화면을 회전하거나 확대하는 방식을 이용하여 2차원 디스플레이 내에서 3차원의 모습을 구현하거나 확인이 가능하다. 또는 자이로스코프를 이용하여 2차원 화면에서 3차원의 공간을 확인할 수 있는 방법이 있다. 사용자가 3차원 공간에서 표현하기 위해서는 아바타가 생성되어야 한다. 아바타는 Graphic에 의한 가상의 데이터가 될 수 있거나 포인트 클라우드로 직접 획득된 사람 또는 사물의 실체의 3차원 변환 형태가 될 수 있거나, 어떤 데이터도 존재하지 않는 오디오가 될 수 있다. 만약 오디오의 데이터가 입력 된다면 사용자는 존재하지 않으며 마치 음성 회의와 동일한 형태로 구성될 수 있다. 3차원으로 표현되는 아바타는 사용자의 정의 또는 선택에 의해 수정이 가능하다. 예를 들어, 사람의 경우 얼굴의 형태를 변화할 수 있거나 자신의 개성을 나타낼 수 있는 옷, 모자, 악세서리 등을 착용할 수 있으며 자신의 개성을 표현하기 위한 다양한 형태의 변환이 가능하다. 또한 사람간의 대화를 통해 감정을 표현할 수 있으며 감정은 텍스트 또는 그래픽의 얼굴 형태의 변화에 따라 조절이 가능하다.
생성된 아바타는 가상의 공간에 참여하게 된다. 만약 1:1 대화형인 경우 각각의 데이터가 상대방에 전송하게 되지만 상대방이 수신되는 공간 역시 간단하게 형성되어야 한다. 참여자가 다수인 경우 다수인 참여자가 공유할 수 있는 공간이 생성되어야 하며 이러한 공간들은 임의 그래픽으로 구성된 공간이 될 수 있거나 포인트 클라우드로 직접 획득된 데이터 공간이 될 수 있다. 만약 공유되는 데이터의 크기와 상황에 따라 데이터는 각각의 장치에 저장되어 빠르게 처리될 수 있으며, 데이터의 크기가 큰 경우 클라우드 또는 중앙 서버에 저장되어 공유될 수 있다. 사용자의 아바타는 라이브러리 등을 이용하여 사전에 생성된 아바타를 이용할 수 있다. 기본 공통 아바타는 따라서 사용자의 입장에서 새롭게 생성되거나 데이터를 캡쳐하여 전송할 필요가 없다. 마찬가지로 공간에 사용되는 다양한 오브젝트 등은 사용자 요청에 의해 추가될 수 있으며 그 데이터는 그래픽이 될 수 있거나 포인트 클라우드로 획득된 데이터 일 수 있다. 오브젝트는 일반적으로 회의장이라고 가정 하였을 경우 문서, 컵, 레이저 포인터 등의 회의실 내부에서 쉽게 접근이 가능하거나 익숙한 물건이 될 수 있다. 공간이 생성되는 경우 공간에 각각의 아바타로 구성된 사용자가 참여할 수 있으며 사용자는 생성된 공간에 나의 아바타를 이동하여 회의 장소에 참여 가능하다. 공간은 회의를 주체하는 호스트에 의해 결정되며 호스트는 공간을 선택에 의해 변경될 수 있다. 널리 익숙한 회의장을 미리 사전에 획득하면 마치 집에서 회사 회의실에 참여하는 듯한 효과를 얻을 수 있고, 해외 여행 또는 해외 유명 유적지를 획득하면 마치 집에서 그 유적지에서 만나는 듯한 효과를 얻을 수 있다. 또한 포인트 클라우드가 아닌 가상의 임의 그래픽으로 생성된 공간은 사용자의 공간을 만들어 내는 공간 구성자의 아이디어나 구현 방식에 따라 달라질 수 있다. 사용자가 공간에 참여하는 경우 사용자의 프로파일을 형성하여 입장할 수 있다. 사용자의 프로파일은 회의장 또는 공간 참여자의 리스트를 구분하기 위함이고 만약 다수의 사용자가 참여하였을 경우 대화가 가능한지, 사용자의 수신 상태가 올바르게 작동하는지 확인할 수 있다. 그리고 아바타가 존재하는 경우 사용자의 이름 또는 닉네임을 표시해야 하며, 사용자가 현재 바쁜 상태인지 Mute상태인지 표시를 할 수 있어야 한다. 공간의 제약은 호스트 또는 서버를 구성하는 Application의 활용에 따라 달라질 수 있다. 만약 자유로운 공간 이동이 제한되는 환경에서는 사용자는 위치하고 싶은 위치를 이동할 수 있어야 한다. 사용자의 프로파일뿐 아니라 공간의 프로파일도 결정 해야 한다. 회의장에서 만약 다수의 파일을 공유하고 싶을 경우 회의장 내 ppt를 표시할 수 있는 공간이 있어야 하며 마치 가상의 공간에서 프레젠테이션을 보는 효과뿐만 아니라 일반적인 오디오 회의에서 사용하는 것처럼 내가 보는 화면이 자료 공유 화면으로 대체되어 표시될 수 있다. 또한 채팅을 수행하기 위한 채팅의 공간이 마련되어야 하며 사용자가 이동한다면 이동 가능한 범위와 장소에 대한 정의도 요구된다.
도20은 실시예들에 따른 3GPP 5G 상 XR 대화형 서비스를 프로토콜 스택을 나타낸다.
5G XR미디어는 다양한 방식으로 전송될 수 있다. 1) IMS 전화망을 이용한 포인트 클라우드의 데이터 교환, 2) 5GMS 미디어 망을 이용한 포인트 클라우드의 데이터 스트리밍, 3) WebRTC를 이용한 웹 기반의 미디어 전송 방식이 있으면 WebRTC방식은 Application Level에서 두 개의 데이터가 공유된다. 그 외의 IMS와 5GMS는 각각의 전송 프로토콜이 정의되어 있으며 그 규격을 준수하여 송신과 수신을 진행 해야 한다. XR Conversational Service는 기존에 사용하는 2차원 또는 360 Video와 다르게 차원에 대한 정보, QoS를 관찰하기 위한 데이터 파라미터 들이 추가되어 전달되어야 한다. IMS망으로 전달되는 경우 실시간 전화망을 이용하여 데이터를 전달하기 때문에 빠른 데이터 처리와 저 지연 대화 서비스가 가능하다. 하지만 전송 도주에 에러를 복구하는 프로토콜이 존재하지 않기 때문에 지속적인 Feedback 정보에 의존하여 대화를 진행해야 하는 단점이 존재한다. 5GMS로 XR 대화 서비스를 수행할 경우 에러를 수정하고 점 더 대용량의 데이터를 전송할 수 있으나 반대로 오류를 제어하는 과정에서 발생하는 지연 현상이 발생할 수 있다. 현재 5G시스템에서는 두 가지 모두 기술적으로 적용 가능하며 어떤 것을 사용하는 것은 서비스를 구현하고자 하는 환경과 상황에 맞추어 달라질 수 있다.
MTSI기반 XR 대화형 회의의 유즈 케이스(Description of Use-case of MTSI-based XR Conversational Conference)
포인트 클라우드 기반 실시간 양방향 화상 대화는 단일 전화와 같이 1:1 대화 전송, 다수의 화상 회의 참여 형태로 구분할 수 있다. 하지만 두 개의 시나리오 모두 직접적으로 데이터를 전달하는 것이 아닌 미디어를 처리하는 처리기가 요구되며 가상의 회의를 할 수 있는 환경에 제공되어야 한다.
도21은 실시예들에 따른 포인트-투-포인트 XR 화상회의를 나타낸다.
포인트-투-포인트 XR 화상회의(Point to Point XR Teleconference)
대화의 기본 전화 요청은 네트워크 기능에 의해 진행되며 MTSI망을 사용하는 경우 송수신 미디어는 MRF (Media Source Function) 또는 MCU (Media Control Unit)을 이용한다. 여기서 MRF/MCU는 포인트 클라우드 압축 데이터를 수신하며 송신자가 압축 데이터 이외에 부가 정보 (시야의 화면, 카메라 정보, 시야의 방향 등)를 전송하고자 하는 경우 역시 그 데이터를 MRF/MCU에 전달한다. MRF 다수의 송신자로부터 다른 포인트 클라우드 데이터를 획득하고 난 후 내부 프로세스를 통해 하나의 비디오를 생성하며 하나의 비디오는 메인 비디오와 여러 개의 썸네일을 포함한다. 처리된 비디오는 다시 각각의 수신자에게 전달되며 Transcoding 및 Resize와 같은 처리가 발생할 수 있다. 만약 MRF가 Transcoding과 같은 프로세스를 필요로 하는 경우 처리 시간만큼의 최대 지연 시간 증가 영향을 끼질 수 있다. 또한 썸네일 데이터를 사전에 각각의 송신기 및 수신자에게 전송하여 사전처리 프로세스를 수행할 수 있다. MRF에서는 미디어의 처리 이외에 오디오 및 미디어 분석, Application Server, 과금 서버 연동, 리소스 관리 기능을 수행한다. MRF와 연결되는 AS (Application Server)는 전화 망에서 가입자의 상태 조회를 위한 HSS 연동 기능을 포함하며 MRF연결 및 부가기능을 제공한다. 부가기능은 실제 전화에서 비밀번호 통화 서비스, 레터링서비스, 통화 연결음 서비스, 착발신 금지 서비스 등을 포함한다.
일대일 포인트 클라우드의 대화 서비스는 각각의 사용자가 3차원 포인트 클라우드 캡쳐 카메라를 가지고 있어야 한다. 카메라는 사용자의 색상정보, 위치정보, 깊이정보를 포함하고 있어야 하며 깊이를 표현하지 못하는 경우 2차원 이미지를 3차원으로 표현될 수 있는 변환기를 사용할 수 있다. 사용된 캡쳐 정보는 G-PCC (Geometry-based Point Cloud Compression) 또는 V-PCC (Video-based Point Cloud Compression)된 데이터를 포함한다. 송신기는 상대방의 데이터를 수신할 수 있는 장비를 가지고 있어야 한다. 수신 장비는 일반적으로 획득된 포인트 클라우드의 데이터를 표현할 수 있는 모든 장비를 나타난대. 따라서 2차원 기반의 디스플레이가 될 수 있으며 HMD, 홀로그래픽과 같이 포인트 클라우드의 그래픽을 시각적으로 표현할 수 있는 모든 장비를 포함할 수 있다. 표현되는 데이터는 송신과 수신기의 데이터가 처리된 MRF/MCU에서 전달되는 데이터를 수신하고 수신된 데이터를 처리할 수 있어야 한다. 캡쳐된 포인트 클라우드 데이터는 MRF/MCU에 전달되고 수신된 데이터는 내부 프로세스에 의해 각각의 유저에게 데이터를 전달할 것을 생성하고 전달한다. 대화에 필요한 대화의 기본 정보, 대화가 요구되는 대화의 가상 공간 또는 상대방이 원하는 관점의 시야 정보를 전달하거나 압축된 데이터를 전달한다.
1. 보니(Bonnie) (B)와 클라이드(Clyde) (C)는 Conference call을 이용하여 접근을 한다. 접근은 평면 또는 단순한 가상의 공간에 상대방의 얼굴을 볼 수 있으며 가상의 공간 A는 B와 C가 도착한 곳에서 서로의 얼굴을 볼 수 있도록 한다.
일대일 대화에서 가상의 공간은 단순히 포인트 클라우드를 투영하여 단순화 하는 공간으로만 활용되며 투영하는 공간을 사용하지 않을 경우 단순히 카메라로 캡쳐 되는 모든 데이터가 상대방에게 전송된다.
2. B와 C는 화상회의를 운용하기 위한 Application을 필요로 한다. 해당 Application은 다음과 같은 기본 서비스 동작을 확인한다.
수신장치 확인: AR Glass, VR HMD, 2D Display, Phone Speaker, etc.
송신장치 확인: AR Glass, 360 Camera, Fisheye Camera, Phone Camera, Mic, Kinnect, LiDAR, etc.
하드웨어 성능 확인: GPU, CPU, Memory, Storage Capability
접근 권한 확인: 카메라, 오디오, 저장공간
계정 및 개인정보 권한 확인: 아이디, 이메일 계정, IP, Cookie, 개인정부 추적 동의
3. B와 C는 대화에 참여하기 이전에 포인트 클라우드 캡쳐 카메라를 이용하여 상대방에게 전송하기 위한 포인트 데이터를 획득한다. 포인트 데이터는 일반적으로 B와 C의 얼굴 또는 형체를 획득한 데이터며 각각의 고유의 장비를 통해 획득된 데이터를 출력할 수 있다.
위 시나리오는 어떤 미디어를 알고 있지 않은 환경에서 단순 전화망을 기반으로 전송 전달 구현이 가능하다. 전화망을 생성하기 전에 사전 데이터는 MRF/MCU를 통해 전달받아야 할 것이며 MRF/MCU는 B와 C로부터 전송 받는 데이터를 모두 수신한다.
두 명의 사람이 포인트 클라우드의 화상 대화 시나리오는 아래와 같이 두 가지로 구분화 된다.
시나리오 (a)의 경우 모든 데이터는 일대일 대화로 전송이 된다. B의 모든 포인트 클라우드 정보가 C에게 직접적으로 전달이 되고 C는 B의 데이터의 전부를 처리하거나 B에서 전달하는 부가 정보를 기반으로 일부 처리할 수 있다. 마찬가지로 B는 C에서 전송하는 모든 포인트 클라우드의 데이터를 수신해야 하며 C에서 전달하는 부가 정보를 기반으로 일부를 처리할 수 있다. 시나리오 (b)의 경우는 MRF/MCU가 전화망 사이에 존재하며 B와 C는 포인트 클라우드 데이터를 두 사이에 존재하는 MRF/MCU에 전달을 한다. MRF/MCU는 수신되는 데이터를 처리하며 B와 C요구하는 특정 조건에 맞추어 각각에 해당하는 데이터를 B와 C에 전달한다. 따라서 B와 C는 서로에게 전송하는 포인트 클라우드의 모든 데이터를 받지 않을 수 있다. 시나리오 (b)의 경우 다자간 화상 회의 기능도 확장될 수 있으며 추가적인 가상의 공간 A가 포함되어 B또는 C에게 전달될 수 있다. 예를 들어, 직접적 포인트 클라우드 수신이 아닌 가상의 회의 공간 내 B와 C를 배치하여 배치된 가상의 공간 전체를 B와 C에게 3인칭 또는 1인칭의 형태로 전송할 수 있다. 또한 David (D)가 참여하여 B, C, D는 A의 공간에서 서로의 대화를 자유롭게 진행할 수도 있다.
도22는 실시예들에 따른 XR 화상회의 확장을 나타낸다.
3인 이상의 가상 회의 시스템은 두 사람의 대화와는 반대로 직접적인 데이터 전송은 할 수 없게 된다. 대신 MRF/MCU는 각각의 데이터를 수신하여 하나의 데이터를 처리할 수 있으며 그 도식도는 도22와 같이 표현된다.
B와 C, D는 획득된 포인트 클라우드의 데이터를 MRF/MCU로 전달을 한다. 수신된 각각의 데이터는 Transcoding에의해 하나의 Unit Frame을 형성하고 집합화된 포인트의 데이터를 구성할 수 있는 Scene을 생성한다. Scene의 구성은 B, C, D중 호스팅을 요청한 사람에게 주어지며 일반적으로 다양한 Scene을 형성하여 포인트 공간을 생성할 수 있다. 사용자의 위치 또는 관찰하고자 하는 위치에 따라 모든 데이터가 전달될 필요는 없으며 MRF/MCU는 수신되는 데이터 정보와 B, C, D가 요청하는 카메라 Viewpoint, Viewport를 기준으로 전체 또는 일부의 포인트 클라우드 데이터를 전달할 수 있다.
도23은 실시예들에 따른 XR 화상회의 확장을 나타낸다.
두번째로 Host의 권한을 가진 B는 자신의 데이터 또는 화면을 회의 참여자에게 공유할 수 있다. 공유할 수 있는 데이터는 Overlay형태, 독립적인 화면, 데이터등의 제 3자에게 화상의 대화 이외에 전달 가능한 미디어를 포함한다. 만약 Sharing기능을 사용하게 된다면 B는 공유하고자 하는 데이터를 MRF/MCU에 전달을 하며 C와 D는 자신의 요청에 의해 공유 받는 데이터를 수신할 수 있다. 데이터를 공유하기 위해서는 SDP를 이용하여 Overlay 또는 Laying의 개수를 결정할 수 있으며 Offer/Answer과정에서 모든 데이터를 수신할 수 있는지, 그리고 전달하고자 하는 데이터를 모두 수신받을 수 있는지에 대한 Capability를 측정해야만 한다. 이 과정은 다수의 회의 참여 시작에 결정될 수 있으며 자료 공유 기능이 기본적으로 제공되어야만 할 때 전화망이 생성할 때 각각의 유저에 대한 데이터 처리 능력을 확인할 수 있다. Sharing 데이터는 일반적으로 프레젠테이션 파일, 엑셀 파일, 데스크톱의 화면 등으로 대화 중에서 Host에서 작동 중인 Application의 일부 또는 전체의 스크린을 공유하기 위해 생성된다. 생성된 데이터는 압축 또는 해상도가 전환되어 수신되고자 하는 유저에게 전달된다.
도24는 실시예들에 따른 실시예들에 따른 포인트 클라우드 인코더(Point Cloud Encoder)의 예시를 나타낸다.
도24는 도9의 GPCC 인코더를 상세히 나타낸다.
포인트 클라우드 인코더는 네트워크의 상황 혹은 애플리케이션 등에 따라 포인트 클라우드 콘텐트의 질(예를 들어 무손실-lossless, 손실-lossy, near-lossless)을 조절하기 위하여 포인트 클라우드 데이터(예를 들면 포인트들의 포지션들 및/또는 어트리뷰트들)을 재구성하고 인코딩 동작을 수행한다. 포인트 클라우드 콘텐트의 전체 사이즈가 큰 경우(예를 들어 30 fps의 경우 60 Gbps인 포인트 클라우드 콘텐트) 포인트 클라우드 콘텐트 제공 시스템은 해당 콘텐트를 리얼 타임 스트리밍하지 못할 수 있다. 따라서 포인트 클라우드 콘텐트 제공 시스템은 네트워크 환경등에 맞춰 제공하기 위하여 최대 타깃 비트율(bitrate)을 기반으로 포인트 클라우드 콘텐트를 재구성할 수 있다.
앞서 설명한 바와 같이 포인트 클라우드 인코더는 지오메트리 인코딩 및 어트리뷰트 인코딩을 수행할 수 있다. 지오메트리 인코딩은 어트리뷰트 인코딩보다 먼저 수행된다.
실시예들에 따른 포인트 클라우드 인코더는 좌표계 변환부(Transformation Coordinates, 240000), 양자화부(Quantize and Remove Points (Voxelize), 240001), 옥트리 분석부(Analyze Octree, 240002), 서페이스 어프록시메이션 분석부(Analyze Surface Approximation, 240003), 아리스메틱 인코더(Arithmetic Encode, 240004), 지오메트리 리컨스트럭션부(Reconstruct Geometry, 240005), 컬러 변환부(Transform Colors, 40006), 어트리뷰트 변환부(Transfer Attributes, 240007), RAHT 변환부(40008), LOD생성부(Generated LOD, 240009), 리프팅 변환부(Lifting)(240010), 계수 양자화부(Quantize Coefficients, 240011) 및/또는 아리스메틱 인코더(Arithmetic Encode, 240012)를 포함한다.
좌표계 변환부(240000), 양자화부(240001), 옥트리 분석부(240002), 서페이스 어프록시메이션 분석부(240003), 아리스메틱 인코더(240004), 및 지오메트리 리컨스트럭션부(240005)는 지오메트리 인코딩을 수행할 수 있다. 실시예들에 따른 지오메트리 인코딩은 옥트리 지오메트리 코딩, 다이렉트 코딩(direct coding), 트라이숩 지오메트리 인코딩(trisoup geometry encoding) 및 엔트로피 인코딩을 포함할 수 있다. 다이렉트 코딩 및 트라이숩 지오메트리 인코딩은 선택적으로 또는 조합으로 적용된다. 또한 지오메트리 인코딩은 위의 예시에 국한되지 않는다.
도면에 도시된 바와 같이, 실시예들에 따른 좌표계 변환부(40000)는 포지션들을 수신하여 좌표계(coordinate)로 변환한다. 예를 들어, 포지션들은 3차원 공간 (예를 들면XYZ 좌표계로 표현되는 3차원 공간 등)의 위치 정보로 변환될 수 있다. 실시예들에 따른 3차원 공간의 위치 정보는 지오메트리 정보로 지칭될 수 있다.
실시예들에 따른 양자화부(40001)는 지오메트리를 양자화한다. 예를 들어, 양자화부(40001)는 전체 포인트들의 최소 위치 값(예를 들면 X축, Y축, Z축 에 대하여 각축상의 최소 값)을 기반으로 포인트들을 양자화 할 수 있다. 양자화부(40001)는 최소 위치 값과 각 포인트의 위치 값의 차이에 기 설정된 양자 스케일(quatization scale) 값을 곱한 뒤, 내림 또는 올림을 수행하여 가장 가까운 정수 값을 찾는 양자화 동작을 수행한다. 따라서 하나 또는 그 이상의 포인트들은 동일한 양자화된 포지션 (또는 포지션 값)을 가질 수 있다. 실시예들에 따른 양자화부(40001)는 양자화된 포인트들을 재구성하기 위해 양자화된 포지션들을 기반으로 복셀화(voxelization)를 수행한다. 2차원 이미지/비디오 정보를 포함하는 최소 단위는 픽셀(pixel)과 같이, 실시예들에 따른 포인트 클라우드 콘텐트(또는 3차원 포인트 클라우드 비디오)의 포인트들은 하나 또는 그 이상의 복셀(voxel)들에 포함될 수 있다. 복셀은 볼륨(Volume)과 픽셀(Pixel)의 조합어로서, 3차원 공간을 표현하는 축들(예를 들면 X축, Y축, Z축)을 기반으로 3차원 공간을 유닛(unit=1.0) 단위로 나누었을 때 발생하는 3차원 큐빅 공간을 의미한다. 양자화부(40001)는 3차원 공간의 포인트들의 그룹들을 복셀들로 매칭할 수 있다. 실시예들에 따라 하나의 복셀은 하나의 포인트만 포함할 수 있다. 실시예들에 따라 하나의 복셀은 하나 또는 그 이상의 포인트들을 포함할 수 있다. 또한 하나의 복셀을 하나의 포인트로 표현하기 위하여, 하나의 복셀에 포함된 하나 또는 그 이상의 포인트들의 포지션들을 기반으로 해당 복셀의 중앙점(center)의 포지션을 설정할 수 있다. 이 경우 하나의 복셀에 포함된 모든 포지션들의 어트리뷰트들은 통합되어(combined) 해당 복셀에 할당될(assigned)수 있다.
실시예들에 따른 옥트리 분석부(240002)는 복셀을 옥트리(octree) 구조로 나타내기 위한 옥트리 지오메트리 코딩(또는 옥트리 코딩)을 수행한다. 옥트리 구조는 팔진 트리 구조에 기반하여 복셀에 매칭된 포인트들을 표현한다.
실시예들에 따른 서페이스 어프록시메이션 분석부(240003)는 옥트리를 분석하고, 근사화할 수 있다. 실시예들에 따른 옥트리 분석 및 근사화는 효율적으로 옥트리 및 복셀화를 제공하기 위해서 다수의 포인트들을 포함하는 영역에 대해 복셀화하기 위해 분석하는 과정이다.
실시예들에 따른 아리스메틱 인코더(240004)는 옥트리 및/또는 근사화된 옥트리를 엔트로피 인코딩한다. 예를 들어, 인코딩 방식은 아리스메틱(Arithmetic) 인코딩 방법을 포함한다. 인코딩의 결과로 지오메트리 비트스트림이 생성된다.
컬러 변환부(240006), 어트리뷰트 변환부(240007), RAHT 변환부(40008), LOD생성부(240009), 리프팅 변환부(240010), 계수 양자화부(240011) 및/또는 아리스메틱 인코더(240012)는 어트리뷰트 인코딩을 수행한다. 상술한 바와 같이 하나의 포인트는 하나 또는 그 이상의 어트리뷰트들을 가질 수 있다. 실시예들에 따른 어트리뷰트 인코딩은 하나의 포인트가 갖는 어트리뷰트들에 대해 동일하게 적용된다. 다만, 하나의 어트리뷰트(예를 들면 색상)이 하나 또는 그 이상의 요소들을 포함하는 경우, 각 요소마다 독립적인 어트리뷰트 인코딩이 적용된다. 실시예들에 따른 어트리뷰트 인코딩은 컬러 변환 코딩, 어트리뷰트 변환 코딩, RAHT(Region Adaptive Hierarchial Transform) 코딩, 예측 변환(Interpolaration-based hierarchical nearest-neighbour prediction-Prediction Transform) 코딩 및 리프팅 변환 (interpolation-based hierarchical nearest-neighbour prediction with an update/lifting step (Lifting Transform)) 코딩을 포함할 수 있다. 포인트 클라우드 콘텐트에 따라 상술한 RAHT 코딩, 예측 변환 코딩 및 리프팅 변환 코딩은 선택적으로 사용되거나, 하나 또는 그 이상의 코딩들의 조합이 사용될 수 있다. 또한 실시예들에 따른 어트리뷰트 인코딩은 상술한 예시에 국한되는 것은 아니다.
실시예들에 따른 컬러 변환부(240006)는 어트리뷰트들에 포함된 컬러 값(또는 텍스쳐)을 변환하는 컬러 변환 코딩을 수행한다. 예를 들어, 컬러 변환부(240006)는 색상 정보의 포맷을 변환(예를 들어 RGB에서 YCbCr로 변환)할 수 있다. 실시예들에 따른 컬러 변환부(240006)의 동작은 어트리뷰트들에 포함된 컬러값에 따라 옵셔널(optional)하게 적용될 수 있다.
실시예들에 따른 지오메트리 리컨스트럭션부(240005)는 옥트리 및/또는 근사화된 옥트리를 재구성(디컴프레션)한다. 지오메트리 리컨스트럭션부(240005)는 포인트들의 분포를 분석한 결과에 기반하여 옥트리/복셀을 재구성한다. 재구성된 옥트리/복셀은 재구성된 지오메트리(또는 복원된 지오메트리)로 호칭될 수 있다.
실시예들에 따른 어트리뷰트 변환부(240007)는 지오메트리 인코딩이 수행되지 않은 포지션들 및/또는 재구성된 지오메트리를 기반으로 어트리뷰트들을 변환하는 어트리뷰트 변환을 수행한다. 상술한 바와 같이 어트리뷰트들은 지오메트리에 종속되므로, 어트리뷰트 변환부(240007)는 재구성된 지오메트리 정보를 기반으로 어트리뷰트들을 변환할 수 있다. 예를 들어, 어트리뷰트 변환부(240007)는 복셀에 포함된 포인트의 포지션값을 기반으로 그 포지션의 포인트가 가지는 어트리뷰트를 변환할 수 있다. 상술한 바와 같이 하나의 복셀에 포함된 하나 또는 그 이상의 포인트들의 포지션들을 기반으로 해당 복셀의 중앙점의 포지션이 설정된 경우, 어트리뷰트 변환부(240007)는 하나 또는 그 이상의 포인트들의 어트리뷰트들을 변환한다. 트라이숩 지오메트리 인코딩이 수행된 경우, 어트리뷰트 변환부(240007)는 트라이숩 지오메트리 인코딩을 기반으로 어트리뷰트들을 변환할 수 있다.
어트리뷰트 변환부(240007)는 각 복셀의 중앙점의 포지션(또는 포지션 값)으로부터 특정 위치/반경 내에 이웃하고 있는 포인트들의 어트리뷰트들 또는 어트리뷰트 값들(예를 들면 각 포인트의 색상, 또는 반사율 등)의 평균값을 계산하여 어트리뷰트 변환을 수행할 수 있다. 어트리뷰트 변환부(240007)는 평균값 계산시 중앙점으로부터 각 포인트까지의 거리에 따른 가중치를 적용할 수 있다. 따라서 각 복셀은 포지션과 계산된 어트리뷰트(또는 어트리뷰트 값)을 갖게 된다.
어트리뷰트 변환부(240007)는 K-D 트리 또는 몰톤 코드를 기반으로 각 복셀의 중앙점의 포지션으로부터 특정 위치/반경 내에 존재하는 이웃 포인트들을 탐색할 수 있다. K-D 트리는 이진 탐색 트리(binary search tree)로 빠르게 최단 이웃점 탐색(Nearest Neighbor Search-NNS)이 가능하도록 point들을 위치 기반으로 관리할 수 있는 자료 구조를 지원한다. 몰튼 코드는 모든 포인트들의 3차원 포지션을 나타내는 좌표값(예를 들면 (x, y, z))을 비트값으로 나타내고, 비트들을 믹싱하여 생성된다. 예를 들어 포인트의 포지션을 나타내는 좌표값이 (5, 9, 1)일 경우 좌표값의 비트 값은 (0101, 1001, 0001)이다. 비트 값을z, y, x 순서로 비트 인덱스에 맞춰 믹싱하면 010001000111이다. 이 값을 10진수로 나타내면 1095이 된다. 즉, 좌표값이 (5, 9, 1)인 포인트의 몰톤 코드 값은 1095이다. 어트리뷰트 변환부(40007)는 몰튼 코드 값을 기준으로 포인트들을 정렬하고depth-first traversal 과정을 통해 최단 이웃점 탐색(NNS)을 할 수 있다. 어트리뷰트 변환 동작 이후, 어트리뷰트 코딩을 위한 다른 변환 과정에서도 최단 이웃점 탐색(NNS)이 필요한 경우, K-D 트리 또는 몰톤 코드가 활용된다.
도면에 도시된 바와 같이 변환된 어트리뷰트들은 RAHT 변환부(40008) 및/또는 LOD 생성부(240009)로 입력된다.
실시예들에 따른 RAHT 변환부(240008)는 재구성된 지오메트리 정보에 기반하여 어트리뷰트 정보를 예측하는 RAHT코딩을 수행한다. 예를 들어, RAHT 변환부(240008)는 옥트리의 하위 레벨에 있는 노드와 연관된 어트리뷰트 정보에 기반하여 옥트리의 상위 레벨에 있는 노드의 어트리뷰트 정보를 예측할 수 있다.
실시예들에 따른 LOD생성부(240009)는 예측 변환 코딩을 수행하기 위하여LOD(Level of Detail)를 생성한다. 실시예들에 따른 LOD는 포인트 클라우드 콘텐트의 디테일을 나타내는 정도로서, LOD 값이 작을 수록 포인트 클라우드 콘텐트의 디테일이 떨어지고, LOD 값이 클 수록 포인트 클라우드 콘텐트의 디테일이 높음을 나타낸다. 포인트들을 LOD에 따라 분류될 수 있다.
실시예들에 따른 리프팅 변환부(240010)는 포인트 클라우드의 어트리뷰트들을 가중치에 기반하여 변환하는 리프팅 변환 코딩을 수행한다. 상술한 바와 같이 리프팅 변환 코딩은 선택적으로 적용될 수 있다.
실시예들에 따른 계수 양자화부(240011)은 어트리뷰트 코딩된 어트리뷰트들을 계수에 기반하여 양자화한다.
실시예들에 따른 아리스메틱 인코더(240012)는 양자화된 어트리뷰트들을 아리스메틱 코딩 에 기반하여 인코딩한다.
포인트 클라우드 인코더의 엘레멘트들은 도면에 도시되지 않았으나 포인트 클라우드 제공 장치에 포함된 하나 또는 그 이상의 메모리들과 통신가능하도록 설정된 하나 또는 그 이상의 프로세서들 또는 집적 회로들(integrated circuits)을 포함하는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다. 하나 또는 그 이상의 프로세서들은 포인트 클라우드 인코더의 엘레멘트들의 동작들 및/또는 기능들 중 적어도 어느 하나 이상을 수행할 수 있다. 또한 하나 또는 그 이상의 프로세서들은 포인트 클라우드 인코더의 엘레멘트들의 동작들 및/또는 기능들을 수행하기 위한 소프트웨어 프로그램들 및/또는 인스트럭션들의 세트를 동작하거나 실행할 수 있다. 실시예들에 따른 하나 또는 그 이상의 메모리들은 하이 스피드 랜덤 억세스 메모리를 포함할 수도 있고, 비휘발성 메모리(예를 들면 하나 또는 그 이상의 마그네틱 디스크 저장 디바이스들, 플래쉬 메모리 디바이스들, 또는 다른 비휘발성 솔리드 스테이트 메모리 디바이스들(Solid-state memory devices)등)를 포함할 수 있다.
도25는 실시예들에 따른 포인트 클라우드 디코더(Point Cloud Decoder)의 예시를 나타낸다.
포인트 클라우드 디코더는 포인트 클라우드 인코더의 인코딩 동작의 역과정인 디코딩 동작을 수행할 수 있다.
포인트 클라우드 디코더는 지오메트리 디코딩 및 어트리뷰트 디코딩을 수행할 수 있다. 지오메트리 디코딩은 어트리뷰트 디코딩보다 먼저 수행된다.
실시예들에 따른 포인트 클라우드 디코더는 아리스메틱 디코더(arithmetic decode, 25000), 옥트리 합성부(synthesize octree, 25001), 서페이스 오프록시메이션 합성부(synthesize surface approximation, 25002), 지오메트리 리컨스트럭션부(reconstruct geometry, 25003), 좌표계 역변환부(inverse transform coordinates, 25004), 아리스메틱 디코더(arithmetic decode, 25005), 역양자화부(inverse quantize, 25006), RAHT변환부(25007), LOD생성부(generate LOD, 25008), 인버스 리프팅부(Inverse lifting, 25009), 및/또는 컬러 역변환부(inverse transform colors, 25010)를 포함한다.
아리스메틱 디코더(25000), 옥트리 합성부(25001), 서페이스 오프록시메이션 합성부(25002), 지오메트리 리컨스럭션부(25003), 좌표계 역변환부(25004)는 지오메트리 디코딩을 수행할 수 있다. 실시예들에 따른 지오메트리 디코딩은 다이렉트 코딩(direct coding) 및 트라이숩 지오메트리 디코딩(trisoup geometry decoding)을 포함할 수 있다. 다이렉트 코딩 및 트라이숩 지오메트리 디코딩은 선택적으로 적용된다. 또한 지오메트리 디코딩은 위의 예시에 국한되지 않으며, 지오메트리 인코딩의 역과정으로 수행된다.
실시예들에 따른 아리스메틱 디코더(25000)는 수신한 지오메트리 비트스트림을 아리스메틱 코딩을 기반으로 디코딩한다. 아리스메틱 디코더(25000)의 동작은 아리스메틱 인코더(240004)의 역과정에 대응한다.
실시예들에 따른 옥트리 합성부(25001)는 디코딩된 지오메트리 비트스트림으로부터 (또는 디코딩 결과 확보된 지오메트리에 관한 정보)로부터 오큐판시 코드를 획득하여 옥트리를 생성할 수 있다. 오큐판시 코드에 대한 구체적인 설명은 도 24에서 설명한 바와 같다.
실시예들에 따른 서페이스 오프록시메이션 합성부(25002)는 트라이숩 지오메트리 인코딩이 적용된 경우, 디코딩된 지오메트리 및/또는 생성된 옥트리에 기반하여 서페이스를 합성할 수 있다.
실시예들에 따른 지오메트리 리컨스트럭션부(25003)는 서페이스 및 또는 디코딩된 지오메트리에 기반하여 지오메트리를 재생성할 수 있다. 도 24 설명한 바와 같이, 다이렉트 코딩 및 트라이숩 지오메트리 인코딩은 선택적으로 적용된다. 따라서 지오메트리 리컨스트럭션부251003)는 다이렉트 코딩이 적용된 포인트들의 포지션 정보들을 직접 가져와서 추가한다. 또한, 트라이숩 지오메트리 인코딩이 적용된 경우, 지오메트리 리컨스트럭션부(25003)는 지오메트리 리컨스트럭션부(240005)의 재구성 동작, 예를 들면 삼각형 재구성, 업-샘플링, 복셀화 동작을 수행하여 지오메트리를 복원할 수 있다. 복원된 지오메트리는 어트리뷰트들을 포함하지 않는 포인트 클라우드 픽쳐 또는 프레임을 포함할 수 있다.
실시예들에 따른 좌표계 역변환부(25004)는 복원된 지오메트리를 기반으로 좌표계를 변환하여 포인트들의 포지션들을 획득할 수 있다.
아리스메틱 디코더(25005), 역양자화부(25006), RAHT 변환부(25007), LOD생성부(25008), 인버스 리프팅부(25009), 및/또는 컬러 역변환부(25010)는 어트리뷰트 디코딩을 수행할 수 있다. 실시예들에 따른 어트리뷰트 디코딩은 RAHT(Region Adaptive Hierarchial Transform) 디코딩, 예측 변환(Interpolaration-based hierarchical nearest-neighbour prediction-Prediction Transform) 디코딩 및 리프팅 변환 (interpolation-based hierarchical nearest-neighbour prediction with an update/lifting step (Lifting Transform)) 디코딩을 포함할 수 있다. 상술한 3가지의 디코딩들은 선택적으로 사용되거나, 하나 또는 그 이상의 디코딩들의 조합이 사용될 수 있다. 또한 실시예들에 따른 어트리뷰트 디코딩은 상술한 예시에 국한되는 것은 아니다.
실시예들에 따른 아리스메틱 디코더(25005)는 어트리뷰트 비트스트림을 아리스메틱 코딩으로 디코딩한다.
실시예들에 따른 역양자화부(25006)는 디코딩된 어트리뷰트 비트스트림 또는 디코딩 결과 확보한 어트리뷰트에 대한 정보를 역양자화(inverse quantization)하고 역양자화된 어트리뷰트들(또는 어트리뷰트 값들)을 출력한다. 역양자화는 포인트 클라우드 인코더의 어트리뷰트 인코딩에 기반하여 선택적으로 적용될 수 있다.
실시예들에 따라 RAHT 변환부(25007), LOD생성부(25008) 및/또는 인버스 리프팅부(25009)는 재구성된 지오메트리 및 역양자화된 어트리뷰트들을 처리할 수 있다. 상술한 바와 같이 RAHT 변환부(11007), LOD생성부(11008) 및/또는 인버스 리프팅부(11009)는 포인트 클라우드 인코더의 인코딩에 따라 그에 대응하는 디코딩 동작을 선택적으로 수행할 수 있다.
실시예들에 따른 컬러 역변환부(11010)는 디코딩된 어트리뷰트들에 포함된 컬러 값(또는 텍스쳐)을 역변환하기 위한 역변환 코딩을 수행한다. 컬러 역변환부(11010)의 동작은 포인트 클라우드 인코더의 컬러 변환부(240006)의 동작에 기반하여 선택적으로 수행될 수 있다.
도 25의 포인트 클라우드 디코더의 엘레멘트들은 도면에 도시되지 않았으나 포인트 클라우드 제공 장치에 포함된 하나 또는 그 이상의 메모리들과 통신가능하도록 설정된 하나 또는 그 이상의 프로세서들 또는 집적 회로들(integrated circuits)을 포함하는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다. 하나 또는 그 이상의 프로세서들은 상술한 도 25의 포인트 클라우드 디코더의 엘레멘트들의 동작들 및/또는 기능들 중 적어도 어느 하나 이상을 수행할 수 있다. 또한 하나 또는 그 이상의 프로세서들은 도25의 포인트 클라우드 디코더의 엘레멘트들의 동작들 및/또는 기능들을 수행하기 위한 소프트웨어 프로그램들 및/또는 인스트럭션들의 세트를 동작하거나 실행할 수 있다.
도26은 실시예들에 따른 송신 장치의 동작 흐름도의 예시를 나타낸다.
도26은 도11의 VPCC 인코더를 상세히 나타낸다. 송신 장치의 각 구성요소는 소프트웨어, 하드웨어, 프로세서 및/또는 그것들의 조합에 대응할 수 있다.
V-PCC를 이용한 포인트 클라우드 데이터의 압축 및 전송을 위한 송신단의 동작 과정은 도면과 같은 수 있다.
실시예들에 따른 포인트 클라우드 데이터 송신 장치는 송신 장치 등으로 지칭될 수 있다.
패치 생성부(26000) 관련하여, 먼저, 포인트 클라우드(point cloud)의 2D 이미지 맵핑을 위한 패치 (patch)를 생성한다. 패치 생성의 결과물로 부가 패치 정보가 생성되며, 해당 정보는 지오메트리 이미지 (geometry image) 생성, 텍스처 이미지 (texture image) 생성, 스무딩 (smoothing)을 위한 지오메트리 복원과정에 사용될 수 있다.
패치 패킹부(18001) 관련하여, 생성된 패치들은 2D 이미지 안에 맵핑하는 패치 패킹 과정을 거치게 된다. 패치 패킹의 결과물로 오큐판시 맵 (occupancy map)을 생성할 수 있으며, 오큐판시 맵은 지오메트리 이미지 생성, 텍스처 이미지 생성, 스무딩을 위한 지오메트리 복원과정에 사용될 수 있다.
지오메트리 이미지 생성부(26002)는 부가 패치 정보와 오큐판시 맵을 이용하여 지오메트리 이미지를 생성하며, 생성된 지오메트리 이미지는 비디오 부호화를 통해 하나의 비트스트림 (bitstream)으로 부호화된다.
부호화 전처리(26003)는 이미지 패딩 절차를 포함할 수 있다. 생성된 지오메트리 이미지 또는 부호화된 지오메트리 비트스트림을 복호화하여 재생성된 지오메트리 이미지는 3차원 지오메트리 복원에 사용될 수 있고 이후 스무딩 과정을 거칠 수 있다.
텍스처 이미지 생성부(26004)는 (스무딩된) 3차원 지오메트리와 포인트 클라우드, 부가 패치 정보 및 오큐판시 맵을 이용하여 텍스처 이미지를 생성할 수 있다. 생성된 텍스처 이미지는 하나의 비디오 비트스트림으로 부호화될 수 있다.
메타데이터 부호화부(26005)는 부가 패치 정보를 하나의 메타데이터 비트스트림으로 부호화할 수 있다.
비디오 부호화부(26006)는 오큐판시 맵을 하나의 비디오 비트스트림으로 부호화할 수 있다.
다중화부(26007)는 생성된 지오메트리, 텍스처 이미지, 오큐판시 맵의 비디오 비트스트림과 부가 패치 정보 메타데이터 비트스트림은 하나의 비트스트림으로 다중화한다.
송신부(26008)는 비트스트림을 수신단에 전송될 수 있다. 또는 생성된 지오메트리, 텍스처 이미지, 오큐판시 맵의 비디오 비트스트림과 부가 패치 정보 메타데이터 비트스트림은 하나 이상의 트랙 데이터로 파일이 생성되거나 세그먼트로 인캡슐레이션 되어 송신부를 통해 수신단에 전송 될 수 있다.
도27는 실시예들에 따른 수신 장치의 동작 흐름도의 예시를 나타낸다.
수신 장치의 각 구성요소는 소프트웨어, 하드웨어, 프로세서 및/또는 그것들의 조합에 대응할 수 있다.
V-PCC를 이용한 포인트 클라우드 데이터의 수신 및 복원을 위한 수신단의 동작 과정은 도면과 같은 수 있다. V-PCC 수신단의 동작은 도26의 V-PCC 송신단의 동작의 역과정을 따를 수 있다.
실시예들에 따른 포인트 클라우드 데이터 수신 장치는 수신 장치 등으로 지칭될 수 있다.
수신된 포인트 클라우드의 비트스트림은 파일/세그먼트 디캡슐레이션 후 압축된 지오메트리 이미지, 텍스처 이미지, 오큐판시 맵의 비디오 비트스트림들과 부가 패치 정보 메테데이터 비트스트림으로 역다중화부(27000)에 의해 역다중화된다. 비디오 복호화부(27001)와 메타데이터 복호화부(27002)는 역다중화된 비디오 비트스트림들과 메타데이터 비트스트림을 복호화한다. 지오메트리 복원부(27003)에 의해 복호화된 지오메트리 이미지와 오큐판시 맵 및 부가 패치 정보를 이용하여 3차원 지오메트리가 복원되며 이후 스무더(27004)에 의한 스무딩 과정을 거친다. 스무딩된 3차원 지오메트리에 텍스처 이미지를 이용하여 컬러값을 부여함으로써 컬러 포인트 클라우드 영상/픽처가 텍스쳐 복원부(27005)에 의해 복원될 수 있다. 이후 객관적/주관적 비주얼 퀄리티 향상을 위하여 컬러 스무딩 (color smoothing)과정을 추가적으로 수행할 수 있으며, 이를 통하여 도출된 수정된(modified) 포인트 클라우드 영상/픽처는 렌더링 과정을 통하여(ex. by 포인트 클라우드 렌더러)를 통해 사용자에게 보여진다. 한편, 컬러 스무딩 과정은 경우에 따라 생략될 수 있다.
도28은 실시예들에 따른 대화형 포인트 클라우드 데이터를 나타낸다.
도28은 XR디바이스100c, 인코더/디코더를 포함하는 무선 통신 시스템(도2), 통신망과 연결된 포인트 클라우트 데이터 처리 시스템(도8 내지 도14), 포인트 클라우드 데이터 송수신 장치(도17, 도24-27) 등에 대응하는 실시예들에 따른 방법/장치가 처리하는 대화형 포인트 클라우드 데이터의 예시를 나타낸다.
실시예들에 따른 포인트 클라우드 데이터 송수신 방법/장치는 도28과 같은 대화형 포인트 클라우드 데이터를 압축하고 복원할 수 있다. 실시예들에 따른 포인트 클라우드 데이터 송수신 방법/장치는 실시예들에 따른 방법/장치로 호칭할 수 있다.
실시예들에 따른 방법/장치는 실시간 가상 대화 및 회의 시스템을 위한 상체 기반 회전 축 및 파라미터 생성 방법을 포함하고 수행할 수 있다(Method of shoulder-neck reference axis for XR conversational systems).
실시예들은 실시간 및 양방향으로 사용자의 얼굴을 3차원으로 획득하고 가상의 환경에서 대화를 할 수 있는 실감형 가상 대화 및 회의 시스템의 효율적인 사람 인식 방법을 포함한다. 사용자간 대화를 구현하기 위해서 다수개의 사람을 인식할 수 있는 카메라 필드 그리고 물리적으로 사용자의 형태 또는 얼굴을 획득할 수 있는 포인트 카메라, 색상 카메라, 그리고 깊이를 표현할 수 있는 카메라를 사용한다. 사람을 인식할 수 있는 환경에서 사람 또는 사물의 오브젝트를 인식하고 분류하는 방식이 중요하게 여겨진다. 대부분 3차원 기술 방식은 라이다 (LiDAR)를 이용한 센서 인식 방식을 사용하고 있으며 실시간으로 획득되는 포인트 클라우드 (Point Cloud) 데이터를 동물, 사람, 자동차 등의 사물로 인식하는 방식을 사용하고 있다.
하지만 실시간으로 사용자간 대화가 오가는 환경에서는 카메라 기반의 컴퓨터 인식 또는 인공지능 기반 사물의 학습 기능이 부과되며 해당 객체의 학습을 위하여 다수개의 컨벌루션(Convolution) 연산이 요구된다. 또한 인공지능이 아닌 실시간 사물의 인식과 구분은 라이다 하드웨어 내 사물을 인식하는 검증 장치가 요구되며 검증 장치는 지연 시간을 최소화 하고 라이다 시야 내 화질 변화를 감소시키기 위해 복잡한 수신기 처리가 요구된다. 기존 사물 인식 방식은 포인트의 군집 또는 밀집도를 따라 포인트의 크기에 맞게 임의의 인식 박스(Box)를 형성하고 그 박스의 형태를 기본으로 사물의 형태를 구분한다. 이러한 방식은 라이다 센서에서 인식되는 사물의 전 영역을 검출하고 포인트의 개수를 파악하여 포인트의 구성 형태에서 일부를 제거하거나 일부를 채택하는 방식으로 해상도와 검출 방식을 개선한다. 사용자간 대화형 가상 카메라는 반면 예상되는 사용자의 형태가 고정되어 있으며 크게 변화하지 않는 형태를 갖는다. 또한 라이다 센서와 다른 저해상도 또는 위치를 파악할 수 있는 카메라의 장비가 사용자에게 이용 가능한 성능의 한계가 제약적일 수 밖에 없다. 따라서, 실시예들은 이와 같은 고정 화면 기반 사물의 인식과 모션이 정해진 환경에서 포인트를 빠르게 획득 하고 특징을 얻어낼 수 있는 사물 인식 방법을 포함할 수 있다.
실시예들은 3GPP TS 26.114의 MTSI 의 VR (Virtual Reality) 및 TR26.928의 XR (Extended Reality) 포함하며 IMS기반의 Telepresence를 논의하는 3GPP TS26.223 표준을 포함한다. 해당 표준을 통해 이동형 또는 분리형 수신기는 가상 회의에 참석하여 실감형 회의에 참여할 수 있게 된다. 대화형 데이터가 미디어 포멧으로 전달될 수 있는 경우 실시예들은5G Media Architecture 3GPP TS26.501, TS26.512, TS26.511을 포함한다. 부가적으로 서비스의 구체화를 위해 관련 표준은 TS26.238, TS26.939, TS24.229, TS26.295, TS26.929, TS26.247이 포함될 수 있다.
실시예들에 따른 방법/장치는 인코더/디코더를 통해 실시간으로 사물을 인식하는 기존 방식은 포인트 클라우드를 2차원으로 획득하여 버드뷰(Bird-view) 또는 프론트뷰(Front-view) 형태로 획득을 하고 각각의 획득 방식에서 뎁스 맵(depth map)을 형성한다. 형성된 포인트와 깊이를 이용하여 RGP 카메라는 3D물체를 형성하며 획득하는 정보를 기반으로 사물을 판단하는 알고리즘을 수행한다. 포인트를 기반으로 바운딩 박스(Bounding Box)를 만들고 해당 박스 내에서 사물을 인식한다. 포인트 클라우드에서 존재하는 포인트끼리는 서로간의 정보를 교환하지 않으므로 박스에서 인식되는 사물과 기존 데이터 베이스를 가지고 사물의 형태를 추적하는 방식이 널리 사용되고 있다. 하지만 실시간 대화형 시스템에서는 전처리 과정과 사물을 학습하여 사물을 인식하는 과정이 실시간 자동화 시스템에 비하여 덜 요구된다. 사물의 인식 형태가 사람 또는 물체로 한정되어 있으며 변화하는 사물의 형태보다는 상대적으로 고정된 형태의 포인트 클라우드가 구성된다.
예를 들어, 사람의 인식은 사람의 전신 형태를 기반으로 포인트의 기준을 생성한다. 사람의 전면부를 카메라로 인식하는 경우 상대적으로 포인트가 밀집되어 있는 허리, 배, 손을 기준으로 골반의 척추를 기준으로 사람의 회전축을 생성한다. 골반의 축이 생성되면 골반의 중심, 그리고 머리, 어깨, 손, 다리, 발의 임의의 지점을 포인트의 밀집도를 평균화하여 스켈레톤 (Skeleton)을 형성한다. 스켈레톤 값은 이후 3차원 그래픽의 아바타에 적용하여 그래픽 이미지의 이동 또는 움직임을 표현하거나 게임의 사물 이동 인식에 활용되기도 한다.
실시예들에 따른 방법/장치는 대화형 카메라의 특성을 이용하여 사용자의 주요 이용자가 사람이라는 것 카메라에 포함되는 사물의 변화가 상대적으로 적은 것을 이용하여 사전 전처리 기능이 요구되지 않는 빠른 인식 방법에 대하여 고안한다. 고안된 방법은 사람의 허리와 척추를 기준이 아닌 대화 형으로 진행되는 머리와 어깨 목의 각을 이용한 초기 인식 방법을 사용한다. 각은 포인트의 2차원 화면에서 표현되는 벡터의 각을 이용해서 쉽게 구할 수 있으며 3차원 변환계에서 기준점을 쉽게 생성할 수 있게 되어 실시간 3차원 대화형 시스템에서 처리 속도를 단순화 시킬 수 있다.
실시예들에 따른 방법/장치는 대화형 포인트 클라우드 데이터를 저연산, 저지연 처리를 위해 3차원으로 인식되는 객체를 2차원평면에서 목과 어깨를 기준으로 사람을 인식한다. 하지만 실제 포인트 데이터는 입력되는 포인트 클라우드의 2차원 화면이 사람인지 또는 물체인지 인식하기 위해서는 데이터 정보가 필요하다. 3차원 실시간 대화에서는 사람 이외의 사물에 대한 정보를 전송하지 않기 때문에 카메라에 중심에 있는 포인트의 집합으로 중심 오브젝트의 위치를 개략적으로 파악할 수 있다. 아래 그림은 실제 3차원 인식 카메라를 적용하였을 경우 2차원 화면에서 사람이 인식될 수 있는 다양한 경우를 표현한다.
도28을 참조하면, 실제 사람은 카메라 앞에서 어깨와 얼굴의 형태에 따라 보여지는 사물의 인식 구조가 다르게 표현될 수 있으며 전신 포인트와는 다르게 상체 기준으로 화면이 전달되는 것을 확인할 수 있다. 사람의 객체의 구분화를 위해서는 선행적으로 2차원 공간의 정보와 IR카메라를 이용한 3차원 깊이 정보가 획득될 수 있다. 3차원 깊이 정보는 사물의 차원을 표현하기 위해 사용되며 2차원 평면에서 포인트들의 깊이 정보를 가지고 있다. 따라서 포인트 군집 내 사물의 최외각 깊이의 데이터의 교집합을 통해 주변 사물의 노이즈를 사전 제거할 수 있으며 2차원 그림 내 1차 필더링 된 정보를 획득할 수 있다. 필터링의 과정은 두단계로 진행한다.
1. 색상의 깊이에 해당하는 정보와 특정 임계점을 가지는 깊이 이내의 포인트가 제외된 2차원 위치 정보와 교집합이 이루어지는 포인트의 2차원 지도를 표현한다.
2. 생성된 2차원 포인트 클라우드의 이미지 중 그려지는 벡터의 크기가 특정 임계점보다 작을 경우 그 벡터에 해당하는 포인트는 제외된다.
3. 필요에 의해 2차원 평면도에 입혀진 포인트 군집 내에서 최 외각 부분을 따라 직선 형태의 윤곽선을 생성한다.
도29는 실시예들에 따른 필터링의 예시를 나타낸다.
도29는 도28에서 설명한 필터링 과정을 나타낸다.
세 가지 필터링에 의해 결정되는 그림은 도29와 같이 도식화 할 수 있다.
도30은 실시예들에 따른 벡터 구성을 나타낸다.
도30은 도29의 데이터가 다양한 형태의 백터 구성으로 생성되는 것을 나타낸다.
도30을 참조하면, 확인이 되지 않은 포인트 클라우드의 2차원 화면의 윤곽과 포인트의 데이터를 가지고 사람의 척추, 골반의 기준점을 생성할 수 없다. 논-리그레션(Non-regression) 방식을 기반으로 형성된 포인트 클라우드 박스 범위 내에서 16개로 고정 분할 된다고 가정할 경우 포인트 내에서 50% 이상의 포인트가 밀집된 곳을 하이라이트 할 수 있다.
도31은 실시예들에 따른 분할 예시를 나타낸다.
실시예들에 따른 방법/장치는 도30과 같이 포인트 클라우드 데이터의 벡터를 새엇앟고, 도31과 같이, 포인트 클라우드 박스 범위 내에서 데이터를 16개로 분할하고, 포인트의 분포도에 기반하여 밀집 영역을 감지하고 표현할 수 있다.
실시예들에 따른 방법/장치는 도31과 같이 사물의 물체에 따라 중심축을 생성할 수 있으며 머리 척추각과 임의의 어깨 각도를 생성할 수 있다.
도32는 실시예들에 따른 대화형 포인트 클라우드 데이터의 오브젝트에 관한 축을 생성하는 예시를 나타낸다.
전술한 과정을 통해서, 실시예들에 따른 방법/장치는 도32와 같이 대화형 2차원 화면에서 사람의 중심 축과 센터 포인트(Center point)를 획득할 수 있다. 만약 어깨 축(Shoulder Axis)이 발견되지 않은 경우 사람이 아닌 물체로 인식할 수 있으나 포인트의 중앙지점을 기준으로 회전 머리 척추 축(Rotation Head Spine Axis)만 정의된다. 두 개의 축이 발생되면 머리 척추(Head Spine), 어깨 축(Shoulder Axis)으로 인식할 수 있고, 중심 좌표와 어깨 레퍼런스(Shoulder Reference)를 형성한다. 만약 레퍼런스(Reference)가 두가 지 축에서 한가지 만 인식되는 경우 기존 데이터 처리 방식 또는 데이터의 프리 프로세싱(Pre-processing)을 생략하고 인식되는 데이터가 대화형 포멧에 저장되어 전달된다. 또한 모든 데이터가 인식되지 않은 경우 사람의 행동을 인식할 수 있는 행위 파라미터는 변동되는 것이 적용되지 않을 수 있다.
실시예들에 따른 포인트 클라우드 데이터 송수신 장치(인코더/디코더)의 변환계(변환기, 또는 프로세서)에 의해 다음과 같은 동작이 수행된다. 결정화 기반 중심좌표와 변환계는 어깨 축(Shoulder Axis)의 각을 찾는데 이용된다. 머리와 어깨의 각은 사용자 화면의 정면을 보정하는 각 변환에 사용되거나 2차원 틸트(Tilt)의 오토 트랜스포메이션(Auto Transformation), 그리고 3차원 그래픽 맵핑(Mapping)에 보정 값으로 사용된다. 확률적 분포에 의해 최적의 각을 찾는 방법은 기준 머리/어깨 각도(Head/Shoulder Angle)에 부합하는 벡터의 각을 나타내며 선행적으로 Non-regression 방식을 기반으로 형성된 포인트 클라우드 박스 범위 내에서 50% 이상의 포인트가 밀집된 곳 중 벡터의 각을 모두 추출할 수 있다. 이와 관련된 방법을 다음 도면을 참조하여 구체적으로 설명한다.
도33은 실시예드렝 따른 축 선택, 추정, 변환, 각도 생성, 회전 매트릭스 생성을 나타낸다.
3300 과정과 관련하여, Theta_k는 k번재 박스에 존재하는 한 개의 벡터 k_1과 k_2 사이에 존재하는 각을 표현하며 각각의 벡터는 (x_k1, y_k1, z_k1) 과 (x_k2, y_k2, z_k2)의 x, y, z축 위치 값으로 구성되어 있다. 3300 과정을 이용하여 변환된 화면 또는 인식되는 벡터의 정보를 가지고 최초로 카메라로 인식된 포인트 x, y, z의 변환 포인트와 Head/Shoulder 축의 각의 선택은 3301과정과 같이 추정할 수 있다.
3301 과정에서 예측된 각의 매트릭스 Ξ는 고정 가용 변수 Ξ셋 내에서 발생되는 k번째를 포함하는 모든 Theta값으로 구성된 Diagonal Matrix Z에 대한 추정 수식이다. 예를 들어 3개의 벡터각이 발생되는 경우 Z=[θ0, 0; 0, θθ으로 구성된다. T 매트릭스는 변환 매트릭스로 일반적으로 다이아고널 매트릭스(Diagonal Matrix)로 구성되나 변환 Bias가 생성되는 경우 제로 패딩(Zero paddin)g이후에 변환 상수가 고려될 수 있다. Bias가 생성되는 경우는 변환 Matrix T는 3302과정과 같을 수 있다.
3302 과정에서, a_1, a_2, a_3은 첫번째, 두번째, 세번째 입력값에 해당하는 가중값을 나타내고, t_1, t_2, t_3은 첫번째, 두번째, 세번째 입력값에 해당하는 덧셈값을 나타낸다. 예측된 ΞDiag[ θθθ…θ]^ 각 중에서 초기 입력 Theta값과 동일한 경우 (예 θθ)만 해당 변수를 처리하며 i번째 2차원 프레임의 Head/Shoulder Angle Alpha_i^HS값은 3303과정과 같이 계산된다.
3303 과정에서, 회전각은 초기 시야 보정값 으로 인물의 정면을 추적할 때 활용된다. 회전 변환은 시야의 깊이와 포인트의 박스 위치에 따라 (x, y)축, (y, z)축, (z, x)축으로 전환될 수 있다. Head/Shoulder Angle Alpha_i^HS값은 아래와 같이 회전에 의해 x, y, z포인트를 전환시킬 수 있으며 회전 매트릭스는 3304과정과 같이 정의된다
3304과정에서, Psi는 z축의 회전, theta는 y축의 회전, phi는 x축의 회전값을 나타내며 각각의 값에 Alpha_i^HS를 대입하여 적용할 수 있다.
이로 인하여, 실시예들에 따른 송신 장치 및 수신 장치는 다음과 같은 효과를 제공할 수 있다.
실시간 대화형 XR 전송을 위해 초기 데이터 인식 방법을 데이터베이스 방식이 아닌 포인트 분포를 기반하여 사람의 형상을 빠르고 효율적이고 정확하게 인식할 수 있다.
신체의 골격을 기반으로 오브젝트화 하지 않기 때문에 양방향 통신에 적합한 대화의 주 형태인 얼굴 목 척추와 양 어깨를 기준으로 중심축을 빠르게 형성할 수 있다.
형성된 중심축은 데이터 학습 인지 대비 단순하고 빠르며 회전 보정을 할 수 있는 보정 각을 쉽게 획득하여 연산의 전처리 기능을 감소시키고 보다 정확한 회전 초기 값을 획득할 수 있다.
실시예들에 따른 분할 방식(도28-32 등)은 고정 형태의 박스를 개별적으로 구분할 수 있기 때문에 지오메트리 기반 포인트 클라우드 (Geometry-based Point Cloud) 또는 비디오 기반 포인트 클라우드 (Video-based Point Cloud)압축 방식에 사용되는 지오메트리 정보와 쉽게 연동될 수 있다.
단순화된 사물에 대한 인식을 기반으로 사용자의 또는 사물에 대한 패턴을 쉽게 생성할 수 있다.
전체 화면에 대한 사물을 분할하여 글로벌 코디네이트(Global Coordinate) 전환 시 연산 기준에 대한 고정 레퍼런스(Reference) 정보로 사용할 수 있다.
생성된 단순화된 오브젝트는 필요에 의해 사물을 기준으로 추적하는 정교화된 오브젝트의 추적의 기준 값으로 활용될 수 있다.
도34는 실시예들에 따른 포인트 클라우드 데이터를 변환하는 방법을 나타낸다.
도34는 XR디바이스100c, 인코더/디코더를 포함하는 무선 통신 시스템(도2), 통신망과 연결된 포인트 클라우트 데이터 처리 시스템(도8 내지 도14), 포인트 클라우드 데이터 송수신 장치(도17, 도24-27) 등에 대응하는 실시예들에 따른 방법/장치가 포인트 클라우드 데이터를 대화 편의를 위해서 변환하는 방법을 나타낸다.
실시예들에 따른 방법/장치는 실시간 가상 대화 및 회의 시스템을 위한 사람의 시선 인식 장치 및 방법(Method of tracking of eyes and facial direction for real-time XR conversational systems)을 포함하고 수행할 수 있다.
실시예들은 실시간 및 양방향으로 사용자의 얼굴을 3차원으로 획득하고 가상의 환경에서 대화를 할 수 있는 실감형 가상 대화 및 회의 시스템의 효율적인 사람 눈을 추적하고 인식하는 방법을 더 포함한다. 사용자간 대화를 구현하기 위해서 다수개의 사람을 인식할 수 있는 카메라 필드 그리고 물리적으로 사용자의 형태 또는 얼굴을 획득할 수 있는 포인트 카메라, 색상 카메라, 그리고 깊이를 표현할 수 있는 카메라를 사용한다. 사람을 인식할 수 있는 환경에서 사람 또는 사물의 오브젝트를 인식하고 분류하는 방식이 중요하게 여겨진다. 대부분 3차원 기술 방식은 라이다 (LiDAR)를 이용한 센서 인식 방식을 사용하고 있으며 실시간으로 획득되는 포인트 클라우드 (Point Cloud) 데이터를 동물, 사람, 자동차 등의 사물로 인식하는 방식을 사용하고 있다.
하지만 실시간으로 사용자간 대화가 오가는 환경에서는 카메라 기반의 컴퓨터 인식 또는 인공지능 기반 사물의 학습 기능이 부과되며 해당 객체의 학습을 위하여 다수개의 Convolution 연산이 요구된다. 또한 인공지능이 아닌 실시간 사물의 인식과 구분은 라이다 하드웨어 내 사물을 인식하는 검증 장치가 요구되며 검증 장치는 지연 시간을 최소화 하고 라이다 시야 내 화질 변화를 감소시키기 위해 복잡한 수신기 처리가 요구된다.
특히 사람을 인식하는 대화형에서 사람의 눈과 입은 사람의 심리 또는 기분을 인식할 수 있는 중요한 요소이다. 화상 대화에서는 사용자가 어느곳을 바라보는 것만으로도 대화의 실감형을 느낄 수 있으며 언어로 표현하지 못하는 행동적 요소에 중요한 단서가 될 수 있다. 눈을 추적하는 기술은 자율 주행 자동차에서 주행자의 눈을 보고 눈의 패턴을 인식하여 사고를 방지하기 위해 주로 고안되었다. 또한 눈의 방향을 예측하여 사고를 사전에 방지해야 하기 때문에 눈 방향성을 추적하는데 많은 기술에 고안되어 있다. 실시예들은 사람과의 실시간 대화를 위하여 대화의 기준인 눈과 그리고 얼굴의 방향, 코의 방향을 종합적으로 특징을 추출하여 사람과의 대화를 현장감 있게 표현하는 방법을 더 포함할 수 있다.
사람의 눈을 추적하기 위해서는 2차원 방식과 3차원 방식이 널리 사용된다. 기존 2차원 비디오 방식은 외관 또는 특징방식을 적용한다. 특징 방식은 얼굴의 특징을 추출하여 사람의 얼굴을 인식하는 방법이나 45도 이상의 얼굴을 회전하는 경우 특징을 인식하지 못하는 경우가 발생한다. 외관 방식은 머리의 위치나 개개인의 얼굴을 사전 데이터 정보를 이용하여 활용하는 방식이며 사람의 인식은 쉬우나 빛 또는 강한 그림자가 발생하였을 경우 인식에 대한 오류가 발생한다. 또한 외관 방식은 데이터를 학습해야 하는 사전정보가 상당히 요구된다. 3차원 인식 방식은 패치의 일부를 데이터 베이스화하여 추적하는 방식, 다수 사람의 얼굴을 평균화 하여 그래픽 카드에 저장하여 비교하는 방식, 단순화된 정보를 축약하여 아바타에 이용하는 방식이 이용된다. 또한 눈을 추적하기 위해서는 고품질 해상도의 이미지가 요구되며 카메라의 성능에 따라 정면으로 바라보는 눈의 타원 이미지를 추적할 수 있으나 이미지화를 위해서 고해상도의 3차원 정보가 요구된다.
2차원과 3차원 방식 모두 사전 데이터를 가지고 정보를 처리할 경우 정확도가 증가하나 그만큼 시간과 데이터, 연산과정이 요구된다. 본 특허는 위와 관련하여 사전 정보를 최소화하고 실시간으로 사람의 얼굴을 인식하고 방향을 결정하는 방법에 대한 내용이다. 특히 모든 데이터의 정보를 세분화하여 추출하는 방식보다는 2차원 및 3차원에서 얻어지는 사람의 주요 특징을 추적하고 큰 방향적 관점에서 사람이 바라보는 방향을 결정하는 방법을 고안한다. 이러한 방식을 적용하는 경우, 실시간 대화에서 축의 기준과 방향의 각을 빠르게 결정 할 수 있으며 사람과 사람의 대화에서 효율적으로 기준 축을 생성하는데 도움이 된다.
실시예들은 3차원 포인트 클라우드 데이터를 저연산, 저지연 처리를 위해 3차원으로 인식되는 객체를 고정 범위 내에서 처리할 수 있도록 한다. 아래 도면은 실제 3차원 인식 카메라를 적용하였을 경우 화면에서 인식되는 모습을 나타낸다. 카메라는 2차원 또는 적외선 카메라를 이용하여 사물의 표면적 정보를 획득하고 적외선 카메라는 깊이를 측정할 수 있는 거리 측정과 같은 부가의 장치가 함께 사용될 수 있다. 사물의 초기 인식 방법은 [인식방식의 단순성: Field of View 이내 6면체의 3차원 공간 안에서 고정 위치로 Box형성하고, 사물 또는 포인트의 위치나 이미지의 형태와 상관없이 고정 형태를 기본으로 사물의 단위를 계산하는 방법]과 [전처리기 생략: 3차원 비디오의 전처리기를 생략하여 입력 그대로의 데이터를 기준으로 사람의 척추와 어깨 축을 생성, 자동 변환 로테이션 앵글(Rotation Angle) 추출: 포인트 밀집 지역의 2차원 벡터 각을 계산. 정면 추적을 위한 회전 각 자동 추출. 정면 데이터 획득을 위한 2,3차원 변환기: 글로벌 좌표계(Global Coordinate) 전환 시 연산 기준에 대한 초기(Initial) 값으로 사용]의 방식을 따라 진행된다고 가정한다. 따라서 실시예들은 사전에 데이터를 획득하고 일반적인진 이미지 전처리 과정은 모두 진행 되었다고 가정한다. 또한 사람을 인식하고 있으며 인식된 사람에서 머리, 목, 어깨, 척추의 기준점이 형성되어 있다고 가정한다. 따라서 입력부는 사람의 인식, 그리고 사람의 기준 축을 형성하고 있다. 구체적으로 사람의 방향과 바라보고자 하는 눈의 데이터를 획득하기 위해 초기 변환 매트릭스를 만들 수 있으며 변환 매트릭스는 도34 의 3400과 같이 정의된다.
3400방법에서 T는 변환 매트릭스이며 RT은 3차원 회전 매트릭스, t는 Translation 변환 벡터, 0은 제로 벡터를 나타낸다. 데이터 저장값을 이용하는 것이 아닌 실시간으로 화면과 방향을 인식하기 위해서는 T의 값이 수렴값을 찾아내는데 가장 중요하며 사람이 정면을 바라보고 있을 때 사람의 코의 변환값과 중앙값을 찾아내는 방식은 3401 방법을 사용한다.
3401 방법에서 u_n과 v_n은 2차원 평면에서 획득되는 중앙값으로 중앙값을 예측하기 위해 사용되는 값이다. c_x,와 c_y, f_x, f_y는 인트린식 카메라(intrinsic camera) 파라미터로 핀홀(pinhole) 카메라 모델로 프린서플 포인트(principal point)와 포컬 렝스(focal length)로 그 값에 대한 도식적인 그림은 도35와 아래와 같다.
도35는 실시예들에 따른 카메라 포인트, 이미지 포인트, 이미지 플레인을 나타낸다.
o_x, o_y, o_z는 중앙 기준 내 offset 이동 값으로 변환계 또는 이동값에 의해 임의의 값으로 결정된다. 데이터 베이스 없이 결정되는 포인트는 일반적으로 위 그림과 같이 카메라의 센터 핀홀(center pinhole)에 의해 그 값을 만들어 낸다. [Field of View 이내 6면체의 3차원 공간 안에서 고정 위치로 Box형성/사물 또는 포인트의 위치나 이미지의 형태와 상관없이 고정 형태를 기본으로 사물의 단위를 계산 방법]과 [3차원 비디오의 전처리기를 생략하여 입력 그대로의 데이터를 기준으로 사람의 척추와 어깨 축을 생성하고, 자동 변환 Rotation Angle 추출하여(포인트 밀집 지역의 2차원 벡터 각을 계산. 정면 추적을 위한 회전 각 자동 추출), 정면 데이터 획득을 위한 2,3차원 변환기를 통해 Global Coordinate 전환 시 연산 기준에 대한 Initial 값으로 사용]의 방식을 따라 카메라의 이미지를 획득하고 있을 경우 사전적으로 다음과 같은 정보를 획득할 수 있다:
1. 바운딩 박스 내에 존재하는 포인트의 인덱스
2. 포인트의 깊이 정보
3. 머리와 어깨의 기준 축
기준이 형성된 데이터의 그림은 도36과 같이 표현할 수 있다.
도36은 실시예들에 따른 포인트 클라우드 데이터의 기준을 나타낸다.
도36은 한 개의 IR 카메라 (좌측) 과 레이저 프로젝터 (우측) 카메라가 3차원으로 포인트의 깊이를 측정한다고 가정할 경우 제안된 방식이 작동하는 것을 나타낸다. 3600 선은 레이저 발사되어 3601 선으로 획득되는 파동의 반사를 도식화 한 것이다. 3차원의 입체 직사각형은 3차원 포인트 중에서 2차원 평면으로 획득된다고 가정할 경우 포인트의 도착 및 반사되는 모습을 가상으로 생성한 것이다. 여기서 [Field of View 이내 6면체의 3차원 공간 안에서 고정 위치로 Box형성/사물 또는 포인트의 위치나 이미지의 형태와 상관없이 고정 형태를 기본으로 사물의 단위를 계산 방법]의 내용을 기반으로 현재 바운드 박스는 총 9개라고 가정을 하였고 [3차원 비디오의 전처리기를 생략하여 입력 그대로의 데이터를 기준으로 사람의 척추와 어깨 축을 생성하고, 자동 변환 Rotation Angle 추출하여(포인트 밀집 지역의 2차원 벡터 각을 계산. 정면 추적을 위한 회전 각 자동 추출), 정면 데이터 획득을 위한 2,3차원 변환기를 통해 Global Coordinate 전환 시 연산 기준에 대한 Initial 값으로 사용]의 내용을 따라 머리/어깨 축(Head/Shoulder axis)이 형성되어 있다고 가정 하였다. 만약 axis가 형성되어 있지 않은 경우 이니셜 포인트(initial point)는 현재 널리 사용하고 있는 센터 주점(center principal point)을 중심 기준으로 생성한다. 만약 axis가 형성되어 있다면 헤드 스파인 축(Head spine axis)를 기준으로 어깨 축(shoulder axis)를 제외한 포인트가 존재하는 집합 바운딩 박스의 뎁스 맵(depth map) 정보만을 필터링 한다 (3602 박스).
도37은 실시예들에 따른 포인트, 카메라, 레이저 프로젝터 간 관계를 나타낸다.
도36에서 설명한 3602 영역 내 포인트와 IR 카메라, 레이저 프로젝터 부분만 따로 정의하면 도37과 같이 표현된다.
도38은 실시예들에 따른 거리 및 상수 값을 나타낸다.
도37에서, 프로젝터 내 z축의 d(거리)값은 전술한 값으로 측정될 수 있으며 d를 구하기 위한 수식은 도38의 3800 방법과 같이 정의된다.
3800방법에서 u^d_n과 v^d_n은 d^n에 해당하는 u, v벡터를 표현한다. d^n는 object plane과 reference plane의 반사 거리에 따른 거리 상수를 표현하며 d^n은 3602 바운드 박스 내 존재하는 알파벳 D의 집합 안에 존재하는 최적 값을 나타낸다. 상수 z는 거리를 측정하기 위한 카메라와 실제 캡쳐 화면의 거리를 나타내며 z'는 실제로 측정된 거리의 손실이 발생한 화면의 거리를 나타낸다. 제안방식은 기존 포인트의 이미지를 카메라의 중앙값으로 결정하는 대신 간단한 수식에 의해 결정되며 아래와 같이 z축의 실측 기준 값은 도38의 3801방법과 같이 결정한다.
3801 방법에서 z_0는 고정상수 f_z는 초점 거리(focal length), d(거리)는 카메라를 기준으로 레퍼런스 평면(reference plane)과 오브젝트 평면(object plan)e사이의 프로젝션(projection) 거리차를 나타낸다.
실시예들에 따른 방식은 빠르게 기준점과 최적 인물 방향을 획득할 수 있으나 사람 얼굴의 데이터를 기반하지 않기 때문에 다음과 같은 오차가 발생할 수 있다. 1) 사람이 안경 또는 분장이 되어 있는 경우 시작 위치가 중앙값 대비 변동될 수 있다. 2) 사물을 바라보는 각도가 정면이 아닌 경우 초기 데이터 획득에 오류가 발생할 수 있다. 3) 얼굴 앞에 손가락 또는 빨대 등의 뾰족한 물체와 함께 카메라 앞에 있을 경우 시작 점이 뾰족한 물체를 기준으로 시작할 수 있다.
하지만 위와 같이 발생하는 점은 기존 [Field of View 이내 6면체의 3차원 공간 안에서 고정 위치로 Box형성/사물 또는 포인트의 위치나 이미지의 형태와 상관없이 고정 형태를 기본으로 사물의 단위를 계산 방법] 및 [3차원 비디오의 전처리기를 생략하여 입력 그대로의 데이터를 기준으로 사람의 척추와 어깨 축을 생성하고, 자동 변환 Rotation Angle 추출하여(포인트 밀집 지역의 2차원 벡터 각을 계산. 정면 추적을 위한 회전 각 자동 추출), 정면 데이터 획득을 위한 2,3차원 변환기를 통해 Global Coordinate 전환 시 연산 기준에 대한 Initial 값으로 사용]와 결합하여 오류를 수정하거나 일반적인 방법에 의해서 쉽게 보정이 가능하다. 1)의 문제와 같은 경우 안경 또는 분장이 되어 있는 경우 분장에 의한 위치 값이 변동될 수 있으나 변동된 위치에 의한 벡터 의 방향은 정면과 동일하기 때문에 오차에 따른 값의 변화량은 적다. 2) 사물을 바라보는 각도가 정면이 아닌 경우 처음 머리와 어깨의 척추 axis가 형성되지 않기 때문에 만약 이 값을 획득하지 못하면 본 특허의 기술이 적용되지 않는다. 실시간으로 데이터를 획득하기 때문에 만약 획득하고 있는 카메라에 존재하는 사람이 정면을 바라보거나 각을 올바르게 유지하여 axis가 형성되는 경우 초기 데이터 획득을 할 수 있다. 3) 사람의 얼굴에서 손가락 또는 빨대를 물고 있을 경우 데이터 방향을 결정하는데 오류가 발생한다. 하지만 물고 있는 물체의 방향이 사람의 중심 포인트에서 크게 벗어나지 않을 경우 방향 값은 중심 포인트와 유사한 값을 가지게 될 것이고 만약 크게 벗어난다면 벡터의 45도 기준으로 오차가 발생할 수 있다. 위와 같은 오류는 초기 데이터를 획득해서 최적 방향으로 수렴하는 과정에서 시간이 발생할 수 있으나 수렴의 속도가 중앙값 대비 크게 차이가 발생하지 않는다.
사람의 눈은 많은 확률로 얼굴의 방향으로 대화를 한다. 세부적으로 눈의 추적이 쉽게 이루어지기 위해서는 저장된 포인트 클라우드의 집합의 해상도가 높아야 한다. 하지만 포인트 군집의 해상도는 전송하고자 하는 카메라의 성능에 의해 결정되거나 렌더링 방식에 의하여 오차가 발생한다. 따라서 사람의 일반적인 시선은 얼굴과 벡터 R에 의해서 결정된다. 또한 눈을 추적하는 방식은 눈의 상태를 추적하는것에 시작하며 오브젝트 추적방식과 동일하게 사람의 얼굴에서 좌측 눈과 우측 눈에 해당하는 부분의 사각 지역을 형성할 수 있다.
도39는 실시예들에 따른 마스크 샘플링을 나타낸다.
XR디바이스100c, 인코더/디코더를 포함하는 무선 통신 시스템(도2), 통신망과 연결된 포인트 클라우트 데이터 처리 시스템(도8 내지 도14), 포인트 클라우드 데이터 송수신 장치(도17, 도24-27) 등에 대응하는 실시예들에 따른 방법/장치는 도39와 같이, 눈을 추적할 수 있다.
도39를 참조하면, 사각화된 눈의 평면에서 3차원 샘플링 눈을 추적하기 위해서는 마스크 샘플링 필터가 사용된다. 하지만 마스크 샘플링 필터는 눈의 형태를 기초로 하는 데이터가 요구되기 때문에 2차원 평면 내에서 원형에 가까운 샘플을 획득한다. 획득방식은리스트 스퀘어( Least Square) 방식으로 수행할 수 있으며 그 방식은 도40과 같이 결정된다.
도40은 실시예들에 따른 샘플링 눈을 획득하는 방법을 나타낸다.
도40의 4000방법에서, a_l, b_l, a_r, b_r은 왼쪽 눈과 오른쪽 눈의 중심점을 나타내며 R은 눈의 검은자를 대신할 수 있는 fitting circle radius를 말한다. X_i와 y_i는 각각의 눈에 존재하는 포인트 알바벳 E안에 존재한 포인트를 나타낸다. 사람의 코 의 방향 벡터를 v_n, 양쪽 눈의 방향 방향 벡터를 v_l, v_r이라고 가정하는 경우 사람이 인식하는 방향에 대한 정보는 4001방법과 같이 최종적으로 계산된다.
이로 인하여, 실시예들에 따른 송신 장치 및 수신 장치는 다음과 같은 효과를 제공할 수 있다.
사람과의 대화에서 사람의 시선과 감정을 인식할 수 있는 실시간 시선처리 방법으로 기존 데이터의 정보를 활용하지 않고 포인트의 직관성을 이용하여 사람의 눈과 코의 방향을 결정한다.
기존 데이터베이스를 사용하지 않기 때문에 실시간으로 변화하는 사람의 모습이나 방향성의 변화에 대하여 강인하다. 사람의 방향을 쉽게 파악하여 렌더링 과정 또는 3차원 그래픽 mapping정보에 효율적으로 사용 가능하다.
단순화된 방법을 이용하기 때문에 데이터 처리 시간이 단축 될 수 있으며 저 지연 프로세스가 요구되는 실시간 대화형 XR 회의 시스템에 적합하게 사용될 수 있다.
캡쳐 화면의 부가 정보의 도움을 받지 않고 포인트 클라우드의 데이터 자체로 결정할 수 있기 때문에 포인트 클라우드의 종류나 캡쳐 디바이스 장치에 국한되어 작동되지 않는다.
제안 방식은 일반적인 지오메트리 기반 포인트 클라우드 (Geometry-based Point Cloud) 또는 비디오 기반 포인트 클라우드 (Video-based Point Cloud)압축 방식에 사용되는 지오메트리 정보와 쉽게 연동될 수 있다.
실시예들에 따른 방법/장치는5G 네트워크 망을 이용한 실시간 실감형 가상 대화에서 다수 카메라 포인트 시점 결합 방법을 포함하고 수행할 수 있다(Method of merging different point cloud view over 5G networks).
실시예들은 실시간 및 양방향으로 사용자의 얼굴을 3차원으로 획득하고 가상의 환경에서 대화를 할 수 있는 실감형 가상 대화 및 회의 시스템에서 5G망을 이용하였을 때 만약 3차원 데이터를 여러 곳에서 전달 받은 경우 그 데이터를 합성하는 방법에 대한 내용이다. 사용자간 대화를 구현하기 위해서 다수개의 사람을 인식할 수 있는 카메라 필드 그리고 물리적으로 사용자의 형태 또는 얼굴을 획득할 수 있는 포인트 카메라, 색상 카메라, 그리고 깊이를 표현할 수 있는 카메라를 사용한다. 사람을 인식할 수 있는 환경에서 사람 또는 사물의 오브젝트를 인식하고 분류하는 방식이 중요하게 여겨진다. 대부분 3차원 기술 방식은 라이다 (LiDAR)를 이용한 센서 인식 방식을 사용하고 있으며 실시간으로 획득되는 포인트 클라우드 (Point Cloud) 데이터를 동물, 사람, 자동차 등의 사물로 인식하는 방식을 사용하고 있다.
실시간 포인트 클라우드의 대화형 서비스를 달성하기 위해서는 서비스 망이 전제 되어야 한다. 5G망을 이용하는 서비스는 인터넷 또는 무선 망에 접속하여 양방향 사용자의 정보를 전달하고 초기 데이터를 획득한다. 획득된 데이터는 어떤 사용자인지, 사용자가 어떤 서비스를 원하는지 전반적인 정보를 획득하는 것을 모두 포함한다. 실시간 포인트 클라우드는 서비스를 획득하기 위해서 기존에 전달하고자 하는 망을 사용하여 서비스를 수행할 수 있다. 서비스를 계획하는 흐름에 따라 미디어 데이터로 전송을 할 수 있거나 또는 전화망을 이용하여 전달할 수 있다.
만약 포인트 데이터가 두개 이상의 카메라 또는 두 개 이상의 자원으로부터 할당 받게 된다면 입력된 데이터를 처리하는 구조는 한 개로 합성하여 사용자에게 전달해야 할 필요성이 요구된다. 포인트 클라우드의 결합 방식은 단순하게 포인트를 결합하는 방식이 될 수 있으나 실시간으로 사물을 인식하고 조금 더 고품질의 실감형 데이터를 전송하기 위해서는 단순한 결합 방식이 아닌 수정된 방법이 요구될 수 있다.
실시예들은 3GPP TS 26.114의 MTSI 의 VR (Virtual Reality) 및 TR26.928의 XR (Extended Reality) 포함하며 IMS기반의 Telepresence를 논의하는 3GPP TS26.223 표준을 포함한다. 해당 표준을 통해 이동형 또는 분리형 수신기는 가상 회의에 참석하여 실감형 회의에 참여할 수 있게 된다. 대화형 데이터가 미디어 포멧으로 전달될 수 있는 경우 본 특허는 5G Media Architecture 3GPP TS26.501, TS26.512, TS26.511을 포함한다. 부가적으로 서비스의 구체화를 위해 관련 표준은 TS26.238, TS26.939, TS24.229, TS26.295, TS26.929, TS26.247이 포함될 수 있다. 또한 데이터 처리 관련된 기술은 ISO/IEC JTC 1/SC 29/WG3 NBMP를 포함한다.
현재 가장 널리 사용되는 두 개의 포인트 셋을 결합하는 방식을 이터레이티브 근접 포인트(Iterative Closest Point) 방법을 사용한다. 만약 두 개의 데이터 셋이 존재하는 경우 디스턴스 에러(Distance Error)를 정의하여 이 값을 최소화하는 트랜스폼(Transform)을 찾아내는 방식이며 ICP방식은 소스와 모델 세트(Model Set) 두 가지를 사용하여 모델의 비교 지점을 형성한다. 하지만 이 방식은 사전에 정의되어 있는 모델이 존재해야 하며 모든 포인트는 반드시 사전에 정의된 모델 세트(Model Set)의 부분 또는 전체에 1:1 맵핑(Mapping)이 이루어 져야 하는 가정이 존재한다. 데이터는 모든 테스트 또는 레퍼런스(Reference) 값에 하나하나 연결되어 정의가 될 수 없기 때문에, 또는 일부가 오버랩(Overlap) 되는 형태 (예를 들어, 전체의 일부분은 하나의 카메라로 전체의 다른 남은 부분은 다른 카메라로 캡쳐하여 합치는 경우) 어떤 모델(Model)을 선택해야 하고 어떤 특징을 추출하여 연결해야 하는지 실제로 구현하는데 문제가 발생한다. 또한 색상의 값이 다르게 결정되는 경우 포인트의 위치를 결합하는 방식 이외에 색상 값을 표현하는 방식에서도 문제가 발생한다. 기존 일반적인 방법을 해결하기 위해 구 형태의 모델을 결정하여 구에 존재하는 데이터로 변환하는 방법이 존재하며 이런 방법 역시 제한된 차원을 사용하여 데이터를 변환하고 비교해야 한다는 점, 데이터 셋이 형성되어 있다고 하더라도 모델에 적합한 특징을 하나 하나 연결하는데 어려움이 존재한다.
실시예들은 위와 관련된 포인트의 결합되는 한계점 환경에서 실시간 대화가 요구되는 XR 대화형(Conversational) 서비스에 적합한 포인트 결합 방식에 대하여 제안한다. 제안된 방식은 실시간으로 포인트 데이터를 획득하고 획득된 데이터를 실시간으로 결합하는 방식을 이용하며 결합된 데이터는 5G네트워크를 통해 양방향 데이터를 주고받을 수 있게 된다.
실시예들은 부분 얼굴 목 지향 보정(partial face neck orient calib), 눈 코 방향(eye nose direction) 2가지의 기술에 확장되어 사용된다.
예를 들어, 실시간으로 다음과 같은 정보를 획득할 수 있다.
실시예들에 따른 방법/장치는 얼굴 목 방향(face_neck_orientation: 도28 내지 도33 참조) 관련하여, 1. 바운딩 박스 내에 존재하는 포인트의 인덱스 2. 포인트 깊이 정보 3. 머리와 어깨의 기준 축과 자동 회전 각도, 눈 코 방향 보정(eye_nose_direction_calibration: 도34 내지 도40 참조) 관련하여, 4. 사람의 인물의 방향 5. 사람의 눈의 방향 등의 정보를 획득할 수 있다.
다섯가지 파라미터는 실시간으로 대화형 가상 현실 포인트를 처리 하기 위해 포인트 캡쳐 카메라를 이용하여 획득할 수 있는 정보이다. 위 정보는 기존 방식과는 다르게 빠르게 데이터를 획득하고 사람의 구성요소를 빠르게 파악할 수 있는 방법으로 대화형 가상 환경에 적합하게 설계되어 있다.
만약 사용자의 실감형 상태를 다각도로 표현하기 위해 사용자의 3인칭의 한방향이 아니라 규모가 큰 회의장에서 다수개의 카메라로 다각도로 촬영하여 포인트 데이터를 획득할 수 있다. 이런 경우 두 개 이상의 포인트 생성 입력 셋이 발생할 수 있으며 특정 요구에 의해 1:1 전달이 아닌 포인트 셋의 결합 요구성이 존재한다.
실시예들에 따른 방법/장치는 기본적으로 정면 또는 후면에서 사용자의 얼굴을 중심으로 촬영하는 것을 가정한다. 만약 사용자의 얼굴이 아닌 변화량이 상당한 현상 (예를 들어, 한 개의 카메라는 사용자의 정면을 촬영하나 또 다른 카메라는 발바닥에서 사용자의 얼굴을 향한 방향, 사용자의 머리 꼭대기에서 촬영과 같이 초기 사용자의 얼굴을 인식하거나 서로 다른 카메라의 상이함이 큰 환경) 에 발생하는 데이터 결합 방식은 사용자의 데이터를 결합하는데 어려움이 존재한다. 상기 결합 방식에서는 포인트 클라우드의 빠른 데이터 처리 방식이 아닌 기존에 널리 사용하는 방법을 사용하게 되며 주어진 포인트 셋을 여러 모델로 참조하여 결합하거나 결합된 포인트의 위치를 반복적 수정에 의해 조절하는 방식을 채택하여 결합할 수 있다. 사람의 머리 끝에서 카메라로 촬영을 하였을 경우 정면에서 획득되는 포인트로는 사전의 정보 없이 같은 데이터 값임을 확인할 방법이 없으므로 그 값을 획득할 수 있는 메타 데이터 인덱스 값을 사전에 공유할 수 있어야 한다. 이러한 데이터가 존재하지 않는다면 카메라는 주변의 사물을 인식하여 데이터의 결합 방식을 분석하고 두 개의 포인트 데이터를 매칭하여 연결할 수 있다. 사람 중심부에 존재할 수 가능성 있는 참조 사물은 의자, 책상, 컴퓨터, 화분, 건축물의 창문 등이 될 수 있다. 사물에 대한 기존 데이터 정보를 활용하여 사물의 인식 과정을 수행한 후, 인식된 사물의 기준점을 중심으로 사람 머리의 포인트와 정면 포인트의 데이터를 동일하게 변형하여 합성/결합 할 수 있다.
사용자의 데이터 모델을 기반으로 결합을 하는 경우 데이터의 가우시안 이미지(Gaussian Image)를 형성하여 축적된 데이터의 특징을 기반으로 회전/변환 Transform을 전환하여 결합하지만 축적되는 데이터 History에 불균형과 축적되는 양이 노이즈(Noise), 간섭(Interference)에 의해 정보의 오차가 발생하는 단점이 있다. 본 방식은 [face neck orientation: 도28 내지 도33 참조]과 [eye nose direction calibration: 도34 내지 도40 참조], 즉, 다섯가지 파라미터에서 얻은 정보를 랜덤(Random) 형태의 포인트 데이터로 저장하는 것이 아닌 포인트 셋 내에서 얻어진 특징 데이터를 참조로 하여 결합하는 방식을 취한다.
사람의 인물로 구성되어 있는 씬(Scene) 환경에서 유사하거나 비슷한 포인트들은 획득되는 포인트의 특징이 유사한 값 (지오메트리(Geometry) 또는 어트리뷰트(Attribute))들을 갖게 된다. 따라서 다수개의 카메라에서 획득되는 포인트 셋에서 관찰하고자 하는 그룹은 포인트의 노멀(Normal) 값 또는 얼라인먼트 모양(Alignment Shape) (구형(Sphere) 또는 평면(Plane))을 형성하고 서로의 유사성이 발견되면 그 부분을 중점적으로 결합을 진행하게 된다. 각 포인트는 일반적으로 포인트 뿐 아니라 Normal값을 가지고 있으며 다음과 같은 방식으로 획득된다.
한 개의 포인트 p에서 특정 구형(Sphere) 또는 평면(Plane)에 가까운 반경(Radius) r 안에 존재하는 이웃 포인트 들의 셋을 구성할 수 있다. 일반적으로 포인트는 각각의 노멀(Normal) 값을 정보를 가지고 있으며 포인트 p의 노멀(Normal) 값이 존재하지 않는다면 이웃 노드 노멀(Normal) 값을 분석하여 노멀 벡터(Normal Vector)를 예측할 수 있으며 인접한 포인트 들로 구성된 2x2 Matrix A의 노멀 벡터(Normal Vector)가 도41과 같이 예측되어 계산된다.
도41은 실시예들에 따른 인접 포인트들에 대한 매트릭스의 노멀 벡터를 나타낸다.
XR디바이스100c, 인코더/디코더를 포함하는 무선 통신 시스템(도2), 통신망과 연결된 포인트 클라우트 데이터 처리 시스템(도8 내지 도14), 포인트 클라우드 데이터 송수신 장치(도17, 도24-27) 등에 대응하는 실시예들에 따른 방법/장치는 도41과 같이, 유사한 특성을 가진 포인트들을 결합하기 위한 매트릭의 노멀 벡터를 생성할 수 있다.
도41에서 V는 아이겐 벡터(Eigen Vector)를 나타내며 시그마(Sigma)는 아이겐 값(Eigen Value)을 나타낸다. 이웃 노드 안에서 생성되는 Vector V를 Normal 값으로 사용한다. 모든 노드의 Normal값과 방향이 결정된다면 포인트의 위치, Normal정보등의 기초적인 데이터를 기반으로 [face neck orientation: 도28 내지 도33 참조]과 [eye nose direction calibration: 도34 내지 도40 참조]의 과정을 거쳐 주요한 레퍼런스 피쳐(Reference Feature)를 형성한다. XR 대화형(Conversational )을 위해 사람을 중심적으로 특징(Feature)를 얻어낼 수 있다. 첫번째로 사용자의 어깨의 척추의 벡터결과값은 2차원 평면으로 참조 축으로 만들어지며 그 예시는 도42와 같다.
도42는 실시예들에 따른 사용자의 어깨와 축추에 관한 벡터로부터 평명 참조 축을 생성하는 예시를 나타낸다.
XR디바이스100c, 인코더/디코더를 포함하는 무선 통신 시스템(도2), 통신망과 연결된 포인트 클라우트 데이터 처리 시스템(도8 내지 도14), 포인트 클라우드 데이터 송수신 장치(도17, 도24-27) 등에 대응하는 실시예들에 따른 방법/장치는 도42와 같이, 대화에 참여하는 사람 오브젝트의 어깨와 척추에 관한 축을 노멀 정보, 실시예들에 따른 다섯가지 파라미터, 레퍼런스 특징에 기초하여 생성할 수 있다.
도42에서, 사람에 대한 축을 도시한 예시는 임의의 사용자에서 획득된 포인트 클라우드의 외각 정보를 기반으로 사람의 실루엣을 형상화한 것이며 형상화된 2차원 데이터를 기반으로 사람의 어깨와 머리의 축을 결정한 모습이다 [face neck orientation: 도28 내지 도33 참조1]. 도42의 2개의 축은 사람 축에서 형성된 두 개의 축을 마치 2차원 평면의 x, y축과 같은 basis 축을 형성한 것이며 v_s는 어깨 참조 벡터(shoulder reference vector)를 나타내며 w_h는 머리 척추 참조 벡터(head spine reference vector)를 나타낸다. 사람의 행동이나 기울기 형태에 따라서 두 basis 벡터의 각은 직각일 수 있거나 직각이 아닐 수 있다.
두 번째로 사람의 특징이 추출되는 과정에서 동시에 얻어지는 얼굴 포인트 소스(face point source)와 눈 포인트 소스(eye point source)의 값은 도43과 같이 결정된다[eye nose direction calibration: 도34 내지 도40 참조].
도43은 실시예들에 따른 얼굴 포인트 소스 및 눈 포인트 소스를 나타낸다.
XR디바이스100c, 인코더/디코더를 포함하는 무선 통신 시스템(도2), 통신망과 연결된 포인트 클라우트 데이터 처리 시스템(도8 내지 도14), 포인트 클라우드 데이터 송수신 장치(도17, 도24-27) 등에 대응하는 실시예들에 따른 방법/장치는 도43과 같이, 대화에 참여하는 사람 오브젝트의 눈, 코 등 얼굴에 관한 소스 포인트를 생성할 수 있다.
도43에서 (u_n, v_n)은 오브젝트 평면(object plane)과 레퍼런스 평면(reference plane)의 반사 거리에 따른 거리 상수를 계산하는 과정에서 얻어지는 사람의 코를 표현하는 (또는 예측되는) 최적 포인트 위치 값을 나타낸다. (a_l, b_l)과 (a_r, b_r)은 예측화된 사람의 왼쪽 눈과 오른쪽 눈의 중심점을 나타낸다. 2차원으로 표현하기 위해 각각의 포인트 위치를 n = (u_n, v_n), el = (a_l, b_l), er = (a_r, b_r)로 정의한다. 도43의 원은 사람의 눈, 코를 결정하는 소스일 수 있다.
도44는 실시예들에 따른 소스 포인트에 관한 벡터를 나타낸다.
도44는 도43에서 생성된 포인트에 관한 벡터를 획득하는 예시이다.
도44에서 w_h와 v_s의 교집합으로 생성된 중심점 (x, y)과 각 3개의 포인트의 벡터를 n_l, n_c, n_r로 정의하였다. n_c = (u_n-x, v_n-y), n_l = (a_l-x, b_l-y), n_r = (a_r-x, b_r-y)
방향 기반의 축의 구성은 두 가지의 장점을 가지고 있다. 하나는 회전이 용이하여 인물의 축을 기준으로 다양하게 결합을 용이하게 할 수 있다. 축은 기준점이기 때문에 세부적으로 움직이는 동작에 의한 오차를 줄일 수 있다. 만약 포인트 집합으로 기준으로 하는 기존 방식은 일부 포인트의 결합 또는 오류에 의한 오차를 모두 고려해야 한다. 총 3개의 기준 벡터와 2개의 주요 기준 축을 기준으로 머리와 어깨를 기준으로 3개씩 포인트 참조 특징 레퍼런스(Feature Reference)를 생성할 수 있다.
특징 레퍼런스(Feature Reference)는 2개의 주요 축을 기준으로 3가지의 벡터 방향의 조합으로 총 6개의 특징 빈(Feature Bin)을 형성하고 특징 빈(Feature Bin)은 형성되는 포인트의 반복 또는 중첩의 정도를 비교하여 두 개 이상의 포인트 셋을 결합하게 된다. 첫번째로 머리-청구 특징 포인트(Head-Spine Feature Point (HSP))는 도45와 같이 계산된다.
도45는 실시예들에 따른 머리 척추 특징 포인트를 나타낸다.
XR디바이스100c, 인코더/디코더를 포함하는 무선 통신 시스템(도2), 통신망과 연결된 포인트 클라우트 데이터 처리 시스템(도8 내지 도14), 포인트 클라우드 데이터 송수신 장치(도17, 도24-27) 등에 대응하는 실시예들에 따른 방법/장치는 도45의 4500과 같이, 도43-44의 방법에 기초하여, HSP(Head-Spine Feature Point)를 생성할 수 있다.
도45의 4500방법에서 '.'는 두 벡터의 내적(Inner Product)을 나타낸다. 동일한 수식으로 HSP는 회전각으로 계산 가능하며 그 값은 도45의 4501방법과 같이 계산된다.
두 번째로 어깨 특징 포인트(Shoulder Feature Point (SP))는 도45의 4502방법과 같이 계산된다.
4502방법에서 ''는 두 벡터의 내적(Inner Product)를 나타낸다. 동일한 수식으로 SP는 회전각으로 계산 가능하며 그 값은 4503방법과 같이 계산된다.
생성된 12개의 특징 값은 기존에 널리 알려진 방식으로 활용이 가능하다 1) Histogram 기반의 데이터 축적을 이용한 특징 맵을 형성하여 Step function으로 구성된 특징의 정보를 저장화하고 카테고리화 가능하다. 2) Sphere radius 값을 이용하여 포인트 내 인접 이웃간의 기준으로 Interval을 결정하는 등의 Parameter Restriction을 가할 수 있으며 Feature distribution 으로 수학적 변환이 쉽게 가능하다, 3) 모든 포인트의 평균과 분산값을 이용하여 평균에 기반한 통계값을 추출할 수 있고 Bias값을 이용하여 Unique한 특징을 찾아낼 수 있다. 4) 생성된 값은 Kullback-Leibler distance (divergence) 모델을 이용하여 기존에 존재하는 Histogram 또는 Reference 값과 비교하여 데이터 셋의 일관성이나 분석을 용이하게 할 수 있다.
실제 데이터를 측정하여6~12개의 Feature Reference를 형성하더라 하더라도 그 값은 정확하게 구분되는 것이 아니라 소수점 또는 정수 기반의 오차가 발생할 수 있다. 예를 들어, 기준 포인트 내 이웃 노드간은 유사성을 가지고 있지만 특정 포인트 p로부터의 각각의 거리는 유사하지만 모두 일치 하지 않는다. 따라서 Reference의 범위를 구분화 할 수 있는 임계값 또는 세부적인 범위를 정의할 수 있으며 이 값은 구현의 방식에 따라 달라질 수 있다.
두 개 이상의 카메라로 획득되는 데이터의 포인트 셋 p와 q사이에서 9개의 존재하는 Feature Reference를 통해 데이터를 검증하고 두 개의 특징이 유사한 경우 결합을 진행을 할 수 있다. 모든 결합 방식에서 모든 포인트의 분포 및 비교는 특징 셋 안에 구분 되어진 포인트들로 구성되어 진행되며 에러를 최소화하는 방식은 일반적으로 널리 알려진 Iterative Closest Point 방식으로 결합하며 그 변환 공식은 4504방법과 같다.
4504에서, n개의 모든 포인트 인덱스 i의 포인트 p_i는 R변환 값과 T의 이동값에 결합되는 새로운 q_i값을 최소화하는 에러 상수를 만족하는 결합 방식을 수행한다.
실시예들에 따른 방식은 같은 방식의 사물을 다수개의 카메라로 획득된다고 가정한다. 만약 사람이 두 사람이라고 가정하고 포인트를 결합하면 결합되는 포인트는 사람의 세부적인 특징 (사람의 구분 등)을 분리하여 결합할 수 없기 때문에 2명 이상의 사람이 결합되는 현상이 발생될 수 있다. 이와 같은 현상을 방지하기 위해서 기본 Feature가 아닌 널리 알려진 Feature (Shape, Sphere, Plane, Edge, Blank등)를 1개 이상 추가적으로 부가하여 에러를 최소화하는 방안을 사용할 수 있다. 또한 사람의 결합이 발생되지 않는 경우가 있다. 사람의 기초적인 특징 (Head-Spine Axis, Shoulder Axis)이 형성되지 않은 데이터는 노이즈 잡음 또는 간섭에 의해 그 값을 획득하기 어려울 수 있는 상황이 발생할 수 있으나 만약 기초 특징이 발견되지 않을 경우 Reference Model 또는 재 획득 방식을 이용하여 사람의 기초 축을 생성할 수 있다. Bounding Box에서 차지하는 포인트의 값이 2개 이상 획득되지 않은 경우 1) No Detected 와 같은 신호 Flag를 만들어서 데이터 오류 신호를 감지할 수 있다. Flag 신호가 감지되지 않는다면 축이 형성되어 특징 값들을 추출할 수 있다. 세번째로 사람의 특징상 기초 특징 값은 획득되었으나 코, 눈 값을 획득하지 못할 경우가 있다. 이와 같은 환경에서는 이미지의 Principal Point가 사람의 코가 아닌 사람의 얼굴과 같은 큰 포인트 집합으로 결정되고 눈의 세부 값들은 획득되지 못한 채 데이터가 전달될 수 있다. 이런 경우 메타 데이터 내에 사람으로 인식을 할 수 있거나 사람이 아닌 물건 또는 동물이라고 파악할 수 있는 Classification이 요구된다. XR Conversational은 실시간으로 사람의 정보를 획득하고 데이터를 처리해야 하기 때문에 요구되는 에러의 메타데이터도 최소환으로 요구되며 가능한 인지 정보는 도46과 같다.
도46은 실시예들에 따른 메타데이터를 나타낸다.
XR디바이스100c, 인코더/디코더를 포함하는 무선 통신 시스템(도2), 통신망과 연결된 포인트 클라우트 데이터 처리 시스템(도8 내지 도14), 포인트 클라우드 데이터 송수신 장치(도17, 도24-27) 등에 대응하는 실시예들에 따른 방법/장치는 도46과 같이, 메타데이터를 생성하여 전송할 수 있다. 결합 지시자 필드가 0이면, 필드는No Detected (Human), 즉, 사람을 감지 못함을 나타내고, 필드가 1이면, Coarse Detected (Human), 즉, 사람을 감지함을 나타내고, 필드가 2이면, Others, 즉 기타를 나타낸다.
도47은 실시예들에 따른 메타데이터를 나타낸다.
도46 관련 메타데이터는 도47과 같은 형태로 생성되고 전송될 수 있다.
이 이외에 전화망을 이용하여 어트리뷰트(Attribute)의 사전 정보를 생성하여 간단한 데이터를 주고받을 수 있다.
연결될 파라미터는 데이터화 레퍼런스 탬플릿(Reference Template)를 구성하여 전달되며 포인트 클라우드의 데이터의 형태에 따라 전달되는 구성 요소는 도48-50과 같은 데이터와 함께 전달될 수 있다.
도48은 실시예들에 따른 메타데이터를 나타낸다.
실시예들에 따른 메타데이터는 도48과 같은 미디어 파라미터4800, 특징 파라미터4801를 포함할 수 있고, 포인트 클라우드 데이터, 미디어 파라미터, 특징 파라미터를 포함하는 비트스트림을 인코더가 디코더로 전송할 수 있다.
미디어 파라미터4800는 다음 엘리먼트들을 포함할 수 있다.
코덱(Codec): 264/avc, h.265/hevc 등과 같은 코덱 타입을 나타내고, PNG, JPG와 같은 이미지 압축 타입을 나타낼 수 있다.
채도(Chroma): yuv420, yuv422, yuv444 등과 같은 채도 서브샘플링 타입을 나타낸다.
프레임수(Fps): 30초, 60초 등 초당 프레임 개수를 나타낸다.
해상도(Resolution): 3840x2160, 7680 x 4320 등과 같은 해상도를 나타낸다.
특징 파라미터4801은 다음 엘리먼트들을 포함할 수 있다.
특징 추출 방법(Feature extraction method): SIFT, SURF, KAZE, AKAZE, ORB, BRISK, BRIEF, LoG 등과 같은 특징 추출 방법을 나타낸다.
특징 포인트 개수(Feature point number): 특징 포인트의 개수를 나타낸다.
특징 포인트 위치(Feature point positions): X, Y 좌표에 의해 식별되는 특징 포인트 위치를 나타낸다.
특징 관련성(Feature correspondence): 각 특징 포인트에 대한 대응하는 포인트를 나타낸다.
도49는 실시예들에 따른 메타데이터를 나타낸다.
실시예들에 따른 메타데이터는 도49와 같은 카메라 파라미터를 포함할 수 있고, 포인트 클라우드 데이터 및 카메라 파라미터를 포함하는 비트스트림을 인코더가 디코더로 전송할 수 있다.
카메라 파라미터는 다음 엘리먼트들을 포함할 수 있다.
카메라 셔터 타입(Camera_shutter_type): 롤링 또는 글로벌을 나타낼 수 있다.
카메라 싱크 스큐(Camera_sync_skew): 동기화 되면 0이고, 아니면 -1을 싱크 아웃을 밀리세컨드 단위로 나타낸다.
캡쳐 세팅(Capturing_settings): 내부(indoor) 또는 외부(outdoor), 앰비언트 라이트(ambient light), 노출(exposure ) 등과 같은 장면 타입을 나타낸다.
카메라 외부 오브젝트(Camera_extrinsics): 3D 공간에서 이미지를 정렬하는 데 사용되는 카메라 변환 매개변수(전역에서 카메라로의 변환을 위한 변환 및 회전)를 나타낸다.
카메라 내부 오브젝트(Camera_intrinsics): 3D 공간에서 이미지를 정렬하는 데 사용되는 카메라 고유 매개변수(초점 거리, 주점 및 왜곡 계수)를 나타낸다.
도50은 실시예들에 따른 메타데이터를 나타낸다.
실시예들에 따른 메타데이터는 도50과 같은 스티칭 파라미터를 포함할 수 있고, 포인트 클라우드 데이터 및 스티칭 파라미터를 포함하는 비트스트림을 인코더가 디코더로 전송할 수 있다.
심 포지션(Seam_positions ): 최종 스티칭 품질에 영향을 미치는 보간 영역을 나타낸다. 영역 구조는 일련의 픽셀 점(시작점, 교차점, 끝점)으로 나타낼 수 있다.
심 마스크(Seam_mask): 선택적으로, 보간된 영역 위치는 보다 정교한 스티칭 프로세스를 위해 1 또는 0 값만 갖는 마스크 이미지로 나타낼 수 있다. 마스크 이미지는 URL 또는 URI로도 배치할 수 있다.
스티칭 방법(Stitching_method): 부분 또는 전체 스티칭 접근 방식에 대해 특정 스티칭 알고리즘을 나타낼 수 있다.
심 자유도 확장(Seam_extent_of_freedom): 심영역을 이동할 수 있는 자유도, 예를 들어, 수평과 같은 자유도를 나타낼 수 있다.
컨버전스 선택(Convergence_selection): 컨버전스(수렴) 선정 기준을 나타낸다. ROI 관련 포함/제외/가중 기준을 처리하는 결정의 의미 수준을 나타낼 수 있다.
카메라 가중치(Camera_weighting): 스티칭(재봉) 과정에서 가중치를 나타낸다. 가중치 값이 높을수록 카메라가 더 중요하다. 또는 카메라 어레이의 정렬 번호일 수 있다. 이 값은 예를 들어 사용자의 보기 기본 설정에 따라 동적일 수 있다.
이로 인하여, 실시예들에 따른 송신 장치 및 수신 장치는 다음과 같은 효과를 제공할 수 있다.
두 개 이상의 카메라로 획득되는 인물의 포인트 클라우드의 데이터를 효율적으로 결합할 수 있다.
결합되는 두 데이터의 초기 정보를 생성하여 사전에 포인트 클라우드의 데이터 모양 또는 타입을 비교하는 과정 없이 실시간으로 특징을 추출한다.
추출된 특징은 포인트의 축으로 구성되어 결합 알고리즘을 효율적으로 이용할 수 있으며 수렴 속도로를 감소시킨다.
사전 카메라 정보, 카메라의 샘플링, 카메라의 파라미터, 미디어의 메타데이터를 요구하지 않으며 독립적으로 데이터를 간주하여 실시간 빠른 정보를 주고 받을 때 용이하게 사용 가능하다.
도51은 실시예들에 따른 포인트 클라우드 데이터 송신 방법을 나타낸다.
S5100, 실시예들에 따른 포인트 클라우드 데이터 송신 방법은 포인트 클라우드 데이터를 인코딩하는 단계를 포함할 수 있다.
실시예들에 따른 인코딩 동작은, 도1 XR디바이스100c, 도2 단말, 도8 획득/인코딩, 도9-14 인코더, 도17 비디오/오디오 인코더1700, 도24 인코더, 도26 송신 장치, 도28-45 에 따른 포인트 클라우드 데이터의 인코딩 등에 대응하거나 포함할 수 있다.
S5101, 실시예들에 따른 포인트 클라우드 데이터 송신 방법은 포인트 클라우드 데이터를 포함하는 비트스트림을 전송하는 단계를 더 포함할 수 있다.
실시예들에 따른 전송 동작은, 도8 전송, 도9, 11 전송, 도13 전송, 도17 송수신, 도24, 26 비트스트림 송신, 도46-50 메타데이터를 포함하는 비트스트림의 전송 등에 대응하거나 포함할 수 있다.
도52는 실시예들에 따른 포인트 클라우드 데이터 수신 방법을 나타낸다.
S5200, 실시예들에 따른 포인트 클라우드 데이터 수신 방법은 포인트 클라우드 데이터를 포함하는 비트스트림을 수신하는 단계를 포함할 수 있다.
실시예들에 따른 수신 동작은, 도8 수신 , 도10, 12 수신 , 도14 수신 , 도17 송수신, 도25, 27 비트스트림 수신, 도46-50 메타데이터를 포함하는 비트스트림의 수신 등에 대응하거나 포함할 수 있다.
S5201, 실시예들에 따른 포인트 클라우드 데이터 수신 방법은 포인트 클라우드 데이터를 디코딩하는 단계를 더 포함할 수 있다.
실시예들에 따른 디코딩 동작은, 도1 XR디바이스100c, 도2 단말, 도8 디코딩, 도9-14 디코더, 도17 비디오/오디오 인코더1700, 도25디코더, 도27 수신 장치, 도28-45 에 따른 포인트 클라우드 데이터의 디코딩, 도46-50 메타데이터 기반 디코딩 등에 대응하거나 포함할 수 있다.
도51을 참조하면, 실시예들에 따른 송신 방법은 포인트 클라우드 데이터를 인코딩하는 단계; 및 포인트 클라우드 데이터를 포함하는 비트스트림을 전송하는 단계; 를 포함할 수 있다.
도28-30를 참조하면, 2차원 이미지 필터링/윤곽선 생성과 관련하여, 포인트 클라우드 데이터를 인코딩하는 단계는, 포인트 클라우드 데이터를 필터링하는 단계를 포함하고, 필터링하는 단계는, 포인트 클라우드 데이터의 포인트에 관한 2차원 이미지를 포인트의 어트리뷰트 데이터의 깊이 및 포인트의 위치 정보에 기초하여 생성하는 단계, 2차원 이미지에 대한 벡터에 기초하여, 포인트를 제외하는 단계, 포인트 클라우드 데이터의 오브젝트의 형태에 관한 정보를 생성하는 단계를 포함할 수 있다.
포인트 클라우드 데이터의 오브젝트가 회의에 참석하는 사람/인간일 수 있다. 오브젝트가 얼굴과 목을 포함하는 상체 영역을 포함하므로, 3차원으로 인식되는 오브젝트를 2차원 이미지를 이용해서 효율적으로 처리할 수 있다. 실시예들에 따른 필터링은 포인트들을 2차원 이미지 상에서 필터링하여, 오브젝트의 윤곽에 관한 정보와 주요한 포인트들이 밀집한 영역을 감지할 수 있다. 포인트들을 포함하는 영역에 대응하는 바운딩 박스를 생성하고, 복수의 바운딩 박스들로 2차원 이미지의 영역들을 분할할 수 있다. 분할된 영역들에 기초하여, 머리 척추 축, 머리 척추 각도, 어깨 축, 어깨 각도 등에 관한 정보를 획득할 수 있다.
도31-32를 참조하면, 박스 분할 및 밀집 포인트 영역 표시 및 어깨/척추 축 생성과 관련하여, 포인트 클라우드 데이터를 인코딩하는 단계는, 오브젝트의 형태에 관한 정보 및 2차원 이미지에 기초하여, 포인트 클라우드 데이터를 위한 박스를 사용하여 2차원 이미지를 분할하고, 2차원 이미지에 포함된 포인트의 분포에 기초하여, 포인트가 밀집한 영역을 표현하고, 오브젝트의 센터 포인트 및 두 가지 축들을 획득할 수 있다.
두 가지 축들은 머리 척추 축, 어깨 축을 의미할 수 있다. 머리 척추 축 및 어깨 축이 사람의 형상에 주요한 정보로 사용될 수 있다. 두 가지 축들을 통해 사람의 행동을 인식할 수 있다. 두 가지 축들은 제1 축, 제2축 등으로 지칭될 수 있다. 축들을 획득하기 위해서, 포인트들에 대한 벡터에 기초하여, 벡터의 각도를 생성할 수 있다(도33 참조). 벡터에 기초하여, 포인트의 좌표에 관한 매트릭스를 생성하고, 매트릭스에 기초하여, 축에 관한 각도 값 등을 생성할 수 있다(도33 참조).
도34-38를 참조하면, 반사 거리 d 생성과 관련하여, 포인트 클라우드 데이터를 인코딩하는 단계는, 두 가지 축들 중 제1축에 기초하여, 포인트가 존재하는 바운딩 박스의 뎁스 정보를 필터링하고, 바운딩 박스에 대한 평면에 관한 반사 거리에 대한 상수를 좌표축의 초점거리에 기초하여 생성할 수 있다.
오브젝트 사람의 시선에 관한 정보를 생성하기 위해서, 사람의 방향과 시선 눈에 관한 데이터를 매트릭스를 통해서 획득할 수 있다(도34 참조).
주점이 되는 포인트는 이미지 평면 상에 존재할 수 있고, 이미지 평면은 초점거리 및 좌표 축 상에 존재할 수 있다. 이미지 포인트 및 카메라 포인트는 같은 선 상에 위치할 수 있고, 주점 또는 이미지 센터에 관한 두 가지 벡터 정보를 이용할 수 있다(도35 참조).
어깨 축 및 머리/척추 축에서 머리/척추 축이 사람의 시선에 더 영향을 미칠 수 있다. 따라서, 머리/척추 축에 관한 바운딩 박스 또는 박스 영역 상에서 오브젝트 평명 및 레퍼런스 평면에 관한 거리를 추정할 수 있다(도36-38 참조). 또한, 사람의 시선 방향에 대한 에러를 보정할 수 있다.
도40를 참조하면, 사람 시선 인식과 관련하여, 포인트 클라우드 데이터를 인코딩하는 단계는, 오브젝트에 관한 왼쪽 눈 및 오른쪽 눈의 중심점에 관한 시선 정보를 생성하고, 오브젝트의 코의 방향 벡터 및 왼쪽 눈 및 오른쪽 눈의 방향 벡터에 기초하여, 오브젝트의 시선 방향을 생성할 수 있다.
사람 및 사람의 눈은 3차원 상에 존재하므로, 이를 추적하기 위해서, 샘플링 필터를 이용할 수 있다(도39 참조). 양쪽 눈 및 눈동자에 관한 벡터 값을 생성하고, 벡터에 기초하여 오브젝트가 인식하는 방향 정보를 획득할 수 있다.
도41-44를 참조하면, 어깨/머리 참조 벡터와 관련하여, 포인트 클라우드 데이터를 인코딩하는 단계는, 두 가지 축들에 기초하여, 오브젝트에 관한 레퍼런스 벡터들을 생성하고, 레퍼런스 벡터들에 기초하여, 오브젝트에 관한 포인트 소스들을 생성하고, 포인트 소스들에 기초하여, 세 가지의 포인트들에 대한 벡터들을 생성할 수 있다.
사람의 머리 척추 축 및 어깨 축을 주요 축으로 이용하여, 축 상 또는 축 근처에 존재하는 주요 포인트들을 추정할 수 있다. 주요 포인트들은 사람의 시선과 관련이 있는 왼쪽 눈, 오른쪽 눈, 코 등이 될 수 있다. 주요 포인트들에 대한 벡터 정보에 기초하여, 사람의 시선에 관한 특징점을 추출할 수 있다.
도41-45를 참조하면, 특징 레퍼런스( Feature Reference) 생성과 관련하여, 포인트 클라우드 데이터를 인코딩하는 단계는, 세 가지의 포인트들에 대한 벡터들 및 레퍼런스 벡터들에 기초하여, 포인트 참조 특징 레러펀스를 생성하고, 포인트 참조 특징 레퍼런스는, 머리 척추 특징 포인트 및 어깨 특징 포인트를 포함할 수 있다.
도46를 참조하면, 결합 인디케이터(Combination Indicator) 관련하여, 비트스트림은 오브텍트의 감지에 관한 에러를 나타내는 시그널링 정보를 포함하고, 비트스트림은 미디어 파라미터, 특징 파라미터, 카메라 파라미터, 스티칭 파라미터를 더 포함할 수 있다.
예를 들어, 5G망을 이용하였을 때 만약 3차원 데이터를 여러 곳에서 전달 받은 경우 그 데이터를 합성할 수 있다. 사용자간 대화를 구현하기 위해서 다수개의 사람을 인식할 수 있는 카메라 필드 그리고 물리적으로 사용자의 형태 또는 얼굴을 획득할 수 있는 포인트 카메라, 색상 카메라, 그리고 깊이를 표현할 수 있는 카메라를 사용할 수 있다. 사람을 인식할 수 있는 환경에서 사람 또는 사물의 오브젝트를 인식하고 분류할 수 있다. 실시간으로 획득되는 포인트 클라우드 (Point Cloud) 데이터를 동물, 사람, 자동차 등의 사물로 인식할 수 있다.
또한, 포인트 데이터가 두개 이상의 카메라 또는 두 개 이상의 자원으로부터 할당 받게 된다면 입력된 데이터를 처리하는 구조는 한 개로 합성할 수 있다. 포인트 클라우드의 결합 방식은 단순하게 포인트를 결합하는 방식에서 더 나아가, 실시간으로 사물을 인식하고 조금 더 고품질의 실감형 데이터를 전송할 수 있다. 따라서, 특징점 및 부가적 특징 정보를 통해, 사람을 인식하고, 분류하고, 다수의 사람들에 관한 포인트 클라우드 데이터를 합성하여 네트워크 기반 통신을 수행할 수 있다.
실시예들에 따른 포인트 클라우드 데이터 송신 방법은 송신 장치에 의해 수행되고, 실시예들에 따른 송신 장치는, 포인트 클라우드 데이터를 인코딩하는 인코더; 및 포인트 클라우드 데이터를 포함하는 비트스트림을 전송하는 트랜스미터; 를 포함할 수 있다.
송신 방법에 대응하는 수신 방법은, 송신 방법에 대응하는 방법 및/또는 역과정을 포함할 수 있다. 도52를 참조하면, 실시예들에 따른 수신 방법은, 포인트 클라우드 데이터를 포함하는 비트스트림을 수신하는 단계; 및 포인트 클라우드 데이터를 디코딩하는 단계; 를 포함할 수 있다.
포인트 클라우드 데이터를 디코딩하는 단계는, 포인트 클라우드 데이터를 필터링하는 단계를 포함하고, 필터링하는 단계는, 포인트 클라우드 데이터의 포인트에 관한 2차원 이미지를 포인트의 어트리뷰트 데이터의 깊이 및 포인트의 위치 정보에 기초하여 생성하는 단계, 2차원 이미지에 대한 벡터에 기초하여, 포인트를 제외하는 단계, 포인트 클라우드 데이터의 오브젝트의 형태에 관한 정보를 생성하는 단계를 포함하라 수 있다.
포인트 클라우드 데이터를 디코딩하는 단계는, 오브젝트의 형태에 관한 정보 및 2차원 이미지에 기초하여, 포인트 클라우드 데이터를 위한 박스를 사용하여 2차원 이미지를 분할하고, 2차원 이미지에 포함된 포인트의 분포에 기초하여, 포인트가 밀집한 영역을 표현하고, 오브젝트의 센터 포인트 및 두 가지 축들을 획득할 수 있다.
실시예들에 따른 포인트 클라우드 데이터 수신 방법은 수신 장치에 의해 수행되고, 수신 장치는 포인트 클라우드 데이터를 포함하는 비트스트림을 수신하는 수신부; 및 포인트 클라우드 데이터를 디코딩하는 디코더; 를 포함할 수 있다.
포인트 클라우드 데이터를 디코딩하는 디코더는, 포인트 클라우드 데이터를 필터링하는 동작을 수행하고, 필터링하는 동작은, 포인트 클라우드 데이터의 포인트에 관한 2차원 이미지를 포인트의 어트리뷰트 데이터의 깊이 및 포인트의 위치 정보에 기초하여 생성하는 단계, 2차원 이미지에 대한 벡터에 기초하여, 포인트를 제외하는 단계, 포인트 클라우드 데이터의 오브젝트의 형태에 관한 정보를 생성하는 단계를 포함할 수 있다.
포인트 클라우드 데이터를 디코딩하는 디코더는, 오브젝트의 형태에 관한 정보 및 2차원 이미지에 기초하여, 상기 포인트 클라우드 데이터를 위한 박스를 사용하여 2차원 이미지를 분할하고, 2차원 이미지에 포함된 포인트의 분포에 기초하여, 포인트가 밀집한 영역을 표현하고, 오브젝트의 센터 포인트 및 두 가지 축들을 획득할 수 있다.
이로 인하여, 실시예들은 가상/화상 회의 시 인물의 시선 방향을 빠르게 파악할 수 있고, 빠른 시선 방향 획득을 통해서, 실시간 사람의 시선이 반영된 렌더링이 가능한 효과가 있다.
실시예들은 방법 및/또는 장치 관점에서 설명되었으며, 방법의 설명 및 장치의 설명은 상호 보완하여 적용될 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 통상의 기술자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 실시예들의 권리범위에 속한다. 실시예들에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. 실시예들의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 실시예들은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 실시예들의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 실시예들의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
실시예들의 장치의 다양한 구성요소들은 하드웨어, 소프트웨어, 펌웨어 또는 그것들의 조합에 의해 수행될 수 있다. 실시예들의 다양한 구성요소들은 하나의 칩, 예를 들면 하나의 하드웨어 서킷으로 구현될 수 있다 실시예들에 따라, 실시예들에 따른 구성요소들은 각각 별도의 칩들로 구현될 수 있다. 실시예들에 따라, 실시예들에 따른 장치의 구성요소들 중 적어도 하나 이상은 하나 또는 그 이상의 프로그램들을 실행 할 수 있는 하나 또는 그 이상의 프로세서들로 구성될 수 있으며, 하나 또는 그 이상의 프로그램들은 실시예들에 따른 동작/방법들 중 어느 하나 또는 그 이상의 동작/방법들을 수행시키거나, 수행시키기 위한 인스트럭션들을 포함할 수 있다. 실시예들에 따른 장치의 방법/동작들을 수행하기 위한 실행 가능한 인스트럭션들은 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적이지 않은 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있거나, 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적인 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있다. 또한 실시예들에 따른 메모리는 휘발성 메모리(예를 들면 RAM 등)뿐 만 아니라 비휘발성 메모리, 플래쉬 메모리, PROM등을 전부 포함하는 개념으로 사용될 수 있다. 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함될 수 있다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이 문서에서 “/”와 “,”는 “및/또는”으로 해석된다. 예를 들어, “A/B”는 “A 및/또는 B”로 해석되고, “A, B”는 “A 및/또는 B”로 해석된다. 추가적으로, “A/B/C”는 “A, B 및/또는 C 중 적어도 하나”를 의미한다. 또한, “A, B, C”도 “A, B 및/또는 C 중 적어도 하나”를 의미한다. 추가적으로, 이 문서에서 “또는”는 “및/또는”으로 해석된다. 예를 들어, “A 또는 B”은, 1) “A” 만을 의미하고, 2) “B” 만을 의미하거나, 3) “A 및 B”를 의미할 수 있다. 달리 표현하면, 본 문서의 “또는”은 “추가적으로 또는 대체적으로(additionally or alternatively)”를 의미할 수 있다.
제1, 제2 등과 같은 용어는 실시예들의 다양한 구성요소들을 설명하기 위해 사용될 수 있다. 하지만 실시예들에 따른 다양한 구성요소들은 위 용어들에 의해 해석이 제한되어서는 안된다. 이러한 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위해 사욛외는 것에 불과하다. 것에 불과하다. 예를 들어, 제1 사용자 인풋 시그널은 제2사용자 인풋 시그널로 지칭될 수 있다. 이와 유사하게, 제2사용자 인풋 시그널은 제1사용자 인풋시그널로 지칭될 수 있다. 이러한 용어의 사용은 다양한 실시예들의 범위 내에서 벗어나지 않는 것으로 해석되어야만 한다. 제1사용자 인풋 시그널 및 제2사용자 인풋 시그널은 모두 사용자 인풋 시그널들이지만, 문맥 상 명확하게 나타내지 않는 한 동일한 사용자 인풋 시그널들을 의미하지 않는다.
실시예들을 설명하기 위해 사용된 용어는 특정 실시예들을 설명하기 위한 목적으로 사용되고, 실시예들을 제한하기 위해서 의도되지 않는다. 실시예들의 설명 및 청구항에서 사용된 바와 같이, 문맥 상 명확하게 지칭하지 않는 한 단수는 복수를 포함하는 것으로 의도된다. 및/또는 표현은 용어 간의 모든 가능한 결합을 포함하는 의미로 사용된다. 포함한다 표현은 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들이 존재하는 것을 설명하고, 추가적인 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들을 포함하지 않는 것을 의미하지 않는다. 실시예들을 설명하기 위해 사용되는, ~인 경우, ~때 등의 조건 표현은 선택적인 경우로만 제한 해석되지 않는다. 특정 조건을 만족하는 때, 특정 조건에 대응하여 관련 동작을 수행하거나, 관련 정의가 해석되도록 의도되었다.
또한, 본 문서에서 설명하는 실시예들에 따른 동작은 실시예들에 따라서 메모리 및/또는 프로세서를 포함하는 송수신 장치에 의해 수행될 수 있다. 메모리는 실시예들에 따른 동작을 처리/제어하기 위한 프로그램들을 저장할 수 있고, 프로세서는 본 문서에서 설명한 다양한 동작을 제어할 수 있다. 프로세서는 컨트롤러 등으로 지칭가능하다. 실시예들에 동작들은 펌웨어, 소프트웨어, 및/또는 그것들의 조합에 의해 수행될 수 있고, 펌웨어, 소프트웨어, 및/또는 그것들의 조합은 프로세서에 저장되거나 메모리에 저장될 수 있다.
한편, 상술한 실시예들에 따른 동작은 실시예들 따른 송신 장치 및/또는 수신 장치에 의해서 수행될 수 있다. 송수신 장치는 미디어 데이터를 송수신하는 송수신부, 실시예들에 따른 프로세스에 대한 인스트럭션(프로그램 코드, 알고리즘, flowchart 및/또는 데이터)을 저장하는 메모리, 송/수신 장치의 동작들을 제어하는 프로세서를 포함할 수 있다.
프로세서는 컨트롤러 등으로 지칭될 수 있고, 예를 들어, 하드웨어, 소프트웨어, 및/또는 그것들의 조합에 대응할 수 있다. 상술한 실시예들에 따른 동작은 프로세서에 의해 수행될 수 있다. 또한, 프로세서는 상술한 실시예들의 동작을 위한 인코더/디코더 등으로 구현될 수 있다.
상술한 바와 같이, 실시예들을 실시하기 위한 최선의 형태에서 관련 내용을 설명하였다.
상술한 바와 같이, 실시예들은 포인트 클라우드 데이터 송수신 장치 및 시스템에 전체적 또는 부분적으로 적용될 수 있다.
당업자는 실시예들의 범위 내에서 실시예들을 다양하게 변경 또는 변형할 수 있다.
실시예들은 변경/변형들을 포함할 수 있고, 변경/변형은 청구항들 및 그 와 동일한 것들의 범위를 벗어나지 않는다.

Claims (15)

  1. 포인트 클라우드 데이터를 인코딩하는 단계; 및
    상기 포인트 클라우드 데이터를 포함하는 비트스트림을 전송하는 단계; 를 포함하는,
    포인트 클라우드 데이터 송신 방법.
  2. 제1항에 있어서,
    상기 포인트 클라우드 데이터를 인코딩하는 단계는,
    상기 포인트 클라우드 데이터를 필터링하는 단계를 포함하고,
    상기 필터링하는 단계는,
    상기 포인트 클라우드 데이터의 포인트에 관한 2차원 이미지를 상기 포인트의 어트리뷰트 데이터의 깊이 및 상기 포인트의 위치 정보에 기초하여 생성하는 단계,
    상기 2차원 이미지에 대한 벡터에 기초하여, 포인트를 제외하는 단계,
    상기 포인트 클라우드 데이터의 오브젝트의 형태에 관한 정보를 생성하는 단계를 포함하는,
    포인트 클라우드 데이터 송신 방법.
  3. 제2항에 있어서,
    상기 포인트 클라우드 데이터를 인코딩하는 단계는,
    상기 오브젝트의 형태에 관한 정보 및 상기 2차원 이미지에 기초하여, 상기 포인트 클라우드 데이터를 위한 박스를 사용하여 상기 2차원 이미지를 분할하고,
    상기 2차원 이미지에 포함된 포인트의 분포에 기초하여, 포인트가 밀집한 영역을 표현하고,
    상기 오브젝트의 센터 포인트 및 두 가지 축들을 획득하는,
    포인트 클라우드 데이터 송신 방법.
  4. 제3항에 있어서,
    상기 포인트 클라우드 데이터를 인코딩하는 단계는,
    상기 두 가지 축들 중 제1축에 기초하여, 포인트가 존재하는 바운딩 박스의 뎁스 정보를 필터링하고,
    상기 바운딩 박스에 대한 평면에 관한 반사 거리에 대한 상수를 좌표축의 초점거리에 기초하여 생성하는,
    포인트 클라우드 데이터 송신 방법.
  5. 제4항에 있어서,
    상기 포인트 클라우드 데이터를 인코딩하는 단계는,
    상기 오브젝트에 관한 왼쪽 눈 및 오른쪽 눈의 중심점에 관한 시선 정보를 생성하고,
    상기 오브젝트의 코의 방향 벡터 및 상기 왼쪽 눈 및 상기 오른쪽 눈의 방향 벡터에 기초하여, 상기 오브젝트의 시선 방향을 생성하는,
    포인트 클라우드 데이터 송신 방법.
  6. 제3항에 있어서,
    상기 포인트 클라우드 데이터를 인코딩하는 단계는,
    상기 두 가지 축들에 기초하여, 상기 오브젝트에 관한 레퍼런스 벡터들을 생성하고,
    상기 레퍼런스 벡터들에 기초하여, 상기 오브젝트에 관한 포인트 소스들을 생성하고,
    상기 포인트 소스들에 기초하여, 세 가지의 포인트들에 대한 벡터들을 생성하는,
    포인트 클라우드 데이터 송신 방법.
  7. 제6항에 있어서,
    상기 포인트 클라우드 데이터를 인코딩하는 단계는,
    상기 세 가지의 포인트들에 대한 벡터들 및 상기 레퍼런스 벡터들에 기초하여, 포인트 참조 특징 레러펀스를 생성하고,
    상기 포인트 참조 특징 레퍼런스는, 머리 척추 특징 포인트 및 어깨 특징 포인트를 포함하는,
    포인트 클라우드 데이터 송신 방법.
  8. 제7항에 있어서,
    상기 비트스트림은 상기 오브텍트의 감지에 관한 에러를 나타내는 시그널링 정보를 포함하고,
    상기 비트스트림은 미디어 파라미터, 특징 파라미터, 카메라 파라미터, 스티칭 파라미터를 더 포함하는,
    포인트 클라우드 데이터 송신 방법.
  9. 포인트 클라우드 데이터를 인코딩하는 인코더; 및
    상기 포인트 클라우드 데이터를 포함하는 비트스트림을 전송하는 트랜스미터; 를 포함하는,
    포인트 클라우드 데이터 송신 장치.
  10. 포인트 클라우드 데이터를 포함하는 비트스트림을 수신하는 단계; 및
    상기 포인트 클라우드 데이터를 디코딩하는 단계; 를 포함하는,
    포인트 클라우드 데이터 수신 방법.
  11. 제10항에 있어서,
    상기 포인트 클라우드 데이터를 디코딩하는 단계는,
    상기 포인트 클라우드 데이터를 필터링하는 단계를 포함하고,
    상기 필터링하는 단계는,
    상기 포인트 클라우드 데이터의 포인트에 관한 2차원 이미지를 상기 포인트의 어트리뷰트 데이터의 깊이 및 상기 포인트의 위치 정보에 기초하여 생성하는 단계,
    상기 2차원 이미지에 대한 벡터에 기초하여, 포인트를 제외하는 단계,
    상기 포인트 클라우드 데이터의 오브젝트의 형태에 관한 정보를 생성하는 단계를 포함하는,
    포인트 클라우드 데이터 수신 방법.
  12. 제11항에 있어서,
    상기 포인트 클라우드 데이터를 디코딩하는 단계는,
    상기 오브젝트의 형태에 관한 정보 및 상기 2차원 이미지에 기초하여, 상기 포인트 클라우드 데이터를 위한 박스를 사용하여 상기 2차원 이미지를 분할하고,
    상기 2차원 이미지에 포함된 포인트의 분포에 기초하여, 포인트가 밀집한 영역을 표현하고,
    상기 오브젝트의 센터 포인트 및 두 가지 축들을 획득하는,
    포인트 클라우드 데이터 수신 방법.
  13. 포인트 클라우드 데이터를 포함하는 비트스트림을 수신하는 수신부; 및
    상기 포인트 클라우드 데이터를 디코딩하는 디코더; 를 포함하는,
    포인트 클라우드 데이터 수신 장치.
  14. 제13항에 있어서,
    상기 포인트 클라우드 데이터를 디코딩하는 디코더는,
    상기 포인트 클라우드 데이터를 필터링하는 동작을 수행하고,
    상기 필터링하는 동작은,
    상기 포인트 클라우드 데이터의 포인트에 관한 2차원 이미지를 상기 포인트의 어트리뷰트 데이터의 깊이 및 상기 포인트의 위치 정보에 기초하여 생성하는 단계,
    상기 2차원 이미지에 대한 벡터에 기초하여, 포인트를 제외하는 단계,
    상기 포인트 클라우드 데이터의 오브젝트의 형태에 관한 정보를 생성하는 단계를 포함하는,
    포인트 클라우드 데이터 수신 장치.
  15. 제14항에 있어서,
    상기 포인트 클라우드 데이터를 디코딩하는 디코더는,
    상기 오브젝트의 형태에 관한 정보 및 상기 2차원 이미지에 기초하여, 상기 포인트 클라우드 데이터를 위한 박스를 사용하여 상기 2차원 이미지를 분할하고,
    상기 2차원 이미지에 포함된 포인트의 분포에 기초하여, 포인트가 밀집한 영역을 표현하고,
    상기 오브젝트의 센터 포인트 및 두 가지 축들을 획득하는,
    포인트 클라우드 데이터 수신 장치.
PCT/KR2022/010606 2021-07-20 2022-07-20 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 Ceased WO2023003349A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/290,676 US20250086842A1 (en) 2021-07-20 2022-07-20 Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
EP22846219.8A EP4375947A4 (en) 2021-07-20 2022-07-20 POINT CLOUD DATA TRANSMISSION DEVICE, POINT CLOUD DATA TRANSMISSION METHOD, POINT CLOUD DATA RECEIVING DEVICE, AND POINT CLOUD DATA RECEIVING METHOD
CN202280057293.XA CN117836815A (zh) 2021-07-20 2022-07-20 点云数据发送设备、点云数据发送方法、点云数据接收设备以及点云数据接收方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20210094548 2021-07-20
KR10-2021-0094544 2021-07-20
KR20210094544 2021-07-20
KR10-2021-0094548 2021-07-20
KR20210139835 2021-10-20
KR10-2021-0139835 2021-10-20

Publications (1)

Publication Number Publication Date
WO2023003349A1 true WO2023003349A1 (ko) 2023-01-26

Family

ID=84979304

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/010606 Ceased WO2023003349A1 (ko) 2021-07-20 2022-07-20 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Country Status (3)

Country Link
US (1) US20250086842A1 (ko)
EP (1) EP4375947A4 (ko)
WO (1) WO2023003349A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250095212A1 (en) * 2023-09-15 2025-03-20 Electronics And Telecommunications Research Institute Method for transmitting and obtaining dynamic 3-dimensional avatar data and apparatus for the same

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240117101A (ko) * 2022-01-13 2024-07-31 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11900525B2 (en) * 2022-02-14 2024-02-13 Google Llc Learned volumetric attribute compression using coordinate-based networks
US12614315B2 (en) * 2022-10-21 2026-04-28 Qualcomm Incorporated Attribute coding for point cloud compression

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666937B1 (ko) * 2016-05-13 2016-10-17 한국건설기술연구원 3차원 포인트 클라우드의 대용량 데이터를 처리하기 위한 장치 및 그 방법
KR20170028605A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 Ｒｇｂ-ｄ 영상 기반 사람 영역 추출 장치 및 그 방법
KR20200038534A (ko) * 2017-09-18 2020-04-13 애플 인크. 포인트 클라우드 압축
WO2020189943A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2020193038A1 (en) * 2019-03-22 2020-10-01 Interdigital Vc Holdings France Processing a point cloud

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW413795B (en) * 1999-02-26 2000-12-01 Cyberlink Corp An image processing method of 3-D head motion with three face feature points
ATE454849T1 (de) * 2002-10-15 2010-01-15 Volvo Technology Corp Verfahren für die auswertung der kopf- und augenaktivität einer person
US7397473B2 (en) * 2004-07-16 2008-07-08 Geometric Ltd. Geometry based search method for 3D CAx/PDM repositories
US9547838B2 (en) * 2013-11-06 2017-01-17 Oracle International Corporation Automated generation of a three-dimensional space representation and planogram verification
US10223810B2 (en) * 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10327697B1 (en) * 2018-12-20 2019-06-25 Spiral Physical Therapy, Inc. Digital platform to identify health conditions and therapeutic interventions using an automatic and distributed artificial intelligence system
CN111523398A (zh) * 2020-03-30 2020-08-11 西安交通大学 一种融合2d人脸检测和3d人脸识别的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170028605A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 Ｒｇｂ-ｄ 영상 기반 사람 영역 추출 장치 및 그 방법
KR101666937B1 (ko) * 2016-05-13 2016-10-17 한국건설기술연구원 3차원 포인트 클라우드의 대용량 데이터를 처리하기 위한 장치 및 그 방법
KR20200038534A (ko) * 2017-09-18 2020-04-13 애플 인크. 포인트 클라우드 압축
WO2020189943A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2020193038A1 (en) * 2019-03-22 2020-10-01 Interdigital Vc Holdings France Processing a point cloud

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4375947A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250095212A1 (en) * 2023-09-15 2025-03-20 Electronics And Telecommunications Research Institute Method for transmitting and obtaining dynamic 3-dimensional avatar data and apparatus for the same

Also Published As

Publication number Publication date
EP4375947A1 (en) 2024-05-29
EP4375947A4 (en) 2025-08-06
US20250086842A1 (en) 2025-03-13

Similar Documents

Publication Publication Date Title
WO2023003349A1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11812049B2 (en) Image encoder and related non-transitory computer readable medium for image decoding
US12160600B2 (en) System and method for video coding
US20250106423A1 (en) Image encoder, image decoder, image encoding method, and image decoding method
CN111295884B (zh) 图像处理装置及图像处理方法
WO2019151798A1 (ko) 무선 통신 시스템에서 이미지에 대한 메타데이터를 송수신하는 방법 및 장치
WO2022211476A1 (en) Method and apparatus for supporting teleconferencing and telepresence containing multiple 360 degree videos
US12149723B2 (en) Decoder and decoding method
WO2021206333A1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2023106721A1 (en) Method and device for providing split computing based on device capability
EP3117604B1 (en) Elementary video bitstream analysis
US12526475B2 (en) Reproduction apparatus, transmission apparatus, reproduction method, and transmission method
US20180352248A1 (en) Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
CA3086574A1 (en) Encoder, encoding method, decoder, and decoding method
WO2021025168A1 (en) System and method for video coding
WO2022005116A1 (ko) 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치
WO2023003354A1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2023014085A1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
Adeyemi-Ejeye et al. Impact of packet loss on 4K UHD video for portable devices
US11297329B2 (en) Image encoding method, transmission method, and image encoder
EP3837853A1 (en) A method, apparatus and computer program for providing edited video content
WO2023101510A1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US12075042B2 (en) Encoder, decoder, encoding method, and decoding method
WO2020036389A1 (en) Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
Benedetto et al. QoS assessment of 3G video-phone calls by tracing watermarking exploiting the new colour space ‘YST’

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22846219

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18290676

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022846219

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202280057293.X

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022846219

Country of ref document: EP

Effective date: 20240220

WWP Wipo information: published in national office

Ref document number: 18290676

Country of ref document: US