WO2020137642A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2020137642A1
WO2020137642A1 PCT/JP2019/049089 JP2019049089W WO2020137642A1 WO 2020137642 A1 WO2020137642 A1 WO 2020137642A1 JP 2019049089 W JP2019049089 W JP 2019049089W WO 2020137642 A1 WO2020137642 A1 WO 2020137642A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
point cloud
definition
partial
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/049089
Other languages
English (en)
French (fr)
Inventor
遼平 高橋
平林　光浩
充 勝股
卓己 津留
央二 中神
智 隈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP19906464.3A priority Critical patent/EP3905532A4/en
Priority to US17/296,411 priority patent/US11532103B2/en
Priority to SG11202103291YA priority patent/SG11202103291YA/en
Priority to JP2020563092A priority patent/JP7567481B2/ja
Priority to CN201980085077.4A priority patent/CN113302844A/zh
Priority to KR1020217016854A priority patent/KR20210108951A/ko
Publication of WO2020137642A1 publication Critical patent/WO2020137642A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3068—Precoding preceding compression, e.g. Burrows-Wheeler transformation
    • H03M7/3071—Prediction
    • H03M7/3075—Space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H03M7/3064—Segmenting
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4031—Fixed length to variable length coding
    • H03M7/4037—Prefix coding
    • H03M7/4043—Adaptive prefix coding

Definitions

  • the present disclosure relates to an information processing device and an information processing method, and more particularly to an information processing device and an information processing method capable of performing higher-quality G-PCC stream distribution.
  • Point Cloud is separated into geometry showing a three-dimensional structure and attribute showing color and reflection information. Then, it encodes.
  • octree coding as shown in Fig. 1 is used for compression of geometry.
  • octree coding is a method of expressing the presence or absence of points in each block in a Voxel-represented data using an octree. In this method, as shown in FIG. 1, a block in which points exist is represented by 1 and a block in which points do not exist is represented by 0.
  • Predicting Weight Lifting, Region Adaptive Hierarchical Transform (RAHT), or Fix Weight Lifting is used to compress the attributes.
  • the G-PCC stream is obtained by uniformly compressing the three-dimensional structure information of the Point Cloud object by octree coding as shown in Fig. 1.
  • the distributed G-PCC stream has three-dimensional information that can be viewed from 360° around, and has the same fineness around the entire circumference.
  • the following two points are concerned due to the limitation of the network bandwidth at the time of distribution.
  • the present disclosure has been made in view of such circumstances, and is intended to enable higher quality G-PCC stream distribution.
  • the information processing apparatus when the Point Cloud data is encoded on a three-dimensional structure basis to generate a Point Cloud data encoded stream, the Point Cloud data is divided into a plurality of parts. Partial point cloud data, which is the part of, is provided with a file generation unit that generates a file that includes spatial position information indicating the position in space and grouping information that groups the partial point cloud data.
  • the information processing device when the information processing device encodes Point Cloud data based on a three-dimensional structure to generate a data encoded stream, the Point Cloud data is divided into a plurality of parts. This includes generating a file including spatial position information indicating the position in the space of each partial Point Cloud data that is the individual divided part and grouping information that groups those partial Point Cloud data.
  • Point Cloud data is an individual part that is divided into a plurality of parts when the data is streamed by encoding the point cloud data on a three-dimensional structure basis.
  • a file including spatial position information indicating the position of each Cloud data in the space and grouping information for grouping those partial Point Cloud data is generated.
  • the information processing apparatus is, when a Point Cloud data is encoded on a three-dimensional structure basis to generate a Point Cloud data encoded stream, a partial definition indicating the definition of the encoded portion.
  • An encoding unit that generates information is provided, and the encoding unit indicates a direction for a region having a relatively high image quality based on the partial definition information with reference to the local coordinate system of the Point Cloud data. Generate direction information.
  • the information processing method when the information processing device encodes Point Cloud data based on a three-dimensional structure to generate a data encoded stream, indicates the definition of the encoded portion. Including the generation of the partial definition information, based on the partial definition information, the direction information indicating the direction of the area of relatively high image quality is generated based on the local coordinate system of the Point Cloud data. It
  • the Point Cloud data when the Point Cloud data is encoded on the basis of a three-dimensional structure to generate a data encoded stream, partial definition information indicating the definition of the encoded portion is generated. .. Further, based on the partial definition information, the direction information indicating the direction of the area of relatively high image quality is generated with reference to the local coordinate system of Point Cloud data.
  • FIG. 1 It is a figure which shows an example of the syntax which signals the spatial position information of a partial G-PCC stream to BlockGroupBox. It is a figure explaining the production
  • FIG. 19 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • the first point is that the encoded G-PCC stream is delivered by changing the definition for each point cloud object part. For example, in the G-PCC stream, direction information indicating the direction of high definition and definition information indicating the definition in that direction are added. As a result, the client can acquire the G-PCC stream such that the viewing portion has high definition and the other portion has low definition. Therefore, according to the first point, it is possible to realize high definition of the viewing portion by effectively utilizing the network bandwidth.
  • the second point is that one Point Cloud object is divided into multiple partial objects, and the partial G-PCC stream encoded by changing the definition for each partial object is delivered. Also, at the second point, a first method of delivering a partial G-PCC stream generated by space division and a second method of delivering a partial G-PCC stream generated by layering are proposed.
  • the client can acquire the high-definition partial G-PCC stream for the viewing portion and the low-definition partial G-PCC stream for the portions other than the viewing portion. Therefore, with the first technique of the second point, it is possible to realize high definition of the viewing portion by effectively utilizing the network bandwidth.
  • the information added by the first method of the second point to each partial G-PCC stream should be combined with the partial G-PCC for high definition.
  • Information for identifying the stream is added.
  • the client can acquire the partial G-PCC stream in a combination necessary for increasing the definition of the viewing portion. Therefore, also by the second method of the second point, it is possible to realize high definition of the viewing portion by effectively utilizing the network bandwidth.
  • the third point specify the rendering process of the low-definition part of the PointCloud object. For example, information on rendering processing necessary for improving the subjective quality of a low-definition portion is added to the G-PCC stream. This allows the client to identify the specified rendering process and, if the process can be executed, obtain the G-PCC stream. Therefore, the third point makes it possible to reduce the network bandwidth required for G-PCC stream distribution while maintaining the subjective quality.
  • DASHMPD Dynamic Adaptive Streaming over HTTP Media Presentation
  • ISOBMFF ISO Base Media File Format
  • encoding is performed by changing the definition for each part by changing the octree depth that separates the Voxel for each part of the PointCloud object. Is possible.
  • the client acquires the G-PCC stream coded to have high definition for the viewing portion, and acquires the coded G-PCC stream that has low definition for other portions. You can As a result, high definition of the viewing portion can be achieved by effectively utilizing the network bandwidth. At this time, the definition of each part cannot be identified without decoding the G-PCC stream, so when the client selects and acquires the G-PCC stream on the server, the G-PCC stream in which the viewed part is in high definition Need to be able to identify.
  • such identification is also necessary when selecting a high-quality stream for each 360° spherical image area according to the viewing direction. That is, in the case of a high-quality stream for each region of a 360° spherical image, since the viewpoint position is fixed, the viewing portion of the user only depends on the viewing direction. Therefore, it is general to add the viewing direction correspondence information of the high quality region to the high quality stream for each region of the 360° spherical image.
  • the same part of the Point Cloud object can be viewed from different viewpoint positions in different viewing directions. For this reason, even if the viewing direction correspondence information used in 360° spherical video is referred to, the client cannot properly acquire the G-PCC stream in which the viewing portion has high definition.
  • the client can select and acquire the G-PCC stream in which the viewing portion has high definition in accordance with the viewing direction and the viewpoint position.
  • the definition of the new viewing portion can be switched to the G-PCC stream having the same definition as that of the viewing portion before the change.
  • the definition changes significantly with the change of the viewing portion it is expected that the user's viewing experience deteriorates.
  • by suppressing the change of the definition also due to the change of the viewing portion it is possible to avoid such a deterioration of the viewing experience.
  • Extending DASH MPD will be described with reference to FIGS. 3 to 5.
  • the possible values of the direction attribute are 0: X+, 1: Y+, 2: X-, 3: Y-, 4: Z+, 5 based on the point cloud local coordinate system. : Z-You can signal in 6 directions.
  • the direction may be signaled with a finer grain size such as every 45°.
  • gpcc: is the namespace prefix, and for example, the namespace of “urn:mpeg:mpegI:gpcc:2018” is used.
  • FIG. 4 shows an example of the signaling of the direction information, and the direction information is signaled at the places shown in bold in FIG.
  • the high-lod direction descriptor is added with definition information indicating the definition in the direction of high definition, and signaled to Representation.
  • definition information indicating the definition in the direction of high definition
  • the lod_ranking attribute of the gpcc:directionInfo element is signaled with the definition ranking information. In the definition ranking, the smaller the value, the higher the definition.
  • FIG. 5 shows an example of signaling the definition information, and the definition information is signaled at the places shown in bold in FIG.
  • the value of the octree depth in the high definition direction may be signaled instead of the definition ranking information.
  • direction information indicating a high-definition direction and definition information indicating a definition in a high-definition direction are signaled by newly defining DirectionInformationBox('diri').
  • the client can select a track for which the viewing portion is to be made higher definition from the plurality of tracks included in ISOBMFF based on the direction information and the definition information, and reproduce the viewing portion with high definition.
  • Fig. 7 shows an example of the syntax of directionInformationBox.
  • the definition information in the high definition direction the value of the octree depth in the high definition direction may be signaled instead of the definition ranking information. Further, the definition information ('diri') may be signaled other than the sample entry of ISOBMFF track.
  • one Point Cloud object is divided into multiple partial Point Cloud objects, and each is encoded to generate a partial G-PCC stream. Then, when encoding, the octree depth is changed so that each partial G-PCC stream has a variation in definition.
  • the client can make the viewing portion high-definition by effectively utilizing the bandwidth by acquiring the partial G-PCC stream so that the viewing portion has high definition and the other portions have low definition.
  • the first method of the second point of delivering the partial G-PCC stream generated by space division will be described with reference to FIGS. 8 to 26.
  • FIG. 8 shows an example in which the Point Cloud object is spatially divided into four.
  • the client can acquire the partial G-PCC stream for making the viewing part high definition by referring to the grouping information and the definition information of the partial G-PCC stream.
  • PointCloud object changes at maximum frame by frame. Therefore, space division is performed by applying a certain division rule that does not depend on the change in the shape of PointCloud object.
  • a partial PointCloud object included in a rectangular block that occupies the same spatial position relative to a box that includes the entire PointCloud object (hereinafter appropriately referred to as objectbox).
  • objectbox a box that occupies the same spatial position relative to a box that includes the entire PointCloud object (hereinafter appropriately referred to as objectbox).
  • objectbox are encoded as one partial G-PCC stream.
  • Figure 9 shows an example of dividing an object box in half in the X-axis direction.
  • an object box including the entire Point Cloud object at time t0 is divided into half in the X axis direction into partial Point Cloud objects t0-a and t0-b.
  • the G-PCC stream of a is composed of a partial Point Cloud object t0-a, a partial Point Cloud object t1-a, and a partial Point Cloud object t2-a.
  • the G-PCC stream of b is composed of a partial Point Cloud object t0-b, a partial Point Cloud object t1-b, and a partial Point Cloud object t2-b.
  • the relative spatial position of the partial Point Cloud object included in the partial G-PCC stream with respect to the entire Point Cloud object is dynamically unchanged.
  • the relationship between the viewing part and the part G-PCC stream including it changes dynamically. Therefore, when the client acquires the G-PCC stream that makes the viewing portion high definition, even if the viewing portion is unchanged, it is necessary to switch the high definition G-PCC stream to be acquired. Therefore, this space division method can eliminate the need to switch the high-definition G-PCC stream to be acquired when the viewing portion is unchanged.
  • the spatial position information is indicated by each attribute of block_offset_x, block_offset_y, block_offset_z, block_size_x, block_size_y, block_size_z of the gpcc:blockInfo element. All of these attributes are signaled as relative values when each side of the x, y, z axes of the object box is 1.
  • the position and shape of the block and the position and shape of the bounding box when G-PCC encoding the partial Point Cloud object are the same. If either the position or shape of the block is different from the position or shape of the bounding box when G-PCC encoding the partial Point Cloud object, the position and shape of the block in the bounding box are indicated. Signal the information separately.
  • grouping information is indicated by the object_id attribute of the gpcc:blockInfo element. Signal the object_id attribute with the same value for the partial G-PCC streams that configure the same Point Cloud object.
  • FIG. 11 shows an example of signaling of the spatial position information and grouping information of the partial G-PCC stream, and the spatial position information and grouping information of the partial G-PCC stream are shown in bold in FIG. Is signaled.
  • FIG. 12 is an image diagram of spatial position information signaled by the block information descriptor of each Adaptation Set.
  • the extended block information descriptor may be referenced to perform the selection process of the G-PCC stream in which the viewing portion has a high definition.
  • the lod_ranking attribute of the gpcc:lodInfo element is signaled to the definition ranking information. In the definition ranking, the smaller the value, the higher the definition.
  • FIG. 13 shows an example of the signaling of the definition information of the partial G-PCC stream, and the definition information of the partial G-PCC stream is signaled at the locations shown in bold in FIG.
  • octree depth value may be signaled instead of the definition ranking information as the definition information.
  • FIG. 14 is a block diagram showing a configuration example of the data generation device.
  • the data generation device 11 includes a control unit 21, a memory 22, and a file generation unit 23.
  • the memory 22 stores various data necessary for the control unit 21 to control the file generation unit 23, and the control unit 21 refers to the data and stores the data of the file in the file generation unit 23. Control generation.
  • the file generation unit 23 includes a data input unit 31, a data encoding/generation unit 32, an MPD (Media Presentation Description) file generation unit 33, a recording unit 34, and an output unit 35.
  • the data input to the data input unit 31 is supplied to the data encoding/generation unit 32 and the MPD file generation unit 33.
  • the file generated by the data encoding/generating unit 32 and the MPD generated by the MPD file generating unit 33 are output from the output unit 35 via the recording unit 34 and recorded on, for example, a recording medium.
  • the data encoding/generating unit 32 has a preprocessing unit 36, an encoding unit 37, and a file generating unit 38.
  • the pre-processing unit 36 divides the Point Cloud object input from the data input unit 31 and generates each partial Point Cloud object, and at the same time, executes the process of generating spatial position information and grouping information.
  • the encoding unit 37 G-PCC-encodes each partial PointCloud object and generates a partial G-PCC stream, and at the same time, generates definition information.
  • the file generation unit 38 stores each partial G-PCC stream in an individual file and supplies it to the recording unit 34.
  • FIG. 15 shows a block diagram showing a configuration example of the data reproducing device.
  • the data reproduction device 12 is configured to include a control unit 41, a memory 42, and a reproduction processing unit 43.
  • the memory 42 stores various data necessary for the control unit 41 to control the reproduction processing unit 43
  • the control unit 41 refers to the data and refers to the Point Cloud in the reproduction processing unit 43. Control the playback of.
  • the reproduction processing unit 43 includes an acquisition unit 51, a display control unit 52, a data analysis/decoding unit 53, and a display unit 54.
  • the file and MPD acquired by the acquisition unit 51 that is, read from the recording medium or the like are supplied to the data analysis/decoding unit 53.
  • the display screen generated by the data analysis/decryption unit 53 according to the display control by the display control unit 52 is displayed on the display unit 54.
  • the data analysis/decryption unit 53 has a file analysis unit 55, a decryption unit 56, and a display information generation unit 57.
  • the file analysis unit 55 analyzes the metadata in which the various types of information described above are signaled.
  • the decoding unit 56 executes processing for decoding the partial G-PCC stream.
  • the display information generation unit 57 reconstructs the Point Cloud object based on the spatial position information, renders the Point Cloud to generate a display screen, and causes the display unit 54 to display it.
  • FIG. 16 is a flowchart illustrating a generation process in which the data encoding/generation unit 32 of the data generation device 11 generates a file in which a partial G-PCC stream is stored.
  • step S11 the preprocessing unit 36 divides the Point Cloud object and generates each partial Point Cloud object, and at the same time, generates spatial position information and grouping information.
  • step S12 the encoding unit 37 G-PCC-encodes each partial PointCloud object and generates a partial G-PCC stream, and at the same time, generates definition information.
  • step S13 the file generation unit 38 stores each partial G-PCC stream in an individual file and supplies it to the recording unit 34.
  • step S14 the MPD file generation unit 33 generates an MPD including the spatial position information of each partial G-PCC stream, the grouping information, and the definition information, and supplies the MPD to the recording unit 34. Then, the recording unit 34 outputs the MPD together with the file in which the partial G-PCC stream is stored, from the output unit 35, and then the process ends.
  • FIG. 17 is a flowchart illustrating a reproduction process in which the data reproduction device 12 reproduces a file in which a partial G-PCC stream is stored.
  • step S21 the acquisition unit 51 acquires the MPD.
  • step S22 the display control unit 52, based on the spatial position information of the MPD acquired by the acquisition unit 51 in step S21, the AdaptationSet of the partial G-PCC stream that can be seen from the current field of view and the invisible part G-PCC stream. Adaptation Set of.
  • step S23 the display control unit 52 selects a high-definition Representation for the partial G-PCC stream visible from the current viewpoint position and viewing direction based on the MPD definition information.
  • step S24 the display control unit 52 selects a low-definition Representation for the partial G-PCC stream that cannot be seen from the current viewpoint position and viewing direction, based on the MPD definition information.
  • step S25 the acquisition unit 51 acquires all the partial G-PCC streams referenced from the Representation selected by the display control unit 52 in steps S23 and S24, and supplies them to the data analysis/decoding unit 53.
  • step S26 in the data analysis/decoding unit 53, the decoding unit 56 decodes the acquired partial G-PCC stream, and the display information generation unit 57 reconstructs and displays the Point Cloud object based on the spatial position information. Render the screen. Then, the display screen rendered by the display information generation unit 57 is displayed on the display unit 54.
  • step S27 the display control unit 52 determines whether it is the end of the stream. When the display control unit 52 determines in step S27 that the end of the stream is not reached, the process proceeds to step S28.
  • step S28 the display control unit 52 determines whether or not the visual field direction has been changed. If it is determined that the visual field direction has not been changed, the process returns to step S26 and it is determined that the visual field direction has been changed. In this case, the process returns to step S22, and the same process is repeated thereafter.
  • step S27 when the display control unit 52 determines that it is the end of the stream, the process ends.
  • the hatched area in FIG. 18 exists in the partial G-PCC stream a, but can be viewed from the viewing direction indicated by the arrow in FIG.
  • the spatial position information There is.
  • only the above-mentioned signaling of spatial position information will acquire the partial G-PCC stream a with low definition, high-quality G-PCC stream distribution will not be achieved.
  • the direction information of this partial G-PCC stream is signaled by expanding the block information descriptor. Specifically, add the direction attribute of the gpcc:directionInfo element.
  • FIG. 19 shows an example of signaling the direction correspondence information of the partial G-PCC stream, and the direction correspondence information of the partial G-PCC stream is signaled at the places shown in bold in FIG.
  • multiple gpcc:directionInfo elements may be signaled without signaling the direction information with a space delimiter in the direction attribute. Further, only the direction correspondence information of the partial G-PCC stream may be signaled by a separate descriptor.
  • the gpcc:blockInfo element may not be signaled or may be used together.
  • the gpcc:directionInfo element refers to the gpcc:directionInfo element to identify all the G-PCC streams that are necessary for displaying the viewing part, and then refer to the gpcc:blockInfo element to change the fineness of each block. It can be carried out.
  • the block_info_id attribute of the gpcc:dynamicBlockInfo element refer to the timed metadata that signals the dynamically changing spatial position information and direction correspondence information that is associated with the partial G-PCC stream referenced by Representation in this AdaptationSet.
  • the Representation id is signaled.
  • the object_id attribute is as described above.
  • Representation@associationId and Representation@associationType To use. Furthermore, associationType is signaled as "dbif" indicating that the spatial position information and the direction correspondence information are dynamically changing.
  • FIG. 21 shows an example of signaling of the spatial position information and the direction correspondence information which dynamically change, and the spatial position information and the direction correspondence which dynamically change are shown in the bold letters in FIG. Information is being signaled.
  • the timed metadata sample signals direction correspondence information at each time. This makes it possible to signal information on which direction each block corresponds to at each time.
  • FIG. 22 shows an example of the syntax of sample entry of timed metadata
  • FIG. 23 shows an example of the syntax of sample of timed metadata
  • direction field is the same as the direction attribute of the gpcc:directionInfo element of block information descriptor.
  • spatial position information at each time may be signaled.
  • the space division method can be dynamically changed, so that space division can be performed without causing an empty block.
  • the client refers to the dynamically changing spatial position information and direction correspondence information, and even when the outline of the PointCloud object dynamically changes greatly, the part G for making the viewing part high-definition -The PCC stream can be properly acquired.
  • TrackGroupTypeBox is extended and BlockGroupBox ('blgp') is newly defined. That is, the track to which the BlockGroupBox of the same track_group_id is signaled indicates that the partial G-PCC streams that form the same Point Cloud object are stored.
  • the spatial position information of the partial G-PCC stream similar to the DASHMPD extension, the spatial position information of the partial G-PCC stream, the definition information, the direction correspondence information, and the timed metadata that has the spatial position information and the direction correspondence information that change dynamically. Reference information is signaled.
  • FIG. 26 shows the syntax when signaling the spatial position information of the partial G-PCC stream to the BlockGroupBox.
  • the semantics of each field is the same as the attribute with the same name of the gpcc:blockInfo element of the block information descriptor.
  • the grouping may be signaled using EntityToGroupBox instead of the track group function.
  • the definition information may be signaled to the track sample entry as an individual Box.
  • the spatial position information and the direction correspondence information that dynamically change may be signaled by the sample group.
  • the selection process of the track storing the G-PCC stream in which the viewing portion is highly refined may be performed with reference to this Box.
  • one Point Cloud object is layered into a low-definition whole Point Cloud object and a partial Point Cloud object for making a part of it high-definition, and each is encoded to be a partial G-PCC stream.
  • FIG. 27 shows an example of layering a Point Cloud object into a low-definition whole Point Cloud object and two partial Point Cloud objects.
  • ⁇ Partial G-PCC stream with high definition (variation 1)
  • ⁇ Partial G-PCC stream alone has low definition, and constitutes a high-definition part by combining with a low-definition whole G-PCC stream (variation 2)
  • the partial G-PCC stream that refines a part of the variation 2 has a point that does not overlap with the low-definition entire G-PCC stream.
  • the client can perform spatial position information, grouping information, and definition information of the entire G-PCC stream and the partial G-PCC stream. Can be identified, and the whole/partial G-PCC stream for making the viewing part high-definition can be acquired.
  • the same signaling can be used for variation 2, but the client cannot identify the partial G-PCC stream to be combined and the entire G-PCC stream in order to increase the definition of the viewing portion. Therefore, the client cannot acquire an appropriate G-PCC stream for enhancing the definition of the viewing portion.
  • the client can obtain the partial G-PCC stream for making the viewing portion high-definition even in variation 2 by referring to this information.
  • associationId and associationType specified in MPEG-DASH For example, by using associationId and associationType specified in MPEG-DASH, the partial G-PCC stream that constitutes a high-definition part by combining them and the entire G-PCC stream are linked.
  • associationType signals "pbas" indicating that the associated Representation is an entire G-PCC stream that can be highly refined by combining it with a partial G-PCC stream.
  • the lod information descriptor defined in the first method of the above-mentioned second point is extended with the definition information as a result of combining both, and signaled with gpcc:combinedAreaLodInfo.
  • the combined_rep_id attribute signals the Representation@id of the entire G-PCC stream to be combined, and the lod_ranking attribute signals the definition information as a result of combining the two.
  • FIG. 28 shows an example of the signaling of the spatial position information of each combined G-PCC stream.
  • the spatial position information of each combined G-PCC stream is shown in bold in FIG. Is signaled.
  • FIG. 29 shows an image diagram of spatial position information signaled as shown in FIG.
  • associationType indicates that the partial G-PCC stream alone will be high definition.
  • the partial G-PCC stream is of low definition and you want to prohibit playback by itself, associate it with dependencyId instead of associationId.
  • a supplemental property or essential property may be used to define a descriptor that prohibits independent playback.
  • the client can combine and acquire an appropriate G-PCC stream for enhancing the definition of the viewing portion.
  • this signaling can also be used when configuring high-definition parts by combining low-definition part G-PCC streams.
  • the partial G-PCC stream generated by layering is stored in each track of the ISOBMFF file.
  • the partial G-PCC stream that constitutes a high-definition part and the entire G-PCC stream are linked by combining them.
  • the reference_type is'pbas'.
  • track#3 stores a low-definition whole G-PCC stream
  • track#1 and track#2 store partial G-PCC streams corresponding to different parts of the whole PointCloud object.
  • the client can select and play back the track that stores the appropriate G-PCC stream for combining the high-definition viewing part with this track reference signaling.
  • CombinedAreaLodInfoBox('cloi') that signals the definition information as a result of combining a plurality of G-PCC streams, and signals the BlockGroupBox defined by the first method of the second point described above. ..
  • Fig. 31 shows the syntax of CombinedAreaLodInfoBox('cloi').
  • the definition information when combined with the track indicated by the combined_track_id field is signaled by the lod_ranking field.
  • the semantics of the lod_ranking field are the same as those of the same name field of the Direction Information Box at the first point described above.
  • V-PCC video-based PCC
  • the unit that changes the fineness that separates Voxel and changes the definition may be a set of points that can be independently encoded and decoded in a Point Cloud object.
  • This set of points is called a brick.
  • brick may be tile, which is an encoding tool currently under discussion in MPEG.
  • a tile is a set of slices, and a slice is a set of points that can be independently encoded and decoded (see Non-Patent Document 2 described above).
  • the partial G-PCC stream may be encoded so as to be composed of one or more bricks.
  • the spatial position information of brick data in the G-PCC stream is signaled to the G-PCC stream.
  • the spatial position information of the brick is used as the data unit forming the brick in the G-PCC stream, as in the first method of the second point described above. It is necessary to link with.
  • brick_offset_x, brick_offset_y, brick_offset_z, brick_size_x, brick_size_y, brick_size_z in BrickGroupEntry are block_off_block,_block_offset_block,_block_offset_block,_block_offset_set,block_offset_set,block_offset_set,block_offset_block,offset_block It is the same as block_size_y and _block_size_z respectively.
  • unit_index of UnitMapEntry indicates the index information of the data unit that constitutes the brick in the G-PCC stream to which the BrickGroupEntry associated with the groupID is applied.
  • This unit_index may be allocated for each data unit that configures each of the Geometry bitstream and Attribute bitstream that configures the brick in the G-PCC stream to which the BrickGroupEntry associated with the groupID is applied.
  • the area signaled by brick_offset_x, brick_offset_y, brick_offset_z, brick_size_x, brick_size_y, brick_size_z of BrickGroupEntry is the area of tile's bounding box or multiple tiles. Matches the total area of bounding box.
  • FIG. 34 shows an operation example of BrickGroupEntry and UnitMapEntry.
  • one point cloud frame of the G-PCC stream is 1 ISOBMFF sample
  • the data unit that constitutes the brick is one or more Attribute bitstreams (Attr) associated with Geometry bitstreams (Geom). ..
  • the brick configuration can be dynamically changed according to the movement of the object, and the empty brick can be eliminated.
  • brick base track may be divided into bricks and stored individually in the ISOBMFF track.
  • brick base track may be divided into bricks and stored individually in the ISOBMFF track.
  • brick track may be divided into bricks and stored individually in the ISOBMFF track.
  • the brick base track does not store the G-PCC stream, but the sample entry has a common parameter set required to decode the entire G-PCC stream proile, level, and the G-PCC stream stored in the brick track. To store.
  • the type of sample entry is'gpbb'.
  • a brick track stores a G-PCC stream consisting of one or more bricks, and its sample entry is required to decode only the G-PCC stream profile and level to be stored in track and the G-PCC stream to be stored. It stores various parameter sets.
  • the type of sample entry is'gpcb'.
  • FIG. 36 shows a block diagram of the brick base track and the brick track.
  • the brick track can be independently decoded by referring to the parameter set stored in the brick track and the parameter set stored in the associated brick base track. That is, it is possible to select a brick track including brick data corresponding to the viewing portion, and preferentially decode and render it.
  • the entire G-PCC stream can be reconstructed based on the G-PCC stream sample stored in the brick track referenced from the brick base track, and can be decoded by a single decoder.
  • each bricktrack may be grouped by trackgroup or EntityToGroupBox, and track_group_id may be referenced for trackgroup and gorup_id for EntityToGroup in the trackreference from brickbasetrack.
  • the signaling by the ISOBMFF extension is applicable not only to the stream configured with bricks but also to the partial G-PCC stream mentioned in the second point above. At this time, you can think of brick as a block.
  • the spatial position information of brick (brick_offset_x, brick_offset_y, brick_offset_z, brick_size_x, brick_size_y, brick_size_z) may be signaled by expanding the high level syntax of the elementary stream.
  • the data units that make up the bricks in the G-PCC stream are linked to the spatial position information through the brick_id.
  • the subjective quality will deteriorate, for example, the opposite side of the Point Cloud object can be seen through.
  • the subjective quality can be improved by, for example, increasing the size of the points in the low-definition portion for rendering.
  • the content generation side specifies the rendering process necessary for improving the subjective quality of the low-definition part, and executes the rendering process on the client side. It is possible to improve the subjective quality of the low-definition part of the object.
  • the client identifies whether or not the subjective quality improving rendering process is necessary when selecting the G-PCC stream. Can not.
  • the client considers its own subjective quality improvement rendering processing capability, acquires a low-definition G-PCC stream if it can be processed, and performs the subjective quality improvement rendering process to maintain the subjective quality while maintaining the G -The network bandwidth required for PCC stream distribution can be reduced.
  • rendering information descriptor
  • SchemeIdUri ”urn:mpeg:mepgI:gpcc:rendering_information:2018” Essential Property
  • the type attribute of the gpcc:renderingInfo element signals the rendering processing method.
  • the parameter in the G-PCC stream is, for example, rendering as a sphere inscribed in Voxel.
  • FIG. 38 shows an example of signaling the rendering processing method.
  • the rendering processing method is signaled at the portions shown in bold.
  • rinf is a Box that stores post-process information after decoding.
  • Scheme_type of SchemeTypeBox ('schm') under rinf is'rndi' to indicate that subjective quality improvement rendering information is stored.
  • Fig. 39 a signal example of Rendering Information Box is shown.
  • FIG. 40 shows an example of the syntax of Rendering Information Box.
  • semantics of the type field are the same as the attribute with the same name of the gpcc:renderingInfo element of the rendering information descriptor.
  • the client can identify the type of rndi and execute the appropriate rendering process. Also, if the rendering process signaled by the rndi type cannot be executed, it is possible to select the other track within the same ISOBMFF file without selecting that track.
  • the part to be refined in combination with another G-PCC stream is The rendering process for improving subjective quality is unnecessary.
  • the client needs to change the rendering process for improving the subjective quality for each part of PointCloud object. Therefore, information is added so that only the client that can execute an appropriate rendering process can acquire the above-mentioned G-PCC stream.
  • the gpcc:combinedAreaRenderingInfo element adds the gpcc:combinedAreaRenderingInfo element and signal the Representation@id of the G-PCC stream to be combined with its combined_rep_id attribute. Also, the type attribute of the gpcc:combinedAreaRenderingInfo element signals the processing type of the part to be refined by combining. The semantics are the same as the type attribute of the gpcc:renderingInfo element.
  • FIG. 41 shows the syntax of the processing type of the part to be refined.
  • the processing type of the high-definition portion is signaled at the portion shown in bold.
  • the signaling shown in Fig. 41 allows the client processing capability, for example, the client that can change and apply the rendering processing for improving subjective quality for each point cloud object part. If so, a lower definition stream can be acquired.
  • the combined_trak_id field signals the track_id of the G-PCC streams to combine.
  • the combined_area_type field signal the processing type of the part to be refined by combining.
  • the client can identify such information and execute appropriate rendering processing.
  • FIG. 42 shows a syntax in which a combined_track_exists field, a combined_track_id field, and a combined_area_type field are added. 42, the combined_track_exists field, the combined_track_id field, and the combined_area_type field are signaled at the places shown in bold in FIG.
  • FIG. 44 shows the outline of the Sample Group described above.
  • the grouping_type of SampleToGroupBox shown in FIG. 44 indicates the grouping_type of the associated SampleGroupDescriptionBox. Also, sample_count and group_description_index are signaled for each entry. Then, group_description_index indicates the index of the associated GroupEntry, and sample_count indicates the number of samples belonging to that GroupEntry.
  • a G-PCC stream which is a Point Cloud stream obtained by encoding a Point Cloud object on the basis of Geometry
  • one PointCloud object can be divided into a plurality of partial objects, and the partial G-PCC stream encoded by changing the definition of each of these partial objects can be delivered.
  • the client refers to the information by adding the direction information and the definition information, which have high definition, to the G-PCC stream.
  • the client refers to the information by adding the direction information and the definition information, which have high definition, to the G-PCC stream.
  • the client refers to those information
  • the partial G-PCC stream can be acquired so that the viewing portion has high definition.
  • the client can reduce the network bandwidth required for G-PCC stream delivery by acquiring a G-PCC stream that contains a lower-definition portion if the rendering process can be executed. it can.
  • the G-PCC stream is distributed so that the user's viewing part has high definition and the part other than the user's viewing part has low definition, thereby effectively utilizing the network bandwidth and providing high quality. That is, high-definition G-PCC stream distribution without interruption can be realized.
  • FIG. 45 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in the hard disk 105 or the ROM 103 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 111 driven by the drive 109.
  • a removable recording medium 111 can be provided as so-called package software.
  • examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed in the computer from the removable recording medium 111 as described above, or downloaded to the computer via a communication network or a broadcast network and installed in the built-in hard disk 105. That is, for example, the program is wirelessly transferred from a download site to a computer via a satellite for digital satellite broadcasting, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer includes a CPU (Central Processing Unit) 102, and an input/output interface 110 is connected to the CPU 102 via a bus 101.
  • CPU Central Processing Unit
  • the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 in response to a command input by the user operating the input unit 107 via the input/output interface 110. .. Alternatively, the CPU 102 loads a program stored in the hard disk 105 into a RAM (Random Access Memory) 104 and executes the program.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 102 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 102 outputs the processing result as needed, for example, via the input/output interface 110, from the output unit 106, from the communication unit 108, and further recorded on the hard disk 105.
  • the input unit 107 is composed of a keyboard, a mouse, a microphone, and the like.
  • the output unit 106 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in time series in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing that is executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor) or may be processed by a plurality of computers in a distributed manner. Further, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be integrated into one device (or processing unit).
  • part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the present technology can have a configuration of cloud computing in which one device is shared by a plurality of devices via a network and jointly processes.
  • the program described above can be executed in any device.
  • the device may have a necessary function (function block or the like) so that necessary information can be obtained.
  • each step described in the above-mentioned flowchart can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be configured such that the processes of the steps for writing the program are executed in time series in the order described in this specification, or in parallel, or when the call is made. It may be executed individually at a necessary timing such as time. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the process of the step of writing this program may be executed in parallel with the process of another program, or may be executed in combination with the process of another program.
  • the present technology may also be configured as below.
  • the point cloud data is encoded on the basis of a three-dimensional structure to generate a point cloud data encoded stream, the point cloud data is an individual part divided into a plurality of parts.
  • An information processing apparatus including a file generation unit that generates a file that includes spatial position information indicating a position and grouping information that groups the partial Point Cloud data.
  • the file generated by the file generation unit further includes direction correspondence information indicating a direction necessary to display the partial Point Cloud based on the local coordinate system of the Point Cloud data.
  • Information processing equipment (3) The information processing device according to (2), wherein the file generated by the file generation unit further includes the spatial position information that dynamically changes.
  • the information processing device further includes the direction correspondence information that dynamically changes.
  • the file generated by the file generation unit is a file having a DASH MPD (Dynamic Adaptive Streaming over HTTP Media Presentation Description) or an ISOBMFF (ISO Base Media File Format) structure.
  • the part is composed of brick, which is a set of points that can be independently encoded and decoded in the Point Cloud data,
  • the file generated by the file generation unit further includes information for associating the spatial position information of the brick with a data unit forming the brick in the stream of the Point Cloud data.
  • the partial Point Cloud data is composed of brick, which is a set of points that can be independently encoded and decoded in the Point Cloud data
  • the file generated by the file generation unit further includes information for associating the spatial position information of the brick with a data unit forming the brick in the stream of the partial Point Cloud data (1) to (6) )
  • the information processing device according to any one of 1 to 3) above.
  • the partial Point Cloud data is composed of brick, which is a set of points that can be independently encoded and decoded in the Point Cloud data
  • the file generated by the file generation unit further includes information for associating the spatial position information of the brick with a data unit that constitutes the brick in the stream of the partial Point Cloud data (1) to (7) )
  • the information processing device according to any one of 1 to 3) above.
  • the information processing device When the point cloud data is encoded on the basis of a three-dimensional structure to generate a data encoded stream, the point cloud data is divided into a plurality of parts, which are individual parts.
  • An information processing method including generating a file including spatial position information indicated and grouping information for grouping the partial Point Cloud data.
  • an encoding unit that generates partial definition information indicating the definition of the encoded portion is provided.
  • An information processing apparatus wherein the encoding unit generates direction information indicating a direction of a region having relatively high image quality based on the local definition system of the Point Cloud data, based on the partial definition information.
  • the information processing apparatus according to (10) further including: a file generation unit that generates a file including the partial definition information and the direction information generated by the encoding unit.
  • the file generated by the file generation unit is a file having a DASH MPD or ISOBMFF structure.
  • the file generated by the file generation unit is a connection of the partial Point Cloud data that can be highly refined by combining the partial Point Cloud data that is an individual part obtained by dividing the Point Cloud data into a plurality of parts.
  • the file generated by the file generation unit further includes subjective quality improvement rendering processing information indicating different rendering processing required to improve subjective quality for each part.
  • the information processing device Including generating partial definition information indicating the definition of the encoded part when the point cloud data is encoded on the basis of a three-dimensional structure to generate a data encoded stream, An information processing method in which direction information indicating a direction of a region having relatively high image quality is generated based on the local definition system of the Point Cloud data based on the partial definition information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Generation (AREA)

Abstract

本開示は、より高品位なG-PCCストリーム配信を行うことができるようにする情報処理装置および情報処理方法に関する。 Point CloudデータをG-PCCで符号化して得られるG-PCCストリームを生成する際に、Point Cloudデータが複数の部分に分割された個々の部分となる部分Point Cloudデータそれぞれの空間上の位置を示す空間位置情報と、それらの部分Point Cloudデータをグルーピングするグルーピング情報とを生成する。本技術は、例えば、G-PCCストリームを生成する生成装置に適用できる。

Description

情報処理装置および情報処理方法
　本開示は、情報処理装置および情報処理方法に関し、特に、より高品位なG-PCCストリーム配信を行うことができるようにした情報処理装置および情報処理方法に関する。
　従来、MPEG-I Part 9 Geometry-based Point Cloud Compression(ISO/IEC 23090-9)では、３次元空間上に位置情報と属性情報（例えば、色情報や反射情報など）とを同時に持った点の集合であるPoint Cloudの圧縮方法が規定される。
　例えば、非特許文献１で開示されているように、Geometry-based Point Cloud Compression (G-PCC) では、Point Cloudを、３次元構造を示すgeometryと、色や反射情報等を示すattributeとに分離して、符号化する。
　また、geometryの圧縮には、図１に示すようなoctree符号化が用いられる。例えば、octree符号化は、Voxel表現されたデータにおいて、各ブロック内のポイントの有無を、八分木によって表現する手法である。この手法では、図１に示すように、ポイントが存在するブロックは１、存在しないブロックは０で表現される。
　また、attributeの圧縮には、Predicting Weight Lifting，Region Adaptive Hierarchical Transform (RAHT)、またはFix Weight Liftingが用いられる。
w17770, Third Working Draft for G-PCC (Geometry-based PCC), July 2018, Ljubljana, Slovenia w18001, Description of Core Experiment 13.2 for G-PCC: Tile and Slice based Coding of Point Cloud, October 2018, Macau, China
　ところで、従来の配信技術では、Point Cloudオブジェクトの３次元構造情報を、図１に示したようなoctree符号化で均一に圧縮したG-PCCストリームを配信する。このように、octree符号化で均一に圧縮する場合、配信されるG-PCCストリームは、周囲360°から視聴できる３次元情報を持ち、かつ、全周囲の精細さが同一となる。このとき、配信時のネットワーク帯域幅の制限から、下記の２つの点が懸念される。
　第１に、Point Cloudを構成するポイントが密となる高精細なG-PCCストリームを配信しようとすると、ある特定時間においてユーザが視聴できるPoint Cloudの一部分か否かに関係なく、Point Cloudオブジェクト全体の圧縮率を一律に下げる（即ち、高精細化する）ことになる。このため、不要にビットレートが増加して再生が途切れることが懸念される。
　第２に、再生途切れを抑制すべくビットレートを削減する場合、G-PCCストリーム全体の圧縮率を一律に上げる（即ち、低精細化する）ことになる。このため、ある特定時間においてユーザが視聴しているPoint Cloudオブジェクトの一部分まで、Point Cloudを構成するポイントが疎となって低精細となることが懸念される。
　このように、従来、ネットワーク帯域幅が効率良くなるように活用されておらず、高精細に視聴され、かつ、途切れずに再生されるような高品位なG-PCCストリーム配信が実現されていなかった。
　本開示は、このような状況に鑑みてなされたものであり、より高品位なG-PCCストリーム配信を行うことができるようにするものである。
　本開示の第１の側面の情報処理装置は、Point Cloudデータを３次元構造ベースで符号化してPoint Cloudデータ符号化ストリームを生成する際に、前記Point Cloudデータが複数の部分に分割された個々の部分となる部分Point Cloudデータそれぞれの空間上の位置を示す空間位置情報と、それらの部分Point Cloudデータをグルーピングするグルーピング情報とを含むファイルを生成するファイル生成部を備える。
　本開示の第１の側面の情報処理方法は、情報処理装置が、Point Cloudデータを３次元構造ベースで符号化してデータ符号化ストリームを生成する際に、前記Point Cloudデータが複数の部分に分割された個々の部分となる部分Point Cloudデータそれぞれの空間上の位置を示す空間位置情報と、それらの部分Point Cloudデータをグルーピングするグルーピング情報とを含むファイルを生成することを含む。
　本開示の第１の側面においては、Point Cloudデータを３次元構造ベースで符号化してデータ符号化ストリームを生成する際に、Point Cloudデータが複数の部分に分割された個々の部分となる部分Point Cloudデータそれぞれの空間上の位置を示す空間位置情報と、それらの部分Point Cloudデータをグルーピングするグルーピング情報とを含むファイルが生成される。
　本開示の第２の側面の情報処理装置は、Point Cloudデータを３次元構造ベースで符号化してPoint Cloudデータ符号化ストリームを生成する際に、符号化された部分の精細度を示す部分精細度情報を生成する符号化部を備え、前記符号化部は、前記部分精細度情報に基づいて、前記Point Cloudデータのローカル座標系を基準に、相対的に高画質である領域についての方向を示す方向情報を生成する。
　本開示の第２の側面の情報処理方法は、情報処理装置が、Point Cloudデータを３次元構造ベースで符号化してデータ符号化ストリームを生成する際に、符号化された部分の精細度を示す部分精細度情報を生成することを含み、前記部分精細度情報に基づいて、前記Point Cloudデータのローカル座標系を基準に、相対的に高画質である領域についての方向を示す方向情報が生成される。
　本開示の第２の側面においては、Point Cloudデータを３次元構造ベースで符号化してデータ符号化ストリームを生成する際に、符号化された部分の精細度を示す部分精細度情報が生成される。さらに、その部分精細度情報に基づいて、Point Cloudデータのローカル座標系を基準に、相対的に高画質である領域についての方向を示す方向情報が生成される。
octree符号化について説明する図である。 Point Cloudオブジェクトの部分ごとに精細度を変えて符号化する一例を示す図である。 方向情報により示される方向の一例を示す図である。 方向情報のシグナリングの一例を示す図である。 精細度情報のシグナリングの一例を示す図である。 DirectionInformationBoxのシグナル場所の一例を示す図である。 DirectionInformationBoxのシンタックスの一例を示す図である。 ４つに分割されたPoint Cloudオブジェクトの一例を示す図である。 Ｘ軸方向で半分に分割されたobject boxの一例を示す図である。 gpcc:blockInfoの属性の定義を示す図である。 部分G-PCCストリームの空間位置情報およびグルーピング情報のシグナリングの一例を示す図である。 空間位置情報のイメージ図である。 部分G-PCCストリームの精細度情報のシグナリングの一例を示す図である。 データ生成装置の構成例を示すブロック図である。 データ再生装置の構成例を示すブロック図である。 部分G-PCCストリームが格納されたファイルを生成する生成処理を説明するフローチャートである。 部分G-PCCストリームが格納されたファイルを再生する再生処理を説明するフローチャートである。 部分G-PCCストリームの方向対応情報の必要性について説明する図である。 部分G-PCCストリームの方向対応情報のシグナリングの一例を示す図である。 動的に変化する空間位置情報および方向対応情報の必要性について説明する図である。 動的に変化する空間位置情報および方向対応情報のシグナリングの一例を示す図である。 timed metadataのsample entryのシンタックスの一例を示す図である。 timed metadataのsampleのシンタックスの一例を示す図である。 各時間における空間位置情報のシグナリングの一例を示す図である。 BlockGroupBoxのシグナル例を示す図である。 BlockGroupBoxに部分G-PCCストリームの空間位置情報をシグナルするシンタックスの一例を示す図である。 階層化による部分G-PCCストリームの生成について説明する図である。 組み合わせられる各G-PCCストリームの空間位置情報のシグナリングの一例を示す図である。 空間位置情報のイメージ図である。 track referenceの運用例を示す図である。 CombinedAreaLodInfoBox(‘cloi’)のシンタックスの一例を示す図である。 BrickGroupEntryのシンタックスの一例を示す図である。 UnitMapEntryのシンタックスの一例を示す図である。 BrickGroupEntryおよびUnitMapEntryの運用例を示す図である。 動的なbrick構成の変更について説明する図である。 brick base trackおよびbrick trackの構成について説明する図である。 brickの空間位置情報のシグナリングの一例を示す図である。 レンダリング処理方法のシグナリングの一例を示す図である。 RenderingInformationBoxのシグナル例を示す図である。 RenderingInformationBoxのシンタックスの一例を示す図である。 高精細化される部分の処理タイプのシンタックスの一例を示す図である。 combined_track_existsフィールド、comnbined_track_idフィールド、およびcombined_area_typeフィールドを追加したシンタックスの一例を示す図である。 priority_flagフィールドを追加したシンタックスの一例を示す図である。 Sample Group概要を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜本開示における３つのポイント＞
　まず、本実施の形態において開示される技術において特徴となる第１乃至第３のポイントの概要について説明する。例えば、Point CloudオブジェクトをHMD（Head Mounted Display）やFlat Panel Displayで視聴する場合、視聴方向に対して反対側の表面形状および色は見えないという点を利用した視聴方向適応配信技術が用いられる。
　第１のポイントでは、１つのPoint Cloudオブジェクトの部分毎に精細度を変えて符号化したG-PCCストリームを配信する点が特徴となる。例えば、G-PCCストリームにおいて、高精細になっている方向を示す方向情報と、その方向における精細度を示す精細度情報とを付加する。これにより、クライアントは、視聴部分については高精細となり、かつ、視聴部分以外については低精細となるようにG-PCCストリームを取得することができる。従って、第１のポイントにより、ネットワーク帯域幅を有効活用した視聴部分の高精細化を実現することが可能となる。
　第２のポイントでは、１つのPoint Cloudオブジェクトを複数の部分オブジェクトに分割し、個々の部分オブジェクトごとに精細度を変えて符号化した部分G-PCCストリームを配信する点が特徴となる。また、第２のポイントでは、空間分割により生成した部分G-PCCストリームを配信する第１の手法と、階層化により生成した部分G-PCCストリームを配信する第２の手法とが提案される。
　例えば、第２のポイントの第１の手法においは、各部分G-PCCストリームに空間位置情報および精細度情報を付加する。これにより、クライアントは、視聴部分については高精細な部分G-PCCストリームを取得し、かつ、視聴部分以外については低精細な部分G-PCCストリームを取得することができる。従って、第２のポイントの第１の手法により、ネットワーク帯域幅を有効活用した視聴部分の高精細化を実現することが可能となる。
　また、第２のポイントの第２の手法においは、各部分G-PCCストリームに対し、第２のポイントの第１の手法で付加した情報に、高精細化するために組み合わせるべき部分G-PCCストリームを識別するための情報を付加する。これにより、クライアントは、視聴部分を高精細化するために必要な組み合わせで部分G-PCCストリームを取得することができる。従って、第２のポイントの第２の手法によっても、ネットワーク帯域幅を有効活用した視聴部分の高精細化を実現することが可能となる。
　第３のポイントでは、Point Cloudオブジェクトの低精細な部分のレンダリング処理を指定する。例えば、G-PCCストリームに対し、低精細な部分の主観品質向上のために必要なレンダリング処理の情報を付加する。これにより、クライアントは、指定されたレンダリング処理を識別し、その処理を実行可能である場合、そのG-PCCストリームを取得することができる。従って、第３のポイントにより、主観品質を維持しつつ、かつ、G-PCCストリーム配信に必要なネットワーク帯域幅を削減することが可能となる。
　なお、上述した第１乃至第３のポイントにおいて付加される情報は、DASH MPD（Dynamic Adaptive Streaming over HTTP Media Presentation Description）またはISOBMFF（ISO Base Media File Format）を拡張することによりシグナルされる。
　＜第１のポイント＞
　図２乃至図７を参照して、部分毎に精細度を変えて符号化したG-PCCストリームを配信する第１のポイントについて説明する。
　図２に示すように、G-PCCストリームを生成する際、Point Cloudオブジェクトの部分ごとにVoxelを区切る細かさ（octree depth）を変更することで、部分毎に精細度を変えて符号化することが可能となる。
　図２に示す例では、Point Cloudオブジェクトが８つの部分に分けられている。そして、グレーのハッチングが施されている２つの部分が高精細（depth=10）に符号化され、残りの６つの部分が低精細（depth=5）に符号化されている。
　これにより、クライアントは、視聴部分については高精細となるように符号化されたG-PCCストリームを取得し、かつ、それ以外については低精細となる符号化されたG-PCCストリームを取得することができる。これにより、ネットワーク帯域幅を有効活用した視聴部分の高精細化が可能となる。このとき、部分毎の精細度はG-PCCストリームをデコードしないと識別できないため、クライアントがサーバー上のG-PCCストリームを選択および取得する際、視聴部分が高精細になっているG-PCCストリームを識別できるようにする必要がある。
　例えば、このような識別は、360°全天球映像の領域ごとの高画質化ストリームを視聴方向に応じて選択する際にも必要となる。即ち、360°全天球映像の領域ごとの高画質化ストリームの場合は、視点位置が固定であるため、ユーザの視聴部分は視聴方向に依存するのみであった。そのため、360°全天球映像の領域ごとの高画質化ストリームに対し、高画質化領域の視聴方向対応情報を付加することが一般的に行われている。
　これに対し、本技術におけるG-PCCストリームの場合、様々な視点位置から異なる視聴方向でPoint Cloudオブジェクトの同一部分を視聴することができる。このため、360°全天球映像で用いられるような視聴方向対応情報を参照しても、クライアントは、視聴部分が高精細化されているG-PCCストリームを適切に取得することができない。
　そこで、第１のポイントでは、G-PCCストリームにおいて、高精細になっている方向をシグナルすることを提案する。これにより、クライアントは、視聴方向および視点位置に応じて、視聴部分が高精細化されているG-PCCストリームを選択して取得することが可能となる。
　さらに、第１のポイントでは、G-PCCストリームの高精細になっている方向について、その方向の精細度情報をシグナルすることを提案する。これにより、G-PCCストリームの視聴部分が変化した場合、新たな視聴部分の精細度が、その変化する前の視聴部分の精細度と同等となるG-PCCストリームに切り替えることが可能となる。例えば、視聴部分の変化に伴って精細度が大きく変化する場合には、ユーザの視聴体験が悪化してしまうことが想定されるが、視聴部分の変化によっても精細度の変化を抑制することで、このような視聴体験の悪化を回避することができる。
　図３乃至図５を参照して、DASH MPDの拡張について説明する。
　例えば、G-PCCストリームにおいて高精細になっている方向の情報として、high lod direction descriptor (schemeIdUri=”urn:mpeg:mepgI:gpcc:high_lod_direction:2018”のSupplementalProperty)を新規定義してAdaptation Setにシグナルする。即ち、gpcc:directionInfo要素のdirection属性に、高精細になっている方向を示す方向情報をシグナルする。
　また、図３に示すように、direction属性の取りうる値は、Point Cloudのローカル座標系を基準として、0: X+，1: Y+，2: X-，3: Y-，4: Z+，5: Z-の６方向でシグナルすることができる。その他、45°刻み等、より細かい粒度で方向をシグナルしてもよい。
　なお、１つのG-PCCストリーム内で複数方向が高精細化されていてもよい。この場合、複数のgpcc:directionInfo要素を用いてシグナルされる。さらに、”gpcc:”はname space prefixであり、例えば”urn:mpeg:mpegI:gpcc:2018”のname spaceを利用するものとする。
　図４には、方向情報のシグナリングの一例が示されており、図４において太字で記載されている個所に方向情報がシグナルされている。
　例えば、ユーザがPoint Cloudのローカル座標系のＸ＋方向の部分を視聴している場合、クライアントはhigh lod direction descriptorを参照してAdaptationSet@id=1を選択して、高精細化されている部分を取得することができる。これにより、ユーザの視聴部分を高精細化するPoint Cloudの表示が可能となる。
　さらに、high lod direction descriptorに対し、高精細化されている方向の精細度を示す精細度情報を追加し、Representationにシグナルする。例えば、gpcc:directionInfo要素のlod_ranking属性に、精細度ランキング情報をシグナルする。精細度ランキングは、値が小さいほど精細度が高いことを示す。
　図５には、精細度情報をシグナルする一例が示されており、図５において太字で記載されている個所に精細度情報がシグナルされている。
　例えば、ユーザがPoint Cloudのローカル座標系のＸ＋方向の部分を視聴していて、クライアントが、Representation@id=”1-1”を再生中である場合において、ユーザがＹ＋方向の部分を視聴するように視点位置および視聴方向が変化したとする。このとき、クライアントは、AdaptationSet@id=”2”のRepresentation@id=”2-1”を選択して、視点位置および視聴方向が変化する前と同じ精細度の部分を取得することができる。これにより、視聴部分の変化に伴って精細度が大きく変化してしまうことを抑制し、ユーザの視聴体験が悪化してしまうのを回避することができる。
　なお、高精細化されている方向の精細度情報として、精細度ランキング情報ではなく、高精細となっている方向のoctree depthの値をシグナルしてもよい。
　図６および図７を参照して、ISOBMFFの拡張について説明する。
　例えば、高精細となっている方向を示す方向情報、および、高精細化されている方向における精細度を示す精細度情報は、DirectionInformationBox(‘diri’)を新規定義してシグナルする。
　そして、図６に示すように、ISOBMFF trackのsample entryに、そのtrackに格納されるG-PCCストリームの方向情報および精細度情報(‘diri’)をシグナルする。従って、クライアントは、方向情報および精細度情報に基づいて、ISOBMFFに含まれる複数のtrackのうち、視聴部分を高精細化するtrackを選択し、視聴部分を高精細に再生することができる。
　図７には、directionInformationBoxのシンタックスの一例が示されている。
　図７のシンタックスにおいて、high_lod_directionフィールドと、lod_rankingフィールドとのセマンティクスは、high lod direction descriptorのgpcc:directionInfo要素の同名属性と同様である。
　なお、高精細化されている方向の精細度情報として、精細度ランキング情報ではなく、高精細となっている方向のoctree depthの値をシグナルしてもよい。また、精細度情報(‘diri’)は、ISOBMFF trackのsample entry以外にシグナルされてもよい。
　＜第２のポイント＞
　図８乃至図３７を参照して、部分オブジェクトそれぞれの精細度を変えて符号化した部分G-PCCストリームを配信する第２のポイントについて説明する。
　例えば、１つのPoint Cloudオブジェクトを複数の部分Point Cloudオブジェクトに分け、それぞれを符号化して部分G-PCCストリームを生成する。そして、符号化の際、octree depthを変更し、部分G-PCCストリームごとに精細度のバリエーションを持つようにする。これにより、クライアントは、視聴部分が高精細、それ以外は低精細となるよう部分G-PCCストリームを取得することで、帯域幅を有効活用した視聴部分の高精細化ができる。
　このとき、部分G-PCCストリームがPoint Cloudオブジェクト全体のどの部分に相当するのかを識別し、また、部分G-PCCストリームの精細度情報はデコードしなくても識別できるようにする必要がある。即ち、クライアントがサーバー上のG-PCCストリームを選択および取得する際、視聴部分を高精細化するための部分G-PCCストリームを適切に選択できるようにする必要がある。
　図８乃至図２６を参照して、空間分割により生成した部分G-PCCストリームを配信する第２のポイントの第１の手法について説明する。
　図８に示すように、１つのPoint Cloudオブジェクトを空間分割することで、部分Point Cloudを生成し、それぞれを符号化して部分G-PCCストリームを生成・配信することができる。図８には、Point Cloudオブジェクトを4つに空間分割する場合の例が示されている。
　このとき、部分G-PCCストリームの空間位置情報、１つの全体Point Cloudオブジェクトを構成する部分G-PCCストリームのグルーピング情報をシグナルする。さらに、部分G-PCCストリームの精細度情報をシグナルする。
　これにより、クライアントは、グルーピング情報および部分G-PCCストリームの精細度情報を参照することで、視聴部分を高精細にするための部分G-PCCストリームを取得することができる。
　ここで、空間分割の方法、および、空間位置情報について説明する。
　例えば、Point Cloudオブジェクトの形状は、最大frame by frameで変わる。そこで、Point Cloudオブジェクトの形状の変化に依存しない、一定の分割ルールを適用することで空間分割を行う。具体的には、Point Cloudオブジェクト全体を含むbox（以下適宜、object boxと称する）に対して、相対的に同じ空間位置を占める直方体ブロック（以下適宜、blockと称する）に含まれる部分Point Cloudオブジェクトを、１つの部分G-PCCストリームとして符号化する。
　図９には、object boxをＸ軸方向で半分に分割する例が示されている。
　図９に示すように、時刻ｔ０のPoint Cloudオブジェクト全体を含むobject boxが、部分Point Cloudオブジェクトｔ０－ａおよびｔ０－ｂにＸ軸方向で半分に分割される。同様に、時刻ｔ１では、部分Point Cloudオブジェクトｔ１－ａおよびｔ１－ｂに分割れ、時刻ｔ２では、部分Point Cloudオブジェクトｔ２－ａおよびｔ２－ｂに分割れる。そして、ａのG-PCCストリームは、部分Point Cloudオブジェクトｔ０－ａ、部分Point Cloudオブジェクトｔ１－ａ、および部分Point Cloudオブジェクトｔ２－ａにより構成される。一方、ｂのG-PCCストリームは、部分Point Cloudオブジェクトｔ０－ｂ、部分Point Cloudオブジェクトｔ１－ｂ、および部分Point Cloudオブジェクトｔ２－ｂにより構成される。
　なお、この方法によれば、部分G-PCCストリームに含まれる部分Point Cloudオブジェクトの全体Point Cloudオブジェクトに対する相対的空間位置が動的に不変となる。相対的空間位置が動的に変わる場合、視聴部分とそれを含む部分G-PCCストリームの関係性が動的に変化する。そのため、クライアントが視聴部分を高精細化するG-PCCストリームを取得する場合、視聴部分が不変であったとしても、取得する高精細なG-PCCストリームを切り替える必要が出てしまう。そこで、この空間分割の手法によって、視聴部分が不変であるときには、取得する高精細なG-PCCストリームを切り替える必要をなくすことができる。
　図１０乃至図１３を参照して、DASH MPDの拡張について説明する。
　例えば、部分G-PCCストリームの空間位置情報およびグルーピング情報を、block information descriptor (schemeIdUri=”urn:mpeg:mepgI:gpcc:block_information:2018”のSupplementalProperty)を新規定義して、Adaptation Setにシグナルする。
　図１０に示すように、空間位置情報は、gpcc:blockInfo要素のblock_offset_x, block_offset_y, block_offset_z, block_size_x, block_size_y, block_size_zの各属性で示す。これらの各属性は、全てobject boxのx, y, z軸の各辺を１とした時の相対値でシグナルする。なお、blockの位置および形状と、部分Point CloudオブジェクトをG-PCC符号化する際のbounding boxの位置および形状は同じものとする。なお、blockの位置および形状のいずれかと、部分Point CloudオブジェクトをG-PCC符号化する際のbounding boxの位置および形状のいずれかが異なる場合には、bounding box内におけるblockの位置および形状を示す情報を別途シグナルすればよい。
　また、グルーピング情報は、gpcc:blockInfo要素のobject_id属性で示す。同一のPoint Cloudオブジェクトを構成する部分G-PCCストリームに対して、同じ値のobject_id属性をシグナルする。
　図１１には、部分G-PCCストリームの空間位置情報およびグルーピング情報のシグナリングの一例が示されており、図１１において太字で記載されている個所に部分G-PCCストリームの空間位置情報およびグルーピング情報がシグナルされている。
　図１２は、各Adaptation Setのblock information descriptorでシグナリングされる空間位置情報のイメージ図である。
　なお、gpcc:blockInfo要素に精細度情報をシグナルする属性を追加した上で、block information descriptorで複数のgpcc:blockInfo要素をシグナルすると、1 G-PCCストリームの空間位置ごとの精細度情報シグナリングが可能になる。例えば、上述した第１のポイントにおいて、この拡張したblock information descriptorを参照して、視聴部分が高精細化されているG-PCCストリームの選択処理を行ってもよい。
　また、空間位置情報シグナリングの変形例として、object boxのx, y, z軸の各辺のサイズをシグナルし、block_offset_x, block_offset_y, block_offset_z, block_size_x, block_size_y, block_size_を、そのサイズに対する相対値でシグナルしてもよい。
　さらに、部分G-PCCストリームの精細度情報を、lod information descriptor (schemeIdUri=”urn:mpeg:mepgI:gpcc:lod_information:2018”のSupplementalProperty)を新規定義して、Representationにシグナルする。例えば、gpcc:lodInfo要素のlod_ranking属性に、精細度ランキング情報をシグナルする。精細度ランキングは、値が小さいほど精細度が高いことを示す。
　図１３には、部分G-PCCストリームの精細度情報のシグナリングの一例が示されており、図１３において太字で記載されている個所に部分G-PCCストリームの精細度情報がシグナルされている。
　ここで、各Adaptation Setのblock information descriptorのシグナリングは、上述した図１１で示したものと同様である。
　なお、精細度情報として、精細度ランキング情報ではなく、octree depthの値をシグナルしてもよい。
　また、図１３に示した例において、クライアントがＸ＋方向から視聴している場合、図１２におけるblock bの部分G-PCCストリームを参照するAdaptation Set@id=”2”は高精細（lod_rankingの値が小さいもの）のRepresentationを選択する。さらに、この場合、block aの部分G-PCCストリームを参照するAdaptationSet@id=”1”は低精細（lod_rankingの値が大きいもの）のRepresentationを選択する。そして、それらの選択に従って、部分G-PCCストリームを取得することで、ネットワーク帯域幅を有効活用した視聴部分の高精細化ができる。例えば、Representation@id=”1-2”とRepresentation@id=”2-1”との２つのRepresentationが参照する部分G-PCCストリームを取得する。
　＜システム構成＞
　図１４および図１５を参照して、本技術を適用したデータ生成装置およびデータ再生装置のシステム構成について説明する。
　図１４には、データ生成装置の構成例を示すブロック図が示されている。
　図１４に示すように、データ生成装置１１は、制御部２１、メモリ２２、ファイル生成部２３を備えて構成される。例えば、メモリ２２には、制御部２１がファイル生成部２３を制御するのに必要な各種のデータが記憶されており、制御部２１は、そのデータを参照して、ファイル生成部２３におけるファイルの生成を制御する。
　ファイル生成部２３は、データ入力部３１、データ符号化・生成部３２、MPD（Media Presentation Description）ファイル生成部３３、記録部３４、および出力部３５を備えて構成される。例えば、データ入力部３１に入力されたデータは、データ符号化・生成部３２およびMPDファイル生成部３３に供給される。そして、データ符号化・生成部３２で生成されたファイルおよびMPDファイル生成部３３で生成されたMPDが、記録部３４を介して出力部３５から出力され、例えば、記録メディアなどに記録される。
　データ符号化・生成部３２は、前処理部３６、符号化部３７、およびファイル生成部３８を有している。
　前処理部３６は、データ入力部３１から入力されるPoint Cloudオブジェクトを分割し、各部分Point Cloudオブジェクトを生成するのと同時に、空間位置情報およびグルーピング情報を生成する処理を実行する。
　符号化部３７は、各部分Point CloudオブジェクトをG-PCC符号化し、部分G-PCCストリームを生成するのと同時に、精細度情報を生成する。
　ファイル生成部３８は、各部分G-PCCストリームを個別のファイルに格納して、記録部３４に供給する。
　図１５には、データ再生装置の構成例を示すブロック図が示されている。
　図１５に示すように、データ再生装置１２は、制御部４１、メモリ４２、および再生処理部４３を備えて構成される。例えば、メモリ４２には、制御部４１が再生処理部４３を制御するのに必要な各種のデータが記憶されており、制御部４１は、そのデータを参照して、再生処理部４３におけるPoint Cloudの再生を制御する。
　再生処理部４３は、取得部５１、表示制御部５２、データ解析・復号部５３、および表示部５４を備えて構成される。例えば、取得部５１により取得された、即ち、記録メディアなどから読み出されたファイルおよびMPDは、データ解析・復号部５３に供給される。そして、表示制御部５２による表示制御に従ってデータ解析・復号部５３において生成された表示画面が、表示部５４において表示される。
　データ解析・復号部５３は、ファイル解析部５５、復号部５６、および表示情報生成部５７を有している。
　ファイル解析部５５は、上述したような各種の情報がシグナリングされたメタデータを解析する。
　また、復号部５６は、部分G-PCCストリームを復号する処理を実行する。
　また、表示情報生成部５７は、空間位置情報に基づいてPoint Cloudオブジェクトを再構成し、Point Cloudをレンダリングして表示画面を生成して、表示部５４に表示させる。
　＜生成処理および再生処理＞
　図１６は、データ生成装置１１のデータ符号化・生成部３２が、部分G-PCCストリームが格納されたファイルを生成する生成処理を説明するフローチャートである。
　ステップＳ１１において、前処理部３６は、Point Cloudオブジェクトを分割し、各部分Point Cloudオブジェクトを生成するのと同時に、空間位置情報およびグルーピング情報を生成する。
　ステップＳ１２において、符号化部３７は、各部分Point CloudオブジェクトをG-PCC符号化し、部分G-PCCストリームを生成するのと同時に、精細度情報を生成する。
　ステップＳ１３において、ファイル生成部３８は、各部分G-PCCストリームを個別のファイルに格納して、記録部３４に供給する。
　ステップＳ１４において、MPDファイル生成部３３は、各部分G-PCCストリームの空間位置情報、グルーピング情報、および精細度情報を含むMPDを生成して、記録部３４に供給する。そして、記録部３４により、部分G-PCCストリームが格納されたファイルとともにMPDが出力部３５から出力された後、処理は終了される。
　図１７は、データ再生装置１２が、部分G-PCCストリームが格納されたファイルを再生する再生処理を説明するフローチャートである。
　ステップＳ２１において、取得部５１は、MPDを取得する。
　ステップＳ２２において、表示制御部５２は、ステップＳ２１で取得部５１が取得したＭＰＤの空間位置情報に基づいて、現在の視野から見える部分G-PCCストリームのAdaptation Setと、見えない部分G-PCCストリームのAdaptation Setとを識別する。
　ステップＳ２３において、表示制御部５２は、ＭＰＤの精細度情報に基づいて、現在の視点位置および視野方向から見える部分G-PCCストリームについて、高精細なRepresentationを選択する。
　ステップＳ２４において、表示制御部５２は、ＭＰＤの精細度情報に基づいて、現在の視点位置および視野方向から見えない部分G-PCCストリームについて、低精細なRepresentationを選択する。
　ステップＳ２５において、取得部５１は、ステップＳ２３およびＳ２４で表示制御部５２が選択したRepresentationから参照される部分G-PCCストリームを全て取得して、データ解析・復号部５３に供給する。
　ステップＳ２６において、データ解析・復号部５３では、復号部５６が、取得した部分G-PCCストリームをデコードし、表示情報生成部５７が、空間位置情報に基づいてPoint Cloudオブジェクトを再構成して表示画面をレンダリングする。そして、表示情報生成部５７によりレンダリングされた表示画面が、表示部５４に表示される。
　ステップＳ２７において、表示制御部５２は、ストリームの終端であるか否かを判定する。ステップＳ２７において、表示制御部５２が、ストリームの終端でないと判定した場合、処理はステップＳ２８に進む。
　ステップＳ２８において、表示制御部５２は、視野方向が変更されたか否かを判定し、視野方向が変更されていないと判定した場合には処理はステップＳ２６に戻り、視野方向が変更されたと判定した場合には処理はステップＳ２２に戻って、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ２７において、表示制御部５２は、ストリームの終端であると判定した場合、処理は終了される。
　ところで、前述した空間位置情報のシグナリングのみでは、特定の視聴方向から視聴できる部分G-PCCストリームを全て識別できないことが発生すると想定される。
　例えば、図１８においてハッチングが施されている領域は、部分G-PCCストリームa内に存在するが、図１８において矢印で示す視聴方向から視聴可能である。このとき、視聴可能部分を高精細化するためには、空間位置情報をもとに視聴部分として識別される部分G-PCCストリームbに加え、部分G-PCCストリームaも高精細で取得する必要がある。しかしながら、前述した空間位置情報のシグナリングのみでは、部分G-PCCストリームaは低精細で取得してしまうため、高品位なG-PCCストリーム配信とならない。
　そこで、Point Cloudオブジェクトのローカル座標系を基準とした方向ごとに、表示に必要な部分G-PCCストリーム全てを識別するための情報を付加する。
　例えば、この部分G-PCCストリームの方向対応情報を、block information descriptorを拡張してシグナルする。具体的には、gpcc:directionInfo要素のdirection属性を追加する。
　図１９には、部分G-PCCストリームの方向対応情報をシグナリングする一例が示されており、図１９において太字で記載されている個所に部分G-PCCストリームの方向対応情報がシグナルされている。
　例えば、Adaptation Set@id=”1”は、図１８における部分G-PCCストリームaに該当し、X+, Y+, X-, Y-, Z+, Z-の全方向を視聴する場合において必要な部分G-PCCストリームであることを示している。また、Adaptation Set@id=”2”は、部分G-PCCストリームbに該当し、X+, Y+, Y-, Z+, Z-の方向を視聴する場合において必要な部分G-PCCストリームであることを示し、X-の方向を視聴する場合には不要である。
　このように、方向対応情報をシグナルすることで、クライアントの視聴方向に必要な部分G-PCCストリームを正しく識別し、全て高精細で取得することができる。
　なお、１つの部分G-PCCストリームが複数の方向に対応する場合において、direction属性に空白区切りで方向情報をシグナルせずに、複数のgpcc:directionInfo要素をシグナルしてもよい。また、部分G-PCCストリームの方向対応情報のみ、個別のdescriptorでシグナルしてもよい。
　さらに、gpcc:directionInfo要素がシグナルされている場合、gpcc:blockInfo要素をシグナルしなくてもよいし、一緒に利用してもよい。一緒に利用する場合、gpcc:directionInfo要素を参照して視聴部分の表示に必要な部分G-PCCストリームを全て識別した上で、gpcc:blockInfo要素を参照してblockごとの細かな精細度変更を行うことができる。
　ところで、時間経過とともにPoint Cloudオブジェクトの外形が大きく変わり、ポイントがない、空の部分G-PCCストリームができる場合において、視聴部分に応じた取得処理が適切に行えないことがあるということが懸念される。
　図２０を参照して、動的に変化する空間位置情報および方向対応情報の必要性について説明する。
　図２０の上側に示すように、クライアントは視聴部分を高精細化する場合、視聴部分に相当するblock bおよびblock dをそれぞれ含む２つの部分G-PCCストリームを、高精細（depth=10）で取得することになる。その後、図２０の下側に示すように、時刻ｔＮにおいてPoint Cloudオブジェクトの外形が変化した場合、block bは空であるにもかかわらず、block bを含む部分G-PCCストリームを高精細で取得することになる。
　このため、時刻ｔＮにおける視聴部分を高精細化するためには、block aおよびblock dをそれぞれ含む部分G-PCCストリームを取得する必要がある。
　そこで、動的に変化する方向対応情報および空間位置情報を付加する。具体的には、dynamic block information descriptor (schemeIdUri=”urn:mpeg:mepgI:gpcc:dynamic_block_information:2018”のSupplementalProperty)を新規定義して、AdaptationSetにシグナルする。
　例えば、gpcc:dynamicBlockInfo要素のblock_info_id属性には、このAdaptation Set内のRepresentationが参照する部分G-PCCストリームに紐づく、動的に変化する空間位置情報および方向対応情報をシグナルするtimed metadataを参照するRepresentationのidがシグナルされる。なお、object_id属性は、前述の通りである。
　また、timed metatadataを参照するRepresentationには、このRepresentationを動的に変化する空間位置情報および方向対応情報が適用される部分G-PCCストリームのRepresentationに紐づけるため、Representation@associationIdおよびRepresentation@associationTypeを利用する。さらに、associationTypeには、動的に変化する空間位置情報および方向対応情報であることを示す、”dbif”をシグナルする。
　図２１には、動的に変化する空間位置情報および方向対応情報のシグナリングの一例が示されており、図２１において太字で記載されている個所に、動的に変化する空間位置情報および方向対応情報がシグナルされている。
　即ち、上記timed metadataのsampleには、各時刻における方向対応情報をシグナルする。これにより、時刻ごとに各blockがどの方向に対応するのかの情報をシグナルできる。
　図２２には、timed metadataのsample entryのシンタックスの一例が示されており、図２３には、timed metadataのsampleのシンタックスの一例が示されている。
　なお、directionフィールドのセマンティクスは、block information descriptorのgpcc:directionInfo要素のdirection属性と同様である。
　また、図２４に示すように、各時間における空間位置情報をシグナルしてもよい。これにより、動的に空間分割方法を変更できるため、空となるblockが生じない空間分割を行うことができる。
　なお、各フィールドのセマンティクスは、block information descriptorのgpcc:blockInfo要素の同名属性と同様である。
　このようなシグナリングにより、クライアントは、動的に変わる空間位置情報および方向対応情報を参照し、Point Cloudオブジェクトの外形が動的に大きく変わる場合においても、視聴部分を高精細化するための部分G-PCCストリームを適切に取得可能となる。
　図２５および図２６を参照して、ISOBMFFの拡張について説明する。
　例えば、ISOBMFFファイルの各trackに部分G-PCCストリームを格納する。このとき、１つのPoint Cloudオブジェクトを構成するtrack群を明示するために、ISOBMFFで定義されているtrack group機能を利用してグルーピングする。
　具体的には、図２５に示すように、TrackGroupTypeBoxを拡張し、BlockGroupBox (‘blgp’)を新規に定義する。即ち、同じtrack_group_idのBlockGroupBoxがシグナルされるtrackは、同一のPoint Cloudオブジェクトを構成する部分G-PCCストリームを格納していることを示す。
　例えば、BlockGroupBoxには、DASH MPD拡張と同様、部分G-PCCストリームの空間位置情報、精細度情報、方向対応情報、並びに、動的に変化する空間位置情報および方向対応情報を持つtimed metadataへの参照情報がシグナルされる。なお、動的に変化する空間位置情報および方向対応情報を持つtimed metadataを格納するtrackは、refrence_type=’dbif’のtrack referenceによって、そのtimed metadataが適用される部分G-PCCストリームを格納するtrackに紐づけられる。
　これにより、クライアントは、このblgpの情報を参照してtrack選択を行い、視聴部分に相当する部分G-PCCストリームの優先デコードが可能となる。
　図２６には、BlockGroupBoxに部分G-PCCストリームの空間位置情報をシグナルする場合のシンタックスが示されている。ここで、各フィールドのセマンティクスは、block information descriptorのgpcc:blockInfo要素の同名属性と同様である。
　なお、track group機能ではなく、EntityToGroupBoxを用いてグルーピングをシグナルしてもよい。また、精細度情報は、個別のBoxとしてtrackのsample entryにシグナルしてもよい。また、動的に変化する空間位置情報および方向対応情報はsample groupでシグナルしてもよい。
　さらに、空間位置情報とその空間位置毎の精細度情報を有する新規Boxを定義すると、1 G-PCCストリームの空間位置ごとの精細度情報シグナリングが可能になる。例えば、上述した第１のポイントにおいて、このBoxを参照して、視聴部分が高精細化されているG-PCCストリームを格納しているtrackの選択処理を行ってもよい。
　図２７乃至図２９を参照して、空間分割により生成した部分G-PCCストリームを配信する第２のポイントの第２の手法について説明する。
　図２７に示すように、１つのPoint Cloudオブジェクトを、低精細な全体Point Cloudオブジェクトと、その一部分を高精細にするための部分Point Cloudオブジェクトに階層化し、それぞれを符号化して部分G-PCCストリームを生成・配信する方法である。図２７には、Point Cloudオブジェクトを、低精細な全体Point Cloudオブジェクトと、２つの部分Point Cloudオブジェクトとに階層化する例が示されている。
　例えば、一部分を高精細化する部分G-PCCストリームには、以下のバリエーションがある。
・部分G-PCCストリーム単体で高精細となるもの（バリエーション１）
・部分G-PCCストリーム単体では低精細であり、低精細な全体G-PCCストリームと組み合わせる事で高精細な部分を構成するもの（バリエーション２）
　なお、バリエーション２の一部分を高精細化する部分G-PCCストリームは、低精細な全体G-PCCストリームとは重複しないポイントを持つ。
　バリエーション１については、第２のポイントの第１の手法と同様のシグナリングを利用することで、クライアントは、全体G-PCCストリーム、部分G-PCCストリームの空間位置情報、グルーピング情報、および精細度情報を識別でき、視聴部分を高精細にするための全体・部分G-PCCストリームを取得することができる。
　バリエーション２についても同様のシグナリングを利用することはできるが、クライアントは視聴部分を高精細化するために、組み合わせるべき部分G-PCCストリームと全体G-PCCストリームとを識別することができない。そのため、クライアントは、視聴部分を高精細化するための適切なG-PCCストリームを取得することができない。
　そこで、組み合わせて高精細化できる部分G-PCCストリームと全体G-PCCストリームとを紐づける情報をシグナルする。これにより、クライアントは、この情報を参照することで、バリエーション２においても視聴部分を高精細にするための部分G-PCCストリームを取得することができる。
　次に、図２８および図２９を参照して、DASH MPDの拡張について説明する。
　例えば、MPEG-DASHで規定されるassociationIdおよびassociationTypeを利用して、組み合わせることで高精細な部分を構成する部分G-PCCストリームと全体G-PCCストリームを紐づける。
　そして、部分G-PCCストリームのRepresentationにおいて、associationIdには、組み合わせる全体G-PCCストリームのRepresentation@idをシグナルする。さらに、associationTypeには、紐づくRepresentationが部分G-PCCストリームと組み合わせることで高精細化が可能な全体G-PCCストリームであることを示す”pbas”をシグナルする。
　また、両者を組み合わせた結果としての精細度情報を、上述した第２のポイントの第１の手法で定義したlod information descriptorを拡張し、gpcc:combinedAreaLodInfoでシグナルする。さらに、combined_rep_id属性には、組み合わせる全体G-PCCストリームのRepresentation@idをシグナルし、lod_ranking属性では、両者を組み合わせた結果としての精細度情報をシグナルする。
　図２８には、組み合わせられる各G-PCCストリームの空間位置情報のシグナリングの一例が示されており、図２８において、太字で記載されている個所に、組み合わせられる各G-PCCストリームの空間位置情報がシグナルされている。
　図２９には、図２８に示すようにシグナリングされる空間位置情報のイメージ図が示されている。
　なお、associationId, associationTypeによる紐づけがなされていない場合、部分G-PCCストリーム単体で高精細となることを示す。
　また、部分G-PCCストリームが低精細であり、単独での再生を禁止したい場合、associationIdの代わりにdependencyIdで紐づける。または、SupplementalPropertyもしくはEssentialPropertyを用い、単独再生を禁止するdescriptorを定義してもよい。
　さらに、associationId、associationTypeを用いて、全体G-PCCストリームから部分G-PCCストリームを参照してもよい。
　このシグナリングにより、クライアントは組み合わせて視聴部分を高精細化するための適切なG-PCCストリーム取得することができる。
　なお、このシグナリングは、低精細な部分G-PCCストリーム同士を組み合わせることで高精細な部分を構成する場合にも、利用可能である。
　次に、図３０および図３１を参照して、ISOBMFFの拡張について説明する。
　図３０に示すように、ISOBMFFファイルの各trackに階層化で生成した部分G-PCCストリームを格納する。このとき、ISOBMFFで定義されているtrack referenceの仕組みを利用することで、組み合わせることで高精細な部分を構成する部分G-PCCストリームと全体G-PCCストリームを紐づける。なお、reference_typeは’pbas’とする。
　例えば、track#3は、低精細な全体G-PCCストリーム、track#1およびtrack#2は、それぞれ全体Point Cloudオブジェクトの異なる部分に相当する部分G-PCCストリームを格納している。そして、reference_type=’pbas’のtrefにより、track#3の全体G-PCCストリームと組み合わせて高精細な部分を構成することが示されている。
　これにより、クライアントは、このtrack referenceのシグナリングにより、組み合わせて視聴部分を高精細化するための適切なG-PCCストリームを格納するtrackを選択、再生することができる。
　さらに、複数のG-PCCストリームを組み合わせた結果としての精細度情報をシグナルするCombinedAreaLodInfoBox(‘cloi’)を新規定義して、上述した第２のポイントの第１の手法で定義したBlockGroupBoxにシグナルする。
　図３１には、CombinedAreaLodInfoBox(‘cloi’)のシンタックスが示されている。
　図３１に示すように、combined_track_idフィールドで示されるtrackと組み合わせたときの精細度情報を、lod_rankingフィールドでシグナルする。lod_rankingフィールドのセマンティクスは、上述した第１のポイントのDirectionInformationBoxの同名フィールドと同様である。
　なお、上述した第２のポイントは、G-PCCのみではなく、Video based PCC (V-PCC)符号化されたストリームや、meshストリームおよびtextureストリームで構成されるものなど、3Dオブジェクト全般に適用可能である。
　＜第１および第２のポイントの変形例＞
　ここで、第１および第２のポイントの変形例について説明する。
　例えば、第１のポイントにおいて、Voxelを区切る細かさを変更し、精細度を変える単位が、Point Cloudオブジェクトの中で独立してエンコードおよびデコードできるポイントの集合であってもよい。このポイントの集合をbrickと呼ぶ。なお、brickは、現在MPEGで議論中の符号化ツールであるtileとしてもよい。tileはsliceの集合であり、sliceは独立してエンコードおよびデコードできるポイントの集合である（上述の非特許文献２参照）。
　また、第２のポイントにおいて、部分G-PCCストリームが１つ、もしくは複数のbrickから構成されるように符号化されていてもよい。
　いずれの場合も、第１および第２のポイントで上述したようなシグナリングが適用可能である。
　さらに、1 G-PCCストリームを複数のbrickから構成されるように符号化することで、視聴部分に相当するbrickから優先的にデコード、レンダリングすることが可能になる。これは、デコードおよびレンダリングのパフォーマンスの低いクライアントにとって価値のあるユースケースである。
　また、従来のようにMPEGにおけるtileを用いる技術では、G-PCCストリーム内のbrickデータの空間位置情報はG-PCCストリームにシグナルすることが想定されている。この場合、視聴部分に相当するbrickデータにアクセスするには、一度G-PCCストリームをデコードする必要があり、処理のオーバーヘッドが大きい。また、視聴部分に相当するbrickを選択・デコードする場合において、上述した第２のポイントの第１の手法と同様に、brickの空間位置情報を、G-PCCストリーム内のbrickを構成するデータ単位で紐づける必要がある。
　そこで、図３２乃至図３７を参照して、brickの空間位置情報を、G-PCCストリーム内のbrickを構成するデータ単位で紐づけるためのISOBMFFの拡張について説明する。
　例えば、ISOBMFFで定義されているsample groupの機能を利用し、brickの空間位置情報を、G-PCCストリーム内のbrickを構成するデータ単位で紐づけることができる。具体的には、brickごとの空間位置情報をシグナルするBrickGroupEntryと、そのbrickごとの空間位置情報をG-PCCストリーム内のbrickを構成するデータ単位で紐づけるためのUnitMapEntryを新たに定義する。
　図３２には、BrickGroupEntryのシンタックスが示されており、図３３には、UnitMapEntryのシンタックスが示されている。
　図３２および図３３に示すシンタックスにおいて、BrickGroupEntryのbrick_offset_x, brick_offset_y, brick_offset_z, brick_size_x, brick_size_y, brick_size_zのセマンティクスは、上述した第２のポイントの第１の手法におけるBlockGroupBoxのblock_offset_x, block_offset_y, block_offset_z, block_size_x, block_size_y, block_size_zとそれぞれ同一である。
　また、UnitMapEntryのunit_indexは、groupIDで紐づくBrickGroupEntryが適用されるG-PCCストリーム内のbrickを構成するデータ単位のインデックス情報を示す。
　このunit_indexは、groupIDで紐づくBrickGroupEntryが適用されるG-PCCストリーム内のbrickを構成するGeometry bitstreamおよびAttribute bitstreamについて、それぞれを構成するデータ単位ごとに割り当てられてもよい。
　なお、MPEGで議論中の符号化ツールであるtileを適用する場合、BrickGroupEntryのbrick_offset_x, brick_offset_y, brick_offset_z, brick_size_x, brick_size_y, brick_size_zでシグナルされる領域は、tileのbounding boxの領域、または、複数tileのbounding boxの合計領域と一致する。
　図３４には、BrickGroupEntryおよびUnitMapEntryの運用例が示されている。
　図３４に示すように、G-PCCストリームの1 Point Cloudフレームを1 ISOBMFF sampleとし、brickを構成するデータ単位はGeometry bitstream (Geom)と紐づく、１つまたは複数のAttribute bitstream (Attr)である。
　例えば、クライアントが視聴部分に相当するbrickのみデコードしようとする場合、まず、grouping_type=’blif’のSampleGroupDescriptionBoxの各BrickGroupEntryを参照し、所望のbrickのgroupIDを識別する。次に、grouping_type=’unim’のSampleToGroupBoxおよびSampleGroupDescriptionBoxを参照し、各sampleが紐づくUnitMapEntryに所望のbrickのgroupIDのunit_indexが含まれていれば、sample内のそのunitのみデコードする。
　このシグナリングにより、図３５に示すように、オブジェクトの動きに合わせて動的にbrick構成を変更し、空のbrickをなくすことができる。
　そして、これらのシグナリングを参照することで、視聴部分に相当するbrickデータに直接アクセスし、優先的にデコード、レンダリングすることが可能になる。
　さらに、変形例として、brickごとに分割して個別にISOBMFF trackに格納してもよい。例えば、brick base trackおよびbrick trackの２種類を定義する。
　brick base trackは、G-PCCストリームは格納せず、そのsample entryに全体G-PCCストリームのproile，level、およびbrick trackに格納されるG-PCCストリームをデコードするために必要な共通のパラメータセットを格納する。なお、sample entryのタイプは、’gpbb’とする。
　brick trackは、1つまたは複数のbrickからなるG-PCCストリームを格納し、そのsample entryに、trackに格納するG-PCCストリームのprofile, level、および格納するG-PCCストリームのみのデコードに必要なパラメータセットを格納する。なお、sample entryのタイプは、’gpcb’とする。
　さらに、brick base trackからbrick trackへreference_type=’gpbt’のtrack referenceをシグナルし、brick trackからbrick base trackへreference_type=’gpbb’のtrack referenceをシグナルする。
　図３６には、brick base trackおよびbrick trackの構成図が示されている。
　図３６に示すようなシグナリングにより、brick trackに格納されるパラメータセット、および紐づくbrick base trackに格納されるパラメータセットを参照することで、brick trackを単独デコードできる。つまり、視聴部分に相当するbrickデータを含むbrick trackを選択し、優先的にデコード、レンダリングすることが可能になる。
　さらに、brick base trackから参照されるbrick trackに格納されるG-PCCストリームのsampleをもとに全体G-PCCストリームを再構成し、single decoderでデコードできる。
　なお、各brick trackをtrack groupまたはEntityToGroupBoxでグルーピングし、brick base trackからのtrack referenceで、track groupの場合にはtrack_group_idを参照し、EntityToGroupの場合にはgorup_idを参照してもよい。
　このようなISOBMFF拡張によるシグナリングは、brickで構成されるストリームのみでなく、上述した第２のポイントで言及した部分G-PCCストリームに対しても同様に適用可能である。この際、brickをblockとみなせばよい。
　また、図３７に示すように、brickの空間位置情報（brick_offset_x, brick_offset_y, brick_offset_z, brick_size_x, brick_size_y, brick_size_z）を、elementary streamのhigh level syntaxを拡張してシグナルしてもよい。
　例えば、G-PCCストリーム中のbrickを構成するデータユニットは、brick_idを通じて空間位置情報と紐づけられる。
　これにより、クライアントは、G-PCCストリームをデコードする際、このbrick_inventoryを参照することで全体のbrick構成を容易に識別でき、brick_idを通じて視聴部分に相当するbrickのデータユニットを識別して、デコードすることができる。
　＜第３のポイント＞
　図３８乃至図４３を参照して、Point Cloudオブジェクトの低精細な部分のレンダリング処理を指定する第３のポイントについて説明する。
　例えば、Point Cloudオブジェクトについて、低精細な部分をそのままレンダリングすると、例えば、Point Cloudオブジェクトの反対側が透けて見えるなど、主観品質が低下する。このとき、低精細な部分のポイントのサイズを大きくするなどしてレンダリングすることで、主観品質を向上できる。
　従って、コンテンツ生成側が、低精細な部分の主観品質向上のために必要なレンダリング処理を指定し、クライアント側でそのレンダリング処理を実行することで、コンテンツ生成側の意図に沿った形で、Point Cloudオブジェクトの低精細な部分の主観品質を向上することができる。
　しかしながら、主観品質向上のためのレンダリングに必要なパラメータはG-PCCストリーム内にシグナルすることが想定されており、クライアントはG-PCCストリーム選択時において、主観品質向上レンダリング処理が必要か否か識別できない。
　そのため、レンダリング処理の実行が必要か否かを識別できるのはストリーム取得後になってしまい、クライアントが主観品質向上のためのレンダリング処理に非対応であった場合には、適切なレンダリングを実行することができない。もしくは、主観品質向上のためのレンダリング処理不要な別のストリーム取得し直すことになり、処理効率が低下することになる。
　従って、低精細なG-PCCストリームの主観品質向上のためのレンダリング処理が必要か否かを識別するための情報をシグナルすることによって、適切なレンダリングを実行できないことや、処理効率が低下することなど回避することができる。
　これにより、クライアントは自身の主観品質向上レンダリング処理能力を考慮し、処理できるならば低精細なG-PCCストリームを取得し、主観品質向上レンダリング処理を行うことで、主観品質は維持しつつ、G-PCCストリーム配信に必要なネットワーク帯域幅を削減することができる。
　ここで、DASH MPDの拡張について説明する。
　例えば、G-PCCストリームのレンダリング処理方法を、rendering information descriptor (schemeIdUri=”urn:mpeg:mepgI:gpcc:rendering_information:2018”のEssentialProperty)を新規定義して、Representationにシグナルする。
　そして、gpcc:renderingInfo要素のtype属性で、レンダリング処理方法をシグナルする。type=0のときは、一般的な処理手法である、Voxel形状でレンダリングすることを示し、type=1のときは、G-PCCストリーム内でシグナルされたパラメータに従いレンダリング処理を実行すること示す。G-PCCストリーム内のパラメータは、例えば、Voxelに内接する球としてレンダリングする、等である。
　図３８には、レンダリング処理方法のシグナリングする一例が示されており、図３８において、太字で記載されている個所にレンダリング処理方法がシグナルされている。
　例えば、主観品質向上レンダリング処理に対応しているクライアントであれば、帯域が狭い場合において、id=1-3のRepresentation、つまり、より低精細なストリームを取得でき、G-PCCストリーム配信に必要なネットワーク帯域幅を削減できる。
　なお、gpcc:renderingInfo要素のtypeでシグナルされた処理を強制するのではなく、コンテンツ生成側のおすすめ処理としてもよい。
　次に、ISOBMFFの拡張について説明する。
　例えば、ISOBMFF trackにおいて、主観品質向上レンダリング処理の情報をポストデコーディング処理情報としてシグナルする。
　具体的には、sample entry下の、ISOBMFFで定義されたRestrictedSchemeInformationBox (‘rinf’) を用いる。rinfは、デコード後のポストプロセス情報を格納するBoxである。rinf下のSchemeTypeBox (‘schm’) のscheme_typeは、主観品質向上レンダリング情報が格納されていることを示すために、’rndi’とする。
　図３９には、RenderingInformationBoxのシグナル例が示されている。
　図３９に示すように、SchemeInformationBox (‘schi’)は、schmのscheme_typeで指定された情報が格納されるBoxであり、scheme_type=’rndi’に対応するRenderingInformationBox (‘rndi’) をシグナルされる。
　図４０には、RenderingInformationBoxのシンタックスの一例が示されている。
　なお、typeフィールドのセマンティクスは、rendering information descriptorのgpcc:renderingInfo要素の同名属性と同様である。
　図４０に示すようなシグナリングにより、クライアントはrndiのtypeを識別でき、適切なレンダリング処理を実行できる。また、rndiのtypeでシグナルされるレンダリング処理を実行できない場合には、そのtrackを選択せず、同一ISOBMFFファイル内の他のtrackを選択するという処理が可能になる。
　ここで、第３のポイントの変形例について説明する。
　例えば、上述した第２のポイントの第２の手法のように階層化により生成した部分G-PCCストリーム配信に対して適用する場合、他のG-PCCストリームと組み合わせて高精細化される部分は、主観品質向上のためのレンダリング処理が不要である。この時、クライアントはPoint Cloudオブジェクトの部分ごとに主観品質向上のためのレンダリング処理を変更する必要がある。よって、適切なレンダリング処理を実行できるクライアントのみが前述のG-PCCストリームを取得できるようにするための情報を付加する。
　例えば、他のG-PCCストリームと組み合わせることで高精細化される部分の処理タイプをシグナルすることができる。
　ここで、DASH MPDの拡張について説明する。
　例えば、rendering information descriptorを拡張し、他のG-PCCストリームと組み合わせることで高精細化される部分の処理タイプをシグナルする。
　具体的には、gpcc:combinedAreaRenderingInfo要素を追加し、そのcombined_rep_id属性で組み合わせるG-PCCストリームのRepresentation@idをシグナルする。また、gpcc:combinedAreaRenderingInfo要素のtype属性で、組み合わせることで高精細化される部分の処理タイプをシグナルする。なお、セマンティクスはgpcc:renderingInfo要素のtype属性と同一である。
　図４１には、高精細化される部分の処理タイプのシンタックスが示されている。図４１において太字で記載されている個所に、高精細化される部分の処理タイプがシグナルされている。
　図４１に示すシグナリングにより、gpcc:renderingInfo要素とgpcc:combinedAreaRenderingInfo要素のtypeを踏まえ、クライアント処理能力、例えば、Point Cloudオブジェクトの部分ごとに主観品質向上のためのレンダリング処理を変更して適用できるクライアントであれば、より低精細なストリームを取得できる。
　次に、ISOBMFFの拡張について説明する。
　例えば、前述のRenderingInformationBox (‘rndi’)を拡張し、combined_track_existsフィールド、comnbined_track_idフィールド、およびcombined_area_typeフィールドをシグナルする。
　また、combined_track_existsフィールドは、組み合わせることで高精細な部分を構成するG-PCCストリームにreference_type = ’pbas’のtrack referenceで紐づいているか否かを示す。また、combined_trak_idフィールドは、組み合わせるG-PCCストリームのtrack_idをシグナルする。combined_area_typeフィールドで、組み合わせることで高精細化される部分の処理タイプをシグナルする。
　これにより、クライアントは、これらの情報を識別し、適切なレンダリング処理を実行することができる。
　図４２には、combined_track_existsフィールド、comnbined_track_idフィールド、およびcombined_area_typeフィールドを追加したシンタックスが示されている。図４２において太字で記載されている個所に、combined_track_existsフィールド、comnbined_track_idフィールド、およびcombined_area_typeフィールドがシグナルされている。
　さらに、組み合わせることで高精細化される部分について、位置が一致し、重なるポイントがある場合において、組み合わせるG-PCCストリームのどちらのポイントをレンダリングするかの情報をシグナルしてもよい。この情報により、クライアントはコンテンツ生成側の意図に沿ったレンダリングを実行することが可能となる。
　具体的には、RenderingInformationBoxをさらに拡張し、priority_flagフィールドを追加する。そして、priority_flag=1の場合には、そのRenderingInformationBoxを持つtrackのG-PCCストリームがcombined_track_idのtrackのG-PCCストリームよりもレンダリングの優先度が高いことを示し、重なるポイントについては、priority_flag=1のtrackのG-PCCストリームのポイントのみレンダリングされる。一方、priority_flag=0の場合には逆に、重なるポイントについてはcombined_track_idのtrackのG-PCCストリームのポイントのみレンダリングされる。
　図４３には、priority_flagフィールドを追加したシンタックスが示されており、図４３において太字で記載されている個所に、priority_flagフィールドがシグナルされている。
　ここで、図４４には、上述したSample Group概要が示されている。
　図４４に示すSampleToGroupBoxのgrouping_typeは、紐づけられるSampleGroupDescriptionBoxのgrouping_typeを示す。また、1 entryにつき、sample_countとgroup_description_indexがシグナルされる。そして、group_description_indexは、紐づくGroupEntryのindexを示し、sample_countは、そのGroupEntryに属するsample数を示す。
　以上のように、本技術は、Point CloudオブジェクトをGeometryベースで符号化したPoint CloudストリームであるG-PCCストリームを、ユーザの視聴部分に応じて配信する際に、第１のポイントとして、１つのPoint Cloudオブジェクトの部分毎に精細度を変えて符号化したG-PCCストリームを配信することができる。または、第２のポイントとして、１つのPoint Cloudオブジェクトを複数の部分オブジェクトに分割し、それらの部分オブジェクトそれぞれの精細度を変えて符号化した部分G-PCCストリームを配信することができる。
　そして、第１のポイントでG-PCCストリームを配信するときに、G-PCCストリームに対して高精細となっている方向情報および精細度情報を付加することにより、クライアントは、それらの情報を参照し、視聴部分が高精細となるG-PCCストリームを取得することができる。
　または、第２のポイントで部分G-PCCストリームを配信するときに、各部分G-PCCストリームに対して空間位置情報および精細度情報を付加することにより、クライアントは、それらの情報を参照し、視聴部分が高精細となるよう部分G-PCCストリームを取得することができる。
　さらに、第３のポイントとして、低精細な部分、つまり、ポイントが疎になっている部分の主観的品質を向上させるために有効なレンダリング処理が必要か否かの情報を付加することができる。これにより、クライアントは、そのレンダリング処理の実行が可能であれば、より低精細な部分を含むG-PCCストリームを取得することで、G-PCCストリーム配信に必要なネットワーク帯域幅を削減することができる。
　なお、これらの付加される情報は、DASH MPDまたはISOBMFFを拡張することによりシグナルされる。
　そして、以上のようなポイントによって、ユーザの視聴部分が高精細となり、ユーザの視聴部分以外は低精細となるようにG-PCCストリームを配信することで、ネットワーク帯域幅を有効活用し、高品位、つまり途切れず高精細なG-PCCストリーム配信を実現することができる。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図４５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　Point Cloudデータを３次元構造ベースで符号化してPoint Cloudデータ符号化ストリームを生成する際に、前記Point Cloudデータが複数の部分に分割された個々の部分となる部分Point Cloudデータそれぞれの空間上の位置を示す空間位置情報と、それらの部分Point Cloudデータをグルーピングするグルーピング情報とを含むファイルを生成するファイル生成部
　を備える情報処理装置。
（２）
　前記ファイル生成部により生成された前記ファイルは、前記Point Cloudデータのローカル座標系を基準に前記部分Point Cloudを表示するのに必用となる方向を示す方向対応情報をさらに含む
　上記（１）に記載の情報処理装置。
（３）
　前記ファイル生成部により生成された前記ファイルは、動的に変化する前記空間位置情報をさらに含む
　上記（２）に記載の情報処理装置。
（４）
　前記ファイル生成部により生成された前記ファイルは、動的に変化する前記方向対応情報をさらに含む
　上記（２）に記載の情報処理装置。
（５）
　前記ファイル生成部により生成された前記ファイルは、DASH MPD（Dynamic Adaptive Streaming over HTTP Media Presentation Description）、または、ISOBMFF（ISO Base Media File Format）構造を有するファイルである
　上記（３）または（４）に記載の情報処理装置。
（６）
　前記部分は、前記Point Cloudデータの中で独立してエンコードおよびデコードできるポイントの集合であるbrickで構成されており、
　前記ファイル生成部により生成された前記ファイルは、前記brickの空間位置情報を、前記Point Cloudデータのストリーム内の前記brickを構成するデータ単位で紐づける情報をさらに含む
　上記（１）から（５）までのいずれかに記載の情報処理装置。
（７）
　前記部分Point Cloudデータは、前記Point Cloudデータの中で独立してエンコードおよびデコードできるポイントの集合であるbrickで構成されており、
　前記ファイル生成部により生成された前記ファイルは、前記brickの空間位置情報を、前記部分Point Cloudデータのストリーム内の前記brickを構成するデータ単位で紐づける情報をさらに含む
　上記（１）から（６）までのいずれかに記載の情報処理装置。
（８）
　前記部分Point Cloudデータは、前記Point Cloudデータの中で独立してエンコードおよびデコードできるポイントの集合であるbrickで構成されており、
　前記ファイル生成部により生成された前記ファイルは、前記brickの空間位置情報を、前記部分Point Cloudデータのストリーム内の前記brickを構成するデータ単位で紐づける情報をさらに含む
　上記（１）から（７）までのいずれかに記載の情報処理装置。
（９）
　情報処理装置が、
　Point Cloudデータを３次元構造ベースで符号化してデータ符号化ストリームを生成する際に、前記Point Cloudデータが複数の部分に分割された個々の部分となる部分Point Cloudデータそれぞれの空間上の位置を示す空間位置情報と、それらの部分Point Cloudデータをグルーピングするグルーピング情報とを含むファイルを生成すること
　を含む情報処理方法。
（１０）
　Point Cloudデータを３次元構造ベースで符号化してPoint Cloudデータ符号化ストリームを生成する際に、符号化された部分の精細度を示す部分精細度情報を生成する符号化部を備え、
　前記符号化部は、前記部分精細度情報に基づいて、前記Point Cloudデータのローカル座標系を基準に、相対的に高画質である領域についての方向を示す方向情報を生成する
　情報処理装置。
（１１）
　前記符号化部により生成された前記部分精細度情報および前記方向情報を含むファイルを生成するファイル生成部
　をさらに備える上記（１０）に記載の情報処理装置。
（１２）
　前記ファイル生成部により生成された前記ファイルは、DASH MPD、または、ISOBMFF構造を有するファイルである
　上記（１１）に記載の情報処理装置。
（１３）
　前記ファイル生成部により生成された前記ファイルは、前記Point Cloudデータが複数の部分に分割された個々の部分となる部分Point Cloudデータについて、組み合わせることで高精細化できる前記部分Point Cloudデータの紐づけ情報をさらに含む
　上記（１２）に記載の情報処理装置。
（１４）
　前記ファイル生成部により生成された前記ファイルは、組み合わせられた前記部分Point Cloudデータの精細度を示す精細度情報をさらに含む
　上記（１３）に記載の情報処理装置。
（１５）
　前記ファイル生成部により生成された前記ファイルは、低精細な前記部分をレンダリングするためのレンダリング処理情報をさらに含む
　上記（１１）から（１４）までのいずれかに記載の情報処理装置。
（１６）
　前記ファイル生成部により生成された前記ファイルは、前記部分ごとに異なる主観品質向上のために必要なレンダリング処理を示す主観品質向上レンダリング処理情報をさらに含む
　上記（１５）に記載の情報処理装置。
（１７）
　情報処理装置が、
　Point Cloudデータを３次元構造ベースで符号化してデータ符号化ストリームを生成する際に、符号化された部分の精細度を示す部分精細度情報を生成すること
　を含み、
　前記部分精細度情報に基づいて、前記Point Cloudデータのローカル座標系を基準に、相対的に高画質である領域についての方向を示す方向情報が生成される
　情報処理方法。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　データ生成装置，　１２　データ再生装置，　２１　制御部，　２２　メモリ，　２３　ファイル生成部，　３１　データ入力部，　３２　データ符号化・生成部，　３３　MPDファイル生成部，　３４　記録部，　３５　出力部，　３６　前処理部，　３７　符号化部，　３８　ファイル生成部，　４１　制御部，　４２　メモリ，　４３　再生処理部，　５１　取得部，　５２　表示制御部，　５３　データ解析・復号部，　５４　表示部，　５５　ファイル解析部，　５６　復号部，　５７　表示情報生成部

Claims (17)

  1. 　Point Cloudデータを３次元構造ベースで符号化してPoint Cloudデータ符号化ストリームを生成する際に、前記Point Cloudデータが複数の部分に分割された個々の部分となる部分Point Cloudデータそれぞれの空間上の位置を示す空間位置情報と、それらの部分Point Cloudデータをグルーピングするグルーピング情報とを含むファイルを生成するファイル生成部
    　を備える情報処理装置。
  2. 　前記ファイル生成部により生成された前記ファイルは、前記Point Cloudデータのローカル座標系を基準に前記部分Point Cloudを表示するのに必用となる方向を示す方向対応情報をさらに含む
    　請求項１に記載の情報処理装置。
  3. 　前記ファイル生成部により生成された前記ファイルは、動的に変化する前記空間位置情報をさらに含む
    　請求項２に記載の情報処理装置。
  4. 　前記ファイル生成部により生成された前記ファイルは、動的に変化する前記方向対応情報をさらに含む
    　請求項２に記載の情報処理装置。
  5. 　前記ファイル生成部により生成された前記ファイルは、DASH MPD（Dynamic Adaptive Streaming over HTTP Media Presentation Description）、または、ISOBMFF（ISO Base Media File Format）構造を有するファイルである
    　請求項３または４に記載の情報処理装置。
  6. 　前記部分は、前記Point Cloudデータの中で独立してエンコードおよびデコードできるポイントの集合であるbrickで構成されており、
    　前記ファイル生成部により生成された前記ファイルは、前記brickの空間位置情報を、前記Point Cloudデータのストリーム内の前記brickを構成するデータ単位で紐づける情報をさらに含む
    　請求項１に記載の情報処理装置。
  7. 　前記部分Point Cloudデータは、前記Point Cloudデータの中で独立してエンコードおよびデコードできるポイントの集合であるbrickで構成されており、
    　前記ファイル生成部により生成された前記ファイルは、前記brickの空間位置情報を、前記部分Point Cloudデータのストリーム内の前記brickを構成するデータ単位で紐づける情報をさらに含む
    　請求項１に記載の情報処理装置。
  8. 　前記部分Point Cloudデータは、前記Point Cloudデータの中で独立してエンコードおよびデコードできるポイントの集合であるbrickで構成されており、
    　前記ファイル生成部により生成された前記ファイルは、前記brickの空間位置情報を、前記部分Point Cloudデータのストリーム内の前記brickを構成するデータ単位で紐づける情報をさらに含む
    　請求項１に記載の情報処理装置。
  9. 　情報処理装置が、
    　Point Cloudデータを３次元構造ベースで符号化してデータ符号化ストリームを生成する際に、前記Point Cloudデータが複数の部分に分割された個々の部分となる部分Point Cloudデータそれぞれの空間上の位置を示す空間位置情報と、それらの部分Point Cloudデータをグルーピングするグルーピング情報とを含むファイルを生成すること
    　を含む情報処理方法。
  10. 　Point Cloudデータを３次元構造ベースで符号化してPoint Cloudデータ符号化ストリームを生成する際に、符号化された部分の精細度を示す部分精細度情報を生成する符号化部を備え、
    　前記符号化部は、前記部分精細度情報に基づいて、前記Point Cloudデータのローカル座標系を基準に、相対的に高画質である領域についての方向を示す方向情報を生成する
    　情報処理装置。
  11. 　前記符号化部により生成された前記部分精細度情報および前記方向情報を含むファイルを生成するファイル生成部
    　をさらに備える請求項１０に記載の情報処理装置。
  12. 　前記ファイル生成部により生成された前記ファイルは、DASH MPD、または、ISOBMFF構造を有するファイルである
    　請求項１１に記載の情報処理装置。
  13. 　前記ファイル生成部により生成された前記ファイルは、前記Point Cloudデータが複数の部分に分割された個々の部分となる部分Point Cloudデータについて、組み合わせることで高精細化できる前記部分Point Cloudデータの紐づけ情報をさらに含む
    　請求項１２に記載の情報処理装置。
  14. 　前記ファイル生成部により生成された前記ファイルは、組み合わせられた前記部分Point Cloudデータの精細度を示す精細度情報をさらに含む
    　請求項１３に記載の情報処理装置。
  15. 　前記ファイル生成部により生成された前記ファイルは、低精細な前記部分をレンダリングするためのレンダリング処理情報をさらに含む
    　請求項１１に記載の情報処理装置。
  16. 　前記ファイル生成部により生成された前記ファイルは、前記部分ごとに異なる主観品質向上のために必要なレンダリング処理を示す主観品質向上レンダリング処理情報をさらに含む
    　請求項１５に記載の情報処理装置。
  17. 　情報処理装置が、
    　Point Cloudデータを３次元構造ベースで符号化してデータ符号化ストリームを生成する際に、符号化された部分の精細度を示す部分精細度情報を生成すること
    　を含み、
    　前記部分精細度情報に基づいて、前記Point Cloudデータのローカル座標系を基準に、相対的に高画質である領域についての方向を示す方向情報が生成される
    　情報処理方法。
PCT/JP2019/049089 2018-12-28 2019-12-16 情報処理装置および情報処理方法 Ceased WO2020137642A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP19906464.3A EP3905532A4 (en) 2018-12-28 2019-12-16 INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
US17/296,411 US11532103B2 (en) 2018-12-28 2019-12-16 Information processing apparatus and information processing method
SG11202103291YA SG11202103291YA (en) 2018-12-28 2019-12-16 Information processing apparatus and information processing method
JP2020563092A JP7567481B2 (ja) 2018-12-28 2019-12-16 情報処理装置および情報処理方法
CN201980085077.4A CN113302844A (zh) 2018-12-28 2019-12-16 信息处理装置和信息处理方法
KR1020217016854A KR20210108951A (ko) 2018-12-28 2019-12-16 정보 처리 장치 및 정보 처리 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018248322 2018-12-28
JP2018-248322 2018-12-28

Publications (1)

Publication Number Publication Date
WO2020137642A1 true WO2020137642A1 (ja) 2020-07-02

Family

ID=71126235

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/049089 Ceased WO2020137642A1 (ja) 2018-12-28 2019-12-16 情報処理装置および情報処理方法

Country Status (7)

Country Link
US (1) US11532103B2 (ja)
EP (1) EP3905532A4 (ja)
JP (1) JP7567481B2 (ja)
KR (1) KR20210108951A (ja)
CN (1) CN113302844A (ja)
SG (1) SG11202103291YA (ja)
WO (1) WO2020137642A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492385A (zh) * 2020-09-30 2021-03-12 中兴通讯股份有限公司 点云数据处理方法、装置、存储介质及电子装置
CN113709093A (zh) * 2021-03-15 2021-11-26 上海交通大学 一种三维点云的封装方法、装置及介质
JP2022512508A (ja) * 2019-03-19 2022-02-04 テンセント・アメリカ・エルエルシー ツリーベースのポイントクラウド圧縮メディアストリームのための方法、装置、およびプログラム
WO2022032161A1 (en) * 2020-08-07 2022-02-10 Vid Scale, Inc. Tile tracks for geometry‑based point cloud data
CN114549778A (zh) * 2020-11-26 2022-05-27 腾讯科技（深圳）有限公司 非时序点云媒体的处理方法、装置、设备及存储介质
WO2022206200A1 (zh) * 2021-03-31 2022-10-06 腾讯科技（深圳）有限公司 点云编解码方法、装置、计算机可读介质及电子设备
CN115243053A (zh) * 2021-04-22 2022-10-25 腾讯科技（深圳）有限公司 点云编解码方法及相关设备
CN115348243A (zh) * 2022-08-15 2022-11-15 上海交通大学 三维点云的传输方法、接收方法、传输装置、接收装置及存储介质
JP2023520736A (ja) * 2020-10-14 2023-05-18 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 メディアファイルのカプセル化方法、メディアファイルのカプセル化解除方法及び関連機器
WO2023176419A1 (ja) * 2022-03-17 2023-09-21 ソニーグループ株式会社 情報処理装置および方法
JP2024502822A (ja) * 2021-01-05 2024-01-23 インターデイジタル パテント ホールディングス インコーポレイテッド ビジュアルボリュメトリックビデオベース（ｖ３ｃ）及びジオメトリベース点群（ｇ－ｐｃｃ）メディアのストリーミングのためのｍｍｔシグナリング
WO2025009499A1 (ja) 2023-07-05 2025-01-09 キヤノン株式会社 情報処理装置、再生装置、情報処理方法、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12267504B2 (en) * 2020-06-22 2025-04-01 Interdigital Patent Holdings, Inc. Adaptive streaming of geometry-based point clouds
USD1013717S1 (en) 2021-01-08 2024-02-06 Sony Group Corporation Display screen or portion thereof with an animated graphical user interface
KR20250002571A (ko) * 2022-04-22 2025-01-07 엘지전자 주식회사 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법
JP2025524411A (ja) * 2022-06-28 2025-07-30 ディーアールエヌシー ホールディングス インコーポレイテッド ジオメトリベースの点群ストリームのためのシグナリングパラメータセット
GB2623524B (en) * 2022-10-17 2025-06-18 Canon Kk Method, device, and computer program for improving transmission and/or storage of point cloud data
WO2025075391A1 (ko) * 2023-10-06 2025-04-10 엘지전자 주식회사 포인트 클라우드 데이터의 수신 장치에서 수행되는 방법 및 포인트 클라우드 데이터의 전송 장치에서 수행되는 방법
KR102885890B1 (ko) * 2023-12-28 2025-11-17 서울과학기술대학교 산학협력단 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법, 및 포인트 클라우드 데이터 수신 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217191A1 (ja) * 2016-06-14 2017-12-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013038766A (ja) * 2011-07-12 2013-02-21 Sharp Corp 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体
US9467708B2 (en) * 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
KR102277287B1 (ko) 2016-05-26 2021-07-15 브이아이디 스케일, 인크. 뷰포트 적응형 360도 비디오 전달의 방법 및 장치
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US10917564B2 (en) * 2016-10-12 2021-02-09 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置
FI20166017A1 (en) 2016-12-22 2019-01-31 Nokia Technologies Oy Device, method and computer program for video encoding and decoding
US10553015B2 (en) * 2017-03-31 2020-02-04 Google Llc Implicit view-dependent quantization
CN108052058B (zh) * 2018-01-31 2023-11-24 广州市建筑科学研究院有限公司 一种基于“互联网+”的建设工程现场安全巡管事务流转系统
US20210304354A1 (en) * 2018-07-13 2021-09-30 Electronics And Telecommunications Research Institute Method and device for encoding/decoding scalable point cloud
WO2020071703A1 (ko) * 2018-10-01 2020-04-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법
US10853973B2 (en) * 2018-10-03 2020-12-01 Apple Inc. Point cloud compression using fixed-point numbers

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217191A1 (ja) * 2016-06-14 2017-12-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"w18001", DESCRIPTION OF CORE EXPERIMENT 13.2 FOR G-PCC: TILE AND SLICE BASED CODING OF POINT CLOUD, October 2018 (2018-10-01)
"wl7770", THIRD WORKING DRAFT FOR G-PCC (GEOMETRY-BASED PCC, July 2018 (2018-07-01)
KHALED MAMMOU, PHILIP A. CHOU, DAVID FLYNN, MAJA KRIVOKUĆA, OHJI NAKAGAMI , TOSHIYASU SUGIO: "G-PCC codec description v2", ISO/IEC JTC1/SC29/WG11 N18189, no. N18189, 1 January 2019 (2019-01-01), Marrakech, MA, pages 1 - 39, XP055686871 *
NAKACHI, TAKAYUKI: "A Media Transport Technology MMT in the Post-Ultra High Definition Age", PROCEEDINGS OF THE IEICE ENGINEERING SCIENCES SOCIETY *
See also references of EP3905532A4
TAKAYUKI NAKACHI: "A media transport technology MMT in the Post-Ultra high definition age", IEICE ESS FUNDAMENTALS REVIEW, vol. 11, no. 4, 1 April 2018 (2018-04-01), pages 288 - 301, XP055723182, DOI: 10.1587/essfr.11.4_288 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7274581B2 (ja) 2019-03-19 2023-05-16 テンセント・アメリカ・エルエルシー ツリーベースのポイントクラウド圧縮メディアストリームのための方法、装置、およびプログラム
JP2022512508A (ja) * 2019-03-19 2022-02-04 テンセント・アメリカ・エルエルシー ツリーベースのポイントクラウド圧縮メディアストリームのための方法、装置、およびプログラム
US11763493B2 (en) 2019-03-19 2023-09-19 Tencent America LLC Method and apparatus for tree-based point cloud compression (PCC) media stream using moving picture experts group (MPEG)-dynamic adaptive streaming over HTTP (DASH)
JP7821156B2 (ja) 2020-08-07 2026-02-26 インターデジタル ヴイシー ホールディングス， インコーポレイテッド ジオメトリベースのポイントクラウドデータのためのタイルトラック
US12456252B2 (en) 2020-08-07 2025-10-28 Interdigital Vc Holdings, Inc. Tile tracks for geometry-based point cloud data
WO2022032161A1 (en) * 2020-08-07 2022-02-10 Vid Scale, Inc. Tile tracks for geometry‑based point cloud data
JP2023536725A (ja) * 2020-08-07 2023-08-29 ヴィド スケール インコーポレイテッド ジオメトリベースのポイントクラウドデータのためのタイルトラック
CN112492385B (zh) * 2020-09-30 2025-02-21 中兴通讯股份有限公司 点云数据处理方法、装置、存储介质及电子装置
CN112492385A (zh) * 2020-09-30 2021-03-12 中兴通讯股份有限公司 点云数据处理方法、装置、存储介质及电子装置
WO2022068672A1 (zh) * 2020-09-30 2022-04-07 中兴通讯股份有限公司 点云数据处理方法、装置、存储介质及电子装置
EP4224871A4 (en) * 2020-09-30 2024-03-20 ZTE Corporation METHOD AND APPARATUS FOR PROCESSING POINT CLOUD DATA, AND STORAGE MEDIUM AND ELECTRONIC APPARATUS
US12107908B2 (en) 2020-10-14 2024-10-01 Tencent Technology (Shenzhen) Company Limited Media file encapsulating method, media file decapsulating method, and related devices
JP2023520736A (ja) * 2020-10-14 2023-05-18 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 メディアファイルのカプセル化方法、メディアファイルのカプセル化解除方法及び関連機器
JP7471731B2 (ja) 2020-10-14 2024-04-22 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 メディアファイルのカプセル化方法、メディアファイルのカプセル化解除方法及び関連機器
US12160594B2 (en) 2020-11-26 2024-12-03 Tencent Technology (Shenzhen) Company Limited Method and apparatus for processing non-sequential point cloud media, device, and storage medium
CN114549778B (zh) * 2020-11-26 2025-07-11 腾讯科技（深圳）有限公司 非时序点云媒体的处理方法、装置、设备及存储介质
JP7508710B2 (ja) 2020-11-26 2024-07-01 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 非時系列ポイントクラウドメディアの処理方法、装置、機器、及びコンピュータプログラム
CN114549778A (zh) * 2020-11-26 2022-05-27 腾讯科技（深圳）有限公司 非时序点云媒体的处理方法、装置、设备及存储介质
JP2023550752A (ja) * 2020-11-26 2023-12-05 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 非時系列ポイントクラウドメディアの処理方法、装置、機器、及びコンピュータプログラム
JP2024502822A (ja) * 2021-01-05 2024-01-23 インターデイジタル パテント ホールディングス インコーポレイテッド ビジュアルボリュメトリックビデオベース（ｖ３ｃ）及びジオメトリベース点群（ｇ－ｐｃｃ）メディアのストリーミングのためのｍｍｔシグナリング
JP7822390B2 (ja) 2021-01-05 2026-03-02 インターデイジタル パテント ホールディングス インコーポレイテッド ビジュアルボリュメトリックビデオベース（ｖ３ｃ）及びジオメトリベース点群（ｇ－ｐｃｃ）メディアのストリーミングのためのｍｍｔシグナリング
CN113746797A (zh) * 2021-03-15 2021-12-03 上海交通大学 一种三维点云的传输方法、装置及介质
JP7665230B2 (ja) 2021-03-15 2025-04-21 上海交通大学 三次元点群の伝送方法、受信方法、伝送装置、受信装置及び記憶媒体
KR20240004254A (ko) * 2021-03-15 2024-01-11 상하이 지아오통 유니버시티 3차원 포인트 클라우드의 전송방법, 수신방법, 전송장치, 수신장치 및 저장매체
JP2024513708A (ja) * 2021-03-15 2024-03-27 上海交通大学 三次元点群の伝送方法、受信方法、伝送装置、受信装置及び記憶媒体
CN113709093A (zh) * 2021-03-15 2021-11-26 上海交通大学 一种三维点云的封装方法、装置及介质
KR102890950B1 (ko) * 2021-03-15 2025-11-24 상하이 지아오통 유니버시티 3차원 포인트 클라우드의 전송방법, 수신방법, 전송장치, 수신장치 및 저장매체
CN113709093B (zh) * 2021-03-15 2023-08-04 上海交通大学 一种三维点云的封装方法、装置及介质
KR20230137459A (ko) * 2021-03-31 2023-10-04 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 포인트 클라우드 인코딩 방법 및 장치, 포인트 클라우드 디코딩 방법 및 장치, 및 컴퓨터-판독가능 매체, 및 전자 디바이스
KR102867268B1 (ko) 2021-03-31 2025-10-14 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 포인트 클라우드 인코딩 방법 및 장치, 포인트 클라우드 디코딩 방법 및 장치, 및 컴퓨터-판독가능 매체, 및 전자 디바이스
JP7655630B2 (ja) 2021-03-31 2025-04-02 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 ポイントクラウド符号化・復号方法、装置、コンピュータ可読媒体、及び電子機器
WO2022206200A1 (zh) * 2021-03-31 2022-10-06 腾讯科技（深圳）有限公司 点云编解码方法、装置、计算机可读介质及电子设备
US12212759B2 (en) 2021-03-31 2025-01-28 Tencent Technology (Shenzhen) Company Limited Point cloud encoding and decoding method and apparatus, computer-readable medium, and electronic device
JP2024506623A (ja) * 2021-03-31 2024-02-14 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 ポイントクラウド符号化・復号方法、装置、コンピュータ可読媒体、及び電子機器
WO2022222641A1 (zh) * 2021-04-22 2022-10-27 腾讯科技（深圳）有限公司 点云编解码方法、装置、计算机可读介质以及电子设备
JP7655632B2 (ja) 2021-04-22 2025-04-02 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 点群符号化・復号方法、装置、及び電子機器
CN115243053A (zh) * 2021-04-22 2022-10-25 腾讯科技（深圳）有限公司 点云编解码方法及相关设备
US12118760B2 (en) 2021-04-22 2024-10-15 Tencent Technology (Shenzhen) Company Limited Point cloud encoding and decoding method and apparatus, computer-readable medium, and electronic device
CN115243053B (zh) * 2021-04-22 2024-04-16 腾讯科技（深圳）有限公司 点云编解码方法及相关设备
JP2024508865A (ja) * 2021-04-22 2024-02-28 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 点群符号化・復号方法、装置、及び電子機器
WO2023176419A1 (ja) * 2022-03-17 2023-09-21 ソニーグループ株式会社 情報処理装置および方法
CN115348243A (zh) * 2022-08-15 2022-11-15 上海交通大学 三维点云的传输方法、接收方法、传输装置、接收装置及存储介质
WO2025009499A1 (ja) 2023-07-05 2025-01-09 キヤノン株式会社 情報処理装置、再生装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP7567481B2 (ja) 2024-10-16
CN113302844A (zh) 2021-08-24
KR20210108951A (ko) 2021-09-03
JPWO2020137642A1 (ja) 2021-11-11
EP3905532A1 (en) 2021-11-03
SG11202103291YA (en) 2021-04-29
EP3905532A4 (en) 2022-11-30
US11532103B2 (en) 2022-12-20
US20220036593A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
WO2020137642A1 (ja) 情報処理装置および情報処理方法
JP7415936B2 (ja) 情報処理装置および情報処理方法
CN114342402A (zh) 信息处理装置、信息处理方法、再现处理装置和再现处理方法
JP7439762B2 (ja) 情報処理装置および情報処理方法、並びにプログラム
KR102027410B1 (ko) 계층화된 신호 품질 계층에서의 재구성 데이터의 송신
JP7823691B2 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
US12432370B2 (en) Information processing device and information processing method
WO2015182491A1 (ja) 情報処理装置および情報処理方法
JPWO2020008758A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
WO2021251173A1 (ja) 情報処理装置および方法
WO2021251141A1 (ja) 情報処理装置および方法
US20250299373A1 (en) Method and apparatus for immersive video encoding and decoding
WO2022054744A1 (ja) 情報処理装置および方法
WO2021065277A1 (ja) 情報処理装置、再生処理装置及び情報処理方法
CN114223211A (zh) 信息处理装置和信息处理方法
WO2020183900A1 (ja) 情報処理装置、再生処理装置、情報処理方法及び再生処理方法
JP7521531B2 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
US20220076485A1 (en) Information processing apparatus and information processing method
JP2024016955A (ja) 符号化装置、ストリーム合成装置、復号装置、およびプログラム
WO2025135122A1 (ja) 情報処理装置および方法
WO2024143466A1 (ja) 情報処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19906464

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020563092

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20217016854

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019906464

Country of ref document: EP

Effective date: 20210728