WO2020071111A1 - 情報処理装置および情報処理方法、並びにプログラム - Google Patents

情報処理装置および情報処理方法、並びにプログラム

Info

Publication number
WO2020071111A1
WO2020071111A1 PCT/JP2019/036465 JP2019036465W WO2020071111A1 WO 2020071111 A1 WO2020071111 A1 WO 2020071111A1 JP 2019036465 W JP2019036465 W JP 2019036465W WO 2020071111 A1 WO2020071111 A1 WO 2020071111A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
attribute
stream
shape
dimensional structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/036465
Other languages
English (en)
French (fr)
Inventor
遼平 高橋
平林　光浩
央二 中神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2020550265A priority Critical patent/JP7439762B2/ja
Priority to CN201980063613.0A priority patent/CN112789656B/zh
Priority to EP19868888.9A priority patent/EP3862971A4/en
Priority to US17/278,989 priority patent/US20220038517A1/en
Publication of WO2020071111A1 publication Critical patent/WO2020071111A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program, and more particularly, to an information processing apparatus, an information processing method, and a program capable of efficiently performing processing in a client.
  • Non-Patent Document 1 a compression method of Point @ Cloud, which is a set of points simultaneously having shape information and attribute information (especially color information) in a three-dimensional space, is defined.
  • Point @ Cloud there is a method of separating Point @ Cloud data into a geometry indicating a three-dimensional shape and an attribute indicating color and reflection information as attribute information and encoding them.
  • This method is called G-PCC (Geometry-based-Point-Cloud-Coding).
  • the generated G-PCC stream is one continuous stream, and has a structure in which the client cannot independently access the geometry and the attribute. Therefore, for example, even in a use case using only the geometry or a use case using only one of the plurality of attributes, the client cannot individually access and acquire them. Therefore, it is necessary to perform the processing after acquiring all of the geometry and attribute constituting the G-PCC stream, and processing overhead occurs in the client, and it has been difficult to perform the processing efficiently.
  • the present disclosure has been made in view of such a situation, and aims to enable a client to perform processing efficiently.
  • An information processing device relates to a stream of shape information representing a shape of the three-dimensional structure and a stream of attribute information representing an attribute of the three-dimensional structure from 3D data representing the three-dimensional structure.
  • a file generation unit that generates identification information for each of the streams and generates a file including the generated plurality of pieces of identification information.
  • An information processing method or a program provides a stream of shape information representing a shape of the three-dimensional structure from 3D data representing the three-dimensional structure, and attribute information representing an attribute of the three-dimensional structure.
  • the method includes generating identification information on a stream for each of the streams, and generating a file including the generated plurality of identification information.
  • identification information relating to a stream of shape information representing a shape of a three-dimensional structure and a stream of attribute information representing an attribute of the three-dimensional structure are respectively obtained from 3D data representing a three-dimensional structure. Is generated for each of the streams, and a file including the generated plurality of pieces of identification information is generated.
  • An information processing apparatus relates to a stream of shape information representing a shape of the three-dimensional structure and a stream of attribute information representing an attribute of the three-dimensional structure from 3D data representing the three-dimensional structure.
  • An identification unit configured to identify and extract the shape information and the attribute information based on the identification information, based on the identification information, from a file generated and included for each of the streams,
  • a construction unit configured to construct the three-dimensional structure using the shape information or the attribute information extracted by the extraction unit.
  • An information processing method or a program provides a stream of shape information representing the shape of the three-dimensional structure from 3D data representing the three-dimensional structure, and attribute information representing an attribute of the three-dimensional structure.
  • Identification information about the stream from the file generated and included for each of the streams, depending on the use case, based on the identification information, identifying and extracting the shape information and the attribute information, Constructing the three-dimensional structure using the extracted shape information or attribute information.
  • identification information relating to a stream of shape information representing a shape of a three-dimensional structure and a stream of attribute information representing an attribute of the three-dimensional structure are respectively obtained from 3D data representing a three-dimensional structure. From the files generated and included for each stream, the shape information and the attribute information are identified and extracted based on the identification information according to the use case, and using the extracted shape information or attribute information, A three-dimensional structure is constructed.
  • FIG. 3 is a diagram showing a conventional stream structure. It is a figure explaining PC @ sample newly defined. It is a figure showing an example of PC @ sample.
  • FIG. 6 is a diagram illustrating an example of information stored in a header.
  • FIG. 11 is a diagram illustrating an example in which a field for signaling the type of attribute is added. It is a figure showing an example of Attribute
  • FIG. 3 is a diagram illustrating an example when a G-PCC stream is stored in an ISOBMFF 1 track. It is a figure showing the definition of codec_specific_parameters. It is a diagram showing the structure of a newly defined PCSampleEntry It is a figure showing an example of PCParamSetBox.
  • FIG. 9 is a diagram showing a modification of the ISOBMFF structure stored in 1 track. It is a figure which shows an example which stores geometry @ bitstream and attribute @ bitstream in 2 @ tracks of ISOBMFF. It is a figure showing an example of the syntax of PCMultiStreamBox.
  • FIG. 21 is a diagram illustrating a modified example of PCMultiStreamBox. It is a figure showing an example of the syntax of PCAttributeTrackGroupBox.
  • FIG. 21 is a diagram illustrating a modified example of PCMultiStreamBox. It is a figure which shows the example which signals geometry @ track and attribute @ track linked by track @ group. It is a figure showing an example of PCStreamGroupBox newly defined.
  • FIG. 11 is a diagram illustrating a second example of the ISOBMFF structure stored in 2 track in the second identifiable method.
  • FIG. 3 is a diagram illustrating DASH signaling.
  • FIG. 3 is a diagram illustrating DASH signaling.
  • FIG. 2 is a block diagram illustrating a configuration example of a data generation device.
  • FIG. 3 is a block diagram illustrating a configuration example of a data reproduction device.
  • FIG. 21 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 shows a stream structure encoded by G-PCC, and such a stream is referred to as G-PCC @ stream (or simply, PC @ stream).
  • G-PCC stream is composed of 1 stream and is a sequence of point cloud frames arranged in decoding order.
  • the point ⁇ cloud ⁇ frame (hereinafter also referred to as PC ⁇ frame) is Point ⁇ Cloud displayed at the same time.
  • PC ⁇ frame is a continuous bitstream composed of a geometry @ bitstream (Geom shown in FIG. 1) indicating three-dimensional information and an attribute @ bitstream (Attr shown in FIG. 1) indicating attribute information such as color and reflection.
  • One PC frame has one geometry bitstream and a plurality of attribute bitstreams (two attribute bitstreams in the example of FIG. 1).
  • the SPS Sequence Parameter Set
  • the GPS stores information necessary for decoding the geometry bitstream
  • the APS Attribute Parameter Set
  • the client decodes the geometry bitstream and the attribute bitstream in the G-PCC stream using individual decoders.
  • the client decodes the geometry bitstream to generate colorless Point Cloud content.
  • the client refers to the decoded information of the geometry @ bitstream, decodes the attribute @ bitstream, and adds attributes such as color and reflection based on the information.
  • information on the generated geometry bitstream and attribute bitstream is newly generated as identification information, and a file including the generated identification information is generated.
  • PC sample a newly defined Point Cloud sample (hereinafter, referred to as a PC sample) will be described as equivalent to a Sample defined by ISOBMFF.
  • 1 PC frame is composed of 1 PC sample. That is, the G-PCC stream is composed of a plurality of PC samples, and the 1 PC sample has the same structure as the 1 PC frame shown in FIG. Then, as in the case of the 1 PC frame, the client can construct the 1 PC sample to be displayed as the Point Cloud displayed at the same time by decoding the 1 PC sample.
  • PC sample is composed of geometry bitstream and attribute bitstream that constitute Point ⁇ Cloud data displayed at the same time.
  • FIG. 3 shows a configuration example in which 1 @ PC @ sample is composed of one geometry @ subsample and two attribute @ subsamples.
  • 1 @ PC @ sample has a configuration in which geometry @ subsample, first attribute @ subsample, and second attribute @ subsample are continuously arranged.
  • Each subsample has a structure composed of a bitstream corresponding to header information storing information on each bitstream in order to divide each bitstream.
  • FIG. 4 shows an example of information stored in the header of FIG.
  • size information (size_of_bitstream) indicating the size of the geometry @ bitstream or attribute @ bitstream and type information (type) indicating the type of each bitstream forming the PC @ sample are stored as identification information.
  • identification information is information for identifying each bitstream, and is generated for each bitstream.
  • SPS, $ GPS, and $ APS not stored in PC $ sample are stored in sample $ entry if they are, for example, ISOBMFF (see FIGS. 9 and 10 described later).
  • the client can identify the boundary of each bitstream from the header. Therefore, the client can extract only the geometry bitstream from the PC sample and decode it independently. Similarly, the client can extract and decode only the necessary attribute ⁇ bitstream from PC ⁇ sample. Then, the client can easily input the geometry @ bitstream and the attribute @ bitstream decoded by different decoders to the corresponding decoders.
  • the High-level syntax of G-PCC stream may be extended to signal the type of attribute.
  • Attribute parameter set can be extended to signal attr_type, as shown in bold in FIG.
  • the referenced Attribute parameter set is signaled as an identifier in the attribute bitstream.
  • the semantics are the same as those of the attribute_type described above.
  • the client can refer to the header, identify the geometry and the attribute, and individually access them. Even in a use case in which only the desired attribute is used, Processing can be performed efficiently.
  • ⁇ Second identifiable method> Referring to FIG. 7 to FIG. 24, as a second identifiable method for enabling the client to divide the geometry and the attribute, an extension of the ISOBMFF track storing the sub sample information, the geometry, and the attribute explain.
  • FIG. 7 shows an example when the G-PCC stream is stored in the 1 track of ISOBMFF.
  • a newly defined PCSampleEntry (see FIG. 9) is stored in the moov of the ISOBMFF, and the PCSampleEntry is composed of a PCParamSetBox shown in FIG.
  • subs (SubSampleInformationBox) is stored in the moof of the ISOBMFF. As shown in FIG. 7, the boundaries of the geometry subsample and attribute subsample ⁇ ⁇ ⁇ # 0 to #N in PC sample are signaled using can do. Note that SubSampleInformation will be described with reference to the outline of SubSampleInformationBox shown in FIG. 28 described later.
  • codec_specific_parameters which is information of a subsample determined for each codec. That is, when the value of codec_specific_parameters is 0, it indicates that subsample is geometry subsample, and when the value of codec_specific_parameters is 1, it indicates that subsample is attribute subsample.
  • subsample information may be provided in units of a continuous attribute @ subsample group.
  • codec_specific_parameters may be further extended so that it can signal what attribute / bitstream the subsample is (color attribute, reflection attribute, and the like).
  • FIG. 9 shows the structure of PCSampleEntry newly defined in the present disclosure.
  • the sample entry of the track of the ISOBMFF storing the G-PCC stream is, for example, 'pcbs'.
  • Each parameter set (Sequence Parameter Set, Geometry Parameter Set, and Attribute Parameter Set) as shown in FIG. 10 is stored in the $ PCParamSetBox.
  • these parameter $ sets are referenced when decoding the PC $ sample.
  • parameter set is not usually changed in PC sample units, so storing it in PCSampleEntry eliminates the need to repeatedly signal the same information for each PC sample, thus reducing file size.
  • the storage destination of these parameter @ set includes seq_parameter_set_rbsp (), geometry_parameter_set (), and attribute_parameter_set () in PCParamSetBox.
  • the client can identify the boundary between the geometry subsample and the attibute subsample (or the boundary between the attibute subsamples) without parsing the contents of the subsample. That is, the client can extract only the geometry ⁇ bitstream from the PC ⁇ sample and decode it independently by a simplified process of referring to only the signaling of the system layer. Similarly, the client can extract and decode only the necessary attribute ⁇ bitstream from PC ⁇ sample. In addition, the client can easily input the geometry @ bitstream and the attribute @ bitstream to different corresponding decoders.
  • FIG. 11 shows a configuration of an information processing apparatus that generates a PC stream from Point Cloud data on the server providing the content and executes a file generation process of generating a file in which the PC stream is stored in a file defined by ISOBMFF. It is a block diagram showing an example.
  • the information processing apparatus 11 includes a separating unit 21, an encoding unit 22, a PC stream generating unit 23, and a file generating unit 24.
  • the separation unit 21 separates the geometry and the attribute from the input Point Cloud data, and supplies them to the encoding unit 22.
  • the encoding unit 22 encodes the geometry and the attribute supplied from the separation unit 21 to generate a geometry bitstream and an attribute bitstream. At this time, the encoding unit 22 generates each parameter set (Sequence Parameter Set, Geometry Parameter Set, and Attribute Parameter Set) referred to when decoding the geometry bitstream and the attribute bitstream. For example, the encoding unit 22 encodes geometry by Octree and attribute by Lifting coding or Region Adaptive Haar Transform. At this time, the encoding unit 22 can perform the encoding of the geometry and the encoding of the attribute in parallel by the two encoders 25-1 and 25-2.
  • each parameter set Sequence Parameter Set, Geometry Parameter Set, and Attribute Parameter Set
  • the PC stream generation unit 23 interleaves the geometry bitstream and the attribute bitstream encoded by the encoding unit 22 in units of a PC frame, and generates a PC sample as shown in FIG. Then, the PC stream generator 23 generates a PC stream composed of a plurality of PC samples and supplies the PC stream to the file generator 24.
  • the file generation unit 24 stores the geometry bitstream and the attribute bitstream in the 1 track of the file defined by ISOBMFF, and generates a file. At this time, the file generation unit 24 generates size information indicating the size of the geometry @ bitstream or attribute @ bitstream, and type information indicating the type of each bitstream constituting the PC @ sample, and as the above-described identification information, Store in header.
  • the information processing apparatus 11 configured as described above can generate a PC stream from Point Cloud data and output a file in which the PC stream is stored in 1 track.
  • the file sample defined by the ISOBMFF is PC @ sample (FIGS. 3 and 7). Reference).
  • FIG. 12 is a block diagram showing an example of the configuration of an information processing apparatus that executes a Point @ Cloud reproduction process of generating a display image from a file and reproducing Point @ Cloud data on the client side reproducing the content.
  • the information processing device 12 includes an extraction unit 31, a decoding unit 32, a construction unit 33, and a display processing unit 34.
  • the extraction unit 31 extracts a geometry bitstream and an attribute bitstream corresponding to a reproduction time from a file based on information (for example, the above-described identification information) signaled in the ISOBMFF Box, and supplies the extracted bitstream and attribute bitstream to the decoding unit 32.
  • the extraction unit 31 can identify the geometry and the attribute and extract only the necessary geometry or attribute according to the various use cases described above.
  • the extraction unit 31 may extract the geometry @ bitstream and the attribute @ bitstream corresponding to the playback time from the file based on the identification information stored in the header of the subsample, and supply the extracted bitstream and attribute @ bitstream to the decoding unit 32.
  • the decoding unit 32 refers to each parameter set, decodes the geometry bitstream and the attribute bitstream supplied from the extraction unit 31, and supplies the geometry and attribute to the construction unit 33. At this time, the decoding unit 32 can perform the decoding of the geometry @ bitstream and the decoding of the attribute @ bitstream by the two decoders 35-1 and 35-2 in parallel and individually.
  • the construction unit 33 constructs Point Cloud data using the geometry and attribute supplied from the decoding unit 32.
  • the display processing unit 34 renders the Point Cloud data constructed by the construction unit 33 according to the display device of the client, generates a display image, and causes the display device (not shown) to display the image.
  • the information processing device 12 configured as described above can reproduce Point @ Cloud data from a file and display a display image in which the Point @ Cloud data is rendered.
  • FIG. 13 is a flowchart illustrating a file generation process in which the information processing apparatus 11 of FIG. 11 generates a file from Point Cloud data.
  • step S11 the separation unit 21 separates geometry and attribute from the input Point @ Cloud.
  • step S12 the encoding unit 22 encodes the geometry and attribute separated by the separation unit 21 in step S11, and generates a geometry bitstream and an attribute bitstream. At this time, the encoding unit 22 generates each parameter $ set.
  • step S13 the PC stream generator 23 interleaves the geometry bitstream and the attribute bitstream generated in step S12 in units of a PC frame (PC sample) to generate a PC stream.
  • step S14 the file generation unit 24 stores the PC stream generated in step S13 in the ISOBMFF that has signaled the Box including the metadata, and generates a file. Further, the file generation unit 24 generates size information and type information and stores them in the header of the file. At this time, the sample of ISOBMFF is PC sample.
  • FIG. 14 is a flowchart illustrating a Point @ Cloud playback process in which the information processing apparatus 12 in FIG. 12 generates and plays back a display image from a file generated in the information processing apparatus 11.
  • the extraction unit 31 uses the information (for example, the above-described identification information) signaled in the ISOBMFF Box. Extract the geometrygebitstream and attribute bitstream corresponding to the playback time from the file. Note that the extraction unit 31 may extract a geometry @ bitstream and an attribute @ bitstream corresponding to the reproduction time from the file based on the identification information stored in the header of the subsample.
  • step S22 the decoding unit 32 refers to each parameter set and decodes the geometry bitstream and the attribute bitstream extracted in step S21 individually. At this time, the geometry @ bitstream and the attribute @ bitstream are individually decoded by two decoder instances.
  • step S23 the construction unit 33 constructs Point @ Cloud data using the geometry and attribute obtained in the decoding in step S22.
  • step S24 the display processing unit 34 renders the Point @ Cloud data constructed in step S23 to display a display image according to the display device of the client.
  • step S25 the extraction unit 31 determines whether or not it is the end of PC @ stream. If it is not the end of PC @ stream, the process returns to step S21. If it is the end of PC @ stream, the process ends. .
  • FIG. 15 shows a first example of the ISOBMFF structure when the geometry @ bitstream and the attribute @ bitstream are stored in the 1 @ track of the ISOBMFF by the second identifiable method.
  • the geometry bitstream and the attribute bitstream constituting the 1 PC frame may be stored as 1 sample in the ISOBMFF without using the PC sample.
  • geometry subsample and attribute subsample become geometry ⁇ ⁇ sample and attribute sample, respectively.
  • ⁇ Geometry @ sample and attribute @ sample (s) constituting 1 @ PC @ frame may be signaled using sample @ group.
  • the boundary between geometry @ sample and attribute @ sample may be signaled using sample @ group.
  • the sample @ group will be described with reference to a sample @ group outline shown in FIG. 29 described later.
  • the G-PCC stream is separated into one geometry bitstream and one attribute bitstream, one geometry bitstream is stored in the ISOBMFF 1 track, and one attribute bitstream is stored in the ISOBMFF 1 track.
  • One example of 2 tracks is shown.
  • the client can process the track storing only the geometry bitstream and easily decode only the geometry bitstream. Similarly, the client can process a track that stores only one attribute @ bitstream and easily decode only the required attribute @ bitstream. Further, the client can easily input the geometry @ bitstream and the attribute @ bitstream decoded by different decoders to the corresponding decoders.
  • TrackAs shown in FIG. 17 the track storing the geometry bitstream is referred to as a geometry ⁇ ⁇ ⁇ track or a main track, and the track storing the attribute bitstream is referred to as an attribute track or a secondary track. Then, the relationship between the tracks is signaled by the track reference and the newly defined PCMultiStreamBox.
  • a PCParamSetBox exists only in the main track, and the PCParamSetBox includes Sequence ⁇ Parameter ⁇ Set, Geometry ⁇ Parameter ⁇ Set, and Attribute ⁇ parameter ⁇ set.
  • a PCParamSetBox may be present on both the main track and the sub track, in which case, the PCParamSetBox of the main track includes Sequence Parameter Set and Geometry Parameter Set, and the PCParamSetBox of the sub track includes Attribute Parameter Set. Good.
  • sample group indicating the boundary of PC frame may be signaled.
  • sample group indicating the boundary of PC frame may be signaled.
  • a plurality of attribute @ tracks having different bitrates may be associated with one geometry @ track.
  • FIG. 18 shows an example of the syntax of PCMultiStreamBox.
  • isGeometryStream 1, it indicates that it is geometry @ track; otherwise, it indicates that it is attribute @ track. If it is a geometry @ track, the track_id of the associated attribute @ track is signaled.
  • the client can identify which track is the geometry track only by parsing the TrackReferenceBox of an arbitrary 1 track by indicating the track reference.
  • the client can then parse the geometryMultitrackBox's PCMultiStreamBox and identify all relevant attributeTracks. That is, the client can identify the entire configuration only by parsing the 2 @ track at the maximum, and can simplify the processing particularly in a case where a plurality of attribute @ tracks are linked.
  • attribute @ track may include a plurality of attribute @ bitstreams corresponding to a plurality of types of attributes.
  • FIG. 19 shows an example of the ISOBMFF structure when the geometry bitstream and the attribute stream bitstream are individually stored for each 1 track of the ISOBMFF by the second identifiable method.
  • a plurality of attribute tracks may be collectively signaled by a track group, and as shown in FIG. 20, attribute_track_group_id may be linked to the attribute track group.
  • the track group newly defines a PCAttributeTrackGroupBox as shown in FIG. 21 and the track_group_type is 'pctg'.
  • an isInGeometryStream indicating whether the attribute is stored in the same track as the geometry may be added to the PCMultiStreamBox.
  • a signal-capable Box can be provided.
  • a geometry track and an attribute track linked by a track group may be signaled as shown in FIG.
  • track24group newly defines a PCStreamGroupBox, and track_group_type is 'pcgp'.
  • FIG. 25 shows a second example of the ISOBMFF structure when the geometry bitstream and the attribute bitstream are stored in the 1BMtrack of ISOBMFF by the second identifiable method.
  • the client identifies the geometry and attribute by referring to the information regarding the subsample (SubSampleInformationBox) or the information indicating the relationship between the tracks (PCMultiStreamBox). Can be accessed. Therefore, the client can efficiently perform processing even in a use case in which only a desired geometry or a necessary attribute is used.
  • ⁇ Third identifiable method> Referring to FIG. 26 and FIG. 27, as a third identifiable method for enabling the client to divide the geometry and the attribute, the DASH MPD (Media) when the geometry and the attribute are stored in separate tracks.
  • the linking method in Presentation Description) will be described.
  • the client when the client acquires the DASH distribution content, the client can refer to the PC Component Descriptor and independently acquire the geometry bitstream constituting the PC stream. Similarly, the client can independently decode the attribute @ bitstream. In addition, the client can switch the image quality of the attribute bitstream associated with the geometry bitstream, for example, according to the network bandwidth.
  • association from geometry @ representation to attribute @ representation may be performed by Representation @ associationId.
  • associationType is “patt”.
  • association using the associationId is appropriate.
  • the client can identify and independently access the geometry and attribute based on the association in DASH @ MPD. Therefore, the client can efficiently perform processing even in a use case in which only a desired attribute is used. Also, in the third identifiable method, similarly to the second identifiable method, PC @ sample as shown in FIG. 3 is stored as a sample stored in the mdat of ISOBMFF, and the size information And type information are stored.
  • FIG. 28 shows an outline of the SubSampleInformationBox.
  • a continuous specific byte area in a sample is defined as a sub-sample.
  • the definition of sub-sample is determined for each encoding codec. For example, in the case of HEVC, NAL @ unit is a sub-sample.
  • the SubSampleInformationBox information can be added for each sub-sample.
  • FIG. 29 shows an outline of the Sample @ Group.
  • the grouping_type of the Sample To Group Box indicates the grouping_type of the associated Sample Group Description Box.
  • sample_count and group_description_index are signaled.
  • group_description_index indicates the index of the associated Group @ Entry
  • sample_count indicates the number of samples belonging to the Group @ Entry.
  • FIG. 30 is a block diagram showing a configuration example of the data generation device.
  • the data generation device 51 includes a control unit 61 and a file generation unit 62.
  • the file generation unit 62 includes a data input unit 71, a data encoding / generation unit 72, and an MPD file generation unit 73. , A recording unit 74, and an upload unit 75.
  • the data encoding / generation unit 72 has a pre-processing unit 76, an encoding unit 77, and a segment file generation unit 78.
  • the pre-processing unit 76 corresponds to the above-described separating unit 21 of FIG. 11 and executes a process of separating geometry and attribute from the input Point @ Cloud.
  • ⁇ Encoding section 77 corresponds to the encoding section 22 of FIG. 11 described above, and performs processing of encoding the geometry @ bitstream and the attribute @ bitstream and generating each parameter @ set.
  • segment file generation unit 78 corresponds to the above-described PC $ stream generation unit 23 and file generation unit 24 in FIG. 11 and executes a process of generating a PC $ stream and generating a file in which the PC $ stream is stored in ISOBMFF. .
  • FIG. 31 is a block diagram showing a configuration example of the data reproducing apparatus.
  • the data reproduction device 52 includes a control unit 81 and a reproduction processing unit 82.
  • the reproduction processing unit 82 includes an MPD file acquisition unit 91, an MPD file processing unit 92, a segment file acquisition unit 93, It comprises a display control unit 94, a data analysis / decoding unit 95, and a display unit 96.
  • the data analysis / decoding unit 95 has a segment file processing unit 97, a decoding unit 98, and a display information generation unit 99.
  • the segment file processing unit 97 corresponds to the extraction unit 31 in FIG. 12 described above, and executes a process of extracting a geometry @ bitstream and an attribute @ bitstream corresponding to a reproduction time according to a use case.
  • ⁇ Decoding section 98 corresponds to decoding section 32 in FIG. 12 described above, and executes a process of individually decoding geometry @ bitstream and attribute @ bitstream.
  • the display information generation unit 99 corresponds to the construction unit 33 and the display processing unit 34 in FIG. 12 described above, and constructs Point @ Cloud, renders Point @ Cloud, and displays a display image.
  • the client can easily access each of the geometry and the attribute easily by defining the sample structure in which the boundary between the geometry and the attribute is clearly defined. Furthermore, the client can process each track individually by dividing the Point Cloud stream into a geometry bitstream and an attribute bitstream and storing them in 2 tracks of ISOBMFF. In addition, as described above, by defining the association method in DASH ⁇ MPD when the geometry and the attribute are stored in separate tracks, the client can easily access the geometry and the attribute independently. Can be.
  • attribute information such as color and reflection is unnecessary, and there is a use case that uses only the three-dimensional shape information of Point Cloud, or when there are multiple attribute information such as color and reflection, for example, for preview, color attribute together with geometry Client processing in use cases such as using only
  • FIG. 32 is a block diagram showing a configuration example of an embodiment of a computer on which a program for executing the above-described series of processes is installed.
  • the program can be recorded in advance on the hard disk 105 or the ROM 103 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 111 driven by the drive 109.
  • a removable recording medium 111 can be provided as so-called package software.
  • examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program may be installed in the computer from the removable recording medium 111 as described above, or may be downloaded to the computer via a communication network or a broadcast network and installed in the built-in hard disk 105. That is, for example, the program is wirelessly transferred from a download site to a computer via an artificial satellite for digital satellite broadcasting, or is transmitted to a computer via a network such as a LAN (Local Area Network) or the Internet by wire. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 102, and an input / output interface 110 is connected to the CPU 102 via a bus 101.
  • CPU Central Processing Unit
  • the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 when a command is input by a user operating the input unit 107 or the like via the input / output interface 110. .
  • the CPU 102 loads a program stored in the hard disk 105 into a random access memory (RAM) 104 and executes the program.
  • RAM random access memory
  • the CPU 102 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 102 causes the processing result to be output from the output unit 106 or transmitted from the communication unit 108 via the input / output interface 110 as needed, and further recorded on the hard disk 105, for example.
  • the input unit 107 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 106 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily need to be performed in chronological order in the order described in the flowchart. That is, the processing performed by the computer in accordance with the program includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by a single computer (processor) or may be processed in a distributed manner by a plurality of computers. Further, the program may be transferred to a remote computer and executed.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configuration described above as a plurality of devices (or processing units) may be combined and configured as one device (or processing unit).
  • a configuration other than those described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit).
  • the present technology can adopt a configuration of cloud computing in which one function is shared by a plurality of devices via a network and processed jointly.
  • the above-described program can be executed in any device.
  • the device only has to have necessary functions (functional blocks and the like) and can obtain necessary information.
  • each step described in the above-described flowchart can be executed by a single device, or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or can be shared and executed by a plurality of devices.
  • a plurality of processes included in one step can be executed as a plurality of steps.
  • the processing described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be configured so that the processing of the steps for describing the program is executed in chronological order according to the order described in this specification, or may be executed in parallel or by calling. It may be executed individually at a necessary timing such as time. That is, as long as no contradiction occurs, the processing of each step may be performed in an order different from the order described above. Further, the processing of the steps for describing the program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • the present technology can also have the following configurations.
  • a stream of shape information representing the shape of the three-dimensional structure and identification information relating to a stream of attribute information representing the attribute of the three-dimensional structure are generated for each of the streams,
  • An information processing apparatus comprising: a file generation unit that generates a file including a plurality of pieces of the generated identification information.
  • the identification information includes size information indicating a size of each stream, and type information indicating a type of each stream.
  • the file generation unit generates the file with a sample structure in which a boundary between the shape information and the attribute information is specified.
  • the file generation unit indicates, in the header of each of the shape information and the attribute information of the subsamples constituting the file, size information indicating a size of the subsample as the identification information, and a type of the subsample.
  • the information processing device according to any one of (1) to (3), wherein the type information is stored.
  • the file generation unit stores the stream of the shape information and the stream of the attribute information in one track of an ISO Base Media File Format (ISOBMFF), and uses the information on the sub-samples constituting the file to store the shape.
  • ISOBMFF ISO Base Media File Format
  • the file generation unit in the header of each of the shape information and the attribute information of the sub-sample stored in mdat of ISOBMFF, as the identification information, size information indicating the size of the sub-sample, and the The information processing device according to (5), which stores type information indicating a type.
  • the file generation unit separates the stream of the position and shape information and the stream of the attribute information, stores them separately for each track of ISOBMFF, and uses the information indicating the relationship between the tracks to store the information.
  • the information processing device according to any one of (1) to (3), which signals position and shape information and the attribute information.
  • the file generating unit separates the stream of the shape information and the stream of the attribute information, stores them separately for each track of ISOBMFF, and generates a DASH (Dynamic Adaptive Streaming over HTTP) MPD (Media Presentation).
  • the information processing apparatus according to any one of (1) to (3), wherein the shape information and the attribute information are signaled using (Description).
  • the file generation unit is stored in the mdat of ISOBMFF, in the header of each of the shape information and the attribute information of the subsample constituting the file, as the identification information, size information indicating the size of the subsample,
  • the information processing apparatus according to (8), wherein type information indicating a type of the subsample is stored.
  • the information processing device is Generating, for each of the streams, a stream of shape information representing the shape of the three-dimensional structure and a stream of attribute information representing the attribute of the three-dimensional structure, from the 3D data representing the three-dimensional structure; When, Generating a file including the generated plurality of pieces of identification information.
  • (11) In the computer of the information processing device, Generating, for each of the streams, a stream of shape information representing the shape of the three-dimensional structure and a stream of attribute information representing the attribute of the three-dimensional structure, from the 3D data representing the three-dimensional structure; When, Generating a file including the generated plurality of pieces of identification information.
  • a stream of shape information representing the shape of the three-dimensional structure and identification information relating to a stream of attribute information representing the attribute of the three-dimensional structure are generated for each of the streams.
  • the information processing device is From the 3D data representing the three-dimensional structure, a stream of shape information representing the shape of the three-dimensional structure and identification information relating to a stream of attribute information representing the attribute of the three-dimensional structure are generated for each of the streams.
  • 11 and 12 information processing device ⁇ 21 ⁇ separation unit, ⁇ 22 ⁇ encoding unit, ⁇ 23 ⁇ PC stream generation unit, ⁇ 24 ⁇ file generation unit, ⁇ 31 ⁇ extraction unit, ⁇ 32 ⁇ decoding unit, ⁇ 33 ⁇ construction unit, ⁇ 34 ⁇ display processing unit, ⁇ 51 ⁇ data generation device, # 52 Data reproducing device, ⁇ 61 ⁇ control unit, ⁇ 62 ⁇ file generation unit, ⁇ 71 ⁇ data input unit, ⁇ 72 ⁇ data encoding / generation unit, ⁇ 73 ⁇ MPD file generation unit, ⁇ 74 ⁇ recording unit, ⁇ 75 ⁇ upload unit, ⁇ 76 ⁇ preprocessing unit, ⁇ 77 ⁇ encoding unit, 78 segment file generation unit, 81 control unit, 82 playback processing unit, 91 MPD file acquisition unit, 92 MPD file processing unit, 93 segment file acquisition unit, 94 display control unit, 95 data analysis / decoding unit, 96 display unit, 97 Segment phi Processing unit, ⁇ 98 ⁇ decoding unit, ⁇ 99 ⁇ display information generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本開示は、クライアントにおける処理を効率良く行うことができるようにする情報処理装置および情報処理方法、並びにプログラムに関する。 ３次元構造を表す３Ｄデータから、３次元構造の形状を表す形状情報のストリーム、および、３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれのストリームごとに生成され、その生成された複数の識別情報を含むファイルが生成されるまた、そのファイルは、形状情報および属性情報の境界を明示したサンプル構造で生成される。本技術は、例えば、Point Cloudを配信するためのデータを生成するデータ生成装置、および、Point Cloudを再生するデータ再生装置に適用できる。

Description

情報処理装置および情報処理方法、並びにプログラム
　本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、クライアントにおける処理を効率良く行うことができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。
　従来、非特許文献１で開示されているように、３次元空間上に形状情報および属性情報（特に色情報）を同時に持った点の集合であるPoint Cloudの圧縮方法が規定されている。
　また、Point Cloudの圧縮方法の一つとして、Point Cloudデータを、３次元形状を示すgeometryと、属性情報として色や反射情報などを示すattributeとに分離して、それらを符号化する方法がある。この方法は、G-PCC（Geometry based Point Cloud Coding）と称されている。
　そして、この符号化によって生成されたG-PCCのストリームを、ダウンロード再生したり、over IP（Internet Protocol） networkで配信したりするユースケースが期待されている。そこで、非特許文献２で開示されているように、既存の配信プラットフォームへのインパクトを抑制し、早期のサービス実現を目指すべく、MPEG（Moving Picture Experts Group）において、既存の枠組みであるISOBMFF/DASH（ISO Base Media File Format / Dynamic Adaptive Streaming over HTTP）による配信技術についての検討が開始された。
MPEG-I Part5 Point Cloud Compression (ISO/IEC 23090-5) w17675, First idea on Systems technologies for Point Cloud Coding, April 2018, San Diego, US
　ところで、従来、生成されたG-PCCのストリームは、連続する１つのストリームであり、クライアントが、geometryおよびattributeそれぞれに独立してアクセスすることができない構造となっていた。そのため、例えば、geometryだけを用いるユースケースや、複数のattributeのうちの１つだけを用いるユースケースなどであっても、クライアントが、それらに個別にアクセスして取得することができない。従って、G-PCCのストリームを構成するgeometryおよびattributeの全てを取得した上で処理を行う必要があり、クライアントにおいて処理のオーバヘッドが発生し、処理を効率良く行うことは困難であった。
　本開示は、このような状況に鑑みてなされたものであり、クライアントにおける処理を効率良く行うことができるようにするものである。
　本開示の第１の側面の情報処理装置は、３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成し、生成された複数の前記識別情報を含むファイルを生成するファイル生成部を備える。
　本開示の第１の側面の情報処理方法またはプログラムは、３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、生成された複数の前記識別情報を含むファイルを生成することとを含む。
　本開示の第１の側面においては、３次元構造を表す３Ｄデータから、３次元構造の形状を表す形状情報のストリーム、および、３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成され、その生成された複数の識別情報を含むファイルが生成される。
　本開示の第２の側面の情報処理装置は、３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出する抽出部と、前記抽出部により抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築する構築部とを備える。
　本開示の第２の側面の情報処理方法またはプログラムは、３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することとを含む。
　本開示の第１の側面においては、３次元構造を表す３Ｄデータから、３次元構造の形状を表す形状情報のストリーム、および、３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれのストリームごとに生成されて含まれるファイルから、ユースケースに応じて、識別情報をもとに、形状情報および属性情報が識別して抽出され、その抽出された形状情報または属性情報を用いて、３次元構造が構築される。
従来のstream構造を示す図である。 新たに定義するPC sampleについて説明する図である。 PC sampleの一例を示す図である。 headerに格納される情報の一例を示す図である。 attributeの種類をシグナルするフィールドを追加した例について説明する図である。 Attribute parameter setの一例を示す図である。 G-PCC streamをISOBMFFの1 trackに格納する際の一例を示す図である。 codec_specific_parametersの定義を示す図である。 新たに定義するPCSampleEntryの構造を示す図である PCParamSetBoxの一例を示す図である。 ファイル生成処理を実行する情報処理装置の構成例を示すブロック図である。 Point Cloud再生処理を実行する情報処理装置の構成例を示すブロック図である。 ファイル生成処理を説明するフローチャートである。 Point Cloud再生処理を説明するフローチャートである。 第２の識別可能方法において1 trackに格納するISOBMFF構造の一例を示す図である。 1 trackに格納するISOBMFF構造の変形例を示す図である。 geometry bitstreamおよびattribute bitstreamを、ISOBMFFの2 tracksに格納する一例を示す図である。 PCMultiStreamBoxのシンタックスの一例を示す図である。 第２の識別可能方法において2 trackに格納するISOBMFF構造の第１の例を示す図である。 PCMultiStreamBoxの変形例を示す図である。 PCAttributeTrackGroupBoxのシンタックスの一例を示す図である。 PCMultiStreamBoxの変形例を示す図である。 track groupで紐づくgeometry trackおよびattribute trackをシグナルする例を示す図である。 新たに定義されるPCStreamGroupBoxの一例を示す図である。 第２の識別可能方法において2 trackに格納するISOBMFF構造の第２の例を示す図である。 DASHのシグナリングについて説明する図である。 DASHのシグナリングについて説明する図である。 SubSampleInformationBoxの概要を示す図である。 Sample Groupの概要を示す図である。 データ生成装置の構成例を示すブロック図である。 データ再生装置の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜従来のstream構造＞
　本技術を適用したstream構造について説明する前に、図１を参照して、従来のstream構造について説明する。
　図１には、G-PCCで符号化されたstream構造が示されており、このようなstreamは、G-PCC stream（または、単にPC stream）と称される。
　例えば、G-PCC streamは、1 streamで構成されており、デコード順に並んだpoint cloud frameの連続である。ここで、point cloud frame（以下、PC frameとも記載する）とは、同時刻に表示されるPoint Cloudのことである。PC frameは、3次元情報を示すgeometry bitstream（図１に示すGeom）と、色や反射といった属性情報を示すattribute bitstream（図１に示すAttr）から構成される連続する１つのbitstreamである。
　なお、１つのPC frameは、１つのgeometry bitstreamと複数のattribute bitstream（図１の例では、２つのattribute bitstream）とを有する。また、SPS（Sequence Parameter Set）には、geometry bitstreamおよびattribute bitstreamのデコードに必要な共通情報として、G-PCC streamのシーケンスごとのメタ情報が格納されている。そして、GPS（Geometry Parameter Set）には、geometry bitstreamのデコードに必要な情報が格納されており、APS（Attribute Parameter Set）には、attribute bitstreamのデコードに必要な情報が格納されている。
　そして、クライアントは、G-PCC stream内のgeometry bitstreamおよびattribute bitstreamを、それぞれ個別のデコーダでデコードする。まず、クライアントは、geometry bitstreamをデコードし、色のないPoint Cloudコンテンツを生成する。その後、クライアントは、デコードされたgeometry bitstreamの情報を参照した上でattribute bitstreamをデコードし、その情報に基づいて色や反射といった属性を付加する。
　ところで、G-PCC streamのユースケースとして、色付きのPoint Cloudデータを再生するという一般的なユースケースの他に、色や反射といった属性情報が不要で、Point Cloudデータの３次元形状情報だけを利用するユースケースがある。例えば、LiDAR（Light Detection and Ranging）およびカメラで取得した色付きの地図情報をPoint Cloudデータとして保持し、その中の地形情報（即ち、３次元形状情報）のみを抽出して自動車の運転制御などに利用するユースケースが考えられる。
　また、色や反射といった属性情報が複数ついている場合には、例えば、プレビュー用にはgeometryとともに、反射の属性を利用せずに、色の属性だけ利用したいユースケースがある。また、複数の色属性がある場合には、それらのうちの１つの色属性だけ利用するなど、１つのattributeのみ抽出して利用したいユースケースもある。
　しかしながら、例えば、G-PCC stream構造においては、attribute付きのPC frameをデコードするためには、geometryと複数のattributeを含めて１つのbitstreamとして扱う必要があり、明示的な境界情報も存在しない。このため、これらのユースケースにおいても、クライアントは、PC frameを構成するgeometryおよびattributeを全て取得した上で、ストリームの先頭から順に全てをデコードしなくてはならならず、利用しないattribute bitstreamをデコードすることになるため、処理効率が悪くなってしまう。
　そこで、本開示では、このように効率が悪くなることを解決するため、生成されるgeometry bitstreamおよびattribute bitstreamに関する情報を、新たに識別情報として生成し、その生成された識別情報を含むファイルを生成する手法を提案する。以下で説明する具体的な実施の形態は、このようなユースケースであっても、geometryおよびattributeをそれぞれに独立してアクセス可能とすることで、クライアントにおける処理を効率良く行うことができるようにするものである。
　＜PC sampleの定義＞
　図２を参照して、ISOBMFFで定義されるSampleに相当するものとして、新たに定義するPoint Cloud sample（以下、PC sampleと称する）について説明する。
　例えば、同時刻に表示されるPoint Cloudデータを構成する単位であるPC frameについて、1 PC frameは1 PC sampleから構成されると定義する。つまり、G-PCC streamは、複数のPC sampleから構成され、1 PC sampleは、図２に示す1 PC frameと同様な構造を有する。そして、クライアントは、1 PC frameと同様に、1 PC sampleをデコードすることで、同時刻に表示されるPoint Cloudとして構築することが可能となる。
　このように、PC sampleは、同時刻に表示されるPoint Cloudデータを構成するgeometry bitstreamおよびattribute bitstreamから構成される。
　＜第１の識別可能方法＞
　図３乃至図６を参照して、クライアントにおいてgeometryおよびattributeを分割するための識別を可能にする第１の識別可能方法として、geometryおよびattributeの境界を明示したsample構造について説明する。
　図３には、1 PC sampleが、１つのgeometry subsampleと２つのattribute subsampleによって構成される構成例が示されている。
　図３に示すように、1 PC sampleは、geometry subsample、１つ目のattribute subsample、および、２つ目のattribute subsampleが連続的に配置された構成となっている。そして、各subsampleは、各bitstreamを分割するため各bitstreamに関する情報を格納したheader情報と対応するbitstreamから構成される構造となっている。
　図４には、図３のheaderに格納される情報の一例が示されている。
　図４に示すように、headerには、geometry bitstreamまたはattribute bitstreamのサイズを示すサイズ情報（size_of_bitstream）と、PC sampleを構成する各bitstreamのタイプを示すタイプ情報（type）とが識別情報として格納される。例えば、bitstreamのタイプを示す情報が０である場合、geometry bitstreamであることを示し、bitstreamのタイプを示す情報が１である場合、attribute bitstreamであることを示す。この識別情報は、各bitstreamを識別するための情報であり、bitstreamごとに生成される。
　なお、PC sampleに格納されないSPS, GPS, APSは、例えば、ISOBMFFであればsample entryに格納（後述する図９および図１０参照）される。
　そして、これらのシグナリングによれば、クライアントは、headerから各bitstreamの境界を識別可能である。従って、クライアントは、PC sampleからgeometry bitstreamのみを抽出し、独立してデコードすることができる。同様に、クライアントは、PC sampleから必要なattribute bitstreamのみを抽出してデコードすることができる。そして、クライアントは、異なるデコーダでデコードされるgeometry bitstreamおよびattribute bitstreamを、それぞれ対応するデコーダに容易に入力することができる。
　さらに、headerを拡張し、図５において太字で示すように、type=1（即ち、bitstreamがattribute bitstream）である場合において、その属性の種類をシグナルするフィールド（attribute_type）を追加してもよい。例えば、attributeの種類をシグナルするフィールドが０である場合、attributeの種類が色であることを示し、attributeの種類をシグナルするフィールドが１である場合、attributeの種類が反射であることを示す。また、attributeの種類をシグナルするフィールドを用いて、その他の種類を示すこともできる。
　また、G-PCC streamのHigh level syntaxを拡張し、属性の種類をシグナルしてもよい。
　例えば、Attribute parameter setを拡張し、図６において太字で示すように、attr_typeをシグナルすることができる。また、参照されるAttribute parameter setは、attribute bitstream内で識別子としてシグナルされる。なお、セマンティクスは、上述したattribute_typeと同様である。
　以上のような第１の識別可能方法により、クライアントは、headerを参照して、geometryおよびattributeを識別して個別にアクセスすることができ、所望のattributeのみを利用するようなユースケースにおいても、効率良く処理を行うことができる。
　＜第２の識別可能方法＞
　図７乃至図２４を参照して、クライアントにおいてgeometryおよびattributeを分割するための識別を可能にする第２の識別可能方法として、sub sample information、geometry、およびattributeを格納するISOBMFFのtrackの拡張について説明する。
　まず、図７乃至図１５を参照し、第２の識別可能方法において、G-PCC streamのgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 tracksに格納するケースについて説明する。
　図７には、G-PCC streamをISOBMFFの1 trackに格納する際の一例が示されている。
　例えば、ISOBMFFのmoovには、新たに定義するPCSampleEntry（図９参照）が格納され、PCSampleEntryは、図１０に示すPCParamSetBoxからなる。
　また、ISOBMFFのmoofには、subs（SubSampleInformationBox）が格納され、図７に示すように、SubSampleInformationBoxを利用して、PC sample内のgeometry subsample、および、attribute subsample #0乃至#Nそれぞれの境界をシグナルすることができる。なお、SubSampleInformationについては、後述の図２８に示すSubSampleInformationBoxの概要を参照して説明する。
　そして、ISOBMFFのmdatに格納されるsampleとして、図３に示したようなPC sampleが格納され、そのヘッダに、サイズ情報およびタイプ情報が格納されている。
　ここで、図８に示すように、SubSampleInformationBoxにおいて、コーデックごとに決まるsubsampleの情報であるcodec_specific_parametersが定義される。即ち、codec_specific_parametersの値が０であるとき、subsampleはgeometry subsampleであることを示し、codec_specific_parametersの値が１であるとき、subsampleはattribute subsampleであることを示す。
　なお、subsample informationは、連続するattribute subsample群の単位で提供されてもよい。また、codec_specific_parametersをさらに拡張し、subsampleが何のattribute bitstreamなのか（色のattributeや、反射のattributeなど）をシグナルできるようにしてもよい。
　図９には、本開示で新たに定義するPCSampleEntryの構造が示されている。
　図９に示す構成において、G-PCC streamを格納するISOBMFFのtrackのsample entryは、例えば、’pcbs’となる。
　PCParamSetBoxには、図１０に示すような各parameter set（Sequence Parameter Set、Geometry Parameter Set、およびAttribute Parameter Set）が格納される。例えば、これらのparameter setは、PC sampleをデコードする際に参照される。また、parameter setは、通常、PC sample単位で変更される情報ではないため、PCSampleEntryに格納することで、PC sampleごとに同じ情報を繰り返しシグナルする必要が不要となり、ファイルサイズを削減することができる。なお、これらのparameter setの格納先としては、PCParamSetBoxにおけるseq_parameter_set_rbsp()，geometry_parameter_set()、およびattribute_parameter_set()が挙げられる。
　これらのシグナリングによれば、クライアントは、subsampleの中身をパースすることなく、geometryのsubsampleとattibuteのsubsampleとの境界（または、attibuteのsubsampleどうしの境界）を識別可能となる。つまり、クライアントは、システムレイヤのシグナリングのみを参照するという簡略化された処理で、PC sampleからgeometry bitstreamのみを抽出し、独立してデコードすることができる。同様に、クライアントは、PC sampleから必要なattribute bitstreamのみを抽出してデコードすることができる。また、クライアントは、geometry bitstreamおよびattribute bitstreamを、それぞれ対応する異なるデコーダに容易に入力することができる。
　＜情報処理装置の構成例＞
　図１１は、コンテンツを提供するサーバ側で、Point CloudデータからPC streamを生成し、そのPC streamをISOBMFFで定義されるファイルに格納したファイルを生成するファイル生成処理を実行する情報処理装置の構成例を示すブロック図である。
　図１１に示すように、情報処理装置１１は、分離部２１、符号化部２２、PC stream生成部２３、およびファイル生成部２４を備えて構成される。
　分離部２１は、入力されるPoint Cloudデータからgeometryおよびattributeを分離して、符号化部２２に供給する。
　符号化部２２は、分離部２１から供給されるgeometryおよびattributeをそれぞれ符号化して、geometry bitstreamおよびattribute bitstreamを生成する。このとき、符号化部２２は、geometry bitstreamおよびattribute bitstreamを復号する際に参照される各parameter set（Sequence Parameter Set、Geometry Parameter Set、およびAttribute Parameter Set）を生成する。例えば、符号化部２２は、geometryはOctreeで、attributeはLifting codingやRegion Adaptive Haar Transformで符号化を行う。このとき、符号化部２２は、２台のエンコーダ２５－１および２５－２によって、geometryの符号化とattributeの符号化とを並列的に行うことができる。
　PC stream生成部２３は、符号化部２２により符号化されたgeometry bitstreamおよびattribute bitstreamを、PC frameを構成する単位でインターリーブし、図３に示したようなPC sampleを生成する。そして、PC stream生成部２３は、複数のPC sampleからなるPC streamを生成して、ファイル生成部２４に供給する。
　ファイル生成部２４は、geometry bitstreamおよびattribute bitstreamを、ISOBMFFで定義されるファイルの1 trackに格納し、ファイルを生成する。このとき、ファイル生成部２４は、geometry bitstreamまたはattribute bitstreamのサイズを示すサイズ情報、および、PC sampleを構成する各bitstreamのタイプを示すタイプ情報を生成し、上述した識別情報として、生成するファイルのheaderに格納する。
　このように構成される情報処理装置１１は、Point CloudデータからPC streamを生成し、そのPC streamを1 trackに格納したファイルを出力することができる。
　また、情報処理装置１１において、G-PCC streamを、メタデータを含むBoxをシグナルしたISOBMFFで定義されるファイルに格納する際、ISOBMFFで定義されるファイルsampleは、PC sample（図３および図７参照）となる。
　図１２は、コンテンツを再生するクライアント側で、ファイルから表示画像を生成してPoint Cloudデータを再生するPoint Cloud再生処理を実行する情報処理装置の構成例を示すブロック図である。
　図１２に示すように、情報処理装置１２は、抽出部３１、復号部３２、構築部３３、および表示処理部３４を備えて構成される。
　抽出部３１は、ISOBMFFのBoxでシグナルされる情報（例えば、上述した識別情報）をもとに、ファイルから、再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを抽出して復号部３２に供給する。このとき、抽出部３１は、geometryおよびattributeを識別して、上述したような様々なユースケースに応じて、必要なgeometryまたはattributeのみを抽出することができる。なお、抽出部３１は、subsampleのheaderに格納される識別情報をもとに、ファイルから再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを抽出して、復号部３２に供給してもよい。
　復号部３２は、各parameter setを参照し、抽出部３１から供給されるgeometry bitstreamおよびattribute bitstreamを復号して、geometryおよびattributeを構築部３３に供給する。このとき、復号部３２は、２台のデコーダ３５－１および３５－２によって、geometry bitstreamの復号とattribute bitstreamの復号とを並列的に、かつ、個別に行うことができる。
　構築部３３は、復号部３２から供給されるgeometryおよびattributeを用いて、Point Cloudデータを構築する。
　表示処理部３４は、構築部３３により構築されたPoint Cloudデータを、クライアントの表示デバイスに合わせてレンダリングし、表示画像を生成して、図示しない表示デバイスに表示させる。
　このように構成される情報処理装置１２は、ファイルからPoint Cloudデータを再生して、Point Cloudデータをレンダリングした表示画像を表示させることができる。
　＜ファイル生成処理およびPoint Cloud再生処理の処理例＞
　図１３は、図１１の情報処理装置１１が、Point Cloudデータからファイルを生成するファイル生成処理を説明するフローチャートである。
　例えば、情報処理装置１１にPoint Cloudデータの入力が行われると処理が開始され、ステップＳ１１において、分離部２１は、入力されるPoint Cloudから、geometryおよびattributeを分離する。
　ステップＳ１２において、符号化部２２は、ステップＳ１１で分離部２１により分離されたgeometryおよびattributeを符号化して、geometry bitstreamおよびattribute bitstreamを生成する。このとき、符号化部２２は、各parameter setを生成する。
　ステップＳ１３において、PC stream生成部２３は、ステップＳ１２で生成されたgeometry bitstreamおよびattribute bitstreamを、PC frameを構成する単位（PC sample）でインターリーブし、PC streamを生成する。
　ステップＳ１４において、ファイル生成部２４は、ステップＳ１３で生成されたPC streamを、メタデータを含むBoxをシグナルしたISOBMFFに格納し、ファイルを生成する。また、ファイル生成部２４は、サイズ情報およびタイプ情報を生成して、このファイルのheaderに格納する。このとき、ISOBMFFのsampleはPC sampleとなる。
　図１４は、図１２の情報処理装置１２が、情報処理装置１１において生成されたファイルから表示画像を生成して再生するPoint Cloud再生処理を説明するフローチャートである。
　例えば、情報処理装置１２へファイルの先端から供給が始まると処理が開始され、ステップＳ２１において、抽出部３１は、ISOBMFFのBoxでシグナルされる情報（例えば、上述した識別情報）をもとに、ファイルから、再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを抽出する。なお、抽出部３１は、subsampleのheaderに格納される識別情報をもとに、ファイルから、再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを抽出してもよい。
　ステップＳ２２において、復号部３２は、各parameter setを参照し、ステップＳ２１で抽出されたgeometry bitstreamおよびattribute bitstreamを、それぞれ個別に復号する。このとき、geometry bitstreamおよびattribute bitstreamは、２デコーダインスタンスによる個別のデコードとなる。
　ステップＳ２３において、構築部３３は、ステップＳ２２の復号で得られたgeometryおよびattributeを用いて、Point Cloudデータを構築する。
　ステップＳ２４において、表示処理部３４は、クライアントの表示デバイスに合わせ、ステップＳ２３で構築されたPoint Cloudデータをレンダリングして表示画像を表示させる。
　ステップＳ２５において、抽出部３１は、PC streamの終端か否かを判定し、PC streamの終端でない場合には処理はステップＳ２１に戻り、PC streamの終端である場合には、処理は終了される。
　以上のようなファイル生成処理およびPoint Cloud再生処理によって、クライアント側における処理を効率良く行うことができる。
　ここで、図１５には、第２の識別可能方法でgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 trackに格納したときのISOBMFF構造の第１の例が示されている。
　なお、変形例として、図１６に示すように、PC sampleを用いず、1 PC frameを構成するgeometry bitstreamおよびattribute bitstreamを、それぞれ1 sampleとしてISOBMFFに格納してもよい。このとき、geometry subsampleおよびattribute subsampleが、それぞれgemetry sampleおよびattribute sampleとなる。
　また、1 PC frameを構成するgeometry sampleおよびattribute sample(s)は、sample groupを用いてシグナルしてもよい。同様に、geometry sampleおよびattribute sampleの境界についても、sample groupを用いてシグナルしてもよい。なお、sample groupについては、後述の図２９に示すsample group概要を参照して説明する。
　ここで、動画ではなく、時間情報を持たないG-PCCのPC sample（即ち、複数のPC sampleが連続するストリームではなく、単一のPC sample）をISOBMFFに格納する場合には、同様の情報をMedaDataBoxにシグナルすればよい。
　次に、図１７乃至図２５を参照し、第２の識別可能方法において、G-PCC streamのgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 trackごとに、それぞれ個別に格納する方法について説明する。
　図１７には、G-PCCストリームを、１つのgeometry bitstreamと１つのattribute bitstreamとに分離し、１つのgeometry bitstreamをISOBMFFの1 trackに格納し、１つのattribute bitstreamをISOBMFFの1 trackに格納した2 tracksの一例が示されている。
　このように、2 tracksにgeometry bitstreamおよびattribute bitstreamを個別に格納することで、クライアントは、geometry bitstreamのみを格納するtrackを処理し、geometry bitstreamのみを容易にデコードできる。同様に、クライアントは、１つのattribute bitstreamのみを格納するtrackを処理し、必要なattribute bitstreamのみを容易にデコードすることができる。また、クライアントは、異なるデコーダでデコードされるgeometry bitstreamおよびattribute bitstreamを、それぞれ対応するデコーダに容易に入力できる。
　図１７に示すように、geometry bitstreamを格納するtrackをgeometry trackまたは主trackと称し、attribute bitstreamを格納するtrackをattribute trackまたは副trackと称する。そして、それぞれのtrackの関係性を、track reference、および、新たに定義したPCMultiStreamBoxでシグナルする。
　また、図１７に示す例では、主トラックのみにPCParamSetBoxが存在し、PCParamSetBoxは、Sequence Parameter Set，Geometry Parameter Set、およびAttribute parameter setを含む。なお、主trackおよび副track両方にPCParamSetBoxが存在してもよく、その際は、主トラックのPCParamSetBoxは、Sequence Parameter SetおよびGeometry Parameter Setを含み、副トラックのPCParamSetBoxは、Attribute Parameter Setを含むとしてもよい。
　さらに、PC frameの境界を示すsample groupをシグナルしてもよい。また、１つのgeometry trackに対して、例えば、bitrateの異なる複数のattribute trackを紐づけてもよい。
　図１８には、PCMultiStreamBoxのシンタックスの一例が示されている。
　例えば、isGeometryStream＝１である場合にはgeometry trackであることを示し、それ以外の場合にはattribute trackであることを示す。また、geometry trackであれば、紐づくattribute trackのtrack_idをシグナルする。
　このようなシグナリングによれば、クライアントは、track referenceが示されていることで、任意の1 trackのTrackReferenceBoxをパースするだけで、どのtrackがgeometry trackであるかを識別することができる。その後、クライアントは、geometry trackのPCMultiStreamBoxをパースし、全ての関連attribute trackを識別することができる。つまり、クライアントは、最大でも2 trackをパースするだけで全体の構成を識別可能であり、特に複数のattribute trackが紐づくケースにおいて処理を簡易化することが可能となる。
　なお、PCMultiStreamBoxを拡張し、isGeometryBitstream=0（即ち、bitstreamがattribute bitstream）である場合において、その属性の種類（色や反射など）をシグナルするフィールド （attribute_type）を追加してもよい。また、attribute trackが、複数種類の属性に相当する複数attribute bitstreamを含むようにしてもよい。
　ここで、図１９には、第２の識別可能方法でgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 trackごとに、それぞれ個別に格納したときのISOBMFF構造の一例が示されている。
　さらに、PCMultiStreamBoxのシンタックスの変形例として、複数のattribute trackをまとめてtrack groupでシグナルし、図２０に示すように、attribute_track_group_idでattribute track groupに紐づけてもよい。
　この場合、track groupは、図２１に示すように、PCAttributeTrackGroupBoxを新たに定義し、track_group_typeは’pctg’である。
　また、図２２において太字で示すように、PCMultiStreamBoxに、attributeがgeometryと同じtrackに格納されているか否かを示すisInGeometryStreamを追加してもよい。これにより、上述したように1 trackに格納するケースでも、シグナル可能なBoxとすることができる。
　さらに、PCMultiStreamBoxの代わりに、図２３に示すように、track groupで紐づくgeometry trackおよびattribute trackをシグナルしてもよい。
　そして、図２４に示すように、track groupは、PCStreamGroupBoxを新たに定義し、track_group_typeは’pcgp’である。このとき、track_group_idが等しいpcgpを有するtrackは、１つのPC streamを構成する。例えば、isGeometry=0であれば、そのtrackはattribute trackであることを示し、isGeometry=1であれば、そのtrackはgeometry trackであることを示す。
　なお、PCStreamGroupBoxを拡張し、isGeometry=0（即ち、bitstreamがattribute bitstream）である場合において、その属性の種類（色や反射など）をシグナルするフィールド（attribute_type）を追加してもよい。
　ここで、図２５には、第２の識別可能方法でgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 trackに格納したときのISOBMFF構造の第２の例が示されている。
　以上のような第２の識別可能方法により、クライアントは、サブサンプルに関する情報（SubSampleInformationBox）、または、各トラックの関係性を示す情報（PCMultiStreamBox）を参照して、geometryおよびattributeを識別して個別にアクセスすることができる。従って、クライアントは、所望のgeometryのみ、または、必要なattributeのみを利用するようなユースケースにおいても、効率良く処理を行うことができる。
　＜第３の識別可能方法＞
　図２６および図２７を参照して、クライアントにおいてgeometryおよびattributeを分割するための識別を可能にする第３の識別可能方法として、geometryおよびattributeを個別のtrackに格納した場合の、DASH MPD（Media Presentation Description）における紐づけ方法について説明する。
　例えば、図２６に示すように、DASH MPDにおいて、SupplementalProperty or EssentialProperty@schemeIdUri=="urn:mpeg:mpegI:pointcloud"をPC Component Descriptorと定義する。そして、Representationは、attributeおよびgeometryのうちの、いずれか一方を示す。
　また、attribute representationからgeometry representationへの紐づけをRepresentation@dependencyIdで行う。これは、presentation時に、geometryがないとattributeをマッピングできないという依存関係があるためである。
　なお、Representationがattributeである場合において、その属性の種類（色や反射など）をシグナルするattribute type descriptor（SupplementalProperty or EssentialProperty@schemeIdUri=="urn:mpeg:mpegI:pc_attribute_type"）を追加してもよい。
　これらのシグナリングによれば、クライアントがDASH配信コンテンツを取得する際、PC Component Descriptorを参照し、PC streamを構成するgeometry bitstreamを独立して取得することができる。同様に、クライアントは、attribute bitstreamを独立してデコードすることができる。また、クライアントは、例えば、ネットワーク帯域幅に応じて、geometry bitstreamに紐づくattribute bitstreamの画質の切り替えを行うことも可能となる。
　さらに、図２７に示すように、geometry representationからattribute representationへの紐づけをRepresentation@associationIdで行ってもよい。ここで、associationTypeは”patt”となる。また、geometryは単独で色のないpoint cloudのpresentationを可能とするため、associationIdを用いた紐づけが適切である。
　以上のような第３の識別可能方法により、クライアントは、DASH MPDにおける紐づけに基づいて、geometryおよびattributeを識別して個別にアクセスすることができる。従って、クライアントは、所望のattributeのみを利用するようなユースケースにおいても、効率良く処理を行うことができる。また、第３の識別可能方法においても、第２の識別可能方法と同様に、ISOBMFFのmdatに格納されるsampleとして、図３に示したようなPC sampleが格納され、そのヘッダに、サイズ情報およびタイプ情報が格納されている。
　ここで、図２８には、SubSampleInformationBoxの概要が示されている。
　図２８に示すように、sample中の、連続した特定byte領域をsub-sampleと定義している。また、sub-sampleの定義は符号化コーデックごとに決まっており、例えばHEVCなら、NAL unitがsub-sampleとなる。また、SubSampleInformationBoxでは、sub-sampleごとに情報を付加することができる。
　また、図２９には、Sample Groupの概要が示されている。
　図２９に示すように、Sample To Group Boxのgrouping_typeは、紐づけられるSample Group Description Boxのgrouping_typeを示す。1 entryにつき、sample_countとgroup_description_indexがシグナルされる。そして、group_description_indexは、紐づくGroup Entryのindexを示し、sample_countは、そのGroup Entryに属するsample数を示す。
　＜システム構成＞
　図３０および図３１を参照して、本技術を適用したデータ生成装置およびデータ再生装置のシステム構成について説明する。
　図３０には、データ生成装置の構成例を示すブロック図が示されている。
　図３０に示すように、データ生成装置５１は、制御部６１およびファイル生成部６２を備えており、ファイル生成部６２は、データ入力部７１、データ符号化・生成部７２、MPDファイル生成部７３、記録部７４、およびアップロード部７５を備えて構成される。そして、データ符号化・生成部７２は、前処理部７６、符号化部７７、およびセグメントファイル生成部７８を有している。
　例えば、前処理部７６は、上述した図１１の分離部２１に対応し、入力されるPoint Cloudから、geometryおよびattributeを分離する処理を実行する。
　また、符号化部７７は、上述した図１１の符号化部２２に対応し、geometry bitstreamおよびattribute bitstreamを符号化し、各parameter setを生成する処理を実行する。
　また、セグメントファイル生成部７８は、上述した図１１のPC stream生成部２３およびファイル生成部２４に対応し、PC streamを生成し、そのPC streamをISOBMFFに格納したファイルを生成する処理を実行する。
　図３１には、データ再生装置の構成例を示すブロック図が示されている。
　図３１に示すように、データ再生装置５２は、制御部８１および再生処理部８２を備えており、再生処理部８２は、MPDファイル取得部９１、MPDファイル処理部９２、セグメントファイル取得部９３、表示制御部９４、データ解析・復号部９５、および表示部９６を備えて構成さる。そして、データ解析・復号部９５は、セグメントファイル処理部９７、復号部９８、および表示情報生成部９９を有している。
　例えば、セグメントファイル処理部９７は、上述した図１２の抽出部３１に対応し、再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを、ユースケースに応じて抽出する処理を実行する。
　また、復号部９８は、上述した図１２の復号部３２に対応し、geometry bitstreamおよびattribute bitstreamを、それぞれ個別に復号する処理を実行する。
　また、表示情報生成部９９は、上述した図１２の構築部３３および表示処理部３４に対応し、Point Cloudを構築しPoint Cloudをレンダリングして表示画像を表示させる。
　以上のように、本技術によれば、geometryおよびattributeの境界を明示したsample構造を定義することで、クライアントは、容易に、geometryおよびattributeそれぞれに独立してアクセスすることができる。さらに、Point Cloud streamをgeometry bitstreamおよびattribute bitstreamに分け、ISOBMFFの2 tracksに、それぞれ格納することによって、クライアントは、各trackに個別に処理することができる。また、上述したように、geometryとattributeとを個別のtrackに格納した場合の、DASH MPDにおける紐づけ方法を定義することで、クライアントは、容易に、geometryおよびattributeそれぞれに独立してアクセスすることができる。
　これにより、クライアントは、geometryを単独でデコードすることや、複数のattributeのうちの、所望のattributeのみをデコードすることが可能となる。
　従って、色や反射といった属性情報が不要で、Point Cloudの3次元形状情報だけを利用するユースケースや、色や反射といった属性情報が複数ついている場合、例えば、プレビュー用にはgeometryとともに色の属性だけ利用する、といったユースケースにおけるクライアント処理を効率良く行うことができる。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図３２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成し、
　生成された複数の前記識別情報を含むファイルを生成するファイル生成部
　を備える情報処理装置。
（２）
　前記識別情報には、各前記ストリームのサイズを示すサイズ情報、および、各前記ストリームのタイプを示すタイプ情報が含まれる
　上記（１）に記載の情報処理装置。
（３）
　前記ファイル生成部は、前記ファイルを、前記形状情報および前記属性情報の境界を明示したサンプル構造で生成する
　上記（１）または（２）に記載の情報処理装置。
（４）
　前記ファイル生成部は、前記ファイルを構成するサブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
　上記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを、ISOBMFF（ISO Base Media File Format）の１つのトラックに格納し、前記ファイルを構成するサブサンプルに関する情報を利用して前記形状情報および前記属性情報の境界をシグナルする
　上記（１）乃至（３）のいずれかに記載の情報処理装置。
（６）
　前記ファイル生成部は、ISOBMFFのmdatに格納される前記サブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
　上記（５）に記載の情報処理装置。
（７）
　前記ファイル生成部は、前記位置形状情報のストリームおよび前記属性情報のストリームを分離して、ISOBMFFの１つのトラックごとに、それぞれ個別に格納し、各トラックの関係性を示す情報を利用して前記位置形状情報および前記属性情報をシグナルする
　上記（１）乃至（３）のいずれかに記載の情報処理装置。
（８）
　前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを分離して、ISOBMFFの１つのトラックごとに、それぞれ個別に格納し、DASH（Dynamic Adaptive St reaming over HTTP）のMPD（Media Presentation Description）を利用して前記形状情報および前記属性情報をシグナルする
　上記（１）乃至（３）のいずれかに記載の情報処理装置。
（９）
　前記ファイル生成部は、ISOBMFFのmdatに格納される、前記ファイルを構成する前記サブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
　上記（８）に記載の情報処理装置。
（１０）
　情報処理装置が、
　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、
　生成された複数の前記識別情報を含むファイルを生成することと
　を含む情報処理方法。
（１１）
　情報処理装置のコンピュータに、
　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、
　生成された複数の前記識別情報を含むファイルを生成することと
　を含む情報処理を実行させるためのプログラム。
（１２）
　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出する抽出部と、
　前記抽出部により抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築する構築部と
　を備える情報処理装置。
（１３）
　情報処理装置が、
　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、
　その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することと
　を含む情報処理方法。
（１４）
　情報処理装置のコンピュータに、
　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、
　その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することと
　を含む情報処理を実行させるためのプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１および１２　情報処理装置，　２１　分離部，　２２　符号化部，　２３　PC stream生成部，　２４　ファイル生成部，　３１　抽出部，　３２　復号部，　３３　構築部，　３４　表示処理部，　５１　データ生成装置，　５２　データ再生装置，　６１　制御部，　６２　ファイル生成部，　７１　データ入力部，　７２　データ符号化・生成部，　７３　MPDファイル生成部，　７４　記録部，　７５　アップロード部，　７６　前処理部，　７７　符号化部，　７８　セグメントファイル生成部，　８１　制御部，　８２　再生処理部，　９１　MPDファイル取得部，　９２　MPDファイル処理部，　９３　セグメントファイル取得部，　９４　表示制御部，　９５　データ解析・復号部，　９６　表示部，　９７　セグメントファイル処理部，　９８　復号部，　９９　表示情報生成部

Claims (14)

  1. 　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成し、
    　生成された複数の前記識別情報を含むファイルを生成するファイル生成部
    　を備える情報処理装置。
  2. 　前記識別情報には、各前記ストリームのサイズを示すサイズ情報、および、各前記ストリームのタイプを示すタイプ情報が含まれる
    　請求項１に記載の情報処理装置。
  3. 　前記ファイル生成部は、前記ファイルを、前記形状情報および前記属性情報の境界を明示したサンプル構造で生成する
    　請求項１に記載の情報処理装置。
  4. 　前記ファイル生成部は、前記ファイルを構成するサブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
    　請求項１に記載の情報処理装置。
  5. 　前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを、ISOBMFF（ISO Base Media File Format）の１つのトラックに格納し、前記ファイルを構成するサブサンプルに関する情報を利用して前記形状情報および前記属性情報の境界をシグナルする
    　請求項１に記載の情報処理装置。
  6. 　前記ファイル生成部は、ISOBMFFのmdatに格納される前記サブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
    　請求項５に記載の情報処理装置。
  7. 　前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを分離して、ISOBMFFの１つのトラックごとに、それぞれ個別に格納し、各トラックの関係性を示す情報を利用して前記形状情報および前記属性情報をシグナルする
    　請求項１に記載の情報処理装置。
  8. 　前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを分離して、ISOBMFFの１つのトラックごとに、それぞれ個別に格納し、DASH（Dynamic Adaptive Streaming over HTTP）のMPD（Media Presentation Description）を利用して前記形状情報および前記属性情報をシグナルする
    　請求項１に記載の情報処理装置。
  9. 　前記ファイル生成部は、ISOBMFFのmdatに格納される、前記ファイルを構成するサブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
    　請求項８に記載の情報処理装置。
  10. 　情報処理装置が、
    　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、
    　生成された複数の前記識別情報を含むファイルを生成することと
    　を含む情報処理方法。
  11. 　情報処理装置のコンピュータに、
    　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、
    　生成された複数の前記識別情報を含むファイルを生成することと
    　を含む情報処理を実行させるためのプログラム。
  12. 　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出する抽出部と、
    　前記抽出部により抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築する構築部と
    　を備える情報処理装置。
  13. 　情報処理装置が、
    　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、
    　その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することと
    　を含む情報処理方法。
  14. 　情報処理装置のコンピュータに、
    　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、
    　その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することと
    　を含む情報処理を実行させるためのプログラム。
PCT/JP2019/036465 2018-10-02 2019-09-18 情報処理装置および情報処理方法、並びにプログラム Ceased WO2020071111A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020550265A JP7439762B2 (ja) 2018-10-02 2019-09-18 情報処理装置および情報処理方法、並びにプログラム
CN201980063613.0A CN112789656B (zh) 2018-10-02 2019-09-18 信息处理装置、信息处理方法和程序介质
EP19868888.9A EP3862971A4 (en) 2018-10-02 2019-09-18 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US17/278,989 US20220038517A1 (en) 2018-10-02 2019-09-18 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-187816 2018-10-02
JP2018187816 2018-10-02

Publications (1)

Publication Number Publication Date
WO2020071111A1 true WO2020071111A1 (ja) 2020-04-09

Family

ID=70054768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036465 Ceased WO2020071111A1 (ja) 2018-10-02 2019-09-18 情報処理装置および情報処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20220038517A1 (ja)
EP (1) EP3862971A4 (ja)
JP (1) JP7439762B2 (ja)
CN (1) CN112789656B (ja)
WO (1) WO2020071111A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021251141A1 (ja) * 2020-06-09 2021-12-16
CN114554243A (zh) * 2020-11-26 2022-05-27 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备及存储介质
JP2023550752A (ja) * 2020-11-26 2023-12-05 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 非時系列ポイントクラウドメディアの処理方法、装置、機器、及びコンピュータプログラム
EP4138397A4 (en) * 2020-04-14 2024-03-27 LG Electronics, Inc. POINT CLOUD DATA TRANSMISSION APPARATUS, POINT CLOUD DATA TRANSMISSION METHOD, POINT CLOUD DATA RECEIVING APPARATUS, AND POINT CLOUD DATA RECEIVING METHOD
JP2024050956A (ja) * 2018-12-26 2024-04-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法、符号化装置、復号方法及び復号装置
WO2025177813A1 (ja) * 2024-02-19 2025-08-28 ソニーセミコンダクタソリューションズ株式会社 符号化方法、復号化方法及び情報処理システム
TWI904176B (zh) * 2020-06-22 2025-11-11 美商內數位專利控股公司 基於幾何之點雲的適應性串流

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168719A (zh) * 2018-12-07 2021-07-23 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置
US12322144B2 (en) * 2020-04-24 2025-06-03 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
CN113709093B (zh) * 2021-03-15 2023-08-04 上海交通大学 一种三维点云的封装方法、装置及介质
US20250252607A1 (en) * 2022-04-14 2025-08-07 Lg Electronics Inc. Transmission device for point cloud data and method performed by same transmission device, and reception device for point cloud data and method performed by same reception device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113224A (ja) * 1998-10-06 2000-04-21 Akira Kawanaka ３次元データを圧縮する方法、復元方法
JP2003187266A (ja) * 2001-12-19 2003-07-04 Ricoh Co Ltd ３次元形状処理装置およびデータ処理方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216981A (ja) * 2002-01-25 2003-07-31 Iwane Kenkyusho:Kk 自動作業システム
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
KR101611531B1 (ko) * 2009-11-13 2016-04-12 삼성전자주식회사 촬영장치 및 촬영영상 제공방법
JP5601006B2 (ja) * 2010-04-08 2014-10-08 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
US20120233345A1 (en) * 2010-09-10 2012-09-13 Nokia Corporation Method and apparatus for adaptive streaming
JP6105741B2 (ja) * 2012-10-26 2017-03-29 インテル・コーポレーション ビデオの向きの調整（ｃｖｏ）を伴うストリーミング
US9762938B2 (en) * 2012-10-26 2017-09-12 Intel Corporation Multimedia adaptation based on video orientation
US9886631B2 (en) * 2012-11-19 2018-02-06 Altria Client Services Llc On-line oil and foreign matter detection stystem and method employing hyperspectral imaging
WO2015008538A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 情報処理装置および情報処理方法
JP6493765B2 (ja) * 2013-07-19 2019-04-03 ソニー株式会社 情報処理装置および方法
JP6439981B2 (ja) * 2013-07-22 2018-12-19 ソニー株式会社 情報処理装置および方法
US9712843B2 (en) * 2013-10-23 2017-07-18 Qualcomm Incorporated Multi-layer video file format designs
CN105900174B (zh) * 2014-01-14 2019-07-30 索尼公司 信息处理设备、信息记录介质、信息处理系统、信息处理方法及计算机可读存储介质
WO2015197818A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming
US20180242028A1 (en) * 2015-08-20 2018-08-23 Koninklijke Kpn N.V. Forming A Tiled Video On The Basis Of Media Streams
US10692286B2 (en) * 2015-08-28 2020-06-23 VR Drive Sp. z O.O. Device and method of creating an augmented interactive virtual reality system
US10834153B2 (en) * 2016-08-24 2020-11-10 Qualcomm Incorporated System level signaling of SEI tracks for media data streaming
US10536721B2 (en) * 2017-01-09 2020-01-14 Qualcomm Incorporated Restricted scheme design for video
US10306254B2 (en) * 2017-01-17 2019-05-28 Seiko Epson Corporation Encoding free view point data in movie data container
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
AU2018238632A1 (en) * 2017-03-24 2019-10-10 Sony Corporation Information processing device, information processing method, and program
EP4694145A3 (en) * 2017-07-06 2026-04-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Portioned video streaming concepts
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
EP3780626A1 (en) * 2018-04-11 2021-02-17 Samsung Electronics Co., Ltd. Device and method for processing data in multimedia system
EP3821606A1 (en) * 2018-07-11 2021-05-19 Telefonaktiebolaget LM Ericsson (publ) Video based point cloud codec bitstream specification
WO2020032248A1 (ja) * 2018-08-10 2020-02-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113224A (ja) * 1998-10-06 2000-04-21 Akira Kawanaka ３次元データを圧縮する方法、復元方法
JP2003187266A (ja) * 2001-12-19 2003-07-04 Ricoh Co Ltd ３次元形状処理装置およびデータ処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3862971A4
W17675, FIRST IDEA ON SYSTEMS TECHNOLOGIES FOR POINT CLOUD CODING, April 2018 (2018-04-01)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7765518B2 (ja) 2018-12-26 2025-11-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法、符号化装置、復号方法及び復号装置
JP2024050956A (ja) * 2018-12-26 2024-04-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法、符号化装置、復号方法及び復号装置
EP4138397A4 (en) * 2020-04-14 2024-03-27 LG Electronics, Inc. POINT CLOUD DATA TRANSMISSION APPARATUS, POINT CLOUD DATA TRANSMISSION METHOD, POINT CLOUD DATA RECEIVING APPARATUS, AND POINT CLOUD DATA RECEIVING METHOD
JP7768130B2 (ja) 2020-06-09 2025-11-12 ソニーグループ株式会社 情報処理装置および方法
CN115868156A (zh) * 2020-06-09 2023-03-28 索尼集团公司 信息处理装置和方法
JPWO2021251141A1 (ja) * 2020-06-09 2021-12-16
EP4164213A4 (en) * 2020-06-09 2023-10-04 Sony Group Corporation INFORMATION PROCESSING APPARATUS AND METHOD
TWI904176B (zh) * 2020-06-22 2025-11-11 美商內數位專利控股公司 基於幾何之點雲的適應性串流
CN114554243B (zh) * 2020-11-26 2023-06-20 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备及存储介质
JP7508710B2 (ja) 2020-11-26 2024-07-01 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 非時系列ポイントクラウドメディアの処理方法、装置、機器、及びコンピュータプログラム
JP2023550752A (ja) * 2020-11-26 2023-12-05 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 非時系列ポイントクラウドメディアの処理方法、装置、機器、及びコンピュータプログラム
CN114554243A (zh) * 2020-11-26 2022-05-27 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备及存储介质
WO2025177813A1 (ja) * 2024-02-19 2025-08-28 ソニーセミコンダクタソリューションズ株式会社 符号化方法、復号化方法及び情報処理システム

Also Published As

Publication number Publication date
CN112789656B (zh) 2025-09-23
US20220038517A1 (en) 2022-02-03
EP3862971A4 (en) 2022-08-17
JPWO2020071111A1 (ja) 2021-09-24
JP7439762B2 (ja) 2024-02-28
EP3862971A1 (en) 2021-08-11
CN112789656A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
JP7439762B2 (ja) 情報処理装置および情報処理方法、並びにプログラム
US11516453B2 (en) Information processing apparatus, information processing method, and program for point cloud sample processing
US11533350B2 (en) Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
JP6766157B2 (ja) ビデオストリーミングにおけるシーンセクションと関心領域の処理
US12432370B2 (en) Information processing device and information processing method
TWI632810B (zh) Data generating device, data generating method, data reproducing device, and data reproducing method
KR20200068705A (ko) 고품질의 경험을 위한 오디오 메시지들의 효율적인 전달 및 사용을 위한 방법 및 장치
US20230025332A1 (en) Method, device, and computer program for improving encapsulation of media content
CN112789865B (zh) 信息处理装置和信息处理方法
JP7287454B2 (ja) 情報処理装置、再生処理装置、情報処理方法及び再生処理方法
US11206386B2 (en) Information processing apparatus and information processing method
WO2021065277A1 (ja) 情報処理装置、再生処理装置及び情報処理方法
JP7521531B2 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
WO2025212395A1 (en) Volumetric video experiences using dynamic mesh coding
WO2024143466A1 (ja) 情報処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19868888

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020550265

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019868888

Country of ref document: EP

Effective date: 20210503

WWG Wipo information: grant in national office

Ref document number: 201980063613.0

Country of ref document: CN