WO2022070903A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2022070903A1
WO2022070903A1 PCT/JP2021/033827 JP2021033827W WO2022070903A1 WO 2022070903 A1 WO2022070903 A1 WO 2022070903A1 JP 2021033827 W JP2021033827 W JP 2021033827W WO 2022070903 A1 WO2022070903 A1 WO 2022070903A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
object content
profile
mpeg
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/033827
Other languages
English (en)
French (fr)
Inventor
由佳 木山
遼平 高橋
光浩 平林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2022553792A priority Critical patent/JP7722385B2/ja
Priority to US18/041,834 priority patent/US12418679B2/en
Priority to CN202180051453.5A priority patent/CN115918096A/zh
Priority to EP21875205.3A priority patent/EP4224864A4/en
Publication of WO2022070903A1 publication Critical patent/WO2022070903A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Definitions

  • the present disclosure relates to information processing devices and methods, and more particularly to information processing devices and methods capable of suppressing an increase in the load of reproduction processing.
  • glTF The GL Transmission Format
  • MPEG Motion Picture Experts Group
  • Timedmedia as 3D object content
  • Non-Patent Document 2 and Non-Patent Document 2 See Patent Document 3
  • MPEG-I Scene Description it is also considered to be able to switch the coding method, profile, level, etc. of the 3D object content according to the performance of the client and the like.
  • This disclosure has been made in view of such a situation, and is intended to enable the increase in the load of the reproduction process to be suppressed.
  • the information processing device of one aspect of this technology is the information associated with MPD (Media Presentation Description) that stores the metadata of the 3D object content distributed using MPEG DASH (Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP). It is an information processing apparatus including a file generation unit that generates a scene description file that describes a scene of the 3D object content, which includes information on encoding of Representation included in the Adaptation Set in the MPD.
  • MPD Media Presentation Description
  • MPEG DASH Motion Picture Experts Group Dynamic Adaptive Streaming over HTTP
  • the information processing method for one aspect of this technology is information associated with MPD (Media Presentation Description) that stores metadata of 3D object content distributed using MPEG DASH (Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP). It is an information processing method for generating a scene description file that describes a scene of the 3D object content, which includes information on encoding of Representation included in the Adaptation Set in the MPD.
  • MPD Media Presentation Description
  • MPEG DASH Motion Picture Experts Group Dynamic Adaptive Streaming over HTTP
  • the information processing device of the other aspect of this technology outputs information associated with MPD (Media Presentation Description) that stores the metadata of 3D object content distributed using MPEG DASH (Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP).
  • MPD Media Presentation Description
  • MPEG DASH Motion Picture Experts Group Dynamic Adaptive Streaming over HTTP
  • the scene description file that describes the scene of the 3D object content including the scene description file is analyzed, and the 3D object content to be decoded is decoded based on the information regarding the encoding of the representation included in the Adaptation Set in the MPD contained in the scene description file.
  • It is an information processing apparatus including a selection unit for selecting the above and a decoding unit for decoding the coded data of the 3D object content selected by the selection unit.
  • the information processing method of other aspects of this technology is to use information associated with MPD (Media Presentation Description) that stores the metadata of 3D object content distributed using MPEG DASH (Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP).
  • MPD Media Presentation Description
  • MPEG DASH Motion Picture Experts Group Dynamic Adaptive Streaming over HTTP.
  • the scene description file that describes the scene of the 3D object content including the scene description file is analyzed, and the 3D object content to be decoded is decoded based on the information regarding the encoding of the representation included in the Adaptation Set in the MPD contained in the scene description file.
  • the information processing device and method of one aspect of this technology are linked to MPD (Media Presentation Description) that stores the metadata of 3D object content distributed using MPEG DASH (Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP).
  • a scene description file is generated that describes the scene of the 3D object content, including the information and the information about the encoding of the Representation contained in the Adaptation Set in the MPD.
  • MPD Media Presentation Description
  • MPEG DASH Motion Picture Experts Group Dynamic Adaptive Streaming over HTTP
  • the scene description file that describes the scene of the 3D object content is analyzed, and the 3D object content that is decrypted based on the information related to the encoding of the Representation included in the Adaptation Set in MPD contained in the scene description file. Is selected and the encoded data of the selected 3D object content is decoded.
  • FIG. 1 It is a figure which shows the main configuration example of glTF2.0. It is a figure which shows the example of the reference relation with a glTF object. It is a figure which shows the description example of the JSON format file. It is a figure explaining the access method to the binary data. It is a figure which shows the description example of the JSON format file. It is a figure explaining the relationship of a buffer object, a buffer view object, and an accessor object. It is a figure which shows the description example of a buffer object, a buffer view object, and an accessor object. It is a figure explaining the extension method of glTF2.0. It is a figure explaining the extension for handling Timed media. It is a figure explaining the extension for handling Timed media.
  • Non-Patent Document 1 (above)
  • Non-Patent Document 2 (above)
  • Non-Patent Document 3 (above)
  • glTF The GL Transmission Format
  • glTF2.0 for example, as shown in FIG. 1, it is composed of a JSON format file (.glTF), a binary file (.bin), and an image file (.png, .jpg, etc.).
  • Binary files store binary data such as geometry and animation.
  • the image file stores data such as textures.
  • the JSON format file is a scene description file described in JSON (JavaScript (registered trademark) Object Notation).
  • a scene description is metadata that describes a scene (description) of 3D content. The description of this scene description defines what kind of scene it is.
  • a scene description file is a file that stores such a scene description. In the present disclosure, the scene description file is also referred to as a scene description file.
  • the JSON format file description consists of a list of KEY and VALUE pairs. An example of the format is shown below. “KEY”: ”VALUE”
  • the key is composed of a character string.
  • a value is composed of a numerical value, a character string, a boolean value, an array, an object, or null.
  • key / value pairs (“KEY”: ”VALUE”) can be grouped together using ⁇ (curly braces).
  • ⁇ curly braces
  • JSON objects An example of the format is shown below. “User”: ⁇ "id”: 1, "name”: “tanaka” ⁇
  • JSON object that combines a pair of "id”: 1 and a pair of "name”: “tanaka” is defined as the value corresponding to the key (user).
  • 0 or more values can be arranged using [] (square brackets).
  • This array is also called a JSON array.
  • a JSON object can be applied as an element of this JSON array.
  • An example of the format is shown below. test “: ["hoge “,” fuga “,” bar “] "users”: [ ⁇ "id”: 1, "name”: “tanaka” ⁇ , ⁇ "id”: 2, "name”: “yamada” ⁇ , ⁇ "id”: 3, "name”: "sato”” ⁇ ]
  • Figure 2 shows the glTF objects that can be described at the top level of the JSON format file and the reference relationships that they can have.
  • the long circles in the tree structure shown in FIG. 2 indicate objects, and the arrows between the objects indicate reference relationships.
  • objects such as "scene”, “node”, “mesh”, “camera”, “skin”, “material”, “texture” are described at the top level of the JSON format file.
  • FIG. 3 shows a description example of such a JSON format file (scene description).
  • the JSON format file 20 of FIG. 3 shows a description example of a part of the uppermost level.
  • the top-level object 21 is a glTF object shown in FIG.
  • reference relationships between objects are shown as shown by arrows 22. More specifically, the reference relationship is shown by specifying the index of the element of the array of the referenced object in the property of the superordinate object.
  • FIG. 4 is a diagram illustrating a method of accessing binary data.
  • the binary data is stored in a buffer object. That is, information for accessing binary data in the buffer object (for example, URI (Uniform Resource Identifier), etc.) is shown.
  • URI Uniform Resource Identifier
  • FIG. 4 from an object such as a mesh (mesh), a camera (camera), a skin (skin), etc., an accessor object (accessor object) and a buffer view are given to the buffer object. It can be accessed via an object (bufferView object).
  • FIG. 5 shows a description example of a mesh object (mesh) in a JSON format file.
  • vertex attributes such as NORMAL, POSITION, TANGENT, and TEXCORD_0 are defined as keys, and the accessor object to be referenced is specified as a value for each attribute. Has been done.
  • FIG. 6 shows the relationship between the buffer object, buffer view object, and accessor object. Further, FIG. 7 shows a description example of those objects in the JSON format file.
  • the buffer object 41 is an object that stores information (URI, etc.) for accessing binary data that is actual data, and information indicating the data length (for example, byte length) of the binary data.
  • FIG. 7A shows a description example of the buffer object 41.
  • the "" bytelength “: 102040" shown in A of FIG. 7 indicates that the byte length of the buffer object 41 is 102040 bytes (bytes) as shown in FIG.
  • "" uri “:” duck.bin “” shown in A of FIG. 7 indicates that the URI of the buffer object 41 is "duck.bin” as shown in FIG.
  • the buffer view object 42 is an object that stores information about a subset area of binary data specified in the buffer object 41 (that is, information about a part of the area of the buffer object 41).
  • FIG. 7B shows a description example of the buffer view object 42.
  • the buffer view object 42 indicates, for example, the identification information of the buffer object 41 to which the buffer view object 42 belongs, and the position of the buffer view object 42 in the buffer object 41.
  • Information such as an offset (for example, byte offset) and a length (for example, byte length) indicating the data length (for example, byte length) of the buffer view object 42 is stored.
  • each buffer view object that is, for each subset area.
  • information such as “" buffer “: 0”, “" bytelength “: 25272", and “" byteOffset “: 0" shown on the upper side in B of FIG. 7 is shown in the buffer object 41 in FIG. This is the information of the first buffer view object 42 (bufferView [0]).
  • information such as "" buffer “: 0”, “" bytelength ": 76768", and "" byteOffset ": 25272" shown at the lower side in B of FIG. 7 is shown in the buffer object 41 in FIG. This is the information of the second buffer view object 42 (bufferView [1]).
  • the "" buffer “: 0" of the first buffer view object 42 (bufferView [0]) shown in B of FIG. 7 is the buffer view object 42 (bufferView [0]) as shown in FIG. Indicates that the identification information of the buffer object 41 to which the is belonging is "0" (Buffer [0]). Further, “" bytelength ": 25272” indicates that the byte length of the buffer view object 42 (bufferView [0]) is 25272 bytes. Further, “" byteOffset “: 0" indicates that the byte offset of the buffer view object 42 (bufferView [0]) is 0 bytes.
  • the "" buffer “: 0" of the second buffer view object 42 (bufferView [1]) shown in B of FIG. 7 is the buffer view object 42 (bufferView [0]) as shown in FIG. Indicates that the identification information of the buffer object 41 to which the is belonging is "0" (Buffer [0]). Further, “" bytelength “: 76768” indicates that the byte length of the buffer view object 42 (bufferView [0]) is 76768 bytes. Further, “" byteOffset ": 25272” indicates that the byte offset of the buffer view object 42 (bufferView [0]) is 25272 bytes.
  • the accessor object 43 is an object that stores information regarding a method of interpreting data of the buffer view object 42.
  • FIG. 7C shows a description example of the accessor object 43.
  • the accessor object 43 has, for example, identification information of the buffer view object 42 to which the accessor object 43 belongs, and an offset indicating the position of the buffer view object 42 in the buffer object 41. (For example, byte offset), the component type of the buffer view object 42, the number of data stored in the buffer view object 42, the type of data stored in the buffer view object 42, and the like are stored. This information is described for each buffer view object.
  • FIG. 8 is a diagram illustrating an extension method of glTF 2.0.
  • the description example shown in FIG. 8 shows a description example in which a newly defined object (CompareDataExtension) is stored in the extension object of the scene object.
  • a new object (CompareDataExtension) is stored in the extension object (extensions) of the scene object ("scenes").
  • the name of the new object is defined in "extensionUsed” and "extensionRequired”. This indicates that the new object is the object needed for loading.
  • Timed media is media data that changes in the time axis direction, such as a moving image in a two-dimensional image.
  • GlTF was applicable only to still image data as media data (3D object content). In other words, glTF did not support moving image media data.
  • animation a method of switching still images along the time axis
  • timed media for example, video data
  • glTF 2.0 is applied
  • JSON format file is applied as a scene description
  • glTF is extended so that timed media (for example, video data) can be handled as media data. Is being considered. For example, the following extensions are made to handle timed media.
  • FIG. 9 is a diagram illustrating an extension for handling timed media.
  • extension objects extensions
  • MPEG_media MPEG media object that manages actual data such as video data. That is, the MPEG media object stores information about actual data such as video data.
  • an MPEG video texture object (MPEG_video_texture) is provided as an extension object (extensions) of the texture object (texture).
  • the MPEG video texture object stores the accessor information corresponding to the buffer object to be accessed. That is, the accessor information corresponding to the buffer object in which the texture media (texture media) specified by the MPEG media object (MPEG_media) is decoded and stored is stored in the MPEG video texture object.
  • FIG. 10 is a diagram showing a description example of an MPEG media object (MPEG_media) and an MPEG video texture object (MPEG_video_texture) in a scene description for explaining an extension for handling timed media.
  • MPEG_media MPEG media object
  • MPEG_video_texture MPEG video texture object
  • an MPEG video texture object MPEG_video_texture
  • extension object extensions
  • the index of the accessor (2" in this example) is specified as the value of the MPEG video texture object.
  • an MPEG media object (MPEG_media) is set as an extension object (extensions) of glTF as shown below in the 7th to 16th lines from the top. Then, as the value of the MPEG media object, various information about the MPEG media object such as the encoding and URI of the MPEG media object is stored.
  • an MPEG circular buffer object (MPEG_circular_buffer) is provided as an extension object (extensions) of the buffer object (buffer).
  • the MPEG circular buffer object stores information for dynamically storing data in the buffer object. For example, information such as information indicating the data length of the buffer header (bufferHeader) and information indicating the number of frames is stored in this MPEG circular buffer object.
  • the buffer header stores information such as an index, a time stamp of stored frame data, and data length.
  • an MPEG timed accessor object (MPEG_timed_accessor) is provided as an extension object (extensions) of the accessor object (accessor).
  • the buffer view object (bufferView) referenced in the time direction can change (the position can change). Therefore, the information indicating the buffer view object to be referenced is stored in this MPEG timed accessor object.
  • the MPEG timed accessor object stores information indicating a reference to a buffer view object (bufferView) in which a timedaccessor information header is described.
  • the timed accessor information header is, for example, header information that stores information in the dynamically changing accessor object and the buffer view object.
  • FIG. 11 is a diagram showing a description example of an MPEG circular buffer object (MPEG_circular_buffer) and an MPEG timed accessor object (MPEG_timed_accessor) in a scene description for explaining an extension for handling timed media.
  • MPEG timed accessor object MPEG_timed_accessor
  • the MPEG timed accessor object MPEG_timed_accessor
  • the value of the MPEG timed accessor object parameters such as the index of the buffer view object (“1” in this example), the update rate (updataRate), and the immutable information (immutable) and their values are specified.
  • the MPEG circular buffer object (MPEG_circular_buffer) is set as the extension object (extensions) of the buffer object (buffer) as shown below in the 13th line from the top. Then, as the value of the MPEG circular buffer object, parameters such as buffer frame count (count), header length (headerLength), and update rate (updataRate) and their values are specified.
  • FIG. 12 is a diagram for explaining an extension for handling timed media.
  • FIG. 12 shows an example of the relationship between the MPEG timed accessor object and the MPEG circular buffer object and the accessor object, the buffer view object, and the buffer object.
  • the MPEG circular buffer object of the buffer object stores time-varying data in the buffer area indicated by the buffer object, such as buffer frame count (count), header length (headerLength), update rate (updataRate), etc. Contains the information needed to do this. Further, parameters such as an index (idex), a time stamp (timestamp), and a data length (length) are stored in the buffer header (bufferHeader) which is the header of the buffer area.
  • bufferHeader the buffer header of the buffer area.
  • the MPEG timed accessor object of the accessor object stores information about the buffer view object to be referenced, such as the index (bufferView), update rate (updataRate), and immutable information (immutable) of the buffer view object.
  • the object stores information about the buffer view object in which the timed accessor information header to be referenced is stored.
  • the time stamp delta timestamp_delta
  • the update data of the accessor object, the update data of the buffer view object, and the like can be stored in the timed accessor information header.
  • the audio data is also managed in the MPEG media object and linked via the accessor object, the buffer view object, and the buffer object in the same manner as the above-mentioned texture.
  • FIG. 13 is a diagram illustrating a method of associating 3D object contents.
  • the texture object (texture) is expanded to provide an MPEG timed texture object (corresponding to the MPEG video texture object of FIG. 9).
  • the index of the accessor object (accessor index) is used, and the accessor object of the reference destination is associated.
  • the accessor object is expanded to provide an MPEG timed accessor, and the buffer view object index (bufferView index) is used in the MPEG timed accessor to associate the referenced buffer view object. Further, in the buffer view object, the index of the buffer object (bufferindex) is used, and the buffer object of the reference destination is associated with the buffer view object. Then, the buffer object is expanded to provide an MPEG circular buffer object, and the index (source index) of the MPEG media object (MPEG_media) is used to associate the referenced MPEG media object.
  • the node object (Node) is expanded to provide an MPEG spatial audio object (corresponding to the MPEG video texture object of FIG. 9). Then, in the MPEG spatial audio object, the index of the accessor object (accessor index) is used, and the accessor object of the reference destination is associated.
  • the accessor object is expanded to provide an MPEG timed accessor, and the buffer view object index (bufferView index) is used in the MPEG timed accessor to associate the referenced buffer view object. Further, in the buffer view object, the index of the buffer object (bufferindex) is used, and the buffer object of the reference destination is associated with the buffer view object. Then, the buffer object is expanded to provide an MPEG circular buffer object, and the index (source index) of the MPEG media object (MPEG_media) is used to associate the referenced MPEG media object.
  • the 3D object placed in the scene and the 3D object content are linked as follows.
  • FIG. 14 is a diagram showing a description example of an MPEG media object (MPEG_media) in a scene description. Information about media including URIs, tracks, and the like is described in the 5th to 10th lines from the top of FIG. 2.
  • MPEG_circular_buffer extension From the MPEG circular buffer object (MPEG_circular_buffer extension), refer to the element ID (source index) of the media array and specify the media stored in the buffer object (buffer).
  • 3. A buffer view object (bufferview) for referencing the data of each track is specified, and an accessor object (accessor) showing how to interpret the data is specified.
  • the 3D object (texture or audio) signals information about a reference to the accessor object (accessor).
  • FIG. 15 is a diagram showing a description example of an alternative array of MPEG media objects in the scene description in that case.
  • FIG. 15 when describing a plurality of switchable (selectable) 3D object contents in an MPEG media object, they are described using an alternative array. Each element of this alternative array is associated with different 3D object contents. That is, a plurality of 3D object contents are described so as to be switchable (selectable) by the alternative array. For example, in the case of FIG. 15, the 3D object content indicated by the element 91 of the alternative array and the 3D object content indicated by the element 92 can be switched (selectable).
  • codec information information regarding coding of 3D object contents is described as codec information.
  • the device that reproduces the 3D object content can select the 3D object content to be reproduced from the alternative array described in the MPEG media object based on the information about the 3D object content (for example, codec information). ..
  • This codec information may include, for example, information such as the coding method, profile, and level of 3D object content.
  • the device that reproduces the 3D object content can select the 3D object content to be reproduced based on the information. For example, a device that reproduces 3D object content can compare its own performance with the information thereof and select the optimum 3D object content as the 3D object content to be reproduced. For example, a device that reproduces 3D object content can select the highest quality 3D object content among the reproducible 3D object content as the 3D object content to be reproduced.
  • FIG. 16A is a diagram showing a description example of the MPEG media object (MPEG_media) in the scene description in that case.
  • This codec information includes information about the encoding method, profile, and level of 3D object content. Therefore, the device that reproduces the 3D object content can select and reproduce the reproducible element (3D object content) based on, for example, its own performance and this codec information.
  • the MPEG media object is the 3D object content to be delivered.
  • an MPD Media Presentation Description
  • the information for selecting the 3D object content was not stored in the scene description (SceneDescription).
  • FIG. 16B is a diagram showing a description example of the MPEG media object (MPEG_media) in the scene description in that case.
  • MPD is specified as shown in mimeType and uri on the 7th, 8th, 10th, and 11th lines from the top, but the codec information of the 3D object content is not described. Therefore, it is difficult for the device that reproduces the 3D object content to select any element (that is, the 3D object content) from the alternative array based on the codec information of the 3D object content.
  • the device that reproduces the 3D object content in order for the device that reproduces the 3D object content to select the 3D object content based on the information for selecting the 3D object content, it is necessary to acquire and analyze the MPD of all the elements.
  • rice field For example, a device that reproduces 3D object content acquires and analyzes the MPD of each element, grasps the codec information of each 3D object content, identifies the optimum codec information from the codec information, and corresponds to the codec information in 3D. Complicated work such as acquiring object contents was required. Therefore, there is a possibility that the load of the reproduction process of the 3D object content will increase.
  • information associated with MPD Media Presentation Description
  • MPEG DASH Motion Picture Experts Group Dynamic Adaptive Streaming over HTTP
  • Adaptation in that MPD.
  • information associated with MPD MediaPresentationDescription
  • MPEG DASH Motion Picture Experts Group Dynamic Adaptive Streaming over HTTP
  • Adaptation in that MPD.
  • a file generation unit that generates a scene description file that describes a scene of 3D object content including information on encoding of Representation included in Set.
  • a device that reproduces 3D object content by describing and transmitting information related to the encoding of representation included in the adaptation set in MPD in a scene description file (scene description). Can select 3D object content to play based on the information about its encoding. That is, the device that reproduces the 3D object content can be easily described in the scene description without the need for complicated work such as acquiring and analyzing the MPDs of all the elements of the alternative array described in the scene description. Based on the information about the encoded encoding, the 3D object content to be played can be selected. Therefore, it is possible to suppress an increase in the load of the reproduction process.
  • 3D object content including information associated with MPD (Media Presentation Description) that stores metadata of 3D object content distributed using MPEG DASH (Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP).
  • the scene description file that describes the scene of Decode the coded data of the 3D object content.
  • 3D object content including information associated with MPD (Media Presentation Description) that stores metadata of 3D object content distributed using MPEG DASH (Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP) in an information processing device.
  • a selection unit that analyzes the scene description file that describes the scene and selects the 3D object content to be decoded based on the information about the encoding of the Representation included in the Adaptation Set in MPD contained in the scene description file. It is provided with a decoding unit that decodes the encoded data of the 3D object content selected by the selection unit.
  • the device that reproduces the 3D object content does not require complicated work such as acquiring and analyzing the MPD of all the elements of the alternative array described in the scene description file (scene description). You can easily select the 3D object content to play based on the encoding information described in the scene description. Therefore, it is possible to suppress an increase in the load of the reproduction process.
  • Information about this encoding may be stored in the tracks array of each element of the alternative array of the MPEG media object (extension object) (MPEG_media extension). Then, when playing back the 3D object content, the information regarding encoding (codec information) stored in the tracks array of each element of the alternative array of the MPEG media object (extended object) of the scene description file is used. Based on this, the 3D object content to be decoded may be selected from the alternative array.
  • the flow of the reproduction process can be the same as the case of transmitting the MP4 file including the 3D object content.
  • it is not necessary to change the processing flow between the case of distributing the 3D object file using MPEG DASH and the case of transmitting the MP4 file including the 3D object content, and the device for reproducing the 3D object content. It is possible to suppress an increase in mounting cost.
  • the content of this codec information is arbitrary as long as it contains information related to coding.
  • the codec information may include information about the coding scheme, profile, and level applied to the coding of the representation. Then, when playing back the 3D object content, the 3D object content to be decoded may be selected based on the information about the encoding method, the profile, and the level.
  • the codec information may include a part of this information or may include other information.
  • the device that reproduces the 3D object content is based on information about the encoding method, profile, and level applied to the encoding of any of the representations contained in the 3D object content (adaptation set). Since the 3D object content to be decoded can be selected, a more appropriate 3D object content can be easily selected. For example, a device that reproduces 3D object content can compare these information applied to each 3D object content with its own ability and select reproducible 3D object content.
  • ⁇ Method 1> For example, as shown in the second row from the top of the table shown in FIG. 17, a single codec information may be stored in the track array. That is, one codec information may be stored for each track (method 1).
  • FIG. 18 shows a description example of the MPEG media object (MPEG_media) of the scene description in that case.
  • the track array (tracks []) of the first element of the alternative array (alternatives []) in the media array (media []) of the MPEG media object (MPEG_media) has one codec. Information is described ("codecs": "avc1.42E01E”). This codec information is the codec information of any representation in the adaptation set that corresponds to the track of the first element of the alternative array.
  • codec information is described in the track array (tracks []) of the second element of the alternative array (alternatives []) ("codecs": "hev1.1.6.L93.B0". ).
  • This codec information is the codec information of any representation in the adaptation set that corresponds to the track of the second element of the alternative array.
  • the track array of each element of the alternative array stores the codec information of any representation in the adaptation set corresponding to that track.
  • the device that reproduces the 3D object content can select the 3D object content to be decoded based on the codec information of any of the representations included in the 3D object content (adaptation set). , Easier to select more suitable 3D object content.
  • a device that reproduces 3D object content can compare the codec information of each 3D object content with its own ability and select reproducible 3D object content.
  • One codec information stored in this track array may be, for example, codec information common to all representations in the adaptation set. That is, the codec information of all representations contained in the adaptation set may be the same, and the codec information shown in the track array may be applicable to all representations contained in the adaptation set. ..
  • this codec information is the codec information (that is, the highest value) of the representation with the highest coding quality among all the representations included in the corresponding adaptation set, or the codec information with the lowest coding quality. It may include the codec information (ie, the lowest value) of the presentation. Then, when playing back the 3D object content, the 3D object content to be decoded may be selected based on the codec information of the highest value or the lowest value (for example, information on the coding method, profile, and level). ..
  • the definition of the maximum and minimum values of codec information is arbitrary.
  • parameters such as bit depth and color component format (chroma format) are shown as profiles, and parameters such as resolution and frame rate are shown as levels.
  • the maximum value of the codec information may indicate the maximum value of the parameter of the profile or level
  • the minimum value of the codec information may indicate the minimum value of the parameter of the profile or level.
  • the device that reproduces the 3D object content can easily play the adaptation set (3D object content).
  • Sufficient performance can be grasped.
  • a device that reproduces 3D object content reproduces the entire adaptation set (3D object content) if its ability is higher than its maximum value, that is, if it can reproduce the representation corresponding to that maximum value. be able to.
  • a device that reproduces 3D object content can easily grasp such a thing based on the maximum value of the codec information shown in the MPEG media object.
  • a device that reproduces 3D object content can more reliably reproduce the selected 3D object content by selecting the 3D object content whose ability is higher than the maximum value of the codec information.
  • the device that reproduces the 3D object content can easily perform the adaptation set (3D). It is possible to grasp the performance required for playback of object content). For example, a device that plays 3D object content will play any representation in its adaptation set if its ability is lower than its minimum, that is, if the representation corresponding to that minimum cannot be played. It's impossible. A device that reproduces 3D object content can easily grasp such a thing based on the minimum value of the codec information shown in the MPEG media object.
  • a device that reproduces 3D object content excludes 3D object content whose ability is lower than the minimum value of the codec information from the candidates, and selects the 3D object content to be reproduced from the candidates that are not excluded. , More easily select playable 3D object content.
  • the scene description may be able to indicate either the maximum value or the minimum value of the codec information.
  • flag information indicating whether the indicated codec information is the highest value or the lowest value may be transmitted.
  • the device that reproduces the 3D object content can easily grasp the MPEG DASH profile applied to the distribution of the 3D object content.
  • information about the MPEG DASH profile may be stored in the mimeType of each element of the alternative array of the MPEG media object in the scene description file. Then, when playing back the 3D object content, the 3D object content to be decoded is selected based on the information about the MPEG DASH profile stored in the mimeType of each element of the alternative array of the MPEG media object of the scene description file. You may.
  • FIG. 19 is a diagram showing a description example of the MPEG media object (MPEG_media) of the scene description in that case.
  • MPEG_media the MPEG media object
  • each element of the alternative array (alternatives []) in the media array (media []) of the MPEG media object (MPEG_media) has a profile of MPEG DASH in addition to the above-mentioned codec information. Information about is described.
  • the mimeType of each element of the alternative array describes information about the MPEG DASH profile (profiles: "urn: mpeg: dash: profile: isoff-live: 2011").
  • the device that reproduces the 3D object content can easily grasp the MPEG DASH profile applied to the distribution of the 3D object content.
  • FIG. 16A A description example of the MPEG media object (MPEG_media) of the scene description when transferring an MP4 file containing 3D object contents is shown in FIG. 16A.
  • the codec information for each element of the alternative array is shown in mimeType.
  • mimeType the codec information for each element of the alternative array.
  • codec information may be stored in the track array of each element of the alternative array.
  • FIG. 20 is a diagram showing a description example of the MPEG media object (MPEG_media) of the scene description in that case.
  • MPEG_media MPEG media object
  • the codec information of the representation included in the adaptation set of each element of the alternative array is stored in the track array of that element (9th line from the top ("codecs”: “avc1). .42E01E "), 12th line from the top (“codecs ":” hev1.1.6.L93.B0 ”)).
  • the codec information can be stored at the same position as when the file containing the 3D object content shown in FIGS. 18 and 19 is delivered using MPEG DASH.
  • the device that reproduces the 3D object content has the same processing flow as the case where the MP4 file containing the 3D object content is transferred and the case where the file containing the 3D object content is delivered using MPEG DASH.
  • a profile alternative array (profile_alternatives []) is provided in the media array (media []) of the MPEG media object (MPEG_media), and the profile alternative array is provided.
  • Information about the MPEG DASH profile may be stored in the mimeType of each element (method 1-2). That is, when the information about the profile of MPEG DASH is common to a plurality of elements (tracks) of the alternative array, they may be described together.
  • information about the MPEG DASH profile may be stored in the mimeType of each element of the profile alternative array of the MPEG media object in the scene description file. Then, when playing back the 3D object content, the 3D object content to be decoded is selected based on the information about the MPEG DASH profile stored in the mimeType of each element of the profile alternative array of the MPEG media object in the scene description file. You may.
  • FIG. 21 is a diagram showing a description example of the MPEG media object (MPEG_media) of the scene description in that case.
  • a profile alternative array profile_alternatives []
  • media [] media of the MPEG media object
  • mimeType is also shown for each element of the profile alternative array (that is, outside the alternative array).
  • the mimeType stores information about the MPEG DASH profile. For example, (profiles: “urn: mpeg: dash: profile: isoff-on-demand: 2011”) is described as the profile information in the mimeType on the eighth line from the top of FIG. 21. Further, in the mimeType on the 16th line from the top of FIG. 21, (profiles: “urn: mpeg: dash: profile: isoff-live: 2011”) is described as the profile information.
  • the number of descriptions of information regarding the MPEG DASH profile can be reduced. For example, if two types of codec information and information on two types of MPEG DASH profiles are combined, the number of elements of the alternative array becomes four. Therefore, in the case of the description example of FIG. 19, four types of information on the MPEG DASH profile are provided. Need to be described. On the other hand, in the case of the description example of FIG. 21, two pieces of information regarding the MPEG DASH profile may be described. Therefore, it is possible to suppress an increase in the amount of data in the scene description.
  • ⁇ Method 2> For example, as shown in the fifth row from the top of the table shown in FIG. 17, a plurality of codec information may be stored in the track array. That is, a plurality of codec information may be stored for each track (method 2).
  • Method 2-1 For example, as shown in the sixth row from the top of the table shown in FIG. 17, the maximum value and the minimum value of the codec information in the adaptation set may be stored (method 2-1).
  • this codec information is the codec information (ie, the highest value) of the representation with the highest coding quality among all the representations contained in the corresponding adaptation set, as well as the codec information with the lowest coding quality. It may include the codec information (ie, the lowest value) of the presentation. That is, both the minimum value and the maximum value of the codec information may be included. Then, when playing back the 3D object content, the 3D object content to be decoded may be selected based on the codec information of the highest value and the lowest value (for example, information on the coding method, profile, and level). ..
  • the definition of the maximum and minimum values of codec information is arbitrary.
  • the profile shows parameters such as bit depth and color component format
  • the level shows parameters such as resolution and frame rate.
  • the maximum value of the codec information may indicate the maximum value of the parameter of the profile or level
  • the minimum value of the codec information may indicate the minimum value of the parameter of the profile or level.
  • FIG. 22 is a diagram showing a description example of the MPEG media object (MPEG_media) of the scene description in that case.
  • MPEG_media two codec information is described in the track array of each element of the alternative array of the MPEG media object (MPEG_media).
  • codecs “avc1.42E01E” and “avc1.64000d”
  • codecs “avc1.42E01E avc1.64000d”
  • codecs “hev1.1.6.L93.B0” and “hev1.1.6.L153.90”
  • These two codec information of each track array indicate the maximum value and the minimum value of the codec information, respectively.
  • 3D object content may be selected based on the width (that is, both the minimum value and the maximum value).
  • the method of reference is arbitrary.
  • the 3D object content having the larger minimum value may be selected.
  • the 3D object content having the larger maximum value may be selected.
  • the 3D object content may be selected according to the position of its width (for example, which is closer to the highest value or the lowest value) of its own ability.
  • methods other than these may be used.
  • the device for reproducing the 3D object content may select and apply any one of the plurality of methods.
  • the minimum value and the maximum value of the codec information are separated by a space, but the method of separating the minimum value and the maximum value is arbitrary and is not limited to this example. For example, other symbols such as a colon may be used to separate the lowest and highest values. Further, a dedicated property may be provided for each of the maximum value and the minimum value, and the maximum value or the minimum value may be indicated in each property.
  • Method 2-2 For example, as shown at the bottom of the table shown in FIG. 17, codec information of all representations included in the adaptation set may be stored (method 2-2).
  • this codec information may include the codec information of the representation with the highest coding quality among all the representations included in the corresponding adaptation set. Then, when playing back the 3D object content, the 3D object content to be decoded may be selected based on all the codec information (for example, information on the coding method, profile, and level).
  • FIG. 23 is a diagram showing a description example of the MPEG media object (MPEG_media) of the scene description in that case.
  • MPEG_media MPEG media object
  • the codec information of all the representations included in the adaptation set is described. For example, in the track array on the 15th line, three codecs, "avc1.42E01E”, “avc1.640028”, and “avc1.640030", are shown ("codecs": "avc1.42E01E avc1.” 640028 avc1.640030 ").
  • each track array describes the codec information of all representations included in the adaptation set.
  • the quality of all representations included in the adaptation set can be expressed. That is, it is possible to easily grasp whether or not each representation is playable.
  • the method of selecting 3D object content based on the codec information of all such representations is arbitrary. For example, when there are a plurality of playable tracks (adaptation sets), the 3D object content having more (or less) playable representations may be selected. Further, the 3D object content having the higher (or lower) average value of the codec information of each representation may be selected. Of course, methods other than these may be used. Further, the device for reproducing the 3D object content may select and apply any one of the plurality of methods.
  • the minimum value and the maximum value of the codec information are separated by a space, but the method of separating the minimum value and the maximum value is arbitrary and is not limited to this example. For example, other symbols such as a colon may be used to separate the lowest and highest values. Further, a dedicated property may be provided for each of the maximum value and the minimum value, and the maximum value or the minimum value may be indicated in each property.
  • each codec information is separated by a space, but the method of dividing the codec information is arbitrary and is not limited to this example. For example, other symbols such as a colon may be used to separate the codec information.
  • ⁇ method 2> (method ⁇ 2-1> and method ⁇ 2-2>)
  • the MPEG media object (MPEG_media).
  • a profile alternative array (profile_alternatives []) may be provided in the media array (media []), and information about the MPEG DASH profile (profile) may be stored in the mimeType of each element of the profile alternative array.
  • FIG. 24 is a block diagram showing an example of the configuration of a file generation device, which is an aspect of an information processing device to which the present technology is applied.
  • the file generation device 300 shown in FIG. 24 is a device that generates information for distribution of 3D object contents.
  • the file generation device 300 generates a 3D object content file to be distributed using MPEG DASH and its MPD, and generates a scene description file (scene description) of the 3D object content.
  • FIG. 24 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 24. That is, in the file generation device 300, there may be a processing unit that is not shown as a block in FIG. 24, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 24.
  • the file generation device 300 has a control unit 301 and a file generation processing unit 302.
  • the control unit 301 controls the file generation processing unit 302.
  • the file generation processing unit 302 is controlled by the control unit 301 to perform processing related to file generation. For example, the file generation processing unit 302 generates a 3D object content file to be distributed using MPEG DASH and its MPD. Further, the file generation processing unit 302 generates a scene description file corresponding to the 3D object content file.
  • the file generation processing unit 302 outputs the generated file to the outside of the file generation device 300.
  • the file generation processing unit 302 has an input unit 311, a preprocessing unit 312, an encoding unit 313, a file generation unit 314, a recording unit 315, and an output unit 316.
  • the input unit 311 acquires the 3D object content and supplies it to the preprocessing unit 312.
  • the preprocessing unit 312 extracts information necessary for file generation from the 3D object content.
  • the preprocessing unit 312 supplies the extracted information to the file generation unit 314. Further, the preprocessing unit 312 supplies the 3D object content to the coding unit 313.
  • the coding unit 313 encodes the 3D object content supplied from the preprocessing unit 312 and generates coded data (bitstream).
  • the coding unit 313 supplies the coded data of the generated 3D object content to the file generation unit 314.
  • the file generation unit 314 acquires the coded data of the 3D object content supplied from the coding unit 313. Further, the file generation unit 314 acquires the information supplied from the preprocessing unit 312.
  • the file generation unit 314 generates a 3D object content file that stores the encoded data of the acquired 3D object content. Further, the file generation unit 314 generates an MPD corresponding to the 3D object content file. The file generation unit 314 appropriately uses the information supplied from the preprocessing unit 312 to execute these processes. For example, the file generation unit 314 stores the information supplied from the preprocessing unit 312 in the 3D object content file or MPD.
  • the file generation unit 314 generates a scene description file corresponding to the generated 3D object content file. At that time, the file generation unit 314 has ⁇ 2. Transmission of codecs information of Representation> The above-mentioned technology is applied to generate a scene description file. The file generation unit 314 has ⁇ 2. Any one or more of the methods of the present technology described above can be applied in the transmission of codecs information and the like of Representation.
  • the file generation unit 314 is a scene description including information related to the MPD that stores the metadata of the 3D object content distributed using MPEG DASH and information related to the encoding of the representation included in the adaptation set in the MPD. Generate a file.
  • the file generation unit 314 may store the information related to the encoding in the track array of the alternative array of the MPEG media object (MPEG_media extension) of the scene description file.
  • MPEG_media extension MPEG media object
  • the file generation unit 314 may also store coding information, including information about the coding method, profile, and level applied to the representation coding, in the scene description file.
  • the file generator 314 has information about the encoding of the representation with the highest quality of encoding among all the representations included in the adaptation set (eg, information about the encoding method, profile, and level).
  • information about the encoding of the lowest quality representation may be stored in the scene description file.
  • the file generator 314 has information on the coding of the representation with the highest coding quality among all the representations included in the adaptation set (eg, information on the coding method, profile, and level). Also, information about the encoding of the lowest quality representation (eg, information about the coding scheme, profile, and level) may be stored in the scene description file.
  • the file generation unit 314 may store information regarding the coding of all representations included in the adaptation set (for example, information regarding the coding method, profile, and level) in the scene description file.
  • the file generation unit 314 may further store information about the MPEG DASH profile in the scene description file.
  • the file generation unit 314 may store information about the MPEG DASH profile in the mimeType of the alternative array of the MPEG media object (MPEG_media extension) of the scene description file.
  • the file generation unit 314 may store information about the MPEG DASH profile in the mimeType of the profile alternative array of the MPEG media object (MPEG_media extension) of the scene description file.
  • the file generation unit 314 supplies the generated file to the recording unit 315.
  • the recording unit 315 has an arbitrary recording medium such as a hard disk or a semiconductor memory, and records a file supplied from the file generation unit 314 on the recording medium. Further, the recording unit 315 reads out the file recorded on the recording medium according to the request of the control unit 301 or the output unit 316, or at a predetermined timing, and supplies the file to the output unit 316.
  • the output unit 316 acquires a file supplied from the recording unit 315, and outputs the file to the outside of the file generation device 300 (for example, a distribution server, a playback device, etc.).
  • the file generation device 300 for example, a distribution server, a playback device, etc.
  • the file generation device 300 can describe and transmit information regarding the coding of the representation included in the adaptation set in the MPD in the scene description file (scene description). Then, the device for reproducing the 3D object content can select the 3D object content to be reproduced based on the information regarding the coding thereof. That is, the device that reproduces the 3D object content can be easily described in the scene description without the need for complicated work such as acquiring and analyzing the MPDs of all the elements of the alternative array described in the scene description. Based on the information about the encoded encoding, the 3D object content to be played can be selected. Therefore, it is possible to suppress an increase in the load of the reproduction process.
  • the input unit 311 of the file generation device 300 acquires the 3D object content which is the data of the 3D object in step S301.
  • step S302 the preprocessing unit 312 extracts the information to be stored in the file from the 3D object content acquired in step S301.
  • step S303 the coding unit 313 encodes the 3D object content acquired in step S301 and generates the coded data of the 3D object content. Then, the file generation unit 314 generates a 3D object content file that stores the coded data of the 3D object content. At that time, the file generation unit 314 stores the information extracted in step S302 in the 3D object content file as appropriate.
  • the file generation unit 314 generates an MPD corresponding to the 3D object content file.
  • step S304 the file generation unit 314 generates a scene description file corresponding to the 3D object content file.
  • the file generation unit 314 has ⁇ 2.
  • Transmission of codecs information of Representation> The above-mentioned technology is applied to generate a scene description file.
  • the file generation unit 314 has ⁇ 2. Any one or more of the methods of the present technology described above can be applied in the transmission of codecs information and the like of Representation.
  • the file generation unit 314 is a scene description including information related to the MPD that stores the metadata of the 3D object content distributed using MPEG DASH and information related to the encoding of the representation included in the adaptation set in the MPD. Generate a file.
  • the file generation unit 314 may store the information related to the encoding in the track array of the alternative array of the MPEG media object (MPEG_media extension) of the scene description file.
  • MPEG_media extension MPEG media object
  • the file generation unit 314 may also store coding information, including information about the coding method, profile, and level applied to the representation coding, in the scene description file.
  • the file generator 314 has information about the encoding of the representation with the highest quality of encoding among all the representations included in the adaptation set (eg, information about the encoding method, profile, and level).
  • information about the encoding of the lowest quality representation may be stored in the scene description file.
  • the file generator 314 has information on the coding of the representation with the highest coding quality among all the representations included in the adaptation set (eg, information on the coding method, profile, and level). Also, information about the encoding of the lowest quality representation (eg, information about the coding scheme, profile, and level) may be stored in the scene description file.
  • the file generation unit 314 may store information regarding the coding of all representations included in the adaptation set (for example, information regarding the coding method, profile, and level) in the scene description file.
  • the file generation unit 314 may further store information about the MPEG DASH profile in the scene description file.
  • the file generation unit 314 may store information about the MPEG DASH profile in the mimeType of the alternative array of the MPEG media object (MPEG_media extension) of the scene description file.
  • the file generation unit 314 may store information about the MPEG DASH profile in the mimeType of the profile alternative array of the MPEG media object (MPEG_media extension) of the scene description file.
  • step S305 the recording unit 315 records the file (for example, 3D object content file, MPD, scene description file, etc.) generated in step S304 on the recording medium.
  • the file for example, 3D object content file, MPD, scene description file, etc.
  • step S306 the output unit 316 reads the file recorded in step S305 from the recording medium, and outputs the read file to the outside of the file generation device 300 at a predetermined timing.
  • step S306 When the process of step S306 is completed, the file generation process is completed.
  • the file generation device 300 can describe and transmit information regarding the coding of the representation included in the adaptation set in the MPD in the scene description file (scene description). can. Then, the device for reproducing the 3D object content can select the 3D object content to be reproduced based on the information regarding the coding thereof. That is, the device that reproduces the 3D object content can be easily described in the scene description without the need for complicated work such as acquiring and analyzing the MPDs of all the elements of the alternative array described in the scene description. Based on the information about the encoded encoding, the 3D object content to be played can be selected. Therefore, it is possible to suppress an increase in the load of the reproduction process.
  • FIG. 26 is a block diagram showing an example of a configuration of a client device, which is an aspect of an information processing device to which the present technology is applied.
  • the client device 400 shown in FIG. 26 is a playback device that performs playback processing of 3D object content based on a scene description file (scene description).
  • scene description file scene description
  • the client device 400 reproduces the 3D object content stored in the 3D object content file distributed by using MPEG DASH generated by the file generation device 300.
  • the client device 400 decodes the coded data of the 3D object content stored in the 3D object content file based on the scene description file, renders the generated 3D object content, and generates a display image. indicate.
  • FIG. 26 shows the main things such as the processing unit and the flow of data, and not all of them are shown in FIG. 26. That is, in the client device 400, there may be a processing unit that is not shown as a block in FIG. 26, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 26.
  • the client device 400 has a control unit 401 and a reproduction processing unit 402.
  • the control unit 401 performs processing related to the control of the reproduction processing unit 402.
  • the reproduction processing unit 402 performs processing related to reproduction of the 3D object content stored in the 3D object content file.
  • the reproduction processing unit 402 is controlled by the control unit 401 to acquire a scene description file from a distribution server (not shown) or the like.
  • the reproduction processing unit 402 acquires a 3D object content file for storing the 3D object content to be reproduced based on the scene description file. Then, the reproduction processing unit 402 performs reproduction processing of the 3D object content stored in the acquired 3D object content file.
  • the reproduction processing unit 402 includes a file acquisition unit 411, a file processing unit 412, a decoding unit 413, a display information generation unit 414, a display unit 415, and a display control unit 416.
  • the file acquisition unit 411 acquires a scene description file supplied from the outside of the client device 400, such as a distribution server or a file generation device 300.
  • the file acquisition unit 411 supplies the acquired scene description file to the file processing unit 412.
  • the file acquisition unit 411 acquires an MPD corresponding to the 3D object content to be reproduced, a 3D object content file for storing the 3D object content, and the like according to the control of the file processing unit 412 using the scene description file.
  • This 3D object content file is distributed using MPEG DASH.
  • the file acquisition unit 411 supplies those acquired files to the file processing unit 412.
  • the file processing unit 412 acquires the scene description file supplied from the file acquisition unit 411.
  • the file processing unit 412 selects the 3D object content to be reproduced based on the acquired scene description file. Then, the file processing unit 412 controls the file acquisition unit 411 and acquires the MPD corresponding to the 3D object content file that stores the selected 3D object content. Then, the file processing unit 412 acquires a 3D object content file that stores the selected 3D object content based on the MPD.
  • the file processing unit 412 is ⁇ 2.
  • the above-mentioned technology is applied in the transmission of codecs information of Representation>.
  • the file processing unit 412 is described in ⁇ 2. Any one or more of the methods of the present technology described above can be applied in the transmission of codecs information and the like of Representation.
  • the file processing unit 412 analyzes a scene description file containing information associated with the MPD that stores the metadata of the 3D object content distributed using MPEG DASH, and the adaptation set in the MPD included in the scene description file. Select the 3D object content to decode based on the information about encoding the representation contained in.
  • the file processing unit 412 may select the 3D object content to be decoded based on the information regarding the encoding stored in the track array of the alternative array of the MPEG media object (MPEG_media extension) of the scene description file. ..
  • the file processing unit 412 may select the 3D object content to be decoded based on the information regarding the coding method, profile, and level stored in the scene description file and applied to the coding of the representation. ..
  • the file processing unit 412 provides information on the coding of the representation having the highest coding quality among all the representations included in the adaptation set stored in the scene description file (for example, the coding method, etc.).
  • Information about the profile and level) or information about the encoding of the lowest quality representation may be used to select the 3D object content to decrypt. ..
  • the file processing unit 412 provides information on the coding of the representation having the highest coding quality among all the representations included in the adaptation set stored in the scene description file (for example, the coding method, etc.).
  • Information about the profile and level), as well as information about the encoding of the lowest quality representation may be used to select the 3D object content to decrypt. ..
  • the file processing unit 412 decodes based on the information regarding the coding of all the representations included in the adaptation set (for example, the information regarding the coding method, the profile, and the level) stored in the scene description file. You may select 3D object content.
  • the file processing unit 412 may further select the 3D object content to be decoded based on the information regarding the MPEG DASH profile stored in the scene description file.
  • the file processing unit 412 may select the 3D object content to be decoded based on the information about the MPEG DASH profile stored in the mimeType of the alternative array of the MPEG media object (MPEG_media extension) of the scene description file.
  • the file processing unit 412 may select the 3D object content to be decoded based on the information about the MPEG DASH profile stored in the mimeType of the profile alternative array of the MPEG media object (MPEG_media extension) of the scene description file. ..
  • the file processing unit 412 supplies the 3D object content file acquired as described above to the decoding unit 413 and the display control unit 416.
  • the decoding unit 413 decodes the coded data of the 3D object content stored in the 3D object content file supplied from the file processing unit 412. That is, the decoding unit 413 decodes the coded data of the 3D object content selected by the file processing unit 412. The decoding unit 413 supplies the 3D object content obtained by the decoding to the display information generation unit 414.
  • the display information generation unit 414 acquires the 3D object content supplied from the decoding unit 413. Further, the display information generation unit 414 acquires the control information supplied from the display control unit 416. Then, the display information generation unit 414 generates the display image or the like from the acquired 3D object contents according to the control information. The display information generation unit 414 supplies the generated display image or the like to the display unit 415.
  • the display unit 415 has a display device, and displays the display image supplied from the display information generation unit 414 using the display device.
  • the display control unit 416 acquires the information supplied from the file processing unit 412.
  • the display control unit 416 controls the display information generation unit 414 based on the information.
  • the display control unit 416 controls the display of the display image by supplying control information to the display information generation unit 414.
  • the client device 400 can easily obtain and analyze the MPDs of all the elements of the alternative array described in the scene description file (scene description) without requiring complicated work.
  • the 3D object content to be reproduced can be selected based on the information regarding the encoding described in the scene description. Therefore, it is possible to suppress an increase in the load of the reproduction process.
  • the file acquisition unit 411 of the client device 400 acquires the scene description file in step S401.
  • step S402 the file processing unit 412 analyzes the scene description file acquired in step S401, and based on the coding information (codec information) stored in the scene description file, the 3D object content appropriate as a decoding target. Select. At that time, the file processing unit 412 is described in ⁇ 2. Transmission of codecs information, etc. of Representation> Apply the above-mentioned technology to select 3D object content. The file processing unit 412 is described in ⁇ 2. Any one or more of the methods of the present technology described above can be applied in the transmission of codecs information and the like of Representation.
  • the file processing unit 412 analyzes a scene description file containing information associated with the MPD that stores the metadata of the 3D object content distributed using MPEG DASH, and the adaptation set in the MPD included in the scene description file. Select the 3D object content to decode based on the information about encoding the representation contained in.
  • the file processing unit 412 may select the 3D object content to be decoded based on the information regarding the encoding stored in the track array of the alternative array of the MPEG media object (MPEG_media extension) of the scene description file. ..
  • the file processing unit 412 may select the 3D object content to be decoded based on the information regarding the coding method, profile, and level stored in the scene description file and applied to the coding of the representation. ..
  • the file processing unit 412 provides information on the coding of the representation having the highest coding quality among all the representations included in the adaptation set stored in the scene description file (for example, the coding method, etc.).
  • Information about the profile and level) or information about the encoding of the lowest quality representation may be used to select the 3D object content to decrypt. ..
  • the file processing unit 412 provides information on the coding of the representation having the highest coding quality among all the representations included in the adaptation set stored in the scene description file (for example, the coding method, etc.).
  • Information about the profile and level), as well as information about the encoding of the lowest quality representation may be used to select the 3D object content to decrypt. ..
  • the file processing unit 412 decodes based on the information regarding the coding of all the representations included in the adaptation set (for example, the information regarding the coding method, the profile, and the level) stored in the scene description file. You may select 3D object content.
  • the file processing unit 412 may further select the 3D object content to be decoded based on the information regarding the MPEG DASH profile stored in the scene description file.
  • the file processing unit 412 may select the 3D object content to be decoded based on the information about the MPEG DASH profile stored in the mimeType of the alternative array of the MPEG media object (MPEG_media extension) of the scene description file.
  • the file processing unit 412 may select the 3D object content to be decoded based on the information about the MPEG DASH profile stored in the mimeType of the profile alternative array of the MPEG media object (MPEG_media extension) of the scene description file. ..
  • step S403 the file acquisition unit 411 acquires the MPD corresponding to the 3D object content selected in step S402. Further, the file acquisition unit 411 acquires a 3D object content file for storing the 3D object content selected in step S402 based on the MPD.
  • step S404 the file processing unit 412 extracts the coded data of the 3D object content selected in step S402 from the 3D object content file acquired in step S403.
  • step S405 the decoding unit 413 decodes the coded data of the 3D object content extracted in step S404 and generates the 3D object content. That is, the decoding unit 413 decodes the coded data of the 3D object content selected in step S402.
  • step S406 the display information generation unit 414 executes rendering using the 3D object content generated in step S405. That is, the display information generation unit 414 arranges a 3D object in the scene and generates a display image under the control of the display control unit 416.
  • step S407 the display unit 415 displays the display image generated in step S406 by using the display device.
  • step S407 When the process of step S407 is completed, the client process is completed.
  • the client device 400 requires complicated work such as acquiring and analyzing the MPDs of all the elements of the alternative array described in the scene description file (scene description). Instead, you can easily select the 3D object content to play based on the encoding information described in the scene description. Therefore, it is possible to suppress an increase in the load of the reproduction process.
  • Addendum> ⁇ Computer> The series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed in the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 28 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • the input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 is composed of, for example, a network interface.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-mentioned series. Is processed.
  • the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to the removable media 921 as a package media or the like, for example.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable media 921 in the drive 915.
  • the program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can also be installed in advance in ROM 902 or storage unit 913.
  • this technology can be applied to any configuration.
  • this technique can be applied to various electronic devices.
  • the present technology includes a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
  • a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
  • a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
  • a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example,
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • this technology is implemented in a cloud service that provides services related to images (moving images) to any terminal such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may try to do it.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. .. The use is also arbitrary.
  • this technology can be applied to systems and devices used for providing ornamental contents and the like.
  • the present technology can be applied to systems and devices used for traffic such as traffic condition supervision and automatic driving control.
  • the present technology can be applied to systems and devices used for security purposes.
  • the present technology can be applied to a system or device used for automatic control of a machine or the like.
  • the present technology can be applied to systems and devices used for agriculture and livestock industry.
  • the present technology can also be applied to systems and devices for monitoring natural conditions such as volcanoes, forests and oceans, and wildlife. Further, for example, the present technology can be applied to systems and devices used for sports.
  • the "flag” is information for identifying a plurality of states, and is not only information used for identifying two states of true (1) or false (0), but also three or more states. It also contains information that can identify the state. Therefore, the value that this "flag” can take may be, for example, 2 values of 1/0 or 3 or more values. That is, the number of bits constituting this "flag” is arbitrary, and may be 1 bit or a plurality of bits.
  • the identification information (including the flag) is assumed to include not only the identification information in the bit stream but also the difference information of the identification information with respect to a certain reference information in the bit stream. In, the "flag” and “identification information” include not only the information but also the difference information with respect to the reference information.
  • various information (metadata, etc.) regarding the coded data may be transmitted or recorded in any form as long as it is associated with the coded data.
  • the term "associate" means, for example, to make the other data available (linkable) when processing one data. That is, the data associated with each other may be combined as one data or may be individual data.
  • the information associated with the coded data (image) may be transmitted on a transmission path different from the coded data (image).
  • the information associated with the coded data (image) may be recorded on a recording medium (or another recording area of the same recording medium) different from the coded data (image). good.
  • this "association" may be a part of the data, not the entire data.
  • the image and the information corresponding to the image may be associated with each other in any unit such as a plurality of frames, one frame, or a part within the frame.
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the above-mentioned program may be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • one device may execute the plurality of processes, or the plurality of devices may share and execute the plurality of processes.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, and may be executed in parallel or in a row. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processes of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for describing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments.
  • a part or all of any of the above-mentioned techniques may be carried out in combination with other techniques not described above.
  • the present technology can also have the following configurations.
  • Information associated with MPD Media Presentation Description
  • MPEG DASH Motion Picture Experts Group Dynamic Adaptive Streaming over HTTP
  • An information processing device including a file generation unit that generates a scene description file that describes a scene of the 3D object content, including information related to encoding of Representation.
  • the scene description file stores information related to the encoding in the tracks array of the alternatives array of the MPEG_media extension.
  • the information processing apparatus includes information regarding a coding method, a profile, and a level applied to the coding of the Representation.
  • the information regarding the coding is included in all the Representations included in the Adaptation Set. Information about the coding method, profile, and level of the Representation with the highest coding quality.
  • the information processing apparatus which includes information about the coding method, the profile, and the level of the Representation having the lowest quality.
  • the information regarding the coding is included in all the Representations included in the Adaptation Set. Information about the coding method, profile, and level of the Representation with the highest coding quality.
  • the information processing apparatus which includes information on the coding method, the profile, and the level of the Representation having the lowest quality.
  • the information regarding the coding includes information regarding the coding method, the profile, and the level of all the Representations included in the Adaptation Set.
  • the scene description file further stores information about the MPEG DASH profile.
  • the scene description file stores information about the MPEG DASH profile in the mimetype of the alternatives array of the MPEG_media extension.
  • the information processing apparatus stores information about the MPEG DASH profile in the mimetype of the profile_alternatives array of the MPEG_media extension.
  • Information associated with MPD Media Presentation Description
  • MPEG DASH Motion Picture Experts Group Dynamic Adaptive Streaming over HTTP
  • the scene of the 3D object content including the information associated with the MPD (Media Presentation Description) that stores the metadata of the 3D object content distributed using MPEG DASH (Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP).
  • a selection unit that analyzes the scene description file to be described and selects the 3D object content to be decoded based on the information regarding the encoding of the Representation included in the Adaptation Set in the MPD contained in the scene description file.
  • An information processing device including a decoding unit that decodes the coded data of the 3D object content selected by the selection unit.
  • the selection unit selects the 3D object content to be decoded based on the information regarding the encoding stored in the tracks array of the alternatives array of the MPEG_media extension of the scene description file (11).
  • Information processing device Information processing device.
  • the information regarding the coding includes information regarding the coding method, profile, and level applied to the coding of the Representation.
  • the information regarding the coding can be obtained from all the Representations included in the Adaptation Set. Information about the coding method, profile, and level of the Representation with the highest coding quality.
  • the selection unit is Information about the coding scheme, profile, and level of the Representation of the highest quality.
  • the information processing apparatus according to (13), wherein the 3D object content to be decoded is selected based on the information about the coding method, the profile, and the level of the Representation having the lowest quality.
  • the information regarding the coding is included in all the Representations included in the Adaptation Set.
  • Also included is information about the coding scheme, profile, and level of the Representation with the lowest quality.
  • the selection unit is Information about the coding scheme, profile, and level of the Representation of the highest quality.
  • the information processing apparatus according to (13), wherein the 3D object content to be decoded is selected based on the information regarding the coding method, the profile, and the level of the Representation having the lowest quality.
  • the information about the coding includes information about the coding method, the profile, and the level of all the Representations included in the Adaptation Set.
  • the information according to (13), wherein the selection unit selects the 3D object content to be decoded based on the information about the coding method, the profile, and the level of all the Representations included in the Adaptation Set. Processing equipment.
  • the selection unit further selects the 3D object content to be decoded based on the information about the MPEG DASH profile stored in the scene description file (12) to (16). Information processing equipment.
  • the selection unit selects the 3D object content to be decoded based on the information about the profile of the MPEG DASH stored in the mimetype of the alternatives array of the MPEG_media extension of the scene description file (17).
  • the selection unit selects the 3D object content to be decoded based on the information about the MPEG DASH profile stored in the mimetype of the profile_alternatives array of the MPEG_media extension of the scene description file (17). Information processing equipment.
  • the scene of the 3D object content including the information associated with the MPD (Media Presentation Description) that stores the metadata of the 3D object content distributed using MPEG DASH (Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP).
  • the scene description file to be described is analyzed, and the 3D object content to be decoded is selected based on the information regarding the encoding of the Representation included in the Adaptation Set in the MPD contained in the scene description file.
  • An information processing method for decoding the coded data of the selected 3D object content is performed by the scene description file.
  • 300 file generation device 301 control unit, 302 file generation processing unit, 311 input unit, 312 preprocessing unit, 313 coding unit, 314 file generation unit, 315 recording unit, 316 output unit, 400 client device, 401 control unit, 402 Client processing unit, 411 file acquisition unit, 412 file processing unit, 413 decoding unit, 414 display information generation unit, 415 display unit, 416 display control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本開示は、再生処理の負荷の増大を抑制することができるようにする情報処理装置および方法に関する。 MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報と、そのMPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報を含む、３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを生成する。また、そのシーン記述ファイルを解析し、そのRepresentationの符号化に関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択し、その選択した３Ｄコンテンツの符号化データを復号する。本開示は、例えば、情報処理装置、または情報処理方法等に適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、再生処理の負荷の増大を抑制することができるようにした情報処理装置および方法に関する。
　従来、３Ｄ（３次元）オブジェクトを３次元空間内に配置するためのフォーマットであるglTF（The GL Transmission Format）（登録商標）2.0があった（例えば非特許文献１参照）。近年、MPEG（Moving Picture Experts Group）-I Scene Descriptionにおいて、glTF2.0を拡張し、３Ｄオブジェクトコンテンツとしてタイムドメディア（Timed media）を適用することが検討されている（例えば非特許文献２および非特許文献３参照）。また、MPEG-I Scene Descriptionにおいては、３Ｄオブジェクトコンテンツの符号化方式、プロファイル、またはレベル等を、クライアントの性能等に応じて切り替え得るようにすることも検討されている。
Saurabh Bhatia, Patrick Cozzi, Alexey Knyazev, Tony Parisi, "Khronos glTF2.0", https://github.com/KhronosGroup/glTF/tree/master/specification/2.0, June 9, 2017 "Technologies under Considerations on Support of MPEG Media in Scene Descriptions", N19446, ISO/IEC JTC 1/SC 29/WG 11, 2020-07-03 Imed Bouazizi, Thomas Stockhammer, "[SD] Basic support for Audio in scene description", ISO/IEC JTC1/SC29/WG11 MPEG2020/m54852, August 2020, Online
　しかしながら、３Ｄオブジェクトコンテンツを含むファイルがMPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP（Hypertext Transfer Protocol））で配信される場合、３Ｄオブジェクトコンテンツの選択のための情報がシーンディスクリプション（Scene Description）内に格納されなかった。したがって、３Ｄオブジェクトコンテンツの選択のための情報を得るために、MPD（Media Presentation Description）を取得して解析する必要があった。そのため、その３Ｄオブジェクトコンテンツの再生処理の負荷が増大するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、再生処理の負荷の増大を抑制することができるようにするものである。
　本技術の一側面の情報処理装置は、MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報と、前記MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報を含む、前記３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを生成するファイル生成部を備える情報処理装置である。
　本技術の一側面の情報処理方法は、MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報と、前記MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報を含む、前記３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを生成する情報処理方法である。
　本技術の他の側面の情報処理装置は、MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報を含む、前記３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを解析し、前記シーン記述ファイルに含まれる、前記MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する選択部と、前記選択部により選択された前記３Ｄオブジェクトコンテンツの符号化データを復号する復号部とを備える情報処理装置である。
　本技術の他の側面の情報処理方法は、MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報を含む、前記３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを解析し、前記シーン記述ファイルに含まれる、前記MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択し、選択された前記３Ｄオブジェクトコンテンツの符号化データを復号する情報処理方法である。
　本技術の一側面の情報処理装置および方法においては、MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報と、そのMPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報を含む、３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルが生成される。
　本技術の他の側面の情報処理装置および方法においては、MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報を含む、３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルが解析され、そのシーン記述ファイルに含まれる、MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報に基づいて、復号する３Ｄオブジェクトコンテンツが選択され、その選択された３Ｄオブジェクトコンテンツの符号化データが復号される。
glTF2.0の主な構成例を示す図である。 glTFオブジェクトと参照関係の例を示す図である。 JSONフォーマットファイルの記述例を示す図である。 バイナリデータへのアクセス方法について説明する図である。 JSONフォーマットファイルの記述例を示す図である。 buffer object、buffer view object、accessor objectの関係を説明する図である。 buffer object、buffer view object、accessor objectの記述例を示す図である。 glTF2.0の拡張方法について説明する図である。 Timed mediaを扱うための拡張について説明する図である。 Timed mediaを扱うための拡張について説明する図である。 Timed mediaを扱うための拡張について説明する図である。 Timed mediaを扱うための拡張について説明する図である。 ３Ｄオブジェクトコンテンツの紐づけ方法について説明する図である。 MPEG_media extensionの記述例を示す図である。 alternative配列の記述例を示す図である。 MPEG_media extensionの記述例を示す図である。 Representationのcodecs情報の伝送方法について説明する図である。 MPEG_media extensionの記述例を示す図である。 MPEG_media extensionの記述例を示す図である。 MPEG_media extensionの記述例を示す図である。 MPEG_media extensionの記述例を示す図である。 MPEG_media extensionの記述例を示す図である。 MPEG_media extensionの記述例を示す図である。 ファイル生成装置の主な構成例を示すブロック図である。 ファイル生成処理の流れの例を示すフローチャートである。 クライアント装置の主な構成例を示すブロック図である。 クライアント処理の流れの例を示すフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．MPEG-I Scene Description
　２．Representationのcodecs情報等の伝送
　３．第１の実施の形態（ファイル生成装置）
　４．第２の実施の形態（クライアント装置）
　５．付記
　＜１．MPEG-I Scene Description＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
　非特許文献１：（上述）
　非特許文献２：（上述）
　非特許文献３：（上述）
　つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
　　＜gltf2.0＞
　従来、例えば、非特許文献１に記載のように、３Ｄ（３次元）オブジェクトを３次元空間内に配置するためのフォーマットであるglTF（The GL Transmission Format）（登録商標）2.0があった。glTF2.0では、例えば図１に示されるように、JSONフォーマットファイル（.glTF）と、バイナリファイル（.bin）と、イメージファイル（.pngや.jpg等）とにより構成される。バイナリファイルは、ジオメトリやアニメーション等のバイナリデータを格納する。イメージファイルは、テクスチャ等のデータを格納する。
　JSONフォーマットファイルは、JSON（JavaScript（登録商標） Object Notation）で記述されたシーンディスクリプションファイル（scene description file）である。シーンディスクリプションとは、３Ｄコンテンツのシーン（の説明）を記述するメタデータである。このシーンディスクリプションの記述により、どのようなシーンであるかが定義される。シーンディスクリプションファイルは、そのようなシーンディスクリプションを格納するファイルである。本開示においては、シーンディスクリプションファイルのことをシーン記述ファイルとも称する。
　JSONフォーマットファイルの記述は、キー（KEY）とバリュー（VALUE）のペアの羅列により構成される。以下にその書式の例を示す。
　“KEY”:”VALUE”
　キーは文字列により構成される。バリューは数値、文字列、真偽値、配列、オブジェクト、またはnull等により構成される。
　また、複数のキーとバリューのペア（“KEY”:”VALUE”）を、｛｝（中かっこ）を用いてまとめることができる。この中かっこでまとめたものをJSONオブジェクトとも称する。以下にその書式の例を示す。
　“user”:{"id":1, "name":"tanaka”}
　この例の場合、キー（user）に対応するバリューとして、"id":1のペアと"name":"tanaka”のペアをまとめたJSONオブジェクトが定義されている。
　また、０個以上のバリューを、[]（大かっこ）を用いて配列化することもできる。この配列をJSON配列とも称する。このJSON配列の要素として、例えば、JSONオブジェクトを適用することもできる。以下にその書式の例を示す。
　test":["hoge", "fuga", "bar"]
　"users":[{"id":1, "name":"tanaka"},{"id":2,"name":"yamada"},{"id":3, "name":"sato"}]
　JSONフォーマットファイルの最上位に記載できるglTFオブジェクト（glTF object）と、それらが持てる参照関係を図２に示す。図２に示されるツリー構造の長丸がオブジェクトを示し、そのオブジェクト間の矢印が参照関係を示している。図２に示されるように、"scene"、"node"、"mesh"、"camera"、"skin"、"material"、"texture"等のオブジェクトがJSONフォーマットファイルの最上位に記述される。
　このようなJSONフォーマットファイル（シーンディスクリプション）の記述例を図３に示す。図３のJSONフォーマットファイル２０は、最上位の一部の記述例を示している。このJSONフォーマットファイル２０において、使用されるトップレベルオブジェクト（top-level object）２１は、全て最上位に記述される。このトップレベルオブジェクト２１は、図２に示されるglTFオブジェクトである。また、JSONフォーマットファイル２０においては、矢印２２として示されるように、オブジェクト（object）間の参照関係が示される。より具体的には、上位オブジェクトのプロパティ（property）で、参照するオブジェクトの配列の要素のインデックス（index）を指定することによりその参照関係が示される。
　図４は、バイナリデータへのアクセス方法について説明する図である。図４に示されるように、バイナリデータは、バッファオブジェクト（buffer object）に格納される。つまり、バッファオブジェクトにおいてバイナリデータにアクセスするための情報（例えばURI（Uniform Resource Identifier）等）が示される。JSONフォーマットファイルにおいては、図４に示されるように、例えばメッシュ（mesh）、カメラ（camera）、スキン（skin）等のオブジェクトから、そのバッファオブジェクトに対して、アクセサオブジェクト（accessor object）とバッファビューオブジェクト（bufferView object）を介してアクセスすることができる。
　つまり、メッシュ（mesh）、カメラ（camera）、スキン（skin）等のオブジェクトにおいては、参照するアクセサオブジェクトが指定される。JSONフォーマットファイルにおけるメッシュオブジェクト（mesh）の記述例を図５に示す。例えば、図５のように、メッシュオブジェクトにおいては、NORMAL、POSITION、TANGENT、TEXCORD_0等の頂点の属性（アトリビュート（attribute））がキーとして定義され、その属性毎に、参照するアクセサオブジェクトがバリューとして指定されている。
　バッファオブジェクト、バッファビューオブジェクト、アクセサオブジェクトの関係を図６に示す。また、JSONフォーマットファイルにおけるそれらのオブジェクトの記述例を図７示す。
　図６において、バッファオブジェクト４１は、実データであるバイナリデータにアクセスするための情報（URI等）と、そのバイナリデータのデータ長（例えばバイト長）を示す情報とを格納するオブジェクトである。図７のＡは、そのバッファオブジェクト４１の記述例を示している。図７のＡに示される「"bytelength":102040」は、図６に示されるように、バッファオブジェクト４１のバイト長が102040バイト（bytes）であることを示している。また、図７のＡに示される「"uri":"duck.bin"」は、図６に示されるように、バッファオブジェクト４１のURIが"duck.bin"であることを示している。
　図６において、バッファビューオブジェクト４２は、バッファオブジェクト４１において指定されたバイナリデータのサブセット（subset）領域に関する情報（つまりバッファオブジェクト４１の一部の領域に関する情報）を格納するオブジェクトである。図７のＢは、そのバッファビューオブジェクト４２の記述例を示している。図６や図７のＢに示されるように、バッファビューオブジェクト４２は、例えば、そのバッファビューオブジェクト４２が属するバッファオブジェクト４１の識別情報、そのバッファオブジェクト４１内におけるそのバッファビューオブジェクト４２の位置を示すオフセット（例えばバイトオフセット）、そのバッファビューオブジェクト４２のデータ長（例えばバイト長）を示すレングス（例えばバイトレングス）等の情報を格納する。
　図７のＢに示されるように、バッファビューオブジェクトが複数存在する場合、そのバッファビューオブジェクト毎（つまりサブセット領域毎）に情報が記述される。例えば、図７のＢにおいて上側に示される、「"buffer":0」、「"bytelength":25272」、「"byteOffset":0」等の情報は、図６においてバッファオブジェクト４１内に示される１つ目のバッファビューオブジェクト４２（bufferView[0]）の情報である。また、図７のＢにおいて下側に示される、「"buffer":0」、「"bytelength":76768」、「"byteOffset":25272」等の情報は、図６においてバッファオブジェクト４１内に示される２つ目のバッファビューオブジェクト４２（bufferView[1]）の情報である。
　図７のＢに示される１つ目のバッファビューオブジェクト４２（bufferView[0]）の「"buffer":0」は、図６に示されるように、そのバッファビューオブジェクト４２（bufferView[0]）が属するバッファオブジェクト４１の識別情報が「0」（Buffer[0]）であることを示している。また、「"bytelength":25272」は、そのバッファビューオブジェクト４２（bufferView[0]）のバイト長が25272バイトであることを示している。さらに、「"byteOffset":0」は、そのバッファビューオブジェクト４２（bufferView[0]）のバイトオフセットが0バイトであることを示している。
　図７のＢに示される２つ目のバッファビューオブジェクト４２（bufferView[1]）の「"buffer":0」は、図６に示されるように、そのバッファビューオブジェクト４２（bufferView[0]）が属するバッファオブジェクト４１の識別情報が「0」（Buffer[0]）であることを示している。また、「"bytelength":76768」は、そのバッファビューオブジェクト４２（bufferView[0]）のバイト長が76768バイトであることを示している。さらに、「"byteOffset":25272」は、そのバッファビューオブジェクト４２（bufferView[0]）のバイトオフセットが25272バイトであることを示している。
　図６において、アクセサオブジェクト４３は、バッファビューオブジェクト４２のデータの解釈方法に関する情報を格納するオブジェクトである。図７のＣは、そのアクセサオブジェクト４３の記述例を示している。図６や図７のＣに示されるように、アクセサオブジェクト４３は、例えば、そのアクセサオブジェクト４３が属するバッファビューオブジェクト４２の識別情報、そのバッファビューオブジェクト４２の、バッファオブジェクト４１内における位置を示すオフセット（例えばバイトオフセット）、そのバッファビューオブジェクト４２のコンポーネントタイプ、そのバッファビューオブジェクト４２に格納されるデータ数、そのバッファビューオブジェクト４２に格納されるデータのタイプ等の情報を格納する。これらの情報は、バッファビューオブジェクト毎に記述される。
　図７のＣの例では、「"bufferView":0」、「"byteOffset":0」、「"componentType":5126」、「"count":2106」、「"type":"VEC3"」等の情報が示されている。「"bufferView":0」は、図６に示されるように、そのアクセサオブジェクト４３が属するバッファビューオブジェクト４２の識別情報が「0」（bufferView[0]）であることを示している。また、「"byteOffset":0」は、そのバッファビューオブジェクト４２（bufferView[0]）のバイトオフセットが0バイトであることを示している。さらに、「"componentType":5126」は、コンポーネントタイプが、FLOAT型（OpenGLマクロ定数）であることを示している。また、「"count":2106」は、そのバッファビューオブジェクト４２（bufferView[0]）に格納されるデータが2106個であることを示している。さらに、「"type":"VEC3"」は、そのバッファビューオブジェクト４２（bufferView[0]）に格納されるデータ（のタイプ）が３次元ベクトルであることを示している。
　イメージ（image）以外のデータへのアクセスは、全てこのアクセサオブジェクト４３への参照により（アクセサのインデックスを指定することにより）定義される。
　glTF2.0では、オブジェクトを拡張し、拡張オブジェクト（extension object）内に新たに定義されたオブジェクトを格納することができる。図８は、glTF2.0の拡張方法について説明する図である。図８に示される記述例は、シーンオブジェクト（scene object）の拡張オブジェクトに新たに定義されたオブジェクト（CompareDataExtension）を格納する場合の記述例を示す。図８に示される例においては、シーンオブジェクト（"scenes"）の拡張オブジェクト（extensions）に、新たなオブジェクト（CompareDataExtension）が格納されている。このようにオブジェクトを拡張する場合、“extensionUsed”と”extensionRequired”に新たなオブジェクトの名称が定義される。これにより、その新たなオブジェクトが、ロード（load）に必要なオブジェクトであることが示される。
　　＜Timed mediaの適用＞
　近年、例えば、非特許文献２に示されるように、MPEG（Moving Picture Experts Group）-I Scene Descriptionにおいて、glTF2.0を拡張し、３Ｄオブジェクトコンテンツとしてタイムドメディア（Timed media）を適用することが検討されている。タイムドメディアとは、２次元画像における動画像のように、時間軸方向に変化するメディアデータである。
　glTFは、メディアデータ（３Ｄオブジェクトコンテンツ）として、静止画データのみ適用可能であった。つまり、glTFは、動画像のメディアデータには対応していなかった。３Ｄオブジェクトを動かす場合は、アニメーション（時間軸に沿って静止画を切り替える方法）が適用されていた。
　MPEG-I Scene Descriptionでは、そのglTF2.0を適用し、シーンディスクリプションとしてJSONフォーマットファイルを適用し、さらに、メディアデータとして、タイムドメディア（例えばビデオデータ）を扱うことができるようにglTFを拡張することが検討されている。タイムドメディアを扱うために、例えば以下のような拡張が行われる。
　図９は、タイムドメディアを扱うための拡張について説明する図である。図９に示されるように、glTFオブジェクトの拡張オブジェクト（extensions）として、ビデオデータ等の実データを管理するMPEGメディアオブジェクト（MPEG_media）が設けられる。つまり、そのMPEGメディアオブジェクトには、ビデオデータ等の実データに関する情報が格納される。
　また、図９に示されるように、テクスチャオブジェクト（texture）の拡張オブジェクト（extensions）として、MPEGビデオテクスチャオブジェクト（MPEG_video_texture）が設けられる。そのMPEGビデオテクスチャオブジェクトには、アクセスするバッファオブジェクトに対応するアクセサの情報が格納される。すなわち、MPEGメディアオブジェクト（MPEG_media）で指定されたテクスチャメディア（texture media）が復号されて格納されるバッファオブジェクトに対応するアクセサの情報が、MPEGビデオテクスチャオブジェクトに格納される。
　図１０は、タイムドメディアを扱うための拡張について説明するための、シーンディスクリプションにおけるMPEGメディアオブジェクト（MPEG_media）およびMPEGビデオテクスチャオブジェクト（MPEG_video_texture）の記述例を示す図である。図１０の例の場合、上から２行目において下記のように、テクスチャオブジェクト（texture）の拡張オブジェクト（extensions）として、MPEGビデオテクスチャオブジェクト（MPEG_video_texture）が設定されている。そして、そのMPEGビデオテクスチャオブジェクトのバリューとして、アクセサのインデックス（この例では「2」）が指定されている。
"texture":[{"sampler":0, "source":1, "extensions":{"MPEG_video_texture":"accessor":2}}],
　また、図１０の例の場合、上から７行目乃至１６行目において下記のように、glTFの拡張オブジェクト（extensions）として、MPEGメディアオブジェクト（MPEG_media）が設定されている。そして、そのMPEGメディアオブジェクトのバリューとして、例えば、そのMPEGメディアオブジェクトの符号化やURI等といった、MPEGメディアオブジェクトに関する様々な情報が格納されている。
"MPEG_media":{
  "media":[
        {"name":"source_1", "renderingRate":30.0, "startTime":9.0, "timeOffset":0.0,
          "loop":"true", "controls":"false",
          "alternatives":[{"mimeType":"video/mp4;codecs=\"avc1.42E01E\"", "uri":"video1.mp4",
                                     "tracks":[{"track":""#track_ID=1"}]
                         }]
        }
  ]
}
　また、図９に示されるように、バッファオブジェクト（buffer）の拡張オブジェクト（extensions）として、MPEGサーキュラバッファオブジェクト（MPEG_circular_buffer）が設けられる。そのMPEGサーキュラバッファオブジェクトには、バッファオブジェクト内にデータを動的に格納するための情報が格納される。例えば、バッファヘッダ（bufferHeader）のデータ長を示す情報や、フレーム数を示す情報等といった情報がこのMPEGサーキュラバッファオブジェクトに格納される。なお、バッファヘッダは、例えば、インデックス（index）、格納されるフレームデータのタイムスタンプやデータ長等といった情報を格納する。
　また、図９に示されるように、アクセサオブジェクト（accessor）の拡張オブジェクト（extensions）として、MPEGタイムドアクセサオブジェクト（MPEG_timed_accessor）が設けられる。この場合、メディアデータは動画なので時間方向に参照するバッファビューオブジェクト（bufferView）が変化し得る（位置が変動し得る）。そこで、その参照するバッファビューオブジェクトを示す情報が、このMPEGタイムドアクセサオブジェクトに格納される。例えば、MPEGタイムドアクセサオブジェクトには、タイムドアクセサインフォメーションヘッダ（timedAccessor information header）が記述されるバッファビューオブジェクト（bufferView）への参照を示す情報が格納される。なお、タイムドアクセサインフォメーションヘッダは、例えば、動的に変化するアクセサオブジェクトとバッファビューオブジェクト内の情報を格納するヘッダ情報である。
　図１１は、タイムドメディアを扱うための拡張について説明するための、シーンディスクリプションにおけるMPEGサーキュラバッファオブジェクト（MPEG_circular_buffer）およびMPEGタイムドアクセサオブジェクト（MPEG_timed_accessor）の記述例を示す図である。図１１の例の場合、上から５行目において下記のように、アクセサオブジェクト（accessors）の拡張オブジェクト（extensions）として、MPEGタイムドアクセサオブジェクト（MPEG_timed_accessor）が設定されている。そして、そのMPEGタイムドアクセサオブジェクトのバリューとして、バッファビューオブジェクトのインデックス（この例では「1」）、アップデートレート（updataRate）、不変の情報（immutable）等のパラメータとその値が指定されている。
"MPEG_timed_accessor":{"bufferView":1, "updateRate":25.0, "immutable":1,"}
　また、図１１の例の場合、上から１３行目において下記のように、バッファオブジェクト（buffer）の拡張オブジェクト（extensions）として、MPEGサーキュラバッファオブジェクト（MPEG_circular_buffer）が設定されている。そして、そのMPEGサーキュラバッファオブジェクトのバリューとして、バッファフレームカウント（count）、ヘッダ長（headerLength）、アップデートレート（updataRate）等のパラメータとその値が指定されている。
"MPEG_circular_buffer":{"count":5, "headerLength":12, "updateRate":25.0}
　図１２は、タイムドメディアを扱うための拡張について説明するための図である。図１２において、MPEGタイムドアクセサオブジェクトやMPEGサーキュラバッファオブジェクトと、アクセサオブジェクト、バッファビューオブジェクト、およびバッファオブジェクトとの関係の例を示す。
　バッファオブジェクトのMPEGサーキュラバッファオブジェクトには、上述したように、バッファフレームカウント（count）、ヘッダ長（headerLength）、アップデートレート（updataRate）等といった、バッファオブジェクトによって示されるバッファ領域に時間変化するdataを格納するのに必要な情報が格納される。また、そのバッファ領域のヘッダであるバッファヘッダ（bufferHeader）には、インデックス（idex）、タイムスタンプ（timestamp）、データ長（length）等のパラメータが格納される。
　アクセサオブジェクトのMPEGタイムドアクセサオブジェクトには、上述したように、バッファビューオブジェクトのインデックス（bufferView）、アップデートレート（updataRate）、不変の情報（immutable）等といった、参照するバッファビューオブジェクトに関する情報が格納される。また、このMPEGタイムドアクセサオブジェクトには、参照するタイムドアクセサインフォメーションヘッダが格納されるバッファビューオブジェクトに関する情報が格納される。タイムドアクセサインフォメーションヘッダには、タイムスタンプデルタ（timestamp_delta）、アクセサオブジェクトの更新データ、バッファビューオブジェクトの更新データ等が格納され得る。
　　＜シーン内に配置される３Ｄオブジェクトと３Ｄオブジェクトコンテンツとの紐づけ方法＞
　非特許文献３に記載のように、オーディオデータも上述のテクスチャと同様に、MPEGメディアオブジェクトにおいて管理され、アクセサオブジェクト、バッファビューオブジェクト、バッファオブジェクトを介して紐づけられる。
　図１３は、３Ｄオブジェクトコンテンツの紐づけ方法について説明する図である。テクスチャの場合、図１３の右側に示されるように、テクスチャオブジェクト（texture）が拡張されて、MPEGタイムドテクスチャオブジェクト（図９のMPEGビデオテクスチャオブジェクトに相当）が設けられる。そして、そのMPEGタイムドテクスチャオブジェクトにおいて、アクセサオブジェクトのインデックス（accessor index）が用いられて、参照先のアクセサオブジェクトが紐づけられる。
　そのアクセサオブジェクトが拡張されて、MPEGタイムドアクセサが設けられ、そのMPEGタイムドアクセサにおいて、バッファビューオブジェクトのインデックス（bufferView index）が用いられて、参照先のバッファビューオブジェクトが紐づけられる。また、そのバッファビューオブジェクトにおいて、バッファオブジェクトのインデックス（buffer index）が用いられて、参照先のバッファオブジェクトが紐づけられる。そして、そのバッファオブジェクトが拡張されて、MPEGサーキュラバッファオブジェクトが設けられ、MPEGメディアオブジェクト（MPEG_media）のインデックス（source index）が用いられて、参照先のMPEGメディアオブジェクトが紐づけられる。
　これに対してオーディオデータの場合、図１３の左側に示されるように、ノードオブジェクト（Node）が拡張されて、MPEGスペーシャルオーディオオブジェクト（図９のMPEGビデオテクスチャオブジェクトに相当）が設けられる。そして、そのMPEGスペーシャルオーディオオブジェクトにおいて、アクセサオブジェクトのインデックス（accessor index）が用いられて、参照先のアクセサオブジェクトが紐づけられる。
　そのアクセサオブジェクトが拡張されて、MPEGタイムドアクセサが設けられ、そのMPEGタイムドアクセサにおいて、バッファビューオブジェクトのインデックス（bufferView index）が用いられて、参照先のバッファビューオブジェクトが紐づけられる。また、そのバッファビューオブジェクトにおいて、バッファオブジェクトのインデックス（buffer index）が用いられて、参照先のバッファオブジェクトが紐づけられる。そして、そのバッファオブジェクトが拡張されて、MPEGサーキュラバッファオブジェクトが設けられ、MPEGメディアオブジェクト（MPEG_media）のインデックス（source index）が用いられて、参照先のMPEGメディアオブジェクトが紐づけられる。
　したがって、シーン内に配置される3Dオブジェクトと３Dオブジェクトコンテンツの紐づけは以下のように行われる。
　１．MPEGメディアオブジェクト（の拡張オブジェクト）（MPEG_media extension）でmedia[]内にファイルのUriとトラック（track）をリストアップする。図１４は、シーンディスクリプションにおけるMPEGメディアオブジェクト（MPEG_media）の記述例を示す図である。図１４の上から５行目乃至１０行目にURIやトラック等を含むメディアに関する情報が記述されている。
　２．MPEGサーキュラバッファオブジェクト（MPEG_circular_buffer extension）から、メディア（media）配列の要素ID（source index）を参照し、バッファオブジェクト（buffer）内に格納されるメディアを指定する。
　３．各トラックのデータを参照するためのバッファビューオブジェクト（bufferview）を指定し、さらにそのデータの解釈方法を示したアクセサオブジェクト（accessor）を指定する。
　４．３Ｄオブジェクト(textureやaudio)からはアクセサオブジェクト（accessor）への参照に関する情報がシグナルされる。
　　＜切り替え使用可能な複数の３Ｄオブジェクトコンテンツを指定する方法＞
　MPEG-I Scene Descriptionにおいては、３Ｄオブジェクトコンテンツの符号化方式、プロファイル、またはレベル等を、クライアントの性能等に応じて切り替え得るようにすることも検討されている。図１５は、その場合の、シーンディスクリプションにおけるMPEGメディアオブジェクトのオルタナティブ配列の記述例を示す図である。
　図１５に示されるように、MPEGメディアオブジェクトにおいて、切り替え可能（選択可能）な複数の３Ｄオブジェクトコンテンツを記述する場合、オルタナティブ（alternative）配列を用いて記述される。このオルタナティブ配列の各要素には、互いに異なる３Ｄオブジェクトコンテンツが紐づけられている。つまり、オルタナティブ配列により、複数の３Ｄオブジェクトコンテンツが切り替え可能（選択可能）に記述されている。例えば図１５の場合、オルタナティブ配列の要素９１が示す３Ｄオブジェクトコンテンツと、要素９２が示す３Ｄオブジェクトコンテンツとが切り替え可能（選択可能）である。
　オルタナティブ配列の各要素には、その紐づけられた３Ｄオブジェクトコンテンツに関する情報が格納されている。図１５の例の場合、３Ｄオブジェクトコンテンツの符号化に関する情報がコーデック情報として記述されている。例えば、要素９１には、コーデック情報（codecs=\"avc1.42E01E\“”）が記述されており、要素９２には、コーデック情報（codecs=\"avc1.64000d\“”）が記述されている。
　３Ｄオブジェクトコンテンツを再生する装置は、このような３Ｄオブジェクトコンテンツに関する情報（例えばコーデック情報）に基づいて、MPEGメディアオブジェクトに記述されたオルタナティブ配列の中から、再生する３Ｄオブジェクトコンテンツを選択することができる。
　このコーデック情報は、例えば、３Ｄオブジェクトコンテンツの符号化方式、プロファイル、レベル等の情報を含み得る。３Ｄオブジェクトコンテンツを再生する装置は、それらの情報に基づいて、再生する３Ｄオブジェクトコンテンツを選択することができる。例えば、３Ｄオブジェクトコンテンツを再生する装置は、自身の性能とそれらの情報とを比較し、最適な３Ｄオブジェクトコンテンツを、再生する３Ｄオブジェクトコンテンツとして選択することができる。例えば、３Ｄオブジェクトコンテンツを再生する装置は、再生可能な３Ｄオブジェクトコンテンツの中で最も高品質な３Ｄオブジェクトコンテンツを、再生する３Ｄオブジェクトコンテンツとして選択することができる。
　例えば、３ＤオブジェクトコンテンツがMP4ファイルに格納されて伝送される場合、MPEGメディアオブジェクトでは、オルタナティブ配列の要素として、その伝送対象のMP4ファイルが指定される。図１６のＡは、その場合の、シーンディスクリプションにおけるMPEGメディアオブジェクト（MPEG_media）の記述例を示す図である。
　上から７行目や１０行目に示されるように、この場合、MPEGメディアオブジェクトでは、オルタナティブ配列の各要素のmimeTypeにおいて、その要素に対応するMP4ファイルのコーデック情報が示されている（codecs=\"avc1.42E01E\“”, codecs=\"avc1.64000d\“”,）。このコーデック情報は、３Ｄオブジェクトコンテンツの符号化方式、プロファイル、およびレベルに関する情報を含む。したがって、３Ｄオブジェクトコンテンツを再生する装置は、例えば、自身の性能等とこのコーデック情報に基づいて、再生可能な要素（３Ｄオブジェクトコンテンツ）を選択し、再生することができる。
　これに対して、３Ｄオブジェクトコンテンツを含むファイルがMPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP（Hypertext Transfer Protocol））を用いて配信される場合、MPEGメディアオブジェクトでは、配信対象の３Ｄオブジェクトコンテンツではなく、その３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）が指定される。
　しかしながら、この場合、３Ｄオブジェクトコンテンツの選択のための情報がシーンディスクリプション（Scene Description）内に格納されなかった。
　図１６のＢは、その場合の、シーンディスクリプションにおけるMPEGメディアオブジェクト（MPEG_media）の記述例を示す図である。この場合、上から７行目および８行目や１０行目および１１行目のmimeTypeやuriに示されるように、MPDが指定されているが、３Ｄオブジェクトコンテンツのコーデック情報は記述されていない。そのため、３Ｄオブジェクトコンテンツを再生する装置が、その３Ｄオブジェクトコンテンツのコーデック情報に基づいてオルタナティブ配列の中からいずれかの要素（つまり３Ｄオブジェクトコンテンツ）を選択することは困難であった。
　換言するに、３Ｄオブジェクトコンテンツを再生する装置が、３Ｄオブジェクトコンテンツの選択のための情報に基づいて、３Ｄオブジェクトコンテンツを選択するためには、全ての要素のMPDを取得して解析する必要があった。例えば３Ｄオブジェクトコンテンツを再生する装置は、各要素のMPDを取得して解析し、各３Ｄオブジェクトコンテンツのコーデック情報を把握し、その中から最適なコーデック情報を特定し、そのコーデック情報に対応する３Ｄオブジェクトコンテンツを取得するといった、煩雑な作業が必要であった。そのため、３Ｄオブジェクトコンテンツの再生処理の負荷が増大するおそれがあった。
　＜２．Representationのcodecs情報等の伝送＞
　そこで、３Ｄオブジェクトコンテンツを含むファイルがMPEG DASHを用いて配信される場合、図１７に示される表の最上段に示されるように、シーンディスクリプション（Scene Description）に、MPDのアダプテーションセット（Adaptation Set）内のリプレゼンテーション（Representation）の符号化に関する情報（コーデック情報）を格納するようにする。
　例えば、情報処理方法において、MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報と、そのMPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報を含む、３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを生成するようにする。
　例えば、情報処理装置において、MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報と、そのMPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報を含む、３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを生成するファイル生成部を備えるようにする。
　このように、MPDにおけるアダプテーションセット（Adaptation Set）に含まれるリプレゼンテーション（Representation）の符号化に関する情報をシーン記述ファイル（シーンディスクリプション）に記述し、伝送することにより、３Ｄオブジェクトコンテンツを再生する装置は、その符号化に関する情報に基づいて再生する３Ｄオブジェクトコンテンツを選択することができる。つまり、３Ｄオブジェクトコンテンツを再生する装置は、シーンディスクリプションに記述されるオルタナティブ配列の全要素のMPDを取得して解析する等の煩雑な作業を必要とせずに容易に、そのシーンディスクリプションに記述された符号化に関する情報に基づいて、再生する３Ｄオブジェクトコンテンツを選択することができる。したがって、再生処理の負荷の増大を抑制することができる。
　例えば、情報処理方法において、MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報を含む、３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを解析し、そのシーン記述ファイルに含まれる、MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択し、その選択された３Ｄオブジェクトコンテンツの符号化データを復号するようにする。
　例えば、情報処理装置において、MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報を含む、３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを解析し、そのシーン記述ファイルに含まれる、MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択する選択部と、その選択部により選択された３Ｄオブジェクトコンテンツの符号化データを復号する復号部とを備えるようにする。
　このようにすることにより、３Ｄオブジェクトコンテンツを再生する装置は、シーン記述ファイル（シーンディスクリプション）に記述されるオルタナティブ配列の全要素のMPDを取得して解析する等の煩雑な作業を必要とせずに容易に、そのシーンディスクリプションに記述された符号化に関する情報に基づいて、再生する３Ｄオブジェクトコンテンツを選択することができる。したがって、再生処理の負荷の増大を抑制することができる。
　この符号化に関する情報（コーデック情報）は、MPEGメディアオブジェクト（の拡張オブジェクト）（MPEG_media extension）のオルタナティブ配列の各要素のトラック（tracks）配列に格納してもよい。そして、３Ｄオブジェクトコンテンツを再生する際には、シーン記述ファイルのMPEGメディアオブジェクト（の拡張オブジェクト）のオルタナティブ配列の各要素のトラック（tracks）配列に格納されている符号化に関する情報（コーデック情報）に基づいて、オルタナティブ配列の中から、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　このようにすることにより、再生処理の流れを、３Ｄオブジェクトコンテンツを含むMP4ファイルを伝送する場合と同様にすることができる。このようにすることにより、３ＤオブジェクトファイルをMPEG DASHを用いて配信する場合と、３Ｄオブジェクトコンテンツを含むMP4ファイルを伝送する場合とで処理フローを変える必要がなくなり、３Ｄオブジェクトコンテンツを再生する装置の実装コストの増大を抑制することができる。
　なお、このコーデック情報は、符号化に関する情報を含んでいれば、その内容は任意である。例えば、コーデック情報が、リプレゼンテーションの符号化に適用された符号化方式、プロファイル、およびレベルに関する情報を含んでもよい。そして、３Ｄオブジェクトコンテンツを再生する際には、その符号化方式、プロファイル、およびレベルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。もちろん、コーデック情報は、これらの情報の内の一部を含んでもよいし、その他の情報を含んでもよい。
　このようにすることにより、３Ｄオブジェクトコンテンツを再生する装置は、３Ｄオブジェクトコンテンツ（アダプテーションセット）に含まれるいずれかのリプレゼンテーションの符号化に適用された符号化方式、プロファイル、およびレベルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択することができるので、容易により適切な３Ｄオブジェクトコンテンツを選択することができる。例えば、３Ｄオブジェクトコンテンツを再生する装置は、各３Ｄオブジェクトコンテンツに適用されたこれらの情報と自身の能力とを比較し、再生可能な３Ｄオブジェクトコンテンツを選択することができる。
　　＜方法１＞
　例えば、図１７に示される表の上から２段目に示されるように、トラック配列内に単数のコーデック情報を格納してもよい。つまり、各トラックに対して１つのコーデック情報を格納するようにしてもよい（方法１）。
　その場合のシーンディスクリプションのMPEGメディアオブジェクト（MPEG_media）の記述例を、図１８に示す。図１８の例の場合、MPEGメディアオブジェクト（MPEG_media）のメディア配列（media[]）内のオルタナティブ配列（alternatives[]）の１つ目の要素のトラック配列（tracks[]）には、１つのコーデック情報が記述されている（"codecs":" avc1.42E01E"）。このコーデック情報は、オルタナティブ配列の１つ目の要素のトラックに対応するアダプテーションセット内のいずれかのリプレゼンテーションのコーデック情報である。
　同様に、オルタナティブ配列（alternatives[]）の２つ目の要素のトラック配列（tracks[]）にも、１つのコーデック情報が記述されている（"codecs":" hev1.1.6.L93.B0"）。このコーデック情報は、オルタナティブ配列の２つ目の要素のトラックに対応するアダプテーションセット内のいずれかのリプレゼンテーションのコーデック情報である。
　このように、オルタナティブ配列の各要素のトラック配列には、そのトラックに対応するアダプテーションセット内のいずれかのリプレゼンテーションのコーデック情報が格納される。このようにすることにより、３Ｄオブジェクトコンテンツを再生する装置は、３Ｄオブジェクトコンテンツ（アダプテーションセット）に含まれるいずれかのリプレゼンテーションのコーデック情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択することができるので、容易により適切な３Ｄオブジェクトコンテンツを選択することができる。例えば、３Ｄオブジェクトコンテンツを再生する装置は、各３Ｄオブジェクトコンテンツのコーデック情報と自身の能力とを比較し、再生可能な３Ｄオブジェクトコンテンツを選択することができる。
　このトラック配列に格納される１つのコーデック情報は、例えば、アダプテーションセット内の全てのリプレゼンテーションに共通のコーデック情報であってもよい。つまり、そのアダプテーションセットに含まれる全てのリプレゼンテーションのコーデック情報が同一であり、トラック配列内に示されるコーデック情報が、そのアダプテーションセットに含まれる全てのリプレゼンテーションに適用可能であるようにしてもよい。
　また、このコーデック情報は、対応するアダプテーションセットに含まれる全てのリプレゼンテーションの内の、符号化の品質が最高のリプレゼンテーションのコーデック情報（すなわち最高値）、または、符号化の品質が最低のリプレゼンテーションのコーデック情報（すなわち最低値）を含んでもよい。そして、３Ｄオブジェクトコンテンツを再生する際には、その最高値または最低値のコーデック情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　コーデック情報の最高値や最低値の定義は、任意である。例えば、このコーデック情報において、プロファイルとしては、ビット深度（bit depth）や色成分のフォーマット（chroma format）等のパラメータが示され、レベルとしては、解像度やフレームレート等のパラメータが示されるとする。このような場合に、コーデック情報の最高値は、そのプロファイルやレベルのパラメータの最高値を示し、コーデック情報の最低値は、そのプロファイルやレベルのパラメータの最低値を示すものとしてもよい。
　例えば、オルタナティブ配列の各要素において、コーデック情報の最高値（符号化の品質が最高となるコーデック情報）が示される場合、３Ｄオブジェクトコンテンツを再生する装置は、容易に、そのアダプテーションセット（３Ｄオブジェクトコンテンツ）の再生に十分な性能を把握することができる。例えば、３Ｄオブジェクトコンテンツを再生する装置は、自身の能力がその最高値より高い場合、つまり、その最高値に対応するリプレゼンテーションを再生可能な場合、そのアダプテーションセット（３Ｄオブジェクトコンテンツ）を全て再生することができる。３Ｄオブジェクトコンテンツを再生する装置は、MPEGメディアオブジェクトにおいて示されたコーデック情報の最高値に基づいて、このようなことを容易に把握することができる。例えば、３Ｄオブジェクトコンテンツを再生する装置は、自身の能力がコーデック情報の最高値よりも高い３Ｄオブジェクトコンテンツを選択することにより、より確実に、選択した３Ｄオブジェクトコンテンツを再生することができる。
　また、例えば、オルタナティブ配列の各要素において、コーデック情報の最低値（符号化の品質が最低となるコーデック情報）が示される場合、３Ｄオブジェクトコンテンツを再生する装置は、容易に、そのアダプテーションセット（３Ｄオブジェクトコンテンツ）の再生に必要な性能を把握することができる。例えば、３Ｄオブジェクトコンテンツを再生する装置は、自身の能力がその最低値より低い場合、つまり、その最低値に対応するリプレゼンテーションを再生不可能な場合、そのアダプテーションセット内のいずれのリプレゼンテーションも再生不可能である。３Ｄオブジェクトコンテンツを再生する装置は、MPEGメディアオブジェクトにおいて示されたコーデック情報の最低値に基づいて、このようなことを容易に把握することができる。例えば、３Ｄオブジェクトコンテンツを再生する装置は、自身の能力がコーデック情報の最低値よりも低い３Ｄオブジェクトコンテンツを候補から除外し、除外されなかった候補の中から再生する３Ｄオブジェクトコンテンツを選択することにより、より容易に、再生可能な３Ｄオブジェクトコンテンツを選択することができる。
　なお、シーンディスクリプションにおいて、コーデック情報の最高値および最低値のいずれかを示すことができるようにしてもよい。その場合、示されたコーデック情報が最高値であるのか最低値であるのかを示すフラグ情報を伝送してもよい。また、任意のリプレゼンテーションのコーデック情報を示すことができるようにしてもよい。その場合、示されたコーデック情報がどのリプレゼンテーションのコーデック情報であるかを示す情報を伝送してもよい。
　　＜MPEG DASHのプロファイル情報の格納＞
　以上においてはリプレゼンテーションのコーデック情報をMPEGメディアオブジェクトに格納するように説明したが、さらに、MPEG DASHのプロファイル（profile）に関する情報をシーン記述ファイル（のMPEGメディアオブジェクト）に格納してもよい。そして、３Ｄオブジェクトコンテンツを再生する際には、そのシーン記述ファイル（のMPEGメディアオブジェクト）に格納されるMPEG DASHのプロファイルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　このようにすることにより、３Ｄオブジェクトコンテンツを再生する装置は、３Ｄオブジェクトコンテンツの配信に適用されたMPEG DASHのプロファイルを容易に把握することができる。
　　＜方法１－１＞
　図１７に示される表の上から３段目に示されるように、オルタナティブ配列の各要素のmimeTypeに、MPEG DASHのプロファイル（profile）に関する情報を格納してもよい（方法１－１）。
　例えば、シーン記述ファイルのMPEGメディアオブジェクトのオルタナティブ配列の各要素のmimeTypeに、MPEG DASHのプロファイルに関する情報を格納してもよい。そして、３Ｄオブジェクトコンテンツを再生する際には、そのシーン記述ファイルのMPEGメディアオブジェクトのオルタナティブ配列の各要素のmimeTypeに格納されるMPEG DASHのプロファイルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　図１９は、その場合のシーンディスクリプションのMPEGメディアオブジェクト（MPEG_media）の記述例を示す図である。図１９の例の場合、MPEGメディアオブジェクト（MPEG_media）のメディア配列（media[]）内のオルタナティブ配列（alternatives[]）の各要素には、上述したコーデック情報の他に、さらに、MPEG DASHのプロファイルに関する情報が記述されている。
　より具体的には、オルタナティブ配列の各要素のmimeTypeに、MPEG DASHのプロファイルに関する情報が記述されている。例えば、オルタナティブ配列の各要素のmimeTypeには、MPEG DASHのプロファイルに関する情報（profiles:"urn:mpeg:dash:profile:isoff-live:2011"）が記述されている。
　このようにすることにより、３Ｄオブジェクトコンテンツを再生する装置は、３Ｄオブジェクトコンテンツの配信に適用されたMPEG DASHのプロファイルを容易に把握することができる。
　　＜処理フローの共通化＞
　３Ｄオブジェクトコンテンツを含むMP4ファイルを転送する場合の、シーンディスクリプションのMPEGメディアオブジェクト（MPEG_media）の記述例を図１６のＡに示した。この例では、オルタナティブ配列の各要素のコーデック情報がmimeTypeに示されている。ただし、これは一例であり、記述様式は、この例に限定されない。例えば、オルタナティブ配列の各要素のトラック配列内にコーデック情報を格納してもよい。
　図２０は、その場合の、シーンディスクリプションのMPEGメディアオブジェクト（MPEG_media）の記述例を示す図である。図２０の例においては、オルタナティブ配列の各要素のアダプテーションセットに含まれるリプレゼンテーションのコーデック情報が、その要素のトラック配列内に格納されている（上から９行目の（"codecs":" avc1.42E01E"）、上から１２行目の（"codecs":" hev1.1.6.L93.B0"））。
　このようにすることにより、図１８や図１９に示される、３Ｄオブジェクトコンテンツを含むファイルがMPEG DASHを用いて配信される場合と、同様の位置にコーデック情報を格納することができる。これにより、３Ｄオブジェクトコンテンツを再生する装置は、３Ｄオブジェクトコンテンツを含むMP4ファイルを転送する場合と、３Ｄオブジェクトコンテンツを含むファイルがMPEG DASHを用いて配信される場合とで、互いに同様の処理フローでコーデック情報を把握することができる。つまり、各場合に備えて、複数の処理フローを用意する必要がない（処理フローを共通化することができる）。そのため、３Ｄオブジェクトコンテンツを再生する装置の実装コストの増大を抑制することができる。
　　＜方法１－２＞
　図１７に示される表の上から４段目に示されるように、MPEGメディアオブジェクト（MPEG_media）のメディア配列（media[]）内にプロファイルオルタナティブ配列（profile_alternatives[]）を設け、そのプロファイルオルタナティブ配列の各要素のmimeTypeに、MPEG DASHのプロファイル（profile）に関する情報を格納してもよい（方法１－２）。つまり、MPEG DASHのプロファイルに関する情報が、オルタナティブ配列の複数の要素（トラック）で共通する場合、それらをまとめて記述するようにしてもよい。
　例えば、シーン記述ファイルのMPEGメディアオブジェクトのプロファイルオルタナティブ配列の各要素のmimeTypeに、MPEG DASHのプロファイルに関する情報を格納してもよい。そして、３Ｄオブジェクトコンテンツを再生する際には、そのシーン記述ファイルのMPEGメディアオブジェクトのプロファイルオルタナティブ配列の各要素のmimeTypeに格納されるMPEG DASHのプロファイルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　図２１は、その場合の、シーンディスクリプションのMPEGメディアオブジェクト（MPEG_media）の記述例を示す図である。図２１の例においては、MPEGメディアオブジェクト（MPEG_media）のメディア配列（media[]）内にプロファイルオルタナティブ配列（profile_alternatives[]）が設けられている。そしてそのプロファイルオルタナティブ配列の各要素に、各要素がアダプテーションセットに対応するオルタナティブ配列が格納されている。そして、mimeTypeも、プロファイルオルタナティブ配列の要素毎（つまり、そのオルタナティブ配列の外）に示されている。
　そしてそのmimeTypeに、MPEG DASHのプロファイルに関する情報が格納されている。例えば、図２１の上から８行目のmimeTypeには、そのプロファイル情報として、（profiles:"urn:mpeg:dash:profile:isoff-on-demand:2011"）が記述されている。また、図２１の上から１６行目のmimeTypeには、そのプロファイル情報として、（profiles:"urn:mpeg:dash:profile:isoff-live:2011"）が記述されている。
　このような構成とすることにより、MPEG DASHのプロファイルに関する情報の記述数を低減させることができる。例えば、２種類のコーデック情報と２種類のMPEG DASHのプロファイルに関する情報とを組み合わせると、オルタナティブ配列の要素は４つになるので、図１９の記述例の場合、MPEG DASHのプロファイルに関する情報を４つ記述する必要がある。これに対して図２１の記述例の場合、MPEG DASHのプロファイルに関する情報は２つ記述すればよい。したがって、シーンディスクリプションのデータ量の増大を抑制することができる。
　　＜方法２＞
　例えば、図１７に示される表の上から５段目に示されるように、トラック配列内に複数のコーデック情報を格納してもよい。つまり、各トラックに対して複数のコーデック情報を格納するようにしてもよい（方法２）。
　　＜方法２－１＞
　例えば、図１７に示される表の上から６段目に示されるように、アダプテーションセット内におけるコーデック情報の最高値および最低値を格納してもよい（方法２－１）。
　例えば、このコーデック情報は、対応するアダプテーションセットに含まれる全てのリプレゼンテーションの内の、符号化の品質が最高のリプレゼンテーションのコーデック情報（すなわち最高値）、並びに、符号化の品質が最低のリプレゼンテーションのコーデック情報（すなわち最低値）を含んでもよい。つまり、コーデック情報の最低値と最高値の両方が含まれてもよい。そして、３Ｄオブジェクトコンテンツを再生する際には、その最高値および最低値のコーデック情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　コーデック情報の最高値や最低値の定義は、任意である。例えば、このコーデック情報において、プロファイルとしては、ビット深度や色成分のフォーマット等のパラメータが示され、レベルとしては、解像度やフレームレート等のパラメータが示されるとする。このような場合に、コーデック情報の最高値は、そのプロファイルやレベルのパラメータの最高値を示し、コーデック情報の最低値は、そのプロファイルやレベルのパラメータの最低値を示すものとしてもよい。
　図２２は、その場合の、シーンディスクリプションのMPEGメディアオブジェクト（MPEG_media）の記述例を示す図である。図２２の例においては、MPEGメディアオブジェクト（MPEG_media）のオルタナティブ配列の各要素のトラック配列において、コーデック情報が２つずつ記述されている。例えば、１５行目のトラック配列においては、コーデック情報として、「avc1.42E01E」と「avc1.64000d」の２つが示されている（"codecs":"avc1.42E01E avc1.64000d"）。また、１８行目のトラック配列においては、コーデック情報として、「hev1.1.6.L93.B0」と「hev1.1.6.L153.90」の２つが示されている（"codecs":" hev1.1.6.L93.B0 hev1.1.6.L153.90"）。
　各トラック配列のこれらの２つのコーデック情報は、それぞれコーデック情報の最高値と最低値を示している。このような記述にすることにより、アダプテーションセットに含まれるリプレゼンテーションの品質の幅を表現することができる。つまり、３Ｄオブジェクトコンテンツを再生する際は、その幅に基づいて、再生する３Ｄオブジェクトコンテンツを選択することができる。
　例えば、復号可能なトラック（アダプテーションセット）が複数存在する場合、その幅（つまり最低値および最高値の両方）に基づいて、３Ｄオブジェクトコンテンツを選択してもよい。参考の仕方は任意である。例えば、最低値が大きい方の３Ｄオブジェクトコンテンツが選択されるようにしてもよい。また、最高値が大きい方の３Ｄオブジェクトコンテンツが選択されるようにしてもよい。また、自身の能力がその幅のどの位置にあるか（例えば最高値と最低値のどちらに近いか）等に応じて３Ｄオブジェクトコンテンツが選択されるようにしてもよい。もちろん、これら以外の方法であってもよい。また、３Ｄオブジェクトコンテンツを再生する装置が、複数の方法の中からいずれか１つを選択して適用してもよい。
　このようにすることにより、トラック配列内に単数のコーデック情報が格納される方法１の場合よりも、より適切な３Ｄオブジェクトコンテンツを選択することができる可能性が増大し得る。
　なお、図２２の例においては、コーデック情報の最低値と最高値とをスペースで区切っているが、最低値と最高値とを区切る方法は任意であり、この例に限定されない。例えば、コロンなどの他の記号を用いて最低値と最高値とを区切ってもよい。また、最高値と最低値のそれぞれに対して専用のプロパティを設け、それぞれのプロパティにおいて最高値または最低値を示すようにしてもよい。
　　＜方法２－２＞
　例えば、図１７に示される表の最下段に示されるように、アダプテーションセット内含まれる全てのリプレゼンテーションのコーデック情報を格納してもよい（方法２－２）。
　例えば、このコーデック情報は、対応するアダプテーションセットに含まれる全てのリプレゼンテーションの内の、符号化の品質が最高のリプレゼンテーションのコーデック情報を含んでもよい。そして、３Ｄオブジェクトコンテンツを再生する際には、それら全てのコーデック情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　図２３は、その場合の、シーンディスクリプションのMPEGメディアオブジェクト（MPEG_media）の記述例を示す図である。図２３の例においては、MPEGメディアオブジェクト（MPEG_media）のオルタナティブ配列の各要素のトラック配列において、そのアダプテーションセットに含まれる全てのリプレゼンテーションのコーデック情報が記述されている。例えば、１５行目のトラック配列においては、コーデック情報として、「avc1.42E01E」と「avc1.640028」と「avc1.640030」の３つが示されている（"codecs":"avc1.42E01E avc1.640028 avc1.640030"）。また、１８行目のトラック配列においては、コーデック情報として、「hev1.1.6.L93.B0」と「hev1.1.6.L120.90」と「hev1.1.6.L153.90」の３つが示されている（"codecs":" hev1.1.6.L93.B0 hev1.1.6.L120.90 hev1.1.6.L153.90"）。
　つまり、各トラック配列には、そのアダプテーションセットに含まれるすべてのリプレゼンテーションのコーデック情報が記述されている。このような記述にすることにより、アダプテーションセットに含まれる全てのリプレゼンテーションの品質を表現することができる。つまり、各リプレゼンテーションについて、再生可能か否かを容易に把握することができる。
　このような全てリプレゼンテーションのコーデック情報に基づく３Ｄオブジェクトコンテンツの選択方法は任意である。例えば、再生可能なトラック（アダプテーションセット）が複数存在する場合、再生可能なリプレゼンテーションが多い方（または少ない方）の３Ｄオブジェクトコンテンツが選択されるようにしてもよい。また、各リプレゼンテーションのコーデック情報の平均値が高い方（または低い方）の３Ｄオブジェクトコンテンツが選択されるようにしてもよい。もちろん、これら以外の方法であってもよい。また、３Ｄオブジェクトコンテンツを再生する装置が、複数の方法の中からいずれか１つを選択して適用してもよい。
　このようにすることにより、トラック配列内に単数のコーデック情報が格納される方法１の場合よりも、より適切な３Ｄオブジェクトコンテンツを選択することができる可能性が増大し得る。
　なお、図２２の例においては、コーデック情報の最低値と最高値とをスペースで区切っているが、最低値と最高値とを区切る方法は任意であり、この例に限定されない。例えば、コロンなどの他の記号を用いて最低値と最高値とを区切ってもよい。また、最高値と最低値のそれぞれに対して専用のプロパティを設け、それぞれのプロパティにおいて最高値または最低値を示すようにしてもよい。
　なお、図２３においては、各トラック配列においてコーデック情報が３つずつ示されているが、このコーデック情報の数は、アダプテーションセットに含まれるリプレゼンテーションの数に依存し、図２３の例に限定されない。
　また、図２３の例においては、各コーデック情報をスペースで区切っているが、コーデック情報を区切る方法は任意であり、この例に限定されない。例えば、コロンなどの他の記号を用いてコーデック情報を区切ってもよい。
　＜組み合わせ＞
　なお、上述した本技術の各手法は、矛盾が生じない限り任意に組み合わせて適用することができる。例えば、＜方法２＞（方法＜２－１＞および方法＜２－２＞）においては、＜方法１－１＞を適用する例について説明した。つまり、オルタナティブ配列の各要素のmimeTypeに、MPEG DASHのプロファイル（profile）に関する情報が格納されるように説明した。しかしながら、この＜方法２＞（方法＜２－１＞および方法＜２－２＞）の場合においても、図１８の例のように、＜方法２＞（方法＜２－１＞および方法＜２－２＞）の記述を省略してもよい。また、＜方法２＞（方法＜２－１＞および方法＜２－２＞）の場合においても、＜方法１－２＞のように（図２１の例のように）、MPEGメディアオブジェクト（MPEG_media）のメディア配列（media[]）内にプロファイルオルタナティブ配列（profile_alternatives[]）を設け、そのプロファイルオルタナティブ配列の各要素のmimeTypeに、MPEG DASHのプロファイル（profile）に関する情報を格納してもよい。
　＜３．第１の実施の形態＞
　　＜ファイル生成装置＞
　以上に説明した本技術の各手法は、任意の装置において適用することができる。図２４は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図２４に示されるファイル生成装置３００は、３Ｄオブジェクトコンテンツの配信用の情報を生成する装置である。例えば、ファイル生成装置３００は、MPEG DASHを用いて配信する３ＤオブジェクトコンテンツファイルやそのMPDを生成したり、その３Ｄオブジェクトコンテンツのシーン記述ファイル（シーンディスクリプション）を生成したりする。
　なお、図２４においては、処理部やデータの流れ等の主なものを示しており、図２４に示されるものが全てとは限らない。つまり、ファイル生成装置３００において、図２４においてブロックとして示されていない処理部が存在したり、図２４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２４に示されるようにファイル生成装置３００は、制御部３０１およびファイル生成処理部３０２を有する。制御部３０１は、ファイル生成処理部３０２を制御する。ファイル生成処理部３０２は、制御部３０１により制御されて、ファイルの生成に関する処理を行う。例えば、ファイル生成処理部３０２は、MPEG DASHを用いて配信する３ＤオブジェクトコンテンツファイルやそのMPDを生成する。また、ファイル生成処理部３０２は、その３Ｄオブジェクトコンテンツファイルに対応するシーン記述ファイルを生成する。ファイル生成処理部３０２は、生成したファイルをファイル生成装置３００の外部に出力する。
　ファイル生成処理部３０２は、入力部３１１、前処理部３１２、符号化部３１３、ファイル生成部３１４、記録部３１５、および出力部３１６を有する。
　入力部３１１は、３Ｄオブジェクトコンテンツを取得し、それを前処理部３１２に供給する。前処理部３１２は、その３Ｄオブジェクトコンテンツからファイル生成に必要な情報を抽出する。前処理部３１２は、抽出した情報をファイル生成部３１４に供給する。また、前処理部３１２は、３Ｄオブジェクトコンテンツを符号化部３１３に供給する。
　符号化部３１３は、前処理部３１２から供給される３Ｄオブジェクトコンテンツを符号化し、符号化データ（ビットストリーム）を生成する。符号化部３１３は、生成した３Ｄオブジェクトコンテンツの符号化データをファイル生成部３１４に供給する。
　ファイル生成部３１４は、符号化部３１３から供給された３Ｄオブジェクトコンテンツの符号化データを取得する。また、ファイル生成部３１４は、前処理部３１２から供給された情報を取得する。
　ファイル生成部３１４は、取得した３Ｄオブジェクトコンテンツの符号化データを格納する３Ｄオブジェクトコンテンツファイルを生成する。また、ファイル生成部３１４は、その３Ｄオブジェクトコンテンツファイルに対応するMPDを生成する。ファイル生成部３１４は、前処理部３１２から供給された情報を適宜利用して、これらの処理を実行する。例えば、ファイル生成部３１４は、前処理部３１２から供給された情報を、３ＤオブジェクトコンテンツファイルやMPDに格納する。
　また、ファイル生成部３１４は、生成した３Ｄオブジェクトコンテンツファイルに対応するシーン記述ファイルを生成する。その際、ファイル生成部３１４は、＜２．Representationのcodecs情報等の伝送＞において上述した本技術を適用してシーン記述ファイルを生成する。ファイル生成部３１４は、＜２．Representationのcodecs情報等の伝送＞において上述した本技術の手法の内の、任意の１つ以上の手法を適用し得る。
　例えば、ファイル生成部３１４は、MPEG DASHを用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPDに紐づく情報と、そのMPDにおけるアダプテーションセットに含まれるリプレゼンテーションの符号化に関する情報を含むシーン記述ファイルを生成する。
　その際、ファイル生成部３１４は、その符号化に関する情報を、シーン記述ファイルのMPEGメディアオブジェクト（MPEG_media extension）のオルタナティブ配列のトラック配列に格納してもよい。
　また、ファイル生成部３１４は、リプレゼンテーションの符号化に適用された符号化方式、プロファイル、およびレベルに関する情報を含む符号化に関する情報を、シーン記述ファイルに格納してもよい。
　さらに、ファイル生成部３１４は、アダプテーションセットに含まれる全てのリプレゼンテーションの内の、符号化の品質が最高のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）、または、品質が最低のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）を、シーン記述ファイルに格納してもよい。
　また、ファイル生成部３１４は、アダプテーションセットに含まれる全てのリプレゼンテーションの内の、符号化の品質が最高のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）、並びに、品質が最低のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）を、シーン記述ファイルに格納してもよい。
　さらに、ファイル生成部３１４は、アダプテーションセットに含まれる全てのリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）を、シーン記述ファイルに格納してもよい。
　また、ファイル生成部３１４は、さらに、MPEG DASHのプロファイルに関する情報を、シーン記述ファイルに格納してもよい。
　さらに、ファイル生成部３１４は、そのMPEG DASHのプロファイルに関する情報を、シーン記述ファイルのMPEGメディアオブジェクト（MPEG_media extension）のオルタナティブ配列のmimeTypeに格納してもよい。
　また、ファイル生成部３１４は、そのMPEG DASHのプロファイルに関する情報を、シーン記述ファイルのMPEGメディアオブジェクト（MPEG_media extension）のプロファイルオルタナティブ配列のmimeTypeに格納してもよい。
　ファイル生成部３１４は、生成したファイルを記録部３１５に供給する。記録部３１５は、例えば、ハードディスクや半導体メモリ等、任意の記録媒体を有し、ファイル生成部３１４から供給されるファイルをその記録媒体に記録する。また、記録部３１５は、制御部３０１若しくは出力部３１６の要求に従って、または所定のタイミングにおいて、記録媒体に記録されているファイルを読み出し、出力部３１６に供給する。
　出力部３１６は、記録部３１５から供給されるファイルを取得し、そのファイルをファイル生成装置３００の外部（例えば配信サーバや再生装置等）に出力する。
　このような構成を有することにより、ファイル生成装置３００は、MPDにおけるアダプテーションセットに含まれるリプレゼンテーションの符号化に関する情報をシーン記述ファイル（シーンディスクリプション）に記述し、伝送することができる。そして、３Ｄオブジェクトコンテンツを再生する装置は、その符号化に関する情報に基づいて再生する３Ｄオブジェクトコンテンツを選択することができる。つまり、３Ｄオブジェクトコンテンツを再生する装置は、シーンディスクリプションに記述されるオルタナティブ配列の全要素のMPDを取得して解析する等の煩雑な作業を必要とせずに容易に、そのシーンディスクリプションに記述された符号化に関する情報に基づいて、再生する３Ｄオブジェクトコンテンツを選択することができる。したがって、再生処理の負荷の増大を抑制することができる。
　　＜ファイル生成処理の流れ＞
　図２４のファイル生成装置３００により実行されるファイル生成処理の流れの例を、図２５のフローチャートを参照して説明する。
　ファイル生成処理が開始されると、ファイル生成装置３００の入力部３１１は、ステップＳ３０１において、３Ｄオブジェクトのデータである３Ｄオブジェクトコンテンツを取得する。
　ステップＳ３０２において、前処理部３１２は、ステップＳ３０１において取得された３Ｄオブジェクトコンテンツから、ファイルに格納する情報を抽出する。
　ステップＳ３０３において、符号化部３１３は、ステップＳ３０１において取得された３Ｄオブジェクトコンテンツを符号化し、３Ｄオブジェクトコンテンツの符号化データを生成する。そして、ファイル生成部３１４は、その３Ｄオブジェクトコンテンツの符号化データを格納する３Ｄオブジェクトコンテンツファイルを生成する。その際、ファイル生成部３１４は、ステップＳ３０２において抽出された情報を、適宜、その３Ｄオブジェクトコンテンツファイルに格納する。
　また、ファイル生成部３１４は、その３Ｄオブジェクトコンテンツファイルに対応するMPDを生成する。
　ステップＳ３０４において、ファイル生成部３１４は、３Ｄオブジェクトコンテンツファイルに対応するシーン記述ファイルを生成する。その際、ファイル生成部３１４は、＜２．Representationのcodecs情報等の伝送＞において上述した本技術を適用してシーン記述ファイルを生成する。ファイル生成部３１４は、＜２．Representationのcodecs情報等の伝送＞において上述した本技術の手法の内の、任意の１つ以上の手法を適用し得る。
　例えば、ファイル生成部３１４は、MPEG DASHを用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPDに紐づく情報と、そのMPDにおけるアダプテーションセットに含まれるリプレゼンテーションの符号化に関する情報を含むシーン記述ファイルを生成する。
　その際、ファイル生成部３１４は、その符号化に関する情報を、シーン記述ファイルのMPEGメディアオブジェクト（MPEG_media extension）のオルタナティブ配列のトラック配列に格納してもよい。
　また、ファイル生成部３１４は、リプレゼンテーションの符号化に適用された符号化方式、プロファイル、およびレベルに関する情報を含む符号化に関する情報を、シーン記述ファイルに格納してもよい。
　さらに、ファイル生成部３１４は、アダプテーションセットに含まれる全てのリプレゼンテーションの内の、符号化の品質が最高のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）、または、品質が最低のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）を、シーン記述ファイルに格納してもよい。
　また、ファイル生成部３１４は、アダプテーションセットに含まれる全てのリプレゼンテーションの内の、符号化の品質が最高のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）、並びに、品質が最低のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）を、シーン記述ファイルに格納してもよい。
　さらに、ファイル生成部３１４は、アダプテーションセットに含まれる全てのリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）を、シーン記述ファイルに格納してもよい。
　また、ファイル生成部３１４は、さらに、MPEG DASHのプロファイルに関する情報を、シーン記述ファイルに格納してもよい。
　さらに、ファイル生成部３１４は、そのMPEG DASHのプロファイルに関する情報を、シーン記述ファイルのMPEGメディアオブジェクト（MPEG_media extension）のオルタナティブ配列のmimeTypeに格納してもよい。
　また、ファイル生成部３１４は、そのMPEG DASHのプロファイルに関する情報を、シーン記述ファイルのMPEGメディアオブジェクト（MPEG_media extension）のプロファイルオルタナティブ配列のmimeTypeに格納してもよい。
　ステップＳ３０５において、記録部３１５は、ステップＳ３０４において生成されたファイル（例えば３Ｄオブジェクトコンテンツファイル、MPD、シーン記述ファイル等）を記録媒体に記録する。
　ステップＳ３０６において、出力部３１６は、ステップＳ３０５において記録されたファイルを記録媒体より読み出し、所定のタイミングにおいて、その読み出したファイルをファイル生成装置３００の外部に出力する。
　ステップＳ３０６の処理が終了すると、ファイル生成処理が終了する。
　以上のように、各処理を実行することにより、ファイル生成装置３００は、MPDにおけるアダプテーションセットに含まれるリプレゼンテーションの符号化に関する情報をシーン記述ファイル（シーンディスクリプション）に記述し、伝送することができる。そして、３Ｄオブジェクトコンテンツを再生する装置は、その符号化に関する情報に基づいて再生する３Ｄオブジェクトコンテンツを選択することができる。つまり、３Ｄオブジェクトコンテンツを再生する装置は、シーンディスクリプションに記述されるオルタナティブ配列の全要素のMPDを取得して解析する等の煩雑な作業を必要とせずに容易に、そのシーンディスクリプションに記述された符号化に関する情報に基づいて、再生する３Ｄオブジェクトコンテンツを選択することができる。したがって、再生処理の負荷の増大を抑制することができる。
　＜４．第２の実施の形態＞
　　＜クライアント装置＞
　図２６は、本技術を適用した情報処理装置の一態様であるクライアント装置の構成の一例を示すブロック図である。図２６に示されるクライアント装置４００は、シーン記述ファイル（シーンディスクリプション）に基づいて、３Ｄオブジェクトコンテンツの再生処理を行う再生装置である。例えば、クライアント装置４００は、ファイル生成装置３００により生成された、MPEG DASHを用いて配信される３Ｄオブジェクトコンテンツファイルに格納される３Ｄオブジェクトコンテンツを再生する。例えば、クライアント装置４００は、シーン記述ファイルに基づいて、３Ｄオブジェクトコンテンツファイルに格納される３Ｄオブジェクトコンテンツの符号化データを復号し、生成された３Ｄオブジェクトコンテンツのレンダリングを行い、表示画像を生成して表示する。
　なお、図２６においては、処理部やデータの流れ等の主なものを示しており、図２６に示されるものが全てとは限らない。つまり、クライアント装置４００において、図２６においてブロックとして示されていない処理部が存在したり、図２６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２６に示されるようにクライアント装置４００は、制御部４０１および再生処理部４０２を有する。制御部４０１は、再生処理部４０２の制御に関する処理を行う。再生処理部４０２は、３Ｄオブジェクトコンテンツファイルに格納される３Ｄオブジェクトコンテンツの再生に関する処理を行う。例えば、再生処理部４０２は、制御部４０１により制御されて、配信サーバ（図示せず）等からシーン記述ファイルを取得する。再生処理部４０２は、そのシーン記述ファイルに基づいて、再生する３Ｄオブジェクトコンテンツを格納する３Ｄオブジェクトコンテンツファイルを取得する。そして、再生処理部４０２は、取得した３Ｄオブジェクトコンテンツファイルに格納される３Ｄオブジェクトコンテンツの再生処理を行う。
　再生処理部４０２は、ファイル取得部４１１、ファイル処理部４１２、復号部４１３、表示情報生成部４１４、表示部４１５、および表示制御部４１６を有する。
　ファイル取得部４１１は、例えば配信サーバやファイル生成装置３００等、クライアント装置４００の外部から供給されるシーン記述ファイルを取得する。ファイル取得部４１１は、取得したシーン記述ファイルをファイル処理部４１２に供給する。
　また、ファイル取得部４１１は、そのシーン記述ファイルを用いたファイル処理部４１２の制御に従って、再生する３Ｄオブジェクトコンテンツに対応するMPDや、その３Ｄオブジェクトコンテンツを格納する３Ｄオブジェクトコンテンツファイル等を取得する。この３Ｄオブジェクトコンテンツファイルは、MPEG DASHを用いて配信される。ファイル取得部４１１は、取得したそれらのファイルをファイル処理部４１２に供給する。
　ファイル処理部４１２は、ファイル取得部４１１から供給されるシーン記述ファイルを取得する。ファイル処理部４１２は、取得したシーン記述ファイルに基づいて、再生する３Ｄオブジェクトコンテンツを選択する。そして、ファイル処理部４１２は、ファイル取得部４１１を制御し、その選択した３Ｄオブジェクトコンテンツを格納する３Ｄオブジェクトコンテンツファイルに対応するMPDを取得する。そして、ファイル処理部４１２は、そのMPDに基づいて、選択した３Ｄオブジェクトコンテンツを格納する３Ｄオブジェクトコンテンツファイルを取得する。
　このような処理において、ファイル処理部４１２は、＜２．Representationのcodecs情報等の伝送＞において上述した本技術を適用する。ファイル処理部４１２は、＜２．Representationのcodecs情報等の伝送＞において上述した本技術の手法の内の、任意の１つ以上の手法を適用し得る。
　例えば、ファイル処理部４１２は、MPEG DASHを用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPDに紐づく情報を含むシーン記述ファイルを解析し、そのシーン記述ファイルに含まれる、MPDにおけるアダプテーションセットに含まれるリプレゼンテーションの符号化に関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択する。
　その際、ファイル処理部４１２は、シーン記述ファイルのMPEGメディアオブジェクト（MPEG_media extension）のオルタナティブ配列のトラック配列に格納されている符号化に関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　また、ファイル処理部４１２は、シーン記述ファイルに格納される、リプレゼンテーションの符号化に適用された符号化方式、プロファイル、およびレベルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　さらに、ファイル処理部４１２は、シーン記述ファイルに格納される、アダプテーションセットに含まれる全てのリプレゼンテーションの内の、符号化の品質が最高のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）、または、品質が最低のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　また、ファイル処理部４１２は、シーン記述ファイルに格納される、アダプテーションセットに含まれる全てのリプレゼンテーションの内の、符号化の品質が最高のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）、並びに、品質が最低のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　さらに、ファイル処理部４１２は、シーン記述ファイルに格納される、アダプテーションセットに含まれる全てのリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　また、ファイル処理部４１２は、さらに、シーン記述ファイルに格納されるMPEG DASHのプロファイルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　さらに、ファイル処理部４１２は、シーン記述ファイルのMPEGメディアオブジェクト（MPEG_media extension）のオルタナティブ配列のmimeTypeに格納されるMPEG DASHのプロファイルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　また、ファイル処理部４１２は、シーン記述ファイルのMPEGメディアオブジェクト（MPEG_media extension）のプロファイルオルタナティブ配列のmimeTypeに格納されるMPEG DASHのプロファイルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　ファイル処理部４１２は、以上のようにして取得した３Ｄオブジェクトコンテンツファイルを復号部４１３や表示制御部４１６に供給する。
　復号部４１３は、ファイル処理部４１２から供給された３Ｄオブジェクトコンテンツファイルに格納される３Ｄオブジェクトコンテンツの符号化データを復号する。つまり、復号部４１３は、ファイル処理部４１２により選択された３Ｄオブジェクトコンテンツの符号化データを復号する。復号部４１３は、その復号により得られた３Ｄオブジェクトコンテンツを表示情報生成部４１４に供給する。
　表示情報生成部４１４は、復号部４１３から供給される３Ｄオブジェクトコンテンツを取得する。また、表示情報生成部４１４は、表示制御部４１６から供給される制御情報を取得する。そして、表示情報生成部４１４は、その制御情報に従って、取得した３Ｄオブジェクトコンテンツから、その表示画像等を生成する。表示情報生成部４１４は、生成した表示画像等を表示部４１５に供給する。
　表示部４１５は、表示デバイスを有し、表示情報生成部４１４から供給された表示画像をその表示デバイスを用いて表示する。
　表示制御部４１６は、ファイル処理部４１２から供給される情報を取得する。表示制御部４１６はその情報に基づいて表示情報生成部４１４を制御する。表示制御部４１６は、表示情報生成部４１４に対して制御情報を供給することにより、表示画像の表示を制御する。
　このような構成を有することにより、クライアント装置４００は、シーン記述ファイル（シーンディスクリプション）に記述されるオルタナティブ配列の全要素のMPDを取得して解析する等の煩雑な作業を必要とせずに容易に、そのシーンディスクリプションに記述された符号化に関する情報に基づいて、再生する３Ｄオブジェクトコンテンツを選択することができる。したがって、再生処理の負荷の増大を抑制することができる。
　　＜クライアント処理の流れ＞
　図２６のクライアント装置４００により実行されるクライアント処理の流れの例を、図２７のフローチャートを参照して説明する。
　クライアント処理が開始されると、クライアント装置４００のファイル取得部４１１は、ステップＳ４０１において、シーン記述ファイルを取得する。
　ステップＳ４０２において、ファイル処理部４１２は、ステップＳ４０１において取得したシーン記述ファイルを解析し、そのシーン記述ファイルに格納される符号化に関する情報（コーデック情報）に基づいて、復号対象として適切な３Ｄオブジェクトコンテンツを選択する。その際、ファイル処理部４１２は、＜２．Representationのcodecs情報等の伝送＞において上述した本技術を適用して３Ｄオブジェクトコンテンツを選択する。ファイル処理部４１２は、＜２．Representationのcodecs情報等の伝送＞において上述した本技術の手法の内の、任意の１つ以上の手法を適用し得る。
　例えば、ファイル処理部４１２は、MPEG DASHを用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPDに紐づく情報を含むシーン記述ファイルを解析し、そのシーン記述ファイルに含まれる、MPDにおけるアダプテーションセットに含まれるリプレゼンテーションの符号化に関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択する。
　その際、ファイル処理部４１２は、シーン記述ファイルのMPEGメディアオブジェクト（MPEG_media extension）のオルタナティブ配列のトラック配列に格納されている符号化に関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　また、ファイル処理部４１２は、シーン記述ファイルに格納される、リプレゼンテーションの符号化に適用された符号化方式、プロファイル、およびレベルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　さらに、ファイル処理部４１２は、シーン記述ファイルに格納される、アダプテーションセットに含まれる全てのリプレゼンテーションの内の、符号化の品質が最高のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）、または、品質が最低のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　また、ファイル処理部４１２は、シーン記述ファイルに格納される、アダプテーションセットに含まれる全てのリプレゼンテーションの内の、符号化の品質が最高のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）、並びに、品質が最低のリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　さらに、ファイル処理部４１２は、シーン記述ファイルに格納される、アダプテーションセットに含まれる全てのリプレゼンテーションの符号化に関する情報（例えば、符号化方式、プロファイル、およびレベルに関する情報）に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　また、ファイル処理部４１２は、さらに、シーン記述ファイルに格納されるMPEG DASHのプロファイルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　さらに、ファイル処理部４１２は、シーン記述ファイルのMPEGメディアオブジェクト（MPEG_media extension）のオルタナティブ配列のmimeTypeに格納されるMPEG DASHのプロファイルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　また、ファイル処理部４１２は、シーン記述ファイルのMPEGメディアオブジェクト（MPEG_media extension）のプロファイルオルタナティブ配列のmimeTypeに格納されるMPEG DASHのプロファイルに関する情報に基づいて、復号する３Ｄオブジェクトコンテンツを選択してもよい。
　ステップＳ４０３において、ファイル取得部４１１は、ステップＳ４０２において選択された３Ｄオブジェクトコンテンツに対応するMPDを取得する。また、ファイル取得部４１１は、そのMPDに基づいて、ステップＳ４０２において選択された３Ｄオブジェクトコンテンツを格納する３Ｄオブジェクトコンテンツファイルを取得する。
　ステップＳ４０４において、ファイル処理部４１２は、ステップＳ４０３において取得された３Ｄオブジェクトコンテンツファイルから、ステップＳ４０２において選択された３Ｄオブジェクトコンテンツの符号化データを抽出する。
　ステップＳ４０５において、復号部４１３は、ステップＳ４０４において抽出された３Ｄオブジェクトコンテンツの符号化データを復号し、その３Ｄオブジェクトコンテンツを生成する。つまり、復号部４１３は、ステップＳ４０２において選択された３Ｄオブジェクトコンテンツの符号化データを復号する。
　ステップＳ４０６において、表示情報生成部４１４は、ステップＳ４０５において生成された３Ｄオブジェクトコンテンツを用いてレンダリングを実行する。つまり、表示情報生成部４１４は、表示制御部４１６の制御に従って、シーン内に３Ｄオブジェクトを配置し、表示画像を生成する。
　ステップＳ４０７において、表示部４１５は、表示デバイスを用いて、ステップＳ４０６において生成された表示画像を表示する。
　ステップＳ４０７の処理が終了すると、クライアント処理が終了する。
　以上のように、各処理を実行することにより、クライアント装置４００は、シーン記述ファイル（シーンディスクリプション）に記述されるオルタナティブ配列の全要素のMPDを取得して解析する等の煩雑な作業を必要とせずに容易に、そのシーンディスクリプションに記述された符号化に関する情報に基づいて、再生する３Ｄオブジェクトコンテンツを選択することができる。したがって、再生処理の負荷の増大を抑制することができる。
　＜５．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２８に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用可能な対象＞
　本技術は、任意の画像符号化・復号方式に適用することができる。
　また、本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に応用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報と、前記MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報を含む、前記３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを生成するファイル生成部
　を備える情報処理装置。
　（２）　前記シーン記述ファイルは、前記符号化に関する情報を、MPEG_media extensionのalternatives配列のtracks配列に格納する
　（１）に記載の情報処理装置。
　（３）　前記符号化に関する情報は、前記Representationの符号化に適用された符号化方式、プロファイル、およびレベルに関する情報を含む
　（１）または（２）に記載の情報処理装置。
　（４）　前記符号化に関する情報は、前記Adaptation Setに含まれる全ての前記Representationの内の、
　　符号化の品質が最高の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報、
　　または、前記品質が最低の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報
　を含む
　（３）に記載の情報処理装置。
　（５）　前記符号化に関する情報は、前記Adaptation Setに含まれる全ての前記Representationの内の、
　　符号化の品質が最高の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報、
　　並びに、前記品質が最低の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報
　を含む
　（３）に記載の情報処理装置。
　（６）　前記符号化に関する情報は、前記Adaptation Setに含まれる全ての前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報を含む
　（３）に記載の情報処理装置。
　（７）　前記シーン記述ファイルは、さらに、前記MPEG DASHのプロファイルに関する情報を格納する
　（２）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記シーン記述ファイルは、前記MPEG DASHのプロファイルに関する情報を、前記MPEG_media extensionの前記alternatives配列のmimetypeに格納する
　（７）に記載の情報処理装置。
　（９）　前記シーン記述ファイルは、前記MPEG DASHのプロファイルに関する情報を、前記MPEG_media extension のprofile_alternatives配列のmimetypeに格納する
　（７）に記載の情報処理装置。
　（１０）　MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報と、前記MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報を含む、前記３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを生成する
　情報処理方法。
　（１１）　MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報を含む、前記３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを解析し、前記シーン記述ファイルに含まれる、前記MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する選択部と、
　前記選択部により選択された前記３Ｄオブジェクトコンテンツの符号化データを復号する復号部と
　を備える情報処理装置。
　（１２）　前記選択部は、前記シーン記述ファイルのMPEG_media extensionのalternatives配列のtracks配列に格納されている前記符号化に関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
　（１１）に記載の情報処理装置。
　（１３）　前記符号化に関する情報は、前記Representationの符号化に適用された符号化方式、プロファイル、およびレベルに関する情報を含み、
　前記選択部は、前記符号化方式、前記プロファイル、および前記レベルに関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
　（１１）または（１２）に記載の情報処理装置。
　（１４）　前記符号化に関する情報は、前記Adaptation Setに含まれる全ての前記Representationの内の、
　　符号化の品質が最高の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報、
　　または、前記品質が最低の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報
　を含み、
　前記選択部は、
　　前記品質が最高の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報、
　　または、前記品質が最低の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報
　に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
　（１３）に記載の情報処理装置。
　（１５）　前記符号化に関する情報は、前記Adaptation Setに含まれる全ての前記Representationの内の、
　　符号化の品質が最高の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報、
　　並びに、前記品質が最低の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報
　を含み、
　前記選択部は、
　　前記品質が最高の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報、
　　並びに、前記品質が最低の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報
　に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
　（１３）に記載の情報処理装置。
　（１６）　前記符号化に関する情報は、前記Adaptation Setに含まれる全ての前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報を含み、
　前記選択部は、前記Adaptation Setに含まれる全ての前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
　（１３）に記載の情報処理装置。
　（１７）　前記選択部は、さらに、前記シーン記述ファイルに格納される前記MPEG DASHのプロファイルに関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
　（１２）乃至（１６）のいずれかに記載の情報処理装置。
　（１８）　前記選択部は、前記シーン記述ファイルの前記MPEG_media extensionの前記alternatives配列のmimetypeに格納される前記MPEG DASHのプロファイルに関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
　（１７）に記載の情報処理装置。
　（１９）　前記選択部は、前記シーン記述ファイルの前記MPEG_media extension のprofile_alternatives配列のmimetypeに格納される前記MPEG DASHのプロファイルに関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
　（１７）に記載の情報処理装置。
　（２０）　MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報を含む、前記３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを解析し、前記シーン記述ファイルに含まれる、前記MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択し、
　選択された前記３Ｄオブジェクトコンテンツの符号化データを復号する
　情報処理方法。
　３００　ファイル生成装置，　３０１　制御部，　３０２　ファイル生成処理部，　３１１　入力部，　３１２　前処理部，　３１３　符号化部，　３１４　ファイル生成部，　３１５　記録部，　３１６　出力部，　４００　クライアント装置，　４０１　制御部，　４０２　クライアント処理部，　４１１　ファイル取得部，　４１２　ファイル処理部，　４１３　復号部，　４１４　表示情報生成部，　４１５　表示部，　４１６　表示制御部

Claims (20)

  1. 　MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報と、前記MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報を含む、前記３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを生成するファイル生成部
    　を備える情報処理装置。
  2. 　前記シーン記述ファイルは、前記符号化に関する情報を、MPEG_media extensionのalternatives配列のtracks配列に格納する
    　請求項１に記載の情報処理装置。
  3. 　前記符号化に関する情報は、前記Representationの符号化に適用された符号化方式、プロファイル、およびレベルに関する情報を含む
    　請求項１に記載の情報処理装置。
  4. 　前記符号化に関する情報は、前記Adaptation Setに含まれる全ての前記Representationの内の、
    　　符号化の品質が最高の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報、
    　　または、前記品質が最低の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報
    　を含む
    　請求項３に記載の情報処理装置。
  5. 　前記符号化に関する情報は、前記Adaptation Setに含まれる全ての前記Representationの内の、
    　　符号化の品質が最高の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報、
    　　並びに、前記品質が最低の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報
    　を含む
    　請求項３に記載の情報処理装置。
  6. 　前記符号化に関する情報は、前記Adaptation Setに含まれる全ての前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報を含む
    　請求項３に記載の情報処理装置。
  7. 　前記シーン記述ファイルは、さらに、前記MPEG DASHのプロファイルに関する情報を格納する
    　請求項２に記載の情報処理装置。
  8. 　前記シーン記述ファイルは、前記MPEG DASHのプロファイルに関する情報を、前記MPEG_media extensionの前記alternatives配列のmimetypeに格納する
    　請求項７に記載の情報処理装置。
  9. 　前記シーン記述ファイルは、前記MPEG DASHのプロファイルに関する情報を、前記MPEG_media extension のprofile_alternatives配列のmimetypeに格納する
    　請求項７に記載の情報処理装置。
  10. 　MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報と、前記MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報を含む、前記３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを生成する
    　情報処理方法。
  11. 　MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報を含む、前記３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを解析し、前記シーン記述ファイルに含まれる、前記MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する選択部と、
    　前記選択部により選択された前記３Ｄオブジェクトコンテンツの符号化データを復号する復号部と
    　を備える情報処理装置。
  12. 　前記選択部は、前記シーン記述ファイルのMPEG_media extensionのalternatives配列のtracks配列に格納されている前記符号化に関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
    　請求項１１に記載の情報処理装置。
  13. 　前記符号化に関する情報は、前記Representationの符号化に適用された符号化方式、プロファイル、およびレベルに関する情報を含み、
    　前記選択部は、前記符号化方式、前記プロファイル、および前記レベルに関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
    　請求項１１に記載の情報処理装置。
  14. 　前記符号化に関する情報は、前記Adaptation Setに含まれる全ての前記Representationの内の、
    　　符号化の品質が最高の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報、
    　　または、前記品質が最低の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報
    　を含み、
    　前記選択部は、
    　　前記品質が最高の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報、
    　　または、前記品質が最低の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報
    　に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
    　請求項１３に記載の情報処理装置。
  15. 　前記符号化に関する情報は、前記Adaptation Setに含まれる全ての前記Representationの内の、
    　　符号化の品質が最高の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報、
    　　並びに、前記品質が最低の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報
    　を含み、
    　前記選択部は、
    　　前記品質が最高の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報、
    　　並びに、前記品質が最低の前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報
    　に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
    　請求項１３に記載の情報処理装置。
  16. 　前記符号化に関する情報は、前記Adaptation Setに含まれる全ての前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報を含み、
    　前記選択部は、前記Adaptation Setに含まれる全ての前記Representationの、前記符号化方式、前記プロファイル、および前記レベルに関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
    　請求項１３に記載の情報処理装置。
  17. 　前記選択部は、さらに、前記シーン記述ファイルに格納される前記MPEG DASHのプロファイルに関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
    　請求項１２に記載の情報処理装置。
  18. 　前記選択部は、前記シーン記述ファイルの前記MPEG_media extensionの前記alternatives配列のmimetypeに格納される前記MPEG DASHのプロファイルに関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
    　請求項１７に記載の情報処理装置。
  19. 　前記選択部は、前記シーン記述ファイルの前記MPEG_media extension のprofile_alternatives配列のmimetypeに格納される前記MPEG DASHのプロファイルに関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択する
    　請求項１７に記載の情報処理装置。
  20. 　MPEG DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP）を用いて配信する３Ｄオブジェクトコンテンツのメタデータを格納するMPD（Media Presentation Description）に紐づく情報を含む、前記３Ｄオブジェクトコンテンツのシーンを記述するシーン記述ファイルを解析し、前記シーン記述ファイルに含まれる、前記MPDにおけるAdaptation Setに含まれるRepresentationの符号化に関する情報に基づいて、復号する前記３Ｄオブジェクトコンテンツを選択し、
    　選択された前記３Ｄオブジェクトコンテンツの符号化データを復号する
    　情報処理方法。
PCT/JP2021/033827 2020-09-29 2021-09-15 情報処理装置および方法 Ceased WO2022070903A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022553792A JP7722385B2 (ja) 2020-09-29 2021-09-15 情報処理装置および方法
US18/041,834 US12418679B2 (en) 2020-09-29 2021-09-15 Information processing apparatus and method
CN202180051453.5A CN115918096A (zh) 2020-09-29 2021-09-15 信息处理装置和方法
EP21875205.3A EP4224864A4 (en) 2020-09-29 2021-09-15 DEVICE AND METHOD FOR PROCESSING INFORMATION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063084780P 2020-09-29 2020-09-29
US63/084,780 2020-09-29

Publications (1)

Publication Number Publication Date
WO2022070903A1 true WO2022070903A1 (ja) 2022-04-07

Family

ID=80951418

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033827 Ceased WO2022070903A1 (ja) 2020-09-29 2021-09-15 情報処理装置および方法

Country Status (5)

Country Link
US (1) US12418679B2 (ja)
EP (1) EP4224864A4 (ja)
JP (1) JP7722385B2 (ja)
CN (1) CN115918096A (ja)
WO (1) WO2022070903A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024202638A1 (ja) * 2023-03-24 2024-10-03 ソニーグループ株式会社 情報処理装置および方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3982638A4 (en) * 2019-06-25 2023-03-29 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PLAYBACK PROCESSING DEVICE AND PLAYBACK PROCESSING METHOD
US11954053B2 (en) * 2022-04-29 2024-04-09 SambaNova Systems, Inc. Integrating buffer views into buffer access operations in a coarse-grained reconfigurable computing environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116154A1 (ja) * 2018-12-03 2020-06-11 ソニー株式会社 情報処理装置および方法
WO2020154206A1 (en) * 2019-01-24 2020-07-30 Pcms Holdings, Inc. System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom
WO2020189038A1 (ja) * 2019-03-20 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6271854B1 (en) * 1997-12-15 2001-08-07 Intel Corporation Method and apparatus for facilitating navigation in three-dimensional graphic scenes
EP3170047A4 (en) * 2014-07-15 2018-05-30 Ostendo Technologies, Inc. Preprocessor for full parallax light field compression
US10693936B2 (en) * 2015-08-25 2020-06-23 Qualcomm Incorporated Transporting coded audio data
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
US10244167B2 (en) * 2016-06-17 2019-03-26 Gopro, Inc. Apparatus and methods for image encoding using spatially weighted encoding quality parameters
US20180343468A1 (en) * 2017-05-26 2018-11-29 Comcast Cable Communications, Llc Dynamic Encoding Using Remote Encoding Profiles
US20210360236A1 (en) * 2019-01-30 2021-11-18 Omnivor, Inc. System and method for encoding a block-based volumetric video having a plurality of video frames of a 3d object into a 2d video format
WO2021016176A1 (en) * 2019-07-23 2021-01-28 Pcms Holdings, Inc. System and method for adaptive lenslet light field transmission and rendering
US11627314B2 (en) * 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11546401B2 (en) * 2019-11-07 2023-01-03 Bitmovin, Inc. Fast multi-rate encoding for adaptive HTTP streaming
CN114930866B (zh) * 2020-01-03 2025-08-01 诺基亚技术有限公司 用于实时纹理适配的方法
WO2021205061A1 (en) * 2020-04-07 2021-10-14 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US11785290B2 (en) * 2020-06-24 2023-10-10 Qualcomm Incorporated Media access function for scene descriptions
US12003693B2 (en) * 2021-03-10 2024-06-04 Qualcomm Incorporated Object collision data for virtual camera in virtual interactive scene defined by streamed media data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116154A1 (ja) * 2018-12-03 2020-06-11 ソニー株式会社 情報処理装置および方法
WO2020154206A1 (en) * 2019-01-24 2020-07-30 Pcms Holdings, Inc. System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom
WO2020189038A1 (ja) * 2019-03-20 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Technologies under Considerations on Support of MPEG Media in Scene Descriptions", ISO/IEC JTC 1/SC 29/WG 11, 3 July 2020 (2020-07-03)
IMED BOUAZIZITHOMAS STOCKHAMMER: "SD] Basic support for Audio in scene description", ISO/IEC JTC1/SC29/WG11 MPEG2020/M54852, August 2020 (2020-08-01)
SAURABH BHATIAPATRICK COZZIALEXEY KNYAZEVTONY PARISI, KHRONOS GLTF2.0, 9 June 2017 (2017-06-09), Retrieved from the Internet <URL:https://github.com/KhronosGroup/glTF/tree/master/specification/2.0>
See also references of EP4224864A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024202638A1 (ja) * 2023-03-24 2024-10-03 ソニーグループ株式会社 情報処理装置および方法

Also Published As

Publication number Publication date
JPWO2022070903A1 (ja) 2022-04-07
US20230300374A1 (en) 2023-09-21
CN115918096A (zh) 2023-04-04
JP7722385B2 (ja) 2025-08-13
EP4224864A4 (en) 2024-04-03
US12418679B2 (en) 2025-09-16
EP4224864A1 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
US12475643B2 (en) Information processing device and method
US12347021B2 (en) Information processing device and method
JP7722385B2 (ja) 情報処理装置および方法
JP7823691B2 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
WO2021117859A1 (ja) 画像処理装置および方法
WO2021251141A1 (ja) 情報処理装置および方法
WO2022054744A1 (ja) 情報処理装置および方法
US11825135B2 (en) Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
EP4496319A1 (en) Information processing device and method
EP4411644A1 (en) Information processing device and method
WO2022220278A1 (ja) 情報処理装置および方法
WO2022075342A1 (ja) 情報処理装置および方法
EP4325871A1 (en) Information processing device and method
US12587678B2 (en) Information processing apparatus and method thereof
EP4325870A1 (en) Information processing device and method
JP7816367B2 (ja) 画像処理装置および方法
JP2022063882A (ja) 情報処理装置および方法、並びに、再生装置および方法
WO2022220207A1 (ja) 情報処理装置および方法
WO2022138231A1 (ja) 画像処理装置および方法
CN119013995A (zh) 信息处理设备和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21875205

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553792

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021875205

Country of ref document: EP

Effective date: 20230502

WWW Wipo information: withdrawn in national office

Ref document number: 2021875205

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 18041834

Country of ref document: US