WO2016052191A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2016052191A1
WO2016052191A1 PCT/JP2015/076259 JP2015076259W WO2016052191A1 WO 2016052191 A1 WO2016052191 A1 WO 2016052191A1 JP 2015076259 W JP2015076259 W JP 2015076259W WO 2016052191 A1 WO2016052191 A1 WO 2016052191A1
Authority
WO
WIPO (PCT)
Prior art keywords
stream
audio
encoded data
information
groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/076259
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP15846012.1A priority Critical patent/EP3203469A4/en
Priority to US15/513,058 priority patent/US10856042B2/en
Priority to CN201580051430.9A priority patent/CN106716524B/zh
Priority to JP2016551907A priority patent/JPWO2016052191A1/ja
Priority to RU2017109625A priority patent/RU2701060C2/ru
Priority to EP23174513.4A priority patent/EP4254405B1/en
Priority to CN202111172292.3A priority patent/CN113921019B/zh
Priority to EP25185958.3A priority patent/EP4601259A3/en
Priority to CN202111173401.3A priority patent/CN113921020B/zh
Priority to EP22169668.5A priority patent/EP4092670A1/en
Application filed by Sony Corp filed Critical Sony Corp
Publication of WO2016052191A1 publication Critical patent/WO2016052191A1/ja
Anticipated expiration legal-status Critical
Priority to US17/092,831 priority patent/US11871078B2/en
Priority to US18/510,917 priority patent/US12283282B2/en
Priority to US18/526,596 priority patent/US20240114202A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and particularly to a transmission device that transmits a plurality of types of audio data.
  • object encoded data including encoded sample data and metadata together with channel encoded data such as 5.1 channel and 7.1 channel, and to enable sound reproduction with enhanced presence on the receiving side. Conceivable.
  • the purpose of this technology is to reduce the processing load on the receiving side when transmitting multiple types of audio data.
  • the concept of this technology is A transmission unit for transmitting a container in a predetermined format having a predetermined number of audio streams including encoded data of a plurality of groups;
  • the transmission apparatus includes an information insertion unit that inserts attribute information indicating each attribute of the encoded data of the plurality of groups into the container layer and / or the audio stream layer.
  • a container of a predetermined format having a predetermined number of audio streams including a plurality of groups of encoded data is transmitted by the transmission unit.
  • the plurality of groups of encoded data may include one or both of channel encoded data and object encoded data.
  • Attribute information indicating each attribute of encoded data of a plurality of groups is inserted into the container layer and / or the audio stream layer by the information insertion unit.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • attribute information indicating attributes of a plurality of groups of encoded data included in a predetermined number of audio streams is inserted into the container layer and / or the audio stream layer. Therefore, the receiving side can easily recognize each attribute of encoded data of a plurality of groups before decoding the encoded data, and can selectively decode only the encoded data of a necessary group. The processing load can be reduced.
  • the information insertion unit further inserts stream correspondence information indicating in which audio stream each of the plurality of groups of encoded data is included in the container layer and / or the audio stream layer. You may be like. As a result, the receiving side can easily recognize an audio stream including encoded data of a necessary group, and can reduce the processing load.
  • the attribute information and the stream correspondence information exist under the program map table.
  • the predetermined number of audio streams may be inserted into an audio elementary stream loop corresponding to at least one audio stream.
  • the information insertion unit inserts the attribute information and the stream correspondence information into the layer of the audio stream, at least one of the attribute information and the stream correspondence information is included in the predetermined number of audio streams. May be inserted into the PES payload of the PES packet of the audio stream.
  • the stream correspondence information is information indicating a correspondence relationship between a group identifier that identifies each of encoded data of a plurality of groups and a stream identifier that identifies each of a predetermined number of audio streams. May be.
  • the information insertion unit may further insert stream identifier information indicating stream identifiers of a predetermined number of audio streams into the container layer and / or the audio stream layer.
  • the information insertion unit when the container is MPEG2-TS and the information insertion unit inserts the stream identifier information into the container, the information corresponding to each of a predetermined number of audio streams existing under the program map table is the stream identifier information. It may be arranged to insert into an elementary stream loop. Further, for example, when inserting the stream identifier information into the audio stream, the information insertion unit may insert the stream identifier information into the PES payload of each PES packet of a predetermined number of audio streams.
  • the stream correspondence information is information indicating the correspondence between a group identifier for identifying each of a plurality of groups of encoded data and a packet identifier attached when packetizing each of a predetermined number of audio streams. It may be made to be.
  • the stream correspondence information is information indicating a correspondence relationship between a group identifier that identifies each of encoded data of a plurality of groups and type information that indicates each stream type of a predetermined number of audio streams. May be.
  • a receiving unit for receiving a container of a predetermined format having a predetermined number of audio streams including a plurality of groups of encoded data; Attribute information indicating each attribute of the encoded data of the plurality of groups is inserted in the container layer and / or the audio stream layer,
  • the receiving apparatus further includes a processing unit that processes the predetermined number of audio streams of the received container based on the attribute information.
  • a container having a predetermined format having a predetermined number of audio streams including a plurality of groups of encoded data is received by the receiving unit.
  • the plurality of groups of encoded data may include one or both of channel encoded data and object encoded data.
  • Attribute information indicating each attribute of encoded data of a plurality of groups is inserted into the container layer and / or the audio stream layer.
  • a predetermined number of audio streams of the received container are processed by the processing unit based on the attribute information.
  • the audio stream is processed. Therefore, only necessary groups of encoded data can be selectively decoded and used, and the processing load can be reduced.
  • the processing unit may process a predetermined number of audio streams based on the stream correspondence information in addition to the attribute information. In this case, an audio stream including a necessary group of encoded data can be easily recognized, and the processing load can be reduced.
  • the processing unit selectively selects an audio stream including encoded data of a group having an attribute that conforms to the speaker configuration and the user selection information based on the attribute information and the stream correspondence information.
  • a decoding process may be performed.
  • a receiving unit for receiving a container of a predetermined format having a predetermined number of audio streams including a plurality of groups of encoded data; Attribute information indicating each attribute of the encoded data of the plurality of groups is inserted in the container layer and / or the audio stream layer, Based on the attribute information, a predetermined group of encoded data is selectively acquired from the predetermined number of audio streams of the received container, and an audio stream including the predetermined group of encoded data is reconstructed.
  • a processing unit The reception apparatus further includes a stream transmission unit that transmits the audio stream reconstructed by the processing unit to an external device.
  • a container having a predetermined format having a predetermined number of audio streams including a plurality of groups of encoded data is received by the receiving unit. Attribute information indicating each attribute of encoded data of a plurality of groups is inserted into the container layer and / or the audio stream layer.
  • the processing unit selectively acquires encoded data of a predetermined group from a predetermined number of audio streams based on the attribute information, and an audio stream including the encoded data of the predetermined group is reconstructed. Then, the stream transmission unit transmits the reconstructed audio stream to the external device.
  • a predetermined number of audio streams are determined from a predetermined number of audio streams based on attribute information indicating the attributes of the encoded data of a plurality of groups inserted in the container layer and / or the audio stream layer.
  • the encoded data of the group is selectively acquired, and the audio stream to be transmitted to the external device is reconstructed.
  • the required group of encoded data can be easily acquired, and the processing load can be reduced.
  • the processing unit may selectively acquire encoded data of a predetermined group from a predetermined number of audio streams based on the stream correspondence information in addition to the attribute information.
  • an audio stream including encoded data of a predetermined group can be easily recognized, and the processing load can be reduced.
  • the structural example of the transmission data of 3D audio it is a figure which shows the example of group division
  • FIG. 1 It is a figure which shows the other structural example of the audio access unit (audio frame) of an audio stream in case descriptor information exists in an audio stream. It is a flowchart (1/2) which shows an example of the audio decoding control process of CPU in a service receiver. It is a flowchart (2/2) which shows an example of the audio decoding control process of CPU in a service receiver. It is a block diagram which shows the other structural example of a service receiver.
  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 includes a service transmitter 100 and a service receiver 200.
  • the service transmitter 100 transmits the transport stream TS on a broadcast wave or a net packet.
  • the transport stream TS includes a predetermined number including a video stream and a plurality of groups of encoded data, that is, one or a plurality of audio streams.
  • FIG. 2 shows the structure of an audio frame (1024 samples) in 3D audio transmission data handled in this embodiment.
  • This audio frame is composed of a plurality of MPEG audio stream packets (mpeg
  • Each MPEG audio stream packet is composed of a header and a payload.
  • the header has information such as packet type (Packet type), packet label (Packet type Label), and packet length (Packet type Length).
  • Information defined by the packet type of the header is arranged in the payload.
  • the payload information includes “SYNC” corresponding to the synchronization start code, “Frame” that is actual data of 3D audio transmission data, and “Config” indicating the configuration of this “Frame”.
  • “Frame” includes channel encoded data and object encoded data constituting 3D audio transmission data.
  • the channel encoded data is composed of encoded sample data such as SCE (Single Channel Element), CPE (Channel Pair Element), and LFE (Low Frequency Element).
  • the object encoded data is composed of SCE (Single Channel Element) encoded sample data and metadata for rendering it by mapping it to a speaker located at an arbitrary position. This metadata is included as an extension element (Ext_element).
  • FIG. 3 shows a configuration example of 3D audio transmission data.
  • it consists of one channel encoded data and two object encoded data.
  • One channel coded data is 5.1 channel channel coded data (CD), and is composed of coded sample data of SCE1, CPE1.1, CPE1.2, and LFE1.
  • the two object encoded data are encoded data of an immersive audio object (IAO: Immersive audio object) and a speech dialog object (SDO: Speech Dialog object).
  • the immersive audio object encoded data is object encoded data for immersive sound.
  • Speech dialog object encoded data is object encoded data for speech language.
  • the speech dialog object encoded data corresponding to the first language includes encoded sample data SCE3 and metadata EXE_El (Object metadata) 3 for mapping the sampled data to a speaker existing at an arbitrary position for rendering.
  • the speech dialog object encoded data corresponding to the second language includes encoded sample data SCE4 and metadata EXE_El (Object metadata) 4 for mapping the sampled data to a speaker existing at an arbitrary position and rendering it. It is made up of.
  • Encoded data is distinguished by the concept of group by type.
  • the 5.1 channel encoded channel data is group 1
  • the immersive audio object encoded data is group 2
  • the speech dialog object encoded data according to the first language is group 3.
  • Speech dialog object encoded data according to the second language is group 4.
  • group 1 group 1 and group 2 are bundled to form preset group 1
  • group 1 and group 4 are bundled to form preset group 2.
  • the service transmitter 100 transmits 3D audio transmission data including encoded data of a plurality of groups in one stream or a plurality of streams (Multiple stream) as described above.
  • FIG. 4A schematically shows a configuration example of an audio frame in the case where transmission is performed in one stream (main stream) in the configuration example of 3D audio transmission data in FIG.
  • this one stream includes channel encoded data (CD), immersive audio object encoded data (IAO), and speech dialog object encoded data (SDO) together with “SYNC” and “Config”.
  • CD channel encoded data
  • IAO immersive audio object encoded data
  • SDO speech dialog object encoded data
  • FIG. 4B schematically shows a configuration example of an audio frame in the case of transmitting a plurality of streams, here two streams, in the configuration example of 3D audio transmission data in FIG.
  • the main stream includes channel-encoded data (CD) and immersive audio object encoded data (IAO) together with “SYNC” and “Config”.
  • the sub-stream includes speech dialog object encoded data (SDO) together with “SYNC” and “Config”.
  • FIG. 5 shows an example of group division in the case of transmitting with two streams in the configuration example of 3D audio transmission data in FIG.
  • the main stream includes channel coded data (CD) distinguished as group 1 and immersive audio object coded data (IAO) distinguished as group 2.
  • the sub-stream includes speech dialog object encoded data (SDO) of a first language distinguished as group 3 and speech dialog object encoded data (SDO) of a second language distinguished as group 4. included.
  • FIG. 6 shows the correspondence between groups and streams in the group division example (two divisions) shown in FIG.
  • the group ID (group ID) is an identifier for identifying a group.
  • An attribute indicates an attribute of encoded data of each group.
  • the switch group ID (switch Group ID) is an identifier for identifying a switching group.
  • the reset group ID (preset Group ID) is an identifier for identifying a preset group.
  • the stream ID (sub Stream ID) is an identifier for identifying a substream.
  • Kind indicates the content type of each group.
  • the encoded data belonging to group 1 is channel encoded data, does not constitute a switch group, and is included in stream 1.
  • the encoded data belonging to the group 2 is object encoded data for immersive sound (immersive audio object encoded data), does not constitute a switch group, and is included in the stream 1. It is included.
  • the encoded data belonging to group 3 is object encoded data (speech dialog object encoded data) for the speech language of the first language, and constitutes switch group 1. This indicates that it is included in the stream 2.
  • the encoded data belonging to group 4 is object encoded data (speech dialog object encoded data) for the speech language of the second language, and constitutes switch group 1. This indicates that it is included in the stream 2.
  • the illustrated correspondence relationship indicates that the preset group 1 includes group 1, group 2, and group 3. Furthermore, the illustrated correspondence relationship shows that the preset group 2 includes group 1, group 2, and group 4.
  • FIG. 7 shows an example of group division in the case of transmitting with 2 streams in the configuration example of 3D audio transmission data.
  • the main stream includes channel coded data (CD) distinguished as group 1 and immersive audio object coded data (IAO) distinguished as group 2.
  • CD channel coded data
  • IAO immersive audio object coded data
  • this main stream includes SAOC (Spatial Audio Object Coding) object encoded data distinguished as group 5, and HOA (Higher Order Ambitisonics) object encoded data distinguished as group 6.
  • SAOC Spatial Audio Object Coding
  • HOA Higher Order Ambitisonics
  • the SAOC object encoded data is data for performing higher compression of object encoding using the characteristics of the object data.
  • HOA object encoded data is a technology for handling 3D sound as a whole sound field, and is data for reproducing the sound direction from the arrival direction of the sound to the microphone to the auditory position.
  • the substream includes speech dialog object encoded data (SDO) of a first language distinguished as group 3, and speech dialog object encoded data (SDO) of a second language distinguished as group 4. . Further, this substream includes first audio description encoded data distinguished as group 7 and second audio description encoded data distinguished as group 8.
  • the audio description encoded data is data for explaining the contents (mainly video) by voice, and is data for transmitting separately from normal voice mainly for the visually impaired.
  • FIG. 8 shows the correspondence between groups and substreams in the group division example (two divisions) of FIG.
  • the correspondence shown in the figure indicates that the encoded data belonging to group 1 is channel encoded data, does not constitute a switch group, and is included in stream 1.
  • the encoded data belonging to the group 2 is object encoded data for immersive sound (immersive audio object encoded data), does not constitute a switch group, and is included in the stream 1. It is included.
  • the encoded data belonging to group 3 is object encoded data (speech dialog object encoded data) for the speech language of the first language, and constitutes switch group 1. This indicates that it is included in the stream 2.
  • the encoded data belonging to group 4 is object encoded data (speech dialog object encoded data) for the speech language of the second language, and constitutes switch group 1. This indicates that it is included in the stream 2.
  • the correspondence relationship shown in the figure indicates that the encoded data belonging to group 5 is SAOC object encoded data, and constitutes switch group 2 and is included in stream 1.
  • the illustrated correspondence relationship indicates that the encoded data belonging to the group 6 is HOA object encoded data, configures the switch group 2, and is included in the stream 1.
  • the encoded data belonging to the group 7 is the object encoded data of the first audio description, constitutes the switch group 3, and is included in the stream 2. Is shown.
  • the encoded data belonging to the group 8 is the object encoded data of the second audio description and constitutes the switch group 3 and is included in the stream 2. Is shown.
  • the illustrated correspondence relationship indicates that preset group 1 includes group 1, group 2, group 3, and group 7. Furthermore, the illustrated correspondence relationship shows that preset group 2 includes group 1, group 2, group 4, and group 8.
  • the service transmitter 100 inserts attribute information indicating attributes of a plurality of groups of encoded data included in 3D audio transmission data into the container layer. Also, the service transmitter 100 inserts into the container layer, stream correspondence information indicating which audio stream each of the plurality of groups of encoded data is included in. In this embodiment, this stream correspondence information is information indicating the correspondence between a group ID and a stream identifier, for example.
  • the service transmitter 100 corresponds these attribute information and stream correspondence information to one or more audio streams of a predetermined number of audio streams existing under a program map table (PMT: Program ⁇ ⁇ ⁇ ⁇ Map (Table), for example. It is inserted as a descriptor in the audio elementary stream loop.
  • PMT Program ⁇ ⁇ ⁇ ⁇ Map (Table)
  • the service transmitter 100 inserts stream identifier information indicating each stream identifier of a predetermined number of audio streams into the container layer.
  • the service transmitter 100 inserts this stream identifier information as a descriptor in an audio elementary stream loop corresponding to each of a predetermined number of audio streams existing under a program map table (PMT: ProgramPMap Table), for example. .
  • PMT ProgramPMap Table
  • the service transmitter 100 inserts attribute information indicating each attribute of a plurality of groups of encoded data included in 3D audio transmission data into the audio stream layer.
  • the service transmitter 100 inserts stream correspondence information indicating in which audio stream each of the plurality of groups of encoded data is included in the layer of the audio stream. The service transmitter 100 inserts these attribute information and stream correspondence information into the PES payload of the PES packet of one or more audio streams among a predetermined number of audio streams, for example.
  • the service transmitter 100 inserts stream identifier information indicating each stream identifier of a predetermined number of audio streams into the audio stream layer.
  • the service transmitter 100 inserts this stream identifier information into the PES payload of each PES packet of a predetermined number of audio streams, for example.
  • the service transmitter 100 inserts information into the layer of these audio streams between “SYNC” and “Config”, that is, descriptor information. This is done by inserting
  • each piece of information (attribute information, stream correspondence information, stream identifier information) is inserted into both the container layer and the audio stream layer has been described. It is also conceivable to insert each piece of information only in this layer or only in the audio stream layer.
  • the service receiver 200 receives the transport stream TS transmitted from the service transmitter 100 on broadcast waves or net packets.
  • the transport stream TS includes a predetermined number of audio streams including a plurality of groups of encoded data constituting 3D audio transmission data in addition to the video stream.
  • attribute information indicating attributes of a plurality of groups of encoded data included in 3D audio transmission data is inserted in the container layer and / or the audio stream layer, and the codes of the plurality of groups are also included.
  • Stream correspondence information indicating in which audio stream each of the digitized data is included is inserted.
  • the service receiver 200 selectively decodes the audio stream including the encoded data of the group having an attribute suitable for the speaker configuration and the user selection information based on the attribute information and the stream correspondence information, Obtain the audio output of 3D audio.
  • FIG. 9 illustrates a configuration example of the stream generation unit 110 included in the service transmitter 100.
  • the stream generation unit 110 includes a video encoder 112, an audio encoder 113, and a multiplexer 114.
  • the audio transmission data includes one encoded channel data and two object encoded data as shown in FIG.
  • the video encoder 112 receives the video data SV, encodes the video data SV, and generates a video stream (video elementary stream).
  • the audio encoder 113 inputs immersive audio and speech dialog object data together with channel data as audio data SA.
  • the audio encoder 113 encodes the audio data SA to obtain 3D audio transmission data.
  • the 3D audio transmission data includes channel encoded data (CD), immersive audio object encoded data (IAO), and speech dialog object encoded data (SDO).
  • the audio encoder 113 generates one or a plurality of audio streams (audio elementary streams) including encoded data of a plurality of groups, here, four groups (see FIGS. 4A and 4B). At this time, the audio encoder 113 inserts descriptor information (“Desc”) including attribute information, stream correspondence information, and stream identifier information between “SYNC” and “Config” as described above.
  • Desc descriptor information
  • the multiplexer 114 converts the video stream output from the video encoder 112 and the predetermined number of audio streams output from the audio encoder 113 into PES packets, further multiplexes them into transport packets, and transports them as multiplexed streams.
  • a stream TS is obtained.
  • the multiplexer 114 subordinates the program map table (PMT) to determine which audio stream includes attribute information indicating the attributes of the plurality of groups of encoded data and the plurality of groups of encoded data. The corresponding stream correspondence information is inserted.
  • the multiplexer 114 inserts these pieces of information using a 3D audio stream configuration descriptor (3Daudio_stream_config_descriptor) in an audio elementary stream loop corresponding to at least one of the predetermined number of audio streams. To do. Details of this descriptor will be described later.
  • the multiplexer 114 inserts stream identifier information indicating each stream identifier of a predetermined number of audio streams under the program map table (PMT).
  • the multiplexer 114 inserts this information into an audio elementary stream loop corresponding to each of a predetermined number of audio streams using a 3D audio stream ID descriptor (3Daudio_substreamID_descriptor). Details of this descriptor will be described later.
  • the operation of the stream generation unit 110 shown in FIG. 9 will be briefly described.
  • the video data is supplied to the video encoder 112.
  • the video data SV is encoded, and a video stream including the encoded video data is generated.
  • This video stream is supplied to the multiplexer 114.
  • the audio data SA is supplied to the audio encoder 113.
  • the audio data SA includes channel data and immersive audio and speech dialog object data.
  • the audio encoder 113 encodes the audio data SA to obtain 3D audio transmission data.
  • This 3D audio transmission data includes immersive audio object encoded data (IAO) and speech dialog object encoded data (SDO) in addition to channel encoded data (CD) (see FIG. 3).
  • the audio encoder 113 generates one or a plurality of audio streams including four groups of encoded data (see FIGS. 4A and 4B).
  • descriptor information including the attribute information, stream correspondence information, stream identifier information, and the like described above is inserted between “SYNC” and “Config”.
  • the video stream generated by the video encoder 112 is supplied to the multiplexer 114.
  • the audio stream generated by the audio encoder 113 is supplied to the multiplexer 114.
  • a stream supplied from each encoder is converted into a PES packet, further converted into a transport packet, and multiplexed to obtain a transport stream TS as a multiplexed stream.
  • a 3D audio stream configuration descriptor is inserted in an audio elementary stream loop corresponding to at least one audio stream of predetermined audio streams.
  • This descriptor includes attribute information indicating the attributes of the plurality of groups of encoded data and stream correspondence information indicating which audio stream each of the plurality of groups of encoded data is included in.
  • a 3D audio stream ID descriptor is inserted in an audio elementary stream loop corresponding to each of a predetermined number of audio streams.
  • This descriptor includes stream identifier information indicating each stream identifier of a predetermined number of audio streams.
  • FIG. 10 shows a structural example (Syntax) of a 3D audio stream configuration descriptor (3Daudio_stream_config_descriptor). Moreover, FIG. 11 has shown the content (Semantics) of the main information in the structural example.
  • the 8-bit field of “descriptor_tag” indicates the descriptor type. Here, a 3D audio stream config descriptor is indicated.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
  • the 8-bit field “NumOfGroups, N” indicates the number of groups.
  • An 8-bit field of “NumOfPresetGroups, P” indicates the number of preset groups. As many as the number of groups, an 8-bit field of “groupID”, an 8-bit field of “attribute_of_groupID”, an 8-bit field of “SwitchGroupID”, and an 8-bit field of “audio_streamID” are repeated.
  • the “groupID” field indicates a group identifier.
  • a field of “attribute_of_groupID” indicates an attribute of encoded data of the corresponding group.
  • the field of “SwitchGroupID” is an identifier indicating which switch group the corresponding group belongs to. “0” indicates that it does not belong to any switch group. Items other than “0” indicate the switch group to which the group belongs.
  • the 8-bit field of “contentKind” indicates the content type of the group.
  • “Audio_streamID” is an identifier indicating an audio stream including the group.
  • FIG. 12 shows content types defined in “contentKind”.
  • the 8-bit field of “presetGroupID” and the 8-bit field of “NumOfGroups_in_preset, ⁇ R ” are repeated by the number of preset groups.
  • a field of “presetGroupID” is an identifier indicating a bundle in which a group is preset.
  • a field of “NumOfGroups_in_preset, R” indicates the number of groups belonging to the preset group. Then, for each preset group, the 8-bit field of “groupID” is repeated for the number of groups belonging to the preset group to indicate the group belonging to the preset group.
  • This descriptor may be arranged under the extended descriptor.
  • FIG. 13A shows a structural example (Syntax) of a 3D audio stream ID descriptor (3Daudio_substreamID_descriptor). Moreover, FIG.13 (b) has shown the content (Semantics) of the main information in the structural example.
  • the 8-bit field of “descriptor_tag” indicates the descriptor type. Here, it indicates a 3D audio stream ID descriptor.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
  • An 8-bit field of “audio_streamID” indicates an identifier of the audio stream. This descriptor may be arranged under the extended descriptor.
  • FIG. 14 illustrates a configuration example of the transport stream TS.
  • This configuration example corresponds to the case of transmitting 3D audio transmission data in two streams (see FIG. 5).
  • the PES packet includes a PES header (PES_header) and a PES payload (PES_payload).
  • DTS and PTS time stamps are inserted in the PES header.
  • the PES packet “audio PES” of the audio stream identified by PID2 channel coded data (CD) distinguished as group 1 and immersive audio object coded data (IAO) distinguished as group 2 are included. included.
  • the PES packet “audioSPES” of the audio stream identified by PID3 includes the speech dialog object encoded data (SDO) of the first language identified as group 3 and the second identified as group 4. Language speech dialog object encoded data (SDO) is included.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI is information describing to which program each elementary stream included in the transport stream belongs.
  • the PMT has a program loop (Program ⁇ ⁇ ⁇ loop) that describes information related to the entire program.
  • an elementary stream loop having information related to each elementary stream exists in the PMT.
  • a video elementary stream loop (video (ES loop) corresponding to a video stream exists
  • an audio elementary stream loop (audio ES loop) corresponding to two audio streams exists.
  • video elementary stream loop information such as a stream type and PID (packet identifier) is arranged corresponding to the video stream, and a descriptor describing information related to the video stream is also arranged. Is done.
  • the value of “Stream_type” of this video stream is set to “0x24”, and the PID information indicates PID1 given to the PES packet “video PES” of the video stream as described above.
  • HEVCV descriptor is arranged.
  • each audio elementary stream loop (audio ES loop) information such as a stream type and PID (packet identifier) is arranged corresponding to the audio stream, and a descriptor describing information related to the audio stream is also provided.
  • PID2 is the main audio stream
  • the value of “Stream_type” is set to “0x2C”
  • the PID information indicates the PID given to the PES packet “audio PES” of the audio stream as described above.
  • PID3 is a sub audio stream
  • the value of “Stream_type” is set to “0x2D”
  • the PID information indicates the PID given to the PES packet “audio PES” of the audio stream as described above.
  • each audio elementary stream loop (audio ES loop)
  • both the 3D audio stream configuration descriptor and the 3D audio stream ID descriptor described above are arranged.
  • descriptor information is inserted in the PES payload of the PES packet of each audio elementary stream. As described above, the descriptor information is “Desc” inserted between “SYNC” and “Config” (see FIG. 4). This descriptor information has “D1 + D2” information, where D1 is information included in the 3D audio stream configuration descriptor and D2 is information included in the 3D audio stream ID descriptor.
  • FIG. 15 shows a configuration example of the service receiver 200.
  • the service receiver 200 includes a receiving unit 201, a demultiplexer 202, a video decoder 203, a video processing circuit 204, a panel driving circuit 205, and a display panel 206.
  • the service receiver 200 includes multiplexing buffers 211-1 to 211 -N, a combiner 212, a 3D audio decoder 213, an audio output processing circuit 214, and a speaker system 215.
  • the service receiver 200 includes a CPU 221, a flash ROM 222, a DRAM 223, an internal bus 224, a remote control receiver 225, and a remote control transmitter 226.
  • the CPU 221 controls the operation of each unit of service receiver 200.
  • the flash ROM 222 stores control software and data.
  • the DRAM 223 constitutes a work area for the CPU 221.
  • the CPU 221 develops software and data read from the flash ROM 222 on the DRAM 223 to activate the software, and controls each unit of the service receiver 200.
  • the remote control receiving unit 225 receives the remote control signal (remote control code) transmitted from the remote control transmitter 226 and supplies it to the CPU 221.
  • the CPU 221 controls each part of the service receiver 200 based on this remote control code.
  • the CPU 221, flash ROM 222, and DRAM 223 are connected to the internal bus 224.
  • the receiving unit 201 receives the transport stream TS transmitted from the service transmitter 100 on broadcast waves or net packets.
  • the transport stream TS includes a predetermined number of audio streams including a plurality of groups of encoded data constituting 3D audio transmission data in addition to the video stream.
  • FIG. 16 shows an example of the received audio stream.
  • FIG. 16A shows an example of one stream (main stream).
  • This stream includes channel encoded data (CD), immersive audio object encoded data (IAO), and speech dialog object encoded data (SDO) together with “SYNC” and “Config”.
  • This stream is identified by PID2.
  • descriptor information (“Desc”) is included between “SYNC” and “Config”.
  • the descriptor information includes attribute information indicating attributes of encoded data of a plurality of groups, stream correspondence information indicating which audio stream each includes encoded data of a plurality of groups, and own information.
  • Stream identifier information indicating a stream identifier is inserted.
  • FIG. 16B shows an example of two streams.
  • the main stream identified by PID2 includes channel encoded data (CD) and immersive audio object encoded data (IAO) together with “SYNC” and “Config”.
  • the sub-stream identified by PID3 includes speech dialog object encoded data (SDO) together with “SYNC” and “Config”.
  • descriptor information (“Desc”) is included between “SYNC” and “Config.” This descriptor information includes attribute information indicating attributes of encoded data of a plurality of groups. In addition, stream correspondence information indicating which audio stream each includes encoded data of a plurality of groups and stream identifier information indicating its own stream identifier are inserted.
  • the demultiplexer 202 extracts a video stream packet from the transport stream TS and sends it to the video decoder 203.
  • the video decoder 203 reconstructs a video stream from the video packets extracted by the demultiplexer 202 and performs decoding processing to obtain uncompressed video data.
  • the video processing circuit 204 performs scaling processing, image quality adjustment processing, and the like on the video data obtained by the video decoder 203 to obtain video data for display.
  • the panel drive circuit 205 drives the display panel 206 based on the display image data obtained by the video processing circuit 204.
  • the display panel 206 includes, for example, an LCD (Liquid Crystal Display), an organic EL display (organic electroluminescence display), and the like.
  • the demultiplexer 202 extracts various information such as descriptor information from the transport stream TS and sends it to the CPU 221.
  • the various information includes the above-described 3D audio stream config descriptor (3Daudio_stream_config_descriptor) and 3D audio stream ID descriptor (3Daudio_substreamID_descriptor) information (see FIG. 14).
  • the CPU 221 Based on the attribute information indicating the attribute of the encoded data of each group, the stream relationship information indicating which audio stream is included in each group, and the like, the CPU 221 includes the speaker configuration and the viewing / listening. An audio stream including encoded data of a group having an attribute that matches the user (user) selection information is recognized.
  • the demultiplexer 202 under the control of the CPU 221, among the predetermined number of audio streams included in the transport stream TS, encodes encoded data of a group having attributes suitable for the speaker configuration and viewer (user) selection information.
  • One or a plurality of audio stream packets are selectively extracted by a PID filter.
  • the multiplexing buffers 211-1 to 211 -N take in the respective audio streams extracted by the demultiplexer 202.
  • the number N of the multiplexing buffers 211-1 to 211-N is set to a necessary and sufficient number. However, in actual operation, only the number of audio streams extracted by the demultiplexer 202 is used.
  • the combiner 212 reads out the audio stream for each audio frame from the multiplexing buffer in which each of the audio streams extracted by the demultiplexer 202 is taken out of the multiplexing buffers 211-1 to 211 -N, and outputs it to the 3D audio decoder 213. send.
  • the 3D audio decoder 213 sends the descriptor information to the CPU 221. Under the control of the CPU 221, the 3D audio decoder 213 selectively extracts encoded data of a group having an attribute suitable for the speaker configuration and viewer (user) selection information, performs decoding processing, and performs the decoding process of the speaker system 215. Audio data for driving each speaker is obtained.
  • descriptor information (“Desc”)
  • the 3D audio decoder 213 selectively extracts encoded data of a group having an attribute suitable for the speaker configuration and viewer (user) selection information, performs decoding processing, and performs the decoding process of the speaker system 215. Audio data for driving each speaker is obtained.
  • the encoded data to be decoded includes only channel encoded data
  • the encoded data includes only object encoded data, and further includes both channel encoded data and object encoded data. Conceivable.
  • the 3D audio decoder 213 When the 3D audio decoder 213 decodes the channel encoded data, the 3D audio decoder 213 performs downmix and upmix processing on the speaker configuration of the speaker system 215 to obtain audio data for driving each speaker. Further, when decoding the object encoded data, the 3D audio decoder 213 calculates speaker rendering (mixing ratio to each speaker) based on the object information (metadata), and depending on the calculation result, the audio of the object is calculated. The data is mixed into audio data for driving each speaker.
  • the audio output processing circuit 214 performs necessary processing such as D / A conversion and amplification on the audio data for driving each speaker obtained by the 3D audio decoder 213, and supplies it to the speaker system 215.
  • the speaker system 215 includes a plurality of speakers such as a plurality of channels, for example, two channels, 5.1 channels, 7.1 channels, 22.2 channels, and the like.
  • the receiving unit 201 receives the transport stream TS transmitted from the service transmitter 100 on broadcast waves or net packets.
  • the transport stream TS includes a predetermined number of audio streams including a plurality of groups of encoded data constituting 3D audio transmission data in addition to the video stream.
  • This transport stream TS is supplied to the demultiplexer 202.
  • the demultiplexer 202 extracts a video stream packet from the transport stream TS and supplies it to the video decoder 203.
  • the video decoder 203 a video stream is reconstructed from the video packets extracted by the demultiplexer 202, and decoding processing is performed to obtain uncompressed video data. This video data is supplied to the video processing circuit 204.
  • the video processing circuit 204 performs scaling processing, image quality adjustment processing, and the like on the video data obtained by the video decoder 203 to obtain video data for display.
  • This display video data is supplied to the panel drive circuit 205.
  • the panel drive circuit 205 drives the display panel 206 based on the display video data. As a result, an image corresponding to the video data for display is displayed on the display panel 206.
  • various information such as descriptor information is extracted from the transport stream TS and sent to the CPU 221.
  • the various information includes 3D audio stream config descriptor information and 3D audio stream ID descriptor information.
  • the demultiplexer 202 includes, under the control of the CPU 221, one of encoded data of a group having an attribute suitable for the speaker configuration and the viewer selection information out of a predetermined number of audio streams included in the transport stream TS.
  • a plurality of audio stream packets are selectively extracted by a PID filter.
  • the audio stream taken out by the demultiplexer 202 is taken into the corresponding multiplexing buffer among the multiplexing buffers 211-1 to 211 -N.
  • the audio stream is read for each audio frame from each multiplexing buffer in which the audio stream has been captured, and is supplied to the 3D audio decoder 213.
  • the 3D audio decoder 213 extracts the descriptor information and sends it to the CPU 221.
  • descriptor information (“Desc”)
  • the channel encoded data is decoded
  • the downmix or upmix processing of the speaker system 215 to the speaker configuration is performed, and audio data for driving each speaker is obtained.
  • speaker rendering mixing ratio to each speaker
  • the audio data of the object It is mixed into audio data for driving.
  • the audio data for driving each speaker obtained by the 3D audio decoder 213 is supplied to the audio output processing circuit 214.
  • the audio output processing circuit 214 performs necessary processing such as D / A conversion and amplification on the audio data for driving each speaker.
  • the processed audio data is supplied to the speaker system 215. As a result, a sound output corresponding to the display image on the display panel 206 is obtained from the speaker system 215.
  • FIG. 17 schematically shows a decoding process when the descriptor information does not exist in the audio stream.
  • a transport stream TS which is a multiplexed stream, is input to the demultiplexer 202.
  • system layer analysis is performed, and descriptor information 1 (3D audio stream configuration descriptor information or 3D audio stream ID ID descriptor information) is supplied to the CPU 221.
  • the CPU 221 Based on the descriptor information 1, the CPU 221 recognizes an audio stream including encoded data of a group having attributes that match the speaker configuration and the viewer (user) selection information.
  • the demultiplexer 202 performs selection between streams under the control of the CPU 221.
  • one or a plurality of audio stream packets including encoded data of a group having attributes that match the speaker configuration and the viewer selection information among the predetermined number of audio streams included in the transport stream TS. are selectively extracted by the PID filter.
  • the audio stream thus taken out is taken into the multiplexing buffer 211 (211-1 to 211-N).
  • the packet type analysis of each audio stream captured in the multiplexing buffer 211 is performed.
  • the demultiplexer 202 selection within the stream is performed under the control of the CPU 221 based on the descriptor information 1 described above.
  • encoded data of a group having attributes suitable for the speaker configuration and viewer (user) selection information is selectively extracted from each audio stream as a decoding target, subjected to decoding processing, and processing such as mixing rendering As a result, audio data (uncompressed audio) for driving each speaker is obtained.
  • FIG. 18 shows a configuration example of the audio access unit (audio frame) of the audio stream when the descriptor information does not exist in the audio stream.
  • audio access unit audio frame
  • FIG. 18 shows a configuration example of the audio access unit (audio frame) of the audio stream when the descriptor information does not exist in the audio stream.
  • an example of two streams is shown.
  • “Frame” having the encoded data of group 1 includes encoded sample data of CPE (Channel Pair Element). Also, “Frame” having group 2 encoded data is composed of “Frame” including metadata as extension elements (Ext_element) and “Frame” including encoded sample data of SCE (Single Channel Element). Yes.
  • “Frame” having data and “Frame” having encoded data of group 4 are arranged in this order, and it is shown that these groups constitute switch group 1. Note that the value of the packet label (PL) is the same for “Config” and each “Frame” corresponding thereto.
  • “Frame” having group 3 encoded data is composed of “Frame” including metadata as extension elements (Ext_element) and “Frame” including encoded sample data of SCE (Single Channel Element). ing.
  • “Frame” having group 4 encoded data includes “Frame” including metadata as an extension element (Ext_element) and “Frame” including encoded sample data of SCE (Single Channel Element). ing.
  • FIG. 19 schematically shows a decoding process when the descriptor information is present in the audio stream.
  • a transport stream TS which is a multiplexed stream, is input to the demultiplexer 202.
  • the demultiplexer 202 analyzes the system layer and sends descriptor information 1 (3D audio stream configuration descriptor or 3D audio stream ID / descriptor information) to the CPU 221.
  • the CPU 221 Based on the descriptor information 1, the CPU 221 recognizes an audio stream including encoded data of a group having attributes that match the speaker configuration and the viewer (user) selection information.
  • the demultiplexer 202 performs selection between streams under the control of the CPU 221.
  • one or a plurality of audio stream packets including encoded data of a group having attributes that match the speaker configuration and the viewer selection information among the predetermined number of audio streams included in the transport stream TS. are selectively extracted by the PID filter.
  • the audio stream thus taken out is taken into the multiplexing buffer 211 (211-1 to 211-N).
  • the packet type analysis of each audio stream taken into the multiplexing buffer 211 is performed, and descriptor information 2 existing in the audio stream is sent to the CPU 221. Based on the descriptor information 2, the presence of encoded data of a group having an attribute suitable for the speaker configuration and the viewer (user) selection information is recognized. In the demultiplexer 202, selection in the stream is performed under the control of the CPU 221 based on the descriptor information 2.
  • encoded data of a group having attributes suitable for the speaker configuration and viewer (user) selection information is selectively extracted from each audio stream as a decoding target, subjected to decoding processing, and processing such as mixing rendering As a result, audio data (uncompressed audio) for driving each speaker is obtained.
  • FIG. 20 shows a configuration example of an audio access unit (audio frame) of the audio stream when the descriptor information is present in the audio stream.
  • an example of two streams is shown.
  • FIG. 20 is the same as FIG. 18 except that “Desc”, that is, descriptor information is inserted between “SYNC” and “Config”.
  • the stream identifier of the audio stream is indicated by the information of “Stream_ID”.
  • the encoded data of group 3 is an object for speech language in the first language. It is shown that it is encoded data.
  • the stream identifier of the audio stream is indicated by the information of “Stream_ID”.
  • FIG. 21 shows a configuration example of an audio access unit (audio frame) of an audio stream when descriptor information is present in the audio stream. Here, an example of one stream is shown.
  • “Frame” having the encoded data of group 1 includes encoded sample data of CPE (Channel Pair Element).
  • “Frame” having the encoded data of groups 2 to 4 is “Frame” including metadata as extension elements (Ext_element) and “Frame” including encoded sample data of SCE (Single Channel Element), respectively. It is made up of.
  • the information “GroupID [0] 1, channeldata” included in “Desc” indicates that the encoded data of group 1 is channel encoded data.
  • the information “GroupID [1] 2, object sound” included in “Desc” indicates that the encoded data of group 2 is object encoded data for immersive sound.
  • the stream identifier of the audio stream is indicated by the information of “Stream_ID”.
  • step ST1 the CPU 221 starts processing.
  • step ST2 the CPU 221 detects the receiver speaker configuration, that is, the speaker configuration of the speaker system 215.
  • step ST3 the CPU 221 obtains selection information regarding audio output by the viewer (user).
  • step ST4 the CPU 221 reads the descriptor information related to the main stream in the PMT, selects the audio stream to which the group having attributes suitable for the speaker configuration and the viewer selection information belongs, and loads it into the buffer.
  • step ST5 the CPU 221 checks whether a descriptor type packet exists in the audio stream.
  • step ST6 the CPU 221 determines whether or not a descriptor type packet exists.
  • the CPU 221 reads the descriptor information of the corresponding packet in step ST7, detects information of “groupID”, “attribute”, “switchGroupID”, and “presetGroupID”, and then proceeds to the processing of step ST9.
  • the CPU 221 detects information of “groupID”, “attribute”, “switchGroupID”, and “presetGroupID” from the descriptor information of the PMT in step ST8, and then proceeds to the process of step ST9. Note that it is possible to perform a process of decoding the entire target audio stream without executing step ST8.
  • step ST9 the CPU 221 determines whether or not to decode the object encoded data.
  • the CPU 221 decodes the object encoded data in step ST10, and then proceeds to the processing of step ST11. On the other hand, when not decoding, the CPU 221 immediately proceeds to the process of step ST11.
  • step ST11 the CPU 221 determines whether or not to decode the channel encoded data.
  • step ST12 the CPU 221 decodes the channel encoded data, and performs downmix or upmix processing to the speaker configuration of the speaker system 215 as necessary to drive each speaker. Obtain audio data. Thereafter, the CPU 221 proceeds to the process of step ST13. On the other hand, when not decoding, the CPU 221 immediately proceeds to the process of step ST13.
  • step ST13 when the object encoded data is decoded, the CPU 221 calculates mixing with the channel data or speaker rendering based on the information.
  • speaker rendering (mixing ratio to each speaker) is calculated by azimuth (azimuth information) and elevation (elevation angle information), and audio data of the object is driven to each speaker according to the calculation result. To mix with the channel data.
  • step ST14 the CPU 221 performs the dynamic range control of the audio data for driving each speaker and outputs it. Thereafter, the CPU 221 ends the process in step ST15.
  • the service transmitter 100 includes each of encoded data of a plurality of groups included in a predetermined number of audio streams in the container layer and / or the audio stream layer. Insert attribute information indicating the attribute. Therefore, the receiving side can easily recognize each attribute of encoded data of a plurality of groups before decoding the encoded data, and can selectively decode only the encoded data of a necessary group. The processing load can be reduced.
  • the service transmitter 100 includes a stream correspondence relationship indicating which audio stream includes encoded data of a plurality of groups in the container layer and / or the audio stream layer. Insert information. Therefore, the receiving side can easily recognize an audio stream including a necessary group of encoded data, thereby reducing the processing load.
  • service receiver 200 includes encoded data of a group having attributes suitable for speaker configuration and viewer selection information from a plurality of audio streams transmitted from service transmitter 100.
  • the audio stream is selectively extracted and decoded to obtain a predetermined number of speaker driving audio data.
  • one or a plurality of audio streams having encoded data of a group having attributes conforming to the speaker configuration and the viewer selection information from a plurality of audio streams transmitted from the service transmitter 100 are selectively extracted, and the reconfigured audio stream is connected to a local network connected device (including DLNA equipment) ) Can also be considered.
  • a local network connected device including DLNA equipment
  • FIG. 24 shows a configuration example of the service receiver 200A that distributes the reconfigured audio stream to the devices connected to the local network as described above. 24, parts corresponding to those in FIG. 15 are denoted by the same reference numerals, and detailed description thereof is omitted as appropriate.
  • the audio stream taken out by the demultiplexer 202 is taken into the corresponding multiplexing buffer among the multiplexing buffers 211-1 to 211 -N.
  • the audio stream is read for each audio frame from each multiplexing buffer in which the audio stream has been captured, and is supplied to the stream reconstruction unit 231.
  • the stream reconstruction unit 231 extracts the descriptor information and sends it to the CPU 221.
  • the stream reconstruction unit 231 under the control of the CPU 221, encoded data of a group having an attribute suitable for the speaker configuration and viewer (user) selection information is selectively acquired, and an audio stream having the encoded data Is reconstructed. This reconstructed audio stream is supplied to the distribution interface 232. Then, the distribution interface 232 distributes (transmits) the device 300 connected to the local network.
  • This local area network connection includes an Ethernet connection, a wireless connection such as “WiFi” or “Bluetooth”. “WiFi” and “Bluetooth” are registered trademarks.
  • the device 300 includes a surround speaker, a second display, and an audio output device attached to the network terminal.
  • the device 200 that receives the delivery of the reconfigured audio stream performs the same decoding process as the 3D audio decoder 213 in the service receiver 200 of FIG. 15 to obtain audio data for driving a predetermined number of speakers.
  • the above-described reconfigured audio stream is transferred to a device connected via a digital interface such as “High-Definition Multimedia Interface (HDMI)”, “Mobile High Definition Link”, “MHL”, or “DisplayPort”.
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High Definition Link
  • DisplayPort DisplayPort
  • the stream correspondence information inserted in the container layer or the like is information indicating the correspondence between the group ID and the substream ID. That is, the substream ID is used to associate the group and the audio stream.
  • the substream ID is used to associate the group and the audio stream.
  • PID Packet_ID
  • stream_type stream type
  • attribute information of encoded data of each group is provided with a field “attribute_of_groupID” (see FIG. 10).
  • the present technology defines a special meaning in the group ID (GroupID) value itself between the transmitter and the receiver so that the type (attribute) of the encoded data can be recognized if the specific group ID is recognized. Is also included.
  • the group ID functions as attribute information of the encoded data of the group in addition to functioning as a group identifier, and the field of “attribute_of_groupID” becomes unnecessary.
  • the container is a transport stream (MPEG-2 TS)
  • MPEG-2 TS transport stream
  • the present technology can be similarly applied to a system distributed in a container of MP4 or other formats.
  • MMT MPEG-Media-Transport
  • this technique can also take the following structures.
  • a transmission unit that transmits a container in a predetermined format having a predetermined number of audio streams including encoded data of a plurality of groups;
  • a transmission apparatus comprising: an information insertion unit that inserts attribute information indicating attributes of the plurality of groups of encoded data into the container layer and / or the audio stream layer.
  • the information insertion unit The transmission apparatus according to (1), further including stream correspondence information indicating which audio stream each of the plurality of groups of encoded data is included in the container layer and / or the audio stream layer.
  • the stream correspondence information is The transmission apparatus according to (2), which is information indicating a correspondence relationship between a group identifier that identifies each of the plurality of groups of encoded data and a stream identifier that identifies each of the predetermined number of audio streams.
  • the information insertion unit The transmission apparatus according to (3), wherein stream identifier information indicating stream identifiers of the predetermined number of audio streams is further inserted into the container layer and / or the audio stream layer.
  • the container is MPEG2-TS, The information insertion part When the stream identifier information is inserted into the container, the stream identifier information is inserted into an audio elementary stream loop corresponding to each of the predetermined number of audio streams existing under the program map table. The transmitting device described.
  • the information insertion unit The transmission device according to (4) or (5), wherein when the stream identifier information is inserted into the audio stream, the stream identifier information is inserted into a PES payload of each PES packet of the predetermined number of audio streams.
  • the stream correspondence information is The information indicating a correspondence relationship between a group identifier for identifying each of the encoded data of the plurality of groups and a packet identifier attached when packetizing each of the predetermined number of audio streams is described in (2). Transmitter.
  • the stream correspondence information is The transmission apparatus according to (2), which is information indicating a correspondence relationship between a group identifier for identifying each of the plurality of groups of encoded data and type information indicating each stream type of the predetermined number of audio streams.
  • the container is MPEG2-TS
  • the information insertion part When inserting the attribute information and stream correspondence information into the container, the attribute information and stream correspondence information are added to at least one audio stream of the predetermined number of audio streams existing under the program map table.
  • the transmitting apparatus according to any one of (2) to (8), wherein the transmitting apparatus is inserted into a corresponding audio elementary stream loop.
  • the information insertion unit When inserting the attribute information and the stream correspondence information into the audio stream, the attribute information and the stream correspondence information are included in a PES payload of a PES packet of at least one audio stream of the predetermined number of audio streams. Insert the transmitter according to any one of (2) to (8).
  • the transmission device according to any one of (1) to (10), wherein the encoded data of the plurality of groups includes one or both of channel encoded data and object encoded data.
  • a receiving unit that receives a container of a predetermined format having a predetermined number of audio streams including encoded data of a plurality of groups, Attribute information indicating each attribute of the encoded data of the plurality of groups is inserted in the container layer and / or the audio stream layer,
  • a receiving apparatus further comprising: a processing unit that processes the predetermined number of audio streams of the received container based on the attribute information.
  • Stream correspondence information indicating which audio stream each includes the encoded data of the plurality of groups is further inserted in the container layer and / or the audio stream layer, The processing unit The receiving device according to (13), wherein the predetermined number of audio streams are processed based on the stream correspondence information in addition to the attribute information.
  • the processing unit The decoding process is selectively performed on an audio stream including encoded data of a group having an attribute suitable for a speaker configuration and user selection information based on the attribute information and the stream correspondence information.
  • Receiver (16) The reception device according to any one of (13) to (15), wherein the encoded data of the plurality of groups includes one or both of channel encoded data and object encoded data.
  • the reception unit includes a reception step of receiving a container of a predetermined format having a predetermined number of audio streams including a plurality of groups of encoded data, Attribute information indicating each attribute of the encoded data of the plurality of groups is inserted in the container layer and / or the audio stream layer, A receiving method further comprising a processing step of processing the predetermined number of audio streams of the received container based on the attribute information.
  • a receiving unit that receives a container of a predetermined format having a predetermined number of audio streams including a plurality of groups of encoded data, Attribute information indicating each attribute of the encoded data of the plurality of groups is inserted in the container layer and / or the audio stream layer, Based on the attribute information, a predetermined group of encoded data is selectively acquired from the predetermined number of audio streams of the received container, and an audio stream including the predetermined group of encoded data is reconstructed.
  • Stream correspondence information indicating which audio stream each includes the encoded data of the plurality of groups is further inserted in the container layer and / or the audio stream layer,
  • the processing unit The receiving apparatus according to (18), wherein the predetermined group of encoded data is selectively acquired from the predetermined number of audio streams based on the stream correspondence information in addition to the attribute information.
  • the reception unit includes a reception step of receiving a container of a predetermined format having a predetermined number of audio streams including encoded data of a plurality of groups, Attribute information indicating each attribute of the encoded data of the plurality of groups is inserted in the container layer and / or the audio stream layer, Based on the attribute information, a predetermined group of encoded data is selectively acquired from the predetermined number of audio streams of the received container, and an audio stream including the predetermined group of encoded data is reconstructed. Processing steps; A reception method further comprising a stream transmission step of transmitting the audio stream reconstructed in the processing step to an external device.
  • the main features of the present technology are attribute information indicating each attribute of a plurality of groups of encoded data included in a predetermined number of audio streams, and encoding of a plurality of groups in a container layer and / or an audio stream layer.
  • the processing load on the receiving side can be reduced by inserting stream correspondence information indicating which audio stream each data includes (see FIG. 14).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Stereophonic System (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Television Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

　複数種類のオーディデータを送信する場合にあって受信側の処理負荷を軽減する。　複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを送信する。例えば、複数のグループの符号化データには、チャネル符号化データおよびオブジェクト符号化データのいずれかまたは双方が含まれる。コンテナのレイヤおよび/またはオーディオストリームのレイヤに、複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する。例えば、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報をさらに挿入する。

Description

送信装置、送信方法、受信装置および受信方法
　本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、複数種類のオーディオデータを送信する送信装置等に関する。
　従来、立体（３Ｄ）音響技術として、符号化サンプルデータをメタデータに基づいて任意の位置に存在するスピーカにマッピングさせてレンダリングする技術が提案されている（例えば、特許文献１参照）。
特表２０１４－５２０４９１号公報
　５．１チャネル、７．１チャネルなどのチャネル符号化データと共に、符号化サンプルデータおよびメタデータからなるオブジェクト符号化データを送信し、受信側において臨場感を高めた音響再生を可能とすることが考えられる。
　本技術の目的は、複数種類のオーディデータを送信する場合にあって受信側の処理負荷を軽減することにある。
　本技術の概念は、
　複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを送信する送信部と、
　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する情報挿入部を備える
　送信装置にある。
　本技術において、送信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナが送信される。例えば、複数のグループの符号化データには、チャネル符号化データおよびオブジェクト符号化データのいずれかまたは双方が含まれる、ようにされてもよい。
　情報挿入部により、コンテナのレイヤおよび/またはオーディオストリームのレイヤに、複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　このように本技術においては、コンテナのレイヤおよび/またはオーディオストリームのレイヤに、所定数のオーディオストリームに含まれる複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入される。そのため、受信側では、複数のグループの符号化データのそれぞれの属性を当該符号化データのデコード前に容易に認識でき、必要なグループの符号化データのみを選択的にデコードして用いることができ、処理負荷を軽減することが可能となる。
　なお、本技術において、例えば、情報挿入部は、コンテナのレイヤおよび/またはオーディオストリームのレイヤに、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報をさらに挿入する、ようにされてもよい。これにより、受信側では、必要なグループの符号化データが含まれるオーディオストリームを容易に認識でき、処理負荷を軽減することが可能となる。
　この場合、例えば、コンテナは、ＭＰＥＧ２－ＴＳであり、情報挿入部は、属性情報およびストリーム対応関係情報をコンテナに挿入する場合、この属性情報およびストリーム対応関係情報を、プログラムマップテーブルの配下に存在する所定数のオーディオストリームのうち少なくとも１つ以上のオーディオストリームに対応したオーディオエレメンタリストリームループ内に挿入する、ようにされてもよい。
　また、この場合、例えば、情報挿入部は、属性情報およびストリーム対応関係情報をオーディオストリームのレイヤに挿入する場合、この属性情報およびストリーム対応関係情報を、所定数のオーディオストリームのうち少なくとも１つ以上のオーディオストリームのＰＥＳパケットのＰＥＳペイロード内に挿入する、ようにされてもよい。
　例えば、ストリーム対応関係情報は、複数のグループの符号化データのそれぞれを識別するグループ識別子と所定数のオーディオストリームのそれぞれのストリームを識別するストリーム識別子との対応関係を示す情報である、ようにされてもよい。この場合、例えば、情報挿入部は、コンテナのレイヤおよび/またはオーディオストリームのレイヤに、所定数のオーディオストリームのそれぞれのストリーム識別子を示すストリーム識別子情報をさらに挿入する、ようにされてもよい。
　例えば、コンテナは、ＭＰＥＧ２－ＴＳであり、情報挿入部は、ストリーム識別子情報をコンテナに挿入する場合、このストリーム識別子情報をプログラムマップテーブルの配下に存在する所定数のオーディオストリームのそれぞれに対応したオーディオエレメンタリストリームループ内に挿入する、ようにされてもよい。また、例えば、情報挿入部は、ストリーム識別子情報をオーディオストリームに挿入する場合、このストリーム識別子情報を所定数のオーディオストリームのそれぞれのＰＥＳパケットのＰＥＳペイロード内に挿入する、ようにされてもよい。
　また、例えば、ストリーム対応関係情報は、複数のグループの符号化データのそれぞれを識別するグループ識別子と所定数のオーディオストリームのそれぞれをパケット化する際に付されるパケット識別子との対応関係を示す情報である、ようにされてもよい。また、例えば、ストリーム対応関係情報は、複数のグループの符号化データのそれぞれを識別するグループ識別子と所定数のオーディオストリームのそれぞれのストリームタイプを示すタイプ情報との対応関係を示す情報である、ようにされてもよい。
　また、本技術の他の概念は、
　複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
　上記受信されたコンテナが有する上記所定数のオーディオストリームを、上記属性情報に基づいて処理する処理部をさらに備える
　受信装置にある。
　本技術において、受信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナが受信される。例えば、複数のグループの符号化データには、チャネル符号化データおよびオブジェクト符号化データのいずれかまたは双方が含まれる、ようにされてもよい。コンテナのレイヤおよび/またはオーディオストリームのレイヤに、複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されている。処理部により、受信されたコンテナが有する所定数のオーディオストリームが、その属性情報に基づいて処理される。
　このように本技術においては、コンテナのレイヤおよび/またはオーディオストリームのレイヤに挿入されている複数のグループの符号化データのそれぞれの属性を示す属性情報に基づいて、受信されたコンテナが有する所定数のオーディオストリームの処理が行われる。そのため、必要なグループの符号化データのみを選択的に復号化して用いることができ、処理負荷を軽減することが可能となる。
　なお、本技術において、例えば、コンテナのレイヤおよび/またはオーディオストリームのレイヤには、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報がさらに挿入されており、処理部は、属性情報の他に、ストリーム対応関係情報に基づいて所定数のオーディオストリームを処理する、ようにされてもよい。この場合、必要なグループの符号化データが含まれるオーディオストリームを容易に認識でき、処理負荷を軽減することが可能となる。
　また、本技術において、例えば、処理部は、属性情報およびストリーム対応関係情報に基づいて、スピーカ構成およびユーザ選択情報に適合する属性を持つグループの符号化データを含むオーディオストリームに対して選択的にデコード処理を施す、ようにされてもよい。
　また、本技術のさらに他の概念は、
　複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
　上記受信されたコンテナが有する上記所定数のオーディオストリームから上記属性情報に基づいて所定のグループの符号化データを選択的に取得し、該所定のグループの符号化データを含むオーディオストリームを再構成する処理部と、
　上記処理部で再構成されたオーディオストリームを外部機器に送信するストリーム送信部をさらに備える
　受信装置にある。
　本技術において、受信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナが受信される。コンテナのレイヤおよび/またはオーディオストリームのレイヤに、複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されている。処理部により、所定数のオーディオストリームから属性情報に基づいて所定のグループの符号化データが選択的に取得され、この所定のグループの符号化データを含むオーディオストリームが再構成される。そして、ストリーム送信部により、再構成されたオーディオストリームが外部機器に送信される。
　このように本技術においては、コンテナのレイヤおよび/またはオーディオストリームのレイヤに挿入されている複数のグループの符号化データのそれぞれの属性を示す属性情報に基づいて、所定数のオーディオストリームから所定のグループの符号化データが選択的に取得されて、外部機器に送信すべきオーディオストリームが再構成される。必要なグループの符号化データの取得を容易に行うことができ、処理負荷を軽減することが可能となる。
　なお、本技術において、例えば、コンテナのレイヤおよび/またはオーディオストリームのレイヤには、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報がさらに挿入されており、処理部は、属性情報の他に、ストリーム対応関係情報に基づいて、所定数のオーディオストリームから所定のグループの符号化データを選択的に取得する、ようにされてもよい。この場合、所定グループの符号化データが含まれるオーディオストリームを容易に認識でき、処理負荷を軽減することが可能となる。
　本技術によれば、複数種類のオーディデータを送信する場合にあって受信側の処理負荷を軽減することが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 ３Ｄオーディオの伝送データにおけるオーディオフレーム（１０２４サンプル）の構造を示す図である。 ３Ｄオーディオの伝送データの構成例を示す図である。 ３Ｄオーディオの伝送データを１ストリームで送信する場合および複数ストリームで送信する場合におけるオーディオフレームの構成例を概略的に示す図である。 ３Ｄオーディオの伝送データの構成例において、２ストリームで送信する場合のグループ分割例を示す図である。 グループ分割例（２分割）におけるグループとストリームの対応関係などを示す図である。 ３Ｄオーディオの伝送データの構成例において、２ストリームで送信する場合のグループ分割例を示す図である。 グループ分割例（２分割）におけるグループとストリームの対応関係などを示す図である。 サービス送信機が備えるストリーム生成部の構成例を示すブロック図である。 ３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタの構造例を示す図である。 ３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタの構造例における主要な情報の内容を示している。 「contentKind」に定義されているコンテンツの種類を示す図である。 ３Ｄオーディオ・ストリームＩＤ・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。 トランスポートストリームの構成例を示す図である。 サービス受信機の構成例を示すブロック図である。 受信オーディオストリームの一例を示す図である。 デスクリプタ情報がオーディオストリーム中に存在しない場合におけるデコード処理を概略的に示す図である。 デスクリプタ情報がオーディオストリーム中に存在しない場合におけるオーディオストリームのオーディオアクセスユニット（オーディオフレーム）の構成例を示す図である。 デスクリプタ情報がオーディオストリーム中に存在する場合におけるデコード処理を概略的に示す図である。 デスクリプタ情報がオーディオストリーム中に存在する場合におけるオーディオストリームのオーディオアクセスユニット（オーディオフレーム）の構成例を示す図である。 デスクリプタ情報がオーディオストリーム中に存在する場合におけるオーディオストリームのオーディオアクセスユニット（オーディオフレーム）の他の構成例を示す図である。 サービス受信機におけるＣＰＵのオーディオデコード制御処理の一例を示すフローチャート（１/２）である。 サービス受信機におけるＣＰＵのオーディオデコード制御処理の一例を示すフローチャート（２/２）である。 サービス受信機の他の構成例を示すブロック図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［送受信システムの構成例］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、サービス送信機１００とサービス受信機２００により構成されている。サービス送信機１００は、トランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳは、ビデオストリームと、複数のグループの符号化データを含む所定数、つまり一つまたは複数のオーディオストリームを有している。
　図２は、この実施の形態で取り扱う３Ｄオーディオの伝送データにおけるオーディオフレーム（１０２４サンプル）の構造を示している。このオーディオフレームは、複数のＭＰＥＧオーディオストリームパケット（mpeg Audio Stream Packet）からなっている。各ＭＰＥＧオーディオストリームパケットは、ヘッダ（Header）とペイロード（Payload）により構成されている。
　ヘッダは、パケットタイプ（Packet Type）、パケットラベル（Packet Label）、パケットレングス（Packet Length）などの情報を持つ。ペイロードには、ヘッダのパケットタイプで定義された情報が配置される。このペイロード情報には、同期スタートコードに相当する“ＳＹＮＣ”と、３Ｄオーディオの伝送データの実際のデータである“Ｆｒａｍｅ”と、この“Ｆｒａｍｅ”の構成を示す“Ｃｏｎｆｉｇ”が存在する。
　“Ｆｒａｍｅ”には、３Ｄオーディオの伝送データを構成するチャネル符号化データとオブジェクト符号化データが含まれる。ここで、チャネル符号化データは、ＳＣＥ（Single Channel Element）、ＣＰＥ（Channel Pair Element）、ＬＦＥ（Low Frequency Element）などの符号化サンプルデータで構成される。また、オブジェクト符号化データは、ＳＣＥ（Single Channel Element）の符号化サンプルデータと、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータにより構成される。このメタデータは、エクステンションエレメント（Ext_element）として含まれる。
　図３は、３Ｄオーディオの伝送データの構成例を示している。この例では、１つのチャネル符号化データと２つのオブジェクト符号化データとからなっている。１つのチャネル符号化データは、５．１チャネルのチャネル符号化データ（ＣＤ）であり、ＳＣＥ１，ＣＰＥ１．１，ＣＰＥ１．２，ＬＦＥ１の各符号化サンプルデータからなっている。
　２つのオブジェクト符号化データは、イマーシブオーディオオブジェクト（ＩＡＯ：Immersive audio object）およびスピーチダイアログオブジェクト（ＳＤＯ：Speech Dialog object）の符号化データである。イマーシブオーディオオブジェクト符号化データは、イマーシブサウンドのためのオブジェクト符号化データであり、符号化サンプルデータＳＣＥ２と、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータＥＸＥ＿Ｅｌ（Object metadata）２とからなっている。
　スピーチダイアログオブジェクト符号化データは、スピーチランゲージのためのオブジェクト符号化データである。この例では、第１、第２の言語のそれぞれに対応したスピーチダイアログオブジェクト符号化データが存在する。第１の言語に対応したスピーチダイアログオブジェクト符号化データは、符号化サンプルデータＳＣＥ３と、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータＥＸＥ＿Ｅｌ（Object metadata）３とからなっている。また、第２の言語に対応したスピーチダイアログオブジェクト符号化データは、符号化サンプルデータＳＣＥ４と、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータＥＸＥ＿Ｅｌ（Object metadata）４とからなっている。
　符号化データは、種類別にグループ（Group）という概念で区別される。図示の例では、５．１チャネルの符号化チャネルデータはグループ１とされ、イマーシブオーディオオブジェクト符号化データはグループ２とされ、第１の言語に係るスピーチダイアログオブジェクト符号化データはグループ３とされ、第２の言語に係るスピーチダイアログオブジェクト符号化データはグループ４とされている。
　また、受信側においてグループ間で選択できるものはスイッチグループ（SW Group）に登録されて符号化される。また、グループを束ねてプリセットグループ（preset Group）とされ、ユースケースに応じた再生が可能とされる。図示の例では、グループ１、グループ２およびグループ３が束ねられてプリセットグループ１とされ、グループ１、グループ２およびグループ４が束ねられてプリセットグループ２とされている。
　図１に戻って、サービス送信機１００は、上述したように複数のグループの符号化データを含む３Ｄオーディオの伝送データを、１ストリーム、あるいは複数ストリーム（Multiple stream）で送信する。
　図４（ａ）は、図３の３Ｄオーディオの伝送データの構成例において、１ストリーム（メインストリーム）で送信する場合におけるオーディオフレームの構成例を概略的に示している。この場合、この１ストリームに、“ＳＹＮＣ”および“Ｃｏｎｆｉｇ”と共に、チャネル符号化データ（ＣＤ）、イマーシブオーディオオブジェクト符号化データ（ＩＡＯ）、スピーチダイアログオブジェクト符号化データ（ＳＤＯ）が含まれる。
　図４（ｂ）は、図３の３Ｄオーディオの伝送データの構成例において、複数ストリームここでは２ストリームで送信する場合におけるオーディオフレームの構成例を概略的に示している。この場合、メインストリームに、“ＳＹＮＣ”および“Ｃｏｎｆｉｇ”と共に、チャネル符号化データ（ＣＤ）とイマーシブオーディオオブジェクト符号化データ（ＩＡＯ）が含まれる。また、サブストリームに、“ＳＹＮＣ”および“Ｃｏｎｆｉｇ”と共に、スピーチダイアログオブジェクト符号化データ（ＳＤＯ）が含まれる。
　図５は、図３の３Ｄオーディオの伝送データの構成例において、２ストリームで送信する場合のグループ分割例を示している。この場合、メインストリームには、グループ１として区別されるチャネル符号化データ（ＣＤ）と、グループ２として区別されるイマーシブオーディオオブジェクト符号化データ（ＩＡＯ）が含まれる。また、サブストリームには、グループ３として区別される第１の言語のスピーチダイアログオブジェクト符号化データ（ＳＤＯ）と、グループ４として区別される第２の言語のスピーチダイアログオブジェクト符号化データ（ＳＤＯ）が含まれる。
　図６は、図５のグループ分割例（２分割）におけるグループとストリームの対応関係などを示している。ここで、グループＩＤ（group ID）は、グループを識別するための識別子である。アトリビュート（attribute）は、各グループの符号化データの属性を示している。スイッチグループＩＤ（switch Group ID）は、スイッチンググループを識別するための識別子である。リセットグループＩＤ（preset Group ID）は、プリセットグループを識別するための識別子である。ストリームＩＤ（sub Stream ID）は、サブストリームを識別するための識別子である。カインド（Kind）は、各グループのコンテンツの種類を示している。
　図示の対応関係は、グループ１に属する符号化データは、チャネル符号化データであって、スイッチグループを構成しておらず、ストリーム１に含まれている、ことを示している。また、図示の対応関係は、グループ２に属する符号化データは、イマーシブサウンドのためのオブジェクト符号化データ（イマーシブオーディオオブジェクト符号化データ）であって、スイッチグループを構成しておらず、ストリーム１に含まれている、ことを示している。
　また、図示の対応関係は、グループ３に属する符号化データは、第１の言語のスピーチランゲージのためのオブジェクト符号化データ（スピーチダイアログオブジェクト符号化データ）であって、スイッチグループ１を構成しており、ストリーム２に含まれている、ことを示している。また、図示の対応関係は、グループ４に属する符号化データは、第２の言語のスピーチランゲージのためのオブジェクト符号化データ（スピーチダイアログオブジェクト符号化データ）であって、スイッチグループ１を構成しており、ストリーム２に含まれている、ことを示している。
　また、図示の対応関係は、プリセットグループ１は、グループ１、グループ２およびグループ３を含む、ことが示されている。さらに、図示の対応関係は、プリセットグループ２は、グループ１、グループ２およびグループ４を含む、ことが示されている。
　図７は、３Ｄオーディオの伝送データの構成例において、２ストリームで送信する場合のグループ分割例を示している。この場合、メインストリームには、グループ１として区別されるチャネル符号化データ（ＣＤ）と、グループ２として区別されるイマーシブオーディオオブジェクト符号化データ（ＩＡＯ）が含まれる。
　また、このメインストリームには、グループ５として区別されるＳＡＯＣ（Spatial Audio Object Coding）オブジェクト符号化データと、グループ６として区別されるＨＯＡ（Higher Order Ambisonics）オブジェクト符号化データが含まれる。ＳＡＯＣオブジェクト符号化データは、オブジェクトデータの特性を利用して、オブジェクト符号化のより高圧縮を行うためのデータである。ＨＯＡオブジェクト符号化データは、３Ｄサウンドを音場全体として扱う技術で、マイクへの音の到来方向から聴覚位置に音の方向の再現を目指すためのデータである。
　サブストリームには、グループ３として区別される第１の言語のスピーチダイアログオブジェクト符号化データ（ＳＤＯ）と、グループ４として区別される第２の言語のスピーチダイアログオブジェクト符号化データ（ＳＤＯ）が含まれる。また、このサブストリームには、グループ７として区別される第１のオーディオデスクリプション符号化データと、グループ８として区別される第２のオーディオデスクリプション符号化データが含まれる。オーディオデスクリプション符号化データは、コンテンツ（主に映像）の解説を音声で行うためのデータで、主に視覚障害者向けに通常の音声とは別に伝送するためのデータである。
　図８は、図７のグループ分割例（２分割）におけるグループとサブストリームの対応関係などを示している。図示の対応関係は、グループ１に属する符号化データは、チャネル符号化データであって、スイッチグループを構成しておらず、ストリーム１に含まれている、ことを示している。また、図示の対応関係は、グループ２に属する符号化データは、イマーシブサウンドのためのオブジェクト符号化データ（イマーシブオーディオオブジェクト符号化データ）であって、スイッチグループを構成しておらず、ストリーム１に含まれている、ことを示している。
　また、図示の対応関係は、グループ３に属する符号化データは、第１の言語のスピーチランゲージのためのオブジェクト符号化データ（スピーチダイアログオブジェクト符号化データ）であって、スイッチグループ１を構成しており、ストリーム２に含まれている、ことを示している。また、図示の対応関係は、グループ４に属する符号化データは、第２の言語のスピーチランゲージのためのオブジェクト符号化データ（スピーチダイアログオブジェクト符号化データ）であって、スイッチグループ１を構成しており、ストリーム２に含まれている、ことを示している。
　また、図示の対応関係は、グループ５に属する符号化データは、ＳＡＯＣオブジェクト符号化データであって、スイッチグループ２を構成しており、ストリーム１に含まれている、ことを示している。また、図示の対応関係は、グループ６に属する符号化データは、ＨＯＡオブジェクト符号化データであって、スイッチグループ２を構成しており、ストリーム１に含まれている、ことを示している。
　また、図示の対応関係は、グループ７に属する符号化データは、第１のオーディオデスクリプションのオブジェクト符号化データであって、スイッチグループ３を構成しており、ストリーム２に含まれている、ことを示している。また、図示の対応関係は、グループ８に属する符号化データは、第２のオーディオデスクリプションのオブジェクト符号化データであって、スイッチグループ３を構成しており、ストリーム２に含まれている、ことを示している。
　また、図示の対応関係は、プリセットグループ１は、グループ１、グループ２、グループ３およびグループ７を含む、ことが示されている。さらに、図示の対応関係は、プリセットグループ２は、グループ１、グループ２、グループ４およびグループ８を含む、ことが示されている。
　図１に戻って、サービス送信機１００は、コンテナのレイヤに、３Ｄオーディオの伝送データに含まれる複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する。また、サービス送信機１００は、コンテナのレイヤに、この複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報を挿入する。この実施の形態において、このストリーム対応関係情報は、例えば、グループＩＤとストリーム識別子との対応関係を示す情報とされる。
　サービス送信機１００は、これらの属性情報およびストリーム対応関係情報を、例えば、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に存在する所定数のオーディオストリームのうち１つ以上のオーディオストリームに対応したオーディオエレメンタリストリームループ内にデスクリプタとして挿入する。
　また、サービス送信機１００は、コンテナのレイヤに、所定数のオーディオストリームのそれぞれのストリーム識別子を示すストリーム識別子情報を挿入する。サービス送信機１００は、このストリーム識別子情報を、例えば、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に存在する所定数のオーディオストリームのそれぞれに対応したオーディオエレメンタリストリームループ内にデスクリプタとして挿入する。
　また、サービス送信機１００は、オーディオストリームのレイヤに、３Ｄオーディオの伝送データに含まれる複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する。また、サービス送信機１００は、オーディオストリームのレイヤに、この複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報を挿入する。サービス送信機１００は、これらの属性情報およびストリーム対応関係情報を、例えば、所定数のオーディオストリームのうち１つ以上のオーディオストリームのＰＥＳパケットのＰＥＳペイロードに挿入する。
　また、サービス送信機１００は、オーディオストリームのレイヤに、所定数のオーディオストリームのそれぞれのストリーム識別子を示すストリーム識別子情報を挿入する。サービス送信機１００は、このストリーム識別子情報を、例えば、所定数のオーディオストリームのそれぞれのＰＥＳパケットのＰＥＳペイロードに挿入する。
　サービス送信機１００は、これらのオーディオストリームのレイヤへの情報挿入を、図４（ａ），（ｂ）に示すように、“ＳＹＮＣ”と“Ｃｏｎｆｉｇ”の間に、“Ｄｅｓｃ”、つまりデスクリプタ情報を挿入することで行う。
　なお、この実施の形態においては、コンテナのレイヤおよびオーディオストリームのレイヤの双方に、上述したように各情報（属性情報、ストリーム対応関係情報、ストリーム識別子情報）を挿入する例を示したが、コンテナのレイヤのみ、あるいはオーディオストリームのレイヤのみに各情報を挿入することも考えられる。
　サービス受信機２００は、サービス送信機１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、上述したように、ビデオストリームの他に、３Ｄオーディオの伝送データを構成する複数のグループの符号化データを含む所定数のオーディオストリームを有している。
　そして、コンテナのレイヤおよび/またはオーディオストリームのレイヤに、３Ｄオーディオの伝送データに含まれる複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されていると共に、この複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報が挿入されている。
　サービス受信機２００は、属性情報およびストリーム対応関係情報に基づいて、スピーカ構成およびユーザ選択情報に適合する属性を持つグループの符号化データを含むオーディオストリームに対して選択的にデコード処理を行って、３Ｄオーディオのオーディオ出力を得る。
　［サービス送信機のストリーム生成部］
　図９は、サービス送信機１００が備えるストリーム生成部１１０の構成例を示している。このストリーム生成部１１０は、ビデオエンコーダ１１２と、オーディオエンコーダ１１３と、マルチプレクサ１１４を有している。ここでは、オーディオの伝送データが、図３に示すように、１つの符号化チャネルデータと２つのオブジェクト符号化データとからなる例とする。
　ビデオエンコーダ１１２は、ビデオデータＳＶを入力し、このビデオデータＳＶに対して符号化を施し、ビデオストリーム（ビデオエレメンタリストリーム）を生成する。オーディオエンコーダ１１３は、オーディオデータＳＡとして、チャネルデータと共に、イマーシブオーディオおよびスピーチダイアログのオブジェクトデータを入力する。
　オーディオエンコーダ１１３は、オーディオデータＳＡに対して符号化を施し、３Ｄオーディオの伝送データを得る。この３Ｄオーディオの伝送データには、図３に示すように、チャネル符号化データ（ＣＤ）と、イマーシブオーディオオブジェクト符号化データ（ＩＡＯ）と、スピーチダイアログオブジェクト符号化データ（ＳＤＯ）が含まれる。
　オーディオエンコーダ１１３は、複数のグループ、ここでは４つのグループの符号化データ含む１つまたは複数のオーディオストリーム（オーディオエレメンタリストリーム）を生成する（図４（ａ），（ｂ）参照）。このとき、オーディオエンコーダ１１３は、“ＳＹＮＣ”と“Ｃｏｎｆｉｇ”の間に、上述したように属性情報、ストリーム対応関係情報、さらにはストリーム識別子情報を含むデスクリプタ情報（“Ｄｅｓｃ”）を挿入する。
　マルチプレクサ１１４は、ビデオエンコーダ１１２から出力されるビデオストリームおよびオーディオエンコーダ１１３から出力される所定数のオーディオストリームを、それぞれ、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
　また、マルチプレクサ１１４は、プログラムマップテーブル（ＰＭＴ）の配下に、複数のグループの符号化データのそれぞれの属性を示す属性情報と、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報を挿入する。マルチプレクサ１１４は、これらの情報を、所定数のオーディオストリームのうち少なくとも１つ以上のオーディオストリームに対応したオーディオ・エレメンタリストリームループ内に、３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタ（3Daudio_stream_config_descriptor）を用いて挿入する。このデスクリプタの詳細については後述する。
　また、マルチプレクサ１１４は、プログラムマップテーブル（ＰＭＴ）の配下に、所定数のオーディオストリームのそれぞれのストリーム識別子を示すストリーム識別子情報を挿入する。マルチプレクサ１１４は、この情報を、所定数のオーディオストリームのそれぞれに対応したオーディオ・エレメンタリストリームループ内に、３Ｄオーディオ・ストリームＩＤ・デスクリプタ（3Daudio_substreamID_descriptor）を用いて挿入する。このデスクリプタの詳細については後述する。
　図９に示すストリーム生成部１１０の動作を簡単に説明する。ビデオデータは、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、ビデオデータＳＶに対して符号化が施され、符号化ビデオデータを含むビデオストリームが生成される。このビデオストリームは、マルチプレクサ１１４に供給される。
　オーディオデータＳＡは、オーディオエンコーダ１１３に供給される。このオーディオデータＳＡには、チャネルデータと、イマーシブオーディオおよびスピーチダイアログのオブジェクトデータが含まれる。オーディオエンコーダ１１３では、オーディオデータＳＡに対して符号化が施され、３Ｄオーディオの伝送データが得られる。
　この３Ｄオーディオの伝送データには、チャネル符号化データ（ＣＤ）の他に、イマーシブオーディオオブジェクト符号化データ（ＩＡＯ）と、スピーチダイアログオブジェクト符号化データ（ＳＤＯ）が含まれる（図３参照）。そして、このオーディオエンコーダ１１３では、４つのグループの符号化データ含む１つまたは複数のオーディオストリームが生成される（図４（ａ），（ｂ）参照）。
　このとき、オーディオエンコーダ１１３では、“ＳＹＮＣ”と“Ｃｏｎｆｉｇ”の間に、上述した属性情報、ストリーム対応関係情報およびストリーム識別子情報などを含むデスクリプタ情報（“Ｄｅｓｃ”）が挿入される。
　ビデオエンコーダ１１２で生成されたビデオストリームは、マルチプレクサ１１４に供給される。また、オーディオエンコーダ１１３で生成されたオーディオストリームは、マルチプレクサ１１４に供給される。マルチプレクサ１１４では、各エンコーダから供給されるストリームがＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
　また、マルチプレクサ１１４では、例えば所定のオーディオストリームのうち少なくとも１つ以上のオーディオストリームに対応したオーディオエレメンタリストリームループ内に、３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタが挿入される。このデスクリプタには、複数のグループの符号化データのそれぞれの属性を示す属性情報と、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報が含まれている。
　また、デスクリプタ１１４では、所定数のオーディオストリームのそれぞれに対応したオーディオエレメンタリストリームループ内に、３Ｄオーディオ・ストリームＩＤ・デスクリプタが挿入される。このデスクリプタには、所定数のオーディオストリームのそれぞれのストリーム識別子を示すストリーム識別子情報が含まれている。
　［３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタの詳細］
　図１０は、３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタ（3Daudio_stream_config_descriptor）の構造例（Syntax）を示している。また、図１１は、その構造例における主要な情報の内容（Semantics）を示している。
　「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
　「NumOfGroups, N」の８ビットフィールドは、グループの数を示す。「NumOfPresetGroups, P」の８ビットフィールドは、プリセットグループの数を示す。グループの数だけ、「groupID」の８ビットフィールド、「attribute_of_groupID」の８ビットフィールド、「SwitchGroupID」の８ビットフィールドおよび「audio_streamID」の８ビットフィールドが、繰り返えされる。
　「groupID」のフィールドは、グループの識別子を示す。「attribute_of_groupID」のフィールドは、該当グループの符号化データの属性を示す。「SwitchGroupID」のフィールドは、該当グループがどのスイッチグループに属すかを示す識別子である。“０”は、いずれのスイッチグループにも属さないことを示す。“０”以外は、配属するスイッチグループを示す。「contentKind」の８ビットフィールドは、グループのコンテンツの種類を示す。「audio_streamID」は、該当グループが含まれるオーディオストリームを示す識別子である。図１２は、「contentKind」に定義されているコンテンツの種類を示している。
　また、プリセットグループの数だけ、「presetGroupID」の８ビットフィールドおよび「NumOfGroups_in_preset, R」の８ビットフィールドが、繰り返される。「presetGroupID」のフィールドは、グループをプリセットした束を示す識別子である。「NumOfGroups_in_preset, R」のフィールドは、プリセットグループに属するグループの数を示す。そして、プリセットグループ毎に、それに属するグループの数だけ、「groupID」の８ビットフィールドが繰り返され、プリセットグループに属するグループが示される。本デスクリプタは、拡張デスクリプタの配下に配置されてもよい。
　［３Ｄオーディオ・ストリームＩＤ・デスクリプタの詳細］
　図１３（ａ）は、３Ｄオーディオ・ストリームＩＤ・デスクリプタ（3Daudio_substreamID_descriptor）の構造例（Syntax）を示している。また、図１３（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。
　「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、３Ｄオーディオ・ストリームＩＤ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。「audio_streamID」の８ビットフィールドは、オーディオストリームの識別子を示す。本デスクリプタは、拡張デスクリプタの配下に配置されてもよい。
　[トランスポートストリームＴＳの構成]
　図１４は、トランスポートストリームＴＳの構成例を示している。この構成例は、３Ｄオーディオの伝送データを２ストリームで送信する場合に対応している（図５参照）。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES」が存在する。また、この構成例では、ＰＩＤ２，ＰＩＤ３でそれぞれ識別される２つのオーディオストリームのＰＥＳパケット「audio PES」が存在する。ＰＥＳパケットは、ＰＥＳヘッダ（PES_header）とＰＥＳペイロード（PES_payload）からなっている。ＰＥＳヘッダには、ＤＴＳ，ＰＴＳのタイムスタンプが挿入されている。多重化の際にＰＩＤ２とＰＩＤ３のタイムスタンプを合致させるなど、的確に付すことで両者の間の同期をシステム全体で確保することが可能である。
　ここで、ＰＩＤ２で識別されるオーディオストリームのＰＥＳパケット「audio PES」には、グループ１として区別されるチャネル符号化データ（ＣＤ）とグループ２として区別されるイマーシブオーディオオブジェクト符号化データ（ＩＡＯ）が含まれる。また、ＰＩＤ３で識別されるオーディオストリームのＰＥＳパケット「audio PES」には、グループ３として区別される第１の言語のスピーチダイアログオブジェクト符号化データ（ＳＤＯ）と、グループ４として区別される第２の言語のスピーチダイアログオブジェクト符号化データ（ＳＤＯ）が含まれる。
　また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。
　また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリームループ（video ES loop）が存在すると共に、２つのオーディオストリームに対応したオーディオエレメンタリストリームループ（audio ES loop）が存在する
　ビデオエレメンタリストリームループ（video ES loop）には、ビデオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は「０ｘ２４」に設定され、ＰＩＤ情報は、上述したようにビデオストリームのＰＥＳパケット「video PES」に付与されるＰＩＤ１を示すものとされる。デスクリプタの一つして、ＨＥＶＣ デスクリプタが配置される。
　各オーディオエレメンタリストリームループ（audio ES loop）には、オーディオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのオーディオストリームに関連する情報を記述するデスクリプタも配置される。ＰＩＤ２はメインのオーディオストリームで、「Stream_type」の値は「０ｘ２Ｃ」に設定され、ＰＩＤ情報は、上述したようにオーディオストリームのＰＥＳパケット「audio PES」に付与されるＰＩＤを示すものとされる。また、ＰＩＤ３はサブのオーディオストリームで、「Stream_type」の値は「０ｘ２Ｄ」に設定され、ＰＩＤ情報は、上述したようにオーディオストリームのＰＥＳパケット「audio PES」に付与されるＰＩＤを示すものとされる。
　また、各オーディオエレメンタリストリームループ（audio ES loop）には、上述した３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタおよび３Ｄオーディオ・ストリームＩＤ・デスクリプタの双方が配置される。
　また、各オーディオエレメンタリストリームのＰＥＳパケットのＰＥＳペイロード内にはデスクリプタ情報が挿入される。このデスクリプタ情報は、上述したように、“ＳＹＮＣ”と“Ｃｏｎｆｉｇ”の間に挿入される“Ｄｅｓｃ”である（図４参照）。このデスクリプタ情報は、３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタに含まれる情報をＤ１とし、３Ｄオーディオ・ストリームＩＤ・デスクリプタに含まれる情報をＤ２とすると、「Ｄ１＋Ｄ２」の情報を持つ。
　［サービス受信機の構成例］
　図１５は、サービス受信機２００の構成例を示している。このサービス受信機２００は、受信部２０１と、デマルチプレクサ２０２と、ビデオデコーダ２０３と、映像処理回路２０４と、パネル駆動回路２０５と、表示パネル２０６を有している。また、このサービス受信機２００は、多重化バッファ２１１-1～２１１-Nと、コンバイナ２１２と、３Ｄオーディオデコーダ２１３と、音声出力処理回路２１４と、スピーカシステム２１５を有している。また、このサービス受信機２００は、ＣＰＵ２２１と、フラッシュＲＯＭ２２２と、ＤＲＡＭ２２３と、内部バス２２４と、リモコン受信部２２５と、リモコン送信機２２６を有している。
　ＣＰＵ２２１は、サービス受信機２００の各部の動作を制御する。フラッシュＲＯＭ２２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２２３は、ＣＰＵ２２１のワークエリアを構成する。ＣＰＵ２２１は、フラッシュＲＯＭ２２２から読み出したソフトウェアやデータをＤＲＡＭ２２３上に展開してソフトウェアを起動させ、サービス受信機２００の各部を制御する。
　リモコン受信部２２５は、リモコン送信機２２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２２１に供給する。ＣＰＵ２２１は、このリモコンコードに基づいて、サービス受信機２００の各部を制御する。ＣＰＵ２２１、フラッシュＲＯＭ２２２およびＤＲＡＭ２２３は、内部バス２２４に接続されている。
　受信部２０１は、サービス送信機１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、ビデオストリームの他に、３Ｄオーディオの伝送データを構成する複数のグループの符号化データを含む所定数のオーディオストリームを有している。
　図１６は、受信されるオーディオストリームの一例を示している。図１６（ａ）は、１ストリーム（メインストリーム）の例を示している。このストリームに、“ＳＹＮＣ”および“Ｃｏｎｆｉｇ”と共に、チャネル符号化データ（ＣＤ）、イマーシブオーディオオブジェクト符号化データ（ＩＡＯ）、スピーチダイアログオブジェクト符号化データ（ＳＤＯ）が含まれている。このストリームは、ＰＩＤ２で識別される。
　また、“ＳＹＮＣ”と“Ｃｏｎｆｉｇ”の間に、デスクリプタ情報（“Ｄｅｓｃ”）が含まれている。このデスクリプタ情報には、複数のグループの符号化データのそれぞれの属性を示す属性情報と、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれているかを示すストリーム対応関係情報と、自身のストリーム識別子を示すストリーム識別子情報が挿入されている。
　図１６（ｂ）は、２ストリームの例を示している。ＰＩＤ２で識別されるメインストリームに、“ＳＹＮＣ”および“Ｃｏｎｆｉｇ”と共に、チャネル符号化データ（ＣＤ）およびイマーシブオーディオオブジェクト符号化データ（ＩＡＯ）が含まれている。また、ＰＩＤ３で識別されるサブストリームに、“ＳＹＮＣ”および“Ｃｏｎｆｉｇ”と共に、スピーチダイアログオブジェクト符号化データ（ＳＤＯ）が含まれている。
　また、各ストリームにおいて、ＳＹＮＣ”と“Ｃｏｎｆｉｇ”の間に、デスクリプタ情報（“Ｄｅｓｃ”）が含まれている。このデスクリプタ情報には、複数のグループの符号化データのそれぞれの属性を示す属性情報と、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれているかを示すストリーム対応関係情報と、自身のストリーム識別子を示すストリーム識別子情報が挿入されている。
　デマルチプレクサ２０２は、トランスポートストリームＴＳからビデオストリームのパケットを抽出し、ビデオデコーダ２０３に送る。ビデオデコーダ２０３は、デマルチプレクサ２０２で抽出されたビデオのパケットからビデオストリームを再構成し、デコード処理を行って非圧縮のビデオデータを得る。
　映像処理回路２０４は、ビデオデコーダ２０３で得られたビデオデータに対してスケーリング処理、画質調整処理などを行って、表示用のビデオデータを得る。パネル駆動回路２０５は、映像処理回路２０４で得られる表示用の画像データに基づいて、表示パネル２０６を駆動する。表示パネル２０６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などで構成されている。
　また、デマルチプレクサ２０２は、トランスポートストリームＴＳからデスクリプタ情報などの各種情報を抽出し、ＣＰＵ２２１に送る。この各種情報には、上述した３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタ（3Daudio_stream_config_descriptor）や３Ｄオーディオ・ストリームＩＤ・デスクリプタ（3Daudio_substreamID_descriptor）の情報も含まれる（図１４参照）。
　ＣＰＵ２２１は、これらのデスクリプタ情報に含まれている、各グループの符号化データの属性を示す属性情報、各グループがどのオーディオストリームに含まれるかを示すストリーム関係情報などに基づいて、スピーカ構成および視聴者（ユーザ）選択情報に適合する属性を持つグループの符号化データが含まれるオーディオストリームを認識する。
　また、デマルチプレクサ２０２は、ＣＰＵ２２１の制御のもと、トランスポートストリームＴＳが有する所定数のオーディオストリームのうち、スピーカ構成および視聴者（ユーザ）選択情報に適合する属性を持つグループの符号化データを含む一つまたは複数のオーディオストリームのパケットをＰＩＤフィルタで選択的に取り出す。
　多重化バッファ２１１-1～２１１-Nは、それぞれ、デマルチプレクサ２０２で取り出される各オーディオストリームを取り込む。ここで、多重化バッファ２１１-1～２１１-Nの個数Ｎとしては必要十分な個数とされるが、実際の動作では、デマルチプレクサ２０２で取り出されるオーディオストリームの数だけ用いられることになる。
　コンバイナ２１２は、多重化バッファ２１１-1～２１１-Nのうちデマルチプレクサ２０２で取り出される各オーディオストリームがそれぞれ取り込まれた多重化バッファから、オーディオフレーム毎に、オーディオストリームを読み出し、３Ｄオーディオデコーダ２１３に送る。
　３Ｄオーディオデコーダ２１３は、コンバイナ２１２から供給されるオーディオストリームにデスクリプタ情報（“Ｄｅｓｃ”）が含まれている場合には、そのデスクリプタ情報をＣＰＵ２２１に送る。３Ｄオーディオデコーダ２１３は、ＣＰＵ２２１の制御のもと、スピーカ構成および視聴者（ユーザ）選択情報に適合する属性を持つグループの符号化データを選択的に取り出して、デコード処理を施し、スピーカシステム２１５の各スピーカを駆動するためのオーディオデータを得る。
　ここで、デコード処理される符号化データは、チャネル符号化データのみを含む場合、オブジェクト符号化データのみを含む場合、さらにはチャネル符号化データおよびオブジェクト符号化データの双方を含む場合の３通りが考えられる。
　３Ｄオーディオデコーダ２１３は、チャネル符号化データをデコードするときは、スピーカシステム２１５のスピーカ構成へのダウンミックスやアップミックスの処理を行って、各スピーカを駆動するためのオーディオデータを得る。また、３Ｄオーディオデコーダ２１３は、オブジェクト符号化データをデコードするときは、オブジェクト情報（メタデータ）に基づきスピーカレンダリング（各スピーカへのミキシング割合）を計算し、その計算結果に応じて、オブジェクトのオーディオデータを、各スピーカを駆動するためのオーディオデータにミキシングする。
　音声出力処理回路２１４は、３Ｄオーディオデコーダ２１３で得られた各スピーカを駆動するためのオーディオデータに対して、Ｄ／Ａ変換や増幅等の必要な処理を行って、スピーカシステム２１５に供給する。スピーカシステム２１５は、複数チャネル、例えば２チャネル、５．１チャネル、７．１チャネル、２２．２チャネルなどの複数のスピーカを備える。
　図１５に示すサービス受信機２００の動作を簡単に説明する。受信部２０１では、サービス送信機１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、ビデオストリームの他に、３Ｄオーディオの伝送データを構成する複数のグループの符号化データを含む所定数のオーディオストリームを有している。このトランスポートストリームＴＳは、デマルチプレクサ２０２に供給される。
　デマルチプレクサ２０２では、トランスポートストリームＴＳからビデオストリームのパケットが抽出され、ビデオデコーダ２０３に供給される。ビデオデコーダ２０３では、デマルチプレクサ２０２で抽出されたビデオのパケットからビデオストリームが再構成され、デコード処理が行われて、非圧縮のビデオデータが得られる。このビデオデータは、映像処理回路２０４に供給される。
　映像処理回路２０４では、ビデオデコーダ２０３で得られたビデオデータに対してスケーリング処理、画質調整処理などが行われて、表示用のビデオデータが得られる。この表示用のビデオデータはパネル駆動回路２０５に供給される。パネル駆動回路２０５では、表示用のビデオデータに基づいて、表示パネル２０６を駆動することが行われる。これにより、表示パネル２０６には、表示用のビデオデータに対応した画像が表示される。
　また、デマルチプレクサ２０２では、トランスポートストリームＴＳからデスクリプタ情報などの各種情報が抽出され、ＣＰＵ２２１に送られる。この各種情報には、３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタや３Ｄオーディオ・ストリームＩＤ・デスクリプタの情報も含まれる。ＣＰＵ２２１では、これらのデスクリプタ情報に含まれている属性情報、ストリーム関係情報などに基づいて、スピーカ構成および視聴者（ユーザ）選択情報に適合する属性を持つグループの符号化データが含まれるオーディオストリームが認識される。
　また、デマルチプレクサ２０２では、ＣＰＵ２２１の制御のもと、トランスポートストリームＴＳが有する所定数のオーディオストリームのうち、スピーカ構成および視聴者選択情報に適合する属性を持つグループの符号化データを含む１つまたは複数のオーディオストリームのパケットがＰＩＤフィルタで選択的に取り出される。
　デマルチプレクサ２０２で取り出されたオーディオストリームは、多重化バッファ２１１-1～２１１-Nのうち対応する多重化バッファに取り込まれる。コンバイナ２１２では、オーディオストリームが取り込まれた各多重化バッファから、オーディオフレーム毎に、オーディオストリームが読み出され、３Ｄオーディオデコーダ２１３に供給される。
　３Ｄオーディオデコーダ２１３では、コンバイナ２１２から供給されるオーディオストリームにデスクリプタ情報（“Ｄｅｓｃ”）が含まれている場合には、そのデスクリプタ情報が抽出され、ＣＰＵ２２１に送られる。３Ｄオーディオデコーダ２１３では、ＣＰＵ２２１の制御のもと、スピーカ構成および視聴者（ユーザ）選択情報に適合する属性を持つグループの符号化データが選択的に取り出され、デコード処理が施されて、スピーカシステム２１５の各スピーカを駆動するためのオーディオデータが得られる。
　ここで、チャネル符号化データがデコードされるときは、スピーカシステム２１５のスピーカ構成へのダウンミックスやアップミックスの処理が行われて、各スピーカを駆動するためのオーディオデータが得られる。また、オブジェクト符号化データがデコードされるときは、オブジェクト情報（メタデータ）に基づきスピーカレンダリング（各スピーカへのミキシング割合）が計算され、その計算結果に応じて、オブジェクトのオーディオデータが各スピーカを駆動するためのオーディオデータにミキシングされる。
　３Ｄオーディオデコーダ２１３で得られた各スピーカを駆動するためのオーディオデータは、音声出力処理回路２１４に供給される。この音声出力処理回路２１４では、各スピーカを駆動するためのオーディオデータに対して、Ｄ／Ａ変換や増幅等の必要な処理が行われる。そして、処理後のオーディオデータはスピーカシステム２１５に供給される。これにより、スピーカシステム２１５からは表示パネル２０６の表示画像に対応した音響出力が得られる。
　図１７は、デスクリプタ情報がオーディオストリーム中に存在しない場合におけるデコード処理を概略的に示している。多重化ストリームであるトランスポートストリームＴＳがデマルチプレクサ２０２に入力される。デマルチプレクサ２０２では、システムレイヤの解析が行われ、デスクリプタ情報１（３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタや３Ｄオーディオ・ストリームＩＤ・デスクリプタの情報）がＣＰＵ２２１に供給される。
　ＣＰＵ２２１では、このデスクリプタ情報１に基づいて、スピーカ構成および視聴者（ユーザ）選択情報に適合する属性を持つグループの符号化データが含まれるオーディオストリームが認識される。デマルチプレクサ２０２では、ＣＰＵ２２１の制御のもと、ストリーム間の選択が行われる。
　すなわち、デマルチプレクサ２０２では、トランスポートストリームＴＳが有する所定数のオーディオストリームのうち、スピーカ構成および視聴者選択情報に適合する属性を持つグループの符号化データを含む１つまたは複数のオーディオストリームのパケットがＰＩＤフィルタで選択的に取り出される。このように取り出されるオーディオストリームは多重化バッファ２１１（２１１-1～２１１-N）に取り込まれる。
　３Ｄオーディオデコーダ２１３では、多重化バッファ２１１に取り込まれた各オーディオストリームのパケットタイプ解析が行われる。そして、デマルチプレクサ２０２では、上述のデスクリプタ情報１に基づくＣＰＵ２２１の制御のもと、ストリーム内の選択が行われる。
　すなわち、スピーカ構成および視聴者（ユーザ）選択情報に適合する属性を持つグループの符号化データが、各オーディオストリームから、デコード対象として選択的に取り出され、デコード処理が施され、ミキシングレンダリング等の処理が施されて、各スピーカを駆動するためのオーディオデータ（非圧縮オーディオ）が得られる。
　図１８は、デスクリプタ情報がオーディオストリーム中に存在しない場合におけるオーディオストリームのオーディオアクセスユニット（オーディオフレーム）の構成例を示している。ここでは、２ストリームの例を示している。
　ＰＩＤ２で識別されるオーディオストリームに関しては、“Ｃｏｎｆｉｇ”に含まれる「FrWork #ch=2, #obj=1」の情報で、２チャネルのチャネル符号化データと、１つのオブジェクト符号化データを持つ“Ｆｒａｍｅ”の存在が示されている。そして、“Ｃｏｎｆｉｇ”に含まれる「AudioSceneInfo()」内に順に登録された”GroupID[0]=1, GroupID[1]=2 ”の情報で、グループ１の符号化データを持つ“Ｆｒａｍｅ”と、グループ２の符号化データを持つ“Ｆｒａｍｅ”とが、この順に配置されていることが示されている。なお、パケットラベル（ＰＬ）の値は、“Ｃｏｎｆｉｇ”とそれに対応した各“Ｆｒａｍｅ”とで同じ値とされる。
　ここでは、グループ１の符号化データを持つ“Ｆｒａｍｅ”には、ＣＰＥ（Channel Pair Element）の符号化サンプルデータが含まれている。また、グループ２の符号化データを持つ“Ｆｒａｍｅ”は、エクステンションエレメント（Ext_element）としてメタデータを含む“Ｆｒａｍｅ”と、ＳＣＥ（Single Channel Element）の符号化サンプルデータを含む“Ｆｒａｍｅ”とからなっている。
　ＰＩＤ３で識別されるオーディオストリームに関しては、“Ｃｏｎｆｉｇ”に含まれる「FrWork #ch=0, #obj=2」の情報で、２つのオブジェクト符号化データを持つ“Ｆｒａｍｅ”の存在が示されている。そして、“Ｃｏｎｆｉｇ”に含まれる「AudioSceneInfo()」内に順に登録された”GroupID[2]=3, GroupID[3]=4, SW_GRPID[0]=1 ”の情報で、グループ３の符号化データを持つ“Ｆｒａｍｅ”と、グループ４の符号化データを持つ“Ｆｒａｍｅ”とが、この順に配置されており、これらのグループはスイッチグループ１を構成していることが示されている。なお、パケットラベル（ＰＬ）の値は、“Ｃｏｎｆｉｇ”とそれに対応した各“Ｆｒａｍｅ”とで同じ値とされる。
　ここでは、グループ３の符号化データを持つ“Ｆｒａｍｅ”は、エクステンションエレメント（Ext_element）としてメタデータを含む“Ｆｒａｍｅ”と、ＳＣＥ（Single Channel Element）の符号化サンプルデータを含む“Ｆｒａｍｅ”とからなっている。同様に、グループ４の符号化データを持つ“Ｆｒａｍｅ”は、エクステンションエレメント（Ext_element）としてメタデータを含む“Ｆｒａｍｅ”と、ＳＣＥ（Single Channel Element）の符号化サンプルデータを含む“Ｆｒａｍｅ”とからなっている。
　図１９は、デスクリプタ情報がオーディオストリーム中に存在する場合におけるデコード処理を概略的に示している。多重化ストリームであるトランスポートストリームＴＳがデマルチプレクサ２０２に入力される。デマルチプレクサ２０２では、システムレイヤの解析が行われ、デスクリプタ情報１（３Ｄオーディオ・ストリーム・コンフィグ・デスクリプタや３Ｄオーディオ・ストリームＩＤ・デスクリプタの情報）がＣＰＵ２２１に送られる。
　ＣＰＵ２２１では、このデスクリプタ情報１に基づいて、スピーカ構成および視聴者（ユーザ）選択情報に適合する属性を持つグループの符号化データが含まれるオーディオストリームが認識される。デマルチプレクサ２０２では、ＣＰＵ２２１の制御のもと、ストリーム間の選択が行われる。
　すなわち、デマルチプレクサ２０２では、トランスポートストリームＴＳが有する所定数のオーディオストリームのうち、スピーカ構成および視聴者選択情報に適合する属性を持つグループの符号化データを含む１つまたは複数のオーディオストリームのパケットがＰＩＤフィルタで選択的に取り出される。このように取り出されるオーディオストリームは多重化バッファ２１１（２１１-1～２１１-N）に取り込まれる。
　３Ｄオーディオデコーダ２１３では、多重化バッファ２１１に取り込まれた各オーディオストリームのパケットタイプ解析が行われ、オーディオストリーム中に存在するデスクリプタ情報２がＣＰＵ２２１に送られる。このデスクリプタ情報２に基づいて、スピーカ構成および視聴者（ユーザ）選択情報に適合する属性を持つグループの符号化データの存在が認識される。そして、デマルチプレクサ２０２では、このデスクリプタ情報２に基づくＣＰＵ２２１の制御のもと、ストリーム内の選択が行われる。
　すなわち、スピーカ構成および視聴者（ユーザ）選択情報に適合する属性を持つグループの符号化データが、各オーディオストリームから、デコード対象として選択的に取り出され、デコード処理が施され、ミキシングレンダリング等の処理が施されて、各スピーカを駆動するためのオーディオデータ（非圧縮オーディオ）が得られる。
　図２０は、デスクリプタ情報がオーディオストリーム中に存在する場合におけるオーディオストリームのオーディオアクセスユニット（オーディオフレーム）の構成例を示している。ここでは、２ストリームの例を示している。この図２０は、“ＳＹＮＣ”と“Ｃｏｎｆｉｇ”の間に、“Ｄｅｓｃ”、つまりデスクリプタ情報を挿入されていることを除き、図１８と同様である。
　ＰＩＤ２で識別されるオーディオストリームに関しては、“Ｄｅｓｃ”に含まれる「GroupID[0]=1, channeldata」の情報で、グループ１の符号化データは、チャネル符号化データであることが示されている。また、“Ｄｅｓｃ”に含まれる「GroupID[1]=2, object sound」の情報で、グループ２の符号化データは、イマーシブサウンドのためのオブジェクト符号化データであることが示されている。さらに、「Stream_ID」の情報で、当該オーディオストリームのストリーム識別子が示されている。
　ＰＩＤ３で識別されるオーディオストリームに関しては、“Ｄｅｓｃ”に含まれる「GroupID[2]=3, object lang1」の情報で、グループ３の符号化データは、第１の言語のスピーチランゲージのためのオブジェクト符号化データであることが示されている。また、“Ｄｅｓｃ”に含まれる「GroupID[3]=4, object lang2」の情報で、グループ４の符号化データは、第２の言語のスピーチランゲージのためのオブジェクト符号化データであることが示されている。また、“Ｄｅｓｃ”に含まれる「SW_GRPID[0]=1」の情報で、グループ３，４はスイッチグループ１を構成していることが示されている。さらに、「Stream_ID」の情報で、当該オーディオストリームのストリーム識別子が示されている。
　図２１は、デスクリプタ情報がオーディオストリーム中に存在する場合におけるオーディオストリームのオーディオアクセスユニット（オーディオフレーム）の構成例を示している。ここでは、１ストリームの例を示している。
　“Ｃｏｎｆｉｇ”に含まれる「FrWork #ch=2, #obj=3」の情報で、２チャネルのチャネル符号化データと、３つのオブジェクト符号化データを持つ“Ｆｒａｍｅ”の存在が示されている。そして、“Ｃｏｎｆｉｇ”に含まれる「AudioSceneInfo()」内に順に登録された“GroupID[0]=1, GroupID[1]=2, GroupID[2]=3, GroupID[3]=4, SW_GRPID[0]=1　”の情報で、グループ１の符号化データを持つ“Ｆｒａｍｅ”と、グループ２の符号化データを持つ“Ｆｒａｍｅ”と、グループ３の符号化データを持つ“Ｆｒａｍｅ”と、グループ４の符号化データを持つ“Ｆｒａｍｅ”とが、この順に配置されており、グループ３，４はスイッチグループ１を構成していることが示されている。なお、パケットラベル（ＰＬ）の値は、“Ｃｏｎｆｉｇ”とそれに対応した各“Ｆｒａｍｅ”とで同じ値とされる。
　ここでは、グループ１の符号化データを持つ“Ｆｒａｍｅ”には、ＣＰＥ（Channel Pair Element）の符号化サンプルデータが含まれている。また、グループ２～４の符号化データを持つ“Ｆｒａｍｅ”は、それぞれ、エクステンションエレメント（Ext_element）としてメタデータを含む“Ｆｒａｍｅ”と、ＳＣＥ（Single Channel Element）の符号化サンプルデータを含む“Ｆｒａｍｅ”とからなっている。
　“Ｄｅｓｃ”に含まれる「GroupID[0]=1, channeldata」の情報で、グループ１の符号化データは、チャネル符号化データであることが示されている。また、“Ｄｅｓｃ”に含まれる「GroupID[1]=2, object sound」の情報で、グループ２の符号化データは、イマーシブサウンドのためのオブジェクト符号化データであることが示されている。
　　また、“Ｄｅｓｃ”に含まれる「GroupID[2]=3, object lang1」の情報で、グループ３の符号化データは、第１の言語のスピーチランゲージのためのオブジェクト符号化データであることが示されている。また、“Ｄｅｓｃ”に含まれる「GroupID[3]=4, object lang2」の情報で、グループ４の符号化データは、第２の言語のスピーチランゲージのためのオブジェクト符号化データであることが示されている。また、“Ｄｅｓｃ”に含まれる「SW_GRPID[0]=1」の情報で、グループ３，４はスイッチグループ１を構成していることが示されている。さらに、「Stream_ID」の情報で、当該オーディオストリームのストリーム識別子が示されている。
　図２２、図２３のフローチャートは、図１５に示すサービス受信機２００におけるＣＰＵ２２１のオーディオデコード制御処理の一例を示している。ＣＰＵ２２１は、ステップＳＴ１において、処理を開始する。そして、ＣＰＵ２２１は、ステップＳＴ２において、受信機スピーカ構成、つまりスピーカシステム２１５のスピーカ構成を検知する。次に、ＣＰＵ２２１は、ステップＳＴ３において、視聴者（ユーザ）によるオーディオ出力に関する選択情報を得る。
　次に、ＣＰＵ２２１は、ステップＳＴ４において、ＰＭＴの中のメインストリームに関するデスクリプタの情報を読み、スピーカ構成、視聴者選択情報に適合する属性を持つグループが属するオーディオストリームを選択してバッファに取り込む。そして、ＣＰＵ２２１は、ステップＳＴ５において、オーディオストリームに、デスクリプタタイプのパケットが存在するか否かをチェックする。
　次に、ＣＰＵ２２１は、ステップＳＴ６おいて、デスクリプタタイプのパケットが存在するか否かを判断する。存在するとき、ＣＰＵ２２１は、ステップＳＴ７において、該当パケットのデスクリプタ情報を読み、「groupID」、「attribute」、「switchGroupID」、「presetGroupID」の情報を検知し、その後、ステップＳＴ９の処理に進む。一方、存在しないとき、ＣＰＵ２２１は、ステップＳＴ８において、ＰＭＴのデスクリプタ情報から、「groupID」、「attribute」、「switchGroupID」、「presetGroupID」の情報を検知し、その後、ステップＳＴ９の処理に進む。なお、ステップＳＴ８を実行せず、対象のオーディオストリーム全体をデコードするような処理も行うことは可能である。
　ステップＳＴ９において、ＣＰＵ２２１は、オブジェクト符号化データをデコードするか否かを判断する。デコードするとき、ＣＰＵ２２１は、ステップＳＴ１０において、オブジェクト符号化データをデコードし、その後、ステップＳＴ１１の処理に進む。一方、デコードしないとき、ＣＰＵ２２１は、直ちに、ステップＳＴ１１の処理に進む。
　ステップＳＴ１１において、ＣＰＵ２２１は、チャネル符号化データをデコードするか否かを判断する。デコードするとき、ＣＰＵ２２１は、ステップＳＴ１２において、チャネル符号化データをデコードし、必要に応じて、スピーカシステム２１５のスピーカ構成へのダウンミックスやアップミックスの処理を行って、各スピーカを駆動するためのオーディオデータを得る。その後、ＣＰＵ２２１は、ステップＳＴ１３の処理に進む。一方、デコードしないとき、ＣＰＵ２２１は、直ちに、ステップＳＴ１３の処理に進む。
　ステップＳＴ１３において、ＣＰＵ２２１は、オブジェクト符号化データをデコードした場合は、その情報に基づき、チャネルデータとの混合あるいはスピーカレンダリングを計算する。スピーカレンダリングの計算では、アジマス（方位情報）とエレベーション（仰角情報）によりスピーカレンダリング（各スピーカへのミキシング割合）を計算し、その計算結果に応じて、オブジェクトのオーディオデータを、各スピーカを駆動するためのチャネルオデータに混合する。
　次に、ＣＰＵ２２１は、ステップＳＴ１４において、各スピーカを駆動するためのオーディオデータのダイナミックレンジ制御を行って、出力する。その後、ＣＰＵ２２１はステップＳＴ１５において、処理を終了する。
　上述したように、図１に示す送受信システム１０において、サービス送信機１００は、コンテナのレイヤおよび/またはオーディオストリームのレイヤに、所定数のオーディオストリームに含まれる複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する。そのため、受信側では、複数のグループの符号化データのそれぞれの属性を当該符号化データのデコード前に容易に認識でき、必要なグループの符号化データのみを選択的にデコードして用いることができ、処理負荷を軽減することが可能となる。
　また、図１に示す送受信システム１０において、サービス送信機１００は、コンテナのレイヤおよび/またはオーディオストリームのレイヤに、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報を挿入する。そのため、受信側では、必要なグループの符号化データが含まれるオーディオストリームを容易に認識でき、処理負荷を軽減することが可能となる。
　＜２．変形例＞
　なお、上述実施の形態において、サービス受信機２００は、サービス送信機１００から送信されてくる複数のオーディオストリームから、スピーカ構成、視聴者選択情報に適合する属性を持つグループの符号化データが含まれるオーディオストリームを選択的に取り出し、デコード処理を行って所定数のスピーカ駆動用のオーディオデータを得る構成となっている。
　しかし、サービス受信機として、サービス送信機１００から送信されてくる複数のオーディオストリームから、スピーカ構成、視聴者選択情報に適合する属性を持つグループの符号化データを持つ１つまたは複数のオーディオストリームを選択的に取り出し、スピーカ構成、視聴者選択情報に適合する属性を持つグループの符号化データを持つオーディオストリームを再構成し、その再構成オーディオストリームを、構内ネットワーク接続されたデバイス（ＤＬＮＡ機器も含む）に配信することも考えられる。
　図２４は、上述したように再構成オーディオストリームを構内ネットワーク接続されたデバイスに配信するサービス受信機２００Ａの構成例を示している。この図２４において、図１５と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
　デマルチプレクサ２０２では、ＣＰＵ２２１の制御のもと、トランスポートストリームＴＳが有する所定数のオーディオストリームのうち、スピーカ構成および視聴者選択情報に適合する属性を持つグループの符号化データを含む１つまたは複数のオーディオストリームのパケットがＰＩＤフィルタで選択的に取り出される。
　デマルチプレクサ２０２で取り出されたオーディオストリームは、多重化バッファ２１１-1～２１１-Nのうち対応する多重化バッファに取り込まれる。コンバイナ２１２では、オーディオストリームが取り込まれた各多重化バッファから、オーディオフレーム毎に、オーディオストリームが読み出され、ストリーム再構成部２３１に供給される。
　ストリーム再構成部２３１では、コンバイナ２１２から供給されるオーディオストリームにデスクリプタ情報（“Ｄｅｓｃ”）が含まれている場合には、そのデスクリプタ情報が抽出され、ＣＰＵ２２１に送られる。ストリーム再構成部２３１では、ＣＰＵ２２１の制御のもと、スピーカ構成および視聴者（ユーザ）選択情報に適合する属性を持つグループの符号化データが選択的に取得され、その符号化データを持つオーディオストリームが再構成される。この再構成オーディオストリームは配信インタフェース２３２に供給される。そして、この配信インタフェース２３２から、構内ネットワーク接続されたデバイス３００に配信（送信）される。
　この構内ネットワーク接続には、イーサネット接続、“ＷｉＦｉ”あるいは“Ｂｌｕｅｔｏｏｔｈ”などのワイヤレス接続が含まれる。なお、「ＷｉＦｉ」、「Ｂｌｕｅｔｏｏｔｈ」は、登録商標である。
　また、デバイス３００には、サラウンドスピーカ、セカンドディスプレイ、ネットワーク端末に付属のオーディオ出力装置が含まれる。再構成オーディオストリームの配信を受けるデバイス２００は、図１５のサービス受信機２００における３Ｄオーディオデコーダ２１３と同様のデコード処理を行って、所定数のスピーカを駆動するためのオーディオデータを得ることになる。
　また、サービス受信機としては、上述した再構成オーディオストリームを、“ＨＤＭＩ（High-Definition Multimedia Interface）”、“ＭＨＬ（Mobile High definition Link）”、“ＤｉｓｐｌａｙＰｏｒｔ”などのデジタルインタフェースで接続されたデバイスに送信する構成も考えられる。なお、「ＨＤＭＩ」、「ＭＨＬ」は、登録商標である。
　また、上述実施の形態において、コンテナのレイヤなどに挿入されるストリーム対応関係情報は、グループＩＤとサブストリームＩＤとの対応関係を示す情報であった。すなわち、グループとオーディオストリームを関連付けるためにサブストリームＩＤを用いたものである。しかし、グループとオーディオストリームを関連付けるためにパケット識別子（ＰＩＤ：Packet ID）あるいはストリームタイプ（stream_type）を用いることも考えられる。なお、ストリームタイプを用いる場合には、各オーディオストリームのストリームタイプを変える必要がある。
　また、上述実施の形態においては、各グループの符号化データの属性情報を「attribute_of_groupID」のフィールドを設けて送信する例を示した（図１０参照）。しかし、本技術は、送受信機間でグループＩＤ（GroupID）の値自体に特別な意味を定義することで、特定のグループＩＤを認識すれば符号化データの種類（属性）が認識できるような方法も含むものである。この場合、グループＩＤは、グループの識別子として機能する他に、そのグループの符号化データの属性情報として機能することとなり、「attribute_of_groupID」のフィールドは不要となる。
　また、上述実施の形態においては、複数のグループの符号化データに、チャネル符号化データおよびオブジェクト符号化データの双方が含まれる例を示した（図３参照）。しかし、本技術は、複数のグループの符号化データに、チャネル符号化データのみ、あるいはオブジェクト符号化データのみが含まれる場合にも同様に適用できる。
　また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、ＭＰ４やそれ以外のフォーマットのコンテナで配信されるシステムにも同様に適用できる。例えば、ＭＰＥＧ－ＤＡＳＨベースのストリーム配信システム、あるいは、ＭＭＴ（MPEG Media Transport）構造伝送ストリームを扱う送受信システムなどである。
　なお、本技術は、以下のような構成もとることができる。
　（１）複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを送信する送信部と、
　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する情報挿入部を備える
　送信装置。
　（２）上記情報挿入部は、
　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報をさらに挿入する
　前記（１）に記載の送信装置。
　（３）上記ストリーム対応関係情報は、
　上記複数のグループの符号化データのそれぞれを識別するグループ識別子と上記所定数のオーディオストリームのそれぞれを識別するストリーム識別子との対応関係を示す情報である
　前記（２）に記載の送信装置。
　（４）上記情報挿入部は、
　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記所定数のオーディオストリームのそれぞれのストリーム識別子を示すストリーム識別子情報をさらに挿入する
　前記（３）に記載の送信装置。
　（５）上記コンテナは、ＭＰＥＧ２－ＴＳであり、
　上記情報挿入部は、
　上記ストリーム識別子情報を上記コンテナに挿入する場合、該ストリーム識別子情報をプログラムマップテーブルの配下に存在する上記所定数のオーディオストリームのそれぞれに対応したオーディオエレメンタリストリームループ内に挿入する
　前記（４）に記載の送信装置。
　（６）上記情報挿入部は、
　上記ストリーム識別子情報を上記オーディオストリームに挿入する場合、該ストリーム識別子情報を上記所定数のオーディオストリームのそれぞれのＰＥＳパケットのＰＥＳペイロード内に挿入する
　前記（４）または（５）に記載の送信装置。
　（７）上記ストリーム対応関係情報は、
　上記複数のグループの符号化データのそれぞれを識別するグループ識別子と上記所定数のオーディオストリームのそれぞれをパケット化する際に付されるパケット識別子との対応関係を示す情報である
　前記（２）に記載の送信装置。
　（８）上記ストリーム対応関係情報は、
　上記複数のグループの符号化データのそれぞれを識別するグループ識別子と上記所定数のオーディオストリームのそれぞれのストリームタイプを示すタイプ情報との対応関係を示す情報である
　前記（２）に記載の送信装置。
　（９）上記コンテナは、ＭＰＥＧ２－ＴＳであり、
　上記情報挿入部は、
　上記属性情報およびストリーム対応関係情報を上記コンテナに挿入する場合、該属性情報およびストリーム対応関係情報を、プログラムマップテーブルの配下に存在する上記所定数のオーディオストリームのうち少なくとも１つ以上のオーディオストリームに対応したオーディオエレメンタリストリームループ内に挿入する
　前記（２）から（８）のいずれかに記載の送信装置。
　（１０）上記情報挿入部は、
　上記属性情報およびストリーム対応関係情報を上記オーディオストリームに挿入する場合、該属性情報およびストリーム対応関係情報を、上記所定数のオーディオストリームのうち少なくとも１つ以上のオーディオストリームのＰＥＳパケットのＰＥＳペイロード内に挿入する
　前記（２）から（８）のいずれかに記載の送信装置。
　（１１）上記複数のグループの符号化データには、チャネル符号化データおよびオブジェクト符号化データのいずれかまたは双方が含まれる
　前記（１）から（１０）のいずれかに記載の送信装置。
　（１２）送信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを送信する送信ステップと、
　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する情報挿入ステップを有する
　送信方法。
　（１３）複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
　上記受信されたコンテナが有する上記所定数のオーディオストリームを、上記属性情報に基づいて処理する処理部をさらに備える
　受信装置。
　（１４）上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報がさらに挿入されており、
　上記処理部は、
　上記属性情報の他に、上記ストリーム対応関係情報に基づいて、上記所定数のオーディオストリームを処理する
　前記（１３）に記載の受信装置。
　（１５）上記処理部は、
　上記属性情報および上記ストリーム対応関係情報に基づいて、スピーカ構成およびユーザ選択情報に適合する属性を持つグループの符号化データを含むオーディオストリームに対して選択的にデコード処理を施す
　前記（１４）に記載の受信装置。
　（１６）上記複数のグループの符号化データには、チャネル符号化データおよびオブジェクト符号化データのいずれかまたは双方が含まれる
　前記（１３）から（１５）のいずれかに記載の受信装置。
　（１７）受信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信ステップを有し、
　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
　上記受信されたコンテナが有する上記所定数のオーディオストリームを、上記属性情報に基づいて処理する処理ステップをさらに有する
　受信方法。
　（１８）複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
　上記受信されたコンテナが有する上記所定数のオーディオストリームから上記属性情報に基づいて所定のグループの符号化データを選択的に取得し、該所定のグループの符号化データを含むオーディオストリームを再構成する処理部と、
　上記処理部で再構成されたオーディオストリームを外部機器に送信するストリーム送信部をさらに備える
　受信装置。
　（１９）上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報がさらに挿入されており、
　上記処理部は、
　上記属性情報の他に、上記ストリーム対応関係情報に基づいて、上記所定数のオーディオストリームから上記所定のグループの符号化データを選択的に取得する
　前記（１８）に記載の受信装置。
　（２０）受信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信ステップを有し、
　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
　上記受信されたコンテナが有する上記所定数のオーディオストリームから上記属性情報に基づいて所定のグループの符号化データを選択的に取得し、該所定のグループの符号化データを含むオーディオストリームを再構成する処理ステップと、
　上記処理ステップで再構成されたオーディオストリームを外部機器に送信するストリーム送信ステップをさらに有する
　受信方法。
　本技術の主な特徴は、コンテナのレイヤおよび/またはオーディオストリームのレイヤに、所定数のオーディオストリームに含まれる複数のグループの符号化データのそれぞれの属性を示す属性情報や複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報を挿入することで、受信側の処理負荷を軽減可能としたことである（図１４参照）。
　１０・・・送受信システム
　１００・・・サービス送信機
　１１０・・・ストリーム生成部
　１１２・・・ビデオエンコーダ
　１１３・・・オーディオエンコーダ
　１１４・・・マルチプレクサ
　２００，２００Ａ・・・サービス受信機
　２０１・・・受信部
　２０２・・・デマルチプレクサ
　２０３・・・ビデオデコーダ
　２０４・・・映像処理回路
　２０５・・・パネル駆動回路
　２０６・・・表示パネル
　２１１-1～２１１-N・・・多重化バッファ
　２１２・・・コンバイナ
　２１３・・・３Ｄオーディオデコーダ
　２１４・・・音声出力処理回路
　２１５・・・スピーカシステム
　２２１・・・ＣＰＵ
　２２２・・・フラッシュＲＯＭ
　２２３・・・ＤＲＡＭ
　２２４・・・内部バス
　２２５・・・リモコン受信部
　２２６・・・リモコン送信機
　２３１・・・ストリーム再構成部
　２３２・・・配信インタフェース
　３００・・・デバイス

Claims (20)

  1. 　複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを送信する送信部と、
    　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する情報挿入部を備える
    　送信装置。
  2. 　上記情報挿入部は、
    　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報をさらに挿入する
    　請求項１に記載の送信装置。
  3. 　上記ストリーム対応関係情報は、
    　上記複数のグループの符号化データのそれぞれを識別するグループ識別子と上記所定数のオーディオストリームのそれぞれを識別するストリーム識別子との対応関係を示す情報である
    　請求項２に記載の送信装置。
  4. 　上記情報挿入部は、
    　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記所定数のオーディオストリームのそれぞれのストリーム識別子を示すストリーム識別子情報をさらに挿入する
    　請求項３に記載の送信装置。
  5. 　　上記コンテナは、ＭＰＥＧ２－ＴＳであり、
    　上記情報挿入部は、
    　上記ストリーム識別子情報を上記コンテナに挿入する場合、該ストリーム識別子情報をプログラムマップテーブルの配下に存在する上記所定数のオーディオストリームのそれぞれに対応したオーディオエレメンタリストリームループ内に挿入する
    　請求項４に記載の送信装置。
  6. 　上記情報挿入部は、
    　上記ストリーム識別子情報を上記オーディオストリームに挿入する場合、該ストリーム識別子情報を上記所定数のオーディオストリームのそれぞれのＰＥＳパケットのＰＥＳペイロード内に挿入する
    　請求項４に記載の送信装置。
  7. 　上記ストリーム対応関係情報は、
    　上記複数のグループの符号化データのそれぞれを識別するグループ識別子と上記所定数のオーディオストリームのそれぞれをパケット化する際に付されるパケット識別子との対応関係を示す情報である
    　請求項２に記載の送信装置。
  8. 　上記ストリーム対応関係情報は、
    　上記複数のグループの符号化データのそれぞれを識別するグループ識別子と上記所定数のオーディオストリームのそれぞれのストリームタイプを示すタイプ情報との対応関係を示す情報である
    　請求項２に記載の送信装置。
  9. 　上記コンテナは、ＭＰＥＧ２－ＴＳであり、
    　上記情報挿入部は、
    　上記属性情報およびストリーム対応関係情報を上記コンテナに挿入する場合、該属性情報およびストリーム対応関係情報を、プログラムマップテーブルの配下に存在する上記所定数のオーディオストリームのうち少なくとも１つ以上のオーディオストリームに対応したオーディオエレメンタリストリームループ内に挿入する
    　請求項２に記載の送信装置。
  10. 　上記情報挿入部は、
    　上記属性情報およびストリーム対応関係情報を上記オーディオストリームに挿入する場合、該属性情報およびストリーム対応関係情報を、上記所定数のオーディオストリームのうち少なくとも１つ以上のオーディオストリームのＰＥＳパケットのＰＥＳペイロード内に挿入する
    　請求項２に記載の送信装置。
  11. 　上記複数のグループの符号化データには、チャネル符号化データおよびオブジェクト符号化データのいずれかまたは双方が含まれる
    　請求項１に記載の送信装置。
  12. 　送信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを送信する送信ステップと、
    　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する情報挿入ステップを有する
    　送信方法。
  13. 　複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
    　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
    　上記受信されたコンテナが有する上記所定数のオーディオストリームを、上記属性情報に基づいて処理する処理部をさらに備える
    　受信装置。
  14. 　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報がさらに挿入されており、
    　上記処理部は、
    　上記属性情報の他に、上記ストリーム対応関係情報に基づいて、上記所定数のオーディオストリームを処理する
    　請求項１３に記載の受信装置。
  15. 　上記処理部は、
    　上記属性情報および上記ストリーム対応関係情報に基づいて、スピーカ構成およびユーザ選択情報に適合する属性を持つグループの符号化データを含むオーディオストリームに対して選択的にデコード処理を施す
    　請求項１４に記載の受信装置。
  16. 　上記複数のグループの符号化データには、チャネル符号化データおよびオブジェクト符号化データのいずれかまたは双方が含まれる
    　請求項１３に記載の受信装置。
  17. 　受信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信ステップを有し、
    　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
    　上記受信されたコンテナが有する上記所定数のオーディオストリームを、上記属性情報に基づいて処理する処理ステップをさらに有する
    　受信方法。
  18. 　複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
    　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
    　上記受信されたコンテナが有する上記所定数のオーディオストリームから上記属性情報に基づいて所定のグループの符号化データを選択的に取得し、該所定のグループの符号化データを含むオーディオストリームを再構成する処理部と、
    　上記処理部で再構成されたオーディオストリームを外部機器に送信するストリーム送信部をさらに備える
    　受信装置。
  19. 　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報がさらに挿入されており、
    　上記処理部は、
    　上記属性情報の他に、上記ストリーム対応関係情報に基づいて、上記所定数のオーディオストリームから上記所定のグループの符号化データを選択的に取得する
    　請求項１８に記載の受信装置。
  20. 　受信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信ステップを有し、
    　上記コンテナのレイヤおよび/またはオーディオストリームのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
    　上記受信されたコンテナが有する上記所定数のオーディオストリームから上記属性情報に基づいて所定のグループの符号化データを選択的に取得し、該所定のグループの符号化データを含むオーディオストリームを再構成する処理ステップと、
    　上記処理ステップで再構成されたオーディオストリームを外部機器に送信するストリーム送信ステップをさらに有する
    　受信方法。
PCT/JP2015/076259 2014-09-30 2015-09-16 送信装置、送信方法、受信装置および受信方法 Ceased WO2016052191A1 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
CN202111173401.3A CN113921020B (zh) 2014-09-30 2015-09-16 发送装置、发送方法、接收装置和接收方法
CN201580051430.9A CN106716524B (zh) 2014-09-30 2015-09-16 发送装置、发送方法、接收装置和接收方法
JP2016551907A JPWO2016052191A1 (ja) 2014-09-30 2015-09-16 送信装置、送信方法、受信装置および受信方法
RU2017109625A RU2701060C2 (ru) 2014-09-30 2015-09-16 Передающее устройство, способ передачи, приемное устройство и способ приема
EP23174513.4A EP4254405B1 (en) 2014-09-30 2015-09-16 Transmitting device and receiving device
CN202111172292.3A CN113921019B (zh) 2014-09-30 2015-09-16 发送装置、发送方法、接收装置和接收方法
EP25185958.3A EP4601259A3 (en) 2014-09-30 2015-09-16 Transmitting device, transmission method, receiving device, and receiving method
EP15846012.1A EP3203469A4 (en) 2014-09-30 2015-09-16 Transmitting device, transmission method, receiving device, and receiving method
US15/513,058 US10856042B2 (en) 2014-09-30 2015-09-16 Transmission apparatus, transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items
EP22169668.5A EP4092670A1 (en) 2014-09-30 2015-09-16 Transmitting device, transmission method, receiving device, and receiving method
US17/092,831 US11871078B2 (en) 2014-09-30 2020-11-09 Transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items
US18/510,917 US12283282B2 (en) 2014-09-30 2023-11-16 Transmission apparatus, transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items
US18/526,596 US20240114202A1 (en) 2014-09-30 2023-12-01 Transmission apparatus, transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014202354 2014-09-30
JP2014-202354 2014-09-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/513,058 A-371-Of-International US10856042B2 (en) 2014-09-30 2015-09-16 Transmission apparatus, transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items
US17/092,831 Continuation US11871078B2 (en) 2014-09-30 2020-11-09 Transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items

Publications (1)

Publication Number Publication Date
WO2016052191A1 true WO2016052191A1 (ja) 2016-04-07

Family

ID=55630233

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/076259 Ceased WO2016052191A1 (ja) 2014-09-30 2015-09-16 送信装置、送信方法、受信装置および受信方法

Country Status (7)

Country Link
US (4) US10856042B2 (ja)
EP (4) EP4601259A3 (ja)
JP (4) JPWO2016052191A1 (ja)
CN (3) CN106716524B (ja)
ES (1) ES3058266T3 (ja)
RU (1) RU2701060C2 (ja)
WO (1) WO2016052191A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023516303A (ja) * 2020-02-28 2023-04-19 ノキア テクノロジーズ オサケユイチア オーディオ表現および関連するレンダリング

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107210041B (zh) * 2015-02-10 2020-11-17 索尼公司 发送装置、发送方法、接收装置以及接收方法
WO2019026228A1 (ja) * 2017-08-03 2019-02-07 株式会社アプトポッド クライアント装置、データ収集システム、データ送信方法、及びプログラム
JP7753511B2 (ja) * 2021-07-29 2025-10-14 ドルビー・インターナショナル・アーベー オブジェクトベースのオーディオ及びチャネルベースのオーディオを処理するための方法及び装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004066303A1 (ja) * 2003-01-20 2004-08-05 Pioneer Corporation 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
WO2004077406A1 (ja) * 2003-02-28 2004-09-10 Matsushita Electric Industrial Co., Ltd. 再生装置および再生方法
JP2012033243A (ja) * 2010-08-02 2012-02-16 Sony Corp データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
JP2014142475A (ja) * 2013-01-23 2014-08-07 Nippon Hoso Kyokai <Nhk> 音響信号記述法、音響信号作成装置、音響信号再生装置

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3485958B2 (ja) * 1994-04-08 2004-01-13 株式会社東芝 記録媒体再生装置及び記録媒体再生方法
JP3863528B2 (ja) * 2001-11-30 2006-12-27 松下電器産業株式会社 ストリーム変換装置及び方法、情報記録装置及び方法、並びに情報記録媒体
US7574113B2 (en) * 2002-05-06 2009-08-11 Sony Corporation Video and audio data recording apparatus, video and audio data recording method, video and audio data reproducing apparatus, and video and audio data reproducing method
US7451229B2 (en) * 2002-06-24 2008-11-11 Microsoft Corporation System and method for embedding a streaming media format header within a session description message
US7808561B2 (en) * 2003-12-26 2010-10-05 Electronics And Telecommunications Research Institute Apparatus and method for transforming a digital TV broadcasting signal to a digital radio broadcasting signal
CN1926872B (zh) * 2004-02-06 2010-09-29 索尼株式会社 信息处理设备和信息处理方法
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
CN1993891B (zh) * 2004-07-28 2010-05-05 松下电器产业株式会社 信号解码装置
CN100592789C (zh) * 2004-08-12 2010-02-24 皇家飞利浦电子股份有限公司 从视频或音频数据流选择内容
JP4872253B2 (ja) * 2004-10-12 2012-02-08 ソニー株式会社 多重化装置、多重化方法、プログラム、および記録媒体
WO2006095742A1 (ja) * 2005-03-08 2006-09-14 Matsushita Electric Industrial Co., Ltd. パケット送信装置
JP4251298B2 (ja) * 2005-07-15 2009-04-08 ソニー株式会社 再生装置および再生方法、プログラム、プログラム格納媒体、データ、記録媒体、記録装置、および、記録媒体の製造方法
JP5586950B2 (ja) 2006-05-19 2014-09-10 韓國電子通信研究院 プリセットオーディオシーンを用いたオブジェクトベースの３次元オーディオサービスシステム及びその方法
JP2008047962A (ja) * 2006-08-10 2008-02-28 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR101021831B1 (ko) * 2006-08-24 2011-03-17 노키아 코포레이션 미디어 파일에서 트랙 관계를 표시하는 시스템 및 방법
CN100555414C (zh) * 2007-11-02 2009-10-28 华为技术有限公司 一种dtx判决方法和装置
CN101572087B (zh) * 2008-04-30 2012-02-29 北京工业大学 嵌入式语音或音频信号编解码方法和装置
EP2304719B1 (en) * 2008-07-11 2017-07-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, methods for providing an audio stream and computer program
KR20130069833A (ko) * 2008-10-08 2013-06-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중 분해능 스위치드 오디오 부호화/복호화 방법
JP5541488B2 (ja) * 2009-02-09 2014-07-09 ソニー株式会社 コンテンツ受信装置および方法
CN102388613B (zh) * 2009-04-09 2014-04-30 瑞典爱立信有限公司 媒体容器文件管理
KR101691836B1 (ko) * 2009-10-25 2017-01-02 엘지전자 주식회사 프로그램 정보 처리 방법 및 방송 수신기
CN102081927B (zh) * 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
US9009775B2 (en) * 2010-02-23 2015-04-14 Lg Electronics Inc. Broadcasting signal transmission device, broadcasting signal reception device, and method for transmitting/receiving broadcasting signal using same
EP2362653A1 (en) * 2010-02-26 2011-08-31 Panasonic Corporation Transport stream packet header compression
JP5594002B2 (ja) * 2010-04-06 2014-09-24 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
CN102222505B (zh) * 2010-04-13 2012-12-19 中兴通讯股份有限公司 可分层音频编解码方法系统及瞬态信号可分层编解码方法
JP5577823B2 (ja) * 2010-04-27 2014-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP2418792A1 (de) * 2010-05-19 2012-02-15 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Digital Multimedia Broadcast (DMB) mit effizienter Übertragung der Daten zur Zugangsbeschränkung im Transportstrom-Packet mit der Programmzuordnungstabelle (Program Association Table = PAT)
US9348691B2 (en) * 2010-09-14 2016-05-24 Lg Electronics Inc. Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, and method for transmitting/receiving broadcast signal through apparatus for transmitting/receiving broadcasting signal
WO2012082033A1 (en) * 2010-12-15 2012-06-21 Telefonaktiebolaget L M Ericsson (Publ) Methods, a client and a server for handling an mpeg transport stream
US9165558B2 (en) * 2011-03-09 2015-10-20 Dts Llc System for dynamically creating and rendering audio objects
SG194199A1 (en) * 2011-03-18 2013-12-30 Fraunhofer Ges Forschung Frame element positioning in frames of a bitstream representing audio content
JP2012244411A (ja) * 2011-05-19 2012-12-10 Sony Corp 画像データ送信装置、画像データ送信方法および画像データ受信装置
PL2727381T3 (pl) 2011-07-01 2022-05-02 Dolby Laboratories Licensing Corporation Sposób i urządzenie do renderowania obiektów audio
MY207992A (en) * 2011-07-01 2025-04-03 Dolby Laboratories Licensing Corp System and method for adaptive audio signal generation, coding and rendering
JP2013090016A (ja) 2011-10-13 2013-05-13 Sony Corp 送信装置、送信方法、受信装置および受信方法
US20140369503A1 (en) * 2012-01-11 2014-12-18 Dolby Laboratories Licensing Corporation Simultaneous broadcaster-mixed and receiver-mixed supplementary audio services
CN103416069A (zh) * 2012-01-13 2013-11-27 索尼公司 发送设备、发送方法、接收设备以及接收方法
WO2013122385A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122388A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmission apparatus, data receiving apparatus, data transceiving system, data transmission method and data receiving method
CN103503446B (zh) * 2012-03-01 2017-04-26 索尼公司 发送装置、发送方法以及接收装置
US9622014B2 (en) * 2012-06-19 2017-04-11 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
US10012263B2 (en) 2012-09-28 2018-07-03 Abb Research, Ltd Rotors for rotating machines with hollow fiber-reinforced composite shaft
WO2014058275A1 (ko) 2012-10-11 2014-04-17 한국전자통신연구원 오디오 데이터 생성 장치 및 방법, 오디오 데이터 재생 장치 및 방법
BR112015013154B1 (pt) 2012-12-04 2022-04-26 Samsung Electronics Co., Ltd Aparelho fornecedor de áudio, e método fornecedor de áudio
KR101967295B1 (ko) 2013-01-09 2019-04-09 엘지전자 주식회사 복수개의 채널 정보를 처리하는 클라이언트 및 서버의 제어 방법
US10068579B2 (en) * 2013-01-15 2018-09-04 Electronics And Telecommunications Research Institute Encoding/decoding apparatus for processing channel signal and method therefor
TWM467148U (zh) * 2013-01-21 2013-12-01 Dolby Lab Licensing Corp 具響度處理狀態詮釋資料之音訊處理設備
TWI530941B (zh) * 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
RU2630754C2 (ru) * 2013-05-24 2017-09-12 Долби Интернешнл Аб Эффективное кодирование звуковых сцен, содержащих звуковые объекты
EP2830334A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
SG11201600466PA (en) * 2013-07-22 2016-02-26 Fraunhofer Ges Forschung Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
EP2830045A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
CN110675883B (zh) * 2013-09-12 2023-08-18 杜比实验室特许公司 用于下混合音频内容的响度调整
ES3061991T3 (en) * 2013-09-12 2026-04-08 Dolby Laboratories Licensing Corp Dynamic range control for a wide variety of playback environments
US9654814B2 (en) 2013-10-28 2017-05-16 Microsoft Technology Licensing, Llc Video frame selection for targeted content
WO2015108326A1 (en) * 2014-01-14 2015-07-23 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
MX364331B (es) * 2014-03-18 2019-04-23 Koninklijke Philips Nv Corrientes de datos de artículos de contenido audiovisual.
EP2925024A1 (en) * 2014-03-26 2015-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition
KR101856540B1 (ko) * 2014-04-02 2018-05-11 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
JP6262880B2 (ja) * 2014-04-09 2018-01-17 エルジー エレクトロニクス インコーポレイティド 放送伝送装置、放送受信装置、放送伝送装置の動作方法及び放送受信装置の動作方法
PL3522554T3 (pl) * 2014-05-28 2021-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Procesor danych i transport danych kontrolnych użytkownika do dekoderów audio i modułów renderowania
WO2015183060A1 (ko) * 2014-05-30 2015-12-03 삼성전자 주식회사 오디오 객체를 이용한 오디오 콘텐트 제공 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
EP3196876B1 (en) * 2014-09-04 2020-11-18 Sony Corporation Transmitting device, transmitting method, receiving device and receiving method
CA2963771A1 (en) * 2014-10-16 2016-04-21 Sony Corporation Transmission device, transmission method, reception device, and reception method
CN106798793A (zh) 2017-02-17 2017-06-06 四川双鑫生物科技有限公司 一种可有效治疗牙痛的散剂药物及其制备方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004066303A1 (ja) * 2003-01-20 2004-08-05 Pioneer Corporation 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
WO2004077406A1 (ja) * 2003-02-28 2004-09-10 Matsushita Electric Industrial Co., Ltd. 再生装置および再生方法
JP2012033243A (ja) * 2010-08-02 2012-02-16 Sony Corp データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
JP2014142475A (ja) * 2013-01-23 2014-08-07 Nippon Hoso Kyokai <Nhk> 音響信号記述法、音響信号作成装置、音響信号再生装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023516303A (ja) * 2020-02-28 2023-04-19 ノキア テクノロジーズ オサケユイチア オーディオ表現および関連するレンダリング
US12167220B2 (en) 2020-02-28 2024-12-10 Nokia Technologies Oy Audio representation and associated rendering

Also Published As

Publication number Publication date
US12283282B2 (en) 2025-04-22
JP2021105735A (ja) 2021-07-26
RU2017109625A (ru) 2018-09-24
CN113921020B (zh) 2025-10-10
EP3203469A1 (en) 2017-08-09
CN106716524B (zh) 2021-10-22
US20240089534A1 (en) 2024-03-14
US10856042B2 (en) 2020-12-01
EP4254405A2 (en) 2023-10-04
US11871078B2 (en) 2024-01-09
US20240114202A1 (en) 2024-04-04
RU2701060C2 (ru) 2019-09-24
EP3203469A4 (en) 2018-06-27
CN113921019B (zh) 2025-11-07
EP4601259A3 (en) 2025-09-24
JP2025026730A (ja) 2025-02-21
RU2017109625A3 (ja) 2019-04-04
EP4254405A3 (en) 2023-12-13
CN113921020A (zh) 2022-01-11
ES3058266T3 (en) 2026-03-09
JP7310849B2 (ja) 2023-07-19
EP4601259A2 (en) 2025-08-13
CN106716524A (zh) 2017-05-24
US20210058669A1 (en) 2021-02-25
JP2023081933A (ja) 2023-06-13
US20170302995A1 (en) 2017-10-19
JPWO2016052191A1 (ja) 2017-07-20
CN113921019A (zh) 2022-01-11
JP7756120B2 (ja) 2025-10-17
EP4092670A1 (en) 2022-11-23
EP4254405B1 (en) 2025-10-29

Similar Documents

Publication Publication Date Title
JP7567953B2 (ja) 受信装置および受信方法
JP7756120B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2016060101A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15846012

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016551907

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015846012

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015846012

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15513058

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017109625

Country of ref document: RU

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE