WO2016129981A1 - 미디어 데이터를 송수신하는 방법 및 장치 - Google Patents

미디어 데이터를 송수신하는 방법 및 장치 Download PDF

Info

Publication number
WO2016129981A1
WO2016129981A1 PCT/KR2016/001520 KR2016001520W WO2016129981A1 WO 2016129981 A1 WO2016129981 A1 WO 2016129981A1 KR 2016001520 W KR2016001520 W KR 2016001520W WO 2016129981 A1 WO2016129981 A1 WO 2016129981A1
Authority
WO
WIPO (PCT)
Prior art keywords
metadata
content
media data
information
audio stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/001520
Other languages
English (en)
French (fr)
Inventor
양현구
박경모
소영완
전상배
강현구
김선민
송재연
정지민
진경신
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US15/549,423 priority Critical patent/US10271094B2/en
Priority to KR1020177025143A priority patent/KR102464061B1/ko
Priority to CN201680010109.0A priority patent/CN107211200B/zh
Publication of WO2016129981A1 publication Critical patent/WO2016129981A1/ko
Anticipated expiration legal-status Critical
Priority to US16/390,811 priority patent/US10701437B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Definitions

  • the present disclosure relates to a method and apparatus for transmitting and receiving media data.
  • UHD broadcasting will have 4 times (4K) or 16 times (8K) resolution than existing HDTVs. Therefore, even if high-efficiency compression is applied, 6 MHz TV programs are not transmitted on one channel. I will not.
  • an MPEG-2 TS having a fixed length packet of 188 bytes may be inefficient.
  • MPEG-2 TS is not easy to convert to and use IP in an environment in which all other networks except IP broadcasting networks are changed to IP networks. Therefore, when UHD broadcasting becomes commercially available, there will be a need for a new AV delivery format that is IP-friendly and more efficient than MPEG-2 TS.
  • information related to the content for example, metadata is included in the content, and the metadata may be lost while the content is provided to the user.
  • content received from a broadcasting network or a cable network for viewing IP TV is delivered to a user's TV through a set-top box, and all meta data included in the content is consumed or removed while the content is processed in the set-top box. Only the pure video and / or audio data constituting the content can be delivered to the TV in uncompressed form. In this case, metadata available on the user's TV is lost.
  • the metadata may be, for example, information for obtaining an additional service related to the main service provided by the broadcast service from the user's TV through the Internet network.
  • the present disclosure provides a method and apparatus for providing metadata related to content to a user.
  • Embodiments of the present disclosure provide a method and apparatus for providing metadata related to content to a user through an audio stream.
  • Embodiments of the present disclosure provide methods and apparatus for organizing metadata associated with content.
  • Embodiments of the present disclosure provide a compressed media data format that includes metadata associated with content.
  • Embodiments of the present disclosure provide a method and apparatus for delivering the metadata to a user's TV using a compressed media data format.
  • An embodiment of the present disclosure provides a method and an apparatus for providing an additional service by utilizing metadata transmitted to a user's TV using a compressed media data format.
  • a method of processing content in a set-top box includes receiving a content including an audio stream, performing a decoding operation on the audio stream, and outputting the audio stream through an output interface. Bypassing to (Television), wherein the audio stream includes metadata about the content.
  • a method of reproducing content on a television may include receiving an audio stream including metadata transmitted from a set-top box to the TV, extracting the metadata from the audio stream, When the extracted metadata is modified for metadata processing, and the metadata includes information for reproducing the media data, information for reproducing the media data is transmitted to a reproduction device, and the metadata of the media data is transmitted to the metadata. Transmitting information for acquiring the media data to a media transmission processing unit if there is information for acquiring, acquiring the media data through a predetermined interface and protocol using the information for acquiring the media data; Decoding the obtained media data; and the MIDI Comprises the step of reproducing the media data, the decryption by using the information for reproduction of the data.
  • a set-top box for processing content receives a content including an audio stream, does not perform a decoding operation on the audio stream, and sends the audio stream to a TV through an output interface. And bypassing the audio processor, wherein the audio stream includes metadata regarding the content.
  • a television (Television) for processing content includes a metadata processing unit for processing metadata, and the metadata processing unit includes an audio stream including metadata transmitted from a set-top box to the TV.
  • a metadata extraction unit for receiving and extracting the metadata from the audio stream, and modifying the extracted metadata for metadata processing, and if the metadata includes information for reproducing the media data, the media data
  • a metadata analyzer for transmitting the information for reproducing to the reproducing apparatus, and for transmitting the media data to the media transmission processor if the metadata has information for acquiring the media data; Through the interface and protocol using information for acquisition
  • a media transmission processor for acquiring and delivering the media data to a decoder, a decoder for decoding the obtained media data, and a media player for playing the decoded media data using information for reproducing the media data.
  • FIG. 1 is a diagram illustrating an example of entities constituting a service ecosystem in a general broadcast service
  • FIG. 2 is a diagram illustrating a media delivery structure between a typical SetTop Box (STB) 210 and a TV 220;
  • STB SetTop Box
  • FIG. 3 is a diagram illustrating a configuration of an audio metadata processing unit 300 when metadata includes information necessary for obtaining and reproducing an additional service according to an embodiment of the present disclosure.
  • FIG. 4 is a view illustrating an example of configuring an MVPD retransmission system according to an embodiment of the present disclosure
  • FIG. 5 is a diagram illustrating a configuration of an STB according to an embodiment of the present disclosure.
  • Content is a general term for digital information or such contents provided through various wired and wireless communication networks.
  • each of TV programs, movies, and e-books may be one content.
  • one content includes at least one of an image stream, an audio stream, and a text stream.
  • content may be used interchangeably in the same sense as media data or in a meaning including the media data.
  • service may be used interchangeably with the term "content”.
  • the basic concept of the present disclosure is to include the metadata in a compressed audio stream constituting the content to deliver the metadata related to the content to the user's TV through the set-top box.
  • the metadata in the text form may be first extracted before the presentation of the entire audio stream by the processor for processing the audio stream in the TV.
  • the compressed audio stream constituting the main service includes URL information in the form of text for obtaining an additional service related to the main service
  • the compressed audio stream is received.
  • One set-top box does not decompress the compressed audio stream and delivers the compressed URL to the TV so that the TV obtains the textual URL information from the compressed audio stream and adds the URL information using the URL information.
  • the service can be obtained.
  • the metadata may include information for indicating a system for processing the metadata.
  • "systype" information is included in metadata, and the system type is information about a system such as an MPEG system, an MPEG Media Transport (MMT) system, a dynamic adaptive streaming over HTTP (DASH) system, and the like. It may include.
  • MMT MPEG Media Transport
  • DASH dynamic adaptive streaming over HTTP
  • the metadata may include URL information for obtaining data related to additional content / service, and may also include an identifier for a service including a stream including metadata.
  • the metadata may be in the form of a packet defined by a system such as the MPEG, MMT, DASH standard, or the like, or may be in the form of a signaling message.
  • Subjects generating metadata in the present disclosure are as follows.
  • a content provider such as a studio may generate metadata.
  • an entity on a broadcast network or cable network may add new metadata to the current metadata, modify or remove the current metadata.
  • an entity on a broadcast network or a cable network may generate new metadata and replace current metadata with the newly generated metadata.
  • an entity related to media transmission such as an MVPD (Multichannel Video Programming Distributor) may also perform the addition, modification, deletion, and substitution.
  • MVPD Multichannel Video Programming Distributor
  • FIG. the STB connected to the subscriber's TV may perform the addition, modification, deletion, and substitution. The above operations of the STB will be described in FIG.
  • the metadata is included in an audio stream and transmitted to the TV.
  • a metadata processing unit for processing the metadata is included in the TV.
  • the operation of the metadata processor may depend on the type of metadata. For example, when the input of the metadata processing unit is in the form of an MMTP packet including an MMT signaling message, or when the metadata is an identifier of content, when the metadata is a DASH MPD, the metadata is data used in a specific application. In some cases, the operation may vary. A detailed operation of the metadata processor will be described with reference to FIG. 3.
  • the compressed media format in this disclosure includes metadata in its output stream.
  • the following embodiments will be described based on the MPEG-H 3D Audio format, it is obvious that it can be applied to a general compressed media format.
  • 1 is a diagram illustrating an example of entities constituting a service ecosystem in a general broadcast service.
  • a content provider 110 such as a studio produces content, and the content produced by the content provider 110 is transmitted to a broadcaster 130 of a specific operator by the terrestrial broadcasting network 120.
  • the data may be distributed and transmitted directly to the viewer 140 through the terrestrial broadcasting network, or may be retransmitted to the subscribers 145 through a cable, satellite, or IP network through the multichannel video programming distributor (MVDP) 135.
  • the MVPD 135 may receive the content directly through the cable network 125 and may be delivered to subscribers 145 through a cable, satellite, or IP network.
  • metadata may be created / added / changed / deleted / replaced in at least one of the entities of FIG. 1.
  • the content provider 110 may generate metadata.
  • the metadata may be included in the compressed audio bit stream generated by the content provider 110.
  • an entity of the broadcasting network 120 and / or an entity of the cable network 125 may generate new metadata, add new metadata to the current metadata, modify the current metadata, or delete the metadata. have.
  • the entity of the broadcasting network 120 and / or the entity of the cable network 125 may replace the newly generated metadata with the current metadata.
  • the broadcasting station 130 and / or the MVPD 135 may generate new metadata, add new metadata to the current metadata, modify the current metadata, or delete the metadata.
  • the current metadata of the broadcasting station 130 and / or the MVPD 135 may be substituted for the newly generated metadata.
  • the STB connected to the TV of the subscriber 145 may perform operations such as generation, addition, modification, deletion, and substitution on the metadata.
  • FIG. 2 is a diagram illustrating a media delivery structure between a typical SetTop Box (STB) 210 and a TV 220.
  • STB SetTop Box
  • the STB 210 includes an input processor 211, a transmission processor 212, a media processor 213, an image processor 214, an audio processor 215, and an output processor 216.
  • the STB 210 receives a broadcast signal from the MVPD, and the broadcast signal is converted into a digital signal by the STB input processor 211 and transmitted to the transmission processor 212.
  • the transmission processor 212 restores data units having a predetermined format by using the input digital signal and transmits the data units to the media processor 213.
  • the data unit may have the form of an MPEG2-TS packet, an IP packet, an MPEG Media Transport Protocol (MMTP) packet, or a media file, and may transmit video, audio data, or metadata constituting a service.
  • MMTP MPEG Media Transport Protocol
  • the media processor 213 extracts image data from the data unit and transmits the image data to the image processor 214, and extracts the audio data and delivers the audio data to the audio processor 215.
  • the metadata may be used by the media processor 213 to control operations of the image processor 214 and the audio processor 215.
  • the image and audio data transferred to the image processor 214 and the audio processor 215 are compressed through a predetermined compression algorithm.
  • the image processor 214 restores the image data to an uncompressed state and transmits the image data to the STB output processor 216.
  • the extrusion algorithm may be, for example, High Efficiency Video Codec (HEVC) or 3D-Audio defined in MPEG-H.
  • HEVC High Efficiency Video Codec
  • 3D-Audio defined in MPEG-H.
  • the audio processor 215 of the STB restores the compressed audio data to an uncompressed state and transmits the audio data to the STB output processor 216.
  • the STB output processor 216 transfers the video and audio signals to the input processor 221 of the TV 220 through a transmission medium.
  • the transmission medium may be, for example, a high definition multimedia interface (HDMI) cable, a red-green-blue (RGB) cable, or a component cable.
  • HDMI high definition multimedia interface
  • RGB red-green-blue
  • the TV 220 includes an input processor 221 and an A / V renderer 223.
  • an audio processor 222 may be further included.
  • the TV input processor 221 transmits the video and audio signals transmitted through the transmission medium to the A / V rendering unit 223 so that the broadcast service is reproduced. .
  • the metadata included in the content may be lost in the media delivery process described with reference to FIG. 2.
  • the video and audio signals may be transmitted from the STB 210 through an HDMI / RGB cable.
  • the media data input to the STB 210 is processed by the media processor 213, the image processor 214, and the audio processor 215 of the STB 210. Is consumed or eliminated and only the pure video and / or audio signal can be delivered to the TV 220 in an uncompressed form.
  • the audio processing unit 215 of the STB 210 operates as follows. That is, the audio processor 215 does not decompress the received audio bitstream, that is, transmits it to the STB output device 216 in a compressed form without performing any decoding operation. That is, as described above, in the general case, the audio processor 215 restores the audio data to an uncompressed form and transmits the audio data to the STB output processor 216. However, in the embodiment of the present disclosure, the audio processor 215 receives Since the audio bitstream is delivered to the STB output device 216 in a compressed form, metadata included in the audio bitstream may be transferred to the TV 220 through the input device 221 of the TV.
  • the TV 220 operating according to an embodiment of the present disclosure includes a metadata processor for processing metadata transmitted to the TV 220 through the audio bitstream.
  • the metadata processor is connected to the audio processor 222 included in the TV 220.
  • the operation of the metadata processor may be determined according to the type of metadata included in the audio bitstream.
  • the metadata includes all data that can be transmitted to the TV through an MVPD transmission network such as cable, satellite, IP, and the like and used in the TV.
  • an MVPD transmission network such as cable, satellite, IP, and the like and used in the TV.
  • the metadata may include a service identifier for a service including an audio bitstream including the metadata.
  • the service identifier may be for identifying an audio service compressed into the audio bitstream.
  • the service identifier may be for identifying a video service associated with the audio service or a multimedia service including both the audio service and the video service.
  • the metadata may include a video / TV not received from the STB. It may include information for reproducing and reproducing the audio data through another transmission medium.
  • the other transmission medium may include a wired Internet or a Wifi network, a 3G / 4G / 5G mobile communication network, and a storage medium such as USB.
  • the format of the metadata may be a packet format defined by the metadata acquisition scheme, or may be a representation format of signaling message metadata.
  • the metadata may be used to deliver firmware or various software or general files applied to the TV.
  • the metadata may be in the form of a general bitstream, a file format defined by a standard body, or a packet.
  • the metadata packet may be a packet defined by protocols currently used in various communication systems such as IP packets, User Datagram Protocol (UDP) packets, and Remote Desktop Protocol (RDP) packets.
  • the metadata may further include information about an application to which the metadata is transmitted.
  • FIG. 3 illustrates an audio metadata processor 300 when metadata includes information necessary for acquisition and reproduction of an additional service according to an exemplary embodiment of the present disclosure. It is a figure explaining a structure.
  • the metadata processor 300 is connected to the audio processor 220 of FIG. 2 to receive metadata.
  • the metadata processor 300 may include a metadata extractor 310, a metadata analyzer 320, a media presentation processor 330, and a media delivery processor 340.
  • the metadata extractor 310 extracts metadata from the audio stream delivered from the audio processor 222.
  • the metadata analyzer 320 converts the extracted metadata into an information format required for the operation of the actual metadata processor 300. Information necessary for reproducing the media among the information generated by the metadata analyzer 320 is transmitted to the media presentation processor 330, and information necessary for obtaining the media data is transmitted to the media transmission processor 340. .
  • the media presentation processor 330 processes the information necessary for media playback and delivers the information to the media player 380.
  • the media transmission processor 340 acquires media data using a separate transmission interface and protocol using the information for obtaining the media data, and transfers the media data to the decoder 370.
  • MMTP 350 and HTTP 360 are illustrated as examples of the protocol.
  • the decoder 370 decodes the media data and delivers the decoded media data to the media player 380.
  • the media player 380 uses the decoded media by using information required for media playback received from the media presentation processor 330. Play the data.
  • the metadata may not include all the information required for playing the media.
  • the media transmission processor 340 obtains additional information necessary for media playback using a separate transmission interface and protocol and transfers the additional information to the media presentation processor 330.
  • the output of the audio processor 222 may be in the form of an MMTP packet including an MMT signaling message.
  • the metadata extracting unit 310 extracts an MMT signaling message from the MMTP packet and delivers it to the metadata analyzing unit 320.
  • FIG. 3 has been described on the assumption that the metadata includes information necessary to acquire and reproduce additional services. However, when the metadata includes other types of data, the operation of the metadata processor 330 may vary.
  • the operation of the metadata processor 330 is as follows. That is, the metadata processor 330 checks the list of additional services for the content identified by the identifier. Thereafter, according to a user's selection or according to a predetermined policy, media data of an additional service and information necessary for playing the media data are obtained through a separate transmission medium, and the decoder 370 and the media player are obtained.
  • the metadata is information in a Media Presentation Description (MPD) format defined in DASH (Dynamic Adaptive Streaming over HTTP)
  • the metadata processing unit 330 is a separate DASH processing unit (not shown). Deliver the DASH MPD.
  • the metadata processing unit 330 obtains the DASH MPD using the URL and transfers the DASH MPD to the DASH processing unit.
  • the metadata processing unit 300 may transmit metadata input from the audio processing unit 222 to a separate transmission interface used in the specific application. have.
  • the metadata may be configured in various formats with the MMTP packet or the DASH MPD. Accordingly, in order to process metadata having different formats, the metadata processing unit 300 may be configured as a separate unit for each format. Alternatively, the unit may be configured as one unit using a component such as a metadata parser 320 capable of processing metadata having a plurality of different formats together.
  • the audio processor 222 may include an audio decoder (not shown).
  • FIG. 4 is a diagram illustrating an example of configuring an MVPD retransmission system according to an embodiment of the present disclosure.
  • the MVPD retransmission system 400 receives broadcast service data from the cable network 125 or the broadcasting station 130 of FIG. 1.
  • the received broadcast service data is divided into a video signal, an audio signal, and signaling information by the demultiplexer 410 and transferred to the video transcoder 430, the audio transcoder 440, and the signaling converter 450, respectively.
  • the bitstream constituting the video signal and the audio signal may include metadata generated by the cable network 125, the broadcasting station 130, or the content provider 110.
  • the input / output interface of the MVPD retransmission system 400 has a separate method corresponding to each type of media data, the demultiplexer 410 and the multiplexer 460 may not be included.
  • the transcoders 430 and 440 may perform an operation of converting a bitstream, such as converting a resolution or bitrate of the received image and / or audio data, and the image transcoder 430 and the audio transformer.
  • the outputs of coder 440 and signaling converter 450 are multiplexed through multiplexing 460 and delivered to subscribers.
  • MVPD retransmission system may include a metadata generator 420.
  • the metadata generator 420 generates metadata to be delivered to the subscriber's TV and metadata delivered to the subscriber's STB. Metadata to be delivered to the subscriber's TV is delivered to the video transcoder 430 or audio transcoder 440, and metadata to be delivered to the subscriber's STB is delivered to the signaling converter 450.
  • the image transcoder 430 and the audio transcoder 440 may interpret the bitstream and modify metadata included in the current bitstream.
  • the image transcoder 430 and the audio transcoder 440 may delete metadata included in the current bitstream or newly convert metadata included in the current bitstream from the metadata generator 420. Can be replaced with generated metadata.
  • the metadata generator 420 may perform an operation of generating a new bitstream by adding newly generated metadata.
  • the metadata generator 420 may generate metadata including information for configuring the MVPD self-service or personal advertisement and information to be transmitted to the subscriber's TV or STB.
  • the metadata generator 420 may receive and transmit metadata that a third party wants to transmit to the subscriber TV or STB from the third party.
  • the metadata generated by the metadata generator 420 may be used by the subscriber's STB and the subscriber. Can be delivered directly to the TV.
  • the metadata processor 300 of the TV may acquire and process the metadata using a separate interface instead of the audio processor 222.
  • the above-described embodiment of the MVPD retransmission system is applied to the retransmission system that delivers the broadcast service received from the broadcasting network 120 to the MVPD 135 as well as the retransmission system of the MVPD, or delivers the broadcast service. It can be applied to any node in the information flow.
  • FIG. 5 is a diagram illustrating a configuration of an STB according to an embodiment of the present disclosure.
  • the STB 500 receives a broadcast signal from the MVPD, and the broadcast signal is converted into a digital signal by the STB input processor 510 and transmitted to the transmission processor 520.
  • the transmission processor 530 restores data units having a predetermined format by using the input digital signal and transmits the data units to the media processor 530.
  • the data unit may have the form of an MPEG2-TS packet, an IP packet, an MMTP packet, or a media file, and may transmit video, audio data, or metadata constituting a service.
  • the media processor 530 extracts image data from the data unit and transmits the image data to the image processor 550.
  • the media processor 530 extracts the audio data and transmits the image data to the audio processor 560.
  • the metadata may be used by the media processor 530 to control operations of the image processor 550 and the audio processor 560. Meanwhile, the metadata to be transmitted to the TV may be delivered to the metadata generator 540.
  • the metadata generator 540 obtains metadata from the transmission processor 520, the media processor 530, or a separate input interface, and transmits metadata to the audio processor 560 to be transmitted to the TV.
  • the metadata generated by the metadata generator 420 may be directly transmitted to the subscriber's TV according to the purpose.
  • the audio metadata processing unit 300 of the TV may acquire and process the metadata using a separate interface instead of the audio processing unit 222.
  • the audio processor 560 interprets the bitstream, deletes the metadata included in the existing bitstream, or replaces the metadata included in the existing bitstream with metadata received from the metadata generator 540.
  • a new bitstream may be generated by adding metadata received from the metadata generator 540 while maintaining metadata included in the existing bitstream.
  • the image processing unit 550 interprets the bitstream, deletes the metadata included in the existing bitstream, or includes the meta included in the existing bitstream. Replace the data with metadata transmitted from the metadata generator 540 or add new metadata transmitted from the metadata generator 540 while maintaining metadata included in the existing bitstream. An operation of generating a stream may be performed.
  • the first embodiment of the MPEG-H 3D Audio format utilizes the extended element inside the mpegh3daFrame () of the core bitstream in the format of "MPEG-H 3D Audio", the next generation audio standard of MPEG. To configure metadata.
  • the first embodiment is an embodiment in which the modification of the bitstream is easiest and the number of bits required is minimized.
  • usacExtElementType is a component for indicating a bit stream extension type, and a specific meaning thereof may be defined as shown in Table 2 below.
  • Table 3 below shows an example of usacExtElementSegmentData according to the usacExtElementType.
  • msgType is an element for signaling whether metadata is included and segmentation, and a specific value thereof may be allocated as shown in Table 5 below.
  • the "sysType" included in the ⁇ Table 4> is an element for signaling the expression format of the metadata and the MPEG system for processing the metadata, and specific values thereof may be allocated as shown in Table 6 below. .
  • the MPEG2-TS packet and the MMTP packet may have a packet structure for transmitting signaling.
  • the metadata may be an xml document such as DASH MPD.
  • the metadata may be URL information for the TV receiver to obtain the xml document.
  • Bootstrap information (eg URL information) to acquire additional services
  • An identifier of an audio bitstream in which metadata is transmitted or an identifier of a service including audio (eg Asset_id)
  • data in a general file format may be delivered through SysMetaFrame (), and “sysType” may have a value such as SYS_FILE.
  • sysType may have a value such as SYS_FILE.
  • the data in the file format may be configured and transmitted as a separate frame rather than a format included in SysMetaFrame ().
  • the sysType shown in Table 6 may be extended to include general IP packets or HTML documents.
  • the second embodiment of the MPEG-H 3D Audio format is an embodiment for adding necessary information to mpegh3daFrame (), which is higher than that of the first embodiment.
  • the second embodiment adds meta data to a usacElementType field, which is a field according to the characteristics of an audio codec.
  • the usacElementType field is defined in a United States Auto Club (USAC) rather than mpeg3da.
  • mpegh3daSysMetaElement () may be configured in a form similar to the SysMetaFrame () of the ⁇ Table 4>, the description of the detailed syntax for "mpegh3daSysMetaElement ()" will be omitted.
  • Metadata may be included in “mpegh3daConfigExtension”.
  • the third embodiment is mainly used when there is a modification to a configuration file and should be called once in one mp4 file.
  • An example of the mpegh3daConfigExtension is shown in Table 8 below.
  • UsacConfigExtType in Table 8 may be defined as shown in Table 9 below.
  • sysConfig () in Table 8 may be configured in a form similar to SysMetaFrame () in Table 4, a detailed description of the grammar of sysConfig () will be omitted.
  • the metadata includes all data that can be transmitted to the TV through an MVPD transmission network such as cable, satellite, IP, and the like and used in the TV.
  • the metadata may include a service identifier or universally unique identifier (UUID) for a service including an audio bitstream including the metadata.
  • the service identifier may be for identifying an audio service compressed into the audio bitstream.
  • the service identifier may be for identifying a video service associated with the audio service or a multimedia service including both the audio service and the video service.
  • the metadata may include information for acquiring and playing back video / audio data not received from the TV to the STB through another transmission medium.
  • the other transmission medium may include a wired Internet, a Wifi network, a 3G / 4G / 5G mobile network, and a storage medium such as USB.
  • a standard technique such as MPEG2-TS, MMT, DASH, etc. defined in MPEG, or a technique such as HTTP Live Streaming (HLS) may be used as a standard technique such as MPEG2-TS, MMT, DASH, etc. defined in MPEG, or a technique such as HTTP Live Streaming (HLS) may be used.
  • the format of the metadata follows a packet format defined by the metadata acquisition scheme or an expression format of signaling message metadata.
  • the metadata may be used to deliver firmware, various software, or general files applied to the TV.
  • the metadata may be in the form of a general bitstream, a file format defined by a standard body, or a packet.
  • the metadata packet may be a packet defined by protocols currently used in various communication systems such as IP packets, User Datagram Protocol (UDP) packets, and Remote Desktop Protocol (RDP) packets.
  • the metadata may further include information about an application to which the metadata is transmitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 개시의 실시예에 의한 셋탑 박스에서 컨텐츠를 처리하는 방법에 있어서, 오디오 스트림을 포함하는 컨텐츠를 수신하는 과정과, 상기 오디오 스트림에 대한 복호 동작을 수행하지 않고, 상기 오디오 스트림을 출력 인터페이스를 통하여 TV(Television)로 바이패스하는 과정을 포함하며, 상기 오디오 스트림은 상기 컨텐츠에 관한 메타데이터를 포함한다.

Description

미디어 데이터를 송수신하는 방법 및 장치
본 개시는 미디어 데이터를 송수신하는 방법 및 장치에 관한 것이다.
유무선 인터넷의 폭발적인 성장에 따라, 여러 가지 형태의 인터넷 TV(television)가 사람들의 생활의 의미있는 일부가 될 전망이다. 당장 유무선 인터넷을 통한 AV(Audio Video) 신호의 전달이 기존의 방송을 대체할 수는 없으나, 방송망과 인터넷을 결합한 하이브리드 서비스로 발전해 나갈 것이다. 또한, 컨텐츠 제공자 간 컨텐츠 전달이나 2차 분배망으로의 컨텐츠 전달에 전용망을 사용하던 과거와는 달리, 최근에는 IP(internet protocol) 망을 통하여 이를 전달함으로써, 별도의 전용망 비용을 줄이고 특화된 인터페이스로 인한 고가의 장비 비용을 절감하고자 하는 추세가 강해지고 있다.
현재의 디지털 방송은 스테레오 3D 비디오 방송, UHD(Ultra High Definition) 방송, 다 시점 3D 비디오 방송, 홀로그램 방송 등으로 발전할 것으로 예상되며, 각 단계로 나아갈 때마다 많은 데이터 송신량을 필요로 하게 되어, 현재의 MPEG-2 TS (Moving Picture Experts Group 2-Transport Stream)는 점차 비효율적이 될 것이란 전망도 있다.
예를 들어, UHD 방송의 경우 기존 HDTV에 비해 4배(4K급) 또는 16배(8K급)의 해상도를 갖게 될 것이므로, 고효율 압축 방식을 적용한다 하더라도 6 MHz TV 프로그램을 하나의 채널로 송신하지 못할 것이다. 이와 같이 고 송신률이 필요한 경우, 188 바이트의 고정된 길이의 패킷을 갖는 MPEG-2 TS는 비효율적이라 할 수 있다. 또한 방송망을 제외한 다른 모든 망이 IP 망으로 바뀌는 환경에서 MPEG-2 TS는 IP와 상호 변환하여 사용하기에 용이하지 않다. 따라서 UHD 방송이 상용화될 시점에서는 IP 친화적이고 MPEG-2 TS에 비해 더 효율적인 새로운 AV 전달 포맷에 대한 필요가 있을 것이다.
한편, 방송 서비스가 사용자에게 제공되기 위해서 컨텐츠에 상기 컨텐츠와 관련된 정보, 예를 들면, 메타 데이터가 포함되는데, 컨텐츠가 사용자에게 제공되는 과정에서 메타 데이터가 손실되는 경우가 있다. 예를 들어, IP TV 시청을 위하여 방송망 또는 케이블 망으로부터 수신한 컨텐츠는 셋탑 박스를 통하여 사용자의 TV로 전달되는데, 상기 컨텐츠가 셋탑 박스에서 처리되는 과정에서 컨텐츠에 포함된 메타 데이터가 모두 소비되거나 제거되고, 컨텐츠를 구성하는 순수한 영상 및/또는 오디오 데이터만이 압축되지 않은 형태로 TV로 전달될 수 있다. 이 경우 사용자의 TV에서 활용 가능한 메타 데이터들이 손실된다. 참고로, 상기 메타 데이터는, 예를 들어, 방송 서비스에서 제공되는 메인 서비스와 관련된 부가 서비스를 사용자의 TV에서 인터넷 망을 통하여 획득할 수 있는 정보가 될 수 있다.
본 개시는 컨텐츠와 관련된 메타 데이터를 사용자에게 제공하는 방법 및 장치를 제공한다.
본 개시의 실시예는 컨텐츠와 관련된 메타 데이터를 오디오 스트림을 통하여 사용자에게 제공하는 방법 및 장치를 제공한다.
본 개시의 실시예는 컨텐츠와 관련된 메타 데이터를 구성하는 방법 및 장치를 제공한다.본 개시의 실시예는 컨텐츠와 관련된 메타데이터를 포함하는 압축된 미디어 데이터 포맷을 제공한다.
본 개시의 실시예는 압축된 미디어 데이터 포맷을 사용하여 상기 메타데이터를 사용자의 TV로 전달하기 위한 방법 및 장치를 제공한다.
본 개시의 실시 예는 압축된 미디어 데이터 포맷을 사용하여 사용자의 TV에 전달된 메타데이터를 활용하여 부가 서비스를 제공하기 위한 방법 및 장치를 제공한다.
본 개시의 실시예에 의한 셋탑 박스에서 컨텐츠를 처리하는 방법은, 오디오 스트림을 포함하는 컨텐츠를 수신하는 과정과, 상기 오디오 스트림에 대한 복호 동작을 수행하지 않고, 상기 오디오 스트림을 출력 인터페이스를 통하여 TV(Television)로 바이패스하는 과정을 포함하며, 상기 오디오 스트림은 상기 컨텐츠에 관한 메타데이터를 포함한다.
본 개시의 실시예에 의한 TV(Television)에 컨텐츠를 재생하는 방법은, 셋탑 박스로부터 상기 TV로 전달된, 메타데이터를 포함하는 오디오 스트림을 수신하고, 상기 오디오 스트림으로부터 상기 메타데이터를 추출하고, 상기 추출된 메타데이터를 메타데이터 처리를 위하여 변형하고, 상기 메타데이터에 미디어 데이터의 재생을 위한 정보가 있으면, 상기 미디어 데이터의 재생을 위한 정보를 재생 장치로 전달하고, 상기 메타데이터에 미디어 데이터의 획득을 위한 정보가 있으면 상기 미디어 데이터의 획득을 위한 정보를 미디어 송신 처리부로 전달하는 과정과, 상기 미디어 데이터의 획득을 위한 정보를 이용하여 소정의 인터페이스 및 프로토콜을 통하여 상기 미디어 데이터를 획득하는 과정과, 상기 획득한 미디어 데이터를 복호하는 과정과, 상기 미디어 데이터의 재생을 위한 정보를 이용하여 상기 복호된 미디어 데이터를 재생하는 과정을 포함한다.
본 개시의 실시예에 의한 컨텐츠를 처리하는 셋탑 박스는, 오디오 스트림을 포함하는 컨텐츠를 수신하고, 상기 오디오 스트림에 대한 복호 동작을 수행하지 않고, 상기 오디오 스트림을 출력 인터페이스를 통하여 TV(Television)로 바이패스하는 오디오 처리부를 포함하며, 상기 오디오 스트림은 상기 컨텐츠에 관한 메타데이터를 포함한다.
본 개시의 실시예에 의한 컨텐츠를 처리하는 TV(Television)는, 메타 데이터를 처리하는 메타데이터 처리부와, 상기 메타데이터 처리부는, 셋탑 박스로부터 상기 TV로 전달된, 메타데이터를 포함하는 오디오 스트림을 수신하고, 상기 오디오 스트림으로부터 상기 메타데이터를 추출하는 메타데이터 추출부와, 상기 추출된 메타데이터를 메타데이터 처리를 위하여 변형하고, 상기 메타데이터에 미디어 데이터의 재생을 위한 정보가 있으면, 상기 미디어 데이터의 재생을 위한 정보를 재생 장치로 전달하고, 상기 메타데이터에 미디어 데이터의 획득을 위한 정보가 있으면 상기 미디어 데이터의 획득을 위한 정보를 미디어 송신 처리부로 전달하는 메타데이터 분석부와, 상기 미디어 데이터의 획득을 위한 정보를 이용하여 소정의 인터페이스 및 프로토콜을 통하여 상기 미디어 데이터를 획득하여 복호부로 전달하는 미디어 송신 처리부와, 상기 획득한 미디어 데이터를 복호하는 복호부와, 상기 미디어 데이터의 재생을 위한 정보를 이용하여 상기 복호된 미디어 데이터를 재생하는 미디어 플레이어를 포함한다.
도 1은 일반적인 방송 서비스에서 서비스 에코시스템을 구성하는 엔티티들의 일 예를 설명하는 도면,
도 2는 일반적인 셋탑 박스(SetTop Box: STB)(210)와 TV(220) 간의 미디어 전달 구조를 설명하는 도면,
도 3은 본 개시의 실시예에 따라 메타데이터가 부가 서비스의 획득 및 재생에 필요한 정보를 포함하고 있을 경우에 오디오 메타데이터 처리부(300)의 구성을 설명하는 도면,
도 4는 본 개시의 실시 예에 따라 MVPD 재송신 시스템을 구성한 일 예를 설명하는 도면,
도 5는 본 개시의 실시 예에 따른 STB의 구성을 설명하는 도면.
이하 첨부된 도면을 참조하여 본 개시의 바람직한 실시 예에 대한 동작 원리를 상세히 설명한다. 도면상에 표시된 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호로 나타내었으며, 다음에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저 본 명세서에서 사용되는 용어에 대하여 간략히 정의한다.
"컨텐츠"란 각종 유무선 통신망을 통해 제공되는 디지털 정보나 그러한 내용물을 총칭하는 것이다. 예를 들어, TV 프로그램, 영화, 전자책 각각이 하나의 컨텐츠가 될 수 있다. 통상적으로 하나의 컨텐츠는 영상 스트림, 오디오 스트림, 텍스트 스트림 중 적어도 하나를 포함하는 것이 일반적이다. 본 명세서에서 컨텐츠는 미디어 데이터와 동일한 의미로 혼용되거나, 상기 미디어 데이터를 포함하는 의미로 사용될 수 있다. 또한, 경우에 따라 "서비스"가 "컨텐츠"의 용어와 혼용되어 사용될 수도 있다.
본 개시의 상세한 설명에 앞서 본 개시의 기본 개념을 설명한다.
본 개시의 기본 개념은, 컨텐츠와 관련된 메타 데이터를 셋탑 박스를 통하여 사용자의 TV로 전달하기 위하여, 컨텐츠를 구성하는 압축된 오디오 스트림에 상기 메타 데이터를 포함하는 것이다. 이렇게 압축된 오디오 스트림에 메타 데이터를 포함시킬 경우, TV 내의 오디오 스트림을 처리하는 프로세서에서 상기 오디오 스트림 전체를 프리젠테이션 하기 이전에, 상기 텍스트 형태의 메타 데이터를 먼저 추출하여 상기 메타 데이터를 이용할 수 있다. 상술한 본 개시의 기본 개념의 대표적인 예로서, 메인 서비스를 구성하는 압축된 오디오 스트림에 상기 메인 서비스와 관련된 부가 서비스를 획득할 수 있는 텍스트 형태의 URL 정보를 포함시키면, 상기 압축된 오디오 스트림을 수신한 셋탑 박스는 상기 압축된 오디오 스트림에 대해서 압축 해제를 하지 않고, 압축된 채로 TV로 전달하여, TV는 상기 압축된 오디오 스트림으로부터 상기 텍스트 형태의 URL 정보를 획득하고, 상기 URL 정보를 이용하여 부가 서비스를 획득할 수 있다.
한편, 본 개시에서 메타데이터와 관련된 주요 내용은 다음과 같다.
본 개시에서 메타 데이터는 상기 메타데이터를 처리하기 위한 시스템을 지시하기 위한 정보를 포함할 수 있다. 예를 들어, 메타데이터 내부에 "시스템 타입(systype)" 정보가 포함되고, 상기 시스템 타입은 MPEG 시스템, MMT(MPEG Media Transport) 시스템, DASH(Dynamic Adaptive Streaming over HTTP) 시스템 등과 같은 시스템에 대한 정보를 포함할 수 있다.
본 개시에서 메타데이터는 부가 컨텐츠/서비스와 관련된 데이터를 획득할 수 있는 URL 정보를 포함할 수 있고, 또한, 메타데이터를 포함하는 스트림이 포함된 서비스에 대한 식별자를 포함할 수 있다.
본 개시에서 메타데이터는 MPEG , MMT, DASH 표준 등의 시스템에서 정의하는 패킷의 형식이 되거나, 또는 시그널링 메시지의 형식이 될 수 있다.
본 개시에서 메타데이터를 생성하는 주체는 다음과 같다. 먼저, 스튜디오와 같은 컨텐츠 제공자가 메타데이터를 생성할 수 있다. 또한, 방송망 또는 케이블망 상의 엔터티는 현재의 메타데이터에 새로운 메타데이터를 추가하거나, 현재의 메타데이터를 변형하거나, 제거할 수 있다. 또한, 방송망 또는 케이블망 상의 엔터티는 자신이 새로 메타데이터를 생성하고, 현재의 메타데이터를 상기 새로 생성된 메타데이터로 치환할 수 있다. 또한, MVPD(Multichannel Video Programming Distributor)와 같은 미디어 송신과 관련된 엔터티도 상기 추가, 변경, 삭제, 치환 동작을 수행할 수 있다. MVPD의 상기 동작들은 도 4에서 설명될 것이다. 또한, 가입자의 TV에 연결된 STB도 상기 추가, 변경, 삭제, 치환 동작을 수행할 수 있다. STB의 상기 동작들은 도 5에서 설명될 것이다.
본 개시에서는 오디오 스트림에 상기 메타데이터가 포함되어 TV로 전달된다. 그에 따라 본 개시에서 TV 내에 상기 메타데이터를 처리하기 위한 메타데이터 처리부가 포함된다. 상기 메타데이터 처리부의 동작은 상기 메타데이터의 종류에 따를 수 있다. 예를 들어, 메타데이터 처리부의 입력이 MMT 시그널링 메시지를 포함하는 MMTP 패킷 형태가 되거나, 메타데이터가 컨텐츠의 식별자인 경우, 메타데이터가 DASH MPD인 경우, 상기 메타데이터가 특정 어플리케이션에서 사용되는 데이터일 경우에 따라 동작이 달라질 수 있다. 상기 메타데이터 처리부의 구체적인 동작은 도 3에서 설명될 것이다.
상술한 본 개시의 주요 개념에 기초하여, 이하에서 본 개시의 실시예들을 상세히 설명한다. 본 개시에서 압축된 미디어 포맷은 그 출력 스트림에 메타 데이터를 포함한다. 한편, 이하의 실시 예들은 MPEG-H 3D Audio 포맷을 기반으로 기술될 것이지만 일반적인 압축된 미디어 포맷에 적용될 수 있음은 자명하다.
도 1은 일반적인 방송 서비스에서 서비스 에코시스템을 구성하는 엔티티들의 일 예를 설명하는 도면이다.
도 1을 참조하면, 스튜디오와 같은 컨텐츠 제공자(Content Provider)(110)는 컨텐츠를 제작하며, 상기 컨텐츠 제공자(110)에서 제작된 컨텐츠는 지상파 방송망(120)에 의하여 특정 사업자의 방송국(130)으로 분배되어 지상파 방송망을 통하여 시청자(140)에게 직접 전달되거나, MVPD(Multichannel Video Programming Distributor)(135)를 거처서 케이블, 위성 또는 IP 망을 통하여 가입자(145)들에게 재송신될 수 있다. 또한, 상기 MVPD(135)는 케이블 망(125)을 통하여 직접 컨텐츠를 수신하고 케이블, 위성 또는 IP 망을 통하여 가입자들(145)에게 전달될 수 있다.
한편, 본 개시의 실시예와 관련하여, 본 개시에서는 도 1의 엔터티들 중 적어도 하나에서 메타데이터를 생성/추가/변경/삭제/치환할 수 있다.
일 예로, 상기 컨텐츠 제공자(110)는 메타 데이터를 생성할 수 있다. 이때, 상기 메타 데이터는 컨텐츠 제공자(110)에서 생성되는 압축된 오디오 비트 스트림에 포함될 수 있다.
또한, 상기 방송망(120)의 엔터티 및/또는 케이블 망(125)의 엔터티가 메타 데이터를 새로 생성하거나, 또는 현재의 메타데이터에 새로운 메타데이터를 추가하거나, 현재의 메타데이터를 변형하거나, 삭제할 수 있다. 이때, 상기 방송망(120)의 엔터티 및/또는 케이블 망(125)의 엔터티는 현재의 메타데이터를 상기 새로 생성된 메타데이터를 치환할 수 있다.
또한, 상기 방송국(130) 및/또는 상기 MVPD(135)가 메타 데이터를 새로 생성하거나, 또는 현재의 메타데이터에 새로운 메타데이터를 추가하거나, 현재의 메타데이터를 변형하거나, 삭제할 수 있다. 이때, 상기 방송국(130) 및/또는 상기 MVPD(135) 현재의 메타데이터를 상기 새로 생성된 메타데이터를 치환할 수 있다.
또한, 상기 가입자(145)의 TV에 연결된 STB에서도 상기 메타 데이터에 대하여 상기 생성, 추가, 변형, 삭제, 치환 등의 동작을 수행할 수 있다.
도 2는 일반적인 셋탑 박스(SetTop Box: STB)(210)와 TV(220) 간의 미디어 전달 구조를 설명하는 도면이다.
STB(210)는 입력 처리부(211), 송신 처리부(212), 미디어 처리부(213), 영상 처리부(214), 오디오 처리부(215) 및 출력 처리부(216)를 포함한다.
STB(210)는 MVPD로부터 방송 신호를 수신하며 상기 방송 신호는 STB 입력 처리부(211)에서 디지털 신호로 변환되어 송신 처리부(212)로 전달된다.
상기 송신 처리부(212)는 입력된 디지털 신호를 사용하여 일정한 포맷을 가지는 데이터 단위들을 복원하여 미디어 처리부(213)로 전달한다. 이때 상기 데이터 단위는 MPEG2-TS 패킷, IP 패킷, MMTP(MPEG Media Transport Protocol) 패킷 또는 미디어 파일의 형태를 가질 수 있으며, 서비스를 구성하는 영상, 오디오 데이터 또는 메타 데이터를 전달할 수 있다.
상기 미디어 처리부(213)는 상기 데이터 단위로부터 영상 데이터를 추출하여 영상 처리부(214)로 전달하고, 오디오 데이터를 추출하여 오디오 처리부(215)로 전달한다. 참고로, 상기 메타데이터는 상기 미디어 처리부(213)가 영상 처리부(214), 오디오 처리부(215)의 동작을 제어하기 위하여 사용될 수 있다.
통상적으로 상기 영상 처리부(214)와 오디오 처리부(215)로 전달되는 영상과 오디오 데이터는 소정의 압축 알고리즘을 통하여 압축된 상태이다.
상기 영상 처리부(214)는 상기 영상 데이터를 비압축(uncompressed) 상태로 복원하여 STB 출력 처리부(216)로 전달한다. 상기 압출 알고리즘은 일 예로 MPEG-H에서 정의된 HEVC(High Efficiency Video Codec)나 3D-Audio 일 수 있다.
STB의 오디오 처리부(215)는 압축된 상태의 오디오 데이터를 비압축 상태로 복원하여 STB 출력 처리부(216)로 전달한다.
상기 STB 출력 처리부(216)는 영상 및 오디오 신호를 전달 매체를 통하여 TV(220)의 입력 처리부(221)로 전달한다. 상기 전달 매체는, 일 예로, HDMI(High Definition Multimedia Interface) 케이블이나 RGB(red-green-blue) 케이블 또는 컴포넌트 케이블이 될 수 있다.
한편, TV(220)는 입력 처리부(221) 및 A/V 렌더링부(223)을 포함한다. 추가로 오디오 처리부(222)가 더 포함될 수 있는데, 상기 TV 입력 처리부(221)는 상기 전달 매체를 통하여 전달된 영상 및 오디오 신호를 A/V 렌더링부(223)로 전달하여 방송 서비스가 재생되도록 한다.
한편, 앞서 설명된 바와 같이, 도 2에서 설명된 미디어 전달 과정에서 컨텐츠에 포함된 메타 데이터가 유실될 수 있다.예를 들어, HDMI/RGB 케이블 등을 통하여 영상 및 오디오 신호가 STB(210)에서 TV(220)로 전달되기 이전에, 상기 STB(210)로 입력된 미디어 데이터가 상기 STB(210)의 미디어 처리부(213) 또는 영상 처리부(214) 및 오디오 처리부(215)에서 처리되면서 상기 메타 데이터가 모두 소비되거나 또는 제거되고, 순수한 영상 및/또는 오디오 신호만이 비압축(uncompressed)된 형태로 TV(220) 전달될 수 있기 때문이다.
그에 따라 본 개시에서는, 메타 데이터가 TV(220)에게 전달되도록 하기 위하여, STB(210)의 오디오 처리부(215)는 다음과 같이 동작한다. 즉, 상기 오디오 처리부(215)는 수신한 오디오 비트스트림에 대하여 비압축 처리를 하지 않고, 즉, 아무런 복호 동작을 수행하지 않은 채 압축된 형태 그대로 STB 출력 장치(216)로 전달한다. 즉, 앞서 설명된 바와 같이 일반적인 경우, 오디오 처리부(215)는 상기 오디오 데이터를 비압축 형태로 복원하여 STB 출력 처리부(216)로 전달하였지만, 본 개시의 실시예에서 오디오 처리부(215)는 수신한 오디오 비트스트림을 압축된 형태 그대로 STB 출력 장치(216)로 전달하기 때문에 상기 오디오 비트스트림에 포함된 메타데이터가 TV의 입력 장치(221)를 통하여 TV(220)로 전달될 수 있다.
한편, 본 개시의 실시 예에 따라 동작하는 TV(220)는 상기 오디오 비트스트림을 통하여 TV(220)로 전달되는 메타데이터를 처리하기 위한 메타데이터 처리부를 포함한다. 상기 메타데이터 처리부는 TV(220)에 포함된 오디오 처리부(222)에 연결된다.
한편, 오디오 비트스트림에 포함된 메타데이터의 종류에 따라 메타데이터 처리부의 동작이 결정될 수 있다.
본 개시에서 메타데이터는 케이블, 위성, IP등의 MVPD 송신망과 STB를 거쳐서 TV까지 전달되어 TV에서 사용될 수 있는 모든 데이터를 포함한다.
일 예로, 상기 메타데이터는 상기 메타데이터를 포함하는 오디오 비트스트림이 포함된 서비스를 위한 서비스 식별자를 포함할 수 있다. 이 때 상기 서비스 식별자는 상기 오디오 비트스트림으로 압축된 오디오 서비스를 식별하기 위한 것일 수 있다. 또한, 상기 서비스 식별자는 상기 오디오 서비스와 연관된 영상 서비스 또는 상기 오디오 서비스와 영상 서비스를 모두 포함하는 멀티미디어 서비스를 식별하기 위한 것일 수 있다.다른 예로, 상기 메타데이터는 TV가 STB로부터 전달받지 않은 영상/오디오 데이터를 다른 송신 매체를 통하여 획득하여 재생하기 위한 정보를 포함할 수 있다. 이 때 상기 다른 송신 매체는 유선 인터넷이나 Wifi 네트워크, 3G/4G/5G 이동 통신 네트워크 및 USB 등의 저장 매체 등을 포함할 수 있다. 또한 상기 영상/오디오 데이터를 획득하는 방식은, MPEG 등에서 정의된 MPEG2-TS, MMT, DASH 등의 표준 기술이나 HLS(HTTP Live Streaming) 등의 기술이 사용될 수 있다. 이 때 메타 데이터의 형식은 상기 메타 데이터 획득 방식에서 정의하는 패킷의 형식이 되거나, 또는 시그널링 메시지 메타 데이터의 표현 형식이 될 수 있다.
또 다른 예로, 상기 메타데이터는 TV에 적용되는 펌웨어(Firmware) 또는 각종 소프트웨어(software) 또는 일반적인 파일 등의 전달에 사용될 수 있다. 이 때 상기 메타데이터는 일반적인 비트스트림의 형태이거나 표준 단체에서 정의된 파일 포맷, 또는 패킷 형태로 구성될 수 있다. 따라서 상기 메타 데이터 패킷은 IP 패킷, UDP(User Datagram Protocol) 패킷, RDP(Remote Desktop Protocol) 패킷 등과 같이 현재 각종 통신 시스템에서 사용되는 프로토콜에서 정의된 패킷이 될 수 있다. 이때 상기 메타데이터는 상기 메타데이터가 전달된 어플리케이션(application) 등에 대한 정보를 추가로 포함할 수 있다.
이하에서 도 3을 참조하여 메타데이터 처리부의 구성을 설명한다.도 3은 본 개시의 실시예에 따라 메타데이터가 부가 서비스의 획득 및 재생에 필요한 정보를 포함하고 있을 경우에 오디오 메타데이터 처리부(300)의 구성을 설명하는 도면이다.
메타데이터 처리부(300)는 상기 도 2의 오디오 처리부(220)에 연결되어 메타데이터를 전달받는다. 메타데이터 처리부(300)는 메타데이터 추출부(310), 메타데이터 분석부(320), 미디어 프리젠테이션 처리부(330), 미디어 송신(delivery) 처리부(340)를 포함할 수 있다.
메타데이터 추출부(310)는 오디오 처리부(222)에서 전달된 오디오 스트림으로부터 메타 데이터를 추출한다. 메타데이터 분석부(320)는 추출된 메타데이터를 실제 메타데이터 처리부(300)의 동작에 필요한 정보 형식으로 변환한다. 상기 메타데이터 분석부(320)에서 생성된 정보 중 미디어의 재생을 위하여 필요한 정보는 미디어 프리젠테이션 처리부(330)로 전달되며, 미디어 데이터의 획득을 위하여 필요한 정보는 미디어 송신 처리부(340)로 전달된다.
미디어 프리젠테이션 처리부(330)는 미디어 재생에 필요한 정보를 가공하여 미디어 플레이어(380)로 전달한다.
미디어 송신 처리부(340)는 상기 미디어 데이터의 획득을 위한 정보를 사용하여 별도의 송신 인터페이스 및 프로토콜을 사용하여 미디어 데이터를 획득하고 이를 복호부(370)에 전달한다. 도 3에서는 상기 프로토콜의 예로서, MMTP(350)과 HTTP(360)이 예시되었다.
복호부(370)는 상기 미디어 데이터를 복호하여 미디어 플레이어(380)로 전달하고, 미디어 플레이어(380)는 상기 미디어 프리젠테이션 처리부(330)로부터 전달받은 미디어 재생에 필요한 정보를 이용하여 상기 복호된 미디어 데이터를 재생한다.
참고로, 상기 메타데이터는 미디어의 재생에 필요한 정보를 모두 포함하지 못할 수도 있다. 이러한 경우, 미디어 송신 처리부(340)는 미디어 재생에 필요한 추가 정보를 별도의 송신 인터페이스 및 프로토콜을 사용하여 획득하고 이를 미디어 프리젠테이션 처리부(330)로 전달한다.
한편, 도 3에서 오디오 처리부(222)의 출력은 MMT 시그널링 메시지를 포함하는 MMTP 패킷의 형태일 수 있다. 이 경우에 상기 메타데이터 추출부(310)는 MMTP 패킷에서 MMT 시그널링 메시지를 추출하고 이를 상기 메타데이터 분석부(320)로 전달한다.
상기 도 3의 설명은, 상기 메타데이터가 부가 서비스의 획득 및 재생에 필요한 정보를 포함하는 경우를 가정하여 설명하였다. 그러나 메타데이터가 다른 종류의 데이터를 포함할 경우, 메타데이터 처리부(330)의 동작이 달라질 수 있다.
일 예로, 메타데이터가 부가 컨텐츠의 식별자를 포함한다면, 상기 메타데이터 처리부(330)의 동작은 다음과 같다. 즉, 메타데이터 처리부(330)는 상기 식별자에 의하여 식별되는 컨텐츠에 대한 부가 서비스의 목록을 확인한다. 이후, 사용자의 선택에 따르거나 또는 미리 정해진 정책(policy)에 따라 부가 서비스의 미디어 데이터 및 상기 미디어 데이터의 재생에 필요한 정보를 별도의 송신 매체를 통하여 획득하고 이를 상기 복호부(370) 및 미디어 플레이어(380)에 전달한다.다른 예로, 메타데이터가 DASH(Dynamic Adaptive Streaming over HTTP)에서 정의된 MPD(Media Presentation Description) 형식의 정보라면, 상기 메타데이터 처리부(330)는 별도의 DASH 처리부(미도시됨)로 상기 DASH MPD를 전달한다. 또한, 상기 메타데이터가 DASH MPD의 URL 정보를 포함한다면, 메타데이터 처리부(330)는 상기 URL을 사용하여 상기 DASH MPD를 획득하고 이를 상기 DASH 처리부로 전달한다.
또 다른 예로, 메타데이터가 특정 어플리케이션에서 사용되는 데이터를 포함하는 경우, 메타데이터 처리부(300)는 오디오 처리부(222)에서 입력받은 메타데이터를 상기 특정 어플리케이션에서 사용하는 별도의 송신 인터페이스에 맞추어 전달할 수 있다.
상술한 예와 같이, 메타데이터는 MMTP 패킷 또는 DASH MPD와 다양한 포맷으로 구성될 수 있다. 그에 따라 각각의 서로 다른 포맷을 갖는 메타데이터를 처리하기 위하여, 메타데이터 처리부(300)는 포맷들 별로 별도의 유닛으로 구성될 수 있다. 또는, 서로 다른 복수 개의 포맷들을 갖는 메타데이터를 함께 처리할 수 있는 메타데이터 파서(320)등의 구성 요소를 사용하여 하나의 유닛으로 구성될 수 있다.
한편, 상기 메타데이터 처리부(300)의 구성 요소 중 전체 또는 일부는 상기 오디오 처리부(222)에 포함될 수 있으며, 상기 오디오 처리부(222)는 오디오 복호부(도시되지 않음)를 포함할 수 있다.
이하에서는 도 1에서 설명된 MVPD를 본 개시의 실시예 따라 구성된 예를 설명한다.
도 4는 본 개시의 실시 예에 따라 MVPD 재송신 시스템을 구성한 일 예를 설명하는 도면이다.
MVPD 재송신 시스템(400)은 상기 도 1의 케이블 망(125) 또는 방송국(130)로부터 방송 서비스 데이터를 수신한다. 수신된 방송 서비스 데이터는 역다중화부(410)에서 영상 신호, 오디오 신호 및 시그널링 정보로 나누어져서 각각 영상 트랜스코더(430), 오디오 트랜스코더(440) 및 시그널링 컨버터(450)로 전달된다. 이 때 상기 영상 신호 및 오디오 신호를 구성하는 비트스트림은 상기 케이블 망(125), 방송국(130) 또는 컨텐츠 제공자(110)가 생성한 메타데이터를 포함할 수 있다. 다만, MVPD 재송신 시스템(400)의 입/출력 인터페이스가 미디어 데이터의 종류에 각각 대응하는 별도의 방식을 가진다면, 상기 역다중화부(410) 및 다중화부(460)는 포함되지 않을 수 있다.
상기 트랜스코더들(430, 440)은 수신한 영상 및/또는 오디오 데이터의 해상도나 비트레이트를 변환하는 것과 같이 비트스트림을 변환하는 동작을 수행할 수 있고, 상기 영상 트랜스코더(430), 오디오 트랜스코더(440) 및 시그널링 컨버터(450)의 출력은 다중화(460)를 통하여 다중화되어 가입자들에게 전달된다.
본 개시의 실시 예에 따른 MVPD 재송신 시스템은 메타데이터 생성부(420)를 포함할 수 있다. 메타데이터 생성부(420)는 가입자의 TV에 전달될 메타데이터와 가입자의 STB에 전달된 메타데이터를 생성한다. 상기 가입자의 TV에 전달할 메타데이터는 영상 트랜스코더(430) 또는 오디오 트랜스코더(440)에 전달되며, 상기 가입자의 STB에 전달할 메타데이터는 상기 시그널링 변환기(450)로 전달된다.
본 개시의 실시 예에 따른 영상 트랜스코더(430) 및 오디오 트랜스코더(440)는 비트스트림을 해석하고, 현재의 비트스트림에 포함된 메타데이터를 변형할 수 있다. 구체적으로, 영상 트랜스코더(430) 및 오디오 트랜스코더(440)는 현재의 비트스트림에 포함된 메타데이터를 삭제하거나, 현재의 비트스트림에 포함된 메타데이터를 상기 메타데이터 생성부(420)에서 새로 생성된 메타데이터로 대체할 수 있다. 또한, 현재의 비트스트림에 포함된 메타데이터를 유지한 채, 상기 메타데이터 생성부(420)에서 새로 생성된 메타데이터를 추가하여 새로운 비트스트림을 생성하는 동작을 수행할 수도 있다.
참고로, 메타데이터 생성부(420)는 MVPD 자체 서비스 구성을 위한 정보나 개인형 광고 및 가입자의 TV 또는 STB로 전달하고자 하는 정보를 포함하는 메타데이터를 자신이 생성할 수도 있다. 또한, 메타데이터 생성부(420)는 제3자가 가입자 TV 또는 STB로 전달하고자 하는 메타데이터를 상기 제3자로부터 수신하여 전달할 수 있다.
변형 실시예로써, 상기 MVPD가 가입자의 STB 및 TV로 개인형 메타데이터를 전달할 수 있는 송신 매체를 보유한 경우, 상기 메타데이터 생성부(420)에서 생성된 메타데이터는 그 용도에 따라 가입자의 STB 및 TV로 바로 전달 될 수 있다. 이러한 경우, 도 3에서 TV의 메타데이터 처리부(300)는 오디오 처리부(222)가 아닌 별도의 인터페이스를 사용하여 상기 메타데이터를 획득하고 처리할 수 있다.
상술한 MVPD 재송신 시스템에 대한 실시 예는 MVPD의 재송신 시스템뿐만 아니라 방송국(130)이 방송 망(120)으로부터 전달받은 방송서비스를 MVPD(135)로 전달하는 재송신 시스템에 적용되거나 또는 방송 서비스를 전달하는 정보 흐름 상의 어떤 노드에서도 적용될 수 있다.
이하에서는 본 개시의 실시예에 의한 STB의 구성 예를 설명한다.
도 5는 본 개시의 실시 예에 따른 STB의 구성을 설명하는 도면이다.
도 5를 도 2와 비교하면, 도 5에서는 본 개시의 실시예에 따라 추가된 메타데이터 생성부(540)이 추가된 것을 볼 수 있다.
STB(500)는 MVPD로부터 방송 신호를 수신하며 상기 방송 신호는 STB 입력 처리부(510)에서 디지털 신호로 변환되어 송신 처리부(520)로 송신된다.
상기 송신 처리부(530)는 입력된 디지털 신호를 사용하여 일정한 포맷을 가지는 데이터 단위들을 복원하고 이를 미디어 프로세서(530)로 전달한다. 이 때 상기 데이터 단위는 MPEG2-TS 패킷, IP 패킷, MMTP 패킷 또는 미디어 파일의 형태를 가질 수 있으며, 서비스를 구성하는 영상, 오디오 데이터 또는 메타데이터를 전달할 수 있다.
상기 미디어 처리부(530)는 상기 데이터 단위로부터 영상 데이터를 추출하여 영상 처리부(550)로 전달하며, 오디오 데이터를 추출하여 오디오 처리부(560)로 전달한다. 상기 메타데이터는 상기 미디어 처리부(530)가 영상 처리부(550), 오디오 처리부(560)의 동작을 제어하기 위하여 사용될 수 있다. 한편, TV로 전달될 메타데이터는 메타데이터 생성부(540)로 전달될 수 있다.
상기 메타데이터 생성부(540)는 상기 송신 처리부(520), 미디어 처리부(530) 또는 별도의 입력 인터페이스로부터 메타데이터를 획득하고 TV로 전달할 메타데이터들을 오디오 처리부(560)로 전달한다. 변형 실시 예로써, 상기 STB가 Wifi 등을 통하여 TV와 데이터를 교환할 수 있는 경우, 상기 메타데이터 생성부(420)에서 생성된 메타데이터는 그 용도에 따라 가입자의 TV로 바로 전달 될 수 있다. 이 때 본 개시의 실시 예에 따른 TV의 오디오 메타데이터 처리부(300)는 오디오 처리부(222)가 아닌 별도의 인터페이스를 사용하여 상기 메타데이터를 획득하고 처리할 수 있다.
오디오 처리부 (560)는 비트스트림을 해석하고, 기존의 비트스트림에 포함된 메타데이터를 삭제하거나, 기존의 비트스트림에 포함된 메타데이터를 상기 메타데이터 생성부(540)에서 전달 받은 메타데이터로 대체하거나, 기존의 비트스트림에 포함된 메타데이터를 유지한 채 상기 메타데이터 생성부(540)에서 전달 받은 메타데이터를 추가하여 새로운 비트스트림을 생성할 수 있다.
한편, 본 개시의 실시 예에 따른 영상 처리부(550)도 상기 오디오 처리부(560)과 마찬가지로 비트스트림을 해석하고, 기존의 비트스트림에 포함된 메타데이터를 삭제하거나, 기존의 비트스트림에 포함된 메타데이터를 상기 메타데이터 생성부(540)에서 전달 받은 메타데이터로 대체하거나, 기존의 비트스트림에 포함된 메타데이터를 유지한 채 상기 메타데이터 생성부(540)에서 전달 받은 메타데이터를 추가하여 새로운 비트스트림을 생성하는 동작을 수행할 수 있다.
이하에서는 본 개시의 실시예에 따라 메타데이터를 다양한 포맷에 따라 구성하는 방식들을 설명한다.
<MPEG-H 3D Audio 포맷의 제1 실시예>
MPEG-H 3D Audio 포맷의 제1 실시예는 MPEG의 차세대 오디오 표준인 "MPEG-H 3D Audio"의 포맷에서 코어 비트스트림(Core bitstream)의 mpegh3daFrame() 내부에 있는 확장 요소(Extended Element)를 활용하여 메타데이터를 구성하는 실시예이다. 제1 실시예는 비트스트림의 수정이 가장 용이하고 필요한 비트의 개수를 최소화하는 실시예이다.
제1 실시예에서 mpegh3daExtElementConfig()의 예는 하기 <표 1>과 같다.
Figure PCTKR2016001520-appb-T000001
상기 <표 1>에서 usacExtElementType는 비트스트림의 확장 형식(bit stream extension type)을 알려주기 위한 구성 요소로 그 구체적인 의미는 하기 <표 2>와 같이 정의될 수 있다.
Figure PCTKR2016001520-appb-T000002
하기 <표 3>은 상기 usacExtElementType에 따른 usacExtElementSegmentData의 예를 나타낸다.
Figure PCTKR2016001520-appb-T000003
상기 <표 3>에서 SysMetaFrame()의 일 예는 하기 <표 4>와 같다.
Figure PCTKR2016001520-appb-T000004
상기 <표 4>에서 "msgType"은 메타 데이터의 포함 여부 및 세그멘테이션(segmentation) 여부를 시그널링하기 위한 엘리먼트로 그 구체적은 값은 하기 <표 5>와 같이 할당될 수 있다.
Figure PCTKR2016001520-appb-T000005
또한 상기 <표 4>에 포함된 "sysType"은 메타 데이터의 표현 형식 및 상기 메타 데이터를 처리하기 위한 MPEG 시스템 등을 시그널링하기 위한 엘리먼트로 그 구체적인 값은 하기 <표 6>과 같이 할당 될 수 있다.
Figure PCTKR2016001520-appb-T000006
상기 <표 6>에서 상기 "sysType"이 "SYS_MP2TS"일 경우에 메타 데이터는 MPEG2-TS 패팃 형태로 구성되며, "sysType"이 "SYS_MMT"일 경우에 메타 데이터는 MMTP 패킷 형태로 구성된다.
한편, 다른 실시 예에서 상기 MPEG2-TS 패킷 및 MMTP 패킷은 시그널링을 전달하기 위한 패킷 구조를 가질 수 있다. 또한, "sysType"이 "SYS_DASH"일 경우 메타데이터는 DASH MPD 등의 xml 문서일수 있으며, 또 다른 실시 예에서, 메타데이터는 TV 수신기가 상기 xml 문서를 획득하기 위한 URL 정보 일 수 있다.
상기 <표 6>을 활용할 실시 예에서는 패킷이 전달되는 것을 가정하였으나 실제 구현에 있어서는 다음과 같은 다양한 형태의 메타 데이터가 전달될 수 있다.
- MMT 시그널링 메시지(signaling messages)
- MMT 시그널링 테이블(signaling table)
- MPEG2 섹션(sections)
- 부가적인 오디오 데이터(audio data)
- 부가 서비스 획득을 위한 부트스트랩 정보(Bootstrap information) (예: URL 정보)
- 메타데이터가 송신되는 오디오 비트스트림의 식별자 또는 오디오를 포함하는 서비스의 식별자 (예: Asset_id)
한편, 본 개시의 다른 실시 예에서는 SysMetaFrame()를 통하여 일반적인 파일 형태의 데이터를 전달 할 수 있으며, 이때 "sysType"은 SYS_FILE 등의 값을 가질 수 있다. 또한 상기 파일 형태의 데이터는 SysMetaFrame()에 포함되는 형식이 아닌 별도의 프레임으로 구성되어 전달될 수 있음에 유의하여야 한다. 또한, 상기 <표 6>의 sysType을 확장하여 일반적인 IP 패킷 또는 HTML 문서 등을 포함할 수 있음을 물론이다.
< MPEG-H 3D Audio 포맷의 제2 실시예 >
MPEG-H 3D Audio 포맷의 제2 실시예는 상기 제1 실시예의 경우보다 상위인 mpegh3daFrame()에 필요한 정보들을 추가하는 실시예이다. 제2 실시예는 오디오 코덱의 특성에 따른 필드인 usacElementType 필드에 메타 데이터를 추가하는 실시예로, 상기 usacElementType 필드는 mpeg3da가 아닌 USAC(United States Auto Club)에 정의되어 있다.
본 개시의 실시 예에 따른 mpegh3daFrame()의 예는 하기 <표 7>과 같다.
Figure PCTKR2016001520-appb-T000007
상기 <표 7>에서 "mpegh3daSysMetaElement()"는 상기 <표 4>의 SysMetaFrame()와 유사한 형태로 구성될 수 있으므로, "mpegh3daSysMetaElement()"에 대한 상세한 문법에 대한 설명은 생략한다.
< MPEG-H 3D Audio 포맷의 제3 실시예 >
MPEG-H 3D Audio 포맷의 제3 실시 예에서 메타데이터는 "mpegh3daConfigExtension"에 포함될 수 있다. 제3 실시예는 주로 설정 파일(Configuration File)에 대한 수정이 있을 경우에 활용하기 위한 것으로, 하나의 mp4파일에 한 번 불려야 한다. 상기 mpegh3daConfigExtension의 예는 하기 <표 8>과 같다.
Figure PCTKR2016001520-appb-T000008
상기 <표 8>의 usacConfigExtType은 하기 <표 9>와 같이 정의될 수 있다.
Figure PCTKR2016001520-appb-T000009
상기 <표 8>의 sysConfig()는 상기 <표 4>의 SysMetaFrame()와 유사한 형태로 구성될 수 있으므로, 상기 sysConfig()에 대한 상세한 문법에 대한 설명은 생략한다.
한편, 상술한 것처럼, 본 개시의 실시 예들에서 메타데이터는 케이블, 위성, IP등의 MVPD 송신망과 STB를 거쳐서 TV까지 전달되어 TV에서 사용될 수 있는 모든 데이터를 포함한다. 일 예로, 상기 메타데이터는 상기 메타데이터를 포함하는 오디오 비트스트림이 포함된 서비스를 위한 서비스 식별자 또는 UUID(Universally unique identifier)를 포함할 수 있다. 이때 상기 서비스 식별자는 상기 오디오 비트스트림으로 압축된 오디오 서비스를 식별하기 위한 것일 수 있다. 다른 예에서는 상기 서비스 식별자는 상기 오디오 서비스와 연관된 영상 서비스 또는 상기 오디오 서비스와 영상 서비스를 모두 포함하는 멀티미디어 서비스를 식별하기 위한 것일 수 있다.
다른 실시 예에서 상기 메타데이터는 TV에서 STB로 전달받지 않은 영상/오디오 데이터를 다른 송신 매체를 통하여 획득하여 재생하기 위한 정보를 포함할 수 있다. 이 때 상기 다른 송신 매체는 유선 인터넷이나 Wifi 네트워크, 3G/4G/5G mobile 네트워크 및 USB 등의 저장 매체 등을 포함할 수 있다. 또한 상기 영상/오디오 데이터를 획득하는 방식은, MPEG 등에서 정의된 MPEG2-TS, MMT, DASH 등의 표준 기술이나 HLS(HTTP Live Streaming) 등의 기술이 사용될 수 있다. 이 때 메타 데이터의 형식은 상기 메타 데이터 획득 방식에서 정의하는 패킷 형식이나 시그널링 메시지 메타 데이터의 표현 형식을 따른다.
또 다른 실시 예에서 상기 메타데이터는 TV에 적용되는 펌웨어(Firmware) 또는 각종 소프트웨어(software) 또는 일반적인 파일 등의 전달에 사용될 수 있다. 이 때 상기 메타데이터는 일반적인 비트스트림의 형태이거나 표준 단체에서 정의된 파일 포맷, 또는 패킷 형태로 구성될 수 있다. 따라서 상기 메타 데이터 패킷은 IP 패킷, UDP(User Datagram Protocol) 패킷, RDP(Remote Desktop Protocol) 패킷 등과 같이 현재 각종 통신 시스템에서 사용되는 프로토콜에서 정의된 패킷이 될 수 있다. 이때 상기 메타데이터는 상기 메타데이터가 전달된 어플리케이션(application) 등에 대한 정보를 추가로 포함할 수 있다.

Claims (14)

  1. 셋탑 박스에서 컨텐츠를 처리하는 방법에 있어서,
    오디오 스트림을 포함하는 컨텐츠를 수신하는 과정과,
    상기 오디오 스트림에 대한 복호 동작을 수행하지 않고, 상기 오디오 스트림을 출력 인터페이스를 통하여 TV(Television)로 바이패스하는 과정을 포함하며,
    상기 오디오 스트림은 상기 컨텐츠에 관한 메타데이터를 포함하는 컨텐츠를 처리하는 방법.
  2. 제1항에 있어서, 상기 메타데이터는,
    상기 메타 데이터의 처리를 위한 시스템을 지시하는 시스템 타입 정보, 서비스에 대한 식별자, 부가 컨텐츠 획득을 위한 URL(Uniform Resource Locator) 정보 중 적어도 하나를 포함하며,
    상기 메타데이터는 패킷 형식이거나 또는 시그널링 메시지 형식임을 특징으로 하는 컨텐츠를 처리하는 방법.
  3. 제1항에 있어서, 상기 메타데이터는,
    컨텐츠 제공자, 방송망 엔터티, 케이블망 엔터티, MVPD(Multichannel Video Programming Distributor) 중 적어도 하나에서 생성됨을 특징으로 하는 컨텐츠를 처리하는 방법.
  4. 제1항에 있어서,
    상기 셋탑 박스에서 메타데이터를 생성하는 과정과,
    상기 오디오 스트림에 포함된 메타데이터를 상기 생성된 메타데이터로 치환하는 과정을 더 포함하는 컨텐츠를 처리하는 방법.
  5. 제1항에 있어서,
    상기 메타데이터를 변형 또는 삭제하는 과정을 더 포함하는 컨텐츠를 처리하는 방법.
  6. TV(Television)에서 컨텐츠를 재생하는 방법에 있어서,
    셋탑 박스로부터 상기 TV로 전달된, 메타데이터를 포함하는 오디오 스트림을 수신하고, 상기 오디오 스트림으로부터 상기 메타데이터를 추출하고, 상기 추출된 메타데이터를 메타데이터 처리를 위하여 변형하고, 상기 메타데이터에 미디어 데이터의 재생을 위한 정보가 있으면, 상기 미디어 데이터의 재생을 위한 정보를 재생 장치로 전달하고, 상기 메타데이터에 미디어 데이터의 획득을 위한 정보가 있으면 상기 미디어 데이터의 획득을 위한 정보를 미디어 송신 처리부로 전달하는 과정과,
    상기 미디어 데이터의 획득을 위한 정보를 이용하여 소정의 인터페이스 및 프로토콜을 통하여 상기 미디어 데이터를 획득하는 과정과,
    상기 획득한 미디어 데이터를 복호하는 과정과,
    상기 미디어 데이터의 재생을 위한 정보를 이용하여 상기 복호된 미디어 데이터를 재생하는 과정을 포함하는 컨텐츠를 재생하는 방법.
  7. 제6항에 있어서,
    상기 메타데이터가 MMT 시그널링 메시지를 포함하는 MMTP 패킷이면, 상기 메타데이터 분석부는, 상기 MMTP 패킷에서 상기 MMT 시그널링 메시지를 추출하고,
    상기 메타데이터가 컨텐츠의 식별자이면, 상기 컨텐츠의 식별자를 이용하여 상기 식별자에 대응하는 컨텐츠를 획득하는 과정을 더 포함하는 컨텐츠를 재생하는 방법.
  8. 컨텐츠를 처리하는 셋탑 박스에 있어서,
    오디오 스트림을 포함하는 컨텐츠를 수신하고, 상기 오디오 스트림에 대한 복호 동작을 수행하지 않고, 상기 오디오 스트림을 출력 인터페이스를 통하여 TV(Television)로 바이패스하는 오디오 처리부를 포함하며,
    상기 오디오 스트림은 상기 컨텐츠에 관한 메타데이터를 포함하는 셋탑 박스.
  9. 제8항에 있어서, 상기 메타데이터는,
    상기 메타 데이터의 처리를 위한 시스템을 지시하는 시스템 타입 정보, 서비스에 대한 식별자, 부가 컨텐츠 획득을 위한 URL(Uniform Resource Locator) 정보 중 적어도 하나를 포함하며,
    상기 메타데이터는 패킷 형식이거나 또는 시그널링 메시지 형식임을 특징으로 하는 셋탑 박스.
  10. 제8항에 있어서, 상기 메타데이터는,
    컨텐츠 제공자, 방송망 엔터티, 케이블망 엔터티, MVPD(Multichannel Video Programming Distributor) 중 적어도 하나에서 생성됨을 특징으로 하는 셋탑 박스.
  11. 제8항에 있어서,
    새로 메타데이터를 생성하고, 상기 오디오 스트림에 포함된 메타데이터를 상기 생성된 메타데이터로 치환하는 메타데이터 생성부를 더 포함하는 셋탑 박스.
  12. 제8항에 있어서, 상기 오디오 처리부는,
    상기 메타데이터를 변형 또는 삭제함을 특징으로 하는 셋탑 박스.
  13. 컨텐츠를 처리하는 TV(Television)에 있어서,
    메타 데이터를 처리하는 메타데이터 처리부와,
    상기 메타데이터 처리부는,
    셋탑 박스로부터 상기 TV로 전달된, 메타데이터를 포함하는 오디오 스트림을 수신하고, 상기 오디오 스트림으로부터 상기 메타데이터를 추출하는 메타데이터 추출부와,
    상기 추출된 메타데이터를 메타데이터 처리를 위하여 변형하고, 상기 메타데이터에 미디어 데이터의 재생을 위한 정보가 있으면, 상기 미디어 데이터의 재생을 위한 정보를 재생 장치로 전달하고, 상기 메타데이터에 미디어 데이터의 획득을 위한 정보가 있으면 상기 미디어 데이터의 획득을 위한 정보를 미디어 송신 처리부로 전달하는 메타데이터 분석부와,
    상기 미디어 데이터의 획득을 위한 정보를 이용하여 소정의 인터페이스 및 프로토콜을 통하여 상기 미디어 데이터를 획득하여 복호부로 전달하는 미디어 송신 처리부와,
    상기 획득한 미디어 데이터를 복호하는 복호부와,
    상기 미디어 데이터의 재생을 위한 정보를 이용하여 상기 복호된 미디어 데이터를 재생하는 미디어 플레이어를 포함하는 TV.
  14. 제13항에 있어서, 상기 메타데이터
    상기 메타데이터가 MMT 시그널링 메시지를 포함하는 MMTP 패킷이면, 상기 메타데이터 분석부는, 상기 MMTP 패킷에서 상기 MMT 시그널링 메시지를 추출하고,
    상기 메타데이터가 컨텐츠의 식별자이면, 상기 미디어 송신 처리부는, 상기 컨텐츠의 식별자를 이용하여 상기 식별자에 대응하는 컨텐츠를 획득함을 특징으로 하는 TV.
PCT/KR2016/001520 2015-02-13 2016-02-15 미디어 데이터를 송수신하는 방법 및 장치 Ceased WO2016129981A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/549,423 US10271094B2 (en) 2015-02-13 2016-02-15 Method and device for transmitting/receiving media data
KR1020177025143A KR102464061B1 (ko) 2015-02-13 2016-02-15 미디어 데이터를 송수신하는 방법 및 장치
CN201680010109.0A CN107211200B (zh) 2015-02-13 2016-02-15 用于发送/接收媒体数据的方法和设备
US16/390,811 US10701437B2 (en) 2015-02-13 2019-04-22 Method and device for controlling reception of broadcast service provided by means of application layer forward error correction

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2015-0022680 2015-02-13
KR10-2015-0022685 2015-02-13
KR20150022680 2015-02-13
KR20150022685 2015-02-13
KR10-2015-0022695 2015-02-13
KR20150022695 2015-02-13

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/549,423 A-371-Of-International US10271094B2 (en) 2015-02-13 2016-02-15 Method and device for transmitting/receiving media data
US16/390,811 Continuation US10701437B2 (en) 2015-02-13 2019-04-22 Method and device for controlling reception of broadcast service provided by means of application layer forward error correction

Publications (1)

Publication Number Publication Date
WO2016129981A1 true WO2016129981A1 (ko) 2016-08-18

Family

ID=56615377

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/001520 Ceased WO2016129981A1 (ko) 2015-02-13 2016-02-15 미디어 데이터를 송수신하는 방법 및 장치

Country Status (4)

Country Link
US (2) US10271094B2 (ko)
KR (1) KR102464061B1 (ko)
CN (1) CN107211200B (ko)
WO (1) WO2016129981A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016194563A1 (ja) * 2015-06-02 2016-12-08 ソニー株式会社 送信装置、送信方法、メディア処理装置、メディア処理方法および受信装置
US20190303400A1 (en) * 2017-09-29 2019-10-03 Axwave, Inc. Using selected groups of users for audio fingerprinting
US10720124B2 (en) * 2018-01-15 2020-07-21 Microsoft Technology Licensing, Llc Variable pixel rate display interfaces
CN110198474B (zh) * 2018-02-27 2022-03-15 中兴通讯股份有限公司 一种码流处理方法及装置
WO2021015450A1 (ko) * 2019-07-19 2021-01-28 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 송신 방법, 방송 신호 수신 방법 및 방송 신호 수신 장치
FR3103667A1 (fr) * 2019-11-27 2021-05-28 Sagemcom Broadband Sas Equipement décodeur transmettant des métadonnées à un équipement auxiliaire pour le piloter
CN111669717B (zh) * 2020-05-08 2022-03-25 广州微算互联信息技术有限公司 云手机数据发送方法、计算机装置和存储介质
CN111694660B (zh) * 2020-05-08 2022-03-25 广州微算互联信息技术有限公司 云手机数据发送方法、计算机装置和存储介质
CN113938652B (zh) * 2021-10-12 2022-07-26 深圳蓝集科技有限公司 一种无线图像传输系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782014B1 (ko) * 2006-12-18 2007-12-06 한국과학기술정보연구원 비압축 고품질 미디어 전송 시스템 및 그 방법과 그프로그램 소스를 저장한 기록매체
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
KR101221473B1 (ko) * 2007-01-11 2013-01-14 삼성전자주식회사 메타 데이터 정보 제공 서버, 클라이언트 장치, 메타데이터 정보 제공 방법 및 콘텐츠 제공 방법
KR20130088827A (ko) * 2010-07-19 2013-08-08 톰슨 라이센싱 텔레비전 시청을 위한 대안적인 오디오 전달
KR20140006469U (ko) * 2013-06-19 2014-12-30 돌비 레버러토리즈 라이쎈싱 코오포레이션 프로그램 정보 메타데이터를 갖는 오디오 디코더

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197987B (zh) * 2006-12-08 2010-09-29 上海全景数字技术有限公司 数字电视节目的录制、回放方法与系统
US9794310B2 (en) 2007-01-11 2017-10-17 Samsung Electronics Co., Ltd. Meta data information providing server, client apparatus, method of providing meta data information, and method of providing content
KR101328946B1 (ko) * 2007-03-26 2013-11-13 엘지전자 주식회사 방송 신호 송수신 방법 및 방송 신호 수신 장치
US10580459B2 (en) * 2007-08-23 2020-03-03 Sony Interactive Entertainment America Llc Dynamic media interaction using time-based metadata
US20100263002A1 (en) * 2009-04-09 2010-10-14 At&T Intellectual Property I, L.P. Distribution of modified or selectively chosen media on a procured channel
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
US20120151079A1 (en) * 2010-12-13 2012-06-14 Jan Besehanic Methods and apparatus to measure media exposure
CN108347492B (zh) * 2012-01-31 2021-03-05 夏普株式会社 再现装置以及再现方法
KR102105567B1 (ko) * 2014-01-09 2020-04-28 한국전자통신연구원 Mmt 시그널링 메시지를 처리하는 장치 및 방법
PL3522554T3 (pl) * 2014-05-28 2021-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Procesor danych i transport danych kontrolnych użytkownika do dekoderów audio i modułów renderowania
CN105532009B (zh) * 2014-07-18 2021-03-12 索尼公司 发送设备、发送方法、接收设备和接收方法
KR102643537B1 (ko) * 2014-09-12 2024-03-06 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US9735876B2 (en) * 2015-07-10 2017-08-15 Cisco Technology, Inc. Calibrating an apparatus supporting pluggable optics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782014B1 (ko) * 2006-12-18 2007-12-06 한국과학기술정보연구원 비압축 고품질 미디어 전송 시스템 및 그 방법과 그프로그램 소스를 저장한 기록매체
KR101221473B1 (ko) * 2007-01-11 2013-01-14 삼성전자주식회사 메타 데이터 정보 제공 서버, 클라이언트 장치, 메타데이터 정보 제공 방법 및 콘텐츠 제공 방법
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
KR20130088827A (ko) * 2010-07-19 2013-08-08 톰슨 라이센싱 텔레비전 시청을 위한 대안적인 오디오 전달
KR20140006469U (ko) * 2013-06-19 2014-12-30 돌비 레버러토리즈 라이쎈싱 코오포레이션 프로그램 정보 메타데이터를 갖는 오디오 디코더

Also Published As

Publication number Publication date
US10271094B2 (en) 2019-04-23
US10701437B2 (en) 2020-06-30
CN107211200A (zh) 2017-09-26
CN107211200B (zh) 2020-04-17
KR102464061B1 (ko) 2022-11-08
US20180027278A1 (en) 2018-01-25
US20190253750A1 (en) 2019-08-15
KR20170107580A (ko) 2017-09-25

Similar Documents

Publication Publication Date Title
WO2016129981A1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
CN111343460B (zh) 接收装置、显示设备及接收方法
US8056110B2 (en) Service system of thumbnail image and transmitting/receiving method thereof
US11895352B2 (en) System and method for operating a transmission network
WO2013154397A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
WO2018174367A1 (ko) 방송 신호 송수신 방법 및 장치
WO2011159093A2 (en) Hybrid delivery mechanism in a multimedia transmission system
WO2016017961A1 (ko) 방송 신호 송수신 방법 및 장치
WO2012121571A2 (ko) 비실시간 스테레오스코픽 방송 서비스 송신 및 수신 장치, 그리고 송신 및 수신 방법
WO2012015288A2 (en) Method and apparatus for transmitting and receiving extended broadcast service in digital broadcasting
JP7530751B2 (ja) 多重信号変換装置及びそのプログラム、並びに、受信機
KR102393158B1 (ko) 메타데이터를 포함하는 비트 스트림을 이용한 서비스 제공 방법 및 장치
KR101745652B1 (ko) 복호 정보 고속 취득이 가능한 방송 송신기와 수신기 및 그 방법
CN112272953B (zh) 数字内容发送装置、发送方法、数字内容接收装置、接收方法
WO2018016879A1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
WO2013055032A1 (ko) 융합형 3dtv에서 컨텐츠 스트림에 접근하는 컨텐츠 제공 장치 및 방법, 그리고 컨텐츠 재생 장치 및 방법
WO2017164551A1 (ko) 방송 신호 송수신 방법 및 장치
WO2016089007A1 (en) Method for producing broadcast file or video packet including non-audible sound wave, and television broadcasting system using the same
WO2018186550A1 (ko) 방송 신호 송수신 방법 및 장치
WO2013077629A1 (ko) 3dtv 방송을 위한 송수신 장치 및 그 제어 방법
WO2016036012A1 (ko) 방송 신호 송수신 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16749521

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15549423

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20177025143

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 16749521

Country of ref document: EP

Kind code of ref document: A1