WO2017030425A1 - 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법 - Google Patents

방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법 Download PDF

Info

Publication number
WO2017030425A1
WO2017030425A1 PCT/KR2016/009230 KR2016009230W WO2017030425A1 WO 2017030425 A1 WO2017030425 A1 WO 2017030425A1 KR 2016009230 W KR2016009230 W KR 2016009230W WO 2017030425 A1 WO2017030425 A1 WO 2017030425A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
hdr
service
metadata
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/009230
Other languages
English (en)
French (fr)
Inventor
오현묵
서종열
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN201680048259.0A priority Critical patent/CN107925780B/zh
Priority to JP2018509764A priority patent/JP6633739B2/ja
Priority to US15/746,702 priority patent/US20190007709A1/en
Priority to EP16837367.8A priority patent/EP3340636A4/en
Publication of WO2017030425A1 publication Critical patent/WO2017030425A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Definitions

  • the present invention relates to a broadcast signal transmission apparatus, a broadcast signal reception apparatus, and a broadcast signal transmission and reception method.
  • the digital broadcast signal may include a larger amount of video / audio data than the analog broadcast signal, and may further include various types of additional data as well as the video / audio data.
  • the digital broadcasting system may provide ultra high definition (UHD) images, multichannel audio, and various additional services.
  • UHD ultra high definition
  • data transmission efficiency for a large amount of data transmission, robustness of a transmission / reception network, and network flexibility in consideration of a mobile receiving device should be improved.
  • the present invention provides a system and an associated signaling scheme that can effectively support next-generation broadcast services in an environment that supports next-generation hybrid broadcasting using terrestrial broadcasting networks and Internet networks. Suggest.
  • the present invention can effectively support the next generation broadcast service in an environment supporting the next generation hybrid broadcast using the terrestrial broadcast network and the Internet network.
  • the present invention can support a method for providing detailed signaling for service components included in a broadcast service.
  • the present invention can support a method for efficiently providing various information such as 3D, caption, WCG, HDR, etc. in a method of delivering a broadcast service.
  • FIG. 1 is a diagram illustrating a protocol stack according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a service discovery process according to an embodiment of the present invention.
  • LLS low level signaling
  • SLT service list table
  • FIG. 4 illustrates a USBD and an S-TSID delivered to ROUTE according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a USBD delivered to MMT according to an embodiment of the present invention.
  • FIG. 6 illustrates a link layer operation according to an embodiment of the present invention.
  • FIG. 7 illustrates a link mapping table (LMT) according to an embodiment of the present invention.
  • FIG. 8 shows a structure of a broadcast signal transmission apparatus for a next generation broadcast service according to an embodiment of the present invention.
  • FIG 9 illustrates a writing operation of a time interleaver according to an embodiment of the present invention.
  • FIG. 10 is a block diagram of an interleaving address generator composed of a main-PRBS generator and a sub-PRBS generator according to each FFT mode included in a frequency interleaver according to an embodiment of the present invention.
  • FIG. 11 illustrates a hybrid broadcast reception device according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating the overall operation of the DASH-based adaptive streaming model according to an embodiment of the present invention.
  • FIG. 13 is a block diagram of a receiver according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating an apparatus for producing and playing a metadata-based HDR broadcast service according to an embodiment of the present invention.
  • FIG. 15 illustrates a method of operating a receiver for HDR video according to an embodiment of the present invention.
  • FIG. 16 shows a post-processing unit according to an embodiment of the present invention.
  • 17 through 20 illustrate syntax of an SEI message and an HDR information descriptor according to an embodiment of the present invention.
  • 21 to 22 illustrate embodiments of signaling metadata information according to a RAP.
  • FIG. 23 is a diagram illustrating dynamic_range_mapping_info according to an embodiment of the present invention.
  • FIG. 24 illustrates a case of referring to an SEI message defined in HEVC according to an embodiment of the present invention.
  • 25 and 26 illustrate an embodiment of signaling HDR_info descriptor through PMT according to an embodiment of the present invention.
  • FIGS 27 and 28 illustrate an embodiment of signaling HDR_info descriptor through EIT according to an embodiment of the present invention.
  • FIG. 30 illustrates a receiver block diagram and a method of operation according to an embodiment of the present invention.
  • FIG 31 illustrates an HDR information descriptor according to an embodiment of the present invention.
  • FIG. 33 illustrates a case where an area in a frame is divided according to a feature set according to an embodiment of the present invention.
  • 35 is a diagram illustrating a spatial boundary field for designating a spatial region according to an embodiment of the present invention.
  • 36 illustrates a colorimetry boundary field for designating a spatial region according to an embodiment of the present invention.
  • FIG. 37 illustrates a Luminance boundary field and a Luminance distribution boundary field for designating a spatial region according to an embodiment of the present invention.
  • 38 is a view showing a color volume boundary field for designating a spatial region according to an embodiment of the present invention.
  • 39 is a block diagram illustrating a broadcast transmitter according to an embodiment of the present invention.
  • FIG. 40 is a block diagram illustrating a broadcast receiver according to an embodiment of the present invention.
  • FIG. 41 is a diagram illustrating a method of transmitting a broadcast signal including quality improvement metadata according to an embodiment of the present invention.
  • FIG. 42 is a diagram illustrating a method of receiving a broadcast signal including quality improvement metadata according to an embodiment of the present invention.
  • the present invention provides an apparatus and method for transmitting and receiving broadcast signals for next generation broadcast services.
  • the next generation broadcast service includes a terrestrial broadcast service, a mobile broadcast service, a UHDTV service, and the like.
  • a broadcast signal for a next generation broadcast service may be processed through a non-multiple input multiple output (MIMO) or MIMO scheme.
  • the non-MIMO scheme according to an embodiment of the present invention may include a multiple input single output (MISO) scheme, a single input single output (SISO) scheme, and the like.
  • MISO multiple input single output
  • SISO single input single output
  • the present invention proposes a physical profile (or system) that is optimized to minimize receiver complexity while achieving the performance required for a particular application.
  • FIG. 1 is a diagram illustrating a protocol stack according to an embodiment of the present invention.
  • the service may be delivered to the receiver through a plurality of layers.
  • the transmitting side can generate service data.
  • the delivery layer on the transmitting side performs processing for transmission to the service data, and the physical layer encodes it as a broadcast signal and transmits it through a broadcasting network or broadband.
  • the service data may be generated in a format according to ISO BMFF (base media file format).
  • the ISO BMFF media file may be used in broadcast network / broadband delivery, media encapsulation and / or synchronization format.
  • the service data is all data related to the service, and may include a concept including service components constituting the linear service, signaling information thereof, non real time (NRT) data, and other files.
  • the delivery layer will be described.
  • the delivery layer may provide a transmission function for service data.
  • the service data may be delivered through a broadcast network and / or broadband.
  • the first method may be to process service data into Media Processing Units (MPUs) based on MPEG Media Transport (MMT) and transmit the data using MMM protocol (MMTP).
  • MPUs Media Processing Units
  • MMT MPEG Media Transport
  • MMTP MMM protocol
  • the service data delivered through the MMTP may include service components for linear service and / or service signaling information thereof.
  • the second method may be to process service data into DASH segments based on MPEG DASH and transmit it using Real Time Object Delivery over Unidirectional Transport (ROUTE).
  • the service data delivered through the ROUTE protocol may include service components for the linear service, service signaling information and / or NRT data thereof. That is, non-timed data such as NRT data and files may be delivered through ROUTE.
  • Data processed according to the MMTP or ROUTE protocol may be processed into IP packets via the UDP / IP layer.
  • a service list table (SLT) may also be transmitted through a broadcasting network through a UDP / IP layer.
  • the SLT may be included in the LLS (Low Level Signaling) table and transmitted. The SLT and the LLS table will be described later.
  • IP packets may be treated as link layer packets at the link layer.
  • the link layer may encapsulate data of various formats delivered from an upper layer into a link layer packet and then deliver the data to the physical layer. The link layer will be described later.
  • At least one or more service elements may be delivered via a broadband path.
  • the data transmitted through the broadband may include service components in a DASH format, service signaling information and / or NRT data thereof. This data can be processed via HTTP / TCP / IP, passed through the link layer for broadband transmission, and delivered to the physical layer for broadband transmission.
  • the physical layer may process data received from a delivery layer (upper layer and / or link layer) and transmit the data through a broadcast network or a broadband. Details of the physical layer will be described later.
  • the service may be a collection of service components that are shown to the user as a whole, the components may be of different media types, the service may be continuous or intermittent, the service may be real time or non-real time, and the real time service may be a sequence of TV programs. It can be configured as.
  • the service may be a linear audio / video or audio only service that may have app-based enhancements.
  • the service may be an app-based service whose reproduction / configuration is controlled by the downloaded application.
  • the service may be an ESG service that provides an electronic service guide (ESG).
  • ESG electronic service guide
  • EA Emergency Alert
  • the service component may be delivered by (1) one or more ROUTE sessions or (2) one or more MMTP sessions.
  • the service component When a linear service with app-based enhancement is delivered through a broadcast network, the service component may be delivered by (1) one or more ROUTE sessions and (2) zero or more MMTP sessions.
  • data used for app-based enhancement may be delivered through a ROUTE session in the form of NRT data or other files.
  • linear service components (streaming media components) of one service may not be allowed to be delivered using both protocols simultaneously.
  • the service component may be delivered by one or more ROUTE sessions.
  • the service data used for the app-based service may be delivered through a ROUTE session in the form of NRT data or other files.
  • some service components or some NRT data, files, etc. of these services may be delivered via broadband (hybrid service delivery).
  • the linear service components of one service may be delivered through the MMT protocol.
  • the linear service components of one service may be delivered via a ROUTE protocol.
  • the linear service component and NRT data (NRT service component) of one service may be delivered through the ROUTE protocol.
  • linear service components of one service may be delivered through the MMT protocol, and NRT data (NRT service components) may be delivered through the ROUTE protocol.
  • some service component or some NRT data of a service may be delivered over broadband.
  • the data related to the app-based service or the app-based enhancement may be transmitted through a broadcast network according to ROUTE or through broadband in the form of NRT data.
  • NRT data may also be referred to as locally cashed data.
  • Each ROUTE session includes one or more LCT sessions that deliver, in whole or in part, the content components that make up the service.
  • an LCT session may deliver an individual component of a user service, such as an audio, video, or closed caption stream.
  • Streaming media is formatted into a DASH segment.
  • Each MMTP session includes one or more MMTP packet flows carrying an MMT signaling message or all or some content components.
  • the MMTP packet flow may carry a component formatted with an MMT signaling message or an MPU.
  • an LCT session For delivery of NRT user service or system metadata, an LCT session carries a file based content item.
  • These content files may consist of continuous (timed) or discrete (non-timed) media components of an NRT service, or metadata such as service signaling or ESG fragments.
  • Delivery of system metadata, such as service signaling or ESG fragments, can also be accomplished through the signaling message mode of the MMTP.
  • the tuner can scan frequencies and detect broadcast signals at specific frequencies.
  • the receiver can extract the SLT and send it to the module that processes it.
  • the SLT parser can parse the SLT, obtain data, and store it in the channel map.
  • the receiver may acquire bootstrap information of the SLT and deliver it to the ROUTE or MMT client. This allows the receiver to obtain and store the SLS. USBD or the like can be obtained, which can be parsed by the signaling parser.
  • FIG. 2 is a diagram illustrating a service discovery process according to an embodiment of the present invention.
  • the broadcast stream delivered by the broadcast signal frame of the physical layer may carry LLS (Low Level Signaling).
  • LLS data may be carried through the payload of an IP packet delivered to a well known IP address / port. This LLS may contain an SLT depending on its type.
  • LLS data may be formatted in the form of an LLS table. The first byte of every UDP / IP packet carrying LLS data may be the beginning of the LLS table. Unlike the illustrated embodiment, the IP stream carrying LLS data may be delivered to the same PLP along with other service data.
  • the SLT enables the receiver to generate a service list through a fast channel scan and provides access information for locating the SLS.
  • the SLT includes bootstrap information, which enables the receiver to obtain Service Layer Signaling (SLS) for each service.
  • SLS Service Layer Signaling
  • the bootstrap information may include destination IP address and destination port information of the ROUTE session including the LCT channel carrying the SLS and the LCT channel.
  • the bootstrap information may include a destination IP address and destination port information of the MMTP session carrying the SLS.
  • the SLS of service # 1 described by the SLT is delivered via ROUTE, and the SLT includes bootstrap information (sIP1, dIP1, dPort1) for the ROUTE session including the LCT channel to which the SLS is delivered. can do.
  • SLS of service # 2 described by the SLT is delivered through MMT, and the SLT may include bootstrap information (sIP2, dIP2, and dPort2) for an MMTP session including an MMTP packet flow through which the SLS is delivered.
  • the SLS is signaling information describing characteristics of a corresponding service and may include information for acquiring a corresponding service and a service component of the corresponding service, or may include receiver capability information for reproducing the corresponding service significantly. Having separate service signaling for each service allows the receiver to obtain the appropriate SLS for the desired service without having to parse the entire SLS delivered in the broadcast stream.
  • the SLS When the SLS is delivered through the ROUTE protocol, the SLS may be delivered through a dedicated LCT channel of a ROUTE session indicated by the SLT.
  • the SLS may include a user service bundle description (USBD / USD), a service-based transport session instance description (S-TSID), and / or a media presentation description (MPD).
  • USBD / USD user service bundle description
  • S-TSID service-based transport session instance description
  • MPD media presentation description
  • USBD to USD is one of the SLS fragments and may serve as a signaling hub for describing specific technical information of a service.
  • the USBD may include service identification information, device capability information, and the like.
  • the USBD may include reference information (URI reference) to other SLS fragments (S-TSID, MPD, etc.). That is, USBD / USD can refer to S-TSID and MPD respectively.
  • the USBD may further include metadata information that enables the receiver to determine the transmission mode (broadcast network / broadband). Details of the USBD / USD will be described later.
  • the S-TSID is one of the SLS fragments, and may provide overall session description information for a transport session carrying a service component of a corresponding service.
  • the S-TSID may provide transport session description information for the ROUTE session to which the service component of the corresponding service is delivered and / or the LCT channel of the ROUTE sessions.
  • the S-TSID may provide component acquisition information of service components related to one service.
  • the S-TSID may provide a mapping between the DASH Representation of the MPD and the tsi of the corresponding service component.
  • the component acquisition information of the S-TSID may be provided in the form of tsi, an identifier of an associated DASH representation, and may or may not include a PLP ID according to an embodiment.
  • the component acquisition information enables the receiver to collect audio / video components of a service and to buffer, decode, and the like of DASH media segments.
  • the S-TSID may be referenced by the USBD as described above. Details of the S-TSID will be described later.
  • the MPD is one of the SLS fragments and may provide a description of the DASH media presentation of the service.
  • the MPD may provide a resource identifier for the media segments and may provide contextual information within the media presentation for the identified resources.
  • the MPD may describe the DASH representation (service component) delivered through the broadcast network, and may also describe additional DASH representations delivered through the broadband (hybrid delivery).
  • the MPD may be referenced by the USBD as described above.
  • the SLS When the SLS is delivered through the MMT protocol, the SLS may be delivered through a dedicated MMTP packet flow of an MMTP session indicated by the SLT.
  • packet_id of MMTP packets carrying SLS may have a value of 00.
  • the SLS may include a USBD / USD and / or MMT Package (MP) table.
  • USBD is one of the SLS fragments, and may describe specific technical information of a service like that in ROUTE.
  • the USBD here may also include reference information (URI reference) to other SLS fragments.
  • the USBD of the MMT may refer to the MP table of the MMT signaling.
  • the USBD of the MMT may also include reference information on the S-TSID and / or the MPD.
  • the S-TSID may be for NRT data transmitted through the ROUTE protocol. This is because NRT data can be delivered through the ROUTE protocol even when the linear service component is delivered through the MMT protocol.
  • MPD may be for a service component delivered over broadband in hybrid service delivery. Details of the USBD of the MMT will be described later.
  • the MP table is a signaling message of the MMT for MPU components and may provide overall session description information for an MMTP session carrying a service component of a corresponding service.
  • the MP table may also contain descriptions for assets delivered via this MMTP session.
  • the MP table is streaming signaling information for MPU components, and may provide a list of assets corresponding to one service and location information (component acquisition information) of these components. Specific contents of the MP table may be in a form defined in MMT or a form in which modifications are made.
  • Asset is a multimedia data entity, which may mean a data entity associated with one unique ID and used to generate one multimedia presentation. Asset may correspond to a service component constituting a service.
  • the MP table may be used to access a streaming service component (MPU) corresponding to a desired service.
  • the MP table may be referenced by the USBD as described above.
  • MMT signaling messages may be defined. Such MMT signaling messages may describe additional information related to the MMTP session or service.
  • ROUTE sessions are identified by source IP address, destination IP address, and destination port number.
  • the LCT session is identified by a transport session identifier (TSI) that is unique within the scope of the parent ROUTE session.
  • MMTP sessions are identified by destination IP address and destination port number.
  • the MMTP packet flow is identified by a unique packet_id within the scope of the parent MMTP session.
  • the S-TSID, the USBD / USD, the MPD, or the LCT session carrying them may be called a service signaling channel.
  • the S-TSID, the USBD / USD, the MPD, or the LCT session carrying them may be called a service signaling channel.
  • the S-TSID, the USBD / USD, the MPD, or the LCT session carrying them may be called a service signaling channel.
  • the MMT signaling messages or packet flow carrying them may be called a service signaling channel.
  • one ROUTE or MMTP session may be delivered through a plurality of PLPs. That is, one service may be delivered through one or more PLPs. Unlike shown, components constituting one service may be delivered through different ROUTE sessions. In addition, according to an embodiment, components constituting one service may be delivered through different MMTP sessions. According to an embodiment, components constituting one service may be delivered divided into a ROUTE session and an MMTP session. Although not shown, a component constituting one service may be delivered through a broadband (hybrid delivery).
  • LLS low level signaling
  • SLT service list table
  • An embodiment t3010 of the illustrated LLS table may include information according to an LLS_table_id field, a provider_id field, an LLS_table_version field, and / or an LLS_table_id field.
  • the LLS_table_id field may identify a type of the corresponding LLS table, and the provider_id field may identify service providers related to services signaled by the corresponding LLS table.
  • the service provider is a broadcaster using all or part of the broadcast stream, and the provider_id field may identify one of a plurality of broadcasters using the broadcast stream.
  • the LLS_table_version field may provide version information of a corresponding LLS table.
  • the corresponding LLS table includes the above-described SLT, a rating region table (RRT) including information related to a content advisory rating, a SystemTime information providing information related to system time, and an emergency alert. It may include one of the CAP (Common Alert Protocol) message that provides information related to. According to an embodiment, other information other than these may be included in the LLS table.
  • RRT rating region table
  • CAP Common Alert Protocol
  • One embodiment t3020 of the illustrated SLT may include an @bsid attribute, an @sltCapabilities attribute, a sltInetUrl element, and / or a Service element.
  • Each field may be omitted or may exist in plurality, depending on the value of the illustrated Use column.
  • the @bsid attribute may be an identifier of a broadcast stream.
  • the @sltCapabilities attribute can provide the capability information required to decode and significantly reproduce all services described by the SLT.
  • the sltInetUrl element may provide base URL information used to obtain ESG or service signaling information for services of the corresponding SLT through broadband.
  • the sltInetUrl element may further include an @urlType attribute, which may indicate the type of data that can be obtained through the URL.
  • the service element may be an element including information on services described by the corresponding SLT, and a service element may exist for each service.
  • the Service element contains the @serviceId property, the @sltSvcSeqNum property, the @protected property, the @majorChannelNo property, the @minorChannelNo property, the @serviceCategory property, the @shortServiceName property, the @hidden property, the @broadbandAccessRequired property, the @svcCapabilities property, the BroadcastSvcSignaling element, and / or the svcInetUrl element. It may include.
  • the @serviceId attribute may be an identifier of a corresponding service, and the @sltSvcSeqNum attribute may indicate a sequence number of SLT information for the corresponding service.
  • the @protected attribute may indicate whether at least one service component necessary for meaningful playback of the corresponding service is protected.
  • the @majorChannelNo and @minorChannelNo attributes may indicate the major channel number and the minor channel number of the corresponding service, respectively.
  • the @serviceCategory attribute can indicate the category of the corresponding service.
  • the service category may include a linear A / V service, a linear audio service, an app-based service, an ESG service, and an EAS service.
  • the @shortServiceName attribute may provide a short name of the corresponding service.
  • the @hidden attribute can indicate whether the service is for testing or proprietary use.
  • the @broadbandAccessRequired attribute may indicate whether broadband access is required for meaningful playback of the corresponding service.
  • the @svcCapabilities attribute can provide the capability information necessary for decoding and meaningful reproduction of the corresponding service.
  • the BroadcastSvcSignaling element may provide information related to broadcast signaling of a corresponding service. This element may provide information such as a location, a protocol, and an address with respect to signaling through a broadcasting network of a corresponding service. Details will be described later.
  • the svcInetUrl element may provide URL information for accessing signaling information for a corresponding service through broadband.
  • the sltInetUrl element may further include an @urlType attribute, which may indicate the type of data that can be obtained through the URL.
  • the aforementioned BroadcastSvcSignaling element may include an @slsProtocol attribute, an @slsMajorProtocolVersion attribute, an @slsMinorProtocolVersion attribute, an @slsPlpId attribute, an @slsDestinationIpAddress attribute, an @slsDestinationUdpPort attribute, and / or an @slsSourceIpAddress attribute.
  • the @slsProtocol attribute can indicate the protocol used to deliver the SLS of the service (ROUTE, MMT, etc.).
  • the @slsMajorProtocolVersion attribute and @slsMinorProtocolVersion attribute may indicate the major version number and the minor version number of the protocol used to deliver the SLS of the corresponding service, respectively.
  • the @slsPlpId attribute may provide a PLP identifier for identifying a PLP that delivers the SLS of the corresponding service.
  • this field may be omitted, and the PLP information to which the SLS is delivered may be identified by combining information in the LMT to be described later and bootstrap information of the SLT.
  • the @slsDestinationIpAddress attribute, @slsDestinationUdpPort attribute, and @slsSourceIpAddress attribute may indicate the destination IP address, the destination UDP port, and the source IP address of the transport packet carrying the SLS of the corresponding service, respectively. They can identify the transport session (ROUTE session or MMTP session) to which the SLS is delivered. These may be included in the bootstrap information.
  • FIG. 4 illustrates a USBD and an S-TSID delivered to ROUTE according to an embodiment of the present invention.
  • One embodiment t4010 of the illustrated USBD may have a bundleDescription root element.
  • the bundleDescription root element may have a userServiceDescription element.
  • the userServiceDescription element may be an instance of one service.
  • the userServiceDescription element may include an @globalServiceID attribute, an @serviceId attribute, an @serviceStatus attribute, an @fullMPDUri attribute, an @sTSIDUri attribute, a name element, a serviceLanguage element, a capabilityCode element, and / or a deliveryMethod element.
  • Each field may be omitted or may exist in plurality, depending on the value of the illustrated Use column.
  • the @globalServiceID attribute is a globally unique identifier of the service and can be used to link with ESG data (Service @ globalServiceID).
  • the @serviceId attribute is a reference corresponding to the corresponding service entry of the SLT and may be the same as service ID information of the SLT.
  • the @serviceStatus attribute may indicate the status of the corresponding service. This field may indicate whether the corresponding service is active or inactive.
  • the @fullMPDUri attribute can refer to the MPD fragment of the service. As described above, the MPD may provide a reproduction description for a service component delivered through a broadcast network or a broadband.
  • the @sTSIDUri attribute may refer to the S-TSID fragment of the service.
  • the S-TSID may provide parameters related to access to the transport session carrying the service as described above.
  • the name element may provide the name of the service.
  • This element may further include an @lang attribute, which may indicate the language of the name provided by the name element.
  • the serviceLanguage element may indicate the available languages of the service. That is, this element may list the languages in which the service can be provided.
  • the capabilityCode element may indicate capability or capability group information of the receiver side necessary for significantly playing a corresponding service. This information may be compatible with the capability information format provided by the service announcement.
  • the deliveryMethod element may provide delivery related information with respect to contents accessed through a broadcasting network or a broadband of a corresponding service.
  • the deliveryMethod element may include a broadcastAppService element and / or a unicastAppService element. Each of these elements may have a basePattern element as its child element.
  • the broadcastAppService element may include transmission related information on the DASH presentation delivered through the broadcast network.
  • These DASH representations may include media components across all periods of the service media presentation.
  • the basePattern element of this element may represent a character pattern used by the receiver to match the segment URL. This can be used by the DASH client to request segments of the representation. Matching may imply that the media segment is delivered over the broadcast network.
  • the unicastAppService element may include transmission related information on the DASH representation delivered through broadband. These DASH representations may include media components across all periods of the service media presentation.
  • the basePattern element of this element may represent a character pattern used by the receiver to match the segment URL. This can be used by the DASH client to request segments of the representation. Matching may imply that the media segment is delivered over broadband.
  • An embodiment t4020 of the illustrated S-TSID may have an S-TSID root element.
  • the S-TSID root element may include an @serviceId attribute and / or an RS element.
  • Each field may be omitted or may exist in plurality, depending on the value of the illustrated Use column.
  • the @serviceId attribute is an identifier of a corresponding service and may refer to a corresponding service of USBD / USD.
  • the RS element may describe information on ROUTE sessions through which service components of a corresponding service are delivered. Depending on the number of such ROUTE sessions, there may be a plurality of these elements.
  • the RS element may further include an @bsid attribute, an @sIpAddr attribute, an @dIpAddr attribute, an @dport attribute, an @PLPID attribute, and / or an LS element.
  • the @bsid attribute may be an identifier of a broadcast stream through which service components of a corresponding service are delivered. If this field is omitted, the default broadcast stream may be a broadcast stream that includes a PLP that carries the SLS of the service. The value of this field may be the same value as the @bsid attribute of SLT.
  • the @sIpAddr attribute, the @dIpAddr attribute, and the @dport attribute may indicate a source IP address, a destination IP address, and a destination UDP port of the corresponding ROUTE session, respectively. If these fields are omitted, the default values may be the source IP address, destination IP address, and destination UDP port values of the current, ROUTE session carrying that SLS, that is, carrying that S-TSID. For other ROUTE sessions that carry service components of the service but not the current ROUTE session, these fields may not be omitted.
  • the @PLPID attribute may indicate PLP ID information of a corresponding ROUTE session. If this field is omitted, the default value may be the PLP ID value of the current PLP to which the corresponding S-TSID is being delivered. According to an embodiment, this field is omitted, and the PLP ID information of the corresponding ROUTE session may be confirmed by combining information in the LMT to be described later and IP address / UDP port information of the RS element.
  • the LS element may describe information on LCT channels through which service components of a corresponding service are delivered. Depending on the number of such LCT channels, there may be a plurality of these elements.
  • the LS element may include an @tsi attribute, an @PLPID attribute, an @bw attribute, an @startTime attribute, an @endTime attribute, an SrcFlow element, and / or a RepairFlow element.
  • the @tsi attribute may represent tsi information of a corresponding LCT channel. Through this, LCT channels through which a service component of a corresponding service is delivered may be identified.
  • the @PLPID attribute may represent PLP ID information of a corresponding LCT channel. In some embodiments, this field may be omitted.
  • the @bw attribute may indicate the maximum bandwidth of the corresponding LCT channel.
  • the @startTime attribute may indicate the start time of the LCT session, and the @endTime attribute may indicate the end time of the LCT channel.
  • the SrcFlow element may describe the source flow of ROUTE.
  • the source protocol of ROUTE is used to transmit the delivery object, and can establish at least one source flow in one ROUTE session. These source flows can deliver related objects as an object flow.
  • the RepairFlow element may describe the repair flow of ROUTE. Delivery objects delivered according to the source protocol may be protected according to Forward Error Correction (FEC).
  • FEC Forward Error Correction
  • the repair protocol may define a FEC framework that enables such FEC protection.
  • FIG. 5 is a diagram illustrating a USBD delivered to MMT according to an embodiment of the present invention.
  • One embodiment of the illustrated USBD may have a bundleDescription root element.
  • the bundleDescription root element may have a userServiceDescription element.
  • the userServiceDescription element may be an instance of one service.
  • the userServiceDescription element may include an @globalServiceID attribute, an @serviceId attribute, a Name element, a serviceLanguage element, a content advisoryRating element, a Channel element, an mpuComponent element, a routeComponent element, a broadbandComponent element, and / or a ComponentInfo element.
  • Each field may be omitted or may exist in plurality, depending on the value of the illustrated Use column.
  • the @globalServiceID attribute, the @serviceId attribute, the Name element and / or the serviceLanguage element may be the same as the corresponding fields of the USBD delivered to the above-described ROUTE.
  • the contentAdvisoryRating element may indicate the content advisory rating of the corresponding service. This information may be compatible with the content advisory rating information format provided by the service announcement.
  • the channel element may include information related to the corresponding service. The detail of this element is mentioned later.
  • the mpuComponent element may provide a description for service components delivered as an MPU of a corresponding service.
  • This element may further include an @mmtPackageId attribute and / or an @nextMmtPackageId attribute.
  • the @mmtPackageId attribute may refer to an MMT package of service components delivered as an MPU of a corresponding service.
  • the @nextMmtPackageId attribute may refer to an MMT package to be used next to the MMT package referenced by the @mmtPackageId attribute in time.
  • the MP table can be referenced through the information of this element.
  • the routeComponent element may include a description of service components of the corresponding service delivered to ROUTE. Even if the linear service components are delivered in the MMT protocol, the NRT data may be delivered according to the ROUTE protocol as described above. This element may describe information about such NRT data. The detail of this element is mentioned later.
  • the broadbandComponent element may include a description of service components of the corresponding service delivered over broadband.
  • some service components or other files of a service may be delivered over broadband. This element may describe information about these data.
  • This element may further include the @fullMPDUri attribute. This attribute may refer to an MPD that describes service components delivered over broadband.
  • the element when the broadcast signal is weakened due to driving in a tunnel or the like, the element may be needed to support handoff between the broadcast network and the broadband band. When the broadcast signal is weakened, while acquiring the service component through broadband, and when the broadcast signal is stronger, the service continuity may be guaranteed by acquiring the service component through the broadcast network.
  • the ComponentInfo element may include information on service components of a corresponding service. Depending on the number of service components of the service, there may be a plurality of these elements. This element may describe information such as the type, role, name, identifier, and protection of each service component. Detailed information on this element will be described later.
  • the aforementioned channel element may further include an @serviceGenre attribute, an @serviceIcon attribute, and / or a ServiceDescription element.
  • the @serviceGenre attribute may indicate the genre of the corresponding service
  • the @serviceIcon attribute may include URL information of an icon representing the corresponding service.
  • the ServiceDescription element provides a service description of the service, which may further include an @serviceDescrText attribute and / or an @serviceDescrLang attribute. Each of these attributes may indicate the text of the service description and the language used for that text.
  • the aforementioned routeComponent element may further include an @sTSIDUri attribute, an @sTSIDDestinationIpAddress attribute, an @sTSIDDestinationUdpPort attribute, an @sTSIDSourceIpAddress attribute, an @sTSIDMajorProtocolVersion attribute, and / or an @sTSIDMinorProtocolVersion attribute.
  • the @sTSIDUri attribute may refer to an S-TSID fragment. This field may be the same as the corresponding field of USBD delivered to ROUTE described above. This S-TSID may provide access related information for service components delivered in ROUTE. This S-TSID may exist for NRT data delivered according to the ROUTE protocol in the situation where linear service components are delivered according to the MMT protocol.
  • the @sTSIDDestinationIpAddress attribute, the @sTSIDDestinationUdpPort attribute, and the @sTSIDSourceIpAddress attribute may indicate a destination IP address, a destination UDP port, and a source IP address of a transport packet carrying the aforementioned S-TSID, respectively. That is, these fields may identify a transport session (MMTP session or ROUTE session) carrying the aforementioned S-TSID.
  • the @sTSIDMajorProtocolVersion attribute and the @sTSIDMinorProtocolVersion attribute may indicate a major version number and a minor version number of the transport protocol used to deliver the aforementioned S-TSID.
  • ComponentInfo element may further include an @componentType attribute, an @componentRole attribute, an @componentProtectedFlag attribute, an @componentId attribute, and / or an @componentName attribute.
  • the @componentType attribute may indicate the type of the corresponding component. For example, this property may indicate whether the corresponding component is an audio, video, or closed caption component.
  • the @componentRole attribute can indicate the role (role) of the corresponding component. For example, this property can indicate whether the main audio, music, commentary, etc., if the corresponding component is an audio component. If the corresponding component is a video component, it may indicate whether it is primary video. If the corresponding component is a closed caption component, it may indicate whether it is a normal caption or an easy reader type.
  • the @componentProtectedFlag attribute may indicate whether a corresponding service component is protected, for example, encrypted.
  • the @componentId attribute may represent an identifier of a corresponding service component.
  • the value of this attribute may be a value such as asset_id (asset ID) of the MP table corresponding to this service component.
  • the @componentName attribute may represent the name of the corresponding service component.
  • FIG. 6 illustrates a link layer operation according to an embodiment of the present invention.
  • the link layer may be a layer between the physical layer and the network layer.
  • the transmitter may transmit data from the network layer to the physical layer
  • the receiver may transmit data from the physical layer to the network layer (t6010).
  • the purpose of the link layer may be to compress all input packet types into one format for processing by the physical layer, to ensure flexibility and future scalability for input packet types not yet defined. have.
  • the link layer may provide an option of compressing unnecessary information in the header of the input packet, so that the input data may be efficiently transmitted. Operations such as overhead reduction and encapsulation of the link layer may be referred to as a link layer protocol, and a packet generated using the corresponding protocol may be referred to as a link layer packet.
  • the link layer may perform functions such as packet encapsulation, overhead reduction, and / or signaling transmission.
  • the link layer ALP may perform an overhead reduction process on input packets and then encapsulate them into link layer packets.
  • the link layer may encapsulate the link layer packet without performing an overhead reduction process.
  • the use of the link layer protocol can greatly reduce the overhead for data transmission on the physical layer, and the link layer protocol according to the present invention can provide IP overhead reduction and / or MPEG-2 TS overhead reduction. have.
  • the link layer may sequentially perform IP header compression, adaptation, and / or encapsulation. In some embodiments, some processes may be omitted.
  • the RoHC module performs IP packet header compression to reduce unnecessary overhead, and context information may be extracted and transmitted out of band through an adaptation process.
  • the IP header compression and adaptation process may be collectively called IP header compression.
  • IP packets may be encapsulated into link layer packets through an encapsulation process.
  • the link layer may sequentially perform an overhead reduction and / or encapsulation process for the TS packet. In some embodiments, some processes may be omitted.
  • the link layer may provide sync byte removal, null packet deletion and / or common header removal (compression).
  • Sync byte elimination can provide overhead reduction of 1 byte per TS packet. Null packet deletion can be performed in a manner that can be reinserted at the receiving end. In addition, common information between successive headers can be deleted (compressed) in a manner that can be recovered at the receiving side. Some of each overhead reduction process may be omitted. Thereafter, TS packets may be encapsulated into link layer packets through an encapsulation process.
  • the link layer packet structure for encapsulation of TS packets may be different from other types of packets.
  • IP header compression will be described.
  • the IP packet has a fixed header format, but some information required in a communication environment may be unnecessary in a broadcast environment.
  • the link layer protocol may provide a mechanism to reduce broadcast overhead by compressing the header of the IP packet.
  • IP header compression may include a header compressor / decompressor and / or adaptation module.
  • the IP header compressor (RoHC compressor) may reduce the size of each IP packet header based on the RoHC scheme.
  • the adaptation module may then extract the context information and generate signaling information from each packet stream.
  • the receiver may parse signaling information related to the packet stream and attach context information to the packet stream.
  • the RoHC decompressor can reconstruct the original IP packet by recovering the packet header.
  • IP header compression may mean only IP header compression by a header compressor, or may mean a concept in which the IP header compression and the adaptation process by the adaptation module are combined. The same is true for decompressing.
  • the adaptation function may generate link layer signaling using context information and / or configuration parameters.
  • the adaptation function may periodically send link layer signaling over each physical frame using previous configuration parameters and / or context information.
  • the context information is extracted from the compressed IP packets, and various methods may be used according to the adaptation mode.
  • Mode # 1 is a mode in which no operation is performed on the compressed packet stream, and may be a mode in which the adaptation module operates as a buffer.
  • Mode # 2 may be a mode for extracting context information (static chain) by detecting IR packets in the compressed packet stream. After extraction, the IR packet is converted into an IR-DYN packet, and the IR-DYN packet can be transmitted in the same order in the packet stream by replacing the original IR packet.
  • context information static chain
  • Mode # 3 t6020 may be a mode for detecting IR and IR-DYN packets and extracting context information from the compressed packet stream.
  • Static chains and dynamic chains can be extracted from IR packets and dynamic chains can be extracted from IR-DYN packets.
  • the IR and IR-DYN packets can be converted into regular compressed packets.
  • the switched packets can be sent in the same order within the packet stream, replacing the original IR and IR-DYN packets.
  • the remaining packets after the context information is extracted may be encapsulated and transmitted according to the link layer packet structure for the compressed IP packet.
  • the context information may be transmitted by being encapsulated according to a link layer packet structure for signaling information as link layer signaling.
  • the extracted context information may be included in the RoHC-U Description Table (RTT) and transmitted separately from the RoHC packet flow.
  • the context information may be transmitted through a specific physical data path along with other signaling information.
  • a specific physical data path may mean one of general PLPs, a PLP to which LLS (Low Level Signaling) is delivered, a dedicated PLP, or an L1 signaling path. path).
  • the RDT may be signaling information including context information (static chain and / or dynamic chain) and / or information related to header compression.
  • the RDT may be transmitted whenever the context information changes.
  • the RDT may be transmitted in every physical frame. In order to transmit the RDT in every physical frame, a previous RDT may be re-use.
  • the receiver may first select PLP to acquire signaling information such as SLT, RDT, LMT, and the like. When the signaling information is obtained, the receiver may combine these to obtain a mapping between the service-IP information-context information-PLP. That is, the receiver can know which service is transmitted to which IP streams, which IP streams are delivered to which PLP, and can also obtain corresponding context information of the PLPs. The receiver can select and decode a PLP carrying a particular packet stream. The adaptation module can parse the context information and merge it with the compressed packets. This allows the packet stream to be recovered, which can be delivered to the RoHC decompressor. Decompression can then begin.
  • signaling information such as SLT, RDT, LMT, and the like.
  • the receiver may combine these to obtain a mapping between the service-IP information-context information-PLP. That is, the receiver can know which service is transmitted to which IP streams, which IP streams are delivered to which PLP, and can also obtain corresponding context information of the PLPs.
  • the receiver detects the IR packet and starts decompression from the first received IR packet according to the adaptation mode (mode 1), or detects the IR-DYN packet to perform decompression from the first received IR-DYN packet.
  • the link layer protocol may encapsulate all types of input packets, such as IP packets and TS packets, into link layer packets. This allows the physical layer to process only one packet format independently of the protocol type of the network layer (here, consider MPEG-2 TS packet as a kind of network layer packet). Each network layer packet or input packet is transformed into a payload of a generic link layer packet.
  • Segmentation may be utilized in the packet encapsulation process. If the network layer packet is too large to be processed by the physical layer, the network layer packet may be divided into two or more segments.
  • the link layer packet header may include fields for performing division at the transmitting side and recombination at the receiving side. Each segment may be encapsulated into a link layer packet in the same order as the original position.
  • Concatenation may also be utilized in the packet encapsulation process. If the network layer packet is small enough that the payload of the link layer packet includes several network layer packets, concatenation may be performed.
  • the link layer packet header may include fields for executing concatenation. In the case of concatenation, each input packet may be encapsulated into the payload of the link layer packet in the same order as the original input order.
  • the link layer packet may include a header and a payload, and the header may include a base header, an additional header, and / or an optional header.
  • the additional header may be added depending on the chaining or splitting, and the additional header may include necessary fields according to the situation.
  • an optional header may be further added to transmit additional information.
  • Each header structure may be predefined. As described above, when the input packet is a TS packet, a link layer header structure different from other packets may be used.
  • Link layer signaling may operate at a lower level than the IP layer.
  • the receiving side can acquire the link layer signaling faster than the IP level signaling such as LLS, SLT, SLS, and the like. Therefore, link layer signaling may be obtained before session establishment.
  • Link layer signaling may include internal link layer signaling and external link layer signaling.
  • Internal link layer signaling may be signaling information generated in the link layer.
  • the above-described RDT or LMT to be described later may correspond to this.
  • the external link layer signaling may be signaling information received from an external module, an external protocol, or an upper layer.
  • the link layer may encapsulate link layer signaling into a link layer packet and deliver it.
  • a link layer packet structure (header structure) for link layer signaling may be defined, and link layer signaling information may be encapsulated according to this structure.
  • FIG. 7 illustrates a link mapping table (LMT) according to an embodiment of the present invention.
  • the LMT may provide a list of higher layer sessions carried by the PLP.
  • the LMT may also provide additional information for processing link layer packets carrying higher layer sessions.
  • the higher layer session may be called multicast.
  • Information on which IP streams and which transport sessions are being transmitted through a specific PLP may be obtained through the LMT. Conversely, information on which PLP a specific transport session is delivered to may be obtained.
  • the LMT may be delivered to any PLP identified as carrying an LLS.
  • the PLP through which the LLS is delivered may be identified by the LLS flag of the L1 detail signaling information of the physical layer.
  • the LLS flag may be a flag field indicating whether LLS is delivered to the corresponding PLP for each PLP.
  • the L1 detail signaling information may correspond to PLS2 data to be described later.
  • the LMT may be delivered to the same PLP together with the LLS.
  • Each LMT may describe the mapping between PLPs and IP address / port as described above.
  • the LLS may include an SLT, where these IP addresses / ports described by the LMT are all IP addresses associated with any service described by the SLT forwarded to the same PLP as that LMT. It can be / ports.
  • the PLP identifier information in the above-described SLT, SLS, etc. may be utilized, so that information on which PLP the specific transmission session indicated by the SLT, SLS is transmitted may be confirmed.
  • the PLP identifier information in the above-described SLT, SLS, etc. may be omitted, and the PLP information for the specific transport session indicated by the SLT, SLS may be confirmed by referring to the information in the LMT.
  • the receiver may identify the PLP to know by combining LMT and other IP level signaling information.
  • PLP information in SLT, SLS, and the like is not omitted, and may remain in the SLT, SLS, and the like.
  • the LMT according to the illustrated embodiment may include a signaling_type field, a PLP_ID field, a num_session field, and / or information about respective sessions.
  • a PLP loop may be added to the LMT according to an embodiment, so that information on a plurality of PLPs may be described.
  • the LMT may describe PLPs for all IP addresses / ports related to all services described by the SLTs delivered together, in a PLP loop.
  • the signaling_type field may indicate the type of signaling information carried by the corresponding table.
  • the value of the signaling_type field for the LMT may be set to 0x01.
  • the signaling_type field may be omitted.
  • the PLP_ID field may identify a target PLP to be described. When a PLP loop is used, each PLP_ID field may identify each target PLP. From the PLP_ID field may be included in the PLP loop.
  • the PLP_ID field mentioned below is an identifier for one PLP in a PLP loop, and the fields described below may be fields for the corresponding PLP.
  • the num_session field may indicate the number of upper layer sessions delivered to the PLP identified by the corresponding PLP_ID field. According to the number indicated by the num_session field, information about each session may be included. This information may include an src_IP_add field, a dst_IP_add field, a src_UDP_port field, a dst_UDP_port field, a SID_flag field, a compressed_flag field, a SID field, and / or a context_id field.
  • the src_IP_add field, dst_IP_add field, src_UDP_port field, and dst_UDP_port field are the source IP address, destination IP address, source UDP port, destination UDP port for the transport session among the upper layer sessions forwarded to the PLP identified by the corresponding PLP_ID field. It can indicate a port.
  • the SID_flag field may indicate whether a link layer packet carrying a corresponding transport session has an SID field in its optional header.
  • a link layer packet carrying an upper layer session may have an SID field in its optional header, and the SID field value may be the same as an SID field in an LMT to be described later.
  • the compressed_flag field may indicate whether header compression has been applied to data of a link layer packet carrying a corresponding transport session.
  • the existence of the context_id field to be described later may be determined according to the value of this field.
  • the SID field may indicate a sub stream ID (SID) for link layer packets carrying a corresponding transport session.
  • SID sub stream ID
  • These link layer packets may include an SID having the same value as this SID field in the optional header.
  • the context_id field may provide a reference to a context id (CID) in the RDT.
  • the CID information of the RDT may indicate the context ID for the corresponding compressed IP packet stream.
  • the RDT may provide context information for the compressed IP packet stream. RDT and LMT may be associated with this field.
  • each field, element, or attribute may be omitted or replaced by another field, and additional fields, elements, or attributes may be added according to an embodiment. .
  • service components of one service may be delivered through a plurality of ROUTE sessions.
  • the SLS may be obtained through the bootstrap information of the SLT.
  • the SLS's USBD allows the S-TSID and MPD to be referenced.
  • the S-TSID may describe transport session description information for other ROUTE sessions to which service components are delivered, as well as a ROUTE session to which an SLS is being delivered.
  • all service components delivered through a plurality of ROUTE sessions may be collected. This may be similarly applied when service components of a service are delivered through a plurality of MMTP sessions.
  • one service component may be used simultaneously by a plurality of services.
  • bootstrapping for ESG services may be performed by a broadcast network or broadband.
  • URL information of the SLT may be utilized. ESG information and the like can be requested to this URL.
  • one service component of one service may be delivered to the broadcasting network and one to the broadband (hybrid).
  • the S-TSID may describe components delivered to a broadcasting network, so that a ROUTE client may acquire desired service components.
  • USBD also has base pattern information, which allows you to describe which segments (which components) are to be routed to which path. Therefore, the receiver can use this to know what segment to request to the broadband server and what segment to find in the broadcast stream.
  • scalable coding for a service may be performed.
  • the USBD may have all the capability information needed to render the service. For example, when a service is provided in HD or UHD, the capability information of the USBD may have a value of “HD or UHD”.
  • the receiver may know which component should be played in order to render the UHD or HD service using the MPD.
  • app components to be used for app-based enhancement / app-based service may be delivered through a broadcast network or through broadband as an NRT component.
  • app signaling for app-based enhancement may be performed by an application signaling table (AST) delivered with SLS.
  • an event which is a signaling of an operation to be performed by the app, may be delivered in the form of an event message table (EMT) with SLS, signaled in an MPD, or in-band signaled in a box in a DASH representation. . AST, EMT, etc. may be delivered via broadband.
  • App-based enhancement may be provided using the collected app components and such signaling information.
  • a CAP message may be included in the aforementioned LLS table for emergency alerting. Rich media content for emergency alerts may also be provided. Rich media may be signaled by the CAP message, and if rich media is present it may be provided as an EAS service signaled by the SLT.
  • the linear service components may be delivered through a broadcasting network according to the MMT protocol.
  • NRT data for example, an app component
  • data on the service may be delivered through a broadcasting network according to the ROUTE protocol.
  • data on the service may be delivered through broadband.
  • the receiver can access the MMTP session carrying the SLS using the bootstrap information of the SLT.
  • the USBD of the SLS according to the MMT may refer to the MP table so that the receiver may acquire linear service components formatted with the MPU delivered according to the MMT protocol.
  • the USBD may further refer to the S-TSID to allow the receiver to obtain NRT data delivered according to the ROUTE protocol.
  • the USBD may further reference the MPD to provide a playback description for the data delivered over the broadband.
  • the receiver may transmit location URL information for obtaining a streaming component and / or a file content item (such as a file) to the companion device through a method such as a web socket.
  • An application of a companion device may request the component, data, and the like by requesting the URL through an HTTP GET.
  • the receiver may transmit information such as system time information and emergency alert information to the companion device.
  • FIG. 8 shows a structure of a broadcast signal transmission apparatus for a next generation broadcast service according to an embodiment of the present invention.
  • a broadcast signal transmission apparatus for a next generation broadcast service includes an input format block 1000, a bit interleaved coding & modulation (BICM) block 1010, and a frame building block 1020, orthogonal frequency division multiplexing (OFDM) generation block (OFDM generation block) 1030, and signaling generation block 1040. The operation of each block of the broadcast signal transmission apparatus will be described.
  • BICM bit interleaved coding & modulation
  • OFDM generation block orthogonal frequency division multiplexing
  • signaling generation block 1040 The operation of each block of the broadcast signal transmission apparatus will be described.
  • IP streams / packets and MPEG2-TS may be main input formats, and other stream types are treated as general streams.
  • the input format block 1000 can demultiplex each input stream into one or multiple data pipes to which independent coding and modulation is applied.
  • the data pipe is the basic unit for controlling robustness, which affects the quality of service (QoS).
  • QoS quality of service
  • One or multiple services or service components may be delivered by one data pipe.
  • a data pipe is a logical channel at the physical layer that carries service data or related metadata that can carry one or multiple services or service components.
  • the BICM block 1010 may include a processing block applied to a profile (or system) to which MIMO is not applied and / or a processing block of a profile (or system) to which MIMO is applied, and for processing each data pipe. It may include a plurality of processing blocks.
  • the processing block of the BICM block to which MIMO is not applied may include a data FEC encoder, a bit interleaver, a constellation mapper, a signal space diversity (SSD) encoding block, and a time interleaver.
  • the processing block of the BICM block to which MIMO is applied is distinguished from the processing block of BICM to which MIMO is not applied in that it further includes a cell word demultiplexer and a MIMO encoding block.
  • the data FEC encoder performs FEC encoding on the input BBF to generate the FECBLOCK procedure using outer coding (BCH) and inner coding (LDPC).
  • Outer coding (BCH) is an optional coding method.
  • the bit interleaver interleaves the output of the data FEC encoder to achieve optimized performance with a combination of LDPC codes and modulation schemes.
  • Constellation Mapper uses QPSK, QAM-16, non-uniform QAM (NUQ-64, NUQ-256, NUQ-1024) or non-uniform constellation (NUC-16, NUC-64, NUC-256, NUC-1024)
  • the cell word from the bit interleaver or cell word demultiplexer can then be modulated to provide a power-normalized constellation point.
  • NUQ has any shape, while QAM-16 and NUQ have a square shape. Both NUQ and NUC are specifically defined for each code rate and are signaled by the parameter DP_MOD of PLS2 data.
  • the time interleaver may operate at the data pipe level. The parameters of time interleaving can be set differently for each data pipe.
  • the time interleaver of the present invention may be located between a BICM chain block and a frame builder.
  • the time interleaver according to the present invention may selectively use a convolution interleaver (CI) and a block interleaver (BI) according to a physical layer pipe (PLP) mode, or both.
  • PLP according to an embodiment of the present invention is a physical path used in the same concept as the above-described DP, the name can be changed according to the designer's intention.
  • the PLP mode according to an embodiment of the present invention may include a single PLP mode or a multiple PLP mode according to the number of PLPs processed by the broadcast signal transmitter or the broadcast signal transmitter.
  • time interleaving using different time interleaving methods according to the PLP mode may be referred to as hybrid time interleaving.
  • the hybrid time deinterleaver may perform an operation corresponding to the reverse operation of the aforementioned hybrid time interleaver.
  • the cell word demultiplexer is used to separate a single cell word stream into a dual cell word stream for MIMO processing.
  • the MIMO encoding block can process the output of the cell word demultiplexer using the MIMO encoding scheme.
  • the MIMO encoding scheme of the present invention may be defined as full-rate spatial multiplexing (FR-SM) to provide capacity increase with a relatively small complexity increase at the receiver side.
  • MIMO processing is applied at the data pipe level.
  • NUQ e1, i and e2, i
  • MIMO encoder output pairs g1, i and g2, i
  • the frame building block 1020 may map data cells of an input data pipe to OFDM symbols and perform frequency interleaving for frequency domain diversity within one frame.
  • a frame according to an embodiment of the present invention is divided into a preamble, one or more frame signaling symbols (FSS), and normal data symbols.
  • the preamble is a special symbol that provides a set of basic transmission parameters for efficient transmission and reception of a signal.
  • the preamble may signal a basic transmission parameter and a transmission type of the frame.
  • the preamble may indicate whether an emergency alert service (EAS) is provided in the current frame.
  • EAS emergency alert service
  • the main purpose of the FSS is to carry PLS data. For fast synchronization and channel estimation, and fast decoding of PLS data, the FSS has a higher density pilot pattern than normal data symbols.
  • the frame building block adjusts the timing between the data pipes and the corresponding PLS data so that a delay compensation block is provided at the transmitter to ensure co-time between the data pipes and the corresponding PLS data.
  • a cell mapper and a frequency interleaver for mapping a PLS, a data pipe, an auxiliary stream, and a dummy cell to an active carrier of an OFDM symbol in a frame.
  • the frequency interleaver may provide frequency diversity by randomly interleaving data cells received from the cell mapper.
  • the frequency interleaver uses a different interleaving seed order to obtain the maximum interleaving gain in a single frame.
  • the frequency interleaver uses a single symbol or data corresponding to an OFDM symbol pair consisting of two sequential OFDM symbols. Operate on corresponding data.
  • OFDM generation block 1030 modulates the OFDM carrier, inserts pilots, and generates time-domain signals for transmission by the cells generated by the frame building block. In addition, the block sequentially inserts a guard interval and applies a PAPR reduction process to generate a final RF signal.
  • the signaling generation block 1040 may generate physical layer signaling information used for the operation of each functional block.
  • Signaling information may include PLS data.
  • PLS provides a means by which a receiver can connect to a physical layer data pipe.
  • PLS data consists of PLS1 data and PLS2 data.
  • PLS1 data is the first set of PLS data delivered to the FSS in frames with fixed size, coding, and modulation that convey basic information about the system as well as the parameters needed to decode the PLS2 data.
  • PLS1 data provides basic transmission parameters including the parameters required to enable reception and decoding of PLS2 data.
  • PLS2 data carries more detailed PLS data about the data pipes and systems and is the second set of PLS data sent to the FSS.
  • PLS2 signaling further consists of two types of parameters: PLS2 static data (PLS2-STAT data) and PLS2 dynamic data (PLS2-DYN data).
  • PLS2 static data is PLS2 data that is static during the duration of a frame group
  • PLS2 dynamic data is PLS2 data that changes dynamically from frame to frame.
  • the PLS2 data may include FIC_FLAG information.
  • FIC Fast Information Channel
  • the FIC_FLAG information is a 1-bit field and indicates whether a fast information channel (FIC) is used in the current frame group.If the value of this field is set to 1, the FIC is provided in the current frame. If the value of the field is set to 0, the FIC is not transmitted in the current frame.
  • the BICM block 1010 may include a BICM block for protecting PLS data
  • the BICM block for protecting PLS data is a PLS FEC encoder. , Bit interleaver, and constellation mapper.
  • the PLS FEC encoder performs external encoding on scrambled PLS 1,2 data using a scrambler for scrambling PLS1 data and PLS2 data, shortened BCH code for PLS protection, and a BCH for inserting zero bits after BCH encoding.
  • An encoding / zero insertion block, an LDPC encoding block for performing encoding using an LDPC code, and an LDPC parity puncturing block may be included.
  • the output bits of zero insertion can be permutated before LDPC encoding.
  • the bit interleaver interleaves the respective shortened and punctured PLS1 data and PLS2 data, and the constellation mapper bit interleaves.
  • the PLS1 data and the PLS2 data can be mapped to the constellation.
  • the broadcast signal receiving apparatus for the next generation broadcast service may perform a reverse process of the broadcast signal transmitting apparatus for the next generation broadcast service described with reference to FIG. 8.
  • An apparatus for receiving broadcast signals for a next generation broadcast service includes a synchronization and demodulation module for performing demodulation corresponding to a reverse process of a procedure executed by a broadcast signal transmitting apparatus and an input signal.
  • a frame parsing module for parsing a frame, extracting data on which a service selected by a user is transmitted, converting an input signal into bit region data, and then deinterleaving the bit region data as necessary, and transmitting efficiency
  • a demapping and decoding module for performing demapping on the mapping applied for decoding, and correcting an error occurring in a transmission channel through decoding, of various compression / signal processing procedures applied by a broadcast signal transmission apparatus.
  • Demodulated by an output processor and a synchronization and demodulation module that executes the inverse process It may include a signaling decoding module for obtaining and processing the PLS information from the signal.
  • the frame parsing module, the demapping and decoding module, and the output processor may execute the function by using the PLS data output from the signaling decoding module.
  • a time interleaving group according to an embodiment of the present invention is directly mapped to one frame or spread over PI frames.
  • Each time interleaving group is also divided into one or more (NTI) time interleaving blocks.
  • NTI time interleaving time interleaving block
  • each time interleaving block corresponds to one use of the time interleaver memory.
  • the time interleaving block in the time interleaving group may include different numbers of XFECBLOCKs.
  • the time interleaver may also act as a buffer for data pipe data prior to the frame generation process.
  • the time interleaver according to an embodiment of the present invention is a twisted row-column block interleaver.
  • the twisted row-column block interleaver according to an embodiment of the present invention writes the first XFECBLOCK in the column direction to the first column of the time interleaving memory, the second XFECBLOCK to the next column and the remaining XFECBLOCKs in the time interleaving block in the same manner. You can fill in these. And in an interleaving array, cells can be read diagonally from the first row to the last row (starting from the leftmost column to the right along the row).
  • the interleaving array for the twisted row-column block interleaver may insert the virtual XFECBLOCK into the time interleaving memory to achieve a single memory deinterleaving at the receiver side regardless of the number of XFECBLOCKs in the time interleaving block.
  • the virtual XFECBLOCK must be inserted in front of the other XFECBLOCKs to achieve a single memory deinterleaving on the receiver side.
  • FIG 9 illustrates a writing operation of a time interleaver according to an embodiment of the present invention.
  • the block shown on the left side of the figure represents a TI memory address array, and the block shown on the right side of the figure shows that virtual FEC blocks are placed at the front of the TI group for two consecutive TI groups. It represents the writing operation when two and one are inserted respectively.
  • the frequency interleaver may include an interleaving address generator for generating an interleaving address for applying to data corresponding to a symbol pair.
  • FIG. 10 is a block diagram of an interleaving address generator composed of a main-PRBS generator and a sub-PRBS generator according to each FFT mode included in a frequency interleaver according to an embodiment of the present invention.
  • the interleaving process for an OFDM symbol pair uses one interleaving sequence and is described as follows.
  • xm, l, p the p-th cell of the l-th OFDM symbol in the m-th frame and Ndata is the number of data cells.
  • Ndata CFSS for the frame signaling symbol
  • Ndata Cdata for the normal data
  • Ndata CFES for the frame edge symbol.
  • vm, l, p xm, l, Hi (p)
  • p 0,... Is given by Ndata-1.
  • Hl (p) is an interleaving address generated based on the cyclic shift value (symbol offset) of the PRBS generator and the sub-PRBS generator.
  • FIG. 11 illustrates a hybrid broadcast reception device according to an embodiment of the present invention.
  • the hybrid broadcasting system may transmit a broadcast signal by interworking a terrestrial broadcasting network and an internet network.
  • the hybrid broadcast reception device may receive a broadcast signal through a terrestrial broadcast network (broadcast) and an internet network (broadband).
  • the hybrid broadcast receiver includes a physical layer module, a physical layer I / F module, a service / content acquisition controller, an internet access control module, a signaling decoder, a service signaling manager, a service guide manager, an application signaling manager, an alarm signal manager, an alarm signal parser, Targeting signal parser, streaming media engine, non-real time file processor, component synchronizer, targeting processor, application processor, A / V processor, device manager, data sharing and communication unit, redistribution module, companion device and / or external modules can do.
  • the physical layer module (s) may receive and process a broadcast-related signal through a terrestrial broadcast channel, convert it into an appropriate form, and deliver the signal to a physical layer I / F module.
  • the physical layer I / F module may obtain an IP datagram from information obtained from the physical layer module.
  • the physical layer I / F module may convert the obtained IP datagram into a specific frame (eg, RS Frame, GSE, etc.).
  • the service / content acquisition controller may perform a control operation for acquiring service, content, and signaling data related thereto through broadcast and / or broadband channels.
  • the Internet Access Control Module (s) may control a receiver operation for acquiring a service, content, or the like through a broadband channel.
  • the signaling decoder may decode signaling information obtained through a broadcast channel.
  • the service signaling manager may extract, parse, and manage signaling information related to service scan and service / content from an IP datagram.
  • the service guide manager may extract announcement information from an IP datagram, manage an SG database, and provide a service guide.
  • the App Signaling Manager may extract, parse and manage signaling information related to application acquisition from an IP datagram.
  • Alert Signaling Parser can extract, parse and manage signaling information related to alerting from IP datagram.
  • Targeting Signaling Parser can extract, parse and manage signaling information related to service / content personalization or targeting from IP datagram.
  • the targeting signal parser may deliver the parsed signaling information to the targeting processor.
  • the streaming media engine can extract and decode audio / video data for A / V streaming from IP datagrams.
  • the non-real time file processor can extract, decode and manage file type data such as NRT data and applications from IP datagrams.
  • the Component Synchronizer can synchronize content and services such as streaming audio / video data and NRT data.
  • the targeting processor may process an operation related to personalization of a service / content based on the targeting signaling data received from the targeting signal parser.
  • the App Processor may process application related information, downloaded application status, and display parameters.
  • the A / V Processor may perform audio / video rendering related operations based on decoded audio, video data, and application data.
  • the device manager may perform a connection and data exchange operation with an external device.
  • the device manager may perform management operations on external devices, such as adding, deleting, and updating external devices that can be interworked.
  • the data sharing & communication unit can process information related to data transmission and exchange between the hybrid broadcast receiver and an external device.
  • the data that can be transmitted and exchanged may be signaling, A / V data, or the like.
  • the redistribution module (s) may obtain relevant information about next-generation broadcast services and contents when the broadcast receiver does not directly receive the terrestrial broadcast signal.
  • the redistribution module may support the acquisition of broadcast services and content by the next generation broadcast system when the broadcast receiver does not directly receive the terrestrial broadcast signal.
  • Companion device (s) may be connected to the broadcast receiver of the present invention to share audio, video, or signaling inclusion data.
  • the companion device may refer to an external device connected to the broadcast receiver.
  • the external module may refer to a module for providing a broadcast service / content and may be, for example, a next generation broadcast service / content server.
  • the external module may refer to an external device connected to the broadcast receiver.
  • FIG. 12 is a diagram illustrating the overall operation of the DASH-based adaptive streaming model according to an embodiment of the present invention.
  • the present invention proposes a next-generation media service providing method for providing content capable of supporting High Dynamic Range (HDR).
  • HDR content capable of expressing rich brightness is provided
  • the present invention proposes metadata and a delivery method thereof. Through this, the content may be adaptively adjusted according to various scene-specific characteristics of the content, and the content may be provided with improved image quality.
  • the DASH-based adaptive streaming model describes the operation between the HTTP server and the DASH client.
  • DASH Dynamic Adaptive Streaming over HTTP
  • DASH is a protocol for supporting HTTP-based adaptive streaming, and can dynamically support streaming according to network conditions. Accordingly, the AV content can be provided without interruption.
  • the DASH client can obtain the MPD.
  • MPD may be delivered from a service provider such as an HTTP server.
  • the MPD may be delivered according to the delivery embodiment described above.
  • the DASH client can request the segments from the server using the access information to the segment described in the MPD. In this case, the request may be performed by reflecting the network state.
  • the DASH client may process it in the media engine and display the segment on the screen.
  • the DASH client may request and acquire a required segment by adaptively reflecting a playing time and / or a network condition (Adaptive Streaming). This allows the content to be played back seamlessly.
  • Adaptive Streaming a network condition
  • MPD Media Presentation Description
  • XML form a file containing detailed information for allowing a DASH client to dynamically acquire a segment. This MPD may be the same as the MPD described above according to an embodiment.
  • the DASH Client Controller may generate a command for requesting the MPD and / or the segment reflecting the network situation.
  • the controller can control the obtained information to be used in an internal block of the media engine or the like.
  • the MPD Parser may parse the acquired MPD in real time. This allows the DASH client controller to generate a command to obtain the required segment.
  • the segment parser may parse the acquired segment in real time. Internal blocks such as the media engine may perform a specific operation according to the information included in the segment.
  • the HTTP client may request the HTTP server for necessary MPDs and / or segments.
  • the HTTP client may also pass MPD and / or segments obtained from the server to the MPD parser or segment parser.
  • the media engine may display content on the screen using media data included in the segment. At this time, the information of the MPD may be utilized.
  • FIG. 13 is a block diagram of a receiver according to an embodiment of the present invention.
  • the receiver includes a tuner, a physical layer controller, a physical frame parser, a link layer frame processor, and an IP / UDP datagram filter.
  • UDP Datagram Filter DTV Control Engine, ROUTE Client, Segment Buffer Control, MMT Client, MPU Reconstruction, Media Processor (Media Processor), Signaling Parser (Dash Client), DASH Client (DASH Client), ISO BMFF Parser (ISO BMFF Parser), Media Decoder and / or HTTP Access Client.
  • Each detailed block of the receiver may be a processor that is hardware.
  • the tuner can receive and process broadcast signals through terrestrial broadcast channels and convert them into appropriate forms (Physical Frame, etc.).
  • the physical layer controller may control operations of a tuner, a physical frame parser, etc. using RF information of a broadcast channel to be received.
  • the physical frame parser may acquire the link layer frame through parsing the received physical frame and processing related thereto.
  • the link layer frame processor may acquire link layer signaling from a link layer frame, acquire an IP / UDP datagram, and perform related operations.
  • the IP / UDP Datagram Filter may filter a specific IP / UDP datagram from the received IP / UDP datagrams.
  • the DTV Control Engine is in charge of the interface between each component and can control the operation of each component by passing parameters.
  • the Route Client can generate one or more ISO Base Media File Format (ISOBMFF) objects by processing Real-Time Object Delivery over Unidirectional Transport (ROUTE) packets that support real-time object transport, and collecting and processing multiple packets.
  • ISOBMFF ISO Base Media File Format
  • ROUTE Real-Time Object Delivery over Unidirectional Transport
  • Segment Buffer Control can control the buffer related to segment transmission between Route Client and Dash Client.
  • the MMT Client can process MPEG Media Transport (MPT) transport protocol packets that support real-time object transport and collect and process multiple packets.
  • MPU reconstruction may reconstruct a Media Processing Unit (MPU) from an MMTP packet.
  • the Media Processor can collect and process the reconstructed MPU.
  • MPEG Media Transport MPEG Media Transport
  • the Signaling Parser may acquire and parse DTV broadcast service related signaling (Link Layer / Service Layer Signaling), and generate and / or manage a channel map based on this. This configuration can handle low level signaling and service level signaling.
  • the DASH Client can process real-time streaming or adaptive streaming-related operations and acquired DASH Segments.
  • the ISO BMFF Parser may extract audio / video data and related parameters from an ISO BMFF object.
  • the media decoder may decode and / or present the received audio and video data.
  • the HTTP Access Client can request specific information from an HTTP server and process the response to the request.
  • HDR high dynamic range
  • an element capable of adjusting content adaptively to various scene characteristics included in content is transmitted to a receiver, thereby improving image quality. It can provide a method for converting and presenting content.
  • the brightness that was not expressed in the existing contents can be expressed to provide a difference from the existing broadcasting and provide a high level of realism.
  • high dynamic range As the brightness range of an image is increased, a characteristic difference between scenes included in content may be greater than before.
  • the broadcast transmission apparatus additionally provides information for effectively displaying the characteristics of each scene on the display, and the reception apparatus provides an image effect based on the transmitted information to express the image in a manner suitable for the direction intended by the producer. Can be.
  • UHD broadcasting can provide viewers with improved image quality and immersion compared to existing HD broadcasting in various ways.
  • UHD broadcasting may provide a method of extending the range of the brightness and color expressions expressed in the content to the range of the perceived brightness and color in the real human visual system. That is, high dynamic range (HDR) and wide color gamut (WCG) may be applied to UHD content. That is, users who enjoy UHD content by providing improved high contrast and color in the content will experience greater immersion and presence.
  • HDR high dynamic range
  • WCG wide color gamut
  • the present invention when the content is reproduced on the display, by presenting a method that can effectively reproduce the image brightness and color in accordance with the intention of the producer, so that the user can watch the image of improved image quality.
  • the HDR video production apparatus may include at least one of the capture / film scanner 101, the post-production block (mastering unit 102), and / or the encoder / multiplexer 103.
  • the HDR video playback device may include at least one of a demultiplexer 104, a decoder 105, a metadata processor 106, a post processor 107, a synchronizer 108, and / or a display 109.
  • the metadata included in the video stream is received, the metadata of the present invention is not only a broadcast signal but also other paths (for example, IP-based broadcasting / communication, wire / wireless communication, wire / wireless interface, and near field communication). Etc.) can also be sent and received.
  • the capture / film scanner 101 of the HDR video production apparatus may convert a natural scene composed of natural colors into a digital image.
  • the capture / film scanner may be a device for converting an optical image into a digital image such as a video camera, a camera, a scanner, and the like.
  • the capture / film scanner 101 may sense an optical image and output raw HDR (High Dynamic Range) video.
  • the post-production block (mastering unit) 102 may receive the raw HDR video and output the mastered HDR video and the HDR metadata.
  • the post-production block may receive mastering display information, viewing condition information, color encoding information, gamut mapping information, and / or dynamic range (DR) information, and perform mastering.
  • the color encoding information is for example EOTF (electro-optical transfer function), BT. For example, 2020.
  • Encoder / multiplexer 103 may encode and multiplex at least one or more mastered HDR video and HDR metadata.
  • the demultiplexer 104 of the HDR video playback device may receive and demultiplex the HDR stream.
  • One HDR stream may include a plurality of contents, and the demultiplexer may output the HDR stream to be decoded to the decoder.
  • the decoder 105 may receive the HDR stream and perform decoding. In this process, the decoder may output decoded HDR video and HDR metadata. The decoded HDR video may be output to the post processor and the HDR metadata may be output to the metadata processor.
  • the metadata processor 106 may receive and store the HDR metadata.
  • the metadata processor may check the set number or the version number included in the HDR metadata to check whether there is a change to the stored HDR metadata, and if there is a change, update the existing HDR metadata.
  • the metadata processor may output the HDR metadata to the post processor according to timing information received from the synchronizer.
  • the post processor 107 may perform post-processing on the HDR video received from the decoder by using the HDR metadata received from the metadata processor. Through this process, HDR video can be converted to improved HDR video with HDR metadata.
  • the synchronizer 108 may provide timing information to the metadata processor and the post processor so that the metadata is applied at the correct time point for the entire HDR video or each scene, each video clip, or each frame.
  • the meta data may indicate information on the mastering display, or may mean information that is commonly applied in units of channels, programs, or content, or information that is applied to each of a series of scenes, video clips, and frames.
  • the HDR display 109 may display and provide the enhanced HDR video to the user.
  • the operation of the receiver is mainly described, but the same considerations may be considered when generating a related signal, and may also be applied to a transfer signal and a mastering signal between productions.
  • the matters considered in the present invention may be delivered.
  • the receiver may separate the HDR metadata from the HDR video signal using the video decoder 201 and store it in a separate metadata processor 202.
  • the metadata processor may include a metadata parser, a metadata buffer, and a metadata update performer.
  • the HDR metadata may include common application information (common HDR metadata) and partial application information (scene / frame HDR metadata).
  • the common application information is metadata that can be applied to the entire content and may mean information that is commonly applied in units of channels, programs, and content.
  • the partial application information may indicate metadata that can be limitedly applied to a part of content and may mean information applied to each of a continuous scene, a video clip, or a frame.
  • the receiver may process the received common information or partial information by applying the received common information or partial information to the content after determining the performance of the playable content type.
  • a receiver capable of playing back HDR video may convert the content using the received metadata.
  • the receiver may display the converted content as the final image after the processing operation.
  • a detailed receiver operation method is as follows.
  • the receiver can decode the video stream and obtain HDR metadata.
  • the HDR metadata may mean HDR video information (hereinafter, referred to as HDR_info ()).
  • the receiver may analyze the metadata obtained from the video stream by passing it to the metadata parser 202 and store the metadata in the memory.
  • Metadata may be divided into common application information (common HDR metadata) and partial application information (scene / frame HDR metadata).
  • the metadata is applied according to the mastering display, or the metadata is commonly applied in units of channel, program, and content, or continuous Metadata can be applied to each scene, video clip, and frame.
  • the metadata may further include information that can match the corresponding metadata, for example, the metadata and the image frame to which the metadata is applied, in the form of synchronization start information (sync_start) and synchronization period information (sync_duration). It may include.
  • the common application information may be a value that may indicate the dynamic range of the content / mastering display / frame, for example maximum minimum brightness or high contrast, a transfer function such as EOTF, content or mastering display. It may include at least one information of the color space, the color temperature of the content or the mastering display, the brightness range conversion function, the color space conversion function and / or viewing environment information.
  • a value that can indicate the dynamic range of the content / mastering display / frame may be transmitted through a DR information type (dynamic_range_info_type) and DR value information (dynamic_range_info_value [i]).
  • a transfer function such as EOTF may be transmitted through a transfer function type (transfer_function_type).
  • the color space of the content or mastering display may be transmitted through the CG information type (color_gamut_type).
  • the color temperature of the content or mastering display may be transmitted through the color temperature information type (color_temperature_type).
  • the brightness range conversion function may be transmitted through the DR mapping information type (dynamic_range_mapping_info_type).
  • the color space conversion function may be transmitted through the CG mapping information type (color_gamut_mapping_info_type).
  • the viewing environment information may be transmitted through the viewing environment information type (viewing_condition_info_type). The syntax of each information and a description of the included field will be described later.
  • the partial application information may include the same or similar information as the common application information, and may also include information on the coverage. Partial application information can deliver more specific information in that the application range is limited to a certain portion of the content.
  • the common application information may transmit a brightness range applied to the entire content as a value such as f-stop or high contrast.
  • the partial application information may deliver more specific information by transmitting a maximum minimum value for a frame unit.
  • the information delivery range may be differentially applied to each step.
  • a complex transformation function that can make use of characteristics of each scene can be delivered through partial application information.
  • the receiver may determine whether the display it includes is an HDR display.
  • the receiver may determine whether the playback environment of the receiver is appropriate based on the information about the acquired content (or the information about the mastering display) using the common information. For example, the receiver may use the common application information described above, and if the content playback environment is not suitable, the SDR display or the display corresponding to the performance between the SDR and the HDR may be considered.
  • the display included in the receiver is an SDR display or a display having a similar capability. If it is determined that the receiver display cannot fully play the decoded HDR content, the receiver may not play the HDR content or may perform a transformation to play the content.
  • a receiver capable of converting an HDR video into an SDR video may convert and receive the received HDR video into an SDR video.
  • the HDR metadata may include information on a transform function for converting the HDR video into the SDR video.
  • dynamic_range_mapping_info_type or color_gamut_mapping_info_type may be used as the information on the above-described transform function, and the HDR metadata may additionally signal that the corresponding information is used for converting the HDR video to the SDR video when necessary.
  • image quality may be improved by using common application information included in HDR metadata, and image quality may be improved by using dynamic range mapping, color gamut mapping, viewing condition mapping, and the like.
  • the image quality line for the entire content using the common application information may be omitted when the partial application information may be applied in the third step to be described later.
  • the image quality improvement for the video using the common application information may be implemented through a separate module or applied in connection with the post processing module described in FIG.
  • the receiver may perform image quality improvement for each scene of the HDR video. If it is determined that the receiver can play the HDR content based on the metadata information, the receiver may determine whether additional HDR metadata processing is possible.
  • the broadcast transmission device may allow the receiver to identify in a supplemental enhancement information (SEI) message that information on a scene, video clip or frame basis is transmitted using HDR_info_type.
  • SEI Supplemental Enhancement information
  • the broadcast transmission device may provide information on a time point at which scene or frame information should be applied to the receiver by using a synchronization information type (sync_info_type), synchronization start information (sync_start), and synchronization interval information (sync_duration).
  • the receiver identifies that scene, video clip, or frame information is transmitted through the HDR video information type (HDR_info_type), and provides timing information on when to apply scene, video clip, or frame information through sync_info_type, sync_start, and sync_duration. Can be obtained.
  • the receiver may convert timing information provided through metadata into information for synchronizing with an image.
  • the broadcast transmission device may inform the receiver of what kind of scene, video clip, or frame unit metadata is provided in the future.
  • the broadcast transmission device may inform the receiver in advance of the information through HDR_video_enhancement_info_present_type. That is, the receiver may prepare the operation of the associated module by obtaining in advance information on whether the partial application information is received from the common application information and the type thereof.
  • the broadcast transmission device may indicate the fact that metadata is provided in a frame, video clip, or scene unit using common application information, or may have specific information in frame, video clip, or scene unit. Can be indicated.
  • the broadcast transmission device may indicate that dynamic range mapping or / and color gamut mapping information is provided in units of frames or scenes using common application information.
  • the receiver may apply common application information and scene application information step by step to the HDR video or in one operation.
  • the receiver may apply common application information and scene application information to each of the dynamic range mapping and the color gamut mapping to the HDR video or as a transformation.
  • the post processor may include a DR mapping block 301, a CG mapping block 302, and a viewing condition adjustment block 303.
  • the post processing unit may receive the HDR video data and perform image quality improvement using dynamic range mapping, color gamut mapping, viewing condition mapping, and the like.
  • the dynamic range mapping block 301 may perform image quality improvement by applying dynamic range information, transfer function information, and DR mapping information to the input HDR video data.
  • the CG mapping block 302 may apply color gamut information, color temperature information, and CG mapping information to the input HDR video data to perform image quality improvement.
  • the viewing condition adjustment block 303 may apply the viewing environment information to the HDR video data to perform image quality improvement. Detailed description of each information will be described later with reference to FIGS. 17 to 29.
  • 17 through 20 illustrate syntax of an SEI message and an HDR information descriptor according to an embodiment of the present invention.
  • the SEI message may include an HDR information descriptor and the HDR information descriptor may include at least one of the following fields.
  • HDR information may be used as the same meaning as HDR video information.
  • the HDR information type (HDR_info_type) information may indicate a unit to which information in the HDR information descriptor is applied.
  • information about a mastering display may be displayed or commonly applied in units of channels, programs, and content.
  • it can be classified into a series of scenes, video clips, and frames, and classified into different methods (e.g., before and after conversion, transmission format, target format after conversion, and static / dynamic metadata). You can also add
  • the type of HDR information defined in the current payloadType can be distinguished.
  • only detailed information corresponding to one HDR_info_type may be described in the payloadType, or two or more information may be described.
  • the syntax may be configured such that information classified according to each HDR_info_type is continuously located.
  • the unit to which the information is applied may be classified in the SEI message as well as assigned by different payloadTypes.
  • the transition flag (transition_flag) information is a signal for ending time of content associated with the currently described SEI message. For example, when the HDR content ends and is converted to the SDR content, the transition_flag is set to 1 for the last frame. In this case, it may be considered as meaning that the transmission of the HDR information descriptor is terminated according to the application field, and the receiver may lead to an operation such as turning off a module related to the HDR information descriptor based on this signal. If the receiver is separated into a STB (settop box) and a display device and connected to a wired / wireless interface (for example, HDMI, DisplayPort, MHL, etc.), it is similar to STB for information such as interruption of HDR related information or termination of HDR content. To the display device. The transition_flag may be informed in the frame in which the HDR information descriptor terminates in the meaning of informing the end time. If it is promised in advance, a method notified by the RAP including the end frame may also be applied.
  • the set_number information may indicate an identification number unique to the HDR information descriptor. That is, in a situation in which a plurality of HDR information descriptors are transmitted from the broadcast transmission device to the receiver on a time unit or frame basis, the HDR information descriptors may serve to distinguish each HDR information descriptor. If necessary, it may play a role of distinguishing a plurality of descriptors for each channel, program, content, frame, scene, clip, etc. in connection with the above-described HDR_info_type. For example, in case of delivering different DR mapping functions for the purpose of supporting a display having various kinds of luminance, a plurality of descriptors for each channel, program, content, frame, scene, clip, etc. in connection with the above-described HDR_info_type It can play a role of distinguishing.
  • the version (version_number) information may indicate the version of the HDR information descriptor. In association with at least one of the HDR_info_type and the set_number, this may indicate that there is an information change in the current descriptor. For example, when descriptors having the same HDR_info_type and / or set_number have the same version number, information in the metadata processor may be applied to the image as it is. However, when the version_number is changed, the broadcast reception device may update information in the metadata buffer and apply new information to an image.
  • the DR flag (dynamic_range_mapping_info_present_flag) information may indicate that dynamic range mapping related information is included in the descriptor.
  • the CG flag (color_gamut_mapping_info_present_flag) information may indicate that gamut mapping related information is included in the descriptor.
  • the viewing environment flag (viewing_condition_info_present_flag) information may indicate that viewing condition related information is included in the descriptor.
  • the additional enhancement information type (HDR_video_enhancement_info_present_type) information indicates the type of additional information related to the current SEI message and may be defined using the same value as the HDR_info_type of FIG. 18. In this case, it is possible to inform whether DR mapping, gamut mapping, and viewing condition related information are transmitted through enh_dynamic_range_mapping_info_ present_flag, enh_color_gamut_mapping_info_present_flag, and enh_viewing_condition_info_present_flag, and prepare the receiver operation for processing information on the information in advance or use the improved information compared to the current information. Can be used to determine whether or not.
  • An improved DR flag (enh_dynamic_range_mapping_info_present_flag) may indicate that DR mapping information exists for associated metadata information when the value is 1.
  • the enhanced CG flag (enh_color_gamut_mapping_info_present_flag) may indicate that gamut mapping information exists for associated metadata information when the value is 1.
  • the enhanced viewing environment flag enh_viewing_condition_info_present_flag may indicate that viewing condition information exists for associated metadata information when the value is 1.
  • the sync information type (sync_info_type) information may indicate a method of representing information for synchronizing with content, scene, clip, or frame to which information in the HDR information descriptor is to be applied. For example, a picture order count (POC) value used in a decoder can be delivered, or a pic_order_count_lsb value can be delivered directly.
  • POC picture order count
  • media time information can be used and the cumulative frame number can be determined based on the reference time for the start of video.
  • the synchronization start (sync_start) information is information related to the start point of synchronization. Rather than sending related information every frame, if the relevant information is delivered in a specific period such as RAP, it is necessary to connect the start and end of the section in which the information is used with the video frame.
  • sync_info_type may define the type of synchronization information as time, time difference, start order, picture order count (POC), PTS, and the number of aggregated frames.
  • sync_duration may be additionally signaled as 500, 1000, or 1000.
  • a time reference is required for time determination, and may be separately signaled, such as defining a time in an adaptation field of a TS header.
  • the type of synchronization information may be set as a time difference.
  • the predetermined time interval may be a fixed value or may have a value determined in order. For example, it can be assumed that 0 is applied immediately, 1 is applied to RAP + 0.5 seconds, and 2 is applied to RAP + 1.5 seconds.
  • the type of synchronization information may be set as a POC.
  • the POC value of the video at the time of metadata application may be transmitted as 100, 125, 175, and the duration to be described below may be delivered as 25, 50, 50 according to the POC unit. You can also pass the value associated with POC in video codec syntax directly.
  • the synchronization section (sync_duration) information is information about a section that continues from the synchronization start (sync_start).
  • the synchronization end point may be calculated as sync_start + sync_duration, and if necessary, the synchronization end point information may be directly transmitted together with or instead of sync_duration.
  • the end time cannot be set in advance, so it can be set to a predetermined value such as FFFF. If it is possible to determine the metadata application time using only sync_start information, the sync_duration value may not be used. In this case, sync_duration can also be used as a flag giving additional information such as whether other metadata is transmitted after the corresponding metadata.
  • the number of DR information (number_of_dynamic_range_info) information may indicate the number of dynamic range information expression methods corresponding to a mastering display, channel, program, content, scene, clip, or frame.
  • the DR information type (dynamic_range_info_type) information indicates a method of expressing dynamic range information corresponding to a mastering display, channel, program, content, scene, clip, or frame.
  • the method for expressing the dynamic range may be the same as that of FIG. 19.
  • the dynamic range may be expressed using at least one of maximum brightness, minimum brightness, average brightness, average or median values composed of certain components.
  • white bright parts such as normal white, diffuse white, and specular white can be classified in detail according to their characteristics, and in the case of black, they can be classified according to their characteristics such as normal black, deep black, and pitch dark. Can be.
  • the broadcast transmission device may express information such as specular white and pitch dark through HDR info to subdivide the brightness of the list and the shadow in the content.
  • information such as specular white and pitch dark through HDR info to subdivide the brightness of the list and the shadow in the content.
  • Such information is used as a criterion for determining the receiver display environment. It can be used or used as information for mapping according to the display environment.
  • the DR information value (dynamic_range_info_value) information may carry a corresponding value according to dynamic_range_info_type. That is, content, mastering display, and scene DR can be expressed in detail according to dynamic_range_info_type as follows. Alternatively, it can be used to describe the characteristics of the container video format and the actual content separately.
  • peak_luminance_level 4000 (nit)
  • minimum_luminance_level 0.01 (nit)
  • the transfer function type (transfer_function_type) information may indicate the type of transfer function used for the mastering display, channel, program, content, scene, clip, or frame of the HDR video.
  • a predetermined EOTF may be signaled, such as SMPTE ST 2084, ITU BT.1886, BT.2020, and the like.
  • the method may be classified and signaled as a method of representing absolute brightness or representing relative brightness. If necessary, the coefficient of any transfer function may be transferred.
  • the CG type (color_gamut_type) information may indicate the type of color gamut corresponding to the mastering display, channel, program, content, scene, clip, or frame of the HDR video.
  • a standard color gamut such as BT.709, BT.2020, or DCI-P3 may be represented, or, if necessary, an arbitrary color gamut may be represented through an RGB color primary (XYZ, RGBW, etc.).
  • the color_temperature_type information may indicate information about a reference white corresponding to a mastering display, channel, program, content, scene, clip, or frame.
  • a reference white corresponding to a mastering display, channel, program, content, scene, clip, or frame.
  • it may be a standard light source color temperature such as D65 and D50, and if necessary, an arbitrary value representative of the color temperature may be represented, such as an RGB color primary for white (XYZ, RGBW, etc.).
  • the DR mapping type (dynamic_range_mapping_info_type) information indicates the type of dynamic range mapping information corresponding to the mastering display, channel, program, content, scene, clip, or frame.
  • another SEI message may refer to information by referring to a Knee function information SEI message or a Tone mapping information SEI message included in HEVC, as shown in the upper part of FIG. 20.
  • the content may be described directly in a predetermined HDR information descriptor.
  • the CG mapping type (color_gamut_mapping_info_type) information indicates the type of color gamut mapping information corresponding to the mastering display, channel, program, content, scene, clip, or frame. For example, as shown at the bottom of FIG. 20, the information defined in the color remapping information SEI message included in the HEVC may be cited. In addition, the content may be described directly in a predetermined HDR information descriptor.
  • the viewing_condition_info_type information indicates the type of viewing condition information corresponding to the mastering display, channel, program, content, scene, clip, or frame.
  • the viewing_condition_info_type information may refer to the information defined in the viewing_condition defined as a separate SEI message, or may describe the content directly in a predetermined HDR information descriptor.
  • 21 illustrates a method of signaling metadata information based on a time flow according to an embodiment of the present invention.
  • Metadata transmission according to time is 1) method to send all the information in every frame, 2) method to transmit in the frame of the point of time when metadata is changed in RAP and 3) within period with RAP Method of transmitting metadata applied at once at the time of cycle 4)
  • Various methods can be considered, such as transmitting before RAP related to application time.
  • the method of 1) -4) can also be mixed and used.
  • Common application information (common type) applied to the entire video may be transmitted for each RAP. This is a case where HDR_info_type is set to 0000 in FIG. 21.
  • the common application information is repeated information, but the broadcast transmission device may compensate for information loss due to a transmission error by transmitting common application information for each RAP.
  • HDR_info_type is set to 0100 in FIG. 21.
  • the information corresponding to the RAP time point and the information applied after the scene change in the RAP can be sent together.
  • the information corresponding to the RAP time point and the information applied after the scene change in the RAP may be defined as sets having different roles, and may be distinguished by being given different set_numbers. Also, according to an embodiment, different sets_numbers may be used for the purpose of distinguishing the information applied to the same scene by separately separating and transmitting the information that plays different roles. If the same information is applied over two or more RAPs, the same set_number may be used.
  • the same version_number may be set.
  • the metadata processor may determine whether the information is changed in which set and update the metadata processor by having a different version_number.
  • sync_start can be applied to the new RAP because the scene start time is replaced by the new RAP.
  • end point (sync_start + sync_duration) of the sync interval is the same, there is no information change and the same version_number may be applied.
  • the application time may be informed through relative concepts such as time difference, order, and frame number.
  • the duration can be signaled by changing the duration of the same information (set 1, ver 0). Do not perform metadata update.
  • the broadcast transmission device may increase version_number while maintaining set_number of common application information.
  • the metadata processor of the receiver may recognize the information change based on the changed version_number and update the existing information with the new information.
  • FIG. 22 illustrates a method of signaling metadata information based on a time flow according to another embodiment of the present invention.
  • FIG. 22 illustrates a case where there is a switch between HDR and SDR in signaling metadata information.
  • the HDR video stream is converted into an SDR video stream.
  • the HDR information descriptor is no longer transmitted or received after the third RAP.
  • the broadcast transmission device may inform the receiver through the transition_flag.
  • the delivery of the SEI message that has delivered the video characteristics for the HDR / WCG content is stopped, and no further information may be delivered after the content switching contest.
  • HDR information descriptors such as mastering display information, color gamut mapping, and viewing conditions may also occur for SDR content.
  • legacy SDR content not using the HDR information descriptor may be considered.
  • transition_flag that is, to set it to 1, and set transition_flag to on in the frame immediately before the transition occurs and the RAP containing the frame (second RAP in the drawing) as shown in the above example. can do.
  • dynamic_range_mapping_info is a diagram illustrating dynamic_range_mapping_info according to an embodiment of the present invention.
  • dynamic_range_mapping_info_type described in the upper part of FIG. 20 is set to 0x03
  • dynamic_range_mapping_info () may be directly defined in the HDR_info descriptor.
  • HDR_info_type is channel, program or content as common application information related to mastering display or video
  • the information described with reference to FIG. 22 can be used throughout the image (channel, program or content), and scene type or frame as partial application information.
  • the information described in FIG. 22 may be used for a corresponding section.
  • Dynamic_range_mapping_info includes maximum reference brightness information (luminance_max), minimum reference brightness information (luminance_min), arbitrary EOTF information (private_EOTF), EOTF coefficient number information (number_of_coeff), EOTF coefficient information (transfer_curve_coeff [i ]), Clipping flag information (clipping_flag), linear mapping flag information (linear_mapping_flag), clipping maximum brightness range information (luma_clipping_upper_bound), clipping minimum brightness range information (luma_clipping_lower_bound), maximum brightness information (luminance_upper_bound), minimum brightness information (luminance_lower_bound), Maximum brightness digital value (luma_upper_value), minimum brightness digital value (luma_lower_value), key area transformation curve type information (mid_DR_transformation_curve_type), key area transformation curve detail (mid_DR_transformation_curve ()), key brightness range area ratio information (mid_DR_percentage), upper area Trans
  • the maximum reference brightness information indicates the maximum reference brightness expressed in the UHD broadcast content. That is, the maximum value of the brightness range DR is shown. For example, in the case of a reference monitor, 100 cd / m ⁇ 2 is set as the maximum reference brightness, and in this case, 1, which is the quotient of the value divided by 100 (decimal) in consideration of a general range, may be transmitted. .
  • the minimum reference brightness information indicates the minimum reference brightness expressed in the UHD broadcast content. That is, the minimum value of the brightness range DR is shown. For example, in the case of a reference monitor, 0.05 cd / m ⁇ 2 is set as the minimum reference brightness. In this case, 5, which is a value obtained by multiplying 100 (decimal number) by the value in consideration of a general range, may be transmitted.
  • the arbitrary EOTF information indicates whether any EOTF function is used.
  • a widely used EOTF such as ITU-R BT.1886, REC.709, BT.2020, etc.
  • VUI information when a widely used EOTF such as ITU-R BT.1886, REC.709, BT.2020, etc. is used, it can be delivered by VUI information.
  • the EOTF which is not yet defined as a standard, is used, it may be indicated by setting the field value to 1.
  • perceptual quantization can be used as an EOTF, i.
  • EOTF coefficient number information (number_of_coeff) represents the number of coefficients used for any EOTF.
  • EOTF coefficient information (transfer_curve_coeff [i]) represents a coefficient used for any EOTF.
  • the clipping flag information clipping_flag is information indicating whether the clipping option is used and may have a value of 1 when the use of the clipping option is allowed.
  • linear_mapping_flag indicates whether or not to use a linear dynamic range transformation method. It has a value of 1 when the linear dynamic range transformation method is used.
  • the clipping maximum brightness range information (luma_clipping_upper_bound) indicates a digital value for the upper threshold in the brightness range DR displayed when the clipping option is used.
  • the clipping minimum brightness range information (luma_clipping_lower_bound) indicates a digital value for the lower threshold in the brightness range DR displayed when the clipping option is used.
  • the maximum brightness information represents a maximum value (in units of nit) of the brightness range that must be expressed among the brightness ranges expressed in the UHD broadcast content.
  • the maximum brightness information may be a criterion for determining the display type of the receiving device.
  • an additional criterion for determining the display type of the receiving device may be signaled.
  • the minimum brightness information indicates a minimum value (in nit) of the brightness range that must be expressed among the brightness ranges expressed in the UHD broadcast content.
  • the minimum brightness information may be a criterion for determining the display type of the receiving device.
  • an additional criterion for determining the display type of the receiving device may be signaled.
  • the maximum brightness digital value indicates a digital value corresponding to the maximum brightness information (luminance_upper_bound).
  • the minimum brightness digital value indicates a digital value corresponding to the minimum brightness information (luminance_lower_bound).
  • the core region transformation curve type information (mid_DR_transformation_curve_type) identifies a luminance range transformation curve used in the core luminance range region.
  • the conversion curve can be any one of a linear curve, an exponential curve, an S curve, a logarithmic curve, a combination curve, and a look up table (LUT). One can be used.
  • the core region transformation curve detail information mid_DR_transformation_curve () indicates additional information according to the transformation curve identified by the core region transformation curve type information mid_DR_transformation_curve_type. For example, slope information may be transmitted when a linear curve is used, and information about the bottom may be transmitted when an exponential curve or a logarithmic curve is used, and an S curve may be used. If (s curve) is used, the coordinates of the inflection point and the information about the base and y-intercept for each section can be transmitted.When the combination curve is used, the x coordinate of each section, each The curve type of the section and information on the graph may be transmitted.
  • the core brightness range region ratio information mid_DR_percentage represents a ratio of the core brightness range region of the brightness range of the ultra-high definition broadcasting content to the entire brightness range DR of the reception device display.
  • the upper region transformation curve type information (upper_DR_transformation_curve_type) identifies a brightness range transformation curve used in the upper luminance range region.
  • the conversion curve can be any one of a linear curve, an exponential curve, an S curve, a logarithmic curve, a combination curve, and a look up table (LUT). One can be used.
  • the upper region transformation curve detailed information indicates additional information according to the transformation curve identified by the upper region transformation curve type information (upper_DR_transformation_curve_type). For example, slope information may be transmitted when a linear curve is used, and information about the bottom may be transmitted when an exponential curve or a logarithmic curve is used, and an S curve may be used. If (s curve) is used, the coordinates of the inflection point and the information about the base and y-intercept for each section can be transmitted.When the combination curve is used, the x coordinate of each section, each The curve type of the section and information on the graph may be transmitted.
  • the upper brightness range region ratio information indicates a ratio of the upper brightness range region of the brightness range of the UHD broadcast content to the entire brightness range DR of the display of the receiving device.
  • the lower region transformation curve type information (lower_DR_transformation_curve_type) identifies a brightness range transformation curve used in the lower luminance range region.
  • the conversion curve can be any one of a linear curve, an exponential curve, an S curve, a logarithmic curve, a combination curve, and a look up table (LUT). One can be used.
  • the lower region transformation curve detail information indicates additional information according to the transformation curve identified by the lower region transformation curve type information (lower_DR_transformation_curve_type). For example, slope information may be transmitted when a linear curve is used, and information about the bottom may be transmitted when an exponential curve or a logarithmic curve is used, and an S curve may be used. If (s curve) is used, the coordinates of the inflection point and the information about the base and y-intercept for each section can be transmitted.When the combination curve is used, the x coordinate of each section, each The curve type of the section and information on the graph may be transmitted.
  • the additional region number information represents the number of variables used to extend the core brightness range region.
  • the additional area difference information (luminance_upper_bound_diff [i]) represents a difference value for configuring an i + 1th brightness value in ultra high definition broadcast content. If you extend the core brightness range area on a display (case 2) that has a wider brightness range than the existing brightness range but does not accommodate all of the brightness ranges expressed in ultra-high definition broadcast content, the maximum brightness information (luminance_upper_bound) is luminance_upper_bound + luminance_upper_bound_diff [0] +... Can be changed to the value indicated by luminance_upper_bound_diff [i].
  • the additional region difference digital value luma_upper_value_diff [i] represents a digital value for the i + 1th brightness value in the ultra high definition broadcast content. If you extend the core brightness range area on a display that has a wider brightness range than the existing brightness range but does not accommodate all the brightness ranges represented in ultra-high definition broadcast content (case 2), the maximum brightness digital value (luma_upper_value) is luma_upper_value + luma_upper_value_diff [0 ] +... Can be changed to the value indicated by luma_upper_value_diff [i].
  • the changed upper region transformation curve type information (upper_DR_transformation_curve_type [i]) may identify the transformation curve used in the changed upper luminance range region when supporting the i + 1 th brightness range. That is, the changed upper region conversion curve type information may identify the conversion curve used in the changed upper brightness range region when the core brightness range region is extended.
  • the change upper region transformation curve detailed information indicates additional information according to the transformation curve identified by the change upper region transformation curve type information (upper_DR_transformation_curve_type [i]). That is, when the i + 1th brightness range is supported, the details of the conversion curve used in the changed upper brightness range area are shown.
  • the changed upper brightness range region ratio information (upper_DR_percentage [i]) indicates the ratio of the changed upper brightness range region to the total brightness range (DR) of the receiving device when the core brightness range region of the UHD broadcast content is changed. .
  • the changed core brightness range region ratio information mid_DR_percentage [i] indicates a ratio of the changed core brightness range region to the entire brightness range DR of the receiving device display when the core brightness range region of the UHD broadcast content is changed.
  • gamut_mapping_info may refer to an SEI message defined in HEVC without being directly defined in the HDR_info descriptor.
  • the SEI message may follow the color remapping information SEI message syntax defined in HEVC.
  • HDR_info_type is common application information related to mastering display or video
  • information that is referred to throughout the image can be used when channel, program or content is used.
  • scene type or frame type as partial application information
  • the referenced information can be applied only to the section.
  • PMT stands for program mapping table and includes table identifier information, section syntax indicator information, section length information, program number information, version number information, current_next indicator information, section number information, PCR_PID information, program info length information, and first descriptor information.
  • Stream type information basic PID (elementary PID) information, elementary stream information length (Es_info_length) information, second descriptor information, CRC information, and the like.
  • the first descriptor information may indicate descriptor information included in the first loop following the program info length information
  • the second descriptor information may indicate descriptor information included in the second loop following the length of the elementary stream information.
  • the UHD_program_info_descriptor may be included in the first descriptor information included in the PMT and signaled, and the above-described HDR_info descriptor may be included in the second descriptor information included in the PMT and signaled.
  • the UHD_program_info_descriptor may include at least one of descriptor tag information, descriptor_length information, or service type information as shown in the upper portion of FIG. 25.
  • the service type information (UHD_service_type) may indicate the type of UHD service, as shown at the bottom of FIG. 25.
  • the service type information may indicate a UHD service type designated by a user, such as UHD1 (4K), UHD2 (8K), or classification according to quality.
  • UHD_service_type 1100 (UHD1 service with HDR information metadata, 4K example) may indicate that HDR info is provided for different steps or units such as video, scene, clip, or frame.
  • FIGS. 27 and 28 illustrate an embodiment of signaling HDR_info descriptor through EIT according to an embodiment of the present invention.
  • ATSC and DVB systems may include an EIT as a signaling table, and syntax included therein is shown in FIGS. 27 and 28.
  • the Event Information Table (EIT) of the ATSC and DVB systems is commonly used as a table_id field, section_syntax_indicator field, section_length field, source_id (service_id) field, version_number field, current_next_indicator field, section_number field, last_section_number field, num_events_in_section It may include a (segment_last_section_number) field, an event_id field, a start_time field, a length_in_seconds (duration) field, a descriptors_length field, a descriptor () field, and / or a CRC_32 field.
  • the table_id field identifies that this table is an Event Information Table (EIT).
  • the section_syntax_indicator field is a 1-bit field set to 1 to indicate the long form of the MPEG-2 private_section table.
  • the section_length field indicates the length of the table section following this field in number of bytes.
  • the source_id field represents a source ID of a virtual channel transmitting an event described in this section.
  • the version_number field is a 5-bit field indicating the version number of the table.
  • the current_next_indicator field is a 1-bit field and indicates whether this table is currently applicable or next applicable.
  • the section_number field represents the number of a section.
  • the last_section_number field identifies the number of the last section.
  • the num_events_in_section field represents the number of events included in the corresponding table section.
  • the event_id field identifies a specific number indicating the event described.
  • the start_time field represents the start time of the event based on GPS second.
  • the value representing the start time of the event in the virtual channel may be greater than the value representing the end time of the event being broadcast.
  • the end time of the event may be defined as the sum of the start time of the event and the value representing the length of the event in time.
  • the length_in_seconds (duration) field represents the duration of an event in seconds.
  • the descriptors_length field represents the total length of an event descriptor (descriptor ()) described later. descriptor () is a descriptor loop located in the table.
  • the descriptor loop may include additional descriptors. Zero or more descriptors may be included in the EIT, and the descriptor may correspond to an event level descriptor describing information applied to each event. According to an embodiment of the present invention, the UHD_program_info_descriptor and the HDR_info descriptor may be included in the event level descriptor and transmitted. UHD_program_info_descriptor may be used to distinguish the type of UHD service, and the HDR_info descriptor may determine whether to include HDR image information metadata at an event level, and may be used to determine whether the receiver is acceptable. In the case of cable broadcasting, the same information may be provided to the AEIT instead of the descriptor.
  • the CRC_32 field includes a CRC value for checking the integrity of data.
  • the CRC value can ensure that zero values are output from the registers in the decoder as defined in Annex A of ISO-13818-1 “MPEG-2 Systems” after the entire EIT section has been processed.
  • the receiver may confirm that information on an appropriate viewing environment is transmitted through metadata. For example, when UHD_service_type is 1100, the receiver may identify that a corresponding service is UHD1 service with HDR information metadata, 4K.
  • the receiver checks the existence of the HDR_info_descriptor () and may know that HDR info is provided for different steps or units such as video, scene or frame.
  • the UHD_service_type may indicate that 0000 is a UHD1 service.
  • HDR_info_descriptor it is possible to determine whether the content provider can utilize information in units of a mastering display, content, scene, or frame desired by the content provider using HDR_info_descriptor (). By using this, it is possible to determine in advance whether to use content, scene or frame unit metadata with respect to content played back at the current or future time point, and the receiver can prepare a setting for a situation such as a scheduled recording in advance.
  • HDR_info_descriptor () according to another embodiment of the present invention.
  • one mode may support various modes intended by the producer. In this case, it is necessary to determine whether these modes are acceptable in the display of the receiver, and information on this may be provided through the viewing_condition_metadata by the broadcast transmission device.
  • the syntax in viewing_condition_metadata may follow the definition of the viewing condition descriptor of the SEI message.
  • the HDR_info_descriptor may include at least one of descriptor tag (descriptor_tag) information, descriptor length (descriptor_length) information, and number of information (number_of_info) information.
  • the HDR_info_descriptor may include a loop and may include as many HDR_info_metadata () as indicated by number_of_info.
  • the syntax of the HDR_info_metadata () may be delivered by the script of the embodiment of the HDR information descriptor configuration of FIG. 17 or a part thereof.
  • FIG. 30 illustrates a receiver block diagram and a method of operation according to an embodiment of the present invention.
  • a receiver may receive a broadcast signal from a radio frequency (RF) channel using a tuner and a demodulator 1601.
  • the broadcast signal may be received through other paths as well as the RF channel.
  • the broadcast signal may be received through IP-based broadcast / communication, wired / wireless communication, and wired / wireless interface.
  • the broadcast signal and the metadata to be described later may be received through different paths.
  • Meta data which will be described later, may be transmitted and received through other paths (for example, IP-based broadcast / communication, wired / wireless communication, wired / wireless interface, short-range wireless communication, etc.) as well as broadcast signals.
  • the receiver may decode the received broadcast signal using the channel decoder 1602.
  • the channel decoder may decode using a VSB or QAM scheme.
  • the decoded broadcast signal may be demultiplexed into broadcast content data and signaling data by the demultiplexer 1603.
  • the broadcast content data may include HDR video data and may be decoded by the video decoder 1605.
  • the signaling data may include information on broadcast content data, and may include signaling table or signaling information such as PMT, VCT, EIT, SDT, etc. according to an embodiment.
  • the receiver may extract the UHD_program_info_descriptor from the signaling information (eg, PMT) using the section data processor 1604.
  • the receiver uses UHD_program_info_descriptor to determine whether there is a separate service or media that needs to be additionally received to configure the original UHDTV broadcast.
  • UHD_program_info_descriptor determines whether there is a separate service or media that needs to be additionally received to configure the original UHDTV broadcast.
  • the receiver may recognize that there is additional information related to video through the SEI message through the EIT.
  • the receiver may distinguish whether the range to which the additional information is applied is a channel unit, a program unit, a content unit, a scene, a clip, or a frame based on the HDR information SEI message or the HDR_info_type.
  • HDR_info_descriptor () may include information about the start time and the end time of the additional information in order to synchronize the range to which the additional information is applied in each case. In an embodiment of the present invention, it is used as an example of sync_info_type, sync_start, and sync_duration, which are information for synchronization based on a video frame.
  • HDR_info_descriptor () may include transition_flag information indicating the end time of HDR.
  • the signaling information may signal whether additional information of scene, clip, and frame units is provided through the HDR_video_enhancement_info_present_type.
  • the receiver can know in advance that scene, clip or frame unit information will be provided in advance, and can preset settings for metadata processing of scene, clip or frame unit and HDR image quality improvement.
  • the receiver may express dynamic range through signaling information and may grasp information about high contrast or information indicating brightness by using dynamic_range_info_type.
  • dynamic_range_info_type may indicate aspect ratio and f-stop as high contrast information or peak luminance and minimum luminance as brightness information.
  • the value according to each type may be delivered to the receiver through dynamic_range_info_value [i].
  • the dynamic range information according to the characteristics of the content, the mastering display, the frame, the scene may be represented, and the brightness may be further divided through the dynamic_range_info_type.
  • the receiver can determine the type of EOTF, color gamut, and color temperature used for color encoding through transfer_function_type, color_gamut_type, and color_temperature_type, respectively.
  • HDR_info_descriptor () may provide the receiver with dynamic range mapping, color gamut mapping, viewing condition information, etc. as additional information.
  • an SEI message or a predetermined SEI message defined in the HEVC may be designated through dynamic_range_mapping_info_type, color_gamut_mapping_info_type, and viewing_condition_info_type for each.
  • the receiver may grasp detailed information through dynamic_range_mapping_info (), color_gamut_mapping_info (), and viewing_condition_info ().
  • the above-described signaling information may be stored in the metadata processor 1606 of the receiver.
  • the stored signaling information may be updated when the set number or version described above is changed.
  • the receiver may synchronize the image quality improvement information (signaling information) and the video data so that the image quality improvement information stored in the metadata processor 1606 may be applied to the video data according to an application unit using the synchronizer 1607.
  • the receiver may improve the image quality by transmitting dynamic range information in units of content, scene, or frame based on the given information to an image quality improvement unit such as an HDR algorithm or an existing post-processing module 1608.
  • an image quality improvement unit such as an HDR algorithm or an existing post-processing module 1608.
  • the receiver may directly connect related modules such as tone mapping, color mapping, color correction, and white balance to improve image quality. If the image processing is performed in the linear luminance domain in the receiver, the EOTF obtained through the transfer_function_type can be applied.
  • the receiver may display the post-processed HDR video through the display unit 1609 and provide the same to the user.
  • FIG. 31 illustrates an HDR information descriptor according to an embodiment of the present invention.
  • the apparatus for transmitting broadcast signals additionally signals information about a video format applied before and after processing the video data, so that the apparatus for receiving broadcast signals can perform more accurate color mapping.
  • the illustrated information may be included in the descriptor together with the information included in the HDR information descriptor described with reference to FIG. 17.
  • the illustrated information can be equally applied to all HDR video processing in the SEI message as in this embodiment.
  • each HDR video processing for example, color gamut mapping (dynamic gamut mapping), dynamic range mapping (dynamic range mapping) may be defined respectively to define different input / output (input / output) characteristics.
  • the input color space type information may indicate a color expression standard among information on an image that is a target of HDR video processing delivered by the present invention.
  • Serve RGB, YCbCr, xvYCC, XYZ, and the like may be used as the color expression standard. That is, when the input color space type information is set to 0000, it may indicate that the color representation criterion is RGB, YCbCr for 0001, xvYCC for 0010, and XYZ for 0011. In the case of 0100 to 1111, it may be reserved for future use.
  • the input color space type information may be used together with color gamut type information.
  • the input color space type information is RGB and the color gamut type information (color_gamut_type) is BT.2020 constant luminance, it may represent that the image is expressed in RGB based on BT.2020 CL.
  • the input color precision information indicates the color representation accuracy and may be used in conjunction with the input color space type information (Input_color_space_type) if necessary.
  • the same color can be expressed with different precision, such as 10 bits / 12 bits / 14 bits. Or, if it needs to be represented as a floating point, it may be expressed as to how many digits after the decimal point it has precision.
  • the output color space type information (Output_color_space_type) is a concept contrasted with the input color space type information (Input_color_space_type), and represents the final color representation standard to be targeted after the HDR video processing.
  • RGB, YCbCr, xvYCC, XYZ, and the like may be used as the color expression standard. That is, when the output color space type information is set to 0000, it may indicate that the color representation criterion is RGB, YCbCr for 0001, xvYCC for 0010, and XYZ for 0011. In the case of 0100 to 1111, it may be reserved for future use.
  • the output color precision information indicates the color representation accuracy and may be used in conjunction with the output color space type information (Output_color_space_type) if necessary.
  • the embodiment of the output color precision information may be applied in the same manner as the embodiment of the input color precision information Input_color_precision.
  • Processing color space type information represents a color space in which HDR video processing is performed. In general, you can use a neutral color space, such as XYZ, but you can also specify a specific color space.
  • XYZ, YCbCr (BT.2020, non-CL), YCbCr (BT.2020, CL), CIE L * a * b *, and YUV may be used. That is, when the value of the processing color space type information is set to 0000, XYZ, 0001, YCbCr (BT.2020, non-CL), 0010, YCbCr (BT.2020, CL), and 0011, CIE L. When * a * b * and 0100 are set, YUV can be designated as a color space type.
  • Processing color precision information indicates the color representation accuracy, and can be used in conjunction with processing color space type information (processing_color_space_type) if necessary.
  • the embodiment thereof may be applied in the same manner as the embodiment of the input color precision information Input_color_precision.
  • the HDR information descriptor may further include target information.
  • the target information indicates the target result when the quality of the frame / scene is improved through the HDR information descriptor.
  • the target may be a video format or a target display.
  • the target information may include the following elements.
  • the target dynamic range info type (Number_of_target_dynamic_range_info_type) information may indicate the number of target dynamic range info types.
  • the target dynamic range info type (target_dynamic_range_info_type) information may define a type of dynamic range information targeted by HDR video processing.
  • the target dynamic range info value (target_dynamic_range_info_value) information may indicate a specific value for information defined by the target dynamic range info type information.
  • the target transform function type information target_transfer_function_type
  • target color temperature type information (target_color_temperature_type) may each indicate information on the type of conversion function, color gamut type, and color temperature. have.
  • These information may have a meaning corresponding to the aforementioned Number_of_dynamic_range_info_type, dynamic_range_info_type, dynamic_range_info_value, transfer_function_type, color_gamut_type, and color_temperature_type.
  • the previously defined values represent dynamic range, color gamut, and transfer function of an image to be subjected to HDR video processing.
  • the illustrated information may be included in the descriptor together with the information included in the HDR information descriptor described with reference to FIG. 17.
  • the HDR information descriptor may further include HDR program transition flag information, transition set number information, and transition version number information.
  • the HDR transition flag information (HDR_program_transition_flag) represents a case where there is a major change in the HDR information descriptor. For example, when the corresponding flag is 1, this flag may mean the end of the current HDR program / content. In addition, when the corresponding flag is 1, it may mean a change of HDR content, a change of a type of HDR information applied, and the like.
  • the broadcast transmission device may inform that there is a major change in the HDR information descriptor and a change in the HDR content / program by setting the value to 1 for a predetermined frame / time after the above-described change occurs.
  • it may indicate that there is a change in the HDR information descriptor after a certain frame / time, that is, there is a change in the HDR content / program.
  • a condition may be given to refer to the corresponding SEI message as essential to apply major changes. This signaling can be done at the system level or service level as well as the video level if necessary.
  • Transition set number information (transition_set_number) and transition version number information (transition_version_number) may be transmitted as additional information for informing the characteristics of the changed HDR content / program. For example, signaling the HDR system used in the HDR content / program to be changed or changed through the transition set number (set_number) information, or set number information (set_number) associated with the current target when there is information on a plurality of HDR targets. Can be signaled.
  • the transition version number information as well as the set number information may be given as information on the next HDR content / program. If necessary, you can provide links to various kinds of information. For example, each set number information (set_number) and version number information (version_number) corresponding to a 1000nit / 500nit / 100nit target display may be provided.
  • transition flag information (transition_flag) described in FIG. 17 with respect to the HDR transition flag information may be used as follows.
  • the meaning of the transition flag information (Transition_flag) can be extended to indicate that there is a major change in the HDR information descriptor. That is, when the value of the transition flag information (transition_flag) is 1, it means that the HDR information descriptor corresponding to the current or current program is transmitted, thereby not only indicating that SDR is started but also other HDR programs. It can be used to start things up, or to apply other kinds of metadata.
  • the meaning and method of the specific signaling may follow the HDR_program_transition_flag.
  • transition flag information may be used alone, or both signals may be used in conjunction with the HDR transition flag information (HDR_program_transition_flag).
  • the transition flag information may signal the end time (end time of HDR content) of the corresponding HDR information descriptor
  • the HDR transition flag information HDR_program_transition_flag
  • the set number information set_number described with reference to FIG. 17 with respect to the HDR transition flag information may be used with its meaning extended.
  • the meaning of the set number information set_number may be extended to indicate a case where there is a major change in the HDR information descriptor. That is, different set numbers (set_number) can be assigned to the HDR information descriptor according to the program / content / channel, which gives the meaning that the contents of the HDR information descriptor have changed and the HDR content ends and the new HDR content starts. Or a change in back. It is also possible to set the set number information (set_number) to have a fixed value for a specific HDR information descriptor. For example, when different types of parameters may be transmitted according to the HDR system, each HDR system may be distinguished using set number information (set_number).
  • the version number information version_number described with reference to FIG. 17 with respect to the HDR transition flag information may be used with its meaning extended.
  • the meaning of the version number information (version_number) can be extended to indicate that there is a major change in the HDR information descriptor. That is, the broadcast transmission device may assign a changed version number (version_number) when there is a change in the HDR information descriptor, and set the broadcast reception device to refer to the new HDR information descriptor essentially from a frame to which the changed HDR information descriptor is applied. In this case, not only the frame / scene unit change in the program but also the program / content itself changes in the channel, that is, the current HDR content is changed to another type of HDR content. In this case, the broadcast transmission device may provide a feature by signaling a specific version number (version_number) to inform the case that a major change occurs, such as when the program / content itself changes.
  • FIG. 33 illustrates a case where an area in a frame is divided according to a feature set according to an embodiment of the present invention.
  • the frame may mean an entire area range including all pixels in the picture constituting the screen, and in some embodiments, may be referred to as a window.
  • Dynamic metadata may be information reflecting characteristics of a frame or a scene that changes with time.
  • different metadata processing may be applied within a frame according to certain characteristics. For example, when dark and bright areas exist together in a frame, different processing may be applied to each area to maximize the effect of the HDR image.
  • the transmitting end may transmit a feature for distinguishing each feature, and may transmit a different processing method for each region.
  • the receiving end may be area-adaptive based on the received feature feature or processing method for each area.
  • the region may mean a single region defined within the closed curve, or may mean a set of at least one region having the same or similar characteristics.
  • the three regions may have different features.
  • the priority may be specified and processed. Priority of each region can be designated by the video producer and the intention of the producer can be reflected. For example, as illustrated, feature set 1 and feature set 2 may overlap. In this case, since feature set 2 having priority 1 has a higher priority, feature set 2 may be applied to the overlapped area.
  • the union of each region can be designated to be the entire frame to enable processing for all regions. That is, it is possible to prevent an unprocessed portion of the entire frame from being excluded from the area designation. Of course, you can avoid doing it intentionally, but in this case, it is usually necessary to signal that it is not intentionally handled.
  • a position, a color characteristic, a brightness characteristic, or the like may be used as a criterion for designating or distinguishing an area.
  • the object when tracking for a specific object is supported, the object may be designated as an area. In this case, when the object moves in the frame, the designated area may also move together.
  • the HDR information may include the following fields.
  • the total_number_of_feature_sets_in_a_frame field may indicate the number of feature sets distinguished within a frame. If the fields are not separated, this field can be set to 1.
  • the feature_spatial_boundary field is one of criteria for specifying a feature set and may directly specify an area location.
  • the region position can be generally expressed by x and y indexes. For example, in the case of a quadrangle according to the shape of the region, it may be represented by the coordinates (x, y) of the starting point and the coordinates (x + N, y + M) of the ending point. Or it can be represented by the starting point and the length of each side N, M. If the shape of the region is circular, it may be represented by the center and diameter of the circle. If it has a specific value, it may indicate that it is not used. Detailed embodiments thereof may be described in the following drawings.
  • the feature_colorimetry_boundary field is one of criteria for specifying a feature set and may specify an area having a specific color.
  • RGB colorimetry can be represented by CIE xy coordinates. Or it can be represented by the center coordinates and the diameter of the circle (or sphere) in the color space, or it can be specified as an arbitrary range. If it has a specific value, it may indicate that it is not used.
  • the feature_luminance_boundary field is one of criteria for specifying a feature set and may specify an area having a specific brightness. It can also tell you the maximum and minimum range of brightness or the range of brightness that can be added or subtracted from a specific brightness. If it has a specific value, it may indicate that it is not used.
  • the feature_histogram_boundary field is one of criteria for specifying a feature set.
  • the feature_histogram_boundary field may be used to classify regions according to histogram characteristics. For example, central brightness (or digital value) information and boundary information of a portion having a local maximum of an image histogram may be transmitted. At this time, histogram can specify a feature by transmitting information about a specific channel or each of luminance distribution or RGB. If it has a specific value, it may indicate that it is not used.
  • the feature_priority field may indicate a priority to be applied when regions specified as feature sets overlap. As described above, different priority may be applied to all feature sets, or a plurality of feature sets may have the same priority. In addition, when the corresponding field is 0, it can be specified that processing such as blending is performed on overlapping regions. In addition to the above-mentioned parts, parts related to boundary treatment between the divided areas may be added.
  • signaling for different categories such as spatial, colorimetry, luminance, color volume, and histogram may be considered.
  • one area may be distinguished by an intersection of at least two categories. For example, a rectangular region may be designated as a spatial boundary field, and a region having a specific color may be designated as a colorimetry boundary field within the rectangular region. That is, a region that satisfies the designated region respectively indicated by the spatial boundary field and the colorimetry boundary field may correspond to a specific feature set.
  • One or more signaling for each category may be used, and the following signaling may be considered as a specific embodiment of each category.
  • 35 is a diagram illustrating a spatial boundary field for designating a spatial region according to an embodiment of the present invention.
  • a method for designating a spatial region signaling of a certain region in a frame may be considered.
  • a rectangular region may be designated as a spatial region (d35010).
  • the spatial boundary field may signal the vertex of the rectangular region and may signal the upper left and lower right points as shown in a more efficient signaling.
  • top_left_corner_x_axis and top_left_corner_y_axis represent x and y coordinates of vertices located at the upper left of the rectangle, respectively.
  • bottom_right_corner_x_axis and bottom_right_corner_y_axis represent the x and y coordinates of the vertex located at the bottom right of the rectangle.
  • a spatial area may be designated as an area including an inside of a rectangle determined by two vertices positioned diagonally.
  • an area inside the circle may be designated as a space area.
  • the spatial boundary field may signal information about the center coordinates of the circle (center_of_circle_x_axis, center_of_circle_y_axis) and the radius of the circle (radius_of_circle) (d35020).
  • the region is signaled through this method, it can be considered to include all pixels belonging to the inside of the circle.
  • the shapes of well-known figures such as ellipses, etc., in addition to the above-described rectangles and circles can be considered.
  • the number of vertices of the polygon (number_of_points_minus_2) and the position of each vertex (x_axis [i] and y_axis [i]) may be signaled.
  • the number of vertices can be at least three to make a polygon.
  • the number_of_points_minus_2 field may signal a number less than two than the actual number of vertices of the polygon.
  • the aforementioned rectangular shape may be signaled.
  • it may be considered to refer to an area inside the polygon configured by using all the points included in the polygon.
  • the fourth method may use a predetermined or pre-transmitted area as another signaling method for an arbitrary polygon.
  • a certain shape region can be designated by using information such as mask type (mask_type), mask start or center position (location_x_axis, location_y_axis), and mask size (ratio: ratio from reference size).
  • the type of mask may use a region that is previously designated or transmitted.
  • the detail of the region shape according to the mask type may be transmitted in advance through static metadata, previous frame information may be used, or the mask may be directly sent as pixel data.
  • the HDR information may designate a color range on the chromaticity plane.
  • a chromaticity plane based on the color space used basically in an image may be used. In some cases, however, the range of colors on the particular chromaticity plane that the manufacturer intends may be considered.
  • signaling for the chromaticity plane may be required. In this case, as shown in d36010, a specific color space type (color_space_type) and a conversion equation (coefficient [i]) may be provided if necessary.
  • the color space type may use a color space, such as YCbCr, Lab, Yuv, as shown in d36020. It may also be distinguished by criteria such as luminance representation method (linear, non-linear), luminance conversion equations (EOTF a, EOTF b), and center color temperature (D65, D50, etc.).
  • luminance representation method linear, non-linear
  • EOTF a luminance conversion equations
  • EOTF a luminance conversion equations
  • center color temperature D65, D50, etc.
  • an arbitrary color space may be used instead of a previously defined color space, and in this case, the neutral color space such as XYZ may be defined through a conversion equation from an arbitrary color space.
  • the color range may be considered as a set of colors within a predetermined range within a given color space.
  • the color range can be specified by arbitrary polygons, circles, ellipses, etc. on the color coordinates.
  • the color area inside the designated polygon may be defined through coordinate values (x_axis [i] and y_axis [i]) of vertices according to the number of points (number_of_points_minus_3). The specific area designation is as described in the previous drawings.
  • the color region may be signaled as a set of colors within a certain radius (radius_of_circle) around a specific color coordinate (center_of_circle_x_axis, center_of_circle_y_axis).
  • the color region may be defined in the form of an ellipse (coefficient_a, coefficient_b) about an axis having a constant angle around a specific color coordinate (center_of_ellipsoid_x_axis, center_of_ellipsoid_y_axis).
  • FIG. 37 illustrates a Luminance boundary field and a Luminance distribution boundary field for designating a spatial region according to an embodiment of the present invention.
  • the HDR information may specify a range of brightness or a brightness distribution in the image.
  • the luminance boundary field may designate an area as a range of brightness as shown in d37010. Assuming that the brightness of the pixel is on a segment that connects the extremes of black and white, the brightness range can be identified by the point on the segment. In this case, the brightness may be expressed as a digital value (digital_value) representing a relative distribution of brightness or as an absolute brightness value (luminance_value).
  • the Luminance distribution boundary field may designate an area as a brightness distribution as shown in d37020.
  • the brightness distribution in the image may be used.
  • a high brightness limit (upper_bound) and a low brightness limit (lower_bound) can be specified based on the brightness (local_maximum) of the point where brightness is mainly distributed to distinguish the brightness range. That is, the upper limit and the lower limit may be signaled based on the reference brightness.
  • each field value may be a digital value (digital_value) or an absolute brightness value (luminance_value) representing a relative distribution of brightnesses, and both may be used as necessary.
  • an example of designating a range based on histogram distribution is shown as a representative example of the brightness distribution.
  • other types of distributions such as brightness accumulation distribution, may be used.
  • the region corresponding to the feature set may be defined in one color space. That is, unlike the above-described embodiment, the color area and the brightness area may be defined in one color space. In this case, when a definition of a color space in which a color volume is defined is needed separately, the aforementioned feature_color_space may be used.
  • vertices of a polyhedron can be defined.
  • a polyhedron may be defined through the number of vertices (number_of_points) and the coordinates (color_volume_x_axis and color_volume_y_axis) of each vertex. That is, the color included in the polyhedron defined in the color space may be designated as the required area as the color volume.
  • a method of defining colorimetry according to the brightness level may be considered as shown in d38020.
  • colors hue, saturation and intensity (intensity) are separated, such as a Hue Saturation Intensity (HSI) color space
  • HSUMI Hue Saturation Intensity
  • each of hue, saturation and intensity may correspond to each axis on the xyz coordinate plane.
  • the brightness level (color_volume_z_axis) may be divided into levels corresponding to a predetermined number (number_of_luminance_levels), and color coordinates (color_volume_x_axis, color_volume_y_axis) of the polygons according to each brightness level may be defined.
  • colorimetry according to brightness levels may be defined, and color volumes may be defined through interpolation between the layers.
  • a color volume to be defined in the color space may be represented through at least one or more color ranges defined for at least one or more brightness sections separated in the color space.
  • a first color range may be signaled for the first brightness interval and a second color range may be signaled for the second brightness interval to indicate a color range defined differently for each brightness interval.
  • Signaling for this color range may be defined for the entire frame, and may also be defined for each of a plurality of regions constituting one frame according to an embodiment.
  • the frame may mean an entire area range including all pixels in the picture constituting the screen, and in some embodiments, may be referred to as a window.
  • colorimetry may be signaled in the form of a circle. That is, for the color plane defined by the distinguishing brightness value (color_volume_z_axis), it signals the color coordinates of the center color (center_of_circle_x_axis, center_of_circle_y_axis) and the radius (radius_of_circle) expected to include similar colors, and interpolation between the color planes. Through this, information about the entire color volume can be provided.
  • the target color coordinates center_of_circle_x_axis, center_of_circle_y_axis, center_of_circle_z_axis
  • the radius for a similar color centered on the target color may be provided through a signaling method for.
  • the color volume may be defined as the inside of a sphere having a radius for a similar color around the corresponding color coordinates.
  • an ellipse in the color plane or a three-dimensional figure based on an ellipse may be considered as a color volume.
  • similar color / brightness groups exist within a certain range of the central color, and when a different weight is required according to the direction, an elliptic or elliptical solid shape may be used.
  • the broadcast transmitter d39010 may include an encoder d39020, a multiplexer d39030, and / or a transmitter d39040.
  • the resolution of video data input to the broadcast transmitter d39010 may be UHD.
  • the metadata input to the broadcast transmitter d39010 may include quality improvement metadata for the UHD video.
  • the quality improvement metadata may be included in the SEI message transmitted together with the video data.
  • the image quality improvement metadata may include an HDR information descriptor (HDR_info_descriptor), which may include information necessary for quality improvement of UHD video.
  • HDR_info_descriptor may include transition_flag information indicating the end time of HDR.
  • the HDR information descriptor may include processing color space type information and processing color precision information for a processing step for improving image quality.
  • the HDR information descriptor may further include input color space type information and input color precision information before the processing step, output color space type information and input color precision information after the processing step.
  • the HDR information descriptor may also include information on the dynamic range, conversion function type, color gamut, and color temperature type targeted by the image enhancement processing.
  • it may include HDR program transition flag information indicating that a change to the HDR content or the HDR information is scheduled, and set number information and version number information targeted for the transition.
  • the HDR information descriptor may distinguish a plurality of regions included in the frame, and may include feature set information corresponding to each region. Feature set information may apply different metadata processing for each region even within the same frame. Each feature set may be distinguished by region location or by color within a predetermined range in the color space. In addition, feature sets can be classified by brightness range or brightness distribution. It may also be distinguished by at least one of the above-described position, color, brightness range, or brightness distribution in the color volume defined by the polyhedron defined in the color space.
  • the HDR information descriptor may include information for identifying the aforementioned feature set, and may include, for example, at least one of spatial boundary information, colorimetry boundary information, luminance boundary information, luminance distribution boundary information, and color volume boundary information. . Detailed description of each information is as described with reference to FIGS. 35 to 38.
  • Video data input to the broadcast transmitter d39010 may be encoded by the encoder d39020.
  • the transmitting end may use HEVC (High Efficiency Video Coding) as an encoding method for video data.
  • the transmitter may synchronize the encoded video data and the quality improvement metadata and multiplex using the multiplexer d39030.
  • the quality improvement metadata may further include synchronization information.
  • the quality improvement metadata may include synchronization information such as a time, a time difference, a start order, a POC, a PTS, and the number of accumulated frames, according to a synchronization method.
  • the transmitter d39030 may transmit the transport stream output from the multiplexer d39030 as a broadcast signal.
  • the transport stream may be transmitted as a broadcast signal after being channel coded and modulated before transmission.
  • the metadata may be transmitted not only through a broadcast signal but also through another path (for example, IP-based broadcast / communication, wired / wireless communication, wired / wireless interface, short range wireless communication, etc.). It may also be transmitted in a path separate from the video data.
  • the broadcast receiver d40010 may include a receiver d40020, a demultiplexer d40030, and / or a decoder d40040.
  • the broadcast signal received by the receiver d40020 may be demodulated and then channel decoded.
  • the channel decoded broadcast signal may be input to the demultiplexer d40030 and demultiplexed into a video stream and quality improvement metadata. Meta data may be received not only through broadcast signals but also through other paths (for example, IP-based broadcast / communication, wired / wireless communication, wired / wireless interface, and short range wireless communication).
  • the output of the demultiplexer may be input to the decoder d40040.
  • the decoder may include a video decoder and a metadata processor. That is, the video stream may be decoded by the video decoder, and the image quality enhancement metadata may be decoded by the metadata processor.
  • the decoded video stream and the quality improvement metadata may be used to improve the UHD video quality by the post processor as described with reference to FIG. 19.
  • the receiver may post-process the decoded video data based on the quality improvement metadata, and may obtain an effect of improving the quality of the video data for at least one of HDR or WCG.
  • the image quality improvement metadata may include an HDR information descriptor as described above, and the HDR information descriptor may include processing color space type information and processing color precision information for a processing step for image quality improvement as described above. have.
  • the HDR information descriptor may further include input color space type information and input color precision information before the processing step, output color space type information and input color precision information after the processing step.
  • the HDR information descriptor may also include information on the dynamic range, conversion function type, color gamut, and color temperature type targeted by the image enhancement processing.
  • it may include HDR program transition flag information indicating that a change to the HDR content or the HDR information is scheduled, and set number information and version number information targeted for the transition.
  • the HDR information descriptor may distinguish a plurality of regions included in the frame, and may include feature set information corresponding to each region. Feature set information may apply different metadata processing for each region even within the same frame. Each feature set may be distinguished by region location or by color within a predetermined range in the color space. In addition, feature sets can be classified by brightness range or brightness distribution. It may also be distinguished by at least one of the above-described position, color, brightness range, or brightness distribution in the color volume defined by the polyhedron defined in the color space.
  • the HDR information descriptor may include information for identifying the aforementioned feature set, and may include, for example, at least one of spatial boundary information, colorimetry boundary information, luminance boundary information, luminance distribution boundary information, and color volume boundary information. . Detailed description of each information is as described with reference to FIGS. 35 to 38.
  • FIG. 41 is a diagram illustrating a method of transmitting a broadcast signal including quality improvement metadata according to an embodiment of the present invention.
  • FIG. A method of transmitting a broadcast signal including the quality improvement metadata includes generating a video data by encoding a video stream (ds41010), and generating a broadcast signal including the generated video data and the quality improvement metadata (ds41020). And transmitting the generated broadcast signal (ds41030).
  • the generating of the video data by encoding the video stream may receive a video stream having a resolution of UHD, and generate the video data by encoding the video stream.
  • the video stream may be encoded by High Efficiency Video Coding (HEVC).
  • the generating of the video data (ds41010) may generate the quality improvement metadata.
  • the broadcast transmission device may simultaneously generate image quality enhancement metadata applied in units of entire content (channel, program, content), scene, clip, or frame of the video data (ds41010). have.
  • the quality improvement metadata may be data regarding at least one of HDR or WCG, and may have different information amounts according to application units.
  • the quality improvement metadata may be included in the aforementioned HDR_info_descriptor () and transmitted.
  • HDR_info_descriptor may include transition_flag information indicating the end time of HDR.
  • the HDR information descriptor may include processing color space type information and processing color precision information for a processing step for improving image quality.
  • the HDR information descriptor may further include input color space type information and input color precision information before the processing step, output color space type information and input color precision information after the processing step.
  • the HDR information descriptor may also include information on the dynamic range, conversion function type, color gamut, and color temperature type targeted by the image enhancement processing.
  • it may include HDR program transition flag information indicating that a change to the HDR content or the HDR information is scheduled, and set number information and version number information targeted for the transition.
  • the HDR information descriptor may distinguish a plurality of regions included in the frame, and may include feature set information corresponding to each region. Feature set information may apply different metadata processing for each region even within the same frame. Each feature set may be distinguished by region location or by color within a predetermined range in the color space. In addition, feature sets can be classified by brightness range or brightness distribution. It may also be distinguished by at least one of the above-described position, color, brightness range, or brightness distribution in the color volume defined by the polyhedron defined in the color space.
  • the HDR information descriptor may include information for identifying the aforementioned feature set, and may include, for example, at least one of spatial boundary information, colorimetry boundary information, luminance boundary information, luminance distribution boundary information, and color volume boundary information. . Detailed description of each information is as described with reference to FIGS. 35 to 38.
  • the quality improvement metadata may be generated by directly defining the signaling information or by referring to other messages.
  • Such image quality improvement metadata may be reference data for allowing a receiver to improve the quality of video data according to an application unit.
  • the receiver may dynamically improve the quality of the video data by using the quality improvement metadata received along with the video data.
  • the broadcast signal may be generated by using a modulation process and building a broadcast signal frame.
  • the transport stream may be transmitted as a broadcast signal.
  • the method for receiving a broadcast signal including the image quality enhancement metadata includes receiving a broadcast signal (ds42010), demultiplexing the received broadcast signal into video data and image quality improvement metadata (ds42020), and video data and image quality. Decoding and applying the enhancement metadata (ds42030).
  • the broadcast signal may be received using the receiver, and the received broadcast signal may be demodulated and then channel decoded.
  • the broadcast signal may include a UHD broadcast signal and may further include quality improvement metadata for UHD broadcast content. Details of the image quality improvement metadata are as described with reference to FIGS. 17 to 38.
  • the demultiplexing of the received broadcast signal into video data and quality improvement metadata may demultiplex the channel decoded broadcast signal into video data and quality improvement metadata using the demultiplexer.
  • the video data may include UHD video data
  • the image quality enhancement metadata may include HDR and WCG related data applied to the UHD video data.
  • the image quality improvement metadata may be included in the aforementioned HDR_info_descriptor () and received.
  • HDR_info_descriptor () may include transition_flag information indicating the end time of HDR.
  • the image quality improvement metadata may be divided into common application information or partial application information according to its application range.
  • the image quality improvement metadata may include at least one of common application information or partial application information.
  • the common application information is information applied to the entire channel, the entire program, or the entire video data forming one content
  • the partial application information may be data that can be partially applied to some scenes, clips or frames of the video data.
  • the quality improvement metadata may be a method of directly defining or referring to a predefined message in signaling information of a broadcast signal.
  • Decoding and applying the video data and the quality improvement metadata, respectively, may decode the video data and obtain the video data using the video decoder.
  • the quality improvement metadata may be obtained by using a signaling data parser or a metadata decoder.
  • the receiver may improve the quality of decoded video data based on the quality improvement metadata.
  • the image quality improvement metadata may include HDR or WCG information about the video data, and may further include synchronization information indicating a time point at which each information is applied.
  • the image quality improvement metadata may include an HDR information descriptor as described above, and the HDR information descriptor may include processing color space type information and processing color precision information for a processing step for image quality improvement as described above. have.
  • the HDR information descriptor may further include input color space type information and input color precision information before the processing step, output color space type information and input color precision information after the processing step.
  • the HDR information descriptor may also include information on the dynamic range, conversion function type, color gamut, and color temperature type targeted by the image enhancement processing.
  • it may include HDR program transition flag information indicating that a change to the HDR content or the HDR information is scheduled, and set number information and version number information targeted for the transition.
  • the HDR information descriptor may distinguish a plurality of regions included in the frame, and may include feature set information corresponding to each region. Feature set information may apply different metadata processing for each region even within the same frame. Each feature set may be distinguished by region location or by color within a predetermined range in the color space. In addition, feature sets can be classified by brightness range or brightness distribution. It may also be distinguished by at least one of the above-described position, color, brightness range, or brightness distribution in the color volume defined by the polyhedron defined in the color space.
  • the HDR information descriptor may include information for identifying the aforementioned feature set, and may include, for example, at least one of spatial boundary information, colorimetry boundary information, luminance boundary information, luminance distribution boundary information, and color volume boundary information. . Detailed description of each information is as described with reference to FIGS. 35 to 38.
  • the image quality improvement metadata may be applied to the video data based on the synchronization information. In this way, video quality may be applied to the image quality as a whole or for each section.
  • the user may be provided with UHD contents having improved quality through HDR and WCG information applied to the existing UHD contents.
  • the module or unit may be processors that execute successive procedures stored in a memory (or storage unit). Each of the steps described in the above embodiments may be performed by hardware / processors. Each module / block / unit described in the above embodiments can operate as a hardware / processor.
  • the methods proposed by the present invention can be executed as code. This code can be written to a processor readable storage medium and thus read by a processor provided by an apparatus.
  • Apparatus and method according to the present invention is not limited to the configuration and method of the embodiments described as described above, the above-described embodiments may be selectively all or part of each embodiment so that various modifications can be made It may be configured in combination.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor.
  • Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet.
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
  • the present invention is used in the field of providing a series of broadcast signals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 방송 신호를 전송하는 방법을 제안한다. 본 발명에 따른 방송 신호를 전송하는 방법은, 지상파 방송망과 인터넷 망을 사용하는 차세대 하이브리드 방송을 지원하는 환경에서 차세대 방송 서비스를 지원할 수 있는 시스템을 제안한다. 또한, 차세대 하이브리드 방송을 지원하는 환경에서, 지상파 방송망과 인터넷 망을 모두 아우를 수 있는 효율적인 시그널링 방안을 제안한다.

Description

방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
본 발명은 방송 신호 송신 장치, 방송 신호 수신 장치, 및 방송 신호 송수신 방법에 관한 것이다.
아날로그 방송 신호 송신이 종료됨에 따라, 디지털 방송 신호를 송수신하기 위한 다양한 기술이 개발되고 있다. 디지털 방송 신호는 아날로그 방송 신호에 비해 더 많은 양의 비디오/오디오 데이터를 포함할 수 있고, 비디오/오디오 데이터뿐만 아니라 다양한 종류의 부가 데이터를 더 포함할 수 있다.
디지털 방송 시스템은 UHD(Ultra High Definition) 이미지, 멀티채널(multi channel, 다채널) 오디오, 및 다양한 부가 서비스를 제공할 수 있다. 그러나, 디지털 방송을 위해서는, 많은 양의 데이터 전송에 대한 데이터 전송 효율, 송수신 네트워크의 견고성(robustness), 및 모바일 수신 장치를 고려한 네트워크 유연성(flexibility)이 향상되어야 한다.
본 발명의 목적에 따라, 여기에 포함되고 대략적으로 기재된 바와 같이, 본 발명은 지상파 방송망과 인터넷 망을 사용하는 차세대 하이브리드 방송을 지원하는 환경에서 차세대 방송 서비스를 효과적으로 지원할 수 있는 시스템 및 관련된 시그널링 방안을 제안한다.
본 발명은 지상파 방송망과 인터넷 망을 사용하는 차세대 하이브리드 방송을 지원하는 환경에서 차세대 방송 서비스를 효과적으로 지원할 수 있다.
본 발명은 방송 서비스에 포함되는 서비스 컴포넌트들에 대하여, 자세한 시그널링을 제공하는 방법을 지원할 수 있다.
본 발명은 방송 서비스를 전달하는 방안에 있어서, 3D, 캡션, WCG, HDR 등의 다양한 정보를 효율적으로 제공하는 방법을 지원할 수 있다.
본 발명에 대해 더욱 이해하기 위해 포함되며 본 출원에 포함되고 그 일부를 구성하는 첨부된 도면은 본 발명의 원리를 설명하는 상세한 설명과 함께 본 발명의 실시예를 나타낸다.
도 1 은 본 발명의 일 실시예에 따른 프로토콜 스택을 도시한 도면이다.
도 2 는 본 발명의 일 실시예에 따른 서비스 디스커버리 과정을 도시한 도면이다.
도 3 은 본 발명의 일 실시예에 따른 LLS (Low Level Signaling) 테이블 및 SLT (Service List Table)를 도시한 도면이다.
도 4 는 본 발명의 일 실시예에 따른, ROUTE 로 전달되는 USBD 및 S-TSID 를 도시한 도면이다.
도 5 는 본 발명의 일 실시예에 따른, MMT 로 전달되는 USBD 를 도시한 도면이다.
도 6 은 본 발명의 일 실시예에 따른 링크 레이어(Link Layer) 동작을 도시한 도면이다.
도 7 은 본 발명의 일 실시예에 따른 LMT (Link Mapping Table) 를 도시한 도면이다.
도 8 은 본 발명의 일 실시예에 따른 차세대 방송 서비스에 대한 방송 신호 송신 장치의 구조를 나타낸다.
도 9 는 본 발명의 일 실시예에 따른 타임 인터리버의 라이팅 (writing) 오퍼레이션을 나타낸다.
도 10 은 본 발명의 일 실시예에 따른 프리퀀시 인터리버에 포함된 각 FFT 모드에 따른 메인-PRBS 제너레이터와 서브-PRBS 제너레이터로 구성된 인터리빙 어드레스 제너레이터의 블록 다이아그램을 나타낸 도면이다.
도 11 은 본 발명의 일 실시예에 따른 하이브리드 방송 수신 장치를 나타낸 도면이다.
도 12 는 본 발명의 일 실시예에 따른 DASH 기반 적응형(Adaptive) 스트리밍 모델의 전반적인 동작을 도시한 도면이다.
도 13 은 본 발명의 일 실시예에 따른 수신기의 블락 다이어그램을 도시한 도면이다.
도 14 는 본 발명의 일 실시예에 따른 메타 데이터 기반 HDR 방송 서비스를 제작, 재생하는 장치를 나타낸 도면이다.
도 15 는 본 발명의 일 실시예에 따른 HDR 비디오에 대한 수신기 동작 방법을 나타낸다.
도 16 은 본 발명의 일 실시예에 따른 후처리부를 나타낸다.
도 17 내지 20 은 본 발명의 일 실시예에 따른 SEI message 및 HDR information descriptor의 신택스를 나타낸다.
도 21 내지 22 는 RAP에 따라 metadata 정보를 시그널링 하는 실시예를 나타낸다.
도 23 은 본 발명의 일 실시예에 따른 dynamic_range_mapping_info를 나타낸 도면이다.
도 24 은 본 발명의 일 실시예에 따른 HEVC 내에 정의된 SEI 메시지를 참조하는 경우를 나타낸다.
도 25 및 26 은 본 발명의 일 실시예에 따른 HDR_info descriptor를 PMT를 통해 시그널링하는 실시예를 나타낸다.
도 27 및 28 은 본 발명의 일 실시예에 따른 HDR_info descriptor를 EIT를 통해 시그널링하는 실시예를 나타낸다.
도 29 는 본 발명의 다른 실시예에 따른 HDR_info_descriptor()를 나타낸다.
도 30 은 본 발명의 일 실시예에 따른 수신기 블록도 및 동작 방법을 나타낸다.
도 31 은 본 발명의 일 실시예에 따른 HDR 정보 디스크립터를 나타낸다.
도 32 는 본 발명의 일 실시예에 따른 HDR 정보 디스크립터를 나타낸다.
도 33 은 본 발명의 일 실시예에 따른 특성 세트 (feature set)에 따라 프레임 (frame) 내의 영역을 분할하는 경우를 나타낸다.
도 34 는 본 발명의 일 실시예에 따른 HDR information 및 feature set 을 시그널링하는 정보를 나타낸다.
도 35 는 본 발명의 일 실시예에 따른 공간 영역을 지정하기 위한 Spatial boundary 필드를 나타낸 도면이다.
도 36 은 본 발명의 일 실시예에 따른 공간 영역을 지정하기 위한 Colorimetry boundary 필드를 나타낸 도면이다.
도 37 은 본 발명의 일 실시예에 따른 공간 영역을 지정하기 위한 Luminance boundary 필드 및 Luminance distribution boundary 필드를 나타낸 도면이다.
도 38 은 본 발명의 일 실시예에 따른 공간 영역을 지정하기 위한 Color volume boundary 필드를 나타낸 도면이다.
도 39 는 본 발명의 일 실시예에 따른 방송 송신기를 나타낸 블록도이다.
도 40 은 본 발명의 일 실시예에 따른 방송 수신기를 나타낸 블록도이다.
도 41 은 본 발명의 일 실시예에 따른 화질 개선 메타데이터를 포함하는 방송 신호를 전송하는 방법을 나타낸 도면이다.
도 42 는 본 발명의 일 실시예에 따른 화질 개선 메타 데이터를 포함하는 방송 신호를 수신하는 방법을 나타낸 도면이다.
본 발명의 바람직한 실시예에 대해 구체적으로 설명하며, 그 예는 첨부된 도면에 나타낸다. 첨부된 도면을 참조한 아래의 상세한 설명은 본 발명의 실시예에 따라 구현될 수 있는 실시예만을 나타내기보다는 본 발명의 바람직한 실시예를 설명하기 위한 것이다. 다음의 상세한 설명은 본 발명에 대한 철저한 이해를 제공하기 위해 세부 사항을 포함한다. 그러나 본 발명이 이러한 세부 사항 없이 실행될 수 있다는 것은 당업자에게 자명하다.
본 발명에서 사용되는 대부분의 용어는 해당 분야에서 널리 사용되는 일반적인 것들에서 선택되지만, 일부 용어는 출원인에 의해 임의로 선택되며 그 의미는 필요에 따라 다음 설명에서 자세히 서술한다. 따라서 본 발명은 용어의 단순한 명칭이나 의미가 아닌 용어의 의도된 의미에 근거하여 이해되어야 한다.
본 발명은 차세대 방송 서비스에 대한 방송 신호 송신 및 수신 장치 및 방법을 제공한다. 본 발명의 일 실시예에 따른 차세대 방송 서비스는 지상파 방송 서비스, 모바일 방송 서비스, UHDTV 서비스 등을 포함한다. 본 발명은 일 실시예에 따라 비-MIMO (non-Multiple Input Multiple Output) 또는 MIMO 방식을 통해 차세대 방송 서비스에 대한 방송 신호를 처리할 수 있다. 본 발명의 일 실시예에 따른 비-MIMO 방식은 MISO (Multiple Input Single Output) 방식, SISO (Single Input Single Output) 방식 등을 포함할 수 있다. 본 발명은 특정 용도에 요구되는 성능을 달성하면서 수신기 복잡도를 최소화하기 위해 최적화된 피지컬 프로파일 (또는 시스템)을 제안한다.
도 1 은 본 발명의 일 실시예에 따른 프로토콜 스택을 도시한 도면이다.
서비스는 복수개의 레이어를 거쳐 수신기로 전달될 수 있다. 먼저 송신측에서는 서비스 데이터를 생성할 수 있다. 송신측의 딜리버리 레이어에서는 서비스 데이터에 전송을 위한 처리를 수행하고, 피지컬 레이어에서는 이를 방송 신호로 인코딩하여 방송망 또는 브로드밴드를 통해 전송할 수 있다.
여기서 서비스 데이터들은 ISO BMFF (base media file format) 에 따른 포맷으로 생성될 수 있다. ISO BMFF 미디어 파일은 방송망/브로드밴드 딜리버리, 미디어 인캡슐레이션(media encapsulation) 및/또는 동기화 포맷(synchronization format) 으로 사용될 수 있다. 여기서 서비스 데이터는 서비스와 관련된 모든 데이터로서, 리니어 서비스를 이루는 서비스 컴포넌트들, 그에 대한 시그널링 정보, NRT (Non Real Time) 데이터, 기타 파일들 등을 포함하는 개념일 수 있다.
딜리버리 레이어에 대해 설명한다. 딜리버리 레이어는 서비스 데이터에 대한 전송 기능을 제공할 수 있다. 서비스 데이터는 방송망및/또는 브로드밴드를 통해 전달될 수 있다.
방송망을 통한 서비스 딜리버리(broadcast service delivery)에 있어 두가지 방법이 있을 수 있다.
첫번째 방법은 MMT (MPEG Media Transport) 에 근거하여, 서비스 데이터들을 MPU (Media Processing Units) 들로 처리하고, 이를 MMTP (MMT protocol) 를 이용하여 전송하는 것일 수 있다. 이 경우, MMTP 를 통해 전달되는 서비스 데이터에는, 리니어 서비스를 위한 서비스 컴포넌트들 및/또는 그에 대한 서비스 시그널링 정보 등이 있을 수 있다.
두번째 방법은 MPEG DASH 에 근거하여, 서비스 데이터들을 DASH 세그먼트들로 처리하고, 이를 ROUTE (Real time Object delivery over Unidirectional Transport) 를 이용하여 전송하는 것일 수 있다. 이 경우, ROUTE 프로토콜을 통해 전달되는 서비스 데이터에는, 리니어 서비스를 위한 서비스 컴포넌트들, 그에 대한 서비스 시그널링 정보 및/또는 NRT 데이터 등이 있을 수 있다. 즉, NRT 데이터 및 파일 등의 논 타임드(non timed) 데이터는 ROUTE 를 통해서 전달될 수 있다.
MMTP 또는 ROUTE 프로토콜에 따라 처리된 데이터는 UDP / IP 레이어를 거쳐 IP 패킷들로 처리될 수 있다. 방송망을 통한 서비스 데이터 전달에 있어서, SLT (Service List Table) 역시 UDP / IP 레이어를 거쳐 방송망을 통해 전달될 수 있다. SLT 는 LLS (Low Level Signaling) 테이블에 포함되어 전달될 수 있는데, SLT, LLS 테이블에 대해서는 후술한다.
IP 패킷들은 링크 레이어에서 링크 레이어 패킷들로 처리될 수 있다. 링크 레이어는 상위 레이어에서 전달되는 다양한 포맷의 데이터를, 링크 레이어 패킷으로 인캡슐레이션한 후, 피지컬 레이어에 전달할 수 있다. 링크 레이어에 대해서는 후술한다.
하이브리드 서비스 딜리버리(hybrid service delivery) 에 있어서는, 적어도 하나 이상의 서비스 엘레멘트가 브로드밴드 패쓰(path) 를 통해 전달될 수 있다. 하이브리드 서비스 딜리버리의 경우, 브로드밴드로 전달되는 데이터에는, DASH 포맷의 서비스 컴포넌트들, 그에 대한 서비스 시그널링 정보 및/또는 NRT 데이터 등이 있을 수 있다. 이 데이터들은 HTTP/TCP/IP 를 거쳐 처리되고, 브로드밴드 전송을 위한 링크 레이어를 거쳐, 브로드밴드 전송을 위한 피지컬 레이어로 전달될 수 있다.
피지컬 레이어는 딜리버리 레이어(상위 레이어 및/또는 링크 레이어)로부터 전달받은 데이터를 처리하여, 방송망 또는 브로드밴드를 통하여 전송할 수 있다. 피지컬 레이어에 대한 자세한 사항은 후술한다.
서비스에 대해 설명한다. 서비스는 전체적으로 사용자에게 보여주는 서비스 컴포넌트의 컬렉션일 수 있고, 컴포넌트는 여러 미디어 타입의 것일 수 있고, 서비스는 연속적이거나 간헐적일 수 있으며, 서비스는 실시간이거나 비실시간일 수 있고, 실시간 서비스는 TV 프로그램의 시퀀스로 구성될 수 있다.
서비스는 여러 타입을 가질 수 있다. 첫 번째로 서비스는 앱 기반 인헨스먼트를 가질 수 있는 리니어 오디오/비디오 또는 오디오만의 서비스일 수 있다. 두 번째로 서비스는 다운로드된 어플리케이션에 의해 그 재생/구성 등이 제어되는 앱 기반 서비스일 수 있다. 세 번째로 서비스는 ESG (Electronic Service Guide) 를 제공하는 ESG 서비스일 수 있다. 네 번째로 긴급 경보 정보를 제공하는 EA (Emergency Alert) 서비스일 수 있다.
앱 기반 인헨스먼트가 없는 리니어 서비스가 방송망을 통해 전달되는 경우, 서비스 컴포넌트는 (1) 하나 이상의 ROUTE 세션 또는 (2) 하나 이상의 MMTP 세션에 의해 전달될 수 있다.
앱 기반 인헨스먼트가 있는 리니어 서비스가 방송망을 통해 전달되는 경우, 서비스 컴포넌트는 (1) 하나 이상의 ROUTE 세션 및 (2) 0개 이상의 MMTP 세션에 의해 전달될 수 있다. 이 경우 앱 기반 인핸스먼트에 사용되는 데이터는 NRT 데이터 또는 기타 파일 등의 형태로 ROUTE 세션을 통해 전달될 수 있다. 본 발명의 일 실시예에서, 하나의 서비스의 리니어 서비스 컴포넌트(스트리밍 미디어 컴포넌트)들이 두 프로토콜을 동시에 사용해 전달되는 것이 허용되지 않을 수 있다.
앱 기반 서비스가 방송망을 통해 전달되는 경우, 서비스 컴포넌트는 하나 이상의 ROUTE 세션에 의해 전달될 수 있다. 이 경우, 앱 기반 서비스에 사용되는 서비스 데이터는 NRT 데이터 또는 기타 파일 등의 형태로 ROUTE 세션을 통해 전달될 수 있다.
또한, 이러한 서비스의 일부 서비스 컴포넌트 또는 일부 NRT 데이터, 파일 등은 브로드밴드를 통해 전달될 수 있다(하이브리드 서비스 딜리버리).
즉, 본 발명의 일 실시예에서, 하나의 서비스의 리니어 서비스 컴포넌트들은 MMT 프로토콜을 통해 전달될 수 있다. 본 발명의 다른 실시예에서, 하나의 서비스의 리니어 서비스 컴포넌트들은 ROUTE 프로토콜을 통해 전달될 수 있다. 본 발명의 또 다른 실시예에서, 하나의 서비스의 리니어 서비스 컴포넌트 및 NRT 데이터(NRT 서비스 컴포넌트)들은 ROUTE 프로토콜을 통해 전달될 수 있다. 본 발명의 또 다른 실시예에서, 하나의 서비스의 리니어 서비스 컴포넌트들은 MMT 프로토콜을 통해 전달되고, NRT 데이터(NRT 서비스 컴포넌트)들은 ROUTE 프로토콜을 통해 전달될 수 있다. 전술한 실시예들에서, 서비스의 일부 서비스 컴포넌트 또는 일부 NRT 데이터들은 브로드밴드를 통해 전달될 수 있다. 여기서 앱 기반 서비스 내지 앱 기반 인핸스먼트에 관한 데이터들은 NRT 데이터 형태로, ROUTE 에 따른 방송망을 통해 전달되거나 브로드밴드를 통해 전달될 수 있다. NRT 데이터는 로컬리 캐쉬드 데이터(Locally cashed data) 등으로 불릴 수도 있다.
각각의 ROUTE 세션은 서비스를 구성하는 컨텐츠 컴포넌트를 전체적으로 또는 부분적으로 전달하는 하나 이상의 LCT 세션을 포함한다. 스트리밍 서비스 딜리버리에서, LCT 세션은 오디오, 비디오, 또는 클로즈드 캡션 스트림과 같은 사용자 서비스의 개별 컴포넌트를 전달할 수 있다. 스트리밍 미디어는 DASH 세그먼트로 포맷된다.
각각의 MMTP 세션은 MMT 시그널링 메시지 또는 전체 또는 일부 컨텐츠 컴포넌트를 전달하는 하나 이상의 MMTP 패킷 플로우를 포함한다. MMTP 패킷 플로우는 MMT 시그널링 메시지 또는 MPU 로 포맷된 컴포넌트를 전달할 수 있다.
NRT 사용자 서비스 또는 시스템 메타데이터의 딜리버리를 위해, LCT 세션은 파일 기반의 컨텐츠 아이템을 전달한다. 이들 컨텐츠 파일은 NRT 서비스의 연속적 (타임드) 또는 이산적 (논 타임드) 미디어 컴포넌트, 또는 서비스 시그널링이나 ESG 프레그먼트와 같은 메타데이터로 구성될 수 있다. 서비스 시그널링이나 ESG 프레그먼트와 같은 시스템 메타데이터의 딜리버리 또한 MMTP의 시그널링 메시지 모드를 통해 이루어질 수 있다.
수신기에서는 튜너가 주파수들을 스캐닝하다가, 특정 주파수에서 방송 시그널을 감지할 수 있다. 수신기는 SLT 를 추출해 이를 처리하는 모듈로 보낼 수 있다. SLT 파서는 SLT 를 파싱하고 데이터를 획득해 채널 맵에 저장할 수 있다. 수신기는 SLT 의 부트스트랩 정보를 획득하고 ROUTE 또는 MMT 클라이언트에 전달해줄 수 있다. 수신기는 이를 통해 SLS 를 획득할 수 있고, 저장할 수 있다. USBD 등이 획득될 수 있고, 이는 시그널링 파서에 의해 파싱될 수 있다.
도 2 는 본 발명의 일 실시예에 따른 서비스 디스커버리 과정을 도시한 도면이다.
피지컬 레이어의 방송 신호 프레임이 전달하는 브로드캐스트 스트림은 LLS (Low Level Signaling) 을 운반할 수 있다. LLS 데이터는 웰 노운(well known) IP 어드레스/포트로 전달되는 IP 패킷의 페이로드를 통해서 운반될 수 있다. 이 LLS 는 그 타입에 따라 SLT 를 포함할 수 있다. LLS 데이터는 LLS 테이블의 형태로 포맷될 수 있다. LLS 데이터를 운반하는 매 UDP/IP 패킷의 첫번째 바이트는 LLS 테이블의 시작일 수 있다. 도시된 실시예와 달리 LLS 데이터를 전달하는 IP 스트림은, 다른 서비스 데이터들과 함께 같은 PLP 로 전달될 수도 있다.
SLT 는 빠른 채널 스캔을 통하여 수신기가 서비스 리스트를 생성할 수 있게 하고, SLS 를 로케이팅(locating) 하기 위한 액세스 정보를 제공한다. SLT 는 부트스트랩 정보를 포함하는데, 이 부트스트랩 정보는 수신기가 각각의 서비스에 대한 SLS (Service Layer Signaling) 을 획득할 수 있도록 한다. SLS, 즉 서비스 시그널링 정보가 ROUTE 를 통해 전달되는 경우, 부트스트랩 정보는 SLS 를 운반하는 LCT 채널 내지 그 LCT 채널을 포함하는 ROUTE 세션의 데스티네이션 IP 어드레스 및 데스티네이션 포트 정보를 포함할 수 있다. SLS 가 MMT 를 통해 전달되는 경우, 부트스트랩 정보는 SLS 를 운반하는 MMTP 세션의 데스티네이션 IP 어드레스 및 데스티네이션 포트 정보를 포함할 수 있다.
도시된 실시예에서, SLT 가 기술하는 서비스 #1 의 SLS 는 ROUTE 를 통해 전달되고, SLT 는 해당 SLS 가 전달되는 LCT 채널을 포함하는 ROUTE 세션에 대한 부트스트랩 정보(sIP1, dIP1, dPort1) 를 포함할 수 있다. SLT 가 기술하는 서비스 #2 의 SLS 는 MMT 를 통해 전달되고, SLT 는 해당 SLS 가 전달되는 MMTP 패킷 플로우를 포함하는 MMTP 세션에 대한 부트스트랩 정보(sIP2, dIP2, dPort2) 를 포함할 수 있다.
SLS 는 해당 서비스에 대한 특성을 기술하는 시그널링 정보로서, 해당 서비스 및 해당 서비스의 서비스 컴포넌트를 획득하기 위한 정보를 제공하거나, 해당 서비스를 유의미하게 재생하기 위한 수신기 캐패빌리티 정보 등을 포함할 수 있다. 각 서비스에 대해 별개의 서비스 시그널링을 가지면 수신기는 브로드캐스트 스트림 내에서 전달되는 전체 SLS을 파싱할 필요 없이 원하는 서비스에 대한 적절한 SLS를 획득하면 된다.
SLS 가 ROUTE 프로토콜을 통해 전달되는 경우, SLS 는 SLT 가 지시하는 ROUTE 세션의 특정(dedicated) LCT 채널을 통해 전달될 수 있다. 실시예에 따라 이 LCT 채널은 tsi = 0 로 식별되는 LCT 채널일 수 있다. 이 경우 SLS 는 USBD/USD (User Service Bundle Description / User Service Description), S-TSID (Service-based Transport Session Instance Description) 및/또는 MPD (Media Presentation Description) 를 포함할 수 있다.
여기서 USBD 내지 USD 는 SLS 프래그먼트 중 하나로서, 서비스의 구체적 기술적 정보들을 기술하는 시그널링 허브로서 역할할 수 있다. USBD 는 서비스 식별 정보, 디바이스 캐패빌리티 정보 등을 포함할 수 있다. USBD 는 다른 SLS 프래그먼트(S-TSID, MPD 등) 에의 레퍼런스 정보(URI 레퍼런스)를 포함할 수 있다. 즉, USBD/USD 는 S-TSID 와 MPD 를 각각 레퍼런싱할 수 있다. 또한 USBD 는 수신기가 전송 모드(방송망/브로드밴드)를 결정할 수 있게 해주는 메타데이터 정보를 더 포함할 수 있다. USBD/USD 의 구체적 내용들에 대해서는 후술한다.
S-TSID 는 SLS 프래그먼트 중 하나로서, 해당 서비스의 서비스 컴포넌트를 운반하는 전송 세션에 대한 전체적인 세션 디스크립션 정보를 제공할 수 있다. S-TSID 는 해당 서비스의 서비스 컴포넌트가 전달되는 ROUTE 세션 및/또는 그 ROUTE 세션들의 LCT 채널에 대한 전송 세션 디스크립션 정보를 제공할 수 있다. S-TSID 는 하나의 서비스와 관련된 서비스 컴포넌트들의 컴포넌트 획득(acquisition) 정보를 제공할 수 있다. S-TSID 는, MPD 의 DASH 레프리젠테이션(Representation) 과 해당 서비스 컴포넌트의 tsi 간의 매핑을 제공할 수 있다. S-TSID 의 컴포넌트 획득 정보는 tsi, 관련 DASH 레프리젠테이션의 식별자의 형태로 제공될 수 있으며, 실시예에 따라 PLP ID 를 포함하거나 포함하지 않을 수 있다. 컴포넌트 획득 정보를 통해 수신기는 한 서비스의 오디오/비디오 컴포넌트들을 수집하고 DASH 미디어 세그먼트들의 버퍼링, 디코딩 등을 수행할 수 있다. S-TSID 는 전술한 바와 같이 USBD 에 의해 레퍼런싱될 수 있다. S-TSID 의 구체적 내용들에 대해서는 후술한다.
MPD 는 SLS 프래그먼트 중 하나로서, 해당 서비스의 DASH 미디어 프리젠테이션에 관한 디스크립션을 제공할 수 있다. MPD 는 미디어 세그먼트들에 대한 리소스 식별자(resource identifier) 를 제공하고, 식별된 리소스들에 대한 미디어 프리젠테이션 내에서의 컨텍스트 정보를 제공할 수 있다. MPD 는 방송망을 통해 전달되는 DASH 레프리젠테이션(서비스 컴포넌트)를 기술하고, 또한 브로드밴드를 통해 전달되는 추가적인 DASH 레프리젠테이션을 기술할 수 있다(하이브리드 딜리버리). MPD 는 전술한 바와 같이 USBD 에 의해 레퍼런싱될 수 있다.
SLS 가 MMT 프로토콜을 통해 전달되는 경우, SLS 는 SLT 가 지시하는 MMTP 세션의 특정(dedicated) MMTP 패킷 플로우을 통해 전달될 수 있다. 실시예에 따라 SLS 를 전달하는 MMTP 패킷들의 packet_id 는 00 의 값을 가질 수 있다. 이 경우 SLS 는 USBD/USD 및/또는 MMT Package (MP) 테이블을 포함할 수 있다.
여기서 USBD 는 SLS 프래그먼트의 하나로서, ROUTE 에서의 그것과 같이 서비스의 구체적 기술적 정보들을 기술할 수 있다. 여기서의 USBD 역시 다른 SLS 프래그먼트에의 레퍼런스 정보(URI 레퍼런스)를 포함할 수 있다. MMT 의 USBD 는 MMT 시그널링의 MP 테이블을 레퍼런싱할 수 있다. 실시예에 따라 MMT 의 USBD 는 S-TSID 및/또는 MPD 에의 레퍼런스 정보 또한 포함할 수 있다. 여기서의 S-TSID 는 ROUTE 프로토콜을 통해 전달되는 NRT 데이터를 위함일 수 있다. MMT 프로토콜을 통해 리니어 서비스 컴포넌트가 전달되는 경우에도 NRT 데이터는 ROUTE 프로토콜을 통해 전달될 수 있기 때문이다. MPD 는 하이브리드 서비스 딜리버리에 있어서, 브로드밴드로 전달되는 서비스 컴포넌트를 위함일 수 있다. MMT 의 USBD 의 구체적 내용들에 대해서는 후술한다.
MP 테이블은 MPU 컴포넌트들을 위한 MMT 의 시그널링 메시지로서, 해당 서비스의 서비스 컴포넌트를 운반하는 MMTP 세션에 대한 전체적인 세션 디스크립션 정보를 제공할 수 있다. 또한 MP 테이블은 이 MMTP 세션을 통해 전달되는 에셋(Asset) 에 대한 디스크립션을 포함할 수 있다. MP 테이블은 MPU 컴포넌트들을 위한 스트리밍 시그널링 정보로서, 하나의 서비스에 해당하는 에셋들의 리스트와 이 컴포넌트들의 로케이션 정보(컴포넌트 획득 정보)를 제공할 수 있다. MP 테이블의 구체적인 내용은 MMT 에서 정의된 형태이거나, 변형이 이루어진 형태일 수 있다. 여기서 Asset 이란, 멀티미디어 데이터 엔티티로서, 하나의 유니크 ID 로 연합되고 하나의 멀티미디어 프리젠테이션을 생성하는데 사용되는 데이터 엔티티를 의미할 수 있다. Asset 은 하나의 서비스를 구성하는 서비스 컴포넌트에 해당할 수 있다. MP 테이블을 이용하여 원하는 서비스에 해당하는 스트리밍 서비스 컴포넌트(MPU) 에 접근할 수 있다. MP 테이블은 전술한 바와 같이 USBD 에 의해 레퍼런싱될 수 있다.
기타 다른 MMT 시그널링 메시지가 정의될 수 있다. 이러한 MMT 시그널링 메시지들에 의해 MMTP 세션 내지 서비스에 관련된 추가적인 정보들이 기술될 수 있다.
ROUTE 세션은 소스 IP 어드레스, 데스티네이션 IP 어드레스, 데스티네이션 포트 넘버에 의해 식별된다. LCT 세션은 페어런트 ROUTE 세션의 범위 내에서 유일한 TSI (transport session identifier)에 의해 식별된다. MMTP 세션은 데스티네이션 IP 어드레스 및 데스티네이션 포트 넘버에 의해 식별된다. MMTP 패킷 플로우는 페어런트 MMTP 세션의 범위 내에서 유일한 packet_id에 의해 식별된다.
ROUTE 의 경우 S-TSID, USBD/USD, MPD 또는 이 들을 전달하는 LCT 세션을 서비스 시그널링 채널이라 부를 수도 있다. MMTP 의 경우, USBD/UD, MMT 시그널링 메시지들 또는 이들을 전달하는 패킷 플로우를 서비스 시그널링 채널이라 부를 수도 있다.
도시된 실시예와는 달리, 하나의 ROUTE 또는 MMTP 세션은 복수개의 PLP 를 통해 전달될 수 있다. 즉, 하나의 서비스는 하나 이상의 PLP 를 통해 전달될 수도 있다. 도시된 것과 달리 실시예에 따라 하나의 서비스를 구성하는 컴포넌트들이 서로 다른 ROUTE 세션들을 통해 전달될 수도 있다. 또한, 실시예에 따라 하나의 서비스를 구성하는 컴포넌트들이 서로 다른 MMTP 세션들을 통해 전달될 수도 있다. 실시예에 따라 하나의 서비스를 구성하는 컴포넌트들이 ROUTE 세션과 MMTP 세션에 나뉘어 전달될 수도 있다. 도시되지 않았으나, 하나의 서비스를 구성하는 컴포넌트가 브로드밴드를 통해 전달(하이브리드 딜리버리)되는 경우도 있을 수 있다.
도 3 은 본 발명의 일 실시예에 따른 LLS (Low Level Signaling) 테이블 및 SLT (Service List Table)를 도시한 도면이다.
도시된 LLS 테이블의 일 실시예(t3010) 은, LLS_table_id 필드, provider_id 필드, LLS_table_version 필드 및/또는 LLS_table_id 필드에 따른 정보들을 포함할 수 있다.
LLS_table_id 필드는 해당 LLS 테이블의 타입을 식별하고, provider_id 필드는 해당 LLS 테이블에 의해 시그널링되는 서비스들과 관련된 서비스 프로바이더를 식별할 수 있다. 여기서 서비스 프로바이더는 해당 브로드캐스트 스트림의 전부 또는 일부를 사용하는 브로드캐스터로서, provider_id 필드는 해당 브로드캐스트 스트림을 사용중인 복수의 브로드캐스터들 중 하나를 식별할 수 있다. LLS_table_version 필드는 해당 LLS 테이블의 버전 정보를 제공할 수 있다.
LLS_table_id 필드의 값에 따라, 해당 LLS 테이블은 전술한 SLT, 컨텐트 어드바이저리 레이팅(Content advisory rating) 에 관련된 정보를 포함하는 RRT(Rating Region Table), 시스템 타임과 관련된 정보를 제공하는 SystemTime 정보, 긴급 경보와 관련된 정보를 제공하는 CAP (Common Alert Protocol) 메시지 중 하나를 포함할 수 있다. 실시예에 따라 이들 외에 다른 정보가 LLS 테이블에 포함될 수도 있다.
도시된 SLT 의 일 실시예(t3020) 는, @bsid 속성, @sltCapabilities 속성, sltInetUrl 엘레멘트 및/또는 Service 엘레멘트를 포함할 수 있다. 각 필드들은 도시된 Use 컬럼의 값에 따라 생략되거나, 복수개 존재할 수 있다.
@bsid 속성은 브로드캐스트 스트림의 식별자일 수 있다. @sltCapabilities 속성은 해당 SLT 가 기술하는 모든 서비스들을 디코딩하고 유의미하게 재생하는데 요구되는 캐패빌리티 정보를 제공할 수 있다. sltInetUrl 엘레멘트는 해당 SLT 의 서비스들을 위한 ESG 내지 서비스 시그널링 정보를 브로드밴드를 통해 얻기 위해 사용되는 베이스 URL 정보를 제공할 수 있다. sltInetUrl 엘레멘트는 @urlType 속성을 더 포함할 수 있는데, 이는 해당 URL 을 통해 얻을 수 있는 데이터의 타입을 지시할 수 있다.
Service 엘레멘트는 해당 SLT 가 기술하는 서비스들에 대한 정보를 포함하는 엘레멘트일 수 있으며, 각각의 서비스들에 대해 Service 엘레멘트가 존재할 수 있다. Service 엘레멘트는 @serviceId 속성, @sltSvcSeqNum 속성, @protected 속성, @majorChannelNo 속성, @minorChannelNo 속성, @serviceCategory 속성, @shortServiceName 속성, @hidden 속성, @broadbandAccessRequired 속성, @svcCapabilities 속성, BroadcastSvcSignaling 엘레멘트 및/또는 svcInetUrl 엘레멘트를 포함할 수 있다.
@serviceId 속성은 해당 서비스의 식별자이고, @sltSvcSeqNum 속성은 해당 서비스에 대한 SLT 정보의 시퀀스 넘버를 나타낼 수 있다. @protected 속성은 해당 서비스의 유의미한 재생을 위해 필요한 적어도 하나의 서비스 컴포넌트가 보호(protected)되고 있는지 여부를 지시할 수 있다. @majorChannelNo 속성과 @minorChannelNo 속성은 각각 해당 서비스의 메이저 채널 넘버와 마이너 채널 넘버를 지시할 수 있다.
@serviceCategory 속성은 해당 서비스의 카테고리를 지시할 수 있다. 서비스의 카테고리로는 리니어 A/V 서비스, 리니어 오디오 서비스, 앱 기반 서비스, ESG 서비스, EAS 서비스 등이 있을 수 있다. @shortServiceName 속성은 해당 서비스의 짧은 이름(Short name)을 제공할 수 있다. @hidden 속성은 해당 서비스가 테스팅 또는 독점적(proprietary) 사용을 위한 서비스인지 여부를 지시할 수 있다. @broadbandAccessRequired 속성은 해당 서비스의 유의미한 재생을 위하여 브로드밴드 억세스가 필요한지 여부를 지시할 수 있다. @svcCapabilities 속성은 해당 서비스의 디코딩과 유의미한 재생을 위하여 필요한 캐패빌리티 정보를 제공할 수 있다.
BroadcastSvcSignaling 엘레멘트는 해당 서비스의 브로드캐스트 시그널링에 관련된 정보들을 제공할 수 있다. 이 엘레멘트는 해당 서비스의 방송망을 통한 시그널링에 대하여, 로케이션, 프로토콜, 어드레스 등의 정보를 제공할 수 있다. 자세한 사항은 후술한다.
svcInetUrl 엘레멘트는 해당 서비스를 위한 시그널링 정보를 브로드밴드를 통해 액세스하기 위한 URL 정보를 제공할 수 있다. sltInetUrl 엘레멘트는 @urlType 속성을 더 포함할 수 있는데, 이는 해당 URL 을 통해 얻을 수 있는 데이터의 타입을 지시할 수 있다.
전술한 BroadcastSvcSignaling 엘레멘트는 @slsProtocol 속성, @slsMajorProtocolVersion 속성, @slsMinorProtocolVersion 속성, @slsPlpId 속성, @slsDestinationIpAddress 속성, @slsDestinationUdpPort 속성 및/또는 @slsSourceIpAddress 속성을 포함할 수 있다.
@slsProtocol 속성은 해당 서비스의 SLS 를 전달하는데 사용되는 프로토콜을 지시할 수 있다(ROUTE, MMT 등). @slsMajorProtocolVersion 속성 및 @slsMinorProtocolVersion 속성은 각각 해당 서비스의 SLS 를 전달하는데 사용되는 프로토콜의 메이저 버전 넘버 및 마이너 버전 넘버를 지시할 수 있다.
@slsPlpId 속성은 해당 서비스의 SLS 를 전달하는 PLP 를 식별하는 PLP 식별자를 제공할 수 있다. 실시예에 따라 이 필드는 생략될 수 있으며, SLS 가 전달되는 PLP 정보는 후술할 LMT 내의 정보와, SLT 의 부트스트랩 정보를 조합하여 확인될 수도 있다.
@slsDestinationIpAddress 속성, @slsDestinationUdpPort 속성 및 @slsSourceIpAddress 속성은 각각 해당 서비스의 SLS 를 전달하는 전송 패킷의 데스티네이션 IP 어드레스, 데스티네이션 UDP 포트 및 소스 IP 어드레스 를 지시할 수 있다. 이들은 SLS 가 전달되는 전송세션(ROUTE 세션 또는 MMTP 세션)을 식별할 수 있다. 이들은 부트스트랩 정보에 포함될 수 있다.
도 4 는 본 발명의 일 실시예에 따른, ROUTE 로 전달되는 USBD 및 S-TSID 를 도시한 도면이다.
도시된 USBD 의 일 실시예(t4010) 은, bundleDescription 루트 엘레멘트를 가질 수 있다. bundleDescription 루트 엘레멘트는 userServiceDescription 엘레멘트를 가질 수 있다. userServiceDescription 엘레멘트는 하나의 서비스에 대한 인스턴스일 수 있다.
userServiceDescription 엘레멘트는 @globalServiceID 속성, @serviceId 속성, @serviceStatus 속성, @fullMPDUri 속성, @sTSIDUri 속성, name 엘레멘트, serviceLanguage 엘레멘트, capabilityCode 엘레멘트 및/또는 deliveryMethod 엘레멘트를 포함할 수 있다. 각 필드들은 도시된 Use 컬럼의 값에 따라 생략되거나, 복수개 존재할 수 있다.
@globalServiceID 속성은 해당 서비스의 글로벌하게 유니크한(globally unique) 식별자로서, ESG 데이터와 링크되는데 사용될 수 있다(Service@globalServiceID). @serviceId 속성은 SLT 의 해당 서비스 엔트리와 대응되는 레퍼런스로서, SLT 의 서비스 ID 정보와 동일할 수 있다. @serviceStatus 속성은 해당 서비스의 상태를 지시할 수 있다. 이 필드는 해당 서비스가 액티브인지 인액티브(inactive) 상태인지 여부를 지시할 수 있다.
@fullMPDUri 속성은 해당 서비스의 MPD 프래그먼트를 레퍼런싱할 수 있다. MPD 는 전술한 바와 같이 방송망 또는 브로드밴드를 통해 전달되는 서비스 컴포넌트에 대한 재생 디스크립션을 제공할 수 있다. @sTSIDUri 속성은 해당 서비스의 S-TSID 프래그먼트를 레퍼런싱할 수 있다. S-TSID 는 전술한 바와 같이 해당 서비스를 운반하는 전송 세션에의 액세스와 관련된 파라미터들을 제공할 수 있다.
name 엘레멘트는 해당 서비스의 이름을 제공할 수 있다. 이 엘레멘트는 @lang 속성을 더 포함할 수 있는데, 이 필드는 name 엘레멘트가 제공하는 이름의 언어를 지시할 수 있다. serviceLanguage 엘레멘트는 해당 서비스의 이용 가능한(available) 언어들을 지시할 수 있다. 즉, 이 엘레멘트는 해당 서비스가 제공될 수 있는 언어들을 나열할 수 있다.
capabilityCode 엘레멘트는 해당 서비스를 유의미하게 재생하기 위해 필요한 수신기 측의 캐패빌리티 또는 캐패빌리티 그룹 정보를 지시할 수 있다. 이 정보들은 서비스 아나운스먼트(announccement) 에서 제공되는 캐패빌리티 정보 포맷과 호환될 수 있다.
deliveryMethod 엘레멘트는 해당 서비스의 방송망 또는 브로드밴드를 통해 액세스되는 컨텐츠들에 대하여, 전송 관련 정보들을 제공할 수 있다. deliveryMethod 엘레멘트는 broadcastAppService 엘레멘트 및/또는 unicastAppService 엘레멘트를 포함할 수 있다. 이 엘레멘트들은 각각 basePattern 엘레멘트를 하위 엘레멘트로 가질 수 있다.
broadcastAppService 엘레멘트는 방송망을 통해 전달되는 DASH 레프리젠테이션에 대한 전송 관련 정보를 포함할 수 있다. 이 DASH 레프리젠테이션들은 해당 서비스 미디어 프리젠테이션의 모든 피리오드(Period)에 걸친 미디어 컴포넌트들을 포함할 수 있다.
이 엘레멘트의 basePattern 엘레멘트는 수신기가 세그먼트 URL 과 매칭하는데 사용되는 캐릭터 패턴을 나타낼 수 있다. 이는 DASH 클라이언트가 해당 레프리젠테이션의 세그먼트들을 요청하는데 사용될 수 있다. 매칭된다는 것은 해당 미디어 세그먼트가 방송망을 통해 전달된다는 것을 암시할 수 있다.
unicastAppService 엘레멘트는 브로드밴드를 통해 전달되는 DASH 레프리젠테이션에 대한 전송 관련 정보를 포함할 수 있다. 이 DASH 레프리젠테이션들은 해당 서비스 미디어 프리젠테이션의 모든 피리오드(Period)에 걸친 미디어 컴포넌트들을 포함할 수 있다.
이 엘레멘트의 basePattern 엘레멘트는 수신기가 세그먼트 URL 과 매칭하는데 사용되는 캐릭터 패턴을 나타낼 수 있다. 이는 DASH 클라이언트가 해당 레프리젠테이션의 세그먼트들을 요청하는데 사용될 수 있다. 매칭된다는 것은 해당 미디어 세그먼트가 브로드밴드를 통해 전달된다는 것을 암시할 수 있다.
도시된 S-TSID 의 일 실시예(t4020) 은, S-TSID 루트 엘레멘트를 가질 수 있다. S-TSID 루트 엘레멘트는 @serviceId 속성 및/또는 RS 엘레멘트를 포함할 수 있다. 각 필드들은 도시된 Use 컬럼의 값에 따라 생략되거나, 복수개 존재할 수 있다.
@serviceId 속성은 해당 서비스의 식별자로서, USBD/USD 의 해당 서비스를 레퍼런싱할 수 있다. RS 엘레멘트는 해당 서비스의 서비스 컴포넌트들이 전달되는 ROUTE 세션들에 대한 정보를 기술할 수 있다. 이러한 ROUTE 세션의 개수에 따라, 이 엘레멘트는 복수개 존재할 수 있다. RS 엘레멘트는 @bsid 속성, @sIpAddr 속성, @dIpAddr 속성, @dport 속성, @PLPID 속성 및/또는 LS 엘레멘트를 더 포함할 수 있다.
@bsid 속성은 해당 서비스의 서비스 컴포넌트들이 전달되는 브로드캐스트 스트림의 식별자일 수 있다. 이 필드가 생략된 경우, 디폴트 브로드캐스트 스트림은 해당 서비스의 SLS 를 전달하는 PLP 를 포함하는 브로드캐스트 스트림일 수 있다. 이 필드의 값은 SLT 의 @bsid 속성과 같은 값일 수 있다.
@sIpAddr 속성, @dIpAddr 속성 및 @dport 속성은 각각 해당 ROUTE 세션의 소스 IP 어드레스, 데스티네이션 IP 어드레스 및 데스티네이션 UDP 포트를 나타낼 수 있다. 이 필드들이 생략되는 경우, 디폴트 값들은 해당 SLS 를 전달하는, 즉 해당 S-TSID 를 전달하고 있는 현재의, ROUTE 세션의 소스 IP 어드레스, 데스티네이션 IP 어드레스 및 데스티네이션 UDP 포트값들일 수 있다. 현재 ROUTE 세션이 아닌, 해당 서비스의 서비스 컴포넌트들을 전달하는 다른 ROUTE 세션에 대해서는, 본 필드들이 생략되지 않을 수 있다.
@PLPID 속성은 해당 ROUTE 세션의 PLP ID 정보를 나타낼 수 있다. 이 필드가 생략되는 경우, 디폴트 값은 해당 S-TSID 가 전달되고 있는 현재 PLP 의 PLP ID 값일 수 있다. 실시예에 따라 이 필드는 생략되고, 해당 ROUTE 세션의 PLP ID 정보는 후술할 LMT 내의 정보와, RS 엘레멘트의 IP 어드레스 / UDP 포트 정보들을 조합하여 확인될 수도 있다.
LS 엘레멘트는 해당 서비스의 서비스 컴포넌트들이 전달되는 LCT 채널들에 대한 정보를 기술할 수 있다. 이러한 LCT 채널의 개수에 따라, 이 엘레멘트는 복수개 존재할 수 있다. LS 엘레멘트는 @tsi 속성, @PLPID 속성, @bw 속성, @startTime 속성, @endTime 속성, SrcFlow 엘레멘트 및/또는 RepairFlow 엘레멘트를 포함할 수 있다.
@tsi 속성은 해당 LCT 채널의 tsi 정보를 나타낼 수 있다. 이를 통해 해당 서비스의 서비스 컴포넌트가 전달되는 LCT 채널들이 식별될 수 있다. @PLPID 속성은 해당 LCT 채널의 PLP ID 정보를 나타낼 수 있다. 실시예에 따라 이 필드는 생략될 수 있다. @bw 속성은 해당 LCT 채널의 최대 대역폭를 나타낼 수 있다. @startTime 속성은 해당 LCT 세션의 스타트 타임을 지시하고, @endTime 속성은 해당 LCT 채널의 엔드 타임을 지시할 수 있다.
SrcFlow 엘레멘트는 ROUTE 의 소스 플로우에 대해 기술할 수 있다. ROUTE 의 소스 프로토콜은 딜리버리 오브젝트를 전송하기 위해 사용되며, 한 ROUTE 세션 내에서 적어도 하나 이상의 소스 플로우를 설정(establish)할 수 있다. 이 소스 플로우들은 관련된 오브젝트들을 오브젝트 플로우로서 전달할 수 있다.
RepairFlow 엘레멘트는 ROUTE 의 리페어 플로우에 대해 기술할 수 있다. 소스 프로토콜에 따라 전달되는 딜리버리 오브젝트들은 FEC (Forward Error Correction) 에 따라 보호될 수 있는데, 리페어 프로토콜은 이러한 FEC 프로텍션을 가능케 하는 FEC 프레임워크(framework)를 정의할 수 있다.
도 5 는 본 발명의 일 실시예에 따른, MMT 로 전달되는 USBD 를 도시한 도면이다.
도시된 USBD 의 일 실시예는, bundleDescription 루트 엘레멘트를 가질 수 있다. bundleDescription 루트 엘레멘트는 userServiceDescription 엘레멘트를 가질 수 있다. userServiceDescription 엘레멘트는 하나의 서비스에 대한 인스턴스일 수 있다.
userServiceDescription 엘레멘트는 @globalServiceID 속성, @serviceId 속성, Name 엘레멘트, serviceLanguage 엘레멘트, contentAdvisoryRating 엘레멘트, Channel 엘레멘트, mpuComponent 엘레멘트, routeComponent 엘레멘트, broadbandComponent 엘레멘트 및/또는 ComponentInfo 엘레멘트를 포함할 수 있다. 각 필드들은 도시된 Use 컬럼의 값에 따라 생략되거나, 복수개 존재할 수 있다.
@globalServiceID 속성, @serviceId 속성, Name 엘레멘트 및/또는 serviceLanguage 엘레멘트는 전술한 ROUTE 로 전달되는 USBD 의 해당 필드들과 같을 수 있다. contentAdvisoryRating 엘레멘트는 해당 서비스의 컨텐트 어드바이저리(advisory) 레이팅을 나타낼 수 있다. 이 정보들은 서비스 아나운스먼트(announccement) 에서 제공되는 컨텐트 어드바이저리 레이팅 정보 포맷과 호환될 수 있다. Channel 엘레멘트는 해당 서비스와 관련된 정보들을 포함할 수 있다. 이 엘레멘트의 자세한 내용에 대해서는 후술한다.
mpuComponent 엘레멘트는 해당 서비스의 MPU 로서 전달되는 서비스 컴포넌트들에 대한 디스크립션을 제공할 수 있다. 이 엘레멘트는 @mmtPackageId 속성 및/또는 @nextMmtPackageId 속성을 더 포함할 수 있다. @mmtPackageId 속성은 해당 서비스의 MPU 로서 전달되는 서비스 컴포넌트들의 MMT 패키지(Package) 를 레퍼런싱할 수 있다. @nextMmtPackageId 속성은 시간상 @mmtPackageId 속성이 레퍼런싱하는 MMT 패키지 다음으로 사용될 MMT 패키지를 레퍼런싱할 수 있다. 이 엘레멘트의 정보들을 통해 MP 테이블이 레퍼런싱될 수 있다.
routeComponent 엘레멘트는 ROUTE 로 전달되는 해당 서비스의 서비스 컴포넌트들에 대한 디스크립션을 포함할 수 있다. 리니어 서비스 컴포넌트들이 MMT 프로토콜로 전달되는 경우라 하더라도, NRT 데이터들은 전술한 바와 같이 ROUTE 프로토콜에 따라 전달될 수 있다. 이 엘레멘트는 이러한 NRT 데이터들에 대한 정보들을 기술할 수 있다. 이 엘레멘트의 자세한 내용에 대해서는 후술한다.
broadbandComponent 엘레멘트는 브로드밴드로 전달되는 해당 서비스의 서비스 컴포넌트들에 대한 디스크립션을 포함할 수 있다. 하이브리드 서비스 딜리버리에 있어서, 한 서비스의 일부 서비스 컴포넌트 또는 기타 파일들은 브로드밴드를 통해 전달될 수 있다. 이 엘레멘트는 이러한 데이터들에 대한 정보들을 기술할 수 있다. 이 엘레멘트는 @fullMPDUri 속성을 더 포함할 수 있다. 이 속성은 브로드밴드로 전달되는 서비스 컴포넌트들에 대해 기술하는 MPD 를 레퍼런싱할 수 있다. 하이브리드 서비스 딜리버리 이외에도, 터널 내의 주행 등으로 인해 방송 신호가 약화되는 경우에 있어, 방송망-브로드밴드 간의 핸드오프(handoff) 를 지원하기 위해 본 엘레멘트가 필요할 수 있다. 방송 신호가 약해지는 경우, 브로드밴드를 통해 서비스 컴포넌트를 획득하다가, 다시 방송 신호가 강해지면 방송망을 통해 서비스 컴포넌트를 획득하여 서비스의 연속성이 보장될 수 있다.
ComponentInfo 엘레멘트는 해당 서비스의 서비스 컴포넌트들에 대한 정보를 포함할 수 있다. 서비스의 서비스 컴포넌트들의 개수에 따라, 이 엘레멘트는 복수개 존재할 수 있다. 이 엘레멘트는 각 서비스 컴포넌트의 타입, 롤(role), 이름, 식별자, 프로텍션 여부 등의 정보들을 기술할 수 있다. 이 엘레멘트의 자세한 정보에 대해서는 후술한다.
전술한 Channel 엘레멘트는 @serviceGenre 속성, @serviceIcon 속성 및/또는 ServiceDescription 엘레멘트를 더 포함할 수 있다. @serviceGenre 속성은 해당 서비스의 장르를 지시하고, @serviceIcon 속성은 해당 서비스를 대표하는 아이콘(icon) 의 URL 정보를 포함할 수 있다. ServiceDescription 엘레멘트는 해당 서비스의 서비스 디스크립션을 제공하는데, 이 엘레멘트는 @serviceDescrText 속성 및/또는 @serviceDescrLang 속성을 더 포함할 수 있다. 이 속성들은 각각 해당 서비스 디스크립션의 텍스트 및 그 텍스트에 사용되는 언어를 지시할 수 있다.
전술한 routeComponent 엘레멘트는 @sTSIDUri 속성, @sTSIDDestinationIpAddress 속성, @sTSIDDestinationUdpPort 속성, @sTSIDSourceIpAddress 속성, @sTSIDMajorProtocolVersion 속성 및/또는 @sTSIDMinorProtocolVersion 속성을 더 포함할 수 있다.
@sTSIDUri 속성은 S-TSID 프래그먼트를 레퍼런싱할 수 있다. 이 필드는 전술한 ROUTE 로 전달되는USBD 의 해당 필드와 같을 수 있다. 이 S-TSID 는 ROUTE 로 전달되는 서비스 컴포넌트들에 대한 액세스 관련 정보를 제공할 수 있다. 이 S-TSID 는 MMT 프로토콜에 따라 리니어 서비스 컴포넌트들이 전달되는 상황에서, ROUTE 프로토콜에 따라 전달되는 NRT 데이터들을 위해 존재할 수 있다.
@sTSIDDestinationIpAddress 속성, @sTSIDDestinationUdpPort 속성 및 @sTSIDSourceIpAddress 속성은 각각 전술한 S-TSID 를 운반하는 전송 패킷의 데스티네이션 IP 어드레스, 데스티네이션 UDP 포트, 소스 IP 어드레스를 나타낼 수 있다. 즉, 이 필드들은 전술한 S-TSID 를 운반하는 전송 세션(MMTP 세션 또는 ROUTE 세션)을 식별할 수 있다.
@sTSIDMajorProtocolVersion 속성 및 @sTSIDMinorProtocolVersion 속성은 전술한 S-TSID 를 전달하는데 사용되는 전송 프로토콜의 메이저 버전 넘버 및 마이너 버전 넘버를 지시할 수 있다.
전술한 ComponentInfo 엘레멘트는 @componentType 속성, @componentRole 속성, @componentProtectedFlag 속성, @componentId 속성 및/또는 @componentName 속성을 더 포함할 수 있다.
@componentType 속성은 해당 컴포넌트의 타입을 지시할 수 있다. 예를 들어 이 속성은 해당 컴포넌트가 오디오, 비디오, 클로즈드캡션 컴포넌트인지를 지시할 수 있다. @componentRole 속성은 해당 컴포넌트의 롤(역할)을 지시할 수 있다. 예를 들어 이 속성은 해당 컴포넌트가 오디오 컴포넌트인 경우 메인 오디오, 뮤직, 코멘터리 등인지를 지시할 수 있다. 해당 컴포넌트가 비디오 컴포넌트인 경우 프라이머리 비디오인지 등을 지시할 수 있다. 해당 컴포넌트가 클로즈드 캡션 컴포넌트인 경우 노말 캡션인지 이지리더(easy reader) 타입인지 등을 지시할 수 있다.
@componentProtectedFlag 속성은 해당 서비스 컴포넌트가 프로텍티드되었는지, 예를 들어 암호화되었는지를 지시할 수 있다. @componentId 속성은 해당 서비스 컴포넌트의 식별자를 나타낼 수 있다. 이 속성의 값은 이 서비스 컴포넌트에 해당하는 MP 테이블의 asset_id (에셋 ID) 와 같은 값일 수 있다. @componentName 속성은 해당 서비스 컴포넌트의 이름을 나타낼 수 있다.
도 6 은 본 발명의 일 실시예에 따른 링크 레이어(Link Layer) 동작을 도시한 도면이다.
링크 레이어는 피지컬 레이어와 네트워크 레이어 사이의 레이어일 수 있다. 송신 측에서는 네트워크 레이어에서 피지컬 레이어로 데이터를 전송하고, 수신 측에서는 피지컬 레이어에서 네트워크 레이어로 데이터를 전송할 수 있다(t6010). 링크 레이어의 목적은 피지컬 레이어에 의한 처리를 위해 모든 입력 패킷 타입을 하나의 포맷으로 압축(abstracting)하는 것, 아직 정의되지 않은 입력 패킷 타입에 대한 유연성(flexibility) 및 추후 확장 가능성을 보장하는 것일 수 있다. 또한 링크 레이어는 입력 패킷의 헤더의 불필요한 정보를 압축하는 옵션을 제공함으로써, 입력 데이터가 효율적으로 전송될 수 있도록 할 수 있다. 링크 레이어의 오버헤드 리덕션, 인캡슐레이션 등의 동작은 링크 레이어 프로토콜이라 불리고, 해당 프로토콜을 이용하여 생성된 패킷은 링크 레이어 패킷이라 불릴 수 있다. 링크 레이어는 패킷 인캡슐레이션(packet encapsulation), 오버헤드 리덕션(Overhead Reduction) 및/또는 시그널링 전송(Signaling Transmission) 등의 기능을 수행할 수 있다.
송신측 기준으로, 링크 레이어(ALP)는 입력 패킷에 대하여 오버헤드 리덕션 과정을 수행한 후 이들을 링크 레이어 패킷으로 인캡슐레이션할 수 있다. 또한 실시예에 따라 링크 레이어는 오버헤드 리덕션 과정을 수행하지 아니하고, 링크 레이어 패킷으로 인캡슐레이션할 수도 있다. 링크 레이어 프로토콜의 사용으로 인해 피지컬 레이어 상에서 데이터의 전송에 대한 오버헤드가 크게 감소할 수 있으며, 본 발명에 따른 링크 레이어 프로토콜은 IP 오버헤드 리덕션 및/또는 MPEG-2 TS 오버헤드 리덕션을 제공할 수 있다.
도시된, IP 패킷이 입력패킷으로 입력되는 경우에 있어서(t6010), 링크 레이어는 IP 헤더 압축, 어댑테이션 및/또는 인캡슐레이션 과정을 차례로 수행할 수 있다. 실시예에 따라 일부 과정은 생략될 수 있다. 먼저, RoHC 모듈이 IP 패킷 헤더 압축을 수행하여 불필요한 오버헤드를 줄이고, 어댑테이션 과정을 통해 컨텍스트 정보가 추출되고 대역 외로 전송될 수 있다. IP 헤더 압축과 어댑테이션 과정을 통칭하여 IP 헤더 압축이라 부를 수도 있다. 이 후 인캡슐레이션 과정을 통해 IP 패킷들이 링크 레이어 패킷들로 인캡슐레이션될 수 있다.
MPEG 2 TS 패킷이 입력패킷으로 입력되는 경우에 있어서, 링크 레이어는 TS 패킷에 대한 오버헤드 리덕션 및/또는 인캡슐레이션 과정을 차례로 수행할 수 있다. 실시예에 따라 일부 과정은 생략될 수 있다. 오버헤드 리덕션에 있어, 링크 레이어는 싱크 바이트 제거, 널 패킷 삭제 및/또는 공통(common) 헤더 제거 (압축)을 제공할 수 있다. 싱크 바이트 제거를 통해 TS 패킷당 1 바이트의 오버헤드 리덕션이 제공될 수 있다. 수신측에서 재삽입될 수 있는 방식으로 널 패킷 삭제가 수행될 수 있다. 또한 연속된 헤더들 간의 공통되는 정보들이 수신측에서 복구될 수 있는 방식으로 삭제(압축)될 수 있다. 각 오버헤드 리덕션 과정 중 일부는 생략될 수 있다. 이 후 인캡슐레이션 과정을 통해 TS 패킷들이 링크 레이어 패킷들로 인캡슐레이션될 수 있다. TS 패킷의 인캡슐레이션에 대한 링크 레이어 패킷 구조는 다른 타입의 패킷들과는 다를 수 있다.
먼저 IP 헤더 압축(IP Header Compression) 에 대해서 설명한다.
IP 패킷은 고정된 헤더 포맷을 가지고 있으나, 통신 환경에서 필요한 일부 정보는 브로드캐스트 환경에서 불필요할 수 있다. 링크 레이어 프로토콜은 IP 패킷의 헤더를 압축함으로써 브로드캐스트 오버헤드를 줄이는 메커니즘을 제공할 수 있다.
IP 헤더 압축은 헤더 컴프레서/디컴프레서 및/또는 어댑테이션 모듈을 포함할 수 있다. IP 헤더 컴프레서(RoHC 컴프레서)는 RoHC 방식에 기초하여 각 IP 패킷 헤더의 크기를 감소시킬 수 있다. 이 후 어댑테이션 모듈은 컨텍스트 정보를 추출하고 각 패킷 스트림으로부터 시그널링 정보를 생성할 수 있다. 수신기는 해당 패킷 스트림에 관련된 시그널링 정보를 파싱하고 컨텍스트 정보를 그 패킷 스트림에 붙일(attach) 수 있다. RoHC 디컴프레서는 패킷 헤더를 복구하여 원래의 IP 패킷을 재구성할 수 있다. 이하, IP 헤더 압축이란, 헤더 컴프레서에 의한 IP 헤더 압축만을 의미할 수도 있고, IP 헤더 압축과 어댑테이션 모듈에 의한 어댑테이션 과정을 합한 개념을 의미할 수도 있다. 디컴프레싱(decompressing) 에 대해서도 마찬가지이다.
이하, 어댑테이션(Adaptation) 에 대해서 설명한다.
단방향 링크를 통한 전송의 경우, 수신기가 컨텍스트의 정보를 갖고 있지 않으면, 디컴프레서는 완전한 컨텍스트를 수신할 때까지 수신된 패킷 헤더를 복구할 수 없다. 이는 채널 변경 지연 및 턴 온 딜레이 (turn-on delay)를 초래할 수 있다. 따라서 어댑테이션 기능을 통해, 컴프레서/디컴프레서 간의 컨피규레이션 파라미터와 컨텍스트 정보가 대역 외로 전송될 수 있다. 어댑테이션 펑션(function)은 컨텍스트 정보 및/또는 컨피규레이션 파라미터들을 이용하여 링크 레이어 시그널링을 생성(construction) 할 수 있다. 어댑테이션 펑션은 예전(previous) 컨피규레이션 파라미터 및/또는 컨텍스트 정보를 이용하여 각각의 피지컬 프레임을 통해 주기적으로 링크 레이어 시그널링을 전송할 수 있다.
압축된 IP 패킷들로부터 컨텍스트 정보가 추출되는데, 어댑테이션 모드에 따라 다양한 방법이 사용될 수 있다.
모드 #1 은 압축된 패킷 스트림에 대해 어떠한 동작도 수행하지 않는 모드로서, 어댑테이션 모듈이 버퍼로서 동작하는 모드일 수 있다.
모드 #2 는 압축된 패킷 스트림 중, IR 패킷을 검출하여 컨텍스트 정보(스태틱 체인)을 추출하는 모드일 수 있다. 추출후 IR 패킷은 IR-DYN 패킷으로 전환되고, IR-DYN 패킷은 원래의 IR 패킷을 대체하여 패킷 스트림 내에서 같은 순서로 전송될 수 있다.
모드 #3 (t6020) 는 압축된 패킷 스트림 중, IR 및 IR-DYN 패킷을 검출하고 컨텍스트 정보를 추출하는 모드일 수 있다. IR 패킷으로부터 스태틱 체인 및 다이나믹 체인이, IR-DYN 패킷으로부터 다이나믹 체인이 추출될 수 있다. 추출후 IR 및 IR-DYN 패킷은 일반 압축 패킷으로 전환될 수 있다. 전환된 패킷은 원래의 IR 및 IR-DYN 패킷을 대체하여 패킷 스트림 내에서 같은 순서로 전송될 수 있다.
각 모드에서, 컨텍스트 정보가 추출되고 남은 패킷들은, 압축된 IP 패킷을 위한 링크 레이어 패킷 구조에 따라 인캡슐레이션 되어 전송될 수 있다. 컨텍스트 정보들은, 링크 레이어 시그널링으로서, 시그널링 정보를 위한 링크 레이어 패킷 구조에 따라 인캡슐레이션 되어 전송될 수 있다.
추출된 컨텍스트 정보는 RDT (RoHC-U Description Table) 에 포함되어 RoHC 패킷 플로우와 별도로 전송될 수 있다. 컨텍스트 정보는 다른 시그널링 정보와 함께 특정(specific) 피지컬 데이터 경로를 통해 전송될 수 있다. 특정 피지컬 데이터 경로란, 실시예에 따라, 일반적인 PLP 중 하나를 의미할 수도 있고, LLS (Low Level Signaling) 이 전달되는 PLP 를 의미할 수도 있고, 지정된(dedicated) PLP 일 수도 있고, L1 시그널링 패쓰(path)를 의미할 수도 있다. 여기서 RDT 는 컨텍스트 정보(스태틱 체인 및/또는 다이나믹 체인) 및/또는 헤더 컴프레션과 관련된 정보를 포함하는 시그널링 정보일 수 있다. 실시예에 따라 RDT 는 컨텍스트 정보가 바뀔 때마다 전송될 수 있다. 또한 실시예에 따라 RDT 는 매 피지컬 프레임에서 전송될 수 있다. 매 피지컬 프레임에서 RDT 를 전송하기 위해서, 예전(previous) RDT 가 재사용(re-use)될 수 있다.
수신기는 패킷 스트림을 획득하기 앞서, 최초 PLP 를 선택해 SLT, RDT, LMT 등의 시그널링 정보를 먼저 획득할 수 있다. 수신기는 이 시그널링 정보들이 획득되면, 이 들을 조합하여 서비스 - IP 정보 - 컨텍스트 정보 - PLP 간의 매핑을 획득할 수 있다. 즉, 수신기는 어떤 서비스가 어느 IP 스트림들로 전송되는지, 어떤 PLP 로 어떤 IP 스트림들이 전달되는지 등을 알 수 있고, 또한 PLP 들의 해당 컨텍스트 정보들을 획득할 수 있다. 수신기는 특정 패킷 스트림을 운반하는 PLP 를 선택하여 디코딩 할 수 있다. 어댑테이션 모듈은 컨텍스트 정보를 파싱하고 이를 압축된 패킷들과 합칠 수 있다. 이를 통해 패킷 스트림이 복구될 수 있고, 이는 RoHC 디컴프레서로 전달될 수 있다. 이후 디컴프레션이 시작될 수 있다. 이 때 수신기는 어댑테이션 모드에 따라, IR 패킷을 디텍팅하여 최초 수신된 IR 패킷으로부터 디컴프레션을 시작하거나(모드 1), IR-DYN 패킷을 디텍팅하여 최초 수신된 IR-DYN 패킷으로부터 디컴프레션을 시작하거나(모드 2), 아무 일반 압축 패킷(compressed packet)으로부터 디컴프레션을 시작할 수 있다(모드 3).
이하, 패킷 인캡슐레이션에 대해서 설명한다.
링크 레이어 프로토콜은 IP 패킷, TS 패킷 등의 모든 타입의 인풋 패킷들을 링크 레이어 패킷으로인캡슐레이션할 수 있다. 이를 통해 피지컬 레이어는 네트워크 레이어의 프로토콜 타입과는 독립적으로 하나의 패킷 포맷만 처리하면 된다(여기서 네트워크 레이어 패킷의 일종으로 MPEG-2 TS 패킷을 고려). 각 네트워크 레이어 패킷 또는 입력 패킷은 제네릭 링크 레이어 패킷의 페이로드로 변형된다.
패킷 인캡슐레이션 과정에서 분할(segmentation) 이 활용될 수 있다. 네트워크 레이어 패킷이 지나치게 커서 피지컬 레이어에서 처리하지 못하는 경우, 네트워크 레이어 패킷은 두 개 이상의 세그먼트들로 나누어질 수 있다. 링크 레이어 패킷 헤더는 송신 측에서 분할을 실행하고 수신 측에서 재결합을 실행하기 위한 필드들을 포함할 수 있다. 각 세그먼트들은 원래 위치와 같은 순서로 링크 레이어 패킷으로 인캡슐레이션될 수 있다.
패킷 인캡슐레이션 과정에서 연쇄(concatenation) 또한 활용될 수 있다. 링크 레이어 패킷의 페이로드가 여러 네트워크 레이어 패킷을 포함할 정도로 네트워크 레이어 패킷이 충분히 작은 경우, 연쇄가 수행될 수 있다. 링크 레이어 패킷 헤더는 연쇄를 실행하기 위한 필드들을 포함할 수 있다. 연쇄의 경우 각 입력 패킷들은 원래의 입력 순서와 같은 순서로 링크 레이어 패킷의 페이로드로 인캡슐레이션될 수 있다.
링크 레이어 패킷은 헤더와 페이로드를 포함할 수 있고, 헤더는 베이스 헤더, 추가(additional) 헤더 및/또는 옵셔널 헤더가 포함될 수 있다. 추가 헤더는 연쇄나 분할 등의 상황에 따라 더 추가될 수 있는데, 추가헤더에는 상황에 맞춘 필요한 필드들이 포함될 수 있다. 또한 추가적인 정보의 전달을 위해 옵셔널 헤더가 더 추가될 수도 있다. 각각의 헤더 구조는 기 정의되어 있을 수 있다. 전술한 바와 같이 입력 패킷이 TS 패킷인 경우에는, 다른 패킷들과는 다른 링크 레이어 헤더 구조가 사용될 수 있다.
이하, 링크 레이어 시그널링에 대해서 설명한다.
링크 레이어 시그널링은 IP 레이어보다 하위 레벨에서 동작할 수 있다. 수신측에서는 LLS, SLT, SLS 등의 IP 레벨 시그널링보다, 링크 레이어 시그널링을 더 빠르게 획득할 수 있다. 따라서 링크 레이어 시그널링은 세션 설정(establishment) 이전에 획득될 수 있다.
링크 레이어 시그널링에는 인터널 링크 레이어 시그널링과 익스터널 링크 레이어 시그널링이 있을 수 있다. 인터널 링크 레이어 시그널링은 링크 레이어에서 생성된 시그널링 정보일 수 있다. 전술한 RDT 나 후술할 LMT 등이 여기에 해당할 수 있다. 익스터널 링크 레이어 시그널링은 외부 모듈 또는 외부 프로토콜, 상위 레이어로부터 전달받은 시그널링 정보일 수 있다. 링크 레이어는 링크 레이어 시그널링을 링크 레이어 패킷으로 인캡슐레이션하여 전달할 수 있다. 링크 레이어 시그널링을 위한 링크 레이어 패킷 구조(헤더 구조)가 정의될 수 있는데, 이 구조에 따라 링크 레이어 시그널링 정보가 인캡슐레이션될 수 있다.
도 7 은 본 발명의 일 실시예에 따른 LMT (Link Mapping Table) 를 도시한 도면이다.
LMT 는 PLP 로 운반되는 상위 레이어 세션들의 리스트를 제공할 수 있다. 또한 LMT 는 상위 레이어 세션들을 전달하는 링크 레이어 패킷들을 프로세싱하기 위한 추가적인 정보들을 제공할 수 있다. 여기서 상위 레이어 세션은 멀티캐스트(multicast) 라고 불릴 수도 있다. LMT 를 통해 특정 PLP 를 통해 어떠한 IP 스트림들, 어떠한 전송 세션들이 전송되고 있는지에 대한정보가 획득될 수 있다. 반대로 특정 전송 세션이 어느 PLP 로 전달되는지에 대한 정보를 획득할 수 있다.
LMT 는 LLS 를 운반하는 것으로 식별된 어떤 PLP 로도 전달될 수 있다. 여기서 LLS 가 전달되는 PLP 는 피지컬 레이어의 L1 디테일 시그널링 정보의 LLS 플래그에 의해 식별될 수 있다. LLS 플래그는 각각의 PLP 에 대하여, 해당 PLP 로 LLS 가 전달되는지 여부를 지시하는 플래그 필드일 수 있다. 여기서 L1 디테일 시그널링 정보는 후술할 PLS2 데이터에 해당할 수 있다.
즉, LMT 는 LLS 와 함께, 같은 PLP 로 전달될 수 있다. 각각의 LMT 들은 전술한 바와 같이 PLP 들과 IP 어드레스/포트간의 매핑을 기술할 수 있다. 전술한 바와 같이 LLS 는 SLT 를 포함할 수 있는데, LMT 가 기술하는 이 IP 어드레스/포트들은, 해당 LMT 와 같은 PLP 로 전달되는 SLT 가 기술하는, 모든(any) 서비스와 관련된 모든(any) IP 어드레스/포트들일 수 있다.
실시예에 따라 전술한 SLT, SLS 등에서의 PLP 식별자 정보가 활용되어, SLT, SLS 가 지시하는 특정전송 세션이 어느 PLP 로 전송되고 있는지에 대한 정보가 확인될 수 있다.
다른 실시예에 따라 전술한 SLT, SLS 등에서의 PLP 식별자 정보는 생략되고, SLT, SLS 가 지시하는 특정 전송 세션에 대한 PLP 정보는 LMT 내의 정보를 참조함으로써 확인될 수 있다. 이 경우 수신기는 LMT 와 다른 IP 레벨 시그널링 정보들을 조합하여, 알고자 하는 PLP 를 식별할 수 있다. 이 실시예에 있어서도 SLT, SLS 등에서의 PLP 정보는 생략되지 않고, SLT, SLS 등에 남아있을 수 있다.
도시된 실시예에 따른 LMT 는, signaling_type 필드, PLP_ID 필드, num_session 필드 및/또는 각각의 세션들에 대한 정보들을 포함할 수 있다. 도시된 실시예의 LMT 는 하나의 PLP 에 대해서, 그 PLP 로 전송되는 IP 스트림들을 기술하고 있지만, 실시예에 따라 LMT 에 PLP 루프가 추가되어, 복수개의 PLP 에 대한 정보가 기술될 수도 있다. 이 경우 LMT 는, 전술한 바와 같이, 함께 전달되는 SLT 가 기술하는 모든 서비스와 관련된 모든 IP 어드레스/포트들에 대한 PLP 들을, PLP 루프로 기술할 수 있다.
signaling_type 필드는 해당 테이블에 의해 전달되는 시그널링 정보의 타입을 지시할 수 있다. LMT 에 대한 signaling_type 필드의 값은 0x01로 설정될 수 있다. signaling_type 필드는 생략될 수 있다. PLP_ID 필드는 기술하고자 하는 대상 PLP 를 식별할 수 있다. PLP 루프가 사용되는 경우, 각각의 PLP_ID 필드는 각각의 대상 PLP 를 식별할 수 있다. PLP_ID 필드부터는 PLP 루프 내에 포함될 수 있다. 이하 언급되는 PLP_ID 필드는 PLP 루프 중의 PLP 하나에 대한 식별자이며, 이하 설명되는 필드들은 그 해당 PLP 에 대한 필드들일 수 있다.
num_session 필드는 해당 PLP_ID 필드에 의해 식별되는 PLP 로 전달되는 상위 레이어 세션들의 개수를 나타낼 수 있다. num_session 필드가 나타내는 개수에 따라, 각각의 세션들에 대한 정보들이 포함될 수 있다. 이정보에는 src_IP_add 필드, dst_IP_add 필드, src_UDP_port 필드, dst_UDP_port 필드, SID_flag 필드, compressed_flag 필드, SID 필드 및/또는 context_id 필드가 있을 수 있다.
src_IP_add 필드, dst_IP_add 필드, src_UDP_port 필드 및 dst_UDP_port 필드는 해당 PLP_ID 필드에 의해 식별되는 PLP 로 전달되는 상위 레이어 세션들 중, 해당 전송 세션에 대한 소스 IP 어드레스, 데스티네이션 IP 어드레스, 소스 UDP 포트, 데스티네이션 UDP 포트를 나타낼 수 있다.
SID_flag 필드는 해당 전송 세션을 전달하는 링크 레이어 패킷이 그 옵셔널 헤더에 SID 필드를 갖는지 여부를 지시할 수 있다. 상위 레이어 세션을 전달하는 링크 레이어 패킷은 그 옵셔널 헤더에 SID 필드를 가질 수 있고, 그 SID 필드 값은 후술할 LMT 내의 SID 필드와 동일할 수 있다.
compressed_flag 필드는 해당 전송 세션을 전달하는 링크 레이어 패킷의 데이터들에 헤더 컴프레션이 적용되었는지 여부를 지시할 수 있다. 또한 본 필드의 값에 따라 후술할 context_id 필드의 존부가 결정될 수 있다. 헤더 컴프레션이 적용된 경우(compressed_flag = 1), RDT 가 존재할 수 있고, 그 RDT 의 PLP ID 필드는 본 compressed_flag 필드와 관련된 해당 PLP_ID 필드와 같은 값을 가질 수 있다.
SID 필드는 해당 전송 세션을 전달하는 링크 레이어 패킷들에 대한 SID (sub stream ID) 를 지시할 수 있다. 이 링크 레이어 패킷들은, 그 옵셔널 헤더에 본 SID 필드와 같은 값을 가지는 SID 를 포함하고 있을 수 있다. 이를 통해 수신기는 링크 레이어 패킷을 전부 파싱할 필요 없이, LMT 의 정보와 링크 레이어 패킷 헤더의 SID 정보를 이용하여, 링크 레이어 패킷들을 필터링할 수 있다.
context_id 필드는 RDT 내의 CID(context id) 에 대한 레퍼런스를 제공할 수 있다. RDT 의 CID 정보는 해당되는 압축 IP 패킷 스트림에 대한 컨텍스트 ID 를 나타낼 수 있다. RDT 는 해당 압축 IP 패킷 스트림에 대한 컨텍스트 정보들을 제공할 수 있다. 본 필드를 통해 RDT 와 LMT 가 연관될 수 있다.
전술한, 본 발명의 시그널링 정보/테이블의 실시예들에 있어서, 각각의 필드, 엘레멘트, 속성들은 생략되거나 다른 필드로 대체될 수 있으며, 실시예에 따라 추가적인 필드, 엘레멘트, 속성들이 추가될 수도 있다.
본 발명의 일 실시예에서, 한 서비스의 서비스 컴포넌트들이 복수개의 ROUTE 세션을 통해 전달될 수 있다. 이 경우, SLT 의 부트스트랩 정보를 통하여 SLS 가 획득될 수 있다. 이 SLS 의 USBD 를 통해 S-TSID 와 MPD 가 레퍼런싱될 수 있다. S-TSID 는 SLS 가 전달되고 있는 ROUTE 세션 뿐 아니라, 서비스 컴포넌트들이 전달되고 있는 다른 ROUTE 세션에 대한 전송 세션 디스크립션 정보 또한 기술할 수 있다. 이를 통해 복수개의 ROUTE 세션을 통해 전달되는 서비스 컴포넌트들이 모두 수집될 수 있다. 이러한 사항은 한 서비스의 서비스 컴포넌트들이 복수개의 MMTP 세션을 통해 전달되는 경우에도 유사하게 적용될 수 있다. 참고로, 하나의 서비스 컴포넌트는 복수개의 서비스에 의해 동시에 사용될 수도 있다.
본 발명의 또 다른 실시예에서, ESG 서비스에 대한 부트스트래핑은 방송망 또는 브로드밴드에 의해 수행될 수 있다. 브로드밴드를 통한 ESG 획득을 통해, SLT 의 URL 정보가 활용될 수 있다. 이 URL 로 ESG 정보 등이 요청될 수 있다.
본 발명의 또 다른 실시예에서, 한 서비스의 서비스 컴포넌트가 하나는 방송망으로 하나는 브로드밴드로 전달될 수 있다(하이브리드). S-TSID 는 방송망으로 전달되는 컴포넌트들에 대해 기술해, ROUTE 클라이언트가 원하는 서비스 컴포넌트들을 획득케 할 수 있다. 또한 USBD 는 베이스 패턴 정보를 가지고 있어, 어느 세그먼트들이(어느 컴포넌트들이) 어느 경로로 전달되는지 기술할 수 있다. 따라서 수신기는 이를 이용해, 브로드밴드 서버로 요청해야될 세그먼트는 무엇인지, 방송 스트림에서 찾아야될 세그먼트는 무엇인지 알 수 있다.
본 발명의 또 다른 실시예에서, 서비스에 대한 스케일러블(scalable) 코딩이 수행될 수 있다. USBD 는 해당 서비스를 렌더링하기 위해 필요한 모든 캐패빌리티 정보를 가질 수 있다. 예를 들어 한 서비스가 HD 또는 UHD 로 제공되는 경우, USBD 의 캐패빌리티 정보는 “HD 또는 UHD” 값을 가질 수 있다. 수신기는 MPD 를 이용하여 UHD 또는 HD 서비스를 렌더링하기 위하여 어느 컴포넌트가 재생되어야 하는지 알 수 있다.
본 발명의 또 다른 실시예에서, SLS 를 전달하는 LCT 채널로 전달되는 LCT 패킷들의 TOI 필드를 통해, 해당 LCT 패킷들이 어느 SLS 프래그먼트를 전달하고 있는지(USBD, S-TSID, MPD 등..) 가 식별될 수 있다.
본 발명의 또 다른 실시예에서, 앱 기반 인핸스먼트/ 앱 기반 서비스에 사용될 앱 컴포넌트들은 NRT 컴포넌트로서 방송망을 통해 전달되거나 브로드밴드를 통해 전달될 수 있다. 또한 앱 기반 인핸스먼트에 대한 앱 시그널링은 SLS 와 함께 전달되는 AST (Application Signaling Table) 에 의해 수행될 수 있다. 또한 앱이 수행할 동작에 대한 시그널링인 이벤트는 SLS 와 함께 EMT (Event Message Table) 형태로 전달되거나, MPD 내에 시그널링되거나, DASH 레프리젠테이션 내에 box 형태로 인밴드(in-band) 시그널링될 수 있다. AST, EMT 등은 브로드밴드를 통해 전달될 수도 있다. 수집된 앱 컴포넌트들과 이러한 시그널링 정보들을 이용해 앱 기반 인핸스먼트 등이 제공될 수 있다.
본 발명의 또 다른 실시예에서, 긴급 경보를 위해 CAP 메시지가 전술한 LLS 테이블에 포함되어 제공될 수 있다. 긴급 경보를 위한 리치 미디어(Rich Media) 컨텐츠 역시 제공될 수 있다. 리치 미디어는 CAP 메시지에 의해 시그널링될 수 있으며, 리치 미디어가 존재하는 경우 이는 SLT 에 의해 시그널링되는 EAS 서비스로서 제공될 수 있다.
본 발명의 또 다른 실시예에서, MMT 프로토콜에 따라 리니어 서비스 컴포넌트들이 방송망을 통해 전달될 수 있다. 이 경우 해당 서비스에 대한 NRT 데이터(예를 들어 앱 컴포넌트)들은 ROUTE 프로토콜에 따라 방송망을 통해 전달될 수 있다. 또한 해당 서비스에 대한 데이터가 브로드밴드를 통해 전달될 수도 있다. 수신기는 SLT 의 부트스트랩 정보를 이용해 SLS 를 전달하는 MMTP 세션에 접근할 수 있다. MMT 에 따른 SLS 의 USBD 는 MP 테이블을 레퍼런싱하여, 수신기가 MMT 프로토콜에 따라 전달되는 MPU 로 포맷된 리니어 서비스 컴포넌트들을 획득케 할 수 있다. 또한, USBD 는 S-TSID 를 더 레퍼런싱하여, 수신기가 ROUTE 프로토콜에 따라 전달되는 NRT 데이터를 획득케 할 수 있다. 또한, USBD 는 MPD 를 더 레퍼런싱하여, 브로드밴드를 통해 전달되는 데이터에 대한 재생 디스크립션을 제공할 수 있다.
본 발명의 또 다른 실시예에서, 수신기는 그 컴패니언 디바이스에 스트리밍 컴포넌트 및/또는 파일 컨텐트 아이템(파일 등)을 획득할 수 있는 로케이션 URL 정보를, 웹소켓 등의 방법을 통해 전달할 수 있다. 컴패니언 디바이스의 어플리케이션은 이 URL 로 HTTP GET 등을 통해 요청하여 해당 컴포넌트, 데이터 등을 획득할 수 있다. 그 밖에 수신기는 시스템 타임 정보, 긴급 경보 정보 등의 정보를 컴패니언 디바이스 측에 전달할 수 있다.
도 8은 본 발명의 일 실시예에 따른 차세대 방송 서비스에 대한 방송 신호 송신 장치의 구조를 나타낸다.
본 발명의 일 실시예에 따른 차세대 방송 서비스에 대한 방송 신호 송신 장치는 인풋 포맷 블록 (Input Format block) (1000), BICM (bit interleaved coding & modulation) 블록(1010), 프레임 빌딩 블록 (Frame building block) (1020), OFDM (orthogonal frequency division multiplexing) 제너레이션 블록 (OFDM generation block)(1030), 및 시그널링 생성 블록(1040)을 포함할 수 있다. 방송 신호 송신 장치의 각 블록의 동작에 대해 설명한다.
본 발명의 일 실시예에 따른 입력 데이터는 IP 스트림/패킷 및 MPEG2-TS이 주요 입력 포맷이 될 수 있으며, 다른 스트림 타입은 일반 스트림으로 다루어진다.
인풋 포맷 블록(1000)은 각각의 입력 스트림을 독립적인 코딩 및 변조가 적용되는 하나 또는 다수의 데이터 파이프로 디멀티플렉싱 할 수 있다. 데이터 파이프는 견고성(robustness) 제어를 위한 기본 단위이며, 이는 QoS (Quality of Service)에 영향을 미친다. 하나 또는 다수의 서비스 또는 서비스 컴포넌트가 하나의 데이터 파이프에 의해 전달될 수 있다. 데이터 파이프는 하나 또는 다수의 서비스 또는 서비스 컴포넌트를 전달할 수 있는 서비스 데이터 또는 관련 메타데이터를 전달하는 물리 계층(physical layer)에서의 로지컬 채널이다.
QoS가 본 발명의 일 실시예에 따른 차세대 방송 서비스에 대한 방송 신호 송신 장치에 의해 제공되는 서비스의 특성에 의존하므로, 각각의 서비스에 해당하는 데이터는 서로 다른 방식을 통해 처리되어야 한다.
BICM 블록(1010)은 MIMO가 적용되지 않는 프로파일 (또는 시스템)에 적용되는 처리 블록 및/또는 MIMO가 적용되는 프로파일(또는 시스템)의 처리 블록을 포함할 수 있으며, 각각의 데이터 파이프를 처리하기 위한 복수의 처리 블록을 포함할 수 있다.
MIMO가 적용되지 않는 BICM 블록의 처리 블록은 데이터 FEC 인코더, 비트 인터리버, 컨스텔레이션 매퍼(mapper), SSD (signal space diversity) 인코딩 블록, 타임 인터리버를 포함할 수 있다. MIMO가 적용되는 BICM 블록의 처리 블록은 셀 워드 디멀티플렉서 및 MIMO 인코딩 블록을 더 포함한다는 점에서 MIMO가 적용되지 않는 BICM의 처리 블록과 구별된다.
데이터 FEC 인코더는 외부 코딩(BCH) 및 내부 코딩(LDPC)을 이용하여 FECBLOCK 절차를 생성하기 위해 입력 BBF에 FEC 인코딩을 실행한다. 외부 코딩(BCH)은 선택적인 코딩 방법이다. 비트 인터리버는 데이터 FEC 인코더의 출력을 인터리빙하여 LDPC 코드 및 변조 방식의 조합으로 최적화된 성능을 달성할 수 있다. 컨스텔레이션 매퍼는 QPSK, QAM-16, 불균일 QAM (NUQ-64, NUQ-256, NUQ-1024) 또는 불균일 컨스텔레이션 (NUC-16, NUC-64, NUC-256, NUC-1024)을 이용해서 비트 인터리버 또는 셀 워드 디멀티플렉서로부터의 셀 워드를 변조하여 파워가 정규화된 컨스텔레이션 포인트를 제공할 수 있다. NUQ가 임의의 형태를 갖는 반면, QAM-16 및 NUQ는 정사각형 모양을 갖는 것이 관찰된다. NUQ 및 NUC는 모두 각 코드 레이트(code rate)에 대해 특별히 정의되고, PLS2 데이터의 파라미터 DP_MOD에 의해 시그널링 된다. 타임 인터리버는 데이터 파이프 레벨에서 동작할 수 있다. 타임 인터리빙의 파라미터는 각각의 데이터 파이프에 대해 다르게 설정될 수 있다.
본 발명의 타임 인터리버는 BICM 체인(BICM chain) 블록과 프레임 빌더(Frame Builder) 사이에 위치할 수 있다. 이 경우, 본 발명의 타임 인터리버는 PLP (Physical Layer Pipe) 모드에 따라 컨볼루션 인터리버(Convolution Interleaver, CI)와 블록 인터리버(Block Interleaver, BI)를 선택적으로 사용하거나, 모두 사용할 수 있다. 본 발명의 일 실시예에 따른 PLP는 상술한 DP와 동일한 개념으로 사용되는 피지컬 패스(physical path)로서, 호칭은 설계자의 의도에 따라 변경 가능하다. 본 발명의 일 실시예에 따른 PLP 모드는 방송 신호 송신기 또는 방송 신호 송신 장치에서 처리하는 PLP 개수에 따라 싱글 PLP(single PLP) 모드 또는 멀티플 PLP(multiple PLP)모드를 포함할 수 있다. 본 발명에서는 PLP 모드에 따라 서로 다른 타임 인터리빙 방법을 적용하는 타임 인터리빙을 하이브리드 타임 인터리빙(Hybrid Time Interleaving)이라 호칭할 수 있다.
하이브리드 타임 인터리버는 블록 인터리버(BI)와 컨볼루션 인터리버(CI)를 포함할 수 있다. PLP_NUM=1인 경우, 블록 인터리버는 적용되지 않고(블록인터리버 오프(off)), 컨볼루션 인터리버만 적용된다. PLP_NUM>1인 경우, 블록 인터리버와 컨볼루션 인터리버가 모두 적용(블록 인터리버 온(on))될 수 있다. PLP_NUM>1인 경우 적용되는 컨볼루션 인터리버의 구조 및 동작은 PLP_NUM=1인 경우 적용되는 컨볼루션 인터리버의 구조 및 동작과 다를 수 있다. 하이브리드 타임 디인터리버는 상술한 하이브리드 타임 인터리버의 역동작에 상응하는 동작을 수행할 수 있다.
셀 워드 디멀티플렉서는 MIMO 처리를 위해 단일 셀 워드 스트림을 이중 셀 워드 스트림으로 분리하는 데 사용된다. MIMO 인코딩 블록은 MIMO 인코딩 방식을 이용해서 셀 워드 디멀티플렉서의 출력을 처리할 수 있다. 본 발명의 MIMO 인코딩 방식은 수신기 측에서의 비교적 작은 복잡도 증가로 용량 증가를 제공하기 위한 FR-SM (full-rate spatial multiplexing)으로 정의 될 수 있다. MIMO 처리는 데이터 파이프 레벨에서 적용된다. 컨스텔레이션 매퍼 출력의 페어(pair, 쌍)인 NUQ (e1,i 및 e2,i)는 MIMO 인코더의 입력으로 공급되면 MIMO 인코더 출력 페어(pair, 쌍)(g1,i 및 g2,i)은 각각의 송신 안테나의 동일한 캐리어 k 및 OFDM 심볼 l에 의해 전송된다.
프레임 빌딩 블록(1020)은 하나의 프레임 내에서 입력 데이터 파이프의 데이터 셀을 OFDM 심볼로 매핑하고 주파수 영역 다이버시티를 위해 주파수 인터리빙을 수행할 수 있다.
본 발명의 일 실시예에 따른 프레임은 프리앰블, 하나 이상의 FSS (frame signaling symbol), 노멀 데이터 심볼로 분리된다. 프리앰블은 신호의 효율적인 송신 및 수신을 위한 기본 전송 파라미터의 집합을 제공하는 특별한 심볼이다. 프리앰블은 프레임의 기본 전송 파라미터 및 전송 타입을 시그널링 할 수 있다. 특히 프리앰블은 EAS (emergency alert service)이 현재 프레임에 제공되는지 여부를 지시할 수 있다. FSS의 주된 목적은 PLS 데이터를 전달하는 것이다. 고속 동기화 및 채널 추정, PLS 데이터의 고속 디코딩을 위해, FSS는 노멀 데이터 심볼보다 고밀도의 파일럿 패턴을 갖는다.
프레임 빌딩 블록은 데이터 파이프와 해당하는 PLS 데이터 사이의 타이밍을 조절하여 송신기 측에서 데이터 파이프와 해당하는 PLS 데이터 간의 동시성(co-time)을 보장하기 위한 딜레이 컴펜세이션(delay compensation, 지연보상) 블록, PLS, 데이터 파이프, 보조 스트림, 및 더미 셀 등을 프레임 내에서 OFDM 심볼의 액티브(active) 캐리어에 매핑하기 위한 셀 매퍼 (cell mapper) 및 프리퀀시 인터리버 (frequency interleaver)를 포함할 수 있다.
프리퀀시 인터리버는 셀 매퍼로부터 의해 수신된 데이터 셀을 랜덤하게 인터리빙하여 주파수 다이버시티를 제공할 수 있다. 또한, 프리퀀시 인터리버는 단일 프레임에서 최대의 인터리빙 이득을 얻기 위해 다른 인터리빙 시드(seed) 순서를 이용하여 두 개의 순차적인 OFDM 심볼로 구성된 OFDM 심볼 페어(pair, 쌍)에 대응하는 데이터 또는 OFDM 심볼 하나에 대응하는 데이터에 대해 동작할 수 있다.
OFDM 제너레이션 블록(1030)은 프레임 빌딩 블록에 의해 생성된 셀에 의해 OFDM 캐리어를 변조하고, 파일럿을 삽입하고, 전송을 위한 시간 영역 신호를 생성한다. 또한, 해당 블록은 순차적으로 가드 인터벌을 삽입하고, PAPR 감소 처리를 적용하여 최종 RF 신호를 생성한다.
시그널링 생성 블록(1040)은 각 기능 블록의 동작에 사용되는 물리 계층(physical layer) 시그널링 정보를 생성할 수 있다. 본 발명의 일 실시예에 따른 시그널링 정보는 PLS 데이터를 포함할 수 있다. PLS는 수신기에서 피지컬 레이어(physical layer) 데이터 파이프에 접속할 수 있는 수단을 제공한다. PLS 데이터는 PLS1 데이터 및 PLS2 데이터로 구성된다.
PLS1 데이터는 PLS2 데이터를 디코딩하는 데 필요한 파라미터뿐만 아니라 시스템에 관한 기본 정보를 전달하는 고정된 사이즈, 코딩, 변조를 갖는 프레임에서 FSS로 전달되는 PLS 데이터의 첫 번째 집합이다. PLS1 데이터는 PLS2 데이터의 수신 및 디코딩을 가능하게 하는 데 요구되는 파라미터를 포함하는 기본 송신 파라미터를 제공한다. PLS2 데이터는 데이터 파이프 및 시스템에 관한 더욱 상세한 PLS 데이터를 전달하며 FSS로 전송되는 PLS 데이터의 두 번째 집합이다. PLS2 시그널링은 PLS2 스태틱(static, 정적) 데이터(PLS2-STAT 데이터) 및 PLS2 다이나믹(dynamic, 동적) 데이터(PLS2-DYN 데이터)의 두 종류의 파라미터로 더 구성된다. PLS2 스태틱(static, 정적) 데이터는 프레임 그룹의 듀레이션 동안 스태틱(static, 정적)인 PLS2 데이터이고, PLS2 다이나믹(dynamic, 동적) 데이터는 프레임마다 다이나믹(dynamic, 동적)으로 변화하는 PLS2 데이터이다.
PLS2 데이터는 FIC_FLAG 정보를 포함할 수 있다. FIC (Fast Information Channel)은 빠른 서비스 획득 및 채널 스캔(fast service acquisition and channel scanning)을 가능하게 하는 크로스-레이어 (cross-layer) 정보를 전송하기 위한 데디케이티드 채널(dedicated channel)이다. FIC_FLAG 정보는 1비트의 필드로서, FIC((fast information channel, 고속 정보 채널)가 현 프레임 그룹에서 사용되는지 여부를 나타낸다. 해당 필드의 값이 1로 설정되면, FIC는 현 프레임에서 제공된다. 해당 필드의 값이 0으로 설정되면, FIC는 현 프레임에서 전달되지 않는다.BICM 블록(1010)은 PLS 데이터의 보호를 위한 BICM 블록을 포함할 수 있다. PLS 데이터의 보호를 위한 BICM 블록은 PLS FEC 인코더, 비트 인터리버, 및 컨스텔레이션 매퍼를 포함할 수 있다.
PLS FEC 인코더는 PLS1 데이터 및 PLS2 데이터를 스크램블링하기 위한 스크램블러, PLS 보호를 위한 쇼트닝된 BCH 코드를 이용하여 스크램블링된 PLS 1,2 데이터에 외부 인코딩을 수행하고, BCH 인코딩 후에 제로 비트를 삽입하기 위한 BCH 인코딩/제로 삽입 블록, LDPC 코드를 이용하여 인코딩을 수행하기 위한 LDPC 인코딩 블록, 및 LDPC 패리티 펑처링(puncturing) 블록을 포함할 수 있다. PLS1 데이터에 대해서만, 제로 삽입의 출력 비트가 LDPC 인코딩 전에 퍼뮤테이션(permutation) 될 수 있다.. 비트 인터리버는 각각의 쇼트닝 및 펑처링된 PLS1 데이터 및 PLS2 데이터를 인터리빙하고, 컨스텔레이션 매퍼는 비트 인터리빙된 PLS1 데이터 및 PLS2 데이터를 컨스텔레이션에 매핑할 수 있다.
본 발명의 일 실시예에 따른 차세대 방송 서비스에 대한 방송 신호 수신 장치는 도 8을 참조하여 설명한 차세대 방송 서비스에 대한 방송 신호 송신 장치의 역과정을 수행할 수 있다.
본 발명의 일 실시예에 따른 차세대 방송 서비스에 대한 방송 신호 수신 장치는 방송 신호 송신 장치에 의해 실행되는 절차의 역과정에 해당하는 복조를 실행하는 동기 및 복조 모듈 (synchronization & demodulation module), 입력 신호 프레임을 파싱하고, 사용자에 의해 선택된 서비스가 전송되는 데이터를 추출하는 프레임 파싱 모듈 (frame parsing module), 입력 신호를 비트 영역 데이터로 변환한 후, 필요에 따라 비트 영역 데이터들을 디인터리빙하고, 전송 효율을 위해 적용된 매핑에 대한 디매핑을 실행하고, 디코딩을 통해 전송 채널에서 발생한 에러를 정정하는 디매핑 및 디코딩 모듈 (demapping & decoding module), 방송 신호 송신 장치에 의해 적용되는 다양한 압축/신호 처리 절차의 역과정을 실행하는 출력 프로세서 (output processor) 및 동기 및 복조 모듈에 의해 복조된 신호로부터 PLS 정보를 획득, 처리하는 시그널링 디코딩 모듈 (signaling decoding module)을 포함할 수 있다. 프레임 파싱 모듈, 디매핑 및 디코딩 모듈, 출력 프로세서는 시그널링 디코딩 모듈로부터 출력된 PLS 데이터를 이용하여 그 기능을 실행할 수 있다.
이하 타임 인터리버를 설명한다. 본 발명의 일 실시예에 따른 타임 인터리빙 그룹은 하나의 프레임에 직접 매핑되거나 PI개의 프레임에 걸쳐 확산된다. 또한 각각의 타임 인터리빙 그룹은 하나 이상(NTI개)의 타임 인터리빙 블록으로 분리된다. 여기서 각각의 타임 인터리빙 블록은 타임 인터리버 메모리의 하나의 사용에 해당한다. 타임 인터리빙 그룹 내의 타임 인터리빙 블록은 서로 다른 개수의 XFECBLOCK을 포함할 수 있다. 일반적으로, 타임 인터리버는 프레임 생성 과정 이전에 데이터 파이프 데이터에 대한 버퍼로도 작용될 수 있다.
본 발명의 일 실시예에 따른 타임 인터리버는 트위스트된 행-열 블록 인터리버이다. 본 발명의 일 실시예에 따른 트위스트된 행-열 블록 인터리버는 첫 번째 XFECBLOCK을 타임 인터리빙 메모리의 첫 번째 열에 열 방향으로 기입하고, 두 번째 XFECBLOCK은 다음 열에 기입하고 동일한 방식으로 타임 인터리빙 블록 내의 나머지 XFECBLOCK들을 기입할 수 있다. 그리고 인터리빙 어레이에서, 셀은 첫 번째 행으로부터 (가장 왼쪽 열을 시작으로 행을 따라 오른쪽으로) 마지막 행까지 대각선 방향 판독될 수 있다. 이 경우, 타임 인터리빙 블록 내의 XFECBLOCK 개수에 상관없이 수신기 측에서 단일 메모리 디인터리빙을 달성하기 위해, 트위스트된 행-열 블록 인터리버용 인터리빙 어레이는 버츄얼 XFECBLOCK을 타임 인터리빙 메모리에 삽입할 수 있다. 이 경우, 수신기 측에서 단일 메모리 디인터리빙을 달성하기 위해 버츄얼 XFECBLOCK은 다른 XFECBLOCK 가장 앞에 삽입되어야 한다.
도 9는 본 발명의 일 실시예에 따른 타임 인터리버의 라이팅 (writing) 오퍼레이션을 나타낸다.
도면의 왼쪽에 도시된 블록은 TI 메모리 어드레스 어레이(memory address array)를 나타내며, 도면의 오른쪽에 도시된 블록은 연속한 두 개의 TI 그룹들에 대해 각각 버츄얼(virtual) FEC 블록들이 TI 그룹의 가장 앞에 각각 2개 및 1개가 삽입된 경우의 라이팅 (writing) 오퍼레이션을 나타낸다.
본 발명의 일 실시예에 따른 프리퀀시 인터리버는 심볼 페어에 대응하는 데이터들에 적용하기 위한 인터리빙 어드레스를 생성하기 위한 인터리빙 어드레스 제너레이터를 포함할 수 있다.
도 10은 본 발명의 일 실시예에 따른 프리퀀시 인터리버에 포함된 각 FFT 모드에 따른 메인-PRBS 제너레이터와 서브-PRBS 제너레이터로 구성된 인터리빙 어드레스 제너레이터의 블록 다이아그램을 나타낸 도면이다.
(a)는 8K FFT 모드에 대한 인터리빙 어드레스 제너레이터의 블록 다이아그램을 나타내고, (b)는 16K FFT 모드에 대한 인터리빙 어드레스 제너레이터의 블록 다이아그램을 나타내고, (c)는 32K FFT 모드에 대한 인터리빙 어드레스 제너레이터의 블록 다이아그램을 나타낸다.
OFDM 심볼 페어에 대한 인터리빙 과정은 하나의 인터리빙 시퀀스를 이용하며 다음과 같이 설명된다. 우선, 하나의 OFDM 심볼 Om,l 에서 인터리빙 될 사용 가능한 데이터 셀(셀 매퍼로부터의 출력 셀)은 l = 0, …, Nsym-1 에 대해 Om,l =[xm,l,0,…,xm,l,p,…,xm,l,Ndata-1] 로 정의된다. 이때 xm,l,p 는 m번째 프레임에서 l 번째 OFDM 심볼의 p 번째 셀이고, Ndata 는 데이터 셀의 개수이다. 프레임 시그널링 심볼에 대해 Ndata = CFSS 이고, 노멀 데이터에 대해 Ndata = Cdata 이며, 프레임 엣지 심볼에 대해 Ndata = CFES 이다. 또한, 인터리빙된 데이터 셀은 l = 0, …, Nsym-1 에 대해 Pm,l =[vm,l,0,…,vm,l,Ndata-1] 로 정의된다.
OFDM 심볼 페어에 대해, 인터리빙 된 OFDM 심볼 페어는 각 페어의 첫 번째 OFDM 심볼에 대해 vm,l,Hi(p) = xm,l,p, p=0,…,Ndata-1 로 주어지고, 각 페어의 두 번째 OFDM 심볼에 대해 vm,l,p = xm,l,Hi(p), p=0,…,Ndata-1 로 주어진다. 이때 Hl(p) 는 PRBS 제너레이터 및 서브-PRBS 제너레이터의 사이클릭 시프트 값(심볼 오프셋)을 기반으로 생성된 인터리빙 어드레스이다.
도 11 은 본 발명의 일 실시예에 따른 하이브리드 방송 수신 장치를 나타낸 도면이다.
하이브리드 방송 시스템은 지상파 방송망 및 인터넷 망을 연동하여 방송 신호를 송신할 수 있다. 하이브리드 방송 수신 장치는 지상파 방송망 (브로드캐스트) 및 인터넷 망 (브로드밴드)을 통해 방송 신호를 수신할 수 있다. 하이브리드 방송 수신 장치는 피지컬 레이어 모듈, 피지컬 레이어 I/F 모듈, 서비스/컨텐트 획득 컨트롤러, 인터넷 억세스 제어 모듈, 시그널링 디코더, 서비스 시그널링 매니저, 서비스 가이드 매니저, 어플리케이션 시그널링 매니저, 경보 신호 매니저, 경보 신호 파서, 타겟팅 신호 파서, 스트리밍 미디어 엔진, 비실시간 파일 프로세서, 컴포넌트 싱크로나이저, 타겟팅 프로세서, 어플리케이션 프로세서, A/V 프로세서, 디바이스 매니저, 데이터 셰어링 및 커뮤니케이션 유닛, 재분배 모듈, 컴패니언 디바이스 및/또는 외부 모듈들을 포함할 수 있다.
피지컬 레이어 모듈 (Physical Layer Module(s))은 지상파 방송 채널을 통하여 방송 관련 신호를 수신 및 처리하고 이를 적절한 형태로 변환하여 피지컬 레이어 I/F 모듈로 전달할 수 있다.
피지컬 레이어 I/F 모듈 (Physical Layer I/F Module(s))은 Physical layer Module로 부터 획득된 정보로부터 IP 데이터 그램을 획득할 수 있다. 또한, 피지컬 레이어 I/F 모듈은 획득된 IP 데이터그램 등을 특정 프레임(예를 들어 RS Frame, GSE 등) 으로 변환할 수 있다.
서비스/컨텐트 획득 컨트롤러 (Service/Content Acquisition Controller)는 broadcast 및/또는 broadband 채널을 통한 서비스, 콘텐츠 및 이와 관련된 시그널링 데이터 획득을 위한 제어 동작을 수행할 수 있다.
인터넷 억세스 제어 모듈(Internet Access Control Module(s))은 Broadband 채널을 통하여 서비스, 콘텐츠 등을 획득하기 위한 수신기 동작을 제어할 수 있다.
시그널링 디코더 (Signaling Decoder)는 broadcast 채널 등을 통하여 획득한 시그널링 정보를 디코딩할 수 있다.
서비스 시그널링 매니저 (Service Signaling Manager)는 IP 데이터 그램 등으로부터 서비스 스캔 및 서비스/콘텐츠 등과 관련된 시그널링 정보 추출, 파싱 및 관리할 수 있다.
서비스 가이드 매니저 (Service Guide Manager)는 IP 데이터 그램 등으로 부터 announcement 정보를 추출하고 SG(Service Guide) database 관리하며, service guide를 제공할 수 있다.
어플리케이션 시그널링 매니저 (App Signaling Manager)는 IP 데이터 그램 등으로 부터 애플리케이션 획득 등과 관련된 시그널링 정보 추출, 파싱 및 관리할 수 있다.
경보 신호 파서 (Alert Signaling Parser)는 IP 데이터 그램 등으로 부터 alerting 관련된 시그널링 정보 추출 및 파싱, 관리할 수 있다.
타겟팅 신호 파서 (Targeting Signaling Parser)는 IP 데이터 그램 등으로 부터 서비스/콘텐츠 개인화 혹은 타겟팅 관련된 시그널링 정보 추출 및 파싱, 관리할 수 있다. 또한 타겟팅 신호 파서는 파싱된 시그널링 정보를 타겟팅 프로세서로 전달할 수 있다.
스트리밍 미디어 엔진 (Streaming Media Engine)은 IP 데이터그램 등으로 부터 A/V 스트리밍을 위한 오디오/비디오 데이터 추출 및 디코딩할 수 있다.
비실시간 파일 프로세서 (Non-real time File Processor)는 IP 데이터그램 등으로 부터 NRT 데이터 및 application 등 파일 형태 데이터 추출 및 디코딩, 관리할 수 있다.
컴포넌트 싱크로나이저 (Component Synchronizer)는 스트리밍 오디오/비디오 데이터 및 NRT 데이터 등의 콘텐츠 및 서비스를 동기화할 수 있다.
타겟팅 프로세서 (Targeting Processor)는 타겟팅 신호 파서로부터 수신한 타겟팅 시그널링 데이터에 기초하여 서비스/콘텐츠의 개인화 관련 연산을 처리할 수 있다.
어플리케이션 프로세서 (App Processor)는 application 관련 정보 및 다운로드 된 application 상태 및 디스플레이 파라미터 처리할 수 있다.
A/V 프로세서 (A/V Processor)는 디코딩된 audio 및 video data, application 데이터 등을 기반으로 오디오/비디오 랜더링 관련 동작을 수행할 수 있다.
디바이스 매니저 (Device Manager)는 외부 장치와의 연결 및 데이터 교환 동작을 수행할 수 있다. 또한 디바이스 매니저는 연동 가능한 외부 장치의 추가/삭제/갱신 등 외부 장치에 대한 관리 동작을 수행할 수 있다.
데이터 셰어링 및 커뮤니케이션 유닛 (Data Sharing & Comm.)은 하이브리드 방송 수신기와 외부 장치 간의 데이터 전송 및 교환에 관련된 정보를 처리할 수 있다. 여기서, 전송 및 교환 가능한 데이터는 시그널링, A/V 데이터 등이 될 수 있다.
재분배 모듈 (Redistribution Module(s))은 방송 수신기가 지상파 방송 신호를 직접 수신 하지 못하는 경우 차세대 방송 서비스 및 콘텐츠에 대한 관련 정보를 획득할 수 있다. 또한 재분배 모듈은 방송 수신기가 지상파 방송 신호를 직접 수신 하지 못하는 경우 차세대 방송 시스템에 의한 방송 서비스 및 콘텐츠 획득을 지원할 수 있다.
컴패니언 디바이스 (Companion device(s))는 본 발명의 방송 수신기에 연결되어 오디오, 비디오, 또는 시그널링 포함데이터를 공유할 수 있다. 컴패니언 디바이스는 방송 수신기와 연결된 외부 장치를 지칭할 수 있다.
외부 모듈 (External Management)는 방송 서비스/콘텐츠 제공을 위한 모듈을 지칭할 수 있으며 예를들어 차세대 방송 서비스/컨텐츠 서버가 될 수 있다. 외부 모듈은 방송 수신기와 연결된 외부 장치를 지칭할 수 있다.
도 12 는 본 발명의 일 실시예에 따른 DASH 기반 적응형(Adaptive) 스트리밍 모델의 전반적인 동작을 도시한 도면이다.
본 발명은 HDR (High Dynamic Range) 지원 가능한 컨텐트를 제공하는 차세대 미디어 서비스 제공 방안을 제안한다. 풍부한 밝기 표현이 가능한 HDR 컨텐트가 제공되는 경우에 있어, 본 발명은 이와 관련한 메타데이터 및 그 전달방안을 제안한다. 이를 통해 컨텐트의 다양한 장면별 특성에 따라 적응적으로 컨텐트가 조정될 수 있고, 컨텐트가 개선된 화질로 제공될 수 있다.
UHD 방송 등의 경우, 기존의 컨텐트들이 표현하지 못했던 밝기가 표현될 수 있어, 고도의 현장감이 제공될 수 있다. HDR 의 도입으로 컨텐트 영상의 밝기의 표현 범위가 증가되어, 컨텐트의 장면별 특성의 차이가 이전보다 커질 수 있다. 컨텐트의 장면별 특징들을 효과적으로 디스플레이에 나타내기 위하여, 메타데이터가 정의되고 이 것들이 수신기로 전달될 수 있다. 수신기에서는 전달받은 메타데이터들을 기반으로, 서비스 프로바이더가 의도한 바에 따라 적절하게 컨텐트의 영상이 제공될 수 있다.
도시된 실시예에 따른 DASH 기반 적응형 스트리밍 모델은, HTTP 서버와 DASH 클라이언트 간의 동작을 기술하고 있다. 여기서 DASH (Dynamic Adaptive Streaming over HTTP) 는, HTTP 기반 적응형 스트리밍을 지원하기 위한 프로토콜로서, 네트워크 상황에 따라 동적으로 스트리밍을 지원할 수 있다. 이에 따라 AV 컨텐트 재생이 끊김없이 제공될 수 있다.
먼저 DASH 클라이언트는 MPD 를 획득할 수 있다. MPD 는 HTTP 서버 등의 서비스 프로바이더로부터 전달될 수 있다. MPD 는 전술한 딜리버리 실시예에 따라 전달될 수도 있다. DASH 클라이언트는 MPD 에 기술된 세그먼트에의 접근 정보를 이용하여 서버로 해당 세그먼트들을 요청할 수 있다. 여기서 이 요청은 네트워크 상태를 반영하여 수행될 수 있다.
DASH 클라이언트는 해당 세그먼트를 획득한 후, 이를 미디어 엔진에서 처리하여 화면에 디스플레이할 수 있다. DASH 클라이언트는 재생 시간 및/또는 네트워크 상황 등을 실시간으로 반영하여, 필요한 세그먼트를 요청, 획득할 수 있다(Adaptive Streaming). 이를 통해 컨텐트가 끊김없이 재생될 수 있다.
MPD (Media Presentation Description) 는 DASH 클라이언트로 하여금 세그먼트를 동적으로 획득할 수 있도록 하기 위한 상세 정보를 포함하는 파일로서 XML 형태로 표현될 수 있다. 이 MPD 는 실시예에 따라 전술한 MPD 와 같을 수 있다.
DASH 클라이언트 컨트롤러(DASH Client Controller) 는 네트워크 상황을 반영하여 MPD 및/또는 세그먼트를 요청하는 커맨드를 생성할 수 있다. 또한, 이 컨트롤러는 획득된 정보를 미디어 엔진 등등의 내부 블락에서 사용할 수 있도록 제어할 수 있다.
MPD 파서(Parser) 는 획득한 MPD 를 실시간으로 파싱할 수 있다. 이를 통해, DASH 클라이언트 컨트롤러는 필요한 세그먼트를 획득할 수 있는 커맨드를 생성할 수 있게 될 수 있다.
세그먼트 파서(Parser) 는 획득한 세그먼트를 실시간으로 파싱할 수 있다. 세그먼트에 포함된 정보들에 따라 미디어 엔진 등의 내부 블락들은 특정 동작을 수행할 수 있다.
HTTP 클라이언트는 필요한 MPD 및/또는 세그먼트 등을 HTTP 서버에 요청할 수 있다. 또한 HTTP 클라이언트는 서버로부터 획득한 MPD 및/또는 세그먼트들을 MPD 파서 또는 세그먼트 파서로 전달할 수 있다.
미디어 엔진(Media Engine) 은 세그먼트에 포함된 미디어 데이터를 이용하여 컨텐트를 화면상에 표시할 수 있다. 이 때, MPD 의 정보들이 활용될 수 있다.
도 13 은 본 발명의 일 실시예에 따른 수신기의 블락 다이어그램을 도시한 도면이다.
도시된 실시예에 따른 수신기는 튜너 (Tuner), 피지컬 레이어 컨트롤러 (Physical Layer Controller), 피지컬 프레임 파서 (Physical Frame Parser), 링크 레이어 프레임 프로세서 (Link Layer Frame Processor), IP/UDP 데이터그램 필터 (IP/UDP Datagram Filter), DTV 컨트롤 엔진 (DTV Control Engine), ROUTE 클라이언트 (Route Client), 세그먼트 버퍼 컨트롤 (Segment Buffer Control), MMT 클라이언트 (MMT Client), MPU 리컨트스럭션 (MPU reconstruction), 미디어 프로세서 (Media Processor), 시그널링 파서 (Signaling Parser), DASH 클라이언트 (DASH Client), ISO BMFF 파서 (ISO BMFF Parser), 미디어 디코더 (Media Decoder) 및/또는 HTTP 억세스 클라이언트 (HTTP Access Client) 를 포함할 수 있다. 수신기의 각 세부 블락(block)들은 하드웨어인 프로세서일 수 있다.
Tuner는 지상파 방송 채널을 통하여 방송 신호를 수신 및 처리하고 이를 적절한 형태 (Physical Frame 등)로 변환할 수 있다. Physical Layer Controller는 수신하고자 하는 방송 채널의 RF 정보 등을 이용하여 Tuner, Physical Frame Parser 등의 동작을 제어할 수 있다. Physical Frame Parser는 수신된 Physical Frame을 파싱하고 이와 관련된 프로세싱을 통하여 Link Layer Frame 등을 획득할 수 있다.
Link Layer Frame Processor는 Link Layer Frame으로 부터 Link Layer signaling 등을 획득하거나 IP/UDP 데이터그램 획득하고 관련된 연산을 수행할 수 있다. IP/UDP Datagram Filter는 수신된 IP/UDP 데이터 그램들로부터 특정 IP/UDP 데이터 그램을 필터링할 수 있다. DTV Control Engine은 각 구성 간의 인터페이스를 담당하며 파라미터 등의 전달을 통해 각 구성의 동작을 제어할 수 있다.
Route Client는 실시간 오브젝트 전송을 지원하는 ROUTE (Real-Time Object Delivery over Unidirectional Transport) 패킷을 처리하고 여러 패킷들을 수집 및 처리하여 하나 이상의 ISOBMFF (ISO Base Media File Format) 오브젝트를 생성할 수 있다. Segment Buffer Control는 Route Client와 Dash Client 간의 세그먼트 (segment) 전송 관련한 버퍼를 제어할 수 있다.
MMT Client는 실시간 오브젝트 전송을 지원하는 MMT (MPEG Media Transport) 전송 프로토콜 패킷을 처리하고 여러 패킷을 수집 및 처리할 수 있다. MPU reconstruction는 MMTP 패킷으로부터 MPU (Media Processing Unit)을 재구성할 수 있다. Media Processor는 재구성된 MPU를 수집하고 처리할 수 있다.
Signaling Parser는 DTV 방송 서비스 관련 시그널링 (Link Layer/ Service Layer Signaling) 획득 및 파싱하고 이를 기반으로 채널 맵 등을 생성 및/또는 관리할 수 있다. 이 구성은 로우 레벨 시그널링, 서비스 레벨 시그널링을 처리할 수 있다.
DASH Client는 실시간 스트리밍 혹은 적응적 스트리밍 관련 연산 및 획득된 DASH Segment 등을 처리할 수 있다. ISO BMFF Parser는 ISO BMFF 오브젝트로부터 오디오/비디오의 데이터 및 관련 파라미터 등을 추출할 수 있다. Media Decoder는 수신된 audio 및 video data를 decoding 및/또는 presentation 처리할 수 있다. HTTP Access Client는 HTTP 서버로부터 특정 정보를 요청하고 요청에 대한 응답을 처리할 수 있다.
본 발명은 풍부한 밝기 표현이 가능한 HDR (High Dynamic Range) 컨텐츠가 제공될 때, 컨테츠 내에 포함된 다양한 장면 특성에 대해 적응적으로 컨텐츠를 조정할 수 있는 요소를 수신기에 전송함으로써, 개선된 화질의 영상으로 컨텐츠를 변환하고 표현할 수 있는 방법을 제공할 수 있다. UHD 방송에서는 기존 컨텐츠에서 표현하지 못하였던 밝기를 표현함으로써 기존의 방송과의 차별성을 제공하고 고도의 현장감 제공할 수 있다. HDR (high dynamic range)의 도입을 통해 영상의 밝기 표현 범위가 증가됨에 따라 컨텐츠 내에 포함된 장면 간 특성 차이가 이전보다 커질 수 있다. 이에 따라, 방송 송신 장치는 각 장면의 특징을 효과적으로 디스플레이에 나타내기 위한 정보를 추가적으로 제공하고, 수신 장치는 전송된 정보를 기반으로 영상 효과를 제공함으로써 제작자가 의도한 방향에 적합한 방법으로 영상을 표현할 수 있다.
UHD 방송은 다양한 방법을 통해 기존의 HD 방송 대비 향상된 화질 및 몰입감을 시청자에게 제공할 수 있다. 이를 위한 방법의 하나로써 UHD 방송은 컨텐츠에서 표현하는 밝기 표현 및 색상 표현의 범위를 실제 인간의 시각 체계에서 인지 가능한 밝기 및 색상 인지 범위로 확장하는 방법을 제공할 수 있다. 즉, UHD 컨텐츠에 대해 HDR (high dynamic range) 및 WCG (wide color gamut)을 적용할 수 있다. 즉, 컨텐츠에서 향상된 고대비 및 색감을 제공함으로써 UHD 컨텐츠를 감상하는 사용자는 더 큰 몰입감 및 현장감을 경험하게 된다. 본 발명에서는 컨텐츠를 디스플레이에서 재생할 때, 효과적으로 제작자의 의도 등에 따라 영상 밝기 및 색감을 재생 할 수 있는 방법을 제시함으로써, 사용자가 보다 향상된 화질의 영상을 시청할 수 있도록 한다.
도 14 는 본 발명의 일 실시예에 따른 메타 데이터 기반 HDR 방송 서비스를 제작, 재생하는 장치를 나타낸 도면이다. HDR 비디오 제작 장치는 캡쳐/필름 스캐너 (101), 포스트-프로덕션 블록(마스터링부, 102) 및/또는 인코더/멀티플렉서 (103) 중 적어도 하나를 포함할 수 있다. HDR 비디오 재생 장치는 디멀티플렉서(104), 디코더(105), 메타데이터 프로세서(106), 포스트 프로세서(107), 싱크로나이저(108) 및/또는 디스플레이(109) 중 적어도 하나를 포함할 수 있다. 도면에서는 비디오 스트림에 포함되어 수신되는 메타 데이터를 도시하였으나, 본 발명의 메타 데이터는 방송 신호 뿐만 아니라 다른 경로(예를 들어 IP 기반 방송/통신, 유/무선 통신, 유/무선 인터페이스, 근거리 무선 통신 등)로도 송수신 될 수 있다.
HDR 비디오 제작 장치의 캡쳐/필름 스캐너 (101)는 천연 색으로 구성된 씬(natural scene)을 디지털 이미지로 변환할 수 있다. 예를 들어, 캡쳐/ 필름 스캐너는 비디오 카메라, 카메라, 스캐너 등 광학 이미지를 디지털 이미지로 변환하는 장치가 될 수 있다. 캡쳐/필름 스캐너 (101)는 광학 이미지를 센싱하여 Raw HDR (High Dynamic Range) 비디오를 출력할 수 있다.
포스트-프로덕션 블록(마스터링부, 102)은 Raw HDR 비디오를 입력 받아 마스터링된 HDR 비디오 및 HDR 메타 데이터를 출력할 수 있다. 포스트-프로덕션 블록은 마스터링 디스플레이 정보, 뷰잉 컨디션(viewing condition) 정보, 칼라 인코딩 정보, 색영역 (Gamut) 매핑 정보 및/또는 DR (dynamic range) 정보 등을 입력 받아 마스터링을 수행할 수 있다. 여기서 칼라 인코딩 정보는 예를 들어 EOTF (electro-optical transfer function), BT. 2020을 예로 들 수 있다.
인코더/멀티플렉서 (103)는 적어도 하나 이상의 마스터링된 HDR 비디오 및 HDR 메타데이터를 인코딩하고 다중화할 수 있다.
HDR 비디오 재생 장치의 디멀티플렉서(104)는 HDR 스트림을 수신하여 역다중화할 수 있다. 하나의 HDR 스트림에는 복수의 컨텐츠가 포함될 수 있으며, 디멀티플렉서는 디코딩 대상인 HDR 스트림을 디코더로 출력할 수 있다.
디코더(105)는 HDR 스트림을 수신하여 디코딩을 수행할 수 있다. 이 과정에서 디코더는 디코딩된 HDR 비디오와 HDR 메타데이터를 출력할 수 있다. 디코딩된 HDR 비디오는 포스트 프로세서로 출력되고, HDR 메타데이터는 메타데이터 프로세서로 출력될 수 있다.
메타데이터 프로세서(106)는 HDR 메타데이터를 수신하여 저장할 수 있다. 메타데이터 프로세서는 HDR 메타데이터 내에 포함된 set 넘버 또는 버전 넘버를 확인하여 저장된 HDR 메타데이터에 대한 변경이 있는지 확인하고, 변경이 있는 경우, 기존 HDR 메타데이터를 업데이트할 수 있다. 메타데이터 프로세서는 싱크로나이저로부터 수신되는 타이밍 정보에 따라 HDR 메타데이터를 포스트 프로세서로 출력할 수 있다.
포스트 프로세서(107)는 메타데이터 프로세서로부터 수신한 HDR 메타데이터를 이용하여, 디코더로부터 수신한 HDR 비디오에 대해 후처리 작업을 수행할 수 있다. 이 과정을 통해 HDR 비디오는 HDR 메타데이터가 반영된 개선된 HDR 비디오로 변환될 수 있다.
싱크로나이저(108)는 메타데이터 프로세서 및 포스트 프로세서에 타이밍 정보를 제공함으로써 HDR 비디오 전체 또는 각 장면, 각 비디오 클립 또는 각 프레임별로 정확한 시점에 메타데이터가 적용되도록 할 수 있다. 여기서 메타 데이터는 mastering display 에 대한 정보를 나타내거나, channel, program, content 단위로 공통으로 적용되는 정보, 또는 연속된 장면, 비디오 클립, 프레임 각각에 적용되는 정보를 의미할 수 있다.
HDR 디스플레이(109)은 개선된 HDR 비디오를 디스플레이하여 사용자에게 제공할 수 있다.
도 15 는 본 발명의 일 실시예에 따른 HDR 비디오에 대한 수신기 동작 방법을 나타낸다. 본 발명에서는 수신기 동작을 주로 설명하지만 관련 시그널을 생성하는 경우에도 동일한 사항을 고려를 할 수 있으며, 프로덕션 (production) 간 전달 신호 및 마스터링 (mastering) 신호에 대해서도 적용할 수 있다. 또한 source 와 sink 간 정보 전송의 경우에도 본 발명에서 고려하는 사항들이 전달될 수 있다.
비디오 스트림이 수신되면, 수신기는 비디오 디코더(201)를 이용하여 HDR metadata 를 HDR 비디오 신호로부터 분리하여 별도의 메타 데이터 프로세서 (202)에 저장할 수 있다. 메타 데이터 프로세서는 메타 데이터 파서, 메타 데이터 버퍼 및 메타 데이터 업데이트 수행기를 포함할 수 있다. HDR 메타 데이터는 공통 적용 정보 (common HDR metadata) 와 부분 적용 정보 (scene/frame HDR metadata)를 포함할 수 있다. 공통 적용 정보는 컨텐츠 전반에 대해 적용될 수 있는 메타 데이터이고, channel, program, content 단위로 공통으로 적용되는 정보를 의미할 수 있다.
부분 적용 정보는 컨텐츠의 일부분에 한정하여 적용될 수 있는 메타 데이터를 나타낼 수 있으며, 연속된 장면, 비디오 클립 또는 프레임 각각에 적용되는 정보를 의미할 수 있다. 수신기는 재생 가능한 컨텐츠 종류에 대한 성능 판단 후 수신된 공통 정보 혹은 부분 정보를 컨텐츠에 적용하여 프로세싱할 수 있다. HDR 비디오를 재생할 수 있는 수신기는 수신된 메타데이터를 이용하여 컨텐츠를 변환할 수 있다. 수신기는 프로세싱 작업 후 변환된 컨텐츠를 최종 영상으로 디스플레이할 수 있다. 구체적인 수신기 동작 방법은 다음과 같다.
첫번째 단계로써, 수신기는 비디오 스트림을 디코딩하고 HDR 메타데이터를 획득할 수 있다. HDR 메타데이터는 HDR 비디오 정보 (이하, HDR_info())를 의미할 수 있다. 수신기는 video stream으로부터 획득한 metadata를 metadata parser(202)로 전달하여 분석하고, 메모리에 저장할 수 있다. Metadata는 공통 적용 정보 (common HDR metadata) 와 부분 적용 정보 (scene/frame HDR metadata)로 구분될 수 있다. 본 발명에서는 후술할 타입 정보 (HDR_info_type)를 사용하여 해당 메타데이터가 적용되는 범위를 전달함으로써 mastering display 에 따라 메타데이터를 적용하거나, channel, program, content 단위로 공통으로 메타 데이터를 적용하거나, 연속된 장면, 비디오 클립, 프레임 각각에 메타 데이터를 적용할 수 있다.
이와 함께, 메타데이터는 해당 메타데이터가 적용되는 구간, 예를 들어, 해당 메타데이터와 적용되는 영상 프레임을 매칭할 수 있는 정보를 동기화 시작 정보(sync_start), 동기화 구간 정보 (sync_duration)의 형식으로써 더 포함할 수 있다.
실시예에 따라 공통 적용 정보는 예를 들어 최대 최소 밝기 또는 고대비와 같이 컨텐츠/마스터링 디스플레이/프레임의 dynamic range를 나타낼 수 있는 값, EOTF와 같은 변환 함수(transfer function), 컨텐츠 혹은 마스터링 디스플레이의 색 공간, 컨텐츠 혹은 마스터링 디스플레이의 색온도, 밝기 범위 변환 함수, 색공간 변환 함수 및/또는 시청 환경 정보 중 적어도 하나의 정보를 포함할 수 있다.
본 명세서에서 컨텐츠/마스터링 디스플레이/프레임의 dynamic range를 나타낼 수 있는 값은 DR 정보 타입(dynamic_range_info_type) 및 DR 밸류 정보 (dynamic_range_info_value[i])를 통해 전송될 수 있다. 또한 EOTF와 같은 transfer function은 변환 함수 타입(transfer_function_type)을 통해 전송될 수 있다. 컨텐츠 혹은 마스터링 디스플레이의 색 공간은 CG 정보 타입 (color_gamut_type)을 통해 전송될 수 있다. 컨텐츠 혹은 마스터링 디스플레이의 색온도는 색온도 정보 타입 (color_temperature_type)를 통해 전송될 수 있다. 밝기 범위 변환 함수는 DR 매핑 정보 타입 (dynamic_range_mapping_info_type)을 통해 전송될 수 있다. 색공간 변환 함수는 CG 매핑 정보 타입 (color_gamut_mapping_info_type)을 통해 전송될 수 있다. 시청 환경 정보 는 시청 환경 정보 타입 (viewing_condition_info_type)을 통해 전송될 수 있다. 각 정보의 신택스 및 포함하는 필드에 대한 설명은 후술하기로 한다.
부분 적용 정보는 공통 적용 정보와 동일하거나 유사한 정보를 포함할 수 있으며, 그 적용 범위에 대한 정보를 함께 포함할 수 있다. 부분 적용정보는 그 적용 범위가 컨텐츠의 일정 부분에 한정되어있다는 점에서 보다 구체적인 정보를 전달할 수 있다. 예를 들어 공통 적용 정보는 컨텐츠 전체에 적용되는 밝기 범위를 f-stop이나 고대비와 같은 값으로 전달할 수 있다. 이에 비해 부분 적용 정보는 프레임 단위에 대해서는 최대 최소 값을 전달하여 보다 구체적인 정보를 전달할 수 있다. 이를 통해 전송되는 적용 정보의 종류에 따라, 정보 전달 범위를 각 단계별로 차등적으로 적용할 수 있다. 마찬가지로 dynamic range mapping의 경우 공통 적용 정보로써 전반적인 컨텐츠 변환 정보를 전달한 후, 부분 적용 정보를 통해 장면마다의 특징을 살릴 수 있는 복잡한 변환 함수를 전달할 수 있다.
두번째 단계로써, 수신기는 자신이 포함하는 디스플레이가 HDR display 인지 여부를 결정할 수 있다. 수신기는 공통 정보를 이용하여, 획득한 컨텐츠에 대한 정보 (혹은 마스터링 디스플레이에 대한 정보)를 기반으로 수신기의 재생 환경이 적합한지 여부를 결정할 수 있다. 예를 들어, 수신기는 상술한 공통 적용 정보를 이용할 수 있으며, 만약 컨텐츠 재생 환경이 적합하지 않은 경우, SDR 디스플레이 혹은 SDR과 HDR 사이의 성능에 해당하는 디스플레이를 고려할 수 있다.
먼저, 수신기에 포함된 디스플레이가 SDR display 또는 이에 준하는 성능을 갖는 디스플레이인 경우에 대해 설명한다. 만약 수신기 디스플레이가 디코딩된 HDR 컨텐츠를 온전히 재생할 수 없다고 결정되는 경우, 수신기는 HDR 컨텐츠를 재생하지 않거나, 또는 컨텐츠를 재생하기 위한 변환을 수행할 수 있다. HDR 비디오를 SDR 비디오로 변환할 수 있는 수신기는 수신된 HDR 비디오를 SDR 비디오로 변환하여 재생할 수 있다. 이를 위해 HDR 메타데이터는 HDR 비디오를 SDR 비디오로 변환하는 변환 함수에 대한 정보를 포함할 수 있다. 예를 들어, 상술한 변환 함수에 대한 정보로써 dynamic_range_mapping_info_type 또는 color_gamut_mapping_info_type 등을 사용할 수 있으며, HDR 메타데이터는 필요한 경우 해당 정보들이 HDR 비디오를 SDR 비디오로 변환하는 용도로 사용됨을 추가적으로 시그널링 할 수 있다.
다음으로, 수신기에 포함된 디스플레이가 HDR display인 경우에 대해 설명한다. 이는 수신기의 디스플레이가 디코딩된 컨텐츠를 온전히 재생 가능하다고 결정되는 경우에 해당한다. 이 경우, HDR 메타데이터에 포함된 공통 적용 정보를 이용하여 비디오에 대한 화질 개선이 가능하며, dynamic range mapping, color gamut mapping, viewing condition mapping 등을 이용하여 화질 개선을 수행할 수 있다. 실시예에 따라, 공통 적용 정보를 이용한 컨텐츠 전반에 대한 화질 계선은 후술할 세번째 단계에서 부분 적용 정보의 적용이 가능한 경우, 생략될 수도 있다. 또한 공통 적용 정보를 이용한 비디오에 대한 화질 개선 작업은 별도의 모듈을 통해 구현하거나 도 16에서 설명할 post processing 모듈에 연계하여 적용할 수도 있다.
세번째 단계로써, 수신기는 HDR 비디오의 장면 별로 화질 개선 작업을 수행할 수 있다. 메타데이터 정보를 기반으로 수신기가 HDR 컨텐츠를 재생할 수 있다고 결정되는 경우, 수신기는 추가적인 HDR 메타데이터 처리가 가능한지 결정할 수 있다.
도 15 에서는 scene-by-scene (혹은 clip-by-clip, frame-by-frame) 처리를 추가적으로 하는 경우를 예로 들었으며, 이 경우 각 장면, 클립, 혹은 프레임 단위로 제공되는 메타 데이터를 이용하여 각 컨텐츠의 장면, 비디오 클립 또는 프레임별로 디테일한 동적 변환을 통해 더욱 향상된 화질의 HDR 비디오를 디스플레이할 수 있다. 이 경우 본 발명의 일 실시예에 따라 방송 송신 장치는 HDR_info_type을 이용하여, 수신기가 장면, 비디오 클립 혹은 프레임 단위의 정보가 전송됨을 SEI(supplemental enhancement information) message 내에서 식별하게 할 수 있다. 또한 방송 송신 장치는 동기화 정보 타입 (sync_info_type), 동기화 시작 정보 (sync_start), 동기화 구간 정보 (sync_duration)를 이용하여, 수신기에게 장면 혹은 프레임 단위의 정보를 적용해야 하는 시점에 대한 정보를 제공할 수 있다. 수신기는 HDR 비디오 정보 타입 (HDR_info_type)을 통해 장면, 비디오 클립 또는 프레임 단위의 정보가 전송됨을 식별하고, sync_info_type, sync_start, sync_duration 통해 장면, 비디오 클립 또는 프레임 단위의 정보를 적용할 시점에 대한 타이밍 정보를 획득할 수 있다. 또한 필요한 경우 수신기는 메타데이터를 통해 제공되는 타이밍 정보를 영상과 sync를 맞추기 위한 정보로 변환할 수도 있다.
또한 방송 송신 장치는 공통 적용 정보를 제공할 때, 향후 어떤 종류의 장면, 비디오 클립 혹은 프레임 단위 메타데이터가 제공되는지 여부를 수신기에게 알려줄 수 있다. 방송 송신 장치는 HDR_video_enhancement_info_present_type을 통해 상기 정보를 수신기에게 미리 알려줄 수 있다. 즉, 수신기는 공통 적용 정보로부터 부분 적용 정보의 수신 여부 및 그 종류에 대한 정보를 미리 획득함으로써 관련 모듈의 동작을 준비할 수 있다. 실시예에 따라 방송 송신 장치는 공통 적용 정보를 이용하여 프레임, 비디오 클립 혹은 장면 단위 메타데이터가 제공된다는 사실 자체를 인디케이팅하거나, 프레임 단위, 비디오 클립 단위 혹은 장면 단위로 구체적으로 어떤 정보가 있는지를 인디케이팅할 수 있다. 예를 들어, 방송 송신 장치는 공통 적용 정보를 이용하여 프레임 단위 또는 장면 단위로 dynamic range mapping 혹은/및 color gamut mapping 정보가 제공됨을 인디케이팅할 수 있다.
실시예에 따라서, 수신기는 공통 적용 정보 및 장면 적용 정보를 HDR 비디오에 대해 단계적으로 적용하거나 하나의 동작으로 적용할 수도 있다. 또한 수신기는 Dynamic range mapping 및 color gamut mapping 별로 공통 적용 정보 및 장면 적용 정보를 HDR 비디오에 적용하거나 하나의 변환식으로 적용할 수도 있다.
도 16 은 본 발명의 일 실시예에 따른 후처리부를 나타낸다. 본 발명에서 후처리부 (post processor)는 DR 매핑 블록 (Dynamic range mapping, 301), CG 매핑 블록 (Color Gamut mapping, 302) 및 시청 환경 조정 블록 (viewing condition adjustment, 303)을 포함할 수 있다. 후처리부는 HDR 비디오 데이터를 입력 받아 dynamic range mapping, color gamut mapping, viewing condition mapping 등을 이용하여 화질 개선을 수행할 수 있다. DR 매핑 블록 (Dynamic range mapping, 301)은 입력된 HDR 비디오 데이터에 대해 dynamic range 정보, 변환 함수(transfer function) 정보 및 DR mapping 정보를 적용하여 화질 개선 작업을 수행할 수 있다. CG 매핑 블록 (Color Gamut mapping, 302)은 입력된 HDR 비디오 데이터에 대해 Color gamut 정보, 색온도 (color temperature) 정보, CG 매핑 정보를 적용하여 화질 개선 작업을 수행할 수 있다. 시청 환경 조정 블록 (viewing condition adjustment, 303)은 시청 환경 정보를 HDR 비디오 데이터에 적용하여 화질 개선 작업을 수행할 수 있다. 각 정보에 대한 자세한 설명은 도 17 내지 29 에서 후술한다.
도 17 내지 20 은 본 발명의 일 실시예에 따른 SEI message 및 HDR information descriptor의 신택스를 나타낸다.
SEI message는 HDR information descriptor를 포함할 수 있으며 HDR information descriptor는 다음의 필드들 중 적어도 하나의 필드를 포함할 수 있다. 본 발명에서 HDR information은 HDR video information과 동일한 의미로 사용될 수 있다.
HDR 정보 타입 (HDR_info_type) 정보는 HDR information descriptor 내의 정보가 적용되는 단위를 나타낼 수 있다. 예를 들어, 마스터링 디스플레이 (mastering display) 에 대한 정보를 나타내거나 채널 (channel), 프로그램 (program), 컨텐츠 (content) 단위로 공통으로 적용될 수 있다. 또한 연속된 장면, 비디오 클립, 프레임 각각에 적용 되는 식으로 구분할 수 있으며, 다른 방법(예를 들어 변환 이전과 이후, 전송 포맷, 변환 후 목표 대상 포맷, static/dynamic metadata 등)으로 분류되는 경우를 추가할 수도 있다.
위와 같은 분류에 따라 현재 payloadType 내에서 정의된 HDR information의 종류를 구분 지을 수 있다. 이 때, 도 17의 실시예와 같이 payloadType 내에 하나의 HDR_info_type에 해당하는 세부정보만 기술될 수도 있고, 두 개 이상의 정보가 모두 기술 될 수도 있다. 이 경우 각각의 HDR_info_type에 따라 분류된 정보가 연속적으로 위치하도록 syntax를 구성할 수 있다.
또한 정보가 적용되는 단위를 SEI message 내에서 분류하는 방법 뿐 아니라 서로 다른 payloadType을 할당하여 구분할 수도 있다. 예를 들어 payloadType = 52 (mastering display), payloadType = 53 (channal), payloadType = 54 (program), payloadType = 55 (content), payloadType = 56 (scene), payloadType = 57 (clip), payloadType = 58 (frame) 과 같이 구분할 수 있다.
트랜지션 플래그 (transition_flag) 정보는 현재 기술하고 있는 SEI message 가 연관된 컨텐츠의 종료 시점에 대한 시그널이다. 예를 들어 HDR 컨텐츠가 종료되고 SDR 컨텐츠로 전환되는 경우 마지막 프레임에 대해 transition_flag를 1로 세팅한다. 이 때 적용 분야에 따라 HDR information descriptor 전송이 종료된다는 의미로써 고려할 수도 있으며, 수신기에서는 본 시그널을 바탕으로 HDR information descriptor 와 관련된 모듈을 off 시키는 등의 동작으로 이어질 수 있다. 만약 수신기가 STB (settop box)와 display device로 구분되어 유/무선 interface로 연결 된 경우 (예를 들어 HDMI, DisplayPort, MHL 등) 이와 유사하게 HDR 관련 정보의 중단 혹은 HDR 컨텐츠 종료와 같은 정보를 STB로부터 display device로 전달할 수 있다. transition_flag는 종료 시점을 알려준다는 의미에서 HDR information descriptor 가 종료되는 프레임에서 알려줄 수 있다. 미리 약속된 경우 종료 프레임이 포함된 RAP에서 알려주는 방법도 적용할 수 있다.
세트 (set_number) 정보는 HDR information descriptor 고유의 식별 번호를 나타낼 수 있다. 즉, 시간 단위 혹은 프레임 단위로 복수의 HDR information descriptor가 방송 송신 장치로부터 수신기에 전달되는 상황에서, 각각의 HDR information descriptor를 구분하는 역할을 할 수 있다. 필요한 경우 상술한 HDR_info_type과 연계하여 channel, program, content, frame, scene, clip 등 각각에 대해 복수의 descriptor를 구분하는 역할을 할 수 있다. 예를 들어 다양한 종류의 휘도(luminance)를 갖는 디스플레이 지원을 목적으로 서로 다른 DR mapping function을 전달하는 경우 상술한 HDR_info_type과 연계하여 channel, program, content,frame, scene, clip 등 각각에 대해 복수의 descriptor를 구분하는 역할을 할 수 있다.
버전 (version_number) 정보는 HDR information descriptor 의 버전을 나타낼 수 있다. HDR_info_type 또는 set_number 중 적어도 하나와 연계하여 현재 디스크립터 중에서 정보 변경이 있음을 나타낼 수 있다. 예를 들어 동일한 HDR_info_type 및/또는 set_number를 갖는 descriptor에 대해서 동일한 version number를 갖는 경우 metadata processor 내의 정보를 영상에 그대로 적용할 수 있다. 하지만 방송 수신 장치는 version_number 가 변경된 경우 metadata buffer 내 정보를 update 하고 새로운 정보를 영상에 적용할 수 있다.
DR 플래그 (dynamic_range_mapping_info_present_flag) 정보는 디스크립터 내에 dynamic range mapping 관련 정보가 포함되어 있음을 나타낼 수 있다.
CG 플래그 (color_gamut_mapping_info_present_flag) 정보는 디스크립터 내에 gamut mapping 관련 정보가 포함되어 있음을 나타낼 수 있다.
시청 환경 플래그 (viewing_condition_info_present_flag) 정보는 디스크립터 내에 viewing condition 관련 정보가 포함되어 있음을 나타낼 수 있다.
추가 개선정보 개수(number_of_HDR_video_enhancement_info) 정보는 현재의 SEI message와 관련된 추가 SEI message 가 있는 경우에 대해 관련된 정보의 수를 나타낸다. 또는 향상된 정보를 제공할 수도 있다. 예를 들어 HDR_info_type = 0011 (content) 정보를 전달하고 있는 경우, mastering display, scene 에 대한 정보가 이와 연관하여 전달될 수 있으며, 이 경우 3 값을 가지게 된다. 이 때, 수신기에서는 tone mapping, gamut mapping 등의 화질 처리를 할 때 성능에 따라 content 내의 정보만을 이용할 수 있다. 또한, 보다 자세한 정보를 가졌다고 판단되는 경우, 예를 들어 HDR_info_type = 0100 (scene) 의 정보만을 이용하거나, 실시예에 따라서는 모든 정보를 종합해서 이용할 수 있다.
추가 개선정보 종류 (HDR_video_enhancement_info_present_type) 정보는 현재의 SEI message와 관련된 추가 정보의 종류를 나타내며, 도 18 의 HDR_info_type과 동일한 값을 이용하여 정의할 수 있다. 이 때, enh_dynamic_range_mapping_info_ present_flag, enh_color_gamut_mapping_info_present_flag, enh_viewing_condition_info_present_flag 를 통해 DR mapping, gamut mapping, viewing condition 관련 정보가 전달되는지 여부를 알려줄 수 있으며, 이에 대한 정보 처리를 위한 수신기 동작을 미리 준비하거나 현재 있는 정보에 비해 향상된 정보 사용 여부를 판단할 때 사용할 수 있다.
개선 DR 플래그 (enh_dynamic_range_mapping_info_present_flag)는 그 값이 1인 경우 연관된 metadata 정보에 대해 DR mapping 정보가 존재함을 나타낼 수 있다.
개선 CG 플래그 (enh_color_gamut_mapping_info_present_flag)는 그 값이 1인 경우 연관된 metadata 정보에 대해 gamut mapping 정보가 존재함을 나타낼 수 있다.
개선 시청 환경 플래그 (enh_viewing_condition_info_present_flag)는 그 값이 1인 경우 연관된 metadata 정보에 대해 viewing condition 정보가 존재함을 나타낼 수 있다.
만약 metadata type이 HDR info 가 아닌 SEI message의 payloadType 값으로 구분되는 경우, 위와 같이 HDR_info_type 및 그와 관련된 flag 들을 사용하는 방법 외에도 해당 SEI message의 payloadType 값을 직접 전달할 수 있다. 즉, 위의 예에 대해 payloadType = 53 (content) 에 대한 추가 (향상) 정보로써 payloadType = 52 (mastering display), payloadType = 56 (scene)을 전달할 수 있다는 것이다. 혹은 payloadType을 추가하여 HDR_info_type 와 함께 정보를 제공할 수도 있다.
동기화 정보 타입 (sync_info_type) 정보는 HDR information descriptor 내의 정보가 적용되어야 할 content, scene, clip 또는 frame 과의 동기화를 위한 정보의 표현 방법을 나타낼 수 있다. 예를 들어 decoder 내에서 사용되는 POC(Picture order count) 값을 전달할 수 있으며, 혹은 pic_order_count_lsb 값을 직접 전달할 수도 있다. Storage media인 경우 media time 정보를 사용할 수 있으며, video 시작에 대한 reference time을 기준으로 한 누적 frame 수로 정할 수도 있다.
동기화 시작 (sync_start) 정보는 동기화의 시작 지점과 관련된 정보이다. 매 프레임마다 관련 정보를 보내주는 경우가 아닌, RAP 등의 특정 주기마다 해당 정보를 전달하는 경우 해당 정보가 사용되는 구간의 시작과 끝을 비디오 프레임과 연결시켜줄 필요가 있다. 본 발명에서는 sync_start 정보를 사용하여 해당 정보가 적용되는 구간 또는 프레임의 시작 정보를 sync_info_type과 연계하여 시간, POC, frame수, PTS 등의 정보로 나타내는 실시예를 적용할 수 있다. sync_info_type는 시간, 시간 차이, 시작 순서, POC (picture order count), PTS, 합산된 프레임의 수로써 동기화 정보의 타입을 정의할 수 있다.
예를 들어 2초의 RAP 간격을 갖는 50fps 비디오 스트림에 대해 2~4초 RAP 구간 내에서 3개의 metadata가 각각 2초(시작시점), 2.5초, 3.5초에 적용되는 경우를 고려해볼 수 있다.
Sync_info_type=0x00 인 경우, 동기화 정보의 타입은 시간으로써 설정되고, 각 메타데이터의 sync_start 정보를 2000, 2500, 3500으로 전달할 수 있다. 또한, 추가적으로 sync_duration을 500, 1000, 1000으로 시그널링 할 수 있다. 이 때, 시간 판단을 위해 시간에 대한 기준이 필요한 경우가 있는데, TS header의 adaptation field에 시간을 정의하는 것과 같이 별도로 시그널링 해줄 수 있다.
Sync_info_type=0x01 인 경우, 동기화 정보의 타입은 시간 차이로써 설정될 수 있다. 방송 송신 장치는 sync_start = 0, 500, 1000으로 각각 시그널링 함으로써 각각 바로 적용, RAP로부터 0.5초 후 적용, RAP로부터 1.5초 후 적용임을 수신기에 알려줄 수 있다.
Sync_info_type=0x02의 경우, 동기화 정보의 타입은 시작 순서로써 설정되고, sync_start = 0, 1, 2와 같이 순서를 알려줄 수 있다. 시작 순서가 시그널링 되면, 수신기는 일정 시간 간격으로 순서에 따라 동기화 정보를 적용할 수 있다. 일정 시간 간격은 고정된 값이거나, 순서에 따라 정해진 값을 가질 수도 있다. 예를 들어, 0은 바로 적용 시작, 1은 RAP+0.5초에 적용, 2는 RAP+1.5초에 적용과 같이 추정할 수 있다.
Sync_info_type = 0x03의 경우, 동기화 정보의 타입은 POC로써 설정될 수 있다. 이 경우, metadata 적용 시점의 video의 POC 값을 100, 125, 175와 같이 전달할 수 있으며 후술할 duration도 POC 단위에 따라 25, 50, 50과 같이 전달할 수 있다. 또한 video codec syntax 내 POC와 연관된 값을 직접 전달할 수도 있다.
PTS (presentation time stamp), Frame 수를 시그널링 하는 경우에도 위의 POC의 예와 유사하게 PTS, Frame 수 정보를 통해 metadata의 적용 시점을 나타낼 수 있다.
동기화 구간 (sync_duration) 정보는 동기화 시작(sync_start)으로부터 지속되는 구간에 대한 정보이다. 앞선 예와 같이 동기화 종료 지점은 sync_start + sync_duration 으로 계산할 수 있으며, 필요한 경우 sync_duration과 함께 혹은 대신 동기화 종료 시점 정보를 직접 전달할 수도 있다. Live 방송의 경우 종료 시간을 미리 정할 수 없으므로 FFFF 와 같이 미리 약속된 값으로 설정할 수 있다. 만약 sync_start 정보 만으로 메타데이터 적용 시간에 대한 판단이 가능한 경우 sync_duration값이 사용되지 않을 수도 있다. 이 경우 sync_duration은 해당 메타데이터 이후에 다른 메타데이터가 전송되는지 여부와 같은 추가 정보를 주는 플래그로 사용할 수도 있다.
DR 정보 개수 (number_of_dynamic_range_info) 정보는 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 dynamic range 정보 표현 방법의 수를 나타낼 수 있다.
DR 정보 타입 (dynamic_range_info_type) 정보는 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 dynamic range 정보 표현 방법을 나타낸다. Dynamic range를 표현하기 위한 방법에는 도 19의 하단과 같을 수 있다. Dynamic range는 최대 밝기, 최소 밝기, 평균 밝기, 일정 성분으로 구성된 평균 또는 median 값 중 적어도 하나를 이용하여 나타낼 수 있다. 또한 white의 경우에도 normal white, diffuse white, specular white와 같이 밝은 부분을 특성에 따라 세부적으로 구분할 수 있으며, black의 경우에도 normal black, deep black, pitch dark 와 같이 특성에 따라 종류를 구분하여 표시할 수 있다.
아래의 예시와 같이 방송 송신 장치는 HDR info를 통해 specular white, pitch dark 와 같은 정보를 줌으로써 컨텐츠 내에 명부, 암부에 대해 밝기를 세분화하여 표현할 수 있으며, 이와 같은 정보들은 수신기 디스플레이 환경에 대한 판단 기준으로 이용하거나, 디스플레이 환경에 따른 mapping을 위한 정보로 활용될 수 있다.
DR정보 밸류 (dynamic_range_info_value) 정보는 dynamic_range_info_type 에 따라 해당하는 값을 전달할 수 있다. 즉, 아래와 같이 dynamic_range_info_type 에 따라 content, mastering display, scene DR 각각을 세밀하게 표현할 수 있다. 혹은 container video format 과 실제 content 의 특성을 구분하여 기술하기 위해 사용할 수도 있다.
Ex) content : peak_luminance_level = 2000(nit), minimum_luminance_level = 0.1(nit)
mastering display : peak_luminance_level = 4000(nit), minimum_luminance_level = 0.01(nit)
scene : white_level_A = 800(nit), white_level_B = 1500(nit), black_level_A = 1(nit), black_level_B = 0.1(nit)
변환 함수 타입(transfer_function_type) 정보는 HDR video의 mastering display, channel, program, content, scene, clip 또는 frame에 사용된 transfer function의 종류를 나타낼 수 있다. 예를 들어 SMPTE ST 2084, ITU BT.1886, BT.2020 등과 같이 미리 정해진 EOTF가 시그널링 될 수 있다. transfer function의 종류에 따라 절대 밝기 표현 방법, 상대 밝기 표현 방법 등과 같이 구분하고 구체적인 방법을 시그널링 할 수도 있다. 필요한 경우 임의의 transfer function의 계수를 전달할 수도 있다.
CG 타입 (color_gamut_type) 정보는 HDR video의 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 컬러 개멋 (color gamut) 종류를 나타낼 수 있다. 예를 들어 BT.709, BT.2020, DCI-P3와 같은 표준 color gamut을 나타내거나, 필요에 따라서는 RGB color primary (XYZ, RGBW 등도 가능)를 통해 임의의 color gamut을 나타낼 수 있다.
색온도 타입 (color_temperature_type) 정보는 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 기준 white에 대한 정보를 나타낼 수 있다. 예를 들어 D65, D50과 같은 표준 광원 색온도가 될 수도 있으며, 필요에 따라서는 white 에 대한 RGB color primary (XYZ, RGBW 등도 가능) 와 같이 색온도에 대한 대표성을 띠는 임의의 값을 나타낼 수도 있다.
DR 매핑 타입 (dynamic_range_mapping_info_type) 정보는 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 dynamic range mapping 정보의 종류를 나타낸다. 예를 들어 도 20의 상단에 도시된 바와 같이 HEVC에 포함되어있는 Knee function information SEI message 혹은 Tone mapping information SEI message 를 지칭함으로써 다른 SEI message이 정보를 참조할 수 있다. 또한 미리 약속된 HDR information descriptor 내에 직접 내용을 기술할 수도 있다.
CG 매핑 타입 (color_gamut_mapping_info_type) 정보는 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 color gamut mapping 정보의 종류를 나타낸다. 예를 들어 도 20의 하단에 도시된 바와 같이 HEVC에 포함되어있는 Colour remapping information SEI message 에 정의된 정보를 인용할 수 있다. 또한, 미리 약속된 HDR information descriptor 내에 직접 내용을 기술할 수도 있다.
시청 환경 타입 (viewing_condition_info_type) 정보는 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 viewing condition 정보의 종류를 나타낸다. 예를 들어 viewing_condition_info_type 정보는 별도의 SEI message로 정의된 viewing_condition에 정의된 정보를 인용할 수도 있고, 미리 약속된 HDR information descriptor 내에 직접 내용을 기술할 수도 있다.
상술한 dynamic_range_mapping_info_type, color_gamut_mapping_info_type, viewing_condition_info_type에 대해 외부의 SEI 메시지를 참고하는 경우, 위와 달리 SEI message의 payloadType을 직접 시그널링 해주는 방법을 사용할 수 도 있다. 예를 들어 Knee function information SEI message를 참고하는 경우 dynamic_range_mapping_info_type = 0, payloadType = 141을 통해 보다 구체적으로 알려주는 방법을 사용할 수도 있다.
도 21 은 본 발명의 일 실시예에 따른 시간 흐름에 기초하여 메타 데이터 정보를 시그널링하는 방법을 나타낸다.
시간에 따른 메타데이터 전송은 1) 매 프레임마다 해당 정보를 모두 보내주는 방법, 2) RAP 내에서 metadata가 변경되어 적용되는 구간의 시점의 프레임 내에 전송하는 방법 3) RAP 등의 주기를 가지고 주기 내에서 적용되는 metadata를 주기 시점에 한꺼번에 전송하는 방법 4) 적용 시점과 관련된 RAP 이전에 전송하는 방법과 같이 다양한 방법을 고려할 수 있다. 또한, 1)~4)의 방법을 혼합하여 사용할 수도 있다.
도 21 은 RAP에 따라 metadata 정보를 시그널링 하는 실시예를 나타낸다. 비디오 전체에 적용되는 공통 적용 정보(common type)는 각 RAP마다 전송될 수 있다. 이는 도 21에서 HDR_info_type가 0000으로 설정된 경우이다. 공통 적용 정보 는 반복되는 정보지만, 방송 송신 장치는 RAP 마다 공통 적용 정보를 전송함으로써 전송 오류에 의한 정보 손실을 보완하도록 할 수 있다.
장면에 따라 다르게 적용되는 정보를 제공할 필요가 있는 경우 Scene metadata를 이용하여 전송할 수 있다. 이는 도 21에서 HDR_info_type가 0100으로 설정된 경우이다. 이 경우 RAP 시점에 해당하는 정보와 RAP 내 scene change 이후 적용되는 정보를 같이 보내줄 수 있다. RAP 시점에 해당하는 정보 및 RAP 내 scene change 이후 적용되는 정보는 각각을 서로 다른 역할을 하는 set으로 정의될 수 있으며, 서로 다른 set_number가 부여됨으로써 구분될 수 있다. 또한 실시예에 따라 같은 장면에 적용되는 정보라도 서로 다른 역할을 하는 정보를 분리하여 별도로 전달하는 경우 이를 구분하기 위한 목적에도 서로 다른 set_number를 사용할 수 있다. 만약 동일한 정보가 두 개 이상의 RAP에 걸쳐서 적용되는 경우에는 동일 set_number를 갖되, 세부 정보 업데이트가 없는 경우 동일한 version_number를 설정할 수 있다. 여기서, 세부 정보 변경이 있는 경우에는 다른 version_number를 갖도록 함으로써 metadata processor 가 어느 set에 정보 변경이 있는지 여부를 확인하고 업데이트 여부를 결정할 수 있다. 다음 RAP이 도래하면, scene 시작 시점이 새로운 RAP으로 바뀌게 되므로 sync_start가 새로운 RAP으로 바뀌어 적용될 수 있다. 이 경우, 싱크 구간의 끝 지점 (sync_start+sync_duration)이 동일한 경우 정보 변경이 없다고 보고 동일한 version_number를 적용할 수 있다.
프로그램 내 사용되는 메타데이터 적용 시점과 관련된 RAP이 도래하기 이전에 적용 정보를 미리 전송하는 경우에는, 시간 차이, 순서, Frame 수와 같이 상대적인 개념을 통해 적용 시점을 알려줄 수 있다. 이 경우 Sync_start = FFFF와 같이 미리 약속 된 시그널링 혹은 RAP 보다 더 긴 구간 길이로 시그널링 하는 방법을 이용하여 해당 RAP이 아닌 향후에 적용 될 메타데이터임을 알려줄 수도 있다.
도 21의 00:00:00:00~00:00:02:00 구간에서 두번째 HDR_info_type=0100는 sync_start=0, sync_duration=180으로 설정되고 00:00:02:00~00:00:04:00 구간에서 두번째 HDR_info_type=0100은 sync_start=0, sync_duration=60으로 설정될 수 있다. Start 시점이 00:00:00:00에서 00:00:02:00로 변함에 따라 동일 정보(set 1, ver 0)에 대해 duration을 변경하여 시그널링 할 수 있다, 동일 정보임이 확인되는 경우 수신기에서는 metadata update 수행하지 않는다.
만약 이전 정보와 동일한 역할을 하는 정보에 대해 세부 내용 변경이 있는 경우, 방송 송신 장치는 공통 적용 정보의 set_number는 유지한 채로 version_number를 증가시킬 수 있다. 수신기의 metadata processor 는 변경된 version_number에 기초하여 정보 변경을 인지할 수 있으며, 기존 정보를 새로운 정보로 업데이트 할 수 있다.
도 21에 도시된 바와 같이 00:00:04:00~00:00:06:00 구간에서 메타 데이터 내의 정보 변경이 있는 경우 추가로 시작 시점 등의 정보를 전달할 수도 있다. 메타데이터 내 정보 변경이 있는 경우, 예를 들어 도시된 바와 같이 B 정보가 B'로 변경되면, 새로운 version number를 부여할 수 있다. 도면에서 00:00:02:00~00:00:04:00 구간에서 set_number=2에 대한 version number가 0이었으나, 00:00:04:00~00:00:06:00 구간에서는 version number가 1로 증가한 것을 확인할 수 있다. 종료 시점이 변하는 경우 등에도 version number를 통해 update 되어야 함을 알려줄 수 있다.
도 22 는 본 발명의 다른 실시예에 따른 시간 흐름에 기초하여 메타 데이터 정보를 시그널링하는 방법을 나타낸다. 도 22 는 메타 데이터 정보를 시그널링 함에 있어서, HDR과 SDR 사이에 전환이 있는 경우를 나타낸다. 도시된 바와 같이 세번째 RAP에서 HDR 비디오 스트림은 SDR 비디오 스트림으로 전환되며 이 경우, 세번째 RAP 이후에는 HDR information descriptor가 더 이상 송수신되지 않는다.
HDR information descriptor 전송이 중단되는 경우 방송 송신 장치는 transition_flag를 통해 수신기에 알려줄 수 있다. 컨텐츠의 DR이 HDR에서 SDR 로 전환되는 경우, HDR/WCG 컨텐츠에 대한 비디오 특성을 전달하였던 SEI message의 전달이 중단되며, 컨텐츠 전환 시첨 이후 더 이상의 정보가 전달되지 않을 수 있다. 물론, SDR 컨텐츠에 대해서도 mastering display 정보, color gamut mapping, viewing condition 과 같이 HDR information descriptor를 사용하는 경우도 발생할 수 있지만, 본 예시에서는 HDR information descriptor를 사용하지 않는 legacy SDR content에 대해 고려할 수 있다. 이 경우, transition_flag를 on하는 시점, 즉, 1로 세팅하는 시점이 중요한데, 위의 예시와 같이 전환이 일어나는 시점의 직전 프레임 및 그 프레임을 포함하는 RAP (도면에서 두번째 RAP)에서 transition_flag를 on으로 세팅할 수 있다.
도 23 은 본 발명의 일 실시예에 따른 dynamic_range_mapping_info를 나타낸 도면이다. 도 20의 상단에서 설명한 dynamic_range_mapping_info_type이 0x03으로 설정되면, dynamic_range_mapping_info()가 HDR_info descriptor 내에서 직접 정의될 수 있다. HDR_info_type이 Mastering display 혹은 video 와 관련된 공통 적용 정보로써 channel, program 또는 content인 경우, 영상 (channel, program 또는 content) 전반에 걸쳐 도 22에서 설명하는 정보를 사용할 수 있으며, 부분 적용 정보로써 scene type 혹은 frame type인 경우, 해당되는 구간에 대해 도 22에서 설명하는 정보를 사용할 수 있다. 아래에서는 dynamic_range_mapping_info()가 포함하는 필드에 대해 설명하도록 한다.
본 발명의 일 실시예에 따른 dynamic_range_mapping_info()는 최대 기준 밝기 정보 (luminance_max), 최소 기준 밝기 정보 (luminance_min), 임의 EOTF 정보 (private_EOTF), EOTF 계수 개수 정보 (number_of_coeff), EOTF 계수 정보 (transfer_curve_coeff[i]), 클리핑 플래그 정보 (clipping_flag), 선형 매핑 플래그 정보 (linear_mapping_flag), 클리핑 최대 밝기 범위 정보 (luma_clipping_upper_bound), 클리핑 최소 밝기 범위 정보 (luma_clipping_lower_bound), 최대 밝기 정보 (luminance_upper_bound), 최소 밝기 정보 (luminance_lower_bound), 최대 밝기 디지털 값 (luma_upper_value), 최소 밝기 디지털 값 (luma_lower_value), 핵심 영역 변환 곡선 타입 정보 (mid_DR_transformation_curve_type), 핵심 영역 변환 곡선 세부 정보 (mid_DR_transformation_curve()), 핵심 밝기 범위 영역 비율 정보 (mid_DR_percentage), 상위 영역 변환 곡선 타입 정보 (upper_DR_transformation_curve_type), 상위 영역 변환 곡선 세부 정보 (upper_DR_transformation_curve()), 상위 밝기 범위 영역 비율 정보 (upper_DR_percentage), 하위 영역 변환 곡선 타입 정보 (lower_DR_transformation_curve_type), 하위 영역 변환 곡선 세부 정보 (lower_DR_transformation_curve()), 추가 영역 개수 정보 (number_luminance_upper_bound_diff), 추가 영역 차이 정보 (luminance_upper_bound_diff[i]), 추가 영역 차이 디지털 값 (luma_upper_value_diff[i]), 변경 상위 영역 변환 곡선 타입 정보 (upper_DR_transformation_curve_type[i]), 변경 상위 영역 변환 곡선 세부 정보 (upper_DR_transformation_curve()), 변경 상위 밝기 범위 영역 비율 정보 (upper_DR_percentage[i]) 및/또는 변경 핵심 밝기 범위 영역 비율 정보 (mid_DR_percentage[i])를 포함할 수 있다.
최대 기준 밝기 정보 (luminance_max)는 초고화질 방송 컨텐츠에서 표현된 최대 기준 밝기를 나타낸다. 즉, 밝기 범위 (DR)의 최대값을 나타낸다. 예를 들어, 참조 모니터 (reference monitor)의 경우 100cd/m^2를 최대 기준 밝기로 정하고 있고 이 경우 일반적인 범위를 고려하여 상기 값을 100 (10진수)으로 나눈 값의 몫인 1이 전송될 수 있다.
최소 기준 밝기 정보 (luminance_min)는 초고화질 방송 컨텐츠에서 표현된 최소 기준 밝기를 나타낸다. 즉, 밝기 범위 (DR)의 최소값을 나타낸다. 예를 들어, 참조 모니터 (reference monitor)의 경우 0.05cd/m^2를 최소 기준 밝기로 정하고 있고 이 경우 일반적인 범위를 고려하여 상기 값에 100 (10진수)을 곱한 값인 5가 전송될 수 있다.
임의 EOTF 정보 (private_EOTF)는 임의의 EOTF 함수가 사용되는지 여부를 나타낸다. 일반적으로 ITU-R BT.1886, REC.709, BT.2020 등과 같이 널리 사용되는 EOTF가 사용되는 경우에는 VUI 정보에 의해 전달될 수 있다. 하지만, 아직 표준으로 정해지지 않은 EOTF가 사용되는 경우 당해 필드 값을 1로 설정하여 나타낼 수 있다. 예를 들어, 표준으로 정해 지지 않은 EOTF 즉, 임의의 EOTF로서 perceptual quantization이 사용될 수 있다.
EOTF 계수 개수 정보 (number_of_coeff)는 임의의 EOTF에 사용된 계수의 개수를 나타낸다.
EOTF 계수 정보 (transfer_curve_coeff[i])는 임의의 EOTF에 사용된 계수를 나타낸다.
클리핑 플래그 정보 (clipping_flag)는 클리핑 옵션이 사용되는지 여부를 나타내는 정보로서 클리핑 옵션의 사용이 허용되는 경우 1값을 가질 수 있다.
선형 매핑 플래그 정보 (linear_mapping_flag)는 선형 밝기 범위 변환 (linear dynamic range transformation) 방법의 사용 여부를 나타낸다. 선형 밝기 범위 변환 (linear dynamic range transformation) 방법이 사용되는 경우 1값을 가진다.
클리핑 최대 밝기 범위 정보 (luma_clipping_upper_bound)는 클리핑 옵션이 사용되는 경우에 디스플레이 되는 밝기 범위 (DR)에서 상위 임계점에 대한 디지털 값 (digtal value)을 나타낸다.
클리핑 최소 밝기 범위 정보 (luma_clipping_lower_bound)는 클리핑 옵션이 사용되는 경우에 디스플레이 되는 밝기 범위 (DR)에서 하위 임계점에 대한 디지털 값 (digtal value)을 나타낸다.
최대 밝기 정보 (luminance_upper_bound)는 초고화질 방송 컨텐츠에서 표현된 밝기 범위 중 필수적으로 표현되어야 하는 밝기 범위의 최대값 (nit 단위)을 나타낸다. 최대 밝기 정보는 수신 장치의 디스플레이 종류를 판단하는 기준이 될 수 있다. 또한, 수신 장치의 디스플레이 종류를 판단하는 별도의 기준을 시그널링 할 수 있다.
최소 밝기 정보 (luminance_lower_bound)는 초고화질 방송 컨텐츠에서 표현된 밝기 범위 중 필수적으로 표현되어야 하는 밝기 범위의 최소값 (nit 단위)을 나타낸다. 최소 밝기 정보는 수신 장치의 디스플레이 종류를 판단하는 기준이 될 수 있다. 또한, 수신 장치의 디스플레이 종류를 판단하는 별도의 기준을 시그널링 할 수 있다.
최대 밝기 디지털 값 (luma_upper_value)은 최대 밝기 정보 (luminance_upper_bound)에 해당하는 디지털 값 (digital value)을 나타낸다.
최소 밝기 디지털 값 (luma_lower_value)은 최소 밝기 정보 (luminance_lower_bound)에 해당하는 디지털 값 (digital value)을 나타낸다.
핵심 영역 변환 곡선 타입 정보 (mid_DR_transformation_curve_type)는 핵심 밝기 범위 영역에서 사용되는 밝기 범위 변환 곡선을 식별한다. 변환 곡선은 선형 곡선 (linear curve), 지수 곡선 (exponential curve), S곡선 (s curve), 로그 곡선 (logarithmic curve), 여러 곡선이 조합된 곡선 (combination curve) 및 LUT (Look Up Table) 중 어느 하나가 사용될 수 있다.
핵심 영역 변환 곡선 세부 정보 (mid_DR_transformation_curve())는 핵심 영역 변환 곡선 타입 정보 (mid_DR_transformation_curve_type)에 의해 식별된 변환 곡선에 따른 추가 정보를 나타낸다. 예를 들어, 선형 곡선 (linear curve)이 사용되는 경우 기울기 정보가 전송될 수 있고, 지수 곡선 (exponential curve)이나 로그 곡선 (logarithmic curve)이 사용되는 경우 밑에 대한 정보가 전송될 수 있고, S곡선 (s curve)이 사용되는 경우 변곡점의 좌표 및 각 구간에 대한 밑과 y절편에 대한 정보가 전송될 수 있고, 여러 곡선이 조합된 곡선 (combination curve)이 사용되는 경우 각 구간의 x좌표, 각 구간의 곡선 종류 및 당해 그래프에 대한 정보가 전송될 수 있다.
핵심 밝기 범위 영역 비율 정보 (mid_DR_percentage)는 초고화질 방송 컨텐츠의 밝기 범위 중 핵심 밝기 범위 영역이 수신 장치 디스플레이의 전체 밝기 범위 (DR)에서 차지하는 비율을 나타낸다.
상위 영역 변환 곡선 타입 정보 (upper_DR_transformation_curve_type)는 상위 밝기 범위 영역에서 사용되는 밝기 범위 변환 곡선을 식별한다. 변환 곡선은 선형 곡선 (linear curve), 지수 곡선 (exponential curve), S곡선 (s curve), 로그 곡선 (logarithmic curve), 여러 곡선이 조합된 곡선 (combination curve) 및 LUT (Look Up Table) 중 어느 하나가 사용될 수 있다.
상위 영역 변환 곡선 세부 정보 (upper_DR_transformation_curve())는 상위 영역 변환 곡선 타입 정보 (upper_DR_transformation_curve_type)에 의해 식별된 변환 곡선에 따른 추가 정보를 나타낸다. 예를 들어, 선형 곡선 (linear curve)이 사용되는 경우 기울기 정보가 전송될 수 있고, 지수 곡선 (exponential curve)이나 로그 곡선 (logarithmic curve)이 사용되는 경우 밑에 대한 정보가 전송될 수 있고, S곡선 (s curve)이 사용되는 경우 변곡점의 좌표 및 각 구간에 대한 밑과 y절편에 대한 정보가 전송될 수 있고, 여러 곡선이 조합된 곡선 (combination curve)이 사용되는 경우 각 구간의 x좌표, 각 구간의 곡선 종류 및 당해 그래프에 대한 정보가 전송될 수 있다.
상위 밝기 범위 영역 비율 정보 (upper_DR_percentage)는 초고화질 방송 컨텐츠의 밝기 범위 중 상위 밝기 범위 영역이 수신 장치 디스플레이의 전체 밝기 범위 (DR)에서 차지하는 비율을 나타낸다.
하위 영역 변환 곡선 타입 정보 (lower_DR_transformation_curve_type)는 하위 밝기 범위 영역에서 사용되는 밝기 범위 변환 곡선을 식별한다. 변환 곡선은 선형 곡선 (linear curve), 지수 곡선 (exponential curve), S곡선 (s curve), 로그 곡선 (logarithmic curve), 여러 곡선이 조합된 곡선 (combination curve) 및 LUT (Look Up Table) 중 어느 하나가 사용될 수 있다.
하위 영역 변환 곡선 세부 정보 (lower_DR_transformation_curve())는 하위 영역 변환 곡선 타입 정보 (lower_DR_transformation_curve_type)에 의해 식별된 변환 곡선에 따른 추가 정보를 나타낸다. 예를 들어, 선형 곡선 (linear curve)이 사용되는 경우 기울기 정보가 전송될 수 있고, 지수 곡선 (exponential curve)이나 로그 곡선 (logarithmic curve)이 사용되는 경우 밑에 대한 정보가 전송될 수 있고, S곡선 (s curve)이 사용되는 경우 변곡점의 좌표 및 각 구간에 대한 밑과 y절편에 대한 정보가 전송될 수 있고, 여러 곡선이 조합된 곡선 (combination curve)이 사용되는 경우 각 구간의 x좌표, 각 구간의 곡선 종류 및 당해 그래프에 대한 정보가 전송될 수 있다.
추가 영역 개수 정보 (number_luminance_upper_bound_diff)는 핵심 밝기 범위 영역을 확장하기 위해 사용되는 변수의 개수를 나타낸다.
추가 영역 차이 정보 (luminance_upper_bound_diff[i])는 초고화질 방송 컨텐츠에서 i+1 번째 밝기 값을 구성하기 위한 차이 값을 나타낸다. 기존 밝기 범위보다 넓은 밝기 범위를 갖지만 초고화질 방송 컨텐츠에서 표현된 밝기 범위를 모두 수용하지 못하는 디스플레이 (경우 2)에서 핵심 밝기 범위 영역을 확장하는 경우 최대 밝기 정보 (luminance_upper_bound)는 luminance_upper_bound + luminance_upper_bound_diff[0] + … + luminance_upper_bound_diff[i]가 나타내는 값으로 변경될 수 있다.
추가 영역 차이 디지털 값 (luma_upper_value_diff[i])은 초고화질 방송 컨텐츠에서 i+1 번째 밝기 값에 대한 디지털 값 (digital value)을 나타낸다. 기존 밝기 범위보다 넓은 밝기 범위를 갖지만 초고화질 방송 컨텐츠에서 표현된 밝기 범위를 모두 수용하지 못하는 디스플레이 (경우 2)에서 핵심 밝기 범위 영역을 확장하는 경우 최대 밝기 디지털 값 (luma_upper_value)은 luma_upper_value + luma_upper_value_diff[0] + … + luma_upper_value_diff[i]가 나타내는 값으로 변경될 수 있다.
변경 상위 영역 변환 곡선 타입 정보 (upper_DR_transformation_curve_type[i])는 i+1 번째 밝기 범위를 지원하는 경우 변경된 상위 밝기 범위 영역에서 사용되는 변환 곡선을 식별할 수 있다. 즉, 변경 상위 영역 변환 곡선 타입 정보는 핵심 밝기 범위 영역이 확장되는 경우 이에 따라 변경된 상위 밝기 범위 영역에서 사용되는 변환 곡선을 식별할 수 있다.
변경 상위 영역 변환 곡선 세부 정보 (upper_DR_transformation_curve())는 변경 상위 영역 변환 곡선 타입 정보 (upper_DR_transformation_curve_type[i])에 의해 식별된 변환 곡선에 따른 추가 정보를 나타낸다. 즉, i+1 번째 밝기 범위를 지원하는 경우 변경된 상위 밝기 범위 영역에서 사용되는 변환 곡선에 대한 세부 사항을 나타낸다.
변경 상위 밝기 범위 영역 비율 정보 (upper_DR_percentage[i])는 초고화질 방송 컨텐츠의 핵심 밝기 범위 영역이 변경되는 경우 이에 따라 변경된 상위 밝기 범위 영역이 수신 장치 디스플레이의 전체 밝기 범위 (DR)에서 차지하는 비율을 나타낸다.
변경 핵심 밝기 범위 영역 비율 정보 (mid_DR_percentage[i])는 초고화질 방송 컨텐츠의 핵심 밝기 범위 영역이 변경되는 경우 변경된 핵심 밝기 범위 영역이 수신 장치 디스플레이의 전체 밝기 범위 (DR)에서 차지하는 비율을 나타낸다.
도 24 는 본 발명의 일 실시예에 따른 HEVC 내에 정의된 SEI 메시지를 참조하는 경우를 나타낸다. 도 20의 하단에서 설명한 color_gamut_mapping_info_type 이 0x00으로 설정되면, gamut_mapping_info()가 HDR_info descriptor 내에 직접 정의되지 않고 HEVC에 정의된 SEI 메시지를 참조할 수 있다. 여기서 SEI 메시지는 HEVC에 정의된 colour remapping information SEI message syntax를 따를 수 있다.
HDR_info_type가 Mastering display 혹은 video 와 관련된 공통 적용 정보로써 channel, program 또는 content인 경우 영상 (channel, program 또는 content) 전반에 걸쳐 참조된 정보를 사용할 수 있으며, 부분 적용 정보로써 scene type 혹은 frame type인 경우 해당되는 구간에만 참조된 정보를 적용할 수 있다.
도 25 및 26 은 본 발명의 일 실시예에 따른 HDR_info descriptor를 PMT를 통해 시그널링하는 실시예를 나타낸다. PMT는 program mapping table을 의미하며, 테이블 식별자 정보, 섹션 신택스 지시자 정보, 섹션 길이 정보, 프로그램 넘버 정보, 버전 넘버 정보, current_next 지시자 정보, 섹션 넘버 정보, PCR_PID 정보, program info 길이 정보, 제1 디스크립터 정보, 스트림 타입 정보, 기본 PID (elementary PID) 정보, 엘레멘터리 스트림 정보 길이 (Es_info_length) 정보, 제2 디스크립터 정보, CRC 정보 등을 포함할 수 있다. 제1 디스크립터 정보는 program info 길이 정보 뒤에 따라오는 첫번째 루프에 포함된 디스크립터 정보를 나타낼 수 있으며, 제2 디스크립터 정보는 엘레멘터리 스트림 정보 길이 뒤에 따라오는 두번째 루프에 포함된 디스크립터 정보를 나타낼 수 있다.
본 발명의 일 실시예에 따른 UHD_program_info_descriptor는 PMT에 포함된 제1 디스크립터 정보 내에 포함되어 시그널링될 수 있으며, 전술한 HDR_info descriptor는 PMT에 포함된 제2 디스크립터 정보 내에 포함되어 시그널링 될 수 있다.
UHD_program_info_descriptor는 도 25의 상단에 도시된 바와 같이 디스크립터 태크 (descriptor_tag) 정보, 디스크립터 길이 (descriptor_length) 정보 또는 서비스 타입 정보 (UHD_service_type) 중 적어도 하나를 포함할 수 있다. 여기서 서비스 타입 정보 (UHD_service_type)는 도 25의 하단에 도시된 바와 같이 UHD 서비스의 종류를 나타낼 수 있다. 예를 들어, 서비스 타입 정보는 UHD1(4K), UHD2(8K), 혹은 quality에 따른 구분 등 사용자가 지정한 UHD 서비스 종류를 나타낼 수 있다. 이를 통해 수신기에게 다양한 UHD 서비스를 제공할 수 있다. 본 발명의 경우, UHD_service_type = 1100 (UHD1 service with HDR information metadata, 4K의 예)로 지정하여 video, scene, clip 또는 frame 등의 서로 다른 단계 또는 단위에 대한 HDR info 가 제공됨을 나타낼 수 있다.
도 27 및 28 은 본 발명의 일 실시예에 따른 HDR_info descriptor를 EIT를 통해 시그널링하는 실시예를 나타낸다. ATSC 및 DVB 시스템은 시그널링 테이블로써 EIT를 포함할 수 있으며, 그 안에 포함된 신택스는 도 27 및 28 과 같다.
본 발명의 일 실시예에 따른 ATSC 및 DVB 시스템의 EIT (Event Information Table)는 공통적으로 table_id 필드, section_syntax_indicator 필드, section_length 필드, source_id (service_id)필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, num_events_in_section (segment_last_section_number)필드, event_id 필드, start_time 필드, length_in_seconds (duration) 필드, descriptors_length 필드, descriptor() 필드 및/또는 CRC_32 필드를 포함할 수 있다.
table_id 필드는 당해 테이블이 EIT (Event Information Table)임을 식별한다. section_syntax_indicator 필드는 MPEG-2 private_section table의 long 형태를 나타내기 위해 1로 세팅되는 1비트 필드이다. section_length 필드는 이 필드 뒤에 있는 테이블 섹션의 길이를 바이트 수로 나타낸다. source_id 필드는 해당 섹션에서 기술되는 이벤트를 전송하는 가상 채널의 소스 아이디 (source id)를 나타낸다. version_number 필드는 테이블의 버전 번호를 나타내는 5비트 필드이다. current_next_indicator 필드는 1비트 필드로서, 이 테이블이 현재 적용 가능한지 또는 다음에 적용 가능한지를 나타낸다. section_number 필드는 섹션의 번호를 나타낸다. last_section_number 필드는 마지막 섹션의 번호를 식별한다. num_events_in_section 필드는 해당 테이블 섹션에 포함된 이벤트의 개수를 나타낸다. event_id 필드는 기술된 이벤트를 가리키는 특정 숫자를 식별한다. start_time 필드는 해당 이벤트의 시작시간을 GPS 세컨드를 기준으로 나타낸다. 가상 채널에서 이벤트의 시작 시간을 나타내는 값은 방영 중인 이벤트의 종료 시간을 나타내는 값보다 클 수 있다. 이벤트의 종료 시간은 이벤트의 시작 시간과 이벤트의 길이를 시간으로 나타낸 값의 합으로 정의될 수 있다. length_in_seconds (duration) 필드는 이벤트의 지속 시간을 초단위로 나타낸다. descriptors_length 필드는 뒤에 이어서 기술되는 이벤트 디스크립터 (descriptor())의 전체 길이를 나타낸다. descriptor() 는 테이블 내에 위치하는 descriptor loop이다. descriptor loop는 추가적인 descriptor를 포함할 수 있다. EIT 안에는 0개 이상의 디스크립터가 포함될 수 있으며, 당해 디스크립터는 각 이벤트마다 적용되는 정보를 기술하는 이벤트 레벨 디스크립터 (event level descriptor)에 해당할 수 있다. 본 발명의 일 실시예에 따라, UHD_program_info_descriptor 및 HDR_info descriptor는 이벤트 레벨 디스크립터에 포함되어 전송될 수 있다. UHD_program_info_descriptor는 UHD 서비스 종류를 구분하기 위해 사용될 수 있으며, HDR_info descriptor는 event level에서 HDR 영상 정보 메타데이터 포함 여부를 확인할 수 있으며, 수신기에서 수용 가능 여부를 판단하기 위해 사용될 수 있다. 케이블 방송의 경우 상기 디스크립터 대신 AEIT에 동일 정보를 제공할 수 있다.
CRC_32 필드는 데이터의 무결성을 체크할 수 있는 CRC 값을 포함한다. CRC 값은 전체 EIT 섹션이 처리된 이후에 Annex A of ISO-13818-1 “MPEG-2 Systems”에 정의되어 있는 디코더 안의 레지스터로부터 0값이 출력되는 것을 보증할 수 있다.
EIT를 통해 시그널링되는 UHD_program_info_descriptor의 UHD_service_type이 1100으로 설정되면, 수신기는 적정 시청 환경에 대한 정보가 metadata를 통해 전달됨을 확인할 수 있다. 예를 들어, UHD_service_type이 1100인 경우 수신기는 해당 서비스가 UHD1 service with HDR information metadata, 4K임을 확인할 수 있다.
EIT를 통해 시그널링되는 UHD_program_info_descriptor의 UHD_service_type이 0000으로 설정되면, 수신기는 HDR_info_descriptor()의 존재 여부를 확인하고, video, scene 또는 frame 등의 서로 다른 단계 또는 단위에 대한 HDR info 이 제공됨을 알 수 있다. 여기서, UHD_service_type이 0000은 UHD1 서비스임을 나타낼 수 있다.
상술한 경우에 대해, HDR_info_descriptor() 를 이용해 컨텐츠 공급자가 원하는 mastering display, content, scene 또는 frame 단위의 정보를 시청자의 디스플레이에서 활용할 수 있는지 판단할 수 있다. 이를 이용해 현재 혹은 미래 시점에 재생 되는 컨텐츠에 대해 content, scene 또는 frame 단위 메타데이터 사용 여부를 미리 판단할 수 있으며, 예약 녹화 등의 상황을 위한 세팅을 수신기에서 미리 준비할 수 있는 효과가 있다.
도 29 는 본 발명의 다른 실시예에 따른 HDR_info_descriptor()를 나타낸다. 하나의 event에 대해 복수의 정보가 존재할 수 있다. 즉, 컨텐츠에 일관되게 정보가 적용되는 것이 아닌, 시간에 따라, 혹은 삽입 된 컨텐츠 유무 등에 의해 적용되는 정보가 변환될 수 있다. 혹은, 하나의 컨텐츠에 대해 제작자가 의도하는 다양한 모드를 지원할 수도 있다. 이때, 수신기의 디스플레이에서 이러한 모드들을 수용 가능한지를 판단할 필요가 있으며, 이에 대한 정보는 방송 송신 장치에 의해 viewing_condition_metadata를 통해 제공될 수 있다. viewing_condition_metadata 내의 syntax는 SEI message의 viewing condition descriptor의 정의를 따를 수 있다.
HDR_info_descriptor는 도 29의 상단에 도시된 바와 같이 디스크립터 태크 (descriptor_tag) 정보, 디스크립터 길이 (descriptor_length) 정보 및 정보의 개수 (number_of_info) 정보 중 적어도 하나를 포함할 수 있다. HDR_info_descriptor는 루프를 포함할 수 있으며 number_of_info이 지시하는 개수만큼의 HDR_info_metadata()를 포함할 수 있다. HDR_info_metadata()의 신택스는 도 17의HDR information descriptor 구성의 실시 예의 스크립트 혹은 그의 일부가 전달될 수 있다.
도 30 은 본 발명의 일 실시예에 따른 수신기 블록도 및 동작 방법을 나타낸다. 전술한 방법을 통해 HDR information 이 전송되는 경우, 수신기에서 시그널을 분석하고 이를 바탕으로 HDR 영상에 정보를 적용하는 프로세스는 다음과 같다.
본 발명의 일 실시예에 따른 수신기는 튜너 및 디모듈레이터 (1601)를 이용하여 RF (radio frequency) 채널로부터 방송 신호를 수신할 수 있다. 도시되지는 않았으나 방송 신호는 RF 채널뿐 아니라 다른 경로로도 수신될 수 있다. 예를 들어 방송 신호는 IP 기반 방송/통신, 유/무선 통신, 유/무선 인터페이스를 통해 수신될 수 있다. 또한 방송 신호와 후술할 메타 데이터는 서로 다른 경로로 수신될 수 있다. 후술할 메타 데이터는 방송 신호 뿐 아니라 다른 경로(예를 들어 IP 기반 방송/통신, 유/무선 통신, 유/무선 인터페이스, 근거리 무선 통신 등)로도 송수신 될 수 있다.
수신기는 채널 디코더 (1602)를 이용하여 수신된 방송 신호를 디코딩 할 수 있다. 여기서 채널 디코더는 VSB 또는 QAM 방식을 이용하여 디코딩할 수 있다. 디코딩된 방송 신호는 디멀티플렉서 (1603)에 의해 방송 컨텐츠 데이터 및 시그널링 데이터로 디멀티플렉싱될 수 있다. 방송 컨텐츠 데이터는 HDR 비디오 데이터를 포함할 수 있으며, 비디오 디코더(1605)에 의해 디코딩될 수 있다. 시그널링 데이터는 방송 컨텐츠 데이터에 대한 정보를 포함할 수 있으며, 실시예에 따라 PMT, VCT, EIT, SDT 등 시그널링 테이블 또는 시그널링 정보를 포함할 수 있다. 수신기는 섹션 데이터 프로세서 (1604)를 이용하여 시그널링 정보 (예를 들어, PMT)로부터 UHD_program_info_descriptor를 추출할 수 있다.
수신기는 UHD_program_info_descriptor 를 이용하여 원본 UHDTV 방송을 구성하기 위해 추가로 수신해야 하는 별도 서비스나 미디어가 있는지 파악한다. 본 발명의 실시 예에서는 수신기가 UHD_service_type = 1100 임을 수신하는 경우 SEI message를 통해 추가 정보가 있음을 파악할 수 있다. 혹은 수신기는 UHD_service_type = 0000(8K는 0001)을 수신 후 EIT를 통해 SEI message를 통한 비디오 관련 추가 정보가 있음을 파악할 수 있다.
추가 정보가 존재함을 확인한 수신기는 HDR information SEI message 혹은 HDR_info_type에 기초하여 추가 정보가 적용되는 범위가 channel 단위인지, program 단위인지, 컨텐츠 단위인지, scene, clip 또는 frame 인지를 구분할 수 있다. 또한 각 경우에 대해 추가 정보가 적용되는 범위를 동기화하기 위해 HDR_info_descriptor() 는 추가 정보의 시작 시점과 종료 시점에 대한 정보를 포함할 수 있다. 본 발명의 일 실시예에서는 video frame을 기준으로 동기화하기 위한 정보인 sync_info_type, sync_start, sync_duration의 예시로 사용하였다. 또한 HDR_info_descriptor() 는 HDR의 종료 시점을 나타내는 transition_flag 정보를 포함할 수 있다.
또한 HDR_info_type이 content 전반에 대해 적용되는 정보인 경우, 시그널링 정보는 HDR_video_enhancement_info_present_type을 통해 추가적으로 scene, clip, frame 단위의 정보가 제공되는지 여부를 시그널링할 수 있다. 이를 통해 수신기는 추후 scene, clip 또는 frame 단위 정보가 제공됨을 미리 알 수 있으며, scene, clip 또는 frame 단위의 metadata 처리 및 HDR 영상 화질 개선을 위한 세팅을 미리 할 수 있다.
수신기는 시그널링 정보를 통해 dynamic range를 표현할 수 있는 정보로써 고대비에 대한 정보나 밝기를 나타내는 정보의 종류를 dynamic_range_info_type 를 통해 파악할 수 있다. 예를 들어, dynamic_range_info_type은 고대비 정보로써 aspect ratio, f-stop을 지시하거나, 밝기 정보로써 peak luminance, minimum luminance 등을 지시할 수 있다. 각 타입에 따른 밸류는 dynamic_range_info_value[i] 를 통해 수신기에 전달될 수 있다. 특히 본 발명의 일 실시예에 따르면, content, mastering display, frame, scene 의 특징에 따른 dynamic range 정보를 각각 나타낼 수 있으며, dynamic_range_info_type을 통해 밝기를 더욱 세분화 하여 나타낼 수 있다. 이와 함께 수신기는 color encoding에 사용된 EOTF의 종류, color gamut 종류, color temperature 종류를 각각 transfer_function_type, color_gamut_type, color_temperature_type을 통해 파악할 수 있다.
HDR_info_descriptor()는 추가적인 정보로써 dynamic range mapping, color gamut mapping, viewing condition information 등을 수신기에게 제공할 수 있다. 추가적인 정보를 제공하는 방법이 다양한 경우, 각각에 대해 dynamic_range_mapping_info_type, color_gamut_mapping_info_type, viewing_condition_info_type 을 통해 HEVC 내에 정의된 SEI message 혹은 미리 약속된 SEI message를 지정할 수 있다. HDR_info descriptor 내에서 추가 정보를 직접 정의하는 경우 수신기는 dynamic_range_mapping_info(), color_gamut_mapping_info(), viewing_condition_info() 를 통해 세부정보를 파악할 수 있다.
상술한 시그널링 정보들은 수신기의 메타데이터 프로세서(1606)에 저장될 수 있다. 저장된 시그널링 정보들은 전술한 set number 또는 version 이 변경되는 경우 업데이트될 수 있다. 수신기는 싱크로나이저(1607)를 이용하여 메타데이터 프로세서(1606)에 저장된 화질 개선 정보가 적용 단위에 따라 비디오 데이터에 적용될 수 있도록, 화질 개선 정보 (시그널링 정보)와 비디오 데이터를 동기화할 수 있다.
수신기는 주어진 정보를 바탕으로 content, scene 또는 frame 단위의 dynamic range 정보를 HDR 알고리즘 혹은 기존 후처리부(1608, post-processing module)와 같은 화질 개선부에 전달하여 화질 향상을 시킬 수 있다. 또한 수신기는 dynamic range mapping, color gamut mapping, viewing condition information과 관련된 세부 정보가 있는 경우 tone mapping, color mapping, color correction, white balance 등과 같이 관련된 모듈을 직접 연결하여 화질 향상을 할 수 있다. 만약 수신기 내부에서 영상 처리를 linear luminance domain에서 이뤄지는 경우 transfer_function_type을 통해 파악한 EOTF 를 적용할 수 있다.
수신기는 후처리된 HDR 비디오를 디스플레이부 (1609)를 통해 표시하고, 사용자에게 제공할 수 있다.
도 31 은 본 발명의 일 실시예에 따른 HDR 정보 디스크립터를 나타낸다. 본 발명에서 제시하는 HDR 인포메이션(information)을 보다 정확하게 적용하기 위해서는 입력 비디오 포맷 (input video format)과 출력 비디오 포맷 (ouput video format) 에 대해 상술할 필요가 있다. 즉, 방송 신호 송신 장치는 비디오 데이터에 대한 프로세싱 이전과 이후에 적용되는 비디오 포맷에 대한 정보를 추가적으로 시그널링함으로써, 방송 신호 수신 장치가 보다 정확한 색상 매핑을 수행할 수 있다. 도시된 정보들은 도 17에서 설명한 HDR 인포메이션 디스크립터에 포함된 정보와 함께 추가적으로 해당 디스크립터에 포함될 수 있다. 도시된 정보들은 본 실시예와 같이 SEI 메시지 내의 모든 HDR 비디오 프로세싱 (video processing)에 동일하게 적용될 수 있다. 또한, 각각의 HDR 비디오 프로세싱, 예를 들면 색상 표현 매핑 (color gamut mapping), 다이나믹 레인지 매핑 (dynamic range mapping)에 각각 정의되어 서로 다른 입력/출력 (input/output) 특성을 정의할 수도 있다.
입력 색공간 타입 정보 (Input_color_space_type)는 본 발명에서 전달하는 HDR 비디오 프로세싱의 대상이 되는 영상에 대한 정보 중, 컬러 표현 기준을 나타낼 수 있다. 낸다. 컬러 표현 기준으로는 RGB, YCbCr, xvYCC, XYZ 등이 사용될 수 있다. 즉, 입력 색공간 타입 정보가 0000로 설정되는 경우 컬러 표현 기준이 RGB 임을 나타내고, 0001인 경우 YCbCr, 0010인 경우 xvYCC, 0011인 경우 XYZ임을 나타낼 수 있다. 0100 내지 1111인 경우는 향후 사용을 위해 리저브드(reserved) 될 수 있다. 또한 입력 색공간 타입 정보는 컬러 개멋 타입 정보 (color gamut type)와 함께 사용될 수 있다. 예를 들어, 입력 색공간 타입 정보 (input_color_space_type) 가 RGB 이고 컬러 개멋 타입 정보 (color_gamut_type)가 BT.2020 정휘도 (constant luminance) 인 경우 영상이 BT.2020 CL 기반의 RGB로 표현되었음을 나타낼 수 있다.
입력 색상 정밀도 정보 (Input_color_precision)는 컬러 표현 정확도를 나타내며, 필요한 경우 입력 색공간 타입 정보 (Input_color_space_type)와 연동되어 사용될 수 있다. 예를 들어 RGB의 경우 동일한 색에 대해서도 10 비트/ 12 비트/ 14 비트 와 같이 다른 정밀도로 표현할 수 있다. 혹은 플로팅 포인트 (floating point)로 나타낼 필요가 있는 경우 소수점 이하 몇 자리까지 정밀도를 갖는지에 대해 나타낼 수도 있다.
출력 색공간 타입 정보 (Output_color_space_type)는 입력 색공간 타입 정보 (Input_color_space_type)와 대조되는 개념으로, HDR 비디오 프로세싱 이후 타겟 하는 최종 컬러 표현 기준을 나타낸다. 컬러 표현 기준으로는 RGB, YCbCr, xvYCC, XYZ 등이 사용될 수 있다. 즉, 출력 색공간 타입 정보가 0000로 설정되는 경우 컬러 표현 기준이 RGB 임을 나타내고, 0001인 경우 YCbCr, 0010인 경우 xvYCC, 0011인 경우 XYZ임을 나타낼 수 있다. 0100 내지 1111인 경우는 향후 사용을 위해 리저브드(reserved) 될 수 있다. 출력 색상 정밀도 정보 (Output_color_precision) 는 컬러 표현 정확도를 나타내며, 필요한 경우 출력 색공간 타입 정보 (Output_color_space_type)와 연동되어 사용될 수 있다. 출력 색상 정밀도 정보에 대한 실시예는 입력 색상 정밀도 정보 (Input_color_precision) 의 실시예와 동일하게 적용될 수 있다. 프로세싱 색공간 타입 정보 (processing_color_space_type)는 HDR 비디오 프로세싱이 수행되는 색공간 (Color space)을 나타낸다. 일반적으로 XYZ와 같은 중립 색공간을 사용할 수 있지만, 특정 색공간 (color space)을 지정하여 사용할 수도 있다. 프로세싱 색공간으로는 XYZ, YCbCr (BT.2020, non-CL), YCbCr (BT.2020, CL), CIE L*a*b*, 및 YUV가 사용될 수 있다. 즉, 프로세싱 색공간 타입 정보의 값이 0000으로 설정된 경우 XYZ, 0001로 설정된 경우 YCbCr (BT.2020, non-CL), 0010으로 설정된 경우 YCbCr (BT.2020, CL), 0011로 설정된 경우 CIE L*a*b*, 0100으로 설정된 경우 YUV이 색공간 타입으로 지정될 수 있다.
프로세싱 색상 정밀도 정보 (Processing_color_precision)는 컬러 표현 정확도를 나타내며, 필요한 경우 프로세싱 색공간 타입 정보 (processing_color_space_type)와 연동하여 사용할 수 있다. 이에 대한 실시예는 입력 색상 정밀도 정보 (Input_color_precision) 의 실시예와 동일하게 적용될 수 있다.
HDR 정보 디스크립터는 타겟 인포메이션을 더 포함할 수 있다. 다이나믹 레인지 인포에 대해서 타겟 인포메이션은 HDR 정보 디스크립터를 통해 해당 프레임/장면의 화질 개선을 추구할 때 목표(target)가 되는 결과에 대한 정보를 나타낸다. 여기서, 목표는 비디오 포맷이 되거나 목표가 되는 디스플레이 등이 될 수도 있다.
타겟 인포메이션은 다음과 같은 요소들을 포함할 수 있다. 타겟 다이나믹 레인지 인포 타입 (Number_of_target_dynamic_range_info_type) 정보는 타겟 다이나믹 레인지 인포 타입의 개수를 나타낼 수 있다. 타겟 다이나믹 레인지 인포 타입 (target_dynamic_range_info_type) 정보는 HDR 비디오 프로세싱이 타겟팅하는 다이나믹 레인지 정보의 종류을 정의할 수 있다. 이에 대해 타겟 다이나믹 레인지 인포 밸류 (target_dynamic_range_info_value) 정보는 타겟 다이나믹 레인지 인포 타입 정보가 정의한 정보에 대한 구체적인 값을 나타낼 수 있다. 타겟 변환 함수 타입 정보(target_transfer_function_type), 타겟 컬러 개멋 타입 정보(target_color_gamut_type), 타겟 컬러 온도 타입 정보 (target_color_temperature_type)는 각각 타겟팅하는 변환 함수의 종류, 컬러 개멋의 종류, 컬러 온도의 종류에 대한 정보를 나타낼 수 있다. 이들 정보들은 전술한 Number_of_dynamic_range_info_type, dynamic_range_info_type, dynamic_range_info_value, transfer_function_ type, color_gamut_type, color_temperature_type 에 대응하는 의미를 가질 수 있다. 여기서, 기존에 정의했던 값은 HDR 비디오 프로세싱의 대상이되는 영상의 다이나믹 레인지 (dynamic range), 컬러 개멋 (color gamut), 변환 함수 (transfer function)를 나타내는 것으로 의미를 구체화하여 적용할 수 있다.
도 32 는 본 발명의 일 실시예에 따른 HDR 정보 디스크립터를 나타낸다. 도시된 정보들은 도 17에서 설명한 HDR 인포메이션 디스크립터에 포함된 정보와 함께 추가적으로 해당 디스크립터에 포함될 수 있다. HDR 정보 디스크립터는 추가적으로 HDR 프로그램 트랜지션 플래그 정보, 트랜지션 세트 넘버 정보, 트랜지션 버전 넘버 정보를 더 포함할 수 있다. HDR 트랜지션 플래그 정보 (HDR_program_transition_flag)는 HDR 정보 디스크립터에 주요한 변화가 있는 경우를 나타낸다. 예를 들어 해당 플래그가 1인 경우 현재 HDR 프로그램/컨텐츠의 종료의 의미를 가질 수 있다. 또한, 해당 플래그가 1인 경우 HDR 컨텐츠의 변화, 적용되는 HDR 인포메이션 종류의 변화 등을 의미할 수 있다. 방송 송신 장치는 상술한 변화가 발생된 후 일정 프레임/시간 동안 1로 세팅함으로써 HDR 정보 디스크립터에 주요 변화, HDR 컨텐츠/프로그램의 변화가 있음을 알려줄 수도 있다. 혹은 변화가 일어나기 직전 일정 프레임/시간 동안 1로 세팅함으로써 일정 프레임/시간 후 HDR 정보 디스크립터에 변화가 있을 것, 즉, HDR 컨텐츠/프로그램의 변화가 있을 예정임을 알려줄 수 있다. 본 플래그가 시그널링 되는 경우 주요 변화 사항을 적용하기 위해 해당 SEI 메시지를 필수적으로 참고하도록 조건을 줄 수도 있다. 필요한 경우 이러한 시그널링은 비디오 레벨뿐만 아니라 시스템 레벨 또는 서비스 레벨에서도 할 수 있다. 트랜지션 세트 넘버 정보 (transition_set_number), 트랜지션 버전 넘버 정보 (transition_version_number)는 변경된 HDR 컨텐츠/프로그램의 특징을 알려주기 위한 추가 정보로써 전송될 수 있다. 예를 들어 트랜지션 세트 넘버 (set_number) 정보를 통해 변경된 또는 변경될 HDR 컨텐츠/프로그램에서 사용하는 HDR 시스템을 시그널링 하거나, 다수의 HDR 타겟에 대한 정보가 있는 경우 현재 타겟과 연계된 세트 넘버 정보(set_number)를 시그널링 할 수 있다. 세트 넘버 (Set_number) 정보뿐만 아니라 트랜지션 버전 넘버 (version_number) 정보도 다음 HDR 컨텐츠/프로그램에 대한 정보로 주어질 수 있다. 필요한 경우 다양한 종류의 정보에 대한 링크를 제공할 수도 있다. 예를 들어 1000nit/500nit/100nit 타겟 디스플레이 (target display)에 해당하는 각각의 세트 넘버 정보 (set_number), 버전 넘버 정보 (version_number) 를 줄 수 있다.
HDR 트랜지션 플래그 정보와 관련하여 도 17에서 설명한 트랜지션 플래그 정보 (transition_flag)는 다음과 같이 사용될 수 있다. 트랜지션 플래그 정보 (Transition_flag)의 의미를 확장하여 HDR 정보 디스크립터 (HDR information descriptor)에 주요 변화가 있는 경우를 나타내도록 설정할 수 있다. 즉, 트랜지션 플래그 정보 (transition_flag)의 값이 1인 경우 현재의 또는 현재의 프로그램에 해당하는 HDR 정보 디스크립터 (HDR information descriptor) 전송이 종료된다는 의미를 줌으로써, SDR 이 시작된다는 의미뿐만 아니라 다른 HDR 프로그램이 시작되거나, 다른 종류의 메타데이터를 적용한다는 의미 등으로 사용할 수 있다. 구체적인 시그널링의 의미 및 방법은 HDR_program_transition_flag를 따르도록 할 수 있다. 여기서, 트랜지션 플래그 정보 (transition_flag)가 단독으로 사용되거나, HDR 트랜지션 플래그 정보 (HDR_program_transition_flag)와 연계하여 두 신호를 모두 사용 할 수 있다. 예를 들어 트랜지션 플래그 정보 (transition_flag)는 해당 HDR 정보 디스크립터의 종료 시점(HDR 컨텐츠의 종료 시점)에 시그널링을 해주고, HDR 트랜지션 플래그 정보 (HDR_program_transition_flag)는 다음 HDR 컨텐츠의 시작 시점에 시그널링 해줄 수 있다.
HDR 트랜지션 플래그 정보와 관련하여 도 17에서 설명한 세트 넘버 정보 (set_number) 는 그 의미가 확장되어 사용될 수 있다. 세트 넘버 정보 (set_number)의 의미를 확장하여 HDR 정보 디스크립터에 주요 변화가 있는 경우를 나타내도록 설정할 수 있다. 즉, 프로그램/컨텐츠/채널에 따라 HDR 정보 디스크립터에 서로 다른 세트 넘버 (set_number)를 지정할 수 있으며, 이 경우 HDR 정보 디스크립터의 내용이 변화되었다는 의미를 부여하고 HDR 컨텐츠가 종료되고 새로운 HDR 컨텐츠가 시작되는 등의 변화가 일어났음을 알려줄 수 있다. 또한 세트 넘버 정보 (set_number)가 특정 HDR 정보 디스크립터에 대해 고정값을 갖도록 설정할 수도 있다. 예를 들어 HDR 시스템에 따라 서로 다른 종류의 파라미터 전달이 가능한 경우, 각각의 HDR 시스템을 세트 넘버 정보(set_number)를 이용하여 구분할 수 있다.
HDR 트랜지션 플래그 정보와 관련하여 도 17에서 설명한 버전 넘버 정보 (version_number)는 그 의미가 확장되어 사용될 수 있다. 버전 넘버 정보 (version_number)의 의미를 확장하여 HDR 정보 디스크립터에 주요 변화가 있는 경우를 나타내도록 설정할 수 있다. 즉, 방송 송신 장치는 HDR 정보 디스크립터에 변화가 있을 때 변경된 버전 넘버 (version_number)를 부여하고, 방송 수신 장치가 변경된 HDR 정보 디스크립터가 적용되는 프레임부터는 새로운 HDR 정보 디스크립터를 필수적으로 참고하도록 설정할 수 있다. 이 경우 프로그램 내에서 프레임/장면 단위의 변화뿐만 아니라 채널 내에서 프로그램/컨텐츠 자체가 변하는 경우, 즉, 현재 HDR 컨텐츠가 다른 종류의 HDR 컨텐츠로 변경되는 경우에도 사용할 수 있다. 이 때, 방송 송신 장치는 특정 버전 넘버 (version_number)를 부여하여 시그널링 함으로써 프로그램/컨텐츠 자체가 변하는 경우와 같이 주요한 전환이 일어나는 경우를 특징적으로 알려줄 수도 있다.
도 33 은 본 발명의 일 실시예에 따른 특성 세트 (feature set)에 따라 프레임 (frame) 내의 영역을 분할하는 경우를 나타낸다. 여기서 프레임이란 화면을 구성하는 픽처 내의 모든 픽셀을 포함하는 전체 영역 범위를 의미할 수 있으며, 실시예에 따라서는 윈도우로 지칭될 수도 있다. 다이나믹 메타데이터 (Dynamic metadata)는 시간에 따라 변경되는 프레임 또는 씬 (frame/scene)의 특성을 반영하는 정보일 수 있다. 이와 관련하여, 하나의 frame 내에서도 일정 특성에 따라 서로 다른 메타데이터 프로세싱 (metadata processing)을 적용할 수 있다. 예를 들어, 프레임 내에 어두운 영역과 밝은 영역이 함께 존재하는 경우 각각의 영역에 대해 서로 다른 프로세싱을 적용함으로써 HDR 영상의 효과를 극대화 할 수 있다. 이 경우, 송신단에서는 각각의 feature 를 구분하는 특징을 전달할 수 있으며, 각 영역에 대한 서로 다른 처리 방법을 전달할 수 있다. 수신단에서는 수신된 영역 별 feature 특징 또는 처리 방법에 기초하여 영역 적응적 (area-adaptive)으로 처리하도록 할 수 있다. 여기서, 영역이란 폐곡선 내에서 정의되는 단일 영역을 의미할 수 있으며, 또는 동일하거나 유사한 특성을 갖는 적어도 하나 이상의 영역의 집합을 의미할 수도 있다. 예를 들어, 도시된 바와 같이, 하나의 프레임을 구성하는 세 개의 영역이 존재할 수 있다. 세 개의 영역은 서로 다른 특성(feature)을 가질 수 있다. 여기서, 서로 다른 영역 사이에 겹치는(overlapped) 부분 이 존재할 수 있다. 이 경우에는 각 영역의 우선순위 (priority)를 지정하여 처리하도록 할 수 있다. 각 영역 별 우선순위는 영상 제작자가 지정할 수 있으며 제작자의 의도가 반영될 수 있다. 예를 들어 도시된 바와 같이 feature set 1 과 feature set 2가 오버랩되는 경우가 있을 수 있다. 이 경우, priority 1을 갖는 feature set 2가 더 높은 우선순위를 가지므로 오버랩된 영역에 대해서는 feature set 2를 적용할 수 있다. 또한 영역을 지정하는 경우, 각 영역의 합집합이 frame 전체가 되도록 지정하여 모든 영역에 대한 프로세싱이 가능하도록 할 수 있다. 즉, 프레임 전체 중, 영역 지정에서 제외되어 프로세싱되지 않는 부분이 발생하지 않도록 할 수 있다. 물론 의도적으로 처리하지 않도록 할 수 있지만, 일반적으로 이 경우에도 의도적으로 처리하지 않는다는 시그널을 전달하는 것이 필요하다. 전술한 바와 같이 영역을 지정하거나 구분하기 위한 기준으로써, 위치, 색상 특성, 밝기 특성 등이 사용될 수 있다. 또한, 특정 물체(object)에 대한 트랙킹 (tracking) 을 지원하는 경우 해당 물체를 영역으로써 지정할 수도 있다. 이 경우, 해당 물체가 프레임 내에서 이동하는 경우, 지정된 영역도 함께 이동할 수 있다.
도 34 는 본 발명의 일 실시예에 따른 HDR information 및 feature set 을 시그널링하는 정보를 나타낸다. 하나의 frame 을 다수의 영역에 대응하는 feature set들로 구분하고, 각 feature에 따라서 각각에 서로 다른 프로세싱이 적용될 수 있다. 이를 위해 각 영역별로 feature set 의 특징을 지정하고, 이에 따라 각각 매칭되는 정보를 나열할 수 있다. 도면에서는 하나의 metadata 내에 정보가 병렬적으로 기술되는 경우를 나타내었다. 즉, HDR information type, transition_flag, set number, version number, sync 정보, input/output/processing color space type 과 같이 frame 전체에 적용되는 정보를 제외한 dynamic range mapping information, color gamut mapping information, viewing condition information 과 같이 feature set에 따른 처리 과정을 병렬적으로 전달하는 것이다. Feature set을 구분하기 위한 기준으로 위치, 컬러, 밝기, 히스토그램 등을 고려할 수 있으며, 이들의 교집합으로 set을 정의할 수 있다. 동일 프레임에 대해 복수의 feature set이 적용되는 경우 HDR information은 다음과 같은 필드를 포함할 수 있다.
total_number_of_feature_sets_in_a_frame 필드는 frame 내에서 구분되는 feature set의 개수를 나타낼 수 있다. 만약 영역이 구분되지 않는 경우는 해당 필드를 1로 지정할 수 있다.
feature_spatial_boundary 필드는 feature set을 지정하는 기준 중 하나로써, 영역 위치를 직접 지정할 수 있다. 영역 위치는 일반적으로 x, y index로 나타낼 수 있다. 예를 들어, 영역의 모양에 따라 사각형인 경우 시작 지점의 좌표 (x, y) 및 마치는 지점의 좌표 (x+N, y+M)으로 나타낼 수 있다. 또는 시작 지점 및 각 변의 길이 N, M으로 나타낼 수 있다. 영역의 모양이 원형인 경우, 원의 중심부 및 지름으로 나타낼 수도 있다. 특정 값을 갖는 경우 사용하지 않음을 나타낼 수도 있다. 이에 대한 자세한 실시예는 후술할 도면에서 설명할 수 있다.
feature_colorimetry_boundary 필드는 feature set을 지정하는 기준 중 하나로써, 특정 컬러를 갖는 영역을 지정할 수 있다. 일반적으로 RGB colorimetry 를 CIE xy 좌표로 나타낼 수 있다. 또는 color space 내에서 중심 좌표 및 원 (혹은 구)의 지름으로 나타낼 수 있으며, 혹은 임의의 범위를 지정하도록 할 수 있다. 특정 값을 갖는 경우 사용하지 않음을 나타낼 수도 있다.
feature_luminance_boundary 필드는 feature set을 지정하는 기준 중 하나로써, 특정 밝기를 갖는 영역을 지정할 수 있다. 밝기의 최대 최소값 범위 혹은 특정 밝기를 중심으로 가감(+-) 되는 밝기 범위를 알려줄 수도 있다. 특정 값을 갖는 경우 사용하지 않음을 나타낼 수도 있다.
feature_histogram_boundary 필드는 feature set을 지정하는 기준 중 하나로써, 히스토그램 특성에 따라 영역을 구분하는 경우 사용할 수 있다. 예를 들어 영상 histogram 의 local maximum 을 갖는 부분의 중심 밝기 (혹은 digital value) 정보 및 boundary 정보를 전달할 수 있다. 이 때 histogram 은 luminance에 대한 밝기 분포 혹은 RGB 중 특정 채널 혹은 각각에 대한 정보를 전달하여 feature를 지정할 수 있다. 특정 값을 갖는 경우 사용하지 않음을 나타낼 수도 있다.
feature_priority 필드는 feature set으로 지정된 영역이 겹치는 경우 적용되는 우선순위를 나타낼 수 있다. 전술한 실시예와 같이 모든 feature set에 대해 서로 다른 우선순위가 적용될 수도 있고, 복수의 feature set이 동일한 priority를 가질 수도 있다. 또한 해당 필드가 0인 경우 중복되는 영역에 대해 blending 과 같은 처리가 되도록 지정할 수 있다. 위에 기술한 부분 이외에도 구분되는 영역 사이의 boundary 처리에 관련된 부분이 추가될 수도 있다.
Frame 내에서 영역에 따라 서로 다른 metadata에 따른 처리를 위해서는 frame 내의 영역을 구분하기 위한 특징을 전달해야 한다. 이 때 전술할 도면에서 정의한 것과 같이 spatial, colorimetry, luminance, color volume, histogram 와 같은 서로 다른 카테고리에 대한 시그널링을 고려할 수 있다. 또한, 적어도 둘 이상의 카테고리의 교집합으로써 하나의 영역을 구분할 수 있다. 예를 들어, spatial boundary 필드로 직사각형 영역을 지정하고, 그 직사각형 영역 내에서 colorimetry boundary 필드로 특정 컬러를 갖는 영역을 지정할 수 있다. 즉, spatial boundary 필드와 colorimetry boundary 필드가 각각 나타내는 지정 영역을 동시에 만족시키는 영역을 특정 feature set에 대응시킬 수 있다. 각 카테고리에 대한 시그널링은 하나 이상 사용할 수 있으며, 각 카테고리에 대한 구체적인 실시 예로써 아래와 같은 시그널링을 고려할 수 있다.
도 35 는 본 발명의 일 실시예에 따른 공간 영역을 지정하기 위한 Spatial boundary 필드를 나타낸 도면이다. 공간 영역을 지정하기 위한 방법으로써 Frame 내의 일정 영역에 대한 시그널링을 고려할 수 있다. 첫번째 방법으로써 직사각형 영역을 공간 영역으로써 지정할 수 있다(d35010). Spatial boundary 필드는 직사각형 영역의 꼭지점을 시그널링 할 수 있으며, 보다 효율적인 시그널링으로써 도시된 바와 같이 좌상단과 우하단의 점을 시그널링 할 수 있다. 도면에서 top_left_corner_x_axis 와 top_left_corner_y_axis 는 각각 직사각형의 좌상단에 위치한 꼭지점의 x, y 좌표를 나타낸다. 마찬가지로 bottom_right_corner_x_axis 와 bottom_right_corner_y_axis 는 직사각형의 우하단에 위치한 꼭지점의 x, y 좌표를 나타낸다. d35010에 도시된 방법을 통해 영역이 시그널링 되는 경우 대각선에 위치한 두 개의 꼭지점에 의해 결정되는 직사각형 내부를 포함하는 영역을 공간 영역이 지정될 수 있다.
두 번째 방법으로써, 직사각형이 아닌 원 형태의 영역을 지정하는 경우 원 내부에 속한 영역을 공간 영역으로써 지정할 수 있다. 이 경우 Spatial boundary 필드는 원의 중심 좌표 (center_of_circle_x_axis, center_of_circle_y_axis) 및 원의 반지름 (radius_of_circle) 에 대한 정보를 시그널링 할 수 있다(d35020). 이 방법을 통해 영역이 시그널링 되는 경우 원의 내부에 속하는 pixel 을 모두 포함하는 것으로 고려할 수 있다.
세 번째 방법으로써, 전술한 직사각형, 원 이외에도 타원등의 잘 알려진 도형의 모양을 고려할 수 있다. 임의의 다각형으로써 시그널링 하는 경우 d35030에 도시된 바와 같이 다각형의 꼭지점의 수 (number_of_points_minus_2)와 각 꼭지점의 위치 (x_axis [i], y_axis [i]) 를 시그널링 할 수 있다. 이 때 다각형을 만들기 위해 꼭지점의 개수는 최소 3개가 될 수 있다. number_of_points_minus_2 필드는 다각형의 실제 꼭지점의 개수보다 2만큼 작은 수를 시그널링할 수도 있다. 예를 들어 number_of_points_minus_2 필드가 2인 경우는 전술한 직사각형의 형태를 시그널링할 수 있다. 이와 같이 임의의 다각형으로 시그널링 되는 경우, 해당 다각형에 포함된 점을 모두 사용하여 구성되는 다각형 내부의 영역을 지칭하는 것으로 고려할 수 있다.
네 번째 방법은 임의의 다각형에 대한 또 다른 시그널링 방법으로써 미리 정해진 혹은 미리 전송된 영역을 사용할 수 있다. 이 때 d35040에 도시된 바와 같이 mask의 종류 (mask_type), mask의 시작 혹은 중심 위치 (location_x_axis, location_y_axis), mask의 크기 (ratio: 기준 크기 대비 비율) 과 같은 정보를 통해 일정 모양의 영역을 지정할 수 있다. 이 때 mask의 종류는 미리 지정되거나 전송된 영역을 사용할 수 있다. mask 종류에 따른 영역 모양의 디테일은 static metadata를 통해 미리 전송되거나 이전 프레임 정보를 사용할 수도 있고, mask를 직접 pixel data로 보낼 수도 있다.
도 36 은 본 발명의 일 실시예에 따른 공간 영역을 지정하기 위한 Colorimetry boundary 필드를 나타낸 도면이다. feature set에 대응하는 영역을 지정하기 위해, HDR information은 색도평면상에서의 색상 범위를 지정할 수도 있다. 일반적으로 영상에서 기본적으로 사용하는 색공간을 기반으로 하는 색도평면이 사용될 수 있다. 하지만 경우에 따라, 제작자가 의도하는 특정 색도평면상에서의 색상 범위를 고려 할 수 있다. 제작자가 의도하는 특정 색도평면 상에서의 색상 범위를 시그널링 하기 위해서는 해당 색도평면에 대한 시그널링이 필요할 수 있다. 이 경우 d36010에 도시된 바와 같이 특정 색 공간 타입 (color_space_type) 및 필요한 경우 변환식 (coefficient [i])을 제공할 수도 있다. 여기서, 색공간 타입 (color space type)은 d36020에 도시된 바와 같이 YCbCr, Lab, Yuv 등의 색공간을 사용할 수 있다. 또한, luminance 표현 방법 (linear, non-linear), luminance 변환 식 (EOTF a, EOTF b), 중심 색온도 (D65, D50 등) 와 같은 기준에 의해 구분될 수도 있다. 실시예에 따라, 기존에 정의된 색공간이 아닌 임의의 색공간을 사용할 수도 있으며, 이 경우 XYZ와 같은 neutral 색공간으로부터 임의의 색공간으로의 변환식을 통해 정의할 수 있다.
색상 범위를 지정하기 위한 색좌표가 지정된 후 주어진 색공간 내에서의 일정 범위 내의 색상의 집합으로써 색상 범위를 고려할 수 있다. 이 경우, 색좌표 상에서의 임의의 다각형, 원, 타원 등으로 색상 범위를 지정할 수 있다. 다각형의 경우, d36030에 도시된 바와 같이 점의 개수 (number_of_points_minus_3)에 따른 꼭지점의 좌표값 (x_axis[i] , y_axis[i])을 통해 지정된 다각형 내부의 컬러 영역을 한정할 수 있다. 구체적인 영역 지정은 이전 도면에서 설명한 바와 같다.
또한 d36040에 도시된 바와 같이 특정 컬러 좌표 (center_of_circle_x_axis, center_of_circle_y_axis) 를 중심으로 일정 반경 (radius_of_circle) 내의 컬러들의 집합으로써 컬러 영역을 시그널링 할 수 있다.
이와 유사하게 d36050에 도시된 바와 같이 특정 컬러 좌표 (center_of_ellipsoid_x_axis, center_of_ellipsoid_y_axis) 를 중심으로하는 일정한 기울기(angle )를 갖는 축을 중심으로 타원의 형태 (coefficient_a, coefficient_b) 로 컬러 영역을 한정할 수도 있다.
도 37 은 본 발명의 일 실시예에 따른 공간 영역을 지정하기 위한 Luminance boundary 필드 및 Luminance distribution boundary 필드를 나타낸 도면이다. feature set에 대응하는 영역을 지정하기 위해, HDR information은 밝기의 범위를 지정하거나 영상 내 밝기 분포를 지정할 수 있다. Luminance boundary 필드는 d37010에 도시된 바와 같이 밝기의 범위로써 영역을 지정할 수 있다. Pixel의 밝기가 black - white 양 극단을 잇는 선분 위에 존재한다는 가정하에, 해당 선분 위의 점으로써 밝기 범위를 구분할 수 있다. 이 때, 밝기에 대한 표현은 밝기의 상대 분포를 나타내는 디지털 값(digital_value)으로 표현되거나 혹은 절대 밝기값 (luminance_value)으로 표현될 수 있다.
Luminance distribution boundary 필드는 d37020에 도시된 바와 같이 밝기 분포로써 영역을 지정할 수 있다. 밝기 범위에 의한 feature 구분의 또 다른 방법 중 하나로써, 영상 내 밝기 분포를 이용할 수 있다. 이 때 밝기 범위를 구분하기 위해 밝기가 주요하게 분포하는 지점의 밝기(local_maximum)를 기준으로 높은 밝기 한계 (upper_bound) 와 낮은 밝기 한계 (lower_bound)를 지정할 수 있다. 즉, 기준 밝기를 기준으로 상한과 하한을 시그널링할 수 있다. 여기서 각 필드 값들은 밝기의 상대 분포를 나타내는 디지털 값(digital_value) 혹은 절대 밝기값(luminance_value)이 될 수 있으며, 필요한 경우 도시된 바와 같이 두 가지를 모두 사용할 수도 있다. 본 발명에서는 밝기 분포에 대한 대표적인 예로써 histogram 분포를 기반으로 범위를 지정하는 예를 나타내었지만, 실시예에 따라서는 밝기 누적 분포와 같은 다른 종류의 분포를 이용할 수 있다.
도 38 은 본 발명의 일 실시예에 따른 공간 영역을 지정하기 위한 Color volume boundary 필드를 나타낸 도면이다. feature set에 대응하는 영역은 하나의 컬러 공간 안에서 정의될 수 있다. 즉, 전술한 실시예와는 달리 컬러 영역과 밝기 영역을 하나의 컬러 공간 안에서 정의할 수 있다. 이 때, color volume이 정의된 color space에 대한 정의가 별도로 필요한 경우 앞서 기술한 feature_color_space 를 이용할 수 있다.
컬러 공간 내에서 color volume을 정의하는 방법으로는 다면체의 꼭지점을 정의할 수 있다. 여기서, d38010에 도시된 바와 같이 꼭지점의 개수 (number_of_points)와 각 꼭지점의 좌표 (color_volume_x_axis , color_volume_y_axis)를 통해 다면체를 정의할 수 있다. 즉, 컬러 공간 내에서 이와 같이 정의된 다면체의 내부에 포함되는 색상을 color volume으 필요 영역으로 지정할 수 있다.
다음으로, color volume 내에서의 범위를 지정하는 또 다른 방법으로써 d38020에 도시된 바와 같이 밝기 단계에 따른 colorimetry를 정의하는 방법을 고려할 수 있다. 예를 들어 HSI (Hue Saturation Intensity) color space와 같이 컬러 (hue, saturation)와 밝기 (intensity)가 분리되는 경우, hue, saturation 및 intensity 각각을 xyz 좌표 평면상의 각 축에 대응시킬 수 있다. 이 경우, 밝기 단계 (color_volume_z_axis)를 일정 개수(number_of_luminance_levels)에 대응하는 레벨들로 나누고, 각 밝기 단계에 따른 다각형의 색좌표 (color_volume_x_axis, color_volume_y_axis)를 정의할 수 있다. 즉, 밝기 레벨에 따른 colorimetry를 정의하고, 각 층간은 보간 (interpolation)을 통해 color volume을 정의할 수 있다. 다시 말하면, 색공간 (color space) 내에서 정의하고자 하는 색상 범위 (color volume)를 색공간 내에서 구분된 적어도 하나 이상의 밝기 구간에 대해 각각 정의된 적어도 하나 이상의 색상 범위를 통해 나타낼 수 있다. 예를 들어 색공간 내에서 제1 밝기 구간에 대해서는 제1 색상 범위를 시그널링하고, 제2 밝기 구간에 대해서는 제2 색상 범위를 시그널링하여 각 밝기 구간 별로 서로 다르게 정의되는 색상 범위를 나타낼 수 있다. 이러한 색상 범위에 대한 시그널링은 프레임 전체에 대해서 정의될 수 있으며, 또한 실시예에 따라 하나의 프레임을 구성하는 복수의 영역에 대해 각각 정의될 수도 있다. 여기서 프레임이란 화면을 구성하는 픽처 내의 모든 픽셀을 포함하는 전체 영역 범위를 의미할 수 있으며, 실시예에 따라서는 윈도우로 지칭될 수도 있다.
밝기 레벨 구분에 따른 color volume 시그널링에 대한 또 다른 예로써, d38030에 도시된 바와 같이 colorimetry를 원의 형태로 시그널링 할 수 있다. 즉, 구분되는 밝기 값 (color_volume_z_axis)에서 정의되는 color plane에 대해서 중심 색상의 컬러 좌표 (center_of_circle_x_axis, center_of_circle_y_axis) 와 유사 컬러가 포함될 것으로 예상되는 반경(radius_of_circle)을 시그널링하고, color plane 사이는 보간(interpolation)을 통해 전체 color volume에 대한 정보를 제공할 수 있다.
color volume 내에서 특정 밝기에서의 특정 컬러에 대한 boundary를 시그널링 하는 방법으로써, d38040에 도시된 바와 같이 대상 컬러 좌표 (center_of_circle_x_axis, center_of_circle_y_axis, center_of_circle_z_axis) 와 대상 컬러를 중심으로 하는 유사 컬러에 대한 반경(radius_of_circle)에 대해 시그널링 하는 방법을 통해서 color volume 정보를 제공할 수도 있다. 이 경우, 해당 컬러 좌표를 중심으로 한 유사 컬러에 대한 반경을 갖는 구 (sphere)의 내부로써 color volume이 정의될 수 있다.
상술한 방법 이외에도 color plane에서의 타원 혹은 타원을 기반으로 한 입체 도형을 color volume으로써 고려할 수도 있다. 일반적으로 유사한 컬러/밝기 군은 중심 컬러에서 일정 범위 내에 존재하게 되며, 이 때, 방향성에 따른 서로 다른 가중치가 필요한 경우 타원 혹은 타원형의 입체와 같은 모양을 사용할 수 있다.
도 39 는 본 발명의 일 실시예에 따른 방송 송신기를 나타낸 블록도이다. 본 발명에 따른 방송 송신기(d39010)은 인코더(d39020), 다중화부(d39030) 및/또는 송신부(d39040)를 포함할 수 있다.
방송 송신기(d39010)에 입력되는 비디오 데이터의 해상도는 UHD가 될 수 있다. 또한 방송 송신기(d39010)에 입력되는 메타 데이터는 UHD 비디오에 대한 화질 개선 메타 데이터를 포함할 수 있다. 화질 개선 메타데이터는 비디오 데이터와 함께 전송되는 SEI 메시지에 포함되어 전송될 수 있다. 도 17 내지 38에서 전술한 바와 같이 화질 개선 메타 데이터는 HDR 정보 디스크립터 (HDR_info_descriptor)를 포함할 수 있으며, 이는 UHD 비디오의 화질 개선에 필요한 정보를 포함할 수 있다. UHD 비디오의 화질 개선에 필요한 정보는 content 전체 (channel, program, content), scene, clip 또는 프레임 단위로 적용될 수 있으며, content 전체에 적용되는 공통 적용 정보 및 scene, clip 또는 프레임 단위로 적용되는 부분 적용 정보를 함께 포함할 수도 있다. 또한 HDR_info_descriptor() 는 HDR의 종료 시점을 나타내는 transition_flag 정보를 포함할 수 있다.
또한 HDR 정보 디스크립터는 전술한 바와 같이 화질 개선을 위한 프로세싱 단계에 대한 프로세싱 색공간 타입 정보, 프로세싱 색상 정밀도 정보를 포함할 수 있다. 이에 더하여 HDR 정보 디스크립터는 프로세싱 단계 이전에 대한 입력 색공간 타입 정보 및 입력 색상 정밀도 정보, 프로세싱 단계 이후에 대한 출력 색공간 타입 정보 및 입력 색상 정밀도 정보를 더 포함할 수 있다. 또한 HDR 정보 디스크립터는 화질 개선 프로세싱이 타겟하는 다이나믹 레인지, 변환함수 타입, 컬러 개멋, 색온도 타입에 대한 정보도 포함할 수 있다. 또한 HDR 컨텐츠 또는 HDR 정보에 대한 변경이 예정되어 있음을 나타내는 HDR 프로그램 트랜지션 플래그 정보 및 그 트랜지션의 대상이 되는 세트 넘버 정보 및 버전 넘버 정보를 포함할 수 있다.
또한 HDR 정보 디스크립터는 프레임 내에 포함된 복수의 영역을 구분할 수 있으며, 각 영역에 대응하는 feature set 정보를 포함할 수 있다. feature set 정보는 동일한 프레임 내에서도 영역 별로 서로 다른 메타 데이터 프로세싱을 적용할 수 있다. 각 feature set은 영역 위치에 의해 구분되거나, 색공간에서 일정 범위 내의 색상에 의해 구분될 수 있다. 또한 feature set은 밝기 범위나 밝기 분포에 의해 구분될 수 있다. 또한 색 공간 내에서 정의된 다면체에 의해 구분되는 color volume 내에서 전술한 위치, 색상, 밝기 범위 또는 밝기 분포 중 적어도 하나에 의해 구분될 수도 있다. HDR 정보 디스크립터는 전술한 feature set을 구분하는 정보를 포함할 수 있으며, 예를 들어 Spatial boundary 정보, Colorimetry boundary 정보, Luminance boundary 정보, Luminance distribution boundary 정보 및 Color volume boundary 정보 중 적어도 하나를 포함할 수 있다. 각 정보에 대한 자세한 설명은 도 35 내지 38에서 설명한 바와 같다.
방송 송신기(d39010)에 입력된 비디오 데이터는 인코더(d39020)에 의해 인코딩될 수 있다. 전송단은 비디오 데이터에 대한 인코딩 방식으로써 HEVC(High Efficiency Video Coding)를 사용할 수 있다. 전송단은 인코딩된 비디오 데이터와 화질 개선 메타 데이터를 동기화하고 다중화부(d39030)를 이용하여 다중화할 수 있다. 화질 개선 메타 데이터는 동기화 정보를 더 포함할 수 있다. 화질 개선 메타 데이터는 동기화 방법에 따라, 시간, 시간 차이, 시작 순서, POC, PTS, 누적된 프레임의 개수 등의 동기화 정보를 포함할 수 있다.
송신부(d39030)는 다중화부(d39030)로부터 출력된 트랜스포트 스트림을 방송 신호로써 전송할 수 있다. 여기서, 트랜스포트 스트림은 전송 전에 채널 코딩 및 변조된 후 방송 신호로써 전송될 수 있다. 본 발명의 다른 실시예에 따르면 메타 데이터는 방송 신호 뿐 아니라 다른 경로(예를 들어 IP 기반 방송/통신, 유/무선 통신, 유/무선 인터페이스, 근거리 무선 통신 등)로도 송신 될 수 있다. 또한 비디오 데이터와 별도의 경로로 송신될 수도 있다.
도 40 은 본 발명의 일 실시예에 따른 방송 수신기를 나타낸 블록도이다. 본 발명에 따른 방송 수신기(d40010)는 수신부(d40020), 역다중화부(d40030) 및/또는 디코더(d40040)를 포함할 수 있다.
수신부(d40020)에 의해 수신된 방송 신호는 복조된 후 채널 디코딩될 수 있다. 채널 디코딩된 방송 신호는 역다중화부(d40030)에 입력되어 비디오 스트림 및 화질 개선 메타데이터로 역다중화될 수 있다. 메타 데이터는 방송 신호뿐 아니라 다른 경로(예를 들어 IP 기반 방송/통신, 유/무선 통신, 유/무선 인터페이스, 근거리 무선 통신 등)로도 수신 될 수 있다. 역다중화부의 출력은 디코더(d40040)에 입력될 수 있다. 디코더는 비디오 디코더 및 메타 데이터 프로세서를 포함할 수 있다. 즉 비디오 스트림은 비디오 디코더에 의해, 화질 개선 메타데이터는 메타 데이터 프로세서를 통해 디코딩될 수 있다. 각각 디코딩된 비디오 스트림 및 화질 개선 메타데이터는 도 19에서 설명한 바와 같이 후처리부에 의해 UHD 비디오 화질 개선에 사용될 수 있다. 수신기는 화질 개선 메타데이터에 기초하여 디코딩된 비디오 데이터를 후처리할 수 있으며, HDR 또는 WCG 중 적어도 하나에 대해 비디오 데이터의 화질을 개선하는 효과를 얻을 수 있다. 상기 화질 개선 메타데이터는 전술한 바와 같이 HDR 정보 디스크립터를 포함할 수 있으며, 또한 HDR 정보 디스크립터는 전술한 바와 같이 화질 개선을 위한 프로세싱 단계에 대한 프로세싱 색공간 타입 정보, 프로세싱 색상 정밀도 정보를 포함할 수 있다. 이에 더하여 HDR 정보 디스크립터는 프로세싱 단계 이전에 대한 입력 색공간 타입 정보 및 입력 색상 정밀도 정보, 프로세싱 단계 이후에 대한 출력 색공간 타입 정보 및 입력 색상 정밀도 정보를 더 포함할 수 있다. 또한 HDR 정보 디스크립터는 화질 개선 프로세싱이 타겟하는 다이나믹 레인지, 변환함수 타입, 컬러 개멋, 색온도 타입에 대한 정보도 포함할 수 있다. 또한 HDR 컨텐츠 또는 HDR 정보에 대한 변경이 예정되어 있음을 나타내는 HDR 프로그램 트랜지션 플래그 정보 및 그 트랜지션의 대상이 되는 세트 넘버 정보 및 버전 넘버 정보를 포함할 수 있다.
또한 HDR 정보 디스크립터는 프레임 내에 포함된 복수의 영역을 구분할 수 있으며, 각 영역에 대응하는 feature set 정보를 포함할 수 있다. feature set 정보는 동일한 프레임 내에서도 영역 별로 서로 다른 메타 데이터 프로세싱을 적용할 수 있다. 각 feature set은 영역 위치에 의해 구분되거나, 색공간에서 일정 범위 내의 색상에 의해 구분될 수 있다. 또한 feature set은 밝기 범위나 밝기 분포에 의해 구분될 수 있다. 또한 색 공간 내에서 정의된 다면체에 의해 구분되는 color volume 내에서 전술한 위치, 색상, 밝기 범위 또는 밝기 분포 중 적어도 하나에 의해 구분될 수도 있다. HDR 정보 디스크립터는 전술한 feature set을 구분하는 정보를 포함할 수 있으며, 예를 들어 Spatial boundary 정보, Colorimetry boundary 정보, Luminance boundary 정보, Luminance distribution boundary 정보 및 Color volume boundary 정보 중 적어도 하나를 포함할 수 있다. 각 정보에 대한 자세한 설명은 도 35 내지 38에서 설명한 바와 같다.
도 41 은 본 발명의 일 실시예에 따른 화질 개선 메타데이터를 포함하는 방송 신호를 전송하는 방법을 나타낸 도면이다. 화질 개선 메타데이터를 포함하는 방송 신호를 전송하는 방법은 비디오 스트림을 인코딩하여 비디오 데이터를 생성하는 단계(ds41010), 생성된 비디오 데이터 및 화질 개선 메타데이터를 포함하는 방송신호를 생성하는 단계(ds41020) 및 생성된 방송신호를 전송하는 단계(ds41030)를 포함할 수 있다.
비디오 스트림을 인코딩하여 비디오 데이터를 생성하는 단계(ds41010)는 UHD의 해상도를 갖는 비디오 스트림을 입력 받고, 비디오 스트림을 인코딩하여 비디오 데이터를 생성할 수 있다. 여기서, 비디오 스트림은 HEVC(High Efficiency Video Coding)에 의해 인코딩될 수 있다. 이와 함께 비디오 데이터를 생성하는 단계(ds41010)는 화질 개선 메타 데이터를 생성할 수 있다. 전술한 바와 같이, 방송 송신 장치는 비디오 데이터를 생성하는 단계(ds41010)에서 비디오 데이터의 전체 content (channel, program, content), scene, clip 또는 frame 단위로 적용되는 화질 개선 메타 데이터를 함께 생성할 수 있다. 화질 개선 메타 데이터는 HDR 또는 WCG 중 적어도 하나에 대한 데이터일 수 있으며, 적용 단위에 따라 서로 다른 정보량을 가질 수 있다. 화질 개선 메타 데이터는 전술한 HDR_info_descriptor() 에 포함되어 전송될 수 있다. 또한 HDR_info_descriptor() 는 HDR의 종료 시점을 나타내는 transition_flag 정보를 포함할 수 있다. 또한 HDR 정보 디스크립터는 전술한 바와 같이 화질 개선을 위한 프로세싱 단계에 대한 프로세싱 색공간 타입 정보, 프로세싱 색상 정밀도 정보를 포함할 수 있다. 이에 더하여 HDR 정보 디스크립터는 프로세싱 단계 이전에 대한 입력 색공간 타입 정보 및 입력 색상 정밀도 정보, 프로세싱 단계 이후에 대한 출력 색공간 타입 정보 및 입력 색상 정밀도 정보를 더 포함할 수 있다. 또한 HDR 정보 디스크립터는 화질 개선 프로세싱이 타겟하는 다이나믹 레인지, 변환함수 타입, 컬러 개멋, 색온도 타입에 대한 정보도 포함할 수 있다. 또한 HDR 컨텐츠 또는 HDR 정보에 대한 변경이 예정되어 있음을 나타내는 HDR 프로그램 트랜지션 플래그 정보 및 그 트랜지션의 대상이 되는 세트 넘버 정보 및 버전 넘버 정보를 포함할 수 있다.
또한 HDR 정보 디스크립터는 프레임 내에 포함된 복수의 영역을 구분할 수 있으며, 각 영역에 대응하는 feature set 정보를 포함할 수 있다. feature set 정보는 동일한 프레임 내에서도 영역 별로 서로 다른 메타 데이터 프로세싱을 적용할 수 있다. 각 feature set은 영역 위치에 의해 구분되거나, 색공간에서 일정 범위 내의 색상에 의해 구분될 수 있다. 또한 feature set은 밝기 범위나 밝기 분포에 의해 구분될 수 있다. 또한 색 공간 내에서 정의된 다면체에 의해 구분되는 color volume 내에서 전술한 위치, 색상, 밝기 범위 또는 밝기 분포 중 적어도 하나에 의해 구분될 수도 있다. HDR 정보 디스크립터는 전술한 feature set을 구분하는 정보를 포함할 수 있으며, 예를 들어 Spatial boundary 정보, Colorimetry boundary 정보, Luminance boundary 정보, Luminance distribution boundary 정보 및 Color volume boundary 정보 중 적어도 하나를 포함할 수 있다. 각 정보에 대한 자세한 설명은 도 35 내지 38에서 설명한 바와 같다.
또한 화질 개선 메타 데이터는 시그널링 정보 내에서 직접 정의되거나 다른 메시지를 참조하는 방식으로 생성될 수도 있다. 이러한 화질 개선 메타 데이터는 수신기로 하여금 적용 단위에 따라 비디오 데이터의 화질을 개선하는 참조 데이터가 될 수 있다. 결과적으로 수신기는 비디오 데이터와 함께 수신되는 화질 개선 메타 데이터를 이용하여 비디오 데이터의 화질을 동적으로 개선할 수 있다.
생성된 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송신호를 생성하는 단계(ds41020)는 방송 신호 프레임을 빌드하고 변조 과정을 이용하여 방송 신호를 생성할 수 있다.
생성된 방송신호를 전송하는 단계(ds41030)는 트랜스포트 스트림을 방송 신호로써 전송할 수 있다.
도 42 는 본 발명의 일 실시예에 따른 화질 개선 메타 데이터를 포함하는 방송 신호를 수신하는 방법을 나타낸 도면이다. 화질 개선 메타 데이터를 포함하는 방송 신호를 수신하는 방법은 방송 신호를 수신하는 단계(ds42010), 수신된 방송 신호를부터 비디오 데이터 및 화질 개선 메타 데이터로 역다중화하는 단계(ds42020) 및 비디오 데이터 및 화질 개선 메타 데이터를 디코딩하고 적용하는 단계(ds42030)를 포함할 수 있다.
방송 신호를 수신하는 단계(ds42010)는 수신부를 이용하여 방송 신호를 수신하고, 수신된 방송 신호는 복조된 후 채널 디코딩될 수 있다. 방송 신호는 UHD 방송 신호를 포함할 수 있으며, UHD 방송 content에 대한 화질 개선 메타 데이터를 더 포함할 수 있다. 화질 개선 메타 데이터에 대한 상세 내용은 도 17 내지 도 38에서 설명한 바와 같다.
수신된 방송 신호를 비디오 데이터 및 화질 개선 메타 데이터로 역다중화하는 단계(ds42020)는 채널 디코딩된 방송 신호를 역다중화부를 이용하여 비디오 데이터 및 화질 개선 메타 데이터로 역다중화할 수 있다. 비디오 데이터는 UHD 비디오 데이터를 포함할 수 있으며, 화질 개선 메타 데이터는 UHD 비디오 데이터에 적용되는 HDR, WCG 관련 데이터를 포함할 수 있다. 화질 개선 메타 데이터는 전술한 HDR_info_descriptor() 에 포함되어 수신될 수 있다. 또한 HDR_info_descriptor() 는 HDR의 종료 시점을 나타내는 transition_flag 정보를 포함할 수 있다. 여기서, 화질 개선 메타 데이터는 그 적용 범위에 따라 공통 적용 정보 또는 부분 적용 정보로 구분될 수 있다. 화질 개선 메타 데이터는 공통 적용 정보 또는 부분 적용 정보 중 적어도 하나를 포함할 수 있다. 공통 적용 정보는 채널 전체, 프로그램 전체 또는 하나의 content를 형성하는 비디오 데이터 전체에 대해 적용되는 정보이고, 부분 적용 정보는 비디오 데이터 중 일부 scene, clip 또는 frame에 부분적으로 적용될 수 있는 데이터가 될 수 있다. 화질 개선 메타 데이터는 방송 신호의 시그널링 정보 내에서 직접 정의되거나 기정의된 메시지를 참조하는 방식이 사용될 수도 있다.
비디오 데이터 및 화질 개선 메타 데이터를 각각 디코딩하고 적용하는 단계(ds42030)는 비디오 디코더를 이용하여 비디오 데이터를 디코딩하고 비디오 데이터를 획득할 수 있다. 이 단계에서 화질 개선 메타 데이터에 대해서는 시그널링 데이터 파서 또는 메타데이터 디코더를 이용하여 화질 개선 메타 데이터를 획득할 수 있다. 수신기는 화질 개선 메타 데이터에 기초하여 디코딩된 비디오 데이터의 화질을 개선할 수 있다. 화질 개선 메타 데이터는 비디오 데이터에 대한 HDR 또는 WCG 정보를 포함할 수 있으며, 각 정보가 적용되는 시점을 나타내는 동기화 정보를 더 포함할 수 있다. 상기 화질 개선 메타데이터는 전술한 바와 같이 HDR 정보 디스크립터를 포함할 수 있으며, 또한 HDR 정보 디스크립터는 전술한 바와 같이 화질 개선을 위한 프로세싱 단계에 대한 프로세싱 색공간 타입 정보, 프로세싱 색상 정밀도 정보를 포함할 수 있다. 이에 더하여 HDR 정보 디스크립터는 프로세싱 단계 이전에 대한 입력 색공간 타입 정보 및 입력 색상 정밀도 정보, 프로세싱 단계 이후에 대한 출력 색공간 타입 정보 및 입력 색상 정밀도 정보를 더 포함할 수 있다. 또한 HDR 정보 디스크립터는 화질 개선 프로세싱이 타겟하는 다이나믹 레인지, 변환함수 타입, 컬러 개멋, 색온도 타입에 대한 정보도 포함할 수 있다. 또한 HDR 컨텐츠 또는 HDR 정보에 대한 변경이 예정되어 있음을 나타내는 HDR 프로그램 트랜지션 플래그 정보 및 그 트랜지션의 대상이 되는 세트 넘버 정보 및 버전 넘버 정보를 포함할 수 있다.
또한 HDR 정보 디스크립터는 프레임 내에 포함된 복수의 영역을 구분할 수 있으며, 각 영역에 대응하는 feature set 정보를 포함할 수 있다. feature set 정보는 동일한 프레임 내에서도 영역 별로 서로 다른 메타 데이터 프로세싱을 적용할 수 있다. 각 feature set은 영역 위치에 의해 구분되거나, 색공간에서 일정 범위 내의 색상에 의해 구분될 수 있다. 또한 feature set은 밝기 범위나 밝기 분포에 의해 구분될 수 있다. 또한 색 공간 내에서 정의된 다면체에 의해 구분되는 color volume 내에서 전술한 위치, 색상, 밝기 범위 또는 밝기 분포 중 적어도 하나에 의해 구분될 수도 있다. HDR 정보 디스크립터는 전술한 feature set을 구분하는 정보를 포함할 수 있으며, 예를 들어 Spatial boundary 정보, Colorimetry boundary 정보, Luminance boundary 정보, Luminance distribution boundary 정보 및 Color volume boundary 정보 중 적어도 하나를 포함할 수 있다. 각 정보에 대한 자세한 설명은 도 35 내지 38에서 설명한 바와 같다.
화질 개선 메타 데이터는 동기화 정보에 기초하여 비디오 데이터에 적용될 수 있다. 이를 통해, 비디오 데이터는 전체적으로 또는 구간별로 화질 개선이 적용될 수 있다. 사용자는 기존 UHD 컨텐츠에 추가적으로 적용된 HDR, WCG 정보를 통해 개선된 화질의 UHD 컨텐츠를 제공받을 수 있다.
모듈 또는 유닛은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 프로세서들일 수 있다. 전술한 실시예에 기술된 각 단계들은 하드웨어/프로세서들에 의해 수행될 수 있다. 전술한 실시예에 기술된 각 모듈/블락/유닛들은 하드웨어/프로세서로서 동작할 수 있다. 또한, 본 발명이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 통상의 기술자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명이 제안하는 방법을 네트워크 디바이스에 구비된, 프로세서가 읽을 수 있는 기록매체에, 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 이해된다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.
본 명세서에서 장치 및 방법 발명이 모두 언급되고, 장치 및 방법 발명 모두의 설명은 서로 보완하여 적용될 수 있다.
다양한 실시예가 본 발명을 실시하기 위한 최선의 형태에서 설명되었다.
본 발명은 일련의 방송 신호 제공 분야에서 이용된다.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.

Claims (14)

  1. 비디오 데이터를 생성하는 단계;
    상기 생성된 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송 신호를 생성하는 단계; 및
    상기 생성된 방송 신호를 전송하는 단계;를 포함하는 방송 신호 송신 방법.
  2. 제 1 항에 있어서,
    상기 화질 개선 메타 데이터는 상기 비디오 데이터의 프레임에 포함된 복수의 영역들에 대응하는 특성 세트 (feature set) 정보를 포함하는 방송 신호 송신 방법.
  3. 제 2 항에 있어서,
    상기 특성 세트 정보는 상기 복수의 영역들의 개수를 나타내는 정보를 포함하는 방송 신호 송신 방법.
  4. 제 2 항에 있어서,
    상기 특성 세트 정보는 상기 복수의 영역들을 구분하는 위치 정보를 포함하는 방송 신호 송신 방법.
  5. 제 2 항에 있어서,
    상기 특성 세트 정보는 상기 복수의 영역들을 구분하는 밝기 범위 정보 또는 밝기 분포 정보를 포함하는 방송 신호 송신 방법.
  6. 제 2 항에 있어서,
    상기 특성 세트 정보는 상기 복수의 영역들을 구분하는 색상 범위 정보를 포함하는 방송 신호 송신 방법.
  7. 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송 신호를 수신하는 단계;
    상신 방송 신호를 상기 비디오 데이터 및 화질 개선 메타 데이터로 역다중화하는 단계;
    상기 비디오 데이터 및 화질 개선 메타 데이터를 각각 디코딩하는 단계; 및
    상기 화질 개선 메타 데이터를 상기 비디오 데이터에 적용하는 단계;를 포함하는 방송 신호 수신 방법.
  8. 제 7 항에 있어서,
    상기 화질 개선 메타 데이터는 상기 비디오 데이터의 프레임에 포함된 복수의 영역들에 대응하는 특성 세트 (feature set) 정보를 포함하는 방송 신호 수신 방법.
  9. 제 8 항에 있어서,
    상기 특성 세트 정보는 상기 복수의 영역들의 개수를 나타내는 정보를 포함하는 방송 신호 수신 방법.
  10. 제 8 항에 있어서,
    상기 특성 세트 정보는 상기 복수의 영역들을 구분하는 위치 정보를 포함하는 방송 신호 수신 방법.
  11. 제 8 항에 있어서,
    상기 특성 세트 정보는 상기 복수의 영역들을 구분하는 밝기 범위 정보 또는 밝기 분포 정보를 포함하는 방송 신호 수신 방법.
  12. 제 8 항에 있어서,
    상기 특성 세트 정보는 상기 복수의 영역들을 구분하는 색상 범위 정보를 포함하는 방송 신호 수신 방법.
  13. 비디오 데이터를 생성하는 단계;
    상기 생성된 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송 신호를 생성하는 단계; 및
    상기 생성된 방송 신호를 전송하는 단계;를 포함하고,
    상기 화질 개선 메타 데이터는 색상 범위에 대한 정보를 포함하고,
    상기 색상 범위에 대한 정보는 적어도 하나 이상의 밝기 구간에 대해 각각 정의된 적어도 하나 이상의 색상 범위를 나타내는 방송 신호 송신 방법.
  14. 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송 신호를 수신하는 단계;
    상신 방송 신호를 상기 비디오 데이터 및 화질 개선 메타 데이터로 역다중화하는 단계;
    상기 비디오 데이터 및 화질 개선 메타 데이터를 각각 디코딩하는 단계; 및
    상기 화질 개선 메타 데이터를 상기 비디오 데이터에 적용하는 단계;를 포함하고,
    상기 화질 개선 메타 데이터는 색상 범위에 대한 정보를 포함하고,
    상기 색상 범위에 대한 정보는 적어도 하나 이상의 밝기 구간에 대해 각각 정의된 적어도 하나 이상의 색상 범위를 나타내는 방송 신호 수신 방법.
PCT/KR2016/009230 2015-08-20 2016-08-22 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법 Ceased WO2017030425A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680048259.0A CN107925780B (zh) 2015-08-20 2016-08-22 广播信号发送方法及广播信号接收方法
JP2018509764A JP6633739B2 (ja) 2015-08-20 2016-08-22 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
US15/746,702 US20190007709A1 (en) 2015-08-20 2016-08-22 Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method and broadcast signal reception method
EP16837367.8A EP3340636A4 (en) 2015-08-20 2016-08-22 BROADCAST SIGNAL TRANSMISSION APPARATUS, BROADCAST SIGNAL RECEIVING APPARATUS, BROADCAST SIGNAL TRANSMISSION METHOD, AND BROADCAST SIGNAL RECEIVING METHOD

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562207896P 2015-08-20 2015-08-20
US62/207,896 2015-08-20
US201562210438P 2015-08-26 2015-08-26
US62/210,438 2015-08-26

Publications (1)

Publication Number Publication Date
WO2017030425A1 true WO2017030425A1 (ko) 2017-02-23

Family

ID=58051091

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/009230 Ceased WO2017030425A1 (ko) 2015-08-20 2016-08-22 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Country Status (5)

Country Link
US (1) US20190007709A1 (ko)
EP (1) EP3340636A4 (ko)
JP (1) JP6633739B2 (ko)
CN (1) CN107925780B (ko)
WO (1) WO2017030425A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11381870B2 (en) 2018-08-02 2022-07-05 Sony Semiconductor Solutions Corporation Receiving apparatus, communication system, and receiving apparatus control method

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014178286A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR101737849B1 (ko) 2014-02-24 2017-05-19 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP6530554B2 (ja) * 2015-08-28 2019-06-12 アリス エンタープライジズ エルエルシーＡｒｒｉｓ Ｅｎｔｅｒｐｒｉｓｅｓ Ｌｌｃ 高ダイナミックレンジおよび広色域シーケンスのコーディングにおけるカラーボリューム変換
US11102495B2 (en) * 2016-05-17 2021-08-24 Qualcomm Incorporated Methods and systems for generating and processing content color volume messages for video
HUE060276T2 (hu) * 2016-10-05 2023-02-28 Dolby Laboratories Licensing Corp Forrásszínnel kapcsolatos mennyiségi információ üzenetküldés
CN116489454A (zh) * 2018-06-25 2023-07-25 华为技术有限公司 一种包含字幕的高动态范围视频处理的方法及装置
US10652512B1 (en) * 2018-11-20 2020-05-12 Qualcomm Incorporated Enhancement of high dynamic range content
US10791296B2 (en) * 2018-11-23 2020-09-29 Sony Corporation Apparatus and method for tuner control by middleware
JP7118911B2 (ja) 2019-03-08 2022-08-16 株式会社東芝 画像処理装置
TWI763074B (zh) * 2020-10-12 2022-05-01 宏碁股份有限公司 動態調整顯示螢幕色彩的方法
WO2022220207A1 (ja) * 2021-04-13 2022-10-20 ソニーグループ株式会社 情報処理装置および方法
US11611792B2 (en) 2021-08-06 2023-03-21 Sony Group Corporation ATSC 3 reception across boundary conditions using location data
US11838680B2 (en) 2021-08-06 2023-12-05 Sony Group Corporation Techniques for ATSC 3.0 broadcast boundary area management using complete service reception during scan to determine signal quality of frequencies carrying the duplicate service
US11611799B2 (en) 2021-08-06 2023-03-21 Sony Group Corporation ATSC 3 application context switching and sharing
WO2023012727A1 (en) * 2021-08-06 2023-02-09 Sony Group Corporation Techniques for atsc 3.0 broadcast boundary area management using signal quality and packet errors to differentiate between duplicated services on different frequencies during scan
US11848716B2 (en) 2021-08-06 2023-12-19 Sony Group Corporation Techniques for ATSC 3.0 broadcast boundary area management using signal quality and packet errors to differentiate between duplicated services on different frequencies during scan
US11711568B2 (en) 2021-08-06 2023-07-25 Sony Group Corporation Techniques for ATSC 3.0 broadcast boundary area management using plural tuners handing off between presentation and scanning
US11611790B2 (en) 2021-08-06 2023-03-21 Sony Group Corporation RF channel description for multiple frequency networks
US11601707B2 (en) 2021-08-06 2023-03-07 Sony Group Corporation Techniques for ATSC 3.0 broadcast boundary area management using plural tuners
US11962545B2 (en) 2021-12-27 2024-04-16 Samsung Electronics Co., Ltd. Method and device for providing chatbot participating chat service
CN114693567B (zh) * 2022-05-30 2022-09-20 深圳思谋信息科技有限公司 图像颜色调整方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150002440A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 영상처리장치 및 영상처리방법
WO2015008987A1 (ko) * 2013-07-14 2015-01-22 엘지전자 주식회사 디지털 방송 시스템에서 고품질의 색감 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치
US20150066923A1 (en) * 2012-04-30 2015-03-05 Dolby Laboratories Licensing Corporation Reference card for scene referred metadata capture
WO2015072754A1 (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 Hdr 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
WO2015102449A1 (ko) * 2014-01-06 2015-07-09 엘지전자 주식회사 컬러 개멋 리샘플링을 기반으로 하는 방송 신호 송수신 방법 및 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009038409A2 (en) * 2007-09-21 2009-03-26 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
KR101623020B1 (ko) * 2009-02-01 2016-05-20 엘지전자 주식회사 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
CN102450010A (zh) * 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
CN105025309A (zh) * 2009-06-16 2015-11-04 Lg电子株式会社 广播发射机及其3d视频数据处理方法
CA2820574C (en) * 2010-11-24 2016-10-25 Lg Electronics Inc. Method of receiving enhanced service and video display device thereof
US10349077B2 (en) * 2011-11-21 2019-07-09 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
WO2014198574A1 (en) * 2013-06-10 2014-12-18 Thomson Licensing Encoding and decoding methods for adapting the average luminance of high dynamic range pictures and corresponding encoder and decoder
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
EP2819414A3 (en) * 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
US9483816B2 (en) * 2013-09-03 2016-11-01 Litel Instruments Method and system for high accuracy and reliability registration of multi modal imagery
JP6280212B2 (ja) * 2013-10-29 2018-02-14 エルジー エレクトロニクス インコーポレイティド Ｈｅｖｃベースのｉｐ放送サービスの提供のための放送信号送受信方法及び装置
KR101844236B1 (ko) * 2014-02-10 2018-04-02 엘지전자 주식회사 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
EP3329679A1 (en) * 2015-07-28 2018-06-06 VID SCALE, Inc. High dynamic range video coding architectures with multiple operating modes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150066923A1 (en) * 2012-04-30 2015-03-05 Dolby Laboratories Licensing Corporation Reference card for scene referred metadata capture
KR20150002440A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 영상처리장치 및 영상처리방법
WO2015008987A1 (ko) * 2013-07-14 2015-01-22 엘지전자 주식회사 디지털 방송 시스템에서 고품질의 색감 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치
WO2015072754A1 (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 Hdr 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
WO2015102449A1 (ko) * 2014-01-06 2015-07-09 엘지전자 주식회사 컬러 개멋 리샘플링을 기반으로 하는 방송 신호 송수신 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3340636A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11381870B2 (en) 2018-08-02 2022-07-05 Sony Semiconductor Solutions Corporation Receiving apparatus, communication system, and receiving apparatus control method

Also Published As

Publication number Publication date
JP2018532294A (ja) 2018-11-01
JP6633739B2 (ja) 2020-01-22
US20190007709A1 (en) 2019-01-03
EP3340636A4 (en) 2019-01-09
CN107925780A (zh) 2018-04-17
CN107925780B (zh) 2021-03-19
EP3340636A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
WO2017030425A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2018004291A1 (ko) 방송 신호 송신 방법, 방송 신호 수신 방법, 방송 신호 송신 장치 및 방송 신호 수신 장치
WO2017007192A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016182371A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2017043863A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016204481A1 (ko) 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
WO2016153326A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2017007224A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016060422A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016076654A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016076569A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016178549A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016093576A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2017018775A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법 및 방송 신호 수신 방법
WO2017061796A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016126116A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2017061792A1 (ko) 방송 신호 송수신 장치 및 방법
WO2016108610A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016064151A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2017135673A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016171518A2 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016122269A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016060416A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016108606A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016153241A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16837367

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018509764

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016837367

Country of ref document: EP