KR20170107580A - 미디어 데이터를 송수신하는 방법 및 장치 - Google Patents

미디어 데이터를 송수신하는 방법 및 장치 Download PDF

Info

Publication number
KR20170107580A
KR20170107580A KR1020177025143A KR20177025143A KR20170107580A KR 20170107580 A KR20170107580 A KR 20170107580A KR 1020177025143 A KR1020177025143 A KR 1020177025143A KR 20177025143 A KR20177025143 A KR 20177025143A KR 20170107580 A KR20170107580 A KR 20170107580A
Authority
KR
South Korea
Prior art keywords
metadata
media data
information
content
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020177025143A
Other languages
English (en)
Other versions
KR102464061B1 (ko
Inventor
양현구
박경모
소영완
전상배
강현구
김선민
송재연
정지민
진경신
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170107580A publication Critical patent/KR20170107580A/ko
Application granted granted Critical
Publication of KR102464061B1 publication Critical patent/KR102464061B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 개시의 실시예에 의한 셋탑 박스에서 컨텐츠를 처리하는 방법에 있어서, 오디오 스트림을 포함하는 컨텐츠를 수신하는 과정과, 상기 오디오 스트림에 대한 복호 동작을 수행하지 않고, 상기 오디오 스트림을 출력 인터페이스를 통하여 TV(Television)로 바이패스하는 과정을 포함하며, 상기 오디오 스트림은 상기 컨텐츠에 관한 메타데이터를 포함한다.

Description

미디어 데이터를 송수신하는 방법 및 장치
본 개시는 미디어 데이터를 송수신하는 방법 및 장치에 관한 것이다.
유무선 인터넷의 폭발적인 성장에 따라, 여러 가지 형태의 인터넷 TV(television)가 사람들의 생활의 의미있는 일부가 될 전망이다. 당장 유무선 인터넷을 통한 AV(Audio Video) 신호의 전달이 기존의 방송을 대체할 수는 없으나, 방송망과 인터넷을 결합한 하이브리드 서비스로 발전해 나갈 것이다. 또한, 컨텐츠 제공자 간 컨텐츠 전달이나 2차 분배망으로의 컨텐츠 전달에 전용망을 사용하던 과거와는 달리, 최근에는 IP(internet protocol) 망을 통하여 이를 전달함으로써, 별도의 전용망 비용을 줄이고 특화된 인터페이스로 인한 고가의 장비 비용을 절감하고자 하는 추세가 강해지고 있다.
현재의 디지털 방송은 스테레오 3D 비디오 방송, UHD(Ultra High Definition) 방송, 다 시점 3D 비디오 방송, 홀로그램 방송 등으로 발전할 것으로 예상되며, 각 단계로 나아갈 때마다 많은 데이터 송신량을 필요로 하게 되어, 현재의 MPEG-2 TS (Moving Picture Experts Group 2-Transport Stream)는 점차 비효율적이 될 것이란 전망도 있다.
예를 들어, UHD 방송의 경우 기존 HDTV에 비해 4배(4K급) 또는 16배(8K급)의 해상도를 갖게 될 것이므로, 고효율 압축 방식을 적용한다 하더라도 6 MHz TV 프로그램을 하나의 채널로 송신하지 못할 것이다. 이와 같이 고 송신률이 필요한 경우, 188 바이트의 고정된 길이의 패킷을 갖는 MPEG-2 TS는 비효율적이라 할 수 있다. 또한 방송망을 제외한 다른 모든 망이 IP 망으로 바뀌는 환경에서 MPEG-2 TS는 IP와 상호 변환하여 사용하기에 용이하지 않다. 따라서 UHD 방송이 상용화될 시점에서는 IP 친화적이고 MPEG-2 TS에 비해 더 효율적인 새로운 AV 전달 포맷에 대한 필요가 있을 것이다.
한편, 방송 서비스가 사용자에게 제공되기 위해서 컨텐츠에 상기 컨텐츠와 관련된 정보, 예를 들면, 메타 데이터가 포함되는데, 컨텐츠가 사용자에게 제공되는 과정에서 메타 데이터가 손실되는 경우가 있다. 예를 들어, IP TV 시청을 위하여 방송망 또는 케이블 망으로부터 수신한 컨텐츠는 셋탑 박스를 통하여 사용자의 TV로 전달되는데, 상기 컨텐츠가 셋탑 박스에서 처리되는 과정에서 컨텐츠에 포함된 메타 데이터가 모두 소비되거나 제거되고, 컨텐츠를 구성하는 순수한 영상 및/또는 오디오 데이터만이 압축되지 않은 형태로 TV로 전달될 수 있다. 이 경우 사용자의 TV에서 활용 가능한 메타 데이터들이 손실된다. 참고로, 상기 메타 데이터는, 예를 들어, 방송 서비스에서 제공되는 메인 서비스와 관련된 부가 서비스를 사용자의 TV에서 인터넷 망을 통하여 획득할 수 있는 정보가 될 수 있다.
본 개시는 컨텐츠와 관련된 메타 데이터를 사용자에게 제공하는 방법 및 장치를 제공한다.
본 개시의 실시예는 컨텐츠와 관련된 메타 데이터를 오디오 스트림을 통하여 사용자에게 제공하는 방법 및 장치를 제공한다.
본 개시의 실시예는 컨텐츠와 관련된 메타 데이터를 구성하는 방법 및 장치를 제공한다.본 개시의 실시예는 컨텐츠와 관련된 메타데이터를 포함하는 압축된 미디어 데이터 포맷을 제공한다.
본 개시의 실시예는 압축된 미디어 데이터 포맷을 사용하여 상기 메타데이터를 사용자의 TV로 전달하기 위한 방법 및 장치를 제공한다.
본 개시의 실시 예는 압축된 미디어 데이터 포맷을 사용하여 사용자의 TV에 전달된 메타데이터를 활용하여 부가 서비스를 제공하기 위한 방법 및 장치를 제공한다.
본 개시의 실시예에 의한 셋탑 박스에서 컨텐츠를 처리하는 방법은, 오디오 스트림을 포함하는 컨텐츠를 수신하는 과정과, 상기 오디오 스트림에 대한 복호 동작을 수행하지 않고, 상기 오디오 스트림을 출력 인터페이스를 통하여 TV(Television)로 바이패스하는 과정을 포함하며, 상기 오디오 스트림은 상기 컨텐츠에 관한 메타데이터를 포함한다.
본 개시의 실시예에 의한 TV(Television)에 컨텐츠를 재생하는 방법은, 셋탑 박스로부터 상기 TV로 전달된, 메타데이터를 포함하는 오디오 스트림을 수신하고, 상기 오디오 스트림으로부터 상기 메타데이터를 추출하고, 상기 추출된 메타데이터를 메타데이터 처리를 위하여 변형하고, 상기 메타데이터에 미디어 데이터의 재생을 위한 정보가 있으면, 상기 미디어 데이터의 재생을 위한 정보를 재생 장치로 전달하고, 상기 메타데이터에 미디어 데이터의 획득을 위한 정보가 있으면 상기 미디어 데이터의 획득을 위한 정보를 미디어 송신 처리부로 전달하는 과정과, 상기 미디어 데이터의 획득을 위한 정보를 이용하여 소정의 인터페이스 및 프로토콜을 통하여 상기 미디어 데이터를 획득하는 과정과, 상기 획득한 미디어 데이터를 복호하는 과정과, 상기 미디어 데이터의 재생을 위한 정보를 이용하여 상기 복호된 미디어 데이터를 재생하는 과정을 포함한다.
본 개시의 실시예에 의한 컨텐츠를 처리하는 셋탑 박스는, 오디오 스트림을 포함하는 컨텐츠를 수신하고, 상기 오디오 스트림에 대한 복호 동작을 수행하지 않고, 상기 오디오 스트림을 출력 인터페이스를 통하여 TV(Television)로 바이패스하는 오디오 처리부를 포함하며, 상기 오디오 스트림은 상기 컨텐츠에 관한 메타데이터를 포함한다.
본 개시의 실시예에 의한 컨텐츠를 처리하는 TV(Television)는, 메타 데이터를 처리하는 메타데이터 처리부와, 상기 메타데이터 처리부는, 셋탑 박스로부터 상기 TV로 전달된, 메타데이터를 포함하는 오디오 스트림을 수신하고, 상기 오디오 스트림으로부터 상기 메타데이터를 추출하는 메타데이터 추출부와, 상기 추출된 메타데이터를 메타데이터 처리를 위하여 변형하고, 상기 메타데이터에 미디어 데이터의 재생을 위한 정보가 있으면, 상기 미디어 데이터의 재생을 위한 정보를 재생 장치로 전달하고, 상기 메타데이터에 미디어 데이터의 획득을 위한 정보가 있으면 상기 미디어 데이터의 획득을 위한 정보를 미디어 송신 처리부로 전달하는 메타데이터 분석부와, 상기 미디어 데이터의 획득을 위한 정보를 이용하여 소정의 인터페이스 및 프로토콜을 통하여 상기 미디어 데이터를 획득하여 복호부로 전달하는 미디어 송신 처리부와, 상기 획득한 미디어 데이터를 복호하는 복호부와, 상기 미디어 데이터의 재생을 위한 정보를 이용하여 상기 복호된 미디어 데이터를 재생하는 미디어 플레이어를 포함한다.
도 1은 일반적인 방송 서비스에서 서비스 에코시스템을 구성하는 엔티티들의 일 예를 설명하는 도면,
도 2는 일반적인 셋탑 박스(SetTop Box: STB)(210)와 TV(220) 간의 미디어 전달 구조를 설명하는 도면,
도 3은 본 개시의 실시예에 따라 메타데이터가 부가 서비스의 획득 및 재생에 필요한 정보를 포함하고 있을 경우에 오디오 메타데이터 처리부(300)의 구성을 설명하는 도면,
도 4는 본 개시의 실시 예에 따라 MVPD 재송신 시스템을 구성한 일 예를 설명하는 도면,
도 5는 본 개시의 실시 예에 따른 STB의 구성을 설명하는 도면.
이하 첨부된 도면을 참조하여 본 개시의 바람직한 실시 예에 대한 동작 원리를 상세히 설명한다. 도면상에 표시된 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호로 나타내었으며, 다음에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저 본 명세서에서 사용되는 용어에 대하여 간략히 정의한다.
"컨텐츠"란 각종 유무선 통신망을 통해 제공되는 디지털 정보나 그러한 내용물을 총칭하는 것이다. 예를 들어, TV 프로그램, 영화, 전자책 각각이 하나의 컨텐츠가 될 수 있다. 통상적으로 하나의 컨텐츠는 영상 스트림, 오디오 스트림, 텍스트 스트림 중 적어도 하나를 포함하는 것이 일반적이다. 본 명세서에서 컨텐츠는 미디어 데이터와 동일한 의미로 혼용되거나, 상기 미디어 데이터를 포함하는 의미로 사용될 수 있다. 또한, 경우에 따라 "서비스"가 "컨텐츠"의 용어와 혼용되어 사용될 수도 있다.
본 개시의 상세한 설명에 앞서 본 개시의 기본 개념을 설명한다.
본 개시의 기본 개념은, 컨텐츠와 관련된 메타 데이터를 셋탑 박스를 통하여 사용자의 TV로 전달하기 위하여, 컨텐츠를 구성하는 압축된 오디오 스트림에 상기 메타 데이터를 포함하는 것이다. 이렇게 압축된 오디오 스트림에 메타 데이터를 포함시킬 경우, TV 내의 오디오 스트림을 처리하는 프로세서에서 상기 오디오 스트림 전체를 프리젠테이션 하기 이전에, 상기 텍스트 형태의 메타 데이터를 먼저 추출하여 상기 메타 데이터를 이용할 수 있다. 상술한 본 개시의 기본 개념의 대표적인 예로서, 메인 서비스를 구성하는 압축된 오디오 스트림에 상기 메인 서비스와 관련된 부가 서비스를 획득할 수 있는 텍스트 형태의 URL 정보를 포함시키면, 상기 압축된 오디오 스트림을 수신한 셋탑 박스는 상기 압축된 오디오 스트림에 대해서 압축 해제를 하지 않고, 압축된 채로 TV로 전달하여, TV는 상기 압축된 오디오 스트림으로부터 상기 텍스트 형태의 URL 정보를 획득하고, 상기 URL 정보를 이용하여 부가 서비스를 획득할 수 있다.
한편, 본 개시에서 메타데이터와 관련된 주요 내용은 다음과 같다.
본 개시에서 메타 데이터는 상기 메타데이터를 처리하기 위한 시스템을 지시하기 위한 정보를 포함할 수 있다. 예를 들어, 메타데이터 내부에 "시스템 타입(systype)" 정보가 포함되고, 상기 시스템 타입은 MPEG 시스템, MMT(MPEG Media Transport) 시스템, DASH(Dynamic Adaptive Streaming over HTTP) 시스템 등과 같은 시스템에 대한 정보를 포함할 수 있다.
본 개시에서 메타데이터는 부가 컨텐츠/서비스와 관련된 데이터를 획득할 수 있는 URL 정보를 포함할 수 있고, 또한, 메타데이터를 포함하는 스트림이 포함된 서비스에 대한 식별자를 포함할 수 있다.
본 개시에서 메타데이터는 MPEG , MMT, DASH 표준 등의 시스템에서 정의하는 패킷의 형식이 되거나, 또는 시그널링 메시지의 형식이 될 수 있다.
본 개시에서 메타데이터를 생성하는 주체는 다음과 같다. 먼저, 스튜디오와 같은 컨텐츠 제공자가 메타데이터를 생성할 수 있다. 또한, 방송망 또는 케이블망 상의 엔터티는 현재의 메타데이터에 새로운 메타데이터를 추가하거나, 현재의 메타데이터를 변형하거나, 제거할 수 있다. 또한, 방송망 또는 케이블망 상의 엔터티는 자신이 새로 메타데이터를 생성하고, 현재의 메타데이터를 상기 새로 생성된 메타데이터로 치환할 수 있다. 또한, MVPD(Multichannel Video Programming Distributor)와 같은 미디어 송신과 관련된 엔터티도 상기 추가, 변경, 삭제, 치환 동작을 수행할 수 있다. MVPD의 상기 동작들은 도 4에서 설명될 것이다. 또한, 가입자의 TV에 연결된 STB도 상기 추가, 변경, 삭제, 치환 동작을 수행할 수 있다. STB의 상기 동작들은 도 5에서 설명될 것이다.
본 개시에서는 오디오 스트림에 상기 메타데이터가 포함되어 TV로 전달된다. 그에 따라 본 개시에서 TV 내에 상기 메타데이터를 처리하기 위한 메타데이터 처리부가 포함된다. 상기 메타데이터 처리부의 동작은 상기 메타데이터의 종류에 따를 수 있다. 예를 들어, 메타데이터 처리부의 입력이 MMT 시그널링 메시지를 포함하는 MMTP 패킷 형태가 되거나, 메타데이터가 컨텐츠의 식별자인 경우, 메타데이터가 DASH MPD인 경우, 상기 메타데이터가 특정 어플리케이션에서 사용되는 데이터일 경우에 따라 동작이 달라질 수 있다. 상기 메타데이터 처리부의 구체적인 동작은 도 3에서 설명될 것이다.
상술한 본 개시의 주요 개념에 기초하여, 이하에서 본 개시의 실시예들을 상세히 설명한다. 본 개시에서 압축된 미디어 포맷은 그 출력 스트림에 메타 데이터를 포함한다. 한편, 이하의 실시 예들은 MPEG-H 3D Audio 포맷을 기반으로 기술될 것이지만 일반적인 압축된 미디어 포맷에 적용될 수 있음은 자명하다.
도 1은 일반적인 방송 서비스에서 서비스 에코시스템을 구성하는 엔티티들의 일 예를 설명하는 도면이다.
도 1을 참조하면, 스튜디오와 같은 컨텐츠 제공자(Content Provider)(110)는 컨텐츠를 제작하며, 상기 컨텐츠 제공자(110)에서 제작된 컨텐츠는 지상파 방송망(120)에 의하여 특정 사업자의 방송국(130)으로 분배되어 지상파 방송망을 통하여 시청자(140)에게 직접 전달되거나, MVPD(Multichannel Video Programming Distributor)(135)를 거처서 케이블, 위성 또는 IP 망을 통하여 가입자(145)들에게 재송신될 수 있다. 또한, 상기 MVPD(135)는 케이블 망(125)을 통하여 직접 컨텐츠를 수신하고 케이블, 위성 또는 IP 망을 통하여 가입자들(145)에게 전달될 수 있다.
한편, 본 개시의 실시예와 관련하여, 본 개시에서는 도 1의 엔터티들 중 적어도 하나에서 메타데이터를 생성/추가/변경/삭제/치환할 수 있다.
일 예로, 상기 컨텐츠 제공자(110)는 메타 데이터를 생성할 수 있다. 이때, 상기 메타 데이터는 컨텐츠 제공자(110)에서 생성되는 압축된 오디오 비트 스트림에 포함될 수 있다.
또한, 상기 방송망(120)의 엔터티 및/또는 케이블 망(125)의 엔터티가 메타 데이터를 새로 생성하거나, 또는 현재의 메타데이터에 새로운 메타데이터를 추가하거나, 현재의 메타데이터를 변형하거나, 삭제할 수 있다. 이때, 상기 방송망(120)의 엔터티 및/또는 케이블 망(125)의 엔터티는 현재의 메타데이터를 상기 새로 생성된 메타데이터를 치환할 수 있다.
또한, 상기 방송국(130) 및/또는 상기 MVPD(135)가 메타 데이터를 새로 생성하거나, 또는 현재의 메타데이터에 새로운 메타데이터를 추가하거나, 현재의 메타데이터를 변형하거나, 삭제할 수 있다. 이때, 상기 방송국(130) 및/또는 상기 MVPD(135) 현재의 메타데이터를 상기 새로 생성된 메타데이터를 치환할 수 있다.
또한, 상기 가입자(145)의 TV에 연결된 STB에서도 상기 메타 데이터에 대하여 상기 생성, 추가, 변형, 삭제, 치환 등의 동작을 수행할 수 있다.
도 2는 일반적인 셋탑 박스(SetTop Box: STB)(210)와 TV(220) 간의 미디어 전달 구조를 설명하는 도면이다.
STB(210)는 입력 처리부(211), 송신 처리부(212), 미디어 처리부(213), 영상 처리부(214), 오디오 처리부(215) 및 출력 처리부(216)를 포함한다.
STB(210)는 MVPD로부터 방송 신호를 수신하며 상기 방송 신호는 STB 입력 처리부(211)에서 디지털 신호로 변환되어 송신 처리부(212)로 전달된다.
상기 송신 처리부(212)는 입력된 디지털 신호를 사용하여 일정한 포맷을 가지는 데이터 단위들을 복원하여 미디어 처리부(213)로 전달한다. 이때 상기 데이터 단위는 MPEG2-TS 패킷, IP 패킷, MMTP(MPEG Media Transport Protocol) 패킷 또는 미디어 파일의 형태를 가질 수 있으며, 서비스를 구성하는 영상, 오디오 데이터 또는 메타 데이터를 전달할 수 있다.
상기 미디어 처리부(213)는 상기 데이터 단위로부터 영상 데이터를 추출하여 영상 처리부(214)로 전달하고, 오디오 데이터를 추출하여 오디오 처리부(215)로 전달한다. 참고로, 상기 메타데이터는 상기 미디어 처리부(213)가 영상 처리부(214), 오디오 처리부(215)의 동작을 제어하기 위하여 사용될 수 있다.
통상적으로 상기 영상 처리부(214)와 오디오 처리부(215)로 전달되는 영상과 오디오 데이터는 소정의 압축 알고리즘을 통하여 압축된 상태이다.
상기 영상 처리부(214)는 상기 영상 데이터를 비압축(uncompressed) 상태로 복원하여 STB 출력 처리부(216)로 전달한다. 상기 압출 알고리즘은 일 예로 MPEG-H에서 정의된 HEVC(High Efficiency Video Codec)나 3D-Audio 일 수 있다.
STB의 오디오 처리부(215)는 압축된 상태의 오디오 데이터를 비압축 상태로 복원하여 STB 출력 처리부(216)로 전달한다.
상기 STB 출력 처리부(216)는 영상 및 오디오 신호를 전달 매체를 통하여 TV(220)의 입력 처리부(221)로 전달한다. 상기 전달 매체는, 일 예로, HDMI(High Definition Multimedia Interface) 케이블이나 RGB(red-green-blue) 케이블 또는 컴포넌트 케이블이 될 수 있다.
한편, TV(220)는 입력 처리부(221) 및 A/V 렌더링부(223)을 포함한다. 추가로 오디오 처리부(222)가 더 포함될 수 있는데, 상기 TV 입력 처리부(221)는 상기 전달 매체를 통하여 전달된 영상 및 오디오 신호를 A/V 렌더링부(223)로 전달하여 방송 서비스가 재생되도록 한다.
한편, 앞서 설명된 바와 같이, 도 2에서 설명된 미디어 전달 과정에서 컨텐츠에 포함된 메타 데이터가 유실될 수 있다.예를 들어, HDMI/RGB 케이블 등을 통하여 영상 및 오디오 신호가 STB(210)에서 TV(220)로 전달되기 이전에, 상기 STB(210)로 입력된 미디어 데이터가 상기 STB(210)의 미디어 처리부(213) 또는 영상 처리부(214) 및 오디오 처리부(215)에서 처리되면서 상기 메타 데이터가 모두 소비되거나 또는 제거되고, 순수한 영상 및/또는 오디오 신호만이 비압축(uncompressed)된 형태로 TV(220) 전달될 수 있기 때문이다.
그에 따라 본 개시에서는, 메타 데이터가 TV(220)에게 전달되도록 하기 위하여, STB(210)의 오디오 처리부(215)는 다음과 같이 동작한다. 즉, 상기 오디오 처리부(215)는 수신한 오디오 비트스트림에 대하여 비압축 처리를 하지 않고, 즉, 아무런 복호 동작을 수행하지 않은 채 압축된 형태 그대로 STB 출력 장치(216)로 전달한다. 즉, 앞서 설명된 바와 같이 일반적인 경우, 오디오 처리부(215)는 상기 오디오 데이터를 비압축 형태로 복원하여 STB 출력 처리부(216)로 전달하였지만, 본 개시의 실시예에서 오디오 처리부(215)는 수신한 오디오 비트스트림을 압축된 형태 그대로 STB 출력 장치(216)로 전달하기 때문에 상기 오디오 비트스트림에 포함된 메타데이터가 TV의 입력 장치(221)를 통하여 TV(220)로 전달될 수 있다.
한편, 본 개시의 실시 예에 따라 동작하는 TV(220)는 상기 오디오 비트스트림을 통하여 TV(220)로 전달되는 메타데이터를 처리하기 위한 메타데이터 처리부를 포함한다. 상기 메타데이터 처리부는 TV(220)에 포함된 오디오 처리부(222)에 연결된다.
한편, 오디오 비트스트림에 포함된 메타데이터의 종류에 따라 메타데이터 처리부의 동작이 결정될 수 있다.
본 개시에서 메타데이터는 케이블, 위성, IP등의 MVPD 송신망과 STB를 거쳐서 TV까지 전달되어 TV에서 사용될 수 있는 모든 데이터를 포함한다.
일 예로, 상기 메타데이터는 상기 메타데이터를 포함하는 오디오 비트스트림이 포함된 서비스를 위한 서비스 식별자를 포함할 수 있다. 이 때 상기 서비스 식별자는 상기 오디오 비트스트림으로 압축된 오디오 서비스를 식별하기 위한 것일 수 있다. 또한, 상기 서비스 식별자는 상기 오디오 서비스와 연관된 영상 서비스 또는 상기 오디오 서비스와 영상 서비스를 모두 포함하는 멀티미디어 서비스를 식별하기 위한 것일 수 있다.다른 예로, 상기 메타데이터는 TV가 STB로부터 전달받지 않은 영상/오디오 데이터를 다른 송신 매체를 통하여 획득하여 재생하기 위한 정보를 포함할 수 있다. 이 때 상기 다른 송신 매체는 유선 인터넷이나 Wifi 네트워크, 3G/4G/5G 이동 통신 네트워크 및 USB 등의 저장 매체 등을 포함할 수 있다. 또한 상기 영상/오디오 데이터를 획득하는 방식은, MPEG 등에서 정의된 MPEG2-TS, MMT, DASH 등의 표준 기술이나 HLS(HTTP Live Streaming) 등의 기술이 사용될 수 있다. 이 때 메타 데이터의 형식은 상기 메타 데이터 획득 방식에서 정의하는 패킷의 형식이 되거나, 또는 시그널링 메시지 메타 데이터의 표현 형식이 될 수 있다.
또 다른 예로, 상기 메타데이터는 TV에 적용되는 펌웨어(Firmware) 또는 각종 소프트웨어(software) 또는 일반적인 파일 등의 전달에 사용될 수 있다. 이 때 상기 메타데이터는 일반적인 비트스트림의 형태이거나 표준 단체에서 정의된 파일 포맷, 또는 패킷 형태로 구성될 수 있다. 따라서 상기 메타 데이터 패킷은 IP 패킷, UDP(User Datagram Protocol) 패킷, RDP(Remote Desktop Protocol) 패킷 등과 같이 현재 각종 통신 시스템에서 사용되는 프로토콜에서 정의된 패킷이 될 수 있다. 이때 상기 메타데이터는 상기 메타데이터가 전달된 어플리케이션(application) 등에 대한 정보를 추가로 포함할 수 있다.
이하에서 도 3을 참조하여 메타데이터 처리부의 구성을 설명한다.도 3은 본 개시의 실시예에 따라 메타데이터가 부가 서비스의 획득 및 재생에 필요한 정보를 포함하고 있을 경우에 오디오 메타데이터 처리부(300)의 구성을 설명하는 도면이다.
메타데이터 처리부(300)는 상기 도 2의 오디오 처리부(220)에 연결되어 메타데이터를 전달받는다. 메타데이터 처리부(300)는 메타데이터 추출부(310), 메타데이터 분석부(320), 미디어 프리젠테이션 처리부(330), 미디어 송신(delivery) 처리부(340)를 포함할 수 있다.
메타데이터 추출부(310)는 오디오 처리부(222)에서 전달된 오디오 스트림으로부터 메타 데이터를 추출한다. 메타데이터 분석부(320)는 추출된 메타데이터를 실제 메타데이터 처리부(300)의 동작에 필요한 정보 형식으로 변환한다. 상기 메타데이터 분석부(320)에서 생성된 정보 중 미디어의 재생을 위하여 필요한 정보는 미디어 프리젠테이션 처리부(330)로 전달되며, 미디어 데이터의 획득을 위하여 필요한 정보는 미디어 송신 처리부(340)로 전달된다.
미디어 프리젠테이션 처리부(330)는 미디어 재생에 필요한 정보를 가공하여 미디어 플레이어(380)로 전달한다.
미디어 송신 처리부(340)는 상기 미디어 데이터의 획득을 위한 정보를 사용하여 별도의 송신 인터페이스 및 프로토콜을 사용하여 미디어 데이터를 획득하고 이를 복호부(370)에 전달한다. 도 3에서는 상기 프로토콜의 예로서, MMTP(350)과 HTTP(360)이 예시되었다.
복호부(370)는 상기 미디어 데이터를 복호하여 미디어 플레이어(380)로 전달하고, 미디어 플레이어(380)는 상기 미디어 프리젠테이션 처리부(330)로부터 전달받은 미디어 재생에 필요한 정보를 이용하여 상기 복호된 미디어 데이터를 재생한다.
참고로, 상기 메타데이터는 미디어의 재생에 필요한 정보를 모두 포함하지 못할 수도 있다. 이러한 경우, 미디어 송신 처리부(340)는 미디어 재생에 필요한 추가 정보를 별도의 송신 인터페이스 및 프로토콜을 사용하여 획득하고 이를 미디어 프리젠테이션 처리부(330)로 전달한다.
한편, 도 3에서 오디오 처리부(222)의 출력은 MMT 시그널링 메시지를 포함하는 MMTP 패킷의 형태일 수 있다. 이 경우에 상기 메타데이터 추출부(310)는 MMTP 패킷에서 MMT 시그널링 메시지를 추출하고 이를 상기 메타데이터 분석부(320)로 전달한다.
상기 도 3의 설명은, 상기 메타데이터가 부가 서비스의 획득 및 재생에 필요한 정보를 포함하는 경우를 가정하여 설명하였다. 그러나 메타데이터가 다른 종류의 데이터를 포함할 경우, 메타데이터 처리부(330)의 동작이 달라질 수 있다.
일 예로, 메타데이터가 부가 컨텐츠의 식별자를 포함한다면, 상기 메타데이터 처리부(330)의 동작은 다음과 같다. 즉, 메타데이터 처리부(330)는 상기 식별자에 의하여 식별되는 컨텐츠에 대한 부가 서비스의 목록을 확인한다. 이후, 사용자의 선택에 따르거나 또는 미리 정해진 정책(policy)에 따라 부가 서비스의 미디어 데이터 및 상기 미디어 데이터의 재생에 필요한 정보를 별도의 송신 매체를 통하여 획득하고 이를 상기 복호부(370) 및 미디어 플레이어(380)에 전달한다.다른 예로, 메타데이터가 DASH(Dynamic Adaptive Streaming over HTTP)에서 정의된 MPD(Media Presentation Description) 형식의 정보라면, 상기 메타데이터 처리부(330)는 별도의 DASH 처리부(미도시됨)로 상기 DASH MPD를 전달한다. 또한, 상기 메타데이터가 DASH MPD의 URL 정보를 포함한다면, 메타데이터 처리부(330)는 상기 URL을 사용하여 상기 DASH MPD를 획득하고 이를 상기 DASH 처리부로 전달한다.
또 다른 예로, 메타데이터가 특정 어플리케이션에서 사용되는 데이터를 포함하는 경우, 메타데이터 처리부(300)는 오디오 처리부(222)에서 입력받은 메타데이터를 상기 특정 어플리케이션에서 사용하는 별도의 송신 인터페이스에 맞추어 전달할 수 있다.
상술한 예와 같이, 메타데이터는 MMTP 패킷 또는 DASH MPD와 다양한 포맷으로 구성될 수 있다. 그에 따라 각각의 서로 다른 포맷을 갖는 메타데이터를 처리하기 위하여, 메타데이터 처리부(300)는 포맷들 별로 별도의 유닛으로 구성될 수 있다. 또는, 서로 다른 복수 개의 포맷들을 갖는 메타데이터를 함께 처리할 수 있는 메타데이터 파서(320)등의 구성 요소를 사용하여 하나의 유닛으로 구성될 수 있다.
한편, 상기 메타데이터 처리부(300)의 구성 요소 중 전체 또는 일부는 상기 오디오 처리부(222)에 포함될 수 있으며, 상기 오디오 처리부(222)는 오디오 복호부(도시되지 않음)를 포함할 수 있다.
이하에서는 도 1에서 설명된 MVPD를 본 개시의 실시예 따라 구성된 예를 설명한다.
도 4는 본 개시의 실시 예에 따라 MVPD 재송신 시스템을 구성한 일 예를 설명하는 도면이다.
MVPD 재송신 시스템(400)은 상기 도 1의 케이블 망(125) 또는 방송국(130)로부터 방송 서비스 데이터를 수신한다. 수신된 방송 서비스 데이터는 역다중화부(410)에서 영상 신호, 오디오 신호 및 시그널링 정보로 나누어져서 각각 영상 트랜스코더(430), 오디오 트랜스코더(440) 및 시그널링 컨버터(450)로 전달된다. 이 때 상기 영상 신호 및 오디오 신호를 구성하는 비트스트림은 상기 케이블 망(125), 방송국(130) 또는 컨텐츠 제공자(110)가 생성한 메타데이터를 포함할 수 있다. 다만, MVPD 재송신 시스템(400)의 입/출력 인터페이스가 미디어 데이터의 종류에 각각 대응하는 별도의 방식을 가진다면, 상기 역다중화부(410) 및 다중화부(460)는 포함되지 않을 수 있다.
상기 트랜스코더들(430, 440)은 수신한 영상 및/또는 오디오 데이터의 해상도나 비트레이트를 변환하는 것과 같이 비트스트림을 변환하는 동작을 수행할 수 있고, 상기 영상 트랜스코더(430), 오디오 트랜스코더(440) 및 시그널링 컨버터(450)의 출력은 다중화(460)를 통하여 다중화되어 가입자들에게 전달된다.
본 개시의 실시 예에 따른 MVPD 재송신 시스템은 메타데이터 생성부(420)를 포함할 수 있다. 메타데이터 생성부(420)는 가입자의 TV에 전달될 메타데이터와 가입자의 STB에 전달된 메타데이터를 생성한다. 상기 가입자의 TV에 전달할 메타데이터는 영상 트랜스코더(430) 또는 오디오 트랜스코더(440)에 전달되며, 상기 가입자의 STB에 전달할 메타데이터는 상기 시그널링 변환기(450)로 전달된다.
본 개시의 실시 예에 따른 영상 트랜스코더(430) 및 오디오 트랜스코더(440)는 비트스트림을 해석하고, 현재의 비트스트림에 포함된 메타데이터를 변형할 수 있다. 구체적으로, 영상 트랜스코더(430) 및 오디오 트랜스코더(440)는 현재의 비트스트림에 포함된 메타데이터를 삭제하거나, 현재의 비트스트림에 포함된 메타데이터를 상기 메타데이터 생성부(420)에서 새로 생성된 메타데이터로 대체할 수 있다. 또한, 현재의 비트스트림에 포함된 메타데이터를 유지한 채, 상기 메타데이터 생성부(420)에서 새로 생성된 메타데이터를 추가하여 새로운 비트스트림을 생성하는 동작을 수행할 수도 있다.
참고로, 메타데이터 생성부(420)는 MVPD 자체 서비스 구성을 위한 정보나 개인형 광고 및 가입자의 TV 또는 STB로 전달하고자 하는 정보를 포함하는 메타데이터를 자신이 생성할 수도 있다. 또한, 메타데이터 생성부(420)는 제3자가 가입자 TV 또는 STB로 전달하고자 하는 메타데이터를 상기 제3자로부터 수신하여 전달할 수 있다.
변형 실시예로써, 상기 MVPD가 가입자의 STB 및 TV로 개인형 메타데이터를 전달할 수 있는 송신 매체를 보유한 경우, 상기 메타데이터 생성부(420)에서 생성된 메타데이터는 그 용도에 따라 가입자의 STB 및 TV로 바로 전달 될 수 있다. 이러한 경우, 도 3에서 TV의 메타데이터 처리부(300)는 오디오 처리부(222)가 아닌 별도의 인터페이스를 사용하여 상기 메타데이터를 획득하고 처리할 수 있다.
상술한 MVPD 재송신 시스템에 대한 실시 예는 MVPD의 재송신 시스템뿐만 아니라 방송국(130)이 방송 망(120)으로부터 전달받은 방송서비스를 MVPD(135)로 전달하는 재송신 시스템에 적용되거나 또는 방송 서비스를 전달하는 정보 흐름 상의 어떤 노드에서도 적용될 수 있다.
이하에서는 본 개시의 실시예에 의한 STB의 구성 예를 설명한다.
도 5는 본 개시의 실시 예에 따른 STB의 구성을 설명하는 도면이다.
도 5를 도 2와 비교하면, 도 5에서는 본 개시의 실시예에 따라 추가된 메타데이터 생성부(540)이 추가된 것을 볼 수 있다.
STB(500)는 MVPD로부터 방송 신호를 수신하며 상기 방송 신호는 STB 입력 처리부(510)에서 디지털 신호로 변환되어 송신 처리부(520)로 송신된다.
상기 송신 처리부(530)는 입력된 디지털 신호를 사용하여 일정한 포맷을 가지는 데이터 단위들을 복원하고 이를 미디어 프로세서(530)로 전달한다. 이 때 상기 데이터 단위는 MPEG2-TS 패킷, IP 패킷, MMTP 패킷 또는 미디어 파일의 형태를 가질 수 있으며, 서비스를 구성하는 영상, 오디오 데이터 또는 메타데이터를 전달할 수 있다.
상기 미디어 처리부(530)는 상기 데이터 단위로부터 영상 데이터를 추출하여 영상 처리부(550)로 전달하며, 오디오 데이터를 추출하여 오디오 처리부(560)로 전달한다. 상기 메타데이터는 상기 미디어 처리부(530)가 영상 처리부(550), 오디오 처리부(560)의 동작을 제어하기 위하여 사용될 수 있다. 한편, TV로 전달될 메타데이터는 메타데이터 생성부(540)로 전달될 수 있다.
상기 메타데이터 생성부(540)는 상기 송신 처리부(520), 미디어 처리부(530) 또는 별도의 입력 인터페이스로부터 메타데이터를 획득하고 TV로 전달할 메타데이터들을 오디오 처리부(560)로 전달한다. 변형 실시 예로써, 상기 STB가 Wifi 등을 통하여 TV와 데이터를 교환할 수 있는 경우, 상기 메타데이터 생성부(420)에서 생성된 메타데이터는 그 용도에 따라 가입자의 TV로 바로 전달 될 수 있다. 이 때 본 개시의 실시 예에 따른 TV의 오디오 메타데이터 처리부(300)는 오디오 처리부(222)가 아닌 별도의 인터페이스를 사용하여 상기 메타데이터를 획득하고 처리할 수 있다.
오디오 처리부 (560)는 비트스트림을 해석하고, 기존의 비트스트림에 포함된 메타데이터를 삭제하거나, 기존의 비트스트림에 포함된 메타데이터를 상기 메타데이터 생성부(540)에서 전달 받은 메타데이터로 대체하거나, 기존의 비트스트림에 포함된 메타데이터를 유지한 채 상기 메타데이터 생성부(540)에서 전달 받은 메타데이터를 추가하여 새로운 비트스트림을 생성할 수 있다.
한편, 본 개시의 실시 예에 따른 영상 처리부(550)도 상기 오디오 처리부(560)과 마찬가지로 비트스트림을 해석하고, 기존의 비트스트림에 포함된 메타데이터를 삭제하거나, 기존의 비트스트림에 포함된 메타데이터를 상기 메타데이터 생성부(540)에서 전달 받은 메타데이터로 대체하거나, 기존의 비트스트림에 포함된 메타데이터를 유지한 채 상기 메타데이터 생성부(540)에서 전달 받은 메타데이터를 추가하여 새로운 비트스트림을 생성하는 동작을 수행할 수 있다.
이하에서는 본 개시의 실시예에 따라 메타데이터를 다양한 포맷에 따라 구성하는 방식들을 설명한다.
<MPEG-H 3D Audio 포맷의 제1 실시예>
MPEG-H 3D Audio 포맷의 제1 실시예는 MPEG의 차세대 오디오 표준인 "MPEG-H 3D Audio"의 포맷에서 코어 비트스트림(Core bitstream)의 mpegh3daFrame() 내부에 있는 확장 요소(Extended Element)를 활용하여 메타데이터를 구성하는 실시예이다. 제1 실시예는 비트스트림의 수정이 가장 용이하고 필요한 비트의 개수를 최소화하는 실시예이다.
제1 실시예에서 mpegh3daExtElementConfig()의 예는 하기 <표 1>과 같다.
Figure pct00001
상기 <표 1>에서 usacExtElementType는 비트스트림의 확장 형식(bit stream extension type)을 알려주기 위한 구성 요소로 그 구체적인 의미는 하기 <표 2>와 같이 정의될 수 있다.
Figure pct00002
하기 <표 3>은 상기 usacExtElementType에 따른 usacExtElementSegmentData의 예를 나타낸다.
Figure pct00003
상기 <표 3>에서 SysMetaFrame()의 일 예는 하기 <표 4>와 같다.
Figure pct00004
상기 <표 4>에서 "msgType"은 메타 데이터의 포함 여부 및 세그멘테이션(segmentation) 여부를 시그널링하기 위한 엘리먼트로 그 구체적은 값은 하기 <표 5>와 같이 할당될 수 있다.
Figure pct00005
또한 상기 <표 4>에 포함된 "sysType"은 메타 데이터의 표현 형식 및 상기 메타 데이터를 처리하기 위한 MPEG 시스템 등을 시그널링하기 위한 엘리먼트로 그 구체적인 값은 하기 <표 6>과 같이 할당 될 수 있다.
Figure pct00006
상기 <표 6>에서 상기 "sysType"이 "SYS_MP2TS"일 경우에 메타 데이터는 MPEG2-TS 패팃 형태로 구성되며, "sysType"이 "SYS_MMT"일 경우에 메타 데이터는 MMTP 패킷 형태로 구성된다.
한편, 다른 실시 예에서 상기 MPEG2-TS 패킷 및 MMTP 패킷은 시그널링을 전달하기 위한 패킷 구조를 가질 수 있다. 또한, "sysType"이 "SYS_DASH"일 경우 메타데이터는 DASH MPD 등의 xml 문서일수 있으며, 또 다른 실시 예에서, 메타데이터는 TV 수신기가 상기 xml 문서를 획득하기 위한 URL 정보 일 수 있다.
상기 <표 6>을 활용할 실시 예에서는 패킷이 전달되는 것을 가정하였으나 실제 구현에 있어서는 다음과 같은 다양한 형태의 메타 데이터가 전달될 수 있다.
- MMT 시그널링 메시지(signaling messages)
- MMT 시그널링 테이블(signaling table)
- MPEG2 섹션(sections)
- 부가적인 오디오 데이터(audio data)
- 부가 서비스 획득을 위한 부트스트랩 정보(Bootstrap information) (예: URL 정보)
- 메타데이터가 송신되는 오디오 비트스트림의 식별자 또는 오디오를 포함하는 서비스의 식별자 (예: Asset_id)
한편, 본 개시의 다른 실시 예에서는 SysMetaFrame()를 통하여 일반적인 파일 형태의 데이터를 전달 할 수 있으며, 이때 "sysType"은 SYS_FILE 등의 값을 가질 수 있다. 또한 상기 파일 형태의 데이터는 SysMetaFrame()에 포함되는 형식이 아닌 별도의 프레임으로 구성되어 전달될 수 있음에 유의하여야 한다. 또한, 상기 <표 6>의 sysType을 확장하여 일반적인 IP 패킷 또는 HTML 문서 등을 포함할 수 있음을 물론이다.
< MPEG-H 3D Audio 포맷의 제2 실시예 >
MPEG-H 3D Audio 포맷의 제2 실시예는 상기 제1 실시예의 경우보다 상위인 mpegh3daFrame()에 필요한 정보들을 추가하는 실시예이다. 제2 실시예는 오디오 코덱의 특성에 따른 필드인 usacElementType 필드에 메타 데이터를 추가하는 실시예로, 상기 usacElementType 필드는 mpeg3da가 아닌 USAC(United States Auto Club)에 정의되어 있다.
본 개시의 실시 예에 따른 mpegh3daFrame()의 예는 하기 <표 7>과 같다.
Figure pct00007
상기 <표 7>에서 "mpegh3daSysMetaElement()"는 상기 <표 4>의 SysMetaFrame()와 유사한 형태로 구성될 수 있으므로, "mpegh3daSysMetaElement()"에 대한 상세한 문법에 대한 설명은 생략한다.
< MPEG-H 3D Audio 포맷의 제3 실시예 >
MPEG-H 3D Audio 포맷의 제3 실시 예에서 메타데이터는 "mpegh3daConfigExtension"에 포함될 수 있다. 제3 실시예는 주로 설정 파일(Configuration File)에 대한 수정이 있을 경우에 활용하기 위한 것으로, 하나의 mp4파일에 한 번 불려야 한다. 상기 mpegh3daConfigExtension의 예는 하기 <표 8>과 같다.
Figure pct00008
상기 <표 8>의 usacConfigExtType은 하기 <표 9>와 같이 정의될 수 있다.
Figure pct00009
상기 <표 8>의 sysConfig()는 상기 <표 4>의 SysMetaFrame()와 유사한 형태로 구성될 수 있으므로, 상기 sysConfig()에 대한 상세한 문법에 대한 설명은 생략한다.
한편, 상술한 것처럼, 본 개시의 실시 예들에서 메타데이터는 케이블, 위성, IP등의 MVPD 송신망과 STB를 거쳐서 TV까지 전달되어 TV에서 사용될 수 있는 모든 데이터를 포함한다. 일 예로, 상기 메타데이터는 상기 메타데이터를 포함하는 오디오 비트스트림이 포함된 서비스를 위한 서비스 식별자 또는 UUID(Universally unique identifier)를 포함할 수 있다. 이때 상기 서비스 식별자는 상기 오디오 비트스트림으로 압축된 오디오 서비스를 식별하기 위한 것일 수 있다. 다른 예에서는 상기 서비스 식별자는 상기 오디오 서비스와 연관된 영상 서비스 또는 상기 오디오 서비스와 영상 서비스를 모두 포함하는 멀티미디어 서비스를 식별하기 위한 것일 수 있다.
다른 실시 예에서 상기 메타데이터는 TV에서 STB로 전달받지 않은 영상/오디오 데이터를 다른 송신 매체를 통하여 획득하여 재생하기 위한 정보를 포함할 수 있다. 이 때 상기 다른 송신 매체는 유선 인터넷이나 Wifi 네트워크, 3G/4G/5G mobile 네트워크 및 USB 등의 저장 매체 등을 포함할 수 있다. 또한 상기 영상/오디오 데이터를 획득하는 방식은, MPEG 등에서 정의된 MPEG2-TS, MMT, DASH 등의 표준 기술이나 HLS(HTTP Live Streaming) 등의 기술이 사용될 수 있다. 이 때 메타 데이터의 형식은 상기 메타 데이터 획득 방식에서 정의하는 패킷 형식이나 시그널링 메시지 메타 데이터의 표현 형식을 따른다.
또 다른 실시 예에서 상기 메타데이터는 TV에 적용되는 펌웨어(Firmware) 또는 각종 소프트웨어(software) 또는 일반적인 파일 등의 전달에 사용될 수 있다. 이 때 상기 메타데이터는 일반적인 비트스트림의 형태이거나 표준 단체에서 정의된 파일 포맷, 또는 패킷 형태로 구성될 수 있다. 따라서 상기 메타 데이터 패킷은 IP 패킷, UDP(User Datagram Protocol) 패킷, RDP(Remote Desktop Protocol) 패킷 등과 같이 현재 각종 통신 시스템에서 사용되는 프로토콜에서 정의된 패킷이 될 수 있다. 이때 상기 메타데이터는 상기 메타데이터가 전달된 어플리케이션(application) 등에 대한 정보를 추가로 포함할 수 있다.

Claims (14)

  1. 셋탑 박스에서 컨텐츠를 처리하는 방법에 있어서,
    오디오 스트림을 포함하는 컨텐츠를 수신하는 과정과,
    상기 오디오 스트림에 대한 복호 동작을 수행하지 않고, 상기 오디오 스트림을 출력 인터페이스를 통하여 TV(Television)로 바이패스하는 과정을 포함하며,
    상기 오디오 스트림은 상기 컨텐츠에 관한 메타데이터를 포함하는 컨텐츠를 처리하는 방법.
  2. 제1항에 있어서, 상기 메타데이터는,
    상기 메타 데이터의 처리를 위한 시스템을 지시하는 시스템 타입 정보, 서비스에 대한 식별자, 부가 컨텐츠 획득을 위한 URL(Uniform Resource Locator) 정보 중 적어도 하나를 포함하며,
    상기 메타데이터는 패킷 형식이거나 또는 시그널링 메시지 형식임을 특징으로 하는 컨텐츠를 처리하는 방법.
  3. 제1항에 있어서, 상기 메타데이터는,
    컨텐츠 제공자, 방송망 엔터티, 케이블망 엔터티, MVPD(Multichannel Video Programming Distributor) 중 적어도 하나에서 생성됨을 특징으로 하는 컨텐츠를 처리하는 방법.
  4. 제1항에 있어서,
    상기 셋탑 박스에서 메타데이터를 생성하는 과정과,
    상기 오디오 스트림에 포함된 메타데이터를 상기 생성된 메타데이터로 치환하는 과정을 더 포함하는 컨텐츠를 처리하는 방법.
  5. 제1항에 있어서,
    상기 메타데이터를 변형 또는 삭제하는 과정을 더 포함하는 컨텐츠를 처리하는 방법.
  6. TV(Television)에서 컨텐츠를 재생하는 방법에 있어서,
    셋탑 박스로부터 상기 TV로 전달된, 메타데이터를 포함하는 오디오 스트림을 수신하고, 상기 오디오 스트림으로부터 상기 메타데이터를 추출하고, 상기 추출된 메타데이터를 메타데이터 처리를 위하여 변형하고, 상기 메타데이터에 미디어 데이터의 재생을 위한 정보가 있으면, 상기 미디어 데이터의 재생을 위한 정보를 재생 장치로 전달하고, 상기 메타데이터에 미디어 데이터의 획득을 위한 정보가 있으면 상기 미디어 데이터의 획득을 위한 정보를 미디어 송신 처리부로 전달하는 과정과,
    상기 미디어 데이터의 획득을 위한 정보를 이용하여 소정의 인터페이스 및 프로토콜을 통하여 상기 미디어 데이터를 획득하는 과정과,
    상기 획득한 미디어 데이터를 복호하는 과정과,
    상기 미디어 데이터의 재생을 위한 정보를 이용하여 상기 복호된 미디어 데이터를 재생하는 과정을 포함하는 컨텐츠를 재생하는 방법.
  7. 제6항에 있어서,
    상기 메타데이터가 MMT 시그널링 메시지를 포함하는 MMTP 패킷이면, 상기 메타데이터 분석부는, 상기 MMTP 패킷에서 상기 MMT 시그널링 메시지를 추출하고,
    상기 메타데이터가 컨텐츠의 식별자이면, 상기 컨텐츠의 식별자를 이용하여 상기 식별자에 대응하는 컨텐츠를 획득하는 과정을 더 포함하는 컨텐츠를 재생하는 방법.
  8. 컨텐츠를 처리하는 셋탑 박스에 있어서,
    오디오 스트림을 포함하는 컨텐츠를 수신하고, 상기 오디오 스트림에 대한 복호 동작을 수행하지 않고, 상기 오디오 스트림을 출력 인터페이스를 통하여 TV(Television)로 바이패스하는 오디오 처리부를 포함하며,
    상기 오디오 스트림은 상기 컨텐츠에 관한 메타데이터를 포함하는 셋탑 박스.
  9. 제8항에 있어서, 상기 메타데이터는,
    상기 메타 데이터의 처리를 위한 시스템을 지시하는 시스템 타입 정보, 서비스에 대한 식별자, 부가 컨텐츠 획득을 위한 URL(Uniform Resource Locator) 정보 중 적어도 하나를 포함하며,
    상기 메타데이터는 패킷 형식이거나 또는 시그널링 메시지 형식임을 특징으로 하는 셋탑 박스.
  10. 제8항에 있어서, 상기 메타데이터는,
    컨텐츠 제공자, 방송망 엔터티, 케이블망 엔터티, MVPD(Multichannel Video Programming Distributor) 중 적어도 하나에서 생성됨을 특징으로 하는 셋탑 박스.
  11. 제8항에 있어서,
    새로 메타데이터를 생성하고, 상기 오디오 스트림에 포함된 메타데이터를 상기 생성된 메타데이터로 치환하는 메타데이터 생성부를 더 포함하는 셋탑 박스.
  12. 제8항에 있어서, 상기 오디오 처리부는,
    상기 메타데이터를 변형 또는 삭제함을 특징으로 하는 셋탑 박스.
  13. 컨텐츠를 처리하는 TV(Television)에 있어서,
    메타 데이터를 처리하는 메타데이터 처리부와,
    상기 메타데이터 처리부는,
    셋탑 박스로부터 상기 TV로 전달된, 메타데이터를 포함하는 오디오 스트림을 수신하고, 상기 오디오 스트림으로부터 상기 메타데이터를 추출하는 메타데이터 추출부와,
    상기 추출된 메타데이터를 메타데이터 처리를 위하여 변형하고, 상기 메타데이터에 미디어 데이터의 재생을 위한 정보가 있으면, 상기 미디어 데이터의 재생을 위한 정보를 재생 장치로 전달하고, 상기 메타데이터에 미디어 데이터의 획득을 위한 정보가 있으면 상기 미디어 데이터의 획득을 위한 정보를 미디어 송신 처리부로 전달하는 메타데이터 분석부와,
    상기 미디어 데이터의 획득을 위한 정보를 이용하여 소정의 인터페이스 및 프로토콜을 통하여 상기 미디어 데이터를 획득하여 복호부로 전달하는 미디어 송신 처리부와,
    상기 획득한 미디어 데이터를 복호하는 복호부와,
    상기 미디어 데이터의 재생을 위한 정보를 이용하여 상기 복호된 미디어 데이터를 재생하는 미디어 플레이어를 포함하는 TV.
  14. 제13항에 있어서, 상기 메타데이터
    상기 메타데이터가 MMT 시그널링 메시지를 포함하는 MMTP 패킷이면, 상기 메타데이터 분석부는, 상기 MMTP 패킷에서 상기 MMT 시그널링 메시지를 추출하고,
    상기 메타데이터가 컨텐츠의 식별자이면, 상기 미디어 송신 처리부는, 상기 컨텐츠의 식별자를 이용하여 상기 식별자에 대응하는 컨텐츠를 획득함을 특징으로 하는 TV.
KR1020177025143A 2015-02-13 2016-02-15 미디어 데이터를 송수신하는 방법 및 장치 Active KR102464061B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR1020150022695 2015-02-13
KR20150022680 2015-02-13
KR20150022685 2015-02-13
KR1020150022680 2015-02-13
KR1020150022685 2015-02-13
KR20150022695 2015-02-13
PCT/KR2016/001520 WO2016129981A1 (ko) 2015-02-13 2016-02-15 미디어 데이터를 송수신하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170107580A true KR20170107580A (ko) 2017-09-25
KR102464061B1 KR102464061B1 (ko) 2022-11-08

Family

ID=56615377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177025143A Active KR102464061B1 (ko) 2015-02-13 2016-02-15 미디어 데이터를 송수신하는 방법 및 장치

Country Status (4)

Country Link
US (2) US10271094B2 (ko)
KR (1) KR102464061B1 (ko)
CN (1) CN107211200B (ko)
WO (1) WO2016129981A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021015450A1 (ko) * 2019-07-19 2021-01-28 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 송신 방법, 방송 신호 수신 방법 및 방송 신호 수신 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016194563A1 (ja) * 2015-06-02 2016-12-08 ソニー株式会社 送信装置、送信方法、メディア処理装置、メディア処理方法および受信装置
US20190303400A1 (en) * 2017-09-29 2019-10-03 Axwave, Inc. Using selected groups of users for audio fingerprinting
US10720124B2 (en) * 2018-01-15 2020-07-21 Microsoft Technology Licensing, Llc Variable pixel rate display interfaces
CN110198474B (zh) * 2018-02-27 2022-03-15 中兴通讯股份有限公司 一种码流处理方法及装置
FR3103667A1 (fr) * 2019-11-27 2021-05-28 Sagemcom Broadband Sas Equipement décodeur transmettant des métadonnées à un équipement auxiliaire pour le piloter
CN111669717B (zh) * 2020-05-08 2022-03-25 广州微算互联信息技术有限公司 云手机数据发送方法、计算机装置和存储介质
CN111694660B (zh) * 2020-05-08 2022-03-25 广州微算互联信息技术有限公司 云手机数据发送方法、计算机装置和存储介质
CN113938652B (zh) * 2021-10-12 2022-07-26 深圳蓝集科技有限公司 一种无线图像传输系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080087243A (ko) * 2007-03-26 2008-10-01 엘지전자 주식회사 방송 신호 송수신 방법 및 방송 신호 수신 장치
KR20110088332A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
WO2013115121A1 (ja) * 2012-01-31 2013-08-08 シャープ株式会社 生成装置、再生装置、データ構造、生成方法、再生方法、制御プログラム、および記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197987B (zh) * 2006-12-08 2010-09-29 上海全景数字技术有限公司 数字电视节目的录制、回放方法与系统
KR100782014B1 (ko) 2006-12-18 2007-12-06 한국과학기술정보연구원 비압축 고품질 미디어 전송 시스템 및 그 방법과 그프로그램 소스를 저장한 기록매체
KR101221473B1 (ko) 2007-01-11 2013-01-14 삼성전자주식회사 메타 데이터 정보 제공 서버, 클라이언트 장치, 메타데이터 정보 제공 방법 및 콘텐츠 제공 방법
US9794310B2 (en) 2007-01-11 2017-10-17 Samsung Electronics Co., Ltd. Meta data information providing server, client apparatus, method of providing meta data information, and method of providing content
US10580459B2 (en) * 2007-08-23 2020-03-03 Sony Interactive Entertainment America Llc Dynamic media interaction using time-based metadata
US20100263002A1 (en) * 2009-04-09 2010-10-14 At&T Intellectual Property I, L.P. Distribution of modified or selectively chosen media on a procured channel
KR101691200B1 (ko) 2010-07-19 2016-12-30 톰슨 라이센싱 텔레비전 시청을 위한 대안적인 오디오 전달
US20120151079A1 (en) * 2010-12-13 2012-06-14 Jan Besehanic Methods and apparatus to measure media exposure
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
KR102105567B1 (ko) * 2014-01-09 2020-04-28 한국전자통신연구원 Ｍｍｔ 시그널링 메시지를 처리하는 장치 및 방법
PL3522554T3 (pl) * 2014-05-28 2021-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Procesor danych i transport danych kontrolnych użytkownika do dekoderów audio i modułów renderowania
CN105532009B (zh) * 2014-07-18 2021-03-12 索尼公司 发送设备、发送方法、接收设备和接收方法
KR102643537B1 (ko) * 2014-09-12 2024-03-06 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US9735876B2 (en) * 2015-07-10 2017-08-15 Cisco Technology, Inc. Calibrating an apparatus supporting pluggable optics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080087243A (ko) * 2007-03-26 2008-10-01 엘지전자 주식회사 방송 신호 송수신 방법 및 방송 신호 수신 장치
KR20110088332A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
WO2013115121A1 (ja) * 2012-01-31 2013-08-08 シャープ株式会社 生成装置、再生装置、データ構造、生成方法、再生方法、制御プログラム、および記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021015450A1 (ko) * 2019-07-19 2021-01-28 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 송신 방법, 방송 신호 수신 방법 및 방송 신호 수신 장치

Also Published As

Publication number Publication date
US10271094B2 (en) 2019-04-23
US10701437B2 (en) 2020-06-30
CN107211200A (zh) 2017-09-26
CN107211200B (zh) 2020-04-17
KR102464061B1 (ko) 2022-11-08
US20180027278A1 (en) 2018-01-25
US20190253750A1 (en) 2019-08-15
WO2016129981A1 (ko) 2016-08-18

Similar Documents

Publication Publication Date Title
JP7388465B2 (ja) 処理装置
KR102464061B1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
US11895352B2 (en) System and method for operating a transmission network
KR20170138994A (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10887242B2 (en) Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
CN109640162B (zh) 码流转换方法及系统
JP7530751B2 (ja) 多重信号変換装置及びそのプログラム、並びに、受信機
Aoki et al. New media transport technologies in super hi-vision broadcasting systems
KR102393158B1 (ko) 메타데이터를 포함하는 비트 스트림을 이용한 서비스 제공 방법 및 장치
KR102391586B1 (ko) 시청각 콘텐츠 스트림을 ｍｐｅｇ２ 사설 섹션내에 캡슐화하는 방법, ｍｐｅｇ２ 전송 스트림 내에 멀티플렉스되어질 ｍｐｅｇ２ 사설 섹션내에 시청각 콘텐츠를 캡슐화하는 장치, 디지털 ｔｖ용의 양방향 어플리케이션, 사용자 장치, 시청각 콘텐츠 또는 데이터의 전송을 위한 방법 및 데이터 네트워크를 위한 통신 프로토콜
WO2019031269A1 (ja) 送信装置、送信方法、受信装置、及び受信方法
KR101745652B1 (ko) 복호 정보 고속 취득이 가능한 방송 송신기와 수신기 및 그 방법
CN112272953B (zh) 数字内容发送装置、发送方法、数字内容接收装置、接收方法
HK1240730B (zh) 封装视听内容流的方法和设备

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4