KR100905723B1 - 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법 - Google Patents

비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법 Download PDF

Info

Publication number
KR100905723B1
KR100905723B1 KR1020070101672A KR20070101672A KR100905723B1 KR 100905723 B1 KR100905723 B1 KR 100905723B1 KR 1020070101672 A KR1020070101672 A KR 1020070101672A KR 20070101672 A KR20070101672 A KR 20070101672A KR 100905723 B1 KR100905723 B1 KR 100905723B1
Authority
KR
South Korea
Prior art keywords
additional information
broadcast
broadcasting
image
transport stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020070101672A
Other languages
English (en)
Other versions
KR20080053175A (ko
Inventor
김성훈
임종수
이수인
윤국진
임형수
김양수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to JP2009540169A priority Critical patent/JP2010512096A/ja
Priority to PCT/KR2007/006354 priority patent/WO2008069613A1/en
Priority to EP07851325.6A priority patent/EP2103148B1/en
Priority to US12/517,867 priority patent/US20100325676A1/en
Priority to CN201110298102.2A priority patent/CN102547326B/zh
Publication of KR20080053175A publication Critical patent/KR20080053175A/ko
Application granted granted Critical
Publication of KR100905723B1 publication Critical patent/KR100905723B1/ko
Priority to US14/199,295 priority patent/US20140181884A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/40—Arrangements for broadcast specially adapted for accumulation-type receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그 방법에 관한 것으로서, 송신 측에서 다양한 실감방송용 부가정보(예를 들면, 3차원입체 방송을 위한 부가정보, 고화질 방송을 위한 부가정보 등)를 미리 수신 측으로 전송하고, 수신 측에서는 이를 미리 저장하고 있다가 본방송의 2D 영상신호가 수신되면 기저장된 부가정보를 이용하여 3차원 입체영상이나 고화질 영상 등의 실감 영상을 복원함으로써, 실감 방송용 부가정보의 전송으로 인한 2차원 본방송의 영상화질의 열화를 방지하고자 한다.
이를 위하여, 본 발명은, 비실시간 기반의 디지털 실감방송 송신 시스템에 있어서, 2차원 영상과 상기 2차원 영상의 실감 방송에 필요한 부가정보에 대하여 전송스트림(TS)을 생성하기 위한 방송용 TS 생성 수단; 및 상기 방송용 TS 생성 수단에서 생성된 전송스트림(TS) 중에서, 부가정보 전송스트림(TS)은 해당 방송시간 전에 전송하고, 2차원 영상 전송스트림(TS)은 방송스케줄에 따라 전송하기 위한 전송 수단을 포함한다.
Figure R1020070101672
비실시간, 디지털 방송, 실감 방송, 3차원 입체 디지털 방송, 실감 영상, 3차원 입체영상, 실감방송용 부가정보, 3차원 부가정보

Description

비실시간 기반의 디지털 실감방송 송수신 시스템 및 그 방법{System and Method for Digital Real Sense Transmitting/Receiving based on Non-Realtime}
본 발명은 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 기존 2차원 디지털방송 전송시스템과의 하위호환성을 유지하고, 실감 방송용 부가정보(3차원입체 방송을 위한 부가정보, 고화질 방송을 위한 부가정보 등)의 전송으로 인한 2차원 본방송의 영상화질의 열화를 방지할 수 있는, 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-016-01, 과제명: 지상파 DTV 분산중계 기술개발].
3차원 입체 동영상의 콘텐츠를 서비스하는 종래기술로는, 디지털 방송의 전송 시스템 기반으로 하는 한국공개특허 특1999-0060127호(1999.07.26 공개)에 게재된 "디지털 방송에서의 입체 영상 송수신 방법 및 장치'가 있다.
상기 종래기술에서 송신 측은, 다중화된 디지털 신호에서 비디오 정보인지 오디오 정보인지 혹은 부가정보인지를 나타내는 PID(Packet Identifier) 정보 외에, 좌/우 영상의 신호를 구별하기 위한 PID를 부가하여 전송한다. 그러면, 수신 측에서는 영상 정보에 부가된 좌/우 영상에 대한 정보를 분리한 후 그 분리해 낸 좌/우 영상을 교대로 디스플레이하도록 함으로써, 과거 2차원적인 영상만을 보여주는 TV에서 좀더 현실감 있는 3차원 영상을 제공한다.
상기와 같은 종래 기술은 좌/우 영상에 대하여 각각의 PID 값을 정의함으로써 2개의 비디오 스트림이 존재하게 되고, 이로 인하여 기존 2차원 시스템에서는 좌/우 영상 스트림을 구분하지 못하게 되므로 기존 시스템과의 호환성이 결여된다는 문제점이 있었다.
또한, 3차원 입체 동영상을 생성할 수 있는 정보로는 2시점의 영상, 또는 1시점의 영상과 시차 맵(disparity map), 또는 1시점의 영상과 깊이 맵(depth map) 등이 있는데, 상기와 같은 종래 기술에서는 2시점의 영상에 대해서만 언급하고 있는 실정이다.
상기와 같은 종래기술은 기존 2차원 디지털방송 전송시스템과의 하위호환성이 결여되고, 3차원 부가정보 등의 전송으로 인한 2차원 본방송의 영상화질의 열화를 일으키는 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.
따라서 본 발명은, 기존 2차원 디지털방송 전송시스템과의 하위호환성을 유지하고, 실감 방송용 부가정보(3차원입체 방송을 위한 부가정보, 고화질 방송을 위한 부가정보 등)의 전송으로 인한 2차원 본방송의 영상화질의 열화를 방지할 수 있는, 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명은 상기와 같은 발명의 목적을 달성하기 위하여, 송신 측에서 다양한 실감방송용 부가정보를 미리 수신 측으로 전송하고, 수신 측에서는 이를 미리 저장하고 있다가 본방송의 2D 영상신호가 수신되면 기저장된 부가정보를 이용하여 3차원 입체영상이나 고화질 영상 등의 실감 영상을 복원하는 것을 특징으로 한다.
더욱 구체적으로, 본 발명은, 비실시간 기반의 디지털 실감방송 송신 시스템에 있어서, 2차원 영상과 상기 2차원 영상의 실감 방송에 필요한 부가정보에 대하여 전송스트림(TS)을 생성하기 위한 방송용 TS 생성 수단; 및 상기 방송용 TS 생성 수단에서 생성된 전송스트림(TS) 중에서, 부가정보 전송스트림(TS)은 해당 방송시간 전에 전송하고, 2차원 영상 전송스트림(TS)은 방송스케줄에 따라 전송하기 위한 전송 수단을 포함한다.
또한, 본 발명은, 비실시간 기반의 디지털 실감방송 송신 시스템에 있어서, 2차원 영상에 대하여 전송스트림(TS)을 생성하기 위한 방송용 TS 생성 수단; 및 상기 방송용 TS 생성 수단에서 생성된 2차원영상 전송스트림(TS)을 방송스케줄에 따라 전송하고, 상기 2차원 영상의 실감 방송에 필요한 부가정보에 대한 전송스트림(TS)은 외부로부터 수신하여 해당 방송 시간 전에 전송하기 위한 전송 수단을 포함한다.
한편, 본 발명은, 비실시간 기반의 디지털 실감방송 수신 시스템에 있어서, 디지털 방송신호를 수신하여 복원하기 위한 복원 수단; 및 2차원 영상의 실감 방송에 필요한 부가정보를 해당 방송시간 전에 저장하고 있다가, 상기 복원 수단에서 방송 스케줄에 따라 해당 2차원 영상이 복원되면, 상기 저장된 부가정보 및 상기 복원된 2차원 영상을 이용하여 실감 영상을 생성하기 위한 실감영상 생성 수단을 포함한다.
한편, 본 발명은, 비실시간 기반의 디지털 실감방송 송신 방법에 있어서, 방송 데이터에 대하여 전송스트림(TS)을 생성하는 TS 생성 단계; 및 2차원 영상의 실감 방송에 필요한 부가정보 전송스트림(TS)은 해당 방송시간 전에 전송하고, 상기 TS 생성 단계를 통하여 생성된 2차원 영상 전송스트림(TS)은 방송스케줄에 따라 전송하는 전송 단계를 포함한다.
한편, 본 발명은 비실시간 기반의 디지털 실감방송 수신 방법에 있어서, 실감 방송에 필요한 부가정보를 해당 방송시간 전에 획득하여 저장하는 단계; 상기 부가정보에 대한 본방송이 수신됨에 따라, 본방송신호로부터 해당 2차원 영상을 복원하는 단계; 및 상기 기저장된 부가정보 및 상기 복원된 2차원 영상을 이용하여 실감 영상을 생성하는 단계를 포함한다.
상기와 같은 본 발명은, 현재 디지털 방송에서 사용하고 있는 DTV/DMB MPEG-2 시스템을 기반으로 하는 것으로서, 송신 측에서는 실감 방송용 부가정보(예를 들어, 3차원 입체방송에 필요한 부가정보 등이 해당하며, 이는 Robust Stream으로 전송된다)를 잉여시간 및 잉여스트림을 통하여 미리 전송하고, 수신 측에서는 이를 로컬 스토리지(local storage)에 저장하였다가 실감 영상 복원시에 읽어들여 본방송 신호인 2차원 영상과 동기화 처리하여 실감 영상을 복원하는 것이다.
따라서 본 발명은, 기존의 2차원 디지털 방송의 전송 시스템과의 완전한 하위호환성을 보장하고, 실감 방송 시스템(특히, 3차원 입체 방송 시스템)의 구현에 의한 2차원 영상의 화질저하 문제를 해결할 수 있는 효과가 있다.
즉, 본 발명은, 기존 디지털 방송 수신기를 가지고 있는 사용자로 하여금 실감 영상 기반의 방송 콘텐츠(특히, 3차원 입체영상 기반의 방송 콘텐츠)가 수신되더라도 화질의 열화 없이 2차원 영상의 방송을 즐길 수 있게 하고, 또한 실감 방송 수신기(특히, 3차원 입체 디지털 방송 수신기)를 가지고 있는 사용자로 하여금 기 존의 방식보다 고화질의 2차원 또는 3차원 입체 영상의 방송을 즐길 수 있게 하는 효과가 있다.
먼저, 본 발명의 구체적인 내용을 전반적으로 설명하면, 다음과 같다.
본 발명은 비 실시간(Non-Realtime) PVR(Personal Video Recorder) 기법을 이용하여 사용자가 입체감이나 고화질 영상을 즐길 수 있도록 하는, 실감 영상(예를 들면, 3차원 입체 영상, 고화질 영상 등)을 전송할 수 있는 디지털 실감 방송 시스템에 관한 것으로서, DMB 방송, 디지털 TV 등의 다양한 디지털 방송을 그 대상으로 한다.
본 발명에 따른 비실시간 기반의 디지털 실감방송 송신 시스템, 특히 디지털 3차원 입체방송 송신 시스템(도 1 참조)은, 현재 디지털 방송에서 사용하고 있는 MPEG-2 시스템을 기반으로 하며, 3차원 입체영상을 생성할 수 있는 부가정보를 오리지날 2차원 비디오 전송스트림(TS: Transport Stream)과는 별도로 잉여시간(예를 들면, 화면조정시간 등) 및 잉여 스트림(Null packet 등)을 이용하여 사전에 미리 수신 측으로 전송한다.
그러면, 본 발명에 따른 비실시간 기반의 디지털 실감방송 수신 시스템, 특히 디지털 3차원 입체방송 수신 시스템(도 2 참조)은, 미리 전송받은 3차원 부가정보를 로컬 저장부(local storage part)에 저장하고 있다가, 본방송이 시작되면(원 신호인 2D TV 신호가 방송시간에 수신되면) 2차원 영상(본방송의 2차원 영상)에 동 기화하여 로컬 저장부에 있는 3차원 부가정보를 읽어들여 3차원 영상복원에 사용한다. 즉, 본 발명에 따른 수신 시스템은, 원 신호인 2DTV 신호가 방송시간에 수신되면 미리 저장하여 놓은 3차원 부가정보를 로컬 저장부에서 읽어들여, 2차원 영상과 동기화하여 3차원 입체영상을 복원한다.
상기와 같은 본 발명에 따른 3차원 부가정보의 송신 및 수신 처리 기술은 고화질 방송 등 다양한 실감 방송에 필요한 부가정보에도 동일하게 적용된다.
상기와 같은 본 발명은, 기존 2차원 디지털 방송의 전송 시스템과의 하위호환성을 보장할 수 있으며, 또한 기존의 실시간 처리(Realtime Processing) 방식과 달리 부가정보 전송을 위해 본방송 시간에 데이터 전송할당을 할 필요가 없기 때문에 2차원 영상의 열화가 생기지 않게 하면서도 실감 방송(3차원 입체 디지털 방송, 고화질 방송 등)을 제공할 수 있다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
본 발명은 3차원 입체 방송, 고화질 방송 등 차세대 디지털 실감 방송에 필요한 부가정보(실감 방송용 부가정보)를 해당 2차원 영상보다 미리 수신 측으로 송 신하고, 그에 따라 수신 측에서는 실감방송용 부가정보를 미리 수신(또는, 다른 입력 수단을 통하여 입력될 수도 있다)하여 저장하고 있다가 해당 본방송이 진행됨에 따라 2차원 영상을 복원한 후 기저장된 부가정보를 이용하여 실감 영상(3차원 입체영상, 고화질 영상 등)을 생성하는 것이다. 여기서, '실감 방송'은 3차원 입체방송, 고화질 방송, 감성 방송 등을 포함하는 차세대 디지털 방송을 의미하고, '실감방송용 부가정보'는 상기와 같은 차세대 디지털 방송에 필요한 부가정보를 의미한다. 이하에서는, 실감 방송 중에서 3차원 입체방송을 실시예로 하여 설명하기로 한다.
도 1은 본 발명에 따른 비실시간 기반의 디지털 3차원 입체방송 송신 시스템의 일실시예 구성도로서, 디지털 실감방송 송신 시스템의 일종인 디지털 3차원 입체방송 송신 시스템의 구성 및 그 동작을 나타낸다.
이하, 본 발명에 따른 디지털 3차원 입체방송 송신 시스템에서 수행되는 3차원 입체방송 송신 방법도 함께 설명하기로 한다.
본 발명에 따른 디지털 3차원 입체방송 송신 시스템은 도 1에 도시된 바와 같이, 3차원 AV 획득부(100), 방송용 TS 생성부(110), 및 전송부(120)를 포함하여 이루어진다.
3차원 AV 획득부(100)는 3차원 입체 콘텐츠로부터 2차원방송용 좌(우) 오디오/영상(2차원 AV정보)과 3차원 입체 방송에 필요한 부가정보(즉, 3차원방송용 부가정보를 의미하며, 이하에서는 간단히 '3차원 부가정보'라 한다)를 획득한다. 이와 달리, 실시예에 따라서는 인터넷, USB 메모리 등과 같은 다양한 온/오프 라 인(on/offline) 입력 수단을 통하여 부가정보를 입력받아 비실시간 DTV 서비스에 활용할 수도 있다.
여기서, 3차원 부가정보는 입체 영상을 만들기 위한 정보(DTV/DMB의 3D TV 서비스에서 3차원 입체영상을 생성할 수 있는 부가정보)인데, 이에는, 2차원방송용 영상(이하, 간단히 '2차원 영상'이라 한다)과는 다른 시점의 영상(즉, 2차원 영상이 좌 영상이면 우 영상이 다른 시점의 영상이 되고, 2차원 영상이 우영상이면 좌영상이 다른 시점의 영상이 됨), 시차 맵(Disparity map), 및 깊이 맵(Depth Map) 등이 해당된다.
다음으로, 방송용 TS 생성부(110)는 3차원 AV 획득부(100)로부터 입력되는 AV정보(오디오 데이터 및 2차원 영상) 및 3차원 부가정보에 대하여 개별적으로 전송스트림(TS)을 생성하는 것으로서, 더욱 상세하게는 인코딩부(111), 패킷화부(112), 및 전송스트림(TS) 생성부(Generator)(113)를 포함하여 이루어진다. 각각에 대하여 상세히 설명하면, 다음과 같다.
먼저, 인코딩부(111)는 3차원 AV 획득부(100)로부터 입력되는 AV정보(오디오 데이터 및 2차원 영상) 및 3차원 부가정보를 개별적으로 인코딩하여 각각에 대한 기초스트림(ES)을 생성한다. 여기서, 인코딩부(111)는 MPEG-2 인코더(Encoder)를 사용할 수 있으며, 또는 인코딩 대상이 되는 정보에 따라 현재 널리 사용되고 있는 부호화 방식 중에서 압축 효율이 좋은 임의의 인코더(Encoder)(예를 들면, 부가정보에 대해서 MPEG-4 AVC 등)를 사용할 수도 있다.
한편, 본 발명은 비실시간 디지털방송 기반의 초고화질 TV(UDTV: Ultral High Definition TV)에 대해서도 적용될 수 있으며, 이 경우에는 SVC(Scalable Video CODEC) Base Layer의 A/V가 'AV정보'에 상응하고, UDTV방송에 필요한 부가정보(SVC Enhancement Layer 부가정보로서, SVC Base Layer 정보와 연동하여 보다 나은 화질 영상을 합성할 수 있는 부가정보 등)가 '3차원 부가정보'에 상응하게 된다.
다음으로, 패킷화부(112)는 인코딩부(111)로부터 인코딩되어 출력되는 2차원 AV 기초스트림(ES)(즉, 오디오 기초스트림(ES)과 2차원 영상 기초스트림(ES))과 3차원 부가정보 기초스트림(ES)을 패킷화함으로써 PES(Packetized Elementary Stream)을 생성한다.
전송스트림(TS) 생성부(113)는 패킷화부(112)로부터 출력되는 PES에 대하여 전송스트림(TS)을 생성한다. 즉, 전송스트림(TS) 생성부(113)에서는 2차원 AV 전송스트림(TS)(즉, 오디오 전송스트림(TS)과 2차원 영상 전송스트림(TS)), 3차원 부가정보에 대한 전송스트림(TS)이 출력된다.
그러면, 전송부(120)는 전송스트림(TS) 생성부(113)에서 생성된 전송스트림(TS) 중에서, 3차원 부가정보 전송스트림(TS)은 해당 방송시간 전에 미리 전송하고, 2차원 AV 전송스트림(TS)은 방송스케줄에 따라 전송하는 것으로서, 더욱 상세하게는 다중화부(MUX)(121) 및 변조부(modulator)(122)를 포함하여 이루어진다.
먼저, 다중화부(121)는 2차원 AV 전송스트림(TS), 3차원 부가정보에 대한 전송스트림(TS), 및 3차원영상 합성용 동기정보에 대한 전송스트림(TS)을 다중화하여 변조부(122)를 통하여 수신 측으로 전송한다. 이때, 3차원 부가정보에 대한 전송스 트림(TS)은 잉여시간(TV 방송이 진행되지 않는 시간, 즉 화면조정시간 등)에 전송하거나 잉여데이터 전송스트림(NULL 패킷에 대한 전송스트림 등)을 통해 수신기 측에 미리 전송((예를 들면, 해당 방송시간 이전에 전송)하고, 이와 달리, 2차원 AV 전송스트림(TS)은 본방송의 일정(방송 스케쥴)에 맞추어 전송한다. 여기서, 다중화되어 전송되는 3차원 부가정보와 3차원영상 합성용 동기정보는 수신 측에서 3차원 영상을 복원하는데 사용되는 정보이다.
한편, 도 1에서는 3차원 부가정보가 인코딩부(111)에 입력되어 전송스트림(TS) 생성부(113)까지 거치는 경우(실시예)를 나타내고 있으나, 실시예에 따라서는 3차원 부가정보를 인코딩부(111)에 입력시키지 않고, '데이터 방송'을 통하여 수신하여 다중화부(121)에 입력시킬 수도 있다. 즉, 다중화부(121)는 '데이터 방송'을 통하여 3차원 입체방송에 필요한 부가정보(3차원 부가정보) 전송스트림(TS)을 별도로 수신하여 미리 수신 측으로 전송할 수 있다.
마지막으로, 변조부(Modulator)(122)는 다중화부(121)에서 다중화된 전송스트림을 디지털 방송 규격에 따라 변조하여 송신하는 기능을 수행한다.
도 2는 본 발명에 따른 비실시간 기반의 디지털 3차원 입체방송 수신 시스템의 일실시예 구성도로서, 디지털 실감방송 수신 시스템의 일종인 디지털 3차원 입체방송 수신 시스템의 구성 및 그 동작을 나타낸다.
이하, 본 발명에 따른 디지털 3차원 입체방송 수신 시스템에 적용되는 디지털 3차원 입체방송 수신 방법도 함께 설명한다.
본 발명에 따른 디지털 3차원 입체방송 수신 시스템은, 도 2에 도시된 바와 같이, 복원부(201), 입체영상 생성부(210), 2차원(2D)/3차원(3D) 영상 디스플레이부(220), 오디오 디코더(230), 및 미들웨어/어플리케이션(240)을 포함하여 이루어진다
먼저, 복원부(200)는 디지털 방송신호를 수신하여 2차원 영상, 3차원 부가정보(3차원방송용 부가정보), 또는 3차원영상 합성용 동기정보를 복원하는 것으로서, 더욱 상세하게는 복조부(Demodulator)(201) 및 역다중화부(DeMux)(202)를 포함하여 이루어진다.
먼저, 복조부(Demodulator)(201)는 안테나를 통하여 수신된 디지털 방송신호를 전송스트림(TS)으로 복조한다.
역다중화부(202)는 입력되는 전송스트림(TS)으로부터 2차원 영상 전송스트림, 오디오 전송스트림, 3차원 부가정보(3차원방송용 부가정보) 전송스트림, 3차원영상 합성용 동기정보에 대한 전송스트림(TS)을 분리하며, 각각의 분리된 전송스트림(TS)을 역패킷화하여 기초스트림(ES) 형태로 변환한 후 다시 디코딩한다. 즉, 역다중화부(202)는 전송스트림(TS)으로부터 2차원 영상, 오디오 데이터, 3차원 부가정보(3차원방송용 부가정보), 3차원영상 합성용 동기정보를 획득한다.
여기서, 3차원 부가정보는 본방송이 진행되지 않는 잉여시간에 전송되는 전송 스트림이나, 또는 잉여데이터에 대한 전송스트림으로부터 획득되는 것으로서, 획득된 후에는 로컬 저장부(212)에 저장된다.
다음으로, 입체영상 생성부(210)는 실감영상 생성부의 일종으로서, 복원부(200)를 통하여 해당 방송시간 전에 복원된 3차원 부가정보를 저장하고 있다가, 복원부(200)에서 방송 스케줄에 따라 해당 2차원 영상이 복원되면, 미리 저장된 3차원 부가정보와 2차원 영상을 이용하여 3차원 입체영상을 생성하는 것으로서, 더욱 상세하게는 제어부(Control Logic Part)(211), 로컬저장부(Local Storage Part)(212), 및 3차원(3D) 영상 합성부(213)를 포함하여 이루어진다. 이하, 각각에 대하여 상세히 설명하기로 한다.
제어부(211)는 역다중화부(202)의 역다중화 과정을 제어하는 것으로서, 전송스트림(TS) 패킷을 분석하여 '3차원 부가정보'라고 인식하면 이를 로컬 저장부(212)에 저장한 후, 방송 수신기의 미들웨어(Middleware)나 어플리케이션(Application)(240)에 해당 정보를 등록한다.
또한, 제어부(211)는 추후 사용자 등의 요청에 따라 3D영상 복원 여부를 판정하는데, 만일 사용자 및 기타 방송사의 옵션처리에 따른 요청이 있으며, 3D 영상을 복원해야 한다. 이렇게 3차원 영상을 복원해야 하는 경우, 본방송 스케줄에 따라 2D 영상이 수신되고 그에 대한 이벤트(event) 처리가 이루어져서 제어부(211)에 2D영상 수신 사실이 전달되면, 제어부(211)는 해당하는 3차원 부가정보를 로컬 저장부(212)에서 읽어들여 3차원 영상 합성부(213)로 전송한다. 즉, 제어부(211)는 본방송이 수신됨에 따라 로컬 저장부(212)에 미리 저장되어 있는 3차원 부가정보를 읽어다가 3차원 영상 합성부(213)로 전송한다.
더 나아가, 제어부(211)는 역다중화부(202)에서 추출된 3차원영상 합성용 동기정보를 이용하여 3차원 영상 합성부(213)에서의 3차원 입체 영상의 생성 과정을 제어한다.
3차원(3D) 영상 합성부(213)는 역다중화부(202)로부터 입력되는 2차원 영상을 바이패스시키거나, 역다중화부(202)로부터 입력되는 2차원 영상과 3차원 부가정보를 합성하여 3차원 입체영상을 생성하여 2D/3D 영상 디스플레이부(220)로 출력한다.
즉, 3차원 영상 합성부(213)는 사용자로부터 입력받은 디스플레이 타입을 확인하여, 사용자가 요구한 디스플레이 타입이 2차원 영상 디스플레이이면 3차원 부가정보는 무시하고 오리지널 영상(2차원 영상)을 2D/3D 영상 디스플레이부(220)로 바이패스시키고, 사용자가 요구한 디스플레이 타입이 3차원 입체영상 디스플레이이면 3차원영상 합성용 동기정보를 바탕으로 2차원 영상과 3차원 부가정보를 합성하여 3차원 입체영상을 생성하여 2D/3D 영상 디스플레이부(220)로 출력한다.
여기서, 3차원 입체영상 생성 과정은, 영상 신호의 홀수 필드(Odd field) 영상과 짝수 필드(Even field) 영상으로 되어 있는 3D 부가정보를 라인 단위(Line-by-Line)로 섞어서 SD급(720x480) 크기의 3차원 입체영상을 출력하고, 3D 부가정보에 포함되어 있는 가비지(Garbage) 데이터는 무시한다. 또한, 3D 입체영상은 영상 디스플레이부(모니터)의 특성에 따라 해상도가 달라지게 된다. 따라서 실제 디스플레이 시에는 영상 신호의 확대/축소 모듈이 추가될 수 있다.
요컨대, 3차원 영상 합성부(213)는 우(좌)영상, 시차 맵(Disparity map), 및 깊이 맵(Depth map) 등의 3차원 부가정보의 종류에 따라, 각각에 적절한 3차원 영상 합성(생성) 알고리즘을 적용하여 3차원 입체 영상을 생성한다.
그리고 3차원 입체영상 생성 과정에서 시각 피로 현상을 감소시키면서도 생 생한 입체감을 증대시키기 위해서는, 오리지널 영상인 2차원 영상(예를 들면, 좌영상)와 3차원 부가정보(예를 들면, 우영상)를 프레임 단위로 정확하게 동기화하는 것은 중요하다.
2D/3D 영상 디스플레이부(220)는 3차원 영상 합성부(213)로부터 전달받은 2차원 영상이나 3차원 입체영상을 디스플레이하는 기능을 수행하며, 오디오 디코더(230)는 역다중화부(202)로부터 수신된 오디오 스트림을 재생하는 기능을 수행한다.
이와 관련하여, 제어부(211)는 3차원 영상 합성부(213)에서 2D/3D 영상 디스플레이부(220)로 출력되는 2차원 영상이나 3차원 입체 영상과, 오디오 디코더(230)에서 출력되는 오디오의 동기를 맞추기도 한다.
이상에서는 방송망을 통하여 전송되는 방송신호로부터 '3차원 부가정보'를 획득하여 저장하고 있다가 3차원 입체 영상의 생성에 사용하는 경우에 대하여 설명하였으나, 실시예에 따라서는 방송망이 아닌 인터넷, USB 메모리 등과 같은 다른 수단을 통하여 3차원 부가정보를 입력받아 로컬 저장부(212)에 저장하고 있다가 3차원 입체영상의 생성에 사용할 수도 있다.
또한, 이상에서는 실감 방송의 예로서 3차원 입체방송의 경우에 대하여 설명하였으나, 본 발명은 이에 한정되는 것이 아니라, 고화질 방송(HDTV, UDTV 등), 감성 방송 등 다양한 형태의 실감 방송에 필요한 부가정보를 송신하고 수신처리하는 경우에도 적용된다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능 하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 본 발명에 따른 비실시간 기반의 디지털 3차원 입체방송 송신 시스템의 일실시예 구성도,
도 2는 본 발명에 따른 비실시간 기반의 디지털 3차원 입체방송 수신 시스템의 일실시예 구성도이다.
* 도면의 주요 부분에 대한 부호 설명
100: 3차원 AV 획득부 110: 방송용 TS 생성부
111: 인코딩부 112: 패킷화부
113: TS 생성부 120: 전송부
121: 다중화부 122: 변조부
200: 복원부 201: 복조부
202: 역다중화부 210: 입체영상 생성부
211: 제어부 212: 로컬 저장부
213: 3D(3차원) 영상 합성부

Claims (21)

  1. 비실시간 기반의 디지털 실감방송 송신 시스템에 있어서,
    2차원 영상과 상기 2차원 영상의 실감 방송에 필요한 부가정보에 대하여 전송스트림(TS)을 생성하기 위한 방송용 TS 생성 수단; 및
    상기 방송용 TS 생성 수단에서 생성된 전송스트림(TS) 중에서, 부가정보 전송스트림(TS)은 해당 방송시간 전에 전송하고, 2차원 영상 전송스트림(TS)은 방송스케줄에 따라 전송하기 위한 전송 수단
    을 포함하는 비실시간 기반의 디지털 실감방송 송신 시스템.
  2. 제 1 항에 있어서,
    디지털 방송 콘텐츠로부터 상기 2차원 영상과 상기 부가정보를 획득하기 위한 부가정보 획득 수단
    을 더 포함하는 비실시간 기반의 디지털 실감방송 송신 시스템.
  3. 비실시간 기반의 디지털 실감방송 송신 시스템에 있어서,
    2차원 영상에 대하여 전송스트림(TS)을 생성하기 위한 방송용 TS 생성 수단; 및
    상기 방송용 TS 생성 수단에서 생성된 2차원영상 전송스트림(TS)을 방송스케줄에 따라 전송하고, 상기 2차원 영상의 실감 방송에 필요한 부가정보에 대한 전송스트림(TS)은 외부로부터 수신하여 해당 방송 시간 전에 전송하기 위한 전송 수단
    을 포함하는 비실시간 기반의 디지털 실감방송 송신 시스템.
  4. 제 1 항 또는 제 3 항에 있어서,
    상기 전송 수단은,
    실감 영상의 합성을 위한 동기정보 전송스트림(TS)을 상기 2차원 영상 전송스트림(TS)과 다중화하여 전송하는 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 송신 시스템.
  5. 제 1 항 또는 제 3 항에 있어서,
    상기 부가정보는,
    3차원 입체방송에 필요한 3차원 부가정보, 고화질 방송에 필요한 부가정보, 또는 감성 방송에 필요한 부가정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 송신 시스템.
  6. 제 1 항 또는 제 3 항에 있어서,
    상기 전송 수단은
    본방송이 진행되지 않는 잉여시간에 상기 부가정보 전송스트림(TS)을 수신 측으로 전송하는 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 송신 시스템.
  7. 제 1 항 또는 제 3 항에 있어서,
    상기 전송 수단은,
    잉여데이터 전송스트림을 이용하여 상기 부가정보 전송스트림(TS)을 수신 측으로 전송하는 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 송신 시스템.
  8. 비실시간 기반의 디지털 실감방송 수신 시스템에 있어서,
    디지털 방송신호를 수신하여 복원하기 위한 복원 수단; 및
    2차원 영상의 실감 방송에 필요한 부가정보를 해당 방송시간 전에 저장하고 있다가, 상기 복원 수단에서 방송 스케줄에 따라 해당 2차원 영상이 복원되면, 상기 저장된 부가정보 및 상기 복원된 2차원 영상을 이용하여 실감 영상을 생성하기 위한 실감영상 생성 수단
    을 포함하는 비실시간 기반의 디지털 실감방송 수신 시스템.
  9. 제 8 항에 있어서,
    상기 복원 수단은,
    상기 디지털 방송신호를 수신하여 전송 스트림(TS)으로 복조하기 위한 복조 수단; 및
    상기 전송 스트림(TS)으로부터 상기 2차원 영상, 상기 부가정보, 및 실감 영상의 합성에 필요한 동기정보를 획득하기 위한 역다중화 수단
    을 포함하는 비실시간 기반의 디지털 실감방송 수신 시스템.
  10. 제 9 항에 있어서,
    상기 역다중화 수단은,
    본방송이 진행되지 않는 잉여시간에 전송된 전송 스트림 또는 잉여비트 전송스트림으로부터 상기 부가정보를 획득하는 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 수신 시스템.
  11. 제 9 항에 있어서,
    상기 실감영상 생성 수단은,
    상기 역다중화 수단을 통하여 해당 방송시간 전에 획득된 부가정보를 저장하고 있다가 해당 본방송이 수신됨에 따라 영상 합성 수단으로 전달하고, 상기 역다중화 수단에서 획득된 동기정보를 이용하여 실감영상 생성 과정을 제어하기 위한 제어 수단; 및
    사용자로부터의 2차원 영상 디스플레이 타입 요청이 있을 시, 상기 역다중화 수단으로부터 입력된 2차원 영상을 바이패스하고, 상기 사용자로부터 3차원 영상 디스플레이 타입 요청이 있을 시 상기 부가정보와 상기 2차원 영상을 합성하여 실감 영상을 생성하기 위한 상기 영상 합성 수단
    을 포함하는 비실시간 기반의 디지털 실감방송 수신 시스템.
  12. 제 8 항에 있어서,
    상기 실감 영상 생성 수단은,
    외부로부터 상기 부가정보를 수신하여 저장하고 있다가 상기 실감 영상의 생성에 이용하는 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 수신 시스템.
  13. 제 8 항에 있어서,
    상기 부가정보는,
    3차원 입체방송에 필요한 3차원 부가정보, 고화질 방송에 필요한 부가정보, 또는 감성 방송에 필요한 부가정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 수신 시스템.
  14. 비실시간 기반의 디지털 실감방송 송신 방법에 있어서,
    방송 데이터에 대하여 전송스트림(TS)을 생성하는 TS 생성 단계; 및
    2차원 영상의 실감 방송에 필요한 부가정보 전송스트림(TS)은 해당 방송시간 전에 전송하고, 상기 TS 생성 단계를 통하여 생성된 2차원 영상 전송스트림(TS)은 방송스케줄에 따라 전송하는 전송 단계
    를 포함하는 비실시간 기반의 디지털 실감방송 송신 방법.
  15. 제 14 항에 있어서,
    상기 방송 데이터는,
    디지털 방송 콘텐츠로부터 획득된 상기 2차원 영상 및 상기 2차원 영상의 실감 방송에 필요한 부가정보이고;
    상기 부가정보 전송스트림(TS)은,
    상기 TS 생성 단계를 통하여 생성된 부가정보 전송스트림(TS)인 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 송신 방법.
  16. 제 14 항에 있어서,
    상기 부가정보 전송스트림(TS)은,
    외부로부터 수신된 부가정보 전송스트림(TS)인 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 송신 방법.
  17. 제 14 항에 있어서,
    상기 전송 단계는,
    본방송이 진행되지 않는 잉여시간에 상기 부가정보 전송스트림(TS)을 수신 측으로 전송하는 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 송신 방법.
  18. 제 14 항에 있어서,
    상기 전송 단계는,
    잉여데이터 전송스트림을 이용하여 상기 부가정보 전송스트림(TS)을 수신 측으로 전송하는 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 송신 방법.
  19. 비실시간 기반의 디지털 실감방송 수신 방법에 있어서,
    실감 방송에 필요한 부가정보를 해당 방송시간 전에 획득하여 저장하는 단 계;
    상기 부가정보에 대한 본방송이 수신됨에 따라, 본방송신호로부터 해당 2차원 영상을 복원하는 단계; 및
    상기 기저장된 부가정보 및 상기 복원된 2차원 영상을 이용하여 실감 영상을 생성하는 단계
    를 포함하는 비실시간 기반의 디지털 실감방송 수신 방법.
  20. 제 19 항에 있어서,
    상기 부가정보는,
    본방송이 진행되지 않는 잉여시간에 방송망을 통하여 전송된 전송 스트림, 또는 방송망을 통하여 전송된 잉여비트 전송스트림으로부터 획득되는 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 수신 방법.
  21. 제 19 항에 있어서,
    상기 부가정보는,
    수신 측의 외부 입력수단을 통하여 입력된 부가정보인 것을 특징으로 하는 비실시간 기반의 디지털 실감방송 수신 방법.
KR1020070101672A 2006-12-08 2007-10-09 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법 Active KR100905723B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009540169A JP2010512096A (ja) 2006-12-08 2007-12-07 非リアルタイムベースのデジタル実感放送送受信システム及びその方法
PCT/KR2007/006354 WO2008069613A1 (en) 2006-12-08 2007-12-07 System for transmitting/receiving digital realistic broadcasting based on non-realtime and method therefor
EP07851325.6A EP2103148B1 (en) 2006-12-08 2007-12-07 Transmitting/receiving digital realistic broadcasting involving beforehand transmisson of auxiliary information
US12/517,867 US20100325676A1 (en) 2006-12-08 2007-12-07 System for transmitting/receiving digital realistic broadcasting based on non-realtime and method therefor
CN201110298102.2A CN102547326B (zh) 2006-12-08 2007-12-07 用于传送/接收基于非实时的数字真实广播的系统及其方法
US14/199,295 US20140181884A1 (en) 2006-12-08 2014-03-06 System for transmitting/receiving digital realistic broadcasting based on non-realtime and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060125152 2006-12-08
KR1020060125152 2006-12-08

Publications (2)

Publication Number Publication Date
KR20080053175A KR20080053175A (ko) 2008-06-12
KR100905723B1 true KR100905723B1 (ko) 2009-07-01

Family

ID=39807636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070101672A Active KR100905723B1 (ko) 2006-12-08 2007-10-09 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법

Country Status (6)

Country Link
US (2) US20100325676A1 (ko)
EP (1) EP2103148B1 (ko)
JP (1) JP2010512096A (ko)
KR (1) KR100905723B1 (ko)
CN (2) CN102547326B (ko)
WO (1) WO2008069613A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101164857B1 (ko) 2008-12-19 2012-07-11 한국전자통신연구원 비실시간으로 3차원 입체 방송을 제공하기 위한 방송 송수신 시스템 및 방법
WO2012121571A2 (ko) 2011-03-10 2012-09-13 한국전자통신연구원 비실시간 스테레오스코픽 방송 서비스 송신 및 수신 장치, 그리고 송신 및 수신 방법
EP2469862A4 (en) * 2009-08-19 2013-02-20 Korea Electronics Telecomm IMAGE PROCESSING APPARATUS AND METHOD

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2292016B1 (en) 2008-06-09 2014-12-17 Vidyo, Inc. Improved view layout management in scalable video and audio communication systems
SG172182A1 (en) * 2008-09-30 2011-07-28 Panasonic Corp Reproduction device, recording medium, and integrated circuit
KR100972792B1 (ko) * 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
US20120069154A1 (en) * 2009-01-20 2012-03-22 Koninklijke Philips Electronics N.V. Transferring of 3d image data
US10742953B2 (en) 2009-01-20 2020-08-11 Koninklijke Philips N.V. Transferring of three-dimensional image data
EP2211556A1 (en) * 2009-01-22 2010-07-28 Electronics and Telecommunications Research Institute Method for processing non-real time stereoscopic services in terrestrial digital multimedia broadcasting and apparatus for receiving terrestrial digital multimedia broadcasting
KR101305789B1 (ko) * 2009-01-22 2013-09-06 서울시립대학교 산학협력단 지상파 디지털멀티미디어방송에서 비실시간 스테레오스코픽 서비스 수행 방법 및 지상파 디지털멀티미디어방송 수신 장치
US8854428B2 (en) 2009-03-19 2014-10-07 Lg Electronics, Inc. Method for processing three dimensional (3D) video signal and digital broadcast receiver for performing the method
WO2010120137A2 (ko) * 2009-04-15 2010-10-21 한국전자통신연구원 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치
JP5604827B2 (ja) * 2009-08-21 2014-10-15 ソニー株式会社 送信装置、受信装置、プログラム、及び通信システム
JP5428697B2 (ja) * 2009-09-16 2014-02-26 ソニー株式会社 受信装置、受信方法、送信装置およびコンピュータプログラム
JP4763087B2 (ja) * 2009-09-30 2011-08-31 シャープ株式会社 情報記録媒体、及び情報記録再生装置
US9131203B2 (en) 2009-09-30 2015-09-08 Sharp Kabushiki Kaisha Information recording medium, reproduction method and recording method using information recording medium, information recording/reproduction device, and 3D conversion unit and information recording device
JP5585047B2 (ja) * 2009-10-28 2014-09-10 ソニー株式会社 ストリーム受信装置、ストリーム受信方法、ストリーム送信装置、ストリーム送信方法及びコンピュータプログラム
KR101328173B1 (ko) * 2009-12-11 2013-11-13 한국전자통신연구원 실감 통신 단말 장치 및 이를 이용한 실감 통신 방법
WO2011108903A2 (ko) * 2010-03-05 2011-09-09 한국전자통신연구원 복수 전송 계층 연동형 3ｄｔｖ 방송 서비스 제공을 위한 송신 및 수신 방법, 송신 및 수신 장치
KR20110123658A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
JP5710895B2 (ja) * 2010-06-02 2015-04-30 日立マクセル株式会社 デジタルコンテンツ受信装置およびデジタルコンテンツ受信方法
KR20110138151A (ko) 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
KR101414684B1 (ko) * 2010-06-29 2014-07-07 한국전자통신연구원 멀티미디어 시스템에서 멀티미디어 데이터 수신 장치 및 방법
KR20140000662A (ko) * 2010-10-16 2014-01-03 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 3d 컨텐트 처리방법
KR101910192B1 (ko) * 2010-11-12 2018-10-22 한국전자통신연구원 3ｄｔｖ 서비스에서의 영상 압축 규격 결정 방법 및 장치
KR20120058700A (ko) 2010-11-27 2012-06-08 전자부품연구원 디지털 방송의 전송 모드 제공 및 인지 방법
KR20120058702A (ko) * 2010-11-27 2012-06-08 전자부품연구원 디지털 방송에서 서비스 호환 방식 전송 방법
KR101831775B1 (ko) 2010-12-07 2018-02-26 삼성전자주식회사 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
US9491437B2 (en) 2010-12-07 2016-11-08 Samsung Electronics Co., Ltd. Transmitter for transmitting data for constituting content, receiver for receiving and processing data, and method therefor
BR112013020867A2 (pt) 2011-02-16 2016-09-27 Panasonic Corp codificador de vídeo, método de codificação de vídeo, programa de codificação de vídeo, dispositivo de reprodução de vídeo, método de reprodução de vídeo, e programa de reprodução de vídeo
WO2012111325A1 (ja) * 2011-02-17 2012-08-23 パナソニック株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
US20120219069A1 (en) * 2011-02-28 2012-08-30 Chong Soon Lim Methods and apparatuses for encoding and decoding images of a plurality of views using multiview video coding standard and mpeg-2 video standard
KR20120103510A (ko) 2011-03-10 2012-09-19 한국전자통신연구원 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법
WO2012124300A1 (ja) * 2011-03-11 2012-09-20 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置
KR20120107882A (ko) 2011-03-22 2012-10-04 한국전자통신연구원 이종망 기반 연동형 방송콘텐츠 송수신 장치 및 방법
CN102724520A (zh) * 2011-03-29 2012-10-10 青岛海信电器股份有限公司 视频处理方法和系统
WO2012147350A1 (ja) * 2011-04-28 2012-11-01 パナソニック株式会社 高画質化に関わる記録媒体、再生装置、記録装置、符号化方法、復号化方法
JP2012244411A (ja) * 2011-05-19 2012-12-10 Sony Corp 画像データ送信装置、画像データ送信方法および画像データ受信装置
JPWO2012169204A1 (ja) * 2011-06-08 2015-02-23 パナソニック株式会社 送信装置、受信装置、送信方法及び受信方法
CN103621073B (zh) * 2011-06-24 2016-06-22 汤姆逊许可公司 传送三维内容的方法及设备
JP2013026696A (ja) * 2011-07-15 2013-02-04 Sony Corp 送信装置、送信方法および受信装置
WO2013022315A2 (ko) * 2011-08-10 2013-02-14 한국전자통신연구원 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법
KR101349459B1 (ko) 2011-08-10 2014-01-10 한국전자통신연구원 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법
WO2013190789A1 (ja) * 2012-06-22 2013-12-27 ソニー株式会社 受信装置およびその同期処理方法
US9451205B2 (en) * 2012-08-10 2016-09-20 Lg Electronics Inc. Signal transceiving apparatus and signal transceiving method
CA2877454C (en) * 2012-11-07 2017-10-03 Lg Electronics Inc. Apparatus for transceiving signals and method for transceiving signals
KR20160031466A (ko) * 2013-07-14 2016-03-22 엘지전자 주식회사 디지털 방송 시스템에서 고품질의 색감 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치
EP3144798B1 (en) * 2015-09-18 2020-12-16 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050086765A (ko) * 2002-11-25 2005-08-30 산요덴키가부시키가이샤 입체시용 영상 제공 방법 및 입체 영상 표시 장치
KR20050092122A (ko) * 2003-01-20 2005-09-20 산요덴키가부시키가이샤 입체시용 영상 제공 방법 및 입체 영상 표시 장치
KR20050111379A (ko) * 2004-05-21 2005-11-24 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR20050114278A (ko) * 2003-04-18 2005-12-05 산요덴키가부시키가이샤 입체시용 영상 제공 방법 및 입체 영상 표시 장치

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
US7917922B1 (en) * 1995-06-08 2011-03-29 Schwab Barry H Video input switching and signal processing apparatus
JP4019437B2 (ja) * 1996-02-29 2007-12-12 ソニー株式会社 情報信号伝送装置および情報信号受信装置
JPH09238367A (ja) * 1996-02-29 1997-09-09 Matsushita Electric Ind Co Ltd テレビジョン信号送信方法，テレビジョン信号送信装置，テレビジョン信号受信方法，テレビジョン信号受信装置，テレビジョン信号送信受信方法，テレビジョン信号送信受信装置
JP3162627B2 (ja) * 1996-06-25 2001-05-08 松下電器産業株式会社 放送システム及びこれに用いるマルチメディア蓄積表示装置
US6035304A (en) * 1996-06-25 2000-03-07 Matsushita Electric Industrial Co., Ltd. System for storing and playing a multimedia application adding variety of services specific thereto
JPH10174064A (ja) * 1996-12-06 1998-06-26 Sanyo Electric Co Ltd ディジタル放送システム
JP2001055561A (ja) * 1999-08-17 2001-02-27 Taiyu Kensetsu Co Ltd 凍結抑制機能を付与した摩耗性混合物および舗装工法と舗装体
JP2000078611A (ja) 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
JP4146064B2 (ja) * 2000-05-19 2008-09-03 日本放送協会 Ｏｆｄｍ信号伝送方式、その送信装置および受信装置
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
CA2326368A1 (en) * 2000-11-20 2002-05-20 Adexact Corporation Method and system for targeted content delivery, presentation, management, and reporting
KR100673419B1 (ko) * 2000-12-28 2007-01-24 엘지전자 주식회사 전송 시스템 및 데이터 처리 방법
JP2002330411A (ja) * 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd 嗜好場面取得制御放送システム、放送送信装置、放送受信装置及び記録装置
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
US7924347B2 (en) * 2002-03-29 2011-04-12 Weiss S Merrill Digital signal transmitter synchronization system
WO2003088671A1 (en) * 2002-04-05 2003-10-23 Matsushita Electric Industrial Co., Ltd. Asynchronous integration of portable handheld device
KR100713435B1 (ko) * 2002-05-03 2007-05-07 삼성전자주식회사 이동통신시스템에서 다중 데이터 전송률 서비스 제공 장치 및 방법
JP2004040455A (ja) * 2002-07-03 2004-02-05 Nippon Television Network Corp 伝送再生方法、伝送方法、及びそのシステム
WO2004057873A1 (en) * 2002-12-20 2004-07-08 Koninklijke Philips Electronics N.V. Method and apparatus for handling layered media data
JP4677175B2 (ja) * 2003-03-24 2011-04-27 シャープ株式会社 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
US7830965B2 (en) 2004-01-14 2010-11-09 Sony Ericsson Mobile Communications Ab Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data
JP2005229153A (ja) * 2004-02-10 2005-08-25 Sony Corp 調光システムおよび調光方法、配信装置および配信方法、受信装置および受信方法、記録装置および記録方法、ならびに、再生装置および再生方法
US8537204B2 (en) * 2004-07-08 2013-09-17 Gyoung Il Cho 3D television broadcasting system
US20050185711A1 (en) * 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
US20080002776A1 (en) * 2004-04-30 2008-01-03 British Broadcasting Corporation (Bbc) Media Content and Enhancement Data Delivery
GB0411682D0 (en) * 2004-05-25 2004-06-30 Chello Broadband N V Display of enhanced content
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
CN101164347B (zh) * 2005-04-26 2010-08-25 汤姆森许可贸易公司 同步流打包
KR100728009B1 (ko) * 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
EP1982518A4 (en) * 2006-01-12 2010-06-16 Lg Electronics Inc PROCESSING MORE VIEW VIDEO

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050086765A (ko) * 2002-11-25 2005-08-30 산요덴키가부시키가이샤 입체시용 영상 제공 방법 및 입체 영상 표시 장치
KR20050092122A (ko) * 2003-01-20 2005-09-20 산요덴키가부시키가이샤 입체시용 영상 제공 방법 및 입체 영상 표시 장치
KR20050114278A (ko) * 2003-04-18 2005-12-05 산요덴키가부시키가이샤 입체시용 영상 제공 방법 및 입체 영상 표시 장치
KR20050111379A (ko) * 2004-05-21 2005-11-24 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101164857B1 (ko) 2008-12-19 2012-07-11 한국전자통신연구원 비실시간으로 3차원 입체 방송을 제공하기 위한 방송 송수신 시스템 및 방법
EP2469862A4 (en) * 2009-08-19 2013-02-20 Korea Electronics Telecomm IMAGE PROCESSING APPARATUS AND METHOD
WO2012121571A2 (ko) 2011-03-10 2012-09-13 한국전자통신연구원 비실시간 스테레오스코픽 방송 서비스 송신 및 수신 장치, 그리고 송신 및 수신 방법

Also Published As

Publication number Publication date
CN102547326B (zh) 2016-01-27
US20140181884A1 (en) 2014-06-26
US20100325676A1 (en) 2010-12-23
JP2010512096A (ja) 2010-04-15
CN101578887A (zh) 2009-11-11
WO2008069613A1 (en) 2008-06-12
EP2103148A1 (en) 2009-09-23
CN102547326A (zh) 2012-07-04
KR20080053175A (ko) 2008-06-12
EP2103148A4 (en) 2013-10-09
EP2103148B1 (en) 2016-03-23

Similar Documents

Publication Publication Date Title
KR100905723B1 (ko) 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
KR100747598B1 (ko) 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
JP5577823B2 (ja) 送信装置、送信方法、受信装置および受信方法
EP2574064A1 (en) Image data transmitting device, image data transmitting method and image data receiving device
KR20130008440A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법 및 화상 데이터 수신 장치
KR101490005B1 (ko) 3-차원 비디오 콘텐츠로의 삽입을 위해 2-차원 비디오 콘텐츠를 변환하는 방법 및 장치
JPWO2013161442A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP5682149B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US9693033B2 (en) Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
KR100924170B1 (ko) 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법
WO2014050447A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2007067020A1 (en) System and method for transmitting/receiving three dimensional video based on digital broadcasting
JP5928118B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR100913397B1 (ko) Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20071009

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20090330

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20090617

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20090625

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20090626

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20120611

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20130527

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20130527

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20140529

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20150527

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20160527

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20160527

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20170529

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20190527

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20200525

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20210525

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20230523

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20231127

Start annual number: 16

End annual number: 16