KR20200085354A - 수신 장치 - Google Patents

수신 장치 Download PDF

Info

Publication number
KR20200085354A
KR20200085354A KR1020207019054A KR20207019054A KR20200085354A KR 20200085354 A KR20200085354 A KR 20200085354A KR 1020207019054 A KR1020207019054 A KR 1020207019054A KR 20207019054 A KR20207019054 A KR 20207019054A KR 20200085354 A KR20200085354 A KR 20200085354A
Authority
KR
South Korea
Prior art keywords
component
layer
video
receiving device
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207019054A
Other languages
English (en)
Other versions
KR102249978B1 (ko
Inventor
나오히사 기타자토
야스아키 야마기시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200085354A publication Critical patent/KR20200085354A/ko
Application granted granted Critical
Publication of KR102249978B1 publication Critical patent/KR102249978B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management e.g. creating a master electronic programme guide from data received from the Internet and a Head-end or controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronisation processes, e.g. processing of PCR [Programme Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

본 기술은 최적의 컴포넌트를 선택할 수 있도록 하는 수신 장치에 관한 것이다. 방송파로 송신되는 비디오나 오디오의 컴포넌트를 수신하는 제1 수신부와, 네트워크를 통하여 배신되는 비디오나 오디오의 컴포넌트를 수신하는 제2 수신부와, 각 부의 동작을 제어하는 제어부를 구비하고, 제어부는, 수신 가능한 복수의 비디오나 오디오의 컴포넌트의 후보 중에서 최적의 비디오나 오디오의 컴포넌트를 선택하는 수신 장치가 제공된다.

Description

수신 장치{RECEIVING DEVICE}
본 기술은 수신 장치에 관한 것으로, 특히 최적의 컴포넌트를 선택할 수 있도록 한 수신 장치에 관한 것이다.
최근, 디지털 방송의 분야에 있어서는, 방송을 이용한 서비스뿐만 아니라, 통신과 제휴한 하이브리드형 서비스의 도입이 진행되고 있다(예를 들어, 특허문헌 1 참조). 이러한 하이브리드형의 서비스에서는, 당해 서비스를 구성하는 비디오나 오디오, 자막 등의 컴포넌트를 방송 또는 통신 중 어느 하나를 사용하여 전송하는 것이 가능하다.
일본 특허 공개 제2011-66556호 공보
하이브리드형의 서비스가 도입됨으로써, 다양한 서비스를 제공하는 것이 가능해지는 한편, 서비스를 구성하는 컴포넌트의 구성이 복잡해지는 것이 상정되지만, 각종 서비스마다 최적의 컴포넌트를 선택하기 위한 기술 방식은 확립되어 있지 않다.
본 기술은 이러한 상황을 감안하여 이루어진 것이며, 각종 서비스마다 최적의 컴포넌트를 선택할 수 있도록 하는 것이다.
본 기술의 일측면의 수신 장치는, 방송파로 송신되는 컴포넌트를 수신하는 제1 수신부와, 네트워크를 통하여 배신되는 컴포넌트를 수신하는 제2 수신부와, 각 부의 동작을 제어하는 제어부를 구비하고, 상기 제어부는, 수신 가능한 복수의 컴포넌트의 후보 중에서 최적의 컴포넌트를 선택한다.
수신 장치는 독립된 장치여도 되고, 하나의 장치를 구성하고 있는 내부 블록이어도 된다.
본 기술의 일측면의 수신 장치에 있어서는, 방송파로 송신되는 컴포넌트가 수신되고, 네트워크를 통하여 배신되는 컴포넌트가 수신되어, 수신 가능한 복수의 컴포넌트의 후보 중에서 최적의 컴포넌트가 선택된다.
본 기술의 일측면에 의하면, 최적의 컴포넌트를 선택할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어떤 효과여도 된다.
도 1은 컴포넌트 레이어 구성을 도시하는 도면이다.
도 2는 시그널링 정보의 구조예를 도시하는 도면이다.
도 3은 컴포넌트 레이어의 구체예를 도시하는 도면이다.
도 4는 화면 레이아웃의 예를 나타내는 도면이다.
도 5는 오디오 컴포넌트 레이어의 구체예를 도시하는 도면이다.
도 6은 오디오 컴포넌트 레이어의 구체예를 도시하는 도면이다.
도 7은 오디오 컴포넌트 레이어의 구체예를 도시하는 도면이다.
도 8은 오디오 컴포넌트 레이어의 구체예를 도시하는 도면이다.
도 9는 본 기술을 적용한 방송 통신 시스템의 일 실시 형태의 구성을 도시하는 도면이다.
도 10은 본 기술을 적용한 송신 장치의 일 실시 형태의 구성을 도시하는 도면이다.
도 11은 본 기술을 적용한 배신 서버의 일 실시 형태의 구성을 도시하는 도면이다.
도 12는 본 기술을 적용한 수신 장치의 일 실시 형태의 구성을 도시하는 도면이다.
도 13은 송신 처리를 설명하는 흐름도이다.
도 14는 배신 처리를 설명하는 흐름도이다.
도 15는 수신 처리를 설명하는 흐름도이다.
도 16은 컴퓨터의 구성예를 도시하는 도면이다.
이하, 도면을 참조하면서 본 기술의 실시 형태에 대하여 설명한다. 단, 이하의 순서에 따라 설명하기로 한다.
1. 컴포넌트 구성
2. 시스템 구성
3. 각 장치에서 실행되는 처리의 흐름
4. 구체적인 운용예
5. 컴퓨터의 구성
<1. 컴포넌트 구성>
(컴포넌트 레이어 구성)
도 1은 컴포넌트 레이어 구성을 도시하는 도면이다.
도 1에 도시한 바와 같이, 비디오(Video), 오디오(Audio), 자막(Caption)의 각 컴포넌트는, 셀렉티브 레이어(Selective Layer), 컴포지트 레이어(Composite Layer) 및 어댑티브 레이어(Adaptive Layer)의 3계층으로 구성된다. 이 계층 구조에 있어서는, 어댑티브 레이어의 상위 계층으로서, 컴포지트 레이어가 배치되고, 컴포지트 레이어의 상위 계층으로서, 셀렉티브 레이어가 배치되어 있다. 이하, 각 레이어의 상세에 대하여 순서대로 설명한다.
(어댑티브 레이어)
먼저, 어댑티브 레이어에 대하여 설명한다. 도 1에 도시한 바와 같이, 가장 하위의 계층이 되는 어댑티브 레이어에 있어서, 상이한 모양이 부여된 원형의 한쪽 기호는, 방송파로 송신되는 컴포넌트(Broadcast Component)를 나타내고, 다른 쪽 기호는, 네트워크를 통하여 배신되는 컴포넌트(Broadband Component)를 나타내고 있다. 이들 컴포넌트는, 소위 어댑티브 스트리밍으로서 배신되는 것이며, 비트 레이트가 상이한 컴포넌트가 복수 준비되어 있다. 또한, 도 1의 예에서는, 방송의 컴포넌트는, 카테고리마다 하나씩 준비되어 있지만, 복수 준비하도록 해도 된다. 또한, 여기서는 비디오나 오디오, 자막 등의 컴포넌트 분류를 카테고리(Category)라고 칭하고 있다.
어댑티브 레이어에서는, 도면 중의 점선의 호 상에서 좌우로 흔들리는 직선이, 스위치로서 기능함으로써, 복수의 컴포넌트 중에서 하나의 컴포넌트가 선택된다. 즉, 어댑티브 레이어는, 각 컴포넌트의 카테고리에 있어서, 수신기의 적응적인 판단에 기초하여, 복수의 컴포넌트를 동적으로 전환하여, 하나의 컴포넌트로서 기능시키기 위한 계층이다. 단, 컴포넌트가 하나뿐인 경우에는 당해 스위치에 의한 선택은 행하여지지 않고, 그 컴포넌트만이 항상 선택되게 된다.
또한, 어댑티브 레이어에 있어서의 적응 선택 대상의 속성으로서는 컴포넌트의 전송 경로나 비트 레이트를 지정할 수 있다. 예를 들어, 전송 경로의 속성값으로서는, 방송 또는 통신이 지정된다. 또한, 비트 레이트로서는, 예를 들어 10Mbps 등이 지정된다. 또한, 예를 들어 화면 해상도나 물리층(PHY)의 강건성에 관한 속성을 지정하도록 해도 된다. 또한, 상술한 적응 선택 대상의 속성은 일례이며, 다른 속성을 지정할 수 있도록 해도 된다.
이러한 속성을 지정할 수 있는 점에서, 수신기에서는, 일정 기간(예를 들어 10초)마다 최적의 컴포넌트가 적응적으로 선택되고 전환되어, 어댑티브 스트리밍 배신이 실현된다. 구체적으로는, 컴포넌트의 전송 경로가 통신뿐인 경우에는 통신 경로의 폭주 상황에 따라 변화하는 수신기의 수신 버퍼(예를 들어, 후술하는 도 12의 수신 버퍼(421))의 점유 상황에 따라 최적의 비트 레이트의 컴포넌트를 선택할 수 있다.
또한, 컴포넌트의 전송 경로로서 통신 외에, 방송도 포함되는 경우에는 방송의 컴포넌트의 비트 레이트에 따라, 통신의 컴포넌트와의 선택을 판단할 수 있다. 여기서, 예를 들어 네트워크를 통하여 배신되는 컴포넌트로서, 1Mbps, 2Mbps, 5Mbps, 10Mbps, 20Mbps의 컴포넌트가 각각 준비되고, 방송파로 송신되는 컴포넌트로서, 8Mbps의 컴포넌트만이 준비되어 있는 경우의 운용을 상정한다.
이 경우, 수신기는 10Mbps 또는 20Mbps의 통신의 컴포넌트를 수신할 수 있는 것이면, 방송의 컴포넌트의 비트 레이트보다도 고비트 레이트가 되므로, 그들 통신의 컴포넌트를 우선하여 수신하도록 한다. 또한, 폭주에 의해, 10Mbps와 20Mbps의 통신의 컴포넌트를 수신하지 못하고, 5Mbps의 통신의 컴포넌트를 수신할 수 있는 것이면, 통신의 컴포넌트 대신에 안정적으로 수신 가능한 8Mbps의 방송의 컴포넌트를 선택하도록 한다는 운용이 가능해진다. 또한, 방송의 컴포넌트가 복수 준비되어 있는 경우에는, 예를 들어 방송 신호의 C/N(Carrier/Noise)의 변화를 측정하고, 그 측정 결과에 따라, 적응적으로 방송의 컴포넌트를 전환하도록 하면 된다.
(컴포지트 레이어)
이어서, 컴포지트 레이어에 대하여 설명한다. 도 1에 도시한 바와 같이, 어댑티브 레이어의 상위 계층이 되는 컴포지트 레이어에서는, 어댑티브 레이어에 의해 적응적으로 선택된 복수의 컴포넌트가 하나의 컴포넌트에 합성된다. 즉, 컴포지트 레이어는, 각 컴포넌트의 카테고리에 있어서, 합성 대상의 컴포넌트 그룹(이하, 「컴포지트 컴포넌트 그룹」이라고 함) 내의 복수의 컴포넌트를 조합하여 하나의 컴포넌트(합성 컴포넌트)로서 기능시키기 위한 계층이다. 단, 합성 대상의 컴포넌트 그룹이 하나의 컴포넌트만으로 되는 경우에는 합성 동작은 불필요하게 된다.
또한, 컴포지트 레이어에 있어서의 합성 대상의 속성으로서는, 스케일러블이나 3D(3차원 영상), 타일, 레이어, 믹싱 등을 지정할 수 있다. 이들 속성은 조합의 타입을 나타내는 것이며, 그들 조합에 있어서의 요소를 나타내는 속성값을 지정할 수 있다.
「스케일러블」은, 합성 대상의 컴포넌트가, 스케일러블 부호화가 실시된 컴포넌트인 것을 나타내는 속성이다. 이 스케일러블 속성의 속성값으로서는, "Base", 또는, "Extended"가 지정된다.
예를 들어, 4K 해상도의 영상을 제공하는 경우에, 스케일러블 속성의 속성값으로서 "Base"가 지정된 2K 해상도의 영상에 상당하는 부호화 신호(비디오 컴포넌트)를 방송파로 송신함과 함께, 4K 해상도와 2K 해상도의 차분에 상당하는 영상 부호화 신호(비디오 컴포넌트)에, 스케일러블 속성의 속성값으로서 "Extended"를 지정하여, 네트워크를 통하여 배신하도록 한다. 이에 의해, 4K 해상도에 대응한 수신기는 방송으로 전송되는 기본 스트림(Base Stream)과, 통신으로 전송되는 확장 스트림(Extended Stream)을 합성하여, 4K 해상도의 영상을 표시시킬 수 있다. 한편, 4K 해상도에 대응하고 있지 않은 수신기는, 방송으로 전송되는 기본 스트림만을 사용하여, 2K 해상도의 영상을 표시시키게 된다.
「3D」는 합성 대상의 컴포넌트가, 3D용 컴포넌트인 것을 나타내는 속성이다. 이 3D 속성의 속성값으로서는, "Right", 또는 "Left"가 지정된다. 예를 들어, 3D 속성의 속성값으로서 "Right"가 지정된 우안용 영상 신호(비디오 컴포넌트)를 방송파로 송신함과 함께, 3D 속성의 속성값으로서 "Left"가 지정된 좌안용 영상 신호(비디오 컴포넌트)를, 네트워크를 통하여 배신하도록 한다. 이에 의해, 3D에 대응한 수신기는, 우안용 영상 신호와 좌안용 영상 신호를 합성하여, 3D의 영상을 표시시킬 수 있다.
「타일」은, 합성 대상의 컴포넌트가, 타일링용 컴포넌트인 것을 나타내는 속성이다. 이 타일 속성의 속성값으로서는, 예를 들어 "TileA1", "TileA2", …나, "TileB1", "TileB2", …, "TileC1", "TileC2", …가 지정된다.
예를 들어, "TileA1", "TileA2", …에 있어서, "TileA"는, 타일링의 타입이, 타입 A인 것을 나타낸다. 타입 A의 타일링이 2장의 타일용 영상을, 좌우로 배열하여 표시하는 방식인 경우, 타일 속성의 속성값으로서 "TileA1"이 지정된 좌측에 배치되는 타일용 영상 신호(비디오 컴포넌트)를 방송파로 송신함과 함께, 타일 속성의 속성값으로서 "TileA2"가 지정된 우측에 배치되는 타일용 영상 신호(비디오 컴포넌트)를, 네트워크를 통하여 배신하도록 한다. 이에 의해, 타일링 표시에 대응한 수신기는, 좌측의 타일용 영상 신호와 우측의 타일용 영상 신호를 합성하여, 타입 A의 타일링에 대응하는 영상을 표시시킬 수 있다.
마찬가지로, 예를 들어 타입 B의 타일링이, 4장의 타일용 영상을 2×2로 배열하여 배치하여 표시하는 방식인 경우, 그들 4장의 타일용 영상 신호(비디오 컴포넌트)가 방송 또는 통신에 의해 전송되므로, 수신기에서는, 그들 타일용 영상을 합성하여, 타입 B의 타일링에 대응하는 2×2의 영상을 표시시킬 수 있다. 또한, 예를 들어 타입 C의 타일링이, 복수의 타일용 영상을 파노라마 영상(예를 들어 360도)으로서 배치하여 표시하는 방식인 경우, 복수의 타일용 영상 신호(비디오 컴포넌트)가 방송 또는 통신에 의해 전송되므로, 수신기에서는, 그들 타일용 영상 신호를 합성하여, 타입 C의 타일링에 대응하는 파노라마 영상을 표시시킬 수 있다. 또한, 상술한 타입 A 내지 C의 타일링 방식은 일례이며, 다른 타일링 방식을 채용할 수 있다.
「레이어」는, 합성 대상의 컴포넌트가, 계층 형상으로 표시되는 컴포넌트의 레이어인 것을 나타내는 속성이다. 이 레이어 속성의 속성값으로서는, 예를 들어 중첩의 안쪽부터 순서대로, "Layer1", "Layer2", …가 지정된다. 예를 들어, 레이어 속성의 속성값으로서 "Layer1"이 지정된 제1층째의 레이어의 영상 신호(비디오 컴포넌트)를 방송파로 송신함과 함께, 레이어 속성의 속성값으로서 "Layer2"가 지정된 제2층째의 레이어의 영상 신호(비디오 컴포넌트)를, 네트워크를 통하여 배신하도록 한다. 이에 의해, 레이어 표시에 대응한 수신기에서는, 제1층째의 영상 신호와 제2층째의 영상 신호를 합성하여, 제1층째의 영상에, 제2층째의 영상이 중첩된 영상을 표시시킬 수 있다.
「믹싱」은, 합성 대상의 컴포넌트가, 믹싱되는 컴포넌트인 것을 나타내는 속성이다. 예를 들어, 이 믹싱 속성으로서는, "Track1", "Track2", …가 지정된다. 예를 들어, 믹싱 속성의 속성값으로서 "Track1"이 지정된 음성 트랙(오디오 컴포넌트)을 방송파로 송신함과 함께, 믹싱 속성의 속성값으로서 "Track2"가 지정된 음성 트랙(오디오 컴포넌트)을, 네트워크를 통하여 배신하도록 한다. 이에 의해, 믹싱에 대응한 수신기에서는, 음성 트랙 1과 음성 트랙 2를 믹싱(예를 들어, 볼륨 상대 위치나 팬 위치를 조정)하고, 그것에 의해 얻어진 음성을 출력할 수 있다.
또한, 상술한 컴포지트 레이어에 있어서의 합성 대상의 속성이나 그 속성값은 일례이며, 다른 속성이나 다른 속성값을 지정할 수 있도록 해도 된다.
(셀렉티브 레이어)
마지막으로, 셀렉티브 레이어에 대하여 설명한다. 도 1에 도시한 바와 같이, 컴포지트 레이어의 상위 계층이며, 가장 상위의 계층이 되는 셀렉티브 레이어에서는, 도면 중의 점선의 호 상을 좌우로 치우치는 직선이, 스위치로서 기능함으로써, 복수의 컴포넌트 중에서 하나의 컴포넌트가 선택된다. 즉, 셀렉티브 레이어는, 각 컴포넌트의 카테고리에 있어서, 고정 선택 대상의 컴포넌트 그룹(이하, 「셀렉티브 컴포넌트 그룹」이라고 함) 중에서 소정의 선택 방법에 따라, 하나 또는 복수의 컴포넌트를 정적으로 선택하기 위한 계층이다. 이 선택 방법으로서는, 유저에 의한 선택 외에, 예를 들어 수신기의 성능이나 유저의 기호 정보 등에 따라 수신기에 의해 자동으로 선택되도록 할 수 있다.
또한, 셀렉티브 레이어에 있어서의 고정 선택 대상의 속성으로서는, 뷰 태그, 언어, 수신기 처리 요구 능력, 뷰 타이틀, 목적 등을 지정할 수 있다.
구체적으로는, 「뷰 태그」는, 하나의 뷰를 구성하는 상이한 컴포넌트의 카테고리를 조합하기 위한 태그이다. 예를 들어, 뷰 태그로서, "1"이 지정된 경우에는 도면 중의 「1」인 ID가 부여된 비디오, 오디오 및 자막의 컴포넌트가, 카테고리를 횡단하여 선택되게 된다. 마찬가지로, 뷰 태그로서, "2"가 지정된 경우, 도면 중의 「2」인 ID가 부여된 컴포넌트가, 카테고리를 횡단하여 선택되게 된다. 또한, 뷰 태그가 부여되어 있지 않은 컴포넌트는, 카테고리마다 독립되어 있게 된다.
「언어」에는, 예를 들어 언어 코드가 지정된다. 예를 들어, 언어 코드에 따른 GUI(Graphical User Interface) 화면을 제시함으로써, 유저에 의해 원하는 언어가 선택되게 된다. 「수신기 처리 요구 능력」에는, 수신기에서 필요한 처리 요구 능력이 지정된다. 이 요구 능력은, 레벨값 등에 의해 지정하도록 해도 되고, 코덱이나 레졸루션 등을 다차원으로 지정해도 된다. 예를 들어, 처리 요구 능력을 레벨값으로 지정하는 경우에, 그 레벨값으로서 레벨 2가 지정되었을 때에는, 레벨 2 이상의 처리 능력을 갖는 수신기만이 대응 가능해진다.
「뷰 타이틀」에는, 뷰 화면 선택용 타이틀이 지정된다. 예를 들어, 이 뷰 타이틀을 텍스트로 표시함으로써, 유저에 의해 원하는 뷰 화면이 선택되게 된다. 「목적」에는, 예를 들어 본편용 음성에 대한, 나레이션용 음성 등의 컴포넌트의 목적에 관한 정보가 지정된다.
또한, 상술한 셀렉티브 레이어에 있어서의 고정 선택 대상의 속성은 일례이며, 다른 속성을 지정할 수 있도록 해도 된다. 또한, 고정 선택 대상의 속성은 하나에 한하지 않고, 복수의 속성을 조합하여 이용하도록 해도 된다.
이러한 고정 선택 대상의 속성을 지정할 수 있는 점에서, 예를 들어 수신기에서는, 실행 중인 애플리케이션이 고정 선택 대상의 속성에 기초하여, 컴포넌트를 선택할 수 있다. 단, 셀렉티브 컴포넌트 그룹이 하나뿐인 경우에는 선택할 필요는 없고, 당해 셀렉티브 컴포넌트 그룹이 선택되게 된다. 또한, 뷰 태그에 의해, 비디오, 오디오, 자막 등, 상이한 카테고리의 컴포넌트 조합으로 그루핑되어 있는 경우에는 그룹 단위로 컴포넌트가 선택되게 된다.
또한, 수신기에 있어서, 복수의 컴포넌트가 선택된 경우에, 그 선택 대상이 비디오와 자막의 컴포넌트일 때에는 영상용과 자막용의 복수의 화면이 표시되게 된다. 또한, 복수의 컴포넌트가 선택된 경우에, 그 선택 대상이 오디오 컴포넌트뿐일 때는 복수의 음성이 믹싱(Mixing)되고 나서, 출력되게 된다.
또한, 도 1의 컴포넌트 레이어 구성의 예에서는, 각 컴포넌트의 카테고리마다 셀렉티브 레이어가 하나 존재하는 경우를 나타내고 있지만, 각 컴포넌트의 카테고리마다 셀렉티브 레이어가 복수 존재하도록 해도 된다. 또한, 도 1의 컴포넌트 레이어 구성에서는, 컴포넌트로서, 비디오, 오디오, 자막의 컴포넌트에 대하여 설명했지만, 서비스를 구성하는 다른 컴포넌트에 대해서도 마찬가지의 레이어 구성을 채용할 수 있다.
(시그널링 정보의 구조예)
도 2는, 도 1의 컴포넌트 레이어 구성을 실현하기 위한 시그널링 정보(제어 신호)의 구조예를 도시하는 도면이다. 또한, 도 2에 있어서, 요소와 속성 중, 속성에는 「＠」이 부여되어 있다. 또한, 인덴트된 요소와 속성은 그 상위의 요소에 대하여 지정된 것이 된다.
도 2에 도시한 바와 같이, topAttribute 속성은, 최종 선택을 위한 속성이며, m0 종류(m0=1, …, m0)로 정의된다. 예를 들어, topAttribute 속성으로서, 선택수와 선택 판단을 정의할 수 있다. 선택수에는, 전체에서 선택 가능한 컴포넌트의 수가 지정된다. 또한, 선택 판단에는, 유저에 의한 선택이나 수신기에 의한 자동 선택 등이 지정된다.
SelectiveComponentGroup 요소는, 고정 선택 대상의 컴포넌트 그룹인 셀렉티브 컴포넌트 그룹에 관한 정보가 지정된다. SelectiveComponentGroup 요소는, CompositeComponentGroup 요소의 상위의 요소가 된다. 단, SelectiveComponentGroup 요소의 출현수는 n1(n1=1, …, n1)이 된다.
selectiveAttribute 속성은, SelectiveComponentGroup 요소에 관하여 규정되는 복수의 속성을 나타내고, 고정 선택 대상의 속성이 m1 종류(m1=0, …, m1) 규정된다. 예를 들어, selectiveAttribute 속성에는, 상술한 셀렉티브 레이어에 있어서의 고정 선택 대상의 속성으로서, 뷰 태그, 언어, 수신기 처리 요구 능력, 뷰 타이틀, 목적 등의 개별의 속성이 규정된다.
CompositeComponentGroup 요소는, 합성 대상의 컴포넌트 그룹인 컴포지트 컴포넌트 그룹에 관한 정보가 지정된다. CompositeComponentGroup 요소는, AdaptiveComponent 요소의 상위의 요소가 된다. 단, CompositeComponentGroup 요소의 출현수는 n2(n2=1, …, n2)가 된다.
compositeAttribute 속성은, CompositeComponentGroup 요소에 관하여 규정되는 복수의 속성을 나타내고, 합성 대상의 속성이 m2 종류(m2=0, …, m2) 규정된다. 예를 들어, compositeAttribute 속성에는, 상술한 컴포지트 레이어에 있어서의 합성 대상의 속성으로서, 스케일러블, 3D, 타일, 레이어, 믹싱 등의 개별의 속성이 규정된다. 또한, 이들 속성은, 조합의 타입을 나타내는 것이며, 그들 조합에 있어서의 요소를 나타내는 속성값을 지정할 수 있다.
AdaptiveComponent 요소는, 적응 선택 대상의 컴포넌트에 관한 정보가 지정된다. 단, AdaptiveComponent 요소의 출현수는 n3(n3=1, …, n3)이 된다.
adaptiveAttrbute 속성은, AdaptiveComponent 요소에 관하여 규정되는 복수의 속성을 나타내고, 적응 선택 대상의 속성이 m3 종류(m3=0, …, m3) 규정된다. 예를 들어, adaptiveAttrbute 속성에는, 상술한 어댑티브 레이어에 있어서의 적응 선택 대상의 속성으로서, 컴포넌트의 전송 경로나 비트 레이트 등이 개별로 규정된다. componentId 속성은, 컴포넌트의 ID가 지정된다.
또한, 도 2를 참조하여 설명한, 도 1의 컴포넌트 레이어 구성을 실현하기 위한 시그널링 정보의 데이터 구조는 일례이며, 다른 데이터 구조를 채용할 수도 있다. 또한, 이 시그널링 정보는, 예를 들어 XML(Extensible Markup Language) 등의 마크업 언어에 의해 기술된다.
(컴포넌트 레이어의 구체예)
이어서, 도 3 내지 도 8을 참조하여, 상술한 컴포넌트 레이어의 구체예에 대하여 설명한다.
도 3의 컴포넌트 레이어의 구체예에서는, 비디오의 컴포지트 레이어(Composite Layer)에 있어서의 합성 대상의 속성으로서, 스케일러블이 지정되어 있고, 그 하위 계층의 어댑티브 레이어(Adaptive Layer)에 있어서, 기본 스트림이 방송으로 전송되고(도면 중의 「Scalable Base」), 확장 스트림이 통신으로 전송되고 있다(도면 중의 「Scalable Extended」). 여기에서는, 기본 스트림으로서, 적응 선택 대상의 방송의 비디오 컴포넌트가 하나만 준비되어 있기 때문에, 그 하나의 방송의 비디오 컴포넌트가 항상 선택된다. 한편, 확장 스트림으로서, 적응 선택 대상의 통신의 비디오 컴포넌트가 복수 준비되어 있기 때문에, 그들 복수의 통신의 비디오 컴포넌트 중에서 최적의 비디오 컴포넌트가 적응적으로 선택되게 된다(도면 중의 「Adaptive switching」).
비디오의 컴포지트 레이어에서는, 4K 해상도의 영상을 제공하기 위하여, 방송으로 전송되는 2K 해상도의 영상 부호화 신호(비디오 컴포넌트)와, 통신으로 전송되는 4K 해상도와 2K 해상도의 차분에 상당하는 영상 부호화 신호(비디오 컴포넌트)가 합성되게 된다. 그리고, 셀렉티브 레이어(Selective Layer)에 있어서, 예를 들어 그 고정 선택 대상의 속성으로서 수신기 처리 요구 능력이 지정되어 있는 경우에, 수신기가 4K 해상도에 대응하고 있는 경우에는, 그 합성된 4K 해상도의 영상을 표시시킬 수 있다(도면 중의 「4K Capable Main View」). 한편, 수신기가 4K 해상도에 대응하고 있지 않은 경우에는, 방송으로 전송되는 기본 스트림만을 사용하여, 2K 해상도의 영상을 표시시키게 된다(도면 중의 「4K Disable Main View」). 즉, 이 경우, 통신의 비디오 컴포넌트는 사용되지 않기 때문에, 비디오 컴포넌트의 적응적인 선택은 행하여지지 않게 된다(도면 중의 「Non switching」).
여기서, 도 4에 도시한 바와 같이, 메인 뷰(Main View)란, 디스플레이의 화면에 있어서의, 주된 표시 영역을 의미한다. 상기한 4K 해상도 또는 2K 해상도의 영상은, 이 메인 뷰에 표시된다. 또한, 도 4의 화면예에는, 주된 표시 영역에 대한 보조적인 표시 영역이 되는 서브 뷰(Sub View)를 표시시킬 수 있다. 도 3의 컴포넌트 레이어의 예에서는, 셀렉티브 레이어에 있어서, 셀렉티브 컴포넌트 그룹으로서, 서브 뷰 1(도면 중의 「Sub View1」)과, 서브 뷰 2(도면 중의 「Sub View2」)가 선택 가능하게 되어 있다.
서브 뷰 1에서는, 어댑티브 레이어에 있어서, 통신의 비디오 컴포넌트가 하나만 준비되어 있기 때문에, 적응적인 선택은 행하여지지 않고, 그 하나의 통신의 비디오 컴포넌트가 항상 선택되게 된다(도면 중의 「Non switching」). 또한, 서브 뷰 2에서는, 어댑티브 레이어에 있어서, 적응 선택 대상의 통신의 비디오 컴포넌트가 복수 준비되어 있어, 복수의 통신의 비디오 컴포넌트로부터 적응적으로 순서대로 최적의 통신의 비디오 컴포넌트가 선택되게 된다(도면 중의 「Adaptive switching」). 도 4의 화면예에서는, 메인 뷰와 함께, 서브 뷰 1이 표시되게 되지만, 메인 뷰, 서브 뷰 1 및 서브 뷰 2 중 어느 뷰를 표시시킬지에 대해서는 GUI 화면 등에 의해 유저에게 선택시킬 수 있다.
도 3의 설명으로 되돌아가, 오디오의 컴포지트 레이어(Composite Layer)에서는, 그 합성 대상의 속성으로서, 스케일러블이 지정되어 있고, 그 하위 계층의 어댑티브 레이어(Adaptive Layer)에 있어서, 스테레오의 스트림이 방송 또는 통신으로 전송되고(도면 중의 「Stereo」), 멀티 채널의 스트림이 통신으로 전송되고 있다(도면 중의 「Multi-channel Dev」).
여기에서는, 스테레오의 스트림으로서, 적응 선택 대상의 오디오 컴포넌트가 복수 준비되어 있기 때문에, 그들 복수의 방송 또는 통신의 오디오 컴포넌트 중에서 최적의 오디오 컴포넌트가 적응적으로 선택되게 된다(도면 중의 「Adaptive switching」). 즉, 방송의 오디오 컴포넌트로서, 통상의 강건성(도면 중의 「Normal Robustness」)과, 높은 강건성(도면 중의 「High Robustness」)을 갖는 오디오 컴포넌트를 각각 준비하여, 그들을 적응적으로 선택할 수 있도록 함으로써, 예를 들어 높은 강건성을 갖는 오디오 컴포넌트가 선택된 경우에, 어떠한 원인으로, 수신기에 영상을 표시할 수 없을 때에도 음성만을 출력한다는 운용이 가능해진다. 또한, 방송의 오디오 컴포넌트를 수신할 수 없는 경우에는 통신의 오디오 컴포넌트를 선택하도록 하면 된다.
한편, 멀티 채널의 스트림으로서, 적응 선택 대상의 오디오 컴포넌트가 하나만 준비되어 있기 때문에, 그 하나의 통신의 오디오 컴포넌트가 항상 선택된다.
오디오의 컴포지트 레이어에서는, 방송으로 전송되는 스테레오의 오디오 컴포넌트와, 통신으로 전송되는 멀티 채널의 오디오 컴포넌트가 합성되어, 22.2ch의 멀티 채널의 합성 컴포넌트가 생성된다. 그리고, 셀렉티브 레이어(Selective Layer)에 있어서, 예를 들어 그 고정 선택 대상의 속성으로서 수신기 처리 요구 능력이 지정되어 있는 경우에, 수신기가 22.2ch의 멀티 채널에 대응하고 있는 경우에는 그 합성된 22.2ch의 멀티 채널의 음성을 출력시킬 수 있다(도면 중의 「22.2ch Capable Main View」). 한편, 수신기가 22.2ch의 멀티 채널에 대응하고 있지 않은 경우에는, 방송 또는 통신으로 전송되는 스테레오의 스트림만을 사용하여, 스테레오의 음성을 출력시키게 된다(도면 중의 「22.2ch Disable Main View」).
여기서, 이들 오디오의 셀렉티브 레이어의 고정 선택 대상의 속성으로서, 뷰 태그 1이 부여되어 있으므로, 마찬가지로 뷰 태그 1이 부여되어 있는 비디오의 셀렉티브 레이어의 비디오 컴포넌트에 연동하게 된다. 즉, 이들 오디오 컴포넌트에 대응하는 음성은, 도 4의 화면예의 메인 뷰에 표시되는 영상에 대하여 출력되게 된다.
또한, 셀렉티브 레이어의 고정 선택 대상의 속성으로서, 뷰 태그 2가 부여되어 있는 오디오 컴포넌트는, 마찬가지로 뷰 태그 2가 부여되어 있는 비디오의 셀렉티브 레이어의 비디오 컴포넌트에 연동하게 된다(도면 중의 「Sub View1」). 즉, 이 오디오 컴포넌트에 대응하는 음성은, 도 4의 화면예의 서브 뷰 1에 표시되는 영상에 대하여 출력되게 된다.
또한, 뷰 태그 3이 부여되어 있는 오디오 컴포넌트는, 마찬가지로 뷰 태그 3이 부여되어 있는 비디오 컴포넌트에 연동하게 된다(도면 중의 「Sub View2」). 또한, 오디오의 서브 뷰 1과 서브 뷰 2에서는, 어댑티브 레이어에 있어서, 통신의 오디오 컴포넌트가 하나만 준비되어 있기 때문에, 적응적인 선택은 행하여지지 않고, 그 하나의 통신의 오디오 컴포넌트가 항상 선택되게 된다.
또한, 도 3에 도시한 바와 같이, 자막의 컴포지트 레이어(Composite Layer)에서는, 자막 컴포넌트의 합성은 행하여지지 않고, 또한, 어댑티브 레이어(Adaptive Layer)에서는, 자막 컴포넌트의 적응적인 선택이 행해지지 않기 때문에, 셀렉티브 레이어(Selective Layer)에 있어서의 자막 컴포넌트와, 어댑티브 레이어에 있어서의 자막 컴포넌트가 1대1로 대응하고 있다. 또한, 자막 컴포넌트 중, 도면 중의 가장 좌측의 하나의 자막 컴포넌트만이 방송으로 전송되고, 그 이외의 자막 컴포넌트는 통신에 의해 전송되고 있다.
셀렉티브 레이어의 고정 선택 대상의 속성으로서, 뷰 태그 1이 부여되어 있는 자막 컴포넌트는, 마찬가지로 뷰 태그 1이 부여되어 있는 비디오와 오디오의 컴포넌트에 연동하게 된다. 구체적으로는, 이 예의 경우, 영어와 스페인어의 자막이 제공되지만, 그들 자막에는 본편의 자막(도면 중의 「Eng(Nor)」, 「Spa(Nor)」) 이외, 보다 상세한 해설적인 자막(도면 중의 「Eng(Ex)」, 「Spa(Ex)」)이 준비되어 있다. 자막의 셀렉티브 레이어에 있어서, 예를 들어 그 고정 선택 대상의 속성으로서, 유저 선택에 의해 언어가 지정되어 있는 경우, 그 언어 코드 등에 따른 자막을 표시시킬 수 있다. 즉, 유저에 의해 선택된 영어나 스페인어 등의 자막이, 도 4의 화면예의 메인 뷰에 표시되는 영상에 중첩하여 표시되게 된다.
또한, 셀렉티브 레이어의 고정 선택 대상의 속성으로서, 뷰 태그 2가 부여되어 있는 자막 컴포넌트는, 마찬가지로 뷰 태그 2가 부여되어 있는 비디오와 오디오의 컴포넌트에 연동하게 된다. 구체적으로는, 영어의 자막(도면 중의 「Eng」)과, 스페인어의 자막(도면 중의 「Spa」)이 준비되어 있으므로, 도 4의 화면예의 서브 뷰 1에 표시되는 영상에, 유저 선택에 따른 자막을 중첩하여 표시시킬 수 있다.
또한, 셀렉티브 레이어의 고정 선택 대상의 속성으로서, 뷰 태그 3이 부여되어 있는 자막 컴포넌트는, 마찬가지로 뷰 태그 3이 부여되어 있는 비디오와 오디오의 컴포넌트에 연동하게 된다. 구체적으로는, 영어의 자막(도면 중의 「Eng」)과, 스페인어의 자막(도면 중의 「Spa」)이 준비되어 있으므로, 유저 선택에 따른 자막을 영상에 중첩하여 표시시킬 수 있다.
(오디오 컴포넌트 레이어의 다른 구체예)
이어서, 도 5 내지 도 8을 참조하여, 오디오 컴포넌트 레이어의 다른 구체예에 대하여 설명한다.
도 5에 도시한 바와 같이, 오디오의 셀렉티브 레이어(Selective Layer)에 있어서, 예를 들어 그 속성값으로서, 완전판(도면 중의 「Complete Main」) 또는 믹스판(도면 중의 「Tracks to be Mixed」)을 지정 가능하게 할 수 있다.
이에 의해, 예를 들어 속성값으로서, 완전판이 지정된 경우에는, 완전한 오디오 컴포넌트가 취득되고, 그 오디오 컴포넌트에 대응하는 음성이 출력되게 된다. 단, 완전판의 오디오의 스트림으로서, 고비트 레이트의 방송의 오디오 컴포넌트와, 저비트 레이트의 통신의 오디오 컴포넌트가 준비되어 있어, 최적의 오디오 컴포넌트가 적응적으로 선택되게 된다(도면 중의 「Adaptive switching」).
또한, 예를 들어 속성값으로서 믹스판이 지정된 경우에는, 음악(도면 중의 「Music」), 다이얼로그(도면 중의 「Dialog」) 및 이펙트(도면 중의 「Effect」)의 컴포넌트가 각각 취득되어 합성되고, 그 합성 컴포넌트에 대응하는 음성이 출력되게 된다. 단, 음악의 스트림으로서, 고비트 레이트와 저비트 레이트의 통신의 오디오 컴포넌트가 준비되어 있어, 최적의 오디오 컴포넌트가 적응적으로 선택되게 된다(도면 중의 「Adaptive switching」).
또한, 도 6 및 도 7에 도시한 바와 같이, 완전판의 오디오 컴포넌트는 제공하지 않고, 믹스판의 복수의 오디오 컴포넌트만을 제공하도록 해도 된다. 이 경우에 있어서, 음악의 스트림뿐만 아니라, 다이얼로그나 이펙트의 스트림에 대해서도, 비트 레이트가 상이한 복수의 컴포넌트를 준비하여, 최적의 컴포넌트가 적응적으로 선택되도록 할 수 있다.
또한, 도 8에 도시한 바와 같이, 오디오의 셀렉티브 레이어(Selective Layer)에 있어서, 예를 들어 언어의 속성의 속성값으로서, 영어판(도면 중의 「Main Eng Audio」) 또는 스페인어판(도면 중의 「Main Spa Audio」)을 지정 가능하게 할 수 있다.
이에 의해, 예를 들어 속성값으로서, 영어판이 지정된 경우에는 다이얼로그(도면 중의 「Dialog」), 이펙트(도면 중의 「Effect」) 및 음악(도면 중의 「Music」)의 컴포넌트가 각각 취득되어 합성되고, 그 합성 컴포넌트에 대응하는 영어의 음성이 출력되게 된다. 단, 다이얼로그의 스트림으로서, 고비트 레이트의 방송의 컴포넌트와, 저비트 레이트의 통신 컴포넌트가 준비되어 있어, 최적의 컴포넌트가 적응적으로 선택되게 된다(도면 중의 「Adaptive switching」). 또한, 음악의 스트림으로서, 고비트 레이트와 저비트 레이트의 통신의 컴포넌트가 준비되어 있어, 최적의 컴포넌트가 적응적으로 선택되게 된다(도면 중의 「Adaptive switching」).
또한, 예를 들어 속성값으로서, 스페인어판이 지정된 경우에는 스페인어판의 오디오의 스트림으로서, 오디오 컴포넌트가 하나만 준비되어 있으므로, 그 오디오 컴포넌트가 취득되어, 스페인어의 음성이 출력되게 된다.
<2. 시스템 구성>
(방송 통신 시스템의 구성)
도 9는 본 기술을 적용한 방송 통신 시스템의 일 실시 형태의 구성을 도시하는 도면이다.
도 9에 도시한 바와 같이, 방송 통신 시스템(1)은, 데이터 제공 서버(10), 송신 장치(20), 배신 서버(30) 및 수신 장치(40)로 구성된다. 또한, 배신 서버(30)와 수신 장치(40)는 인터넷 등의 네트워크(90)를 통하여 서로 접속되어 있다.
데이터 제공 서버(10)는 비디오나 오디오, 자막 등의 각종 컴포넌트를 송신 장치(20) 및 배신 서버(30)에 제공한다. 여기에서는, 예를 들어 텔레비전 프로그램을 제공하는 서비스에 있어서, 어댑티브 스트리밍 배신을 실현하기 위하여, 당해 텔레비전 프로그램을 구성하는 컴포넌트로서, 8Mbps의 비디오 컴포넌트를 송신 장치(20)에, 1Mbps, 2Mbps, 5Mbps, 10Mbps, 20Mbps의 비디오 컴포넌트를 배신 서버(30)에 각각 제공한다.
송신 장치(20)는 데이터 제공 서버(10)로부터 제공되는 각종 컴포넌트(예를 들어, 8Mbps의 비디오 컴포넌트)를 디지털 방송의 방송파에 의해 송신한다. 또한, 송신 장치(20)는 컴포넌트와 함께, 제어 신호(도 2의 시그널링 정보)를 디지털 방송의 방송파로 송신한다. 또한, 이 제어 신호(도 2의 시그널링 정보)는 네트워크(90)에 접속된 전용 서버 등으로부터 배신되도록 해도 된다.
배신 서버(30)는 수신 장치(40)로부터의 요구에 따라, 데이터 제공 서버(10)로부터 제공되는 각종 컴포넌트(예를 들어, 1Mbps, 2Mbps, 5Mbps, 10Mbps, 20Mbps의 비디오 컴포넌트)를, 네트워크(90)를 통하여 수신 장치(40)에 배신한다.
수신 장치(40)는 송신 장치(20)로부터 송신된 방송 신호를 수신하여, 제어 신호(도 2의 시그널링 정보)를 취득한다. 수신 장치(40)는 제어 신호에 따라, 송신 장치(20)로부터 송신되는, 비디오나 오디오, 자막 등의 각종 컴포넌트(예를 들어, 8Mbps의 비디오 컴포넌트)를 취득한다. 또한, 수신 장치(40)는 제어 신호에 따라, 배신 서버(30)로부터 배신되는, 비디오나 오디오, 자막 등의 각종 컴포넌트(예를 들어, 1Mbps, 2Mbps, 5Mbps, 10Mbps, 20Mbps의 비디오 컴포넌트)를 취득한다.
수신 장치(40)는 비디오나 자막의 컴포넌트 영상을 디스플레이에 표시함과 함께, 그 영상에 동기한 오디오 컴포넌트의 음성을 스피커로부터 출력한다. 여기에서는, 예를 들어 일정 기간(예를 들어 10초)마다 8Mbps의 방송의 비디오 컴포넌트와, 1Mbps, 2Mbps, 5Mbps, 10Mbps, 20Mbps의 통신의 비디오 컴포넌트 중에서 최적의 비디오 컴포넌트가 적응적으로 선택되고 전환되어, 어댑티브 스트리밍 배신이 실현되게 된다.
또한, 수신 장치(40)는 디스플레이나 스피커를 포함하여 단체로서 구성되도록 해도 되고, 텔레비전 수상기나 비디오 레코더 등에 내장되도록 해도 된다.
방송 통신 시스템(1)은, 이상과 같이 구성된다. 이어서, 도 9의 방송 통신 시스템(1)을 구성하는 각 장치의 상세한 구성에 대하여 설명한다.
(송신 장치의 구성)
도 10은 본 기술을 적용한 송신 장치의 일 실시 형태의 구성을 도시하는 도면이다.
도 10에 도시한 바와 같이, 송신 장치(20)는 컴포넌트 취득부(201), 제어 신호 취득부(202), Mux(203) 및 송신부(204)로 구성된다.
컴포넌트 취득부(201)는 데이터 제공 서버(10)로부터 각종 컴포넌트를 취득하여, Mux(203)에 공급한다.
제어 신호 취득부(202)는 데이터 제공 서버(10) 등의 외부의 서버나, 내장하는 스토리지로부터 제어 신호(도 2의 시그널링 정보)를 취득하여, Mux(203)에 공급한다.
Mux(203)는 컴포넌트 취득부(201)로부터의 각종 컴포넌트와, 제어 신호 취득부(202)로부터의 제어 신호를 다중화하고, 트랜스포트 스트림을 생성하여, 송신부(204)에 공급한다.
송신부(204)는 Mux(203)로부터 공급되는 트랜스포트 스트림을 방송 신호로서, 안테나(205)를 통하여 송신한다.
(배신 서버의 구성)
도 11은 본 기술을 적용한 배신 서버의 일 실시 형태의 구성을 도시하는 도면이다.
도 11에 도시한 바와 같이, 배신 서버(30)는 제어부(301), 컴포넌트 취득부(302), 축적부(303) 및 통신부(304)로 구성된다.
제어부(301)는 배신 서버(30)의 각 부의 동작을 제어한다.
컴포넌트 취득부(302)는 데이터 제공 서버(10)로부터 각종 컴포넌트를 취득하여, 제어부(301)에 공급한다. 제어부(301)는 컴포넌트 취득부(302)로부터의 각종 컴포넌트를 축적부(303)에 축적한다. 이에 의해, 축적부(303)에는 데이터 제공 서버(10)로부터의 각종 컴포넌트가 축적되게 된다.
통신부(304)는 제어부(301)로부터의 제어에 따라, 네트워크(90)를 통하여 수신 장치(40)와 각종 데이터를 주고받는다.
제어부(301)는 수신 장치(40)로부터의 스트림(컴포넌트)의 배신의 요구를 통신부(304)가 수신한 경우, 당해 요구에 따른 컴포넌트를 축적부(303)로부터 판독한다. 제어부(301)는 통신부(304)를 제어하여, 축적부(303)로부터 판독한 컴포넌트를 포함하는 스트림을, 네트워크(90)를 통하여 수신 장치(40)에 배신한다.
(수신 장치의 구성)
도 12는 본 기술을 적용한 수신 장치의 일 실시 형태의 구성을 도시하는 도면이다.
도 12에 도시한 바와 같이, 수신 장치(40)는 튜너(402), Demux(403), 선택/합성부(404), 선택/합성부(405), 선택/합성부(406), 제어부(407), NVRAM(408), 입력부(409), 통신부(410), Demux(411), 비디오 디코더(412), 비디오 출력부(413), 오디오 디코더(414), 오디오 출력부(415) 및 자막 디코더(416)로 구성된다.
튜너(402)는 안테나(401)에 의해 수신된 방송 신호로부터, 선국이 지시된 서비스의 방송 신호를 추출하여 복조하고, 그 결과 얻어지는 트랜스포트 스트림을 Demux(403)에 공급한다.
Demux(403)는 튜너(402)로부터 공급되는 트랜스포트 스트림을 각 컴포넌트와, 제어 신호로 분리하여, 각 컴포넌트를 선택/합성부(404 내지 406)에 공급하고, 제어 신호를 제어부(407)에 공급한다. 여기에서는, 컴포넌트로서, 비디오 컴포넌트, 오디오 컴포넌트, 자막 컴포넌트가 분리되어, 선택/합성부(404), 선택/합성부(405), 선택/합성부(406)에 각각 공급된다.
제어부(407)는 수신 장치(40)의 각 부의 동작을 제어한다. NVRAM(408)은 불휘발성 메모리이며, 제어부(407)로부터의 제어에 따라 각종 데이터를 기록한다. 또한, 제어부(407)는 Demux(403)로부터 공급되는 제어 신호(도 2의 시그널링 정보)에 기초하여, 선택/합성부(404 내지 406)에 의해 행하여지는 선택/합성 처리를 제어한다.
입력부(409)는 유저의 조작에 따라, 조작 신호를 제어부(407)에 공급한다. 제어부(407)는 입력부(409)로부터의 조작 신호에 기초하여, 수신 장치(40)의 각 부의 동작을 제어한다.
통신부(410)는 제어부(407)로부터의 제어에 따라 네트워크(90)를 통하여 배신 서버(30)와 각종 데이터를 주고받는다. 통신부(410)는 배신 서버(30)로부터 수신한 스트림을 Demux(411)에 공급한다. 이때, 통신부(410)는 내부에 설치된 수신 버퍼(421)에 스트림 데이터를 버퍼하면서, 배신 서버(30)로부터 배신되는 스트림을 수신하게 된다.
Demux(411)는 통신부(410)로부터 공급되는 스트림을 각 컴포넌트로 분리하여, 선택/합성부(404 내지 406)에 공급한다. 여기에서는, 분리 후의 컴포넌트 중 비디오 컴포넌트가 선택/합성부(404), 오디오 컴포넌트가 선택/합성부(405), 자막 컴포넌트가 선택/합성부(406)에 각각 공급된다.
선택/합성부(404)는 제어부(407)로부터의 제어에 따라, Demux(403)로부터의 비디오 컴포넌트와, Demux(411)로부터의 비디오 컴포넌트에 대하여, 선택/합성 처리(예를 들어, 도 1의 비디오 컴포넌트 레이어에 있어서의 각 레이어의 처리)를 행하고, 그 처리의 결과 얻어지는 비디오 컴포넌트를 비디오 디코더(412)에 공급한다.
비디오 디코더(412)는 선택/합성부(404)로부터 공급되는 비디오 컴포넌트를 복호하고, 그것에 의해 얻어지는 비디오 데이터를 비디오 출력부(413)에 공급한다. 비디오 출력부(413)는 비디오 디코더(412)로부터 공급되는 비디오 데이터를 후단의 디스플레이(도시하지 않음)에 출력한다. 이에 의해, 디스플레이에는, 예를 들어 텔레비전 프로그램의 영상 등이 표시된다.
선택/합성부(405)는 제어부(407)로부터의 제어에 따라, Demux(403)로부터의 오디오 컴포넌트와, Demux(411)로부터의 오디오 컴포넌트에 대하여, 선택/합성 처리(예를 들어, 도 1의 오디오 컴포넌트 레이어에 있어서의 각 레이어의 처리)를 행하고, 그 처리의 결과 얻어지는 오디오 컴포넌트를 오디오 디코더(414)에 공급한다.
오디오 디코더(414)는 선택/합성부(405)로부터 공급되는 오디오 컴포넌트를 복호하고, 그것에 의해 얻어지는 오디오 데이터를 오디오 출력부(415)에 공급한다. 오디오 출력부(415)는 오디오 디코더(414)로부터 공급되는 오디오 데이터를 후단의 스피커(도시하지 않음)에 공급한다. 이에 의해, 스피커로부터는, 예를 들어 텔레비전 프로그램의 영상에 대응하는 음성이 출력된다.
선택/합성부(406)는 제어부(407)로부터의 제어에 따라, Demux(403)로부터의 자막 컴포넌트와, Demux(411)로부터의 자막 컴포넌트에 대하여, 선택/합성 처리(예를 들어, 도 1의 자막 컴포넌트 레이어에 있어서의 각 레이어의 처리)를 행하여, 그 처리의 결과 얻어지는 자막 컴포넌트를 자막 디코더(416)에 공급한다.
자막 디코더(416)는 선택/합성부(406)로부터 공급되는 자막 컴포넌트를 복호하고, 그것에 의해 얻어지는 자막 데이터를 비디오 출력부(413)에 공급한다. 비디오 출력부(413)는 자막 디코더(416)로부터 자막 데이터가 공급된 경우, 그 자막 데이터를 비디오 디코더(412)로부터의 비디오 데이터에 합성하여, 후단의 디스플레이(도시하지 않음)에 공급한다. 이에 의해, 디스플레이에는 텔레비전 프로그램의 영상과 함께, 그 영상에 대응한 자막이 표시된다.
또한, 도 12의 수신 장치(40)에 있어서는, 설명의 사정상, 각 디코더의 전단에, 선택/합성부(404 내지 406)가 설치되는 구성을 나타냈지만, 선택/합성 처리의 내용에 따라서는, 선택/합성부(404 내지 406)가 각 디코더의 후단에 설치되는 구성을 채용하도록 해도 된다.
<3. 각 장치에서 실행되는 처리의 흐름>
이어서, 도 9의 방송 통신 시스템(1)을 구성하는 각 장치에서 실행되는 처리의 흐름에 대하여, 도 13 내지 도 15의 흐름도를 참조하여 설명한다.
(송신 처리)
먼저, 도 13의 흐름도를 참조하여, 도 9의 송신 장치(20)에 의해 실행되는, 송신 처리에 대하여 설명한다.
스텝 S201에 있어서, 컴포넌트 취득부(201)는 데이터 제공 서버(10)로부터 각종 컴포넌트를 취득하여, Mux(203)에 공급한다.
스텝 S202에 있어서, 제어 신호 취득부(202)는 외부의 서버 등으로부터 제어 신호(도 2의 시그널링 정보)를 취득하여, Mux(203)에 공급한다.
스텝 S203에 있어서, Mux(203)는 컴포넌트 취득부(201)로부터의 각종 컴포넌트와, 제어 신호 취득부(202)로부터의 제어 신호를 다중화하여, 트랜스포트 스트림을 생성하고, 송신부(204)에 공급한다.
스텝 S204에 있어서, 송신부(204)는 Mux(203)로부터 공급되는 트랜스포트 스트림을 방송 신호로서, 안테나(205)를 통하여 송신한다. 스텝 S204의 처리가 종료되면, 도 13의 송신 처리는 종료된다.
이상, 송신 처리에 대하여 설명했다. 이 송신 처리에 있어서는, 데이터 제공 서버(10)로부터 제공되는 각종 컴포넌트와, 제어 신호가 방송파에 의해 송신되게 된다.
(배신 처리)
이어서, 도 14의 흐름도를 참조하여, 도 9의 배신 서버(30)에 의해 실행되는, 배신 처리에 대하여 설명한다. 단, 배신 서버(30)에 있어서, 축적부(303)에는 데이터 제공 서버(10)로부터 취득된 각종 컴포넌트가 축적 완료된 것으로 한다.
스텝 S301에 있어서, 제어부(301)는 통신부(304)를 항상 감시하여, 네트워크(90)를 통하여 수신 장치(40)로부터 컴포넌트가 요구되었는지 여부를 판정한다. 스텝 S301에 있어서는, 수신 장치(40)로부터의 컴포넌트의 요구를 기다려, 처리는, 스텝 S302로 진행된다.
스텝 S302에 있어서, 제어부(301)는 수신 장치(40)로부터의 요구에 따른 컴포넌트를 축적부(303)로부터 판독한다.
스텝 S303에 있어서, 제어부(301)는 통신부(304)를 제어하여, 축적부(303)로부터 판독한 컴포넌트(스트림)를, 네트워크(90)를 통하여 수신 장치(40)에 배신한다. 스텝 S303의 처리가 종료되면, 도 14의 배신 처리는 종료한다.
이상, 배신 처리에 대하여 설명했다. 이 배신 처리에 있어서는, 수신 장치(40)로부터의 요구에 따라, 데이터 제공 서버(10)로부터 제공되는 각종 컴포넌트(스트림)가 네트워크(90)를 통하여 배신되게 된다.
(수신 처리)
이어서, 도 15의 흐름도를 참조하여, 도 9의 수신 장치(40)에 의해 실행되는, 수신 처리에 대하여 설명한다. 이 수신 처리는, 예를 들어 유저에 의한 리모트 컨트롤러의 조작에 의해, 수신 장치(40)가 기동되어, 선국 지시가 이루어진 경우 등에 실행된다.
스텝 S401에 있어서, 튜너(402)는 안테나(401)를 통하여 방송 신호를 수신하고, 방송 신호로부터 선국이 지시된 서비스의 방송 신호를 추출하여 복조한다. 또한, Demux(403)는 튜너(402)로부터의 트랜스포트 스트림을, 컴포넌트와 제어 신호로 분리한다.
스텝 S402에 있어서, 제어부(407)는 Demux(403)로부터의 제어 신호(도 2의 시그널링 정보)에 기초하여, 복수의 컴포넌트의 후보 중에서 최적의 컴포넌트를 선택한다.
구체적으로는, 제어부(407)에서는, 제어 신호로서, 도 2의 시그널링 정보가 취득되므로, 그 선택지 중에서, 먼저, topAttribute 속성으로, 선택해야 할 컴포넌트의 수를 확인 후, 선택 판단에 따른 동작을 제어한다.
예를 들어, 선택 판단이 유저 선택이 되는 경우에는, 제어부(407)는 최상위의 계층의 셀렉티브 레이어의 각 셀렉티브 컴포넌트 그룹에, 고정 선택 대상의 속성으로서 지정되는 정보를 GUI 화면에 의해 표시하여, 유저가 셀렉티브 컴포넌트 그룹(컴포넌트)을 선택하도록 한다. 또한, 예를 들어 선택 판단이 수신기 자동 선택이 되는 경우에는, 제어부(407)는 최상위의 계층의 셀렉티브 레이어의 각 셀렉티브 컴포넌트 그룹에, 고정 선택 대상의 속성으로서 지정되는 정보에 기초하여, 셀렉티브 컴포넌트 그룹(컴포넌트)을 선택한다.
이 컴포넌트 선택 처리는, 기본적으로 비디오나 오디오 등의 컴포넌트의 카테고리마다 실행되지만, 고정 선택 대상의 속성으로서 뷰 태그가 지정되어 있는 경우에는, 카테고리를 횡단하여 셀렉티브 컴포넌트 그룹(컴포넌트)이 선택되게 된다.
이어서, 제어부(407)는, 선택된 셀렉티브 컴포넌트 그룹(컴포넌트)에 복수의 CompositeComponentGroup 요소가 존재하는 경우에는, 컴포지트 레이어에 있어서, 지정된 컴포넌트 합성을 행해야 할 복수의 컴포넌트를, 하위의 계층의 어댑티브 레이어의 적응 선택 대상의 컴포넌트로부터 선택한다. 그리고, 제어부(407)는 선택/합성부(404 내지 406)를 제어하고, 적응적으로 선택된 복수의 컴포넌트를 사용하여, 합성 처리를 행한다.
여기에서는, 예를 들어 컴포지트 컴포넌트 그룹에, 합성 대상의 속성으로서 스케일러블이 지정되어 있는 경우, 방송으로 전송되는 기본 스트림과, 통신으로 전송되는 확장 스트림이 합성되게 된다. 또한, 예를 들어 컴포지트 컴포넌트 그룹에 속성으로서 3D가 지정되어 있는 경우에는, 방송으로 전송되는 우안용 영상과, 통신으로 전송되는 좌안용 영상이 합성되게 된다.
또한, 여기에서는, 복수의 CompositeComponentGroup 요소가 존재하는 경우에 대하여 설명했지만, CompositeComponentGroup 요소가 하나뿐인 경우에는, 컴포지트 레이어에 있어서, 하위의 계층의 어댑티브 레이어의 적응 선택 대상의 컴포넌트로부터 적응적으로 순서대로 최적의 컴포넌트를 선택하도록 한다. 또한, 어댑티브 레이어에 있어서, 적응 선택 대상의 컴포넌트가 하나뿐인 경우에는 그 컴포넌트가 항상 선택되게 된다.
스텝 S402의 처리에 의해, 최적의 컴포넌트가 선택되면, 처리는 스텝 S403으로 진행된다. 스텝 S403에 있어서, 비디오 출력부(413)는 스텝 S402의 처리에서 선택된 비디오나 자막의 컴포넌트에 대응하는 영상을 디스플레이에 표시시킨다. 또한, 스텝 S403에 있어서, 오디오 출력부(415)는 스텝 S402의 처리에서 선택된 오디오 컴포넌트에 대응하는 음성을 스피커로부터 출력한다. 스텝 S403의 처리가 종료되면, 도 15의 수신 처리는 종료한다.
이상, 수신 처리에 대하여 설명했다. 이 수신 처리에 있어서는, 제어 신호(도 2의 시그널링 정보)에 기초하여, 방송 또는 통신에 의해 수신 가능한 복수의 컴포넌트의 후보 중에서 최적의 컴포넌트가 선택되어, 제시되게 된다. 이에 의해, 유저는, 예를 들어 원하는 텔레비전 프로그램을 선국한 경우에, 수신 가능한 복수의 컴포넌트의 후보 중에서 선택된 최적의 컴포넌트에 대응하는 영상이나 음성을 시청할 수 있다.
<4. 구체적인 운용예>
이어서, 본 기술을 적용한 방송 통신 시스템(1)에 의해 실현 가능한 구체적인 운용예에 대하여 설명한다.
(1) 멀티 뷰 표시 서비스
방송 통신 시스템(1)에 있어서는, 송신 장치(10)로부터 방송의 컴포넌트가 송신되고, 배신 서버(30)로부터 통신의 컴포넌트가 배신되기 때문에, 수신 장치(40)에서는, 방송에 의한 제1 영상을 메인 뷰에 표시함과 함께, 통신에 의한 제2 영상을 서브 뷰에 표시하여, 다화면 표시나 선택 전체 화면 표시가 가능해진다.
(2) 다언어 음성·자막 서비스
송신 장치(10)로부터 송신되는 방송의 텔레비전 프로그램(비디오나 오디오의 컴포넌트)에 대하여, 스페인어 등의 외국어의 음성이나 자막(오디오나 자막의 컴포넌트)을, 네트워크(90)를 통하여, 배신 서버(30)로부터 배신되도록 함으로써, 수신 장치(40)에서는, 텔레비전 프로그램의 영상에 동기하여, 외국어의 음성을 출력하거나, 외국어의 자막을 중첩 표시하거나 하는 것이 가능해진다.
(3) 수화 영상 배신 서비스
송신 장치(10)로부터 송신되는 방송의 텔레비전 프로그램(비디오나 오디오의 컴포넌트)에 대하여, 수화 영상(비디오 컴포넌트)을, 네트워크(90)를 통하여, 배신 서버(30)로부터 배신되도록 함으로써, 수신 장치(40)에서는, 텔레비전 프로그램의 영상에 대하여, 자화면에서 수화 영상을 표시하는 것이 가능해진다.
(4) 방송·통신의 전환 서비스
수신 장치(40)에 있어서, 송신 장치(10)로부터 송신되는 방송의 텔레비전 프로그램(비디오나 오디오의 컴포넌트)을 시청 중에, 유저의 선택 조작에 따라, 그 텔레비전 프로그램에 관련된 프로그램(비디오나 오디오의 컴포넌트)을, 네트워크(90)를 통하여, 배신 서버(30)로부터 배신되도록 함으로써, 수신 장치(40)에서는 관련 프로그램을 시청하는 것이 가능해진다. 또한, 통신의 컴포넌트는 복수 준비되어 있어, 그들 컴포넌트가 통신 경로의 폭주 상황 등에 따라 적응적으로 선택되어, 어댑티브 스트리밍 배신이 실현된다. 또한, 통신에 의한 관련 프로그램이 종료되면, 방송에 의한 텔레비전 프로그램으로 되돌아가게 된다.
(5) CM 삽입 서비스
수신 장치(40)에 있어서, 송신 장치(10)로부터 송신되는 방송의 텔레비전 프로그램(비디오나 오디오의 컴포넌트)을 시청 중에, 텔레비전 프로그램으로부터 CM으로 전환되는 타이밍에, 유저의 기호 정보에 따른 CM(비디오나 오디오의 컴포넌트)을, 네트워크(90)를 통하여, 배신 서버(30)로부터 취득함으로써, 그 유저에게 특화된 CM(Personalized CM)을 시청시키는 것이 가능해진다. 또한, 통신에 의한 유저에게 특화된 CM이 종료되면, 방송에 의한 텔레비전 프로그램으로 되돌아가게 된다.
(6) 하이브리드 배신에 의한 초고품위 텔레비전(UHDTV: Ultra High Definition Television) 대응 서비스
예를 들어, 4K 해상도의 영상을 제공하는 경우에, 송신 장치(10)로부터, 기본 스트림으로서, 2K 해상도의 영상 부호화 신호(비디오 컴포넌트)를 방송으로 송신함과 함께, 배신 서버(30)로부터, 확장 스트림으로서, 4K 해상도와 2K 해상도의 차분에 상당하는 영상 부호화 신호(비디오 컴포넌트)를, 네트워크(90)를 통하여 배신하는 경우를 상정한다. 이 경우, 수신 장치(40)에서는, 4K 해상도에 대응하고 있을 때에는, 방송으로 전송되는 기본 스트림과, 통신으로 전송되는 확장 스트림을 합성하여, 4K 해상도의 영상을 표시시킬 수 있다. 또한, 수신 장치(40)가 4K 해상도에 대응하고 있지 않을 때에는, 방송으로 전송되는 기본 스트림만을 사용하여, 2K 해상도의 영상을 표시시키게 된다.
또한, 8K 해상도의 영상을 제공하는 경우도 마찬가지로, 방송으로 전송되는 기본 스트림으로서, 4K 해상도의 영상 부호화 신호(비디오 컴포넌트)를 전송하고, 통신으로 전송되는 확장 스트림으로서, 8K 해상도와 4K 해상도의 차분에 상당하는 영상 부호화 신호(비디오 컴포넌트)를 전송하도록 함으로써, 수신 장치(40)가 8K 해상도에 대응하고 있는 경우에는, 그들 스트림을 합성하여, 8K 해상도의 영상을 표시시킬 수 있다. 한편, 수신 장치(40)가 8K 해상도에 대응하고 있지 않은 경우에는, 방송으로 전송되는 기본 스트림만을 사용하여 4K 해상도의 영상을 표시시키게 된다.
또한, 프레임 레이트로서, 120p를 제공하는 경우에는 방송으로 전송되는 기본 스트림으로서, 60p분의 프레임 영상 부호화 신호(비디오 컴포넌트)를 전송하고, 통신으로 전송되는 확장 스트림으로서, 120p와 60p의 차분에 상당하는 영상 부호화 신호(비디오 컴포넌트)를 전송하도록 함으로써, 수신 장치(40)가 120p의 프레임 레이트에 대응하고 있는 경우에는 그들 스트림을 합성하여, 120p의 프레임 레이트로 영상이 표시되게 된다. 한편, 수신 장치(40)가 120p의 프레임 레이트에 대응하고 있지 않은 경우에는 방송으로 전송되는 기본 스트림만을 사용하여, 60p의 프레임 레이트로 영상이 표시되게 된다.
(7) 음성의 조합 서비스
송신 장치(10)로부터 송신되는 방송의 텔레비전 프로그램(비디오나 오디오의 컴포넌트)에 대하여, 언어 베리에이션의 음성, 본편 또는 해설의 음성, 그 밖의 내용의 베리에이션의 음성(오디오 컴포넌트)을 송신 장치(10)로부터 송신되거나, 혹은 네트워크(90)를 통하여 배신 서버(30)로부터 배신되도록 함으로써, 수신 장치(40)에서는, 유저의 선택 조작에 따라 그들 음성을 믹싱하여 제공하는 것이 가능해진다.
(8) 방송과 통신을 걸친 어댑티브 스트리밍 배신 서비스
방송 통신 시스템(1)에 있어서는, 송신 장치(10)로부터 하나 또는 복수의 컴포넌트가 송신되어, 배신 서버(30)로부터 하나 또는 복수의 컴포넌트가 네트워크(90)를 통하여 배신되기 때문에, 수신 장치(40)에서는, 그들 방송 또는 통신의 컴포넌트를 적응적으로 선택하여, 가능한 한 고화질의 영상을 얻는 것이 가능해진다. 예를 들어, 송신 장치(10)로부터 2K 해상도의 영상(비디오 컴포넌트)을 송신하는 한편, 배신 서버(30)로부터 4K 해상도의 영상(비디오 컴포넌트)을, 네트워크(90)를 통하여 배신함으로써, 수신 장치(40)에서는, 기본적으로는 통신의 4K 해상도의 영상을 표시시키지만, 네트워크(90)의 폭주 상황에 따라 안정되게 수신할 수 있는 방송의 2K 해상도의 영상을 표시시킨다는, 방송과 통신을 걸친 어댑티브 스트리밍 배신을 실현할 수 있다.
<5. 컴퓨터의 구성>
전술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 16은 전술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.
컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은, 버스(904)에 의해 서로 접속되어 있다. 버스(904)에는 입출력 인터페이스(905)가 더 접속되어 있다. 입출력 인터페이스(905)에는 입력부(906), 출력부(907), 기록부(908), 통신부(909) 및 드라이브(910)가 접속되어 있다.
입력부(906)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(907)는 디스플레이, 스피커 등을 포함한다. 기록부(908)는 하드 디스크나 불휘발성의 메모리 등을 포함한다. 통신부(909)는 네트워크 인터페이스 등을 포함한다. 드라이브(910)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(911)를 구동한다.
이상과 같이 구성되는 컴퓨터(900)에서는, CPU(901)가 예를 들어 기록부(908)에 기억되어 있는 프로그램을, 입출력 인터페이스(905) 및 버스(904)를 통하여, RAM(903)에 로드하여 실행함으로써, 전술한 일련의 처리가 행하여진다.
컴퓨터(900)(CPU(901))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(911)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에리어 네트워크, 인터넷, 디지털 위성 방송 등, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터(900)에서는, 프로그램은 리무버블 미디어(911)를 드라이브(910)에 장착함으로써, 입출력 인터페이스(905)를 통하여, 기록부(908)에 인스톨할 수 있다. 또한, 프로그램은 유선 또는 무선의 전송 매체를 통하여 통신부(909)로 수신하여, 기록부(908)에 인스톨할 수 있다. 기타, 프로그램은 ROM(902)이나 기록부(908)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터(900)가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 타이밍에 처리가 행하여지는 프로그램이어도 된다.
여기서, 본 명세서에 있어서, 컴퓨터(900)에 각종 처리를 행하게 하기 위한 프로그램을 기술하는 처리 스텝은, 반드시 흐름도로서 기재된 순서를 따라 시계열로 처리할 필요는 없고, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리혹은 오브젝트에 의한 처리)도 포함하는 것이다.
또한, 프로그램은, 하나의 컴퓨터에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은, 원격 컴퓨터에 전송되어 실행되는 것이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 상관없다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.
또한, 본 기술의 실시 형태는, 전술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다. 예를 들어, 본 기술은, 하나의 기능을, 네트워크를 통하여 복수의 장치에서 분담, 공동적으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 전술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다. 또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 기술은, 이하와 같은 구성을 취할 수 있다.
(1)
방송파로 송신되는 컴포넌트를 수신하는 제1 수신부와,
네트워크를 통하여 배신되는 컴포넌트를 수신하는 제2 수신부와,
각 부의 동작을 제어하는 제어부를 구비하고,
상기 제어부는, 수신 가능한 복수의 컴포넌트의 후보 중에서 최적의 컴포넌트를 선택하는 수신 장치.
1: 방송 통신 시스템
10: 데이터 제공 서버
20: 송신 장치
30: 배신 서버
40: 수신 장치
201: 컴포넌트 취득부
202: 제어 신호 취득부
203: Mux
204: 송신부
301: 제어부
302: 컴포넌트 취득부
303: 축적부
304: 통신부
402: 튜너
403: Demux
404, 405, 406: 선택/합성부
407: 제어부
408: NVRAM
409: 입력부
410: 통신부
411: Demux
412: 비디오 디코더
413: 비디오 출력부
414: 오디오 디코더
415: 오디오 출력부
416: 자막 디코더
421: 수신 버퍼
90: 네트워크
900: 컴퓨터
901: CPU

Claims (18)

  1. 수신 장치로서,
    제1 컴포넌트, 제2 컴포넌트, 및 적어도 또다른 컴포넌트를 수신하는 수신기 - 상기 적어도 또다른 컴포넌트는 오디오 및 비디오를 포함하는 적어도 2개의 카테고리 중 하나에 속함 -; 및
    상기 수신기의 동작을 제어하도록 구성되는 제어 회로
    를 포함하고,
    제3 계층에서, 상기 제어 회로는 상기 제1 컴포넌트 또는 상기 제2 컴포넌트를 제1 선택된 컴포넌트로서 선택하도록 구성되고,
    제2 계층에서, 상기 제어 회로는 상기 제3 계층 내의 제1 선택된 컴포넌트와 상기 제3 계층 내의 선택되지 않은 컴포넌트를 합성 컴포넌트로 합성하도록 구성되고,
    제1 계층에서, 상기 제어 회로는 상기 제3 계층 내의 선택된 컴포넌트 또는 상기 합성 컴포넌트를 상기 적어도 2개의 카테고리 중 하나에 대해 선택된 컴포넌트로서 선택하도록 구성되고, 그리고
    상기 제어 회로는 상기 적어도 2개의 카테고리 중 하나에 대해 선택된 컴포넌트를 렌더링 디바이스로 출력하도록 구성되는, 수신 장치.
  2. 제1항에 있어서, 상기 제1 컴포넌트는 방송 컴포넌트이고 상기 제2 컴포넌트는 통신 컴포넌트인, 수신 장치.
  3. 제2항에 있어서, 상기 제3 계층에서, 상기 제어 회로는 상기 제1 컴포넌트를 포함하는 방송 신호의 C/N(Carrier 또는 Noise)의 변화 또는 상기 제2 컴포넌트를 운반하는 통신 채널의 폭주(congestion)에 따라 비트 레이트가 상이한 상기 제1 컴포넌트 및 상기 제2 컴포넌트 중에서 하나의 비트 레이트의 컴포넌트를 선택하는, 수신 장치.
  4. 제3항에 있어서, 상기 제3 계층 내의 선택된 컴포넌트는 베이스 레이어이고 상기 제3 계층 내의 선택되지 않은 컴포넌트는 확장된 레이어인, 수신 장치.
  5. 제3항에 있어서, 상기 제1 계층에서, 상기 제어 회로는 상기 수신 장치의 처리 능력에 따라 제1 카테고리 컴포넌트를 선택하는, 수신 장치.
  6. 제2항에 있어서, 상이한 카테고리들 내의 컴포넌트들이 뷰 태그에 의해 서로 링크되는, 수신 장치.
  7. 방법으로서,
    수신 장치에 의해, 제1 컴포넌트, 제2 컴포넌트, 및 적어도 또다른 컴포넌트를 수신하는 단계 - 상기 적어도 또다른 컴포넌트는 오디오 및 비디오를 포함하는 적어도 2개의 카테고리 중 하나에 속함 -;
    제3 계층에서, 상기 수신 장치에 의해, 상기 제1 컴포넌트 또는 상기 제2 컴포넌트를 제1 선택된 컴포넌트로서 선택하는 단계;
    제2 계층에서, 상기 수신 장치에 의해, 상기 제3 계층 내의 제1 선택된 컴포넌트와 상기 제3 계층 내의 선택되지 않은 컴포넌트를 합성 컴포넌트로 합성하는 단계;
    제1 계층에서, 상기 수신 장치에 의해, 상기 제3 계층 내의 선택된 컴포넌트 또는 상기 합성 컴포넌트를 상기 적어도 2개의 카테고리 중 하나에 대해 선택된 컴포넌트로서 선택하는 단계; 및
    상기 적어도 2개의 카테고리 중 하나에 대해 선택된 컴포넌트를 렌더링 디바이스로 출력하는 단계
    를 포함하는 방법.
  8. 제7항에 있어서, 상기 제1 컴포넌트는 방송 컴포넌트이고 상기 제2 컴포넌트는 통신 컴포넌트인, 방법.
  9. 제8항에 있어서, 상기 제3 계층에서, 상기 제1 컴포넌트를 포함하는 방송 신호의 C/N(Carrier 또는 Noise)의 변화 또는 상기 제2 컴포넌트를 운반하는 통신 채널의 폭주(congestion)에 따라 비트 레이트가 상이한 상기 제1 컴포넌트 및 상기 제2 컴포넌트 중에서 최적의 비트 레이트의 컴포넌트가 선택되는, 방법.
  10. 제8항에 있어서, 상기 제3 계층 내의 선택된 컴포넌트는 베이스 레이어이고 상기 제3 계층 내의 선택되지 않은 컴포넌트는 확장된 레이어인, 방법.
  11. 제8항에 있어서, 상기 제1 계층에서, 상기 제1 카테고리 컴포넌트는 상기 수신 장치의 처리 능력에 따라 선택되는, 방법.
  12. 제7항에 있어서, 상이한 카테고리들 내의 컴포넌트들이 뷰 태그에 의해 서로 링크되는, 방법.
  13. 실행 가능 명령어들을 포함하는 비-일시적 컴퓨터 판독가능 기록 매체로서,
    상기 실행가능 명령어들은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 수신 장치에서의 방법을 실행하도록 하고, 상기 방법은:
    상기 수신 장치에 의해, 제1 컴포넌트, 제2 컴포넌트, 및 적어도 또다른 컴포넌트를 수신하는 단계 - 상기 적어도 또다른 컴포넌트는 오디오 및 비디오를 포함하는 적어도 2개의 카테고리 중 하나에 속함 -;
    제3 계층에서, 상기 수신 장치에 의해, 상기 제1 컴포넌트 또는 상기 제2 컴포넌트를 제1 선택된 컴포넌트로서 선택하는 단계;
    제2 계층에서, 상기 수신 장치에 의해, 상기 제3 계층 내의 제1 선택된 컴포넌트와 상기 제3 계층 내의 선택되지 않은 컴포넌트를 합성 컴포넌트로 합성하는 단계;
    제1 계층에서, 상기 수신 장치에 의해, 상기 제3 계층 내의 선택된 컴포넌트 또는 상기 합성된 컴포넌트를 상기 적어도 2개의 카테고리 중 하나에 대해 선택된 컴포넌트로서 선택하는 단계; 및
    상기 적어도 2개의 카테고리 중 하나에 대해 선택된 컴포넌트를 렌더링 디바이스로 출력하는 단계
    를 포함하는, 비-일시적 컴퓨터 판독가능 기록 매체.
  14. 제13항에 있어서, 상기 제1 컴포넌트는 방송 컴포넌트이고 상기 제2 컴포넌트는 통신 컴포넌트인, 비-일시적 컴퓨터 판독가능 기록 매체.
  15. 제14항에 있어서, 상기 제3 계층에서, 상기 제1 컴포넌트를 포함하는 방송 신호의 C/N(Carrier 또는 Noise)의 변화 또는 상기 제2 컴포넌트를 운반하는 통신 채널의 폭주(congestion)에 따라 비트 레이트가 상이한 상기 제1 컴포넌트 및 상기 제2 컴포넌트 중에서 최적의 비트 레이트의 컴포넌트가 선택되는, 비-일시적 컴퓨터 판독가능 기록 매체.
  16. 제14항에 있어서, 상기 제3 계층 내의 선택된 컴포넌트는 베이스 레이어이고 상기 제3 계층 내의 선택되지 않은 컴포넌트는 확장된 레이어인, 비-일시적 컴퓨터 판독가능 기록 매체.
  17. 제14항에 있어서, 상기 제1 계층에서, 상기 제1 카테고리 컴포넌트는 상기 수신 장치의 처리 능력에 따라 선택되는, 비-일시적 컴퓨터 판독가능 기록 매체.
  18. 제13항에 있어서, 상이한 카테고리들 내의 컴포넌트들이 뷰 태그에 의해 서로 링크되는, 비-일시적 컴퓨터 판독가능 기록 매체.
KR1020207019054A 2013-12-03 2014-11-19 수신 장치 Active KR102249978B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2013-250117 2013-12-03
JP2013250117 2013-12-03
PCT/JP2014/080577 WO2015083541A1 (ja) 2013-12-03 2014-11-19 受信装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167013506A Division KR102132061B1 (ko) 2013-12-03 2014-11-19 수신 장치

Publications (2)

Publication Number Publication Date
KR20200085354A true KR20200085354A (ko) 2020-07-14
KR102249978B1 KR102249978B1 (ko) 2021-05-11

Family

ID=53273308

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207019054A Active KR102249978B1 (ko) 2013-12-03 2014-11-19 수신 장치
KR1020167013506A Active KR102132061B1 (ko) 2013-12-03 2014-11-19 수신 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167013506A Active KR102132061B1 (ko) 2013-12-03 2014-11-19 수신 장치

Country Status (7)

Country Link
US (3) US9955219B2 (ko)
EP (1) EP3079373B1 (ko)
JP (2) JP6563814B2 (ko)
KR (2) KR102249978B1 (ko)
CA (1) CA2931058C (ko)
MX (2) MX366219B (ko)
WO (1) WO2015083541A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6489413B2 (ja) * 2014-12-05 2019-03-27 パナソニックＩｐマネジメント株式会社 管理装置及び画像処理システム
CN105100829B (zh) * 2015-06-29 2019-07-02 小米科技有限责任公司 视频内容截取方法及装置
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
CN113724717B (zh) * 2020-05-21 2023-07-14 成都鼎桥通信技术有限公司 车载音频处理系统、方法、车机控制器和车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008155595A1 (en) * 2007-06-18 2008-12-24 Nokia Corporation Method and device for continuation of multimedia playback
JP2011066556A (ja) 2009-09-15 2011-03-31 Sony Corp 情報処理装置、データ管理方法、およびプログラム
US20110085077A1 (en) * 2009-10-14 2011-04-14 Sanyo Electric Co., Ltd. Content reproduction device
WO2012009700A1 (en) * 2010-07-15 2012-01-19 Qualcomm Incorporated Signaling data for multiplexing video components
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1246070A4 (en) 1999-12-03 2004-08-18 Matsushita Electric Industrial Co Ltd DATA ADAPTING DEVICE, DATA ADAPTING METHOD, STORAGE MEDIUM AND PROGRAM
WO2009067560A1 (en) * 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for generating 3d head models and for using the same
KR20090117424A (ko) 2008-05-09 2009-11-12 엘지전자 주식회사 이동 단말기 및 이것의 방송 모드 선택 방법
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
KR101887506B1 (ko) 2011-09-22 2018-08-13 삼성전자주식회사 방송 시스템에서 방송 콘텐츠 재생 방법 및 장치
CN103875252A (zh) * 2011-10-13 2014-06-18 三星电子株式会社 内容显示方法、内容同步方法、广播内容显示方法及显示装置
EP2784954A4 (en) * 2011-11-25 2015-05-27 Humax Holdings Co Ltd METHOD FOR CONNECTING MMT MEDIA AND DASH MEDIA
JP2013157820A (ja) * 2012-01-30 2013-08-15 Sharp Corp 生成装置、再生装置、生成方法、再生方法、データ構造、制御プログラム、および記録媒体
JP6153298B2 (ja) 2012-04-24 2017-06-28 シャープ株式会社 配信装置、再生装置、データ構造、配信方法、制御プログラム、および記録媒体
US9544641B2 (en) * 2012-05-10 2017-01-10 Humax Co., Ltd. Hybrid transmission method through MMT packet format extension

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008155595A1 (en) * 2007-06-18 2008-12-24 Nokia Corporation Method and device for continuation of multimedia playback
JP2011066556A (ja) 2009-09-15 2011-03-31 Sony Corp 情報処理装置、データ管理方法、およびプログラム
US20110085077A1 (en) * 2009-10-14 2011-04-14 Sanyo Electric Co., Ltd. Content reproduction device
WO2012009700A1 (en) * 2010-07-15 2012-01-19 Qualcomm Incorporated Signaling data for multiplexing video components
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치

Also Published As

Publication number Publication date
JP6563814B2 (ja) 2019-08-21
CA2931058A1 (en) 2015-06-11
US20160301975A1 (en) 2016-10-13
MX2016007040A (es) 2016-08-11
US11039212B2 (en) 2021-06-15
WO2015083541A1 (ja) 2015-06-11
US20180167683A1 (en) 2018-06-14
JPWO2015083541A1 (ja) 2017-03-16
CA2931058C (en) 2021-04-06
KR102132061B1 (ko) 2020-07-08
US10425688B2 (en) 2019-09-24
KR20160091901A (ko) 2016-08-03
US20190373321A1 (en) 2019-12-05
US9955219B2 (en) 2018-04-24
JP2019213208A (ja) 2019-12-12
EP3079373B1 (en) 2022-01-05
EP3079373A4 (en) 2017-09-27
EP3079373A1 (en) 2016-10-12
KR102249978B1 (ko) 2021-05-11
MX366219B (es) 2019-07-03
MX2019007731A (es) 2019-09-06

Similar Documents

Publication Publication Date Title
KR101281845B1 (ko) 스케일러블 비디오 전송 단말 장치에 대한 비주얼 프로그램 가이드 장치 및 방법
JP6358460B2 (ja) 受信装置、受信方法、送信装置、及び、送信方法
CA2963765C (en) Receiving device, transmitting device, and data processing method
RU2671946C2 (ru) Устройство и способ обработки информации
KR101011612B1 (ko) 무선장치에서 멀티―프로그램 뷰잉
US20140223502A1 (en) Method of Operating an IP Client
CN103202032A (zh) 用于视频流的客户端合成的装置和方法
US11039212B2 (en) Reception device
CN102197648A (zh) 用于提供补充的音频/视频内容的方法、设备和系统
KR20210002103A (ko) 복수의 채널을 이용하여 동적 비트레이트의 비디오를 송출 및 재생하는 방법 및 시스템
US10637904B2 (en) Multimedia streaming service presentation method, related apparatus, and related system
EP2557805A2 (en) Method for transmitting extra information in digital broadcast contents and communication apparatus and electronic apparatus using the same
KR20220039114A (ko) 전자 장치 및 그 동작 방법
US8374251B2 (en) Video decoder system for movable application
KR101242478B1 (ko) 멀티 앵글 기반의 미디어 자키를 이용한 실시간 개인 방송 시스템

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 5