WO2017081843A1 - 通信装置 - Google Patents

通信装置 Download PDF

Info

Publication number
WO2017081843A1
WO2017081843A1 PCT/JP2016/004633 JP2016004633W WO2017081843A1 WO 2017081843 A1 WO2017081843 A1 WO 2017081843A1 JP 2016004633 W JP2016004633 W JP 2016004633W WO 2017081843 A1 WO2017081843 A1 WO 2017081843A1
Authority
WO
WIPO (PCT)
Prior art keywords
rate
stream
streaming
terminal
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/004633
Other languages
English (en)
French (fr)
Inventor
高弘 古谷
深田 浩之
宗片 和視
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP16863810.4A priority Critical patent/EP3376770B1/en
Priority to CN201680064681.5A priority patent/CN108353197A/zh
Priority to US15/769,957 priority patent/US10820031B2/en
Priority to JP2017549974A priority patent/JP6876922B2/ja
Publication of WO2017081843A1 publication Critical patent/WO2017081843A1/ja
Priority to ZA2018/02368A priority patent/ZA201802368B/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/222Secondary servers, e.g. proxy server, cable television Head-end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42607Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth®, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383Accessing a communication channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6373Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing
    • H04N21/6405Multicasting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing
    • H04N21/6408Unicasting

Definitions

  • This technology relates to a communication device applied to broadcasting and mobile wireless communication.
  • a broadcast receiving server is equipped with a digital terrestrial broadcast tuner and can redistribute terrestrial digital broadcasts via a wireless local area network (LAN).
  • LAN wireless local area network
  • functions such as channel responsiveness required for television viewing and the ability to view on many terminals are limited due to transmission delay due to wireless communication and bandwidth limitation of wireless communication.
  • a wireless LAN network is constructed in the home, the car, etc., and the digital broadcast received by the broadcast receiving server is redistributed by the wireless LAN, so that a plurality of terminals can broadcast television.
  • a system that allows users to watch videos simultaneously. For example, a plurality of people at the same time in the car can enjoy a favorite program of television broadcasting using their own terminals (smartphone, tablet, etc.).
  • a television tuner is provided in a radio base station for a mobile station, and the received digital broadcast content and information of the electronic program guide are broadcast or multicast, and the mobile station receives the content and information of the electronic program guide and digitally receives them. It has been proposed to view broadcasts (see Patent Document 1). Furthermore, regarding the reception of digital broadcasts on a mobile unit, it has been proposed to be able to receive digital broadcasts for fixed use and digital broadcasts for mobile units, and receive one digital broadcast according to the situation (Patent Document). 2).
  • JP 2013-038513 A Japanese Patent No. 3772830
  • an object of the present technology is to provide a communication device that can solve these problems.
  • the present technology encodes an input stream and switches a rate of output data to at least two stages, and a multi-channel encoder, A wireless communication device for transmitting the output of the encoder to the terminal through a wireless communication network;
  • the communication apparatus server
  • the communication apparatus is configured to transmit the high rate stream to the terminal for which the channel is selected by switching the output of the encoder from the low rate stream to the high rate stream.
  • hierarchical transmission is performed in ISDB-T (Integrated Services Digital Broadcasting-Terrestrial) broadcasting in Japan, where there is one-segment broadcasting as a low-rate layer and full-segment broadcasting as a high-rate layer.
  • a stream sent by one-segment broadcasting is a low-rate stream, and a stream sent by full-segment broadcasting is a high-rate stream.
  • the present technology also includes a wireless communication device that receives a stream transmitted from a server through a wireless communication network; A decoder for decoding the received stream; A display for displaying the decoded stream; A communication device (terminal) comprising: a controller that transmits channel selection information to the server and switches a parameter of the decoder so as to decode a low-rate stream or a high-rate stream transmitted from the server.
  • the present technology also includes a first streaming unit that encodes an input stream into a low-rate stream including user interface information; A second streaming unit that encodes the input stream into a high rate stream; A wireless communication device for transmitting outputs of the first streaming unit and the second streaming unit to a terminal through a wireless communication network; When channel selection is performed at the terminal using the user interface information in a state where the low-rate stream is being transmitted, the high-rate stream of the second streaming unit of the selected channel is transmitted to the terminal. And a control unit that controls the communication device (server).
  • the present technology provides a wireless communication apparatus that receives one of a low rate stream and a high rate stream transmitted from a server through a wireless communication network, A decoder for decoding the received low rate stream and high rate stream; A display for displaying the decoded stream; The channel selection screen is displayed on the display unit according to the user interface information included in the low-rate stream, the information on the channel selection made using the channel selection screen is transmitted to the server, and the high-rate stream transmitted from the server is decoded. And a control unit that controls the communication device (terminal).
  • the selected channel when the user selects a viewing channel on the terminal, the selected channel can be viewed immediately. Furthermore, in the case of a channel that has not been viewed, it is possible to reduce the streaming rate and eliminate the waste of wireless communication bandwidth. The same processing is performed when there is no terminal being viewed.
  • the effect described here is not necessarily limited, and may be any effect described in the present technology. Further, the contents of the present technology are not construed as being limited by the exemplified effects in the following description.
  • Streaming server (broadcast station, mobile base station, wireless LAN base station, etc.) 1 that receives digital broadcasts, for example, terrestrial digital broadcasts, and redistributes broadcast programs through a wireless communication network, and a plurality of m wireless communication apparatuses, for example Terminal 2 1 , 2 2 , --2m (which is simply referred to as terminal 2 if it is not necessary to distinguish these terminals) and a wireless communication network (denoted as WLAN in the figure) 3 Composed.
  • Streaming server broadcast station, mobile base station, wireless LAN base station, etc.
  • receives digital broadcasts for example, terrestrial digital broadcasts, and redistributes broadcast programs through a wireless communication network
  • a plurality of m wireless communication apparatuses for example Terminal 2 1 , 2 2 , --2m (which is simply referred to as terminal 2 if it is not necessary to distinguish these terminals) and a wireless communication network (denoted as WLAN in the figure) 3 Composed.
  • the antenna unit 4 and the tuner unit 5 are connected to the streaming server 1.
  • FIG. 1 as a configuration example of the antenna unit 4 and the tuner unit 5, a configuration including a single antenna and a single tuner, a configuration including a single antenna and a multi-tuner, a configuration including a diversity antenna and a single tuner, a diversity antenna and a multi A configuration comprising a tuner is shown. Any of these configurations can be used.
  • Each tuner of the tuner unit 5 receives a television broadcast signal, selects a channel, and performs digital demodulation processing.
  • the following standards for digital broadcasting can be applied.
  • N pieces of streaming unit 11 outputs the streaming server 1 of the tuners of the tuner unit 5 1, 11 2, 11 3 , --- 11 n ( streaming simply when it is not necessary to distinguish these streaming unit 11 To be called).
  • the streaming unit 11 is supplied with the A / V decoder 12 to which the output of the tuner unit 5 is supplied, the A / V encoder 13 to which the output of the A / V decoder 12 is supplied, and the output of the A / V encoder 13.
  • An AL-FEC encoder 14 is provided.
  • the A / V decoder 12 performs A / V decoding processing of stream data.
  • the A / V decoder 12 decodes data to which the following standard is applied. H.264 / H.265 / HEVC / MPEG-4 AVC / MPEG-2 /
  • the A / V encoder 13 performs, for example, a process of reducing the data rate of digital television broadcasting to a rate that can be transmitted through a wireless communication network, and generates compressed stream data.
  • the A / V encoder 13 can generate data according to the following standard. H.264 / H.265 / HEVC / MPEG-4 AVC / MPEG-2 /
  • the AL-FEC encoder 14 performs encoding processing of AL-FEC (Application Layer-Forward Error Correction) of stream data.
  • AL-FEC Application Layer-Forward Error Correction
  • the output of the streaming unit 11 is supplied to a UDP (User Datagram Protocol) / IP (Internet Protocol) 15.
  • UDP User Datagram Protocol
  • IP Internet Protocol
  • the UDP / IP 15 performs standard protocol processing for the transport layer (UDP) and the network layer (IP).
  • Output data of the UDP / IP 15 is supplied to the wireless LAN interface 16.
  • the wireless LAN interface 16 is a wireless communication transmitting / receiving unit.
  • a wireless LAN interface 16 is coupled to the wireless communication network 3 to perform bidirectional wireless communication.
  • a wireless LAN of the following standard can be used as the wireless communication network 3. IEEE.802.11a / 11b / 11g / 11n / 11ac / 11ad
  • a control unit 17 is provided for controlling each unit of the streaming server 1 (tuner unit 5, streaming unit 11, UDP / IP unit 15, wireless LAN interface 16, etc.).
  • the control unit 17 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and the processing of the streaming server 1 described later is performed under the control of the CPU.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the above-described streaming server 1 multicasts or broadcasts multiplexed broadcast data for a plurality of channels, for example, 5 channels.
  • the terminal 2 receives an information packet of broadcast data.
  • the terminal 2 processes a packet related to the channel selected from the received data and views a program of a desired channel.
  • the terminal 2 has a wireless LAN interface 21 and performs bidirectional wireless communication with the streaming server 1 via the wireless communication network 3.
  • a UDP / IP 22 is connected to the wireless LAN interface 21, and an AL-FEC decoder 23 is connected to the UDP / IP 22. Further, an A / V decoder 24 is connected to the AL-FEC decoder 23.
  • the wireless LAN interface 16 corresponds to the wireless LAN interface 16, UDP / IP 15, AL-FEC encoder 14, and A / V encoder 13 of the components of the streaming unit 11 of the streaming server 1, the wireless LAN interface 21, UDP / IP 22, AL-FEC decoder 23 And an A / V decoder 24 is provided. Further, a display / user input unit 25 is provided for playing back decoded video and audio and performing input such as user channel selection.
  • a control unit 26 is provided for controlling each unit of the terminal 2 (wireless LAN interface 21, UDP / IP 22, AL-FEC decoder 23, A / V decoder 24, etc.).
  • the control unit 26 includes a CPU, a RAM, a ROM, and the like, and the processing of the terminal 2 to be described later is performed under the control of the CPU.
  • FIG. 2 the flow of processing of the existing system is shown in FIG. 2, and the flow of processing of the first embodiment is shown in FIG.
  • the control unit of the terminal when the user makes an application startup request, the control unit of the terminal performs initialization.
  • the control unit of the streaming server performs initialization and receives a connection request from a terminal, it issues a connection permission.
  • the user selects a viewing channel and transmits a channel switching request to the control unit of the streaming server.
  • the streaming server outputs a request to start processing to the streaming unit, and the streaming unit performs high-rate hierarchy streaming start processing. Thereafter, the streaming data is transmitted to the terminal.
  • the terminal makes a display request to the streaming unit, and a high-rate hierarchical screen is displayed on the display unit. Thereafter, when the user selects a viewing channel, the same operation as described above is repeated.
  • a high-rate image streaming start process (indicated by P0) is performed in the streaming server from when the user performs a channel selection operation until the image of the channel is displayed. Needed. That is, since there are processes necessary for buffering for broadcast reception start, transcode start, and streaming, a waiting time is required until video display is started after the user selects a viewing channel.
  • the present technology can solve such a problem.
  • FIG. 3 showing the processing flow of the first embodiment, the respective sequences of the user 10, the control unit 26 of the terminal 2, the display unit 25, the streaming unit 11 and the control unit 17 of the streaming server 1 are shown. Yes.
  • three streaming units 11 1 , 11 2 , 11 3 are provided.
  • the control unit 26 of the terminal 2 When the user 10 makes an application launch request, the control unit 26 of the terminal 2 performs initialization. When initialization is performed, the control unit 17 of the streaming server 1 issues a process start request to each streaming unit. Each streaming unit performs a low bit rate streaming start process.
  • the control unit 17 of the streaming server 1 that has received the connection request from the terminal 2 transmits a connection permission to the terminal 2.
  • the connection request includes terminal information for identifying the terminal and user information (supported A / V codec, screen resolution, etc.).
  • the streaming units 11 1 , 11 2 , and 11 3 of the streaming server 1 perform a low bit rate streaming start process, and transmit the result to the terminal 2.
  • selecting a channel that is responsible of the streaming unit 11 1 the display request for the channel on the display unit 26 is performed. Since low bit rate streaming has already started, video display can be started immediately after the request. In parallel, the viewing stream is notified to the control unit 17 of the streaming server 1.
  • the streaming unit 11 1 is instructed to update the encoding parameter. Performing the streaming unit 11 1 is processed in optimum bit rate streaming (indicated by P1) In response to this instruction. Therefore, a full screen display of a bit rate stream suitable for the terminal is performed on the display unit 25 of the terminal 2 (indicated by P2).
  • the display request for the channel on the display unit 26 is performed.
  • the viewing stream is notified to the control unit 17 of the streaming server 1.
  • Streaming server 1 updates the encoding parameters is instructed to the streaming unit 11 2.
  • Performing the streaming unit 11 2 is the processing of the optimum bit rate streaming (indicated by P3) In response to this instruction. Therefore, a full screen display of a bit rate stream suitable for the terminal is performed on the display unit 25 of the terminal 2 (indicated by P4).
  • the encoding parameter update is instructed to the streaming unit 11 2 , the encoding parameter of the streaming unit 11 1 is changed to one that performs low bit rate streaming processing.
  • the first embodiment includes a plurality of streaming units 11, and all channels are always streamed by multicast simultaneously. Therefore, when the user's viewing channel selection operation is notified, there is no need for tuner tuning, transcoding, and FEC processing, and as a result, the video display of the selected channel immediately after the user selects the viewing channel. Can start.
  • the low bit rate image of the new channel can be displayed, so that the image is interrupted. Can be prevented.
  • the bandwidth can be used efficiently and high-quality viewing according to the reception conditions can be performed.
  • FIG. 4 is a time-series diagram transmitted from the server side to the terminal.
  • Ch_Data is transmitted from the server in packet units.
  • FIG. 4 When using the existing system unicast, as shown in FIG. 4, when viewing a television broadcast, a separate packet is required for each viewer terminal. Therefore, when a plurality of terminals 0, 1 and 2 view the same channel Ch1, it is necessary to transmit the same channel data for three units. Thus, the transmission efficiency is reduced in the existing system.
  • FIG. 6 is a state transition diagram of the streaming server 1.
  • UML Unified Modeling Language
  • the black circle indicates the start of the state diagram and the double black circle indicates the end of the state diagram.
  • the name section is “streaming service state”.
  • Action labels reserved in UML include Entry, Exit, Do, and Include. Entry: Indicates the action to be performed at the state exit Exit: Indicates the action to be performed at the state exit Do: Indicates the action to be performed at the state Include: Indicates to call the state machine that refines the state
  • the action label indicates an event that activates the action described to the right of /. Since these events are transitions inside the state, they are semantically the same as transitions to their own state except for the entry and exit of the state.
  • FIG. 7 shows an action for setting the streaming service start. That is, step ST1 (broadcast reception start setting) and step ST2 (UDP / IP transmission setting) are performed.
  • step ST2 a multicast address is set as a transmission destination, and multicast transmission is performed to the terminal.
  • FIG. 8 shows an action for setting the streaming service stop. That is, step ST3 (UDP / IP transmission stop setting) and step ST4 (streaming part stop setting) are performed.
  • FIG. 9 shows the action of the streaming parameter update process according to the connected terminal. That is, (setting update processing of streaming unit 0 (streaming unit 11 in FIG. 1 1)) Step ST5 0, (setting update processing of streaming unit 1 (streaming unit 11 in FIG. 1 2)) Step ST5 1, Step ST5 2 ( Step ST5 N (setting update processing of the streaming unit N) is performed in the streaming unit 2 (streaming unit 11 3 in FIG. 1).
  • FIG. 10 is a flowchart showing the action of the setting update process of the streaming unit.
  • a diamond mark in the flowchart represents a branching process.
  • Step ST11 Connection information is acquired. User information, terminal information, and viewing stream information are stored in the connection information. When there is a connected terminal, the following processing is performed.
  • Step ST12 Determination of A / V encoding encoding method
  • Step ST13 Determination of image resolution
  • Step ST14 Determination of frame rate
  • Step ST15 Determination of bit rate
  • Step ST16 Select encoding parameter when there is no connected terminal In other words, encoding is performed at the lowest level even when there is no connected terminal. Bandwidth saving and delay when selecting viewing channel can be eliminated.
  • Step ST17 Update A / V encoder settings
  • Step ST18 Update AL-FEC encoder settings
  • FIG. 11 is a flowchart showing the user request processing action of the streaming server 1.
  • Step ST21 A user request is acquired. When the user request is a connection request, the following processing is performed.
  • Step ST25 User information is acquired.
  • Step ST26 Terminal information is acquired.
  • Step ST27 The connection information is deleted.
  • Step ST28 A connection end notification is made and an end process is performed.
  • Step ST29 User information is acquired.
  • Step ST30 Terminal information is acquired.
  • Step ST31 Viewing stream information is acquired.
  • Step ST28 The viewing stream information is updated and the end process is performed.
  • connection information is shown in Table 1. Information on each terminal obtained at the time of the connection request and the high-rate hierarchy viewing notification is stored.
  • the encoding parameter selection for high-rate hierarchical streaming will be explained. Even when there is no connected terminal, encoding and streaming are performed at a relatively low level that is determined in advance, while minimizing the use of streaming bandwidth. When a viewing is selected from the terminal, it is possible to reproduce a desired channel without delay.
  • Table 2 shows an example of encoding parameters when there is no connection terminal.
  • Table 3 shows an example of encoding parameters when there are three connected terminals.
  • Table 5 shows other examples of encoding parameters when there are three connected terminals.
  • the example of selecting the encoding parameter with the most supported terminals and the example of selecting the lowest level encoding parameter are shown as the criteria for selecting the encoding parameter.
  • FIG. 12 is a view state transition diagram of the terminal 2.
  • the state (block) shown in FIG. 12 has two states: the name section is “waiting for viewing channel selection” and the name section is “high-rate hierarchical full screen display state”.
  • the action of requesting high-rate layer reception is activated by an event for selecting a viewing channel, and the state transitions from “listening channel selection waiting state” to “high-rate layer full screen display state”.
  • the high-rate hierarchy decoding stop action is activated by the high-rate hierarchy viewing end event, and transitions from the “high-rate hierarchy full screen display state” to the “viewing channel selection waiting state”.
  • the internal transition section of the “high rate hierarchy full screen display state” is as follows. Entry / high rate hierarchy full screen display status Do / user viewing end input check
  • the viewing channel selection screen display setting is executed in step ST41.
  • Step ST42 Monitor user input from the input device. If there is no user input, the process ends.
  • Step ST43 When the user selects a viewing channel, a viewing channel selection event occurs.
  • Step ST44 Issuing high-rate hierarchical viewing notification
  • Step ST45 High-rate hierarchical streaming wireless LAN reception setting
  • Step ST46 High-rate hierarchical streaming AL-FEC decoding setting
  • the high rate hierarchy full screen display setting is as shown in FIG. Step ST47: High-rate hierarchical streaming A / V decoding reception setting Step ST48: High-rate hierarchical full screen display setting
  • Step ST51 Monitor user input from the input device. If there is no input from the user, the process ends.
  • Step ST52 When the user selects to stop viewing, a high-rate hierarchy viewing end event occurs.
  • Step ST53 High-rate hierarchical streaming A / V decoding stop setting
  • Step ST54 High-rate hierarchical streaming AL-FEC stop setting
  • Second Embodiment> "System configuration" A system according to the second embodiment will be described with reference to FIG.
  • a system is configured by 102 m (when these terminals are not particularly distinguished, they are simply referred to as the terminals 102) and the wireless communication network 103.
  • An antenna unit 104 and a tuner unit 105 are connected to the streaming server 101.
  • a configuration in which n tuners are connected in parallel to the antenna unit 104 is used. It is possible to simultaneously receive television broadcasts of n channels. A diversity reception method may be used.
  • Each tuner of the tuner unit 105 receives a television broadcast signal, selects a channel, and performs digital demodulation processing.
  • the following standards for digital broadcasting can be applied.
  • the same content is transmitted at a plurality of rates (low rate layer and high rate layer) in a broadcast channel of television broadcasting.
  • low-rate hierarchical broadcasting is one-segment broadcasting
  • high-rate hierarchical broadcasting is full-segment broadcasting.
  • Television broadcasting is the one to which the following standards for digital broadcasting are applied.
  • the output of each tuner of the tuner unit 105 is supplied to the hierarchical data separation unit 50.
  • the hierarchical data separation unit 50 separates the low rate hierarchical data and the high rate hierarchical data.
  • the separated low rate layer data is supplied to the A / V decoder unit 52 of the low rate layer streaming unit 51.
  • the A / V decoder unit 52 includes n A / V decoders to which low rate hierarchical data is supplied.
  • the A / V decoder unit 52 performs A / V decoding processing of stream data.
  • the A / V decoder unit 52 can decode data to which the following standard is applied. H.264 / H.265 / HEVC / MPEG-4 AVC / MPEG-2
  • the output of the A / V decoder unit 52 is supplied to the video combiner 53, and one composite stream (multi-screen moving image) is created.
  • the output data of the video combiner 53 is supplied to the A / V encoder 54.
  • the A / V encoder 54 performs a process of reducing the data rate of digital television broadcasting to a rate that can be transmitted over a wireless communication network, and generates compressed stream data.
  • the output of the A / V encoder 54 is supplied to the AL-FEC encoder 55.
  • the A / V encoder 54 can generate data to which the following standard is applied. H.264 / H.265 / HEVC / MPEG-4 AVC / MPEG-2
  • the AL-FEC encoder 55 performs AL-FEC encoding processing of stream data.
  • the output of the streaming unit 51 is supplied to the UDP / IP 66.
  • the UDP / IP 66 performs standard protocol processing for the transport layer (UDP) and the network layer (IP).
  • Output data of the UDP / IP 66 is supplied to the wireless LAN interface 67.
  • the wireless LAN interface 67 is a wireless communication transmitting / receiving unit.
  • a wireless LAN interface 67 is coupled to the wireless communication network 103 to perform bidirectional wireless communication.
  • the following standard wireless LAN can be used. IEEE.802.11a / 11b / 11g / 11n / 11ac / 11ad
  • the n high rate hierarchical data separated by the hierarchical data separation unit 50 are supplied from the high rate hierarchical streaming unit 61 1 to the high rate hierarchical streaming unit 61 n , respectively.
  • the high-rate hierarchical streaming units 61 1 to 61 n (these high-rate hierarchical streaming units are simply referred to as the high-rate hierarchical streaming unit 61 when it is not necessary to distinguish between them) have the same configuration.
  • the high-rate hierarchical streaming unit 61 includes a channel selector 62, an A / V decoder 63, an A / V encoder 64, and an AL-FEC encoder 65.
  • the channel selector 62 selects stream data requested by the user and outputs it to the A / V decoder 63.
  • the A / V decoder 63 performs A / V decoding processing of stream data.
  • the A / V decoder 63 can decode data to which the following standard is applied.
  • the A / V encoder 64 can generate data to which the following standard is applied.
  • the AL-FEC encoder 65 performs AL-FEC encoding processing of stream data.
  • Outputs of the n high-rate hierarchical streaming units 61 are supplied to the UDP / IP 66, and output data of the UDP / IP 66 is supplied to the wireless LAN interface 67.
  • a wireless LAN interface 67 is coupled to the wireless communication network 103 to perform bidirectional wireless communication.
  • a wireless LAN of the following standard can be used as the wireless communication network 103. IEEE.802.11a / 11b / 11g / 11n / 11ac / 11ad
  • a control unit 68 for controlling each unit of the streaming server 101 (a tuner unit 105, a low rate layer streaming unit 51, a high rate layer streaming unit 61, a UDP / IP unit 66, a wireless LAN interface 67, etc.) is provided.
  • the control unit 68 includes a CPU, a RAM, a ROM, and the like, and the processing of the streaming server 101 described later is performed under the control of the CPU.
  • the streaming server 101 described above streams broadcast data.
  • the low rate layer transmits by multicast or broadcast, and the high rate layer transmits by unicast.
  • the terminal 102 processes a packet related to the channel selected from the received data and views a program of a desired channel.
  • the terminal 102 has the same configuration as the terminal 2 in the first embodiment described above. That is, it has a wireless LAN interface 71 and performs bidirectional wireless communication via the wireless communication network 103.
  • a UDP / IP 72 is connected to the wireless LAN interface 71, and an AL-FEC decoder 73 is connected to the UDP / IP 72.
  • an A / V decoder 74 is connected to the AL-FEC decoder 73.
  • a display / user input unit 75 is provided for playing back the decoded video and audio and performing input such as user channel selection.
  • a control unit 76 for controlling each unit of the terminal 102 (wireless LAN interface 71, UDP / IP 72, AL-FEC decoder 73, A / V decoder 74, etc.) is provided.
  • the control unit 76 includes a CPU, a RAM, a ROM, and the like, and the processing of the terminal 102 described later is performed under the control of the CPU.
  • FIG. 20 shows the flow of processing of the second embodiment.
  • the control unit 76 of the terminal 102 performs initialization.
  • the control unit 68 of the streaming server 101 issues a process start request to the low-rate hierarchical streaming unit 51.
  • the low-rate hierarchical streaming unit 51 performs a low bit-rate streaming start process. Then, low-rate hierarchical streaming is performed.
  • the control unit 68 of the streaming server 101 that has received the connection request from the terminal 102 transmits a connection permission to the terminal 102.
  • the connection request includes terminal information for identifying the terminal and user information (supported A / V codec, screen resolution, etc.).
  • the low-rate hierarchical multi-screen display is a user interface screen that divides one screen into n divided screens and simultaneously displays programs of n channels on each screen. The user 100 selects a channel he / she wants to view while viewing the low-rate hierarchical multi-screen display.
  • the control unit 68 of the streaming server 101 performs the high-rate hierarchical data transmission process, and the high-rate hierarchical streaming unit 61 corresponding to the instructed channel performs the streaming start process P12. I do. Thereafter, the high rate hierarchical streaming data is transmitted to the terminal.
  • the high-rate hierarchy full screen display P14 is performed by the high-rate hierarchy streaming data.
  • the high rate layer full screen display cannot be performed during the streaming start process P12. However, when the channel is selected in the multi-screen display, the terminal 102 immediately performs the low rate layer full screen display P13, and then the high rate layer full display. The screen display is switched to P14. Therefore, it is possible to prevent a delay in which no image is displayed.
  • the streaming server 101 sends a high rate layer transmission / reception quality notification.
  • the control unit 76 of the terminal 102 performs a determination process P15 using both the high-rate hierarchical broadcast reception quality and the wireless LAN communication quality. That is, it is determined whether high-rate hierarchical streaming can be continuously performed. If it is determined that the high-rate hierarchy streaming can be continuously performed, the high-rate hierarchy full screen display is continued. The determination process is performed, for example, at predetermined time intervals in the high-rate hierarchical full screen display state.
  • the display is switched to the low rate layer full screen display P17.
  • the display is switched to the low-rate hierarchical multi-screen display P18. Furthermore, when the user selects a viewing channel, the same operation as described above is repeated.
  • a multi-screen of a low-rate hierarchical stream is streamed by multicast and the data is shared.
  • the low-rate layer stream received on the multi-screen of the low-rate layer stream is complemented with a full screen during the streaming start processing time that occurs. Since a stream in which the low-rate hierarchical data of all the channels is always multi-streamed is multicast, the video display of the selected channel can be started immediately after the user selects the viewing channel.
  • the start of transcoding, and buffering for streaming it takes time until the video display is started after the user selects a viewing channel. On the other hand, immediately after the user selects the viewing channel, video display of the selected channel can be started.
  • the second embodiment can increase the transmission efficiency during wireless LAN streaming, as in the first embodiment.
  • data for each viewer is required as shown in FIG. Therefore, when a plurality of terminals 0, 1 and 2 view the same channel Ch1, it is necessary to transmit the same channel data for three units. Each terminal receives its own data. Thus, the transmission efficiency is reduced in the existing system.
  • FIG. 21 is a time-series diagram transmitted from the server side to the terminal. Ch_Data is transmitted from the server in packet units.
  • FIG. 21 is a time-series diagram transmitted from the server side to the terminal. Ch_Data is transmitted from the server in packet units.
  • a separate packet for each viewer terminal is required. Therefore, when a plurality of terminals 0, 1 and 2 view the same channel Ch1, it is necessary to transmit the same channel data for three units. Thus, the transmission efficiency is reduced in the existing system.
  • the streaming server 101 since the three terminals 102 1 , 102 2 , and 102 3 share the low-rate hierarchical multi-screen data by using multicast transmission, as shown in FIG. Therefore, the streaming server 101 only needs to perform the transmission efficiency. Furthermore, since the streaming server 101 knows the number of connected terminals and the address of the terminal, the stream rate is lowered when no terminal is connected. Further, when a viewing channel is selected in the terminal, the high-rate layer stream of the channel is unicast transmitted to the terminal, so that the user can view the high-rate layer broadcast.
  • the second embodiment can cope with reception quality deterioration due to in-car broadcast reception and wireless communication fluctuation.
  • switching control between the main broadcast (high rate layer stream) and the sub broadcast (low rate layer stream) is performed according to the broadcast reception quality.
  • the wireless LAN wireless communication quality is not taken into consideration, the main / sub broadcast cannot be appropriately selected.
  • the terminal side determines the reception quality of the main broadcast and the sub broadcast, thereby determining the reception of the broadcast and the wireless LAN wireless communication, and appropriately selects the high rate layer stream and the low rate layer stream. Selectable. Therefore, always good viewing can be realized.
  • FIG. 23 is a state transition diagram of the streaming server 101.
  • the name section is “streaming service state”.
  • Streaming service state starts with “service start event / low rate tier streaming start process” and ends with “service stop event / streaming service stop process”.
  • the internal transition section is:
  • Step ST101 Broadcast reception start setting
  • Step ST102 Low rate layer A / V encoder setting
  • Step ST103 Low rate layer AL-FEC encoding setting
  • Step ST104 Low rate layer UDP / IP transmission setting
  • FIG. 25 shows an action of the high-rate hierarchical broadcast reception quality notification process, and the following processes are performed in order.
  • Step ST105 High-rate hierarchical broadcast reception quality acquisition
  • Step ST106 High-rate hierarchical broadcast reception quality notification
  • FIG. 26 is a flowchart showing the user request processing action of the streaming server 101.
  • Step ST110 A user request is acquired. When the user request is a connection request, the following processing is performed in order.
  • Step ST115 User information is acquired.
  • Step ST116 Terminal information is acquired.
  • Step ST117 Connection information is deleted.
  • Step ST118 A connection end notification is made and the end process is performed.
  • Step ST119 User information is acquired.
  • Step ST120 Terminal information is acquired.
  • Step ST121 Selected channel information is acquired.
  • Step ST122 A high-rate hierarchical streaming unit viewing channel switching instruction is issued.
  • Step ST123 An instruction to start viewing the high-rate hierarchical streaming unit is issued.
  • Step ST124 A high-rate hierarchical streaming unit service failure notification is made.
  • Step ST125 User information is acquired.
  • Step ST126 Terminal information is acquired.
  • Step ST127 A high-rate hierarchical streaming unit stop instruction is issued, and the process ends.
  • FIG. 27 shows an action for setting a low-rate hierarchical streaming service stop.
  • Step ST131 Low rate layer UDP / IP transmission stop setting
  • Step ST132 Low rate layer AL-FEC stop setting
  • Step ST133 Low rate layer A / V encoding stop setting
  • Step ST134 Broadcast reception stop setting
  • FIG. 28 is a state transition diagram of the high-rate hierarchical streaming unit.
  • a state transition occurs in response to an instruction issued from “user request processing”.
  • a transition is made between the idle state and the service state.
  • the transition from the idle state to the service state is performed by the following processing.
  • High-rate hierarchical streaming section viewing start instruction / High-rate hierarchical streaming section viewing start processing
  • High-rate hierarchical streaming section viewing stop instruction High-rate hierarchical streaming section viewing stop processing
  • High-rate hierarchical streaming unit viewing CH switching instruction High-rate hierarchical streaming unit viewing CH switching processing
  • FIG. 29 shows the high-rate hierarchical streaming unit viewing start process. This process is performed by sequentially performing the following processes.
  • Step ST141 Broadcast reception start setting
  • Step ST142 High-rate layer A / V encoding setting
  • Step ST143 High-rate layer AL-FEC encoding setting
  • Step ST144 High-rate layer UDP / IP transmission setting
  • step ST144 high-rate layer streaming is performed.
  • Unicast transmission is performed for each terminal (send to an address for each terminal).
  • FIG. 30 shows the high-rate hierarchical streaming unit viewing channel switching process. This process is performed by sequentially performing the following processes.
  • Step ST145 Broadcast reception change setting
  • Step ST146 High rate layer A / V encoding setting
  • Step ST147 High rate layer AL-FEC encoding setting
  • Step ST148 High rate layer UDP / IP transmission setting
  • step ST148 streaming of the high rate layer is performed.
  • Unicast transmission is performed for each terminal (send to an address for each terminal).
  • FIG. 31 shows the high-rate hierarchical streaming unit viewing stop setting process. This process is performed by sequentially performing the following processes.
  • Step ST149 High rate layer A / V encoding stop setting
  • Step ST150 High rate layer AL-FEC encoding stop setting
  • Step ST151 High rate layer UDP / IP transmission stop setting
  • Step ST152 Broadcast reception stop setting
  • FIG. 32 is a view state transition diagram of the terminal 102.
  • the name section is “low-rate tier multi-screen display state”
  • the name section is “low-rate tier full screen display state”
  • the name section is “high-rate tier full”.
  • FIG. 33A is a low-rate hierarchical multi-screen display.
  • one screen is divided into nine (3 ⁇ 3) screens, and programs of different channels (1 to 9) are displayed on each of the divided screens. Since a stream in which the low-rate hierarchical data of all channels is always multi-streamed is multicast, the user can view the low-rate hierarchical multi-screen display at any time. Further, a desired divided screen can be selected for multi-screen display. A viewing channel is selected by selecting a desired divided screen by a user input such as a cursor operation (remote control commander operation) or a touch panel operation.
  • a cursor operation remote control commander operation
  • touch panel operation a touch panel operation
  • FIG. 33B is a low-rate hierarchical full screen display.
  • the low-rate hierarchical full screen display of channel 1 is made.
  • full screen display of the selected channel can be started.
  • the high-rate layer full screen display shown in FIG. 33C is performed. In addition to channel selection by the user, switching between low-rate hierarchical streaming and high-rate hierarchical streaming is automatically performed according to reception quality.
  • Low-rate hierarchical multi-screen display state This state is entered according to the viewing application activation / low rate hierarchical WLAN reception setting. In the “low-rate hierarchical multi-screen display state”, the following processing is performed. Entry / low rate hierarchy multi-screen display status Do / user channel selection input check
  • the transition from the “low rate layer multi-screen display state” to the “low rate layer full screen display state” is performed by the following process. Viewing channel selection / high rate layer reception request
  • Low-rate hierarchy full screen display state In the “low rate layer full screen display state”, the following processing is performed. Entry / Low-rate layer full screen display setting Do / High-rate layer reception quality check Do / Reception of high-rate layer broadcast reception quality notification Do / User viewing end input check
  • the transition from the “high rate layer full screen display state” to the “low rate layer full screen display state” is performed by the high rate layer data NG or the next processing. Viewing channel selection / high rate layer reception request
  • FIG. 34 shows the low-rate hierarchical wireless LAN reception setting process. This process is performed by sequentially performing the following processes.
  • Step ST161 Streaming server connection
  • Step ST162 Low-rate hierarchical streaming reception setting
  • Step ST163 Low-rate hierarchical streaming AL-FEC decoding setting
  • FIG. 35 shows the low-rate hierarchical multi-screen display setting process. This process is performed by sequentially performing the following processes.
  • Step ST164 Low-rate hierarchical streaming AV decoding setting
  • Step ST165 Low-rate hierarchical multi-screen display setting
  • FIG. 36 shows a user channel selection input check process. This process is performed by sequentially performing the following processes.
  • Step ST166 User input monitor from input device
  • Step ST167 When the user input is channel selection, a viewing CH selection event occurs. If there is no input from the user, the process ends.
  • FIG. 37 shows high-rate hierarchical reception request processing. This process is performed by sequentially performing the following processes.
  • Step ST168 Issuance of high rate layer reception request
  • Step ST169 High rate layer streaming wireless LAN reception setting
  • Step ST170 High rate layer streaming AL-FEC decoding setting
  • FIG. 38 shows the low-rate hierarchical full screen display setting process. This process is performed by sequentially performing the following processes.
  • Step ST171 Low-rate hierarchical streaming AV decoding setting
  • Step ST172 Low-rate hierarchical full screen display setting
  • FIG. 39 shows a reception process of the high-rate hierarchical broadcast reception quality notification. This process is performed by performing the following process. Step ST173: Reception of high-rate hierarchical broadcast reception quality notification
  • FIG. 40 shows the high rate layer reception quality check process. This process is performed by sequentially performing the following processes.
  • Step ST174 Monitor the buffering state of the high rate layer received data
  • Step ST175 When the buffer data amount reaches the reference, the high rate layer wireless LAN reception quality is acquired.
  • Step ST176 The packet error rate exceeds the reference, a high rate hierarchical data NG event occurs, and the process ends.
  • Step ST177 When the packet error rate is within the standard, high-rate hierarchical broadcast reception quality acquisition is acquired.
  • Step ST178 The broadcast reception quality exceeds the standard (if the quality is worse than the standard), a high rate hierarchical data NG event occurs and the process ends.
  • MPEG2-TS packet error rate or SNR signal to noise ratio
  • Step ST179 If the broadcast reception quality is within the standard, a high-rate hierarchical data OK event occurs and the process ends.
  • Step ST180 If the buffer data amount does not reach the standard, the process is terminated.
  • the data of the high rate layer can be used in consideration of both the reception quality (for example, packet error rate) of the wireless LAN and the broadcast reception quality.
  • the reception quality for example, packet error rate
  • a high-rate hierarchical data OK event occurs.
  • this data cannot be used, a high-rate hierarchical data NG event occurs.
  • FIG. 41 shows a user viewing end input check process. This process is performed by sequentially performing the following processes.
  • Step ST181 User Input Monitor from Input Device
  • Step ST182 When the user input is a viewing stop, a full screen viewing end event occurs. If there is no input from the user, the process ends.
  • FIG. 42 shows the high-rate hierarchical full screen display setting process. This process is performed by sequentially performing the following processes.
  • Step ST183 High-rate hierarchical streaming A / V decoding setting
  • Step ST184 High-rate hierarchical full screen display setting
  • the channel selection is performed by presenting the low-rate hierarchical multi-screen display to the user and selecting the divided screen corresponding to the desired channel by the user. Has been made.
  • user interface additional information may be displayed in addition to the program image as shown in FIG. 33A.
  • additional information can be displayed using a part of the divided screen, or additional information can be displayed near the divided screen.
  • the user interface additional information can be the following.
  • Related information display Program information (summary, cast), program end time information Navigation information (congestion information, route information, arrival time) Town information (Nearby shops, spots, parking lots) Weather (weather, temperature, humidity) Drive recorder video display
  • Recommend function Send recommended programs to other passengers Introduce programs that can be viewed before arriving at the destination Introduce programs that can be viewed while moving (local programs) Introducing programs currently being viewed in the car Viewing support: A function that records the program on the recorder when the program cannot be viewed due to arrival at the destination, etc. Number of programs displayed on multiple screens A function that allows you to select the size and position freely.
  • the support function of channel selection where the parent's terminal has the right to select a child's terminal select the program you want to watch, viewing restrictions
  • Image quality control other than viewing quality Premium members, number of viewers, majority method, auction
  • this technique can also take the following structures.
  • a multi-channel encoder adapted to encode the input stream and switch the output data rate between at least two stages;
  • a wireless communication device that transmits the output of the encoder to a terminal through a wireless communication network;
  • the communication apparatus is configured to transmit the high-rate stream to the terminal for which the channel has been selected by switching the output of the encoder from a low-rate stream to a high-rate stream.
  • the communication apparatus according to (1) wherein the input stream is digital broadcast data.
  • transmission of the high-rate stream is performed by multicast or unicast.
  • a wireless communication device that receives a stream transmitted from a server through a wireless communication network; A decoder for decoding the received stream; A display for displaying the decoded stream; A communication device comprising: a controller that transmits channel selection information to the server and switches parameters of the decoder so as to decode a low-rate stream or a high-rate stream transmitted from the server.
  • a first streaming unit that encodes the input stream into a low rate stream including user interface information
  • a second streaming unit that encodes the input stream into a high rate stream
  • a wireless communication device that transmits outputs of the first streaming unit and the second streaming unit to a terminal through a wireless communication network;
  • the high-rate stream of the second streaming unit of the selected channel is transmitted to the terminal.
  • a control unit that controls to transmit the data.
  • the communication device which is a multi-screen display that displays images of a plurality of channels that can be selected by the user interface information on a divided screen.
  • the communication device which is a multi-screen display that displays images of a plurality of channels that can be selected by the user interface information on a divided screen.
  • the communication device which is additional information is displayed with respect to the multi-screen display.
  • the communication apparatus wherein the first streaming unit always performs an encoding process.
  • a wireless communication device that receives one of a low-rate stream and a high-rate stream transmitted from a server through a wireless communication network; A decoder for decoding the received low rate stream and high rate stream; A display for displaying the decoded stream; A channel selection screen is displayed on the display unit according to user interface information included in the low-rate stream, information on channel selection made using the channel selection screen is transmitted to the server, and the high-level information transmitted from the server is transmitted. And a control unit that controls to decode the rate stream. (13) The communication device according to (12), wherein the control unit controls to display a full screen of the low-rate stream in a transition period from the channel selection screen to displaying the screen of the high-rate stream.
  • the reception quality of the high-rate stream is determined based on the reception quality information of the input stream and the quality of wireless communication, and the stream to be decoded is selected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

入力ストリームをエンコードすると共に、出力データのレートを少なくとも2段階に切り替えるようになされた複数チャンネルのエンコーダと、エンコーダの出力を無線通信網を通じて端末に対して送信する無線通信装置と、端末においてチャンネル選択がなされると、エンコーダの出力を低レートストリームから高レートストリームに切り替えてチャンネル選択がなされた端末に対して高レートストリームを伝送するようにした通信装置である。

Description

通信装置
 本技術は、放送や携帯無線通信に適用される通信装置に関する。
 最近では、地上デジタル放送のチューナを搭載して地上デジタル放送を無線LAN(Wireless Local Area Network)によって再配信することができる放送受信サーバが提案されている。この装置の場合では、無線通信による伝送遅延や無線通信の帯域制限などから、テレビジョン視聴に求められている選局の応答性や多くの端末で視聴可能といった機能が制限されている。この制限されている不便さを解消して、家庭内、車内等に無線LANのネットワークを構築し、放送受信サーバが受信したデジタル放送を無線LANによって再配信して、複数の端末がテレビジョン放送を同時に視聴するシステムが考えられる。例えば車内で同時に複数の人が自分の端末(スマートフォン、タブレット等)によってテレビジョン放送の好きな番組を楽しむことができる。
 従来、移動局用の無線基地局にテレビジョンチューナを設け、受信したデジタル放送のコンテンツと電子番組表の情報をブロードキャスト又はマルチキャストし、移動局がこのコンテンツと電子番組表の情報を受信してデジタル放送を視聴することが提案されている(特許文献1参照)。さらに、移動体でのデジタル放送の受信に関して、固定向けデジタル放送及び移動体向けデジタル放送を受信することを可能とし、状況に応じて一方のデジタル放送を受信することが提案されている(特許文献2参照)。
特開2013-038513号公報 特許第3772830号公報
 複数の端末によってテレビジョン放送を同時に視聴するシステムにおいて次のような問題が発生することが認められた。
 第1に、視聴チャンネルの選択時にストリーミング開始処理(選局、トランスコード、FEC(Forward Error Correction)処理等)が必要なため、チャンネルの選択から、画像、音声が端末で出力されるまでに時間を要するため、番組視聴までの待ち時間が発生する。
 第2に、無線LANによるストリーミング時の伝送効率が低下する。ユニキャストを用いたテレビジョン視聴時には、視聴者各人用のデータが必要であり、複数人が同じチャンネルを視聴すると人数分、同じチャンネルのデータを送信しなければならず、伝送効率が低下する。上述した特許文献1及び特許文献2には、かかる問題を解決することについては記載されていない。
 したがって、本技術の目的は、これらの問題点が解消できる通信装置を提供することにある。
 上述の課題を解決するために、本技術は、入力ストリームをエンコードすると共に、出力データのレートを少なくとも2段階に切り替えるようになされた複数チャンネルのエンコーダと、
 エンコーダの出力を無線通信網を通じて端末に対して送信する無線通信装置と、
 端末においてチャンネル選択がなされると、エンコーダの出力を低レートストリームから高レートストリームに切り替えてチャンネル選択がなされた端末に対して高レートストリームを伝送するようにした通信装置(サーバ)である。
 例えば、日本のISDB-T(Integrated Services Digital Broadcasting-Terrestrial)放送では階層伝送が行われており、低レート階層としてワンセグ放送があり、高レート階層としてフルセグ放送がある。ワンセグ放送で送られているストリームが低レートストリームであり、フルセグ放送で送られているストリームが高レートストリームである。
 また、本技術は、サーバから無線通信網を通じて送信されるストリームを受信する無線通信装置と、
 受信されたストリームをデコードするデコーダと、
 デコードされたストリームを表示する表示部と、
 チャンネル選択の情報をサーバに送信し、サーバから伝送される低レートストリームもしくは高レートストリームをデコードするように、デコーダのパラメータを切り替える制御部と
 を備える通信装置(端末)である。
 また、本技術は、入力ストリームをユーザインターフェース情報を含む低レートストリームにエンコードする第1のストリーミング部と、
 入力ストリームを高レートストリームにエンコードする第2のストリーミング部と、
 第1のストリーミング部及び第2のストリーミング部の出力を無線通信網を通じて端末に対して送信する無線通信装置と、
 低レートストリームを伝送している状態で、ユーザインターフェース情報を利用して端末においてチャンネル選択がなされると、選択されたチャンネルの第2のストリーミング部の高レートストリームを端末に対して伝送するように制御する制御部と
 を備える通信装置(サーバ)である。
 また、本技術は、サーバから無線通信網を通じて送信される低レートストリーム及び高レートストリームの一方を受信する無線通信装置と、
 受信された低レートストリーム及び高レートストリームをデコードするデコーダと、
 デコードされたストリームを表示する表示部と、
 低レートストリームに含まれるユーザインターフェース情報によって表示部にチャンネル選択画面を表示し、チャンネル選択画面を使用してなされたチャンネル選択の情報をサーバに送信し、サーバから伝送された高レートストリームをデコードするように制御する制御部と
 を備える通信装置(端末)である。
 少なくとも一つの実施形態によれば、ユーザが端末において視聴チャンネルを選択すると、直ぐに選択したチャンネルを視聴することができる。さらに、視聴されてないチャンネルの場合には、ストリーミングのレートを低下させて無線通信の帯域の無駄を省くことができる。視聴している端末が存在しない場合も同様の処理がなされる。なお、ここに記載された効果は必ずしも限定されるものではなく、本技術中に記載されたいずれの効果であってもよい。また、以下の説明における例示された効果により本技術の内容が限定して解釈されるものではない。
第1の実施の形態のシステムの説明に使用するブロック図である。 既存のシステムの処理を説明するためのシーケンス図である。 第1の実施の形態の処理を説明するためのシーケンス図である。 既存のシステムの処理を説明するための略線図である。 本技術の処理を説明するための略線図である。 ストリーミングサーバの状態遷移図である。 ストリーミングサービス開始設定の処理を示すフローチャートである。 ストリーミングサービス停止設定の処理を示すフローチャートである。 ストリーミングパラメータ更新の処理を示すフローチャートである。 ストリーミング部設定更新処理を示すフローチャートである。 ストリーミングサービスの処理を示すフローチャートである。 端末の状態遷移図である。 視聴チャンネル選択画面表示設定の処理を示すフローチャートである。 ユーザチャンネル選択入力チェックの処理を示すフローチャートである。 高レート階層受信要求の処理を示すフローチャートである。 高レート階層フル画面表示設定の処理を示すフローチャートである。 ユーザ視聴終了入力チェックの処理を示すフローチャートである。 高レート階層デコード停止設定の処理を示すフローチャートである。 第2の実施の形態のシステムの説明に使用するブロック図である。 第2の実施の形態の処理を説明するためのシーケンス図である。 既存のシステムの処理を説明するための略線図である。 本技術の処理を説明するための略線図である。 ストリーミングサーバの状態遷移図である。 低レート階層ストリーミング開始処理を示すフローチャートである。 高レート階層放送受信品質通知設定処理を示すフローチャートである。 ユーザ要求処理を示すフローチャートである。 低レート階層ストリーミング停止処理を示すフローチャートである。 高レート階層ストリーミング部の状態遷移図である。 高レート階層ストリーミング部視聴開始処理を示すフローチャートである。 高レート階層ストリーミング部視聴チェック切替処理を示すフローチャートである。 高レート階層ストリーミング部視聴停止処理を示すフローチャートである。 端末の状態遷移図である。 画面表示を示す略線図である。 低レート階層無線LAN受信設定処理を示すフローチャートである。 低レート階層マルチ画面表示設定処理を示すフローチャートである。 ユーザチャンネル選択入力チェック処理を示すフローチャートである。 高レート階層受信要求処理を示すフローチャートである。 低レート階層フル画面表示設定処理を示すフローチャートである。 高レート階層放送受信品質通知の受信処理を示すフローチャートである。 高レート階層受信品質チェックを示すフローチャートである。 ユーザ視聴終了入力チェックの処理を示すフローチャートである。 高レート階層フル画面表示設定の処理を示すフローチャートである。
 以下に説明する実施の形態は、本技術の好適な具体例であり、技術的に好ましい種々の限定が付されている。しかしながら、本技術の範囲は、以下の説明において、特に本技術を限定する旨の記載がない限り、これらの実施の形態に限定されないものとする。
 なお、本技術の説明は、次の順序にしたがってなされる。
<1.第1の実施の形態>
<2.第2の実施の形態>
<3.変形例>
<1.第1の実施の形態>
「システム構成」
 図1を参照して第1の実施の形態のシステムについて説明する。デジタル放送例えば地上デジタル放送を受信して無線通信網を通じて放送番組を再配信するストリーミングサーバ(放送局、携帯基地局、無線LAN基地局等)1と、複数の例えばm個の無線通信の通信装置である端末21,22,---2m(これらの端末を特に区別する必要がない場合は単に端末2と称する)と、無線通信網(図ではWLANと表記する)3とによってシステムが構成される。
 ストリーミングサーバ1に対してアンテナ部4及びチューナ部5が接続されている。図1では、アンテナ部4及びチューナ部5の構成例として単一アンテナ及び単一チューナからなる構成、単一アンテナ及びマルチチューナからなる構成、ダイバーシティアンテナ及び単一チューナからなる構成、ダイバーシティアンテナ及びマルチチューナからなる構成が示されている。これらの構成の何れも使用することができる。
 チューナ部5の各チューナは、テレビジョン放送信号を受信し、選局し、デジタル復調処理を行う。デジタル放送の次の規格を適用できる。
 DVB-T/DVB-T2/DVB-H/DVB-C/DVB-C2/ISDB-T/DVB-S/DVB-S2/ATSC-MH/ATSC-3.0
 DTMB
 複数のチャンネル(図面中ではCHと適宜表記する)のテレビジョン放送を同時に受信する場合には、複数(n個)のチューナが使用される。チューナ部5の各チューナの出力がストリーミングサーバ1のn個のストリーミング部111,112,113,---11n(これらのストリーミング部を特に区別する必要がない場合は単にストリーミング部11と称する)に供給される。
 ストリーミング部11は、チューナ部5の出力が供給されるA/Vデコーダ12と、A/Vデコーダ12の出力が供給されるA/Vエンコーダ13と、A/Vエンコーダ13の出力が供給されるAL-FECエンコーダ14を有している。A/Vデコーダ12は、ストリームデータのA/Vデコード処理を行う。A/Vデコーダ12は、次の規格が適用されたデータをデコードする。
 H.264/H.265/HEVC/MPEG-4 AVC/MPEG-2/
 A/Vエンコーダ13は、例えばデジタルテレビジョン放送のデータのレートを無線通信網で伝送できるレートに下げる処理を行い、圧縮されたストリームデータを生成する。A/Vエンコーダ13は、次の規格によるデータを生成することができる。
 H.264/H.265/HEVC/MPEG-4 AVC/MPEG-2/
 AL-FECエンコーダ14は、ストリームデータのAL-FEC(Application Layer-Forward Error Correction)の符号化処理を行う。
 ストリーミング部11の出力がUDP(User Datagram Protocol)/IP(Internet Protocol) 15に供給される。UDP/IP15は、トランスポート層(UDP)、ネットワーク層(IP)の標準のプロトコルの処理を行う。
 UDP/IP15の出力データが無線LANインターフェース16に供給される。無線LANインターフェース16は、無線通信送受信部である。無線LANインターフェース16が無線通信網3と結合され、双方向無線通信を行う。次の規格の無線LANを無線通信網3として使用できる。
 IEEE.802.11a/11b/11g/11n/11ac/11ad
 ストリーミングサーバ1の各部(チューナ部5、ストリーミング部11、UDP/IP部15、無線LANインターフェース16等)を制御するための制御部17が設けられている。制御部17は、CPU(Central Processing Unit )、RAM(Random Access Memory)、ROM(Read Only Memory)等で構成され、後述するストリーミングサーバ1の処理は、CPUの制御によってなされるものである。
 上述したストリーミングサーバ1が複数チャンネル分例えば5チャンネル分の多重化された放送データをマルチキャスト又はブロードキャストする。端末2が放送データの情報パケットを受信する。端末2は、受信データから選択したチャンネルに関連するパケットを処理して所望のチャンネルの番組を視聴する。
 端末2は、図1に示すように、無線LANインターフェース21を有し、無線通信網3を介しストリーミングサーバ1と双方向無線通信を行う。無線LANインターフェース21に対してUDP/IP22が接続され、UDP/IP22に対してAL-FECデコーダ23が接続される。さらに、AL-FECデコーダ23に対してA/Vデコーダ24が接続される。
 ストリーミングサーバ1のストリーミング部11の構成要素の無線LANインターフェース16、UDP/IP15、AL-FECエンコーダ14及びA/Vエンコーダ13に対応して、無線LANインターフェース21、UDP/IP22、AL-FECデコーダ23及びA/Vデコーダ24が設けられている。さらに、復号した映像及び音声を再生し、ユーザのチャンネル選択等の入力を行うために、表示部/ユーザ入力部25が設けられている。
 端末2の各部(無線LANインターフェース21、UDP/IP22、AL-FECデコーダ23及びA/Vデコーダ24等)を制御するための制御部26が設けられている。制御部26は、CPU、RAM、ROM等で構成され、後述する端末2の処理は、CPUの制御によってなされるものである。
「既存システムの処理の流れ」
 本技術の理解の容易のために、既存のシステムの処理の流れを図2に示し、第1の実施の形態の処理の流れを図3に示す。既存の処理では、ユーザがアプリケーション立ち上げ要求を行うと、端末の制御部が初期化を行う。ストリーミングサーバの制御部が初期化を行っており、端末からの接続要求を受け付けると、接続許可を発行する。
 ユーザが視聴チャンネルの選択を行い、チャンネル切り替え要求をストリーミングサーバの制御部に送信する。ストリーミングサーバが処理開始の要求をストリーミング部に出力し、ストリーミング部が高レート階層のストリーミング開始処理を行う。その後、ストリーミングデータを端末に送信する。
 端末がストリーミング部に表示要求を行い、表示部に高レートの階層画面が表示される。その後、ユーザが視聴チャンネルの選択を行うと、上述したのと同様の動作が繰り返される。
 図2に示されるように、既存の処理では、ユーザがチャンネル選択の操作を行ってからそのチャンネルの画像が表示されるまでに、ストリーミングサーバにおいて、高レート画像ストリーミング開始処理(P0で示す)が必要とされる。すなわち、放送受信開始やトランスコード開始、ストリーミングのためのバッファリングに必要な処理が有るため、ユーザが視聴チャンネルを選択後、映像表示が開始されるまで、待ち時間が必要となる。本技術は、かかる問題を解決することができる。
「第1の実施の形態の処理の流れ」
 第1の実施の形態の処理の流れを示す図3においては、ユーザ10、端末2の制御部26、表示部25、ストリーミングサーバ1のストリーミング部11及び制御部17のそれぞれのシーケンスが示されている。一例として、3個のストリーミング部111、112、113が備えられている。
 ユーザ10がアプリケーション立ち上げ要求を行うと、端末2の制御部26が初期化を行う。ストリーミングサーバ1の制御部17では、初期化を行うと、各ストリーミング部に対して処理開始要求を行う。各ストリーミング部が低ビットレートストリーミング開始処理を行う。
 端末2からの接続要求を受信したストリーミングサーバ1の制御部17が接続許可を端末2に送信する。接続要求には、端末を特定するための端末情報とユーザ情報(サポートされるA/V codec及び画面解像度等)が含まれる。
 ストリーミングサーバ1のストリーミング部111、112、113が低ビットレートのストリーミング開始処理をそれぞれ行い、端末2に対して送信する。ユーザ10が視聴チャンネルとして、ストリーミング部111の受け持っているチャンネルを選択すると、表示部26に対してそのチャンネルの表示要求がなされる。既に低ビットレートストリーミングが開始されているので、要求後即映像表示が開始できる。並行してストリーミングサーバ1の制御部17に対して視聴ストリームの通知がなされる。
 ストリーミングサーバ1では、ストリーミング部111に対してエンコードパラメータの更新が指示される。この指示を受けてストリーミング部111が最適ビットレートストリーミングの処理(P1で示す)を行う。したがって、端末2の表示部25において、端末に適したビットレートストリームのフル画面表示がなされる(P2で示す)。
 さらに、ユーザ10が視聴チャンネルとして、ストリーミング部112 の受け持っているチャンネルを選択すると、表示部26に対してそのチャンネルの表示要求がなされる。並行してストリーミングサーバ1の制御部17に対して視聴ストリームの通知がなされる。
 ストリーミングサーバ1では、ストリーミング部112に対してエンコードパラメータの更新が指示される。この指示を受けてストリーミング部112が最適ビットレートストリーミングの処理(P3で示す)を行う。したがって、端末2の表示部25において、端末に適したビットレートストリームのフル画面表示がなされる(P4で示す)。なお、ストリーミング部112に対してエンコードパラメータの更新が指示されるときに、ストリーミング部111のエンコードパラメータが低ビットレートストリーミングの処理を行うものに変更される。
 第1の実施の形態は、複数のストリーミング部11を備えており、常に全チャンネル同時にマルチキャストでストリーミングされている。したがって、ユーザの視聴チャンネルの選択操作が通知されると、チューナーの選局、トランスコード、FECの処理を必要がなく、その結果、ユーザが視聴チャンネルを選択直後に、選択されたチャンネルの映像表示が開始できる。
 チャンネルの選択を行った場合に以前のチャンネルの画像から新たなチャンネルの画像を表示するまでの遷移状態では、新たなチャンネルの低ビットレートの画像を表示することができるので、画像が途切れることを防止することができる。
 チャンネルの選択要求により、ストリーミングサーバのエンコードパラメータが低レートビット設定から最適なエンコードパラメータに切り替えられるため、帯域を効率的に利用でき、受信条件に即した高画質視聴ができる。
「既存システムの処理」
 次に、無線LANストリーミング時の伝送効率に関して説明する。図4は、サーバ側から端末に送信する時系列の図である。サーバからCh_Dataがパケット単位で送信される。既存システムのユニキャストを使用する場合、図4に示すように、テレビジョン放送の視聴時には、視聴者各人用の端末に対しての個別のパケットが必要とされる。したがって、複数の端末0、端末1、端末2が同一のチャンネルCh1を視聴すると、3台分、同一チャンネルデータを送信する必要がある。このように既存システムでは伝送効率が低下する。
「第1の実施の形態の処理」
 本技術では、マルチキャスト伝送を用いることにより、図5に示すように、同一チャンネルの視聴要求に対して、送信パケットを3台の端末21、22、23が共用するので、一度のパケット送信をストリーミングサーバ1が行えばよく、伝送効率を上げることができる。さらに、ストリーミングサーバ101では、接続している端末の台数、端末のアドレスが分かるので、端末が何ら接続されていない状態では、ストリームのレートを下げるようになされる。
「ストリーミングサーバの処理」
 第1の実施の形態におけるストリーミングサーバ1の処理について説明する。図6は、ストリーミングサーバ1の状態遷移図である。以下の説明においても同様であるが、説明用の言語としてUML (Unified Modeling Language)(統一モデリング言語)を使用する。UMLでは、黒丸が状態図の開始を示し、二重の黒丸が状態図の終了を示す。図6の状態(ブロック)は、名前の区画が「ストリーミングサービス状態」である。
 内部遷移区画ではアクションを構文(アクションラベル/アクション)で記述する。
 UMLで予約されているアクションラベルには、Entry、Exit、Do、Includeがある。
 Entry:状態の入口で実行されるアクションを示す
 Exit:状態の出口で実行されるアクションを示す
 Do:状態で実行されるアクションを示す
 Include:状態を詳細化している状態機械を呼び出すことを示す
 アクションラベルは、/の右に記述されたアクションを起動するイベントを示している。これらのイベントは状態内部での遷移になるので、状態の出入りを除くと、意味的には自分自身の状態への遷移と同じである。
 「ストリーミングサービス状態」は、「サービス開始イベント/ストリーミングサービス開始設定」によって開始し、「サービス停止イベント/ストリーミングサービス停止設定」によって終了する。内部遷移区画が次のものである。
 Entry/
 Do/接続端末に応じたストリーミングパラメータ更新処理
 Do/ユーザ要求処理
 Exit/
 ストリーミングサーバ1の動作について説明する。図7は、ストリーミングサービス開始設定のアクションを示す。すなわち、ステップST1(放送受信開始設定)及びステップST2(UDP/IP送信設定)がなされる。ステップST2では、送信先としてマルチキャストアドレスを設定し、端末に対してマルチキャスト伝送を行う。
 図8は、ストリーミングサービス停止設定のアクションを示す。すなわち、ステップST3(UDP/IP送信停止設定)及びステップST4(ストリーミング部停止設定)がなされる。
 図9は、接続端末に応じたストリーミングパラメータ更新処理のアクションを示す。すなわち、ステップST50(ストリーミング部0(図1におけるストリーミング部111)の設定更新処理)、ステップST51(ストリーミング部1(図1におけるストリーミング部112)の設定更新処理)、ステップST52(ストリーミング部2(図1におけるストリーミング部113)の設定更新処理)----、ステップST5N(ストリーミング部Nの設定更新処理)がなされる。
 図10は、ストリーミング部の設定更新処理のアクションを示すフローチャートである。フローチャート中の菱形のマークは、分岐処理を表している。
 ステップST11:接続情報が取得される。接続情報内にユーザ情報、端末情報、視聴ストリーム情報が格納されている。
 接続端末がある場合に、以下の処理がなされる。
 ステップST12:A/Vエンコード符号化方式の決定
 ステップST13:画像解像度の決定
 ステップST14:フレームレートの決定
 ステップST15:ビットレートの決定
 接続端末がサポートするプロファイルレベルの内から最もサポートする端末が多いエンコードパラメータを選択し、選択されたパラメータによってエンコードを行う。その結果、可能な限り多くの端末がサービスを受けることができるようにする。無駄に高いレベルを選択することによる、演算量の増加及び帯域の使用を避けることができる。
 接続端末がない場合には、ステップST16の処理がなされる。
 ステップST16:接続端末がない場合のエンコードパラメータを選択
 すなわち、接続端末がない場合でも、最低レベルでエンコードを行う。帯域節約と視聴チャンネル選択時の遅延をなくすことができる。
 ステップST17:A/Vエンコーダの設定を更新
 ステップST18:AL-FECエンコーダの設定を更新
 図11は、ストリーミングサーバ1のユーザ要求処理のアクションを示すフローチャートである。
 ステップST21:ユーザ要求が取得される。ユーザ要求が接続要求の場合に次の処理がなされる。
 ステップST22:ユーザ情報が取得される。
 ステップST23:端末情報が取得される。
 ステップST24:接続情報が追加されて終了処理がなされる。すなわち、ユーザ情報、端末情報、接続ストリーム情報が接続情報内に格納される。
 ユーザ要求が接続終了要求の場合には、次の処理がなされる。
 ステップST25:ユーザ情報が取得される。
 ステップST26:端末情報が取得される。
 ステップST27:接続情報が削除される。
 ステップST28:接続終了通知がなされて終了処理がなされる。
 ユーザ要求が高レート階層視聴通知の場合には、次の処理がなされる。
 ステップST29:ユーザ情報が取得される。
 ステップST30:端末情報が取得される。
 ステップST31:視聴ストリーム情報が取得される。
 ステップST28:視聴ストリーム情報が更新されて終了処理がなされる。
 接続情報の一例を表1に示す。接続要求時及び高レート階層視聴通知により得られる各端末の情報が保存される。
Figure JPOXMLDOC01-appb-T000001
 高レート階層ストリーミングの場合のエンコードパラメータの選択について説明すると、接続端末がない場合にも、あらかじめ決められた比較的低いレベルでエンコードしてストリーミングすることで、ストリーミングの帯域使用を最小限に抑えつつ、端末から視聴選択された場合に遅延なく所望のチャンネルを再生することが可能となる。接続端末がない場合のエンコードパラメータの一例を表2に示す。
Figure JPOXMLDOC01-appb-T000002
 3個の接続端末がある場合のエンコードパラメータの一例を表3に示す。
Figure JPOXMLDOC01-appb-T000003
 接続端末がサポートするプロファイルレベルの内からもっともサポートする端末が多いエンコードパラメータを選択しエンコードする。接続端末がなかったとしても、最低のレベルでエンコードする。表3の例では、接続端末内でもっともサポートする端末が多い、接続端末Bあるいは接続端末Cのプロファイルレベルのエンコードパラメータ(表4)にてエンコードする。
Figure JPOXMLDOC01-appb-T000004
 3個の接続端末がある場合のエンコードパラメータの他の例を表5に示す。
Figure JPOXMLDOC01-appb-T000005
 接続端末がサポートするプロファイルレベルの内からもっとも低いレベルのエンコードパラメータを選択しエンコードする。接続端末がなかったとしても、最低のレベルでエンコードする。表5の例では、最もレベルの低い、接続端末Aのプロファイルレベルのエンコードパラメータ(表6)にてエンコードする。
Figure JPOXMLDOC01-appb-T000006
 上記の2つの例では、エンコードパラメータを選択する基準として、最もサポートする端末の多いエンコードパラメータを選択する例と、最も低いレベルのエンコードパラメータを選択する例を示した。このようにエンコードパラメータを設定することによって、可能な限り多くの端末がサービスを受けられるようにする。無駄に高いレベルを選択し、不要な演算量や帯域の使用しないようにできる。
「端末の処理」
 第1の実施の形態における端末2の処理について説明する。図12は、端末2の視聴状態遷移図である。図12の状態(ブロック)は、名前の区画が「視聴チャンネル選択待ち状態」の状態と、名前の区画が「高レート階層フル画面表示状態」の二つの状態が存在する。
 「視聴チャンネル選択待ち状態」は、「視聴アプリ起動」によって開始し、内部遷移区画が次のものである。
 Entry/視聴チャンネル選択画面表示設定
 Do/ユーザチャンネル選択入力チェック
 視聴チャンネル選択のイベントによって高レート階層受信要求のアクションが起動され、「視聴チャンネル選択待ち状態」から「高レート階層フル画面表示状態」に遷移する。高レート階層視聴終了のイベントによって高レート階層デコード停止設定のアクションが起動され、「高レート階層フル画面表示状態」から「視聴チャンネル選択待ち状態」に遷移する。
 「高レート階層フル画面表示状態」の内部遷移区画は次のものである。
 Entry/高レート階層フル画面表示状態
 Do/ユーザ視聴終了入力チェック
 図13に示すように、視聴チャンネル選択画面表示設定は、ステップST41で実行される。
 ユーザチャンネル選択入力チェックは、図14のフローチャートで示すように実行される。
 ステップST42:入力デバイスからのユーザ入力をモニタする。ユーザ入力がない場合には、処理が終了する。
 ステップST43:ユーザが視聴チャンネルを選択すると、視聴チャンネル選択イベントが発生する。
 視聴チャンネル選択イベントが発生すると、図15に示す高レート階層視聴通知がなされる。高レート階層視聴通知時では、ユーザ情報、端末情報が同時に通知される。
 ステップST44:高レート階層視聴通知発行
 ステップST45:高レート階層ストリーミング無線LAN受信設定
 ステップST46:高レート階層ストリーミングAL-FECデコード設定
 高レート階層フル画面表示設定は、図16に示すものである。
 ステップST47:高レート階層ストリーミングA/Vデコード受信設定
 ステップST48:高レート階層フル画面表示設定
 ユーザ視聴終了入力チェックは、図17に示すものである。
 ステップST51:入力デバイスからのユーザ入力をモニタする。ユーザからの入力がない場合には、処理が終了する。
 ステップST52:ユーザが視聴停止を選択すると、高レート階層視聴終了イベントが発生する。
 図18に示すように、高レート階層デコード停止設定がなされる。
 ステップST53:高レート階層ストリーミングA/Vデコード停止設定
 ステップST54:高レート階層ストリーミングAL-FEC停止設定
<2.第2の実施の形態>
「システム構成」
 図19を参照して第2の実施の形態のシステムについて説明する。デジタル放送例えば地上デジタル放送を受信するストリーミングサーバ(携帯基地局、無線LAN基地局等)101と、複数の例えば4個の無線通信の通信装置である端末1021,1022,1023---102m(これらの端末を特に区別する必要がない場合は単に端末102と称する)と、無線通信網103とによってシステムが構成される。
 ストリーミングサーバ101に対してアンテナ部104及びチューナ部105が接続されている。例えばアンテナ部104に対してn個のチューナが並列接続された構成が使用される。n個のチャンネルのテレビジョン放送を同時に受信することが可能とされている。なお、ダイバーシティ受信方式を使用してもよい。
 チューナ部105の各チューナは、テレビジョン放送信号を受信し、選局し、デジタル復調処理を行う。デジタル放送の次の規格を適用できる。第2の実施の形態では、テレビジョン放送の放送チャンネル内に同一コンテンツが複数のレート(低レート階層及び高レート階層)で送信されている。ISDB-Tであると、低レート階層放送がワンセグであり、高レート階層放送がフルセグとなる。テレビジョン放送は、デジタル放送の次の規格が適用されたものである。
 DVB-T/DVB-T2/DVB-H/DVB-C/DVB-C2/ISDB-T/DVB-S/DVB-S2/ATSC-MH/ATSC-3.0
 DTMB
 チューナ部105の各チューナの出力が階層データ分離部50に供給される。階層データ分離部50は、低レート階層データと高レート階層データを分離する。分離された低レート階層データが低レート階層ストリーミング部51のA/Vデコーダ部52に供給される。A/Vデコーダ部52は、低レート階層データがそれぞれ供給されるn個のA/Vデコーダを有する。A/Vデコーダ部52は、ストリームデータのA/Vデコード処理を行う。A/Vデコーダ部52は、次の規格が適用されたデータを復号できる。
 H.264/H.265/HEVC/MPEG-4 AVC/MPEG-2
 A/Vデコーダ部52の出力が映像結合器53に供給され、一つの合成ストリーム(マルチ画面動画)が作成される。映像結合器53の出力データがA/Vエンコーダ54に供給される。A/Vエンコーダ54は、例えばデジタルテレビジョン放送のデータのレートを無線通信網で伝送できるレートに下げる処理を行い、圧縮されたストリームデータを生成する。A/Vエンコーダ54の出力がAL-FECエンコーダ55に供給される。A/Vエンコーダ54は、次の規格が適用されたデータを生成できる。
 H.264/H.265/HEVC/MPEG-4 AVC/MPEG-2
 AL-FECエンコーダ55は、ストリームデータのAL-FECの符号化処理を行う。
 ストリーミング部51の出力がUDP/IP66に供給される。UDP/IP66は、トランスポート層(UDP)、ネットワーク層(IP)の標準のプロトコルの処理を行う。
 UDP/IP66の出力データが無線LANインターフェース67に供給される。無線LANインターフェース67は、無線通信送受信部である。無線LANインターフェース67が無線通信網103と結合され、双方向無線通信を行う。次の規格の無線LANを使用できる。
 IEEE.802.11a/11b/11g/11n/11ac/11ad
 階層データ分離部50によって分離されたn個の高レート階層データが高レート階層ストリーミング部61から高レート階層ストリーミング部61nにそれぞれ供給される。高レート階層ストリーミング部611~61n(これらの高レート階層ストリーミング部を特に区別する必要がない場合は単に高レート階層ストリーミング部61と称する)は、同一の構成とされている。
 高レート階層ストリーミング部61は、チャンネルセレクタ62、A/Vデコーダ63、A/Vエンコーダ64及びAL-FECエンコーダ65を有する。チャンネルセレクタ62は、ユーザから要求のあったストリームデータを選択してA/Vデコーダ63に出力する。
 A/Vデコーダ63は、ストリームデータのA/Vデコード処理を行う。A/Vデコーダ63は、次の規格が適用されたデータを復号できる。
 H.264/H.265/HEVC/MPEG-4 AVC/MPEG-2
 A/Vエンコーダ64は、次の規格が適用されたデータを生成できる。
 H.264/H.265/HEVC/MPEG-4 AVC/MPEG-2
 AL-FECエンコーダ65は、ストリームデータのAL-FECの符号化処理を行う。
 n個の高レート階層ストリーミング部61の出力がUDP/IP66に供給され、UDP/IP66の出力データが無線LANインターフェース67に供給される。無線LANインターフェース67が無線通信網103と結合され、双方向無線通信を行う。無線通信網103として次の規格の無線LANを使用できる。
 IEEE.802.11a/11b/11g/11n/11ac/11ad
 ストリーミングサーバ101の各部(チューナ部105、低レート階層ストリーミング部51、高レート階層ストリーミング部61、UDP/IP部66、無線LANインターフェース67等)を制御するための制御部68が設けられている。制御部68は、CPU、RAM、ROM等で構成され、後述するストリーミングサーバ101の処理は、CPUの制御によってなされるものである。
 上述したストリーミングサーバ101が放送データをストリーミングする。低レート階層はマルチキャスト又はブロードキャストし、高レート階層はユニキャストで送信する。端末102は、受信データから選択したチャンネルに関連するパケットを処理して所望のチャンネルの番組を視聴する。
 端末102は、上述した第1の実施の形態における端末2と同様の構成を有する。すなわち、無線LANインターフェース71を有し、無線通信網103を介し双方向無線通信を行う。無線LANインターフェース71に対してUDP/IP72が接続され、UDP/IP72に対してAL-FECデコーダ73が接続される。さらに、AL-FECデコーダ73に対してA/Vデコーダ74が接続される。さらに、復号した映像及び音声を再生し、ユーザのチャンネル選択等の入力を行うために、表示部/ユーザ入力部75が設けられている。
 端末102の各部(無線LANインターフェース71、UDP/IP72、AL-FECデコーダ73及びA/Vデコーダ74等)を制御するための制御部76が設けられている。制御部76は、CPU、RAM、ROM等で構成され、後述する端末102の処理は、CPUの制御によってなされるものである。
「第2の実施の形態の処理の流れ」
 図20は、第2の実施の形態の処理の流れを示す。図20においては、ユーザ100、端末102の制御部76、表示部(表示部/ユーザ入力)75、ストリーミングサーバ101の制御部68、低レート階層ストリーミング部51及び高レート階層ストリーミング部61のそれぞれのシーケンスが示されている。
 ユーザ100がアプリケーション立ち上げ要求を行うと、端末102の制御部76が初期化を行う。ストリーミングサーバ101の制御部68では、初期化を行うと、低レート階層ストリーミング部51に対して処理開始要求を行う。低レート階層ストリーミング部51が低ビットレートストリーミング開始処理を行う。そして、低レート階層ストリーミングがなされる。
 端末102からの接続要求を受信したストリーミングサーバ101の制御部68が接続許可を端末102に送信する。接続要求には、端末を特定するための端末情報とユーザ情報(サポートされるA/V codec及び画面解像度等)が含まれる。
 端末102が接続要求を行い、接続許可がなされると、低レート階層データの受信、データコードが開始され、端末102の表示部75に低レート階層マルチ画面表示P11がなされる。低レート階層マルチ画面表示は、1画面をn個の分割画面に分割してそれぞれにn個のチャンネルの番組を同時に表示するユーザインターフェース画面である。ユーザ100は、低レート階層マルチ画面表示を見て視聴したいチャンネルを選択する。
 このように端末102において、視聴チャンネルが指示されると、ストリーミングサーバ101の制御部68が高レート階層データ送信処理を行い、指示されたチャンネルに対応する高レート階層ストリーミング部61がストリーミング開始処理P12を行う。その後、高レート階層ストリーミングデータを端末に送信する。高レート階層ストリーミングデータによって高レート階層フル画面表示P14がなされる。
 ストリーミング開始処理P12の間では、高レート階層フル画面表示ができないが、端末102では、マルチ画面表示においてチャンネルの選択がなされると、直ぐに低レート階層フル画面表示P13がなされ、その後高レート階層フル画面表示P14に切り替わる。したがって、画像表示がなされない遅延を防止できる。
 高レート階層フル画面表示P14において、ストリーミングサーバ101から高レート階層送受信品質通知が行われる。端末102の制御部76では、高レート階層放送受信品質と無線LAN通信品質の両方を使用した判定処理P15を行う。すなわち、高レート階層ストリーミングを継続して行うことが可能か、否かが判定される。高レート階層ストリーミングを継続して行うことができると判定されると、高レート階層フル画面表示が継続される。判定処理は、高レート階層フル画面表示状態において例えば所定の時間間隔で行われる。
 判定処理P16では、高レート階層ストリーミングを継続して行うことができないと判定されて低レート階層フル画面表示P17に切り替わる。ユーザ100が視聴番組表示要求を入力すると、低レート階層マルチ画面表示P18に切り替わる。さらに、ユーザが視聴チャンネル選択を行うと、上述したのと同様の動作が繰り返される。
 第2の実施の形態では、低レート階層ストリームのマルチ画面をマルチキャストでストリーミングし、そのデータを共有する。視聴チャンネルの選択時に、発生するストリーミング開始処理時間の間に低レート階層ストリームのマルチ画面で受信している低レート階層ストリームをフル画面にして補完する。常に全チャンネルの低レート階層データをマルチ画面としたストリームがマルチキャストでストリーミングされているため、ユーザが視聴チャンネルを選択直後に、選択されたチャンネルの映像表示が開始できる。既存システムでは、放送受信開始やトランスコード開始、ストリーミングのためのバッファリングに必要な時間が有るため、ユーザが視聴チャンネルを選択後、映像表示が開始されるまで、時間が必要であった。これに対してユーザが視聴チャンネルを選択直後に、選択されたチャンネルの映像表示が開始できる。
 さらに、第2の実施の形態は、第1の実施の形態と同様に、無線LANストリーミング時の伝送効率を高くすることができる。ユニキャストを用いたテレビジョン放送の視聴時には、図21に示すように視聴者各人用のデータが必要とされる。したがって、複数の端末0、端末1、端末2が同一のチャンネルCh1を視聴すると、3台分、同一チャンネルデータを送信する必要がある。各端末は、自分用のデータを受信する。このように既存システムでは伝送効率が低下する。
 図21は、サーバ側から端末に送信する時系列の図である。サーバからCh_Dataがパケット単位で送信される。既存システムのユニキャストを使用する場合、図21に示すように、テレビジョン放送の視聴時には、視聴者各人用の端末に対しての個別のパケットが必要とされる。したがって、複数の端末0、端末1、端末2が同一のチャンネルCh1を視聴すると、3台分、同一チャンネルデータを送信する必要がある。このように既存システムでは伝送効率が低下する。
 第2の実施の形態では、マルチキャスト送信を用いることにより、図22に示すように、低レート階層マルチ画面データを3台の端末1021、1022、1023が共用するので、一度のデータ送信をストリーミングサーバ101が行えばよく、伝送効率を上げることができる。さらに、ストリーミングサーバ101では、接続している端末の台数、端末のアドレスが分かるので、端末が何ら接続されていない状態では、ストリームのレートを下げるようになされる。さらに、端末において視聴チャンネルの選択がなされると、その端末に対して当該チャンネルの高レート階層ストリームがユニキャスト伝送されるので、ユーザが高レート階層の放送を視聴することができる。
 さらに、第2の実施の形態は、車内放送受信と無線通信変動による受信品質低下に対応することができる。既存システムでは、放送受信品質により主放送(高レート階層ストリーム)と副放送(低レート階層ストリーム)の切り替え制御が行われている。この場合には、無線LAN無線通信品質が考慮されていないため、主・副放送が適切に選択されることができない。第2の実施の形態では、端末側で、主放送と副放送の受信品質を判定することで、放送受信及び無線LAN無線通信受信を判断し、高レート階層ストリームと低レート階層ストリームを適切に選択可能となる。したがって、常に良好な視聴が実現できる。
「ストリーミングサーバの処理」
 第2の実施の形態におけるストリーミングサーバ101の処理について説明する。図23は、ストリーミングサーバ101の状態遷移図である。図23の状態(ブロック)は、名前の区画が「ストリーミングサービス状態」である。
 「ストリーミングサービス状態」は、「サービス開始イベント/低レート階層ストリーミング開始処理」によって開始し、「サービス停止イベント/ストリーミングサービス停止処理」によって終了する。内部遷移区画が次のものである。
 Entry/
 Do/放送受信品質通知処理
 Do/ユーザ要求処理
 Exit/
 ストリーミングサーバ101の動作について説明する。図24は、ストリーミングサービス開始処理のアクションを示し、次の処理が順になされる。
 ステップST101:放送受信開始設定
 ステップST102:低レート階層A/Vエンコーダ設定
 ステップST103:低レート階層AL-FECエンコード設定
 ステップST104:低レート階層UDP/IP送信設定)がなされる。すなわち、低レート階層ストリーミングは、送信先としてマルチキャストアドレスを設定し、端末に対してマルチキャスト伝送を行うものである。
 図25は、高レート階層放送受信品質通知処理のアクションを示し、次の処理が順になされる。
 ステップST105:高レート階層放送受信品質取得
 ステップST106:高レート階層放送受信品質通知
 図26は、ストリーミングサーバ101のユーザ要求処理のアクションを示すフローチャートである。
 ステップST110:ユーザ要求が取得される。ユーザ要求が接続要求の場合に次の処理が順になされる。
 ステップST111:ユーザ情報が取得される。
 ステップST112:端末情報が取得される。
 ステップST113:接続情報が追加されて終了処理がなされる。
 ステップST114:接続許可通知がなされて終了処理がなされる。
 ユーザ要求が接続終了要求の場合には、次の処理が順になされる。
 ステップST115:ユーザ情報が取得される。
 ステップST116:端末情報が取得される。
 ステップST117:接続情報が削除される。
 ステップST118:接続終了通知がなされて終了処理がなされる。
 ユーザ要求が高レート階層視聴要求の場合には、次の処理が順になされる。
 ステップST119:ユーザ情報が取得される。
 ステップST120:端末情報が取得される。
 ステップST121:選択チャンネル情報が取得される。
 要求元端末が既に高レート階層ストリーミングを視聴している場合には、次の処理がなされる。
 ステップST122:高レート階層ストリーミング部視聴チャンネル切替指示がなされる。
 要求元端末が既に高レート階層ストリーミングを視聴していない場合で、アイドル状態の高レート階層ストリーミング部が有る場合には、次の処理がなされる。
 ステップST123:高レート階層ストリーミング部視聴開始指示がなされる。
 要求元端末が既に高レート階層ストリーミングを視聴していない場合で、アイドル状態の高レート階層ストリーミング部が無い場合には、次の処理がなされる。
 ステップST124:高レート階層ストリーミング部サービス不可通知がなされる。
 ユーザ要求が高レート階層視聴終了の場合には、次の処理が順になされる。
 ステップST125:ユーザ情報が取得される。
 ステップST126:端末情報が取得される。
 ステップST127:高レート階層ストリーミング部停止指示がなされて処理が終了する。
 図27は、低レート階層ストリーミングサービス停止設定のアクションを示す。次の処理が順になされる。
 ステップST131:低レート階層UDP/IP送信停止設定
 ステップST132:低レート階層AL-FEC停止設定
 ステップST133:低レート階層A/Vエンコード停止設定
 ステップST134:放送受信停止設定
「ストリーミングサーバの高レート階層ストリーミング部の状態遷移」
 図28は、高レート階層ストリーミング部状態遷移図である。「ユーザ要求処理」から発行される指示に応じて状態遷移が発生する。アイドル状態及びサービス状態の間で遷移がなされる。アイドル状態からサービス状態への遷移は、次の処理でなされる。
 高レート階層ストリーミング部視聴開始指示/高レート階層ストリーミング部視聴開始処理
 サービス状態からアイドル状態への遷移は、次の処理でなされる。
 高レート階層ストリーミング部視聴停止指示/高レート階層ストリーミング部視聴停止処理
 サービス状態における次の処理によって、サービス状態に戻る遷移が生じる。
 高レート階層ストリーミング部視聴CH切替指示/高レート階層ストリーミング部視聴CH切替処理
 高レート階層ストリーミング部の処理について説明する。図29に高レート階層ストリーミング部視聴開始処理を示す。この処理は、次の処理を順に行うことでなされる。
 ステップST141:放送受信開始設定
 ステップST142:高レート階層A/Vエンコード設定
 ステップST143:高レート階層AL-FECエンコード設定
 ステップST144:高レート階層UDP/IP送信設定
 ステップST144において、高レート階層のストリーミングは、端末個別にユニキャスト伝送する(端末個別のアドレスに送る)ように設定される。
 図30に高レート階層ストリーミング部視聴チャンネル切替処理を示す。この処理は、次の処理を順に行うことでなされる。
 ステップST145:放送受信変更設定
 ステップST146:高レート階層A/Vエンコード設定
 ステップST147:高レート階層AL-FECエンコード設定
 ステップST148:高レート階層UDP/IP送信設定
 ステップST148において、高レート階層のストリーミングは、端末個別にユニキャスト伝送する(端末個別のアドレスに送る)ように設定される。
 図31に高レート階層ストリーミング部視聴停止設定処理を示す。この処理は、次の処理を順に行うことでなされる。
 ステップST149:高レート階層A/Vエンコード停止設定
 ステップST150:高レート階層AL-FECエンコード停止設定
 ステップST151:高レート階層UDP/IP送信停止設定
 ステップST152:放送受信停止設定
「端末の処理」
 第2の実施の形態における端末102の処理について説明する。図32は、端末102の視聴状態遷移図である。図32に示すように、端末102では、名前の区画が「低レート階層マルチ画面表示状態」と、名前の区画が「低レート階層フル画面表示状態」と、名前の区間が「高レート階層フル画面表示状態」の3つの状態が存在する。
 これらの状態と対応して端末の表示部には、図33に示す表示がなされる。図33Aが低レート階層マルチ画面表示である。例えば1画面が(3×3)の9画面に分割され、分割画面のそれぞれに異なるチャンネル(1~9)の番組が表示される。常に全チャンネルの低レート階層データをマルチ画面としたストリームがマルチキャストでストリーミングされているため、ユーザは、低レート階層マルチ画面表示を何時でも見ることが可能である。さらに、マルチ画面表示に対して所望の分割画面を選択することができるようになされている。カーソル操作(リモートコントロールのコマンダ操作)、タッチパネルの操作等のユーザ入力によって所望の分割画面を選択することによって、視聴チャンネル選択がなされる。
 図33Bが低レート階層フル画面表示である。マルチ画面において、例えばチャンネル1をユーザが選択すると、チャンネル1の低レート階層フル画面表示がなされる。ユーザが視聴チャンネルを選択直後に、選択されたチャンネルのフル画面表示を開始できる。さらに、その後にユニキャスト伝送されている高レート階層ストリーミングに切替るので、図33Cに示す高レート階層フル画面表示がなされる。ユーザのチャンネル選択以外に、低レート階層ストリーミングと高レート階層ストリーミングの切替は、受信品質により自動的になされる。
「低レート階層マルチ画面表示状態」
 視聴アプリ起動/低レート階層WLAN受信設定によってこの状態に入る。「低レート階層マルチ画面表示状態」では次の処理がなされる。
 Entry/低レート階層マルチ画面表示状態
 Do/ユーザCH選択入力チェック
 「低レート階層マルチ画面表示状態」から「低レート階層フル画面表示状態」への遷移は、次の処理でなされる。
 視聴CH選択/高レート階層受信要求
 「低レート階層フル画面表示状態」から「低レート階層マルチ画面表示状態」への遷移は、フル画面視聴終了の処理でなされる。高レート階層データNGの場合では、「低レート階層フル画面表示状態」に戻る。
「低レート階層フル画面表示状態」
 「低レート階層フル画面表示状態」では次の処理がなされる。
 Entry/低レート階層フル画面表示設定
 Do/高レート階層受信品質チェック
 Do/高レート階層放送受信品質通知の受信
 Do/ユーザ視聴終了入力チェック
 「低レート階層フル画面表示状態」から「高レート階層フル画面表示状態」への遷移は、高レート階層データOKでなされる。
 「高レート階層フル画面表示状態」から「低レート階層フル画面表示状態」への遷移は、高レート階層データNG又は次の処理でなされる。
 視聴CH選択/高レート階層受信要求
 「高レート階層フル画面表示状態」から「低レート階層マルチ画面表示状態」への遷移は、フル画面視聴終了の処理でなされる。
 「高レート階層フル画面表示状態」では次の処理がなされる。
 Entry/高レート階層フル画面表示設定
 Do/高レート階層受信品質チェック
 Do/高レート階層放送受信品質通知の受信
 Do/ユーザ視聴終了入力チェック
 端末の処理について説明する。図34に低レート階層無線LAN受信設定処理を示す。この処理は、次の処理を順に行うことでなされる。
 ステップST161:ストリーミングサーバ接続
 ステップST162:低レート階層ストリーミング受信設定
 ステップST163:低レート階層ストリーミングAL-FECデコード設定
 図35に低レート階層マルチ画面表示設定処理を示す。この処理は、次の処理を順に行うことでなされる。
 ステップST164:低レート階層ストリーミングAVデコード設定
 ステップST165:低レート階層マルチ画面表示設定
 図36にユーザチャンネル選択入力チェック処理を示す。この処理は、次の処理を順に行うことでなされる。
 ステップST166:入力デバイスからのユーザ入力モニタ
 ステップST167:ユーザ入力がチャンネル選択の場合には、視聴CH選択イベントが発生する。
 ユーザからの入力なしの場合には、処理が終了する。
 図37に高レート階層受信要求処理を示す。この処理は、次の処理を順に行うことでなされる。
 ステップST168:高レート階層受信要求発行
 ステップST169:高レート階層ストリーミング無線LAN受信設定
 ステップST170:高レート階層ストリーミングAL-FECデコード設定
 図38に低レート階層フル画面表示設定処理を示す。この処理は、次の処理を順に行うことでなされる。
 ステップST171:低レート階層ストリーミングAVデコード設定
 ステップST172:低レート階層フル画面表示設定
 図39に高レート階層放送受信品質通知の受信処理を示す。この処理は、次の処理を行うことでなされる。
 ステップST173:高レート階層放送受信品質通知の受信
 図40に高レート階層受信品質チェック処理を示す。この処理は、次の処理を順に行うことでなされる。
 ステップST174:高レート階層受信データのバッファリング状態をモニタ
 ステップST175:バッファデータ量が基準に達した場合には高レート階層無線LAN受信品質取得がなされる。
 ステップST176:パケットエラー率が基準を超えており、高レート階層データNGイベントが発生して処理が終了する。
 ステップST177:パケットエラー率が基準以内の場合、高レート階層放送受信品質取得が取得される。
 ステップST178:放送受信品質が基準を超えており(基準より品質が悪いと)、高レート階層データNGイベントが発生して処理が終了する。
 例えば、基準としてはMPEG2-TSのパケットエラーレートやSNR(signal to noise ratio)を用いることができる。
 ステップST179:放送受信品質が基準以内の場合、高レート階層データOKイベントが発生して処理が終了する。
 ステップST180:バッファデータ量が基準に達しない場合には処理か終了する。
 このように、第2の実施の形態では、無線LANの受信品質(例えばパケットエラー率)と、放送受信品質の両方を加味して高レート階層のデータを使用できるかどうかを検出する。使用できる場合に高レート階層データOKイベントが発生し、このデータを使用できない場合に高レート階層データNGイベントが発生する。
 図41にユーザ視聴終了入力チェック処理を示す。この処理は、次の処理を順に行うことでなされる。
 ステップST181:入力デバイスからのユーザ入力モニタ
 ステップST182:ユーザ入力が視聴停止の場合、フル画面視聴終了イベントが発生する。ユーザからの入力がない場合には処理が終了する。
 図42に高レート階層フル画面表示設定処理を示す。この処理は、次の処理を順に行うことでなされる。
 ステップST183:高レート階層ストリーミングA/Vデコード設定
 ステップST184:高レート階層フル画面表示設定
「ユーザインターフェース付加情報」
 上述した第2の実施の形態においては、図33Aに示すように、低レート階層マルチ画面表示をユーザに提示してユーザが所望のチャンネルに対応する分割画面を選択することによってチャンネル選択を行うようになされている。低レート階層マルチ画面表示では、図33Aに示すような番組の画像以外にユーザインターフェース付加情報を表示するようにしてもよい。表示方法としては、分割画面の一部を利用して付加情報を表示したり、分割画面の近傍に付加情報を表示したりできる。
 ユーザインターフェース付加情報としては次のものが可能である。
 関連情報表示:番組情報(概要、キャスト)、番組終了時間情報
 ナビ情報(渋滞情報、経路情報、到着時間)
 タウン情報(近隣のお店、スポット、駐車場)
 天候(天気、気温、湿度)
 ドライブレコーダの映像表示
 レコメンド機能:他の同乗者にお勧め番組を送る
 目的地に到着するまでに、視聴可能番組を紹介する
 移動途中で視聴可能となる番組を紹介(ローカル番組)
 車内で現在視聴されている番組を紹介
 視聴サポート:視聴番組が、目的地到着等の理由で視聴を継続することができなくなった時にその番組をレコーダに録画する機能
 マルチ画面時に、表示した番組数、大きさ、位置を自由に選択できる機能
 親の所持している端末が子供の端末の選局権を持つ、選局のサポート機能(見たい番組を選択してあげる、視聴制限)
 視聴品質以外での画質制御(プレミアム会員、視聴人数、多数決方式、オークション)
 端末の仕様
 なお、本技術は、以下のような構成も取ることができる。
(1)
 入力ストリームをエンコードすると共に、出力データのレートを少なくとも2段階に切り替えるようになされた複数チャンネルのエンコーダと、
 前記エンコーダの出力を無線通信網を通じて端末に対して送信する無線通信装置と、
 前記端末においてチャンネル選択がなされると、前記エンコーダの出力を低レートストリームから高レートストリームに切り替えてチャンネル選択がなされた前記端末に対して高レートストリームを伝送するようにした通信装置。
(2)
 前記入力ストリームがデジタル放送のデータである(1)に記載の通信装置。
(3)
 前記高レートストリームの伝送をマルチキャストもしくはユニキャストで行う(1)に記載の通信装置。
(4)
 前記高レートストリームの伝送期間以外では、前記低レートストリームの伝送を行う(1)ないし(3)の何れかに記載の通信装置。
(5)
 サーバから無線通信網を通じて送信されるストリームを受信する無線通信装置と、
 受信されたストリームをデコードするデコーダと、
 デコードされたストリームを表示する表示部と、
 チャンネル選択の情報を前記サーバに送信し、前記サーバから伝送される低レートストリームもしくは高レートストリームをデコードするように、前記デコーダのパラメータを切り替える制御部と
 を備える通信装置。
(6)
 入力ストリームをユーザインターフェース情報を含む低レートストリームにエンコードする第1のストリーミング部と、
 入力ストリームを高レートストリームにエンコードする第2のストリーミング部と、
 前記第1のストリーミング部及び前記第2のストリーミング部の出力を無線通信網を通じて端末に対して送信する無線通信装置と、
 前記低レートストリームを伝送している状態で、前記ユーザインターフェース情報を利用して前記端末においてチャンネル選択がなされると、選択されたチャンネルの前記第2のストリーミング部の高レートストリームを前記端末に対して伝送するように制御する制御部と
 を備える通信装置。
(7)
 前記入力ストリームがデジタル放送のデータである(6)に記載の通信装置。
(8)
 前記低レートストリームの伝送をマルチキャストで行い、かつ、前記高レートストリームの伝送をユニキャストで行う(6)又は(7)に記載の通信装置。
(9)
 前記ユーザインターフェース情報が選択可能な複数のチャンネルの画像を分割画面に表示するマルチ画面表示である(6)又は(7)に記載の通信装置。
(10)
 前記マルチ画面表示に対して付加情報を表示する(9)に記載の通信装置。
(11)
 前記第1のストリーミング部がエンコード処理を常に行う(6)に記載の通信装置。
(12)
 サーバから無線通信網を通じて送信される低レートストリーム及び高レートストリームの一方を受信する無線通信装置と、
 受信された前記低レートストリーム及び高レートストリームをデコードするデコーダと、
 デコードされたストリームを表示する表示部と、
 前記低レートストリームに含まれるユーザインターフェース情報によって前記表示部にチャンネル選択画面を表示し、前記チャンネル選択画面を使用してなされたチャンネル選択の情報を前記サーバに送信し、前記サーバから伝送された高レートストリームをデコードするように制御する制御部と
 を備える通信装置。
(13)
 前記チャンネル選択画面から前記高レートストリームによる画面を表示するまでの遷移期間において、前記低レートストリームによるフル画面を表示するように、前記制御部が制御する(12)に記載の通信装置。
(14)
 前記高レートストリームによる画面を表示している状態において、前記入力ストリームの受信品質の情報と、無線通信の品質とに基づいて、前記高レートストリームの受信品質を判定し、デコードするストリームを選択する(12)に記載の通信装置。
(15)
 前記入力ストリームがデジタル放送のデータである(12)に記載の通信装置。
<3.変形例>
 以上、本技術の実施の形態について具体的に説明したが、上述の各実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。例えはストリームのレートは、2種類に限らず、3種類以上設定可能としてもよい。また、デジタル放送以外の画像データを配信する場合に対して本技術を適用してもよい。
 また、上述の実施の形態の構成、方法、工程、形状、材料及び数値などは、本技術の主旨を逸脱しない限り、互いに組み合わせることが可能である。
1・・・ストリーミングサーバ
2,21~2m・・・端末
3,103・・・無線通信網
4,104・・・アンテナ部
5,105・・・チューナ部
10,110・・・ユーザ
11,111 ~11n ・・・ストリーミング部
12,24・・・A/Vデコーダ
13・・・A/Vエンコーダ
14,23・・・AL-FECエンコーダ
15,22・・・UDP/IP15
16,21・・・無線LANインターフェース
17,26・・・制御部

Claims (15)

  1.  入力ストリームをエンコードすると共に、出力データのレートを少なくとも2段階に切り替えるようになされた複数チャンネルのエンコーダと、
     前記エンコーダの出力を無線通信網を通じて端末に対して送信する無線通信装置と、
     前記端末においてチャンネル選択がなされると、前記エンコーダの出力を低レートストリームから高レートストリームに切り替えてチャンネル選択がなされた前記端末に対して高レートストリームを伝送するようにした通信装置。
  2.  前記入力ストリームがデジタル放送のデータである請求項1に記載の通信装置。
  3.  前記高レートストリームの伝送をマルチキャストもしくはユニキャストで行う請求項1に記載の通信装置。
  4.  前記高レートストリームの伝送期間以外では、前記低レートストリームの伝送を行う請求項1に記載の通信装置。
  5.  サーバから無線通信網を通じて送信されるストリームを受信する無線通信装置と、
     受信されたストリームをデコードするデコーダと、
     デコードされたストリームを表示する表示部と、
     チャンネル選択の情報を前記サーバに送信し、前記サーバから伝送される低レートストリームもしくは高レートストリームをデコードするように、前記デコーダのパラメータを切り替える制御部と
     を備える通信装置。
  6.  入力ストリームをユーザインターフェース情報を含む低レートストリームにエンコードする第1のストリーミング部と、
     入力ストリームを高レートストリームにエンコードする第2のストリーミング部と、
     前記第1のストリーミング部及び前記第2のストリーミング部の出力を無線通信網を通じて端末に対して送信する無線通信装置と、
     前記低レートストリームを伝送している状態で、前記ユーザインターフェース情報を利用して前記端末においてチャンネル選択がなされると、選択されたチャンネルの前記第2のストリーミング部の高レートストリームを前記端末に対して伝送するように制御する制御部と
     を備える通信装置。
  7.  前記入力ストリームがデジタル放送のデータである請求項6に記載の通信装置。
  8.  前記低レートストリームの伝送をマルチキャストで行い、かつ、前記高レートストリームの伝送をユニキャストで行う請求項6に記載の通信装置。
  9.  前記ユーザインターフェース情報が選択可能な複数のチャンネルの画像を分割画面に表示するマルチ画面表示である請求項6に記載の通信装置。
  10.  前記マルチ画面表示に対して付加情報を表示する請求項9に記載の通信装置。
  11.  前記第1のストリーミング部がエンコード処理を常に行う請求項6に記載の通信装置。
  12.  サーバから無線通信網を通じて送信される低レートストリーム及び高レートストリームの一方を受信する無線通信装置と、
     受信された前記低レートストリーム及び高レートストリームをデコードするデコーダと、
     デコードされたストリームを表示する表示部と、
     前記低レートストリームに含まれるユーザインターフェース情報によって前記表示部にチャンネル選択画面を表示し、前記チャンネル選択画面を使用してなされたチャンネル選択の情報を前記サーバに送信し、前記サーバから伝送された高レートストリームをデコードするように制御する制御部と
     を備える通信装置。
  13.  前記チャンネル選択画面から前記高レートストリームによる画面を表示するまでの遷移期間において、前記低レートストリームによるフル画面を表示するように、前記制御部が制御する請求項12に記載の通信装置。
  14.  前記高レートストリームによる画面を表示している状態において、前記入力ストリームの受信品質の情報と、無線通信の品質とに基づいて、前記高レートストリームの受信品質を判定し、デコードするストリームを選択する請求項12に記載の通信装置。
  15.  前記入力ストリームがデジタル放送のデータである請求項12に記載の通信装置。
PCT/JP2016/004633 2015-11-11 2016-10-19 通信装置 Ceased WO2017081843A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP16863810.4A EP3376770B1 (en) 2015-11-11 2016-10-19 Communication device and system for encoding and streaming digital broadcast channels in a wireless lan
CN201680064681.5A CN108353197A (zh) 2015-11-11 2016-10-19 通信设备
US15/769,957 US10820031B2 (en) 2015-11-11 2016-10-19 Communication apparatus for switching between a low-rate stream and a high-rate stream
JP2017549974A JP6876922B2 (ja) 2015-11-11 2016-10-19 通信装置
ZA2018/02368A ZA201802368B (en) 2015-11-11 2018-04-11 Communication device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015221559 2015-11-11
JP2015-221559 2015-11-11

Publications (1)

Publication Number Publication Date
WO2017081843A1 true WO2017081843A1 (ja) 2017-05-18

Family

ID=58694913

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004633 Ceased WO2017081843A1 (ja) 2015-11-11 2016-10-19 通信装置

Country Status (6)

Country Link
US (1) US10820031B2 (ja)
EP (1) EP3376770B1 (ja)
JP (1) JP6876922B2 (ja)
CN (1) CN108353197A (ja)
WO (1) WO2017081843A1 (ja)
ZA (1) ZA201802368B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505500A (zh) * 2019-08-06 2019-11-26 咪咕视讯科技有限公司 一种缓存数据发送处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110267A (ja) * 2003-09-30 2005-04-21 Sharp Corp ワイヤレスで映像を伝送するための方法
JP2006253882A (ja) * 2005-03-09 2006-09-21 Matsushita Electric Ind Co Ltd ワイヤレスav機器
JP2006332854A (ja) * 2005-05-24 2006-12-07 Funai Electric Co Ltd サーバ装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3772830B2 (ja) 2002-09-27 2006-05-10 株式会社デンソー 移動体用デジタル放送受信装置及びプログラム
US8428048B2 (en) * 2006-02-21 2013-04-23 Qualcomm Incorporated Multi-program viewing in a wireless apparatus
KR100793736B1 (ko) * 2006-02-23 2008-01-10 삼성전자주식회사 다채널의 영상을 동시에 출력하는 디지털 방송 수신 장치
CN101123717B (zh) * 2007-09-25 2012-07-04 中兴通讯股份有限公司 一种实现频道快速切换的装置和方法
CN102113323A (zh) * 2008-07-28 2011-06-29 汤姆森特许公司 使用辅助频道视频流的快速频道改变的方法和装置
US8374254B2 (en) * 2008-12-15 2013-02-12 Sony Mobile Communications Ab Multimedia stream combining
US8869203B2 (en) * 2009-10-08 2014-10-21 Marshall Communications Multimedia content fusion
US8826349B2 (en) * 2011-02-01 2014-09-02 Verizon Patent And Licensing Inc. Multicast adaptive stream switching for delivery of over the top video content
EP2485472A1 (en) * 2011-02-04 2012-08-08 Thomson Licensing Fast channel change companion stream solution with bandwidth optimization
JP2013038513A (ja) 2011-08-04 2013-02-21 Kyocera Corp 無線基地局および移動局
US9736528B2 (en) * 2011-09-12 2017-08-15 Verizon Patent And Licensing Inc. Content delivery for viewing devices within a customer premises
WO2014067566A1 (en) * 2012-10-30 2014-05-08 Telefonaktiebolaget L M Ericsson (Publ) Method and device for streaming video
US20140189751A1 (en) * 2012-12-27 2014-07-03 Thomson Licensing Broadband assisted channel change
JP2015012305A (ja) * 2013-06-26 2015-01-19 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、端末装置、およびコンテンツ供給システム
US9444856B2 (en) * 2013-09-25 2016-09-13 Ericsson Ab System and method for managing adjacent channels in an adaptive streaming environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110267A (ja) * 2003-09-30 2005-04-21 Sharp Corp ワイヤレスで映像を伝送するための方法
JP2006253882A (ja) * 2005-03-09 2006-09-21 Matsushita Electric Ind Co Ltd ワイヤレスav機器
JP2006332854A (ja) * 2005-05-24 2006-12-07 Funai Electric Co Ltd サーバ装置

Also Published As

Publication number Publication date
JPWO2017081843A1 (ja) 2018-08-23
JP6876922B2 (ja) 2021-05-26
ZA201802368B (en) 2019-07-31
US10820031B2 (en) 2020-10-27
US20180316956A1 (en) 2018-11-01
EP3376770A4 (en) 2018-11-14
EP3376770A1 (en) 2018-09-19
EP3376770B1 (en) 2022-02-16
CN108353197A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
JP6092122B2 (ja) 放送通信融合型サービスのための送信方法及び装置
EP1879382B1 (en) Multi-screen display apparatus and method for digital broadcast receiver
JP4786883B2 (ja) デジタル・ビデオストリームの高速起動
US8448212B2 (en) Combined receiver for DVB-H and DVB-T transmission
CN100591123C (zh) 提供媒体节目的装置及方法
US20110109808A1 (en) Method and apparatus for fast channel change using a secondary channel video stream
EP2290855A1 (en) Multi-program viewing in a wireless apparatus
KR100363159B1 (ko) 다수채널을동시에수신하는디지털수신기와디스플레이제어방법
US20140223502A1 (en) Method of Operating an IP Client
JP5666298B2 (ja) 番組の利用可能性をモニターするための方法と装置
US20080098428A1 (en) Network Managed Channel Change In Digital Networks
WO2010014211A1 (en) Method and apparatus fast channel change using a scalable videdo coding (svc) stream
JP2003333452A (ja) ディジタル放送受信装置
US20050163225A1 (en) Apparatus for decoding video and method thereof
JP6876922B2 (ja) 通信装置
EP2027726B1 (en) Methods of receiving and sending digital television services
US20060285015A1 (en) Multichannel video reception apparatus and method for digital broadcasting
US10521250B2 (en) Method and system for communicating between a host device and user device through an intermediate device using a composite video signal
JP2007006406A (ja) ディジタル放送受信装置
KR20070099692A (ko) 다중 튜너들 및 네트워크화된 모니터들을 이용한 보다 빠른튜닝
KR100785202B1 (ko) 디지털 방송 수신 방법 및 시스템
JP4707385B2 (ja) ディジタル放送受信装置
JP2007013949A (ja) デジタル放送システム及びこのデジタル放送システムにおけるチャネル切換方法
US20080082996A1 (en) Method and apparatus for channel change of digital broadcasting receiver
KR101140877B1 (ko) 예비 채널 전환 기능이 구비된 디지털 방송 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16863810

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017549974

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15769957

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016863810

Country of ref document: EP