WO2015001947A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2015001947A1
WO2015001947A1 PCT/JP2014/065952 JP2014065952W WO2015001947A1 WO 2015001947 A1 WO2015001947 A1 WO 2015001947A1 JP 2014065952 W JP2014065952 W JP 2014065952W WO 2015001947 A1 WO2015001947 A1 WO 2015001947A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
image data
arrangement
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/065952
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US14/900,262 priority Critical patent/US20160373789A1/en
Priority to BR112015032851-2A priority patent/BR112015032851B1/pt
Priority to EP14819477.2A priority patent/EP3018910B1/en
Priority to RU2015156234A priority patent/RU2652099C2/ru
Priority to CN201480036992.1A priority patent/CN105340281B/zh
Priority to KR1020157035471A priority patent/KR102269311B1/ko
Priority to JP2015525124A priority patent/JP6462566B2/ja
Publication of WO2015001947A1 publication Critical patent/WO2015001947A1/ja
Anticipated expiration legal-status Critical
Priority to US16/883,898 priority patent/US11330311B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly, to a transmission device for performing a multi-image arrangement distribution service.
  • a technology related to multi-screen display that multi-decodes a plurality of streams from a broadcast or network and displays a plurality of images obtained by multi-decoding on a single display has been realized or proposed.
  • the user can display a large image on the main screen while viewing the images of programs on other channels that are displayed small on the sub screen. You can see an image of a program on a channel. Further, for example, by displaying the images of programs of different channels side by side on the right half and the left half of the display, the user can view the images of programs of two channels at the same time.
  • PinP Picture in Picture
  • Patent Document 1 discloses a technique that can quickly switch the display to a multi-screen when a multi-screen display is instructed in the normal display state.
  • image data of a plurality of images related to multi-image arrangement is sent from the transmission side, and the plurality of image data is processed to obtain a multi-image arrangement image for display. In this case, it is necessary to appropriately arrange a plurality of images on the receiving side.
  • the purpose of this technology is to enable a multi-image layout distribution service to be performed satisfactorily.
  • a transmission unit that transmits a predetermined format container having a predetermined number of video streams, including encoded image data of a plurality of images related to a multi-image arrangement distribution service;
  • the transmission apparatus includes an information insertion unit that inserts position information indicating an arrangement position of the plurality of images into a layer of the video stream.
  • the transmission unit transmits a container in a predetermined format having a predetermined number of video streams including encoded image data of a plurality of images related to a multi-image arrangement distribution service.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • the container may be a container of other formats such as MP4 or MMT used for Internet distribution or the like.
  • the information insertion unit inserts position information indicating the arrangement positions of a plurality of images into the video stream layer.
  • position information indicating the arrangement position of a plurality of images is inserted into the layer of the video stream, and the reception side can easily arrange the plurality of images appropriately.
  • the information insertion unit may further insert offset information for adjusting the display timing of a plurality of images into the layer of the video stream.
  • the reception side can adjust the display timings of the plurality of images constituting the multi-image arrangement image to match the display start timings of the plurality of images.
  • the information insertion unit may further insert type information indicating the type of multi-image arrangement into the layer of the video stream.
  • the receiving side can accurately recognize the type of multi-image arrangement, and can easily arrange a plurality of images appropriately.
  • the information insertion unit may further insert lifetime information indicating whether or not the displayable time of a plurality of images is controlled into a layer of the video stream. . With this information, the receiving side can automatically perform deletion control of image data stored in the virtual display buffer, for example.
  • the information insertion unit may further insert type information indicating a rotation type at the time of displaying a plurality of images into the layer of the video stream.
  • type information indicating a rotation type at the time of displaying a plurality of images into the layer of the video stream.
  • the information insertion unit may further insert identification information for identifying a multi-image arrangement distribution service into a container layer.
  • the receiving side can easily recognize that the distribution service is a multi-image arrangement, and can prepare for the processing.
  • the information insertion unit may further insert identification information for identifying whether or not the multi-image arrangement distribution service is a mixed service of moving image still images into the container layer. .
  • the information insertion unit may further insert information on the total number of video streams involved in a multi-image arrangement distribution service into a container layer.
  • the receiving side can easily grasp the total number of video streams to be processed, and can perform appropriate processing.
  • the information insertion unit includes, in the container layer, type information indicating whether each video stream is a moving image stream, a still image stream, or a mixed stream of still image moving images. May be further inserted.
  • the receiving side can easily grasp the type of the video stream, and can perform appropriate processing.
  • a receiving unit for receiving a predetermined number of video streams including encoded image data of a plurality of images related to a multi-image arrangement distribution service and having inserted therein positional information indicating the arrangement positions of the plurality of images;
  • a decoding unit that decodes the predetermined number of video streams to obtain image data of the plurality of images;
  • a processing unit that arranges image data of the plurality of decoded images based on the position information to obtain image data of a multi-image arrangement image.
  • the reception unit receives a predetermined number of video streams including encoded image data of a plurality of images related to a distribution service of multi-image arrangement, and position information indicating the arrangement positions of the plurality of images is inserted. Is done. A predetermined number of video streams are decoded by the decoding unit, and image data of a plurality of images is obtained.
  • the image processing apparatus further includes a decoded buffer that temporarily stores image data of a plurality of images obtained by the decoding unit, and a virtual display buffer that temporarily stores image data of a multi-image arrangement.
  • the image data of the plurality of images may be sequentially read from the coded buffer and written in an area corresponding to the arrangement position indicated by the position information of the virtual display buffer.
  • image data of a plurality of images after decoding is arranged based on position information, and image data of a multi-image arrangement image is obtained. Therefore, it is possible to efficiently and appropriately obtain the image data of the multi-image arrangement image.
  • a display control unit that reads out image data corresponding to a part or all of the display area of the multi-image arrangement image from the virtual display buffer and displays an image in the display area. May be.
  • a user operation unit for instructing the display area to the display control unit may be further provided. Accordingly, for example, an image displayed on the display can be changed, and a large-sized multi-image arrangement image can be scrolled and displayed on a display having a small size (resolution), for example, based on a user operation.
  • the display control unit may further include a user operation unit that specifies the number of displays for displaying the image of the display area.
  • a request transmission unit that transmits a request to stop and restart transmission of a predetermined number of video streams to the transmission side may be further provided.
  • a multi-image arrangement image that is a still image can be viewed at the user's timing without overflowing a buffer that temporarily stores image data.
  • a generator A metafile transmission unit that transmits the generated metafile to the client terminal through the network when there is a transmission request from the client terminal; Position information indicating the arrangement positions of the plurality of images is inserted in the layer of the video stream,
  • the metafile generation unit is included in the transmission device including information indicating that the predetermined number of video streams are always read in the metafile.
  • a metafile having information for the client terminal to acquire a predetermined number of video streams is generated by the metafile generation unit.
  • the predetermined number of video streams include encoded image data of a plurality of images related to a multi-image arrangement distribution service that can be distributed through the network by the distribution server.
  • position information indicating the arrangement positions of a plurality of images is inserted in the layer of the video stream.
  • the metafile When there is a transmission request from the client terminal by the metafile transmission unit, the metafile is transmitted to this client terminal through the network.
  • the metafile includes information indicating that a predetermined number of video streams are always read by the metafile generation unit.
  • the metafile includes information indicating that a predetermined number of video streams are always read. Therefore, on the receiving side, a predetermined number of video streams are always read based on the information of the metafile, so that it is possible to obtain image data of a multi-image arrangement image satisfactorily.
  • the metafile generation unit may further include identification information for identifying whether a predetermined number of video streams are still image streams or moving image streams in the metafile. . Accordingly, the client terminal can easily determine whether the predetermined number of video streams are still image streams or moving image streams.
  • a distribution service for multi-image arrangement can be performed satisfactorily.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 It is a block diagram which shows the structural example of the delivery system as embodiment. It is a figure which shows an example of horizontal and vertical direction two-dimensional multi-image arrangement
  • Still'picture single stream of a still picture
  • IPTV client which comprises a stream delivery system. It is a figure which shows the system of a general DASH-based stream delivery system. It is a figure which shows the structural example of the FragmentedMP4 stream containing a video stream. It is a figure which shows the example of description of the MPD file in the delivery service of multi-image arrangement. It is a figure which shows the example of description of the MPD file in the delivery service of multi-image arrangement.
  • FIG. 1 shows a configuration example of the distribution system 10.
  • a broadcasting station 110 a network distribution server 120, and an NTP (Network Time Protocol) distribution server 130 are arranged on the transmission side, and a receiver 200 is arranged on the reception side.
  • NTP Network Time Protocol
  • the broadcasting station 110 provides a still image / moving image linear service or a still image / moving image downloading service through an RF transmission path.
  • the broadcast station 110 transmits, for example, a container of MPEG2-TS (hereinafter simply referred to as “transport stream”) as broadcast distribution multiplexed data.
  • the transport stream has a predetermined number of video streams including encoded image data of a plurality of images (pictures) related to a multi-image arrangement distribution service.
  • the multi-image arrangement includes, for example, a horizontal / vertical two-dimensional multi-image arrangement in which a plurality of images are arranged two-dimensionally in the horizontal and vertical directions, and a horizontal one-dimensional multi-image in which a plurality of images are arranged one-dimensionally in the horizontal direction.
  • Type information indicating the rotation type is inserted.
  • AVC Advanced Video Coding
  • HEVC High Efficiency Video Coding
  • FIG. 2 shows an example of horizontal and vertical two-dimensional multi-image arrangement.
  • four images are arranged in both horizontal and vertical directions.
  • a multi-image arrangement image (hereinafter referred to as “group picture” as appropriate) composed of 4 ⁇ 4 images has a resolution corresponding to a virtual display. For example, when one image has HD resolution, the group picture has 8K resolution.
  • “0000” to “1111” indicate 4-bit data which is position information of each image.
  • the first two bits indicate which position in the four divisions of the virtual display.
  • the latter two bits indicate each position obtained by further dividing the four divisions into four divisions.
  • “Picture rendering ⁇ ⁇ type” is type information indicating the type of multi-image arrangement.
  • FIG. 3 shows an example of a horizontal one-dimensional multi-image arrangement.
  • five images are arranged in the horizontal direction.
  • the group picture composed of these five images has a resolution corresponding to a virtual display. For example, when one image has HD resolution, it has a resolution five times that in the horizontal direction.
  • “1110”, “1111”, “0000”, “0001”, and “0010” indicate 4-bit data that is position information of each image.
  • the position information of the front image is “0000”
  • the position information of the Nth image on the right side of the front is “0000 + N”
  • the Nth image on the left side of the front is “0000-N”.
  • the transport stream layer includes identification information indicating that the distribution service is a multi-image arrangement distribution service, identification information for identifying whether the distribution service is a moving image still image mixed service, and a multi-image arrangement distribution service.
  • the total number of video streams involved in is inserted. These pieces of information are described in, for example, a newly defined descriptor that is inserted under a program map table (PMT: Program) Map Table).
  • PMT Program
  • One video stream includes encoded image data of one or more images.
  • the video stream is a moving image stream, a still image stream, or a moving image still image mixed stream.
  • FIG. 4 shows an example of a group picture using still images.
  • the group picture is composed of 2 ⁇ 2 images (still images).
  • encoded image data of each image is sent in a time division manner with one video stream.
  • the encoded data of each image is sequentially decoded on the receiving side, and the image data of each image is written in the corresponding area of the virtual display buffer (Virtual Display Buffer) based on the position information.
  • the virtual display buffer Virtual Display Buffer
  • FIG. 5 shows an example of a group picture by moving images.
  • the group picture is composed of 2 ⁇ 2 images (moving images).
  • encoded image data of each image is sent in a time division manner with one video stream.
  • the encoded data of each image is sequentially decoded on the receiving side, and the image data of each image is written in the corresponding area of the virtual display buffer based on the position information.
  • FIG. 6 shows an example of a group picture by moving images.
  • the group picture is composed of 2 ⁇ 2 images (moving images).
  • encoded image data of each image is transmitted using four video streams.
  • the encoded data of each image is decoded on the receiving side, and the image data of each image is written in a corresponding area of the virtual display buffer based on the position information.
  • FIG. 7 shows an example of a group picture of still images / moving pictures.
  • the group picture is composed of 2 ⁇ 2 images (still images, moving images).
  • encoded image data of each image is sent in one video stream.
  • the image 3 (Picture 3) includes a still image and a moving image.
  • the encoded data of each image is decoded on the receiving side, and the image data of each image is written in a corresponding area of the virtual display buffer based on the position information.
  • FIG. 8 shows an example of delivery by a single stream of a still picture service.
  • the group picture is composed of 2 ⁇ 2 images.
  • a rectangular portion with a circled number indicates an access unit.
  • This example shows an example in which encoding by HEVC is performed. It should be noted that the circled numbers “1” to “4” indicate that encoded image data of image 1 (Picture 1) to image 4 (Picture 4) are included, respectively.
  • encoded image data of still images of image 1 (Picture 1) to image 4 (Picture 4) are transmitted in order.
  • the updated encoded image data of image 3 (Picture 3) is transmitted.
  • the updated encoded image data of image 3 (Picture 3) is transmitted.
  • the updated encoded image data of image 1 (Picture 1) to image 4 (Picture 4) is transmitted in order.
  • group_picture_start indicates the start of a group picture to be displayed and updated at a certain time.
  • group_picture_end indicates the end of the group picture to be displayed and updated at a certain time.
  • FIG. 9 shows an example of delivery by a plurality of streams of a still picture service.
  • the group picture is composed of 2 ⁇ 2 images.
  • a rectangular portion with a circled number indicates an access unit.
  • the circled numbers “1” to “4” indicate that encoded image data of image 1 (Picture 1) to image 4 (Picture 4) are included, respectively.
  • encoded image data of image 1 (Picture 1) to image 4 (Picture 4) are transmitted in sequence by video streams 1 to 4, respectively.
  • the encoded image data in which the image 3 (Picture 3) is updated by the video stream 3 is transmitted.
  • the encoded image data in which the image 3 (Picture 3) is updated by the video stream 3 is further transmitted.
  • the updated encoded image data of image 1 (Picture 1) to image 4 (Picture 4) is transmitted sequentially by video streams 1 to 4, respectively.
  • FIG. 10 shows an example of distribution by a single stream of a mixed service of a still picture (Still picture) and a moving picture (Moving picture).
  • the group picture is composed of 2 ⁇ 2 images.
  • a rectangular portion with a circled number indicates an access unit. It should be noted that the circled numbers “1” to “4” indicate that encoded image data of image 1 (Picture 1) to image 4 (Picture 4) are included, respectively.
  • encoded image data of still images of image 1 (Picture 1) to image 4 (Picture 4) are transmitted in order.
  • encoded image data of a moving image of image 3 (Picture 3) is transmitted.
  • encoded image data of updated still images of image 1 (Picture 1) to image 4 (Picture 4) are transmitted in order.
  • FIG. 11 shows a configuration example of the transmission data generation unit 110 that generates the above-described transport stream in the broadcast station 110.
  • the transmission data generation unit 110 includes a moving image / still image output unit 112, a video encoder 113, and a multiplexer 114.
  • the moving image / still image output unit 112 outputs image data of a plurality of images related to a multi-image arrangement distribution service.
  • the moving image / still image output unit 112 includes, for example, a camera that images a subject and outputs image data, or an image data reading unit that reads and outputs image data from a storage medium.
  • a still image service see, for example, FIG. 4
  • a plurality of still image data are output.
  • image data of a plurality of moving images is output.
  • a mixed service of moving images and still images see, for example, FIG. 7
  • a plurality of image data of moving images and still images are output.
  • the video encoder 113 performs encoding such as AVC or HEVC on the image data of a plurality of images output from the moving image / still image output unit 112 to obtain encoded image data.
  • the video encoder 113 generates a predetermined number of video streams (video elementary streams) including encoded image data using a stream formatter provided in the subsequent stage.
  • one video stream may include encoded image data of a plurality of images related to a multi-image arrangement in addition to the case of including encoded image data of a single image related to a multi-image arrangement.
  • the video encoder 113 includes, in the video stream layer, position information indicating the arrangement position of a plurality of images, offset information for adjusting the display timing of the plurality of images, and type information indicating the type of multi-image arrangement. Insert type information indicating the rotation type when displaying a plurality of images. These pieces of information are inserted into a newly defined SEI message when the image data is encoded by AVC (Advanced Video Coding), HEVC (High Efficiency Video Coding), or the like. Details of such information will be described later.
  • AVC Advanced Video Coding
  • HEVC High Efficiency Video Coding
  • the multiplexer 114 packetizes and multiplexes each video stream generated by the video encoder 113 to generate a transport stream.
  • the multiplexer 114 has, in the container layer (system layer), identification information indicating that it is a multi-image arrangement distribution service, and identification information for identifying whether the distribution service is a moving image still image mixed service. Insert the total number of video streams involved in the multi-image layout distribution service. These pieces of information are described in, for example, a newly defined descriptor that is inserted under a program map table (PMT: Program) Map Table). Details of such information will be described later.
  • PMT Program
  • Image data of a plurality of images related to a multi-image arrangement distribution service is output from the moving image / still image output unit 112. These image data are supplied to the video encoder 113.
  • the video encoder 113 performs encoding such as AVC or HEVC on the image data to obtain encoded image data.
  • the video encoder 113 generates a predetermined number of video streams including the encoded image data.
  • an offset for adjusting the display timing of the plurality of images in addition to the position information indicating the arrangement positions of the plurality of images for example, by a newly defined SEI message in the layer of the video stream.
  • Information, type information indicating the type of multi-image arrangement, type information indicating a rotation type when a plurality of images are displayed, and the like are inserted.
  • a predetermined number of video streams output from the video encoder 113 are supplied to the multiplexer 114.
  • each video stream is packetized and multiplexed to generate a transport stream.
  • the multiplexer 114 uses the newly defined descriptor in the transport stream layer, identification information indicating that the distribution service is a multi-image arrangement service, and whether or not the distribution service is a moving image still image mixed service. The identification information for identifying this, the total number of video streams involved in the multi-image arrangement distribution service, and the like are inserted.
  • FIG. 12 shows a configuration example of a transport stream in the case of performing delivery by a single stream.
  • the transport stream includes one video stream. That is, in this configuration example, there is a PES packet “video PES1” of a video stream in which image data is encoded.
  • This video stream includes encoded image data of a plurality of images related to a multi-image arrangement distribution service.
  • a group picture tag SEI (Group_picture_tag SEI) message is inserted for each access unit of encoded image data of each image.
  • SEI message as described above, in the video stream layer, in addition to position information indicating the arrangement position of each image, offset information for adjusting the display timing of each image, type information indicating the type of multi-image arrangement The type information indicating the rotation type at the time of displaying each image is inserted.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI Program Specific Information
  • PMT has a program loop that describes information related to the entire program.
  • a multi stream service descriptor (multi_stream_service_descriptor) is inserted under the program loop.
  • the PMT includes an elementary loop having information related to each elementary stream.
  • a video elementary loop (video (ES1 loop) exists.
  • information such as stream type and packet identifier (PID) is arranged corresponding to the video stream (video PES1), and a descriptor describing information related to the video stream is also arranged. Is done.
  • a mixed stream descriptor mixed_stream_descriptor
  • a picture lifetime descriptor Picture_lifetime_descriptor
  • identification information indicating that the distribution service is a multi-image arrangement service, and whether the distribution service is a mixed service of moving image still images is identified.
  • the identification information, the total number of video streams involved in the multi-image layout distribution service, and the like are inserted.
  • FIG. 13 shows an example of the structure of a transport stream when delivery is performed using a plurality of streams, here, four streams.
  • the transport stream includes four video streams. That is, in this configuration example, there are PES packets “video PES1, video PES2, video PES3, video PES4” of a video stream in which image data is encoded. These video streams include encoded image data of a plurality of images related to a multi-image arrangement distribution service.
  • a group picture tag SEI (Group_picture_tag SEI) message is inserted for each access unit of encoded image data of each image.
  • This SEI message as described above, in the video stream layer, in addition to position information indicating the arrangement position of each image, offset information for adjusting the display timing of each image, type information indicating the type of multi-image arrangement The type information indicating the rotation type at the time of displaying each image is inserted.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI Program Specific Information
  • PMT has a program loop that describes information related to the entire program.
  • a multi stream service descriptor (multi_stream_service_descriptor) is inserted under the program loop.
  • the PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there are four video elementary loops (video ES1 loop, video ES2 loop, video ES3 loop, video ES4 loop).
  • information such as a stream type and a packet identifier (PID) is arranged corresponding to each video stream, and a descriptor describing information related to the video stream is also arranged.
  • a descriptor describing information related to the video stream is also arranged.
  • a mixed stream descriptor mixed_stream_descriptor
  • a picture lifetime descriptor Picture_lifetime_descriptor
  • identification information indicating that the distribution service is a multi-image arrangement service, and whether the distribution service is a mixed service of moving image still images is identified.
  • the identification information, the total number of video streams involved in the multi-image layout distribution service, and the like are inserted.
  • FIG. 14 shows a structural example (Syntax) of a group picture tag SEI (Group_picture_tag SEI).
  • FIG. 15 shows the contents (Semantics) of main information in the structural example.
  • the 8-bit field of “group_picture_id” is association information for collective display of a plurality of pictures including still images. That is, “group_picture_id” of each image constituting the group picture (multi-image arrangement image) is the same.
  • the 3-bit field of “picture_rendering_type” indicates the type of multi-image arrangement, that is, the arrangement type of images included in the group picture. “001” indicates a horizontal one-dimensional multi-image arrangement, “010” indicates a vertical one-dimensional multi-image arrangement, and “011” indicates a horizontal / vertical two-dimensional multi-image arrangement. Indicates. With this information, the receiving side can accurately recognize the type of multi-image arrangement, and can easily arrange a plurality of images appropriately.
  • the 1-bit field of “lifetime_controlled” indicates whether the displayable time is limited. “1” indicates that the displayable time is limited. In this case, it is possible to display until the NTP time designated by the system layer (container layer). “0” indicates that the displayable time is not limited, that is, it can be displayed indefinitely. With this information, the receiving side can automatically perform deletion control of image data stored in the virtual display buffer, for example.
  • the 4-bit field of “location_ID” indicates the arrangement position of each image constituting the group picture (see FIGS. 2 and 3).
  • the 8-bit field of “version_number” is an ascending value indicating image update. Based on this information, for example, it is possible to sequentially update the still images constituting the group picture.
  • the 4-bit field of “number_of_pictures” is the total number of images constituting the group picture, that is, the maximum number of images that have the same “group_picture_id” and are displayed simultaneously.
  • the 3-bit field “display_coordinate” indicates the type of rotation at the time of display. “010” indicates that each image is displayed by being rotated 90 degrees clockwise. “011” indicates that each image is displayed by being rotated 90 degrees counterclockwise. “110” indicates that the entire group picture is rotated 90 degrees clockwise. “111” indicates that the entire group picture is displayed by being rotated 90 degrees counterclockwise. With this information, it is possible to display a plurality of images constituting the group picture in a rotation state intended by the service side.
  • FIG. 16 shows an example of rotation at the time of display by “display_coordinate”.
  • This example is an example of a two-dimensional multi-image arrangement in the horizontal and vertical directions, in which the group picture is composed of 2 ⁇ 2 images.
  • FIG. 16A shows an example in which “display_coordinate” is “110”. With respect to the decoded image, the display image is the entire group picture rotated 90 degrees clockwise.
  • FIG. 16B illustrates an example in which “display_coordinate” is “010”. With respect to the decoded image, the display image is rotated 90 degrees clockwise for each image (picture).
  • the 1-bit field of “group_picture_start” indicates the start of the group picture to be displayed and updated at a certain time.
  • a 1-bit field of “group_picture_end” indicates the end of the group picture to be displayed and updated at a certain time.
  • An 8-bit field of “PTD (Presentation Time Distance)” is an offset value for simultaneously displaying each image included in the group picture. That is, this “PTD” is offset information for adjusting the display timing of a plurality of images constituting the group picture.
  • the display timing CTP (i) of the image (i) constituting the group picture can be obtained using the PTD (i) as shown in the following formula (1).
  • PTD (max) is a PTD attached to an image having the latest display timing (PTS) among images having the same “group_picture_id” sandwiched between “group_picture_start” and “group_picture_end”.
  • CTP (i) PTS (i) + (PTD (max) -PTD (i)) * System clock accuracy (90KHz) ...
  • FIG. 17 shows a calculation example of the display timing CTP of each image constituting the group picture.
  • This example is an example of horizontal and vertical two-dimensional multi-image arrangement as shown in FIG. 17 (a), in which a group picture is 2 ⁇ 2 (Picture 1, Picture 2, Picture 3, Picture 4). It is an example comprised by.
  • the PTS of each image is P1, P2, P3, and p4, whereas the PTD of each image is set to 1, 2, 3, and 4. .
  • PTD (max) 4.
  • the display timing CTP1 of image 1 (Picture 1) is obtained as “P1 + (4-1) * 1/90000”.
  • the display timing CTP2 of the image 2 (Picture 2) is obtained as “P2 + (4-2) * 1/90000”.
  • the display timing CTP3 of the image 3 (Picture 3) is obtained as “P3 + (4-3) * 1/90000”.
  • FIG. 18 shows an example of temporal transition of various information of the group picture tag SEI.
  • a rectangular portion with a circled number indicates an access unit.
  • the circled numbers “1” to “4” indicate that encoded image data of image 1 (Picture 1) to image 4 (Picture 4) are included (FIG. 17A). reference).
  • the encoded image data of still image 1 (Picture 1) to image 4 (Picture 4) whose “group_picture_id” is “1” is transmitted in order.
  • “1” to “4” are assigned as “location_id” and “1” is assigned as “version_number” to the encoded image data of image 1 (Picture 1) to image 4 (Picture 4).
  • “0” is added as “display_coordinate”.
  • the group picture service is started by “group_picture_start” in the encoded image data of the image 1 (Picture 1), and “group_picture_end” is included in the encoded image data of the image 4 (Picture 4). "Indicates that the group picture service has ended.
  • the updated encoded image data of image 2 (Picture 2) is transmitted.
  • “2” is added as “location_id”
  • “2” is added as “version_number”
  • “0” is set as “display_coordinate” in the encoded image data of image 2 (Picture 2). Is attached.
  • the encoded picture data of picture 2 (Picture 2) indicates that the group picture service is started by “group_picture_start” and the group picture service is ended by “group_picture_end”. It is.
  • encoded image data of image 2 is assigned “2” as “location_id”, “3” as “version_number”, and “0” as “display_coordinate”. Is attached.
  • the encoded picture data of picture 2 (Picture 2) indicates that the group picture service is started by “group_picture_start” and the group picture service is ended by “group_picture_end”. It is.
  • the updated encoded image data of image 1 (Picture 1) to image 4 (Picture 4) is transmitted in order.
  • “1” to “4” are assigned as “location_id” and “4” is assigned as “version_number” to the encoded image data of image 1 (Picture 1) to image 4 (Picture 4).
  • “1” is added as “display_coordinate”.
  • the group picture service is started by “group_picture_start” in the encoded image data of the image 1 (Picture 1), and “group_picture_end” is included in the encoded image data of the image 4 (Picture 4). "Indicates that the group picture service has ended.
  • FIG. 19 shows a structural example (Syntax) of a multi-stream service descriptor (multi_stream_service_descriptor).
  • FIG. 20 shows the contents (Semantics) of main information in the structural example.
  • the 8-bit field of “multi_stream_service_descriptor_tag” indicates a descriptor type, and here indicates a multi-stream service descriptor.
  • the 8-bit field of “multi_stream_service_descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the descriptor length.
  • a 1-bit field of “multiple_stream_service_flag” is a flag indicating a multiplex distribution service, that is, a multi-image arrangement distribution service. “1” indicates a multiplex distribution service, and “0” indicates a non-multiplex distribution service. With this information, the receiving side can easily recognize that the distribution service is a multi-image arrangement, and can prepare for the processing.
  • a 1-bit field of “moving_picture_still_picture_mixed_service” is a flag indicating that it is a still image / moving image mixed service. “1” indicates a still image / moving image mixed service, and “0” indicates a non-mixed service.
  • a 4-bit field of “number_of_streams” indicates the total number of streams involved in the multiplex distribution service. “0001” to “1111” indicate 1 stream to 15 streams, respectively. With this information, the receiving side can easily grasp the total number of video streams to be processed and can perform appropriate processing.
  • FIG. 21A shows a structural example (Syntax) of a mixed stream descriptor (mixed_stream_descriptor).
  • FIG. 21B shows the contents (Semantics) of main information in the structural example.
  • the 8-bit field of “mixed_stream_descriptor tag” indicates the descriptor type, and here indicates that it is a mixed stream descriptor.
  • the 8-bit field of “mixed_stream_descriptor length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
  • a 2-bit field of “service_stream_type” indicates a stream type. “01” indicates a moving image stream, “10” indicates a still image stream, and “11” indicates a still image / moving image mixed stream. With this information, the receiving side can easily grasp the stream type of the video stream and perform appropriate processing.
  • FIG. 22A shows a structure example (Syntax) of a picture lifetime descriptor (Picture_lifetime_descriptor).
  • FIG. 22B shows the contents (Semantics) of main information in the structural example.
  • the 8-bit field of “Picture_lifetime_descriptor tag” indicates a descriptor type, and here indicates that it is a picture lifetime descriptor.
  • the 8-bit field of “Picture_lifetime_descriptor length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
  • a 16-bit field of “number_of_group_pictures” indicates the number of group pictures identified by “group_picture_id”.
  • a 64-bit field of “NTP” indicates a clock value defined by NTP (Network Time Protocol), and can be set for each group picture.
  • the network distribution server 120 provides a still image / video linear service or a still image / video download service via a communication network.
  • the net distribution server 120 distributes, for example, an MP4 container as IP distribution data.
  • the MP4 has a predetermined number of video streams including encoded image data of a plurality of images (pictures) related to a multi-image arrangement distribution service, similarly to the transport stream handled by the broadcasting station 110 described above. Is done.
  • the network distribution server 120 transmits a transmission stream in which MP4 IP packets are continuously arranged to the reception side through the communication network based on a reproduction command from the reception side.
  • the container layer includes identification information indicating that the distribution service is a multi-image arrangement distribution service, identification information for identifying whether the distribution service is a moving image still image mixed service, The total number of video streams involved in the distribution service is inserted.
  • the receiver 200 includes a tuner 201, a demultiplexer 202, a compressed data buffer (decode buffer) 203, a decoder 204, and an uncompressed data buffer (decoded buffer) 205.
  • the receiver 200 includes a virtual display buffer (VP buffer) 206, a scaler 207, a display (screen device) 208, a gateway / network router 209, a CPU (Central Processing Unit) 210, and a user operation unit 211.
  • the CPU 210 controls the operation of each unit of receiver 200.
  • the user can input various instructions using the user operation unit 211.
  • the user operation unit 211 includes a remote control unit, a touch panel unit that inputs an instruction by proximity / touch, a mouse, a keyboard, a gesture input unit that detects an instruction input by a camera, a voice input unit that instructs by voice.
  • the tuner 201 receives a broadcast wave transmitted from the transmission side through the RF transmission path, performs RF demodulation, and obtains a transport stream as broadcast distribution multiplexed data.
  • the transport stream has a predetermined number of video streams including encoded image data of a plurality of images (pictures) related to a multi-image arrangement distribution service.
  • the gateway / network router unit 209 receives the IP packet sequence sent from the distribution server 120 through the communication network, depackets it, and obtains MP4 as IP distribution data.
  • the MP4 has a predetermined number of video streams including encoded image data of a plurality of images (pictures) related to a multi-image arrangement distribution service, like the above-described transport stream. .
  • the demultiplexer 202 extracts a predetermined number of video streams from the transport stream (broadcast distribution multiplexed data) obtained by the tuner 201 or MP4 (IP distribution data) obtained by the gateway / network router unit 209, Temporarily accumulates in the compressed data buffer 203. At this time, the demultiplexer 202 extracts various information inserted in the container layer and sends it to the CPU 210. As described above, this information includes identification information indicating that the distribution service is a multi-image arrangement service, identification information for identifying whether the distribution service is a mixed service of moving image still images, and multi-image arrangement distribution. The total number of video streams involved in the service is inserted.
  • the demultiplexer 202 is connected to an external storage medium 212, such as an HDD, and is obtained by the transport stream (broadcast distribution multiplexed data) obtained by the tuner 201 or by the gateway / network router unit 209. MP4 (IP distribution data) can be recorded and reproduced.
  • the demultiplexer 202 can perform the same processing on the reproduction data from the storage medium 212.
  • the decoder 204 extracts a predetermined number of video streams stored in the compressed data buffer 203 at a predetermined decoding timing, performs decoding processing, and outputs image data of each image constituting the group picture (multi-image arrangement image). And temporarily stored in the uncompressed data buffer 205. At this time, the decoder 204 extracts various information inserted in the layer of the video stream and sends it to the CPU 210. As described above, this information includes position information indicating the arrangement position of each image, offset information for adjusting the display timing of each image, type information indicating the type of multi-image arrangement, and the display time of each image. Type information indicating the rotation type is inserted.
  • the virtual display buffer 206 acquires image data of each image constituting the group picture stored in the uncompressed data buffer 205, and temporarily stores it in an area corresponding to each image. Reading from the uncompressed data buffer 205 to the virtual display buffer 206 is performed, for example, at a timing depending on PTS (Presentation Time Stamp) (see CTP in FIG. 17).
  • PTS Presentation Time Stamp
  • the scaler 207 reads out image data of a part or all of the area (display area) of the group picture from the virtual display buffer 206, performs a scaling process if necessary, and sends it to the display 208. This scaling is performed, for example, in order to match the resolution of the image data in the display area read from the virtual display buffer 206 with the resolution of the display 208.
  • the timing for reading from the virtual display buffer 206 (display timing) and the position and size of the display area can be specified from the user operation unit 211.
  • the user operation unit 211 can also specify the number of displays 208 that perform image display. Although only one display 208 is shown in the figure, it is assumed that a plurality of displays 208 are provided.
  • FIG. 23 shows an example of the relationship between the image on the virtual display and the display area.
  • the illustrated example is a two-dimensional multi-image arrangement in the horizontal and vertical directions, and a group picture is composed of 2 ⁇ 2 images P1 to P4.
  • the display area of the size set by the user operation with respect to the virtual display can be arbitrarily changed by the user operation as shown in the figure. In this case, only the image corresponding to the display area is displayed on the display 208 among the images P1 to P4 on the virtual display.
  • the position and size of the current display area on the virtual display may be displayed on the display 208 or on another display element (not shown).
  • the user can easily grasp the position and size of the display area on the virtual display, and can specify the position and size of the display area appropriately and efficiently.
  • FIG. 24A shows an example of the position and size of the display area on the virtual display.
  • FIG. 24B shows an example of a position indicator 250 displayed on the display 208 corresponding thereto.
  • the position indicator 250 includes a graphic 250a indicating the entire virtual display, and a rectangular graphic 250b indicating the current display area arranged on the graphic corresponding to the position and size of the display area. .
  • FIG. 25 also shows an example of the relationship between the image on the virtual display and the display area.
  • the example shown in the figure is a horizontal one-dimensional multi-image arrangement, and a group picture is composed of five images P1 to P5.
  • the display area of the size set by the user operation with respect to the virtual display can be arbitrarily changed by the user operation as shown in the figure. In this case, only the image corresponding to the display area is displayed on the display 208 among the images P1 to P5 on the virtual display.
  • FIG. 26 (a) shows an example of the position and size of the display area on the virtual display.
  • FIG. 26B shows an example of a position indicator 260 displayed on the display 208 corresponding thereto.
  • the position indicator 260 includes a graphic 260a indicating the entire virtual display, and a bar-shaped graphic 260b indicating the center position of the current display area arranged on the graphic corresponding to the center position of the display area. . Also in this case, the position and size of the display area may be indicated by a rectangular figure.
  • FIG. 27 shows a configuration example of a display for displaying a panoramic image.
  • This display is configured by connecting a plurality of, in this example, three flat (shown by a one-dot chain line) or curved (shown by a solid line) display 208 in the horizontal direction.
  • a panoramic image can be displayed by selectively displaying, for example, three images consecutive in the horizontal direction on the three displays 208.
  • FIG. 28 shows a designation example of the display area when the group picture is composed of seven images that are continuous in the horizontal direction.
  • FIG. 28A is an example in which position designation is performed with a size corresponding to, for example, three images in order to display a part of a panoramic image on three displays 208 (for example, see FIG. 27).
  • FIG. 28B shows an example in which position designation is performed with a size corresponding to one image, for example, in order to display a part of the panoramic image on one display 208.
  • the still images are updated according to the user operation.
  • the image data of the update target image is read from the virtual display buffer 206, and the display image is updated.
  • image data of four images having “version_number” of “1” and “location_id” of “1” to “4” are read from the virtual display buffer 206 and a group picture of still images is displayed. It shall be.
  • the image data of the image having “version_number” of “2” and “location_id” of “2” is read from the virtual display buffer 206, and the display of the image is updated.
  • the image data of the moving images is read from the uncompressed data buffer 205 to the virtual display buffer 206 at a timing depending on the PTS, and then fixed. And is sent to the display 208 via the scaler 207. Also in this case, only the image data of the display area whose size and position are designated by the user is read, and size conversion (resolution conversion) is performed by the scaler 207 as necessary.
  • the user can rotate the display image on the display 208 for the entire group picture or for each image constituting the group picture by image rotation operation from the user operation unit 211.
  • the rotation of the image is basically controlled by the information of “display_coordinate”. Thereby, it is possible to display in the rotation state intended by the service side. However, the image can be further rotated by a user operation.
  • the user can send a playback command, a pause command, a resume (restart) command, a skip command, a playback end command, and the like to the network distribution server 120 by operating the user operation unit 211.
  • the CPU 210 automatically sends a pause command to the network distribution server 120, and then resumes when the capacity of the virtual display buffer 206 is sufficient. Sending a (restart) command is also performed.
  • the operation of the receiver 200 will be briefly described. First, a case where the receiver 200 receives a broadcast wave will be described.
  • the tuner 201 receives the still image linear service and the moving image linear service, and obtains a transport stream (broadcast distribution multiplexed data). This transport stream is sent to the demultiplexer 202.
  • the demultiplexer 202 extracts a predetermined number of video streams from the transport stream (broadcast distribution multiplexed data) and temporarily stores them in the compressed data buffer 203. At this time, the demultiplexer 202 extracts various information inserted in the container layer and sends it to the CPU 210. Note that the demultiplexer 202 performs the same processing on the transport stream (broadcast distribution multiplexed data) that has been recorded and reproduced on the storage medium 212.
  • the decoder 204 a predetermined number of video streams stored in the compressed data buffer 203 are taken out at a predetermined decoding timing and subjected to a decoding process, so that each of the images constituting the group picture (multi-image arrangement image) is imaged. Data is obtained and temporarily stored in the uncompressed data buffer 205. At this time, the decoder 204 extracts various information inserted in the layer of the video stream and sends it to the CPU 210.
  • image data of each image constituting the group picture stored in the uncompressed data buffer 205 is acquired and temporarily stored in an area corresponding to each image. Reading from the uncompressed data buffer 205 to the virtual display buffer 206 is performed, for example, at a timing depending on PTS (Presentation Time Stamp).
  • PTS Presentation Time Stamp
  • the region of the position and size specified by the user is read out at appropriate timing among the image data of each image constituting the group picture accumulated in the virtual display buffer 206, and the size (resolution) is read by the scaler 207. ) After being converted, it is sent to the display 208. As a result, the display area of the group picture designated by the user is displayed on the display 208.
  • the video data of the linear service is displayed after a fixed time delay from the service reception.
  • the still image service since there is a degree of freedom of viewing time depending on the user's preference, the display content update instruction from the user is irregular. Therefore, the amount of delay in the receiver 200 including the display period is not constant.
  • the virtual display buffer 206 absorbs the difference between the delay time and the timing encoded and distributed in advance in the received stream. Before the virtual display buffer 206 overflows, in the case of a linear service, the receiver 200 determines whether to record the received stream on the storage medium 212 or to temporarily stop service reception.
  • the receiver 200 when the receiver 200 receives a moving image or still image download service from a broadcast wave, the file via the tuner 201 is temporarily stored in the storage medium 212 or stored in the storage medium 212 from the demultiplexer 202. At the same time, decoding is performed in the decoder 204, and a group picture is formed in the virtual display buffer 206, leading to display.
  • the gateway / network router unit 209 receives the still image linear service and the moving image linear service, and obtains MP4 (IP distribution data). This MP4 is sent to the demultiplexer 202.
  • the demultiplexer 202 extracts a predetermined number of video streams from MP4 (IP distribution data) and temporarily stores them in the compressed data buffer 203. At this time, the demultiplexer 202 extracts various information inserted in the container layer and sends it to the CPU 210. The demultiplexer 202 performs the same processing on MP4 (IP distribution data) that has undergone recording / reproduction on the storage medium 212.
  • MP4 IP distribution data
  • the decoder 204 a predetermined number of video streams stored in the compressed data buffer 203 are taken out at a predetermined decoding timing and subjected to a decoding process, so that each of the images constituting the group picture (multi-image arrangement image) is imaged. Data is obtained and temporarily stored in the uncompressed data buffer 205. At this time, the decoder 204 extracts various information inserted in the layer of the video stream and sends it to the CPU 210.
  • image data of each image constituting the group picture stored in the uncompressed data buffer 205 is acquired and temporarily stored in an area corresponding to each image. Reading from the uncompressed data buffer 205 to the virtual display buffer 206 is performed, for example, at a timing depending on PTS (Presentation Time Stamp).
  • PTS Presentation Time Stamp
  • the region of the position and size specified by the user is read out at appropriate timing among the image data of each image constituting the group picture accumulated in the virtual display buffer 206, and the size (resolution) is read by the scaler 207. ) After being converted, it is sent to the display 208. As a result, the display area of the group picture designated by the user is displayed on the display 208.
  • the video data of the linear service is displayed after a fixed time delay from the service reception.
  • the still image service since there is a degree of freedom of viewing time depending on the user's preference, the display content update instruction from the user is irregular. Therefore, the amount of delay in the receiver 200 including the display period is not constant.
  • the virtual display buffer 206 absorbs the difference between the delay time and the timing encoded and distributed in advance in the received stream. Before the virtual display buffer 206 overflows, in the case of linear service (multicast), the receiver 200 determines whether to record the received stream in the storage medium 212 or to temporarily stop service reception. Alternatively, it immediately shifts to VOD (unicast service) and transmits a playback control command (playback start, pause, resume, stop, etc.) to the VOD distribution server.
  • VOD unicast service
  • the file via the gateway / network router unit 209 is temporarily stored in the storage medium 212 or stored in the storage medium 212 from the demultiplexer 202. Simultaneously, decoding is performed in the decoder 204, a group picture is formed in the virtual display buffer 206, and display is performed.
  • the receiver 200 sets the receiver so that the download reception is temporarily stopped and resumed at a later timing before the virtual display buffer 206 overflows.
  • the download reception in the net distribution service uses the storage medium 212 or moves to the VOD (unicast service) when the virtual display buffer 206 cannot absorb the download reception to the VOD distribution server.
  • a playback control command (playback start, pause, resume, stop, etc.) is transmitted to it.
  • a container of a predetermined format having a predetermined number of video streams including encoded image data of a plurality of images related to a multi-image arrangement distribution service is set as an RF transmission line or
  • position information (location_id) indicating the arrangement position of a plurality of images is inserted into the layer of the video stream. Therefore, for example, the receiving side can efficiently and appropriately arrange a plurality of images constituting a group picture (multi-image arrangement image).
  • the receiver 200 arranges the image data of a plurality of images constituting the group picture after decoding based on the position information, and obtains the image data of the group picture. It is. Therefore, for example, image data of a group picture can be obtained efficiently and appropriately.
  • FIG. 29 shows a configuration example of an MPEG-DASH based distribution system 10A.
  • N IPTV clients 13-1, 13-2,..., 13-N are connected to a DASH segment streamer 11 and a DASH MPD server 12 via a CDN (Content Delivery Network) 14. It is a connected configuration.
  • CDN Content Delivery Network
  • the DASH segment streamer 11 generates a DASH specification stream segment (hereinafter referred to as “DASH segment”) based on media data (video data, audio data, caption data, etc.) of predetermined content, and HTTP from the IPTV client. Send segments on demand.
  • DASH segment streamer 11 is a web server.
  • the DASH segment streamer 11 responds to a request for a segment of a predetermined stream sent from the IPTV client 13 (13-1, 13-2,..., 13-N) via the CDN 14, and the stream is streamed. Are sent to the requesting IPTV client 13 via the CDN 14.
  • the DASH MPD server 12 is a server that generates an MPD file for acquiring a DASH segment generated in the DASH segment streamer 11.
  • the MPD file is generated based on the content metadata from the content management server (not shown in FIG. 29) and the segment address (url) generated in the DASH segment streamer 11.
  • each attribute is described using an element called “Representation” for each stream such as video and audio.
  • representations are described separately for each predetermined number of video streams including encoded data of a plurality of images related to a multi-image arrangement distribution service.
  • information indicating that the predetermined number of video streams are always read is described.
  • MPD file has a hierarchical structure as shown in FIG.
  • information such as the compression method, encoding speed, image size, and language of the moving image stored in the DASH segment streamer 11 is hierarchically described in the XML format.
  • This MPD file is a structure such as Period, Adaptation Set, Representation, Segment Info, Initialization Segment, Media Segment, etc. Are included hierarchically.
  • the structure of the period has information on the program (a set of synchronized video and audio data). Further, the adaptation set structure included in the period structure groups the stream selection range (representation group). In addition, the representation structure included in the adaptation set structure has information such as the encoding speed of the moving image and audio, and the audio size of the moving image.
  • the segment info structure included in the representation structure has information related to video and audio segments.
  • the initialization segment structure included in the segment info structure has initialization information such as a data compression method.
  • the media segment structure included in the segment info structure has information such as an address for acquiring a moving image or audio segment.
  • FIG. 31 shows an example of the relationship between the structures arranged hierarchically in the MPD file described above.
  • a media presentation Media Presentation
  • FIG. 31A a media presentation (Media Presentation) as an entire MPD file includes a plurality of periods separated by time intervals. For example, the first period starts from 0 seconds, the next period starts from 100 seconds, and so on.
  • the plurality of representations are representations related to a predetermined number of video streams including, for example, encoded data of a plurality of images related to a distribution service of multi-image arrangement, grouped by the above-described adaptation set (Adaptation Set). There are groups.
  • the representation includes segment info (SegmentInfo).
  • SegmentInfo As shown in FIG. 31 (c), the representation includes segment info (SegmentInfo).
  • Segment info As shown in FIG. 31 (d), a plurality of media segments (Media) in which information for each initialization segment (Initialization Segment) and each segment (Segment) obtained by further dividing the period is described. Segment) exists.
  • Media media segments
  • url address
  • FIG. 32 shows an example of a flow from generation of a DASH segment or DASHSMPD file from content.
  • Content is sent from the content management server 15 to the DASH segment streamer 11.
  • the DASH segment streamer 11 generates a DASH segment for each data stream based on video data, audio data, and the like that constitute the content.
  • the DASH segment streamer 11 sends the DASH segment address (url) information of the generated data stream to the DASH MPD server 12.
  • the content management server 15 sends the metadata of the content to the DASH MPD server 12.
  • the DASH MPD server 12 generates a DASH MPD file based on the address information of the DASH segment of each data stream and the content metadata.
  • FIG. 33 shows a configuration example of the IPTV client 13 (13-1 to 13-N).
  • the IPTV client 13 includes a streaming data control unit 131, an HTTP access unit 132, and a moving image playback unit 133.
  • the streaming data control unit 131 acquires an MPD file from the DASH MPD server 12 and analyzes the content.
  • the HTTP access unit 132 requests the DASH segment streamer 11 for a moving image or audio segment used for moving image reproduction.
  • the HTTP access unit 132 refers to the description of the MPD file, and includes a predetermined number of videos including encoded data of a plurality of images related to the multi-image arrangement distribution service. Request a segment of the stream.
  • the HTTP access unit 132 sends the received video or audio segment to the video playback unit 133.
  • the moving image reproduction unit 133 performs decoding processing on each segment sent from the HTTP access unit 132 to obtain image data of each image constituting a group picture (multi-image arrangement image), audio data associated therewith, and the like. , Play images and sound.
  • the processing of each unit of the IPTV client 13 is performed by software, for example.
  • FIG. 34 shows a general DASH-based stream distribution system. Both the DASH MPD file and the DASH segment are distributed via a CDN (Content Delivery Network) 14.
  • the CDN 14 has a configuration in which a plurality of cache servers (DASH cache servers) are arranged in a network.
  • the cache server receives an HTTP request for acquiring an MPD file from the IPTV client 13. If the cache server is in the local MPD cache, it returns an HTTP response to the IPTV client 13. If the cache server is not in the local MPD cache, the cache server transfers the request to the DASHSMPD server 12 or a higher-level cache server. The cache server receives the HTTP response in which the MPD file is stored, transfers the HTTP response to the IPTV client 13, and performs a cache process.
  • the cache server receives an HTTP request for acquiring a DASH segment from the IPTV client 13. If the cache server is in the local segment cache, it returns it to the IPTV client 13 as an HTTP response. If the cache server is not in the local segment cache, the request is transferred to the DASH segment streamer 11 or a higher-level cache server. The cache server receives the HTTP response in which the DASH segment is stored, transfers the HTTP response to the IPTV client 13, and performs cache processing.
  • the DASH segment delivered to the IPTV client 13-1 that originally issued the HTTP request is temporarily cached in the path cache server, and the subsequent HTTP request from the other IPTV client 13-2 is received. Is delivered its cached DASH segment. Therefore, it is possible to improve the delivery efficiency of HTTP streaming for the majority of IPTV clients.
  • the CDN 14 has a predetermined number of cache management servers in addition to a plurality of cache servers.
  • the cache management server creates a cache control policy based on an index relating to the cache of the DASH segment of each video data stream included in the MPD file, and distributes the cache control policy to each cache server.
  • Each cache server performs caching processing of the DASH segment of each video data stream based on this cache control policy.
  • FIG. 35 shows a configuration example of a Fragmented MP4 stream.
  • the video Fragmented MP4 stream includes Fragmented MP4 obtained by packetizing the video stream.
  • a predetermined picture of the video stream is inserted into the “mdat” portion of FragmentedMP4.
  • a group picture tag SEI Group_picture_tag SEI
  • the IPTV client 13 efficiently and appropriately arranges each image based on, for example, the position information (“location_id”) of each image constituting the group picture.
  • the transport stream may be sent as it is with DASH.
  • a transport stream in which a multi-stream service descriptor (multi_stream_service_descriptor), a mixed stream descriptor (mixed_stream_descriptor), and a picture lifetime descriptor (Picture_lifetime_descriptor) are inserted is sent as it is.
  • FIG. 36 and FIG. 37 show description examples of MPD files in the multi-image layout distribution service.
  • FIG. 37 there are four representations (Representations) corresponding to the four streams, respectively.
  • the IPTV client 13 can obtain the image data of each image constituting the group picture, and thus the group picture image.
  • this technique can also take the following structures.
  • a transmission unit that transmits a predetermined format container having a predetermined number of video streams, including encoded image data of a plurality of images related to a multi-image arrangement distribution service;
  • An information insertion unit configured to insert position information indicating an arrangement position of the plurality of images into the layer of the video stream;
  • the transmission device according to (1), wherein the information insertion unit further inserts offset information for adjusting display timings of the plurality of images into a layer of the video stream.
  • the information insertion unit further inserts type information indicating a type of the multi-image arrangement into a layer of the video stream.
  • the transmission device according to any one of (1) to (3), wherein the information insertion unit further inserts type information indicating a rotation type at the time of display of the plurality of images into the layer of the video stream. . (5) The information insertion unit further inserts lifetime information indicating whether the displayable time of the plurality of images is controlled into the layer of the video stream.
  • the transmission device according to any one of the above.
  • the transmission device according to any one of (1) to (5), wherein the information insertion unit further inserts identification information for identifying the distribution service of the multi-image arrangement in the container layer. . (7) The information insertion unit further inserts, in the container layer, identification information for identifying whether or not the multi-image layout distribution service is a moving image / still image mixed service. Transmitter.
  • the information insertion unit further inserts information on the total number of the video streams involved in the multi-image arrangement distribution service into the container layer.
  • the information insertion unit according to any one of (1) to (7) Transmitter device.
  • the information insertion unit further includes, in the container layer, type information indicating whether each video stream is a moving image stream, a still image stream, or a mixed stream of still image moving images. Insert the transmitter according to any one of (1) to (8).
  • a reception unit that receives a predetermined number of video streams including encoded image data of a plurality of images related to a multi-image arrangement distribution service and in which position information indicating the arrangement positions of the plurality of images is inserted;
  • a decoding unit that decodes the predetermined number of video streams to obtain image data of the plurality of images;
  • a processing unit that arranges image data of the plurality of decoded images based on the position information to obtain image data of a multi-image arrangement image.
  • a decoded buffer for temporarily storing image data of the plurality of images obtained by the decoding unit;
  • a virtual display buffer for temporarily storing the image data of the multi-image arrangement,
  • the receiving device wherein the processing unit sequentially reads the image data of the plurality of images from the decoded buffer and writes the image data in an area corresponding to the arrangement position indicated by the position information of the virtual display buffer.
  • the display control unit further including: a display control unit that reads out image data corresponding to a part or all of the display area of the multi-image arrangement image from the virtual display buffer and displays an image of the display area. Receiver device.
  • the receiving device further including a user operation unit that instructs the display control unit to display the display area.
  • the receiving device further including a user operation unit that instructs the display control unit to specify the number of displays for displaying the image of the display area.
  • the reception apparatus according to any one of (11) to (15), further including a request transmission unit that transmits a request to stop and restart transmission of the predetermined number of video streams to the transmission side.
  • Receiving a container of a predetermined format having a predetermined number of video streams including encoded data of a plurality of images related to a multi-image arrangement distribution service and having position information indicating the arrangement positions of the plurality of images inserted therein Receiving step to A decoding step of decoding the predetermined number of video streams to obtain image data of the plurality of images; And a processing step of obtaining image data of a multi-image arrangement image by arranging image data of a plurality of decoded images based on the position information.
  • the main feature of the present technology is that when a container of a predetermined format having a predetermined number of video streams including encoded image data of a plurality of images related to a multi-image arrangement distribution service is transmitted through an RF transmission line or a communication network.
  • location information location_id
  • the receiver can efficiently and appropriately arrange the multiple images that make up the group picture (multi-image layout image). (See FIG. 18).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

　多画像配置の配信サービスを良好に行い得るようにする。　送信側は、多画像配置の配信サービスに係る複数の画像の符号化画像データを含む、所定数のビデオストリームを有する所定フォーマットのコンテナを送信する。その際に、ビデオストリームのレイヤに、複数の画像の配置位置を示す位置情報を挿入する。受信側は、所定数のビデオストリームを受信してデコードし、複数の画像の画像データを得る。この複数の画像の画像データを位置情報に基づいて配置して、グループピクチャ（多画像配置画像）の画像データを得る。

Description

送信装置、送信方法、受信装置および受信方法
　本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、多画像配置の配信サービスを行うための送信装置等に関する。
　放送やネットワークからの複数のストリームをマルチデコードし、マルチデコードによって得られた複数の画像を１つのディスプレイに表示させるマルチ画面表示に関する技術が実現、または提案されている。
　例えば、いわゆるＰinＰ(Picture in Picture)の形で複数の画像が表示されることにより、ユーザは、サブ画面に小さく表示される他のチャンネルの番組の画像を見ながら、メイン画面に大きく表示されるあるチャネルの番組の画像を見ることができる。また、例えば、ディスプレイの右半分と左半分に異なるチャンネルの番組の画像が並べて表示されることにより、ユーザは、２つのチャネルの番組の画像を同時に見ることができる。
　例えば、特許文献１には、通常表示の状態においてマルチ画面の表示が指示された場合、マルチ画面への表示の切り替えを迅速に行うことができるようにした技術が開示されている。
特開２０００－１３７１２号公報
　例えば、送信側から多画像配置に係る複数の画像の画像データを送り、受信側ではこの複数の画像データを処理して多画像配置画像を得て、表示を行うことが考えられる。この場合、受信側では複数の画像の配置を適切に行うことが必要となる。
　本技術の目的は、多画像配置の配信サービスを良好に行い得るようにすることにある。
　本技術の概念は、
　多画像配置の配信サービスに係る複数の画像の符号化画像データを含む、所定数のビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
　上記ビデオストリームのレイヤに、上記複数の画像の配置位置を示す位置情報を挿入する情報挿入部とを備える
　送信装置にある。
　本技術において、送信部により、多画像配置の配信サービスに係る複数の画像の符号化画像データを含む、所定数のビデオストリームを有する所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはＭＭＴなどそれ以外のフォーマットのコンテナであってもよい。情報挿入部により、ビデオストリームのレイヤに、複数の画像の配置位置を示す位置情報が挿入される。
　このように本技術においては、ビデオストリームのレイヤに複数の画像の配置位置を示す位置情報が挿入されるものであり、受信側では複数の画像の配置を適切に行うことが容易に可能となる。
　なお、本技術において、例えば、情報挿入部は、複数の画像の表示タイミングを調整するためのオフセット情報を、ビデオストリームのレイヤにさらに挿入する、ようにされてもよい。これにより、受信側では、多画像配置画像を構成する複数の画像の表示タイミングを調整して、これらの複数の画像の表示開始タイミングを一致させることが可能となる。
　また、本技術において、例えば、情報挿入部は、多画像配置のタイプを示すタイプ情報を、ビデオストリームのレイヤにさらに挿入する、ようにされてもよい。これにより、受信側では、多画像配置のタイプを的確に認識でき、複数の画像の配置を適切に行うことが容易に可能となる。また、本技術において、例えば、情報挿入部は、複数の画像の表示可能な時間が制御されるか否かを示すライフタイム情報を、ビデオストリームのレイヤにさらに挿入する、ようにされてもよい。この情報により、受信側では、例えば、仮想ディスプレイバッファ内に蓄積されている画像データの削除制御を自動的に行うことが可能となる。
　また、本技術において、例えば、情報挿入部は、複数の画像の表示時のローテーションタイプを示すタイプ情報を、上記ビデオストリームのレイヤにさらに挿入する、ようにされてもよい。これにより、複数の画像を、サービス側が意図した回転状態で表示させることが可能となる。
　また、本技術において、例えば、情報挿入部は、コンテナのレイヤに、多画像配置の配信サービスであることを識別する識別情報をさらに挿入する、ようにされてもよい。これにより、受信側では、多画像配置の配信サービスであることを容易に認識でき、その処理のための準備を行うことが可能となる。この場合、例えば、情報挿入部は、コンテナのレイヤに、多画像配置の配信サービスが、動画静止画の混在サービスであるか否かを識別する識別情報をさらに挿入する、ようにされてもよい。
　また、本技術において、例えば、情報挿入部は、コンテナのレイヤに、多画像配置の配信サービスに関与するビデオストリームの総数の情報をさらに挿入する、ようにされてもよい。これにより、受信側では、処理すべきビデオストリームの総数を容易に把握でき、適切な処理が可能となる。
　また、本技術において、例えば、情報挿入部は、コンテナのレイヤに、各ビデオストリームが動画ストリームであるか、静止画ストリームであるか、あるいは静止画動画混在の混在ストリームであるかを示すタイプ情報をさらに挿入する、ようにされていてもよい。これにより、受信側では、ビデオストリームのストリームのタイプを容易に把握でき、適切な処理を行うことが可能となる。
　また、本技術の概念は、
　多画像配置の配信サービスに係る複数の画像の符号化画像データを含み、上記複数の画像の配置位置を示す位置情報が挿入されている所定数のビデオストリームを受信する受信部と、
　上記所定数のビデオストリームをデコードして上記複数の画像の画像データを得るデコード部と、
　上記デコード後の複数の画像の画像データを上記位置情報に基づいて配置して多画像配置画像の画像データを得る処理部とを備える
　受信装置にある。
　本技術において、受信部により、多画像配置の配信サービスに係る複数の画像の符号化画像データを含み、この複数の画像の配置位置を示す位置情報が挿入されている所定数のビデオストリームが受信される。デコード部により、所定数のビデオストリームがデコードされて、複数の画像の画像データが得られる。
　そして、処理部により、デコード後の複数の画像の画像データが位置情報に基づいて配置されて多画像配置画像の画像データが得られる。例えば、デコード部で得られた複数の画像の画像データを一時的に蓄積するデコーデッドバッファと、多画像配置の画像データを一時的に蓄積する仮想ディスプレイバッファとをさらに備え、処理部は、デコーデッドバッファから上記複数の画像の画像データを順次読み出し、仮想ディスプレイバッファの上記位置情報が示す配置位置に応じた領域に書き込む、ようにされてもよい。
　このように本技術においては、デコード後の複数の画像の画像データが位置情報に基づいて配置されて、多画像配置画像の画像データが得られるものである。したがって、多画像配置画像の画像データを効率よく、かつ適切に得ることが可能となる。
　なお、本技術において、例えば、仮想ディスプレイバッファから多画像配置画像の一部または全部の表示領域に対応した画像データを読み出し、この表示領域の画像を表示する表示制御部をさらに備える、ようにされてもよい。この場合、例えば、表示制御部に表示領域を指示するユーザ操作部をさらに備える、ようにされてもよい。これにより、例えば、ディスプレイに表示される画像を変化させることができ、サイズ（解像度）の小さなディスプレイに例えばユーザ操作に基づいてサイズの大きな多画像配置画像をスクロールして表示することも可能となる。また、この場合、例えば、表示制御部に表示領域の画像を表示するディスプレイの数を指定するユーザ操作部をさらに備える、ようにされてもよい。
　また、本技術において、例えば、所定数のビデオストリームの送信の停止および再開の要求を送信側に送る要求送信部をさらに備える、ようにされてもよい。これにより、例えば、画像データを一時的に蓄積しておくバッファをオーバフローさせることなく、静止画像である多画像配置画像を、ユーザのタイミングで閲覧することが可能となる。
　また、本技術の他の概念は、
　配信サーバがネットワークを通じて配信可能な多画像配置の配信サービスに係る複数の画像の符号化画像データを含む、所定数のビデオストリームをクライアント端末が取得するための情報を持つメタファイルを生成するメタファイル生成部と、
　上記クライアント端末から送信要求があるとき、上記ネットワークを通じて、該クライアント端末に、上記生成されたメタファイルを送信するメタファイル送信部とを備え、
　上記ビデオストリームのレイヤに、上記複数の画像の配置位置を示す位置情報が挿入されており、
　上記メタファイル生成部は、上記メタファイルに、上記所定数のビデオストリームを常に読むことを示す情報を含める
　送信装置にある。
　本技術において、メタファイル生成部により、所定数のビデオストリームをクライアント端末が取得するための情報を持つメタファイルが生成される。この所定数のビデオストリームには、配信サーバがネットワークを通じて配信可能な多画像配置の配信サービスに係る複数の画像の符号化画像データが含まれる。この場合、ビデオストリームのレイヤには、複数の画像の配置位置を示す位置情報が挿入されている。
　メタファイル送信部により、クライアント端末から送信要求があるとき、ネットワークを通じて、このクライアント端末に、メタファイルが送信される。このメタファイルには、メタファイル生成部により、所定数のビデオストリームを常に読むことを示す情報が含められる。
　このように本技術においては、メタファイルには、所定数のビデオストリームを常に読むことを示す情報が含まれる。そのため、受信側では、このメタファイルの情報に基づいて所定数のビデオストリームを常に読むようにされるため、多画像配置画像の画像データを良好に得ることが可能となる。
　なお、本技術において、例えば、メタファイル生成部は、メタファイルに、所定数のビデオストリームが静止画ストリームであるか動画ストリームであるかを識別する識別情報をさらに含める、ようにされてもよい。これにより、クライアント端末は、所定数のビデオストリームが静止画ストリームであるか動画ストリームであるかを容易に判別可能となる。
　本技術によれば、多画像配置の配信サービスを良好に行うことができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての配信システムの構成例を示すブロック図である。 水平・垂直方向２次元多画像配置の一例を示す図である。 水平方向１次元多画像配置の一例を示す図である。 静止画によるグループピクチャの例を示す図である。 動画によるグループピクチャの例を示す図である。 動画によるグループピクチャの例を示す図である。 静止画・動画によるグループピクチャの例を示す図である。 静止画（Still picture）サービスの単一ストリームによる配信例を示す図である。 静止画（Still picture）サービスの複数ストリームによる配信例を示す図である。 静止画（Still picture）、動画(Moving picture)の混在サービスの単一ストリームによる配信例を示す図である。 トランスポートストリームを生成する送信データ生成部の構成例を示すブロック図である。 単一ストリームによる配信を行う場合のトランスポートストリームの構成例を示す図である。 複数ストリームによる配信を行う場合のトランスポートストリームの構成例を示す図である。 グループ・ピクチャ・タグＳＥＩ（Group_picture_tag SEI）の構造例(Syntax)を示す図である。 グループ・ピクチャ・タグＳＥＩの構造例における主要な情報の内容（Semantics）を示す図である。 「display_coordinate」による表示時のローテーションの一例を示す図である。 グループピクチャを構成する各画像の表示タイミングＣＴＰの算出例を示す図である。 グループ・ピクチャ・タグＳＥＩの各種情報の時間的変遷の一例を示す図である。 マルチ・ストリーム・サービス・デスクリプタ（multi_stream_service_descriptor）の構造例（Syntax）を示す図である。 マルチ・ストリーム・サービス・デスクリプタの構造例における主要な情報の内容（Semantics）を示す図である。 ミックスト・ストリーム・デスクリプタ（mixed_stream_descriptor）の構造例（Syntax）とその主要な情報の内容（Semantics）を示す図である。 ピクチャ・ライフタイム・デスクリプタ（Picture_lifetime_descriptor）の構造例（Syntax）とその主要な情報の内容（Semantics）を示す図である。 仮想ディスプレイ（Virtual Display）上の画像と表示領域との関係の一例を示す図である。 仮想ディスプレイ上における表示領域の位置および大きさの一例を示す図である。 仮想ディスプレイ（Virtual Display）上の画像と表示領域との関係の一例を示す図である。 仮想ディスプレイ上における表示領域の位置および大きさの一例を示す図である。 パノラマ画像を表示するためのディスプレイの構成例を示す図である。 グループピクチャが水平方向に連続した７個の画像から構成されている場合における表示領域の指定例を示す図である。 ＤＡＳＨベースのストリーム配信システムの構成例を示すブロック図である。 ＭＰＤファイルの階層構造を示す図である。 ＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示す図である。 コンテンツからＤＡＳＨセグメントやＤＡＳＨ ＭＰＤファイルを生成するまでのフローの一例を示す図である。 ストリーム配信システムを構成するＩＰＴＶクライアントの構成例を示す図である。 一般的な、ＤＡＳＨベースのストリーム配信システムの系を示す図である。 ビデオストリームを含むFragmentedMP4ストリームの構成例を示す図である。 多画像配置の配信サービスにおけるＭＰＤファイルの記述例を示す図である。 多画像配置の配信サービスにおけるＭＰＤファイルの記述例を示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［配信システムの構成例］
　図１は、配信システム１０の構成例を示している。この配信システム１０において、送信側には放送局１１０、ネット配信サーバ１２０およびＮＴＰ（Network Time Protocol）配信サーバ１３０が配置され、受信側には受信機２００が配置されている。
　放送局１１０は、ＲＦ伝送路を通じて、静止画、動画のリニアサービス、あるいは静止画、動画のダウンロードサービスを行う。放送局１１０は、放送配信多重化データとして、例えばＭＰＥＧ２－ＴＳ（以下、単に、「トランスポートストリーム」と呼ぶ）のコンテナを送信する。この実施の形態において、トランスポートストリームは、多画像配置の配信サービスに係る複数の画像（ピクチャ）の符号化画像データを含む、所定数のビデオストリームを有するものとされる。
　多画像配置には、例えば、複数の画像が水平・垂直方向に２次元配置された水平・垂直方向２次元多画像配置、複数の画像が水平方向に１次元配置された水平方向１次元多画像配置、複数の画像が垂直方向に１次元配置された垂直方向１次元多画像配置などがある。
　ビデオストリームのレイヤには、複数の画像の配置位置を示す位置情報の他、複数の画像の表示タイミングを調整するためのオフセット情報、多画像配置のタイプを示すタイプ情報、複数の画像の表示時のローテーションタイプを示すタイプ情報などが挿入される。例えば、画像データがＡＶＣ（Advanced Video Coding）、ＨＥＶＣ（High Efficiency Video Coding）などで符号化されている場合、これらの情報は新たに定義されるＳＥＩメッセージに挿入される。
　図２は、水平・垂直方向２次元多画像配置の一例を示している。この例においては、水平・垂直の双方向に４つの画像が配置されている。この４×４の画像で構成される多画像配置画像（以下、適宜、「グループピクチャ」と呼ぶ）は仮想ディスプレイ（Virtual Display）に対応した解像度を持っている。例えば、１つの画像がＨＤ解像度である場合、グループピクチャは８Ｋ解像度を持つものとなる。
　「００００」～「１１１１」は、各画像の位置情報である４ビットデータを示している。この場合、前半の２ビットは、仮想ディスプレイの４分割のうちのどの位置かを示す。また、後半の２ビットは、その４分割をさらに４分割に細分化した各々の位置を示す。また、「Picture rendering type」は、多画像配置のタイプを示すタイプ情報である。「Picture rendering type = 011」は、水平・垂直方向２次元多画像配置であることを示す。
　図３は、水平方向１次元多画像配置の一例を示している。この例においては、水平方向に５つの画像が配置されている。この５画像で構成されるグループピクチャは仮想ディスプレイ（Virtual Display）に対応した解像度を持っている。例えば、１つの画像がＨＤ解像度である場合、水平方向には、その５倍の解像度を持つものとなる。
　「１１１０」、「１１１１」、「００００」、「０００１」、「００１０」は、各画像の位置情報である４ビットデータを示している。例えば、水平方向１次元多画像配置の場合、正面の画像の位置情報は「００００」、正面の右隣りＮ個目の画像の位置情報は「００００＋Ｎ」、さらに、正面左隣りＮ個目の画像の位置情報は「００００－Ｎ」とされる。
　なお、垂直方向１次元多画像配置の例の説明は省略するが、上述した水平方向１次元多画像配置の例と同様となる。
　また、トランスポートストリームのレイヤに、多画像配置の配信サービスであることを示す識別情報、その配信サービスが動画静止画の混在サービスであるか否かを識別する識別情報、多画像配置の配信サービスに関与するビデオストリームの総数などが挿入される。これらの情報は、例えば、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下に挿入される、新たに定義されるデスクリプタに記述される。
　１つのビデオストリームには、１つまたは複数の画像の符号化画像データが含まれる。また、ビデオストリームは、動画ストリーム、静止画ストリーム、あるいは動画静止画混在ストリームとされる。
　図４は、静止画によるグループピクチャの例を示している。この例では、グループピクチャは２×２の画像（静止画）で構成される。そして、この例では、１つのビデオストリームで各画像の符号化画像データが時分割的に送られる。この場合、受信側では各画像の符号化データが順次復号化され、各画像の画像データは、それぞれ、位置情報に基づいて、仮想ディスプレイバッファ（Virtual Display Buffer）の対応する領域に書き込まれる。
　図５は、動画によるグループピクチャの例を示している。この例では、グループピクチャは２×２の画像（動画）で構成される。そして、この例では、１つのビデオストリームで各画像の符号化画像データが時分割的に送られる。この場合、受信側では各画像の符号化データが順次復号化され、各画像の画像データは、それぞれ、位置情報に基づいて、仮想ディスプレイバッファの対応する領域に書き込まれる。
　図６は、動画によるグループピクチャの例を示している。この例では、グループピクチャは２×２の画像（動画）で構成される。そして、この例では、４つのビデオストリームで各画像の符号化画像データが送られる。この場合、受信側では各画像の符号化データが復号化され、各画像の画像データは、それぞれ、位置情報に基づいて、仮想ディスプレイバッファの対応する領域に書き込まれる。
　図７は、静止画・動画によるグループピクチャの例を示している。この例では、グループピクチャは２×２の画像（静止画、動画）で構成される。そして、この例では、１つのビデオストリームで各画像の符号化画像データが送られる。この場合、画像３（Picture 3）としては、静止画と動画が存在する。この場合、受信側では各画像の符号化データが復号化され、各画像の画像データは、それぞれ、位置情報に基づいて、仮想ディスプレイバッファの対応する領域に書き込まれる。
　図８は、静止画（Still picture）サービスの単一ストリームによる配信例を示している。この例では、グループピクチャは２×２の画像で構成される。図において、丸数字が付された矩形部分がアクセスユニットを示している。この例は、ＨＥＶＣによる符号化が行われている例を示している。なお、「１」～「４」の丸数字は、それぞれ、画像１（Picture 1）～画像４（Picture 4）の符号化画像データが含まれていることを示している。
　最初、画像１（Picture 1）～画像４（Picture 4）の静止画の符号化画像データが順に送信される。次に、画像３（Picture 3）の更新された符号化画像データが送信される。次に、さらに、画像３（Picture 3）の更新された符号化画像データが送信される。次に、画像１（Picture 1）～画像４（Picture 4）の更新された符号化画像データが順に送信される。
　なお、「group_picture_start」は、ある時点で表示更新すべきグループピクチャの開始を示す。一方、「group_picture_end」は、ある時点で表示更新すべきグループピクチャの終了を示す。これらの情報は、後述するように、ビデオストリームのレイヤに挿入されている。以下の各例においても同様である。
　図９は、静止画（Still picture）サービスの複数ストリームによる配信例を示している。この例では、グループピクチャは２×２の画像で構成される。図において、丸数字が付された矩形部分がアクセスユニットを示している。なお、「１」～「４」の丸数字は、それぞれ、画像１（Picture 1）～画像４（Picture 4）の符号化画像データが含まれていることを示している。
　最初、ビデオストリーム１～４によりそれぞれ画像１（Picture 1）～画像４（Picture 4）の符号化画像データが順に送信される。次に、ビデオストリーム３により画像３（Picture 3）の更新された符号化画像データが送信される。次に、さらに、ビデオストリーム３により画像３（Picture 3）の更新された符号化画像データが送信される。次に、ビデオストリーム１～４によりそれぞれ画像１（Picture 1）～画像４（Picture 4）の更新された符号化画像データが順に送信される。
　図１０は、静止画（Still picture）、動画(Moving picture)の混在サービスの単一ストリームによる配信例を示している。この例では、グループピクチャは２×２の画像で構成される。図において、丸数字が付された矩形部分がアクセスユニットを示している。なお、「１」～「４」の丸数字は、それぞれ、画像１（Picture 1）～画像４（Picture 4）の符号化画像データが含まれていることを示している。
　最初、画像１（Picture 1）～画像４（Picture 4）の静止画の符号化画像データが順に送信される。次に、画像３（Picture 3）の動画の符号化画像データが送信される。次に、画像１（Picture 1）～画像４（Picture 4）の更新された静止画の符号化画像データが順に送信される。
　図１１は、放送局１１０において、上述したトランスポートストリームを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、動画・静止画出力部１１２と、ビデオエンコーダ１１３と、マルチプレクサ１１４を有している。
　動画・静止画出力部１１２は、多画像配置の配信サービスに係る複数の画像の画像データを出力する。この動画・静止画出力部１１２は、例えば、被写体を撮像して画像データを出力するカメラ、あるいは記憶媒体から画像データを読み出して出力する画像データ読み出し部などにより構成される。静止画サービスの場合には（例えば、図４参照）、複数の静止画の画像データを出力する。動画サービスの場合には（例えば、図５、図６参照）、複数の動画の画像データを出力する。さらに、動画、静止画の混在サービスの場合には（例えば、図７参照）、動画、静止画の複数の画像データを出力する。
　ビデオエンコーダ１１３は、動画・静止画出力部１１２から出力される複数の画像の画像データに対して、例えば、ＡＶＣあるいはＨＥＶＣなどの符号化を施し、符号化画像データを得る。また、ビデオエンコーダ１１３は、後段に備えるストリームフォーマッタにより、符号化画像データを含む所定数のビデオストリーム（ビデオエレメンタリストリーム）を生成する。この場合、一つのビデオストリームには、多画像配置に係る一つ画像の符号化画像データを含む場合の他、多画像配置に係る複数の画像の符号化画像データを含む場合がある。
　ここで、ビデオエンコーダ１１３は、ビデオストリームのレイヤに、複数の画像の配置位置を示す位置情報の他、複数の画像の表示タイミングを調整するためのオフセット情報、多画像配置のタイプを示すタイプ情報、複数の画像の表示時のローテーションタイプを示すタイプ情報などを挿入する。これらの情報は、画像データがＡＶＣ（Advanced Video Coding）、ＨＥＶＣ（High Efficiency Video Coding）などで符号化されている場合、新たに定義されるＳＥＩメッセージに挿入される。これらの情報の詳細については後述する。
　マルチプレクサ１１４は、ビデオエンコーダ１１３で生成された各ビデオストリームをパケット化して多重化し、トランスポートストリームを生成する。ここで、マルチプレクサ１１４は、コンテナのレイヤ（システムレイヤ）に、多画像配置の配信サービスであることを示す識別情報、その配信サービスが動画静止画の混在サービスであるか否かを識別する識別情報、多画像配置の配信サービスに関与するビデオストリームの総数などを挿入する。これらの情報は、例えば、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下に挿入される、新たに定義されるデスクリプタに記述される。これらの情報の詳細については後述する。
　図１１に示す送信データ生成部１１０の動作を簡単に説明する。動画・静止画出力部１１２から多画像配置の配信サービスに係る複数の画像の画像データが出力される。これらの画像データは、ビデオエンコーダ１１３に供給される。ビデオエンコーダ１１３では、これらの画像データに対して、例えば、ＡＶＣあるいはＨＥＶＣなどの符号化が施され、符号化画像データが得られる。そして、このビデオエンコーダ１１３では、その符号化画像データを含む所定数のビデオストリームが生成される。
　この際、ビデオエンコーダ１１３では、ビデオストリームのレイヤに、例えば、新たに定義されるＳＥＩメッセージにより、複数の画像の配置位置を示す位置情報の他、複数の画像の表示タイミングを調整するためのオフセット情報、多画像配置のタイプを示すタイプ情報、複数の画像の表示時のローテーションタイプを示すタイプ情報などが挿入される。
　また、ビデオエンコーダ１１３から出力される所定数のビデオストリームは、マルチプレクサ１１４に供給される。マルチプレクサ１１４では、各ビデオストリームがパケット化されて多重化され、トランスポートストリームが生成される。この際、マルチプレクサ１１４では、トランスポートストリームのレイヤに、新たに定義されるデスクリプタにより、多画像配置の配信サービスであることを示す識別情報、その配信サービスが動画静止画の混在サービスであるか否かを識別する識別情報、多画像配置の配信サービスに関与するビデオストリームの総数などが挿入される。
　［ＴＳ構成、ＳＥＩメッセージの構造、デスクリプタの構造］
　図１２は、単一ストリームによる配信を行う場合のトランスポートストリームの構成例を示している。トランスポートストリームには、１つのビデオストリームが含まれている。すなわち、この構成例では、画像データが符号化されているビデオストリームのＰＥＳパケット「video PES1」が存在する。このビデオストリームには、多画像配置の配信サービスに係る複数の画像の符号化画像データが含まれている。
　このビデオストリームには、各画像の符号化画像データのアクセスユニット毎に、グループ・ピクチャ・タグＳＥＩ（Group_picture_tag SEI）メッセージが挿入される。このＳＥＩメッセージにより、上述したように、ビデオストリームのレイヤに、各画像の配置位置を示す位置情報の他、各画像の表示タイミングを調整するためのオフセット情報、多画像配置のタイプを示すタイプ情報、各画像の表示時のローテーションタイプを示すタイプ情報などが挿入される。
　また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
　ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。このプログラム・ループの配下に、マルチ・ストリーム・サービス・デスクリプタ（multi_stream_service_descriptor）が挿入される。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（video ES1 loop）が存在する。
　このビデオエレメンタリ・ループには、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ミックスト・ストリーム・デスクリプタ（mixed_stream_descriptor）と、ピクチャ・ライフタイム・デスクリプタ（Picture_lifetime_descriptor）が挿入される。
　このようにＰＭＴの配下に挿入されるデスクリプタにより、上述したように、多画像配置の配信サービスであることを示す識別情報、その配信サービスが動画静止画の混在サービスであるか否かを識別する識別情報、多画像配置の配信サービスに関与するビデオストリームの総数などが挿入される。
　図１３は、複数ストリーム、ここでは４ストリームによる配信を行う場合のトランスポートストリームの構成例を示している。トランスポートストリームには、４つのビデオストリームが含まれている。すなわち、この構成例では、画像データが符号化されているビデオストリームのＰＥＳパケット「video PES1, video PES2, video PES3, video PES4」が存在する。これらのビデオストリームには、多画像配置の配信サービスに係る複数の画像の符号化画像データが含まれている。
　これらのビデオストリームには、各画像の符号化画像データのアクセスユニット毎に、グループ・ピクチャ・タグＳＥＩ（Group_picture_tag SEI）メッセージが挿入される。このＳＥＩメッセージにより、上述したように、ビデオストリームのレイヤに、各画像の配置位置を示す位置情報の他、各画像の表示タイミングを調整するためのオフセット情報、多画像配置のタイプを示すタイプ情報、各画像の表示時のローテーションタイプを示すタイプ情報などが挿入される。
　また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
　ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。このプログラム・ループの配下に、マルチ・ストリーム・サービス・デスクリプタ（multi_stream_service_descriptor）が挿入される。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、４つのビデオエレメンタリ・ループ（video ES1 loop, video ES2 loop, video ES3 loop, video ES4 loop）が存在する。
　これらのビデオエレメンタリ・ループには、各ビデオストリームに対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ミックスト・ストリーム・デスクリプタ（mixed_stream_descriptor）と、ピクチャ・ライフタイム・デスクリプタ（Picture_lifetime_descriptor）が挿入される。
　このようにＰＭＴの配下に挿入されるデスクリプタにより、上述したように、多画像配置の配信サービスであることを示す識別情報、その配信サービスが動画静止画の混在サービスであるか否かを識別する識別情報、多画像配置の配信サービスに関与するビデオストリームの総数などが挿入される。
　図１４は、グループ・ピクチャ・タグＳＥＩ（Group_picture_tag SEI）の構造例(Syntax)を示している。また、図１５は、その構造例における主要な情報の内容（Semantics）を示している。「group_picture_id」の８ビットフィールドは、静止画を含む、複数のピクチャの集合表示のための関連付け情報である。つまり、グループピクチャ（多画像配置画像）を構成する各画像の「group_picture_id」は同一とされる。
　「picture_rendering_type」の３ビットフィールドは、多画像配置のタイプ、つまりグループピクチャに含まれる画像の配置タイプを示す。“００１”は水平方向１次元多画像配置であることを示し、“０１０”は垂直方向１次元多画像配置であることを示し、“０１１”は水平・垂直方向２次元多画像配置であることを示す。この情報により、受信側では、多画像配置のタイプを的確に認識でき、複数の画像の配置を適切に行うことが容易に可能となる。
　「lifetime_controlled」の１ビットフィールドは、表示可能な時間が制限されるか否かを示す。“１”は、 表示可能な時間が制限されていることを示す。この場合、システムレイヤ（コンテナのレイヤ）で指定されるＮＴＰ時刻まで表示可能となる。“０”は、表示可能な時間が制限されていないこと、つまり無期限に表示可能であることを示す。この情報により、受信側では、例えば、仮想ディスプレイバッファ内に蓄積されている画像データの削除制御を自動的に行うことが可能となる。
　「location_ID」の４ビットフィールドは、グループピクチャを構成する各画像の配置位置を示す（図２、図３参照）。「version_number」の８ビットフィールドは、画像の更新（update）を示す昇順値である。この情報に基づいて、例えば、グループピクチャを構成する静止画の更新を順次行うことが可能となる。「number_of_pictures」の４ビットフィールドは、グループピクチャを構成する画像の総数、つまり、同一の「group_picture_id」を持ち、同時表示される画像の最大数である。
　「display_coordinate」の３ビットフィールドは、表示時のローテーションのタイプを示す。“０１０”は、画像毎に時計回りに９０度回転して表示することを示す。“０１１”は、画像毎に反時計回りに９０度回転して表示することを示す。“１１０”は、グループピクチャ全体で時計回りに９０度回転して表示することを示す。“１１１”は、グループピクチャ全体で反時計回りに９０度回転して表示することを示す。この情報により、グループピクチャを構成する複数の画像を、サービス側が意図した回転状態で表示させることが可能となる。
　図１６は、「display_coordinate」による表示時のローテーションの一例を示している。この例は、水平・垂直方向２次元多画像配置の例であって、グループピクチャが２×２の画像で構成される例である。図１６（ａ）は、「display_coordinate」が“１１０”である場合の例を示している。デコード画像に対して、表示画像はグループピクチャ全体が時計回りに９０度回転したものとなる。また、図１６（ｂ）は、「display_coordinate」が“０１０”である場合の例を示している。デコード画像に対して、表示画像は画像（ピクチャ）毎に時計回りに９０度回転したものとなる。
　図１４に戻って、「group_picture_start」の１ビットフィールドは、ある時点で表示更新すべきグループピクチャの開始を示す。「group_picture_end」の１ビットフィールドは、ある時点で表示更新すべきグループピクチャの終了を示す。「PTD(Presentation Time Distance)」の８ビットフィールドは、グループピクチャに含まれる各画像を同時表示させるためのオフセット値である。つまり、この「ＰＴＤ」は、グループピクチャを構成する複数の画像の表示タイミングを調整するためのオフセット情報である。
　グループピクチャを構成する画像(i)の表示タイミングＣＴＰ(i)は、ＰＴＤ(i)を用いて、以下の数式（１）に示すように、求めることができる。ここで、ＰＴＤ(max)は、「group_picture_start」と「group_picture_end」で挟まれた同一「group_picture_id」を有する画像の中で、最遅の表示タイミング（ＰＴＳ）を持つ画像に付せられるＰＴＤである。
　ＣＴＰ(i)
＝ＰＴＳ(i)＋（ＰＴＤ(max)－ＰＴＤ(i)）＊システムクロック精度(90KHz)
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　図１７は、グループピクチャを構成する各画像の表示タイミングＣＴＰの算出例を示している。この例は、図１７（ａ）に示すように、水平・垂直方向２次元多画像配置の例であって、グループピクチャが２×２の画像（Picture 1, Picture 2, Picture 3, Picture 4）で構成される例である。この場合、図１７（ｂ）に示すように、例えば、各画像のＰＴＳがＰ１，Ｐ２，Ｐ３，ｐ４であるのに対して、各画像のＰＴＤは１，２，３，４に設定される。ＰＴＤ(max)＝４である。
　この場合、画像１（Picture 1）の表示タイミングＣＴＰ１は、“Ｐ１＋（４－１）＊１/９００００”と求められる。また、画像２（Picture 2）の表示タイミングＣＴＰ２は、“Ｐ２＋（４－２）＊１/９００００”と求められる。また、画像３（Picture 3）の表示タイミングＣＴＰ３は、“Ｐ３＋（４－３）＊１/９００００”と求められる。そして、画像４（Picture 4）の表示タイミングＣＴＰ４は、“Ｐ４＋（４－４）＊１/９００００＝Ｐ４”と求められる。なお、グループピクチャ内の各画像の表示タイミングをずらす場合には、各ＣＴＰの値を異なるように設定すればよい。
　図１８は、グループ・ピクチャ・タグＳＥＩの各種情報の時間的変遷の一例を示している。図において、丸数字が付された矩形部分がアクセスユニットを示している。なお、「１」～「４」の丸数字は、それぞれ、画像１（Picture 1）～画像４（Picture 4）の符号化画像データが含まれていることを示している（図１７（ａ）参照）。
　最初、「group_picture_id」が「１」である静止画の画像１（Picture 1）～画像４（Picture 4）の符号化画像データが順に送信される。この場合、画像１（Picture 1）～画像４（Picture 4）の符号化画像データには、「location_id」として「１」～「４」が付されると共に、「version_number」として「１」が付され、さらに、「display_coordinate」として「０」が付されている。そして、この場合、画像１（Picture 1）の符号化画像データには「group_picture_start」によりグループピクチャのサービスが開始されることが示され、画像４（Picture 4）の符号化画像データには「group_picture_end」によりグループピクチャのサービスが終了したことが示される。
　次に、画像２（Picture 2）の更新された符号化画像データが送信される。この場合、画像２（Picture 2）の符号化画像データには、「location_id」として「２」が付されると共に、「version_number」として「２」が付され、さらに、「display_coordinate」として「０」が付されている。そして、この場合、画像２（Picture 2）の符号化画像データには「group_picture_start」によりグループピクチャのサービスが開始されることが示されると共に、「group_picture_end」によりグループピクチャのサービスが終了したことが示される。
　次に、画像２（Picture 2）のさらに更新された符号化画像データが送信される。この場合、画像２（Picture 2）の符号化画像データには、「location_id」として「２」が付されると共に、「version_number」として「３」が付され、さらに、「display_coordinate」として「０」が付されている。そして、この場合、画像２（Picture 2）の符号化画像データには「group_picture_start」によりグループピクチャのサービスが開始されることが示されると共に、「group_picture_end」によりグループピクチャのサービスが終了したことが示される。
　次に、画像１（Picture 1）～画像４（Picture 4）の更新された符号化画像データが順に送信される。この場合、画像１（Picture 1）～画像４（Picture 4）の符号化画像データには、「location_id」として「１」～「４」が付されると共に、「version_number」として「４」が付され、さらに、「display_coordinate」として「１」が付されている。そして、この場合、画像１（Picture 1）の符号化画像データには「group_picture_start」によりグループピクチャのサービスが開始されることが示され、画像４（Picture 4）の符号化画像データには「group_picture_end」によりグループピクチャのサービスが終了したことが示される。
　図１９は、マルチ・ストリーム・サービス・デスクリプタ（multi_stream_service_descriptor）の構造例（Syntax）を示している。また、図２０は、その構造例における主要な情報の内容（Semantics）を示している。
　「multi_stream_service_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、マルチ・ストリーム・サービス・デスクリプタであることを示す。「multi_stream_service_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。「multiple_stream_service_flag」の１ビットフィールドは、多重配信サービス、つまり、多画像配置の配信サービスであることを示すフラグである。“１”は多重配信サービスであることを示し、“０”は非多重配信サービスであることを示す。この情報により、受信側では、多画像配置の配信サービスであることを容易に認識でき、その処理のための準備を行うことが可能となる。
「moving_picture_still_picture_mixed_service」の１ビットフィールドは、静止画・動画混在サービスであることを示すフラグである。“１”は静止画・動画混在サービスであることを示し、“０”は非混在サービスであることを示す。「number_of_streams」の４ビットフィールドは、多重配信サービスに関与するストリームの総数を示す。“０００１”～“１１１１”は、それぞれ、１ストリーム～１５ストリームを示す。この情報により、受信側では、処理すべきビデオストリームの総数を容易に把握でき、適切な処理が可能となる。
　図２１（ａ）は、ミックスト・ストリーム・デスクリプタ（mixed_stream_descriptor）の構造例（Syntax）を示している。また、図２１（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。
　「mixed_stream_descriptor tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ミックスト・ストリーム・デスクリプタであることを示す。「mixed_stream_descriptor length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。「service_stream_type」の２ビットフィールドは、ストリームのタイプを示す。“０１”は動画ストリームを示し、“１０”は静止画ストリームを示し、“１１”は静止画・動画混在ストリームを示す。この情報により、受信側では、ビデオストリームのストリームタイプを容易に把握でき、適切な処理を行うことが可能となる。
　図２２（ａ）は、ピクチャ・ライフタイム・デスクリプタ（Picture_lifetime_descriptor）の構造例（Syntax）を示している。また、図２２（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。
　「Picture_lifetime_descriptor tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ピクチャ・ライフタイム・デスクリプタであることを示す。「Picture_lifetime_descriptor length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。「number_of_group_pictures」の１６ビットフィールドは、「group_picture_id」で識別されるグループピクチャの数を示す。「NTP」の６４ビットフィールドは、ＮＴＰ（Network Time Protocol)で規定されるクロック値を示すもので、グループピクチャごとに設定することができる。
　図１に戻って、ネット配信サーバ１２０は、通信ネットワークを通じて、静止画、動画のリニアサービス、あるいは静止画、動画のダウンロードサービスを行う。ネット配信サーバ１２０は、ＩＰ配信データとして、例えばＭＰ４のコンテナを配信する。このＭＰ４は、上述の放送局１１０で取り扱ったトランスポートストリームと同様に、多画像配置の配信サービスに係る複数の画像（ピクチャ）の符号化画像データを含む、所定数のビデオストリームを有するものとされる。ネット配信サーバ１２０は、受信側からの再生コマンドに基づいて、ＭＰ４のＩＰパケットが連続的に配置された伝送ストリームを、通信ネットワークを通じて、受信側に送信する。
　この場合、ビデオストリームのレイヤには、複数の画像の配置位置を示す位置情報の他、複数の画像の表示タイミングを調整するためのオフセット情報、多画像配置のタイプを示すタイプ情報、複数の画像の表示時のローテーションタイプを示すタイプ情報などが挿入されている。また、コンテナのレイヤ（システムレイヤ）に、多画像配置の配信サービスであることを示す識別情報、その配信サービスが動画静止画の混在サービスであるか否かを識別する識別情報、多画像配置の配信サービスに関与するビデオストリームの総数などが挿入されている。
　図１に戻って、受信機２００は、チューナ２０１と、デマルチプレクサ２０２と、圧縮データバッファ（デコードバッファ）２０３と、デコーダ２０４と、非圧縮データバッファ（デコーデッドバッファ）２０５を有している。また、受信機２００は、仮想ディスプレイバッファ（ＶＰバッファ）２０６と、スケーラ２０７と、ディスプレイ（スクリーンデバイス）２０８と、ゲートウェイ／ネットワークルータ２０９と、ＣＰＵ（Central Processing Unit）２１０と、ユーザ操作部２１１を有している。
　ＣＰＵ２１０は、受信機２００の各部の動作を制御する。ユーザは、ユーザ操作部２１１により種々の指示入力を行うことができる。このユーザ操作部２１１は、リモートコントロール部、近接/タッチにより指示入力を行うタッチパネル部、マウス、キーボード、カメラで指示入力を検出するジェスチャ入力部、音声で指示する音声入力部などである。
　チューナ２０１は、送信側からＲＦ伝送路を通じて送られてくる放送波を受信し、ＲＦ復調を行って、放送配信多重化データとして、トランスポートストリームを得る。この実施の形態において、トランスポートストリームは、上述したように、多画像配置の配信サービスに係る複数の画像（ピクチャ）の符号化画像データを含む、所定数のビデオストリームを有するものである。
　ゲートウェイ/ネットワークルータ部２０９は、配信サーバ１２０から通信ネットワークを通じて送られてくるＩＰパケット列を受信し、デパケット化を行って、ＩＰ配信データとしてのＭＰ４を得る。この実施の形態において、ＭＰ４は、上述のトランスポートストリームと同様に、多画像配置の配信サービスに係る複数の画像（ピクチャ）の符号化画像データを含む、所定数のビデオストリームを有するものである。
　デマルチプレクサ２０２は、チューナ２０１で得られたトランスポートストリーム（放送配信多重化データ）、あるいはゲートウェイ/ネットワークルータ部２０９で得られたＭＰ４（ＩＰ配信データ）から、所定数のビデオストリームを抽出し、圧縮データバッファ２０３に一時的に蓄積する。この際、デマルチプレクサ２０２は、コンテナのレイヤに挿入されている種々の情報を抽出し、ＣＰＵ２１０に送る。この情報には、上述したように、多画像配置の配信サービスであることを示す識別情報、その配信サービスが動画静止画の混在サービスであるか否かを識別する識別情報、多画像配置の配信サービスに関与するビデオストリームの総数などが挿入されている。
　なお、デマルチプレクサ２０２には、外部にある蓄積媒体２１２、例えばＨＤＤが接続されており、チューナ２０１で得られたトランスポートストリーム（放送配信多重化データ）、あるいはゲートウェイ/ネットワークルータ部２０９で得られたＭＰ４（ＩＰ配信データ）の記録再生が可能とされている。デマルチプレクサ２０２は、蓄積媒体２１２から再生データに対しても同様の処理が可能とされている。
　デコーダ２０４は、圧縮データバッファ２０３に蓄積されている所定数のビデオストリームを所定のデコードタイミングで取り出し、復号化処理を施して、グループピクチャ（多画像配置画像）を構成する各画像の画像データを得、非圧縮データバッファ２０５に一時的に蓄積する。この際、デコーダ２０４は、ビデオストリームのレイヤに挿入されている種々の情報を抽出し、ＣＰＵ２１０に送る。この情報には、上述したように、各画像の配置位置を示す位置情報の他、各画像の表示タイミングを調整するためのオフセット情報、多画像配置のタイプを示すタイプ情報、各画像の表示時のローテーションタイプを示すタイプ情報などが挿入されている。
　仮想ディスプレイバッファ２０６は、非圧縮データバッファ２０５に蓄積されているグループピクチャを構成する各画像の画像データを取得し、各画像に対応した領域に一時的に蓄積する。非圧縮データバッファ２０５から仮想ディスプレイバッファ２０６への読み出しは、例えば、ＰＴＳ（Presentation Time Stamp）に依存したタイミングで行われる（図１７のＣＴＰ参照）。
　スケーラ２０７は、仮想ディスプレイバッファ２０６からグループピクチャの一部または全部の領域（表示領域）の画像データを読み出し、必要に応じて、スケーリング処理を施して、ディスプレイ２０８に送る。このスケーリングは、例えば、仮想ディスプレイバッファ２０６から読み出される表示領域の画像データの解像度を、ディスプレイ２０８の解像度に合わせるために行われる。
　仮想ディスプレイバッファ２０６からの読み出しタイミング（表示タイミング）、さらには、表示領域の位置や大きさは、ユーザ操作部２１１から指定可能とされる。この場合、ユーザ操作部２１１から、画像表示を行うディスプレイ２０８の個数の指定も可能とされている。なお、図示ではディスプレイ２０８が一つだけ示されているが、複数のディスプレイ２０８を備えることが前提となる。
　図２３は、仮想ディスプレイ（Virtual Display）上の画像と表示領域との関係の一例を示している。図示の例は、水平・垂直方向２次元多画像配置で、２×２個の画像Ｐ１～Ｐ４でグループピクチャが構成されている。仮想ディスプレイに対して、ユーザ操作で設定された大きさの表示領域が、さらに、図示のように、ユーザ操作により、任意にその位置が変更可能とされる。この場合、ディスプレイ２０８には、仮想ディスプレイ上の画像Ｐ１～Ｐ４のうち、表示領域に対応した画像のみが表示される。
　なお、この場合、ＣＰＵ２１０の制御の下、ディスプレイ２０８に、あるいは図示しない別な表示素子に、仮想ディスプレイ上における現在の表示領域の位置および大きさが表示されてもよい。この表示により、ユーザは、仮想ディスプレイ上における表示領域の位置および大きさを容易に把握でき、表示領域の位置および大きさの指定を適切かつ効率よく行うことができる。
　図２４（ａ）は、仮想ディスプレイ上における表示領域の位置および大きさの一例を示している。図２４（ｂ）は、それに対応した、ディスプレイ２０８に表示される位置インジケータ２５０の一例を示している。この位置インジケータ２５０は、仮想ディスプレイの全体を示す図形２５０ａと、その図形上に、表示領域の位置および大きさに対応して配置された現在の表示領域を示す矩形状図形２５０ｂとからなっている。
　また、図２５も、仮想ディスプレイ（Virtual Display）上の画像と表示領域との関係の一例を示している。図示の例は、水平方向１次元多画像配置で、５個の画像Ｐ１～Ｐ５でグループピクチャが構成されている。仮想ディスプレイに対して、ユーザ操作で設定された大きさの表示領域が、さらに、図示のように、ユーザ操作により、任意にその位置が変更可能とされる。この場合、ディスプレイ２０８には、仮想ディスプレイ上の画像Ｐ１～Ｐ５のうち、表示領域に対応した画像のみが表示される。
　図２６（ａ）は、仮想ディスプレイ上における表示領域の位置および大きさの一例を示している。図２６（ｂ）は、それに対応した、ディスプレイ２０８に表示される位置インジケータ２６０の一例を示している。この位置インジケータ２６０は、仮想ディスプレイの全体を示す図形２６０ａと、その図形上に、表示領域の中心位置に対応して配置された現在の表示領域の中心位置を示す棒状図形２６０ｂとからなっている。この場合も、表示領域の位置および大きさを矩形状図形で示すようにされてもよい。
　図２７は、パノラマ画像を表示するためのディスプレイの構成例を示している。このディスプレイは、複数個、この例では３個の平面状（一点鎖線で示す）あるいは曲面状（実線で示す）のディスプレイ２０８が水平方向に連接されて構成されている。この場合、３個のディスプレイ２０８に、例えば、水平方向に連続した３つの画像が選択的に表示されることで、パノラマ画像の表示が可能となる。
　図２８は、グループピクチャが水平方向に連続した７個の画像から構成されている場合における表示領域の指定例を示している。図２８（ａ）は、３つのディスプレイ２０８（例えば、図２７参照）にパノラマ画像の一部を表示するために、例えば３画像分の大きさで位置指定を行っていく例である。図２８（ｂ）は、１つのディスプレイ２０８にパノラマ画像の一部を表示するために、例えば１画像分の大きさで位置指定を行っていく例である。
　図１に戻って、グループピクチャを構成する画像が静止画である場合、ユーザ操作に応じて、静止画の更新（update）が行われる。この場合、「location_id」と、「version_number」に従って、仮想ディスプレイバッファ２０６から、更新対象の画像の画像データが読み出されて、表示画像の更新がなされる。
　例えば、上述の図１８に示すような配信例の場合を考える。この場合、最初、「version_number」が「１」である「location_id」が「１」～「４」の４画像の画像データが仮想ディスプレイバッファ２０６から読み出されて静止画のグループピクチャが表示されているものとする。この状態で、ユーザの更新操作あると、仮想ディスプレイバッファ２０６からは「version_number」が「２」である「location_id」が「２」の画像の画像データが読み出され、当該画像の表示が更新される。
　また、この状態で、ユーザの更新操作あると、仮想ディスプレイバッファ２０６からは「version_number」が「３」である「location_id」が「２」の画像の画像データが読み出され、当該画像の表示が再更新される。また、この状態で、ユーザの更新操作あると、「version_number」が「４」である「location_id」が「１」～「４」の４画像の画像データが仮想ディスプレイバッファ２０６から読み出され、当該４画像の表示が更新される。
　グループピクチャを構成する画像が静止画である場合、仮想ディスプレイバッファ２０６から画像データが読み出されてディスプレイ２０８に表示された後も、「lifetime_controlled」が“０”に設定されている場合には、ユーザによる解放指示が出されるまで、画像データは仮想ディスプレイバッファ２０６に残留する。一方、「lifetime_controlled」が“１”に設定されている場合には、システムレイヤ（コンテナのレイヤ）で指定されるＮＴＰ時刻が経過した後は、仮想ディスプレイバッファ２０６から該当するグループピクチャに属する画像データは自動的に削除される。
　グループピクチャを構成する複数の画像の一部または全部が動画である場合、その動画の画像データは、ＰＴＳに依存したタイミングで非圧縮データバッファ２０５から仮想ディスプレイバッファ２０６に読み出された後、一定の時間内に読み出され、スケーラ２０７を介して、ディスプレイ２０８に送られる。この場合も、ユーザによって大きさおよび位置が指定された表示領域の画像データのみが読み出され、必要に応じて、スケーラ２０７によりサイズ変換（解像度変換）が行われる。
　また、ユーザは、ユーザ操作部２１１からの画像回転操作により、ディスプレイ２０８の表示画像を、グループピクチャ全体で、あるいはグループピクチャを構成する画像毎に、回転可能とされる。なお、画像の回転は、基本的には、「display_coordinate」の情報により制御される。これにより、サービス側が意図した回転状態で表示させることが可能となる。しかし、ユーザの操作により、さらに、画像の回転が可能となっている。
　また、ユーザは、ユーザ操作部２１１の操作により、ネット配信サーバ１２０に、再生コマンド、さらには、ポーズコマンド、レジューム（再開）コマンド、スキップコマンド、再生終了コマンドなどを送ることができる。また、例えば、仮想ディスプレイバッファ２０６がオーバフローする前に、例えば、ＣＰＵ２１０が、自動的に、ネット配信サーバ１２０にポーズコマンドを送り、その後、仮想ディスプレイバッファ２０６の容量に余裕ができた場合に、レジューム（再開）コマンドを送るということも行われる。
　受信機２００の動作を簡単に説明する。最初に、受信機２００が放送波を受ける場合について説明する。チューナ２０１により、静止画リニアサービス、動画リニアサービスが受信され、トランスポートストリーム（放送配信多重化データ）が得られる。このトランスポートストリームは、デマルチプレクサ２０２に送られる。
　デマルチプレクサ２０２では、トランスポートストリーム（放送配信多重化データ）から、所定数のビデオストリームが抽出され、圧縮データバッファ２０３に一時的に蓄積される。この際、デマルチプレクサ２０２では、コンテナのレイヤに挿入されている種々の情報が抽出され、ＣＰＵ２１０に送られる。なお、デマルチプレクサ２０２では、蓄積媒体２１２での記録再生を経たトランスポートストリーム（放送配信多重化データ）に対しても同様の処理がなされる。
　デコーダ２０４では、圧縮データバッファ２０３に蓄積されている所定数のビデオストリームが所定のデコードタイミングで取り出され、復号化処理が施されて、グループピクチャ（多画像配置画像）を構成する各画像の画像データが得られ、非圧縮データバッファ２０５に一時的に蓄積される。この際、デコーダ２０４では、ビデオストリームのレイヤに挿入されている種々の情報が抽出され、ＣＰＵ２１０に送られる。
　仮想ディスプレイバッファ２０６では、非圧縮データバッファ２０５に蓄積されているグループピクチャを構成する各画像の画像データが取得され、各画像に対応した領域に一時的に蓄積される。非圧縮データバッファ２０５から仮想ディスプレイバッファ２０６への読み出しは、例えば、ＰＴＳ（Presentation Time Stamp）に依存したタイミングで行われる。
　このように仮想ディスプレイバッファ２０６に蓄積されたグループピクチャを構成する各画像の画像データのうち、ユーザが指定した位置および大きさの領域が、適宜なタイミングで読み出され、スケーラ２０７でサイズ（解像度）変換された後に、ディスプレイ２０８に送られる。これにより、ディスプレイ２０８には、グループピクチャのうちユーザが指定した表示領域の表示が行われる。
　この場合、リニアサービスの動画データは、サービス受信から固定時間の遅延の後、表示へ至る。一方、静止画サービスにおいては、ユーザの嗜好による視聴時間の自由度があるため、ユーザからの表示内容の更新指示は不定期である。そのため、表示期間を含めて受信機２００内の遅延量は一定ではない。
　仮想ディスプレイバッファ２０６は、その遅延時間と受信ストリームにおいて予め符号化配信されたタイミングとの違いを吸収する。仮想ディスプレイバッファ２０６がオーバフローする前に、リニアサービスの場合には、受信機２００は、受信ストリームを蓄積媒体２１２へ記録するか、あるいはサービス受信を一時中止するなどの判断を行う。
　また、受信機２００が、放送波から動画あるいは静止画のダウンロードサービスを受ける際には、チューナ２０１経由のファイルは、一旦蓄積媒体２１２で蓄積され、あるいはデマルチプレクサ２０２から蓄積媒体２１２へ蓄積を行いながら、同時にデコーダ２０４においてデコードが行われ、仮想ディスプレイバッファ２０６でグループピクチャが構成され、表示へ至る。
　次に、受信機２００がネット配信を受ける場合について説明する。ゲートウェイ/ネットワークルータ部２０９により、静止画リニアサービス、動画リニアサービスが受信され、ＭＰ４（ＩＰ配信データ）が得られる。このＭＰ４は、デマルチプレクサ２０２に送られる。
　デマルチプレクサ２０２では、ＭＰ４（ＩＰ配信データ）から、所定数のビデオストリームが抽出され、圧縮データバッファ２０３に一時的に蓄積される。この際、デマルチプレクサ２０２では、コンテナのレイヤに挿入されている種々の情報が抽出され、ＣＰＵ２１０に送られる。なお、デマルチプレクサ２０２では、蓄積媒体２１２での記録再生を経たＭＰ４（ＩＰ配信データ）に対しても同様の処理がなされる。
　デコーダ２０４では、圧縮データバッファ２０３に蓄積されている所定数のビデオストリームが所定のデコードタイミングで取り出され、復号化処理が施されて、グループピクチャ（多画像配置画像）を構成する各画像の画像データが得られ、非圧縮データバッファ２０５に一時的に蓄積される。この際、デコーダ２０４では、ビデオストリームのレイヤに挿入されている種々の情報が抽出され、ＣＰＵ２１０に送られる。
　仮想ディスプレイバッファ２０６では、非圧縮データバッファ２０５に蓄積されているグループピクチャを構成する各画像の画像データが取得され、各画像に対応した領域に一時的に蓄積される。非圧縮データバッファ２０５から仮想ディスプレイバッファ２０６への読み出しは、例えば、ＰＴＳ（Presentation Time Stamp）に依存したタイミングで行われる。
　このように仮想ディスプレイバッファ２０６に蓄積されたグループピクチャを構成する各画像の画像データのうち、ユーザが指定した位置および大きさの領域が、適宜なタイミングで読み出され、スケーラ２０７でサイズ（解像度）変換された後に、ディスプレイ２０８に送られる。これにより、ディスプレイ２０８には、グループピクチャのうちユーザが指定した表示領域の表示が行われる。
　この場合、リニアサービスの動画データは、サービス受信から固定時間の遅延の後、表示へ至る。一方、静止画サービスにおいては、ユーザの嗜好による視聴時間の自由度があるため、ユーザからの表示内容の更新指示は不定期である。そのため、表示期間を含めて受信機２００内の遅延量は一定ではない。
　仮想ディスプレイバッファ２０６は、その遅延時間と受信ストリームにおいて予め符号化配信されたタイミングとの違いを吸収する。仮想ディスプレイバッファ２０６がオーバフローする前に、リニアサービス（マルチキャスト）の場合には、受信機２００は、受信ストリームを蓄積媒体２１２へ記録するか、あるいはサービス受信を一時中止するなどの判断を行う。あるいは、瞬時にＶＯＤ(ユニキャストサービス）へ移行し、ＶＯＤ配信サーバに対して再生制御コマンド(再生開始、ポーズ、レジューム、ストップなど)を送信する。
　受信機２００がネット配信から動画あるいは静止画のダウンロードサービスを受ける際には、ゲートウェイ/ネットワークルータ部２０９経由のファイルは、一旦蓄積媒体２１２で蓄積され、あるいはデマルチプレクサ２０２から蓄積媒体２１２へ蓄積を行いながら、同時にデコーダ２０４においてデコードが行われ、仮想ディスプレイバッファ２０６でグループピクチャが構成され、表示へ至る。
　その際、受信機２００は、仮想ディスプレイバッファ２０６がオーバフローする前に、ダウンロード受信を一時的に中止し、後のタイミングで再開するように受信機設定を行う。ネット配信サービスでのダウンロード受信は、リニアサービスの受信と同様に、仮想ディスプレイバッファ２０６で吸収できない場合には、蓄積媒体２１２を利用し、あるいはＶＯＤ(ユニキャストサービス）へ移行し、ＶＯＤ配信サーバに対して再生制御コマンド(再生開始、ポーズ、レジューム、ストップなど)を送信する。
　上述したように、図１に示す配信システム１０においては、多画像配置の配信サービスに係る複数の画像の符号化画像データを含む、所定数のビデオストリームを有する所定フォーマットのコンテナをＲＦ伝送路あるいは通信ネットワークを通じて受信側に送信する際に、ビデオストリームのレイヤに複数の画像の配置位置を示す位置情報（location_id）が挿入されるものである。そのため、例えば、受信側ではグループピクチャ（多画像配置画像）を構成する複数の画像の配置を効率よく、かつ適切に行うことが可能となる。
　また、図１に示す配信システム１０においては、受信機２００では、デコード後のグループピクチャを構成する複数の画像の画像データが位置情報に基づいて配置されて、グループピクチャの画像データが得られるものである。そのため、例えば、グループピクチャの画像データを効率よく、かつ適切に得ることが可能となる。
　＜２．変形例＞
　なお、本技術は、ＭＰＥＧ－ＤＡＳＨベースの配信システムにも適用できる。図２９は、ＭＰＥＧ－ＤＡＳＨベースの配信システム１０Ａの構成例を示している。この配信システム１０Ａは、ＤＡＳＨセグメントストリーマ１１およびＤＡＳＨ ＭＰＤサーバ１２に、Ｎ個のＩＰＴＶクライアント１３-1，１３-2，・・・，１３-Nが、ＣＤＮ（Content Delivery Network）１４を介して、接続された構成となっている。
　ＤＡＳＨセグメントストリーマ１１は、所定のコンテンツのメディアデータ（ビデオデータ、オーディオデータ、字幕データなど）に基づいて、ＤＡＳＨ仕様のストリームセグメント（以下、「ＤＡＳＨセグメント」という）を生成し、ＩＰＴＶクライアントからのＨＴＴＰ要求に応じてセグメントを送出する。このＤＡＳＨセグメントストリーマ１１は、ウェブ（Web）サーバである。
　また、ＤＡＳＨセグメントストリーマ１１は、ＩＰＴＶクライアント１３（１３-1，１３-2，・・・，１３-N）からＣＤＮ１４を介して送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを、ＣＤＮ１４を介して、要求元のＩＰＴＶクライアント１３に送信する。
　ＤＡＳＨ ＭＰＤサーバ１２は、ＤＡＳＨセグメントストリーマ１１において生成されるＤＡＳＨセグメントを取得するためのＭＰＤファイルを生成するサーバである。コンテンツマネジメントサーバ（図２９には図示せず）からのコンテンツメタデータと、ＤＡＳＨセグメントストリーマ１１において生成されたセグメントのアドレス（url）をもとに、ＭＰＤファイルを生成する。
　ＭＰＤのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション（Representation）という要素を利用して、それぞれの属性が記述される。例えば、ＭＰＤファイルには、多画像配置の配信サービスに係る複数の画像の符号化データを含む、所定数のビデオストリーム毎に、リプレゼンテーションを分けて、記述される。また、ＭＰＤファイルには、その所定数のビデオストリームを常に読み込むことを示す情報が記述される。ＩＰＴＶクライアント１３は、多画像配置の配信サービスを受ける場合、このＭＰＤファイルの記述を参考にして、所定数のビデオストリームを取得する。
　ＭＰＤファイルは、図３０に示すように、階層構造をとる。このＭＰＤファイルには、ＤＡＳＨセグメントストリーマ１１に格納した動画の圧縮方式や符号化速度、画像サイズ、言語などの情報がＸＭＬ形式で階層的に記述される。このＭＰＤファイルは、ピリオド（Period）、アダプテーションセット（Adaptation Set）、リプレゼンテーション（Representation）、セグメントインフォ（Segment Info）、イニシャライゼーション・セグメント（Initialization Segment）、メディア・セグメント（Media Segment）などの構造体が、階層的に含まれている。
　ピリオドの構造体は、プログラム（同期を取った１組の動画や音声等のデータ）の情報を持つ。また、ピリオドの構造体に含まれるアダプテーションセットの構造体は、ストリームの選択範囲（リプレゼンテーション群）をグルーピングする。また、アダプテーションセットの構造体に含まれるリプレゼンテーションの構造体は、動画や音声の符号化速度、動画の音声サイズなどの情報を持つ。
　また、リプレゼンテーションの構造体に含まれるセグメントインフォの構造体は、動画や音声のセグメント関連の情報を持つ。また、セグメントインフォの構造体に含まれるイニシャライゼーション・セグメントの構造体は、データ圧縮方式などの初期化情報を持つ。また、セグメントインフォの構造体に含まれるメディア・セグメントの構造体は、動画や音声のセグメントを取得するアドレスなどの情報を持つ。
　図３１は、上述のＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示している。図３１（ａ）に示すように、ＭＰＤファイル全体としてのメディア・プレゼンテーション（Media Presentation）には、時間間隔で区切られた複数のピリオド（Period）が存在する。例えば、最初のピリオドはスタートが０秒から、次のピリオドはスタートが１００秒から、などとなっている。
　図３１（ｂ）に示すように、ピリオドには、複数のリプレゼンテーション（Representation）が存在する。この複数のリプレゼンテーションには、上述したアダプテーションセット（Adaptation Set）でグルーピングされる、例えば、多画像配置の配信サービスに係る複数の画像の符号化データを含む、所定数のビデオストリームに係るリプレゼンテーション群が存在する。
　図３１（ｃ）に示すように、リプレゼンテーションには、セグメントインフォ（SegmentInfo）が含まれている。このセグメントインフォには、図３１（ｄ）に示すように、イニシャライゼーション・セグメント（Initialization Segment）と、ピリオドをさらに細かく区切ったセグメント（Segment）毎の情報が記述される複数のメディア・セグメント（Media Segment）が存在する。メディア・セグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
　図３２は、コンテンツからＤＡＳＨセグメントやＤＡＳＨ ＭＰＤファイルを生成するまでのフローの一例を示している。コンテンツマネジメントサーバ１５からＤＡＳＨセグメントストリーマ１１にコンテンツが送付される。ＤＡＳＨセグメントストリーマ１１は、そのコンテンツを構成するビデオデータ、オーディオデータ等に基づいて、各データストリームのＤＡＳＨセグメントを生成する。
　また、ＤＡＳＨセグメントストリーマ１１は、生成した各データストリームのＤＡＳＨセグメントのアドレス（url）の情報を、ＤＡＳＨ ＭＰＤサーバ１２に送付する。コンテンツマネジメントサーバ１５は、コンテンツのメタデータを、ＤＡＳＨ ＭＰＤサーバ１２に送付する。ＤＡＳＨ ＭＰＤサーバ１２は、各データストリームのＤＡＳＨセグメントのアドレス情報と、コンテンツのメタデータとに基づいて、ＤＡＳＨ ＭＰＤファイルを生成する。
　図３３は、ＩＰＴＶクライアント１３（１３-1～１３-N）の構成例を示している。ＩＰＴＶクライアント１３は、ストリーミングデータ制御部１３１と、ＨＴＴＰアクセス部１３２と、動画再生部１３３を有している。ストリーミングデータ制御部１３１は、ＤＡＳＨ ＭＰＤサーバ１２からＭＰＤファイルを取得し、その内容を解析する。
　ＨＴＴＰアクセス部１３２は、動画再生に用いる動画や音声のセグメントをＤＡＳＨセグメントストリーマ１１に要求する。ここで、ＨＴＴＰアクセス部１３２は、多画像配置の配信サービスを受ける場合、ＭＰＤファイルの記述を参考にして、多画像配置の配信サービスに係る複数の画像の符号化データを含む、所定数のビデオストリームのセグメントを要求する。
　ＨＴＴＰアクセス部１３２は、受け取った動画や音声のセグメントを動画再生部１３３に送る。動画再生部１３３は、ＨＴＴＰアクセス部１３２から送られてくる各セグメントに復号処理を施して、グループピクチャ（多画像配置画像）を構成する各画像の画像データおよびそれに付随する音声データなどを得て、画像や音声を再生する。なお、ＩＰＴＶクライアント１３の各部の処理は例えばソフトウェアにより行われる。
　図３４は、一般的な、ＤＡＳＨベースのストリーム配信システムの系を示している。ＤＡＳＨ ＭＰＤファイルも、ＤＡＳＨセグメントも、全てＣＤＮ（Content Delivery Network）１４を介して配信される。ＣＤＮ１４は、複数のキャッシュサーバ（ＤＡＳＨキャッシュサーバ）がネットワーク配列された構成となっている。
　キャッシュサーバは、ＩＰＴＶクライアント１３からのＭＰＤファイルの取得のためのＨＴＴＰリクエストを受ける。キャッシュサーバは、ローカルＭＰＤキャッシュにあれば、ＩＰＴＶクライアント１３にＨＴＴＰレスポンスとして返す。また、キャッシュサーバは、ローカルＭＰＤキャッシュになければ、そのリクエストをＤＡＳＨ ＭＰＤサーバ１２あるいは上位のキャッシュサーバに転送する。そして、キャッシュサーバは、ＭＰＤファイルの格納されたＨＴＴＰレスポンスを受け、ＩＰＴＶクライアント１３に転送すると共に、キャッシュ処理を行う。
　また、キャッシュサーバは、ＩＰＴＶクライアント１３からのＤＡＳＨセグメント取得のＨＴＴＰリクエストを受ける。キャッシュサーバは、ローカルセグメントキャッシュにあれば、ＩＰＴＶクライアント１３にＨＴＴＰレスポンスとして返す。また、キャッシュサーバは、ローカルセグメントキャッシュになければ、そのリクエストをＤＡＳＨセグメントストリーマ１１あるいは上位のキャッシュサーバに転送する。そして、キャッシュサーバは、ＤＡＳＨセグメントの格納されたＨＴＴＰレスポンスを受け、ＩＰＴＶクライアント１３に転送すると共に、キャッシュ処理を行う。
　ＣＤＮ１４では、最初にＨＴＴＰリクエストを発したＩＰＴＶクライアント１３-1へ配信されるＤＡＳＨセグメントが、経路のキャッシュサーバで一時的にキャッシュされ、後続の他のＩＰＴＶクライアント１３-2からのＨＴＴＰリクエストに対しては、そのキャッシュされたＤＡＳＨセグメントが配信される。そのため、大多数のＩＰＴＶクライアントに対するＨＴＴＰストリーミングの配信効率を向上させることができる。
　ＣＤＮ１４は、複数のキャッシュサーバの他に、所定個数のキャッシュ管理サーバを有している。このキャッシュ管理サーバは、ＭＰＤファイルに含まれる各ビデオデータストリームのＤＡＳＨセグメントのキャッシュに関する指標に基づいて、キャッシュ制御ポリシーを作成し、各キャッシュサーバに配布する。各キャッシュサーバは、このキャッシュ制御ポリシーに基づいて、各ビデオデータストリームのＤＡＳＨセグメントのキャッシング処理を行う。
　図３５は、FragmentedMP4ストリームの構成例を示している。ビデオのFragmentedMP4ストリームには、ビデオストリームをパケット化して得られたFragmentedMP4が含まれている。FragmentedMP4の「mdat」の部分にビデオストリームの所定ピクチャ分が挿入される。このビデオストリームには、上述実施の形態と同様に、アクセスユニット毎に、グループ・ピクチャ・タグＳＥＩ（Group_picture_tag SEI）メッセージが挿入される。そして、上述実施の形態と同様に、ＩＰＴＶクライアント１３では、例えば、グループピクチャを構成する各画像の位置情報（「location_id」）に基づいて、各画像の配置が効率よく、かつ適切に行われる。
　なお、トランスポートストリームをそのままＤＡＳＨで送る場合もある。その場合には、マルチ・ストリーム・サービス・デスクリプタ（multi_stream_service_descriptor）、ミックスト・ストリーム・デスクリプタ（mixed_stream_descriptor）、ピクチャ・ライフタイム・デスクリプタ（Picture_lifetime_descriptor）が挿入されたトランスポートストリームがそのまま送られる。
　図３６、図３７は、多画像配置の配信サービスにおけるＭＰＤファイルの記述例を示している。図３６の「Adaptation Set」の階層で、「parallelStream = “4”」の記述は、４つのストリームを常に読むことを示している。また、「frameRate = “0”」の記述はフレームレートが０であること、つまり静止画ストリームであることを示している。そして、図３７に示すように、４つのストリームにそれぞれ対応して、４つのリプレゼンテーション（Representation）が存在する。
　このように、多画像配置の配信サービスの場合、ＭＰＤファイルに、多画像配置の配信サービスに係る複数の画像の符号化データを含む、所定数のビデオストリームを常に読むことが記述される。そのため、ＩＰＴＶクラインアント１３では、グループピクチャを構成する各画像の画像データ、したがってグループピクチャの画像を良好に得ることが可能となる。
　また、本技術は、以下のような構成を取ることもできる。
　（１）多画像配置の配信サービスに係る複数の画像の符号化画像データを含む、所定数のビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
　上記ビデオストリームのレイヤに、上記複数の画像の配置位置を示す位置情報を挿入する情報挿入部とを備える
　送信装置。
　（２）上記情報挿入部は、上記複数の画像の表示タイミングを調整するためのオフセット情報を、上記ビデオストリームのレイヤにさらに挿入する
　前記（１）に記載の送信装置。
　（３）上記情報挿入部は、上記多画像配置のタイプを示すタイプ情報を、上記ビデオストリームのレイヤにさらに挿入する
　前記（１）または（２）に記載の送信装置。
　（４）上記情報挿入部は、上記複数の画像の表示時のローテーションタイプを示すタイプ情報を、上記ビデオストリームのレイヤにさらに挿入する
　前記（１）から（３）のいずれかに記載の送信装置。
　（５）上記情報挿入部は、上記複数の画像の表示可能な時間が制御されるか否かを示すライフタイム情報を、上記ビデオストリームのレイヤにさらに挿入する
　前記（１）から（４）のいずれかに記載の送信装置。
　（６）上記情報挿入部は、上記コンテナのレイヤに、上記多画像配置の配信サービスであることを識別する識別情報をさらに挿入する
　前記（１）から（５）のいずれかに記載の送信装置。
　（７）上記情報挿入部は、上記コンテナのレイヤに、上記多画像配置の配信サービスが、動画静止画の混在サービスであるか否かを識別する識別情報をさらに挿入する
　前記（６）に記載の送信装置。
　（８）上記情報挿入部は、上記コンテナのレイヤに、上記多画像配置の配信サービスに関与する上記ビデオストリームの総数の情報をさらに挿入する
　前記（１）から（７）のいずれかに記載の送信装置。
　（９）上記情報挿入部は、上記コンテナのレイヤに、上記各ビデオストリームが動画ストリームであるか、静止画ストリームであるか、あるいは静止画動画混在の混在ストリームであるかを示すタイプ情報をさらに挿入する
　前記（１）から（８）のいずれかに記載の送信装置。
　（１０）多画像配置の配信サービスに係る複数の画像の符号化データを含む、所定数のビデオストリームを有する所定フォーマットのコンテナを送信する送信ステップと、
　上記ビデオストリームのレイヤに、上記複数の画像の配置位置を示す位置情報を挿入する情報挿入ステップとを有する
　送信方法。
　（１１）多画像配置の配信サービスに係る複数の画像の符号化画像データを含み、上記複数の画像の配置位置を示す位置情報が挿入されている所定数のビデオストリームを受信する受信部と、
　上記所定数のビデオストリームをデコードして上記複数の画像の画像データを得るデコード部と、
　上記デコード後の複数の画像の画像データを上記位置情報に基づいて配置して多画像配置画像の画像データを得る処理部とを備える
　受信装置。
　（１２）上記デコード部で得られた上記複数の画像の画像データを一時的に蓄積するデコーデッドバッファと、
　上記多画像配置の画像データを一時的に蓄積する仮想ディスプレイバッファとをさらに備え、
　上記処理部は、上記デコーデッドバッファから上記複数の画像の画像データを順次読み出し、上記仮想ディスプレイバッファの上記位置情報が示す配置位置に応じた領域に書き込む
　前記（１１）に記載の受信装置。
　（１３）上記仮想ディスプレイバッファから上記多画像配置画像の一部または全部の表示領域に対応した画像データを読み出し、該表示領域の画像を表示する表示制御部をさらに備える
　前記（１２）に記載の受信装置。
　（１４）上記表示制御部に上記表示領域を指示するユーザ操作部をさらに備える
　前記（１３）に記載の受信装置。
　（１５）上記表示制御部に上記表示領域の画像を表示するディスプレイの数を指示するユーザ操作部をさらに備える
　前記（１４）に記載の受信装置。
　（１６）上記所定数のビデオストリームの送信の停止および再開の要求を送信側に送る要求送信部をさらに備える
　前記（１１）から（１５）のいずれかに記載の受信装置。
　（１７）多画像配置の配信サービスに係る複数の画像の符号化データを含み、上記複数の画像の配置位置を示す位置情報が挿入されている所定数のビデオストリームを有する所定フォーマットのコンテナを受信する受信ステップと、
　上記所定数のビデオストリームをデコードして上記複数の画像の画像データを得るデコードステップと、
　上記デコード後の複数の画像の画像データを上記位置情報に基づいて配置して多画像配置画像の画像データを得る処理ステップとを有する
　受信方法。
　（１８）配信サーバがネットワークを通じて配信可能な多画像配置の配信サービスに係る複数の画像の符号化画像データを含む、所定数のビデオストリームをクライアント端末が取得するための情報を持つメタファイルを生成するメタファイル生成部と、
　上記クライアント端末から送信要求があるとき、上記ネットワークを通じて、該クライアント端末に、上記生成されたメタファイルを送信するメタファイル送信部とを備え、
　上記ビデオストリームのレイヤに、上記複数の画像の配置位置を示す位置情報が挿入されており、
　上記メタファイル生成部は、上記メタファイルに、上記所定数のビデオストリームを常に読むことを示す情報を含める
　送信装置。
　（１９）上記メタファイル生成部は、上記メタファイルに、上記所定数のビデオストリームが静止画ストリームであるか動画ストリームであるかを識別する識別情報をさらに含める
　前記（１８）に記載の送信装置。
　本技術の主な特徴は、多画像配置の配信サービスに係る複数の画像の符号化画像データを含む、所定数のビデオストリームを有する所定フォーマットのコンテナをＲＦ伝送路あるいは通信ネットワークを通じて送信する際に、ビデオストリームのレイヤに複数の画像の配置位置を示す位置情報（location_id）を挿入することで、受信側ではグループピクチャ（多画像配置画像）を構成する複数の画像の配置を効率よく、かつ適切に行うことを可能にしたことである（図１８参照）。
　１０，１０Ａ・・・配信システム
　１１・・・ＤＡＳＨ セグメントストリーマ
　１２・・・ＤＡＳＨ ＭＰＤサーバ
　１３，１３-1～１３-N・・・ＩＰＴＶクライアント
　１４・・・ＣＤＮ
　１５・・・コンテンツマネジメントサーバ
　１１０・・・放送局
　１１２・・・動画・静止画出力部
　１１３・・・ビデオエンコーダ
　１１４・・・マルチプレクサ
　２００・・・受信機
　２０１・・・チューナ
　２０２・・・デマルチプレクサ
　２０３・・・圧縮データバッファ
　２０４・・・デコーダ
　２０５・・・非圧縮データバッファ
　２０６・・・仮想ディスプレイバッファ
　２０７・・・スケーラ
　２０８・・・ディスプレイ
　２０９・・・ゲートウェイ/ネットワークルータ
　２１０・・・ＣＰＵ
　２１１・・・ユーザ操作部
　２１２・・・蓄積媒体

Claims (19)

  1. 　多画像配置の配信サービスに係る複数の画像の符号化画像データを含む、所定数のビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
    　上記ビデオストリームのレイヤに、上記複数の画像の配置位置を示す位置情報を挿入する情報挿入部とを備える
    　送信装置。
  2. 　上記情報挿入部は、上記複数の画像の表示タイミングを調整するためのオフセット情報を、上記ビデオストリームのレイヤにさらに挿入する
    　請求項１に記載の送信装置。
  3. 　上記情報挿入部は、上記多画像配置のタイプを示すタイプ情報を、上記ビデオストリームのレイヤにさらに挿入する
    　請求項１に記載の送信装置。
  4. 　上記情報挿入部は、上記複数の画像の表示時のローテーションタイプを示すタイプ情報を、上記ビデオストリームのレイヤにさらに挿入する
    　請求項１に記載の送信装置。
  5. 　上記情報挿入部は、上記複数の画像の表示可能な時間が制御されるか否かを示すライフタイム情報を、上記ビデオストリームのレイヤにさらに挿入する
    　請求項１に記載の送信装置。
  6. 　上記情報挿入部は、上記コンテナのレイヤに、上記多画像配置の配信サービスであることを識別する識別情報をさらに挿入する
    　請求項１に記載の送信装置。
  7. 　上記情報挿入部は、上記コンテナのレイヤに、上記多画像配置の配信サービスが、動画静止画の混在サービスであるか否かを識別する識別情報をさらに挿入する
    　請求項６に記載の送信装置。
  8. 　上記情報挿入部は、上記コンテナのレイヤに、上記多画像配置の配信サービスに関与する上記ビデオストリームの総数の情報をさらに挿入する
    　請求項１に記載の送信装置。
  9. 　上記情報挿入部は、上記コンテナのレイヤに、上記各ビデオストリームが動画ストリームであるか、静止画ストリームであるか、あるいは静止画動画混在の混在ストリームであるかを示すタイプ情報をさらに挿入する
    　請求項１に記載の送信装置。
  10. 　多画像配置の配信サービスに係る複数の画像の符号化データを含む、所定数のビデオストリームを有する所定フォーマットのコンテナを送信する送信ステップと、
    　上記ビデオストリームのレイヤに、上記複数の画像の配置位置を示す位置情報を挿入する情報挿入ステップとを有する
    　送信方法。
  11. 　多画像配置の配信サービスに係る複数の画像の符号化画像データを含み、上記複数の画像の配置位置を示す位置情報が挿入されている所定数のビデオストリームを受信する受信部と、
    　上記所定数のビデオストリームをデコードして上記複数の画像の画像データを得るデコード部と、
    　上記デコード後の複数の画像の画像データを上記位置情報に基づいて配置して多画像配置画像の画像データを得る処理部とを備える
    　受信装置。
  12. 　上記デコード部で得られた上記複数の画像の画像データを一時的に蓄積するデコーデッドバッファと、
    　上記多画像配置の画像データを一時的に蓄積する仮想ディスプレイバッファとをさらに備え、
    　上記処理部は、上記デコーデッドバッファから上記複数の画像の画像データを順次読み出し、上記仮想ディスプレイバッファの上記位置情報が示す配置位置に応じた領域に書き込む
    　請求項１１に記載の受信装置。
  13. 　上記仮想ディスプレイバッファから上記多画像配置画像の一部または全部の表示領域に対応した画像データを読み出し、該一部または全部の画像の領域の画像を表示する表示制御部をさらに備える
    　請求項１２に記載の受信装置。
  14. 　上記表示制御部に上記表示領域を指示するユーザ操作部をさらに備える
    　請求項１３に記載の受信装置。
  15. 　上記表示制御部に上記表示領域の画像を表示するディスプレイの数を指示するユーザ操作部をさらに備える
    　請求項１４に記載の受信装置。
  16. 　上記所定数のビデオストリームの送信の停止および再開の要求を送信側に送る要求送信部をさらに備える
    　請求項１１に記載の受信装置。
  17. 　多画像配置の配信サービスに係る複数の画像の符号化データを含み、上記複数の画像の配置位置を示す位置情報が挿入されている所定数のビデオストリームを有する所定フォーマットのコンテナを受信する受信ステップと、
    　上記所定数のビデオストリームをデコードして上記複数の画像の画像データを得るデコードステップと、
    　上記デコード後の複数の画像の画像データを上記位置情報に基づいて配置して多画像配置画像の画像データを得る処理ステップとを有する
    　受信方法。
  18. 　配信サーバがネットワークを通じて配信可能な多画像配置の配信サービスに係る複数の画像の符号化画像データを含む、所定数のビデオストリームをクライアント端末が取得するための情報を持つメタファイルを生成するメタファイル生成部と、
    　上記クライアント端末から送信要求があるとき、上記ネットワークを通じて、該クライアント端末に、上記生成されたメタファイルを送信するメタファイル送信部とを備え、
    　上記ビデオストリームのレイヤに、上記複数の画像の配置位置を示す位置情報が挿入されており、
    　上記メタファイル生成部は、上記メタファイルに、上記所定数のビデオストリームを常に読むことを示す情報を含める
    　送信装置。
  19. 　上記メタファイル生成部は、上記メタファイルに、上記所定数のビデオストリームが静止画ストリームであるか動画ストリームであるかを識別する識別情報をさらに含める
    　請求項１８に記載の送信装置。
PCT/JP2014/065952 2013-07-05 2014-06-16 送信装置、送信方法、受信装置および受信方法 Ceased WO2015001947A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US14/900,262 US20160373789A1 (en) 2013-07-05 2014-06-16 Transmission device, transmission method, receiving device, and receiving method
BR112015032851-2A BR112015032851B1 (pt) 2013-07-05 2014-06-16 Dispositivos e métodos de transmissão e de recepção
EP14819477.2A EP3018910B1 (en) 2013-07-05 2014-06-16 Transmission device, transmission method, reception device, and reception method
RU2015156234A RU2652099C2 (ru) 2013-07-05 2014-06-16 Устройство передачи, способ передачи, устройство приема и способ приема
CN201480036992.1A CN105340281B (zh) 2013-07-05 2014-06-16 发送装置、发送方法、接收装置和接收方法
KR1020157035471A KR102269311B1 (ko) 2013-07-05 2014-06-16 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP2015525124A JP6462566B2 (ja) 2013-07-05 2014-06-16 送信装置、送信方法、受信装置および受信方法
US16/883,898 US11330311B2 (en) 2013-07-05 2020-05-26 Transmission device, transmission method, receiving device, and receiving method for rendering a multi-image-arrangement distribution service

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013142179 2013-07-05
JP2013-142179 2013-07-05

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/900,262 A-371-Of-International US20160373789A1 (en) 2013-07-05 2014-06-16 Transmission device, transmission method, receiving device, and receiving method
US16/883,898 Division US11330311B2 (en) 2013-07-05 2020-05-26 Transmission device, transmission method, receiving device, and receiving method for rendering a multi-image-arrangement distribution service

Publications (1)

Publication Number Publication Date
WO2015001947A1 true WO2015001947A1 (ja) 2015-01-08

Family

ID=52143526

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/065952 Ceased WO2015001947A1 (ja) 2013-07-05 2014-06-16 送信装置、送信方法、受信装置および受信方法

Country Status (8)

Country Link
US (2) US20160373789A1 (ja)
EP (1) EP3018910B1 (ja)
JP (1) JP6462566B2 (ja)
KR (1) KR102269311B1 (ja)
CN (1) CN105340281B (ja)
BR (1) BR112015032851B1 (ja)
RU (1) RU2652099C2 (ja)
WO (1) WO2015001947A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI616097B (zh) * 2016-01-22 2018-02-21 納寶股份有限公司 串流裝置及方法、串流服務系統及記錄介質
JPWO2017022467A1 (ja) * 2015-08-06 2018-05-24 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2018201159A (ja) * 2017-05-29 2018-12-20 日本電信電話株式会社 映像処理方法、映像処理システム及び映像送信装置
JP2020162171A (ja) * 2015-03-24 2020-10-01 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN119364060A (zh) * 2024-11-05 2025-01-24 天翼视联科技有限公司 一种直播视频渲染方法、装置及存储介质

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8028090B2 (en) 2008-11-17 2011-09-27 Amazon Technologies, Inc. Request routing utilizing client location information
US7991910B2 (en) 2008-11-17 2011-08-02 Amazon Technologies, Inc. Updating routing information based on client location
US7970820B1 (en) 2008-03-31 2011-06-28 Amazon Technologies, Inc. Locality based content distribution
US7962597B2 (en) 2008-03-31 2011-06-14 Amazon Technologies, Inc. Request routing based on class
US8606996B2 (en) 2008-03-31 2013-12-10 Amazon Technologies, Inc. Cache optimization
US8321568B2 (en) 2008-03-31 2012-11-27 Amazon Technologies, Inc. Content management
US9407681B1 (en) 2010-09-28 2016-08-02 Amazon Technologies, Inc. Latency measurement in resource requests
US8782236B1 (en) 2009-06-16 2014-07-15 Amazon Technologies, Inc. Managing resources using resource expiration data
US8397073B1 (en) 2009-09-04 2013-03-12 Amazon Technologies, Inc. Managing secure content in a content delivery network
US9495338B1 (en) 2010-01-28 2016-11-15 Amazon Technologies, Inc. Content distribution network
US8468247B1 (en) 2010-09-28 2013-06-18 Amazon Technologies, Inc. Point of presence management in request routing
US10958501B1 (en) 2010-09-28 2021-03-23 Amazon Technologies, Inc. Request routing information based on client IP groupings
US9712484B1 (en) 2010-09-28 2017-07-18 Amazon Technologies, Inc. Managing request routing information utilizing client identifiers
US9003035B1 (en) 2010-09-28 2015-04-07 Amazon Technologies, Inc. Point of presence management in request routing
US8452874B2 (en) 2010-11-22 2013-05-28 Amazon Technologies, Inc. Request routing processing
US10467042B1 (en) 2011-04-27 2019-11-05 Amazon Technologies, Inc. Optimized deployment based upon customer locality
US9154551B1 (en) 2012-06-11 2015-10-06 Amazon Technologies, Inc. Processing DNS queries to identify pre-processing information
US11936936B2 (en) * 2013-10-09 2024-03-19 Disney Enterprises, Inc. Method and system for providing and displaying optional overlays
US20160261927A1 (en) * 2013-10-09 2016-09-08 Disney Enterprises, Inc. Method and System for Providing and Displaying Optional Overlays
US10530828B2 (en) * 2014-03-31 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for signaling and operation of low delay consumption of media data in MMT
US10097448B1 (en) 2014-12-18 2018-10-09 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US10225326B1 (en) 2015-03-23 2019-03-05 Amazon Technologies, Inc. Point of presence based data uploading
US9832141B1 (en) 2015-05-13 2017-11-28 Amazon Technologies, Inc. Routing based request correlation
US10158682B2 (en) * 2015-09-23 2018-12-18 Adobe Systems Incorporated Power efficient multimedia content streaming based on a server push
US10152080B2 (en) 2015-09-23 2018-12-11 Adobe Systems Incorporated Power efficient multimedia content streaming based on media segment duration
US10270878B1 (en) 2015-11-10 2019-04-23 Amazon Technologies, Inc. Routing for origin-facing points of presence
US10075551B1 (en) 2016-06-06 2018-09-11 Amazon Technologies, Inc. Request management for hierarchical cache
US10110694B1 (en) * 2016-06-29 2018-10-23 Amazon Technologies, Inc. Adaptive transfer rate for retrieving content from a server
CN106131581A (zh) * 2016-07-12 2016-11-16 上海摩象网络科技有限公司 混合图像的全景视频制作技术
CN107770601B (zh) * 2016-08-16 2021-04-02 上海交通大学 一种面向多媒体内容组件个性化呈现的方法及系统
US10469513B2 (en) 2016-10-05 2019-11-05 Amazon Technologies, Inc. Encrypted network addresses
US10831549B1 (en) 2016-12-27 2020-11-10 Amazon Technologies, Inc. Multi-region request-driven code execution system
US10938884B1 (en) 2017-01-30 2021-03-02 Amazon Technologies, Inc. Origin server cloaking using virtual private cloud network environments
US11075987B1 (en) 2017-06-12 2021-07-27 Amazon Technologies, Inc. Load estimating content delivery network
US11550297B2 (en) * 2017-07-11 2023-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for robot device control in a cloud
US11089285B2 (en) * 2017-08-10 2021-08-10 Sony Corporation Transmission device, transmission method, reception device, and reception method
US10742593B1 (en) 2017-09-25 2020-08-11 Amazon Technologies, Inc. Hybrid content request routing system
EP3739889A4 (en) * 2018-01-12 2020-11-25 Sony Corporation TRANSMISSION DEVICE, TRANSMISSION PROCESS, RECEIVING DEVICE AND RECEPTION PROCESS
US10862852B1 (en) 2018-11-16 2020-12-08 Amazon Technologies, Inc. Resolution of domain name requests in heterogeneous network environments
US11025747B1 (en) 2018-12-12 2021-06-01 Amazon Technologies, Inc. Content request pattern-based routing system
KR102397441B1 (ko) 2019-01-18 2022-05-13 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013712A (ja) 1998-06-25 2000-01-14 Toshiba Corp マルチ画面表示装置
JP2003199009A (ja) * 2001-12-26 2003-07-11 Toshiba Corp 蓄積型放送受信装置および方法
WO2012093714A1 (ja) * 2011-01-07 2012-07-12 シャープ株式会社 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、記録媒体、データ構造、制御プログラム、及び該プログラムを記録した記録媒体
WO2013021656A1 (ja) * 2011-08-11 2013-02-14 パナソニック株式会社 再生装置、再生方法、集積回路、放送システム、及び放送方法
JP2013048442A (ja) * 2005-07-18 2013-03-07 Thomson Licensing メタデータを用いて複数の映像ストリームを処理する方法及び装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6314569B1 (en) * 1998-11-25 2001-11-06 International Business Machines Corporation System for video, audio, and graphic presentation in tandem with video/audio play
US7174512B2 (en) * 2000-12-01 2007-02-06 Thomson Licensing S.A. Portal for a communications system
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
US7489833B2 (en) * 2004-10-06 2009-02-10 Panasonic Corporation Transmitting device, reconstruction device, transmitting method and reconstruction method for broadcasts with hidden subtitles
EP1978480A3 (en) * 2005-07-22 2011-09-07 Kangaroo Media, Inc. System and methods for enhancing the experience of spectators atttending a live sporting event
ES2392461T3 (es) * 2006-01-05 2012-12-10 Telefonaktiebolaget Lm Ericsson (Publ) Gestión de archivo contenedor de medios
BR122018004903B1 (pt) * 2007-04-12 2019-10-29 Dolby Int Ab ladrilhamento em codificação e decodificação de vídeo
US20090158337A1 (en) * 2007-12-13 2009-06-18 Mobitv, Inc. Mosaic video content selection mechanism
JP2012244411A (ja) * 2011-05-19 2012-12-10 Sony Corp 画像データ送信装置、画像データ送信方法および画像データ受信装置
US20140140415A1 (en) * 2011-05-19 2014-05-22 Lg Electronics Inc. Video stream transmitting device, video stream receiving device, video stream transmitting method, and video stream receiving method
JP5695972B2 (ja) * 2011-05-20 2015-04-08 日立マクセル株式会社 コンテンツ受信機およびコンテンツ情報出力方法
CN103583050B (zh) * 2011-06-08 2018-09-14 皇家Kpn公司 空间分段的内容的递送
US9154813B2 (en) * 2011-06-09 2015-10-06 Comcast Cable Communications, Llc Multiple video content in a composite video stream
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
KR102659283B1 (ko) * 2012-06-29 2024-04-22 지이 비디오 컴프레션, 엘엘씨 비디오 데이터 스트림 개념
SG11201507140PA (en) 2013-03-15 2015-10-29 Galleon Pharmaceuticals Inc Novel breathing control modulating compounds, and methods of using same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013712A (ja) 1998-06-25 2000-01-14 Toshiba Corp マルチ画面表示装置
JP2003199009A (ja) * 2001-12-26 2003-07-11 Toshiba Corp 蓄積型放送受信装置および方法
JP2013048442A (ja) * 2005-07-18 2013-03-07 Thomson Licensing メタデータを用いて複数の映像ストリームを処理する方法及び装置
WO2012093714A1 (ja) * 2011-01-07 2012-07-12 シャープ株式会社 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、記録媒体、データ構造、制御プログラム、及び該プログラムを記録した記録媒体
WO2013021656A1 (ja) * 2011-08-11 2013-02-14 パナソニック株式会社 再生装置、再生方法、集積回路、放送システム、及び放送方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3018910A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020162171A (ja) * 2015-03-24 2020-10-01 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JPWO2017022467A1 (ja) * 2015-08-06 2018-05-24 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
TWI616097B (zh) * 2016-01-22 2018-02-21 納寶股份有限公司 串流裝置及方法、串流服務系統及記錄介質
US10404828B2 (en) 2016-01-22 2019-09-03 Naver Corporation Streaming apparatus, streaming method, and streaming service system using the streaming apparatus
JP2018201159A (ja) * 2017-05-29 2018-12-20 日本電信電話株式会社 映像処理方法、映像処理システム及び映像送信装置
CN119364060A (zh) * 2024-11-05 2025-01-24 天翼视联科技有限公司 一种直播视频渲染方法、装置及存储介质

Also Published As

Publication number Publication date
CN105340281A (zh) 2016-02-17
US20160373789A1 (en) 2016-12-22
BR112015032851B1 (pt) 2023-03-07
EP3018910A1 (en) 2016-05-11
JP6462566B2 (ja) 2019-01-30
RU2652099C2 (ru) 2018-04-25
KR102269311B1 (ko) 2021-06-28
KR20160030104A (ko) 2016-03-16
US20200288182A1 (en) 2020-09-10
BR112015032851A2 (pt) 2017-07-25
EP3018910A4 (en) 2017-02-08
CN105340281B (zh) 2019-06-28
EP3018910B1 (en) 2019-11-13
JPWO2015001947A1 (ja) 2017-02-23
US11330311B2 (en) 2022-05-10
RU2015156234A (ru) 2017-06-30

Similar Documents

Publication Publication Date Title
JP6462566B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11785289B2 (en) Receiving device, transmitting device, and data processing method
JP6807852B2 (ja) Ｌｃｔに基づくｄａｓｈフォーマットを有するファイルフォーマットベースのストリーミング
TWI846795B (zh) 用於經串流媒體資料之多個解碼器介面
CN103583050B (zh) 空间分段的内容的递送
JP5964972B2 (ja) 複数のソースからのマルチメディアデータのストリーミング
CA2965667C (en) Methods of implementing multi mode trickplay
EP2690876A2 (en) Heterogeneous network-based linked broadcast content transmitting/receiving device and method
JP2018532146A (ja) コーディングされたオーディオデータのトランスポート
KR20150072231A (ko) 멀티 앵글 뷰 서비스 제공 장치 및 방법
CA2978805A1 (en) System and method for operating a transmission network
Veenhuizen et al. Frame accurate media synchronization of heterogeneous media sources in an HBB context
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
Park et al. A Study on Video Stream Synchronization from Multi-Source to Multi-Screen

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480036992.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14819477

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015525124

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20157035471

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014819477

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14900262

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015156234

Country of ref document: RU

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112015032851

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112015032851

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20151229