WO2019139099A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2019139099A1
WO2019139099A1 PCT/JP2019/000591 JP2019000591W WO2019139099A1 WO 2019139099 A1 WO2019139099 A1 WO 2019139099A1 JP 2019000591 W JP2019000591 W JP 2019000591W WO 2019139099 A1 WO2019139099 A1 WO 2019139099A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
stream
image
viewpoint
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/000591
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201980007260.2A priority Critical patent/CN111557096A/zh
Priority to JP2019564745A priority patent/JPWO2019139099A1/ja
Priority to EP19738277.3A priority patent/EP3739889A4/en
Priority to US16/959,558 priority patent/US20210084346A1/en
Publication of WO2019139099A1 publication Critical patent/WO2019139099A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management e.g. creating a master electronic programme guide from data received from the Internet and a Head-end or controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Definitions

  • FIG. 1 shows an example of the configuration of an MPEG-DASH-based stream delivery system 30.
  • a media stream and an MPD (Media Presentation Description) file are transmitted through a communication network transmission line (communication transmission line).
  • the stream delivery system 30 includes a DASH stream file server 31 and a DASH MPD server 32, N service receivers 33-1, 33-2, ..., 33-N, and a CDN (Content Delivery Network) 34. It is connected via the connection.
  • the DASH stream file server 31 responds to the request of the segment of the predetermined stream sent from the service receiver 33 (33-1, 33-2, ..., 33-N) via the CDN 34, The segments of the stream are sent via the CDN 34 to the requesting receiver.
  • the service receiver 33 refers to the value of the rate described in the Media Presentation Description (MPD) file and selects the stream of the optimal rate according to the state of the network environment in which the client is located. And make a request.
  • MPD Media Presentation Description
  • FIG. 2 shows an example of the relationship between structures arranged hierarchically in the MPD file.
  • the media presentation Media Presentation
  • the representation includes segment info.
  • this segment info as shown in FIG. 2 (e), an initialization segment and a plurality of media segments (Media) in which information for each segment into which the period is further divided are described Segment) exists.
  • Media media segments
  • address (url) information and the like for actually acquiring segment data such as video and audio.
  • the coded stream corresponding to the requested divided area is transmitted.
  • the transmission band it is possible to prevent the transmission band from being unnecessarily wide, and efficient use of the transmission band becomes possible.
  • the service receiver 200 requests the service transmission system (distribution server) 100 to transmit a predetermined number of coded streams corresponding to the display area, receives and decodes the predetermined number of coded streams, and displays the display area. Obtain the image data of and display the image.
  • the service receiver 200 also receives rendering meta information when receiving a predetermined number of coded streams. As described above, the rendering meta information includes information of the grouped viewpoint grids.
  • scaling_ratio_horizontal and “scaling_ratio_vertical” indicate scaling ratios from the original size of the projection image (see FIGS. 5 (b) and (c)).
  • the “scaling_ratio_horizontal” field indicates the horizontal scaling ratio from the original size of the projection image.
  • scaling_ratio_vertical indicates the vertical scaling ratio from the original size of the projection image.
  • FIG. 16A shows an example of display of the user of group 1.
  • the user of group 1 refers to a user who is enabled to use the viewpoint grid included in group 1 according to the user's attribute or contract content.
  • FIG. 16 (b) shows an example of the display of the user of group 2.
  • the illustrated example shows a state in which the viewpoint grid of VpB is selected by the user operation, and an image in which the viewpoint grid of VpB is the center position as the main image (image of display range B, FIG. The dashed-dotted line frame corresponding to VpB of) is displayed.
  • a UI image is displayed at the lower right position in the illustrated example so as to be superimposed on the main image.
  • a rectangular area m1 indicating the range of the entire image is shown, and in the rectangular area m1, a rectangular area m2 indicating the present display range is shown.
  • the ID of the viewpoint grid corresponding to the current display range is "B"
  • "E" indicating the ID of the selectable viewpoint grid is within the rectangular area m1. It is displayed in the corresponding position of.
  • FIG. 18A shows an example of display of the user of group 1.
  • the illustrated example shows a state in which the viewpoint grid of VpD is selected by the user operation, and an image in which the viewpoint grid of VpD is the center position as the main image (image of display range D, FIG. 17 (a The dashed-dotted line frame corresponding to VpD of) is displayed.
  • a UI image is displayed at the lower right position in the illustrated example so as to be superimposed on the main image.
  • a rectangular area m1 indicating the range of the entire image is shown
  • a rectangular area m2 indicating the present display range is shown.
  • a rectangular area m1 indicating the range of the entire image is shown, and in the rectangular area m1, a rectangular area m3 indicating the image range of group 1 and a rectangular area m4 indicating the image range of group 3 are indicated.
  • a rectangular area m2 indicating the current display range is shown in the rectangular area m3.
  • the ID of the viewpoint grid corresponding to the current display range is "A”, and "B”, "C”, which indicate the IDs of selectable viewpoint grids.
  • "D” and “E” are shown at corresponding positions in the rectangular areas m3 and m4.
  • the “moof” box contains control information.
  • the entity of a signal (transmission medium) such as video and audio is placed.
  • a “moof” box and a “mdat” box make up a movie fragment. Since a fragment obtained by fragmenting the transmission medium is included in the “mdat” box of one movie fragment, control information included in the “moof” box becomes control information on the fragment.
  • the 8-bit field "frame_rate” indicates the frame rate (full frame rate) of the partition (divided picture).
  • a 1-bit field of "tile_partition_flag” indicates whether or not the picture is divided in a tile system. For example, “1” indicates that the picture is divided in the tile system, and “0” indicates that the picture is not divided in the tile system.
  • a 1-bit field of "tile_base_flag” indicates whether it is a base container or not in the case of tile system. For example, “1” indicates that it is a base container, and "0” indicates that it is a container other than the base container.
  • the service receiver 200 can decode up to four partitions.
  • the four partitions indicated by the arrow P indicate examples of partitions corresponding to the display area selected in this case.
  • the transmission request unit 206 determines switching of a set of MP4 streams of a predetermined number of partitions corresponding to the display area, in order to set the display area as a decoding range. Request the service transmission system 100 to transmit a new set (delivery stream set).
  • the coded stream is extracted from the MP4 stream of these partitions and decoded by the video decoder 204. That is, the decoding range in this case is a partition at the positions of (H0, V1), (H1, V1), (H2, V1), (H0, V2), (H1, V2), (H2, V2) .
  • the coded stream is extracted from the MP4 stream of these partitions and decoded by the video decoder 204. That is, the decoding range in this case is a partition at the positions of (H1, V1), (H2, V1), (H3, V1), (H1, V2), (H2, V2), (H3, V2) .
  • the switching frequency of the delivery stream set accompanying the movement of the display area is suppressed low. It is possible to improve the display performance in VR reproduction.
  • the control unit 201 includes a CPU (Central Processing Unit), and controls the operation of each unit of the service receiver 200 based on a control program.
  • the UI unit 201a is for performing a user interface, and for example, a pointing device for the user to operate the movement of the display area or a microphone for the user to input voice for instructing the movement of the display area by voice. Etc. are included in this.
  • the sensor unit 201 b includes various sensors for acquiring information on user status and environment, and includes, for example, an attitude detection sensor and the like mounted on a head mounted display (HMD).
  • HMD head mounted display
  • FIG. 41 shows a configuration example of an MMT stream in the case where tile streams are configured as a single stream.
  • MPU packet video MPU1” of the tile stream identified by ID1.
  • NAL units of “AUD”, “VPS”, “SPS”, “PPS”, “PSEI”, “SLICE”, and “SSEI” are arranged.
  • the information of the extraction position "Conformance_window” is inserted in "SPS”.
  • an SEI message having rendering metadata is inserted in “SSEI”.
  • transmitting and receiving system 10 which consists of service transmitting system 100 and service receiver 200
  • the composition of the transmitting and receiving system which can apply this art is not limited to this.
  • the service receiver 200 is a set top box and display connected by a digital interface such as, for example, a high-definition multimedia interface (HDMI).
  • HDMI high-definition multimedia interface
  • a transmitting unit that transmits a coded stream obtained by coding image data of a wide viewing angle image, and transmitting rendering meta information including information of a predetermined number of viewpoints registered by grouping
  • a transmitter comprising: (2) The transmission device according to (1), wherein the wide-viewing-angle image is a projection image obtained by plane-packing a part or all of a spherical captured image. (3) The transmission apparatus according to (1) or (2), wherein the information of the viewpoint has information of an azimuth angle and an elevation angle indicating a position of the viewpoint.
  • the main feature of the present technology is to transmit rendering meta information including information of a predetermined number of grouped viewpoint grids together with a coded stream obtained by coding image data of a wide viewing angle image. It is possible to display certain partial images in a wide viewing angle image consistently among receivers according to applications or users (see FIGS. 12 and 15 to 20).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

用途別あるいはユーザ別に広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示可能とする。　広視野角画像の画像データを符号化して得られた符号化ストリームを送信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を送信する。例えば、ビューポイントの情報は、このビューポイントの位置を示すアジマス角度（方位情報）およびエレベーション角度（仰角情報）の情報を持つ。

Description

送信装置、送信方法、受信装置および受信方法
　本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、広視野角画像を送信する送信装置等に関する。
　広視野角画像は、広視野角に対応するミラーやレンズなどを用いてキャプチャされたものである。例えば、特許文献１には、広視野角画像としての全方位画像などの記載がある。
　広視野角画像の動画像データを送信する場合、受信側においては、表示の際に変換の仕方によって表示対象部分が異なってくる。そのため、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させたい場合に、従来は、その方法が存在しないという問題があった。
特開２００９－２００９３９号公報
　本技術の目的は、用途別あるいはユーザ別に、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示可能とすることにある。
　本技術の概念は、
　広視野角画像の画像データを符号化して得られた符号化ストリームを送信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を送信する送信部を備える
　送信装置にある。
　本技術において、送信部により、広視野角画像の画像データを符号化して得られた符号化ストリームが送信されると共に、レンダリング用メタ情報が送信される。このレンダリング用メタ情報には、グループ分けして登録された所定数のビューポイントの情報が含まれている。例えば、広視野角画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたプロジェクション画像である、ようにされてもよい。また、例えば、ビューポイントの情報は、このビューポイントの位置を示すアジマス角度（方位情報）およびエレベーション角度（仰角情報）の情報を持つ、ようにされてもよい。
　例えば、送信部は、レンダリング用メタ情報を、符号化ストリームのレイヤおよび/またはこの符号化ストリームを含むコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、例えば、送信部は、符号化ストリームに関するメタ情報を持つメタファイルをさらに送信し、このメタファイルに、符号化ストリームおよび/またはコンテナのレイヤにレンダリング用メタ情報の挿入があることを示す識別情報が含まれる、ようにされてもよい。
　また、この場合、例えば、コンテナは、ＩＳＯＢＭＦＦであり、送信部は、レンダリング用メタ情報を、ｍｏｏｖボックスに挿入して送信する、ようにされてもよい。また、この場合、コンテナは、ＩＳＯＢＭＦＦであり、送信部は、レンダリング用メタ情報を、広視野角画像の画像データを符号化して得られた符号化ストリームを含むトラックとは別のトラックで送信する、ようにされてもよい。
　また、この場合、例えば、コンテナは、ＭＰＥＧ２－ＴＳであり、送信部は、レンダリング用メタ情報を、プログラム・マップ・テーブルに挿入して送信する、ようにされてもよい。また、この場合、例えば、コンテナは、ＭＭＴストリームであり、送信部は、レンダリング用メタ情報を、ＭＭＴ・パッケージ・テーブルに挿入して送信する、ようにされてもよい。
　また、例えば、広視野角画像の画像データを符号化して得られた符号化ストリームは、この広視野角画像を分割して得られた分割領域に対応した符号化ストリームである、ようにされてもよい。この場合、例えば、各分割領域の符号化ストリームは、広視野角画像の各分割領域を個別に符号化することで得られる、ようにされてもよい。また、この場合、例えば、各分割領域の符号化ストリームは、広視野角画像の各分割領域をタイルとするタイル機能を用いた符号化を行うことで得られる、ようにされてもよい。また、この場合、例えば、ビューポイントの情報は、このビューポイントが位置する分割領域の情報を含む、ようにされてもよい。
　このように本技術においては、広視野角画像の画像データを符号化して得られた符号化ストリームと共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を送信するものである。そのため、受信側では、符号化ストリームを復号化して得られた広視野角画像の画像データをレンダリング用メタ情報に基づいて処理して表示用画像データを得ることができ、用途別あるいはユーザ別に、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示することが可能となる。
　また、本技術の他の概念は、
　広視野角画像の画像データを符号化して得られた符号化ストリームを受信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を受信する受信部と、
　上記符号化ストリームを復号化した得られた上記広視野角画像の画像データを上記レンダリング用メタ情報に基づいて処理して表示用画像データを得る処理部を備える
　受信装置にある。
　本技術において、受信部により、広視野角画像の画像データを符号化して得られた符号化ストリームが受信されると共に、レンダリング用メタ情報が受信される。このレンダリング用メタ情報には、グループ分けして登録された所定数のビューポイントの情報が含まれている。
　処理部により、符号化ストリームを復号化した得られた広視野角画像の画像データがレンダリング用メタ情報に基づいて処理されて表示用画像データが得られる。例えば、処理部は、ユーザの属性あるいは契約内容によって決定されたグループのビューポイントの情報を用いる、ようにされてもよい。この場合、例えば、処理部は、ユーザ操作で選択されたビューポイントの情報で示される位置をセンター位置とする表示用画像データを得る、ようにされてもよい。
　また、例えば、受信部は、広視野角画像の画像データを符号化して得られた符号化ストリームとして、広視野角画像を分割して得られた各分割領域の符号化ストリームを受信し、処理部は、各分割領域に対応した符号化ストリームのうち表示用画像データを得るために用いる所定数の分割領域の符号化ストリームを復号化する、ようにされてもよい。この場合、例えば、受信部は、所定数の分割領域の符号化ストリームの送信を配信サーバに要求し、この配信サーバからこの所定数の分割領域の符号化ストリームを受信する、ようにされてもよい。
　このように本技術においては、符号化ストリームを復号化して得られた広視野角画像の画像データを、グループ分けして登録された所定数のビューポイントの情報が含まれているレンダリング用メタ情報に基づいて処理して表示用画像データを得るものである。そのため、用途別あるいはユーザ別に、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示することが可能となる。
　本技術によれば、用途別あるいはユーザ別に、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
ＭＰＥＧ－ＤＡＳＨベースのストリーム配信システムの構成例を示すブロック図である。 ＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示す図である。 実施の形態としての送受信システムの構成例を示すブロック図である。 送受信システムのシステム全体の構成例を概略的に示す図である。 球面キャプチャ画像からプロジェクション画像を得る平面パッキングを説明するための図である。 ＨＥＶＣの符号化におけるＳＰＳ　ＮＡＬユニットの構造例を示す図である。 切出し位置の中心Ｏ(p,q)をプロジェクション画像の基準点ＲＰ(x,y)と一致させることを説明するための図である。 プロジェクション画像の分割例を示す図である。 レンダリングメタデータの構造例を示す図である。 図９に示す構造例における主要な情報の内容を示す図である。 図９に示す構造例における各情報を説明するための図である。 “viewpoint_grid()”の構造例を示す図である。 図１２に示す構造例における主要な情報の内容を示す図である。 登録されたビューポイントであるビューポイントグリッドを説明するための図である。 ビューポイントグリッドのカテゴリによるグループ分けの一例を説明するための図である。 図１５のグループ分けにおけるグループ１～３のユーザの表示例を示す図である。 ビューポイントグリッドのカテゴリによるグループ分けの他の一例を説明するための図である。 図１７のグループ分けにおけるグループ１～３のユーザの表示例を示す図である。 ビューポイントグリッドのカテゴリによるグループ分けの他の一例を説明するための図である。 図１９のグループ分けにおけるグループ１～２のユーザの表示例を示す図である。 配信ストリームとしてのＭＰ４ストリームの一例を示す図である。 各パーティションをタイルとするタイル機能を用いた符号化を説明するための図である。 パーティション・デスクリプタの構造例を示す図である。 図２３の構造例における主要な情報の内容を示す図である。 タイルベースのＭＰ４ストリーム（タイルベースコンテナ）対応したＭＰＤファイルの記述例を示す図である。 各パーティションのＭＰ４ストリームに対応したＭＰＤファイルの記述例を示す図である。 各パーティションをタイルとするタイル機能を用いた符号化を行った場合におけるＭＰ４ストリーム（トラック）の一例を概略的に示す図である。 各パーティションを個別に符号化した場合におけるＭＰ４ストリーム（トラック）の一例を概略的に示す図である。 ８Ｋ/６０Ｈｚ級のプロジェクション画像を、１９２０×１０８０（Ｆｕｌｌ　ＨＤ）のパーティションサイズで分割する例を示す図である。 表示装置としてＨＭＤが利用される場合の表示領域の移動制御の一例を示す図である。 表示装置として表示パネルが利用されている場合の表示領域の移動制御の一例を示す図である。 表示領域の移動に伴う配信ストリームセットの切り替えの一例を示す図である。 表示領域の移動に伴う配信ストリームセットの切り替えの一例を示す図である。 サービス送信システムの構成例を示すブロック図である。 サービス受信機の構成例を示すブロック図である。 ビデオ符号化がタイル対応の場合におけるトランスポートストリームの構成例を示す図である。 ビデオ符号化がタイル対応の場合におけるＭＭＴストリームの構成例を示す図である。 タイルストリームをシングルストリーム構成とする場合におけるＭＰＤファイルの記述例を示す図である。 タイルストリームをシングルストリーム構成とする場合におけるＭＰ４ストリーム（トラック）の一例を概略的に示す図である。 タイルストリームをシングルストリーム構成とする場合におけるトランスポートストリームの構成例を示す図である。 タイルストリームをシングルストリーム構成とする場合におけるＭＭＴストリームの構成例を示す図である。 各パーティションをタイルとするタイル機能を用いた符号化を行った場合におけるＭＰ４ストリーム（トラック）の他の一例を概略的に示す図である。 各パーティションを個別に符号化した場合におけるＭＰ４ストリーム（トラック）の他の一例を概略的に示す図である。 タイルストリームをシングルストリーム構成とする場合におけるＭＰ４ストリーム（トラック）の一例を概略的に示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［ＭＰＥＧ－ＤＡＳＨベースのストリーム配信システムの概要］
　最初に、本技術を適用し得るＭＰＥＧ－ＤＡＳＨベースのストリーム配信システムの概要を説明する。
　図１は、ＭＰＥＧ－ＤＡＳＨベースのストリーム配信システム３０の構成例を示している。この構成例では、メディアストリームとＭＰＤ（Media Presentation Description ）ファイルが、通信ネットワーク伝送路（通信伝送路）を通じて送信される。このストリーム配信システム３０は、ＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２に、Ｎ個のサービス受信機３３-1，３３-2，・・・，３３-Nが、ＣＤＮ（Content Delivery Network）３４を介して、接続された構成となっている。
　ＤＡＳＨストリームファイルサーバ３１は、所定のコンテンツのメディアデータ（ビデオデータ、オーディオデータ、字幕データなど）に基づいて、ＤＡＳＨ仕様のストリームセグメント（以下、適宜、「ＤＡＳＨセグメント」という）を生成し、サービス受信機からのＨＴＴＰ要求に応じてセグメントを送出する。このＤＡＳＨストリームファイルサーバ３１は、ストリーミング専用のサーバであってもよいし、また、ウェブ（Web）サーバで兼用されることもある。
　また、ＤＡＳＨストリームファイルサーバ３１は、サービス受信機３３（３３-1，３３-2，・・・，３３-N）からＣＤＮ３４を介して送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを、ＣＤＮ３４を介して、要求元の受信機に送信する。この場合、サービス受信機３３は、ＭＰＤ（Media Presentation Description）ファイルに記載されているレートの値を参照して、クライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択して要求を行う。
　ＤＡＳＨ ＭＰＤサーバ３２は、ＤＡＳＨストリームファイルサーバ３１において生成されるＤＡＳＨセグメントを取得するためのＭＰＤファイルを生成するサーバである。コンテンツマネジメントサーバ（図示せず）からのコンテンツメタデータと、ＤＡＳＨストリームファイルサーバ３１において生成されたセグメントのアドレス（url）をもとに、ＭＰＤファイルを生成する。なお、ＤＡＳＨストリームファイルサーバ３１とＤＡＳＨ ＭＰＤサーバ３２は、物理的に同じものであってもよい。
　ＭＰＤのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション（Representation）という要素を利用して、それぞれの属性が記述される。例えば、ＭＰＤファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。サービス受信機３３では、そのレートの値を参考にして、上述したように、サービス受信機３３が置かれているネットワーク環境の状態に応じて、最適なストリームを選択できる。
　図２は、ＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示している。図２（ａ）に示すように、ＭＰＤファイル全体としてのメディア・プレゼンテーション（Media Presentation）には、時間間隔で区切られた複数のピリオド（Period）が存在する。例えば、最初のピリオドはスタートが０秒から、次のピリオドはスタートが１００秒から、などとなっている。
　図２（ｂ）に示すように、ピリオドには、複数のアダプテーションセット(AdaptationSet)が存在する。各アダプテーションセットはビデオやオーディオ等のメディアタイプの違いや、同じメディアタイプでも言語の違い、視点の違い等に依存する。図２（ｃ）に示すように、アダプテーションセットには複数のリプレゼンテーション(Representation)が存在する。各リプレゼンテーションはストリーム属性、例えばレートの違い等に依存する。
　図２（ｄ）に示すように、リプレゼンテーションには、セグメントインフォ（SegmentInfo）が含まれている。このセグメントインフォには、図２（e）に示すように、イニシャライゼーション・セグメント（Initialization Segment）と、ピリオドをさらに細かく区切ったセグメント（Segment）毎の情報が記述される複数のメディア・セグメント（Media Segment）が存在する。メディアセグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
　なお、アダプテーションセットに含まれる複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、受信側のネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのないビデオ配信が可能となる。
　［送受信システムの構成例］
　図３は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、サービス送信システム１００とサービス受信機２００により構成されている。この送受信システム１０において、サービス送信システム１００は、上述の図１に示すストリーム配信システム３０のＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２に対応する。また、この送受信システム１０において、サービス受信機２００は、上述の図１に示すストリーム配信システム３０のサービス受信機３３（３３-1，３３-2，・・・，３３-N）に対応する。
　サービス送信システム１００は、ＤＡＳＨ/ＭＰ４、つまりメタファイルとしてのＭＰＤファイルと、ビデオやオーディオなどのメディアストリーム（メディアセグメント）が含まれるＭＰ４（ＩＳＯＢＭＦＦ）ストリームを、通信ネットワーク伝送路（図１参照）を通じて、送信する。
　ＭＰ４ストリームには、広視野角画像の画像データを符号化して得られた符号化ストリーム、この実施の形態においては、広視野角画像を分割して得られた各分割領域（パーティション）に対応した符号化ストリーム（符号化画像データ）が含まれる。ここで、広視野角画像は球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたプロジェクション画像（Projection picture）とされるが、これに限定されるものではない。
　符号化ストリームおよび/またはコンテナのレイヤに、レンダリング用メタ情報が挿入されている。レンダリング用メタ情報がビデオストリームのレイヤに挿入されることで、コンテナの種類によらず、レンダリング用メタ情報の動的な変更が可能となる。このレンダリング用メタ情報には、グループ分けして登録された所定数のビューポイントの情報、従ってグループ分けされた所定数のビューポイントグリッドの情報が含まれている。ビューポイントは表示画像のセンター位置を示し、登録されたビューポイントを「ビューポイントグリッド」と称する。ここで、ビューポイントグリッドの情報には、アジマス角度（方位情報）とエレベーション角度（仰角情報）の情報が含まれる。
　なお、広視野角画像の各分割領域に対応した符号化ストリームの全てを送信することも考えられるが、この実施の形態においては、要求された分割領域に対応した符号化ストリームが送信される。これにより、伝送帯域を無駄に広くとることを防止でき、伝送帯域の効率的な使用が可能となる。
　ＭＰＤファイルには、コンテナおよび/またはビデオストリームのレイヤにレンダリング用メタ情報の挿入があることを示す識別情報、後方互換性情報、さらにはプロジェクション画像のフォーマットタイプ情報が挿入されている。
　サービス受信機２００は、サービス送信システム１００から通信ネットワーク伝送路（図１参照）を通じて送られてくる上述のＭＰ４（ＩＳＯＢＭＦＦ）ストリームを受信する。サービス受信機２００は、ＭＰＤファイルから、広視野角画像の各分割領域に対応した符号化ストリームに関するメタ情報を取得する。
　サービス受信機２００は、例えば、表示領域に対応した所定数の符号化ストリームの送信をサービス送信システム（配信サーバ）１００に要求し、その所定数の符号化ストリームを受信して復号化し、表示領域の画像データを得て画像表示をする。サービス受信機２００は、所定数の符号化ストリームを受信する際に、レンダリング用メタ情報も受信する。このレンダリング用メタ情報には、上述したように、グループ分けされたビューポイントグリッドの情報が含まれている。
　サービス受信機２００は、所定数の符号化ストリームを復号化して得られた広視野角画像の画像データをこのレンダリング用メタ情報に基づいて処理して、表示用画像データを得る。例えば、サービス受信機２００は、ユーザの属性あるいは契約内容によって決定されたグループの所定数のビューポイントグリッドのうち、ユーザ操作部で選択された所定のビューポイントグリッドをセンター位置とする表示用画像データを得る。
　図４は、送受信システム１０のシステム全体の構成例を概略的に示している。サービス送信システム１００は、３６０°画キャプチャ部１０２と、平面パッキング部１０３と、ビデオエンコーダ１０４と、コンテナエンコーダ１０５と、ストレージ１０６を有している。
　３６０°画キャプチャ部１０２は、所定数のカメラで被写体を撮像して、広視野角画像、この実施の形態においては球面キャプチャ画像（３６０°ＶＲ画像）の画像データを得る。例えば、３６０°画キャプチャ部１０２は、魚眼レンズによる撮影を含む、球面キャプチャ画像またはその一部である１８０°以上の視野角を持つ、超広視野角の前面画像および後面画像を得る。
　平面パッキング部１０３は、３６０°画キャプチャ部１０２で得られた球面キャプチャ画像の一部または全部を切り取って平面パッキングしてプロジェクション画像（Projection picture）を得る。この場合、プロジェクション画像のフォーマットタイプとしては、例えば、エクイレクタングラー(Equirectangular)、クロスキュービック（Cross-cubic）などが選択される。なお、平面パッキング部１０３では、プロジェクション画像に必要に応じてスケーリングを施し、所定の解像度のプロジェクション画像を得ることが行われる。
　図５（ａ）は、カメラ１０２で得られる球面キャプチャ画像としての、超広視野角の前面画像および後面画像の一例を示している。図５（ｂ）は、平面パッキング部１０３で得られるプロジェクション画像の一例を示している。この例は、プロジェクション画像のフォーマットタイプがエクイレクタングラーである場合の例である。また、この例は、図５（ａ）に示す各画像において破線で示す緯度で切出した場合の例である。図５（ｃ）は、スケーリング後のプロジェクション画像の一例を示している。
　図４に戻って、ビデオエンコーダ１０４は、平面パッキング部１０３からのプロジェクション画像の画像データに対して、例えば、ＭＰＥＧ４－ＡＶＣあるいはＨＥＶＣなどの符号化を施して符号化画像データを得、この符号化画像データを含むビデオストリームを生成する。ビデオストリームのＳＰＳ　ＮＡＬユニットには、切り出し位置情報が挿入されている。例えば、ＨＥＶＣの符号化では「conformance_window」が対応し、ＭＰＥＧ４－ＡＶＣの符号化では「frame_crop_offset」が対応する。
　図６は、ＨＥＶＣの符号化におけるＳＰＳ　ＮＡＬユニットの構造例（Syntax）を示している。「pic_width_in_luma_samples」のフィールドは、プロジェクション画像の水平方向の解像度（画素サイズ）を示している。「pic_height_in_luma_samples」のフィールドは、プロジェクション画像の垂直方向の解像度（画素サイズ）を示している。そして、「conformance_window_flag」が立っているとき、切り出し位置情報が存在する。この切り出し位置情報は、プロジェクション画像の左上を基点（０，０）としたオフセット情報とされる。
　「conf_win_left_offset」のフィールドは、切り出し位置の左端位置を示している。「conf_win_right_offset」のフィールドは、切り出し位置の右端位置を示している。「conf_win_top_offset」のフィールドは、切り出し位置の上端位置を示している。「conf_win_bottom_offset」のフィールドは、切り出し位置の下端位置を示している。
　この実施の形態において、この切り出し位置情報で示される切り出し位置の中心は、プロジェクション画像の基準点と一致するようにされる。ここで、切出し位置の中心をＯ(p,q)とすると、ｐ，ｑは、それぞれ、以下の数式で表される。
　p = ( conf_win_right_offset -　conf_win_left_offset ) * 1/2
　　　　　　　　　　　　　　　　　　　　　　　　　+ conf_win_left_offset
　q = ( conf_win_bottom_offset -　conf_win_top_offset ) * 1/2
　　　　　　　　　　　　　　　　　　　　　　　　　+ conf_win_top_offset
　図７は、切出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するようにされることを示している。図示の例において、「projection_pic_size_horizontal」はプロジェクション画像の水平画素サイズを示し、「projection_pic_size_vertical」はプロジェクション画像の垂直画素サイズを示している。なお、ＶＲ対応端末ではプロジェクション画像をレンダリングして表示ビュー（表示画像）を得ることが可能とされるが、デフォルトビューは基準点ＲＰ(x,y)を中心としたものとされる。
　この場合、例えば、プロジェクション画像が、基準点ＲＰ(x,y)を中心位置とするデフォルトリージョンを含む複数のリージョンからなるとき、切出し位置情報で示される位置はデフォルトリージョンの位置と一致するようにされる。この場合、切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)は、プロジェクション画像の基準点ＲＰ(x,y)と一致する。
　図４に戻って、ビデオエンコーダ１０４は、プロジェクション画像を複数のパーティション（分割領域）に分割し、各パーティションに対応した符号化ストリームを得る。図８は、プロジェクション画像のフォーマットタイプがエクイレクタングラーである場合における分割例を示している。
　ビデオエンコーダ１０４は、プロジェクション画像の各パーティションに対応した符号化ストリームを得るために、例えば、各パーティションを個別に符号化するか、あるいはプロジェクション画像の全体を一括して符号化するが、各パーティションをタイルとするタイル機能を用いた符号化をする。これにより、受信側では、各パーティションに対応した符号化ストリームを独立してデコードすることが可能となる。
　ビデオエンコーダ１０４は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、レンダリングメタデータ（レンダリング用メタ情報）を持つＳＥＩメッセージ（SEI message）を挿入する。図９は、レンダリングメタデータ（Rendering_metadata）の構造例（Syntax）を示している。図１０は、その構造例における主要な情報の内容（Semantics）を示している。
　「rendering_metadata_id」の１６ビットフィールドは、レンダリングメタデータ構造体を識別するＩＤである。「rendering_metadata_length」の１６ビットフィールドは、レンダリングメタデータ構造体のバイトサイズを示す。
　「start_offset_sphere_latitude」、「start_offset_sphere_longitude」、「end_offset_sphere_latitude」、「end_offset_sphere_longitude」の各１６ビットフィールドは、球面キャプチャ画像を平面パッキングする場合の切り取り範囲の情報を示す（図１１（ａ）参照）。「start_offset_sphere_latitude」のフィールドは、球面からの切り取り開始オフセットの緯度（垂直方向）を示す。「start_offset_sphere_longitude」のフィールドは、球面からの切り取り開始オフセットの経度（水平方向）を示す。「end_offset_sphere_latitude」のフィールドは、球面からの切り取り終了オフセットの緯度（垂直方向）を示す。「end_offset_sphere_longitude」のフィールドは、球面からの切り取り終了オフセットの経度（水平方向）を示す。
　「projection_pic_size_horizontal」、「projection_pic_size_vertical」の各１６ビットフィールドは、プロジェクション画像（projection picture）のサイズ情報を示す（図１１（ｂ）参照）。「projection_pic_size_horizontal」のフィールドは、プロジェクション画像のサイズでトップ・レフト（top-left）からの水平画素カウントを示す。「projection_pic_size_vertical」のフィールドは、プロジェクション画像のサイズでトップ・レフト（top-left）からの垂直画素カウントを示す。
　「scaling_ratio_horizontal」、「scaling_ratio_vertical」の各１６ビットフィールドは、プロジェクション画像の元のサイズからのスケーリング比を示す（図５（ｂ）、（ｃ）参照）。「scaling_ratio_horizontal」のフィールドは、プロジェクション画像の元のサイズからの水平スケーリング比を示す。「scaling_ratio_vertical」のフィールドは、プロジェクション画像の元のサイズからの垂直スケーリング比を示す。
　「reference_point_horizontal」、「reference_point_vertical」の各１６ビットフィールドは、プロジェクション画像の基準点ＲＰ(x,y)の位置情報を示す（図１１（ｂ）参照）。「reference_point_horizontal」のフィールドは、基準点ＲＰ(x,y)の水平画素位置“ｘ”を示す。「reference_point_vertical」のフィールドは、基準点ＲＰ(x,y)の垂直画素位置“ｙ”を示す。
　「format_type」の５ビットフィールドは、プロジェクション画像のフォーマットタイプを示す。例えば、“０”はエクイレクタングラー(Equirectangular)を示し、“１”はクロスキュービック（Cross-cubic）を示し、“２”はパーティションド・クロスキュービック（partitioned cross cubic）を示す。
　「backwardcompatible」の１ビットフィールドは、後方互換性の設定がなされているかどうか、つまりビデオストリームのレイヤに挿入された切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するように設定されているか否かを示す（図７参照）。例えば、“０”は後方互換性の設定がなされていないことを示し、“１”は後方互換性の設定がなされていることを示す。「viewpoint_grid()」は、グループ分けされたビューポイントグリッドの情報を格納するフィールドである。
　図１２は、“viewpoint_grid()”の構造例（Syntax）を示している。図１３は、その構造例における主要な情報の内容（Semantics）を示している。「number_of_group」の８ビットフィールドは、グループの数を示す。この数だけ以下のフィールドが繰り返される。「group_id」の８ビットフィールドは、グループＩＤを示す。「category」の８ビットフィールドは、グループのカテゴリ（分類種類）を示す。
　「number_of_viewpoint_grids」の８ビットフィールドは、ビューポイントグリッド（viewpoint_grid）の数を示す。この数だけ以下のフィールドが繰り返される。「viewpoint_grid_id」の８ビットフィールドは、ビューポイントグリッドのＩＤを示す。「region_id」の８ビットフィールドは、ビューポイントグリッドが存在するリージョンのＩＤを示す。「region_in_stream_flag」の１ビットフィールドは、対象のリージョンが符号化ストリームに含まれているか否かを示す。例えば、“１”は含まれていることを示し、“０”は含まれていないことを示す。
　「region_in_stream_flag」が“１”であるとき、つまり対象のリージョンが符号化ストリームに含まれているとき、以下のビューポイントグリッドの位置情報を示すフィールドが存在する。「center_azimuth[j]」の１６ビットフィールドは、ビューポイントグリッドのアジマス角度（方位情報）を示す。「center_elevation[j]」の１６ビットフィールドは、ビューポイントグリッドのエレベーション角度（仰角情報）を示す。
　ここで、ビューポイントグリッドについて説明する。図１４（ａ）は、平面変換後の画像を示している。この画像は、横長の長方形で括られたものであり、上述のプロジェクション画像（図８参照）に対し、歪曲した部分がきちんとした画になるように変換処理を施すことで得られたものである。
　図示の例においては、この平面変換後の画像（広視野角画像）内にＶｐＡ～ＶｐＨの８つのビューポイントがビューポイントグリッドとして登録されている。なお、上述では各ビューポイントグリッドの位置をアジマス角度（方位情報）およびエレベーション角度（仰角情報）で特定するように説明したが、各ビューポイントグリッドの位置（座標値）を基準点ＲＰ(x,y)（図９参照）からの画素オフセットで表すことも可能である。受信側では、図１４（ｂ）に示すように、Ａ～ＨのビューポイントグリッドＩＤで識別される各ビューポイントグリッドから所望のビューポイントグリッドを選択することで、そのビューポイントグリッドをセンター位置とする画像表示が可能となる。
　図１５（ａ）は、ビューポイントグリッドのカテゴリによるグループ分けの一例を示している。図示の例においては、グループ１には、ＶｐＣ，ＶｐＤ，ＶｐＧの３つのビューポイントグリッドが含まれている。また、グループ２には、ＶｐＢ，ＶｐＥの２つのビューポイントグリッドが含まれている。また、グループ３には、ＶｐＡ，ＶｐＦ，ＶｐＨの３つのビューポイントグリッドが含まれている。図１５（ｂ）は、図１５（ａ）の例における、グループＩＤで括られたカテゴリとビューポイントグリッドＩＤのリストを示している。
　図１６（ａ）は、グループ１のユーザの表示の一例を示している。ここで、グループ１のユーザとは、後述するように、ユーザの属性あるいは契約内容によってグループ１に含まれるビューポイントグリッドの利用が可能とされたユーザをいう。その他のグループのユーザも同様である。これは、他の例においても同様である。
　図示の例は、ユーザ操作によって、ＶｐＤのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＤのビューポイントグリッドをセンター位置とする画像（表示範囲Ｄの画像、図１５（ａ）のＶｐＤに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｄ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ｃ”，“Ｇ”が矩形領域ｍ１内の対応する位置に表示されている。
　図１６（ｂ）は、グループ２のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＢのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＢのビューポイントグリッドをセンター位置とする画像（表示範囲Ｂの画像、図１５（ａ）のＶｐＢに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｂ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ｅ”が矩形領域ｍ１内の対応する位置に表示されている。
　図１６（ｃ）は、グループ３のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＦのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＦのビューポイントグリッドをセンター位置とする画像（表示範囲Ｆの画像、図１５（ａ）のＶｐＦに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｆ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ａ”，“Ｈ”が矩形領域ｍ１内の対応する位置に表示されている。
　図１７（ａ）は、ビューポイントグリッドの表示可能な画像の範囲をグループ分けする一例を示している。図示の例においては、グループ１には、ＶｐＣ，ＶｐＤ，ＶｐＥの３つのビューポイントグリッドが含まれている。また、グループ２には、ＶｐＢ，ＶｐＣ，ＶｐＤ，ＶｐＥ，ＶｐＦの５つのビューポイントグリッドが含まれている。また、グループ３には、ＶｐＡ，ＶｐＢ，ＶｐＣ，ＶｐＤ，ＶｐＥ，ＶｐＦ，ＶｐＧ，ＶｐＨの８つのビューポイントグリッドが含まれている。図１７（ｂ）は、図１７（ａ）の例における、グループＩＤで括られたカテゴリとビューポイントグリッドＩＤのリストを示している。
　図１８（ａ）は、グループ１のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＤのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＤのビューポイントグリッドをセンター位置とする画像（表示範囲Ｄの画像、図１７（ａ）のＶｐＤに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｄ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ｃ”，“Ｅ”が矩形領域ｍ１内の対応する位置に表示されている。
　図１８（ｂ）は、グループ２のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＤのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＤのビューポイントグリッドをセンター位置とする画像（表示範囲Ｄの画像、図１７（ａ）のＶｐＤに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｄ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ｂ”，“Ｃ”，“Ｅ”，“Ｆ”が矩形領域ｍ１内の対応する位置に表示されている。
　図１８（ｃ）は、グループ３のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＤのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＤのビューポイントグリッドをセンター位置とする画像（表示範囲Ｄの画像、図１７（ａ）のＶｐＤに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｄ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ａ”，“Ｂ”，“Ｃ”，“Ｅ”，“Ｆ”，“Ｇ”，“Ｈ”が矩形領域ｍ１内の対応する位置に表示されている。
　図１９（ａ）は、ビューポイントグリッドのカテゴリによる表示可能な画像を分割することによるグループ分けのさらに他の一例を示している。図示の例においては、グループ１のカテゴリは“Left Player”であり、このグループ１には、ＶｐＡ，ＶｐＢの２つのビューポイントグリッドが含まれている。また、グループ２のカテゴリは“Right Player”であり、このグループ２には、ＶｐＦ，ＶｐＧ，ＶｐＨの３つのビューポイントグリッドが含まれている。また、グループ３のカテゴリは“Shared”であり、このグループ３には、ＶｐＣ，ＶｐＤ，ＶｐＥの３つのビューポイントグリッドが含まれている。このグループ３に含まれるビューポイントグリッドに関しては、グループ１のユーザもグループ２のユーザも選択可能とされる。図１９（ｂ）は、図１９（ａ）の例における、グループＩＤで括られたカテゴリとビューポイントグリッドＩＤのリストを示している。
　図２０（ａ）は、グループ１のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＡのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＡのビューポイントグリッドをセンター位置とする画像（表示範囲Ａの画像、図１９（ａ）のＶｐＡに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では中央下から右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内にグループ１の画像範囲を示す矩形領域ｍ３およびグループ３の画像範囲を示す矩形領域ｍ４が示され、矩形領域ｍ３内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ａ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ｂ”，“Ｃ”，“Ｄ”，“Ｅ”が矩形領域ｍ３，ｍ４内の対応する位置に示表示されている。
　図２０（ｂ）は、グループ２のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＨのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＨのビューポイントグリッドをセンター位置とする画像（表示範囲Ａの画像、図１９（ａ）のＶｐＨに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では中央下から右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内にグループ２の画像範囲を示す矩形領域ｍ５およびグループ３の画像範囲を示す矩形領域ｍ４が示され、矩形領域ｍ５内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｈ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ｃ”，“Ｄ”，“Ｅ”，“Ｆ”，“Ｇ”が矩形領域ｍ５，ｍ４内の対応する位置に示表示されている。
　図４に戻って、コンテナエンコーダ１０５は、ビデオエンコーダ１０４で生成された符号化ストリームを含むコンテナ、ここではＭＰ４ストリームを、配信ストリームとして生成する。この場合、コンテナエンコーダ１０５は、コンテナのレイヤに、レンダリングメタデータ（図９参照）を挿入する。なお、この実施の形態においては、ビデオストリーム（符号化ストリーム）のレイヤとコンテナのレイヤの双方にレンダリングメタデータを挿入するものであるが、いずれか一方のみに挿入することも考えられる。このようにコンテナエンコーダ１０５で得られたＭＰ４の配信ストリームは、ストレージ１０６を介して、サービス受信機２００に送信される。
　図２１は、配信ストリームとしてのＭＰ４ストリームの一例を示している。一般の放送など、送信の途中から画音が出るように、サービスストリーム全体がフラグメント化されて送信される。各ランダムアクセス期間は、イニシャライゼーション・セグメント（ＩＳ：initialization segment）から始まり、それに、“ｓｔｙｐ”、“ｓｉｄｘ（Segment index box）”、“ｓｓｉｘ（Sub-segment index box）”、“ｍｏｏｆ（Movie fragment box）”、“ｍｄａｔ（Media data box）”のボックスが続いた構成となっている。
　イニシャライゼーション・セグメント（ＩＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。先頭に、ファイルタイプ（File type）を示す“ｆｔｙｐ”ボックスが配置され、それに続いて制御用の“ｍｏｏｖ”ボックスが配置されている。詳細説明は省略するが、この“ｍｏｏｖ”ボックス内に、“ｔｒａｋ”ボックス、“ｍｄｉａ”ボックス、“ｍｉｎｆ”ボックス、“ｓｔｂｌ”ボックス、“ｓｔｓｄ”ボックスおよび“ｓｃｈｉ”ボックスが階層的に配置され、この“ｓｃｈｉ”ボックスに、レンダリングメタデータ（Rendering_metadata）（図９参照）が挿入される。
　“ｓｔｙｐ”ボックスにはセグメントタイプ情報が入る。 “ｓｉｄｘ”ボックスには、各トラック（track）のレンジ情報が入り、“ｍｏｏｆ”/“ｍｄａｔ”の位置が示され、“ｍｄａｔ”内の各サンプル（ピクチャ）の位置も示される。“ｓｓｉｘ”ボックスには、トラック（track）の区分け情報が入り、Ｉ/Ｐ/Ｂタイプの区分けがされる。
　“ｍｏｏｆ”ボックスには制御情報が入る。“ｍｄａｔ”ボックスにはビデオ、オーディオなどの信号（伝送メディア）の実体そのものが入る。“ｍｏｏｆ”ボックスと“ｍｄａｔ”ボックスによりムービーフラグメント（Movie fragment）が構成されている。１つのムービーフラグメントの“ｍｄａｔ”ボックスには、伝送メディアがフラグメント化（断片化）されて得られた断片が入るので、“ｍｏｏｆ”ボックスに入る制御情報はその断片に関する制御情報となる。
　各ムービーフラグメントの“ｍｄａｔ”ボックスには、プロジェクション画像の符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。なお、「ＶＰＳ」、「ＳＰＳ」は、例えば、ＧＯＰの先頭ピクチャに挿入される。
　ＳＰＳ　ＮＡＬユニットには、切り出し位置情報としての「conformance_window」の情報が挿入される（図６参照）。また、「ＳＳＥＩ」のＮＡＬユニットとして、レンダリングメタデータ（Rendering_metadata）（図９参照）を持つＳＥＩメッセージが挿入される。
　この実施の形態において、コンテナエンコーダ１０５は、各パーティションに対応した符号化ストリームをそれぞれ含む複数のＭＰ４ストリームを生成する。各パーティションをタイルとするタイル機能を用いた符号化を行っている場合、全てのパーティションに対応した符号化ストリームをサブストリームとして含む一つのＭＰ４ストリームを生成することも可能である。しかし、この実施の形態においては、各パーティションに対応した符号化ストリームをそれぞれ含む複数のＭＰ４ストリームが生成されるものとする。
　なお、コンテナエンコーダ１０５は、各パーティションをタイルとするタイル機能を用いた符号化を行っている場合、各パーティションに対応した符号化ストリームをそれぞれ含む複数のＭＰ４ストリームの他に、ＳＰＳなどのパラメータセットを含むベース（base）のＭＰ４ストリーム（ベースコンテナ）を生成する。
　ここで、各パーティションをタイルとするタイル機能を用いた符号化について、図２２を参照して説明する。タイルは、ピクチャを水平そして垂直方向に分割して各々を独立して符号化・復号化できるものである。タイルではピクチャ内の画面内予測やループフィルタそしてエントロピー符号化をリフレッシュできるため、タイルとして分割された領域各々を独立して符号化・復号化が可能になる。
　図２２（ａ）は、ピクチャを縦横２分割ずつの計４分割して、各パーティションをタイルとして符号化を行った場合の例を示している。この場合、図２２（ｂ）に示すように、タイル分割されたａ，ｂ，ｃ，ｄのパーティション（タイル）に関して、各タイルの先頭データのバイト位置のリストをスライスヘッダに記述することで、独立したデコードが可能になる。
　タイルの開始ブロックのピクチャ内の位置関係は、ピクチャのトップ・レフト（top-left）からの相対位置で認識できるので、各パーティション（タイル）の符号化ストリームを別のパケットでコンテナ伝送する場合も、受信側で元のピクチャを再構築することができる。例えば、図２２（ｃ）に示すように、一点鎖線の矩形枠で囲むｂ，ｄのパーティションの符号化ストリームをデコードすると、このｂ，ｄのパーティション（タイル）の表示が可能となる。
　なお、各パーティション（タイル）の符号化ストリームを別のパケットでコンテナ伝送する場合、パラメータセットなどのメタ情報は、タイルベースのＭＰ４ストリーム（タイルベースコンテナ）に格納される。そして、各パーティションのＭＰ４ストリーム（タイルコンテナ）には、それぞれ各パーティションに対応した符号化ストリームがスライス情報として格納される。
　また、コンテナエンコーダ１０５は、コンテナのレイヤに、パーティションの画素数およびフレームレートの情報を挿入する。この実施の形態では、ＭＰ４ストリームのイニシャライゼーション・セグメント（ＩＳ：initialization segment）に、パーティション・デスクリプタ（partition_descriptor）が挿入される。この場合、複数のパーティション・デスクリプタが最大頻度としてピクチャ単位で挿入されてもよい。
　図２３は、パーティション・デスクリプタの構造例（Syntax）を示している。また、図２４は、その構造例における主要な情報の内容（Semantics）を示している。「partition_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、パーティション・デスクリプタであることを示す。「partition_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
　「frame_rate」の８ビットフィールドは、パーティション（分割ピクチャ）のフレームレート（フルフレームレート）を示す。「tile_partition_flag」の１ビットフィールドは、タイル方式でピクチャ分割されているか否かを示す。例えば、“１”はタイル方式でピクチャ分割されていることを示し、“０”はタイル方式でピクチャ分割されていないことを示す。「tile_base_flag」の１ビットフィールドは、タイル方式の場合で、ベースコンテナか否かを示す。例えば、“１”はベースコンテナであることを示し、“０”はベースコンテナ以外のコンテナであることを示す。
　「partition_ID」の８ビットフィールドは、パーティションのＩＤを示す。「whole_picture_size_horizontal」の１６ビットフィールドは、ピクチャ全体の水平画素数を示す。「whole_picture_size_vertical」の１６ビットフィールドは、ピクチャ全体の垂直画素数を示す。
　「partition_horizontal_start_position」の１６ビットフィールドは、パーティションの水平開始画素位置を示す。「partition_horizontal_end_position」の１６ビットフィールドは、パーティションの水平終了画素位置を示す。「partition_vertical_start_position」の１６ビットフィールドは、パーティションの垂直開始画素位置を示す。「partition_ vertical_end_position」の１６ビットフィールドは、パーティションの垂直終了画素位置を示す。これらの各フィールドは、ピクチャ全体に対するパーティションの位置情報を構成し、また、パーティションの画素数の情報を構成する。
　図４に戻って、ストレージ１０６は、コンテナエンコーダ１０５で生成された各パーティションのＭＰ４ストリームを一時的に蓄積する。なお、タイル方式で分割されている場合には、ストレージ１０６は、タイルベースのＭＰ４ストリームも蓄積する。このように蓄積されたＭＰ４ストリームのうち、送信リクエストがあったパーティションのＭＰ４ストリームがサービス受信機２００に送信される。なお、なお、タイル方式で分割されている場合には、ベースのＭＰ４ストリームも同時に送信される。
　図２５は、タイルベースのＭＰ４ストリーム（タイルベースコンテナ）に対応したＭＰＤファイルの記述例を示している。このＭＰＤファイルには、タイルベースコンテナとしての１つのＭＰ４ストリーム（トラック）に対応するアダプテーションセット（AdaptationSet）が存在する。
　アダプテーションセットにおいて、「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.Lxxx,xx,hev1.yy.yy.Lxxx,yy”>”」の記述により、ビデオストリームに対するアダプテーションセット（AdaptationSet）が存在し、そのビデオストリームはＭＰ４ファイル構造で供給され、ＨＥＶＣ符号化されたビデオストリーム（符号化画像データ）の存在が示されている。
　「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:format_type” value/>」の記述により、プロジェクション画像のフォーマットタイプが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:framerate” value/>」の記述により、ピクチャのフレームレートが示される。
　「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:tilepartitionflag” value=“1”/>」の記述により、タイル方式でピクチャ分割されていることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:tilebaseflag” value=“1”/>」の記述により、タイルベースコンテナであることが示される。
　また、アダプテーションセットにおいて、ビデオストリームに対応したリプレゼンテーション（Representation）が存在する。このリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:renderingmetadata” value=“1”/>」の記述により、レンダリングメタデータ（Rendering_metadata）の存在が示される。
　また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:projectiontype” value=“0”/>」の記述により、プロジェクション画像のフォーマットタイプがエクイレクタングラー(Equirectangular)であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:backwardcompatible” value=“1”/>」の記述により、後方互換性の設定がなされていること、つまりビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するように設定されていることが示される。
　また、このリプレゼンテーションにおいて、「width=“" height=“" frameRate=“"」、「codecs="hev1.xx.xx.Lxxx,xx"」、「level= “0”」の記述により、解像度、フレームレート、コーデックの種類が示され、さらにタグ情報としてレベル“０”が付与されることが示される。また、「<BaseURL>videostreamVR.mp4</BaseURL>」の記述により、このＭＰ４ストリームのロケーション先が、「videostreamVR.mp4」として示される。
　図２６は、各パーティションのＭＰ４ストリームに対応したＭＰＤファイルの記述例を示している。このＭＰＤファイルには、複数のＭＰ４ストリーム（トラック）のそれぞれに対応するアダプテーションセット（AdaptationSet）が存在する。なお、図示の例においては、図面の簡単化のために、アダプテーションセット（AdaptationSet）を１つだけ示している。
　このアダプテーションセットについて説明し、その他のアダプテーションセットについては同様であるので、その説明は省略する。アダプテーションセットにおいて、「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.Lxxx,xx,hev1.yy.yy.Lxxx,yy”>」の記述により、ビデオストリームに対するアダプテーションセット（AdaptationSet）が存在し、そのビデオストリームはＭＰ４ファイル構造で供給され、ＨＥＶＣ符号化されたビデオストリーム（符号化画像データ）の存在が示されている。
　「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:format_type” value/>」の記述により、プロジェクション画像のフォーマットタイプが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:framerate” value/>」の記述により、パーティションのフレームレート（フルフレームレート）が示される。
　「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:tilepartitionflag” value=“1”/>」の記述により、タイル方式でピクチャ分割されているか否かが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:tilebaseflag” value=“0”/>」の記述により、タイルベース以外のコンテナであることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionid” value=“1”/>」の記述により、パーティションＩＤが「１」であることが示される。
　「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:wholepicturesizehorizontal” value/>」の記述により、ピクチャ全体の水平画素数が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:wholepicturesizevertical” value/>」の記述により、ピクチャ全体の垂直画素数が示される。
　「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionstartpositionhorizontal” value/>」の記述により、パーティションの水平開始画素位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitiontartpositionvertical” value/>」の記述により、パーティションの水平終了画素位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionendpositionhorizontal” value/>」の記述により、パーティションの垂直開始画素位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionendpositionvertical” value/>」の記述により、パーティションの垂直終了画素位置が示される。
　また、アダプテーションセットにおいて、ビデオストリームに対応したリプレゼンテーション（Representation）が存在する。このリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:renderingmetadata” value=“1”/>」の記述により、レンダリングメタデータ（Rendering_metadata）の存在が示される。
　また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:projectiontype” value=“0”/>」の記述により、プロジェクション画像のフォーマットタイプがエクイレクタングラー(Equirectangular)であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:backwardcompatible” value=“1”/>」の記述により、後方互換性の設定がなされていること、つまりビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するように設定されていることが示される。
　また、このリプレゼンテーションにおいて、「width=“" height=“" frameRate=“"」、「codecs="hev1.xx.xx.Lxxx,xx"」、「level= “0”」の記述により、解像度、フレームレート、コーデックの種類が示され、さらにタグ情報としてレベル“０”が付与されることが示される。また、「<BaseURL>videostreamVR0.mp4</BaseURL>」の記述により、このＭＰ４ストリームのロケーション先が、「videostreamVR0.mp4」として示される。
　図２７は、各パーティションをタイルとするタイル機能を用いた符号化を行った場合におけるＭＰ４ストリーム（トラック）を概略的に示している。この場合、タイルベースの１つのＭＰ４ストリーム（タイルベースコンテナ）と、４つのパーティションのＭＰ４ストリーム（タイルコンテナ）が存在する。それぞれのＭＰ４ストリームは、同様に、各ランダムアクセス期間が、イニシャライゼーション・セグメント（ＩＳ：initialization segment）から始まり、それに、“ｓｔｙｐ”、“ｓｉｄｘ（Segment index box）”、“ｓｓｉｘ（Sub-segment index box）”、“ｍｏｏｆ（Movie fragment box）”、“ｍｄａｔ（Media data box）”のボックスが続いた構成となっている。
　イニシャライゼーション・セグメント（ＩＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。このイニシャライゼーション・セグメント（ＩＳ）に、パーティション・デスクリプタ（図２３参照）が挿入されている。また、このイニシャライゼーション・セグメント（ＩＳ）に、レンダリングメタデータ（Rendering_metadata）（図９参照）が挿入されている。タイルベースのＭＰ４ストリーム（タイルベースコンテナ）において、パーティション・デスクリプタでは「tile base flag = 1」となっている。また、第１～第４のパーティションのＭＰ４ストリーム（タイルコンテナ）において、「partition ID」は１～４となっている。
　“ｓｔｙｐ”ボックスにはセグメントタイプ情報が入る。 “ｓｉｄｘ”ボックスには、各トラック（track）のレンジ情報が入り、“ｍｏｏｆ”/“ｍｄａｔ”の位置が示され、“ｍｄａｔ”内の各サンプル（ピクチャ）の位置も示される。“ｓｓｉｘ”ボックスには、トラック（track）の区分け情報が入り、Ｉ/Ｐ/Ｂタイプの区分けがされる。
　“ｍｏｏｆ”ボックスには制御情報が入る。タイルベースのＭＰ４ストリーム（タイルベースコンテナ）のｍｄａｔ”ボックスには、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」のＮＡＬユニットとして、レンダリングメタデータ（Rendering_metadata）（図９参照）を持つＳＥＩメッセージが挿入されている。一方、各パーティションのＭＰ４ストリーム（タイルコンテナ）のｍｄａｔ”ボックスには、それぞれのパーティションの符号化画像データを持つ「ＳＬＩＣＥ」のＮＡＬユニットが配置されている。
　図２８は、各パーティションを個別に符号化した場合におけるＭＰ４ストリーム（トラック）を概略的に示している。この場合、４つのパーティションのＭＰ４ストリームが存在する。それぞれのＭＰ４ストリームは、同様に、各ランダムアクセス期間が、イニシャライゼーション・セグメント（ＩＳ：initialization segment）から始まり、それに、“ｓｔｙｐ”、“ｓｉｄｘ（Segment index box）”、“ｓｓｉｘ（Sub-segment index box）”、“ｍｏｏｆ（Movie fragment box）”、“ｍｄａｔ（Media data box）”のボックスが続いた構成となっている。
　イニシャライゼーション・セグメント（ＩＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。このイニシャライゼーション・セグメント（ＩＳ）に、パーティション・デスクリプタ（図２３参照）が挿入されている。また、このイニシャライゼーション・セグメント（ＩＳ）に、レンダリングメタデータ（Rendering_metadata）（図９参照）が挿入されている。第１～第４のパーティションのＭＰ４ストリームにおいて、「partition ID」は１～４となっている。
　“ｓｔｙｐ”ボックスにはセグメントタイプ情報が入る。 “ｓｉｄｘ”ボックスには、各トラック（track）のレンジ情報が入り、“ｍｏｏｆ”/“ｍｄａｔ”の位置が示され、“ｍｄａｔ”内の各サンプル（ピクチャ）の位置も示される。“ｓｓｉｘ”ボックスには、トラック（track）の区分け情報が入り、Ｉ/Ｐ/Ｂタイプの区分けがされる。
　“ｍｏｏｆ”ボックスには制御情報が入る。各パーティションのＭＰ４ストリームのｍｄａｔ”ボックスには、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」のＮＡＬユニットとして、レンダリングメタデータ（Rendering_metadata）（図９参照）を持つＳＥＩメッセージが挿入されている。
　図４に戻って、サービス受信機２００は、コンテナデコーダ２０３と、ビデオデコーダ２０４と、レンダラ２０５と、送信リクエスト部２０６を有している。送信リクエスト部２０６は、プロジェクション画像の各パーティションのうち表示領域に対応した所定数のパーティションのＭＰ４ストリームの送信を、サービス送信システム１００に要求する。
　この場合、送信リクエスト部２０６では、デコード能力と、プロジェクション画像の各パーティションの符号化ストリームにおける画素数およびフレームレートの情報に基づき、所定数の値が、デコード可能な最大限あるいはそれに近い値とされる。ここで、各パーティションの符号化ストリームにおける画素数およびフレームレートの情報は、サービス送信システム１００から予め受信されるＭＰＤファイル（図２５、図２６参照）より取得できる。
　「最大限の値の算出例」
　図２９は、８Ｋ/６０Ｈｚ級のプロジェクション画像を、１９２０×１０８０（Ｆｕｌｌ　ＨＤ）のパーティションサイズで分割する例を示している。この場合、パーティションの面内画素数は１９２０＊１０８０＝２０７３６００となり、画素レートは１９２０＊１０８０＊６０＝１２４４１６０００となる。この場合、パーティションのデコードに要する複雑度のレベル値は“Ｌｅｖｅｌ４．１”である。
　例えば、サービス受信機２００が４Ｋ/６０Ｈｚのデコード向けである“Ｌｅｖｅｌ５．１”のデコーダを持つ場合、面内のＬｕｍａ最大画素数は８９１２８９６となり、画素レート（毎秒処理可能な最大画素数）は５３４７７３７６０となる。そのため、この場合には、５３４７７３７６０/１２４４１６０００＝４．２９・・・となり、最大限の値は４と算出される。この場合、サービス受信機２００では最大で４個のパーティションのデコードが可能である。矢印Ｐで示す４個のパーティションは、この場合に選択される表示領域に対応したパーティションの例を示している。
　また、例えば、サービス受信機２００が４Ｋ/１２０Ｈｚのデコード向けである“Ｌｅｖｅｌ５．２”のデコーダを持つ場合、面内のＬｕｍａ最大画素数は８９１２８９６となり、画素レート（毎秒処理可能な最大画素数）は１０６９５４７５２０となる。そのため、この場合には、１０６９５４７５２０/１２４４１６０００＝８．５９・・・となり、最大限の値は８と算出される。この場合、サービス受信機２００では最大で８個のパーティションのデコードが可能である。矢印Ｑで示す８個のパーティションは、この場合に選択される表示領域に対応したパーティションの例を示している。
　図４に戻って、コンテナデコーダ２０３は、サービス送信システム１００から送られてくる表示領域に対応した所定数のパーティションのＭＰ４ストリームから各パーティションの符号化ストリームを取り出し、ビデオデコーダ２０４に送る。なお、タイル方式で分割が行われている場合には、表示領域に対応した所定数のパーティションのＭＰ４ストリームだけでなく、タイルベースのＭＰ４ストリームもサービス送信システム１００から送られてくる。そのため、コンテナデコーダ２０３は、そのタイルベースのＭＰ４ストリームに含まれるパラメータセット情報などを含む符号化ストリームもビデオデコーダ２０４に送る。
　ビデオデコーダ２０４は、表示領域に対応した所定数のパーティションの符号化ストリームにデコード処理を施して、表示領域に対応した所定数のパーティションの画像データを得る。レンダラ２０５は、このように得られた所定数のパーティションの画像データに対してレンダリング処理を施し、表示領域に対応したレンダリング画像（画像データ）を得る。
　この場合、レンダラ２０５は、ユーザの属性あるいは契約内容によって決定されたグループからユーザが所定のビューポイントグリッドを選択したとき、そのビューポイントグリッドをセンター位置とする表示用画像データを得る。ユーザは、メイン画像に重畳されるＵＩ画像（図１６、図１８、図２０参照）に基づいて、全体画像の範囲ｍ１における現在の表示範囲を認識でき、また、自分がさらに選択可能なビューポイントグリッドも認識できる。ユーザは、この認識に基づいて、任意のビューポイントグリッドを選択して、表示画像の切り替えを行うことができる。
　なお、ユーザは、任意のビューポイントグリッドを選択して表示画像の切り替えを行った後、表示画像のセンター位置をそのビューポイントグリッドの位置からずらすことも可能とされる。ユーザは、ビューポイントグリッドの選択、さらには表示画像のセンター位置のずらしを、例えば、以下のようにして行うことができる。
　図３０は、表示装置としてＨＭＤが利用される場合の一例を示している。この場合、図３０（ｂ）に示すように、ＨＭＤを装着しているユーザが首をＰ１→Ｐ２→Ｐ３のように左から右に回していくと、ＨＭＤで観察される表示領域は、図３０（ａ）に示すように、Ｐ１´→Ｐ２´→Ｐ３´のように移動していく。この場合、例えば、首を急に回した場合、つまり加速度が大きい場合には、その回転方向の次に位置するビューポイントグリッドが選択されて、表示画像が間欠的に変化していく。一方、首をゆっくり回した場合、つまり加速度が小さい場合には、表示領域はスクロール的に連続して変化していく。この場合、ビューポイントグリッドの位置と合ったこと、つまりビューポイントグリッドに同期したことをＵＩ表示してユーザに知らせることも考えられる。図示の例では、Ｐ３´の方向でビューポイントグリッドの位置と合って、同期したことを示すマーク、例えばエクスクラメーションマーク「！」が表示されることを示している。
　また、図３１は、表示装置としてＴＶなどの表示パネルが利用される場合の一例を示している。この場合、図３１（ｂ）に示すように、音声指示をＰ１→Ｐ２→Ｐ３のように変化させていくと、表示パネルに表示される表示領域は、図３１（ａ）に示すように、Ｐ１´→Ｐ２´→Ｐ３´のように移動していく。この場合は、表示領域はスクロール的に連続して変化していくが、“左側ビューポイント”、“右側ビューポイント”などの音声指示をすることで、指示方向のビューポイントグリッドが選択されて、表示画像が間欠的に変化していく。この場合、ビューポイントグリッドの位置と合ったこと、つまりビューポイントグリッドに同期したことをＵＩ表示してユーザに知らせることも考えられる。図示の例では、Ｐ３´の方向でビューポイントグリッドの位置と合って、同期したことを示すマーク、例えばエクスクラメーションマーク「！」が表示されることを示している。
　送信リクエスト部２０６は、表示領域がデコード範囲外に出ると予測された場合、当該表示領域を含むデコード範囲とするために、表示領域に対応した所定数のパーティションのＭＰ４ストリームのセットの切り替えを決定し、サービス送信システム１００に、新たなセット（配信ストリームセット）の送信を要求する。
　図３２は、表示領域の移動に伴う配信ストリームセットの切り替えの一例を示している。この例は、表示領域に対応した４個のパーティションのＭＰ４ストリームが送信（配信）される例である。表示領域が、図３２（ａ）に示す位置にあるとき、表示領域に対応したパーティションは（Ｈ０，Ｖ１）、（Ｈ１，Ｖ１）、（Ｈ０，Ｖ２）、（Ｈ１，Ｖ２）の位置の４個のパーティションとなり、これらのパーティションのＭＰ４ストリームが、例えば（１）→（２）→（５）→（６）の順に送信される。
　この場合、サービス受信機２００では、これらのパーティションのＭＰ４ストリームから符号化ストリームが取り出され、ビデオデコーダ２０４でデコードされる。すなわち、この場合のデコード範囲は、（Ｈ０，Ｖ１）、（Ｈ１，Ｖ１）、（Ｈ０，Ｖ２）、（Ｈ１，Ｖ２）の位置のパーティションとなる。
　次に、表示領域が、図３２（ｂ）に示す位置に移動するとき、表示領域に対応したパーティションは（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）の位置の４個のパーティションとなる。そのため、配信ストリームセットの切り替えが行われ、これらのパーティションのＭＰ４ストリームが、例えば（２）→（３）→（６）→（７）の順に送信される。
　この場合、サービス受信機２００では、これらのパーティションのＭＰ４ストリームから符号化ストリームが取り出され、ビデオデコーダ２０４でデコードされる。すなわち、この場合のデコード範囲は、（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）の位置のパーティションとなる。
　次に、表示領域が、図３２（ｃ）に示す位置に移動するとき、表示領域に対応したパーティションは（Ｈ２，Ｖ１）、（Ｈ３，Ｖ１）、（Ｈ２，Ｖ２）、（Ｈ３，Ｖ２）の位置の４個のパーティションとなる。そのため、配信ストリームセットの切り替えが行われ、これらのパーティションのＭＰ４ストリームが、例えば（３）→（４）→（７）→（８）の順に送信される。
　この場合、サービス受信機２００では、これらのパーティションのＭＰ４ストリームから符号化ストリームが取り出され、ビデオデコーダ２０４でデコードされる。すなわち、この場合のデコード範囲は、（Ｈ２，Ｖ１）、（Ｈ３，Ｖ１）、（Ｈ２，Ｖ２）、（Ｈ３，Ｖ２）の位置のパーティションとなる。
　図３３は、表示領域の移動に伴う配信ストリームセットの切り替えの他の一例を示している。この例は、表示領域に対応した６個のパーティションのＭＰ４ストリームが送信（配信）される例である。表示領域が、図３３（ａ）の左側に示す位置にあるとき、表示領域に対応したパーティションは（Ｈ０，Ｖ１）、（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ０，Ｖ２）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）の位置の６個のパーティションとなり、これらのパーティションのＭＰ４ストリームが、例えば（１）→（２）→（３）→（５）→（６）→（７）の順に送信される。
　この場合、サービス受信機２００では、これらのパーティションのＭＰ４ストリームから符号化ストリームが取り出され、ビデオデコーダ２０４でデコードされる。すなわち、この場合のデコード範囲は、（Ｈ０，Ｖ１）、（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ０，Ｖ２）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）の位置のパーティションとなる。
　次に、表示領域が、図３３（ａ）の右側に示す位置に移動するとき、表示領域に対応したパーティションは（Ｈ０，Ｖ１）、（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ０，Ｖ２）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）の位置の６個のパーティションのままとなる。そのため、配信ストリームセットの切り替えはなく、これらのパーティションのＭＰ４ストリームが、例えば（１）→（２）→（３）→（５）→（６）→（７）の順に送信される。
　この場合、サービス受信機２００では、これらのパーティションのＭＰ４ストリームから符号化ストリームが取り出され、ビデオデコーダ２０４でデコードされる。すなわち、この場合のデコード範囲は、（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）の位置のパーティションとなる。
　次に、表示領域が、図３３（ｂ）に示す位置に移動するとき、表示領域に対応したパーティションは（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ３，Ｖ１）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）、（Ｈ３，Ｖ２）の位置の６個のパーティションとなる。そのため、配信ストリームセットの切り替えが行われ、これらのパーティションのＭＰ４ストリームが、例えば（２）→（３）→（４）→（６）→（７）→（８）の順に送信される。
　この場合、サービス受信機２００では、これらのパーティションのＭＰ４ストリームから符号化ストリームが取り出され、ビデオデコーダ２０４でデコードされる。すなわち、この場合のデコード範囲は、（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ３，Ｖ１）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）、（Ｈ３，Ｖ２）の位置のパーティションとなる。
　上述の図３２および図３３の例から明らかなように、表示領域に対応したパーティションの数を多くする程、表示領域の変化に伴った配信ストリームセットの切り替えの頻度が少なくなることがわかる。配信ストリームセットの切り替えがあると、送信要求をして、新たなセットのＭＰ４ストリームの送信を受けることが必要となり、デコード処理が完了して表示が開始されるまでのタイムラグが発生し、ＶＲ再生における表示性能が劣化する。
　この実施の形態では、表示領域に対応したパーティションの数を、サービス受信機２００のデコード可能な最大限あるいはそれに近い値とされるので、表示領域の移動に伴う配信ストリームセットの切り替え頻度を低く抑えることができ、ＶＲ再生における表示性能を改善できる。
　「サービス送信システムの構成例」
　図３４は、サービス送信システム１００の構成例を示している。このサービス送信システム１００は、制御部１０１と、ユーザ操作部１０１ａと、３６０°画キャプチャ部１０２と、平面パッキング部１０３と、ビデオエンコーダ１０４と、コンテナエンコーダ１０５と、ストレージ１０６を備える通信部１０７を有している。
　制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス送信システム１００の各部の動作を制御する。ユーザ操作部１０１ａは、ユーザが種々の操作を行うためのキーボード、マウス、タッチパネル、リモコンなどである。
　３６０°画キャプチャ部１０２は、所定数のカメラで被写体を撮像して、球面キャプチャ画像（３６０°ＶＲ画像）の画像データを得る。例えば、３６０°画キャプチャ部１０２は、バック・ツー・バック（Back to Back）方式で撮像を行って、球面キャプチャ画像として、それぞれ魚眼レンズを用いて撮像された１８０°以上の視野角を持つ、超広視野角の前面画像および後面画像を得る（図５（ａ）参照）。
　平面パッキング部１０３は、３６０°画キャプチャ部１０２で得られた球面キャプチャ画像の一部または全部を切り取って平面パッキングして長方形のプロジェクション画像（Projection picture）を得る（図５（ｂ）参照）。この場合、プロジェクション画像のフォーマットタイプとしては、例えば、エクイレクタングラー(Equirectangular)、クロスキュービック（Cross-cubic）などが選択される。なお、平面パッキング部では、プロジェクション画像に必要に応じてスケーリングを施し、所定の解像度のプロジェクション画像を得る（図５（ｃ）参照）。
　ビデオエンコーダ１０４は、平面パッキング部１０３からのプロジェクション画像の画像データに対して、例えば、ＭＰＥＧ４－ＡＶＣあるいはＨＥＶＣなどの符号化を施して符号化画像データを得、この符号化画像データを含む符号化ストリームを生成する。この場合、ビデオエンコーダ１０４は、プロジェクション画像を複数のパーティション（分割領域）に分割し、各パーティションに対応した符号化ストリームを得る。符号化ストリームのＳＰＳ　ＮＡＬユニットには、切り出し位置情報が挿入されている（図６の「conformance_window」の情報参照）。
　ここで、ビデオエンコーダ１０４は、プロジェクション画像の各パーティションに対応した符号化ストリームを得るために、例えば、各パーティションを個別に符号化するか、あるいはプロジェクション画像の全体を一括して符号化するが、各パーティションをタイルとするタイル機能を用いた符号化をする。これにより、受信側では、各パーティションに対応した符号化ストリームを独立してデコードすることが可能となる。
　また、ビデオエンコーダ１０４は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、レンダリングメタデータ（レンダリング用メタ情報）を持つＳＥＩメッセージ（SEI message）を挿入する。レンダリング用メタ情報には、球面キャプチャ画像を平面パッキングする場合の切り取り範囲の情報、プロジェクション画像の元のサイズからのスケーリング比の情報、プロジェクション画像のフォーマットタイプの情報、切り出し位置の中心Ｏ(p,q)をプロジェクション画像の基準点ＲＰ(x,y)と一致させるという後方互換性の設定がなされているかどうかを示す情報などが挿入されている（図９参照）。
　また、このレンダリング用メタ情報には、グループ分けされた所定数のビューポイントグリッドの情報が含まれている（図１２参照）。このビューポイントグリッドの情報には、アジマス角度（方位情報）とエレベーション角度（仰角情報）の情報が含まれている。
　コンテナエンコーダ１０５は、ビデオエンコーダ１０４で生成された符号化ストリームを含むコンテナ、ここではＭＰ４ストリームを、配信ストリームとして生成する。この場合、各パーティションに対応した符号化ストリームをそれぞれ含む複数のＭＰ４ストリームが生成される（図２７、図２８参照）。この場合、コンテナエンコーダ１０５は、コンテナのレイヤに、レンダリングメタデータ（図９参照）を挿入する。
　ここで、コンテナエンコーダ１０５は、各パーティションをタイルとするタイル機能を用いた符号化を行っている場合、各パーティションに対応した符号化ストリームをそれぞれ含む複数のＭＰ４ストリームの他に、サブレイヤ情報等を含むＳＰＳなどのパラメータセットを含むベース（base）のＭＰ４（ベースコンテナ）を生成する（図２７参照）。
　また、コンテナエンコーダ１０５は、コンテナのレイヤ、具体的には、ＭＰ４のイニシャライゼーション・セグメント（ＩＳ）に、パーティション・デスクリプタ（図２３参照）を挿入する。このパーティション・デスクリプタには、パーティションの画素数およびフレームレートの情報などが含まれている。
　通信部１０７が備えるストレージ１０６は、コンテナエンコーダ１０５で生成された各パーティションのＭＰ４ストリームを蓄積する。なお、タイル方式で分割されている場合には、ストレージ１０６は、タイルベースのＭＰ４ストリームも蓄積する。また、このストレージ１０６は、例えばコンテナデコーダ１０５で生成されるＭＰＤファイル（図２５、図２６参照）も蓄積する。
　通信部１０７は、サービス受信機２００からの配信要求リクエストを受信し、それに対応してサービス受信機２００にＭＰＤファイルを送信する。サービス受信機２００は、このＭＰＤファイルにより、配信ストリームの構成を認識する。
　また、通信部１０７は、サービス受信機２００からの表示領域に対応した所定数のパーティションに対応したＭＰ４ストリームの配信要求（送信要求）を受信し、そのＭＰ４ストリームをサービス受信機２００に送信する。例えば、サービス受信機２００からの配信要求においては、パーティションＩＤによって、必要とするパーティションが指定される。
　「サービス受信機の構成例」
　図３５は、サービス受信機２００の構成例を示している。このサービス受信機２００は、制御部２０１と、ＵＩ部２０１ａと、センサ部２０１ｂと、通信部２０２と、コンテナデコーダ２０３と、ビデオデコーダ２０４と、レンダラ２０５と、表示部２０７を有している。
　制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス受信機２００の各部の動作を制御する。ＵＩ部２０１ａは、ユーザインタフェースを行うためものであり、例えば、表示領域の移動をユーザが操作するためのポインティングデバイスや、ユーザが音声で表示領域の移動を指示するために音声入力するためのマイクロホン等もこれに含まれる。センサ部２０１ｂは、ユーザ状態や環境の情報を取得するための種々のセンサを備えるものであり、例えば、ＨＭＤ（Head Mounted Display）に搭載されている姿勢検出センサなどもこれに含まれる。
　通信部２０２は、制御部２０１の制御のもと、配信要求リクエストをサービス送信システム１００に送信し、それに対応してサービス送信システム１００からＭＰＤファイル（図２５、図２６参照）を受信する。通信部２０２は、このＭＰＤファイルを制御部２０１に送る。これにより、制御部２０１は、配信ストリームの構成を認識する。
　また、通信部２０２は、制御部２０１の制御のもと、表示領域に対応した所定数のパーティションに対応したＭＰ４ストリームの配信要求（送信要求）をサービス送信システム１００に送信し、それに対応してサービス送信システム１００から所定数のパーティションに対応したＭＰ４ストリームを受信する。
　ここで、制御部１０１は、ＨＭＤ搭載のジャイロセンサ等で得られる動きの方向と量の情報に基づいて、あるいはユーザ操作によるポインティング情報あるいはユーザの音声ＵＩ情報に基づいて、表示領域の移動の方向や速度、さらにはビューポイントグリッドの切り替えの情報を得て、表示領域に対応した所定数のパーティションを選択する。この場合、制御部１０１は、デコード能力と、ＭＰＤファイルから認識された各パーティションの符号化ストリームにおける画素数およびフレームレートの情報に基づき、所定数の値を、デコード可能な最大限あるいはそれに近い値に設定する。図４に示す送信リクエスト部２０６は、制御部１０１により構成されている。
　また、制御部２０１は、ユーザ識別の機能を備えている。制御部２０１は、ユーザの属性（年齢、性別、興味、習熟度、ログイン情報など）あるいは契約内容に基づいて、いかなるユーザかを識別し、当該ユーザが利用可能なビューポイントグリッドのグループを決定する。そして、制御部２０１は、レンダラ２０５をユーザが利用可能なグループのビューポイントグリッドを利用する状態とする。
　なお、図示の例においては、レンダラ２０５と表示部２０７を１系統だけ有するものであるが、例えば、ゲーム機等を想定すると、レンダラ２０５と表示部２０７を複数系統有し、複数のユーザがそれぞれ独立した表示画像を見ることができるものも考えられる。その場合には、複数のユーザに関してそれぞれ上述したと同様のユーザ識別を行って、それぞれの系統のレンダラ２０５をそれぞれのユーザが利用可能なグループのビューポイントグリッドを利用し得るように制御することも可能である。
　コンテナデコーダ２０３は、通信部２０２で受信された表示領域に対応した所定数のパーティションのＭＰ４ストリームから、“ｍｏｏｆ”ブロックの情報などに基づいて、各パーティションの符号化ストリームを取り出し、ビデオデコーダ２０４に送る。なお、タイル方式で分割が行われている場合には、表示領域に対応した所定数のパーティションのＭＰ４ストリームだけでなく、タイルベースのＭＰ４ストリームも通信部２０２で受信されるため、そのタイルベースのＭＰ４ストリームに含まれるパラメータセット情報などを含む符号化ストリームもビデオデコーダ２０４に送る。
　また、コンテナデコーダ２０３は、各ＭＰ４ストリームのイニシャライゼーション・セグメント（ＩＳ）に挿入されているパーティション・デスクリプタ（図２３参照）を取り出し、制御部２０１に送る。制御部２０１は、このデスクリプタから、各パーティションにおける画素数およびフレームレートの情報を取得する。また、コンテナデコーダ２０３は、各ＭＰ４ストリームから“ｍｏｏｖ”ブロックの情報などを取り出し、制御部２０１に送る。“ｍｏｏｖ”ブロックの情報の一つとしてレンダリングメタデータ（図９参照）が存在し、制御部２０１はグループ分けされたビューポイントグリッドの情報などを取得する。
　ビデオデコーダ２０４は、コンテナデコーダ２０３から供給される表示領域に対応した所定数のパーティションの符号化ストリームにデコード処理を施して画像データを得る。また、ビデオデコーダ２０４は、コンテナデコーダ２０３で取り出されたビデオストリームに挿入されているパラメータセットやＳＥＩメッセージを抽出し、制御部２０１に送る。この抽出情報には、ＳＰＳ　ＮＡＬパケットに挿入されている切り出し位置「conformance_window」の情報、さらにはレンダリングメタデータ（図９参照）を持つＳＥＩメッセージも含まれる。
　レンダラ２０５は、ビデオデコーダ２０４で得られた所定数のパーティションの画像データに対してレンダリング処理を施し、表示領域に対応したレンダリング画像（画像データ）を得る。この場合、レンダラ２０５は、ユーザの属性あるいは契約内容によって決定されたグループからユーザが所定のビューポイントグリッドを選択したとき、そのビューポイントグリッドをセンター位置とする表示用画像データを得る。
　ユーザは、メイン画像に重畳されるＵＩ画像（図１６、図１８、図２０参照）に基づいて、全体画像の範囲ｍ１における現在の表示範囲を認識でき、また、自分がさらに選択可能なビューポイントグリッドも認識できる。ユーザは、この認識に基づいて、任意のビューポイントグリッドを選択して、表示画像の切り替えを行うことができる（図３０、図３１参照）。表示部２０７は、レンダラ２０５で得られたレンダリング画像（画像データ）を表示する。この表示部２０７は、例えば、ＨＭＤ（Head Mounted Display）や表示パネルなどで構成される。制御部２０１から表示部２０７には、上述したように、ビューポイントグリッドの位置に同期したことをマーク表示等でユーザに知らせるために（図３０、図３１参照）、グリッド位置同期通知情報も与えられる。なお、ユーザへの通知は、音で行うことも考えられる。
　上述したように、図３に示す送受信システム１０において、サービス送信システム１００は、広視野角画像の画像データを符号化して得られた符号化ストリームと共に、グループ分けされた所定数のビューポイントグリッドの情報を含むレンダリング用メタ情報を送信するものである。そのため、サービス受信機２００では、符号化ストリームを復号化して得られた広視野角画像の画像データをレンダリング用メタ情報に基づいて処理して表示用画像データを得ることができ、用途別あるいはユーザ別に、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示することが可能となる。
　＜２．変形例＞
　「ＭＰＥＧ－２　ＴＳ、ＭＭＴへの適用」
　なお、上述実施の形態においては、コンテナがＭＰ４（ＩＳＯＢＭＦＦ）である例を示した。しかし、本技術は、コンテナがＭＰ４に限定されるものではなく、ＭＰＥＧ－２　ＴＳやＭＭＴなどの他のフォーマットのコンテナであっても同様に適用し得る。
　例えば、ＭＰＥＧ－２　ＴＳの場合には、図４に示すサービス送信システム１００のコンテナエンコーダ１０５では、プロジェクション画像の各パーティションの符号化ストリームを含むトランスポートストリーム（Transport Stream）が生成される。
　図３６は、ビデオ符号化がタイル対応の場合におけるトランスポートストリームの構成例を示している。この構成例では、ＰＩＤ０で識別されるタイルベースの符号化ストリームのＰＥＳパケット「video PES0」が存在する。このＰＥＳパケット「video PES0」のペイロードには、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」にはレンダリングメタデータ（図９参照）を持つＳＥＩメッセージが挿入されている。
　また、ＰＩＤ１～ＰＩＤ４で識別される第１～第４のパーティション（タイル）の符号化ストリームのＰＥＳパケット「video PES1」～「video PES4」が存在する。これらのＰＥＳパケットのペイロードには、「ＡＵＤ」、「ＳＬＩＣＥ」のＮＡＬユニットが配置されている。
　また、ＰＭＴに、ＰＥＳパケット「video PES0」～「video PES4」に対応したビデオエレメンタリストリームループ（video ES loop）が存在する。各ループには、符号化ストリームに対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、その符号化ストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、ビデオストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、パーティション・デスクリプタ（図２３参照）と、レンダリングメタデータ（図９参照）を含むレンダリング・メタデータ・デスクリプタが挿入されている。
　なお、ビデオ符号化がパーティション毎に独立ストリームに符号化される場合におけるトランスポートストリームの構成例については、図示は省略するが、同様の構成となる。この場合、タイルベースの符号化ストリームのＰＥＳパケット「video PES0」に対応する部分がなく、また、第１～第４のパーティションの符号化ストリームのＰＥＳパケット「video PES1」～「video PES4」のペイロードには、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」のＮＡＬユニットが配置されたものとなる。
　また、例えば、ＭＭＴの場合には、図４に示すサービス送信システム１００のコンテナエンコーダ１０４では、ビデオストリームを含むＭＭＴストリーム（MMT Stream）が生成される。
　図３７は、ビデオ符号化がタイル対応の場合におけるＭＭＴストリームの構成例を示している。この構成例では、ＩＤ０で識別されるタイルベースの符号化ストリームのＭＰＵパケット「video MPU0」が存在する。このＭＰＵパケット「video MPU0」のペイロードには、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」にはレンダリングメタデータ（図９参照）を持つＳＥＩメッセージが挿入されている。
　また、ＩＤ１～ＩＤ４で識別される第１～第４のパーティション（タイル）の符号化ストリームのＭＰＵパケット「video MPU1」～「video MPU4」が存在する。これらのＭＰＵパケットのペイロードには、「ＡＵＤ」、「ＳＬＩＣＥ」のＮＡＬユニットが配置されている。
　また、ＭＰＴに、ＭＰＵパケット「video MPU0」～「video MPU4」に対応したビデオアセットループ（video asset loop）が存在する。各ループには、符号化ストリームに対応して、アセットタイプ、アセット識別子（ID）等の情報が配置されると共に、その符号化ストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、ビデオストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、パーティション・デスクリプタ（図２３参照）と、レンダリングメタデータ（図９参照）を含むレンダリング・メタデータ・デスクリプタが挿入されている。
　なお、ビデオ符号化がパーティション毎に独立ストリームに符号化される場合におけるＭＭＴストリームの構成例については、図示は省略するが、同様の構成となる。この場合、タイルベースの符号化ストリームのＭＰＵパケット「video MPU0」に対応する部分がなく、また、第１～第４のパーティションの符号化ストリームのＭＰＵパケット「video MPU1」～「video MPU4」のペイロードには、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」のＮＡＬユニットが配置されたものとなる。
　また、上述実施の形態においては、ビデオ符号化がタイル対応の場合に、タイルストリームをマルチストリーム構成とする例を示したが、このタイルストリームをシングルストリーム構成とすることも考えられる。
　図３８は、タイルストリームをシングルストリーム構成とする場合におけるＭＰＤファイルの記述例を示している。このＭＰＤファイルには、タイルストリームに対応したＭＰ４ストリーム（トラック）に対応するアダプテーションセット（AdaptationSet）が存在する。
　アダプテーションセットにおいて、「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.Lxxx,xx,hev1.yy.yy.Lxxx,yy”>」の記述により、ビデオストリームに対するアダプテーションセット（AdaptationSet）が存在し、そのビデオストリームはＭＰ４ファイル構造で供給され、ＨＥＶＣ符号化されたビデオストリーム（符号化画像データ）の存在が示されている。
　「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:format_type” value/>」の記述により、プロジェクション画像のフォーマットタイプが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:framerate” value/>」の記述により、ピクチャのフレームレート（フルフレームレート）が示される。
　「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:tilepartitionflag” value=“1”/>」の記述により、タイル方式でピクチャ分割されているか否かが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:tilebaseflag” value=“0”/>」の記述により、タイルベース以外のコンテナであることが示される。
　「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:wholepicturesizehorizontal” value/>」の記述により、ピクチャ全体の水平画素数が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:wholepicturesizevertical” value/>」の記述により、ピクチャ全体の垂直画素数が示される。
　「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionid” value/>」の記述により、パーティションＩＤが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionstartpositionhorizontal” value/>」の記述により、パーティションの水平開始画素位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitiontartpositionvertical” value/>」の記述により、パーティションの水平終了画素位置が示される。
　「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionendpositionhorizontal” value/>」の記述により、パーティションの垂直開始画素位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionendpositionvertical” value/>」の記述により、パーティションの垂直終了画素位置が示される。また、上述のパーティションＩＤからサブレイヤのフレームレートまでの記述が、タイル符号化におけるパーティションの数だけ繰り返される。
　また、アダプテーションセットにおいて、ビデオストリームに対応したリプレゼンテーション（Representation）が存在する。このリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:renderingmetadata” value=“1”/>」の記述により、レンダリングメタデータ（Rendering_metadata）の存在が示される。
　また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:projectiontype” value=“0”/>」の記述により、プロジェクション画像のフォーマットタイプがエクイレクタングラー(Equirectangular)であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:backwardcompatible” value=“1”/>」の記述により、後方互換性の設定がなされていること、つまりビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するように設定されていることが示される。
　また、このリプレゼンテーションにおいて、「width=“" height=“" frameRate=“"」、「codecs="hev1.xx.xx.Lxxx,xx"」、「level= “0”」の記述により、解像度、フレームレート、コーデックの種類が示され、さらにタグ情報としてレベル“０”が付与されることが示される。また、「<BaseURL>videostreamVR.mp4</BaseURL>」の記述により、このＭＰ４ストリームのロケーション先が、「videostreamVR0.mp4」として示される。
　図３９は、タイルストリームをシングルストリーム構成とする場合におけるＭＰ４ストリーム（トラック）を概略的に示している。この場合、タイルストリームに対応した１つのＭＰ４ストリームが存在する。このＭＰ４ストリームは、同様に、各ランダムアクセス期間が、イニシャライゼーション・セグメント（ＩＳ：initialization segment）から始まり、それに、“ｓｔｙｐ”、“ｓｉｄｘ（Segment index box）”、“ｓｓｉｘ（Sub-segment index box）”、“ｍｏｏｆ（Movie fragment box）”、“ｍｄａｔ（Media data box）”のボックスが続いた構成となっている。
　イニシャライゼーション・セグメント（ＩＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。このイニシャライゼーション・セグメント（ＩＳ）に、パーティション・デスクリプタ（図２３参照）およびレンダリング・メタデータ（図９参照）が挿入されている。なお、この場合のパーティション・デスクリプタは、タイル符号化における全てのパーティション（タイル）の情報を含むものとなる。ｍｄａｔ”ボックスには、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」のＮＡＬユニットとして、レンダリングメタデータ（Rendering_metadata）（図９参照）を持つＳＥＩメッセージが挿入されている。
　図４０は、タイルストリームをシングルストリーム構成とする場合におけるトランスポートストリームの構成例を示している。この構成例では、ＰＩＤ１で識別されるタイルストリームのＰＥＳパケット「video PES1」が存在する。このＰＥＳパケット「video PES1」のペイロードには、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」にはレンダリングメタデータ（図９参照）を持つＳＥＩメッセージが挿入されている。
　また、ＰＭＴに、ＰＥＳパケット「video PES1」に対応したビデオエレメンタリストリームループ（video ES1 loop）が存在する。このループには、タイルストリームに対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのタイルストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、ビデオストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、パーティション・デスクリプタ（図２３参照）と、レンダリングメタデータ（図９参照）を含むレンダリング・メタデータ・デスクリプタが挿入されている。なお、この場合のパーティション・デスクリプタは、タイル符号化における全てのパーティション（タイル）の情報を含むものとなる。
　図４１は、タイルストリームをシングルストリーム構成とする場合におけるＭＭＴストリームの構成例を示している。この構成例では、ＩＤ１で識別されるタイルストリームのＭＰＵパケット「video MPU1」が存在する。このＭＰＵパケット「video MPU1」のペイロードには、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」にはレンダリングメタデータ（図９参照）を持つＳＥＩメッセージが挿入されている。
　また、ＭＰＴに、ＭＰＵパケット「video MPU1」に対応したビデオアセットループ（video asset1 loop）が存在する。このループには、タイルストリームに対応して、アセットタイプ、アセット識別子（ID）等の情報が配置されると共に、そのタイルストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、ビデオストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、パーティション・デスクリプタ（図２３参照）と、レンダリングメタデータ（図９参照）を含むレンダリング・メタデータ・デスクリプタが挿入されている。なお、この場合のパーティション・デスクリプタは、タイル符号化における全てのパーティション（タイル）の情報を含むものとなる。
　また、上述実施の形態においては、コンテナがＭＰ４である場合に、符号化ビデオの「ＳＬＩＣＥ」をコンテナするトラックでパーティション・デスクリプタおよびレンダリングメタデータをコンテナする例を示した（図２７、図２８、図３９参照）。しかし、図４２、図４３、図４４に示すように、符号化ビデオの「ＳＬＩＣＥ」をコンテナするトラック「track1A, 2A, 3A, 4A」に対して、パーティション・デスクリプタおよびレンダリングメタデータを別のトラック「track 1B, 2B, 3B, 4B」の“ｍｄａｔ”でコンテナする構成も考えられる。
　図４２、図４３、図４４に示すような構成とすることで、サンプル（Sample）毎に関連するピクチャとの時間的な同期が確保される。この場合、各々のパーティション・デスクリプタおよびレンダリングメタデータを含むトラックは、自身のイニシャライゼーション・セグメント（ＩＳ）内の“ｔｒｅｆ”により、符号化ビデオが含まれるトラックの参照ターゲットを明示する。
　また、上述実施の形態においては、サービス送信システム１００とサービス受信機２００からなる送受信システム１０の例を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、サービス受信機２００の部分が、例えばＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびディスプレイとされる場合も考えられる。なお、「ＨＤＭＩ」は登録商標である。
　また、本技術は、以下のような構成を取ることもできる。
　（１）広視野角画像の画像データを符号化して得られた符号化ストリームを送信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を送信する送信部を備える
　送信装置。
　（２）上記広視野角画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたプロジェクション画像である
　前記（１）に記載の送信装置。
　（３）上記ビューポイントの情報は、該ビューポイントの位置を示すアジマス角度およびエレベーション角度の情報を持つ
　前記（１）または（２）に記載の送信装置。
　（４）上記送信部は、上記レンダリング用メタ情報を、上記符号化ストリームのレイヤおよび/または該符号化ストリームを含むコンテナのレイヤに挿入して送信する
　前記（１）から（３）のいずれかに記載の送信装置。
　（５）上記送信部は、上記符号化ストリームに関するメタ情報を持つメタファイルをさらに送信し、
　上記メタファイルに、上記符号化ストリームおよび/または上記コンテナのレイヤに上記レンダリング用メタ情報の挿入があることを示す識別情報が含まれる
　前記（４）に記載の送信装置。
　（６）上記コンテナは、ＩＳＯＢＭＦＦであり、
　上記送信部は、上記レンダリング用メタ情報を、ｍｏｏｖボックスに挿入して送信する
　前記（４）に記載の送信装置。
　（７）上記コンテナは、ＩＳＯＢＭＦＦであり、
　上記送信部は、上記レンダリング用メタ情報を、上記広視野角画像の画像データを符号化して得られた符号化ストリームを含むトラックとは別のトラックで送信する
　前記（４）に記載の送信装置。
　（８）上記コンテナは、ＭＰＥＧ２－ＴＳであり、
　上記送信部は、上記レンダリング用メタ情報を、プログラム・マップ・テーブルに挿入して送信する
　前記（４）に記載の送信装置。
　（９）上記コンテナは、ＭＭＴストリームであり、
　上記送信部は、上記レンダリング用メタ情報を、ＭＭＴ・パッケージ・テーブルに挿入して送信する
　前記（４）に記載の送信装置。
　（１０）上記広視野角画像の画像データを符号化して得られた符号化ストリームは、上記広視野角画像を分割して得られた各分割領域に対応した符号化ストリームである
　前記（１）から（９）のいずれかに記載の送信装置。
　（１１）上記各分割領域の符号化ストリームは、上記広視野角画像の各分割領域を個別に符号化することで得られる
　前記（１０）に記載の送信装置。
　（１２）上記各分割領域の符号化ストリームは、上記広視野角画像の各分割領域をタイルとするタイル機能を用いた符号化を行うことで得られる
　前記（１０）に記載の送信装置。
　（１３）上記ビューポイントの情報は、該ビューポイントが位置する分割領域の情報を含む
　前記（１０）から（１２）のいずれかに記載の送信装置。
　（１４）送信部が、広視野角画像の画像データを符号化して得られた符号化ストリームを送信すると共に、グループ分けして登録された所定数のビューポイントの情報を送信するステップを有する
　送信方法。
　（１５）広視野角画像の画像データを符号化して得られた符号化ストリームを受信すると共に、グループ分けして登録された所定数のビューポイントの情報を受信する受信部と、
　上記符号化ストリームを復号化した得られた上記広視野角画像の画像データを上記ビューポイントの情報に基づいて処理して表示用画像データを得る処理部を備える
　受信装置。
　（１６）上記処理部は、ユーザの属性あるいは契約内容によって決定されたグループのビューポイントの情報を用いる
　前記（１５）に記載の受信装置。
　（１７）上記処理部は、ユーザ操作で選択されたビューポイントの情報で示される位置をセンター位置とする表示用画像データを得る
　前記（１６）に記載の受信装置。
　（１８）上記受信部は、上記広視野角画像の画像データを符号化して得られた符号化ストリームとして、上記広視野角画像を分割して得られた各分割領域に対応した符号化ストリームを受信し、
　上記処理部は、各分割領域に対応した符号化ストリームのうち上記表示用画像データを得るために用いる所定数の分割領域の符号化ストリームを復号化する
　前記（１５）から（１７）のいずれかに記載の受信装置。
　（１９）上記受信部は、上記所定数の分割領域の符号化ストリームの送信を配信サーバに要求し、該配信サーバから該所定数の分割領域の符号化ストリームを受信する
　前記（１８）に記載の受信装置。
　（２０）受信部が、広視野角画像の画像データを符号化して得られた符号化ストリームを受信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を受信する受信ステップと、
　処理部が、上記符号化ストリームを復号化した得られた上記広視野角画像の画像データを上記レンダリング用メタ情報に基づいて処理して表示用画像データを得る処理ステップを有する
　受信方法。
　本技術の主な特徴は、広視野角画像の画像データを符号化して得られた符号化ストリームと共に、グループ分けされた所定数のビューポイントグリッドの情報を含むレンダリング用メタ情報を送信することで、用途別あるいはユーザ別に、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示することが可能としたことである（図１２、図１５－図２０参照）。
　１０・・・送受信システム
　１００・・・サービス送信システム
　１０１・・・制御部
　１０１ａ・・・ユーザ操作部
　１０２・・・３６０°画キャプチャ部
　１０３・・・平面パッキング部
　１０４・・・ビデオエンコーダ
　１０５・・・コンテナエンコーダ
　１０６・・・ストレージ
　１０７・・・通信部
　２００・・・サービス受信機
　２０１・・・制御部
　２０１ａ・・・ＵＩ部
　２０１ｂ・・・センサ部
　２０２・・・通信部
　２０３・・・コンテナデコーダ
　２０４・・・ビデオデコーダ
　２０５・・・レンダラ
　２０６・・・送信リクエスト部
　２０７・・・表示部

Claims (20)

  1. 　広視野角画像の画像データを符号化して得られた符号化ストリームを送信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を送信する送信部を備える
    　送信装置。
  2. 　上記広視野角画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたプロジェクション画像である
    　請求項１に記載の送信装置。
  3. 　上記ビューポイントの情報は、該ビューポイントの位置を示すアジマス角度およびエレベーション角度の情報を持つ
    　請求項１に記載の送信装置。
  4. 　上記送信部は、上記レンダリング用メタ情報を、上記符号化ストリームのレイヤおよび/または該符号化ストリームを含むコンテナのレイヤに挿入して送信する
    　請求項１に記載の送信装置。
  5. 　上記送信部は、上記符号化ストリームに関するメタ情報を持つメタファイルをさらに送信し、
    　上記メタファイルに、上記符号化ストリームおよび/または上記コンテナのレイヤに上記レンダリング用メタ情報の挿入があることを示す識別情報が含まれる
    　請求項４に記載の送信装置。
  6. 　上記コンテナは、ＩＳＯＢＭＦＦであり、
    　上記送信部は、上記レンダリング用メタ情報を、ｍｏｏｖボックスに挿入して送信する
    　請求項４に記載の送信装置。
  7. 　上記コンテナは、ＩＳＯＢＭＦＦであり、
    　上記送信部は、上記レンダリング用メタ情報を、上記広視野角画像の画像データを符号化して得られた符号化ストリームを含むトラックとは別のトラックで送信する
    　請求項４に記載の送信装置。
  8. 　上記コンテナは、ＭＰＥＧ２－ＴＳであり、
    　上記送信部は、上記レンダリング用メタ情報を、プログラム・マップ・テーブルに挿入して送信する
    　請求項４に記載の送信装置。
  9. 　上記コンテナは、ＭＭＴストリームであり、
    　上記送信部は、上記レンダリング用メタ情報を、ＭＭＴ・パッケージ・テーブルに挿入して送信する
    　請求項４に記載の送信装置。
  10. 　上記広視野角画像の画像データを符号化して得られた符号化ストリームは、上記広視野角画像を分割して得られた各分割領域に対応した符号化ストリームである
    　請求項１に記載の送信装置。
  11. 　上記各分割領域の符号化ストリームは、上記広視野角画像の各分割領域を個別に符号化することで得られる
    　請求項１０に記載の送信装置。
  12. 　上記各分割領域の符号化ストリームは、上記広視野角画像の各分割領域をタイルとするタイル機能を用いた符号化を行うことで得られる
    　請求項１０に記載の送信装置。
  13. 　上記ビューポイントの情報は、該ビューポイントが位置する分割領域の情報を含む
    　請求項１０に記載の送信装置。
  14. 　送信部が、広視野角画像の画像データを符号化して得られた符号化ストリームを送信すると共に、グループ分けして登録された所定数のビューポイントの情報を送信するステップを有する
    　送信方法。
  15. 　広視野角画像の画像データを符号化して得られた符号化ストリームを受信すると共に、グループ分けして登録された所定数のビューポイントの情報を受信する受信部と、
    　上記符号化ストリームを復号化した得られた上記広視野角画像の画像データを上記ビューポイントの情報に基づいて処理して表示用画像データを得る処理部を備える
    　受信装置。
  16. 　上記処理部は、ユーザの属性あるいは契約内容によって決定されたグループのビューポイントの情報を用いる
    　請求項１５に記載の受信装置。
  17. 　上記処理部は、ユーザ操作で選択されたビューポイントの情報で示される位置をセンター位置とする表示用画像データを得る
    　請求項１６に記載の受信装置。
  18. 　上記受信部は、上記広視野角画像の画像データを符号化して得られた符号化ストリームとして、上記広視野角画像を分割して得られた各分割領域に対応した符号化ストリームを受信し、
    　上記処理部は、各分割領域に対応した符号化ストリームのうち上記表示用画像データを得るために用いる所定数の分割領域の符号化ストリームを復号化する
    　請求項１５に記載の受信装置。
  19. 　上記受信部は、上記所定数の分割領域の符号化ストリームの送信を配信サーバに要求し、該配信サーバから該所定数の分割領域の符号化ストリームを受信する
    　請求項１８に記載の受信装置。
  20. 　受信部が、広視野角画像の画像データを符号化して得られた符号化ストリームを受信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を受信する受信ステップと、
    　処理部が、上記符号化ストリームを復号化した得られた上記広視野角画像の画像データを上記レンダリング用メタ情報に基づいて処理して表示用画像データを得る処理ステップを有する
    　受信方法。
PCT/JP2019/000591 2018-01-12 2019-01-10 送信装置、送信方法、受信装置および受信方法 Ceased WO2019139099A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980007260.2A CN111557096A (zh) 2018-01-12 2019-01-10 发送装置、发送方法、接收装置和接收方法
JP2019564745A JPWO2019139099A1 (ja) 2018-01-12 2019-01-10 送信装置、送信方法、受信装置および受信方法
EP19738277.3A EP3739889A4 (en) 2018-01-12 2019-01-10 TRANSMISSION DEVICE, TRANSMISSION PROCESS, RECEIVING DEVICE AND RECEPTION PROCESS
US16/959,558 US20210084346A1 (en) 2018-01-12 2019-01-10 Transmission device, transmission method, reception device and reception method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018003860 2018-01-12
JP2018-003860 2018-01-12

Publications (1)

Publication Number Publication Date
WO2019139099A1 true WO2019139099A1 (ja) 2019-07-18

Family

ID=67219567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000591 Ceased WO2019139099A1 (ja) 2018-01-12 2019-01-10 送信装置、送信方法、受信装置および受信方法

Country Status (5)

Country Link
US (1) US20210084346A1 (ja)
EP (1) EP3739889A4 (ja)
JP (1) JPWO2019139099A1 (ja)
CN (1) CN111557096A (ja)
WO (1) WO2019139099A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021506189A (ja) * 2018-07-13 2021-02-18 エルジー エレクトロニクス インコーポレイティド 動的ビューポイントの座標系に関するメタデータを送受信する方法及び装置
JPWO2021177044A1 (ja) * 2020-03-04 2021-09-10

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401453B2 (ja) * 2018-04-05 2023-12-19 ヴィド スケール インコーポレイテッド 全方位ビデオに対する視点メタデータ
EP4162695A4 (en) * 2020-06-09 2023-08-02 Telefonaktiebolaget LM ERICSSON (PUBL) Providing semantic information with encoded image data
CN116157731B (zh) * 2020-07-30 2026-01-02 富士胶片株式会社 摄像系统、摄像系统的动作方法及存储介质
EP4264409A1 (en) * 2020-12-15 2023-10-25 Mankind NV Device for translation and rotation of screens in a two-dimensional plane and its use

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192207A (ja) * 2002-12-10 2004-07-08 Sony Corp 表示画像制御処理装置、取得画像制御処理装置、画像制御情報通信システム、および方法、並びにコンピュータ・プログラム
JP2009200939A (ja) 2008-02-22 2009-09-03 Sony Corp 画像処理装置と画像処理方法および画像処理システム
WO2017202899A1 (en) * 2016-05-25 2017-11-30 Koninklijke Kpn N.V. Spatially tiled omnidirectional video streaming

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3018910B1 (en) * 2013-07-05 2019-11-13 Saturn Licensing LLC Transmission device, transmission method, reception device, and reception method
JP6505996B2 (ja) * 2013-08-30 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 受信方法、及び、受信装置
US9894422B2 (en) * 2014-02-18 2018-02-13 Lg Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service
KR101953679B1 (ko) * 2014-06-27 2019-03-04 코닌클리즈케 케이피엔 엔.브이. Hevc-타일드 비디오 스트림을 기초로 한 관심영역 결정
CN109218755B (zh) * 2017-07-07 2020-08-25 华为技术有限公司 一种媒体数据的处理方法和装置
JPWO2019031469A1 (ja) * 2017-08-10 2020-07-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN111373760A (zh) * 2017-11-30 2020-07-03 索尼公司 发送设备、发送方法、接收设备和接收方法
CN110035316B (zh) * 2018-01-11 2022-01-14 华为技术有限公司 处理媒体数据的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192207A (ja) * 2002-12-10 2004-07-08 Sony Corp 表示画像制御処理装置、取得画像制御処理装置、画像制御情報通信システム、および方法、並びにコンピュータ・プログラム
JP2009200939A (ja) 2008-02-22 2009-09-03 Sony Corp 画像処理装置と画像処理方法および画像処理システム
WO2017202899A1 (en) * 2016-05-25 2017-11-30 Koninklijke Kpn N.V. Spatially tiled omnidirectional video streaming

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3739889A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021506189A (ja) * 2018-07-13 2021-02-18 エルジー エレクトロニクス インコーポレイティド 動的ビューポイントの座標系に関するメタデータを送受信する方法及び装置
JP7030989B2 (ja) 2018-07-13 2022-03-07 エルジー エレクトロニクス インコーポレイティド 動的ビューポイントの座標系に関するメタデータを送受信する方法及び装置
JPWO2021177044A1 (ja) * 2020-03-04 2021-09-10
WO2021177044A1 (ja) * 2020-03-04 2021-09-10 ソニーグループ株式会社 画像処理装置及び画像処理方法
JP7679829B2 (ja) 2020-03-04 2025-05-20 ソニーグループ株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
EP3739889A1 (en) 2020-11-18
CN111557096A (zh) 2020-08-18
EP3739889A4 (en) 2020-11-25
US20210084346A1 (en) 2021-03-18
JPWO2019139099A1 (ja) 2020-12-24

Similar Documents

Publication Publication Date Title
US11109013B2 (en) Method of transmitting 360-degree video, method of receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
JP6657475B2 (ja) 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置
KR102264028B1 (ko) 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
CN109076255B (zh) 发送、接收360度视频的方法及设备
EP3739889A1 (en) Transmission device, transmission method, reception device and reception method
KR20200030053A (ko) 미디어 콘텐츠를 위한 영역별 패킹, 콘텐츠 커버리지, 및 시그널링 프레임 패킹
US10992961B2 (en) High-level signaling for fisheye video data
US12407857B2 (en) Method, an apparatus and a computer program product for video conferencing
CN110999308B (zh) 发送装置、发送方法、接收装置和接收方法
CN111034203A (zh) 处理具有动态逐区封装的全向媒体
WO2019107175A1 (ja) 送信装置、送信方法、受信装置および受信方法
US11341976B2 (en) Transmission apparatus, transmission method, processing apparatus, and processing method
WO2019181493A1 (ja) 受信装置、受信方法、送信装置および送信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19738277

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019564745

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019738277

Country of ref document: EP

Effective date: 20200812