WO2015008613A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2015008613A1
WO2015008613A1 PCT/JP2014/067508 JP2014067508W WO2015008613A1 WO 2015008613 A1 WO2015008613 A1 WO 2015008613A1 JP 2014067508 W JP2014067508 W JP 2014067508W WO 2015008613 A1 WO2015008613 A1 WO 2015008613A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
image
information
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/067508
Other languages
English (en)
French (fr)
Inventor
しのぶ 服部
平林　光浩
央二 中神
徹 知念
潤宇 史
辻　実
優樹 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015527242A priority Critical patent/JP6384480B2/ja
Priority to EP14826072.2A priority patent/EP3024249B1/en
Priority to CN201480039825.2A priority patent/CN105379302B/zh
Priority to US14/904,232 priority patent/US10523975B2/en
Publication of WO2015008613A1 publication Critical patent/WO2015008613A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Definitions

  • the present disclosure relates to an information processing apparatus and an information processing method, and more particularly, to an information processing apparatus and an information processing method that can recognize an acquisition position of audio data on an image.
  • MPEG-DASH Dynamic-Adaptive-Streaming-over-HTTP
  • URL http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam -1)
  • the playback terminal recognizes the acquisition position of the audio data on the video content.
  • the present disclosure has been made in view of such a situation, and makes it possible to recognize the acquisition position of audio data on an image.
  • An information processing apparatus is an information processing apparatus including a transmission unit that transmits image frame size information indicating an image frame size of image data and audio position information indicating an acquisition position of audio data. .
  • the information processing method according to the first aspect of the present disclosure corresponds to the information processing apparatus according to the first aspect of the present disclosure.
  • image frame size information indicating the image frame size of the image data and audio position information indicating the acquisition position of the audio data are transmitted.
  • An information processing apparatus receives image frame size information indicating an image frame size of image data and audio position information indicating an acquisition position of audio data, and is received by the reception unit.
  • the information processing apparatus includes: a position determination unit that determines an acquisition position of the audio data on an image corresponding to the image data based on the image frame size information and the audio position information of the image data.
  • the information processing method according to the second aspect of the present disclosure corresponds to the information processing apparatus according to the second aspect of the present disclosure.
  • image frame size information indicating an image frame size of image data and audio position information indicating an acquisition position of audio data are received, and the image frame size of the received image data is received. Based on the information and the audio position information, the acquisition position of the audio data on the image corresponding to the image data is determined.
  • a program to be executed by a computer can be provided by being transmitted via a transmission medium or by being recorded on a recording medium.
  • the first aspect of the present disclosure it is possible to transmit information for recognizing the acquisition position of audio data on an image.
  • generation apparatus It is a flowchart explaining the file generation process of a file generation apparatus. It is a block diagram which shows the structural example of a streaming reproducing part. It is a flowchart explaining the streaming reproduction process of a streaming reproduction part. It is a figure explaining the other example of description of an MPD file. It is a figure explaining the example of description of another MPD file. It is a figure which shows the example of arrangement
  • FIG. 31 is a flowchart for explaining details of a horizontal angle ⁇ Ai ′ estimation process of FIG. 30.
  • FIG. It is a figure explaining the determination method of the position of the object in 3rd Embodiment of the information processing system to which this indication is applied. It is a figure explaining the determination method of the position of the object in 3rd Embodiment of the information processing system to which this indication is applied.
  • FIG. 1 is a diagram illustrating an overview of a first embodiment of an information processing system to which the present disclosure is applied.
  • the information processing system 10 in FIG. 1 is configured by connecting a Web server 12 connected to a file generation device 11 and a moving image playback terminal 14 via the Internet 13.
  • the Web server 12 distributes the image data of the moving image content to the moving image playback terminal 14 in tile units (tiled streaming) in accordance with MPEG-DASH.
  • the file generation device 11 acquires the audio data of the moving image content for each object (details will be described later) and encodes the data in units of objects to generate an audio stream.
  • the file generation device 11 converts the audio stream of each object into a file in segments, and uploads the audio file of each object obtained as a result to the Web server 12.
  • an object is a sound source, and audio data of each object is acquired by a microphone or the like attached to the object.
  • the object may be an object such as a fixed microphone stand or a moving object such as a person.
  • the file generation device 11 encodes audio metadata including object position information (audio position information) indicating the position of each object (acquisition position of audio data), an object ID that is an ID unique to the object, and the like.
  • the file generation device 11 converts the encoded audio metadata into a file in segments, and uploads the resulting audio metafile to the Web server 12.
  • the Web server 12 includes a segment group including an image file of a plurality of segments of a tile with a tile ID “1” and a segment group including an image file of a plurality of segments of a tile with a tile ID “2”. And are stored. Further, the Web server 12 stores a segment group composed of audio files of a plurality of segments of the object with the object ID “1” and a segment group composed of audio files of the plurality of segments of the object with the object ID “2”. ing. Although illustration is omitted, the segment group of the audio metafile is also stored in the same manner.
  • tile #i the tile with the tile ID i
  • object #i the object with the object ID i
  • the Web server 12 functions as a transmission unit, and transmits stored image files, audio files, audio metafiles, MPD files, and the like to the video playback terminal 14 in response to a request from the video playback terminal 14.
  • the video playback terminal 14 includes streaming data control software (hereinafter referred to as control software) 21, video playback software 22, and client software (hereinafter referred to as access software) for HTTP (HyperText Transfer Protocol) access. 23) is executed.
  • control software hereinafter referred to as control software
  • video playback software video playback software 22
  • client software hereinafter referred to as access software 23
  • the control software 21 is software that controls data streamed from the Web server 12. Specifically, the control software 21 causes the video playback terminal 14 to acquire an MPD file from the Web server 12.
  • control software 21 is based on the display area that is the display area in the image of the moving image content instructed from the moving image reproduction software 22 and the tile position information included in the MPD file. Identify the tile. Then, the control software 21 instructs the access software 23 to send a transmission request for the image file of the tile.
  • control software 21 instructs the access software 23 to send a voice metafile transmission request. Then, the control software 21 specifies an object corresponding to the image in the display area based on the display area, the image frame size information included in the MPD file, and the object position information included in the audio metafile. Then, the control software 21 instructs the access software 23 to send a sound file transmission request for the object.
  • the video playback software 22 is software that plays back image files and audio files acquired from the Web server 12. Specifically, when the display area is designated by the user, the moving image reproduction software 22 instructs the control software 21 on the display area. In addition, the moving image reproduction software 22 decodes the image file and the audio file acquired from the Web server 12 according to the instruction, synthesizes them, and outputs them.
  • the access software 23 is software that controls communication with the Web server 12 via the Internet 13 using HTTP. Specifically, the access software 23 causes the video playback terminal 14 to transmit a transmission request for an image file, an audio file, and an audio metafile in response to an instruction from the control software 21. Further, the access software 23 causes the video playback terminal 14 to receive the image file, the audio file, and the audio metafile transmitted from the Web server 12 in response to the transmission request.
  • FIG. 2 is a diagram illustrating an example of a tile.
  • the image of the moving image content is divided into a plurality of tiles, and a tile ID is assigned to each tile in order from 1.
  • the moving image content image is divided into four tiles # 1 to # 4.
  • FIG. 3 is a diagram for explaining an object.
  • the sound of eight objects in the image is acquired as the sound of the moving image content, and object IDs are assigned to the objects in order from 1.
  • Object # 1 to object # 5 are moving objects, respectively, and object # 6 to object # 8 are fixed objects.
  • the image of the moving image content is divided into 5 (vertical) ⁇ 7 (horizontal) tiles.
  • the moving image playback terminal 14 acquires and plays back only the audio files of the object # 1, the object # 2, and the object # 6 from the Web server 12.
  • the object in the display area 31 can be specified based on the image frame size information and the object position information as described below.
  • FIG. 4 is a diagram for explaining the object position information.
  • the video playback terminal 14 selects the optimum one from the “Representation” attribute included in “Period” of the MPD file (Media Presentation in FIG. 6).
  • the video playback terminal 14 refers to a URL (Uniform Resource Locator) of “Initialization Segment” at the top of the selected “Representation” to acquire and process the file. Subsequently, the video playback terminal 14 refers to the subsequent “Media ⁇ ⁇ ⁇ ⁇ Segment” URL or the like to acquire and play back the file.
  • URL Uniform Resource Locator
  • the relationship between “Period”, “Representation”, and “Segment” in the MPD file is as shown in FIG. That is, one moving image content can be managed in units of time longer than segments by “Period”, and can be managed in units of segments by “Segment” in each “Period”. In each “Period”, the moving image content can be managed in attribute units of the stream by “Representation”.
  • the MPD file has a hierarchical structure shown in FIG. 8 below “Period”. Further, when the structure of this MPD file is arranged on the time axis, it becomes like the example of FIG. As is clear from FIG. 9, there are a plurality of “Representations” for the same segment.
  • the video playback terminal 14 can acquire and play back an image file and an audio file in the display area selected by the user by adaptively selecting one of these.
  • FIG. 10 is a diagram for explaining the description of the MPD file.
  • the frame size information is included in the MPD file so that the moving image playback terminal 14 can identify the object in the display area.
  • this frame size information uses Scheme (urn: mpeg: DASH: viewingAngle: 2013) for newly defining frame size information (Viewing Angle) by utilizing DescriptorType element of Viewpoint. By expanding, it is arranged in “Adaptation Set” for audio and “Adaptation Set” for images.
  • the image frame size information may be arranged only in “Adaptation Set” for images.
  • the “AdaptationAdSet” for audio in the MPD file describes “Representation” for audio metafile, and “Segment” of “Representation” specifies information that identifies the audio metafile (audionmetadata.mp4) URL and so on are described. At this time, using Role element, it is described that the file specified by “Segment” is an audio metafile (objectaudiometadata).
  • the “Adaptation Set” for the audio of the MPD file also describes “Representation” for the audio file of each object, and the “Segment” of the “Representation” contains the audio file (audioObje1.mp4, audioObje5 .mp4) is described as URL information.
  • the object ID (1, 5) of the object corresponding to the audio file is also described.
  • tile position information is arranged in “Adaptation Set” for images.
  • FIG. 11 is a block diagram illustrating a configuration example of the file generation device 11 of FIG.
  • 11 includes a screen division processing unit 51, an image encoding processing unit 52, an image file generating unit 53, an image information generating unit 54, an audio encoding processing unit 55, an audio file generating unit 56, and an MPD generating unit. 57 and a server upload processing unit 58.
  • the screen division processing unit 51 of the file generation device 11 divides image data of moving image content input from the outside into tile units.
  • the screen division processing unit 51 supplies tile position information to the image information generation unit 54. Further, the screen division processing unit 51 supplies tile-unit image data to the image encoding processing unit 52.
  • the image encoding processing unit 52 encodes the tile-based image data supplied from the screen division processing unit 51 for each tile, and generates a video stream.
  • the image encoding processing unit 52 supplies the video stream of each tile to the image file generation unit 53.
  • the image file generation unit 53 files the video stream of each tile supplied from the image encoding processing unit 52 in units of segments, and supplies the resulting image file of each tile to the MPD generation unit 57.
  • the image information generation unit 54 supplies the tile position information supplied from the screen division processing unit 51 and the image frame size information input from the outside to the MPD generation unit 57 as image information.
  • the audio encoding processing unit 55 encodes audio data for each object of moving image content input from the outside for each object, and generates an audio stream.
  • the audio encoding processing unit 55 encodes audio metadata including object position information, object ID, and the like of each object input from the outside, and generates encoded data.
  • the audio encoding processing unit 55 supplies the audio stream of each object and the encoded data of audio metadata to the audio file generating unit 56.
  • the audio file generation unit 56 functions as an audio file generation unit, files the audio stream of each object supplied from the audio encoding processing unit 55 in units of segments, and converts the audio file of each object obtained as a result into an MPD generation unit 57.
  • the audio file generation unit 56 functions as a metafile generation unit, files encoded data of audio metadata supplied from the audio encoding processing unit 55 in units of segments, and converts the resulting audio metafile into an MPD. It supplies to the production
  • the MPD generation unit 57 arranges the URL of the image file of each object in “Segment” of “Representation” for the audio file of the object. Further, the MPD generation unit 57 functions as an information generation unit, and arranges a URL or the like as information for specifying the audio metafile in “Segment” of “Representation” for the audio metafile.
  • the MPD generation unit 57 supplies the MPD file in which various pieces of information are arranged as described above, the image file, the audio file, and the audio metafile to the server upload processing unit 58.
  • FIG. 12 is a flowchart for explaining file generation processing of the file generation apparatus 11 of FIG.
  • the screen division processing unit 51 of the file generation device 11 divides image data of moving image content input from the outside into tile units.
  • the screen division processing unit 51 supplies tile position information to the image information generation unit 54. Further, the screen division processing unit 51 supplies tile-unit image data to the image encoding processing unit 52.
  • step S12 the image encoding processing unit 52 encodes the tile-based image data supplied from the screen division processing unit 51 for each tile, and generates a video stream of each tile.
  • the image encoding processing unit 52 supplies the video stream of each tile to the image file generation unit 53.
  • step S13 the image file generation unit 53 files the video stream of each tile supplied from the image encoding processing unit 52 in units of segments, and generates an image file of each tile.
  • the image file generation unit 53 supplies the image file of each tile to the MPD generation unit 57.
  • step S14 the image information generation unit 54 acquires image frame size information from the outside.
  • step S ⁇ b> 15 the image information generation unit 54 generates image information including tile position information and image frame size information supplied from the screen division processing unit 51, and supplies the image information to the MPD generation unit 57.
  • step S16 the audio encoding processing unit 55 encodes audio data for each object of moving image content input from the outside for each object, and generates an audio stream of each object.
  • the audio encoding processing unit 55 encodes audio metadata including object position information, object ID, and the like of each object input from the outside, and generates encoded data.
  • the audio encoding processing unit 55 supplies the audio stream of each object and the encoded data of audio metadata to the audio file generating unit 56.
  • step S18 the MPD generation unit 57 generates an MPD file including the image information supplied from the image information generation unit 54, the URL of each file, and the like.
  • the MPD generation unit 57 supplies the MPD file, the image file of each tile, the audio file of each object, and the audio metafile to the server upload processing unit 58.
  • FIG. 13 is a block diagram showing an example of the configuration of a streaming playback unit realized by the video playback terminal 14 of FIG. 1 executing the control software 21, the video playback software 22, and the access software 23. .
  • 13 includes an MPD acquisition unit 91, an MPD processing unit 92, a metafile acquisition unit 93, an audio selection unit 94, an audio file acquisition unit 95, an audio decoding processing unit 96, an audio synthesis processing unit 97, and an image selection.
  • the MPD acquisition unit 91 of the streaming playback unit 90 functions as a reception unit, acquires an MPD file from the Web server 12, and supplies the MPD file to the MPD processing unit 92.
  • the MPD processing unit 92 extracts information such as a URL described in “Segment” for the audio metafile from the MPD file supplied from the MPD acquisition unit 91 and supplies the extracted information to the metafile acquisition unit 93. Also, the MPD processing unit 92 extracts image frame size information described in the “AdaptationSet” for the image from the MPD file, and supplies it to the audio selection unit 94. The MPD processing unit 92 extracts information such as URL described in “Segment” for the audio file of the object requested from the audio selection unit 94 from the MPD file, and supplies the extracted information to the audio selection unit 94.
  • the MPD processing unit 92 extracts tile position information described in the “AdaptationSet” for the image from the MPD file and supplies the tile position information to the image selection unit 98.
  • the MPD processing unit 92 extracts information such as a URL described in “Segment” for the image file of the tile requested from the image selection unit 98 from the MPD file, and supplies the extracted information to the image selection unit 98.
  • the metafile acquisition unit 93 requests and acquires the audio metafile specified by the URL from the Web server 12 based on the information such as the URL supplied from the MPD processing unit 92.
  • the metafile acquisition unit 93 supplies the object position information included in the audio metafile to the audio selection unit 94.
  • the audio selection unit 94 functions as a position determination unit, and based on the image frame size information supplied from the MPD processing unit 92 and the object position information supplied from the metafile acquisition unit 93, the position of each object on the image. Is calculated.
  • the audio selection unit 94 selects an object in the display area designated by the user based on the position of each object on the image.
  • the audio selection unit 94 requests the MPD processing unit 92 for information such as the URL of the audio file of the selected object.
  • the voice selection unit 94 supplies information such as a URL supplied from the MPD processing unit 92 to the voice file acquisition unit 95 in response to the request.
  • the audio file acquisition unit 95 functions as a reception unit, and requests and acquires an audio file for each object specified by the URL from the Web server 12 based on information such as a URL supplied from the audio selection unit 94. .
  • the audio file acquisition unit 95 supplies the acquired audio file for each object to the audio decoding processing unit 96.
  • the audio decoding processing unit 96 decodes the audio stream included in the audio file for each object supplied from the audio file acquisition unit 95, and generates audio data for each object.
  • the speech decoding processing unit 96 supplies the speech data for each object to the speech synthesis processing unit 97.
  • the speech synthesis processing unit 97 synthesizes and outputs the speech data for each object supplied from the speech decoding processing unit 96.
  • the image selection unit 98 selects tiles in the display area designated by the user based on the tile position information supplied from the MPD processing unit 92.
  • the image selection unit 98 requests the MPD processing unit 92 for information such as the URL of the image file of the selected tile.
  • the image selection unit 98 supplies information such as a URL supplied from the MPD processing unit 92 to the image file acquisition unit 99 in response to the request.
  • the image file acquisition unit 99 requests and acquires an image file in tile units specified by the URL based on information such as the URL supplied from the image selection unit 98.
  • the image file acquisition unit 99 supplies the acquired image file in tile units to the image decoding processing unit 100.
  • the image decoding processing unit 100 decodes the video stream included in the tile unit image file supplied from the image file acquisition unit 99, and generates tile unit image data.
  • the image decoding processing unit 100 supplies the tile-unit image data to the image composition processing unit 101.
  • the image of the moving image content is divided into 5 (vertical) ⁇ 7 (horizontal) tiles, and the audio of the moving image content includes objects # 1 to # 8. Audio is being acquired.
  • the display area 31 composed of 2 (vertical) ⁇ 3 (horizontal) tiles is designated by the user, in the second embodiment, as shown in FIG.
  • the display image 111 is converted (enlarged) to the same size as the image size of the moving image content.
  • the sounds of the objects # 1 to # 8 are synthesized and output together with the display image 111. That is, not only the object # 1, the object # 2, and the object # 6 in the display area 31, but also the sounds of the objects # 3 to # 5, the object # 7, and the object # 8 outside the display area 31 are output.
  • FIG. 23 is a block diagram illustrating a configuration example of a streaming playback unit of an information processing system to which the present disclosure is applied.
  • an MPD processing unit 121 In the configuration of the streaming playback unit 120 in FIG. 23, an MPD processing unit 121, a voice synthesis processing unit 123, and an image synthesis processing unit 124 are provided instead of the MPD processing unit 92, the voice synthesis processing unit 97, and the image synthesis processing unit 101. This is different from the configuration of the streaming playback unit 90 in FIG. 13 in that a point determination unit 122 is newly provided.
  • the MPD processing unit 121 of the streaming playback unit 120 extracts information such as a URL described in the “Segment” for the audio metafile from the MPD file supplied from the MPD acquisition unit 91 and supplies the extracted information to the metafile acquisition unit 93. . Also, the MPD processing unit 121 extracts image frame size information (hereinafter referred to as content image frame size information) of the moving image content described in the “AdaptationSet” for the image from the MPD file, and supplies the extracted image frame size information to the position determination unit 122. To do. The MPD processing unit 121 extracts information such as URLs described in “Segment” for audio files of all objects from the MPD file, and supplies the extracted information to the audio file acquisition unit 95.
  • content image frame size information hereinafter referred to as content image frame size information
  • ⁇ v1 ′ is the leftmost horizontal angle in the display area image frame size information of the display area 31, and ⁇ V2 ′ is the rightmost horizontal angle.
  • ⁇ v1 is the leftmost horizontal angle in the content image frame size information, and ⁇ v2 is the rightmost horizontal angle.
  • the position determination unit 122 uses the movement amount ⁇ shift to move the center 0 of the display area 31 to the center 0 ′ of the display image 111 according to the following equation (2). Horizontal angle ⁇ v1_shift ′ and rightmost horizontal angle ⁇ v2_shift ′ are obtained.
  • ⁇ Ai is a horizontal angle in the object position information of the object #i. Further, according to the equation (4), the horizontal angle ⁇ Ai_shift is obtained so as not to exceed the range from ⁇ 180 ° to 180 °.
  • the horizontal angle is set according to the ratio between the angle R3 and the angle R4.
  • ⁇ Ai_shift the horizontal angle ⁇ Ai ′ is obtained.
  • the angle R3 is an angle from the left end of the display image 111 to the position 154
  • the angle R4 is an angle from the left end of the display area 31 after the center movement to the position 154.
  • the position determination unit 122 obtains the vertical angle ⁇ Ai ′ by the following equation (7).
  • the position determination unit 122 obtains the vertical angle ⁇ Ai ′ by the following formula (8), that is, the vertical angle ⁇ Ai is set as the vertical angle ⁇ Ai ′ as it is.
  • the position determination unit 122 performs the following operation Obtain the vertical angle ⁇ Ai ′.
  • the horizontal angle of the object #i is an angle that represents the position of the object #i in front of the viewer, and an angle that represents the left side of the viewer, 90 °, or an angle that represents the right side, ⁇ 90 °. It is necessary to divide it into a stage of moving between and a stage of moving between 90 ° or ⁇ 90 ° and an angle representing the position of the object #i behind the viewer.
  • the position determination unit 122 determines whether the horizontal angle of the object #i moves between 90 ° or ⁇ 90 ° and an angle indicating the position of the object #i behind the viewer. The movement amount of Ai is determined to be 0. Then, the position determination unit 122 is such that the horizontal angle of the object #i is an angle representing the position of the object #i ahead of the viewer and an angle representing the left side of the viewer, 90 ° or the right side ⁇ The amount of movement of the vertical angle ⁇ Ai at the stage of moving between 90 ° is obtained in the same manner as in equation (7).
  • Equation 9 the vertical angles ⁇ V2 ′, ⁇ V2 , ⁇ V1 ′, and ⁇ V1 in Equation (7) are the vertical angles ⁇ V2f ′, ⁇ V2f , defined by Equation (10), respectively .
  • Equation 10 the vertical angles ⁇ V1f ′ and ⁇ V1f .
  • F side in Expression (10) represents a ratio between the vertical angle of the display area 31 and the vertical angle of the display image 111 when the horizontal angle of the object #i is 90 ° or ⁇ 90 °. It is obtained by equation (11).
  • F side multiplies the ratio of the horizontal angle of the display area 31 and the horizontal angle of the display image 111 when the horizontal angle of the object #i is 90 ° or ⁇ 90 ° by TransForm_Factor. Is required.
  • TransForm_Factor in the equation (11) is a factor representing the ratio of the vertical angles ⁇ v1 and ⁇ v2 and the horizontal angles ⁇ v1 and ⁇ v2 , and is represented by the following equation (12). Using this factor TransForm_Factor, the amount of change in the vertical angle corresponding to the amount of change in the horizontal angle can be estimated.
  • the vertical angle when the object #i is behind the viewer is not changed, but the vertical angle may be changed in the same direction as the horizontal angle. That is, when the position represented by the horizontal angle moves in the direction directly behind the viewer, the position represented by the vertical angle also moves in the direction directly behind the viewer, and the position represented by the horizontal angle is in the direction directly in front of the viewer. In the case of movement, the position represented by the vertical angle may also be moved in the direction directly in front of the viewer.
  • the position determination unit 122 determines the distance r Ai of the object position information of the object #i.
  • the position determination unit 122 supplies the horizontal angle ⁇ Ai ′, vertical angle ⁇ Ai ′, and distance r Ai of the object #i obtained as described above to the speech synthesis processing unit 123 as the position of the object #i. .
  • FIG. 27 is a diagram illustrating the relationship between the horizontal angle ⁇ Ai and the horizontal angle ⁇ Ai ′.
  • the horizontal axis represents the horizontal angle ⁇ Ai
  • the vertical axis represents the horizontal angle ⁇ Ai ′.
  • FIG. 28 is a diagram illustrating the relationship between the vertical angle ⁇ v1 ′ and the vertical angle ⁇ Ai ′.
  • the MPD acquisition unit 91 of the streaming playback unit 120 acquires the MPD file from the Web server 12 and supplies it to the MPD processing unit 121.
  • step S132 the MPD processing unit 121 acquires content image frame size information and tile position information described in the “AdaptationSet” for the image from the MPD file supplied from the MPD acquisition unit 91.
  • the MPD processing unit 121 supplies image frame size information to the position determination unit 122 and supplies tile position information to the image selection unit 98.
  • the MPD processing unit 121 extracts information such as a URL described in “Segment” for the audio metafile, and supplies the extracted information to the metafile acquisition unit 93.
  • step S135 the MPD processing unit 121 extracts information such as URLs described in “Segment” for audio files of all objects from the MPD file, and supplies the extracted information to the audio file acquisition unit 95.
  • step S136 based on information such as the URL supplied from the MPD processing unit 121, the audio file acquisition unit 95 requests and acquires the audio files of all objects specified by the URL from the Web server 12.
  • the audio file acquisition unit 95 supplies the acquired audio file for each object to the audio decoding processing unit 96.
  • step S141 the speech synthesis processing unit 123 synthesizes and outputs the speech data for each object supplied from the speech decoding processing unit 96 based on the position of the object supplied from the position determination unit 122.
  • step S143 the image composition processing unit 124 converts the size of the image corresponding to the image data after composition into the size of the moving image content, and generates a display image. Then, the image composition processing unit 124 outputs the display image and ends the process.
  • FIG. 30 is a flowchart for explaining details of the position determination processing in step S134 of FIG. This position determination process is performed for each object, for example.
  • step S152 the position determining unit 122 performs estimation processing 'vertical angle gamma Ai estimating the' vertical angle gamma Ai in the display image.
  • the details of the vertical angle ⁇ Ai ′ estimation process are the same as the horizontal angle ⁇ Ai ′ estimation process in step S151 except that the horizontal direction is replaced by the vertical direction, and detailed description thereof is omitted.
  • step S153 the position determination unit 122 determines the distance r Ai 'in the display image, the distance r Ai of the object position information supplied from the metafile acquisition unit 93.
  • step S154 the position determination unit 122 outputs the horizontal angle ⁇ Ai ′, the vertical angle ⁇ Ai ′, and the distance r Ai to the speech synthesis processing unit 123 as the position of the object #i. Then, the process returns to step S134 in FIG. 29 and proceeds to step S135.
  • step S173 the position determination unit 122 calculates the movement amount ⁇ shift according to the above-described equation (1) based on the content image frame size information and the display area image frame size information.
  • step S174 the position determination unit 122 calculates the horizontal angles ⁇ v1_shift ′ and ⁇ v2_shift ′ according to the above equation (2) using the movement amount ⁇ shift and the display area image frame size.
  • step S176 the position determination unit 122 determines whether or not the object #i exists in the display area 31 (the horizontal angle of the object #i is between the horizontal angles at both ends of the display area 31), that is, ⁇ v2_shift ′ ⁇ It is determined whether ⁇ Ai_shift ⁇ v1_shift ′.
  • step S176 If it is determined in step S176 that the object #i exists in the display area 31, that is, if ⁇ v2_shift ′ ⁇ Ai_shift ⁇ v1_shift ′, the process proceeds to step S177.
  • step S177 the position determination unit 122 calculates the horizontal angle ⁇ Ai ′ by the above-described equation (5) based on the content image frame size information, the horizontal angles ⁇ v1_shift ′ and ⁇ v2_shift ′, and the horizontal angle ⁇ Ai_shift. .
  • step S176 the position determination unit 122 calculates the horizontal angle ⁇ Ai ′ by the above-described equation (6) based on the content image frame size information, the horizontal angle ⁇ v1_shift ′ or ⁇ v2_shift ′, and the horizontal angle ⁇ Ai_shift. .
  • step S177 or step S178 the process returns to step S151 in FIG. 30, and the process proceeds to step S152.
  • the size of the display image is the same as the size of the moving image content, but it may be different.
  • the audio data of all objects is not synthesized and output, but some objects (for example, objects in the display area, objects within a predetermined range from the display area, etc.) Only the audio data may be synthesized and output.
  • the method for selecting the object of the audio data to be output may be determined in advance or specified by the user.
  • the third embodiment of the information processing system to which the present disclosure is applied is the same as the second embodiment except for the method for determining the position of the object in the display image by the position determination unit 122 in FIG. Only the method for determining the position of the object in the display image by the position determination unit 122 in FIG. 23 will be described.
  • the angle of the image frame viewed from the viewer also changes accordingly. For example, when the viewer approaches the image frame, the image frame appears larger, and when the viewer is farther from the image frame, the image frame appears smaller. Therefore, changes in the display area and image frame size can be expressed by the movement of the viewer. Therefore, in the third embodiment, the size change of the display area is expressed by the movement of the viewer.
  • 32 to 35 are diagrams illustrating a method for determining the position of an object in a display image in the third embodiment of the information processing system to which the present disclosure is applied.
  • FIG. 32 and 33 are diagrams illustrating a state before the size of the display area 31 in the moving image content is changed.
  • FIG. 32 is a top view seen from the top of the viewer, and
  • FIG. 32 is a side view seen from the right of the viewer.
  • the position determination unit 122 uses the object position information when the size of the display area 31 is changed to the size of the moving image content, that is, the object position information in the display image, and the object position information of the object changed by the movement of the viewer. Estimate by seeking.
  • the position determination unit 122 calculates the horizontal width Screen Width of the display area 31 before movement, the width Screen LeftWidth from the left end to the center, and the height Screen TopHeight from the upper end to the center according to the equation (13). Ask.
  • r v is the distance from the viewer to the image frame
  • ⁇ v1 ′ is the leftmost horizontal angle in the display area image frame size information of the display area 31
  • ⁇ V2 ′ is , The horizontal angle at the right end
  • ⁇ v1 ′ is the vertical angle at the upper end.
  • the position determination unit 122 calculates the distance from the viewer to the image frame when the size of the display area 31 viewed from the viewer becomes the same as the size of the moving image content by the movement of the viewer according to Expression (14). Estimate the distance r v ′.
  • ⁇ v1 is the horizontal angle at the left end of the display area image frame size information of the display area 31 after movement, that is, the content image frame size information
  • ⁇ v2 is the horizontal angle at the right end. is there.
  • the position determination unit 122 moves the viewer in the front-rear direction when the size of the display area 31 viewed from the viewer becomes the same as the size of the moving image content by the viewer according to Expression (15).
  • the amount Length shift , the horizontal shift amount Width shif , and the vertical shift amount Height shift are estimated.
  • ⁇ v1 is the vertical angle of the upper end of the display area image frame size information of the display area 31 after movement, that is, the content image frame size information.
  • F Aspect_ratio is a factor that represents the amount of change in the ratio between the vertical width and the horizontal width of the display area 31 viewed from the viewer before and after the movement, and is expressed by the following equation (16). The Using this factor F Aspect_ratio , it is possible to estimate the amount of change in the vertical width corresponding to the amount of change in the horizontal width.
  • ⁇ v2 is the vertical angle at the lower end of the display area image frame size information of the display area 31 after movement, that is, the content image frame size information.
  • ⁇ v2 ′ is the vertical angle of the lower end of the display area image frame size information of the display area 31.
  • the position determination unit 122 estimates the object position information of the object in the display image.
  • the position determination unit 122 estimates the object position information in the display image by the following equation (17).
  • ⁇ Ai ′ is the horizontal angle of the object #i after movement, and ⁇ Ai is the horizontal angle of the object #i before movement.
  • ⁇ A1 ′ is the vertical angle of the object #i after movement, and the vertical angle ⁇ Ai is the horizontal angle of the object #i before movement.
  • r Ai ′ is the distance of the object #i after movement, and r Ai is the distance of the object #i before movement.
  • the position determination unit 122 estimates object position information in the display image by the following equation (18).
  • equation (18) may be modified as the following equation (19).
  • the position determination unit 122 acquires display area image frame size information and content image frame size information of the display area 31 before movement. Specifically, the position determination unit 122, the horizontal angle of the left end of the view frame of the display area 31 before the movement theta v1 'and the right end of the horizontal angle theta v2', and vertical vertical angle gamma v1 'and the lower end of the upper end Get the angle ⁇ v2 ′.
  • step S183 the position determination unit 122 estimates the distance r v ′ after the movement by using the horizontal width Screen Width and the horizontal angles ⁇ v1 and ⁇ v2 according to the above-described equation (14).
  • step S184 the position determination unit 122 determines that the width Screen LeftWidth , the height Screen TopHeigh , the distances r v and r v ′, the horizontal angles ⁇ v1 , ⁇ v2 , ⁇ v1 ′, and ⁇ v2 ′ and the vertical angles ⁇ v1 , Using ⁇ v2 , ⁇ v1 ′, and ⁇ v2 ′, viewer movement amounts Length shift , Width shift , and Height shift are estimated by the above-described equations (15) and (16).
  • step S185 the position determination unit 122 selects the first object #i to be reproduced.
  • step S187 the position determination unit 122 determines whether or not the object #i exists on the display region 31, that is, whether or not ⁇ v2 ′ ⁇ ⁇ Ai ⁇ ⁇ v1 ′ and ⁇ v2 ′ ⁇ ⁇ Ai ⁇ ⁇ v1 ′. Determine.
  • step S190 when it is determined in step S190 that the object position information of all objects has been estimated, the process proceeds to S192.
  • ⁇ Fourth embodiment> (Description of computer to which the present disclosure is applied)
  • the series of processes of the Web server 12 described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the hardware configuration of the video playback terminal 14 can be the same as that of the computer of FIG.
  • the CPU 201 executes the control software 21, the moving image reproduction software 22, and the access software 23.
  • the processing of the video playback terminal 14 can also be executed by hardware.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the file generation apparatus 11 may generate one video file by generating a video stream by multiplexing the encoded data of all tiles, instead of generating an image file in units of tiles.
  • the sound corresponding to the display area 31 may include not only the sound of the object in the display area 31 but also the sound of the fixed object outside the display area 31.
  • the present disclosure can have the following configurations.
  • An information processing apparatus comprising: a transmission unit that transmits image frame size information indicating an image frame size of image data and audio position information indicating an acquisition position of audio data.
  • the image frame size information is configured to be information indicating a field angle in a horizontal direction and a vertical direction of the image data, and a distance between a base point of the field angle and an image plane.
  • Information processing device 3.
  • the audio position information is information indicating horizontal and vertical angles of a line connecting the position where the audio data is acquired and the base point, and a distance between the position where the audio data is acquired and the base point.
  • a metafile generation unit that generates a metadata file of the audio data including the audio position information;
  • An information generating unit that generates, as control information, information specifying the image frame size information and the metadata file; Further comprising
  • the transmission unit is configured to transmit the control information generated by the information generation unit and the metadata file generated by the metafile generation unit. Any one of (1) to (3)
  • the transmission unit transmits the audio data corresponding to a display area, which is a display area, of an image corresponding to the image data, which is requested based on the image frame size information and the audio position information.
  • the information processing apparatus according to any one of (1) to (4) configured.
  • the audio data is audio data in units of objects
  • the information processing apparatus according to (5), wherein the transmission unit is configured to transmit audio data of the object corresponding to the display area.
  • An audio file generation unit that generates the audio file including audio data of a plurality of the objects and data position information indicating a position of the audio data of each object in the audio file;
  • the information processing apparatus according to (6), wherein the transmission unit is configured to transmit audio data of the object corresponding to the display area in the audio file generated by the audio file generation unit.
  • a receiving unit that receives image frame size information indicating an image data frame size and audio position information indicating an acquisition position of audio data; Information including: a position determination unit that determines an acquisition position of the audio data on an image corresponding to the image data based on the image frame size information and the audio position information of the image data received by the reception unit.
  • Processing equipment (11)
  • the image frame size information is configured to be information indicating a horizontal and vertical angle of view of the image data, and a distance between a base point of the angle of view and an image plane.
  • Information processing device (12)
  • the audio position information is information indicating horizontal and vertical angles of a line connecting the position where the audio data is acquired and the base point, and a distance between the position where the audio data is acquired and the base point.
  • the information processing apparatus according to (10) or (11) configured.
  • the audio data is audio data in units of objects
  • the position determination unit is configured to determine an acquisition position of the audio data of each object on an image corresponding to the image data based on the image frame size information and the audio position information of each object.
  • the information processing apparatus according to any one of (12).
  • the information processing apparatus according to (13), wherein the reception unit is configured to receive the audio data selected by the audio selection unit.
  • the receiving unit includes the object selected by the sound selection unit in the sound file including sound data of the plurality of objects and data position information indicating the position of the sound data of each object in the sound file.
  • the information processing apparatus configured to receive the audio data.
  • the receiving unit is configured to receive the audio file including the audio data of the object selected by the audio selecting unit from among the audio files including each of the audio data of the plurality of objects. ).
  • 11 file generation device 12 Web server, 14 video playback terminal, 56 audio file generation unit, 57 MPD generation unit, 91 MPD acquisition unit, 94 audio selection unit, 95 audio file acquisition unit, 122 position determination unit, 123 voice synthesis process Part, 124 Image composition processing part

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

　本開示は、画像上の音声データの取得位置を認識することができるようにする情報処理装置および情報処理方法に関する。 Webサーバは、画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを伝送する。本開示は、例えば、MPEG-DASH（Moving Picture Experts Group phase - Dynamic Adaptive Streaming over HTTP）に準ずる方式でタイルドストリーミングを行う、ファイル生成装置、Ｗｅｂサーバ、および動画再生端末を含む情報処理システム等に適用することができる。

Description

情報処理装置および情報処理方法
　本開示は、情報処理装置および情報処理方法に関し、特に、画像上の音声データの取得位置を認識することができるようにした情報処理装置および情報処理方法に関する。
  近年、インターネット上のストリーミングサービスの主流がOTT-V（Over The Top Video）となっている。この基盤技術として普及し始めているのがMPEG-DASH（Moving Picture Experts Group phase - Dynamic Adaptive Streaming over HTTP）である（例えば、非特許文献１参照）。
　MPEG-DASHでは、配信サーバが１本の動画コンテンツ用に画面サイズと符号化速度が異なる動画データ群を用意し、再生端末が伝送路の状況に応じて最適な画面サイズと符号化速度の動画データ群を要求することにより、適応型のストリーミング配信が実現される。
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1）
　しかしながら、再生端末が、動画コンテンツ上の音声データの取得位置を認識することは考えられていない。
　本開示は、このような状況に鑑みてなされたものであり、画像上の音声データの取得位置を認識することができるようにするものである。
　本開示の第１の側面の情報処理装置は、画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを伝送する伝送部を備える情報処理装置である。
　本開示の第１の側面の情報処理方法は、本開示の第１の側面の情報処理装置に対応する。
　本開示の第１の側面においては、画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とが伝送される。
　本開示の第２の側面の情報処理装置は、画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを受け取る受け取り部と、前記受け取り部により受け取られた前記画像データの前記画枠サイズ情報と前記音声位置情報に基づいて、前記画像データに対応する画像上の前記音声データの取得位置を決定する位置決定部とを備える情報処理装置である。
　本開示の第２の側面の情報処理方法は、本開示の第２の側面の情報処理装置に対応する。
　本開示の第２の側面においては、画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とが受け取られ、受け取られた前記画像データの前記画枠サイズ情報と前記音声位置情報に基づいて、前記画像データに対応する画像上の前記音声データの取得位置が決定される。
　なお、第１および第２の側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、第１および第２の側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本開示の第１の側面によれば、画像上の音声データの取得位置を認識させるための情報を伝送することができる。
　また、本開示の第２の側面によれば、画像上の音声データの取得位置を認識することができる。
本開示を適用した情報処理システムの第１実施の形態の概要を説明する図である。 タイルの例を示す図である。 オブジェクトを説明する図である。 オブジェクト位置情報を説明する図である。 画枠サイズ情報を説明する図である。 MPDファイルの構造を示す図である。 「Period」、「Representation」、および「Segment」の関係を示す図である。 MPDファイルの階層構造を示す図である。 MPDファイルの構造と時間軸との関係を示す図である。 MPDファイルの記述例を説明する図である。 ファイル生成装置の構成例を示すブロック図である。 ファイル生成装置のファイル生成処理を説明するフローチャートである。 ストリーミング再生部の構成例を示すブロック図である。 ストリーミング再生部のストリーミング再生処理を説明するフローチャートである。 MPDファイルの他の記述例を説明する図である。 MPDファイルのさらに他の記述例を説明する図である。 オーディオストリームの配置例を示す図である。 gsixの記述例を示す図である。 Sample group entryとオブジェクトＩＤの対応関係を示す情報の例を示す図である。 AudioObjectSampleGroupEntryの記述例を示す図である。 type assignment boxの記述例を示す図である。 本開示を適用した情報処理システムの第２実施の形態の概要を説明する図である。 本開示を適用した情報処理システムのストリーミング再生部の構成例を示すブロック図である。 オブジェクトの位置の決定方法を説明する図である。 オブジェクトの位置の決定方法を説明する図である。 オブジェクトの位置の決定方法を説明する図である。 水平角度θAiと水平角度θAi´の関係を表す図である。 垂直角度γv1´と垂直角度γAi´の関係を表す図である。 図２３のストリーミング再生部のストリーミング再生処理を説明するフローチャートである。 図２９の位置決定処理の詳細を説明するフローチャートである。 図３０の水平角度θAi´推定処理の詳細を説明するフローチャートである。 本開示を適用した情報処理システムの第３実施の形態におけるオブジェクトの位置の決定方法を説明する図である。 本開示を適用した情報処理システムの第３実施の形態におけるオブジェクトの位置の決定方法を説明する図である。 本開示を適用した情報処理システムの第３実施の形態におけるオブジェクトの位置の決定方法を説明する図である。 本開示を適用した情報処理システムの第３実施の形態におけるオブジェクトの位置の決定方法を説明する図である。 本開示を適用した情報処理システムの第３実施の形態における位置決定処理の詳細を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。
　＜第１実施の形態＞
　（情報処理システムの第１実施の形態の概要）
　図１は、本開示を適用した情報処理システムの第１実施の形態の概要を説明する図である。
　図１の情報処理システム１０は、ファイル生成装置１１と接続されるWebサーバ１２と動画再生端末１４が、インターネット１３を介して接続されることにより構成される。
　情報処理システム１０では、MPEG-DASHに準ずる方式で、Webサーバ１２が動画コンテンツの画像データをタイル単位で動画再生端末１４に配信（タイルドストリーミング）する。
　具体的には、ファイル生成装置１１は、動画コンテンツの画像データを取得し、タイル単位で符号化してビデオストリームを生成する。ファイル生成装置１１は、各タイルのビデオストリームを、セグメントと呼ばれる数秒から10秒程度の時間単位ごとにファイル化する。ファイル生成装置１１は、その結果得られる各タイルの画像ファイルをWebサーバ１２にアップロードする。
　また、ファイル生成装置１１は、動画コンテンツの音声データをオブジェクト（詳細は後述する）ごとに取得し、オブジェクト単位で符号化してオーディオストリームを生成する。ファイル生成装置１１は、各オブジェクトのオーディオストリームをセグメント単位でファイル化し、その結果得られる各オブジェクトの音声ファイルをWebサーバ１２にアップロードする。
　なお、オブジェクトとは、音源であり、各オブジェクトの音声データは、そのオブジェクトに取り付けられたマイクロフォンなどにより取得される。オブジェクトは、固定されたマイクスタンドなどの物体であってもよいし、人物などの動体であってもよい。
　ファイル生成装置１１は、各オブジェクトの位置（音声データの取得位置）を表すオブジェクト位置情報（音声位置情報）、オブジェクトに固有のＩＤであるオブジェクトＩＤ等を含むオーディオメタデータを符号化する。ファイル生成装置１１は、オーディオメタデータの符号化データをセグメント単位でファイル化し、その結果得られる音声メタファイルをWebサーバ１２にアップロードする。
　また、ファイル生成装置１１は、動画コンテンツの画像の画枠サイズを表す画枠サイズ情報、各タイルの画像上の位置を表すタイル位置情報等を含む、画像ファイルや音声ファイルを管理するMPD（Media Presentation Description）ファイル（制御情報）を生成する。ファイル生成装置１１は、MPDファイルをWebサーバ１２にアップロードする。
　Webサーバ１２は、ファイル生成装置１１からアップロードされた画像ファイル、音声ファイル、音声メタファイル、およびMPDファイルを格納する。
　図１の例では、Webサーバ１２には、タイルＩＤ「１」のタイルの複数のセグメントの画像ファイルからなるセグメント群と、タイルＩＤ「２」のタイルの複数のセグメントの画像ファイルからなるセグメント群とが格納されている。また、Webサーバ１２には、オブジェクトＩＤ「１」のオブジェクトの複数のセグメントの音声ファイルからなるセグメント群と、オブジェクトＩＤ「２」のオブジェクトの複数のセグメントの音声ファイルからなるセグメント群とが格納されている。図示は省略するが、音声メタファイルのセグメント群も同様に格納されている。
　なお、以下では、タイルＩＤがｉであるタイルをタイル＃ｉといい、オブジェクトＩＤがｉのオブジェクトをオブジェクト＃ｉという。
　Webサーバ１２は、伝送部として機能し、動画再生端末１４からの要求に応じて、格納している画像ファイル、音声ファイル、音声メタファイル、MPDファイル等を動画再生端末１４に送信する。
　動画再生端末１４は、ストリーミングデータの制御用ソフトウエア（以下、制御用ソフトウエアという）２１、動画再生ソフトウエア２２、HTTP（HyperText Transfer Protocol）アクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウエアという)２３などを実行する。
　制御用ソフトウエア２１は、Webサーバ１２からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア２１は、動画再生端末１４にWebサーバ１２からMPDファイルを取得させる。
　また、制御用ソフトウエア２１は、動画再生ソフトウエア２２から指示される動画コンテンツの画像内の表示する領域である表示領域と、MPDファイルに含まれるタイル位置情報とに基づいて、表示領域内のタイルを特定する。そして、制御用ソフトウエア２１は、そのタイルの画像ファイルの送信要求をアクセス用ソフトウエア２３に指令する。
　また、制御用ソフトウエア２１は、アクセス用ソフトウエア２３に音声メタファイルの送信要求を指令する。そして、制御用ソフトウエア２１は、表示領域、MPDファイルに含まれる画枠サイズ情報、および音声メタファイルに含まれるオブジェクト位置情報に基づいて、表示領域内の画像に対応するオブジェクトを特定する。そして、制御用ソフトウエア２１は、そのオブジェクトの音声ファイルの送信要求をアクセス用ソフトウエア２３に指令する。
　動画再生ソフトウエア２２は、Webサーバ１２から取得された画像ファイルと音声ファイルを再生するソフトウエアである。具体的には、動画再生ソフトウエア２２は、ユーザにより表示領域が指定されると、その表示領域を制御用ソフトウエア２１に指示する。また、動画再生ソフトウエア２２は、その指示に応じてWebサーバ１２から取得された画像ファイルと音声ファイルを復号し、合成して出力する。
　アクセス用ソフトウエア２３は、HTTPを用いたインターネット１３を介したWebサーバ１２との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア２３は、制御用ソフトウエア２１の指令に応じて、画像ファイル、音声ファイル、および音声メタファイルの送信要求を動画再生端末１４に送信させる。また、アクセス用ソフトウエア２３は、その送信要求に応じて、Webサーバ１２から送信されてくる画像ファイル、音声ファイル、および音声メタファイルを動画再生端末１４に受信させる。
　（タイルの例）
　図２は、タイルの例を示す図である。
　図２に示すように、動画コンテンツの画像は、複数のタイルに分割され、各タイルに１から順にタイルＩＤが付与される。図２の例では、動画コンテンツの画像は、４つのタイル＃１乃至タイル＃４に分割されている。
　（オブジェクトの説明）
　図３は、オブジェクトを説明する図である。
　図３の例では、動画コンテンツの音声として、画像内の８つのオブジェクトの音声が取得されており、各オブジェクトには１から順にオブジェクトＩＤが付与されている。オブジェクト＃１乃至オブジェクト＃５は、それぞれ、動体であり、オブジェクト＃６乃至オブジェクト＃８は、固定された物体である。また、図３の例では、動画コンテンツの画像は、５（縦）×７（横）のタイルに分割されている。
　この場合、図３に示すように、ユーザにより２（縦）×３（横）個のタイルからなる表示領域３１が指定されると、表示領域３１には、オブジェクト＃１、オブジェクト＃２、およびオブジェクト＃６のみが含まれる。従って、動画再生端末１４は、例えば、オブジェクト＃１、オブジェクト＃２、およびオブジェクト＃６の音声ファイルのみをWebサーバ１２から取得し、再生する。
　表示領域３１内のオブジェクトは、以下に説明するように、画枠サイズ情報およびオブジェクト位置情報に基づいて特定することができる。
　（オブジェクト位置情報の説明）
　図４は、オブジェクト位置情報を説明する図である。
　図４に示すように、オブジェクト位置情報は、オブジェクト４０の水平角度θA（-180°≦θA≦180°）,垂直角度γA（-90°≦γA≦90°）、および距離ｒA（0<ｒA）からなる。水平角度θAは、例えば、画像の中心の撮影位置を原点（基点）Ｏとし、画像の水平方向をＸ方向、垂直方向をＹ方向、XY平面に垂直な奥行き方向をＺ方向としたときの、オブジェクト４０と原点Ｏを結ぶ直線とYZ平面との水平方向の角度である。垂直角度γAは、オブジェクト４０と原点Ｏを結ぶ直線とXZ平面との垂直方向の角度であり、距離ｒAは、オブジェクト４０と原点Ｏの距離である。
　なお、本明細書では、左回転および上回転の角度を正の角度とし、右回転および下回転の角度を負の角度とする。
　（画枠サイズ情報の説明）
　図５は、画枠サイズ情報を説明する図である。
　図５に示すように、画枠サイズ情報は、画枠の左端の水平角度θv1、右端の水平角度θv2、画枠の上端の垂直角度γv1、下端の垂直角度γv2、および距離ｒvにより構成される。
　水平角度θv1は、例えば、画像の中心の撮影位置を原点Ｏとし、画像の水平方向をＸ方向、垂直方向をＹ方向、XY平面に垂直な奥行き方向をＺ方向としたときの、画枠の左端と原点Ｏを結ぶ直線とYZ平面との水平方向の角度である。水平角度θv2は、画枠の右端と原点Ｏを結ぶ直線とYZ平面との水平方向の角度である。従って、水平角度θv1と水平角度θv2とを合わせた角度は、水平方向の画角である。
　垂直角度γV1，γv2は、それぞれ、画枠の上端、下端と原点Ｏを結ぶ直線とXZ平面との角度であり、垂直角度γV1と垂直角度γv2とを合わせた角度は、垂直方向の画角である。距離ｒvは、原点Ｏと画像の平面との距離である。
　以上のように、オブジェクト位置情報と画枠サイズ情報は、それぞれ、オブジェクト４０、画枠と、原点Ｏとの位置関係を表している。従って、オブジェクト位置情報と画枠サイズ情報に基づいて、各オブジェクトの画像上の位置を検出（認識）することができる。その結果、表示領域３１内のオブジェクトを特定することができる。
　(MPDファイルの構造の説明)
　図６は、MPDファイルの構造を示す図である。
　MPDファイルの解析（パース）においては、動画再生端末１４は、MPDファイル（図６のMedia Presentation）の「Period」に含まれる「Representation」の属性から最適なものを選択する。
　動画再生端末１４は、選択した「Representation」の先頭の「Initialization Segment」のURL（Uniform Resource Locator）等を参照してファイルを取得し、処理する。続いて、動画再生端末１４は、後続の「Media Segment」のURL等を参照してファイルを取得し、再生する。
　なお、MPDファイルにおける、「Period」、「Representation」、および「Segment」の関係は、図７のようになる。つまり、１つの動画コンテンツは、「Period」により、セグメントより長い時間単位で管理することができ、各「Period」において、「Segment」によりセグメント単位で管理することができる。また、各「Period」において、「Representation」により、動画コンテンツをストリームの属性単位で管理することができる。
　したがって、MPDファイルは、「Period」以下において、図８に示す階層構造を有する。また、このMPDファイルの構造を時間軸上に並べると図９の例のようになる。図９から明らかなように、同一のセグメントに対して複数の「Representation」が存在している。動画再生端末１４は、これらのうちのいずれかを適応的に選択することにより、ユーザにより選択された表示領域の画像ファイルと音声ファイルを取得し、再生することができる。
　（MPDファイルの記述の説明）
　図１０は、MPDファイルの記述を説明する図である。
　上述したように、情報処理システム１０では、動画再生端末１４において表示領域内のオブジェクトを特定可能にするため、MPDファイルに画枠サイズ情報が含まれる。この画枠サイズ情報は、図１０に示すように、ViewpointのDescriptorType elementを活用して新たに画枠サイズ情報（Viewing Angle）を定義するためのScheme(urn:mpeg:DASH:viewingAngle:2013)を拡張することにより、音声用の「Adaptation Set」と画像用の「Adaptation Set」に配置される。画枠サイズ情報は、画像用の「Adaptation Set」にのみ配置されるようにしてもよい。
　また、MPDファイルの音声用の「Adaptation Set」には、音声メタファイル用の「Representation」が記述され、その「Representation」の「Segment」には、音声メタファイル（audionmetadata.mp4）を特定する情報としてのURL等が記述される。このとき、Role elementを活用して、「Segment」で指定されるファイルが音声メタファイルであること（objectaudiometadata）が記述される。
　MPDファイルの音声用の「Adaptation Set」にはまた、各オブジェクトの音声ファイル用の「Representation」が記述され、その「Representation」の「Segment」には、各オブジェクトの音声ファイル（audioObje1.mp4, audioObje5.mp4）を特定する情報としてのURL等が記述される。このとき、Viewpointを拡張することにより、音声ファイルに対応するオブジェクトのオブジェクトＩＤ（1,5）も記述される。
　なお、図示は省略するが、タイル位置情報は、画像用の「Adaptation Set」に配置される。
　（ファイル生成装置の構成例）
　図１１は、図１のファイル生成装置１１の構成例を示すブロック図である。
　図１１のファイル生成装置１１は、画面分割処理部５１、画像符号化処理部５２、画像ファイル生成部５３、画像情報生成部５４、音声符号化処理部５５、音声ファイル生成部５６、MPD生成部５７、およびサーバアップロード処理部５８により構成される。
　ファイル生成装置１１の画面分割処理部５１は、外部から入力される動画コンテンツの画像データをタイル単位に分割する。画面分割処理部５１は、タイル位置情報を画像情報生成部５４に供給する。また、画面分割処理部５１は、タイル単位の画像データを画像符号化処理部５２に供給する。
　画像符号化処理部５２は、画面分割処理部５１から供給されるタイル単位の画像データをタイルごとに符号化し、ビデオストリームを生成する。画像符号化処理部５２は、各タイルのビデオストリームを画像ファイル生成部５３に供給する。
　画像ファイル生成部５３は、画像符号化処理部５２から供給される各タイルのビデオストリームをセグメント単位でファイル化し、その結果得られる各タイルの画像ファイルをMPD生成部５７に供給する。
　画像情報生成部５４は、画面分割処理部５１から供給されるタイル位置情報と外部から入力される画枠サイズ情報とを画像情報としてMPD生成部５７に供給する。
　音声符号化処理部５５は、外部から入力される動画コンテンツのオブジェクト単位の音声データをオブジェクトごとに符号化し、オーディオストリームを生成する。また、音声符号化処理部５５は、外部から入力される各オブジェクトのオブジェクト位置情報、オブジェクトＩＤ等を含むオーディオメタデータを符号化し、符号化データを生成する。音声符号化処理部５５は、各オブジェクトのオーディオストリームとオーディオメタデータの符号化データとを音声ファイル生成部５６に供給する。
　音声ファイル生成部５６は、音声ファイル生成部として機能し、音声符号化処理部５５から供給される各オブジェクトのオーディオストリームをセグメント単位でファイル化し、その結果得られる各オブジェクトの音声ファイルをMPD生成部５７に供給する。
　また、音声ファイル生成部５６は、メタファイル生成部として機能し、音声符号化処理部５５から供給されるオーディオメタデータの符号化データをセグメント単位でファイル化し、その結果得られる音声メタファイルをMPD生成部５７に供給する。
　MPD生成部５７は、画像ファイル生成部５３から供給される各タイルの画像ファイルを格納するWebサーバ１２のURL等を決定する。また、MPD生成部５７は、音声ファイル生成部５６から供給される各タイルの音声ファイルと音声メタファイルを格納するWebサーバ１２のURL等を決定する。
　MPD生成部５７は、画像情報生成部５４から供給される画像情報をMPDファイルの画像用の「AdaptationSet」に配置する。また、MPD生成部５７は、画像情報のうちの画枠サイズ情報をMPDファイルの音声用の「AdaptationSet」に配置する。MPD生成部５７は、各タイルの画像ファイルのURL等を、そのタイルの画像ファイル用の「Representation」の「Segment」に配置する。
　MPD生成部５７は、各オブジェクトの画像ファイルのURL等を、そのオブジェクトの音声ファイル用の「Representation」の「Segment」に配置する。また、MPD生成部５７は、情報生成部として機能し、音声メタファイルを特定する情報としてのURL等を音声メタファイル用の「Representation」の「Segment」に配置する。MPD生成部５７は、以上のようにして各種の情報が配置されたMPDファイル、並びに、画像ファイル、音声ファイル、および音声メタファイルをサーバアップロード処理部５８に供給する。
　サーバアップロード処理部５８は、MPD生成部５７から供給される各タイルの画像ファイル、各オブジェクトの音声ファイル、音声メタファイル、およびMPDファイルを、Webサーバ１２にアップロードする。
　（ファイル生成装置の処理の説明）
　図１２は、図１１のファイル生成装置１１のファイル生成処理を説明するフローチャートである。
　図１２のステップＳ１１において、ファイル生成装置１１の画面分割処理部５１は、外部から入力される動画コンテンツの画像データをタイル単位に分割する。画面分割処理部５１は、タイル位置情報を画像情報生成部５４に供給する。また、画面分割処理部５１は、タイル単位の画像データを画像符号化処理部５２に供給する。
　ステップＳ１２において、画像符号化処理部５２は、画面分割処理部５１から供給されるタイル単位の画像データをタイルごとに符号化し、各タイルのビデオストリームを生成する。画像符号化処理部５２は、各タイルのビデオストリームを画像ファイル生成部５３に供給する。
　ステップＳ１３において、画像ファイル生成部５３は、画像符号化処理部５２から供給される各タイルのビデオストリームをセグメント単位でファイル化し、各タイルの画像ファイルを生成する。画像ファイル生成部５３は、各タイルの画像ファイルをMPD生成部５７に供給する。
　ステップＳ１４において、画像情報生成部５４は、外部から画枠サイズ情報を取得する。ステップＳ１５において、画像情報生成部５４は、画面分割処理部５１から供給されるタイル位置情報と画枠サイズ情報とを含む画像情報を生成し、MPD生成部５７に供給する。
　ステップＳ１６において、音声符号化処理部５５は、外部から入力される動画コンテンツのオブジェクト単位の音声データをオブジェクトごとに符号化し、各オブジェクトのオーディオストリームを生成する。また、音声符号化処理部５５は、外部から入力される各オブジェクトのオブジェクト位置情報、オブジェクトＩＤ等を含むオーディオメタデータを符号化し、符号化データを生成する。音声符号化処理部５５は、各オブジェクトのオーディオストリームとオーディオメタデータの符号化データとを音声ファイル生成部５６に供給する。
　ステップＳ１７において、音声ファイル生成部５６は、音声符号化処理部５５から供給される各オブジェクトのオーディオストリームをセグメント単位でファイル化し、各オブジェクトの音声ファイルを生成する。また、音声ファイル生成部５６は、音声符号化処理部５５から供給されるオーディオメタデータの符号化データをセグメント単位でファイル化し、音声メタファイルを生成する。音声ファイル生成部５６は、各オブジェクトの音声ファイルと音声メタファイルをMPD生成部５７に供給する。
　ステップＳ１８において、MPD生成部５７は、画像情報生成部５４から供給される画像情報、各ファイルのURL等を含むMPDファイルを生成する。MPD生成部５７は、MPDファイル、各タイルの画像ファイル、各オブジェクトの音声ファイル、および音声メタファイルをサーバアップロード処理部５８に供給する。
　ステップＳ１９において、サーバアップロード処理部５８は、MPD生成部５７から供給される各タイルの画像ファイル、各オブジェクトの音声ファイル、音声メタファイル、およびMPDファイルを、Webサーバ１２にアップロードする。そして、処理は終了する。
　（動画再生端末の機能的構成例）
　図１３は、図１の動画再生端末１４が制御用ソフトウエア２１、動画再生ソフトウエア２２、およびアクセス用ソフトウエア２３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
　図１３のストリーミング再生部９０は、MPD取得部９１、MPD処理部９２、メタファイル取得部９３、音声選択部９４、音声ファイル取得部９５、音声復号処理部９６、音声合成処理部９７、画像選択部９８、画像ファイル取得部９９、画像復号処理部１００、および画像合成処理部１０１により構成される。
　ストリーミング再生部９０のMPD取得部９１は、受け取り部として機能し、Webサーバ１２からMPDファイルを取得し、MPD処理部９２に供給する。
　MPD処理部９２は、MPD取得部９１から供給されるMPDファイルから音声メタファイル用の「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部９３に供給する。また、MPD処理部９２は、MPDファイルから画像用の「AdaptationSet」に記述される画枠サイズ情報を抽出し、音声選択部９４に供給する。MPD処理部９２は、MPDファイルから、音声選択部９４から要求されるオブジェクトの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声選択部９４に供給する。
　MPD処理部９２は、MPDファイルから画像用の「AdaptationSet」に記述されるタイル位置情報を抽出し、画像選択部９８に供給する。MPD処理部９２は、MPDファイルから、画像選択部９８から要求されるタイルの画像ファイル用の「Segment」に記述されるURL等の情報を抽出し、画像選択部９８に供給する。
　メタファイル取得部９３は、MPD処理部９２から供給されるURL等の情報に基づいて、そのURLで特定される音声メタファイルをWebサーバ１２に要求し、取得する。メタファイル取得部９３は、音声メタファイルに含まれるオブジェクト位置情報を音声選択部９４に供給する。
　音声選択部９４は、位置決定部として機能し、MPD処理部９２から供給される画枠サイズ情報とメタファイル取得部９３から供給されるオブジェクト位置情報とに基づいて、各オブジェクトの画像上の位置を算出する。音声選択部９４は、各オブジェクトの画像上の位置に基づいて、ユーザにより指定される表示領域内のオブジェクトを選択する。音声選択部９４は、選択されたオブジェクトの音声ファイルのURL等の情報をMPD処理部９２に要求する。音声選択部９４は、その要求に応じてMPD処理部９２から供給されるURL等の情報を音声ファイル取得部９５に供給する。
　音声ファイル取得部９５は、受け取り部として機能し、音声選択部９４から供給されるURL等の情報に基づいて、そのURLで特定されるオブジェクト単位の音声ファイルをWebサーバ１２に要求し、取得する。音声ファイル取得部９５は、取得されたオブジェクト単位の音声ファイルを音声復号処理部９６に供給する。
　音声復号処理部９６は、音声ファイル取得部９５から供給されるオブジェクト単位の音声ファイルに含まれるオーディオストリームを復号し、オブジェクト単位の音声データを生成する。音声復号処理部９６は、そのオブジェクト単位の音声データを音声合成処理部９７に供給する。
　音声合成処理部９７は、音声復号処理部９６から供給されるオブジェクト単位の音声データを合成し、出力する。
　画像選択部９８は、MPD処理部９２から供給されるタイル位置情報に基づいて、ユーザにより指定される表示領域内のタイルを選択する。画像選択部９８は、選択されたタイルの画像ファイルのURL等の情報をMPD処理部９２に要求する。画像選択部９８は、その要求に応じてMPD処理部９２から供給されるURL等の情報を画像ファイル取得部９９に供給する。
　画像ファイル取得部９９は、画像選択部９８から供給されるURL等の情報に基づいて、そのURLで特定されるタイル単位の画像ファイルをWebサーバ１２に要求し、取得する。画像ファイル取得部９９は、取得されたタイル単位の画像ファイルを画像復号処理部１００に供給する。
　画像復号処理部１００は、画像ファイル取得部９９から供給されるタイル単位の画像ファイルに含まれるビデオストリームを復号し、タイル単位の画像データを生成する。画像復号処理部１００は、そのタイル単位の画像データを画像合成処理部１０１に供給する。
　画像合成処理部１０１は、画像復号処理部１００から供給されるタイル単位の画像データを合成し、出力する。
　（動画再生端末の処理の説明）
　図１４は、動画再生端末１４のストリーミング再生部９０（図１３）のストリーミング再生処理を説明するフローチャートである。
　図１４のステップＳ３１において、ストリーミング再生部９０のMPD取得部９１は、Webサーバ１２からMPDファイルを取得し、MPD処理部９２に供給する。
　ステップＳ３２において、MPD処理部９２は、MPD取得部９１から供給されるMPDファイルから、画像用の「AdaptationSet」に記述される画枠サイズ情報とタイル位置情報を取得する。MPD処理部９２は、画枠サイズ情報を音声選択部９４に供給し、タイル位置情報を画像選択部９８に供給する。また、MPD処理部９２は、音声メタファイル用の「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部９３に供給する。
　ステップＳ３３において、メタファイル取得部９３は、MPD処理部９２から供給されるURL等の情報に基づいて、そのURLで特定される音声メタファイルをWebサーバ１２に要求し、取得する。メタファイル取得部９３は、音声メタファイルに含まれるオブジェクト位置情報を音声選択部９４に供給する。
　ステップＳ３４において、音声選択部９４は、MPD処理部９２から供給される画枠サイズ情報とメタファイル取得部９３から供給されるオブジェクト位置情報とに基づいて、ユーザにより指定される表示領域内のオブジェクトを選択する。音声選択部９４は、選択されたオブジェクトの音声ファイルのURL等の情報をMPD処理部９２に要求する。
　MPD処理部９２は、MPDファイルから、音声選択部９４から要求されるオブジェクトの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声選択部９４に供給する。音声選択部９４は、MPD処理部９２から供給されるURL等の情報を音声ファイル取得部９５に供給する。
　ステップＳ３５において、音声ファイル取得部９５は、音声選択部９４から供給されるURL等の情報に基づいて、そのURLで特定される、選択されたオブジェクトの音声ファイルをWebサーバ１２に要求し、取得する。音声ファイル取得部９５は、取得されたオブジェクト単位の音声ファイルを音声復号処理部９６に供給する。
　ステップＳ３６において、画像選択部９８は、MPD処理部９２から供給されるタイル位置情報に基づいて、ユーザにより指定される表示領域内のタイルを選択する。画像選択部９８は、選択されたタイルの画像ファイルのURL等の情報をMPD処理部９２に要求する。
　MPD処理部９２は、MPDファイルから、画像選択部９８から要求されるオブジェクトの画像ファイル用の「Segment」に記述されるURL等の情報を抽出し、画像選択部９８に供給する。画像選択部９８は、MPD処理部９２から供給されるURL等の情報を画像ファイル取得部９９に供給する。
　ステップＳ３７において、画像ファイル取得部９９は、画像選択部９８から供給されるURL等の情報に基づいて、そのURLで特定される、選択されたタイルの画像ファイルをWebサーバ１２に要求し、取得する。画像ファイル取得部９９は、取得されたタイル単位の画像ファイルを画像復号処理部１００に供給する。
　ステップＳ３８において、音声復号処理部９６は、音声ファイル取得部９５から供給されるオブジェクト単位の音声ファイルに含まれるオーディオストリームを復号し、オブジェクト単位の音声データを生成する。音声復号処理部９６は、そのオブジェクト単位の音声データを音声合成処理部９７に供給する。
　ステップＳ３９において、画像復号処理部１００は、画像ファイル取得部９９から供給されるタイル単位の画像ファイルに含まれるビデオストリームを復号し、タイル単位の画像データを生成する。画像復号処理部１００は、そのタイル単位の画像データを画像合成処理部１０１に供給する。
　ステップＳ４０において、音声合成処理部９７は、音声復号処理部９６から供給されるオブジェクト単位の音声データを合成し、出力する。ステップＳ４１において、画像合成処理部１０１は、画像復号処理部１００から供給されるタイル単位の画像データを合成し、出力する。そして、処理は終了する。
　以上のように、Webサーバ１２は画枠サイズ情報とオブジェクト位置情報を伝送する。従って、動画再生端末１４は、例えば、表示領域内のオブジェクトを特定し、そのオブジェクトの音声ファイルを、表示領域内の画像に対応する音声ファイルとして選択的に取得することができる。このように、動画再生端末１４は必要な音声ファイルのみを取得することができるので、伝送効率は向上する。
　なお、図１５に示すように、MPDファイルの画像用の「AdaptationSet」には、その画像と同時に再生したい音声に対応するオブジェクトを特定する情報としてのオブジェクトＩＤ（オブジェクト特定情報）が、記述されるようにしてもよい。この記述は、例えば、ViewpointのDescriptorType elementを活用して新たにオブジェクトＩＤ情報（audioObj）を定義するためのScheme(urn:mpeg:DASH:audioObj:2013)を拡張することにより、行われる。この場合、動画再生端末１４は、画像用の「AdaptationSet」に記述されたオブジェクトＩＤに対応するオブジェクトの音声ファイルを選択し、取得して再生する。
　また、オブジェクト単位で音声ファイルが生成されるのではなく、全てのオブジェクトの符号化データが１本のオーディオストリームに多重化され、１つの音声ファイルが生成されるようにしてもよい。
　この場合、図１６に示すように、MPDファイルの音声用の「AdaptationSet」には、音声ファイル用の「Representation」が１つ設けられ、「Segment」に、全てのオブジェクトの符号化データを含む音声ファイル（audioObje.mp4）のURL等が記述される。このとき、Viewpointを拡張することにより、音声ファイルに対応する全てのオブジェクトのオブジェクトＩＤ(1,2,3,4,5)も記述される。
　また、この場合、図１７に示すように、MPDファイルの「Media Segment」を参照して取得される音声ファイル（以下、適宜、音声メディアファイルともいう）のmdat boxには、サブサンプルとして、各オブジェクトの符号化データ（Audio object）が配置される。
　具体的には、音声メディアファイルには、セグメントより短い任意の時間であるサブセグメント単位でデータが配置される。このサブセグメント単位のデータの位置は、sidx boxにより指定される。また、サブセグメント単位のデータは、moof boxとmdat boxにより構成される。mdat boxは、複数のサンプルにより構成されるが、そのサンプルの各サブサンプルとして、各オブジェクトの符号化データが配置される。
　また、音声メディアファイルのsidx boxの後には、サンプルの情報を記述するgsix boxが配置される。このように、サンプルの情報を記述するgsix boxが、moof boxとは別に設けられるので、動画再生端末１４は、サンプルの情報を素早く取得することができる。
　gsix boxには、図１８に示すように、このgsix boxで管理する１以上のサンプルまたはサブサンプルからなるSample group entryの種別を表すgrouping_typeが記述される。例えば、Sample group entryが、オブジェクト単位の符号化データのサブサンプルである場合、図１７に示すように、Sample group entryの種別は「obja」である。音声メディアファイルには、複数のgrouping_typeのgsix boxが配置される。
　また、図１８に示すように、gsix boxには、各Sample group entryのインデックス（entry_index）と、音声メディアファイル内の位置を表すデータ位置情報としてのバイトレンジ（range_size）とが記述される。なお、インデックス（entry_index）が０である場合、対応するバイトレンジは、moof boxのバイトレンジ（図１７の例ではa1）を表している。
　MPDファイルの「Initialization Segment」を参照して取得される音声ファイル（以下、適宜、音声初期化ファイルともいう）には、各Sample group entryが、どのオブジェクトの符号化データのサブサンプルであるかを表す情報が記述される。
　具体的には、図１９に示すように、音声初期化ファイルのsbtl boxのsample group description box(sgpd)のAudioObjectSampleGroupEntryと対応付けられる、mvex boxのtype assignment box（typa）を用いて、その情報が表される。
　即ち、図２０のＡに示すように、AudioObjectSampleGroupEntryには、サンプルに含まれる符号化データに対応するオブジェクトＩＤ（audio_object_id）が１つずつ記述される。例えば、図２０のＢに示すように、４つのAudioObjectSampleGroupEntryのそれぞれに、オブジェクトＩＤとして、1,2,3,4が記述される。
　一方、図２１に示すように、type assignment boxには、AudioObjectSampleGroupEntryごとに、そのAudioObjectSampleGroupEntryに対応するSample group entryのパラメータ（grouping_type_parameter）として、インデックスが記述される。
　以上のように音声メディアファイルと音声初期化ファイルが構成される。従って、動画再生端末１４が、表示領域内のオブジェクトとして選択されたオブジェクトの符号化データを取得する際、音声初期化ファイルのstbl boxから、選択されたオブジェクトのオブジェクトＩＤが記述されたAudioObjectSampleGroupEntryが検索される。そして、mvex boxから、検索されたAudioObjectSampleGroupEntryに対応するSample group entryのインデックスが読み出される。そして、音声ファイルのsidxからサブセグメント単位のデータの位置が読み出され、gsixから、読み出されたインデックスのSample group entryのバイトレンジが読み出される。そして、サブセグメント単位のデータの位置とバイトレンジとに基づいて、mdat内に配置されている符号化データが取得される。これにより、選択されたオブジェクトの符号化データが取得される。
　なお、上述した説明では、Sample group entryのインデックスとAudioObjectSampleGroupEntryのオブジェクトＩＤが、mvex boxを介して対応付けられたが、直接対応付けられるようにしてもよい。この場合、Sample group entryのインデックスが、AudioObjectSampleGroupEntryに記述される。
　また、音声ファイルが複数のtrackから構成される場合、sgpdをmvexに格納すると、track間でsgpdを共用できる。
　＜第２実施の形態＞
　（第２実施の形態の概要）
　図２２は、本開示を適用した情報処理システムの第２実施の形態の概要を説明する図である。
　なお、図２２において、図３と同一のものには、同一の符号を付してある。
　図２２の例では、図３の場合と同様に、動画コンテンツの画像は、５（縦）×７（横）のタイルに分割されており、動画コンテンツの音声として、オブジェクト＃１乃至＃８の音声が取得されている。
　この場合に、ユーザにより、２（縦）×３（横）個のタイルからなる表示領域３１が指定されると、第２実施の形態では、図２２に示すように、その表示領域３１が、動画コンテンツの画像のサイズと同一のサイズに変換(拡大)され、表示画像１１１とされる。そして、表示画像１１１におけるオブジェクト＃１乃至＃８の位置に基づいて、オブジェクト＃１乃至＃８の音声が合成され、表示画像１１１とともに出力される。即ち、表示領域３１内のオブジェクト＃１、オブジェクト＃２、およびオブジェクト＃６だけでなく、表示領域３１外のオブジェクト＃３乃至＃５、オブジェクト＃７、およびオブジェクト＃８の音声も出力される。
　（ストリーミング再生部の構成例）
　本開示を適用した情報処理システムの第２実施の形態の構成は、ストリーミング再生部の構成を除いて、図１の情報処理システム１０の構成と同一であるので、以下では、ストリーミング再生部についてのみ説明する。
　図２３は、本開示を適用した情報処理システムのストリーミング再生部の構成例を示すブロック図である。
　図２３に示す構成のうち、図１３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２３のストリーミング再生部１２０の構成は、MPD処理部９２、音声合成処理部９７、画像合成処理部１０１の代わりに、MPD処理部１２１、音声合成処理部１２３、画像合成処理部１２４が設けられる点、および、位置決定部１２２が新たに設けられる点が図１３のストリーミング再生部９０の構成と異なる。
　ストリーミング再生部１２０のMPD処理部１２１は、MPD取得部９１から供給されるMPDファイルから音声メタファイル用の「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部９３に供給する。また、MPD処理部１２１は、MPDファイルから画像用の「AdaptationSet」に記述される動画コンテンツの画像の画枠サイズ情報（以下、コンテンツ画枠サイズ情報という）を抽出し、位置決定部１２２に供給する。MPD処理部１２１は、MPDファイルから全てのオブジェクトの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声ファイル取得部９５に供給する。
　MPD処理部１２１は、MPDファイルから画像用の「AdaptationSet」に記述されるタイル位置情報を抽出し、画像選択部９８に供給する。MPD処理部１２１は、MPDファイルから、画像選択部９８から要求されるタイルの画像ファイル用の「Segment」に記述されるURL等の情報を抽出し、画像選択部９８に供給する。
　位置決定部１２２は、メタファイル取得部９３により取得された音声メタファイルに含まれるオブジェクト位置情報と、MPD処理部１２１から供給されるコンテンツ画枠サイズ情報を取得する。また、位置決定部１２２は、ユーザにより指定される表示領域の画枠サイズ情報である表示領域画枠サイズ情報を取得する。位置決定部１２２は、オブジェクト位置情報、コンテンツ画枠サイズ情報、および表示領域画枠サイズ情報に基づいて、表示画像におけるオブジェクトの位置を決定（認識）する。位置決定部１２２は、決定されたオブジェクトの位置を音声合成処理部１２３に供給する。
　音声合成処理部１２３は、位置決定部１２２から供給されるオブジェクトの位置に基づいて、音声復号処理部９６から供給されるオブジェクト単位の音声データを合成する。具体的には、音声合成処理部１２３は、オブジェクトの位置と音声を出力する各スピーカの位置とに基づいて、オブジェクトごとに、各スピーカに割り当てる音声データを決定する。そして、音声合成処理部１２３は、スピーカごとに、各オブジェクトの音声データを合成し、各スピーカの音声データとして出力する。オブジェクトの位置に基づいて各オブジェクトの音声データを合成する方法の詳細は、例えば、Ville Pulkki,“Virtual Sound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol.45, no.6, pp.456-466, 1997に記載されている。
　画像合成処理部１２４は、画像復号処理部１００から供給されるタイル単位の画像データを合成する。画像合成処理部１２４は、変換部として機能し、合成後の画像データに対応する画像のサイズを動画コンテンツのサイズに変換して、表示画像を生成する。画像合成処理部１２４は、表示画像を出力する。
　（オブジェクトの位置の決定方法の説明）
　図２４乃至図２６は、図２３の位置決定部１２２によるオブジェクトの位置の決定方法を説明する図である。
　表示画像１１１は、動画コンテンツ内の表示領域３１を抽出し、その表示領域３１のサイズを動画コンテンツのサイズに変換することにより生成される。従って、表示画像１１１は、図２４に示すように、表示領域３１の中心Cを表示画像１１１の中心C´に移動させた後、図２５に示すように、表示領域３１のサイズを動画コンテンツのサイズに変換したものと等価である。
　よって、まず、位置決定部１２２は、以下の式（１）により、表示領域３１の中心０を表示画像１１１の中心０´に移動させるときの水平方向の移動量θshiftを算出する。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、θv1´は、表示領域３１の表示領域画枠サイズ情報のうちの左端の水平角度であり、θV2´は、右端の水平角度である。また、θv1は、コンテンツ画枠サイズ情報のうちの左端の水平角度であり、θv2は、右端の水平角度である。
　次に、位置決定部１２２は、移動量θshiftを用いて、以下の式（２）により、表示領域３１の中心０を表示画像１１１の中心０´に移動させた後の表示領域３１の左端の水平角度θv1_shift´と右端の水平角度θv2_shift´を求める。
Figure JPOXMLDOC01-appb-M000002
　式（２）によれば、水平角度θv1_shift´と水平角度θv2_shift´は、-180°から180°までの範囲を超えないように求められる。
　なお、上述したように、表示画像１１１は、表示領域３１の中心０を表示画像１１１の中心０´に移動させた後、表示領域３１のサイズを動画コンテンツのサイズに変換したものと等価である。従って、水平角度θV1およびθV2については、以下の式（３）が成立する。
Figure JPOXMLDOC01-appb-M000003
　位置決定部１２２は、以上のようにして移動量θshift、水平角度θv1_shift´、および水平角度θv2_shift´を求めた後、表示画像１１１におけるオブジェクトの水平角度を求める。具体的には、位置決定部１２２は、以下の式（４）により、移動量θshiftを用いて、表示領域３１の中心Cを表示画像１１１の中心C´に移動させた後のオブジェクト＃ｉの水平角度θAi_shiftを求める。
Figure JPOXMLDOC01-appb-M000004
　式（４）において、θAiは、オブジェクト＃ｉのオブジェクト位置情報のうちの水平角度である。また、式（４）によれば、水平角度θAi_shiftは、-180°から180°までの範囲を超えないように求められる。
　次に、オブジェクト＃ｉが表示領域３１内に存在する場合、即ちθv2_shif´＜θAi_shift＜θv1_shift´である場合、位置決定部１２２は、以下の式（５）により、表示画像１１１におけるオブジェクト＃ｉの水平角度θAi´を求める。
Figure JPOXMLDOC01-appb-M000005
　式（５）によれば、表示領域３１のサイズと表示画像１１１のサイズの比に応じて、表示画像１１１におけるオブジェクト＃ｉの位置と表示画像１１１の中心C´との距離を拡大することにより、水平角度θAi´が求められる。
 一方、オブジェクト＃ｉが表示領域３１内に存在しない場合、即ち、-180°≦θAi_shift≦θv2_shift´、または、θv1_shift´≦θAi_shift≦180°である場合、位置決定部１２２は、以下の式（６）により、表示画像１１１におけるオブジェクト＃ｉの水平角度θAi´を求める。
Figure JPOXMLDOC01-appb-M000006
　式（６）によれば、図２６に示すように、オブジェクト＃ｉが表示領域３１の右側の位置１５１に存在する（-180°≦θAi_shift≦θv2_shift´）場合、角度Ｒ１と角度Ｒ２の比に応じて水平角度θAi_shiftを拡大することにより、水平角度θAi´が求められる。なお、角度Ｒ１は、表示画像１１１の右端から視聴者１５３の真後ろの位置１５４までの角度であり、角度Ｒ２は、中心の移動後の表示領域３１の右端から位置１５４までの角度である。
　また、式（６）によれば、オブジェクト＃ｉが表示領域３１の左側の位置１５５に存在する（θv1_shift´≦θAi_shift≦180°）場合、角度Ｒ３と角度Ｒ４の比に応じて水平角度θAi_shiftを拡大することにより、水平角度θAi´が求められる。なお、角度Ｒ３は、表示画像１１１の左端から位置１５４までの角度であり、角度Ｒ４は、中心の移動後の表示領域３１の左端から位置１５４までの角度である。
　また、位置決定部１２２は、水平角度θAiと水平角度θAi´に基づいて、表示画像１１１におけるオブジェクト＃ｉの垂直角度γAi´を求める。具体的には、オブジェクト＃ｉが視聴者の前方にある場合、位置決定部１２２は、垂直角度γAi´を水平角度θAi´と同様に求める。
　一方、オブジェクト＃ｉが視聴者の後方にある場合、表示領域３１が拡大されると、水平角度θAiが表すオブジェクト＃ｉの位置は視聴者の真後ろの方向に移動する。従って、垂直角度γAi´が水平角度θAi´と同様に求められると、オブジェクト＃ｉのオブジェクト位置情報のうちの垂直角度γAiが表す位置は、視聴者の真上か真下の方向に移動する。しかしながら、オブジェクト＃ｉが視聴者の後方にある場合、オブジェクト＃ｉが水平角度θAiの変更によって視聴者の前方に移動した場合を除いて、表示領域３１が拡大または縮小しても垂直角度γAi´は変化させない、または、水平角度θAiの変化方向と同一の方向に変化させることが望ましい。
　よって、水平角度θAiが表すオブジェクト＃ｉの位置と、水平角度θAi´が表すオブジェクト＃ｉの位置が、両方とも視聴者の前方である場合、即ちabs(θAi)＜90°かつabs(θAi´)＜90°である場合、位置決定部１２２は、以下の式（７）により垂直角度γAi´を求める。
Figure JPOXMLDOC01-appb-M000007
　式（７）において、γv1´は、表示領域３１の表示領域画枠サイズ情報のうちの上端の垂直角度であり、γV2´は、下端の垂直角度である。また、γv1は、コンテンツ画枠サイズ情報のうちの上端の垂直角度であり、γv2は、下端の垂直角度である。
　また、水平角度θAiが表すオブジェクト＃ｉの位置と、水平角度θAi´が表すオブジェクト＃ｉの位置が、両方とも視聴者の後方である場合、即ちabs(θAi)≧90°かつabs(θAi´≧90°である場合、位置決定部１２２は、以下の式（８）により垂直角度γAi´を求める。即ち、垂直角度γAiがそのまま垂直角度γAi´にされる。
Figure JPOXMLDOC01-appb-M000008
　さらに、水平角度θAiが表すオブジェクト＃ｉの位置と水平角度θAi´が表すオブジェクト＃ｉの位置のいずれか一方が視聴者の前方であり、他方が後方である場合、即ちabs(θAi)＜90°かつabs(θAi´)≧90°、または、abs(θAi)≧90°かつabs(θAi´)＜90°である場合、位置決定部１２２は、以下のようにして垂直角度γAi´を求める。
　即ち、この場合、オブジェクト＃ｉは視聴者の前方から後方へ、または後方から前方へ移動するため、単純にオブジェクト＃ｉが視聴者の前方または後方に位置すると決め付けることはできない。従って、この場合、オブジェクト＃ｉの水平角度が、視聴者の前方のオブジェクト＃ｉの位置を表す角度と、視聴者の左側を表す角度である90°または右側を表す角度である-90°との間を移動する段階と、90°または-90°と視聴者の後方のオブジェクト＃ｉの位置を表す角度との間を移動する段階に分けて考える必要がある。
　具体的には、位置決定部１２２は、オブジェクト＃ｉの水平角度が、90°または-90°と視聴者の後方のオブジェクト＃ｉの位置を表す角度との間を移動する段階の垂直角度γAiの移動量を０に決定する。そして、位置決定部１２２は、オブジェクト＃ｉの水平角度が、視聴者の前方のオブジェクト＃ｉの位置を表す角度と、視聴者の左側を表す角度である90°または右側を表す角度である-90°との間を移動する段階の垂直角度γAiの移動量を、式（７）と同様に求める。但し、式（９）に示すように、式（７）の垂直角度γV2´,γV2,γV1´,γV1は、式(10)で定義される垂直角度γV2f´,γV2f,γV1f´,γV1fに置換される。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　式（１０）におけるFsideは、オブジェクト＃ｉの水平角度が90°または-90°である場合の表示領域３１の垂直角度と表示画像１１１の垂直角度との比を表すものであり、以下の式（１１）により求められる。
Figure JPOXMLDOC01-appb-M000011
　式（１１）に示すように、Fsideは、オブジェクト＃ｉの水平角度が90°または-90°である場合の表示領域３１の水平角度と表示画像１１１の水平角度の比にTransForm_Factorを乗じることで求められる。
　式（１１）におけるTransForm_Factorは、垂直角度γv1、γv2と水平角度θv1、θv2の比を表すファクタであり、以下の式（１２）で表される。このファクタTransForm_Factorを用いて、水平角度の変化量に対応する垂直角度の変化量を推定することができる。
Figure JPOXMLDOC01-appb-M000012
　以上のように、オブジェクト＃ｉが視聴者の前方から後方へ移動する場合、即ちabs(θAi)＜90°かつabs(θAi´)≧90°である場合、オブジェクト＃ｉの垂直角度の変化量は、オブジェクト＃ｉの水平角度が水平角度θAiから90°または-90°まで移動する場合の変化量となる。従って、式（７）のγV1´とγV2´は、abs(θAi´)＝90°である場合の画枠サイズ、即ち、Fsideと垂直角度γv1とγv2の積となる。
　また、オブジェクト＃ｉが視聴者の後方から前方へ移動する場合、即ちabs(θAi)≧90°かつabs(θAi´)＜90°である場合、オブジェクト＃ｉの垂直角度の変化量は、オブジェクト＃ｉの水平角度が90°または-90°から水平角度θAi´まで移動する場合の変化量となる。従って、式（７）のγv1とγv2は、Fsideと垂直角度γv1とγv2の積となる。
　ここでは、オブジェクト＃ｉが視聴者の後方にある場合の垂直角度は変化しないものするが、垂直角度は、水平角度と同じ方向に変化してもよい。即ち、水平角度が表す位置が視聴者の真後ろの方向に移動する場合には、垂直角度が表す位置も視聴者の真後ろの方向に移動し、水平角度が表す位置が視聴者の真正面の方向に移動する場合には、垂直角度が表す位置も視聴者の真正面の方向に移動するようにしてもよい。
　また、位置決定部１２２は、表示画像１１１におけるオブジェクト＃ｉの距離ｒAi´を、オブジェクト＃ｉのオブジェクト位置情報のうちの距離ｒAiに決定する。位置決定部１２２は、以上のようにして求められるオブジェクト＃ｉの水平角度θAi´、垂直角度γAi´、および距離ｒAiを、オブジェクト＃iの位置として、音声合成処理部１２３に供給する。
　図２７は、水平角度θAiと水平角度θAi´の関係を表す図である。
　図２７のグラフにおいて、横軸は、水平角度θAiを表し、縦軸は、水平角度θAi´を表す。
　図２７に示すように、θV2´＜θAi＜θV1´である場合、水平角度θAiは、移動量θshiftだけ移動され、拡大されることにより、水平角度θAi´になる。また、-180°≦θAi≦θv2´、または、θv1´≦θAi≦180°である場合、水平角度θAiは、移動量θshiftだけ移動され、縮小されることにより、水平角度θAi´になる。
　図２８は、垂直角度γv1´と垂直角度γAi´の関係を表す図である。
　図２８のグラフにおいて、横軸は、垂直角度γv1´を表し、縦軸は、垂直角度γAi´を表す。
　図２８の例では、水平角度θAiと垂直角度γAiが45°である。また、垂直角度γv1,γv2は、水平角度θv1,θv2と同一の比率で変化する。即ち、TransForm_Factor＝１である。また、θv1＝29°、θv2＝-29°、γv1＝17.5°、γv2＝-17.5である。
　この場合、図２８に示すように、0°＜γv1´＜（Fside*γv1）である場合、垂直角度γAi´は、表示画像１１１の垂直方向の画枠サイズが大きいほど、大きくなる。また、（Fside*γv1）≦γv1´≦90°である場合、垂直角度γAi´は、表示画像１１１の垂直方向の画枠サイズの大きさによらず、γv1´＝（Fside*γv1）のとき、即ちオブジェクト＃ｉの水平角度θAi´が90°のときの垂直角度γAi´のままになる。
　（ストリーミング再生部の処理の説明）
　図２９は、図２３のストリーミング再生部１２０のストリーミング再生処理を説明するフローチャートである。
　図２９のステップＳ１３１において、ストリーミング再生部１２０のMPD取得部９１は、Webサーバ１２からMPDファイルを取得し、MPD処理部１２１に供給する。
　ステップＳ１３２において、MPD処理部１２１は、MPD取得部９１から供給されるMPDファイルから、画像用の「AdaptationSet」に記述されるコンテンツ画枠サイズ情報とタイル位置情報を取得する。MPD処理部１２１は、画枠サイズ情報を位置決定部１２２に供給し、タイル位置情報を画像選択部９８に供給する。また、MPD処理部１２１は、音声メタファイル用の「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部９３に供給する。
　ステップＳ１３３において、メタファイル取得部９３は、MPD処理部１２１から供給されるURL等の情報に基づいて、そのURLで特定される音声メタファイルをWebサーバ１２に要求し、取得する。メタファイル取得部９３は、音声メタファイルに含まれるオブジェクト位置情報を位置決定部１２２に供給する。
　ステップＳ１３４において、位置決定部１２２は、オブジェクト位置情報、コンテンツ画枠サイズ情報、および表示領域画枠サイズ情報に基づいて、表示画像におけるオブジェクトの位置を決定する位置決定処理を行う。この位置決定処理の詳細は、後述する図３０を参照して説明する。
　ステップＳ１３５において、MPD処理部１２１は、MPDファイルから全てのオブジェクトの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声ファイル取得部９５に供給する。
　ステップＳ１３６において、音声ファイル取得部９５は、MPD処理部１２１から供給されるURL等の情報に基づいて、そのURLで特定される全てのオブジェクトの音声ファイルをWebサーバ１２に要求し、取得する。音声ファイル取得部９５は、取得されたオブジェクト単位の音声ファイルを音声復号処理部９６に供給する。
　ステップＳ１３７乃至Ｓ１４０の処理は、図１４のステップＳ３６乃至Ｓ３９の処理と同様であるので、説明は省略する。
　ステップＳ１４１において、音声合成処理部１２３は、位置決定部１２２から供給されるオブジェクトの位置に基づいて、音声復号処理部９６から供給されるオブジェクト単位の音声データを合成し、出力する。
　ステップＳ１４２において、画像合成処理部１２４は、画像復号処理部１００から供給されるタイル単位の画像データを合成する。
　ステップＳ１４３において、画像合成処理部１２４は、合成後の画像データに対応する画像のサイズを動画コンテンツのサイズに変換し、表示画像を生成する。そして、画像合成処理部１２４は、表示画像を出力し、処理を終了する。
　図３０は、図２９のステップＳ１３４の位置決定処理の詳細を説明するフローチャートである。この位置決定処理は、例えば、オブジェクトごとに行われる。
　図３０のステップＳ１５１において、位置決定部１２２は、表示画像における水平角度θAi´を推定する水平角度θAi´推定処理を行う。この水平角度θAi´推定処理の詳細は、後述する図３１を参照して説明する。
　ステップＳ１５２において、位置決定部１２２は、表示画像における垂直角度γAi´を推定する垂直角度γAi´推定処理を行う。この垂直角度γAi´推定処理の詳細は、水平方向が垂直方向に代わる点を除いて、ステップＳ１５１の水平角度θAi´推定処理と同様であるので、詳細な説明は省略する。
　ステップＳ１５３において、位置決定部１２２は、表示画像における距離ｒAi´を、メタファイル取得部９３から供給されるオブジェクト位置情報のうちの距離ｒAiに決定する。
　ステップＳ１５４において、位置決定部１２２は、水平角度θAi´、垂直角度γAi´、および距離ｒAiを、オブジェクト＃ｉの位置として音声合成処理部１２３に出力する。そして、処理は、図２９のステップＳ１３４に戻り、ステップＳ１３５に進む。
　図３１は、図３０のステップＳ１５１の水平角度θAi´推定処理の詳細を説明するフローチャートである。
　図３１のステップＳ１７１において、位置決定部１２２は、メタファイル取得部９３から供給されるオブジェクト位置情報のうちの水平角度θAiを取得する。
　ステップＳ１７２において、位置決定部１２２は、MPD処理部１２１から供給されるコンテンツ画枠サイズ情報と、ユーザにより指定される表示領域画枠サイズ情報を取得する。
　ステップS１７３において、位置決定部１２２は、コンテンツ画枠サイズ情報と表示領域画枠サイズ情報に基づいて、上述した式（１）により、移動量θshiftを算出する。
　ステップS１７４において、位置決定部１２２は、移動量θshiftと表示領域画枠サイズを用いて、上述した式（２）により、水平角度θv1_shift´およびθv2_shift´を算出する。
　ステップＳ１７５において、位置決定部１２２は、水平角度θAiと移動量θshiftを用いて、上述した式（４）により、水平角度θAi_shiftを求める。
　ステップＳ１７６において、位置決定部１２２は、オブジェクト＃ｉが表示領域３１内に存在する（オブジェクト＃ｉの水平角度が表示領域３１の両端の水平角度の間である）かどうか、即ちθv2_shift´＜θAi_shift＜θv1_shift´であるかどうかを判定する。
　ステップＳ１７６でオブジェクト＃ｉが表示領域３１内に存在すると判定された場合、即ちθv2_shift´＜θAi_shift＜θv1_shift´である場合、処理はステップＳ１７７に進む。ステップＳ１７７において、位置決定部１２２は、コンテンツ画枠サイズ情報、水平角度θv1_shift´およびθv2_shift´、並びに水平角度θAi_shiftに基づいて、上述した式（５）により水平角度θAi´を算出する。
　一方、ステップＳ１７６でオブジェクト＃ｉが表示領域３１内に存在しないと判定された場合、即ち、-180°≦θAi_shift≦θv2_shift´、または、θv1_shift´≦θAi_shift≦180°である場合、処理はステップＳ１７８に進む。ステップＳ１７８において、位置決定部１２２は、コンテンツ画枠サイズ情報、水平角度θv1_shift´またはθv2_shift´、および水平角度θAi_shiftに基づいて、上述した式（６）により水平角度θAi´を算出する。
　ステップＳ１７７またはステップＳ１７８の処理後、処理は、図３０のステップＳ１５１に戻り、処理はステップＳ１５２に進む。
　なお、第２実施の形態では、表示画像のサイズが動画コンテンツのサイズと同一であるようにしたが、異なっていてもよい。
　また、第２実施の形態において、全てのオブジェクトの音声データが合成されて出力されるのではなく、一部のオブジェクト(例えば、表示領域内のオブジェクト、表示領域から所定の範囲内のオブジェクト等)の音声データのみが合成されて出力されるようにしてもよい。出力する音声データのオブジェクトの選択方法は、予め決定されていてもよいし、ユーザにより指定されるようにしてもよい。
　＜第３実施の形態＞
　（表示画像におけるオブジェクトの位置の決定方法の説明）
　本開示を適用した情報処理システムの第３実施の形態は、図２３の位置決定部１２２による表示画像におけるオブジェクトの位置の決定方法を除いて、第２実施の形態と同一であるため、以下では、図２３の位置決定部１２２による表示画像におけるオブジェクトの位置の決定方法についてのみ説明する。
　視聴者が動画コンテンツを試聴する場合、視聴者から画枠への距離が変化すると、視聴者から見る画枠の角度もそれに応じて変化する。例えば、視聴者が画枠に近づくと、画枠は大きく見えるようになり、画枠から遠くなると、画枠は小さく見えるようになる。従って、表示領域や画枠サイズの変化は、視聴者の移動によって表現することができる。そこで、第３実施の形態では、視聴者の移動によって表示領域のサイズ変更が表現される。
　図３２乃至図３５は、本開示を適用した情報処理システムの第３実施の形態における表示画像におけるオブジェクトの位置の決定方法を説明する図である。
　図３２と図３３は、動画コンテンツ内の表示領域３１のサイズを変更する前の状態を説明する図である。図３２は、視聴者の頭頂部から見た上面図であり、図３２は視聴者の右側から見た側面図である。
　図３４と図３５は、視聴者が移動し、視聴者の移動によって視聴者から見る表示領域３１のサイズが動画コンテンツのサイズと同じサイズになった場合の状態を説明する図である。図３４は視聴者の頭頂部から見た上面図であり、図３５は視聴者の右側から見た側面図である。
　図３２乃至図３５に示すように、表示領域３１の内部にあるオブジェクト＃１、並びに、表示領域３１の外部にあるオブジェクト＃２およびオブジェクト＃３と、視聴者との相対的位置関係は、視聴者の移動によって変化する。よって、位置決定部１２２は、表示領域３１のサイズを動画コンテンツのサイズに変更した場合のオブジェクト位置情報、即ち表示画像におけるオブジェクト位置情報を、視聴者の移動によって変更されたオブジェクトのオブジェクト位置情報を求めることで推定する。
　具体的には、まず、位置決定部１２２は、式（１３）により、移動前の表示領域３１の横幅ScreenWidth、左端から中央までの幅ScreenLeftWidth、および上端から中央までの高さScreenTopHeightを求める。
Figure JPOXMLDOC01-appb-M000013
　式（１３）において、ｒvは、視聴者から画枠までの距離であり、θv1´は、表示領域３１の表示領域画枠サイズ情報のうちの左端の水平角度であり、θV2´は、右端の水平角度であり、γv1´は、上端の垂直角度である。
　次に、位置決定部１２２は、式（１４）により、視聴者の移動によって視聴者から見る表示領域３１のサイズが動画コンテンツのサイズと同じサイズになった場合の、視聴者から画枠までの距離ｒv´を推定する。
Figure JPOXMLDOC01-appb-M000014
　式（１４）において、θv1は、移動後の表示領域３１の表示領域画枠サイズ情報、即ち、コンテンツ画枠サイズ情報のうちの左端の水平角度であり、θv2は、右端の水平角度である。
　次に、位置決定部１２２は、式（１５）により、視聴者の移動によって視聴者から見る表示領域３１のサイズが動画コンテンツのサイズと同じサイズになった場合の、視聴者の前後方向の移動量Lengthshift、左右方向の移動量Widthshif、および上下方向の移動量Heightshiftを推定する。
Figure JPOXMLDOC01-appb-M000015
　式（１５）において、γv1は、移動後の表示領域３１の表示領域画枠サイズ情報、即ち、コンテンツ画枠サイズ情報のうちの上端の垂直角度である。また、FAspect_ratioは、移動前と移動後の視聴者から見る表示領域３１の垂直方向の幅と水平方向の幅との比の変化量を表すファクタであり、以下の式（１６）で表される。このファクタFAspect_ratioを用いて、水平方向の幅の変化量に対応する垂直方向の幅の変化量を推定することができる。
Figure JPOXMLDOC01-appb-M000016
　式（１６）において、γv2は、移動後の表示領域３１の表示領域画枠サイズ情報、即ち、コンテンツ画枠サイズ情報のうちの下端の垂直角度である。γv２´は、表示領域３１の表示領域画枠サイズ情報のうちの下端の垂直角度である。
　最後に、以上により求められた情報を用いて、位置決定部１２２は、表示画像におけるオブジェクトのオブジェクト位置情報を推定する。
　具体的には、オブジェクトが表示領域３１上に存在する場合、即ち、θv2´≦θAi≦θv1´かつγv2´≦γAi≦γv1´である場合（図３２乃至図３５の例では、オブジェクト＃１である場合）、位置決定部１２２は、以下の式（１７）により、表示画像におけるオブジェクト位置情報を推定する。
Figure JPOXMLDOC01-appb-M000017
　式（１７）において、θAi´は、移動後のオブジェクト＃ｉの水平角度であり、θAiは、移動前のオブジェクト＃ｉの水平角度である。γA1´は、移動後のオブジェクト＃ｉの垂直角度であり、垂直角度γAiは、移動前のオブジェクト＃ｉの水平角度である。ｒAi´は、移動後のオブジェクト＃ｉの距離であり、ｒAiは、移動前のオブジェクト＃ｉの距離である。
　一方、オブジェクトが表示領域３１上に存在しない場合、即ち、θv2´≦θAi≦θv1´かつγv2´≦γAi≦γv1´ではない場合（図３２乃至図３５の例では、オブジェクト＃２とオブジェクト＃３である場合）、位置決定部１２２は、以下の式（１８）により、表示画像におけるオブジェクト位置情報を推定する。
Figure JPOXMLDOC01-appb-M000018
なお、式（１８）は、以下の式（１９）のように変形してもよい。
Figure JPOXMLDOC01-appb-M000019
　式（１９）において、xAi´、yv1´、zAi´は、それぞれ、移動後のオブジェクト＃ｉのxyz座標系における前後方向（奥行き方向）の位置、左右方向の位置、上下方向の位置である。式（１９）は、式（１８）の変形で得られたものであり、式（１８）と式（１９）は、等価である。
　ここでは、視聴者から画枠までの距離ｒvと移動前のオブジェクト＃ｉの距離ｒAiを用いて、移動後のオブジェクト位置情報を推定したが、ｒvとｒAiのいずれかが与えられていない場合は、ｒv＝ｒAiと仮定しても良い。さらに、両方が与えられていない場合は、ｒv＝ｒAi＝１と仮定しても良い。
　なお、ｒvとｒAiの少なくとも一方が与えられていない場合には、視聴者の前後方向の移動量がｒvを超えないようにするために、式（１４）で求められたｒv´が2*ｒvを超えないという制限を設けても良い。即ち、式（１４）で求められたｒv´を用いて、ｒv´=min（2*ｒv,ｒv´）という式により、最終的なｒv´を求めるようにしてもよい。
　（ストリーミング再生部の処理の説明）
　本開示を適用した情報処理システムの第３実施の形態のストリーミング再生部によるストリーミング再生処理は、ステップＳ１３４の位置決定処理を除いて図２９のストリーミング再生処理と同一であるため、以下では、位置決定処理についてのみ説明する。
　図３６は、本開示を適用した情報処理システムの第３実施の形態における位置決定処理の詳細を説明するフローチャートである。
　図３６のステップＳ１８１において、位置決定部１２２は、移動前の表示領域３１の表示領域画枠サイズ情報とコンテンツ画枠サイズ情報を取得する。具体的には、位置決定部１２２は、移動前の表示領域３１の画枠の左端の水平角度θv1´および右端の水平角度θv2´、並びに、上端の垂直角度γv1´および下端の垂直角度γv2´を取得する。また、位置決定部１２２は、動画コンテンツの画枠の左端の水平角度θv1および右端の水平角度θv2、上端の垂直角度γv1および下端の垂直角度γv2´、並びに距離ｒvを取得する。
　ステップＳ１８２において、位置決定部１２２は、水平角度θv1´およびθV2´、垂直角度γv1´、並びに距離ｒvを用いて、上述した式（１３）により、横幅ScreenWidth、幅ScreenLeftWidth、および高さScreenTopHeightを求める。
　ステップＳ１８３において、位置決定部１２２は、横幅ScreenWidth並びに水平角度θv1およびθv2を用いて、上述した式（１４）により、移動後の距離ｒv´を推定する。
　ステップＳ１８４において、位置決定部１２２は、幅ScreenLeftWidth、高さScreenTopHeigh、距離ｒvおよびｒv´、水平角度θv1,θv２,θv1´、およびθv２´、並びに垂直角度γv1,γv2,γv1´、およびγv2´を用いて、上述した式（１５）および（１６）により、視聴者の移動量Lengthshift,Widthshift、およびHeightshiftを推定する。
　ステップＳ１８５において、位置決定部１２２は、再生対象の最初のオブジェクト＃ｉを選択する。
　ステップＳ１８６において、位置決定部１２２は、選択されたオブジェクト＃ｉの移動前のオブジェクト位置情報である水平角度θAi、垂直角度γAi、および距離ｒAiを取得する。
　ステップＳ１８７において、位置決定部１２２は、オブジェクト＃ｉが表示領域３１上に存在するかどうか、即ちθv2´≦θAi≦θv1´かつγv2´≦γAi≦γv1´であるかどうかを判定する。
　ステップＳ１８７でオブジェクト＃ｉが表示領域３１上に存在すると判定された場合、即ちθv2´≦θAi≦θv1´かつγv2´≦γAi≦γv1´である場合、処理はステップＳ１８８に進む。
　ステップＳ１８８において、位置決定部１２２は、移動量WidthshifおよびHeightshift、距離ｒvおよびｒv´、水平角度θAiおよびθAi´、並びに垂直角度γAiおよびγAi´を用いて、上述した式（１７）により、表示画像におけるオブジェクト＃ｉのオブジェクト位置情報を推定する。そして、処理はステップＳ１９０に進む。
　一方、ステップＳ１８７でオブジェクト＃ｉが表示領域３１上に存在しないと判定された場合、即ち、θv2´≦θAi≦θv1´かつγv2´≦γAi≦γv1´ではない場合、処理はステップＳ１８９に進む。
　ステップＳ１８９において、位置決定部１２２は、移動量Lengthshift,Widthshift、およびHeightshift、距離ｒAi、水平角度θAiおよびθAi´、並びに垂直角度γAiおよびγAi´を用いて、上述した式（１８）により、表示画像におけるオブジェクト＃ｉのオブジェクト位置情報を推定する。そして、処理はステップＳ１９０に進む。
　ステップＳ１９０において、位置決定部１２２は、再生対象のすべてのオブジェクトのオブジェクト位置情報が推定されたかどうかを判定する。ステップS１９０ですべてのオブジェクトのオブジェクト位置情報が推定されていないと判定された場合、処理はステップＳ１９１に進む。
　ステップＳ１９１において、位置決定部１２２は、再生対象のオブジェクトのうちの、現在選択されているオブジェクトの次のオブジェクトを選択し、処理をステップS１８６に戻す。
　一方、ステップＳ１９０ですべてのオブジェクトのオブジェクト位置情報が推定されたと判定された場合、処理は、Ｓ１９２に進む。
　ステップＳ１９２において、位置決定部１２２は、表示画像における再生対象のすべてのオブジェクトのオブジェクト位置情報を音声合成処理部１２３に出力する。ステップＳ１９２の処理後、処理は、図２９のステップＳ１３４に戻り、ステップＳ１３５に進む。
　なお、第３実施の形態では、表示画像のサイズが動画コンテンツのサイズと同一であるようにしたが、異なっていてもよい。
　また、第３実施の形態において、再生対象の全てのオブジェクトの音声データが合成されて出力されるのではなく、一部のオブジェクト(例えば、表示領域内のオブジェクト、表示領域から所定の範囲内のオブジェクト等)の音声データのみが合成されて出力されるようにしてもよい。出力する音声データのオブジェクトの選択方法は、予め決定されていてもよいし、ユーザにより指定されるようにしてもよい。
　＜第４実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述したWebサーバ１２の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図３７は、上述したWebサーバ１２の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、動画再生端末１４のハードウエア構成は、図３７のコンピュータと同様の構成にすることができる。この場合、例えば、CPU２０１が、制御用ソフトウエア２１、動画再生ソフトウエア２２、およびアクセス用ソフトウエア２３を実行する。動画再生端末１４の処理は、ハードウエアにより実行することもできる。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、ファイル生成装置１１は、タイル単位で画像ファイルを生成するのではなく、全てのタイルの符号化データを多重化してビデオストリームを生成し、１つの画像ファイルを生成するようにしてもよい。
　また、表示領域３１に対応する音声は、表示領域３１内のオブジェクトの音声だけでなく、表示領域３１外の固定されたオブジェクトの音声も含むようにしてもよい。
　さらに、音声データには、オブジェクト単位の音声データのほか、チャネルオーディオの音声データ、HOA（Higher－Order Ambisonics）オーディオの音声データ、SAOC(Spatial Audio Object Coding)の音声データ、音声データのメタデータ(scene情報、動的・静的metadata)などが含まれるようにしてもよい。この場合、例えば、サブサンプルとして、各オブジェクトの符号化データだけでなく、これらのデータの符号化データも配置される。
　さらに、本開示は、以下のような構成もとることができる。
　（１）
　画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを伝送する伝送部
　を備える情報処理装置。
　（２）
　前記画枠サイズ情報は、前記画像データの水平方向および垂直方向の画角、並びに、前記画角の基点と画像平面との距離を示す情報である
　ように構成された
　前記（１）に記載の情報処理装置。
　（３）
　前記音声位置情報は、前記音声データを取得した位置と基点とを結ぶ線の水平方向および垂直方向の角度、並びに、前記音声データを取得した位置と前記基点との距離を示す情報である
　ように構成された
　前記（１）または（２）に記載の情報処理装置。
　（４）
　前記音声位置情報を含む前記音声データのメタデータファイルを生成するメタファイル生成部と、
　前記画枠サイズ情報と前記メタデータファイルを特定する情報を制御情報として生成する情報生成部と、
　をさらに備え、
　前記伝送部は、前記情報生成部により生成された前記制御情報と前記メタファイル生成部により生成された前記メタデータファイルを伝送する
　ように構成された
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
　（５）
　前記伝送部は、前記画枠サイズ情報と前記音声位置情報に基づいて要求される、前記画像データに対応する画像のうちの表示する領域である表示領域に対応する前記音声データを伝送する
　ように構成された
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
　（６）
　前記音声データは、オブジェクト単位の音声データであり、
　前記伝送部は、前記表示領域に対応する前記オブジェクトの音声データを伝送する
　ように構成された
　前記（５）に記載の情報処理装置。
　（７）
　複数の前記オブジェクトの音声データと、各オブジェクトの前記音声データの音声ファイル内の位置を表すデータ位置情報とを含む前記音声ファイルを生成する音声ファイル生成部
　をさらに備え、
　前記伝送部は、前記音声ファイル生成部により生成された前記音声ファイル内の前記表示領域に対応する前記オブジェクトの音声データを伝送する
　ように構成された
　前記（６）に記載の情報処理装置。
　（８）
　複数の前記オブジェクトの音声データのそれぞれを含む音声ファイルを生成する音声ファイル生成部
　をさらに備え、
　前記伝送部は、各オブジェクトの前記音声ファイルを特定するファイル特定情報を伝送し、前記画枠サイズ情報、前記音声位置情報、および前記ファイル特定情報に基づいて要求される前記表示領域に対応する前記オブジェクトの音声データを含む前記音声ファイルを伝送する
　ように構成された
　前記（６）に記載の情報処理装置。
　（９）
　情報処理装置が、
　画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを伝送する伝送ステップ
　を含む情報処理方法。
　（１０）
　画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを受け取る受け取り部と、
　前記受け取り部により受け取られた前記画像データの前記画枠サイズ情報と前記音声位置情報に基づいて、前記画像データに対応する画像上の前記音声データの取得位置を決定する位置決定部と
　を備える情報処理装置。
　（１１）
　前記画枠サイズ情報は、前記画像データの水平方向および垂直方向の画角、並びに、前記画角の基点と画像平面との距離を示す情報である
　ように構成された
　前記（１０）に記載の情報処理装置。
　（１２）
　前記音声位置情報は、前記音声データを取得した位置と基点とを結ぶ線の水平方向および垂直方向の角度、並びに、前記音声データを取得した位置と前記基点との距離を示す情報である
　ように構成された
　前記（１０）または（１１）に記載の情報処理装置。
　（１３）
　前記音声データは、オブジェクト単位の音声データであり、
　前記位置決定部は、前記画枠サイズ情報と各オブジェクトの前記音声位置情報に基づいて、前記画像データに対応する画像上の各オブジェクトの前記音声データの取得位置を決定する
　ように構成された
　前記（１０）乃至（１２）のいずれかに記載の情報処理装置。
　（１４）
　前記位置決定部により決定された各オブジェクトの前記音声データの取得位置に基づいて、前記画像データに対応する画像のうちの表示する領域である表示領域に対応する前記オブジェクトの音声データを選択する音声選択部
　をさらに備え、
　前記受け取り部は、前記音声選択部により選択された前記音声データを受け取る
　ように構成された
　前記（１３）に記載の情報処理装置。
　（１５）
　前記受け取り部は、複数の前記オブジェクトの音声データと、各オブジェクトの前記音声データの音声ファイル内の位置を表すデータ位置情報とを含む前記音声ファイル内の、前記音声選択部により選択された前記オブジェクトの音声データを受け取る
　ように構成された
　前記（１４）に記載の情報処理装置。
　（１６）
　前記受け取り部は、複数の前記オブジェクトの音声データのそれぞれを含む音声ファイルのうちの、前記音声選択部により選択された前記オブジェクトの音声データを含む前記音声ファイルを受け取る
　ように構成された
　前記（１４）に記載の情報処理装置。
　（１７）
　前記位置決定部により決定された各オブジェクトの前記音声データの取得位置に基づいて、複数の前記オブジェクトの音声データを合成する音声合成処理部
　をさらに備える
　前記（１３）に記載の情報処理装置。
　（１８）
　前記画像データに対応する画像のうちの表示する領域である表示領域の画像データのサイズを、前記画像データのサイズに変換する変換部
　をさらに備え、
　前記位置決定部は、前記画像データの前記画枠サイズ情報、各オブジェクトの前記音声位置情報、および前記表示領域の画枠サイズ情報に基づいて、前記変換部によりサイズが変換された前記表示領域の画像データに対応する画像上の各オブジェクトの前記音声データの取得位置を決定する
　ように構成された
　前記（１７）に記載の情報処理装置。
　（１９）
　前記表示領域の画枠サイズ情報は、前記表示領域の水平方向および垂直方向の画角、並びに、前記画角の基点と画像平面との距離を示す情報である
　ように構成された
　前記（１８）に記載の情報処理装置。
　（２０）
　画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを受け取る受け取りステップと、
　前記受け取りステップの処理により受け取られた前記画像データの前記画枠サイズ情報と前記音声位置情報に基づいて、前記画像データに対応する画像上の前記音声データの取得位置を決定する位置決定ステップと
　を含む情報処理方法。
　１１　ファイル生成装置，　１２　Webサーバ，　１４　動画再生端末，　５６　音声ファイル生成部，　５７　MPD生成部，　９１　MPD取得部，　９４　音声選択部，　９５　音声ファイル取得部，　１２２　位置決定部，　１２３　音声合成処理部，　１２４　画像合成処理部

Claims (20)

  1. 　画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを伝送する伝送部
    　を備える情報処理装置。
  2. 　前記画枠サイズ情報は、前記画像データの水平方向および垂直方向の画角、並びに、前記画角の基点と画像平面との距離を示す情報である
    　ように構成された
    　請求項１に記載の情報処理装置。
  3. 　前記音声位置情報は、前記音声データを取得した位置と基点とを結ぶ線の水平方向および垂直方向の角度、並びに、前記音声データを取得した位置と前記基点との距離を示す情報である
    　ように構成された
    　請求項１に記載の情報処理装置。
  4. 　前記音声位置情報を含む前記音声データのメタデータファイルを生成するメタファイル生成部と、
    　前記画枠サイズ情報と前記メタデータファイルを特定する情報を制御情報として生成する情報生成部と、
    　をさらに備え、
    　前記伝送部は、前記情報生成部により生成された前記制御情報と前記メタファイル生成部により生成された前記メタデータファイルを伝送する
    　ように構成された
    　請求項１に記載の情報処理装置。
  5. 　前記伝送部は、前記画枠サイズ情報と前記音声位置情報に基づいて要求される、前記画像データに対応する画像のうちの表示する領域である表示領域に対応する前記音声データを伝送する
    　ように構成された
    　請求項１に記載の情報処理装置。
  6. 　前記音声データは、オブジェクト単位の音声データであり、
    　前記伝送部は、前記表示領域に対応する前記オブジェクトの音声データを伝送する
    　ように構成された
    　請求項５に記載の情報処理装置。
  7. 　複数の前記オブジェクトの音声データと、各オブジェクトの前記音声データの音声ファイル内の位置を表すデータ位置情報とを含む前記音声ファイルを生成する音声ファイル生成部
    　をさらに備え、
    　前記伝送部は、前記音声ファイル生成部により生成された前記音声ファイル内の前記表示領域に対応する前記オブジェクトの音声データを伝送する
    　ように構成された
    　請求項６に記載の情報処理装置。
  8. 　複数の前記オブジェクトの音声データのそれぞれを含む音声ファイルを生成する音声ファイル生成部
    　をさらに備え、
    　前記伝送部は、各オブジェクトの前記音声ファイルを特定するファイル特定情報を伝送し、前記画枠サイズ情報、前記音声位置情報、および前記ファイル特定情報に基づいて要求される前記表示領域に対応する前記オブジェクトの音声データを含む前記音声ファイルを伝送する
    　ように構成された
    　請求項６に記載の情報処理装置。
  9. 　情報処理装置が、
    　画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを伝送する伝送ステップ
    　を含む情報処理方法。
  10. 　画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを受け取る受け取り部と、
    　前記受け取り部により受け取られた前記画像データの前記画枠サイズ情報と前記音声位置情報に基づいて、前記画像データに対応する画像上の前記音声データの取得位置を決定する位置決定部と
    　を備える情報処理装置。
  11. 　前記画枠サイズ情報は、前記画像データの水平方向および垂直方向の画角、並びに、前記画角の基点と画像平面との距離を示す情報である
    　ように構成された
    　請求項１０に記載の情報処理装置。
  12. 　前記音声位置情報は、前記音声データを取得した位置と基点とを結ぶ線の水平方向および垂直方向の角度、並びに、前記音声データを取得した位置と前記基点との距離を示す情報である
    　ように構成された
    　請求項１０に記載の情報処理装置。
  13. 　前記音声データは、オブジェクト単位の音声データであり、
    　前記位置決定部は、前記画枠サイズ情報と各オブジェクトの前記音声位置情報に基づいて、前記画像データに対応する画像上の各オブジェクトの前記音声データの取得位置を決定する
    　ように構成された
    　請求項１０に記載の情報処理装置。
  14. 　前記位置決定部により決定された各オブジェクトの前記音声データの取得位置に基づいて、前記画像データに対応する画像のうちの表示する領域である表示領域に対応する前記オブジェクトの音声データを選択する音声選択部
    　をさらに備え、
    　前記受け取り部は、前記音声選択部により選択された前記音声データを受け取る
    　ように構成された
    　請求項１３に記載の情報処理装置。
  15. 　前記受け取り部は、複数の前記オブジェクトの音声データと、各オブジェクトの前記音声データの音声ファイル内の位置を表すデータ位置情報とを含む前記音声ファイル内の、前記音声選択部により選択された前記オブジェクトの音声データを受け取る
    　ように構成された
    　請求項１４に記載の情報処理装置。
  16. 　前記受け取り部は、複数の前記オブジェクトの音声データのそれぞれを含む音声ファイルのうちの、前記音声選択部により選択された前記オブジェクトの音声データを含む前記音声ファイルを受け取る
    　ように構成された
    　請求項１４に記載の情報処理装置。
  17. 　前記位置決定部により決定された各オブジェクトの前記音声データの取得位置に基づいて、複数の前記オブジェクトの音声データを合成する音声合成処理部
    　をさらに備える
    　請求項１３に記載の情報処理装置。
  18. 　前記画像データに対応する画像のうちの表示する領域である表示領域の画像データのサイズを、前記画像データのサイズに変換する変換部
    　をさらに備え、
    　前記位置決定部は、前記画像データの前記画枠サイズ情報、各オブジェクトの前記音声位置情報、および前記表示領域の画枠サイズ情報に基づいて、前記変換部によりサイズが変換された前記表示領域の画像データに対応する画像上の各オブジェクトの前記音声データの取得位置を決定する
    　ように構成された
    　請求項１７に記載の情報処理装置。
  19. 　前記表示領域の画枠サイズ情報は、前記表示領域の水平方向および垂直方向の画角、並びに、前記画角の基点と画像平面との距離を示す情報である
    　ように構成された
    　請求項１８に記載の情報処理装置。
  20. 　画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを受け取る受け取りステップと、
    　前記受け取りステップの処理により受け取られた前記画像データの前記画枠サイズ情報と前記音声位置情報に基づいて、前記画像データに対応する画像上の前記音声データの取得位置を決定する位置決定ステップと
    　を含む情報処理方法。
PCT/JP2014/067508 2013-07-19 2014-07-01 情報処理装置および情報処理方法 Ceased WO2015008613A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015527242A JP6384480B2 (ja) 2013-07-19 2014-07-01 情報処理装置および情報処理方法
EP14826072.2A EP3024249B1 (en) 2013-07-19 2014-07-01 Information processing device and information processing method
CN201480039825.2A CN105379302B (zh) 2013-07-19 2014-07-01 信息处理设备和信息处理方法
US14/904,232 US10523975B2 (en) 2013-07-19 2014-07-01 Information processing device and information processing method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2013-151020 2013-07-19
JP2013151020 2013-07-19
JPPCT/JP2014/063752 2014-05-23
PCT/JP2014/063752 WO2015008538A1 (ja) 2013-07-19 2014-05-23 情報処理装置および情報処理方法
JPPCT/JP2014/066321 2014-06-19
PCT/JP2014/066321 WO2015008576A1 (ja) 2013-07-19 2014-06-19 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
WO2015008613A1 true WO2015008613A1 (ja) 2015-01-22

Family

ID=52346013

Family Applications (3)

Application Number Title Priority Date Filing Date
PCT/JP2014/063752 Ceased WO2015008538A1 (ja) 2013-07-19 2014-05-23 情報処理装置および情報処理方法
PCT/JP2014/066321 Ceased WO2015008576A1 (ja) 2013-07-19 2014-06-19 情報処理装置および情報処理方法
PCT/JP2014/067508 Ceased WO2015008613A1 (ja) 2013-07-19 2014-07-01 情報処理装置および情報処理方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
PCT/JP2014/063752 Ceased WO2015008538A1 (ja) 2013-07-19 2014-05-23 情報処理装置および情報処理方法
PCT/JP2014/066321 Ceased WO2015008576A1 (ja) 2013-07-19 2014-06-19 情報処理装置および情報処理方法

Country Status (5)

Country Link
US (1) US10523975B2 (ja)
EP (1) EP3024249B1 (ja)
JP (1) JP6384480B2 (ja)
CN (1) CN105379302B (ja)
WO (3) WO2015008538A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018148515A (ja) * 2017-03-09 2018-09-20 キヤノン株式会社 送信装置、受信装置、情報処理方法及びプログラム
WO2019155930A1 (ja) * 2018-02-07 2019-08-15 ソニー株式会社 送信装置、送信方法、処理装置および処理方法
JP2022042186A (ja) * 2020-09-02 2022-03-14 Kddi株式会社 コンテンツ再生装置及びプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114242081B (zh) * 2014-05-30 2025-11-07 索尼公司 信息处理装置和信息处理方法
CN108271068B (zh) * 2016-12-30 2020-04-03 华为技术有限公司 一种基于流媒体技术的视频数据的处理方法及装置
US11024305B2 (en) * 2017-08-07 2021-06-01 Dolbey & Company, Inc. Systems and methods for using image searching with voice recognition commands
FR3074591A1 (fr) * 2017-12-05 2019-06-07 Orange Procede de gestion des connexions d'un dispositif electronique.
CN108156499A (zh) * 2017-12-28 2018-06-12 武汉华星光电半导体显示技术有限公司 一种语音图像采集编码方法及装置
JP7237927B2 (ja) * 2018-03-15 2023-03-13 ソニーグループ株式会社 情報処理装置、情報処理装置およびプログラム
US11533348B2 (en) * 2018-03-29 2022-12-20 Sony Group Corporation Information processing apparatus, information processing method, and program
US20220038517A1 (en) * 2018-10-02 2022-02-03 Sony Corporation Information processing apparatus, information processing method, and program
JP7236914B2 (ja) * 2019-03-29 2023-03-10 日本放送協会 受信装置、配信サーバ及び受信プログラム
CN117635815A (zh) * 2019-06-28 2024-03-01 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
CN114822568A (zh) * 2022-06-02 2022-07-29 深圳创维－Rgb电子有限公司 音频播放方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301390A (ja) * 1993-04-12 1994-10-28 Sanyo Electric Co Ltd 立体音像制御装置
JP2001197598A (ja) * 2000-01-05 2001-07-19 Mitsubishi Electric Corp 映像音声再生装置
JP2004007211A (ja) * 2002-05-31 2004-01-08 Victor Co Of Japan Ltd 臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラム
JP2007027846A (ja) * 2005-07-12 2007-02-01 Oki Electric Ind Co Ltd 動画再生システム及び動画再生方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1035732A1 (en) 1998-09-24 2000-09-13 Fourie Inc. Apparatus and method for presenting sound and image
AU2187400A (en) * 1999-01-04 2000-07-24 Thomson Licensing S.A. Television remote control system with a picture-outside-picture display
US6912695B2 (en) * 2001-09-13 2005-06-28 Pixia Corp. Data storage and retrieval system and method
US20030160862A1 (en) * 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
JP2004266343A (ja) * 2003-02-05 2004-09-24 Matsushita Electric Ind Co Ltd 画像サーバーと画像サーバーシステム、そのプログラム及び記録媒体
CN100442837C (zh) * 2006-07-25 2008-12-10 华为技术有限公司 一种具有声音位置信息的视频通讯系统及其获取方法
JP5230096B2 (ja) * 2006-12-27 2013-07-10 キヤノン株式会社 映像音声出力装置及び映像音声出力方法
US20110058683A1 (en) * 2009-09-04 2011-03-10 Glenn Kosteva Method & apparatus for selecting a microphone in a microphone array
JP5992210B2 (ja) * 2012-06-01 2016-09-14 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301390A (ja) * 1993-04-12 1994-10-28 Sanyo Electric Co Ltd 立体音像制御装置
JP2001197598A (ja) * 2000-01-05 2001-07-19 Mitsubishi Electric Corp 映像音声再生装置
JP2004007211A (ja) * 2002-05-31 2004-01-08 Victor Co Of Japan Ltd 臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラム
JP2007027846A (ja) * 2005-07-12 2007-02-01 Oki Electric Ind Co Ltd 動画再生システム及び動画再生方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3024249A4
VILLE PULKKI: "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", JOURNAL OF AES, vol. 45, no. 6, 1997, pages 456 - 466

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018148515A (ja) * 2017-03-09 2018-09-20 キヤノン株式会社 送信装置、受信装置、情報処理方法及びプログラム
US11044289B2 (en) 2017-03-09 2021-06-22 Canon Kabushiki Kaisha Sending device, receiving device, information processing method for sending or receiving content divided into segments using MPEG-DASH protocol
WO2019155930A1 (ja) * 2018-02-07 2019-08-15 ソニー株式会社 送信装置、送信方法、処理装置および処理方法
US11341976B2 (en) 2018-02-07 2022-05-24 Sony Corporation Transmission apparatus, transmission method, processing apparatus, and processing method
JP2022042186A (ja) * 2020-09-02 2022-03-14 Kddi株式会社 コンテンツ再生装置及びプログラム

Also Published As

Publication number Publication date
CN105379302B (zh) 2019-10-18
US10523975B2 (en) 2019-12-31
EP3024249A4 (en) 2017-03-01
CN105379302A (zh) 2016-03-02
WO2015008538A1 (ja) 2015-01-22
JP6384480B2 (ja) 2018-09-05
JPWO2015008613A1 (ja) 2017-03-02
EP3024249A1 (en) 2016-05-25
EP3024249B1 (en) 2025-05-07
US20160156944A1 (en) 2016-06-02
WO2015008576A1 (ja) 2015-01-22

Similar Documents

Publication Publication Date Title
JP6384480B2 (ja) 情報処理装置および情報処理方法
JP7708229B2 (ja) 情報処理装置および情報処理方法
JP6697695B2 (ja) 情報処理装置および情報処理方法
JPWO2015182491A1 (ja) 情報処理装置および情報処理方法
US11252397B2 (en) File generation apparatus and file generation method as well as reproduction apparatus and reproduction method
JP7238948B2 (ja) 情報処理装置および情報処理方法
US10945000B2 (en) File generation apparatus and file generation method as well as reproduction apparatus and reproduction method
WO2019031306A1 (ja) 生成装置、再生装置、生成方法、再生方法、制御プログラム、記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14826072

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015527242

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014826072

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14904232

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWG Wipo information: grant in national office

Ref document number: 2014826072

Country of ref document: EP