JP2019149122A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP2019149122A
JP2019149122A JP2018035080A JP2018035080A JP2019149122A JP 2019149122 A JP2019149122 A JP 2019149122A JP 2018035080 A JP2018035080 A JP 2018035080A JP 2018035080 A JP2018035080 A JP 2018035080A JP 2019149122 A JP2019149122 A JP 2019149122A
Authority
JP
Japan
Prior art keywords
video
image
viewpoint
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018035080A
Other languages
English (en)
Inventor
鈴木　知
Satoshi Suzuki
知 鈴木
山口　浩司
Koji Yamaguchi
浩司 山口
智博 大井
Tomohiro Oi
智博 大井
浩司 古澤
Koji Furusawa
浩司 古澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018035080A priority Critical patent/JP2019149122A/ja
Priority to KR1020207023717A priority patent/KR20200126367A/ko
Priority to PCT/JP2019/005187 priority patent/WO2019167632A1/ja
Priority to DE112019001052.2T priority patent/DE112019001052T5/de
Priority to CN201980014747.3A priority patent/CN111742353B/zh
Priority to US16/971,886 priority patent/US20210092466A1/en
Publication of JP2019149122A publication Critical patent/JP2019149122A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management e.g. creating a master electronic programme guide from data received from the Internet and a Head-end or controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの利便性を向上させることができるようにする。【解決手段】第１の視点から視聴可能な第１の映像から、第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、第１の映像の背景画像及び第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する表示制御部を備える情報処理装置が提供される。本技術は、例えば、ヘッドマウントディスプレイに映像を表示する機器に適用することができる。【選択図】図１

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、ユーザの利便性を向上させることができるようにした情報処理装置、情報処理方法、及び、プログラムに関する。
近年、ヘッドマウントディスプレイ（HMD：Head Mounted Display）等の機器を利用して、バーチャルリアリティ（VR：Virtual Reality）機能を提供するための技術の研究・開発が盛んに行われている（例えば、特許文献１参照）。
特許文献１には、ゲーム機に接続されたヘッドマウントディスプレイにおいて、マーカにより示される位置が視点位置として選択されたとき、マーカにより示される位置を視点位置に変更したゲームフィールドの画像を生成して表示する技術が開示されている。
特開２０１７−１０２２９７号公報
ところで、ヘッドマウントディスプレイ等の機器においては、映像の視点を切り替える際に、例えば、ユーザは、自分の見ている方向や位置を見失う可能性があり、また映像の急激な変化や、映像の変化が現実の身体の動きと異なると酔いやすくなる恐れなどもある。
そのため、ヘッドマウントディスプレイ等の機器において、このような映像の視点の切り替えに伴う不都合な事象を回避して、ユーザの利便性を向上させるための技術が求められている。
本技術はこのような状況に鑑みてなされたものであり、ユーザの利便性を向上させることができるようにするものである。
本技術の一側面の情報処理装置は、第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する表示制御部を備える情報処理装置である。
本技術の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成する内部ブロックであってもよい。
本技術の一側面の情報処理方法、及び、プログラムは、上述した本技術の一側面の情報処理装置に対応する情報処理方法、及び、プログラムである。
本技術の一側面の情報処理装置、情報処理方法、及び、プログラムにおいては、第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置が制御される。
本技術の一側面によれば、ユーザの利便性を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した映像再生システムの一実施の形態の構成例を示すブロック図である。 サッカースタジアムに設置された撮像装置により撮像された全天球実写映像の表示例を示す図である。 サッカースタジアムにおける視点移動前の全天球実写映像の例を示す図である。 サッカースタジアムにおける視点移動時のCG映像の第１の例を示す図である。 サッカースタジアムにおける視点移動時のCG映像の第２の例を示す図である。 サッカースタジアムにおける視点移動時のCG映像の第３の例を示す図である。 サッカースタジアムにおける視点移動後の全天球実写映像の例を示す図である。 再生・表示制御処理の流れを説明するフローチャートである。 サッカーのハイライト映像配信の例を示すタイミングチャートである。 フィールドのミニチュアCG映像の表示例を示す図である。 全天球実写映像の表示時のユーザの視線のフィールドまでの距離の例を示す図である。 ミニチュアCG映像の表示時のユーザの視線のフィールドまでの距離の例を示す図である。 サッカーのゴールシーンのミニチュアCG映像の第１の例を示す図である。 サッカーのゴールシーンのミニチュアCG映像の第２の例を示す図である。 サッカーのゴールシーンのミニチュアCG映像の第３の例を示す図である。 オーケストラの楽器配置のミニチュアCG映像の第１の例を示す図である。 オーケストラの楽器配置のミニチュアCG映像の第２の例を示す図である。 オーケストラの楽器配置のミニチュアCG映像の第３の例を示す図である。 音楽ライブの映像配信の例を示すタイミングチャートである。 音楽ライブの映像配信における第１の視点での全天球実写映像の例を示す図である。 音楽ライブの映像配信におけるCG映像の例を示す図である。 音楽ライブの映像配信における第２の視点での全天球実写映像の例を示す図である。 コンピュータの構成例を示す図である。
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．第１の実施の形態：サッカーの試合の映像再生
２．第２の実施の形態：サッカーの試合の映像再生（表示スケール変更）
３．第３の実施の形態：オーケストラのコンサートの映像再生（表示スケール変更）
４．第４の実施の形態：音楽ライブの映像再生
５．変形例
６．コンピュータの構成
＜１．第１の実施の形態＞
（映像再生システムの構成例）
図１は、本技術を適用した映像再生システムの一実施の形態の構成例を示すブロック図である。
映像再生システム１は、全天球カメラ等の撮像装置により撮像された画像データや、CG(Computer Graphics)モデルデータ等のデータを処理し、その処理の結果得られる全天球実写映像やCG映像等の映像を、ヘッドマウントディスプレイ等の表示装置に表示するシステムである。
図１において、映像再生システム１は、中心的な処理を行う情報処理装置１０と、情報処理装置１０に入力されるデータを記憶する映像・CG制御データ記憶部２１及びCGモデルデータ記憶部２２と、情報処理装置１０から出力されるデータを提示する表示装置３１及びスピーカ３２とから構成される。
情報処理装置１０は、例えば、ゲーム機やパーソナルコンピュータ、専用のプロセッサが搭載されたユニット等の電子機器として構成される。情報処理装置１０は、UI・コンテンツ制御部１０１、再生部１０２、及びレンダリング部１０３から構成される。
UI・コンテンツ制御部１０１は、例えば、CPU(Central Processing Unit)やマイクロプロセッサ等から構成される。UI・コンテンツ制御部１０１は、各種の演算処理や動作制御など、情報処理装置１０における中心的な制御装置として動作する。
UI・コンテンツ制御部１０１は、再生部１０２及びレンダリング部１０３を制御することで、ユーザインターフェース（UI：User Interface）や、コンテンツの表示や再生を制御する。
UI・コンテンツ制御部１０１には、例えば、ヘッドマウントディスプレイを装着したユーザによる操作装置（例えば、コントローラ等）に対する操作に応じた操作信号が入力される。UI・コンテンツ制御部１０１は、入力された操作信号に基づいて、情報処理装置１０の各部の動作を制御する。
また、UI・コンテンツ制御部１０１には、ヘッドマウントディスプレイを装着したユーザの頭部の動きに応じたトラッキング信号から得られる情報（以下、ヘッドトラッキング情報という）や、全天球実写映像の撮像位置と撮像方向に関する情報（以下、全天球実写撮像地点情報という）が入力される。
なお、全天球実写映像は、所定の施設や屋外などに設置される全天球カメラ（全方位カメラ）等の撮像装置により撮像される画像データを処理することで得られる映像であって、上下左右全方位の360度のパノラマ映像である。
UI・コンテンツ制御部１０１は、入力されたヘッドトラッキング情報、及び全天球実写撮像地点情報の少なくとも一方の情報を用いて所定の演算処理（例えば、ユーザの視点を算出したり、表示画角を算出したりするための演算処理）を行う。UI・コンテンツ制御部１０１は、所定の演算処理で得られる演算結果に基づいて、再生部１０２及びレンダリング部１０３を制御する。
UI・コンテンツ制御部１０１は、再生制御部１１１及び表示制御部１１２を含む。
再生制御部１１１は、再生部１０２により実行される再生処理を制御する。表示制御部１１２は、レンダリング部１０３により実行されるレンダリング処理を制御する。
再生部１０２は、再生制御部１１１からの制御に従い、そこに入力されるコンテンツのビデオデータやオーディオデータを処理して、コンテンツを再生するための再生処理を実行する。
再生部１０２は、データ取得部１２１、デマックス１２２、第１ビデオデコーダ１２３、第２ビデオデコーダ１２４、オーディオデコーダ１２５、CG制御データデコーダ１２６、及び同期制御部１２７を含む。
データ取得部１２１は、映像・CG制御データ記憶部２１から、再生対象のコンテンツに関する入力データを取得し、デマックス１２２に供給する。
ここで、映像・CG制御データ記憶部２１には、例えば、全天球カメラ等の撮像装置により撮像される画像データから得られる全天球実写映像のデータや、CG映像を制御するためのCG制御データなどの各種のデータが記録されている。
ただし、映像・CG制御データ記憶部２１に記録されているデータは、所定の方式に従ってエンコードの処理が施され、符号化されている。また、CG制御データは、時間に依存して変化するCGモデルの制御データであって、例えば、モーションデータや位置情報、頂点やメッシュの変化情報を含む。
デマックス１２２は、データ取得部１２１から供給される入力データを、符号化ビデオデータと、符号化オーディオデータと、符号化CG制御データとに分離する。ただし、ここでは、入力データとして、異なる撮像装置（例えば全天球カメラ）からの２つの系列の符号化ビデオデータ（第１符号化ビデオデータと第２符号化ビデオデータ）が含まれている。
デマックス１２２は、入力データを分離して得られる各データのうち、第１符号化ビデオデータを第１ビデオデコーダ１２３に、第２符号化ビデオデータを第２ビデオデコーダ１２４に、符号化オーディオデータをオーディオデコーダ１２５に、符号化CG制御データをCG制御データデコーダ１２６に、それぞれ供給する。
第１ビデオデコーダ１２３は、デマックス１２２から供給される第１符号化ビデオデータを、所定の復号方式に従ってデコードし、その結果得られる第１ビデオデータを、同期制御部１２７に供給する。
第２ビデオデコーダ１２４は、デマックス１２２から供給される第２符号化ビデオデータを、所定の復号方式に従ってデコードし、その結果得られる第２ビデオデータを、同期制御部１２７に供給する。
オーディオデコーダ１２５は、デマックス１２２から供給される符号化オーディオデータを、所定の復号方式に従いデコードし、その結果得られるオーディオデータを、同期制御部１２７に供給する。
CG制御データデコーダ１２６は、デマックス１２２から供給される符号化CG制御データを、所定の復号方式に従いデコードし、その結果得られるCG制御データを、同期制御部１２７に供給する。
同期制御部１２７には、第１ビデオデコーダ１２３からの第１ビデオデータと、第２ビデオデコーダ１２４からの第２ビデオデータと、オーディオデコーダ１２５からのオーディオデータと、CG制御データデコーダ１２６からのCG制御データが入力される。
同期制御部１２７は、そこに入力される第１ビデオデータと、第２ビデオデータと、オーディオデータと、CG制御データとを同期させる同期制御を行い、それにより同期した第１ビデオデータと、第２ビデオデータと、オーディオデータと、CG制御データとをそれぞれ、レンダリング部１０３に供給する。
レンダリング部１０３には、再生部１０２の同期制御部１２７から、第１ビデオデータと、第２ビデオデータと、オーディオデータと、CG制御データとが同期して入力される。また、レンダリング部１０３には、CGモデルデータ記憶部２２から、CGモデルデータが入力される。
ここで、CGモデルデータ記憶部２２には、例えば、CGモデルのデータなどの各種のデータが記録されている。ただし、CGモデルのデータは、時間に依存して変化しないCGモデルのデータであって、例えば、メッシュデータやテクスチャデータ、マテリアルデータなどを含む。
レンダリング部１０３は、表示制御部１１２からの制御に従い、そこに入力されるコンテンツのビデオデータやオーディオデータ、CGのデータを処理して、コンテンツやCGの映像や音声を出力するためのレンダリング処理を実行する。
具体的には、レンダリング部１０３は、第１ビデオデータ又は第２ビデオデータに対して、レンダリング処理を施し、その結果得られる映像出力データを、所定のインターフェースを介して、表示装置３１に出力する。これにより、表示装置３１は、情報処理装置１０（のレンダリング部１０３）から出力される映像出力データに基づいて、全天球実写映像等のコンテンツの映像を表示する。
また、レンダリング部１０３は、オーディオデータに対して、レンダリング処理を施し、その結果得られる音声出力データを、所定のインターフェースを介して、スピーカ３２に出力する。これにより、スピーカ３２は、情報処理装置１０（のレンダリング部１０３）から出力される音声出力データ基づいて、全天球実写映像等のコンテンツの映像に同期した音声を出力する。
さらに、レンダリング部１０３は、CG制御データに基づき、CGモデルデータに対して、レンダリング処理を施し、その結果得られるCG映像出力データを、表示装置３１に出力する。これにより、表示装置３１は、情報処理装置１０（のレンダリング部１０３）から出力されるCG映像出力データに基づいて、CG映像を表示する。
ここで、UI・コンテンツ制御部１０１によって、全天球実写映像とCG映像とを切り替える表示切り替え処理が行われる場合には、例えば、切り替えの対象に応じて、次の処理が行われる。
すなわち、全天球実写映像からCG映像への切り替え時において、UI・コンテンツ制御部１０１は、全天球実写映像の視点方向とCG映像とが一致するように、CGのレンダリングカメラ位置を調整して、レンダリング部１０３に指示する。
一方で、CG映像から全天球実写映像への切り替え時において、UI・コンテンツ制御部１０１は、同一の視点で、全天球実写映像に遷移するために、例えば、次の３つの処理を順に行う。
まず、複数の全天球実写映像の中から、切り替え時のCG映像に最も近い全天球実写映像を選択する。次に、選択された全天球実写映像が撮像された撮像装置（例えば全天球カメラ）の視点まで、CGのレンダリングのカメラ位置を移動するように、レンダリング部１０３に指示する。そして、遷移後の全天球実写映像の正面の視点方向を、ユーザがCGで見ていた方向に応じて変更するように、レンダリング部１０３に指示する。
なお、ここでは、映像や音声と同期したタイムスタンプのデータで持つCGモデルの制御データ（CG制御データ）が、同期してレンダリング部１０３に渡されることから、例えば、次の３つの処理を行うことができる。
すなわち、第１に、複数の全天球実写映像とCG映像とを同期させて、それらの映像の切り替え時であっても、同一のタイミングのシーンを表現することが可能となる。第２に、全天球実写映像とCG映像とが同期して、例えば早送りや巻き戻しなどのトリックプレーを行うことが可能となる。第３に、複数の全天球実写映像とCG映像との切り替えを行っても、それらの映像に同期した音声を連続的に再生することが可能となる。
表示装置３１は、例えば、ヘッドマウントディスプレイやスマートフォンなどのディスプレイを有する電子機器として構成される。なお、以下の説明では、表示装置３１の一例として、ヘッドマウントディスプレイ（後述する図２のヘッドマウントディスプレイ３１Ａ）を説明する。
また、図１に示した構成では、音声出力装置として、スピーカ３２を示したが、スピーカ３２に限らず、例えば、ヘッドマウントディスプレイを、頭部に装着したユーザが、さらにイヤフォンを耳に差し込んで（又はヘッドフォンを装着して）、そこから音声が出力されるようにしてもよい。
なお、情報処理装置１０と、表示装置３１及びスピーカ３２は、例えば、所定の規格に準拠したケーブルを介して有線で接続されるか、あるいは所定の規格に準拠した無線通信により接続することができる。
映像再生システム１は、以上のように構成される。
なお、図１においては、UI・コンテンツ制御部１０１での演算処理で用いられるトラッキング情報として、ヘッドトラッキング情報を用いるとして説明したが、例えば、ヘッドマウントディスプレイの空間的な位置を示すポジショントラッキング情報や、ユーザの視線の動きに応じたアイトラッキング情報などを、さらに用いるようにしてもよい。
また、図１において、全天球実写映像のデータやCG制御データ、CGモデルのデータなどの各種のデータは、例えば、ハードディスクドライブ（HDD：Hard Disk Drive）や半導体メモリ、光ディスクなどの大容量の記録媒体からなる映像・CG制御データ記憶部２１やCGモデルデータ記憶部２２に記録され、情報処理装置１０は、そこから入力データを取得するとして説明したが、それらのデータは、他の経路で取得するようにしてもよい。
例えば、情報処理装置１０に、通信I/Fを設けてインターネットに接続可能とすることで、インターネット上のサーバから配信される全天球実写映像のデータ等の各種のデータを受信して、再生部１０２に入力されるようにしてもよい。また、情報処理装置１０に、チューナを設けてアンテナを介して放送波を受信可能とすることで、放送波から得られる全天球実写映像のデータ等の各種のデータが、再生部１０２に入力されるようにしてもよい。
（視点移動時のアニメーション表示）
図２は、サッカースタジアム２に設置された撮像装置により撮像された全天球実写映像の表示例を示している。
図２においては、サッカースタジアム２におけるフィールド３を示しているが、実際には、フィールド３を取り囲むようにスタンドが設けられる。この例では、フィールド３に対して手前側のスタンドの上部に、カメラ４１−１が設置され、フィールド３に固定された一方のゴールのゴール裏に、カメラ４１−２が設置されている。
カメラ４１−１，４１−２は、例えば、全天球カメラであって、上下左右全方位の360度のパノラマ映像である全天球実写映像を撮像可能な撮像装置である。なお、以下の説明では、全天球カメラにより撮像された全天球実写映像を一例に説明するが、全天球カメラに限らず、他の撮像装置により撮像された実写映像を用いるようにしてもよい。例えば、通常のカメラに、魚眼レンズや広角レンズを取り付けて撮像を行うことで、撮像された実写映像（例えば視野角が180度の映像）を用いるようにしてもよい。
カメラ４１−１は、手前側のスタンドの上部の設置位置に応じた全天球実写映像を撮像することができる。また、カメラ４１−２は、ゴール裏の設置位置に応じた全天球実写映像を撮像することができる。なお、カメラ４１−１とカメラ４１−２により撮像された全天球実写映像のデータは、映像・CG制御データ記憶部２１（図１）に記録することができる。
そして、このようにして得られる全天球実写映像は、例えば、情報処理装置１０（図１）により再生して、表示装置３１としてのヘッドマウントディスプレイ３１Ａに表示することで、ヘッドマウントディスプレイ３１Ａを装着したユーザは、サッカースタジアム２にいるような臨場感を味わうことができる。
例えば、カメラ４１−１によって、ヘッドマウントディスプレイ３１Ａでは、スタンドの上部の方向からの全天球実写映像の表示が可能となる。また、例えば、カメラ４１−２によって、ヘッドマウントディスプレイ３１Ａでは、ゴール裏の方向からの全天球実写映像の表示が可能となる。
なお、ヘッドマウントディスプレイ３１Ａは、ユーザの両眼を覆うように頭部に装着して、ユーザの眼前に設けられた表示画面に表示される静止画や動画などを鑑賞するための表示装置である。ヘッドマウントディスプレイ３１Ａに表示される対象は、例えば、サッカー等のスポーツ番組のほか、コンサートや音楽ライブの映像、テレビ番組や映画、ゲーム画像などのコンテンツとされる。
また、図２においては、手前側のスタンドの上部に、カメラ４１−１を設置し、一方のゴール裏に、カメラ４１−２を設置した場合を示したが、カメラ４１の設置位置は、これに限らず、例えば、奥側のスタンド（メインスタンド又はバックスタンド）の上部や、他方のゴール裏など、サッカースタジアム２内の任意の位置に、任意の数だけ設置することができる。また、以下の説明では、カメラ４１−１とカメラ４１−２を、特に区別する必要がない場合には、単にカメラ４１と記述するものとする。
ここで、ヘッドマウントディスプレイ３１Ａに表示される全天球実写映像を、カメラ４１−１により撮像されるスタンドの上部での全天球実写映像から、カメラ４１−２により撮像されるゴール裏での全天球実写映像に切り替える場面を想定する。
このとき、情報処理装置１０（図１）は、ヘッドマウントディスプレイ３１Ａの表示として、スタンドの上部での全天球実写映像を視聴可能な第１の視点から、ゴール裏での全天球実写映像を視聴可能な第２の視点までの視点移動の間を、連続的なCG映像の表示に切り替えて、視点移動のアニメーションが表示されるようにする。
図３は、ヘッドマウントディスプレイ３１Ａに表示される、視点移動前の全天球実写映像の例を示している。図３において、ヘッドマウントディスプレイ３１Ａには、スタンドの上部のカメラ４１−１により撮像された全天球実写映像を見ているユーザの視線方向に応じた視点となる全天球実写映像３０１が表示される。
図４乃至図６は、ヘッドマウントディスプレイ３１Ａに表示される、視点移動の間に表示されるCG映像の例を示している。なお、図４乃至図６に示すCG映像は、その順に時系列で表示されるものとする。
まず、図４に示すように、ヘッドマウントディスプレイ３１Ａには、スタンドの上部の方向からの視点となるCG映像３０２が表示される。すなわち、CG映像３０２の視点は、上述した視点移動前の全天球実写映像３０１（図３）の視点と略一致している。
また、CG映像３０２は、全天球実写映像３０１（図３）と比べて、スタンドや観客、選手などが含まれておらず、フィールド３をマーキングするライン（例えばハーフウェーラインやタッチライン、ゴールラインなど）と、それぞれのゴールラインの中央に設置されたゴールが、ワイヤフレームにより表現（輪郭のみで表現）されている。
すなわち、CG映像３０２は、背景画像として、例えば黒色や青色等の所定の単色で表された画像を含んでおり、全天球実写映像３０１の背景画像よりも情報量が少なくなっている。なお、ワイヤフレームとは、３次元モデリングやレンダリングの手法のひとつで、立体の辺だけからなるような線の集合で表現するものである。
次に、図５に示すように、ヘッドマウントディスプレイ３１Ａには、CG映像３０２（図４）と視点が異なるCG映像３０３が表示される。例えば、CG映像３０３の視点は、スタンドの上部のカメラ４１−１の設置位置と、ゴール裏のカメラ４１−２の設置位置とを結んだ軌跡上の任意の位置とされる。
また、CG映像３０３は、CG映像３０２（図４）と同様に、フィールド３をマーキングするラインやゴールを、ワイヤフレームにより表現したものとなる。さらに、CG映像３０３は、CG映像３０２（図４）と同様に、背景画像として、例えば黒色等の所定の単色で表された画像を含んでいる。
次に、図６に示すように、ヘッドマウントディスプレイ３１Ａには、ゴール裏の方向からの視点となるCG映像３０４が表示される。すなわち、CG映像３０４の視点は、後述する視点移動後の全天球実写映像３０５（図７）の視点と略一致している。
また、CG映像３０４は、CG映像３０２（図４）及びCG映像３０３（図５）と同様に、フィールド３をマーキングするラインやゴールを、ワイヤフレームにより表現したものとなる。さらに、CG映像３０４は、背景画像として、例えば黒色等の所定の単色で表された画像を含んでいる。
このように、ヘッドマウントディスプレイ３１Ａにおいては、スタンドの上部での全天球実写映像からゴール裏での全天球実写映像に、視点を切り替える際に、情報処理装置１０（図１）によって、ワイヤフレームにより表現されたCG映像３０２（図４）と、CG映像３０３（図５）と、CG映像３０４（図６）のように連続的に変化するCG映像（いわば遷移画像）が表示されることで、視点移動のアニメーションの表示が行われる。
また、このとき、遷移画像としてのCG映像３０２、CG映像３０３、及びCG映像３０４では、視点が移動するとともに、ワイヤフレームにより表現されたラインやゴールのスケールを変更することができるため、遷移画像は、ユーザの両眼の輻輳角の変化に応じた画像を含んでいると言える。
図７は、ヘッドマウントディスプレイ３１Ａに表示される、視点移動後の全天球実写映像の例を示している。図７において、ヘッドマウントディスプレイ３１Ａには、ゴール裏のカメラ４１−２により撮像された全天球実写映像を見ているユーザの視線方向に応じた視点となる全天球実写映像３０５が表示される。
以上のように、スタンドの上部での全天球実写映像３０１（図３）から、ゴール裏での全天球実写映像３０５（図７）に、視点を切り替える際に、視点移動のアニメーション（CG映像３０２乃至CG映像３０４を含むCG映像が連続的に変化する遷移画像）を表示することで、映像が単調になることを解消し、さらにユーザに対して視点がどのように変わったかを把握させることができる。
また、視点移動のアニメーションの表示として、ワイヤフレームにより表現されたCG映像が連続的に変化する遷移画像が表示されるようにすることで、サッカースタジアム２の詳細な情報をデフォルメ（変形）しているため、ヘッドマウントディスプレイ３１Ａを使用しているユーザの酔い（いわゆるVR酔い）を軽減することができる。
なお、視点移動のアニメーションとして、ワイヤフレームにより表現されたCG映像が用いられる場合を示したが、ワイヤフレームによる表現は、全天球実写映像をデフォルメするための表現手法の一例であって、他の表現手法を用いるようにしてもよい。また、本明細書において、デフォルメとは、映像を簡略化するとともに、その映像の特徴を強調する意味を含んでいる。
（再生・表示制御処理の流れ）
次に、図８のフローチャートを参照して、情報処理装置１０（図１）のUI・コンテンツ制御部１０１により実行される再生・表示制御処理の流れを説明する。
なお、図８のフローチャートに示す処理が実行される前提として、ゲーム機やパーソナルコンピュータ等から構成される情報処理装置１０は、ヘッドマウントディスプレイ３１Ａと接続されている。そして、ヘッドマウントディスプレイ３１Ａを頭部に装着したユーザは、そのディスプレイに表示される画面を見ながら、コントローラなどを操作して、例えば、画面に表示される映像（全天球実写映像やCG映像）の視点を切り替えたりすることができる。
ステップＳ１１において、UI・コンテンツ制御部１０１は、再生部１０２を制御して、全天球実写映像を再生する。これにより、例えば、ヘッドマウントディスプレイ３１Ａには、スタンドの上部での全天球実写映像として、全天球実写映像３０１（図３）が表示される。
ステップＳ１２において、UI・コンテンツ制御部１０１は、そこに入力される操作信号などに基づいて、ユーザ又は配信者から、映像の視点を変更する指示である視点変更指示があったかどうかを判定する。
ステップＳ１２において、視点変更指示がないと判定された場合、処理は、ステップＳ１１に戻り、上述した処理が繰り返される。この場合、例えば、スタンドの上部での全天球実写映像を見ているユーザの視線方向に応じた視点となる全天球実写映像３０１（図３）の表示が継続される。
一方で、ステップＳ１２において、例えば、ユーザによりコントローラが操作され、視点変更指示があったと判定された場合、処理は、ステップＳ１３に進められる。
なお、配信者により視点変更指示がなされる場合としては、例えば、コンテンツの制作者によって、あるタイミング（例えば、スタンドの上部での全天球実写映像の再生時間軸上の切り替え時刻）で、視点が変更されるようなコンテンツが制作されたときに、当該コンテンツの再生時にそのタイミング（切り替え時刻）になった時点で、視点変更指示がなされたと判定される。
ステップＳ１３において、UI・コンテンツ制御部１０１は、全天球実写撮像地点情報と、ヘッドマウントディスプレイ３１Ａのヘッドトラッキング情報を取得する。
ステップＳ１４において、UI・コンテンツ制御部１０１は、ステップＳ１３の処理で取得された全天球実写撮像地点情報及びヘッドトラッキング情報に基づいて、CGモデルデータ記憶部２２から読み出されるCGモデルの表示画角を算出する。
ステップＳ１５において、UI・コンテンツ制御部１０１は、ステップＳ１４の処理で算出された算出結果に基づいて、レンダリング部１０３を制御して、CGモデルを、初期位置（全天球実写映像と同じ位置）でレンダリングする。これにより、例えば、ヘッドマウントディスプレイ３１Ａには、全天球実写映像３０１（図３）の視点に対応したCG映像３０２（図４）が表示される。
ステップＳ１６において、UI・コンテンツ制御部１０１は、ヘッドマウントディスプレイ３１Ａのヘッドトラッキング情報を取得する。
ステップＳ１７において、UI・コンテンツ制御部１０１は、ステップＳ１６の処理で取得されたヘッドトラッキング情報に基づいて、ヘッドマウントディスプレイ３１Ａを装着したユーザの視線方向を算出する。
ステップＳ１８において、UI・コンテンツ制御部１０１は、ステップＳ１７の処理で算出された算出結果に基づいて、レンダリング部１０３を制御して、CGモデルを、最新の視点方向でレンダリングする。これにより、例えば、ヘッドマウントディスプレイ３１Ａには、CG映像３０３（図５）が表示される。
ステップＳ１９において、UI・コンテンツ制御部１０１は、そこに入力される操作信号などに基づいて、ユーザ又は配信者から、映像の視点を決定する指示である視点決定指示があったかどうかを判定する。
ステップＳ１９において、視点決定指示がないと判定された場合、処理は、ステップＳ１６に戻り、上述した処理が繰り返される。すなわち、ステップＳ１６乃至Ｓ１８の処理が繰り返されることで、例えば、ヘッドマウントディスプレイ３１Ａには、CG映像３０３（図５）の次に、ユーザの視線に応じたCG映像（例えばワイヤフレームにより表現されたCG映像）が表示される。
一方で、ステップＳ１９において、視点決定指示があったと判定された場合、処理は、ステップＳ２０に進められる。ステップＳ２０において、UI・コンテンツ制御部１０１は、複数の全天球実写映像の中から、最新の視点方向に最も近い全天球実写映像を選択する。
ここで、例えば、CG映像３０４（図６）が表示された直後に、視点決定指示がなされた場合、最新の視点方向に最も近い全天球実写映像として、CG映像３０４（図６）の視点に対応したゴール裏での全天球実写映像が選択される。
ステップＳ２１において、UI・コンテンツ制御部１０１は、再生部１０２を制御して、ステップＳ２０の処理で選択された全天球実写映像を再生する。例えば、ヘッドマウントディスプレイ３１Ａには、ゴール裏での全天球実写映像として、ユーザの視線方向に応じた視点となる全天球実写映像３０５（図７）が表示される。ただし、ゴール裏での全天球実写映像３０５（図７）を表示する際には、その正面方向を、最新のユーザの視点方向に合うように決定してから表示することになる。
以上、再生・表示制御処理の流れについて説明した。
この再生・表示制御処理においては、UI・コンテンツ制御部１０１の表示制御部１１２によって、第１の視点（例えばスタンドの上部に対応した視点）から視聴可能な第１の映像（例えば全天球実写映像３０１）から、第２の視点（例えばゴール裏に対応した視点）から視聴可能な第２の映像（例えば全天球実写映像３０５）に切り替える際に、実質的に連続的に変化する遷移画像として、例えば、CG映像３０２、CG映像３０３、及びCG映像３０４等のCG映像が順に表示される。
この遷移画像としてのCG映像（例えばCG映像３０２、CG映像３０３、及びCG映像３０４等）は、第１の視点（例えばスタンドの上部に対応した視点）から第２の視点（例えばゴール裏に対応した視点）への視点の遷移に対応した映像をデフォルメした画像であって、第１の映像（例えば全天球実写映像３０１）の背景画像及び第２の映像（例えば全天球実写映像３０５）の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含んでいる。
ここで、情報量は、例えば、画像の色の階調及び解像度のうち少なくとも一方を含む画像情報により定まるものである。そして、遷移画像としてのCG映像（例えばCG映像３０２、CG映像３０３、及びCG映像３０４等）の背景画像は、第１の映像の背景画像及び第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像として、例えば黒色や青色等の所定の単色で表された画像を含んでいる。
なお、ここでは、CG映像３０２等の遷移画像が、背景画像として、所定の単色で表された画像を含んでいる場合を示したが、例えば、第１の映像（例えば全天球実写映像３０１）や第２の映像（例えば全天球実写映像３０５）を低解像度化することで得られる画像など、第１の映像の背景画像及び第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含んでいれば、遷移画像として様々な画像を用いることができる。
（ハイライト映像配信の例）
次に、上述したCG映像を取り入れた映像配信の例として、あるサッカーの試合において、ゴールシーンなどの重要な場面のみをピックアップしたハイライト映像の配信の例を説明する。図９は、サッカーのハイライト映像配信の例を示すタイミングチャートを示している。
図９においては、ハイライト映像の内容として、スタンドの上部での全天球実写映像と、視点移動のアニメーション等のCG映像と、ゴール裏での全天球実写映像のうち、いずれの映像が表示されるかを、時系列で表している。
なお、スタンドの上部での全天球実写映像は、図２のカメラ４１−１により撮像され、ゴール裏での全天球実写映像は、図２のカメラ４１−２により撮像される。
図９においては、３分間のハイライト映像は、序盤の盛り上がりシーンと、１点目のゴールシーンと、危なかったシーンと、２点目のゴールシーンと、後半の盛り上がりシーンとから構成される。ヘッドマウントディスプレイ３１Ａを装着したユーザは、自身の好きなタイミングで、コントローラを操作するなどして、例えば、全天球実写映像の視点や、全天球実写映像とCG映像とを切り替えることができる。
例えば、ヘッドマウントディスプレイ３１Ａにおいては、ハイライト映像の配信開始時刻から、序盤の盛り上がりシーンとして、スタンドの上部での全天球実写映像が表示されるが、全天球実写映像が、スタンドの上部から、ゴール裏に切り替えられる場合を想定する。
この場合において、時刻t11に、スタンドの上部での全天球実写映像３０１（図３）が表示されていたときには、時刻t11乃至時刻t12に、CG映像３０２乃至CG映像３０４（図４乃至図６）が、視点移動のアニメーションとして表示される。そして、時刻12に、ゴール裏での全天球実写映像３０５（図７）に切り替えられる。
これにより、１点目のゴールシーンの途中から、視点が、ゴール裏での全天球実写映像に切り替えられ、ヘッドマウントディスプレイ３１Ａを装着したユーザは、ゴール裏側からの視点で、１点目のゴールシーンを見ることができる。
１点目のゴールシーンの終了後、視点が、ゴール裏での全天球実写映像から、スタンドの上部での全天球実写映像に戻される。このとき、時刻t13乃至t14に、視点移動のアニメーションとしてCG映像が表示され、時刻t14に、スタンドの上部での全天球実写映像に切り替えられる。
これにより、危なかったシーンの途中から、視点が、スタンドの上部での全天球実写映像に切り替えられ、ヘッドマウントディスプレイ３１Ａを装着したユーザは、スタンドの上部側からの視点で、危なかったシーンを見ることができる。
危なかったシーンの次は、２点目のゴールシーンとなるが、その途中で、視点が、再度、スタンドの上部での全天球実写映像から、ゴール裏での全天球実写映像に切り替えられる。このとき、時刻t15乃至t16に、視点移動のアニメーションとしてCG映像が表示され、時刻t16に、ゴール裏での全天球実写映像に切り替えられる。
これにより、２点目のゴールシーンの途中から、視点が、ゴール裏での全天球実写映像に切り替えられ、ヘッドマウントディスプレイ３１Ａを装着したユーザは、１点目と同様に、ゴール裏側からの視点で、２点目のゴールシーンを見ることができる。
２点目のゴールシーンの次は、後半の盛り上がりシーンとなるが、その途中で、視点が、ゴール裏での全天球実写映像から、スタンドの上部での全天球実写映像に戻される。このとき、時刻t17乃至t18に、視点移動のアニメーションとしてCG映像が表示され、時刻t18に、スタンドの上部での全天球実写映像に切り替えられる。
これにより、後半の盛り上がりシーンの途中から、視点が、スタンドの上部での全天球実写映像に切り替えられ、ヘッドマウントディスプレイ３１Ａを装着したユーザは、スタンドの上部側からの視点で、後半の盛り上がりシーンを見ることができる。そして、後半の盛り上がりシーンが終了すると、ハイライト映像の配信は終了となる。
なお、全天球実写映像とCG映像との切り替えのタイミングとしては、例えば、ヘッドマウントディスプレイ３１Ａを装着したユーザが、コントローラなどを操作して、ハイライト映像コンテンツの視聴時に、好きなタイミングで切り替えるほか、例えば、コンテンツの制作者側（又は配信者側）で、ハイライト映像コンテンツの制作時に、意図したタイミング（例えば全天球実写映像の再生時間軸上の切り替え時刻）で切り替えることができる。
また、CG映像を表示する際には、映像に関連した付加情報を表示するようにしてもよい。例えば、サッカーの試合においては、注目している選手（例えばゴールシーンにおける得点やアシストをした選手）の名前や位置情報、ボールの軌跡、チームごとのボール支配率など、選手や試合に関する様々な情報（静的又は動的な情報）を、付加情報として表示することができる。
以上のように、本技術では、第１のカメラ（例えば第１の全天球カメラ）により撮像された第１の全天球実写映像から、第２のカメラ（例えば第２の全天球カメラ）により撮像された第２の全天球実写映像に視点を切り替える際に、連続的に変化するCG映像による視点移動のアニメーションを表示することで、映像の視点の切り替えに伴う不都合な事象を回避して、ユーザの利便性を向上させることができる。
例えば、第１の全天球実写映像から第２の全天球実写映像に切り替わる際に、何ら示唆もなく切り替わってしまうと、ユーザが自由に視点を変えられないために映像が単調なり、さらには、ユーザは、自分の見ている方向や位置を見失う可能性がある。それに対し、本技術では、それらの映像の切り替え時に、視点移動のアニメーションを表示することで、視点を自由に変更して映像が単調になるのを解消できるとともに、ユーザに対して視点がどのように変わったかを把握させることができる。
また、例えば、第１の全天球実写映像から第２の全天球実写映像に切り替わる際に、映像の急激な変化や、映像の変化が身体の動きと異なると酔いやすくなる恐れがある。特に、ヘッドマウントディスプレイ３１Ａを装着したユーザが、コントローラなどで視点を切り替える操作を行う場合には、現実の身体の動きと異なるため、酔ってしまう可能性が高くなる。それに対し、本技術では、それらの映像の切り替え時に、視点移動のアニメーションとして、例えばワイヤフレームにより表現されたCG映像によって、情報をデフォルメしたものを表示することで、ヘッドマウントディスプレイ３１Ａを装着したユーザの酔い（いわゆるVR酔い）を軽減することができる。
なお、近年、スポーツ中継などで、大規模なカメラシステムと映像処理プロセスを用いて、実写の3Dモデル化を行うことで、2Dの映像だけでなく、360度のリプレイ映像を視聴可能にしているものもあるが、本技術では、既存の機材（例えば、全天球カメラ）で撮像された全天球実写映像を使って、既存の機器（例えば、ゲーム機やパーソナルコンピュータ、ヘッドマウントディスプレイ）を活用しながら、低コストで、有効な視点の自由度を向上させることができる。
また、本技術では、CG映像を表示することで、例えば、ユーザ操作での視点の変化や、実写映像に関連した付加情報の表示など、インタラクション可能な表現を容易に実現することが可能となる。さらに、全天球実写映像の映像切り替え時のわかりにくさや、酔いが軽減されることで、全天球実写映像の切り替えが容易になり、視点が固定となる全天球実写映像の単調さを改善することができる。
＜２．第２の実施の形態＞
（表示スケール変更）
ところで、ヘッドマウントディスプレイ３１Ａにおいて、CG映像を表示させる際に、情報処理装置１０（のUI・コンテンツ制御部１０１の表示制御部１１２）は、表示スケールが小さくなるように表示を制御することで、フィールド全体をミニチュアのように見せることができる。このようなミニチュアCG映像（いわば縮小画像）を表示することで、ヘッドマウントディスプレイ３１Ａの特長を生かしたユーザの頭部の動きに合わせた直感的な視点変更が可能となる。
図１０は、ヘッドマウントディスプレイ３１ＡにおけるフィールドのミニチュアCG映像の表示例を示している。
図１０のミニチュアCG映像３１１においては、カメラ４１により撮像された全天球実写映像と比べて、スタンドや観客が消去されて、全体が縮小されたCG(Computer Graphics)のフィールドが表示されている。なお、ミニチュアCG映像３１１は、背景画像として、例えば青色や黒色等の所定の単色で表された画像を含んでいる。
また、ミニチュアCG映像３１１において、フィールド上の選手は、実際の選手そのものではなく、板状のパネルに選手の上半身を描いたものによって表現されている。この選手パネルは、実際の選手と同様の動きをするため、ヘッドマウントディスプレイ３１Ａを装着したユーザは、フィールド上を動き回る選手パネルを追うことで、実際の選手の動きを確認することができる。
さらに、このフィールドのミニチュアCG映像は、ヘッドマウントディスプレイ３１Ａを装着したユーザの頭部の動きに合わせて、例えばスタンド側やゴール裏側などに視点が変更されるため、様々な角度（方向）から見渡したり、CGのフィールドとの距離を変えたりする（例えばCGのフィールドに近づいたり、離れたりする）ことで、より確実に、フィールド上の選手などを確認することができる。
ここで、図１１及び図１２を参照して、全天球実写映像からミニチュアCG映像への遷移時における表示スケールの変更方法について説明する。
図１１は、全天球実写映像の表示時のユーザの視線のフィールドまでの距離を、xyzの座標軸による３次元で表している。図１１において、ヘッドマウントディスプレイ３１Ａを装着したユーザ４０１の視線は、図中の矢印で示すように、全天球実写映像におけるフィールド４０２の中央付近に向いている。
ここで、例えば、全天球実写映像におけるフィールド４０２のサイズとして、タッチライン×ゴールラインが、100m×70mとなる場合を想定すれば、ユーザ４０１の視線のフィールド４０２の中央付近までの距離L1は、50mとなる。
一方で、図１２は、ミニチュアCG映像の表示時のユーザの視線のフィールドまでの距離を、xyzの座標軸による３次元で表している。図１２において、ヘッドマウントディスプレイ３１Ａを装着したユーザ４０１の視線は、図中の矢印で示すように、ミニチュアCG映像におけるフィールド４０３の中央付近に向いている。
ここで、図１２においては、図１１に示した全天球実写映像のフィールド４０２を、図中の点線で示すことで、そのサイズを、ミニチュアCG映像のフィールド４０３のサイズと比較可能にしている。
例えば、ミニチュアCG映像におけるフィールド４０３のサイズとして、タッチライン×ゴールラインが、100cm×70cmとなる場合を想定すれば、100m×70mとなるフィールド４０２と比べて、そのサイズが、1/100のサイズとなっている。すなわち、全天球実写映像からミニチュアCG映像に遷移したとき、フィールドのサイズが、1/100のサイズに縮小される（実サイズからミニチュアサイズに変更される）。
そして、ミニチュアCG映像におけるフィールド４０３が、1/100のサイズの100cm×70cmとなるとき、ヘッドマウントディスプレイ３１Ａを装着したユーザ４０１の視線のフィールド４０３の中央付近までの距離L2は、50cmとなって、図１１に示した全天球実写映像の場合の視線の距離L1（50m）の1/100の長さとなっている。すなわち、全天球実写映像からミニチュアCG映像に遷移したとき、そのフィールドのサイズ（表示スケール）の変更に合わせて、フィールドの位置を視点方向に近づけている。
このように、本技術では、全天球実写映像からミニチュアCG映像に遷移して、フィールドのサイズを、実サイズからミニチュアサイズに変化させる際に、フィールドの位置も、ユーザの視点方向に、サイズの変更に合わせて近づけることで、ヘッドマウントディスプレイ３１Ａを装着したユーザが見ている画角を変化させずに、連続的にサイズ変更を行うことができる。
このようにして表示されるミニチュアCG映像としては、例えば、図１３乃至図１５に示すようなCG映像を表示することができる。すなわち、図１３乃至図１５においては、サッカースタジアム２で行われているサッカーの試合でのゴールシーンにて得点が入るまでの一連の流れを、ミニチュアCG映像で表現している。
具体的には、図１３のミニチュアCG映像３１２においては、ハーフウェーライン付近で、ボールを保持している攻撃側のチームの選手が、攻撃を仕掛けようとしている様子が表現されている。その後、図１４のミニチュアCG映像３１３においては、攻撃側のチームの選手が、ペナルティエリア付近まで迫っており、守備側のチームの選手がそれに対処している様子が表現されている。
そして、図１５のミニチュアCG映像３１４においては、ペナルティエリア内に入った攻撃側のチームの選手がシュートしたボールを、守備側のチームの選手は防ぐことができず、ゴール内にボールが入って、ゴールが決まった様子が表現されている。
ここで、図１３乃至図１５に示したゴールシーンにて得点が入るまでの一連の流れにおいては、ヘッドマウントディスプレイ３１Ａを装着したユーザの頭部の動きに応じて、ディスプレイに表示されるGC映像の視点が変化している。
例えば、図１３のミニチュアCG映像３１２は、スタンド側から見ているCG映像となる一方で、図１４のミニチュアCG映像３１３は、ゴール裏側から見ているCG映像となる。また、例えば、図１３のミニチュアCG映像３１２は、フィールド全体を見渡せる引いたCG映像となる一方で、図１５のミニチュアCG映像３１４は、ボールの付近にいる選手に寄ったCG映像となる。
以上のように、本技術を適用することで、ヘッドマウントディスプレイ３１Ａを装着したユーザの頭部の動きに合わせて、ミニチュアCG映像の視点を変更して、様々な角度からフィールドを見渡すことが可能となる。
例えば、サッカーの試合のコンテンツを視聴するユーザによっては、フィールド全体を俯瞰したい者や、より近くで選手を見たい者、あるいは、スタンド側から見たい者や、ゴール裏側から見たい者など、その要求は様々であるが、本技術を適用することで、様々な角度からフィールドを見渡すことが可能となるため、その要求に応えることができる。
なお、このミニチュアCG映像を表示するタイミングであるが、例えば、図９のタイミングチャートに示したように、ハイライト映像コンテンツの視聴時に、スタンドの上部又はゴール裏での全天球実写映像の表示を切り替えることで、視点移動可能なCG映像として、ミニチュアCG映像を表示することが可能となる。このミニチュアCG映像を表示させることで、例えば、注目している選手やボールの位置を確認したり、あるいはゴールシーンなどの重要な場面を確認したりすることができる。
また、全天球実写映像とミニチュアCG映像との切り替えのタイミングとしては、例えば、ヘッドマウントディスプレイ３１Ａを装着したユーザが、コントローラなどを操作して、ハイライト映像コンテンツの視聴時に、好きなタイミングで切り替えるほか、例えば、コンテンツの制作者側で、ハイライト映像コンテンツの制作時に、意図したタイミングで切り替えることができる。
さらに、ミニチュアCG映像を表示する際には、例えば、注目している選手の名前や位置情報、ボールの軌跡、チームごとのボール支配率など、選手や試合に関する様々な情報を、付加情報として表示することができる。
＜３．第３の実施の形態＞
（表示スケール変更）
上述した説明では、ヘッドマウントディスプレイ３１Ａにおいて、ミニチュアCG映像を利用することで、サッカースタジアムのフィールド全体をミニチュアのように見せる例を説明したが、このミニチュアCG映像は、サッカースタジアムのフィールドに限らず、様々な場面で利用することができる。
例えば、ヘッドマウントディスプレイ３１Ａにおいて、コンサートホールにおけるオーケストラの演奏の全天球実写映像を表示する際に、オーケストラの楽器配置のミニチュアCG映像を表示することができる。
図１６は、ヘッドマウントディスプレイ３１Ａにおけるオーケストラの楽器配置のミニチュアCGの表示例を示している。
なお、詳細な説明は繰り返しになるため、省略するが、オーケストラの演奏が行われるコンサートホールには、１又は複数のカメラ（例えば全天球カメラ）が設置され、例えば、ステージ上の指揮者の付近や、客席などの設置位置に応じた全天球実写映像が撮像される。
例えば、ヘッドマウントディスプレイ３１Ａにおいては、コンサートホールに設置されたカメラにより撮像された全天球実写映像から、ミニチュアCG映像に、表示が切り替えられると、図１６のミニチュアCG映像３２１が表示される。
図１６のミニチュアCG映像３２１においては、全体が縮小されたCGのステージ上に、実際の楽器配置に対応して配置されたCGの楽器が表示されている。また、ミニチュアCG映像３２１では、楽器のみがCGで表現され、その演奏者については、CG化されていない。
このCGの楽器は、オーケストラの実際の楽器配置に対応して配置されるため、ヘッドマウントディスプレイ３１Ａを装着したユーザは、コンサートホールにおけるオーケストラの楽器配置を確認することができる。
例えば、ミニチュアCG映像３２１において、ステージの前方には、ヴァイオリンやヴィオラ等の弦楽器が配置され、それらの弦楽器の後方に、フルートやオーボエ等の木管楽器が配置されている。また、ミニチュアCG映像３２１では、それらの木管楽器の後方には、トランペットやトロンボーン等の金管楽器が配置され、それらの金管楽器の後方又はステージ奥に、打楽器が配置されている。
なお、図１６において、ヘッドマウントディスプレイ３１Ａには、ミニチュアCG映像のみが表示されているが、ミニチュアCG映像とともに、その背景画像として、コンサートホールに設置されたカメラにより撮像された全天球実写映像が同時に表示されるようにしてもよい。例えば、全天球実写映像に対し、ミニチュアCG映像３２１が重畳して表示されるようにすることで、ユーザは、実際のオーケストラの演奏を視聴しながら、そのオーケストラの楽器の配置を確認することができる。
また、ミニチュアCG映像の背景画像としては、例えば、全天球実写映像を低解像度化することで得られる画像や、青色や黒色等の所定の単色で表された画像などを含めることができる。
また、このオーケストラの楽器配置のミニチュアCG映像は、ヘッドマウントディスプレイ３１Ａを装着したユーザの頭部の動きに合わせて、その視点が変更されるため、様々な角度（方向）から見渡したり、CGのステージとの距離を変えたりする（例えばCGのステージに近づいたり、離れたりする）ことで、より確実に、楽器配置を確認することができる。
例えば、図１６のミニチュアCG映像３２１は、ほぼ正面からステージ全体を見たときのCG映像となるが、図１７において、ミニチュアCG映像３２２は、左上方からステージ全体を見たときのCG映像となる。
また、例えば、図１６のミニチュアCG映像３２１や、図１７のミニチュアCG映像３２２は、ステージに対し、ある程度の距離を保ったCG映像となるが、図１８において、ミニチュアCG映像３２３は、ステージの後方に配置される金管楽器や打楽器に対して、より接近したCG映像となる。
以上のように、本技術を適用することで、ヘッドマウントディスプレイ３１Ａを装着したユーザの頭部の動きに合わせて、ミニチュアCG映像の視点を変更して、様々な角度から、楽器が配置されたステージを見渡すことが可能となる。
例えば、オーケストラのコンサートのコンテンツを視聴しているユーザによっては、コンサートホールにおけるオーケストラの楽器配置を確認したいという要求があるとともに、その楽器配置の全体を俯瞰したい者や、より近くで見たい者、あるいは楽器の配置を、ステージの正面から見たい者や、ステージの側面から見たい者など、その要求は様々であるが、本技術を適用することで、様々な角度から、楽器が配置されたステージを見渡すことが可能となるため、その要求に応えることができる。
なお、全天球実写映像とミニチュアCG映像との切り替えのタイミングとしては、例えば、ヘッドマウントディスプレイ３１Ａを装着したユーザが、コントローラなどを操作して、オーケストラのコンサートのコンテンツの視聴時に、好きなタイミングで切り替えるほか、例えば、コンテンツの制作者側で、オーケストラのコンサートのコンテンツの制作時に、意図したタイミングで切り替えることができる。
また、ミニチュアCG映像を表示する際には、例えば、注目している演奏者の名前や、楽器の名称など、演奏者や楽器に関する様々な情報を、付加情報として表示することができる。
さらに、ここではその説明は省略するが、上述したサッカースタジアムの例と同様に、オーケストラの演奏が行われるコンサートホールに設置されるカメラにより撮像された全天球実写映像を切り替える際に、連続的に変化するCG映像による視点移動のアニメーションを表示するようにしてもよい。これにより、映像の視点の切り替えに伴う不都合な事象を回避して、ユーザの利便性を向上させることができる。
＜４．第４の実施の形態＞
上述した説明では、CG映像を取り入れた映像配信の例として、サッカーのハイライト映像配信の例を説明したが、このCG映像を取り入れた映像配信は、サッカーのハイライト映像に限らず、様々な映像の配信で利用することができる。
例えば、ヘッドマウントディスプレイ３１Ａにおいて、音楽ライブの全天球実写映像を表示する際に、様々なCG映像を表示することができる。図１９は、音楽ライブの映像配信の例を示すタイミングチャートを示している。
図１９においては、音楽ライブの映像として、ステージの前方での全天球実写映像と、視点移動可能なCG映像と、スタンドの上部での全天球実写映像のうち、いずれの映像が表示されるかを、時系列で表している。
なお、詳細な説明は繰り返しになるため、省略するが、音楽ライブのイベントが行われる会場には、１又は複数のカメラ（例えば全天球カメラ）が設置されている。例えば、イベント会場において、ステージの前方に設置された全天球カメラによって、ステージの前方での全天球実写映像が撮像され、スタンドの上部に設置された全天球カメラによって、スタンドの上部での全天球実写映像が撮像される。
ヘッドマウントディスプレイ３１Ａにおいては、30分間の音楽ライブの映像の配信開始時刻から、ステージの前方での全天球実写映像が表示される。
図２０は、ヘッドマウントディスプレイ３１Ａに表示される、ステージの前方での全天球実写映像の例を示している。図２０において、ヘッドマウントディスプレイ３１Ａには、ステージの前方での全天球実写映像を見ているユーザの視線方向に応じた視点となる全天球実写映像３３１が表示される。
ヘッドマウントディスプレイ３１Ａを装着したユーザは、自身の好きなタイミングで、コントローラを操作するなどして、例えば、全天球実写映像の視点や、全天球実写映像とCG映像とを切り替えることができる。
この例では、時刻21に、ステージの前方での全天球実写映像から、CG映像に切り替えられている。さらに、時刻t22に、CG映像から、スタンドの上部での全天球実写映像に切り替えられている。ここで、時刻21乃至時刻t22の間に表示されるCG映像としては、様々なCG映像を表示させることができるが、例えば、次のような表示がなされる。
すなわち、時刻21乃至時刻t22の間に、複数の視点からの臨場感のある全天球実写映像に加えて、CG映像によって、現実にはないステージの演出がなされるようにすることができる。
図２１は、ヘッドマウントディスプレイ３１Ａに表示される、現実にはないステージの演出がなされた映像の例を示している。図２１のCG合成映像３３２において、ヘッドマウントディスプレイ３１Ａには、ステージの前方での全天球実写映像となる中央の女性の歌手に対し、左右に２人ずつの女性のバックダンサーが、CG映像で表示（合成表示）されている。図２１のCG合成映像３３２では、４人のバックダンサー（CGのアーティスト）が、モーションキャプチャされた女性の歌手（実写のアーティスト）と同期した動きをすることになる。
なお、ここでは、CG映像による現実にはない演出として、他のアーティスト（バックダンサー）が表示される例を示したが、例えば、ステージ上にない物体を表示したり、照明の演出をしたりするなど、様々な演出を行うことができる。
また、上述したように、全天球実写映像が、ステージの前方から、スタンドの上部に切り替えられる場合を想定すれば、時刻21乃至時刻t22の間に、視点移動のアニメーションとしてのCG映像（例えばワイヤフレームにより表現されたイベント会場内のCG映像）を表示するようにしてもよい。これにより、映像が単調になることを解消し、さらにユーザに対して視点がどのように変わったかを把握させることができる。
また、時刻21乃至時刻t22の間に、上述したミニチュアCG映像が表示されるようにしてもよい。ここでのミニチュアCG映像としては、様々なCG映像を表示することができるが、例えば、第２の実施の形態と同様に、音楽ライブにて演奏を行う楽器（例えばギターやドラムなど）の配置を示すことができる。これにより、ヘッドマウントディスプレイ３１Ａを装着したユーザの頭部の動きに合わせて、ミニチュアCG映像の視点を変更して、様々な角度から、ステージを見渡すことが可能となる。
そして、時刻t22に、スタンドの上部での全天球実写映像に切り替えられる。図２２は、ヘッドマウントディスプレイ３１Ａに表示される、スタンドの上部での全天球実写映像の例を示している。図２２において、ヘッドマウントディスプレイ３１Ａには、スタンドの上部での全天球実写映像を見ているユーザの視線方向に応じた視点となる全天球実写映像３３３が表示される。
その後、時刻t23に、CG映像に切り替えられ、さらに、時刻t24に、ステージの前方での全天球実写映像に切り替えられる。また、時刻t25に、CG映像に切り替えられ、さらに、時刻t26に、スタンドの上部での全天球実写映像に切り替えられる。また、時刻t27に、CG映像に切り替えられ、さらに、時刻t28に、ステージの前方での全天球実写映像に切り替えられる。なお、これらの全天球実写映像やCG映像の表示の内容は、上述した説明と同様であるため、ここではその説明を省略する。
以上のように、本技術を適用することで、ヘッドマウントディスプレイ３１Ａを装着したユーザに対し、全天球実写映像に加えて、CG映像によって、例えば、現実にはないステージの演出や、視点移動のアニメーションなどを行うことが可能となる。
なお、全天球実写映像とCG映像との切り替えのタイミングとしては、例えば、ヘッドマウントディスプレイ３１Ａを装着したユーザが、コントローラなどを操作して、音楽ライブのコンテンツの視聴時に、好きなタイミングで切り替えたり、あるいは、コンテンツの制作者側で、音楽ライブのコンテンツの制作時に、意図したタイミングで切り替えたりすることができる。
また、CG映像を表示する際には、例えば、注目しているアーティストの名前や、楽器の名称など、アーティストや楽器などに関する様々な情報を、付加情報として表示することができる。
＜５．変形例＞
（他の利用例）
上述した説明では、本技術を適用したCG映像を、サッカーの試合やオーケストラのコンサート、音楽ライブの全天球実写映像に対して表示する場合を示したが、その他、様々なケースに適用することができる。
例えば、観光体験や観光ガイドを提供する場合において、ある観光地に設置されたカメラ（例えば全天球カメラ）で撮像された高画質の全天球実写映像（動画やライブ映像）を、ヘッドマウントディスプレイ３１Ａで視聴する場合を想定する。
この場合に、例えば、全天球実写映像を切り替えるに際して、CG映像による視点移動のアニメーションを挟んだり、あるいは、ミニチュアCG映像を表示したりすることで、ヘッドマウントディスプレイ３１Ａを装着したユーザは、その観光地の地形や街全体の把握や距離などを実感することができる。
なお、この観光体験や観光ガイドの例の使用データとしては、例えば、全天球実写映像として、観光地の一般順路の映像（屋内と屋外の映像を含む）や、観光地の特定のスポットの高画質の動画やライブ映像、画像などを含めることができる。また、例えば、CG映像として利用するために、観光地全域の簡易的なCGモデルを含めることができる。
また、例えば、警備システムを提供する場合において、ある警備対象の施設内に設置されたカメラ（例えば全天球カメラ）で撮像された全天球実写映像（ライブ映像）を、表示装置３１（例えば、ヘッドマウントディスプレイ３１Ａ）で監視する場合を想定する。
この場合に、例えば、全天球実写映像を切り替えるに際して、CG映像による視点移動のアニメーションを挟んだり、あるいは、ミニチュアCG映像を表示したりすることで、次のような効果が得られる。すなわち、視点移動のアニメーションが表示されることで、例えば、ある部屋から異なる部屋にカメラを切り替える際に、警備者は、直感的に部屋間の移動を認識することが可能となる。
また、施設内に設置されたカメラ（例えば全天球カメラ）により撮像された全天球実写映像を利用することで、アラートが鳴るなどして何らかの異変が起こったときでも、警備者は、現場に行かずに、その場所と同じように、警備対象の確認作業を行うことができる。さらに、全天球実写映像を、高画質で、かつ高音質とすることで、警備者は、警備対象のちょっとした異変にも気づきやすくなる。
なお、警備システムの例の使用データとしては、例えば、全天球実写映像として、警備対象の高画質、かつ高音質のライブ映像を含めることができる。また、例えば、CG映像として利用するために、部屋以外の部分のCGモデルを含めることができる。さらに、ここでは、各種センサにより得られるセンサデータのライブ映像や、そのCGモデルなどを利用するようにしてもよい。
（機器の他の構成例）
上述した説明では、映像再生システム１において、情報処理装置１０が、ヘッドマウントディスプレイ３１Ａ等の表示装置３１に表示される映像を制御するとして説明したが、表示装置３１が映像を再生して、レンダリングする機能を有するようにしてもよい。
例えば、ヘッドマウントディスプレイ３１Ａが、図１に示したUI・コンテンツ制御部１０１、再生部１０２、及びレンダリング部１０３の機能を有するようにしてもよい。換言すれば、映像再生システム１において、情報処理装置１０と表示装置３１とが、一体となって１つの装置として構成されるようにすることができると言える。
また、情報処理装置１０としては、上述したゲーム機やパーソナルコンピュータなどのほか、例えば、スマートフォンやタブレット型のコンピュータ、テレビ受像機、再生機、録画機、セットトップボックス（STB：Set Top Box）、ストレージ装置などのコンテンツを再生可能な電子機器に適用することができる。また、表示装置３１としては、上述したヘッドマウントディスプレイやスマートフォンのほか、例えば、メガネ型情報端末等のウェアラブルコンピュータや、タブレット型のコンピュータ、パーソナルコンピュータ、ゲーム機などのディスプレイを有する電子機器に適用することができる。
（CG映像の他の例）
上述した説明では、ヘッドマウントディスプレイ３１Ａを装着したユーザに対し、全天球実写映像を表示して、あたかもそこにいるかのような感覚を体験できるようにするバーチャルリアリティ（仮想現実）を実現しているが、本技術は、仮想現実（VR）に限らず、現実空間に付加情報を表示させて現実世界を拡張する拡張現実（AR：Augmented Reality）などに適用するようにしてもよい。
例えば、コンサートホールの客席に座っているユーザが、専用のアプリケーションを起動したスマートフォンのディスプレイを介して、ステージ上のオーケストラを見ることで、当該ディスプレイには、現実空間のオーケストラの映像に対し、オーケストラの楽器配置のミニチュアCG映像が重畳された映像を表示することができる。
なお、全天球実写映像は、ある施設内の設置位置に固定された全天球カメラにより撮像されるものに限らず、例えば、全天球カメラを無人航空機（UAV：Unmanned Aerial Vehicle）を搭載して、空撮で得られた全天球実写映像など、様々な手法で撮像された全天球実写映像を用いることができる。また、上述した説明では、カメラ４１により撮像された全天球実写映像について述べたが、本技術は、例えば、半天球カメラ等のカメラで撮像された映像など、様々な映像に対して適用することが可能である。
＜６．コンピュータの構成＞
上述した一連の処理（例えば、図８に示した再生・表示制御処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
以上のように構成されるコンピュータ１０００では、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、図８に示した再生・表示制御処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成をとることができる。
（１）
第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する表示制御部を備える
情報処理装置。
（２）
前記遷移画像は、前記第１の視点から前記第２の視点への視点の遷移に対応した映像を簡略化するとともに前記映像の特徴を強調することで得られる画像を含む
前記（１）に記載の情報処理装置。
（３）
前記遷移画像のうち、切り替え開始時に表示する第１の遷移画像は、前記第１の映像を簡略化するとともに前記第１の映像の特徴を強調することで得られる画像を含み、切り替え終了時に表示する第２の遷移画像は、前記第２の映像を簡略化するとともに前記第２の映像の特徴を強調することで得られる画像を含む
前記（２）に記載の情報処理装置。
（４）
前記遷移画像は、CG(Computer Graphics)の映像である
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記CGの映像は、ワイヤフレームにより表現された映像である
前記（４）に記載の情報処理装置。
（６）
前記第１の遷移画像は、前記第１の映像に含まれる対象物を輪郭のみで表現した画像を含み、
前記第２の遷移画像は、前記第２の映像に含まれる対象物を輪郭のみで表現した画像を含む
前記（５）に記載の情報処理装置。
（７）
前記情報量は、画像の色の階調及び解像度のうち少なくとも一方を含む画像情報により定まる
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記遷移画像は、前記背景画像として、所定の単色で表された画像、又は前記第１の映像若しくは前記第２の映像を低解像度化することで得られる画像を含む
前記（７）に記載の情報処理装置。
（９）
前記遷移画像は、ユーザの両眼の輻輳角の変化に応じた画像を含む
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
ユーザの操作、又は前記第１の映像の再生時間軸上の切り替え時刻に基づいて、前記第１の映像から前記第２の映像に切り替える
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記表示制御部は、前記第１の映像又は前記第２の映像に含まれる対象物を縮小した縮小画像の表示を制御する
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記縮小画像は、CGの映像である
前記（１１）に記載の情報処理装置。
（１３）
前記表示制御部は、前記第１の映像又は前記第２の映像から、前記縮小画像に切り替える際に、前記第１の映像又は前記第２の映像に含まれる対象物の表示スケールの変更に合わせて、その対象物の位置を、ユーザの視点方向に近づける
前記（１１）又は（１２）に記載の情報処理装置。
（１４）
前記表示制御部は、前記縮小画像として、前記第１の映像又は前記第２の映像に含まれる人物の動きに応じたCGの映像を含める
前記（１２）又は（１３）に記載の情報処理装置。
（１５）
前記表示制御部は、前記縮小画像として、前記第１の映像又は前記第２の映像に含まれる物体の配置に応じたCGの映像を含める
前記（１２）又は（１３）に記載の情報処理装置。
（１６）
前記第１の映像及び前記第２の映像は、全天球実写映像である
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記全天球実写映像を撮像するカメラは、スポーツを含む競技が行われる競技場、音楽の演奏会を含むイベントが行われる建築物、構造物の内部、又は屋外に設置され、
前記全天球実写映像は、スポーツを含む競技の映像、音楽の演奏会を含むイベントの映像、構造物の内部の映像、又は屋外の映像を含む
前記（１６）に記載の情報処理装置。
（１８）
前記表示装置は、ヘッドマウントディスプレイである
前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
情報処理装置の情報処理方法において、
前記情報処理装置が、
第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する
情報処理方法。
（２０）
コンピュータを、
第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する表示制御部
として機能させるためのプログラム。
１ 映像再生システム， １０ 情報処理装置， ２１ 映像・CG制御データ記憶部， ２２ CGモデルデータ記憶部， ３１ 表示装置， ３１Ａ ヘッドマウントディスプレイ， ３２ スピーカ， ４１，４１−１，４１−２ カメラ， １０１ UI・コンテンツ制御部， １０２ 再生部， １０３ レンダリング部， １１１ 再生制御部， １１２ 表示制御部， １２１ データ取得部， １２２ デマックス， １２３ 第１ビデオデコーダ， １２４ 第２ビデオデコーダ， １２５ オーディオデコーダ， １２６ CG制御データデコーダ， １２７ 同期制御部， １０００ コンピュータ， １００１ CPU

Claims (20)

  1. 第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する表示制御部を備える
    情報処理装置。
  2. 前記遷移画像は、前記第１の視点から前記第２の視点への視点の遷移に対応した映像を簡略化するとともに前記映像の特徴を強調することで得られる画像を含む
    請求項１に記載の情報処理装置。
  3. 前記遷移画像のうち、切り替え開始時に表示する第１の遷移画像は、前記第１の映像を簡略化するとともに前記第１の映像の特徴を強調することで得られる画像を含み、切り替え終了時に表示する第２の遷移画像は、前記第２の映像を簡略化するとともに前記第２の映像の特徴を強調することで得られる画像を含む
    請求項２に記載の情報処理装置。
  4. 前記遷移画像は、CG(Computer Graphics)の映像である
    請求項３に記載の情報処理装置。
  5. 前記CGの映像は、ワイヤフレームにより表現された映像である
    請求項４に記載の情報処理装置。
  6. 前記第１の遷移画像は、前記第１の映像に含まれる対象物を輪郭のみで表現した画像を含み、
    前記第２の遷移画像は、前記第２の映像に含まれる対象物を輪郭のみで表現した画像を含む
    請求項５に記載の情報処理装置。
  7. 前記情報量は、画像の色の階調及び解像度のうち少なくとも一方を含む画像情報により定まる
    請求項１に記載の情報処理装置。
  8. 前記遷移画像は、前記背景画像として、所定の単色で表された画像、又は前記第１の映像若しくは前記第２の映像を低解像度化することで得られる画像を含む
    請求項７に記載の情報処理装置。
  9. 前記遷移画像は、ユーザの両眼の輻輳角の変化に応じた画像を含む
    請求項２に記載の情報処理装置。
  10. ユーザの操作、又は前記第１の映像の再生時間軸上の切り替え時刻に基づいて、前記第１の映像から前記第２の映像に切り替える
    請求項１に記載の情報処理装置。
  11. 前記表示制御部は、前記第１の映像又は前記第２の映像に含まれる対象物を縮小した縮小画像の表示を制御する
    請求項１に記載の情報処理装置。
  12. 前記縮小画像は、CGの映像である
    請求項１１に記載の情報処理装置。
  13. 前記表示制御部は、前記第１の映像又は前記第２の映像から、前記縮小画像に切り替える際に、前記第１の映像又は前記第２の映像に含まれる対象物の表示スケールの変更に合わせて、その対象物の位置を、ユーザの視点方向に近づける
    請求項１２に記載の情報処理装置。
  14. 前記表示制御部は、前記縮小画像として、前記第１の映像又は前記第２の映像に含まれる人物の動きに応じたCGの映像を含める
    請求項１３に記載の情報処理装置。
  15. 前記表示制御部は、前記縮小画像として、前記第１の映像又は前記第２の映像に含まれる物体の配置に応じたCGの映像を含める
    請求項１３に記載の情報処理装置。
  16. 前記第１の映像及び前記第２の映像は、全天球実写映像である
    請求項１に記載の情報処理装置。
  17. 前記全天球実写映像を撮像するカメラは、スポーツを含む競技が行われる競技場、音楽の演奏会を含むイベントが行われる建築物、構造物の内部、又は屋外に設置され、
    前記全天球実写映像は、スポーツを含む競技の映像、音楽の演奏会を含むイベントの映像、構造物の内部の映像、又は屋外の映像を含む
    請求項１６に記載の情報処理装置。
  18. 前記表示装置は、ヘッドマウントディスプレイである
    請求項１に記載の情報処理装置。
  19. 情報処理装置の情報処理方法において、
    前記情報処理装置が、
    第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する
    情報処理方法。
  20. コンピュータを、
    第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する表示制御部
    として機能させるためのプログラム。
JP2018035080A 2018-02-28 2018-02-28 情報処理装置、情報処理方法、及び、プログラム Pending JP2019149122A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018035080A JP2019149122A (ja) 2018-02-28 2018-02-28 情報処理装置、情報処理方法、及び、プログラム
KR1020207023717A KR20200126367A (ko) 2018-02-28 2019-02-14 정보 처리 장치, 정보 처리 방법, 및 프로그램
PCT/JP2019/005187 WO2019167632A1 (ja) 2018-02-28 2019-02-14 情報処理装置、情報処理方法、及び、プログラム
DE112019001052.2T DE112019001052T5 (de) 2018-02-28 2019-02-14 Datenverarbeitungsvorrichtung, Datenverarbeitungsverfahren und Programm
CN201980014747.3A CN111742353B (zh) 2018-02-28 2019-02-14 信息处理装置、信息处理方法和程序
US16/971,886 US20210092466A1 (en) 2018-02-28 2019-02-14 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018035080A JP2019149122A (ja) 2018-02-28 2018-02-28 情報処理装置、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2019149122A true JP2019149122A (ja) 2019-09-05

Family

ID=67806145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018035080A Pending JP2019149122A (ja) 2018-02-28 2018-02-28 情報処理装置、情報処理方法、及び、プログラム

Country Status (6)

Country Link
US (1) US20210092466A1 (ja)
JP (1) JP2019149122A (ja)
KR (1) KR20200126367A (ja)
CN (1) CN111742353B (ja)
DE (1) DE112019001052T5 (ja)
WO (1) WO2019167632A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021261099A1 (ja) * 2020-06-23 2021-12-30
JPWO2022014369A1 (ja) * 2020-07-17 2022-01-20
CN114245210A (zh) * 2021-09-22 2022-03-25 北京字节跳动网络技术有限公司 视频播放方法、装置、设备以及存储介质
WO2022209297A1 (ja) 2021-03-31 2022-10-06 ソニーグループ株式会社 情報処理装置、情報処理方法および記録媒体
WO2023182009A1 (ja) * 2022-03-24 2023-09-28 ヤマハ株式会社 映像処理方法および映像処理装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401453B2 (ja) * 2018-04-05 2023-12-19 ヴィド スケール インコーポレイテッド 全方位ビデオに対する視点メタデータ
KR20210107631A (ko) * 2018-12-25 2021-09-01 소니그룹주식회사 영상 재생 장치, 재생 방법 및 프로그램
CN115315684A (zh) 2020-03-30 2022-11-08 索尼集团公司 用于改变虚拟空间中的视点的方法
WO2022016147A1 (en) * 2020-07-17 2022-01-20 Harman International Industries, Incorporated System and method for remotely creating an audio/video mix and master of live audio and video
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
CN112732095B (zh) * 2021-03-31 2021-07-13 深圳盈天下视觉科技有限公司 一种显示方法、装置、头戴式显示设备和存储介质
EP4460017A4 (en) * 2021-12-28 2025-04-23 Sony Group Corporation INFORMATION PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM
CN116744064A (zh) * 2022-03-02 2023-09-12 北京字跳网络技术有限公司 基于虚拟现实的视频播放方法、装置及电子设备
US12194380B1 (en) * 2023-08-25 2025-01-14 Fraydoon Nafissi Adaptable competitive sports video gaming system and processes

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256044B1 (en) * 1998-06-16 2001-07-03 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
WO2011036813A1 (ja) * 2009-09-28 2011-03-31 株式会社 東芝 立体映像表示方法及び立体映像表示装置
KR101536501B1 (ko) * 2012-04-12 2015-07-13 신라 테크놀로지스, 인크. 동화상 배포 서버, 동화상 재생 장치, 제어 방법, 기록 매체, 및 동화상 배포 시스템
JP2014016967A (ja) * 2012-07-11 2014-01-30 Sony Corp 情報表示プログラム及び情報表示装置
WO2016009864A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
US9804669B2 (en) * 2014-11-07 2017-10-31 Eye Labs, Inc. High resolution perception of content in a wide field of view of a head-mounted display
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
JP5869177B1 (ja) * 2015-09-16 2016-02-24 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム
JP6532393B2 (ja) 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP6714791B2 (ja) * 2016-07-13 2020-07-01 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7597114B2 (ja) 2020-06-23 2024-12-10 ソニーグループ株式会社 情報処理装置、表示範囲決定方法、プログラム
WO2021261099A1 (ja) * 2020-06-23 2021-12-30 ソニーグループ株式会社 情報処理装置、表示範囲決定方法、プログラム
US12289434B2 (en) 2020-06-23 2025-04-29 Sony Group Corporation Information processing apparatus, display range decision method, and program for deciding a display range of a switching destination viewpoint image
JPWO2021261099A1 (ja) * 2020-06-23 2021-12-30
JPWO2022014369A1 (ja) * 2020-07-17 2022-01-20
WO2022014369A1 (ja) * 2020-07-17 2022-01-20 ソニーグループ株式会社 画像処理装置、画像処理方法、及びプログラム
JP7743835B2 (ja) 2020-07-17 2025-09-25 ソニーグループ株式会社 画像処理装置、画像処理方法、及びプログラム
US12293449B2 (en) 2020-07-17 2025-05-06 Sony Group Corporation Image processing device, image processing method, and program
EP4184444A4 (en) * 2020-07-17 2023-12-20 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
WO2022209297A1 (ja) 2021-03-31 2022-10-06 ソニーグループ株式会社 情報処理装置、情報処理方法および記録媒体
CN114245210B (zh) * 2021-09-22 2024-01-09 北京字节跳动网络技术有限公司 视频播放方法、装置、设备以及存储介质
CN114245210A (zh) * 2021-09-22 2022-03-25 北京字节跳动网络技术有限公司 视频播放方法、装置、设备以及存储介质
JP2023141461A (ja) * 2022-03-24 2023-10-05 ヤマハ株式会社 映像処理方法および映像処理装置
WO2023182009A1 (ja) * 2022-03-24 2023-09-28 ヤマハ株式会社 映像処理方法および映像処理装置
JP7750152B2 (ja) 2022-03-24 2025-10-07 ヤマハ株式会社 映像処理方法および映像処理装置

Also Published As

Publication number Publication date
CN111742353A (zh) 2020-10-02
CN111742353B (zh) 2024-09-13
WO2019167632A1 (ja) 2019-09-06
KR20200126367A (ko) 2020-11-06
DE112019001052T5 (de) 2020-12-10
US20210092466A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
CN111742353B (zh) 信息处理装置、信息处理方法和程序
JP6558587B2 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
JP5992210B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP6178524B2 (ja) パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置
CN113784148A (zh) 数据处理方法、系统、相关设备和存储介质
JP7457525B2 (ja) 受信装置、コンテンツ伝送システム、及びプログラム
JP2017518663A (ja) 立体ビューイング
US10998870B2 (en) Information processing apparatus, information processing method, and program
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
US20230353717A1 (en) Image processing system, image processing method, and storage medium
EP4163876A1 (en) Information processing device, information processing method, and program
US11287658B2 (en) Picture processing device, picture distribution system, and picture processing method
JP7725652B2 (ja) 情報処理装置、情報処理システム、及びプログラム
WO2021124680A1 (ja) 情報処理装置及び情報処理方法
JPWO2020129115A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JPH08279054A (ja) 映像生成／表示システム
JP2019050593A (ja) 画像処理システム、画像処理装置、制御方法、及び、プログラム
US11187895B2 (en) Content generation apparatus and method
WO2018070092A1 (ja) 情報提供装置と情報提供方法および情報再生装置と情報再生方法
WO2023276252A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20220036075A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
JP7800435B2 (ja) 情報処理装置、情報処理方法、および情報処理システム
JP2024100596A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2025215960A1 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
WO2025041486A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム