WO2017051592A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2017051592A1
WO2017051592A1 PCT/JP2016/070585 JP2016070585W WO2017051592A1 WO 2017051592 A1 WO2017051592 A1 WO 2017051592A1 JP 2016070585 W JP2016070585 W JP 2016070585W WO 2017051592 A1 WO2017051592 A1 WO 2017051592A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
moving
movement
unit
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/070585
Other languages
English (en)
French (fr)
Inventor
暦本　純一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to KR1020187007343A priority Critical patent/KR20180059765A/ko
Priority to JP2017541457A priority patent/JPWO2017051592A1/ja
Priority to EP16848382.4A priority patent/EP3355576A4/en
Priority to CN201680053720.1A priority patent/CN108028910A/zh
Priority to US15/755,159 priority patent/US10600253B2/en
Publication of WO2017051592A1 publication Critical patent/WO2017051592A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/28—Mobile studios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • telepresence is known as a method for a user to communicate with a remote proxy robot.
  • information measured by the robot is transmitted to the user.
  • the user's movement controls the robot so that it can feel as if the user is identical to the robot. According to this telepresence, the user can perceive that there is no physical position restriction.
  • a technique has been proposed in which a user wearing a head-mounted camera works in an environment and an image captured by the head-mounted camera is transmitted to another remote user.
  • a field worker located in an environment can be assisted remotely by an expert.
  • Patent Document 1 describes a technique for displaying an image captured by an imaging device mounted on a moving body that moves in a space in a display area that is visually recognized by the user.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of generating a video that allows the user to easily understand the change in the positional relationship associated with the shift of the viewpoint.
  • the display control unit that displays the first video imaged by the first imaging unit mounted on the first moving body that moves in the first space in the display area that the user visually recognizes.
  • the display control unit is continuously moved between a first viewpoint that is a viewpoint of the first imaging unit and a second viewpoint for imaging the first space.
  • An information processing apparatus is provided that generates a first transition video according to a viewpoint position.
  • the first video imaged by the first imaging unit attached to the first moving body that moves in the first space is displayed in the display area that the user visually recognizes. And a first viewpoint corresponding to a viewpoint position continuously moved between a first viewpoint that is a viewpoint of the first imaging unit and a second viewpoint for imaging the first space.
  • An information processing method includes generating a transition video by a processor.
  • the computer displays the first video imaged by the first imaging unit attached to the first moving body that moves in the first space in the display area where the user visually recognizes the first video image.
  • a program for functioning as a display control unit to be displayed wherein the display control unit is configured to image a first viewpoint that is a viewpoint of the first imaging unit and a first space for imaging the first space.
  • a program is provided that generates a first transition image corresponding to a viewpoint position that is continuously moved between two viewpoints.
  • FIG. 5 is an explanatory diagram showing an example of a video generated based on viewpoints “1” to “3” shown in FIG. It is the functional block diagram which showed the structural example of the server 10 by the embodiment. It is explanatory drawing which showed the example of a display of the "lock on” mark at the time of the display of the space observation image
  • 5 is a flowchart showing a flow of “jack-out processing” according to the embodiment.
  • 5 is a flowchart showing a flow of “jack-in processing” according to the embodiment.
  • FIG. It is an external view of the all-around camera 24 with which the mobile body 2 is mounted
  • FIG. It is a mimetic diagram of self-propelled depth camera 90 by the modification of the embodiment. It is a schematic diagram of the mounting type depth camera 92 with which the mobile body 2 is mounted
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • a plurality of configurations having substantially the same functional configuration are distinguished as the moving body 2a and the moving body 2b as necessary.
  • only the same reference numerals are given.
  • the moving body 2a and the moving body 2b they are simply referred to as the moving body 2.
  • FIG. 1 In the present embodiment, basically, a work space in which one or more moving bodies 2 are located and an environment in which the user 4 is located are provided.
  • the moving body 2 is, for example, a person who performs work in a predetermined work space, a robot, or a camera (sensor) installed in the work space.
  • the predetermined work space is a space such as a room.
  • the user 4 is a person who visually recognizes an image related to the work space provided by the server 10 described later.
  • the work space is an example of a first space in the present disclosure.
  • the server 10 is an example of an information processing apparatus according to the present disclosure.
  • the moving body 2 is equipped with a headset 20, for example.
  • 2A is a diagram showing an appearance from the front of the mobile body 2 to which the headset 20 is attached
  • FIG. 2B is a mobile body 2 to which the headset 20 is attached. It is the figure which showed the external appearance from the left side.
  • the headset 20 includes a camera 200 and a head tracking marker 210.
  • the camera 200 is an example of a first imaging unit in the present disclosure.
  • the camera 200 captures an image of the moving body 2 in the line-of-sight direction.
  • the camera 200 may be a fisheye camera.
  • the head tracking marker 210 is, for example, a marker that reflects infrared rays. As shown in FIG. 2, a plurality of head tracking markers 210 can be installed in one headset 20. The head tracking marker 210 can be sensed by a plurality of motion capture sensors 32 (arranged in the work space). Thereby, the position of the moving body 2 in the work space is tracked.
  • the depth camera 30 has, for example, a depth sensor and an RGB sensor.
  • the depth camera 30 acquires three-dimensional information of each object located in the work space.
  • the depth camera 30 acquires the three-dimensional information of each object located in the work space by using infrared irradiation and time-of-flight.
  • a plurality of depth cameras 30 are basically installed in the work space. Further, each motion capture sensor 32 and each depth camera 30 can be calibrated in advance so that the coordinate values of the same object sensed in the work space are the same. As described later, the server 10 configures a point cloud (a set of information such that each point has three-dimensional coordinates) by integrating RGB-D information sensed by a plurality of depth cameras 30. Is possible. Thereby, the three-dimensional coordinate of each moving body 2 in the work space can be specified.
  • FIG. 3 is an example of an image 40 showing a point cloud configured based on information sensed by a plurality of depth cameras 30.
  • a plurality of depth cameras 30 arranged at different positions in the work space sense the work space, and the sensed information is integrated, so that the unsensible area can be made as small as possible.
  • the server 10 performs generation and display control of an image to be visually recognized by the user 4. For example, the server 10 acquires an image captured by the camera 200 (of the headset 20) attached to a certain moving body 2, and generates a moving object image based on the acquired captured image. Then, the server 10 projects the generated moving body image on the projector 36 described later.
  • the server 10 may be installed in the work space, may be installed in an environment where the user 4 is located, or may be installed in another place.
  • the motion capture sensor 34 detects the movement of the user 4 in the environment. For example, the motion capture sensor 34 detects the movement of the head of the user 4.
  • the projector 36 is a device that projects an image by light emission.
  • the projector 36 receives an image from the server 10 and projects the received image on the screen 38.
  • three screens 38 are installed in such a positional relationship that the screens 38 are respectively positioned on the front, left side, and right side of the user 4.
  • Each projector 36 projects an image for the screen 38 in the direction of each projector 36 onto each screen 38.
  • the three projectors 36 can project a stereo image on one or more screens 38.
  • the user 4 can wear 3D glasses having, for example, an LCD (Liquid Crystal Display). Thereby, the user 4 can stereoscopically view the video displayed on the screen 38.
  • 3D glasses having, for example, an LCD (Liquid Crystal Display).
  • the user 4 can obtain a feeling as if the user 4 is located in the work space by visually recognizing the image in the work space projected on the screen 38. Further, for example, cooperation between the mobile body 2 and the user 4 is possible, such as work support of the mobile body 2 by the user 4.
  • the information processing system in the environment where the user 4 is located is not limited to the above-described configuration, and only one screen 38 may be installed. Furthermore, in this case, only one projector 36 may be installed.
  • the information processing system described above can be configured as a distributed system via a communication network such as the Internet.
  • a communication network such as the Internet.
  • the work space where the mobile body 2 is located
  • the environment where the user 4 is located and the server 10 are located at points separated from each other, and the devices installed at each point communicate with each other. It can be connected via a network.
  • the viewpoint is switched so as to switch the camera, for example, after the viewpoint is switched, the user 4 cannot understand the positional relationship in the work space and may be confused.
  • the server 10 has been created with the above circumstances in mind.
  • the server 10 moves between the moving object viewpoints of the moving object 2 in the work space
  • the server 10 passes the space observation viewpoint for observing the work space.
  • the server 10 generates a video by continuously moving the viewpoint position between the mobile object viewpoint of the mobile object 2 and the space observation viewpoint, And it is possible to make the user 4 visually recognize the produced
  • the movement of the viewpoint in the work space can be presented to the user 4 spatially without a break.
  • FIG. 4 is an explanatory diagram schematically showing movement of the viewpoint based on jack-out and jack-in according to the present embodiment.
  • jack-out is to shift the viewpoint from the moving object viewpoint of the moving object 2 that is the imaging source of the image that the user 4 is currently viewing to the spatial observation viewpoint.
  • jack-in is to shift the viewpoint from the (current) space observation viewpoint to the moving body viewpoint of any moving body 2 located in the work space.
  • FIG. 5A is an example of an image based on the moving object viewpoint (arrow “1” shown in FIG. 4) of the moving object 2a shown in FIG. 4 (hereinafter may be referred to as a moving object image). Is shown.
  • FIG. 5B shows an example of an image based on a spatial observation viewpoint (arrow “2” shown in FIG. 4) (hereinafter sometimes referred to as a spatial observation image).
  • 5C shows an example of an image based on the moving object viewpoint (arrow “3” shown in FIG. 4) of the moving object 2b shown in FIG.
  • FIG. 4 it is assumed that the user 4 is jack-in to the moving body 2a as an initial state.
  • an image 50a based on the moving object viewpoint of the moving object 2a is projected on the screen 38, and the user 4 is viewing the image 50a.
  • the user 4 can obtain a feeling as if entering the moving body 2a.
  • the server 10 continuously moves the viewpoint position from the moving object viewpoint of the moving object 2a to the space observation viewpoint.
  • the issue of the “jack-out” command is an example of the first operation in the present disclosure.
  • an image 50b based on the spatial observation viewpoint as shown in FIG. Thereafter, for example, an image 50b based on the spatial observation viewpoint as shown in FIG.
  • the user 4 can observe the whole work space, for example, in a bird's-eye view.
  • the user 4 can observe the work space by freely moving the position of the space observation viewpoint in the work space.
  • the user 4 wishes to view the video through the moving object viewpoint of another moving object 2b shown in FIG.
  • the user 4 selects the mobile unit 2b by a predetermined method and issues a “jack-in” command.
  • the server 10 continuously moves the viewpoint position from the space observation viewpoint to the moving object viewpoint of the moving object 2b.
  • an image 50c based on the moving object viewpoint of the moving object 2b as shown in FIG. 5C is projected on the screen 38, for example.
  • the video based on the moving object viewpoint of the moving object 2 provides a clear image, but is not basically a stereoscopic image. Therefore, the user 4 can jack-out from the mobile body 2 that is jack-in, for example, and can stereoscopically view the work space based on the space observation viewpoint. Thereafter, in order to confirm a detailed video, it is possible to jack-in again to the same mobile unit 2.
  • FIG. 6 is a functional block diagram showing the configuration of the server 10 according to the present embodiment.
  • the server 10 includes a control unit 100, a communication unit 120, and a storage unit 122.
  • the control unit 100 generally controls the operation of the server 10 using hardware such as a CPU 150 and a RAM 154 described later built in the server 10. As illustrated in FIG. 6, the control unit 100 includes a spatial information acquisition unit 102, an operation information acquisition unit 104, a viewpoint movement unit 106, a video generation unit 108, and an output control unit 110.
  • the spatial information acquisition unit 102 acquires, for example, three-dimensional information and image information sensed in the work space.
  • the spatial information acquisition unit 102 receives RGB-D information sensed by the plurality of depth cameras 30 in the work space from the plurality of depth cameras 30.
  • the spatial information acquisition unit 102 configures a point cloud based on the acquired three-dimensional information and image information.
  • the operation information acquisition unit 104 acquires operation information of the user 4. For example, the operation information acquisition unit 104 acquires information on an operation for issuing a “jack-in” command or a “jack-out” command.
  • the operation for issuing the “jack-in” command or the “jack-out” command may be, for example, a gesture operation, an operation with respect to an operation unit (not shown), voice input, or a line-of-sight operation.
  • the gesture operation is, for example, a head gesture or a hand gesture.
  • the operation unit is, for example, a joystick or a touch panel.
  • the operation information acquisition unit 104 acquires the head information (position, acceleration, speed, etc.) of the user 4 detected by the motion capture sensor 34 and the like, and recognizes a head gesture based on the acquired information. To do. As an example, when a movement in which the user 4 quickly moves his / her head diagonally backward is detected, the operation information acquisition unit 104 uses the detected movement as a head gesture for issuing a “jack-out” command. recognize.
  • the operation information acquisition unit 104 acquires operation information for the user 4 to select the mobile body 2 that is the target of jack-in. For example, when it is detected that the user 4 has turned the line of sight in any direction of the one or more moving bodies 2 displayed in the space observation video, the operation information acquisition unit 104 directs the line of sight. The mobile body 2 thus recognized is recognized as the mobile body 2 to be jacked-in. At this time, under the control of the output control unit 110, as shown in FIG. 7, a “lock-on” mark 510 can be superimposed and displayed, for example, in the vicinity of the jack-in target moving body 2 in the space observation video.
  • the operation information acquisition unit 104 jacks the mobile object 2 corresponding to the selected POI. -Recognize as moving object 2 to be targeted.
  • the POI includes a predetermined position such as the center of the work table in the work space, the position of the moving body 2, and the like.
  • a POI selection UI can be presented to the user 4 at the time of displaying a spatial observation video. Then, using this selection UI, the user 4 can select any POI.
  • the viewpoint moving unit 106 Based on the operation information acquired by the operation information acquisition unit 104 and the point cloud configured by the spatial information acquisition unit 102, the viewpoint moving unit 106 is between the mobile object viewpoint of the mobile object 2 and the space observation viewpoint. Move the viewpoint position continuously. For example, the viewpoint moving unit 106 determines a movement path that continuously connects the moving object viewpoint of the moving object 2 and the space observation viewpoint, and continuously moves the viewpoint position along the determined movement path. Further, the viewpoint moving unit 106 can determine the direction of the viewpoint so that the direction of the viewpoint continuously changes according to the movement of the viewpoint position on the movement route. Furthermore, the viewpoint moving unit 106 can determine the angle of view so that the angle of view continuously changes according to the movement of the viewpoint position on the movement route.
  • the viewpoint moving unit 106 determines that the user 4 is from the moving object viewpoint of the moving object 2 in the jack-in. The viewpoint position is continuously moved to the spatial observation viewpoint.
  • FIG. 8 is an explanatory diagram showing an example of the movement path (movement path 60) determined by the viewpoint movement unit 106 when the “jack-out” command is issued.
  • the viewpoint moving unit 106 uses the viewpoint V1 at the starting point of the movement path 60 as the moving object 2 in which the user 4 is jack-in.
  • the viewpoint V5 at the end point of the movement path 60 is matched with the space observation viewpoint. Then, the viewpoint moving unit 106 determines the movement path 60 by linearly interpolating the viewpoint position so that the viewpoint position continuously changes. For example, as illustrated in FIG.
  • the viewpoint moving unit 106 may determine the movement route 60 as a Bezier curve. At this time, as shown in FIG. 8, the position of the space observation viewpoint is set behind and above the corresponding mobile body 2 in the work space, and the direction of the space observation viewpoint is the corresponding mobile body. 2 can be set.
  • the viewpoint moving unit 106 matches the direction of the viewpoint V1 at the start point of the moving path 60 with the direction of the moving body viewpoint of the moving body 2 in the jack-in and the end point of the moving path 60
  • the direction of the viewpoint V5 may be the same as the direction of the spatial observation viewpoint.
  • the viewpoint moving unit 106 may linearly interpolate the viewpoint direction in the movement path 60 so that the viewpoint direction continuously changes in accordance with the movement of the viewpoint position.
  • an image based on the spatial observation viewpoint when the jack-out is completed can be an image that looks down on the moving body 2 from the rear of the moving body 2.
  • the video can be a video in which the corresponding mobile body 2 is located at the center of the video.
  • the user 4 gets out of the head of the person in jack-in, and the viewpoint continuously rises backward and upward of the person. Transition video is generated. Therefore, the user 4 can obtain a feeling of leaving the body from the corresponding person by viewing the transition video.
  • the viewpoint moving unit 106 can also determine the angle of view in the movement path 60 so that the angle of view continuously changes between the start point and the end point of the movement path 60. For example, in the example illustrated in FIG. 8, the viewpoint moving unit 106 matches the angle of view of the viewpoint V1 at the start point of the movement path 60 with the angle of view of the moving object viewpoint of the moving object 2 in which the user 4 is jack-in. In addition, the angle of view of the viewpoint V5 at the end point of the movement path 60 may be matched with the angle of view of the spatial observation viewpoint. Then, the viewpoint moving unit 106 may linearly interpolate the angle of view in the movement path 60 so that the angle of view continuously changes according to the movement of the viewpoint position.
  • the viewpoint moving unit 106 can determine the moving speed of the current viewpoint position based on the positional relationship between the current viewpoint position and the end point position on the determined movement route.
  • viewpoints V2, V3, V4, and V5 indicate viewpoints that are moved at unit time intervals along the movement route determined by the viewpoint moving unit 106, respectively.
  • the viewpoint moving unit 106 determines the movement speed of the viewpoint so that the movement speed becomes slower as the viewpoint position on the movement route 60 approaches the end point.
  • the relationship between the elapsed time and the moving speed of the viewpoint may be linear or non-linear.
  • the viewpoint movement unit 106 may determine the movement speed of the viewpoint so that the relationship between the elapsed time and the movement speed of the viewpoint matches a predetermined logarithmic function.
  • the viewpoint movement unit 106 may determine the movement speed of the viewpoint so that the movement speed of the viewpoint changes like slow-in and slow-out along the determined movement route. That is, the viewpoint moving unit 106 sets the movement speed of the viewpoint so that the movement speed gradually increases from the start point to the intermediate point on the movement route, and the movement speed gradually decreases from the intermediate point to the end point. You may decide.
  • the position of the spatial observation viewpoint at the time of jack-out can be determined based on a predetermined condition.
  • the space observation viewpoint may be determined based on the arrangement of the moving body 2 in the work space.
  • the space observation viewpoint may be determined as a position and an angle of view at which all the moving bodies 2 located in the work space can be observed.
  • the space observation viewpoint may be determined according to the setting information of the corresponding user 4.
  • the space observation viewpoint may be determined based on work (work purpose) performed in the work space.
  • work work (work purpose) performed in the work space.
  • information on the position and angle of view of the spatial observation viewpoint suitable for the work purpose is stored in the storage unit 122 in advance, and the spatial observation viewpoint is determined based on the information stored in the storage unit 122. obtain.
  • the space observation viewpoint can be determined at a position and an angle of view at which the entire operating table can be observed.
  • the work space is “kitchen” (during cooking mode)
  • the space observation viewpoint can be determined at a position and an angle of view where the entire kitchen can be observed.
  • the work purpose corresponding to the work space may be selected by the user 4 before issuing the “jack-out” command, for example.
  • the server 10 may determine a work objective automatically.
  • the server 10 may automatically determine the work purpose in accordance with the work space (work space position, work space type, etc.).
  • the viewpoint moving unit 106 determines the space observation viewpoint based on the operation information acquired by the operation information acquisition unit 104. The position of is continuously moved. For example, the viewpoint moving unit 106 continuously moves the position of the space observation viewpoint based on detection of an operation for navigating the work space based on the POI, as shown in FIG. For example, when an operation for approaching any one of the POIs located in the work space is detected, the viewpoint moving unit 106 performs, for example, space observation as in the viewpoints V1, V2, and V3 illustrated in FIG.
  • the position of the spatial observation viewpoint is continuously approached to the corresponding POI while maintaining the direction of the viewpoint toward the corresponding POI.
  • the viewpoint moving unit 106 for example, (Circles) as in the viewpoints V1, V4, V5, and V6 illustrated in FIG.
  • the direction of the spatial observation viewpoint is maintained so that the direction of the spatial observation viewpoint is directed toward the relevant POI while continuously rotating and moving the position of the spatial observation viewpoint around the relevant POI (like a trough). Change continuously.
  • the viewpoint movement is performed.
  • the unit 106 continuously moves the viewpoint position from the space observation viewpoint to the moving object viewpoint of the moving object 2 that is the target of jack-in.
  • FIG. 10 is an explanatory diagram showing an example of the movement path (movement path 62) determined by the viewpoint movement unit 106 when the “jack-in” command is issued.
  • the viewpoint moving unit 106 matches the viewpoint V1 at the starting point of the moving path 62 with the spatial observation viewpoint (at the time of issuing the “jack-in” command), and at the end point of the moving path 62.
  • the viewpoint V5 is matched with the mobile object viewpoint of the mobile object 2 that is the target of jack-in.
  • the viewpoint moving unit 106 determines the movement path 62 by linearly interpolating the viewpoint position so that the viewpoint position continuously changes.
  • the viewpoint moving unit 106 may determine the moving route 62 as a Bezier curve.
  • the viewpoint moving unit 106 matches the direction of the viewpoint V1 at the starting point of the movement path 62 with the head direction (or line-of-sight direction) of the user 4 sensed by, for example, the motion capture sensor 34 and moves.
  • the direction of the viewpoint V5 at the end point of the path 62 may coincide with the direction of the moving object viewpoint of the moving object 2 that is the target of jack-in.
  • the viewpoint moving unit 106 may linearly interpolate the viewpoint direction in the movement path 62 so that the viewpoint direction continuously changes according to the movement of the viewpoint position. According to the above determination example, a transition image that continuously moves from the space observation viewpoint to the moving body viewpoint of the moving body 2 can be generated.
  • the viewpoint position continuously moves from the rear of the mobile body 2 that is the target of jack-in to the head of the corresponding mobile body 2, and A transition image that can give the user 4 a feeling of being integrated with the moving body 2 is generated.
  • the viewpoint moving unit 106 can also determine the angle of view in the movement path 62 so that the angle of view continuously changes between the start point and the end point of the movement path 62. For example, in the example illustrated in FIG. 10, the viewpoint moving unit 106 matches the angle of view of the viewpoint V1 at the start point of the movement path 60 with the angle of view of the spatial observation viewpoint and the viewpoint V5 at the end point of the movement path 60. The angle of view may be matched with the angle of view of the moving object viewpoint of the moving object 2 that is the target of jack-in. Then, the viewpoint moving unit 106 may linearly interpolate the angle of view in the movement path 62 so that the angle of view continuously changes according to the movement of the viewpoint position.
  • the viewpoint moving unit 106 can determine the moving speed of the viewpoint so that the moving speed becomes slower as the viewpoint position on the moving path 62 approaches the end point (as in the case of jack-out).
  • the viewpoints V2, V3, V4, and V5 indicate viewpoints that are moved at unit time intervals along the movement path by the viewpoint moving unit 106.
  • the viewpoint movement unit 106 may determine the movement speed of the viewpoint so that the relationship between the elapsed time and the movement speed of the viewpoint matches a predetermined logarithmic function.
  • the video generation unit 108 is an example of a display control unit in the present disclosure.
  • the video generation unit 108 generates a video to be displayed in a display area that is visually recognized by the user 4.
  • the video generation unit 108 is based on the video captured by the camera 200 attached to the corresponding mobile body 2, and the mobile body video is displayed. Is generated.
  • the video generation unit 108 generates a panoramic image (moving body video) based on an image captured by the corresponding camera 200.
  • the moving body image may be a hemispherical image in which the user 4 can freely look around the environment around the position of the moving body viewpoint of the moving body 2. According to this moving body image, the user 4 can visually recognize the image picked up at the viewpoint of the moving body 2 in jack-in.
  • the video generation unit 108 performs a shake correction process using a known technique such as the technique described in Patent Document 1 on the image captured by the corresponding camera 200, so that the moving body video is displayed. It is preferable to produce.
  • the video generation unit 108 estimates the rotation of the head of the moving body 2 between consecutive frames captured by the corresponding camera 200. Then, the video generation unit 108 performs correction to reversely rotate each frame imaged by the corresponding camera 200 in accordance with the total rotation amount (of the head of the moving body 2) estimated for the frame. . Thereby, in the generated moving body image, the shaking of the image accompanying the rotation of the head of the moving body 2 is suppressed.
  • the video generation unit 108 is based on the spatial observation viewpoint (position, direction, and angle of view) determined by the viewpoint movement unit 106 and the point cloud configured by the spatial information acquisition unit 102.
  • the user 4 can overlook the work space, for example, can observe the entire work space.
  • the user 4 can grasp the positional relationship between the plurality of moving bodies 2 located in the work space.
  • the video generation unit 108 displays a display that clearly shows the mobile object 2 in space. You may arrange
  • the video generation unit 108 continuously causes the viewpoint moving unit 106 to move from the moving object viewpoint of the moving object 2 to which the user 4 is jack-in to the spatial observation viewpoint.
  • a first transition image corresponding to the viewpoint position that is moved is generated.
  • the video generation unit 108 generates a frame based on the viewpoint moved by the viewpoint movement unit 106 and the point cloud configured by the spatial information acquisition unit 102 every unit time. The first transition video is generated.
  • FIG. 11 is a diagram illustrating an example of four frames included in the generated first transition video.
  • the frame 70a shown in FIG. 11 is the same as the moving body image at the time when the “jack-out” command is issued, for example, and the frame 70d is the space observation image at the time when the jack-out is completed.
  • a frame 70b and a frame 70c are displayed between the frames 70a and 70d.
  • the user 4 can easily understand the change in the positional relationship accompanying the transition from the moving object viewpoint of the moving object 2 to which the user 4 was jack-in immediately before. it can.
  • Second transition video When the operation information acquisition unit 104 acquires the operation information indicating that the mobile body 2 to be subjected to the jack-in is selected by the user 4 and the “jack-in” command is issued, the video generation is performed.
  • the unit 108 generates a second transition image corresponding to the viewpoint position continuously moved by the viewpoint moving unit 106 from the space observation viewpoint to the moving body viewpoint of the moving body 2 that is the target of jack-in.
  • a specific method for generating the second transition video is substantially the same as that for the first transition video.
  • FIG. 12 is a diagram illustrating an example of four frames included in the generated second transition video.
  • the frame 72a shown in FIG. 12 is the same as the spatial observation video at the time when the “jack-in” command is issued, for example, and the frame 72d is the jack-in at the time when the jack-in ends. It is the same as the moving body image of the target moving body 2.
  • a frame 72b and a frame 72c are displayed between the frame 72a and the frame 72d.
  • the user 4 can easily understand the change in the positional relationship accompanying the transition from the space observation viewpoint to the mobile body viewpoint of the jack-in target mobile body 2.
  • the output control unit 110 is an example of a display control unit in the present disclosure.
  • the output control unit 110 displays the video generated by the video generation unit 108 in a display area that the user 4 can visually recognize. For example, when the moving body image, the space observation image, the first transition image, or the second transition image is generated by the image generation unit 108, the output control unit 110 displays the generated image on the screen 38. Are sequentially projected on the projector 36.
  • the output control unit 110 can display a “lock-on” mark 510 as shown in FIG.
  • This “lock-on” mark 510 is a display for clearly indicating the moving body 2 that has been selected as a jack-in target by the user 4, for example.
  • the present invention is not limited to this example, and the “lock on” mark 510 may be a UI for the user 4 to select the mobile body 2 that is the target of jack-in. In this case, the “lock on” mark 510 may be displayed for all the moving bodies 2 displayed in the space observation video.
  • the output control unit 110 can display a UI for the user 4 to select the mobile body 2 to be jacked-in superimposed on the video being displayed.
  • This UI includes, for example, information on whether or not jack-in is currently possible for each mobile unit 2, the number of users 4 that can be jack-in to the mobile unit 2, and jack-in to the mobile unit 2 It may include information such as identification information of the user 4 who is playing.
  • this UI may include a chat UI for chatting with an arbitrary mobile body 2 or includes history information of chat between the individual mobile body 2 and another user 4b (or the user 4a). But you can.
  • this UI may include a telephone directory UI for making a call to an arbitrary mobile unit 2 (person). For example, the user 4 can talk to an arbitrary mobile unit 2 using a headset, a mobile phone, or the like.
  • the output control unit 110 indicates completion of the execution of jack-out (or jack-in). It is also possible to output the notification to the mobile body 2 that is the target of jack-out (or the target of jack-in). For example, after jack-out, the output control unit 110 outputs a display, sound, or vibration indicating the completion of execution of jack-out to the mobile unit 2 that has been jack-in by the user 4 immediately before. Also good. At this time, the output control unit 110 may further notify the corresponding mobile unit 2 of the identification information of the jacked-out user 4. The notification example in the case of jack-in may be the same.
  • the communication unit 120 transmits and receives information to and from other devices that can communicate with the server 10. For example, the communication unit 120 transmits the generated video to the projector 36 according to the control of the output control unit 110. In addition, the communication unit 120 receives an image captured by the camera 200 attached to each moving body 2. The communication unit 120 receives sensed information from the depth camera 30, the motion capture sensor 32, the motion capture sensor 34, or the like.
  • the storage unit 122 stores various data and various software.
  • the storage unit 122 stores a history information DB.
  • this history information DB for example, the date and time, the identification information of the user 4, the identification information of the mobile unit 2 jack-in or jack-out by the user 4, information on the work space, and the jack-in or jack-out Execution information can be associated.
  • the information regarding the work space may include, for example, information indicating the location of the work space, or information on work contents (for example, surgery, cooking, etc.) performed in the work space.
  • the user 4 can browse the desired history information by searching the history information DB using the identification information of the user 4 or the identification information of the mobile body 2 as a search key. Further, when browsing the history information, the user 4 can newly give a jack-in or jack-out instruction with the content corresponding to the corresponding history information.
  • control unit 100 can store the corresponding history information in the history information DB each time, for example, jack-in or jack-out is executed.
  • the video generation unit 108 of the server 10 acquires and acquires the video captured by the camera 200 attached to the moving body 2 on which the user 4 is jack-in.
  • a moving body image is sequentially generated based on the image.
  • the output control part 110 displays the produced
  • the server 10 determines whether or not a “jack-out” command has been issued by the user 4 (S103). When the “jack-out” command has not been issued (S103: No), the server 10 repeats the process of S101.
  • the server 10 performs a “jack-out process” to be described later (S105).
  • the video generation unit 108 sequentially generates the spatial observation video based on the spatial observation viewpoint and the point cloud configured in advance by the spatial information acquisition unit 102.
  • the output control part 110 displays the produced
  • the server 10 determines whether or not the user 4 selects the jack-in target mobile unit 2 and issues a “jack-in” command (S109).
  • the server 10 repeats the process of S107.
  • the server 10 performs a “jack-in process” described later ( S111).
  • the video generation unit 108 acquires the video captured by the camera 200 attached to the mobile body 2 jacked-in in S111, and sequentially generates the mobile body video based on the acquired video. And the output control part 110 displays the produced
  • the viewpoint moving unit 106 determines a movement path from the moving object viewpoint of the moving object 2 to the space observation viewpoint in the jack-in based on the configured point cloud. (S201).
  • the viewpoint moving unit 106 sets “1” to the variable I indicating the frame number in the first transition image to be generated (S203). Then, the viewpoint moving unit 106 sets the total number of frames included in the first transition image to be generated to N (S205).
  • the viewpoint moving unit 106 determines whether I is N or less (S207). If I is N or less (S207: Yes), the viewpoint moving unit 106 moves the viewpoint position to the I-th frame time point along the movement path determined in S201. Further, the viewpoint moving unit 106 determines the viewpoint direction and angle of view at the I-th frame time point so that the viewpoint direction and angle of view change continuously according to the movement of the viewpoint position (S209).
  • the video generation unit 108 generates the I-th frame based on the moved viewpoint position and the configured point cloud (S211).
  • the viewpoint moving unit 106 adds “1” to I (S213). Then, the viewpoint moving unit 106 performs the process of S207 again.
  • the output control unit 110 displays the generated first transition video as the user 4 It displays on the display area to visually recognize (S215). Then, the server 10 ends the “jack-out process”.
  • the viewpoint moving unit 106 configures a movement path from the current space observation viewpoint to the moving object viewpoint of the jack-in target moving object 2 selected by the user 4 in S109. The determination is made based on the point cloud that has been completed (S301).
  • processing of S303 to S315 shown in FIG. 15 is substantially the same as the processing of S203 to S215 in the “jack-out processing”.
  • the server 10 passes the space observation viewpoint when moving between the moving object viewpoints of the moving object 2 in the work space. Furthermore, at the time of transition between the mobile viewpoint and the space observation viewpoint (at jack-out or jack-in), the server 10 determines the mobile viewpoint of the mobile body 2 based on the pre-configured point cloud. A transition video is generated by continuously moving the viewpoint position between the spatial observation viewpoints, and the generated transition video is displayed in a display area that the user 4 visually recognizes. For this reason, since the movement of the viewpoint in the work space can be presented to the user 4 without a spatial break, the user 4 can easily understand the change in the positional relationship accompanying the shift of the viewpoint.
  • a known technique discloses a technique for providing only an image based on a moving object viewpoint or a technique for providing only an image based on a spatial observation viewpoint.
  • the present embodiment can be applied to remote monitoring or remote operation at a disaster site, for example.
  • the present invention can be applied to various fields such as remote surgery and remote experiments.
  • the user 4 can appropriately give various work instructions to the mobile unit 2 by appropriately switching between the mobile unit video and the space observation video and referring to the video.
  • a platform for skill transmission can be configured. For example, it is useful for distance learning of skills such as sports, playing musical instruments, and crafts.
  • the teacher mobile 2 shows his skills to a remote learner (user 4) and the learner can imitate.
  • the learner can observe the model performance of the teacher from either the spatial observation viewpoint or the teacher's viewpoint.
  • the teacher's model performance is projected on the screen 38 as a life-size 3D model, the learner can compare the teacher's model performance with his performance.
  • teachers' performances can be archived and packaged as a new interactive textbook for skill transmission.
  • the user 4 can be provided with a seamless transition between the moving object viewpoint and the space observation viewpoint, which is useful for studying the cognitive effect on the outward departure experience.
  • a transition image that continuously connects the moving object viewpoints of the moving object 2 located in different work spaces is generated, and the generated transition image is visually recognized by the user 4. Is possible. Thereby, even when the viewpoint is shifted between different work spaces, the user 4 can easily understand the change in the positional relationship accompanying the shift of the viewpoint.
  • the spatial information acquisition unit 102 acquires three-dimensional information and image information sensed in each of a plurality of work spaces.
  • the spatial information acquisition unit 102 receives RGB-D information sensed by the plurality of depth cameras 30 arranged in each of the plurality of work spaces from the plurality of depth cameras 30 in each work space.
  • the space information acquisition unit 102 configures a point cloud of the work space based on the acquired three-dimensional information and image information for each work space.
  • the operation information acquisition unit 104 acquires information on the operation of the user 4 for shifting the viewpoint to a moving object viewpoint or a space observation viewpoint located in any one of the work spaces.
  • the user 4 can perform an operation for specifying the jack-in target moving body 2 or an operation for moving to a space observation viewpoint in another work space.
  • the operation information acquisition unit 104 selects information from the list presented to the user 4 for shifting the viewpoint to a moving object viewpoint or a space observation viewpoint located in any of the work spaces. Is possible to get.
  • the operation information acquisition unit 104 acquires information on an operation for the user 4 to select the jack-in target mobile body 2 from the list 80.
  • the operation information acquisition unit 104 acquires information on an operation that the user 4 selects from the list 80 the work space in which the mobile body 2 to be jack-in is located, and based on the acquired information, the jack-in target It is also possible to specify the moving body 2.
  • the operation information acquisition unit 104 acquires operation information for the user 4 to select a work space from the list 80 for shifting the viewpoint to a space observation viewpoint of another work space.
  • the operation information acquisition unit 104 selects information from the map presented to the user 4 to shift the viewpoint to a moving object viewpoint or a space observation viewpoint located in any of the work spaces. Is possible to get. For example, as shown in FIG. 18, a map in which identification information 822 of each work space and identification information 820 of the moving body 2 located in each work space are displayed (corresponding to position information of each work space). 82 may be presented to the user 4. Then, the user 4 can select the mobile body 2 that is the target of jack-in from the map 82, or can select another work space from the map 82. Note that a specific example of acquiring operation information is the same as in the case of the list 80 described above.
  • the viewpoint moving unit 106 is specified according to the operation information acquired by the operation information acquiring unit 104, and the moving object viewpoint or the space observation viewpoint in the destination workspace and the current viewpoint in the current workspace.
  • the viewpoint position is continuously moved between the viewpoints.
  • the viewpoint moving unit 106 sequentially moves the moving object viewpoint of the moving object 2a, the space observation viewpoint in the work space A, the overhead view map, the space observation viewpoint in the work space B, and the moving object viewpoint of the moving object 2b.
  • the movement route to be connected to is determined.
  • the viewpoint moving unit 106 continuously moves the viewpoint position along the determined movement route.
  • the bird's-eye view map is a map showing the positional relationship between the work space A and the work space B.
  • the video generation unit 108 for example, jacks out from the current moving object viewpoint in the current work space (for example, the work space A) and is located in another work space (for example, the work space B).
  • the viewpoint moving unit 106 When the user 4 issues a command to jack-in to the moving object viewpoint of the moving object 2b, the viewpoint moving unit 106 generates a transition image corresponding to the viewpoint position continuously moved.
  • the video generation unit 108 relates to a video corresponding to a viewpoint position that is moved in the order of the space observation viewpoint in the workspace A, the bird's-eye view map, and the space observation viewpoint in the workspace B among the transition videos to be generated.
  • FIG. 19 is an explanatory view showing a display example 84 of one frame of this animation.
  • FIG. 19 shows an example of an animation when the viewpoint is moved from the work space “ABC Building” to the work space “XYZ Hall”, for example.
  • the server 10 Generation and display control can be performed.
  • the predetermined positional relationship may be, for example, a case where the moving body 2a and the moving body 2b are separated by a predetermined threshold or more, or a shield between the moving body 2a and the moving body 2b. (For example, a wall) may exist.
  • the server 10 includes a CPU 150, a ROM 152, a RAM 154, an internal bus 156, an interface 158, a storage device 160, and a communication device 162.
  • the CPU 150 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the server 10 according to various programs. Further, the CPU 150 realizes the function of the control unit 100 in the server 10.
  • the CPU 150 is configured by a processor such as a microprocessor.
  • the ROM 152 stores programs used by the CPU 150 and control data such as calculation parameters.
  • the RAM 154 temporarily stores a program executed by the CPU 150, for example.
  • the internal bus 156 includes a CPU bus and the like.
  • the internal bus 156 connects the CPU 150, the ROM 152, and the RAM 154 to each other.
  • the interface 158 connects the storage device 160 and the communication device 162 to the internal bus 156.
  • the storage device 160 exchanges data with the CPU 150 via the interface 158 and the internal bus 156.
  • the storage device 160 is a data storage device that functions as the storage unit 122.
  • the storage device 160 includes, for example, a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, or a deletion device that deletes data recorded on the storage medium.
  • the communication device 162 is a communication interface including a communication device for connecting to a communication network such as a public network or the Internet.
  • the communication device 162 may be a wireless LAN (Local Area Network) compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication. This communication device 162 functions as the communication unit 120.
  • the moving body 2 may be equipped with, for example, an omnidirectional camera 24 as shown in FIG.
  • the omnidirectional camera 24 includes, for example, a camera having a viewing angle exceeding 180 ° and a marker for position tracking.
  • the imaging area 86 in the front direction of the moving body 2 and the imaging in the left and right direction and the rear direction of the moving body 2 An area 88 can be imaged.
  • the imaging region 86 in the forward direction is imaged by the two (left and right) omnidirectional cameras 24, binocular stereoscopic vision is possible.
  • the user 4 can visually recognize a moving body image in which the front direction of the moving body 2 can be stereoscopically viewed. Therefore, it is useful in situations such as work support using moving body images. If stereoscopic viewing is not required, the imaging range of the omnidirectional camera 24 attached to one side of the head may be limited, and even in this case, the omnidirectional video of the moving body 2 is acquired. can do.
  • the information processing system may not include the motion capture sensor 32.
  • the server 10 moves each movement in the work space. This is because the direction of the moving body viewpoint of the body 2 (the moving direction of the moving body 2) can be specified.
  • the user 4 may wear an HMD (Head Mounted Display) capable of communicating with the server 10 instead of installing the plurality of projectors 36 and the plurality of screens 38.
  • the HMD is an example of a display area in the present disclosure. According to this modification, the user 4 can visually recognize the video transmitted from the server 10 with the HMD.
  • the movement of the user 4 such as the head and eyes may be sensed by the HMD.
  • the motion capture sensor 34 may not be installed.
  • the three-dimensional information of the work space may be sensed by a wearable depth camera 92 attached to the moving body 2 as shown in FIG.
  • the server 10 sequentially configures a point cloud as each mobile body 2 moves in the work space.
  • the server 10 can generate a moving body image as an image such as a space observation image.
  • the three-dimensional information of the work space may be sensed. Is possible.
  • the server 10 can also restrict the execution of jack-out or jack-in.
  • the predetermined condition is, for example, a case where, when generating a space observation video, three-dimensional information related to the corresponding work space is not sufficiently acquired.
  • the server 10 may output an error display or sound.
  • the server 10 may move the spatial observation viewpoint to a position where three-dimensional information is sufficiently acquired while outputting an error. Then, the server 10 can generate a spatial observation video based on the spatial observation viewpoint after movement.
  • the server 10 is equipped with the self-propelled depth camera 90 or the wearable depth camera 92.
  • the moving body 2 may be moved so that three-dimensional information is sufficiently acquired.
  • the server 10 can generate a spatial observation video based on the newly acquired three-dimensional information.
  • the server 10 may move the shielding object to some robot.
  • the predetermined condition may be a case where the corresponding mobile body 2 or the administrator prohibits jack-out or jack-in. According to this condition, for example, when the moving body 2 is a person, the moving body 2 can partially restrict jack-in from the viewpoint of privacy.
  • the predetermined condition may be a case where the corresponding moving body 2 moves the head or the like largely, for example. According to this condition, when it is estimated that the motion sickness felt by the user 4 when jacking out from the mobile unit 2 or when jacking in the mobile unit 2 is estimated, the jack-out And jack-in can be restricted from being executed.
  • the server 10 temporarily suspends execution of the jack-out or jack-in, and It is also possible to execute jack-out or jack-in when the movement of the head or the like of the corresponding moving body 2 is settled.
  • the information processing apparatus may be a PC (Personal Computer), a smartphone, a tablet terminal, an HMD, a game machine, or the like.
  • a display control unit for displaying a first video imaged by the first imaging unit mounted on the first moving body moving in the first space in a display area visually recognized by the user; With The display control unit is responsive to a viewpoint position that is continuously moved between a first viewpoint, which is a viewpoint of the first imaging unit, and a second viewpoint for imaging the first space.
  • An information processing apparatus that generates the first transition video.
  • the information processing apparatus includes a spatial information acquisition unit that acquires three-dimensional information of the first space; A viewpoint moving unit that continuously moves the viewpoint position between the first viewpoint and the second viewpoint based on the three-dimensional information of the first space acquired by the spatial information acquisition unit; Further comprising The information processing apparatus according to (1), wherein the display control unit generates the first transition video based on movement of a viewpoint position by the viewpoint movement unit.
  • the information processing apparatus further includes an operation information acquisition unit that acquires detection information of a first operation by the user to move from the first viewpoint to the second viewpoint, When the first operation is detected, the display control unit generates the first transition video and displays the generated first transition video in the display area (2)
  • the viewpoint moving unit determines a movement path of a viewpoint position where the first viewpoint is a start point and the second viewpoint is an end point, and the viewpoint position is continuously set along the determined movement path.
  • the viewpoint moving unit matches the direction of the viewpoint at the start point of the moving path with the direction of the first viewpoint, and matches the direction of the viewpoint at the end point of the moving path with the direction of the second viewpoint;
  • the viewpoint movement unit further determines the angle of view of the viewpoint in the movement path so that the angle of view of the viewpoint changes continuously according to the movement of the viewpoint position, according to (5) or (6).
  • Information processing device The viewpoint movement unit changes the movement speed of the viewpoint position based on the positional relationship between the current viewpoint position and the position of the end point on the movement route, according to any one of (4) to (7).
  • the information processing apparatus described.
  • the information processing apparatus determines a movement speed of the viewpoint position so that a relationship between an elapsed time and a movement speed of the viewpoint position is nonlinear.
  • the second viewpoint is located behind and above the first moving body in the first space, The information processing apparatus according to any one of (4) to (10), wherein the second viewpoint is facing the first moving body.
  • the operation information acquisition unit After moving from the first viewpoint to the second viewpoint, the operation information acquisition unit further acquires detection information of a second operation in which the user selects a second moving body, The display control unit continuously between the second viewpoint and a third viewpoint that is the viewpoint of the second imaging unit attached to the second moving body selected by the second operation.
  • the viewpoint moving unit further determines the direction of the viewpoint in the second movement path such that the direction of the viewpoint continuously changes according to movement of the viewpoint position along the second movement path;
  • the viewpoint movement unit matches the direction of the viewpoint at the start point of the second movement route with the direction of the user when the second operation is detected, and at the end point of the second movement route.
  • the display control unit is configured to capture a second space for imaging the second space from the second viewpoint.
  • a spatial moving image based on continuous movement of the viewpoint position to the viewpoint of 4 is displayed in the display area; After the spatial movement video ends, the display control unit is the fourth viewpoint and the second imaging unit mounted on the second moving body selected by the second operation.
  • the information processing apparatus according to any one of (12) to (16), wherein a second transition image corresponding to a viewpoint position continuously moved between three viewpoints is displayed in the display area. .
  • the space movement image is an image showing a positional relationship between the first space and the second space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】視点の移行に伴う位置関係の変化をユーザが理解しやすい映像を生成することが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。 【解決手段】第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、を備え、前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　従来、ユーザが遠隔の代理ロボットと通信を行うための手法としてテレプレゼンスが知られている。このテレプレゼンスでは、ロボットにより測定される情報がユーザへ伝達される。また、ユーザの動きがロボットを制御し、その結果、ユーザがロボットと同一であるかのように感じ得る。このテレプレゼンスによれば、物理的な位置の制約が無いようにユーザは知覚し得る。
　また、近年、人と人とのテレプレゼンスを可能とする技術が提案されている。例えば、ヘッドマウントカメラを装着したユーザがある環境で作業をし、そして、このヘッドマウントカメラにより撮像された映像が、遠隔の別のユーザに伝達される技術が提案されている。この技術によれば、例えば、ある環境に位置するフィールドワーカーは、専門家により遠隔的に支援され得る。
　例えば、下記特許文献１には、空間内を移動する移動体に装着された撮像装置により撮像された映像を、ユーザが視認する表示領域に表示させる技術が記載されている。
国際公開第２０１５／１２２１０８号
　しかしながら、特許文献１に記載の技術では、空間内に位置する視点間で移行されると、表示される映像が非連続的に切り替わる。このため、視点の移行後の位置関係をユーザが分からなくなり得る。
　そこで、本開示では、視点の移行に伴う位置関係の変化をユーザが理解しやすい映像を生成することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、を備え、前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、情報処理装置が提供される。
　また、本開示によれば、第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させることと、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像をプロセッサが生成することと、を含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータを、第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、として機能させるための、プログラムであって、前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、プログラムが提供される。
　以上説明したように本開示によれば、視点の移行に伴う位置関係の変化をユーザが理解しやすい映像を生成することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施形態による情報処理システムの構成例を示した説明図である。 同実施形態による移動体２に装着されるヘッドセット２０の外観図である。 同実施形態により構成されるポイントクラウドを示した画像の一例である。 同実施形態によるｊａｃｋ‐ｏｕｔおよびｊａｃｋ‐ｉｎに基づいた視点の移動を模式的に示した説明図である。 図４に示した視点「１」～視点「３」に基づいて生成される映像の例を示した説明図である。 同実施形態によるサーバ１０の構成例を示した機能ブロック図である。 同実施形態による、空間観測映像の表示時における「ロックオン」マークの表示例を示した説明図である。 同実施形態によるｊａｃｋ‐ｏｕｔ時における視点の移動例を示した説明図である。 同実施形態によるＰＯＩ（Ｐｏｉｎｔ　ｏｆ　Ｉｎｔｅｒｅｓｔ）に基づく空間観測視点の移動例を示した説明図である。 同実施形態によるｊａｃｋ‐ｉｎ時における視点の移動例を示した説明図である。 同実施形態によるｊａｃｋ‐ｏｕｔ時に生成される第１の遷移映像に含まれるフレームの例を示した説明図である。 同実施形態によるｊａｃｋ‐ｉｎ時に生成される第２の遷移映像に含まれるフレームの例を示した説明図である。 同実施形態による動作の流れの一例を示したフローチャートである。 同実施形態による「ｊａｃｋ‐ｏｕｔ処理」の流れを示したフローチャートである。 同実施形態による「ｊａｃｋ‐ｉｎ処理」の流れを示したフローチャートである。 同実施形態の応用例による、異なる作業空間における視点間の移動を模式的に示した説明図である。 同実施形態の応用例による、移行先の視点を選択するためのリストの一例を示した説明図である。 同実施形態の応用例による、移行先の視点を選択するためのマップの一例を示した説明図である。 同実施形態の応用例による遷移映像の表示例を示した説明図である。 同実施形態によるサーバ１０のハードウェア構成例を示した説明図である。 同実施形態の変形例による、移動体２に装着される全周囲カメラ２４の外観図である。 全周囲カメラ２４による撮像領域を示した説明図である。 同実施形態の変形例による自走式デプスカメラ９０の模式図である。 同実施形態の変形例による、移動体２に装着される装着型デプスカメラ９２の模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて移動体２ａおよび移動体２ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、移動体２ａおよび移動体２ｂを特に区別する必要が無い場合には、単に移動体２と称する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　１．情報処理システムの構成
　２．実施形態の詳細な説明
　３．ハードウェア構成
　４．変形例
＜＜１．情報処理システムの構成＞＞
　まず、本実施形態による情報処理システムの構成について、図１を参照して説明する。図１に示したように、本実施形態では、基本的に、一以上の移動体２が位置する作業空間と、ユーザ４が位置する環境とが設けられており、そして、両者が遠隔していることを想定する。ここで、移動体２は、例えば、所定の作業空間において作業を行う人、ロボット、または、作業空間に設置されたカメラ（センサ）などである。なお、以下では、移動体２が人である例を中心として説明を行う。また、所定の作業空間は、例えば部屋などの空間である。また、ユーザ４は、後述するサーバ１０により提供される、作業空間に関する映像を視認する人物である。なお、作業空間は、本開示における第１の空間の一例である。また、サーバ１０は、本開示における情報処理装置の一例である。
　＜１－１．移動体２の環境＞
　まず、移動体２が位置する作業空間に関する情報処理システムの構成について説明する。図１に示したように、例えば、作業空間には、複数のデプスカメラ３０、および、複数のモーションキャプチャセンサ３２が配置される。
　なお、移動体２が人である場合には、図１および図２に示したように、移動体２は、例えばヘッドセット２０を装着している。なお、図２の（Ａ）は、ヘッドセット２０を装着した移動体２の正面からの外観を示した図であり、また、図２の（Ｂ）は、ヘッドセット２０を装着した移動体２の左側方からの外観を示した図である。図２に示したように、例えば、ヘッドセット２０は、カメラ２００、および、ヘッドトラッキング用マーカー２１０を有する。ここで、カメラ２００は、本開示における第１の撮像部の一例である。カメラ２００は、例えば、移動体２の視線方向の映像を撮像する。例えば、カメラ２００は、魚眼カメラであってもよい。
　ヘッドトラッキング用マーカー２１０は、例えば、赤外線を反射するマーカーである。図２に示したように、ヘッドトラッキング用マーカー２１０は、一台のヘッドセット２０に複数個設置され得る。このヘッドトラッキング用マーカー２１０は、（作業空間内に配置された）複数のモーションキャプチャセンサ３２によりセンシングされ得る。これにより、作業空間における移動体２の位置がトラッキングされる。
　デプスカメラ３０は、例えばデプスセンサおよびＲＧＢセンサを有する。このデプスカメラ３０は、作業空間内に位置する各物体の三次元情報を取得する。例えば、デプスカメラ３０は、赤外線の照射、および、ｔｉｍｅ‐ｏｆ‐ｆｌｉｇｈｔを用いることにより、作業空間内に位置する各物体の三次元情報を取得する。
　なお、図１に示したように、作業空間内には、基本的に、複数のデプスカメラ３０が設置される。また、各モーションキャプチャセンサ３２および各デプスカメラ３０は、作業空間においてセンシングされる同一の物体の座標値が同じになるように、それぞれ予めキャリブレーションされ得る。そして、後述するように、サーバ１０は、複数のデプスカメラ３０によりセンシングされたＲＧＢ－Ｄの情報を統合することにより、ポイントクラウド（各ポイントが三次元座標を持つような情報の集合）を構成することが可能である。これにより、作業空間における各移動体２の三次元座標が特定可能となる。
　例えば、図３は、複数のデプスカメラ３０によりセンシングされた情報に基づいて構成されたポイントクラウドを示した画像４０の一例である。通常、一台のデプスカメラ３０では、作業空間全体を撮像することは難しく、センシング不能な領域が生じ得る。そこで、作業空間において互いに異なる位置に配置された複数のデプスカメラ３０が作業空間をセンシングし、そして、センシングされた情報が統合されることにより、センシング不能な領域ができるだけ小さくなり得る。
　サーバ１０は、ユーザ４に視認させる映像の生成、および表示制御などを行う。例えば、サーバ１０は、ある移動体２に装着された（ヘッドセット２０の）カメラ２００による撮像映像を取得し、そして、取得した撮像映像に基づいて移動体映像を生成する。そして、サーバ１０は、生成した移動体映像を、後述するプロジェクタ３６に投影させる。
　なお、サーバ１０は、作業空間内に設置されてもよいし、ユーザ４が位置する環境に設置されてもよいし、または、その他の場所に設置されてもよい。
　＜１－２．ユーザ４の環境＞
　次に、ユーザ４が位置する環境に関する情報処理システムの構成について説明する。例えば、図１に示したように、当該環境には、複数のモーションキャプチャセンサ３４、三台のプロジェクタ３６、および、三枚のスクリーン３８が配置される。
　モーションキャプチャセンサ３４は、当該環境におけるユーザ４の動きを検出する。例えば、モーションキャプチャセンサ３４は、ユーザ４の頭の動きを検出する。
　プロジェクタ３６は、発光により画像を投影する装置である。例えば、プロジェクタ３６は、サーバ１０から映像を受信し、そして、受信した映像をスクリーン３８に投影する。図１に示した例では、ユーザ４の正面、左側方、および右側方にそれぞれスクリーン３８が位置するような位置関係で、三枚のスクリーン３８が設置される。そして、各プロジェクタ３６は、各プロジェクタ３６の方向のスクリーン３８用の映像を各スクリーン３８に投影する。また、三台のプロジェクタ３６は、ステレオ映像を一以上のスクリーン３８に投影することも可能である。
　ユーザ４は、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）を有する３Ｄ眼鏡を装着し得る。これにより、ユーザ４は、スクリーン３８に表示された映像を立体視することができる。
　上述した情報処理システムによれば、ユーザ４は、スクリーン３８に投影される作業空間内の映像を視認することにより、あたかも作業空間内に位置しているような感覚を得られる。また、例えばユーザ４による移動体２の作業支援など、移動体２とユーザ４との連携が可能となる。
　なお、ユーザ４が位置する環境の情報処理システムは、上述した構成に限定されず、スクリーン３８は一枚だけしか設置されなくてもよい。さらに、この場合、プロジェクタ３６も一台だけしか設置されなくてもよい。
　また、上述した情報処理システムは、例えばインターネットなどの通信網を介した分散システムとして構成可能である。例えば、（移動体２が位置する）作業空間と、ユーザ４が位置する環境と、サーバ１０とは互いに離れた地点に位置しており、そして、各地点に設置されている装置間は、通信網を介して接続され得る。
　＜１－３．概要＞
　［１－３－１．公知技術の課題］
　ところで、作業空間において移動体２が複数存在する場合、遠隔に位置するユーザ４は、各移動体２の視点（以下、移動体視点と称する場合がある）間を自由に移行して、作業空間内の映像を視認可能であることが望ましい。
　しかしながら、例えばカメラをスイッチするように視点を切り替えると、視点の切り替え後に、ユーザ４は、作業空間における位置関係が分からなくなり、混乱し得る。
　そこで、上記事情を一着眼点にして、本実施形態によるサーバ１０を創作するに至った。サーバ１０は、作業空間における移動体２の移動体視点間を移行する際に、作業空間を観測するための空間観測視点を経由させる。さらに、移動体視点と空間観測視点との間の移行時に、サーバ１０は、移動体２の移動体視点と空間観測視点との間で視点位置を連続的に移動させることにより映像を生成し、そして、生成した映像をユーザ４に視認させることが可能である。これにより、作業空間における視点の移動を空間的に切れ目なくユーザ４に提示することができる。
　［１－３－２．テレプレゼンスの概要］
　ここで、本実施形態により実現されるテレプレゼンスの概要について、図４および図５を参照して説明する。図４は、本実施形態によるｊａｃｋ‐ｏｕｔおよびｊａｃｋ‐ｉｎに基づいた視点の移動を模式的に示した説明図である。ここで、ｊａｃｋ‐ｏｕｔは、ユーザ４が現在視認している映像の撮像元である移動体２の移動体視点から空間観測視点へと視点を移行させることである。また、ｊａｃｋ‐ｉｎは、（現在の）空間観測視点から、作業空間内に位置するいずれかの移動体２の移動体視点へと視点を移行させることである。
　また、図５の（Ａ）は、図４に示した移動体２ａの移動体視点（図４に示した矢印「１」）に基づく映像（以下、移動体映像と称する場合がある）の一例を示している。また、図５の（Ｂ）は、空間観測視点（図４に示した矢印「２」）に基づく映像（以下、空間観測映像と称する場合がある）の一例を示している。また、図５の（Ｃ）は、図４に示した移動体２ｂの移動体視点（図４に示した矢印「３」）に基づく映像の一例を示している。
　なお、図４では、初期状態として、ユーザ４が、移動体２ａにｊａｃｋ‐ｉｎしていることを前提としている。この場合、図５の（Ａ）に示したような、移動体２ａの移動体視点に基づく映像５０ａがスクリーン３８に投影されており、そして、ユーザ４は映像５０ａを視認している。この移動体映像５０ａを視認することにより、ユーザ４は、あたかも移動体２ａの中に入り込んでいるような感覚を得ることができる。
　その後、ユーザ４が、“ｊａｃｋ‐ｏｕｔ”コマンドを発行すると、サーバ１０は、移動体２ａの移動体視点から空間観測視点へと視点位置を連続的に移動させる。なお、“ｊａｃｋ‐ｏｕｔ”コマンドの発行は、本開示における第１の操作の一例である。
　その後、例えば図５の（Ｂ）に示したような、空間観測視点に基づく映像５０ｂがスクリーン３８に投影される。これにより、ユーザ４は、例えば作業空間全体を俯瞰的に観測することができる。なお、ユーザ４は、作業空間内で空間観測視点の位置を自由に移動させて作業空間を観測することができる。
　その後、ユーザ４は、図４に示した別の移動体２ｂの移動体視点を通して映像を視認することを希望したとする。この場合、まず、ユーザ４は、所定の方法により移動体２ｂを選択し、そして、“ｊａｃｋ‐ｉｎ”コマンドを発行する。すると、サーバ１０は、空間観測視点から移動体２ｂの移動体視点へと視点位置を連続的に移動させる。その後、例えば図５の（Ｃ）に示したような、移動体２ｂの移動体視点に基づく映像５０ｃがスクリーン３８に投影される。
　なお、移動体２の移動体視点に基づく映像はクリアな画像を提供するが、基本的には、立体視映像ではない。そこで、ユーザ４は、例えばｊａｃｋ‐ｉｎしている移動体２からｊａｃｋ‐ｏｕｔし、空間観測視点に基づいて作業空間を立体視することができる。その後、詳細な映像を確認するために、同じ移動体２へ再度ｊａｃｋ‐ｉｎすることも可能である。
＜＜２．実施形態の詳細な説明＞＞
　＜２－１．構成＞
　以上、本実施形態の概要について説明した。次に、本実施形態によるサーバ１０の構成について詳細に説明する。図６は、本実施形態によるサーバ１０の構成を示した機能ブロック図である。図６に示したように、サーバ１０は、制御部１００、通信部１２０、および記憶部１２２を有する。
　［２－１－１．制御部１００］
　制御部１００は、サーバ１０に内蔵される、後述するＣＰＵ１５０やＲＡＭ１５４などのハードウェアを用いて、サーバ１０の動作を全般的に制御する。また、図６に示したように、制御部１００は、空間情報取得部１０２、操作情報取得部１０４、視点移動部１０６、映像生成部１０８、および、出力制御部１１０を有する。
　［２－１－２．空間情報取得部１０２］
　空間情報取得部１０２は、例えば作業空間においてセンシングされる三次元情報および画像情報を取得する。例えば、空間情報取得部１０２は、作業空間において複数のデプスカメラ３０によりセンシングされたＲＧＢ－Ｄの情報を複数のデプスカメラ３０から受信する。
　また、空間情報取得部１０２は、取得された三次元情報および画像情報に基づいて、ポイントクラウドを構成する。
　［２－１－３．操作情報取得部１０４］
　操作情報取得部１０４は、ユーザ４の操作情報を取得する。例えば、操作情報取得部１０４は、“ｊａｃｋ‐ｉｎ”コマンドまたは“ｊａｃｋ‐ｏｕｔ”コマンドを発行する操作の情報を取得する。ここで、“ｊａｃｋ‐ｉｎ”コマンドまたは“ｊａｃｋ‐ｏｕｔ”コマンドを発行する操作は、例えば、ジェスチャ操作、操作部（図示省略）に対する操作、音声入力、または、視線操作などであってもよい。また、ジェスチャ操作は、例えばヘッドジェスチャや、ハンドジェスチャなどである。また、操作部は、例えばジョイスティックやタッチパネルなどである。
　例えば、操作情報取得部１０４は、モーションキャプチャセンサ３４などにより検出される、ユーザ４の頭の情報（位置、加速度、速度など）を取得し、そして、取得された情報に基づいてヘッドジェスチャを認識する。一例として、ユーザ４が頭を後ろ斜め上に素早く動かす動きが検出された場合には、操作情報取得部１０４は、検出された動きを、“ｊａｃｋ‐ｏｕｔ”コマンドを発行するためのヘッドジェスチャとして認識する。
　（２－１－３－１．ｊａｃｋ‐ｉｎ対象の選択）
　また、例えば“ｊａｃｋ‐ｉｎ”コマンドの発行前に、操作情報取得部１０４は、ｊａｃｋ‐ｉｎ対象の移動体２をユーザ４が選択する操作の情報を取得する。例えば、空間観測映像に表示されている一以上の移動体２のうちのいずれかの方向へユーザ４が視線を向けたことが検出された場合には、操作情報取得部１０４は、視線が向けられた移動体２をｊａｃｋ‐ｉｎ対象の移動体２として認識する。なお、この際、出力制御部１１０の制御により、図７に示したように、空間観測映像におけるｊａｃｋ‐ｉｎ対象の移動体２の例えば近傍に「ロックオン」マーク５１０が重畳表示され得る。
　または、作業空間に位置する一以上のＰＯＩのうちのいずれかをユーザ４が選択する操作が検出された場合には、操作情報取得部１０４は、選択されたＰＯＩに対応する移動体２をｊａｃｋ‐ｉｎ対象の移動体２として認識する。ここで、ＰＯＩは、作業空間内の例えば作業テーブルの中心などの所定の位置や、移動体２の位置などを含む。なお、例えば空間観測映像の表示時に、ＰＯＩの選択ＵＩがユーザ４に提示され得る。そして、この選択ＵＩを用いて、ユーザ４はいずれかのＰＯＩを選択することができる。
　［２－１－４．視点移動部１０６］
　視点移動部１０６は、操作情報取得部１０４により取得される操作情報、および、空間情報取得部１０２により構成されたポイントクラウドに基づいて、移動体２の移動体視点と空間観測視点との間で視点位置を連続的に移動させる。例えば、視点移動部１０６は、移動体２の移動体視点と空間観測視点とを連続的につなぐ移動経路を決定し、そして、決定した移動経路に沿って視点位置を連続的に移動させる。さらに、視点移動部１０６は、移動経路における視点位置の移動に応じて視点の方向が連続的に変化するように、視点の方向を決定することも可能である。さらに、視点移動部１０６は、移動経路における視点位置の移動に応じて画角が連続的に変化するように画角を決定することも可能である。
　（２－１－４－１．ｊａｃｋ‐ｏｕｔ時）
　例えば、“ｊａｃｋ‐ｏｕｔ”コマンドの発行を示す操作情報が操作情報取得部１０４により取得された場合には、視点移動部１０６は、ユーザ４がｊａｃｋ‐ｉｎ中の移動体２の移動体視点から空間観測視点まで視点位置を連続的に移動させる。
　ここで、図８を参照して、上記の内容についてさらに詳細に説明する。図８は、“ｊａｃｋ‐ｏｕｔ”コマンドが発行された場合において視点移動部１０６により決定される移動経路の一例（移動経路６０）を示した説明図である。この場合には、例えば、視点移動部１０６は、空間情報取得部１０２により構成されたポイントクラウドに基づいて、移動経路６０の始点における視点Ｖ１を、ユーザ４がｊａｃｋ‐ｉｎ中の移動体２の移動体視点と一致させ、かつ、移動経路６０の終点における視点Ｖ５を空間観測視点と一致させる。そして、視点移動部１０６は、視点位置が連続的に変化するように視点位置を線形補間することにより、移動経路６０を決定する。例えば、図８に示したように、視点移動部１０６は、移動経路６０をベジエ曲線として決定してもよい。なお、この際、空間観測視点の位置は、図８に示したように、作業空間において該当の移動体２よりも後方かつ上方に設定され、かつ、空間観測視点の方向は、該当の移動体２を向く方向に設定され得る。
　さらに、視点移動部１０６は、例えば、移動経路６０の始点における視点Ｖ１の方向を、ユーザ４がｊａｃｋ‐ｉｎ中の移動体２の移動体視点の方向と一致させ、かつ、移動経路６０の終点における視点Ｖ５の方向を空間観測視点の方向と一致させてもよい。そして、視点移動部１０６は、視点位置の移動に応じて視点の方向が連続的に変化するように、移動経路６０において視点の方向を線形補間してもよい。上記の決定例によれば、ｊａｃｋ‐ｏｕｔが完了した際の空間観測視点に基づく映像は、移動体２の後方から移動体２を見下ろすような映像となり得る。さらに、当該映像は、該当の移動体２が映像の中央に位置するような映像となり得る。
　これにより、例えば移動体２が人である場合には、ユーザ４がｊａｃｋ‐ｉｎ中の人物の頭から抜け出して、そして、該当の人物の後方かつ上方へ視点が連続的に上昇していくような遷移映像が生成される。従って、ユーザ４は、遷移映像を視認することにより、該当の人物から体外離脱するような感覚を得ることができる。
　さらに、視点移動部１０６は、移動経路６０の始点と終点との間で画角が連続的に変化するように、移動経路６０における画角を決定することも可能である。例えば、図８に示した例では、視点移動部１０６は、移動経路６０の始点における視点Ｖ１の画角を、ユーザ４がｊａｃｋ‐ｉｎ中の移動体２の移動体視点の画角と一致させ、かつ、移動経路６０の終点における視点Ｖ５の画角を空間観測視点の画角と一致させてもよい。そして、視点移動部１０６は、視点位置の移動に応じて画角が連続的に変化するように、移動経路６０において画角を線形補間してもよい。
　また、視点移動部１０６は、決定した移動経路における現在の視点位置と終点の位置との位置関係に基づいて、現在の視点位置の移動速度を決定することが可能である。例えば、図８に示した例では、視点Ｖ２、Ｖ３、Ｖ４、Ｖ５は、視点移動部１０６により決定された移動経路に沿って単位時間間隔で移動された視点をそれぞれ示している。図８に示したように、視点移動部１０６は、移動経路６０における視点位置が終点に近づくほど移動速度が遅くなるように、視点の移動速度を決定する。ここで、経過時間と、視点の移動速度との関係は線形であってもよいし、非線形であってもよい。例えば、視点移動部１０６は、経過時間と、視点の移動速度との関係が所定の対数関数と一致するように、視点の移動速度を決定してもよい。あるいは、視点移動部１０６は、決定した移動経路に沿って視点の移動速度がスローインおよびスローアウトのように変化するように、視点の移動速度を決定してもよい。すなわち、視点移動部１０６は、移動経路における始点から中間地点まで移動速度が徐々に加速していき、そして、中間地点から終点まで移動速度が徐々に減速していくように、視点の移動速度を決定してもよい。
　‐空間観測視点の決定
　なお、ｊａｃｋ‐ｏｕｔ時の空間観測視点の位置は、所定の条件に基づいて決定され得る。例えば、当該空間観測視点は、作業空間における移動体２の配置に基づいて決定されてもよい。一例として、当該空間観測視点は、作業空間に位置する全ての移動体２が観測可能な位置および画角に決定されてもよい。
　または、当該空間観測視点は、該当のユーザ４の設定情報に応じて決定されてもよい。または、当該空間観測視点は、作業空間において行われる作業（作業目的）に基づいて決定されてもよい。例えば、作業目的に適した空間観測視点の位置および画角の情報が記憶部１２２に予め格納されており、そして、当該空間観測視点は、記憶部１２２に格納されている情報に基づいて決定され得る。一例として、作業空間が「手術室」である場合（手術モード時）には、当該空間観測視点は、少なくとも手術台全体を観測可能な位置および画角に定められ得る。または、作業空間が「キッチン」である場合（料理モード時）には、当該空間観測視点は、キッチン全体を観測可能な位置および画角に定められ得る。
　なお、作業空間に対応する作業目的は、例えば“ｊａｃｋ‐ｏｕｔ”コマンドの発行前などにユーザ４に選択させてもよい。または、移動体２が行っている作業の内容を示す情報に基づいて、サーバ１０が作業目的を自動的に決定してもよい。または、作業空間（作業空間の位置や作業空間の種類など）に応じて、サーバ１０が作業目的を自動的に決定してもよい。
　（２－１－４－２．空間観測視点モード時）
　また、ｊａｃｋ‐ｏｕｔが終了した場合（以下、空間観測視点モード時と称する場合がある）には、視点移動部１０６は、操作情報取得部１０４により取得される操作情報に基づいて、空間観測視点の位置を連続的に移動させる。例えば、視点移動部１０６は、ＰＯＩに基づいて作業空間をナビゲートする操作の検出に基づいて、図９に示したように、空間観測視点の位置を連続的に移動させる。例えば、作業空間に位置するいずれかのＰＯＩに接近するための操作が検出された場合には、図９に示した視点Ｖ１、Ｖ２、Ｖ３のように、視点移動部１０６は、例えば、空間観測視点の方向を該当のＰＯＩを向いた状態を維持しながら、空間観測視点の位置を該当のＰＯＩに連続的に接近させる。また、いずれかのＰＯＩの周囲を回転するための操作が検出された場合には、図９に示した視点Ｖ１、Ｖ４、Ｖ５、Ｖ６のように、視点移動部１０６は、例えば、（サークルストラフのように）該当のＰＯＩを中心として空間観測視点の位置を連続的に回転移動させながら、空間観測視点の方向が該当のＰＯＩを向いた状態を維持するように、空間観測視点の方向を連続的に変化させる。
　（２－１－４－３．ｊａｃｋ‐ｉｎ時）
　また、ｊａｃｋ‐ｉｎ対象の移動体２がユーザ４により選択され、かつ、“ｊａｃｋ‐ｉｎ”コマンドが発行されたことを示す操作情報が操作情報取得部１０４により取得された場合には、視点移動部１０６は、空間観測視点から、ｊａｃｋ‐ｉｎ対象の移動体２の移動体視点まで視点位置を連続的に移動させる。
　ここで、図１０を参照して、上記の内容についてさらに詳細に説明する。図１０は、“ｊａｃｋ‐ｉｎ”コマンドが発行された場合において視点移動部１０６により決定される移動経路の一例（移動経路６２）を示した説明図である。この場合には、例えば、視点移動部１０６は、移動経路６２の始点における視点Ｖ１を、（“ｊａｃｋ‐ｉｎ”コマンドの発行時の）空間観測視点と一致させ、かつ、移動経路６２の終点における視点Ｖ５を、ｊａｃｋ‐ｉｎ対象の移動体２の移動体視点と一致させる。そして、視点移動部１０６は、視点位置が連続的に変化するように視点位置を線形補間することにより、移動経路６２を決定する。例えば、図１０に示したように、視点移動部１０６は、移動経路６２をベジエ曲線として決定してもよい。
　さらに、視点移動部１０６は、例えば、移動経路６２の始点における視点Ｖ１の方向を、例えばモーションキャプチャセンサ３４などによりセンシングされるユーザ４の頭の方向（または視線方向）と一致させ、かつ、移動経路６２の終点における視点Ｖ５の方向を、ｊａｃｋ‐ｉｎ対象の移動体２の移動体視点の方向と一致させてもよい。そして、視点移動部１０６は、視点位置の移動に応じて視点の方向が連続的に変化するように、移動経路６２において視点の方向を線形補間してもよい。上記の決定例によれば、空間観測視点から移動体２の移動体視点へ連続的に移動するような遷移映像が生成され得る。例えばｊａｃｋ‐ｉｎ対象の移動体２が人である場合には、ｊａｃｋ‐ｉｎ対象の移動体２の後方から該当の移動体２の頭部まで視点位置が連続的に移動し、そして、該当の移動体２と統合するような感覚をユーザ４に与え得る遷移映像が生成される。
　さらに、視点移動部１０６は、移動経路６２の始点と終点との間で画角が連続的に変化するように、移動経路６２における画角を決定することも可能である。例えば、図１０に示した例では、視点移動部１０６は、移動経路６０の始点における視点Ｖ１の画角を、空間観測視点の画角と一致させ、かつ、移動経路６０の終点における視点Ｖ５の画角を、ｊａｃｋ‐ｉｎ対象の移動体２の移動体視点の画角と一致させてもよい。そして、視点移動部１０６は、視点位置の移動に応じて画角が連続的に変化するように、移動経路６２において画角を線形補間してもよい。
　また、視点移動部１０６は、（ｊａｃｋ‐ｏｕｔの場合と同様に）移動経路６２における視点位置が終点に近づくほど移動速度が遅くなるように、視点の移動速度を決定することが可能である。例えば、図１０に示した例では、視点Ｖ２、Ｖ３、Ｖ４、Ｖ５は、視点移動部１０６により移動経路に沿って単位時間間隔で移動された視点を示している。例えば、視点移動部１０６は、経過時間と、視点の移動速度との関係が所定の対数関数と一致するように、視点の移動速度を決定してもよい。
　［２－１－５．映像生成部１０８］
　映像生成部１０８は、本開示における表示制御部の一例である。映像生成部１０８は、ユーザ４が視認する表示領域に表示される映像を生成する。
　（２－１－５－１．移動体映像）
　例えば、ユーザ４がいずれかの移動体２にｊａｃｋ‐ｉｎしている間は、映像生成部１０８は、該当の移動体２に装着されたカメラ２００により撮像された映像に基づいて、移動体映像を生成する。例えば、映像生成部１０８は、該当のカメラ２００により撮像された画像に基づいてパノラマ画像（移動体映像）を生成する。例えば、移動体映像は、移動体２の移動体視点の位置の周囲の環境をユーザ４が自由に見回すことが可能な半球の映像であってもよい。この移動体映像によれば、ｊａｃｋ‐ｉｎ中の移動体２の視点において撮像される映像をユーザ４は視認することができる。
　なお、移動体２が人である場合には、移動体２の頭部が回転すると、生成される移動体映像において、望ましくない画像の揺れが含まれる。そして、ユーザ４は、かかる移動体映像を見るとモーションシックネスを感じ得る。そこで、映像生成部１０８は、該当のカメラ２００により撮像された画像に対して、例えば特許文献１に記載の技術などの公知の技術を用いた揺れの補正処理を行うことにより、移動体映像を生成することが好ましい。
　例えば、映像生成部１０８は、該当のカメラ２００により撮像された連続したフレーム間での移動体２の頭部の回転を推定する。そして、映像生成部１０８は、該当のカメラ２００により撮像された各フレームに対して、当該フレームに関して推定された合計の（移動体２の頭部の）回転量に応じて逆回転させる補正を行う。これにより、生成される移動体映像において、移動体２の頭部の回転に伴う画像の揺れが抑制される。
　（２－１－５－２．空間観測映像）
　また、空間観測視点モード時には、映像生成部１０８は、視点移動部１０６により決定される空間観測視点（位置、方向、および画角）と、空間情報取得部１０２により構成されたポイントクラウドとに基づいて、空間観測映像を生成する。この空間観測映像では、ユーザ４は、作業空間を俯瞰することができ、例えば作業空間の全体を観測することができる。例えば、ユーザ４は、作業空間に位置する複数の移動体２の位置関係を把握することができる。
　なお、変形例として、ユーザ４が直前までｊａｃｋ‐ｉｎしていた移動体２が空間観測視点の視野に含まれる場合には、映像生成部１０８は、該当の移動体２を明示する表示を空間観測映像内に配置してもよい。
　（２－１－５－３．第１の遷移映像）
　また、“ｊａｃｋ‐ｏｕｔ”コマンドが発行された場合には、映像生成部１０８は、ユーザ４がｊａｃｋ‐ｉｎしている移動体２の移動体視点から空間観測視点まで、視点移動部１０６により連続的に移動される視点位置に応じた第１の遷移映像を生成する。この場合には、例えば、映像生成部１０８は、単位時間ごとに、視点移動部１０６により移動された視点と、空間情報取得部１０２により構成されたポイントクラウドとに基づいてフレームを生成することにより、第１の遷移映像を生成する。
　図１１は、生成された第１の遷移映像に含まれる４枚のフレームの例を示した図である。なお、図１１に示したフレーム７０ａは、例えば“ｊａｃｋ‐ｏｕｔ”コマンドが発行された時点における移動体映像と同一であり、また、フレーム７０ｄは、ｊａｃｋ‐ｏｕｔが終了した時点における空間観測映像と同一である。図１１に示したように、フレーム７０ａとフレーム７０ｄとの間で、（フレーム７０ａからフレーム７０ｄへの遷移を示す）フレーム７０ｂおよびフレーム７０ｃが表示される。
　この第１の遷移映像では、ユーザ４が直前までｊａｃｋ‐ｉｎしていた移動体２の移動体視点から空間観測視点への移行に伴う位置関係の変化を、ユーザ４は容易に理解することができる。
　（２－１－５－４．第２の遷移映像）
　また、ｊａｃｋ‐ｉｎ対象の移動体２がユーザ４により選択され、かつ、“ｊａｃｋ‐ｉｎ”コマンドが発行されたことを示す操作情報が操作情報取得部１０４により取得された場合には、映像生成部１０８は、空間観測視点からｊａｃｋ‐ｉｎ対象の移動体２の移動体視点まで、視点移動部１０６により連続的に移動される視点位置に応じた第２の遷移映像を生成する。なお、第２の遷移映像の具体的な生成方法は、第１の遷移映像と概略同様である。
　図１２は、生成された第２の遷移映像に含まれる４枚のフレームの例を示した図である。なお、図１２に示したフレーム７２ａは、例えば“ｊａｃｋ‐ｉｎ”コマンドが発行された時点における空間観測映像と同一であり、また、フレーム７２ｄは、ｊａｃｋ‐ｉｎが終了した時点における、ｊａｃｋ‐ｉｎ対象の移動体２の移動体映像と同一である。図１２に示したように、フレーム７２ａとフレーム７２ｄとの間で、（フレーム７２ａからフレーム７２ｄへの遷移を示す）フレーム７２ｂおよびフレーム７２ｃが表示される。
　この第２の遷移映像では、空間観測視点からｊａｃｋ‐ｉｎ対象の移動体２の移動体視点への移行に伴う位置関係の変化を、ユーザ４は容易に理解することができる。
　［２－１－６．出力制御部１１０］
　（２－１－６－１．映像の表示）
　出力制御部１１０は、本開示における表示制御部の一例である。出力制御部１１０は、映像生成部１０８により生成された映像を、ユーザ４が視認する表示領域に表示させる。例えば、出力制御部１１０は、移動体映像、空間観測映像、第１の遷移映像、または、第２の遷移映像が映像生成部１０８により生成された際に、生成された映像をスクリーン３８に対してプロジェクタ３６に逐次投影させる。
　（２－１－６－２．「ロックオン」マーク）
　また、空間観測映像の表示時に、出力制御部１１０は、例えば図７に示したような「ロックオン」マーク５１０を空間観測映像に重畳して表示させることが可能である。この「ロックオン」マーク５１０は、例えば、ユーザ４によりｊａｃｋ‐ｉｎ対象として選択済みの移動体２を明示するための表示である。但し、かかる例に限定されず、「ロックオン」マーク５１０は、ｊａｃｋ‐ｉｎ対象の移動体２をユーザ４が選択するためのＵＩであってもよい。この場合、空間観測映像内に表示されている全ての移動体２に関して「ロックオン」マーク５１０が表示されてもよい。
　（２－１－６－３．移動体２の選択時のＵＩ）
　また、例えば空間観測映像の表示時に、出力制御部１１０は、ｊａｃｋ‐ｉｎ対象の移動体２をユーザ４が選択するためのＵＩを、表示中の映像に重畳して表示させることも可能である。このＵＩは、例えば、移動体２ごとに、現在ｊａｃｋ‐ｉｎ可能であるか否かの情報、当該移動体２にｊａｃｋ‐ｉｎ可能なユーザ４の定員、および、当該移動体２にｊａｃｋ‐ｉｎしているユーザ４の識別情報などの情報を含み得る。さらに、このＵＩは、任意の移動体２とチャットするためのチャットＵＩを含んでもよいし、または、個々の移動体２と他のユーザ４ｂ（または当該ユーザ４ａ）とのチャットの履歴情報を含んでもよい。または、このＵＩは、任意の移動体２（人）に対して発呼するための電話帳ＵＩを含んでもよい。例えば、ユーザ４は、ヘッドセットや携帯電話機などを用いて、任意の移動体２と通話することができる。
　（２－１－６－４．移動体２への通知）
　また、変形例として、ｊａｃｋ‐ｏｕｔ対象（またはｊａｃｋ‐ｉｎ対象）の移動体２が人である場合には、出力制御部１１０は、ｊａｃｋ‐ｏｕｔ（またはｊａｃｋ‐ｉｎ）の実行の完了を示す通知を、ｊａｃｋ‐ｏｕｔ対象（またはｊａｃｋ‐ｉｎ対象）の移動体２に対して出力させることも可能である。例えば、ｊａｃｋ‐ｏｕｔ後に、出力制御部１１０は、ｊａｃｋ‐ｏｕｔの実行の完了を示す表示、音声、または振動を、ユーザ４が直前までｊａｃｋ‐ｉｎしていた移動体２に対して出力させてもよい。なお、この際、出力制御部１１０は、ｊａｃｋ‐ｏｕｔしたユーザ４の識別情報を該当の移動体２に対してさらに通知してもよい。なお、ｊａｃｋ‐ｉｎの場合の通知例も同様であってよい。
　［２－１－７．通信部１２０］
　通信部１２０は、サーバ１０と通信可能な他の装置との間で情報の送受信を行う。例えば、通信部１２０は、出力制御部１１０の制御に従って、生成された映像をプロジェクタ３６に送信する。また、通信部１２０は、各移動体２に装着されたカメラ２００により撮像された映像を受信する。また、通信部１２０は、センシングされた情報をデプスカメラ３０、モーションキャプチャセンサ３２、または、モーションキャプチャセンサ３４などから受信する。
　［２－１－８．記憶部１２２］
　記憶部１２２は、各種のデータや各種のソフトウェアを記憶する。例えば、記憶部１２２は、履歴情報ＤＢを記憶する。この履歴情報ＤＢでは、例えば、日時、ユーザ４の識別情報、当該ユーザ４によりｊａｃｋ‐ｉｎまたはｊａｃｋ‐ｏｕｔされた移動体２の識別情報、作業空間に関する情報、および、ｊａｃｋ‐ｉｎまたはｊａｃｋ‐ｏｕｔの実行情報が対応付けられ得る。ここで、作業空間に関する情報は、例えば、作業空間の場所を示す情報、または、作業空間で行われる作業内容（例えば、手術、料理等）の情報を含み得る。これにより、例えばユーザ４は、ユーザ４の識別情報、または、移動体２の識別情報を検索キーとして履歴情報ＤＢを検索することにより、所望の履歴情報を閲覧することができる。また、ユーザ４は、履歴情報を閲覧した際に、該当の履歴情報に応じた内容のｊａｃｋ‐ｉｎまたはｊａｃｋ‐ｏｕｔの指示を新たに行うことも可能である。
　なお、制御部１００は、例えばｊａｃｋ‐ｉｎまたはｊａｃｋ‐ｏｕｔが実行される度に、該当の履歴情報を履歴情報ＤＢに格納することが可能である。
　＜２－２．動作＞
　［２－２－１．全体的な流れ］
　以上、本実施形態による構成について説明した。次に、本実施形態による動作の流れの一例について説明する。なお、以下では、サーバ１０が、作業空間の三次元情報を予め取得しており、そして、ポイントクラウドが予め構成されていることを前提とする。また、初期状態では、作業空間内の或る移動体２にユーザ４がｊａｃｋ‐ｉｎ中であることを前提とする。
　図１３に示したように、まず、サーバ１０の映像生成部１０８は、ユーザ４がｊａｃｋ‐ｉｎしている移動体２に装着されたカメラ２００により撮像された映像を取得し、そして、取得した映像に基づいて移動体映像を逐次生成する。そして、出力制御部１１０は、生成した移動体映像を、ユーザ４が視認する表示領域に逐次表示させる（Ｓ１０１）。
　そして、サーバ１０は、ユーザ４により“ｊａｃｋ‐ｏｕｔ”コマンドが発行されたか否かを判定する（Ｓ１０３）。“ｊａｃｋ‐ｏｕｔ”コマンドが発行されていない場合には（Ｓ１０３：Ｎｏ）、サーバ１０は、Ｓ１０１の処理を繰り返す。
　一方、“ｊａｃｋ‐ｏｕｔ”コマンドが発行されたことが検出された場合には（Ｓ１０３：Ｙｅｓ）、サーバ１０は、後述する「ｊａｃｋ‐ｏｕｔ処理」を行う（Ｓ１０５）。
　その後、映像生成部１０８は、空間観測視点と、空間情報取得部１０２により予め構成されたポイントクラウドとに基づいて空間観測映像を逐次生成する。そして、出力制御部１１０は、生成された空間観測映像を、ユーザ４が視認する表示領域に逐次表示させる（Ｓ１０７）。
　そして、サーバ１０は、ユーザ４によりｊａｃｋ‐ｉｎ対象の移動体２が選択され、かつ、“ｊａｃｋ‐ｉｎ”コマンドが発行されたか否かを判定する（Ｓ１０９）。ｊａｃｋ‐ｉｎ対象の移動体２が選択されていない、または、“ｊａｃｋ‐ｉｎ”コマンドが発行されていない場合には（Ｓ１０９：Ｎｏ）、サーバ１０は、Ｓ１０７の処理を繰り返す。
　一方、ｊａｃｋ‐ｉｎ対象の移動体２が選択され、かつ、“ｊａｃｋ‐ｉｎ”コマンドが発行された場合には（Ｓ１０９：Ｙｅｓ）、サーバ１０は、後述する「ｊａｃｋ‐ｉｎ処理」を行う（Ｓ１１１）。
　その後、映像生成部１０８は、Ｓ１１１でｊａｃｋ‐ｉｎされた移動体２に装着されているカメラ２００により撮像された映像を取得し、そして、取得した映像に基づいて移動体映像を逐次生成する。そして、出力制御部１１０は、生成した移動体映像を、ユーザ４が視認する表示領域に逐次表示させる（Ｓ１１３）。
　［２－２－２．ｊａｃｋ‐ｏｕｔ処理］
　ここで、図１４を参照して、Ｓ１０５における「ｊａｃｋ‐ｏｕｔ処理」の内容について詳細に説明する。図１４に示したように、まず、視点移動部１０６は、ユーザ４がｊａｃｋ‐ｉｎ中の移動体２の移動体視点から空間観測視点までの移動経路を、構成済みのポイントクラウドに基づいて決定する（Ｓ２０１）。
　その後、視点移動部１０６は、生成対象の第１の遷移画像におけるフレームの番号を示す変数Ｉに「１」を設定する（Ｓ２０３）。そして、視点移動部１０６は、生成対象の第１の遷移画像に含まれるフレームの総枚数をＮに設定する（Ｓ２０５）。
　続いて、視点移動部１０６は、ＩがＮ以下であるか否かを判定する（Ｓ２０７）。ＩがＮ以下である場合には（Ｓ２０７：Ｙｅｓ）、視点移動部１０６は、Ｓ２０１で決定した移動経路に沿ってＩ番目のフレーム時点まで視点位置を移動させる。また、視点移動部１０６は、視点位置の移動に応じて視点の方向および画角が連続的に変化するように、Ｉ番目のフレーム時点の視点の方向および画角を決定する（Ｓ２０９）。
　続いて、映像生成部１０８は、移動された視点位置と、構成済みのポイントクラウドとに基づいてＩ番目のフレームを生成する（Ｓ２１１）。
　続いて、視点移動部１０６は、Ｉに「１」を加算する（Ｓ２１３）。そして、視点移動部１０６は、再びＳ２０７の処理を行う。
　Ｓ２０７においてＩがＮよりも大きい場合、すなわち、第１の遷移映像の生成が終了した場合には（Ｓ２０７：Ｎｏ）、出力制御部１１０は、生成された第１の遷移映像を、ユーザ４が視認する表示領域に表示させる（Ｓ２１５）。そして、サーバ１０は、「ｊａｃｋ‐ｏｕｔ処理」を終了する。
　［２－２－３．ｊａｃｋ‐ｉｎ処理］
　次に、図１５を参照して、Ｓ１１１における「ｊａｃｋ‐ｉｎ処理」の内容について詳細に説明する。図１５に示したように、まず、視点移動部１０６は、現在の空間観測視点から、Ｓ１０９でユーザ４により選択されたｊａｃｋ‐ｉｎ対象の移動体２の移動体視点までの移動経路を、構成済みのポイントクラウドに基づいて決定する（Ｓ３０１）。
　なお、図１５に示したＳ３０３～Ｓ３１５の処理は、「ｊａｃｋ‐ｏｕｔ処理」におけるＳ２０３～Ｓ２１５の処理と概略同様である。
　＜２－３．効果＞
　［２－３－１．効果１］
　以上説明したように、本実施形態によるサーバ１０は、作業空間における移動体２の移動体視点間を移動する際に空間観測視点を経由させる。さらに、移動体視点と空間観測視点との間の移行時（ｊａｃｋ‐ｏｕｔまたはｊａｃｋ‐ｉｎ時）には、サーバ１０は、予め構成されたポイントクラウドに基づいて、移動体２の移動体視点と空間観測視点との間で視点位置を連続的に移動させることにより遷移映像を生成し、そして、生成した遷移映像を、ユーザ４が視認する表示領域に表示させる。このため、作業空間における視点の移動を空間的に切れ目なくユーザ４に提示することができるので、視点の移行に伴う位置関係の変化をユーザ４は容易に理解することができる。
　なお、公知の技術では、移動体視点に基づく映像のみを提供する技術、もしくは、空間観測視点に基づく映像のみを提供する技術が開示されている。しかしながら、本実施形態のような、移動体２ａの移動体視点と空間観測視点とを継ぎ目なく移行し、さらに、別の移動体２ｂの移動体視点に入り込むことを実現する技術は開示されていない。本実施形態によれば、作業空間に位置する複数の移動体２（人やロボット）の視点間を自由に、かつ、空間的な連続性を保ちながら移行することが可能になる。従って、遠隔に位置するユーザ４（観測者）は、作業空間全体を把握しやすい。
　［２－３－２．効果２］
　また、本実施形態は、例えば災害現場などの遠隔監視や遠隔操作などに適用可能である。また、本実施形態によれば、移動体２とユーザ４との連携が可能となるので、例えば、遠隔手術や遠隔実験などの様々な分野にも適用可能である。例えば、ユーザ４は、移動体映像および空間観測映像を適宜切り替えて映像を参照することにより、移動体２に対して様々な作業の指示を適切に与えることができる。
　［２－３－３．効果３］
　また、本実施形態によれば、スキル伝達のためのプラットフォームを構成可能である。例えば、スポーツ、楽器の演奏、工芸などのスキルの遠隔学習に有用である。例えば、教師（移動体２）は自らのスキルを遠隔の学習者（ユーザ４）に示し、そして、学習者は見てまねることができる。さらに、学習者は、教師の模範演技を、空間観測視点または教師の視点のいずれからも観察することができる。また、教師の模範演技が等身大の３Ｄモデルとしてスクリーン３８に投影される場合、学習者は、教師の模範演技と自分の演技とを比較することができる。さらに、教師の模範演技をアーカイブ化し、そして、スキル伝達のための、新しいインタラクティブな教科書としてパッケージ化することもできる。
　［２－３－４．効果４］
　また、移動体２が人である場合には、ｊａｃｋ‐ｏｕｔ時に、ユーザ４がｊａｃｋ‐ｉｎ中の移動体２の頭から抜け出して、そして、該当の移動体２の後方かつ上方へ視点が連続的に上昇していくような第１の遷移映像が生成され、そして、ユーザ４に提示される。これにより、ユーザ４は、該当の移動体２から体外離脱するような感覚を得ることができる。
　さらに、本実施形態によれば、人工的な体外離脱体験を研究するためのプラットフォームを構成可能である。例えば、本実施形態では、移動体視点と空間観測視点との間でのシームレスな遷移をユーザ４に提供することができるので、対外離脱体験に関する認知作用を研究するために有用である。
　＜２－４．応用例＞
　以上、本実施形態について説明した。上述した実施形態では、基本的に、一つの作業空間において視点間を移行する例について説明した。ところで、複数の作業空間が予め設けられている場合には、異なる作業空間における視点間の移行が可能であることが望ましい。例えば、図１６に示したように、作業空間“ＲｏｏｍＡ”に位置する移動体２ａの移動体視点または空間観測視点から、作業空間“ＲｏｏｍＢ”に位置する移動体２ｃの移動体視点へと移行可能であることが望ましい。
　次に、本実施形態の応用例について説明する。後述するように、本応用例によれば、異なる作業空間に位置する移動体２の移動体視点間を連続的につなぐ遷移映像を生成し、そして、生成した遷移映像をユーザ４に視認させることが可能である。これにより、異なる作業空間間で視点が移行される場合であっても、視点の移行に伴う位置関係の変化をユーザ４は容易に理解することができる。
　［２－４－１．構成］
　まず、本応用例によるサーバ１０の構成について詳細に説明する。なお、本応用例によるサーバ１０に含まれる構成要素については、（図６に示した）上述した実施形態と同様である。以下では、上述した実施形態と異なる機能を有する構成要素についてのみ説明を行い、重複する内容については説明を省略する。
　（２－４－１－１．空間情報取得部１０２）
　本応用例による空間情報取得部１０２は、複数の作業空間の各々においてセンシングされる三次元情報および画像情報を取得する。例えば、空間情報取得部１０２は、複数の作業空間の各々に配置されている複数のデプスカメラ３０によりセンシングされたＲＧＢ－Ｄの情報を、各作業空間における複数のデプスカメラ３０から受信する。
　また、空間情報取得部１０２は、作業空間ごとに、取得された三次元情報および画像情報に基づいて当該作業空間のポイントクラウドを構成する。
　（２－４－１－２．操作情報取得部１０４）
　本応用例による操作情報取得部１０４は、例えば空間観測視点モード時に、いずれかの作業空間に位置する移動体視点または空間観測視点へ視点を移行するための、ユーザ４の操作の情報を取得する。なお、本応用例において、例えばｊａｃｋ‐ｉｎ対象の移動体２を指定する操作、または、別の作業空間における空間観測視点に移行するための操作などをユーザ４は行うことが可能である。
　‐リストからの選択
　例えば、操作情報取得部１０４は、いずれかの作業空間に位置する移動体視点または空間観測視点へ視点を移行するための、ユーザ４に提示されるリストからの選択操作の情報を取得することが可能である。例えば、図１７に示したような、移動体２の識別情報８００、および作業空間の識別情報８０２が対応付けられたリスト８０がユーザ４に提示され得る。そして、ユーザ４は、ｊａｃｋ‐ｉｎ対象の移動体２をリスト８０から選択すること、および、別の作業空間をリスト８０から選択することが可能である。なお、図１７に示したリスト８０は、移動体「Ｍｉｃｈａｅｌ」および移動体「Ｊｅｓｓｉｃａ」が作業空間「ＡＢＣ　Ｂｕｉｌｄｉｎｇ　Ｒｏｏｍ１０１」に位置していること、および、移動体「Ｊｏｈｎ」が作業空間「ＸＹＺ　Ｈａｌｌ　Ｒｏｏｍ２０５」に位置していることを示している。この場合、例えば、操作情報取得部１０４は、ｊａｃｋ‐ｉｎ対象の移動体２をリスト８０からユーザ４が選択する操作の情報を取得する。または、操作情報取得部１０４は、ｊａｃｋ‐ｉｎ対象の移動体２が位置する作業空間をリスト８０からユーザ４が選択する操作の情報を取得し、そして、取得した情報に基づいてｊａｃｋ‐ｉｎ対象の移動体２を特定することも可能である。または、操作情報取得部１０４は、別の作業空間の空間観測視点へ視点を移行するための、作業空間をリスト８０からユーザ４が選択する操作の情報を取得する。
　‐マップからの選択
　または、操作情報取得部１０４は、いずれかの作業空間に位置する移動体視点または空間観測視点へ視点を移行するための、ユーザ４に提示されるマップからの選択操作の情報を取得することが可能である。例えば、図１８に示したような、各作業空間の識別情報８２２、および、各作業空間に位置する移動体２の識別情報８２０が（各作業空間の位置情報と対応付けて）表示されたマップ８２がユーザ４に提示され得る。そして、ユーザ４は、ｊａｃｋ‐ｉｎ対象の移動体２をマップ８２から選択すること、または、別の作業空間をマップ８２から選択することが可能である。なお、操作情報の具体的な取得例に関しては、上述したリスト８０の場合と同様である。
　（２－４－１－３．視点移動部１０６）
　本応用例による視点移動部１０６は、操作情報取得部１０４により取得された操作情報に応じて特定される、移行先の作業空間における移動体視点または空間観測視点と、現在の作業空間における現在の視点との間で視点位置を連続的に移動させる。例えば、現在の視点が、作業空間Ａに位置する移動体２ａの移動体視点であり、かつ、移行先の視点が、作業空間Ｂに位置する移動体２ｂの移動体視点である場合には、視点移動部１０６は、まず、移動体２ａの移動体視点、作業空間Ａ内の空間観測視点、俯瞰マップ、作業空間Ｂ内の空間観測視点、および、移動体２ｂの移動体視点の順に連続的につなぐ移動経路を決定する。そして、視点移動部１０６は、決定した移動経路に沿って視点位置を連続的に移動させる。ここで、俯瞰マップは、作業空間Ａと作業空間Ｂとの位置関係を示すマップである。
　（２－４－１－４．映像生成部１０８）
　本応用例による映像生成部１０８は、例えば、現在の作業空間（例えば作業空間Ａ）における現在の移動体視点からｊａｃｋ‐ｏｕｔし、かつ、別の作業空間（例えば作業空間Ｂ）に位置する或る移動体２ｂの移動体視点へｊａｃｋ‐ｉｎするためのコマンドがユーザ４により発行された場合には、視点移動部１０６により連続的に移動される視点位置に応じた遷移映像を生成する。例えば、映像生成部１０８は、生成対象の遷移映像のうち、作業空間Ａ内の空間観測視点、俯瞰マップ、および、作業空間Ｂ内の空間観測視点の順に移動される視点位置に応じた映像に関しては、作業空間Ａからのズームアウト、作業空間Ａから作業空間Ｂへのスクロール、および、作業空間Ｂのズームインの順で視点移動するアニメーションとして生成してもよい。図１９は、このアニメーションの一フレームの表示例８４を示した説明図である。図１９では、例えば、作業空間「ＡＢＣ　Ｂｕｉｌｄｉｎｇ」から作業空間「ＸＹＺ　Ｈａｌｌ」へと視点が移動される際のアニメーションの例を示している。
　［２－４－２．効果］
　以上、説明したように、本応用例によれば、異なる作業空間に位置する移動体２の移動体視点間を連続的につなぐ遷移映像を生成し、そして、生成した遷移映像を、ユーザ４が視認する表示領域に表示させる。これにより、異なる作業空間間で視点が移行される場合であっても、視点の移行に伴う位置関係の変化をユーザ４は容易に理解することができる。
　［２－４－３．変形例］
　なお、上記の説明では、複数の作業空間が定められている場合において、俯瞰マップを含む遷移映像を生成する例について説明したが、本応用例は、かかる例に限定されない。例えば、ユーザ４が現在ｊａｃｋ‐ｉｎしている移動体２ａと、新たなｊａｃｋ‐ｉｎ対象の移動体２ｂとが所定の位置関係になっている場合には、サーバ１０は、上述した遷移映像の生成および表示制御を行うことが可能である。ここで、所定の位置関係は、例えば、移動体２ａと移動体２ｂとが所定の閾値以上離れている場合であってもよいし、または、移動体２ａと移動体２ｂとの間に遮蔽物（例えば壁）が存在する場合であってもよい。
＜＜３．ハードウェア構成＞＞
　次に、本実施形態によるサーバ１０のハードウェア構成について、図２０を参照して説明する。図２０に示したように、サーバ１０は、ＣＰＵ１５０、ＲＯＭ１５２、ＲＡＭ１５４、内部バス１５６、インターフェース１５８、ストレージ装置１６０、および通信装置１６２を備える。
　ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１０内の動作全般を制御する。また、ＣＰＵ１５０は、サーバ１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
　ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
　ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　内部バス１５６は、ＣＰＵバスなどから構成される。この内部バス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。
　インターフェース１５８は、ストレージ装置１６０および通信装置１６２を、内部バス１５６と接続する。例えばストレージ装置１６０は、このインターフェース１５８および内部バス１５６を介して、ＣＰＵ１５０との間でデータをやり取りする。
　ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
　通信装置１６２は、例えば公衆網やインターネットなどの通信網に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。
＜＜４．変形例＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　＜４－１．変形例１＞
　例えば、上述した実施形態では、移動体２が人である場合、移動体２は（図２に示したような）ヘッドセット２０を装着する例について説明したが、かかる例に限定されず、全周囲カメラを装着することも可能である。
　なお、公知の全周囲カメラを移動体２が頭部に装着した場合には、移動体２の全周囲の移動体映像を生成することは可能である。しかしながら、ステレオ立体視を実現することができない。
　ところで、移動体映像を用いた作業支援等の応用を考慮すると、移動体２の前方方向が立体視可能であれば有用である。そこで、変形例として、移動体２は、例えば図２１に示すような全周囲カメラ２４を頭部の左右（耳の上）に装着してもよい。この全周囲カメラ２４は、例えば１８０°超の視野角を有するカメラ、および、ポジショントラッキング用のマーカーを備える。この全周囲カメラ２４が頭部の左右に装着されると、例えば、図２２に示したように、移動体２の前方方向の撮像領域８６、および、移動体２の左右方向および後方方向の撮像領域８８が撮像可能である。そして、図２２に示したように、前方方向の撮像領域８６に関しては、二個（左右）の全周囲カメラ２４により撮像されるので、両眼立体視が可能となる。
　この変形例によれば、移動体２の前方方向が立体視可能な移動体映像を、ユーザ４に視認させることができる。従って、移動体映像を用いた作業支援等の場面で有用である。なお、立体視が不要な場合には、頭部の片側に装着される全周囲カメラ２４の撮像範囲を制限すればよく、そして、この場合であっても、移動体２の全周囲映像を取得することができる。
　＜４－２．変形例２＞
　また、本実施形態による情報処理システムは、モーションキャプチャセンサ３２を有しなくてもよい。この理由は、複数のデプスカメラ３０によるセンシングに基づいて構成されるポイントクラウドと、各移動体２に装着されるカメラ２００により撮像される映像とに基づいて、サーバ１０は、作業空間における各移動体２の移動体視点の方向（移動体２の移動方向）を特定することができるからである。
　また、別の変形例として、複数のプロジェクタ３６および複数のスクリーン３８が設置される代わりに、サーバ１０と通信可能なＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）をユーザ４が装着してもよい。ここで、ＨＭＤは、本開示における表示領域の一例である。この変形例によれば、サーバ１０から送信される映像をユーザ４はＨＭＤにより視認することができる。
　さらに、この変形例では、ユーザ４の頭や眼などの動きは、ＨＭＤによりセンシングされてもよい。そして、この場合、モーションキャプチャセンサ３４も設置されなくてもよい。
　＜４－３．変形例３＞
　［４－３－１．自走式デプスカメラ９０］
　また、上述した実施形態では、作業空間に設置された複数のデプスカメラ３０により作業空間の三次元情報がセンシングされる例について説明したが、かかる例に限定されない。例えば、図２３に示したような、作業空間内を自由に移動可能な自走式デプスカメラ９０により、作業空間の三次元情報がセンシングされてもよい。例えば、自走式デプスカメラ９０は、デプスカメラが取り付けられた自動運転車であってもよい。
　［４－３－２．装着型デプスカメラ９２］
　または、図２４に示したような、移動体２が装着する装着型デプスカメラ９２により、作業空間の三次元情報がセンシングされてもよい。この変形例では、作業空間内を各移動体２が移動するにつれて、サーバ１０は、ポイントクラウドを逐次的に構成する。なお、この変形例では、移動体２の移動体視点から三次元情報を取得可能であるので、移動体視点は、空間観測視点にもなる。従って、この変形例によれば、サーバ１０は、空間観測映像のような映像として移動体映像を生成することができる。
　または、（設置式の）デプスカメラ３０、自走式デプスカメラ９０、または、装着型デプスカメラ９２のうちいずれか二以上が併用されることにより、作業空間の三次元情報がセンシングされることも可能である。
　＜４－４．変形例４＞
　［４－４－１．制限例１］
　また、別の変形例として、所定の条件を満たす場合には、サーバ１０は、ｊａｃｋ‐ｏｕｔまたはｊａｃｋ‐ｉｎの実行を制限することも可能である。ここで、所定の条件は、例えば、空間観測映像を生成する際に、該当の作業空間に関する三次元情報が十分取得できていない場合である。なお、この場合、例えば“ｊａｃｋ‐ｏｕｔ”コマンドまたは“ｊａｃｋ‐ｉｎ”コマンドが発行された際などに、サーバ１０は、エラーの表示や音声を出力させてもよい。
　または、サーバ１０は、エラーを出力させながら、かつ、三次元情報が十分取得されている位置まで空間観測視点を移動させてもよい。そして、サーバ１０は、移動後の空間観測視点に基づいて空間観測映像を生成することが可能である。
　または、上述した変形例３による自走式デプスカメラ９０または装着型デプスカメラ９２が使用される場合には、サーバ１０は、自走式デプスカメラ９０、または、装着型デプスカメラ９２を装着している移動体２を、三次元情報が十分取得されるように移動させてもよい。そして、サーバ１０は、新たに取得された三次元情報に基づいて空間観測映像を生成することが可能である。
　または、作業空間において何らかの遮蔽物が存在する場合には、サーバ１０は、遮蔽物を何らかのロボットに移動させてもよい。
　［４－４－２．制限例２］
　または、上記の所定の条件は、該当の移動体２または管理者がｊａｃｋ‐ｏｕｔまたはｊａｃｋ‐ｉｎを禁止している場合であってもよい。この条件によれば、例えば、移動体２が人である場合に、移動体２は、プライバシーの観点からｊａｃｋ‐ｉｎを一部制限することが可能となる。
　［４－４－３．制限例３］
　または、上記の所定の条件は、該当の移動体２が例えば頭などを大きく動かしている場合であってもよい。この条件によれば、該当の移動体２からｊａｃｋ‐ｏｕｔする際、または、該当の移動体２にｊａｃｋ‐ｉｎする際にユーザ４が感じるモーションシックネスが大きくなると推定される場合に、ｊａｃｋ‐ｏｕｔおよびｊａｃｋ‐ｉｎが実行されないように制限することができる。
　なお、この場合、例えば“ｊａｃｋ‐ｏｕｔ”コマンドまたは“ｊａｃｋ‐ｉｎ”コマンドがユーザ４により発行された際には、サーバ１０は、ｊａｃｋ‐ｏｕｔまたはｊａｃｋ‐ｉｎの実行を一時保留し、そして、該当の移動体２の頭などの動きが収まった際にｊａｃｋ‐ｏｕｔまたはｊａｃｋ‐ｉｎを実行することも可能である。
　＜４－５．変形例５＞
　また、上述した実施形態では、本開示における情報処理装置がサーバ１０である例について説明したが、かかる例に限定されない。例えば、当該情報処理装置は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット端末、ＨＭＤ、ゲーム機などであってもよい。
　また、上述した実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した実施形態によるサーバ１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、
を備え、
　前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、情報処理装置。
（２）
　前記情報処理装置は、前記第１の空間の三次元情報を取得する空間情報取得部と、
　前記空間情報取得部により取得された前記第１の空間の三次元情報に基づいて、前記第１の視点と前記第２の視点との間で視点位置を連続的に移動させる視点移動部と、をさらに備え、
　前記表示制御部は、前記視点移動部による視点位置の移動に基づいて前記第１の遷移映像を生成する、前記（１）に記載の情報処理装置。
（３）
　前記情報処理装置は、前記ユーザによる、前記第１の視点から前記第２の視点へ移動するための第１の操作の検出情報を取得する操作情報取得部をさらに備え、
　前記第１の操作が検出された際に、前記表示制御部は、前記第１の遷移映像を生成し、かつ、生成した前記第１の遷移映像を前記表示領域に表示させる、前記（２）に記載の情報処理装置。
（４）
　前記視点移動部は、前記第１の視点が始点であり、かつ、前記第２の視点が終点である、視点位置の移動経路を決定し、決定した移動経路に沿って視点位置を連続的に移動させる、前記（３）に記載の情報処理装置。
（５）
　前記視点移動部は、さらに、視点位置の移動に応じて視点の方向が連続的に変化するように、前記移動経路における視点の方向を決定する、前記（４）に記載の情報処理装置。
（６）
　前記視点移動部は、前記移動経路の始点における視点の方向を前記第１の視点の方向と一致させ、かつ、前記移動経路の終点における視点の方向を前記第２の視点の方向と一致させる、前記（５）に記載の情報処理装置。
（７）
　前記視点移動部は、さらに、視点位置の移動に応じて視点の画角が連続的に変化するように、前記移動経路における視点の画角を決定する、前記（５）または（６）に記載の情報処理装置。
（８）
　前記視点移動部は、現在の視点位置と前記移動経路における終点の位置との位置関係に基づいて、前記視点位置の移動速度を変化させる、前記（４）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記視点移動部は、現在の視点位置と前記移動経路における終点の位置との間の距離が短いほど、前記視点位置の移動速度を遅くする、前記（８）に記載の情報処理装置。
（１０）
　前記視点移動部は、経過時間と視点位置の移動速度との関係が非線形になるように、前記視点位置の移動速度を決定する、前記（８）または（９）に記載の情報処理装置。
（１１）
　前記第２の視点は、前記第１の空間において前記第１の移動体の後方、かつ上方に位置しており、
　前記第２の視点は、前記第１の移動体を向いている、前記（４）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記第１の視点から前記第２の視点へ移動した後に、前記操作情報取得部は、第２の移動体を前記ユーザが選択する第２の操作の検出情報をさらに取得し、
　前記表示制御部は、前記第２の視点と、前記第２の操作により選択された第２の移動体に装着されている第２の撮像部の視点である第３の視点との間で連続的に移動される視点位置に応じた第２の遷移映像を生成し、かつ、生成した第２の遷移映像を前記表示領域に表示させる、前記（４）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記第２の移動体は、前記第１の空間に位置し、
　前記第２の操作は、一以上の前記第２の移動体のうちのいずれかを前記ユーザが選択する操作である、前記（１２）に記載の情報処理装置。
（１４）
　前記視点移動部は、さらに、前記第２の視点が始点であり、かつ、前記第３の視点が終点である、視点位置の第２の移動経路を決定し、かつ、決定した第２の移動経路に沿って視点位置を連続的に移動させ、
　前記表示制御部は、前記第２の移動経路に沿った視点位置の移動に基づいて前記第２の遷移映像を生成する、前記（１２）または（１３）に記載の情報処理装置。
（１５）
　前記視点移動部は、さらに、前記第２の移動経路に沿った視点位置の移動に応じて視点の方向が連続的に変化するように、前記第２の移動経路における視点の方向を決定する、前記（１４）に記載の情報処理装置。
（１６）
　前記視点移動部は、前記第２の移動経路の始点における視点の方向を、前記第２の操作が検出された際の前記ユーザの方向と一致させ、かつ、前記第２の移動経路の終点における視点の方向を前記第３の視点の方向と一致させる、前記（１５）に記載の情報処理装置。
（１７）
　前記第２の操作により選択された第２の移動体が第２の空間に位置する場合には、前記表示制御部は、前記第２の視点から、前記第２の空間を撮像するための第４の視点への視点位置の連続的な移動に基づいた空間移動映像を前記表示領域に表示させ、
　前記空間移動映像の終了後に、前記表示制御部は、前記第４の視点と、前記第２の操作により選択された第２の移動体に装着されている第２の撮像部の視点である第３の視点との間で連続的に移動される視点位置に応じた第２の遷移映像を前記表示領域に表示させる、前記（１２）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記空間移動映像は、前記第１の空間と前記第２の空間との位置関係を示す映像である、前記（１７）に記載の情報処理装置。
（１９）
　第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させることと、
　前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像をプロセッサが生成することと、
を含む、情報処理方法。
（２０）
　コンピュータを、
　第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、
として機能させるための、プログラムであって、
　前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、プログラム。
２　移動体
４　ユーザ
１０　サーバ
２０　ヘッドセット
２４　全周囲カメラ
３０　デプスカメラ
３２、３４　モーションキャプチャセンサ
３６　プロジェクタ
３８　スクリーン
９０　自走式デプスカメラ
９２　装着型デプスカメラ
１００　制御部
１０２　空間情報取得部
１０４　操作情報取得部
１０６　視点移動部
１０８　映像生成部
１１０　出力制御部
１２０　通信部
１２２　記憶部

Claims (20)

  1. 　第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、
    を備え、
    　前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、情報処理装置。
  2. 　前記情報処理装置は、前記第１の空間の三次元情報を取得する空間情報取得部と、
    　前記空間情報取得部により取得された前記第１の空間の三次元情報に基づいて、前記第１の視点と前記第２の視点との間で視点位置を連続的に移動させる視点移動部と、をさらに備え、
    　前記表示制御部は、前記視点移動部による視点位置の移動に基づいて前記第１の遷移映像を生成する、請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、前記ユーザによる、前記第１の視点から前記第２の視点へ移動するための第１の操作の検出情報を取得する操作情報取得部をさらに備え、
    　前記第１の操作が検出された際に、前記表示制御部は、前記第１の遷移映像を生成し、かつ、生成した前記第１の遷移映像を前記表示領域に表示させる、請求項２に記載の情報処理装置。
  4. 　前記視点移動部は、前記第１の視点が始点であり、かつ、前記第２の視点が終点である、視点位置の移動経路を決定し、決定した移動経路に沿って視点位置を連続的に移動させる、請求項３に記載の情報処理装置。
  5. 　前記視点移動部は、さらに、視点位置の移動に応じて視点の方向が連続的に変化するように、前記移動経路における視点の方向を決定する、請求項４に記載の情報処理装置。
  6. 　前記視点移動部は、前記移動経路の始点における視点の方向を前記第１の視点の方向と一致させ、かつ、前記移動経路の終点における視点の方向を前記第２の視点の方向と一致させる、請求項５に記載の情報処理装置。
  7. 　前記視点移動部は、さらに、視点位置の移動に応じて視点の画角が連続的に変化するように、前記移動経路における視点の画角を決定する、請求項５に記載の情報処理装置。
  8. 　前記視点移動部は、現在の視点位置と前記移動経路における終点の位置との位置関係に基づいて、前記視点位置の移動速度を変化させる、請求項４に記載の情報処理装置。
  9. 　前記視点移動部は、現在の視点位置と前記移動経路における終点の位置との間の距離が短いほど、前記視点位置の移動速度を遅くする、請求項８に記載の情報処理装置。
  10. 　前記視点移動部は、経過時間と視点位置の移動速度との関係が非線形になるように、前記視点位置の移動速度を決定する、請求項８に記載の情報処理装置。
  11. 　前記第２の視点は、前記第１の空間において前記第１の移動体の後方、かつ上方に位置しており、
    　前記第２の視点は、前記第１の移動体を向いている、請求項４に記載の情報処理装置。
  12. 　前記第１の視点から前記第２の視点へ移動した後に、前記操作情報取得部は、第２の移動体を前記ユーザが選択する第２の操作の検出情報をさらに取得し、
    　前記表示制御部は、前記第２の視点と、前記第２の操作により選択された第２の移動体に装着されている第２の撮像部の視点である第３の視点との間で連続的に移動される視点位置に応じた第２の遷移映像を生成し、かつ、生成した第２の遷移映像を前記表示領域に表示させる、請求項４に記載の情報処理装置。
  13. 　前記第２の移動体は、前記第１の空間に位置し、
    　前記第２の操作は、一以上の前記第２の移動体のうちのいずれかを前記ユーザが選択する操作である、請求項１２に記載の情報処理装置。
  14. 　前記視点移動部は、さらに、前記第２の視点が始点であり、かつ、前記第３の視点が終点である、視点位置の第２の移動経路を決定し、かつ、決定した第２の移動経路に沿って視点位置を連続的に移動させ、
    　前記表示制御部は、前記第２の移動経路に沿った視点位置の移動に基づいて前記第２の遷移映像を生成する、請求項１２に記載の情報処理装置。
  15. 　前記視点移動部は、さらに、前記第２の移動経路に沿った視点位置の移動に応じて視点の方向が連続的に変化するように、前記第２の移動経路における視点の方向を決定する、請求項１４に記載の情報処理装置。
  16. 　前記視点移動部は、前記第２の移動経路の始点における視点の方向を、前記第２の操作が検出された際の前記ユーザの方向と一致させ、かつ、前記第２の移動経路の終点における視点の方向を前記第３の視点の方向と一致させる、請求項１５に記載の情報処理装置。
  17. 　前記第２の操作により選択された第２の移動体が第２の空間に位置する場合には、前記表示制御部は、前記第２の視点から、前記第２の空間を撮像するための第４の視点への視点位置の連続的な移動に基づいた空間移動映像を前記表示領域に表示させ、
    　前記空間移動映像の終了後に、前記表示制御部は、前記第４の視点と、前記第２の操作により選択された第２の移動体に装着されている第２の撮像部の視点である第３の視点との間で連続的に移動される視点位置に応じた第２の遷移映像を前記表示領域に表示させる、請求項１２に記載の情報処理装置。
  18. 　前記空間移動映像は、前記第１の空間と前記第２の空間との位置関係を示す映像である、請求項１７に記載の情報処理装置。
  19. 　第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させることと、
    　前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像をプロセッサが生成することと、
    を含む、情報処理方法。
  20. 　コンピュータを、
    　第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、
    として機能させるための、プログラムであって、
    　前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、プログラム。
PCT/JP2016/070585 2015-09-25 2016-07-12 情報処理装置、情報処理方法、およびプログラム Ceased WO2017051592A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020187007343A KR20180059765A (ko) 2015-09-25 2016-07-12 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2017541457A JPWO2017051592A1 (ja) 2015-09-25 2016-07-12 情報処理装置、情報処理方法、およびプログラム
EP16848382.4A EP3355576A4 (en) 2015-09-25 2016-07-12 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
CN201680053720.1A CN108028910A (zh) 2015-09-25 2016-07-12 信息处理设备、信息处理方法与程序
US15/755,159 US10600253B2 (en) 2015-09-25 2016-07-12 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562232621P 2015-09-25 2015-09-25
US62/232,621 2015-09-25

Publications (1)

Publication Number Publication Date
WO2017051592A1 true WO2017051592A1 (ja) 2017-03-30

Family

ID=58385975

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070585 Ceased WO2017051592A1 (ja) 2015-09-25 2016-07-12 情報処理装置、情報処理方法、およびプログラム

Country Status (6)

Country Link
US (1) US10600253B2 (ja)
EP (1) EP3355576A4 (ja)
JP (1) JPWO2017051592A1 (ja)
KR (1) KR20180059765A (ja)
CN (1) CN108028910A (ja)
WO (1) WO2017051592A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020036121A (ja) * 2018-08-28 2020-03-05 株式会社Ｎｔｔドコモ 情報処理装置及び投影装置
JP2021508130A (ja) * 2017-12-05 2021-02-25 イブラヒム アリ ムサラム メディアコンテンツの項目を共有するための方法及びシステム
WO2021176947A1 (ja) * 2020-03-06 2021-09-10 ソニーグループ株式会社 情報処理装置、及び情報処理方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750161B2 (en) * 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
CN110114195B (zh) * 2016-11-07 2022-05-17 Ｓｏｉｎｎ株式会社 动作转移装置、动作转移方法和存储动作转移程序的非暂时性计算机可读介质
US11039084B2 (en) * 2017-11-14 2021-06-15 VergeSense, Inc. Method for commissioning a network of optical sensors across a floor space
EP3752877A4 (en) 2018-02-17 2021-11-03 Dreamvu, Inc. SYSTEM AND METHOD FOR CAPTURING OMNISTEREO VIDEOS USING MULTIPLE SENSORS
JP7401453B2 (ja) 2018-04-05 2023-12-19 ヴィド スケール インコーポレイテッド 全方位ビデオに対する視点メタデータ
WO2019231178A1 (ko) * 2018-06-01 2019-12-05 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US10802585B2 (en) 2018-07-12 2020-10-13 Apple Inc. Electronic devices with display operation based on eye activity
CN109901371B (zh) * 2019-03-01 2021-09-03 悠游笙活(北京)网络科技有限公司 一种全息成像系统和方法
CN112330556B (zh) * 2020-11-03 2022-04-19 燕山大学 一种基于有理贝塞尔曲面的球幕投影几何校正方法
WO2025178476A1 (ko) * 2024-02-23 2025-08-28 삼성전자 주식회사 헤드 마운팅 장치 및 그의 동작 방법과, 비 일시적 저장 매체

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03175886A (ja) * 1989-12-05 1991-07-30 Sony Corp 画像処理装置
JP2006293604A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP2012015788A (ja) * 2010-06-30 2012-01-19 Canon Inc 映像受信装置、及びその制御方法
JP2012025327A (ja) * 2010-07-27 2012-02-09 Fujitsu Ten Ltd 画像表示システム、画像処理装置及び画像表示方法
JP2012109719A (ja) * 2010-11-16 2012-06-07 Canon Inc 映像処理装置及びその制御方法
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
JP2014233007A (ja) * 2013-05-29 2014-12-11 カシオ計算機株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3928229B2 (ja) * 1997-11-28 2007-06-13 ソニー株式会社 表示制御装置および表示制御方法、並びに記録媒体
US7312766B1 (en) * 2000-09-22 2007-12-25 Canadian Space Agency Method and system for time/motion compensation for head mounted displays
JP3495011B2 (ja) * 2000-11-21 2004-02-09 株式会社ソニー・コンピュータエンタテインメント 情報処理方法及びプログラム実行装置、コンピュータに実行させるための情報処理プログラム及びコンピュータに実行させるための情報処理プログラムを記録した記録媒体
JP5109221B2 (ja) * 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
JP4140518B2 (ja) * 2003-12-15 2008-08-27 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7872665B2 (en) * 2005-05-13 2011-01-18 Micoy Corporation Image capture and processing
US20080096654A1 (en) * 2006-10-20 2008-04-24 Sony Computer Entertainment America Inc. Game control using three-dimensional motions of controller
US20080096657A1 (en) * 2006-10-20 2008-04-24 Sony Computer Entertainment America Inc. Method for aiming and shooting using motion sensing controller
JP5436772B2 (ja) * 2007-12-14 2014-03-05 株式会社バンダイナムコゲームス プログラム及びゲーム装置
JP5436773B2 (ja) * 2007-12-14 2014-03-05 株式会社バンダイナムコゲームス プログラム及びゲーム装置
EP2150057A3 (en) 2008-07-29 2013-12-11 Gerald Curry Camera-based tracking and position determination for sporting events
JP5491217B2 (ja) * 2010-01-27 2014-05-14 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、ゲームシステム
US9396385B2 (en) * 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
JP5597837B2 (ja) * 2010-09-08 2014-10-01 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、及び、画像生成装置
JP2012128737A (ja) * 2010-12-16 2012-07-05 Samsung Yokohama Research Institute Co Ltd ３ｄ映像生成システム
US9256281B2 (en) * 2011-01-28 2016-02-09 Empire Technology Development Llc Remote movement guidance
WO2012154938A1 (en) * 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
JP5790187B2 (ja) * 2011-06-16 2015-10-07 ソニー株式会社 表示装置
US8982117B2 (en) * 2011-06-22 2015-03-17 Samsung Display Co., Ltd. Display apparatus and method of displaying three-dimensional image using same
JP5996169B2 (ja) * 2011-07-27 2016-09-21 オリンパス株式会社 画像処理システム、情報処理装置及びプログラム
US9116555B2 (en) * 2011-11-23 2015-08-25 Sony Computer Entertainment America Llc Gaming controller
US8870654B2 (en) * 2011-11-23 2014-10-28 Sony Computer Entertainment America Llc Gaming controller
US9008487B2 (en) 2011-12-06 2015-04-14 Alcatel Lucent Spatial bookmarking
JP5425881B2 (ja) * 2011-12-22 2014-02-26 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、及びプログラム
KR20130107584A (ko) * 2012-03-22 2013-10-02 삼성디스플레이 주식회사 3차원 영상 표시 방법 및 이를 수행하기 위한 표시 장치
US9088787B1 (en) * 2012-08-13 2015-07-21 Lockheed Martin Corporation System, method and computer software product for providing visual remote assistance through computing systems
JP6094190B2 (ja) * 2012-12-10 2017-03-15 ソニー株式会社 情報処理装置および記録媒体
JP5892060B2 (ja) * 2012-12-25 2016-03-23 カシオ計算機株式会社 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP5853975B2 (ja) * 2013-03-15 2016-02-09 ソニー株式会社 画像表示装置及び画像表示方法
JP5597762B1 (ja) * 2013-12-27 2014-10-01 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
EP3109744B1 (en) 2014-02-17 2020-09-09 Sony Corporation Information processing device, information processing method and program
CN104522921A (zh) * 2014-12-11 2015-04-22 佛山市威格特电气设备有限公司 增强现实智能安全帽

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03175886A (ja) * 1989-12-05 1991-07-30 Sony Corp 画像処理装置
JP2006293604A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP2012015788A (ja) * 2010-06-30 2012-01-19 Canon Inc 映像受信装置、及びその制御方法
JP2012025327A (ja) * 2010-07-27 2012-02-09 Fujitsu Ten Ltd 画像表示システム、画像処理装置及び画像表示方法
JP2012109719A (ja) * 2010-11-16 2012-06-07 Canon Inc 映像処理装置及びその制御方法
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
JP2014233007A (ja) * 2013-05-29 2014-12-11 カシオ計算機株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3355576A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021508130A (ja) * 2017-12-05 2021-02-25 イブラヒム アリ ムサラム メディアコンテンツの項目を共有するための方法及びシステム
JP7080336B2 (ja) 2017-12-05 2022-06-03 イブラヒム アリ ムサラム メディアコンテンツの項目を共有するための方法及びシステム
JP2020036121A (ja) * 2018-08-28 2020-03-05 株式会社Ｎｔｔドコモ 情報処理装置及び投影装置
JP7246146B2 (ja) 2018-08-28 2023-03-27 株式会社Ｎｔｔドコモ 情報処理装置及び映像投影システム
WO2021176947A1 (ja) * 2020-03-06 2021-09-10 ソニーグループ株式会社 情報処理装置、及び情報処理方法

Also Published As

Publication number Publication date
JPWO2017051592A1 (ja) 2018-08-16
US20180247463A1 (en) 2018-08-30
EP3355576A1 (en) 2018-08-01
EP3355576A4 (en) 2019-05-01
KR20180059765A (ko) 2018-06-05
CN108028910A (zh) 2018-05-11
US10600253B2 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
WO2017051592A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7247260B2 (ja) データ処理プログラム、データ処理方法、および、データ処理装置
JP6329343B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
JP5966510B2 (ja) 情報処理システム
TWI610097B (zh) 電子系統、可攜式顯示裝置及導引裝置
US10096166B2 (en) Apparatus and method for selectively displaying an operational environment
CN120255701A (zh) 用于改善用户环境感知的方法
CN105404441B (zh) 可视化相同环境的表面数据和全景图像数据的方法
CN103279187B (zh) 一种用于构建多场景虚拟全景空间的方法及智能终端
US20190377474A1 (en) Systems and methods for a mixed reality user interface
US12141339B2 (en) Image generation apparatus and information presentation method
JP7400882B2 (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
JP7446754B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7059934B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2013183420A (ja) カメラ制御装置及びそのコンピュータプログラム
JP2025005681A (ja) 画像処理装置、画像処理方法およびプログラム
CN205318020U (zh) 一种头戴显示设备
TWI764366B (zh) 基於光通信裝置的互動方法和系統
JP6164780B2 (ja) 動画像処理装置、動画像処理方法、動画像処理プログラム及び動画像処理表示システム。
JP2018007180A (ja) 映像表示装置、映像表示方法及び映像表示プログラム
US12477040B2 (en) Systems, methods, and media for controlling shared extended reality presentations
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
JP2024163628A (ja) 情報処理システム
WO2022269887A1 (ja) ウェアラブル端末装置、プログラムおよび画像処理方法
JP7719133B2 (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16848382

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15755159

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017541457

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20187007343

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016848382

Country of ref document: EP