WO2018216536A1 - 映像生成装置及び映像生成方法 - Google Patents

映像生成装置及び映像生成方法 Download PDF

Info

Publication number
WO2018216536A1
WO2018216536A1 PCT/JP2018/018646 JP2018018646W WO2018216536A1 WO 2018216536 A1 WO2018216536 A1 WO 2018216536A1 JP 2018018646 W JP2018018646 W JP 2018018646W WO 2018216536 A1 WO2018216536 A1 WO 2018216536A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
image
camera
virtual
mesh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/018646
Other languages
English (en)
French (fr)
Inventor
浩二 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Priority to CN201880033183.3A priority Critical patent/CN110998672B/zh
Priority to EP18805441.5A priority patent/EP3633626A4/en
Priority to JP2019519582A priority patent/JPWO2018216536A1/ja
Publication of WO2018216536A1 publication Critical patent/WO2018216536A1/ja
Priority to US16/690,904 priority patent/US11415991B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/20—Drawing from basic elements
    • G06T11/26—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a video generation device and a video generation method. More specifically, the present invention relates to a video generation device and a video generation method for generating a video that displays a situation around a water moving body.
  • Patent Document 1 This type of video generation apparatus is disclosed in Patent Document 1, for example.
  • the video generation apparatus disclosed in Patent Document 1 includes a camera, a shooting data reception unit, a position acquisition unit, a video generation unit, a target display object generation unit, and a display. It is configured to perform referencing.
  • a captured data receiving unit receives stream image data captured by a ship camera.
  • the position acquisition unit acquires the position of a target (such as another ship) around the ship.
  • the video generation unit generates a video to be displayed on the display based on the image of the stream image data.
  • the video corresponds to the position and field of view of the camera.
  • the target display object generation unit generates a target display object indicating the target at a point on the video.
  • the display is configured to display the video and the target display object arranged at a point on the video.
  • the video generation unit generates the video by projecting the video onto a three-dimensional virtual space in which each point corresponds to a point on the video and indicates the environment around the water moving body. Further, the target display object generation unit generates the target display object based on the position information of the target and each of the points in the three-dimensional virtual space.
  • lens distortion generally occurs in video data shot by a camera.
  • a wide-angle lens to obtain a wide-field photographed image, but in that case, the distortion of the image becomes strong.
  • the image becomes unnatural, and the user who sees the image may feel uncomfortable.
  • Patent Document 1 there is still room for improvement in this respect.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to efficiently generate a high-quality composite image with less visual discomfort and realize an excellent augmented realistic display. is there.
  • the video generation device includes a captured video input unit, a position acquisition unit, a posture acquisition unit, an additional display information acquisition unit, and a composite video generation unit.
  • the photographed image input unit inputs a photographed image photographed by a photographing device installed on the water moving body.
  • the position acquisition unit acquires position information indicating a position of the water moving body.
  • the posture acquisition unit acquires posture information indicating a posture of the water moving body.
  • the additional display information acquisition unit acquires additional display information including information indicating positions of one or a plurality of points.
  • the composite video generation unit arranges a virtual camera in a three-dimensional virtual space based on the position information and the posture information, and at least a part of the additional display information in the three-dimensional virtual space is a three-dimensional virtual reality object. And a virtual projection screen.
  • the composite image generation unit generates a mesh that divides the projection screen and is distorted in a direction opposite to a lens distortion generated in the captured image.
  • the composite video generation unit converts the vertex of the virtual reality object and the vertex of the mesh into a position on a two-dimensional virtual screen that is a perspective projection plane by a vertex shader based on the position and orientation of the virtual camera. To do.
  • the composite video generation unit arranges a video piece obtained by dividing the captured video on the corresponding mesh by a pixel shader based on the position of each vertex on the virtual screen. As described above, the composite video generation unit generates a composite video in which a figure in which the virtual reality object is drawn is combined with the captured video.
  • a virtual realistic composite image can be obtained by superimposing a figure representing the position of the additional display information and the like on the captured image.
  • it is synthesized with the three-dimensional computer graphics in a state where the lens distortion of the photographed image is corrected, it is possible to reduce a sense of incongruity at the time of synthesis.
  • a mesh distorted in the opposite direction to the lens distortion is placed in a three-dimensional virtual space, the vertex of the mesh is converted to a position on the virtual screen, and a video piece obtained by dividing the image of the photographing device is placed on the corresponding mesh. By doing so, lens distortion can be corrected appropriately.
  • the perspective projection considering the correction of the lens distortion is performed by the vertex shader at the vertex coordinate data stage, and then the raster data of the photographed video is arranged by the pixel shader. Therefore, the raster data is deformed once. Just do it. Therefore, as compared with the case where the process of deforming the raster data of the captured video is individually performed by correcting the lens distortion and perspective projection, it is possible to prevent the image quality of the video from being deteriorated and to greatly speed up the processing. .
  • the orientation of the virtual camera in the three-dimensional virtual space is changed according to the change in the posture information, and the virtual screen is moved so as to be reflected in the virtual camera.
  • the virtual camera and the projection screen are moved accordingly, thereby displaying 3D computer graphics with simple processing. It can be updated to match the changes in the captured video.
  • the virtual camera and the projection screen are linked to each other, for example, it is possible to easily perform processing so that a captured video always appears in a composite video.
  • the video generation device is configured to be able to change at least one of the direction and amount of distortion of the mesh to be created.
  • the mesh is preferably arranged in a curved shape in the three-dimensional virtual space.
  • the additional display information includes other water vehicles, landmarks, planned routes, route trajectories, waypoints, stopovers, arrival points, sea areas where fish schools are detected, dangerous sea areas, voyages
  • at least one of a prohibited area, a buoy, and a virtual buoy is included.
  • generation apparatus it is preferable to change the color of the said figure displayed corresponding to the said additional display information according to the distance between the point which the said additional display information shows, and the said water moving body. .
  • the user can appropriately understand the situation by displaying the virtual reality object in a more conspicuous color than the others.
  • the video generation device can output the composite video to at least one of a display, a portable computer, and a head mounted display installed on the water moving body.
  • the following video generation method is provided. That is, a photographed image photographed by a photographing device installed on the water moving body is input. Position information indicating the position of the surface moving body is acquired. Posture information indicating the posture of the surface moving body is acquired. Additional display information including information indicating the position of one or more points is acquired. Based on the position information and the posture information, a virtual camera is arranged in a three-dimensional virtual space, and at least a part of the additional display information is arranged as a three-dimensional virtual reality object in the three-dimensional virtual space and a virtual projection Arrange the screen. A mesh that divides the projection screen and is distorted in a direction opposite to the lens distortion generated in the captured image is created.
  • the vertices of the virtual reality object and the vertices of the mesh are converted into positions on a two-dimensional virtual screen as a perspective projection plane by a vertex shader.
  • the image piece obtained by dividing the photographed image is arranged on the corresponding mesh by a pixel shader, thereby synthesizing the graphic drawing the virtual reality object with the photographed image.
  • a virtual realistic composite image can be obtained by superimposing a figure representing the position of the additional display information and the like on the captured image.
  • it is synthesized with the three-dimensional computer graphics in a state where the lens distortion of the photographed image is corrected, it is possible to reduce a sense of incongruity at the time of synthesis.
  • lens distortion can be corrected appropriately.
  • the perspective projection considering the correction of the lens distortion is performed by the vertex shader at the vertex coordinate data stage, and then the raster data of the photographed video is arranged by the pixel shader. Therefore, the raster data is deformed once. Just do it. Therefore, as compared with the case where the process of deforming the raster data of the captured video is individually performed by correcting the lens distortion and perspective projection, it is possible to prevent the image quality of the video from being deteriorated and to greatly speed up the processing. .
  • FIG. 1 is a block diagram showing an overall configuration of a video generation apparatus according to an embodiment of the present invention.
  • the side view which shows the various apparatuses with which a ship is equipped.
  • the conceptual diagram explaining the example of the additional display information used as the display object in a video production
  • the conceptual diagram explaining the three-dimensional scene data constructed
  • the conceptual diagram which shows the case where a ship rock
  • video in the case of FIG. The figure explaining the two-dimensional mesh deformation
  • the flowchart which shows the process which a data synthetic
  • the conceptual diagram explaining the example which projects the vertex of a virtual reality object and a mesh on a virtual screen in the state of FIG.
  • FIG. 1 is a block diagram showing an overall configuration of a video generation apparatus 1 according to an embodiment of the present invention.
  • FIG. 2 is a side view showing various devices provided in the ship 4.
  • a video generation device 1 shown in FIG. 1 is mounted on a ship (water moving body) 4 as shown in FIG. 2, for example, and the state around the ship 4 is based on a video taken by a camera (photographing device) 3. It is an apparatus for generating a video that is virtually represented. The video generated by the video generation device 1 is displayed on the display 2.
  • the display 2 can be configured, for example, as a display of a ship maneuvering support apparatus that is referred to by an operator who operates the ship 4 (own ship).
  • the display 2 is not limited to the above.
  • a display of a portable computer carried by a ship operator who monitors the surrounding situation from the own ship 4, a display for passengers to appreciate in the cabin of the own ship 4, or It can be used as a display part of a head mounted display such as a wearable glass worn by a passenger.
  • the image generation device 1 is a virtual representation of a video around the ship 4 taken by the camera 3 installed on the ship 4 and additional display information (detailed later) around the ship 4 in a virtual reality. Are combined to generate a composite video that is an output video to the display 2.
  • the camera 3 is configured as a wide-angle video camera that captures the area around the ship 4.
  • the camera 3 has a live output function, and can generate moving image data (video data) as a photographing result in real time and output it to the video generation device 1.
  • the camera 3 is installed on the ship 4 so that the shooting direction is horizontally forward with respect to the hull.
  • the camera 3 is attached to the ship 4 via a rotation mechanism (not shown), and when a signal instructing pan / tilt operation is input from the image generation device 1, the shooting direction is based on the hull of the ship 4. Can be changed within a predetermined angle range. Further, since the height and posture of the ship 4 change variously due to waves or the like, the height of the camera 3 changes and the posture (photographing direction) also changes three-dimensionally.
  • the video generation device 1 of the present embodiment includes a GNSS compass (azimuth sensor, attitude sensor) 5 as an instrument, an angular velocity sensor 6, a GNSS receiver 7, an acceleration sensor 8, an AIS receiver 9, It is electrically connected to the ECDIS 10, the plotter 11, the radar device 12, the sonar 13, and the like.
  • GNSS compass azimuth sensor, attitude sensor
  • the GNSS compass 5 includes a plurality of GNSS antennas (positioning antennas) fixed to the ship 4.
  • the GNSS compass 5 calculates the positional relationship between the GNSS antennas based on radio waves received from positioning satellites.
  • the GNSS compass 5 of the present embodiment is configured to obtain the positional relationship of the GNSS antennas based on the phase difference of the carrier wave phase of the radio wave received by each GNSS antenna (this process is known, so the details) Will be omitted). Thereby, the heading of own ship 4 can be acquired with high accuracy.
  • GNSS compass 5 can acquire the attitude of the ship 4 three-dimensionally. In other words, the GNSS compass 5 can detect not only the heading (that is, the yaw angle of the ship 4) but also the roll angle and pitch angle of the ship 4.
  • the attitude information of the ship 4 acquired by the GNSS compass 5 is output to the attitude acquisition unit 16 of the video generation device 1 and other marine equipment that uses the attitude information.
  • the angular velocity sensor 6 is composed of, for example, a known vibration gyro sensor, and detects the yaw angular velocity, roll angular velocity, and pitch angular velocity of the ship 4 at a cycle shorter than the attitude detection interval (for example, 1 second) of the GNSS compass 5. Can do.
  • the attitude of the ship 4 can be acquired at a shorter time interval than when only the GNSS compass 5 is used.
  • the angular velocity sensor 6 is an alternative for acquiring attitude information when radio waves from the above-mentioned positioning satellites are blocked by obstacles such as bridges and the attitude detection by the GNSS compass 5 is impossible. Function as an effective means.
  • the GNSS receiver 7 obtains the position of the ship 4 (specifically, the latitude, longitude, and height of the GNSS antenna) based on the radio waves received from the positioning satellite by the GNSS antenna.
  • the GNSS receiver 7 outputs the obtained position information to the position acquisition unit 15 of the video generation device 1 or other marine equipment that uses the position information.
  • the acceleration sensor 8 is configured as, for example, a known capacitance detection type sensor, and has a cycle shorter than the position detection interval (for example, 1 second) of the GNSS receiver 7 and the yaw axis, roll axis, and pitch of the ship 4.
  • the acceleration on the axis can be detected.
  • the position of the ship 4 can be determined at a shorter time interval than when only the GNSS receiver 7 is used. Can be acquired.
  • the acceleration sensor 8 functions as an alternative means for acquiring position information when the radio wave from the positioning satellite described above is blocked and position detection by the GNSS receiver 7 is impossible.
  • the angular velocity sensor 6, the GNSS receiver 7, and the acceleration sensor 8 are built in the GNSS compass 5.
  • all or part of the angular velocity sensor 6, the GNSS receiver 7, and the acceleration sensor 8 may be provided independently of the GNSS compass 5.
  • the AIS receiver 9 receives AIS information transmitted from other ships or land stations.
  • the AIS information includes the position (latitude / longitude) of the other ship navigating around the ship 4, the length and width of the other ship, the type and identification information of the other ship, the ship speed of the other ship, Various information is included, such as course and destination, and landmark location and identification information.
  • the ECDIS 10 acquires the position information of the ship 4 from the GNSS receiver 7 and outputs information around the ship 4 to the video generation device 1 based on the electronic chart information stored in advance.
  • the plotter 11 can generate information on the navigation trajectory of the ship 4 by continuously acquiring the position of the ship 4 from the GNSS receiver 7.
  • the plotter 11 can generate a scheduled route by sequentially connecting these waypoints by allowing the user to set a plurality of waypoints (points where the ship 4 is scheduled to pass).
  • the radar device 12 can detect targets such as other ships existing around the ship 4.
  • the radar apparatus 12 has a known target tracking function (Target Tracking, TT) for capturing and tracking a target, and can determine the position and velocity vector (TT information) of the target.
  • TT Target Tracking
  • the sonar 13 detects the fish school and the like by transmitting the ultrasonic wave underwater and receiving the reflected wave reflected by the fish school and the like.
  • the video generation device 1 is connected to a keyboard 31 and a mouse 32 operated by a user.
  • the user can give various instructions regarding the generation of the video by operating the keyboard 31 and the mouse 32.
  • This instruction includes pan / tilt operation of the camera 3, setting of whether various information is displayed, setting for correcting lens distortion, setting of the viewpoint of the composite video, and the like.
  • the video generation device 1 includes a captured video input unit 21, a position acquisition unit 15, a posture acquisition unit 16, an additional display information acquisition unit 17, a storage unit 18, a shooting position setting unit 25, and an antenna position setting unit. 26, a viewpoint setting unit 27, a display setting unit 28, a distortion correction setting unit 29, and a composite video generation unit 20.
  • the video generation device 1 is configured as a known computer and includes a CPU, a ROM, a RAM, an HDD, and the like (not shown). Furthermore, the video generation apparatus 1 includes a GPU for performing a later-described three-dimensional image processing at high speed.
  • the HDD stores software for performing the video generation method of the present invention.
  • the video generation device 1 is changed into a photographic video input unit 21, a position acquisition unit 15, a posture acquisition unit 16, an additional display information acquisition unit 17, a storage unit 18, a shooting position setting unit 25, an antenna. It can function as the position setting unit 26, the viewpoint setting unit 27, the display setting unit 28, the distortion correction setting unit 29, the composite video generation unit 20, and the like.
  • the photographed video input unit 21 can input video data output from the camera 3 at, for example, 30 frames per second.
  • the captured video input unit 21 outputs the input video data to the synthesized video generation unit 20 (a data synthesis unit 23 described later).
  • the position acquisition unit 15 acquires the current position of the ship 4 in real time based on the detection results of the GNSS receiver 7 and the acceleration sensor 8.
  • the attitude acquisition unit 16 acquires the current attitude of the ship 4 in real time based on the detection results of the GNSS compass 5 and the angular velocity sensor 6.
  • the additional display information acquisition unit 17 performs additional processing on the video captured by the camera 3 based on information output from the AIS receiver 9, ECDIS 10, plotter 11, radar device 12, sonar 13, and so on to the video generation device 1.
  • Information to be displayed is acquired.
  • additional display information Various kinds of additional display information are conceivable. For example, the information of the route line 42 set as shown in FIG. Details of the additional display information will be described later.
  • the storage unit 18 can store a three-dimensional shape of a virtual reality object representing various types of additional display information as a template.
  • the three-dimensional shape template stored in the storage unit 18 can be, for example, a small ship, a large ship, a buoy, a lighthouse, or the like, but is not limited thereto.
  • the shooting position setting unit 25 is the position of the camera 3 on the ship 4 (shooting position), specifically, the position of the camera 3 in the length direction and width direction of the ship, and the position of the camera in the vertical direction (camera). 3 height) can be set.
  • the height of the camera 3 can be a height from the water line normally assumed in the ship 4, but is not limited to this, and can be a height from the bottom of the ship, for example.
  • This shooting position can be set by, for example, inputting the result of the actual measurement of the position of the camera 3 by operating the keyboard 31 and mouse 32.
  • the antenna position setting unit 26 can set the position (antenna position) of the GNSS antenna in the ship 4.
  • This antenna position is, for example, a position in the length direction, the width direction, and the vertical direction of the ship with reference to a reference point 4a set on the ship 4 as a reference of control as shown in FIG. Can do.
  • this reference point 4a can be determined in various ways, in this embodiment, the reference point 4a is determined at the center of the hull of the ship 4 and at the same height as the normally assumed water line.
  • the setting of the antenna position can be performed by inputting an actual measurement value, for example, similarly to the above-described shooting position.
  • the viewpoint setting unit 27 in FIG. 1 can set the viewpoint of the video generated by the composite video generation unit 20 described later by the user operating the keyboard 31 and the mouse 32, for example.
  • the display setting unit 28 can set whether to display additional display information in a video generated by a composite video generation unit 20 described later. These settings can be performed by the user operating the keyboard 31 and the mouse 32, for example.
  • the distortion correction setting unit 29 sets the direction in which the video input from the captured video input unit 21 is deformed by software processing and the strength of the degree of deformation in order to correct lens distortion generated in the captured video by the camera 3. be able to. Accordingly, it is possible to appropriately correct the lens distortion generated in the video in response to various differences depending on the camera 3 (in other words, the lens used by the camera 3).
  • the setting relating to the distortion correction can be performed by the user operating the keyboard 31 and the mouse 32, for example.
  • the position acquisition unit 15 posture acquisition unit 16, additional display information acquisition unit 17, storage unit 18, shooting position setting unit 25, antenna position setting unit 26, viewpoint setting unit 27, display setting unit 28, and distortion correction setting unit 29
  • the acquired, stored, or set information is output to the composite video generation unit 20.
  • the composite video generation unit 20 generates a video representing augmented reality by synthesizing 3D computer graphics with the video captured by the camera 3 input to the video capture input unit 21.
  • the synthesized video generation unit 20 includes a 3D scene generation unit 22 and a data synthesis unit 23.
  • the three-dimensional scene generation unit 22 arranges virtual reality objects 41v, 42v,... Corresponding to the additional display information in the three-dimensional virtual space 40, thereby Build up.
  • three-dimensional scene data (three-dimensional display data) 48 which is three-dimensional scene data, is generated. Details of the three-dimensional scene will be described later.
  • the data composition unit 23 in FIG. 1 generates a figure that three-dimensionally represents the additional display information by drawing the three-dimensional scene data 48 generated by the three-dimensional scene generation unit 22, and also displays the composite video shown in FIG. That is, a process of outputting a video obtained by synthesizing the graphics 41f, 42f,. As shown in FIG. 6, in this composite image, graphics 41f, 42f,... Showing additional display information on the sea surface of the video (shown by broken lines in the figure for convenience of explanation) taken by the camera 3. Are stacked so that can be placed.
  • the data synthesis unit 23 outputs the generated synthesized video to the display 2. Details of the graphic generation process and the data synthesis process will be described later.
  • FIG. 3 is a conceptual diagram illustrating an example of additional display information to be displayed in the video generation device 1.
  • the additional display information is information that is additionally displayed on the video captured by the camera 3, and various information can be considered depending on the purpose and function of the marine equipment connected to the video generation device 1.
  • the received AIS information for example, the position and orientation of another ship, the position of a buoy, the position of a virtual buoy, etc.
  • the positions of dangerous sea areas, voyage prohibited areas, lighthouses, buoys, etc. included in the electronic chart can be used as additional display information.
  • the recorded trajectory of the ship 4 the set scheduled route, the waypoint, the arrival area, the location of the stop area, and the like can be used as additional display information.
  • the position and speed of the detected target can be used as additional display information.
  • the detected position of the school of fish can be used as additional display information.
  • These pieces of information are input from the marine equipment to the video generation device 1 in real time.
  • the additional display information acquisition unit 17 assigns identification information (for example, an identification number) for uniquely specifying and managing each additional display information to be input.
  • FIG. 3 shows an example of additional display information located around the ship 4.
  • waypoints 41 and 41 indicating the destination and a broken line route line 42 indicating the planned route to the destination are defined on the sea surface (on the water surface).
  • a polygonal (rectangular) stop area 43 is defined in the vicinity of the route line 42.
  • the waypoint 41, the route line 42, and the stop area 43 are set by the user appropriately operating the plotter 11 in advance and specifying the position of each point.
  • the other ship 44 is navigating to the right of the ship 4 at a point slightly away from the ship 4, and a virtual buoy is located near the left front of the ship 4. 45 is detected from the AIS information acquired by the AIS receiver 9.
  • the virtual buoy means a virtual (non-substantial) buoy that is not actually installed on the sea due to circumstances such as difficulty in installation, but is displayed as a sign on the navigation device screen. .
  • Each additional display information includes at least information indicating the position (latitude and longitude) of one or a plurality of points on the sea surface (water surface) where the additional display information is arranged.
  • the additional display information indicating the route line 42 includes information on the positions of two points serving as bent portions of the broken line (the positions of the bent portions coincide with the positions of the waypoints 41).
  • the additional display information of the stop area 43 includes information on the position of each point that becomes the vertex of the polygon.
  • the additional display information indicating the other ship 44 includes information indicating the position, heading, length, width, etc. of the other ship 44.
  • FIG. 4 shows three-dimensional scene data 48 generated by arranging virtual reality objects 41v, 42v,... In a three-dimensional virtual space 40, and a projection screen 51 arranged in the three-dimensional virtual space 40. It is a conceptual diagram to explain.
  • the three-dimensional virtual space 40 in which the virtual reality objects 41v, 42v,... Are arranged by the three-dimensional scene generation unit 22 has an appropriate reference position (for example, the reference point described above).
  • 4a) is configured by an orthogonal coordinate system with the origin as the origin, and a horizontal xz plane is set so as to simulate the sea surface (water surface).
  • the coordinate axes are determined so that the + z direction always coincides with the heading, the + x direction is the right direction, and the + y direction is the upward direction.
  • Each point (coordinate) in the three-dimensional virtual space 40 is set so as to correspond to an actual position around the ship 4.
  • FIG. 4 shows an example in which virtual reality objects 41v, 42v, 43v, 44v, and 45v are arranged in the three-dimensional virtual space 40 in order to express the situation around the ship 4 shown in FIG. .
  • Each of the virtual reality objects 41v, 42v, 43v, 44v, and 45v is expressed as a set of polygons, and reflects the relative position of the additional display information represented by the own ship 4 with respect to the own ship 4 on the basis of the heading of the own ship 4. Thus, it arrange
  • the virtual reality object 44v indicating the other ship 44 has the shape of a ship, and is represented using a template of a large ship model stored in the storage unit 18 in advance. Further, the orientation of the model is arranged so as to indicate the orientation of the other ship 44 acquired by the AIS information.
  • the virtual reality object 45v indicating the virtual buoy 45 is also expressed using a buoy model template stored in advance in the storage unit 18.
  • the virtual reality object 41v of the waypoint 41 is represented by a thin disk-shaped three-dimensional shape.
  • the virtual reality object 42v of the route line 42 is represented by a three-dimensional shape obtained by bending an elongated plate having a certain thickness and width into a polygonal line.
  • the virtual reality object 43v in the stop area 43 is represented by a three-dimensional shape such as a plate having a certain thickness and having an outline of the stop area 43.
  • a three-dimensional shape is created each time without using a model template.
  • the 3D scene generation unit 22 generates the 3D scene data 48 as described above.
  • the virtual reality objects 41v, 42v,... are arranged on the basis of the azimuth with the position of the ship 4 as the origin, so the position of the ship 4 (east-west direction and north-south direction from the state of FIG.
  • the position of the virtual reality objects 41v, 42v,... is rearranged, a new three-dimensional scene is constructed, and the three-dimensional scene data 48 is changed. Updated. Further, for example, when the content of the additional display information is changed as the other ship 44 moves from the state of FIG. 3, the three-dimensional scene data 48 is updated to reflect the latest additional display information.
  • the data compositing unit 23 arranges a projection screen 51 in the three-dimensional virtual space 40 that determines a position and a range where the captured image of the camera 3 is projected.
  • the data composition unit 23 creates a mesh 52 that divides the projection screen 51 for correcting lens distortion generated in the captured image of the camera 3.
  • the mesh 52 is arranged along the projection screen 51.
  • the composition of the video can be realized by setting the position and orientation of the viewpoint camera 55 described later so that both the projection screen 51 and the virtual reality objects 41v, 42v,... Are included in the field of view.
  • the data synthesis unit 23 simulates the position and orientation of the camera 3 mounted on the ship 4 in the three-dimensional virtual space 40 and arranges the projection screen 51 so as to face the camera 3. Regarding the simulation of the position of the camera 3, the position of the camera 3 with respect to the hull can be obtained based on the set value of the photographing position setting unit 25 shown in FIG.
  • the change in orientation due to the pan / tilt operation of the camera 3 described above is taken into consideration. Further, the simulation reflects changes in the position and orientation of the camera 3 due to changes in the attitude and height of the ship 4 based on the position information and attitude information acquired by the position acquisition unit 15 and the attitude acquisition unit 16. To be done.
  • the data composition unit 23 changes the position and orientation of the projection screen 51 arranged in the three-dimensional virtual space 40 in conjunction with the change in the position and orientation of the camera 3.
  • the data composition unit 23 generates a two-dimensional image by performing a known rendering process on the three-dimensional scene data 48 and the projection screen 51. More specifically, the data synthesizing unit 23 arranges a viewpoint camera 55 as a virtual camera in the three-dimensional virtual space 40, and sets the viewpoint camera 55 with a view frustum 56 that defines a range to be rendered. A vertex is defined so that the line-of-sight direction is the central axis. Subsequently, the data compositing unit 23 calculates the vertex coordinates of the polygons located inside the viewing frustum 56 among the polygons constituting each object (virtual reality objects 41v, 42v,... And the projection screen 51).
  • the perspective projection By the perspective projection, it is converted into the coordinates of the two-dimensional virtual screen corresponding to the display area (in other words, the perspective projection plane) of the composite image on the display 2. Then, based on the vertices arranged on the virtual screen, a pixel is generated and processed at a predetermined resolution to generate a two-dimensional image.
  • a figure obtained by rendering the three-dimensional scene data 48 (in other words, a figure as a rendering result of the virtual reality objects 41v, 42v,). ) Is included. Further, in the process of generating a two-dimensional image, the camera 3 is disposed so as to be pasted at a position corresponding to the projection screen 51. Thereby, the synthesis
  • the projection screen 51 has a curved shape along a spherical shell centering on the camera 3, when the position and orientation of the viewpoint camera 55 are aligned with the camera 3, photographing by perspective projection is performed. Image distortion can be prevented.
  • the photographed video is drawn so that each (video piece) finely divided vertically and horizontally is arranged on the projection screen 51 while being deformed according to the mesh 52 projected on the virtual screen.
  • the shape of the mesh 52 it is possible to appropriately correct the lens distortion generated in the captured image. Details of this process will be described later.
  • the viewpoint camera 55 determines the viewpoint of the composite video, and its position and orientation are determined by the setting of the viewpoint setting unit 27 described above. However, by making a special setting in the viewpoint setting unit 27, the data synthesizing unit 23 makes the position and orientation of the viewpoint camera 55 always coincide with the position and orientation of the camera 3 as a mode for generating a synthesized video.
  • the mode can be changed automatically (viewpoint tracking mode). In this viewpoint follow-up mode, the entire field of view of the viewpoint camera 55 is always covered with the projection screen 51 (that is, the captured image of the camera 3), so that a realistic combined image can be realized.
  • the data synthesizing unit 23 can be set to a mode in which the position and orientation of the viewpoint camera 55 follow the viewpoint set in the viewpoint setting unit 27 by operating an appropriate input device regardless of the position and orientation of the camera 3.
  • an appropriate input device for example, a keyboard 31, a mouse 32, a touch panel (not shown), a joystick, or the like can be considered.
  • the user can move the viewpoint freely and check the additional display information at a position out of the shooting field of view of the camera 3.
  • FIG. 5 is a diagram illustrating an example of a video image taken by the camera 3.
  • FIG. 6 is a diagram illustrating a synthesized video output from the data synthesis unit 23.
  • FIG. 5 shows an example of an image taken by the camera 3 of the ship 4 in the situation shown in FIG. This photographed image shows another ship 44r floating on the sea surface. In addition, the bow part of own ship 4 is shown in the lower center of the image.
  • the virtual buoy 45 Since the virtual buoy 45 is virtual as described above, it does not appear in the camera 3 as shown in FIG. Since the waypoint 41, the route line 42, and the stop area 43 are also created by the setting in the plotter 11, they do not appear in the video captured by the camera 3.
  • FIG. 6 the portion where the video image taken by the camera 3 appears is indicated by a broken line for the sake of convenience so that it can be easily distinguished from the other portions (this is shown in other diagrams representing the composite video). Is the same).
  • figures 41f, 42f, 43f, 44f, and 45f representing additional display information are arranged so as to overlap the captured video.
  • the figure 44f representing the other ship is arranged so as to substantially overlap the position of the other ship 44r in the captured image.
  • figures 41f, 42f,... That virtually express additional display information are arranged on the composite video as if they were placed on the sea surface of the captured video. This is because the virtual reality objects 41v, 42v,... Shown in FIG. 4 are moved downward with respect to the camera 3 by a distance calculated based on the height set by the shooting position setting unit 25 (see FIG. 1).
  • the projection screen 51 is arranged in contact with the xz plane located at the right, and the projection screen 51 is correctly arranged in consideration of the position and orientation of the camera 3.
  • FIG. 7 is a conceptual diagram showing a case where the ship 4 swings in the pitch direction and the roll direction from the state of FIG.
  • FIG. 8 is a diagram showing a composite video in the case of FIG.
  • the data synthesizing unit 23 is configured so that when the own ship 4 is shaken (pitching, rolling, and heaving), the change in the attitude of the own ship 4 acquired by the attitude acquiring unit 16 and the position acquiring unit 15
  • the position and orientation of the camera 3 in the three-dimensional virtual space 40 are changed so as to simulate the change in the vertical direction of the acquired position of the own ship 4, and the position of the projection screen 51 is changed accordingly.
  • FIG. 7 shows a state when the attitude of the ship 4 changes from the state of FIG. 4 to the pitch direction and the roll direction.
  • the own ship 4 is inclined so as to be lowered forward and to the left, and the position and orientation of the camera 3 change to reflect this.
  • the projection screen 51 moves so as to face the camera 3 whose position and orientation have changed.
  • the position and orientation of the viewpoint camera 55 also changes so as to follow the camera 3 whose position and orientation have changed as described above by the viewpoint follow-up mode.
  • An example of a composite image corresponding to FIG. 7 is shown in FIG. 8, and as shown in this figure, even if the position and orientation of the camera 3 differ as the ship 4 shakes, the projection screen 51 As the position and orientation change, the position and orientation of the viewpoint camera 55 that renders the three-dimensional scene also change, so that it is possible to continuously obtain a composite image without a sense of incongruity.
  • the drawing of the three-dimensional scene data 48 in the data synthesizing unit 23 is updated, and the figure 41f, 42f,... Are generated. Therefore, the display of the graphics 41f, 42f,... Is appropriately changed so as to maintain the state of being placed on the sea surface with respect to the captured image of the camera 3 in which the direction in which the sea surface appears changes due to the shaking of the ship 4. Can be made.
  • FIG. 9 is a diagram for explaining a planar mesh 52p for correcting lens distortion of a captured image.
  • FIG. 10 is a flowchart illustrating processing performed by the data synthesis unit 23 to correct lens distortion of a captured video and to perform perspective projection of the captured video and a three-dimensional scene.
  • FIG. 11 is a conceptual diagram illustrating a process of performing coordinate conversion so that the virtual reality objects 41v, 42v,... Arranged in the three-dimensional space and the vertices of the mesh 52 are projected onto the virtual screen.
  • barrel-shaped lens distortion is generated in the image taken by the camera 3.
  • the figures 41f, 42f,... Synthesized with the captured video are generated by drawing three-dimensional virtual reality objects 41v, 42v,. Therefore, distortion or the like does not occur in principle. Therefore, if both are simply combined, an unnatural image is generated, and the user may feel uncomfortable.
  • lens distortion of a captured image can be corrected by deforming the captured image so as to be stretched or contracted along a mesh 52p on a two-dimensional plane as shown in FIG. ).
  • the mesh 52p can be created by distorting a rectangular matrix mesh in the direction opposite to the lens distortion generated in the captured image.
  • the mesh 52p for correcting this becomes a pincushion type as shown in FIG.
  • the lens distortion of the captured image is two-dimensionally corrected in advance by the mesh 52p, and the corrected captured image is arranged in the three-dimensional virtual space 40 of FIG.
  • the composite image shown in FIG. 6 can be obtained by perspective projection onto the virtual screen.
  • the captured image of the camera 3 is configured as raster data in which pixels are arranged in a two-dimensional matrix. Therefore, if the image is deformed for correction of lens distortion (by the mesh 52p in FIG. 9) and further deformed for perspective projection, the image quality of the photographed image may be greatly reduced due to repeated deformation. In addition, it takes a lot of processing time.
  • the data synthesizing unit 23 of the present embodiment generates a synthesized video by performing the following processing.
  • this will be described in detail with reference to the flowchart of FIG.
  • step S101 in FIG. 10 the data composition unit 23 arranges the virtual reality objects 41v, 42v,... As shown in FIG. In the constructed three-dimensional virtual space 40, a projection screen 51 having a curved shape is arranged along the spherical shell based on the simulation result of the position and orientation of the camera 3. At this time, the data synthesizing unit 23 generates a mesh 52 for correcting the lens distortion of the captured video along the projection screen 51.
  • This mesh 52 is expressed as a three-dimensional shape (a set of polygons), similar to the virtual reality objects 41v, 42v,.
  • the mesh 52 in FIG. 4 generated by the data synthesis unit 23 in this step S101 is curved in a spherical shell shape corresponding to the shape of the projection screen 51, unlike the planar mesh 52p in FIG. That is, the mesh 52 corresponds to the planar mesh 52p of FIG. 9 that is curved along the spherical shell.
  • the distortion strength of the three-dimensional pincushion type mesh 52 can be appropriately set by the distortion correction setting unit 29 described above.
  • the mesh 52 merely functions as a placeholder for the captured video, and the raster data of the captured video is not actually pasted at this stage.
  • the data composition unit 23 defines the viewpoint camera 55 and the view frustum 56 in the three-dimensional virtual space 40, and then the virtual reality objects 41v, 42v, Projective transformation is performed to transform the coordinates of the vertices of... And the coordinates of the vertices of the mesh 52 into coordinates on a two-dimensional virtual screen by perspective projection.
  • This coordinate transformation is realized by using a coordinate transformation function of the vertex shader in a series of processing programs (known rendering pipeline) in which the GPU performs three-dimensional image processing.
  • FIG. 11 the vertices of the 3D scene data 48 (virtual reality objects 41v, 42v,...) And the mesh 52 shown in FIG. 4 have the upper left corner as the origin, the horizontal axis is the xs axis, and the vertical axis is the ys axis.
  • An example projected onto a two-dimensional virtual screen is shown.
  • step S103 of FIG. 10 the data composition unit 23 performs pixel data corresponding to the virtual reality objects 41v, 42v,... Based on the vertex positions converted into the coordinates on the two-dimensional virtual screen. And pixel data corresponding to the mesh 52 are generated.
  • This function is realized by using a rasterizer function in the rendering pipeline.
  • the color of the pixel on which the virtual reality objects 41v, 42v,... Are drawn follows the color information included in the information that each of the vertexes of the polygon has. Therefore, the above-described 3D scene generation unit 22 sets an appropriate color at the vertex of the polygon for each of the virtual reality objects 41v, 42v,... Arranged in the 3D scene data 48 of FIG.
  • the colors of the displayed figures 41f, 42f,... Can be variously changed.
  • the graphic 44f indicating the other ship 44 is subjected to a process of changing the display color according to the distance from the point where the ship 4 is disposed.
  • the figure 44f is displayed in green when the other ship 44 is far from the own ship 4, and the figure 44f is displayed in red when the other ship 44 is in a close position. Thereby, a user's attention can be appropriately alerted according to a condition.
  • step S104 the data composition unit 23 divides the captured image of the camera 3 into a rectangular matrix, and arranges the obtained image piece on the corresponding pixel of the mesh 52 on the two-dimensional virtual screen (FIG. 11). To do.
  • this processing is realized by using a pixel shader function (specifically, a texture pasting function) in the rendering pipeline. Thereby, the composite image shown in FIG. 6 can be obtained.
  • the deformation process for correcting the lens distortion and the deformation process based on the perspective projection are performed on the mesh 52 at the stage of the vertex of the polygon (before the pixel is expressed).
  • the captured video is arranged according to the mesh 52.
  • the video generation device 1 of the present embodiment includes the captured video input unit 21, the position acquisition unit 15, the posture acquisition unit 16, the additional display information acquisition unit 17, and the composite video generation unit 20.
  • the captured video input unit 21 inputs a captured video captured by the camera 3 installed on the ship (own ship) 4.
  • the position acquisition unit 15 acquires position information indicating the position of the ship 4.
  • the attitude acquisition unit 16 acquires attitude information indicating the attitude of the ship 4.
  • the additional display information acquisition unit 17 acquires additional display information including information indicating the positions of one or a plurality of points.
  • the composite video generation unit 20 arranges a viewpoint camera 55 in the three-dimensional virtual space 40 based on the position information and the posture information, and at least part of the additional display information is three-dimensionally displayed in the three-dimensional virtual space 40.
  • a virtual projection screen 51 is arranged, and the projection screen 51 is divided into meshes 52 that are distorted in the opposite direction to the lens distortion generated in the captured image of the camera 3.
  • the composite video generation unit 20 uses a vertex shader to convert the vertices of the virtual reality objects 41v, 42v,. Convert to position on screen. Further, the composite video generation unit 20 arranges the video pieces obtained by dividing the video shot by the camera 3 based on the positions of the vertices on the virtual screen on the corresponding mesh using a pixel shader. As described above, the composite video generation unit 20 generates a composite video in which the graphics 41f, 42f,... On which the virtual reality objects 41v, 42v,.
  • video is generated by the following method. That is, a captured image taken by the camera 3 installed on the ship (own ship) 4 is input, position information indicating the position of the own ship 4 is acquired, attitude information indicating the attitude of the own ship 4 is acquired, Alternatively, additional display information including information indicating the positions of a plurality of points is acquired. Based on the position information and the posture information, a viewpoint camera 55 is arranged in the three-dimensional virtual space 40, and at least a part of the additional display information is transferred to the three-dimensional virtual space 40 in the three-dimensional virtual reality objects 41v, 42v, ..
  • a virtual projection screen 51, and a mesh 52 that divides the projection screen 51 and is distorted in the direction opposite to the lens distortion generated in the captured image of the camera 3, is created.
  • the vertices of the virtual reality objects 41v, 42v,... And the vertices of the mesh 52 are converted into positions on a two-dimensional virtual screen, which is a perspective projection plane, by a vertex shader.
  • a video piece obtained by dividing the video taken by the camera 3 is converted into a corresponding mesh 5.
  • the lens distortion can be corrected appropriately. Further, the perspective projection considering the correction of the lens distortion is performed by the vertex shader at the vertex coordinate data stage, and then the raster data of the photographed video is arranged by the pixel shader. Therefore, the raster data is deformed once. Just do it. Therefore, as compared with the case where the process of deforming the raster data of the captured video is individually performed by correcting the lens distortion and perspective projection, it is possible to prevent the image quality of the video from being deteriorated and to greatly speed up the processing. .
  • the video generation apparatus 1 operates in the above-described viewpoint tracking mode, that is, a mode in which the position and orientation of the viewpoint camera 55 are automatically changed so as to always coincide with the position and orientation of the camera 3. be able to.
  • the composite video generation unit 20 simulates the positions and orientations of the projection screen 51 and the viewpoint camera 55 in the three-dimensional virtual space 40 when the posture information acquired by the posture acquisition unit 16 changes.
  • the camera 3 is moved to correspond to the change in the position and orientation of the camera 3.
  • the viewpoint camera 55 and the projection screen 51 are moved accordingly, so that three-dimensional computer graphics ( The display of the graphics 41f, 42f,...) Can be updated to match the change in the captured video.
  • the viewpoint camera 55 and the projection screen 51 are linked to each other, for example, it is possible to easily perform a process of causing a captured image to always appear in a composite image.
  • the video generation device 1 of the present embodiment is configured to be able to change at least one of the direction and amount of distortion of the mesh 52 to be created.
  • the mesh 52 is arranged in a curved shape in the three-dimensional virtual space 40 as shown in FIG.
  • the additional display information includes other ships, landmarks, planned routes, route traces, waypoints, stopovers, arrival locations, sea areas where fish schools are detected, dangerous sea areas, It can be at least one of a navigation prohibited area, a buoy, and a virtual buoy.
  • the video generation device 1 has the graphics 41f, 42f,... Displayed corresponding to the additional display information according to the distance between the point indicated by the additional display information and the ship 4. Different colors.
  • the video generation apparatus 1 of the present embodiment outputs a composite video to the display 2 installed on the ship 4, but in addition, a configuration that outputs the composite video to a portable computer, a head mounted display, and the like. You can also
  • the lens distortion can be appropriately corrected by using a mesh 52 that is distorted in a barrel shape.
  • the function of setting the distortion of the mesh 52 by the distortion correction setting unit 29 is to set the direction and intensity of the distortion using, for example, a dialog, and display the mesh 52 of the mesh 52 on the display 2, for example. You can also set intuitively by dragging.
  • the camera 3 may be configured such that the pan / tilt function is omitted and the shooting direction is fixed in front, for example. Further, the camera 3 may be arranged so as to capture a direction other than the front (for example, the rear).
  • the pan / tilt operation of the camera 3 may be automatically performed so as to follow the operation.
  • a camera having a plurality of lenses directed in different directions and an image sensor corresponding to each lens and configured to perform live output by connecting the imaging results of the plurality of image sensors is used. May be.
  • the lens distortion can be corrected by arranging the meshes corresponding to each of the plurality of lenses connected in the three-dimensional virtual space 40.
  • a camera that can simultaneously shoot around the ship 4 in all directions of 360 degrees may be used.
  • the change of the color in which the graphic 44f representing the other ship 44 is displayed in the composite image is a texture that is pasted to the virtual reality object 44v instead of changing the color set at the vertex of the polygon of the virtual reality object 44v. It may be realized by changing the color of the image.
  • the virtual reality objects 41v, 42v,. It is arranged by the bow standard. However, the virtual reality objects 41v, 42v,... May be arranged not based on the bow reference but on the true north basis where the + z direction is always true north. In this case, when the heading of the ship 4 changes due to turning or the like, the direction of the ship 4 in the three-dimensional virtual space 40 is changed to the yaw direction instead of rearranging the virtual reality objects 41v, 42v,. Will be changed.
  • the change in the position and orientation of the camera 3 at this time is simulated in the three-dimensional virtual space 40, and the position and orientation of the viewpoint camera 55 are changed in conjunction with the rendering, and rendering is performed. It is possible to obtain the same rendering result as that of the reference case.
  • the coordinate system of the three-dimensional virtual space 40 has a fixed point appropriately determined on the earth as the origin instead of setting the position of the ship 4 as the origin.
  • the + z direction is true north and the + x direction is It may be determined to be true east.
  • the position and orientation in which the ship 4 is arranged change based on the position information and attitude information, and the position and orientation of the camera 3 associated therewith are changed. The change will be simulated in the three-dimensional virtual space 40.
  • processing for reducing the shaking of the composite video accompanying the shaking of the ship 4 may be performed.
  • processing for reducing the shaking of the composite video accompanying the shaking of the ship 4 may be performed.
  • the three-dimensional scene generation unit 22 it is conceivable to suppress fluctuations in the position and orientation of the viewpoint camera 55 even if the ship 4 is shaken.
  • the marine equipment (information source of the additional display information) connected to the video generation device 1 is not limited to that described with reference to FIG. 1, and other marine equipment may be included.
  • the present invention is not limited to a ship navigating at sea, and can be applied to any water moving body capable of navigating the sea, lake, river, or the like.
  • additional information 91a and 91b such as scale images indicating the orientations are simultaneously displayed as shown in FIGS.
  • the position of the additional information may be automatically changed or moved so that the figure is not hidden as much as possible by the additional information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

【課題】視覚的な違和感の少ない高品質な合成映像を効率的に生成する。 【解決手段】合成映像生成部は、水上移動体の位置及び姿勢に基づいて、３次元仮想空間に仮想カメラを配置し、当該３次元仮想空間に付加表示情報の少なくとも一部を３次元の仮想現実オブジェクトとして配置するとともに仮想の映写スクリーンを配置し、前記映写スクリーンを分割するメッシュであって水上移動体での撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュを作成し、前記仮想カメラの位置及び向きに基づいて、前記仮想現実オブジェクトの頂点及び前記メッシュの頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換し、変換された各頂点の位置に基づいて、前記撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置することで、前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成する。

Description

映像生成装置及び映像生成方法
　本発明は、映像生成装置及び映像生成方法に関する。詳細には、水上移動体の周囲の様子を表示する映像を生成するための映像生成装置及び映像生成方法に関する。
　この種の映像生成装置は、例えば特許文献１に開示されている。この特許文献１の映像生成装置は、カメラと、撮影データ受信部と、位置取得部と、映像生成部と、物標表示物生成部と、ディスプレイと、を備え、カメラからの画像ストリームについてジオリファレンシングを行う構成となっている。
　特許文献１において、撮影データ受信部は、船舶のカメラが撮影したストリーム画像データを受信する。位置取得部は、当該船舶の周囲の物標（他船等）の位置を取得する。映像生成部は、ストリーム画像データの画像に基づいて、ディスプレイに映し出す映像を生成する。当該映像は、カメラの位置及び視野に対応している。物標表示物生成部は、前記映像上の点に、物標を示す物標表示物を生成する。そして、ディスプレイには、前記映像と、前記映像上の点に配置される前記物標表示物と、が表示される構成となっている。
　上記の映像生成部は、各点が前記映像上の点に対応し、水上移動体の周囲の環境を示す３次元仮想空間に、前記映像を投影することにより前記映像を生成する。更に、上記の物標表示物生成部は、物標の位置情報と、３次元仮想空間の点のそれぞれと、に基づいて、前記物標表示物を生成する。
米国特許出願公開第２０１５／０３５０５５２号明細書
　ところで、カメラで撮影された映像データには、一般的にレンズ歪みが生じる。とりわけ、船舶の周囲の様子を撮影する場合、広視野の撮影映像を得るために広角レンズを用いることが考えられるが、その場合、映像の歪みが強くなる。そのため、仮に前記映像と前記物標表示物とを単純に合成した合成映像をディスプレイに表示させると、不自然な映像となり、これを見たユーザが違和感を覚えてしまうおそれがある。上記の特許文献１の構成では、このような点で、依然として改善の余地があった。
　本発明は以上の事情に鑑みてされたものであり、その目的は、視覚的な違和感の少ない高品質な合成映像を効率的に生成して、優れた拡張現実的な表示を実現することにある。
課題を解決するための手段及び効果
　本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
　本発明の第１の観点によれば、以下の構成の映像生成装置が提供される。即ち、この映像生成装置は、撮影映像入力部と、位置取得部と、姿勢取得部と、付加表示情報取得部と、合成映像生成部と、を備える。前記撮影映像入力部は、水上移動体に設置される撮影装置が撮影した撮影映像を入力する。前記位置取得部は、前記水上移動体の位置を示す位置情報を取得する。前記姿勢取得部は、前記水上移動体の姿勢を示す姿勢情報を取得する。前記付加表示情報取得部は、１又は複数の地点の位置を示す情報を含む付加表示情報を取得する。前記合成映像生成部は、前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間に仮想カメラを配置し、当該３次元仮想空間に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクトとして配置するとともに仮想の映写スクリーンを配置する。前記合成映像生成部は、前記映写スクリーンを分割するメッシュであって前記撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュを作成する。前記合成映像生成部は、前記仮想カメラの位置及び向きに基づいて、前記仮想現実オブジェクトの頂点及び前記メッシュの頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換する。前記合成映像生成部は、前記仮想スクリーンにおける各頂点の位置に基づいて、前記撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置する。以上により、前記合成映像生成部は、前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成する。
　これにより、水上移動体の位置及び姿勢に基づいて、付加表示情報の位置等を３次元的に表現する図形を撮影映像に重ねることで、仮想現実的な合成映像を得ることができる。また、撮影映像のレンズ歪みを補正した状態で３次元コンピュータグラフィックスと合成するので、合成時の違和感を少なくすることができる。更に、レンズ歪みと逆方向に歪んだメッシュを３次元仮想空間に配置して、当該メッシュの頂点を仮想スクリーンでの位置に変換し、撮影装置の映像を分割した映像片を対応するメッシュに配置することで、レンズ歪みを適切に補正することができる。また、レンズ歪みの補正を考慮した透視投影を、頂点座標データの段階で頂点シェーダにより行い、その後に撮影映像のラスタデータをピクセルシェーダで配置することにより行うので、ラスタデータの変形処理を１回行うだけで済む。従って、レンズ歪みの補正と透視投影とで撮影映像のラスタデータを変形する処理を個別に行う場合と比較して、映像の画質劣化を防止できるとともに、処理の大幅な高速化を図ることができる。
　前記の映像生成装置においては、前記姿勢情報の変化に応じて、前記３次元仮想空間における前記仮想カメラの向きを変化させるとともに、前記仮想カメラに映るように前記仮想スクリーンを移動させることが好ましい。
　これにより、水上移動体が波等により揺れ、撮影装置の位置等が変化した場合に、それに応じて仮想カメラ及び映写スクリーンを移動させることで、簡単な処理で、３次元コンピュータグラフィックスの表示を撮影映像の変化と整合させるように更新することができる。また、仮想カメラと映写スクリーンとが互いに連動することで、例えば合成映像において常に撮影映像が現れるようにする処理も容易に行うことができる。
　前記の映像生成装置においては、作成される前記メッシュの歪む方向及び歪み量の少なくとも何れかを変更可能に構成されていることが好ましい。
　これにより、レンズ歪みを補正する向き及び強さを調整することができるので、幅広い撮影装置に対応することができる。
　前記の映像生成装置においては、前記メッシュは、前記３次元仮想空間において湾曲状に配置されることが好ましい。
　これにより、合成映像において撮影映像が自然な見え方で現れるようにすることができる。
　前記の映像生成装置においては、前記付加表示情報には、他の水上移動体、ランドマーク、予定航路、航路軌跡、ウェイポイント、立寄地、到着地、魚群が探知された海域、危険海域、航海禁止領域、ブイ、及び仮想ブイのうちの少なくとも何れかが含まれることが好ましい。
　これにより、ユーザにとって有益な情報を、位置関係を含めて直感的に把握し易い形で表示することができる。
　前記の映像生成装置においては、前記付加表示情報が示す地点と前記水上移動体との間の距離に応じて、当該付加表示情報に対応して表示される前記図形の色を異ならせることが好ましい。
　これにより、例えば、ある水上移動体が近くに存在する場合に、仮想現実オブジェクトを他よりも目立つ色で表示することで、ユーザは状況を適切に理解することができる。
　前記の映像生成装置は、前記水上移動体に設置されたディスプレイ、携帯型コンピュータ、及びヘッドマウントディスプレイのうちの少なくとも何れかに対して前記合成映像を出力可能であることが好ましい。
　これにより、合成映像を有効に活用することができる。
　本発明の第２の観点によれば、以下のような映像生成方法が提供される。即ち、水上移動体に設置される撮影装置が撮影した撮影映像を入力する。前記水上移動体の位置を示す位置情報を取得する。前記水上移動体の姿勢を示す姿勢情報を取得する。１又は複数の地点の位置を示す情報を含む付加表示情報を取得する。前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間に仮想カメラを配置し、当該３次元仮想空間に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクトとして配置するとともに仮想の映写スクリーンを配置する。前記映写スクリーンを分割するメッシュであって前記撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュを作成する。前記仮想カメラの位置及び向きに基づいて、前記仮想現実オブジェクトの頂点及び前記メッシュの頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換する。前記仮想スクリーンにおける各頂点の位置に基づいて、前記撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置することで、前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成する。
　これにより、水上移動体の位置及び姿勢に基づいて、付加表示情報の位置等を３次元的に表現する図形を撮影映像に重ねることで、仮想現実的な合成映像を得ることができる。また、撮影映像のレンズ歪みを補正した状態で３次元コンピュータグラフィックスと合成するので、合成時の違和感を少なくすることができる。更に、歪んだメッシュを３次元仮想空間に配置して、当該メッシュの頂点を仮想スクリーンでの位置に変換し、撮影装置の映像を分割した映像片を対応するメッシュに配置することで、レンズ歪みを適切に補正することができる。また、レンズ歪みの補正を考慮した透視投影を、頂点座標データの段階で頂点シェーダにより行い、その後に撮影映像のラスタデータをピクセルシェーダで配置することにより行うので、ラスタデータの変形処理を１回行うだけで済む。従って、レンズ歪みの補正と透視投影とで撮影映像のラスタデータを変形する処理を個別に行う場合と比較して、映像の画質劣化を防止できるとともに、処理の大幅な高速化を図ることができる。
本発明の一実施形態に係る映像生成装置の全体的な構成を示すブロック図。 船舶に備えられる各種の機器を示す側面図。 映像生成装置において表示の対象となる付加表示情報の例を説明する概念図。 ３次元仮想空間に仮想現実オブジェクトを配置して構築される３次元シーンデータと、当該３次元仮想空間に配置される映写スクリーンと、を説明する概念図。 カメラによる撮影映像の例を示す図。 データ合成部が出力する合成映像を示す図。 図４の状態から船舶がピッチ方向及びロール方向に揺動した場合を示す概念図。 図７の場合の合成映像を示す図。 撮影映像のレンズ歪みを補正する処理の一例としての２次元メッシュ変形を説明する図。 撮影映像のレンズ歪みの補正と、当該撮影映像及び３次元シーンの透視投影と、を行うためにデータ合成部が行う処理を示すフローチャート。 図４の状態において、仮想現実オブジェクト及びメッシュの頂点を仮想スクリーンに投影する例を説明する概念図。 方位目盛の表示例１ 方位目盛の表示例２。
　次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る映像生成装置１の全体的な構成を示すブロック図である。図２は、船舶４に備えられる各種の機器を示す側面図である。
　図１に示す映像生成装置１は、例えば図２に示すような船舶（水上移動体）４に搭載され、カメラ（撮影装置）３で撮影した映像をベースとして、当該船舶４の周囲の様子を仮想現実的に表現する映像を生成するための装置である。映像生成装置１が生成した映像は、ディスプレイ２に表示される。
　ディスプレイ２は、例えば、当該船舶４（自船）で操船を行うオペレータが参照する操船支援装置のディスプレイとして構成することができる。ただし、ディスプレイ２は上記に限定されず、例えば、自船４から周囲の状況を監視する操船補助者が携帯する携帯型コンピュータのディスプレイ、自船４の客室で乗客が鑑賞するためのディスプレイ、或いは乗船者が装着するウェアラブルグラス等のヘッドマウントディスプレイの表示部とすることが可能である。
　映像生成装置１は、自船４に設置されたカメラ３によって撮影された自船４の周囲の映像と、自船４の周囲の付加表示情報（後に詳述）を仮想現実的に表現する図形と、を合成することにより、ディスプレイ２への出力映像である合成映像を生成する。
　次に、主に図１を参照して、映像生成装置１に電気的に接続されるカメラ３及び各種の船舶機器について説明する。
　カメラ３は、自船４の周囲を撮影する広角型のビデオカメラとして構成されている。このカメラ３はライブ出力機能を有しており、撮影結果としての動画データ（映像データ）をリアルタイムで生成して映像生成装置１に出力することができる。図２に示すように、カメラ３は、撮影方向が船体に対して水平前方となるように船舶４に設置される。
　カメラ３は図略の回転機構を介して船舶４に取り付けられており、パン／チルト動作を指示する信号が映像生成装置１から入力されることにより、その撮影方向を、船舶４の船体を基準として所定の角度範囲で変更することができる。また、自船４の高さ及び姿勢は波等により様々に変化するので、それに伴って、カメラ３の高さが変化するとともに姿勢（撮影方向）も３次元的に変化することになる。
　本実施形態の映像生成装置１は、上記のカメラ３のほか、船舶機器としてのＧＮＳＳコンパス（方位センサ、姿勢センサ）５、角速度センサ６、ＧＮＳＳ受信機７、加速度センサ８、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ装置１２、及びソナー１３等と電気的に接続されている。
　ＧＮＳＳコンパス５は、自船４に固定された複数のＧＮＳＳアンテナ（測位用アンテナ）を備える。ＧＮＳＳコンパス５は、それぞれのＧＮＳＳアンテナの位置関係を、測位衛星から受信した電波に基づいて算出する。特に、本実施形態のＧＮＳＳコンパス５は、各ＧＮＳＳアンテナが受信した電波の搬送波位相の位相差に基づいてＧＮＳＳアンテナの位置関係を求めるように構成されている（この処理は公知であるので、詳細な説明は省略する）。これにより、自船４の船首方位を精度よく取得することができる。
　ＧＮＳＳコンパス５は、船舶４の姿勢を３次元的に取得することができる。言い換えれば、ＧＮＳＳコンパス５は、船首方位（即ち、船舶４のヨー角）だけでなく、船舶４のロール角及びピッチ角を検出することができる。ＧＮＳＳコンパス５で取得された自船４の姿勢情報は、映像生成装置１の姿勢取得部１６や、当該姿勢情報を利用する他の船舶機器に出力される。
　角速度センサ６は、例えば公知の振動ジャイロセンサから構成されており、ＧＮＳＳコンパス５の姿勢検出間隔（例えば、１秒）より短い周期で、船舶４のヨー角速度、ロール角速度及びピッチ角速度を検出することができる。ＧＮＳＳコンパス５が検出した角度と、角速度センサ６が検出した角速度の積分値と、を併用することにより、ＧＮＳＳコンパス５だけを用いる場合よりも短い時間間隔で船舶４の姿勢を取得することができる。また、角速度センサ６は、上述の測位衛星からの電波が例えば橋等の障害物により遮られて、ＧＮＳＳコンパス５による姿勢の検出が不能となっている場合に、姿勢情報を取得するための代替的な手段として機能する。
　ＧＮＳＳ受信機７は、前記のＧＮＳＳアンテナが測位衛星から受信した電波に基づいて、自船４の位置（詳細には、ＧＮＳＳアンテナの緯度、経度及び高さ）を求める。ＧＮＳＳ受信機７は、得られた位置情報を、映像生成装置１の位置取得部１５や、当該位置情報を利用する他の船舶機器に出力する。
　加速度センサ８は、例えば公知の静電容量検出型のセンサとして構成されており、ＧＮＳＳ受信機７の位置検出間隔（例えば、１秒）より短い周期で、船舶４のヨー軸、ロール軸及びピッチ軸における加速度を検出することができる。ＧＮＳＳ受信機７が検出した位置と、加速度センサ８が検出した加速度の２重積分値と、を併用することにより、ＧＮＳＳ受信機７だけを用いる場合よりも短い時間間隔で自船４の位置を取得することができる。また、加速度センサ８は、上述の測位衛星からの電波が遮られてＧＮＳＳ受信機７による位置の検出が不能となっている場合に、位置情報を取得するための代替的な手段として機能する。
　本実施形態では図２に示すように、角速度センサ６、ＧＮＳＳ受信機７及び加速度センサ８は、ＧＮＳＳコンパス５に内蔵されたものが用いられている。ただし、角速度センサ６、ＧＮＳＳ受信機７及び加速度センサ８のうち全部又は一部が、ＧＮＳＳコンパス５とは独立して設けられてもよい。
　ＡＩＳ受信機９は、他船や陸上局等から送信されるＡＩＳ情報を受信するものである。ＡＩＳ情報には、自船４の周囲を航行している他船の位置（緯度・経度）、当該他船の長さ及び幅、当該他船の種類及び識別情報、当該他船の船速、針路及び目的地、並びにランドマークの位置及び識別情報等の、様々な情報が含まれる。
　ＥＣＤＩＳ１０は、ＧＮＳＳ受信機７から自船４の位置情報を取得するとともに、予め記憶されている電子海図情報に基づいて、自船４の周囲の情報を映像生成装置１に出力する。
　プロッタ１１は、ＧＮＳＳ受信機７から自船４の位置を継続して取得することにより、自船４の航行軌跡の情報を生成することができる。また、プロッタ１１は、ユーザに複数のウェイポイント（自船４が通過する予定の地点）を設定させることにより、これらのウェイポイントを順次繋ぐようにして予定航路を生成することができる。
　レーダ装置１２は、自船４の周囲に存在する他船等の物標を探知することができる。また、このレーダ装置１２は物標を捕捉及び追尾する公知の目標追尾機能（Ｔａｒｇｅｔ　Ｔｒａｃｋｉｎｇ、ＴＴ）を有しており、当該物標の位置及び速度ベクトル（ＴＴ情報）を求めることができる。
　ソナー１３は、超音波を水中に送信するとともに、その超音波が魚群等で反射した反射波を受信することにより、魚群等を探知する。
　映像生成装置１は、ユーザが操作するキーボード３１及びマウス３２に接続されている。ユーザは、キーボード３１及びマウス３２を操作することで、映像の生成に関する各種の指示を行うことができる。この指示には、カメラ３のパン／チルト動作、各種の情報の表示の有無の設定、レンズ歪みの補正に関する設定、合成映像の視点の設定等が含まれる。
　次に、映像生成装置１の構成について、主に図１を参照して詳細に説明する。
　図１に示すように、映像生成装置１は、撮影映像入力部２１、位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、視点設定部２７、表示設定部２８、歪み補正設定部２９、及び合成映像生成部２０を備える。
　具体的には、映像生成装置１は公知のコンピュータとして構成され、図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等を備える。更に、映像生成装置１は、後述の３次元画像処理を高速で行うためのＧＰＵを備えている。そして、例えばＨＤＤには、本発明の映像生成方法を行うためのソフトウェアが記憶されている。このハードウェアとソフトウェアの協働により、映像生成装置１を、撮影映像入力部２１、位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、視点設定部２７、表示設定部２８、歪み補正設定部２９及び合成映像生成部２０等として機能させることができる。
　撮影映像入力部２１は、カメラ３が出力する映像データを、例えば３０フレーム毎秒で入力することができる。撮影映像入力部２１は、入力された映像データを、合成映像生成部２０（後述のデータ合成部２３）に出力する。
　位置取得部１５は、ＧＮＳＳ受信機７及び加速度センサ８の検出結果に基づいて、自船４の現在の位置をリアルタイムで取得する。
　姿勢取得部１６は、ＧＮＳＳコンパス５及び角速度センサ６の検出結果に基づいて、自船４の現在の姿勢をリアルタイムで取得する。
　付加表示情報取得部１７は、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ装置１２、及びソナー１３等が映像生成装置１に出力する情報に基づいて、カメラ３で撮影した映像に対して付加的に表示する情報（付加表示情報）を取得する。この付加表示情報としては様々なものが考えられるが、例えば、自船４の予定航路として図３のように設定されるルート線４２の情報とすることができる。なお、付加表示情報の詳細は後述する。
　図１の記憶部１８は、各種の情報を記憶するメモリとして構成されている。この記憶部１８は、各種の付加表示情報を表現する仮想現実オブジェクトの３次元形状を、テンプレートとして記憶することができる。記憶部１８が記憶する３次元形状のテンプレートは、例えば、小型の船、大型の船、ブイ、灯台等とすることができるが、これに限定されない。
　撮影位置設定部２５は、自船４におけるカメラ３の位置（撮影位置）、具体的には、船の長さ方向及び幅方向でのカメラ３の位置と、上下方向でのカメラの位置（カメラ３の高さ）と、を設定することができる。カメラ３の高さは、自船４において通常想定される喫水線からの高さとすることができるが、これに限定されず、例えば、船底からの高さとすることができる。この撮影位置の設定は、例えば、ユーザがカメラ３の位置を実際に計測した結果をキーボード３１及びマウス３２等を操作して入力することで行うことができる。
　アンテナ位置設定部２６は、自船４におけるＧＮＳＳアンテナの位置（アンテナ位置）を設定することができる。このアンテナ位置は、例えば、制御の基準として図２に示すように自船４に設定される基準点４ａを基準とした、船の長さ方向、幅方向、及び上下方向での位置とすることができる。この基準点４ａは様々に定めることができるが、本実施形態では、自船４の船体の中央で、かつ、通常想定される喫水線と同じ高さとなる位置に定められている。アンテナ位置の設定は、上記の撮影位置と同様に、例えば実際の計測値を入力することで行うことができる。
　図１の視点設定部２７は、後述の合成映像生成部２０により生成される映像の視点を、ユーザが例えばキーボード３１及びマウス３２を操作することにより設定することができる。
　表示設定部２８は、後述の合成映像生成部２０により生成される映像における付加表示情報の表示の有無を設定することができる。これらの設定は、ユーザが例えばキーボード３１及びマウス３２を操作することにより行うことができる。
　歪み補正設定部２９は、カメラ３による撮影映像に生じるレンズ歪みを補正するために、撮影映像入力部２１から入力される映像をソフトウェア処理によって変形させる方向、及び、変形の度合いの強弱を設定することができる。これにより、映像に生じるレンズ歪みがカメラ３（言い換えれば、カメラ３が使用しているレンズ）に応じて様々に異なるのに対応して適切に補正を行うことができる。この歪み補正に関する設定は、ユーザが例えばキーボード３１及びマウス３２を操作することにより行うことができる。
　位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、視点設定部２７、表示設定部２８、及び歪み補正設定部２９は、取得し、記憶し、又は設定された情報を、合成映像生成部２０に出力する。
　合成映像生成部２０は、撮影映像入力部２１に入力されたカメラ３の撮影映像に３次元コンピュータグラフィックスを合成することにより、拡張現実を表現する映像を生成する。この合成映像生成部２０は、３次元シーン生成部２２と、データ合成部２３と、を備える。
　３次元シーン生成部２２は、図４に示すように、３次元仮想空間４０に、付加表示情報に対応する仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置することにより、仮想現実の３次元シーンを構築する。これにより、３次元シーンのデータである３次元シーンデータ（３次元表示用データ）４８が生成される。なお、３次元シーンの詳細は後述する。
　図１のデータ合成部２３は、３次元シーン生成部２２が生成した３次元シーンデータ４８を描画することで付加表示情報を３次元的に表現する図形を生成するとともに、図６に示す合成映像、即ち、当該図形４１ｆ，４２ｆ，・・・とカメラ３の撮影映像とを合成した映像を出力する処理を行う。図６に示すように、この合成画像では、カメラ３で撮影された映像（図では説明の都合により破線で示されている）の海面に、付加表示情報を示す図形４１ｆ，４２ｆ，・・・が載置されるように重ねられている。データ合成部２３は、生成された合成映像をディスプレイ２に出力する。なお、図形の生成処理及びデータ合成処理の詳細は後述する。
　次に、前述の付加表示情報取得部１７で取得される付加表示情報について詳細に説明する。図３は、映像生成装置１において表示の対象となる付加表示情報の例を説明する概念図である。
　付加表示情報は、カメラ３で撮影した映像に対して付加的に表示する情報であり、映像生成装置１に接続される船舶機器の目的及び機能に応じて様々なものが考えられる。例示すると、ＡＩＳ受信機９に関しては、受信した上述のＡＩＳ情報（例えば、他船の位置及び向き、ブイの位置、仮想ブイの位置等）を付加表示情報とすることができる。ＥＣＤＩＳ１０に関しては、電子海図に含まれる危険海域、航海禁止領域、灯台、ブイ等の位置を付加表示情報とすることができる。プロッタ１１に関しては、記録される自船４の軌跡、設定された予定航路、ウェイポイント、到着エリア、立寄エリアの位置等を付加表示情報とすることができる。レーダ装置１２に関しては、探知された物標の位置及び速度等を付加表示情報とすることができる。ソナー１３に関しては、探知された魚群の位置を付加表示情報とすることができる。これらの情報は、船舶機器から映像生成装置１にリアルタイムで入力される。付加表示情報取得部１７は、入力されるそれぞれの付加表示情報に対し、それを一意に特定して管理するための識別情報（例えば、識別番号）を付与する。
　図３には、自船４の周囲に位置している付加表示情報の例が示されている。図３において、海面上（水面上）には、目的地を示すウェイポイント４１，４１と、目的地までの予定航路を示す折れ線状のルート線４２と、が定められている。また、ルート線４２の近傍には、多角形状（矩形状）の立寄エリア４３が定められる。ウェイポイント４１、ルート線４２、及び立寄エリア４３は、ユーザが予めプロッタ１１を適宜操作し、各地点の位置を指定することにより設定される。
　また、図３の例では、自船４の前方にやや離れた地点で他船４４が自船４の右方へ向けて航行中であり、自船４の左斜め前の近くには仮想ブイ４５があることが、ＡＩＳ受信機９が取得したＡＩＳ情報により検出されている。なお、仮想ブイとは、設置が困難である等の事情により実際に海上に設けられていないが、ナビゲーション装置の画面には標識として表示される、仮想の（実体を持たない）ブイを意味する。
　それぞれの付加表示情報には、少なくとも、それが配置される海面（水面）における１又は複数の地点の位置（緯度及び経度）を示す情報が含まれている。例えば、ルート線４２を示す付加表示情報には、折れ線の屈曲部となる２箇所の地点の位置の情報が含まれている（屈曲部の地点の位置は、ウェイポイント４１の位置と一致する）。立寄エリア４３の付加表示情報には、多角形の頂点となるそれぞれの地点の位置の情報が含まれている。また、他船４４を示す付加表示情報には、当該他船４４の位置、船首方位、船の長さ、幅等を示す情報が含まれている。
　次に、３次元シーン生成部２２による３次元シーンの構築、及び、データ合成部２３による映像の合成について、図４を参照して詳細に説明する。図４は、３次元仮想空間４０に仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置して生成される３次元シーンデータ４８と、当該３次元仮想空間４０に配置される映写スクリーン５１と、を説明する概念図である。
　３次元シーン生成部２２によって仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される３次元仮想空間４０は、図４に示すように、自船４の適宜の基準位置（例えば、上述の基準点４ａ）を原点とする直交座標系で構成され、水平な面であるｘｚ平面が海面（水面）を模擬するように設定されている。図４の例では、座標軸は、＋ｚ方向が常に船首方位と一致し、＋ｘ方向が右方向、＋ｙ方向が上方向となるように定められる。この３次元仮想空間４０内の各地点（座標）は、自船４の周囲の現実の位置に対応するように設定される。
　図４には、図３に示す自船４の周囲の状況を表現するために、仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖを３次元仮想空間４０内に配置した例が示されている。各仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖは、何れもポリゴンの集合として表現され、自船４の船首方位を基準として、それが表す付加表示情報の自船４に対する相対位置を反映させるように、ｘｚ平面に接するように配置される。これらの仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される位置を決定するにあたっては、図１に示すアンテナ位置設定部２６で設定されたＧＮＳＳアンテナの位置を用いた計算が行われる。
　他船４４を示す仮想現実オブジェクト４４ｖは、船舶の形状を有しており、記憶部１８に予め記憶されている大型の船のモデルのテンプレートを利用して表現される。また、当該モデルの向きは、ＡＩＳ情報で取得した他船４４の向きを示すように配置されている。
　仮想ブイ４５を示す仮想現実オブジェクト４５ｖも、他船４４の仮想現実オブジェクト４４ｖと同様に、記憶部１８に予め記憶されているブイのモデルのテンプレートを利用して表現される。
　ウェイポイント４１の仮想現実オブジェクト４１ｖは、薄い円板状の３次元形状で表現されている。ルート線４２の仮想現実オブジェクト４２ｖは、一定の厚み及び幅を有する細長い板を折れ線状に屈曲させた３次元形状で表現されている。立寄エリア４３の仮想現実オブジェクト４３ｖは、立寄エリア４３の輪郭を有する一定の厚みの板のような３次元形状で表現されている。これらの仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖについては、モデルのテンプレートを使用せずに、３次元形状がその都度作成される。
　３次元シーン生成部２２は、上記のようにして、３次元シーンデータ４８を生成する。図４の例では、仮想現実オブジェクト４１ｖ，４２ｖ，・・・が自船４の位置を原点とした方位基準で配置されるので、図３の状態から自船４の位置（東西方向及び南北方向での位置）が変化したり、回頭等により船首方位が変化したりすると、当該仮想現実オブジェクト４１ｖ，４２ｖ，・・・を再配置した新しい３次元シーンが構築されて、３次元シーンデータ４８が更新される。また、例えば図３の状態から他船４４が移動する等して付加表示情報の内容が変更されると、最新の付加表示情報を反映するように３次元シーンデータ４８が更新される。
　その後、データ合成部２３は、３次元仮想空間４０に、カメラ３の撮影映像が映写される位置及び範囲を定める映写スクリーン５１を配置する。また、データ合成部２３は、カメラ３の撮影映像に生じるレンズ歪みを補正するための、映写スクリーン５１を分割するメッシュ５２を作成する。当該メッシュ５２は、映写スクリーン５１に沿って配置される。この映写スクリーン５１と仮想現実オブジェクト４１ｖ，４２ｖ，・・・の両方が視野に含まれるように後述の視点カメラ５５の位置及び向きを設定することで、映像の合成を実現することができる。
　データ合成部２３は、自船４に搭載されるカメラ３の位置及び向きを３次元仮想空間４０においてシミュレートするとともに、映写スクリーン５１を、当該カメラ３に正対するように配置する。カメラ３の位置のシミュレートに関し、船体を基準とするカメラ３の位置は、図１に示す撮影位置設定部２５の設定値に基づいて得ることができる。
　カメラ３の位置及び向きのシミュレートにあたっては、上述したカメラ３のパン／チルト動作による向きの変化が考慮される。更に、当該シミュレートは、位置取得部１５及び姿勢取得部１６が取得した位置情報及び姿勢情報に基づき、自船４の姿勢の変化及び高さの変化によるカメラ３の位置及び向きの変動が反映されるように行われる。データ合成部２３は、カメラ３の位置及び向きの変化に連動して、３次元仮想空間４０に配置される映写スクリーン５１の位置及び向きを変化させる。
　そして、データ合成部２３は、３次元シーンデータ４８及び映写スクリーン５１に対して公知のレンダリング処理を施すことにより、２次元の画像を生成する。より具体的には、データ合成部２３は、３次元仮想空間４０に仮想カメラとしての視点カメラ５５を配置するとともに、レンダリング処理の対象となる範囲を定める視錐台５６を、当該視点カメラ５５を頂点とし、その視線方向が中心軸となるように定義する。続いて、データ合成部２３は、各オブジェクト（仮想現実オブジェクト４１ｖ，４２ｖ，・・・及び映写スクリーン５１）を構成するポリゴンのうち、当該視錐台５６の内部に位置するポリゴンの頂点座標を、透視投影により、ディスプレイ２での合成映像の表示領域（言い換えれば、透視投影面）に相当する２次元の仮想スクリーンの座標に変換する。そして、この仮想スクリーン上に配置された頂点に基づいて、所定の解像度でピクセルの生成・加工処理を行うことにより、２次元の画像を生成する。
　このようにして生成された２次元の画像には、３次元シーンデータ４８の描画が行われることにより得られた図形（言い換えれば、仮想現実オブジェクト４１ｖ，４２ｖ，・・・のレンダリング結果としての図形）が含まれる。また、２次元の画像の生成過程において、映写スクリーン５１に相当する位置には、カメラ３の撮影映像が貼り付けられるように配置される。これにより、データ合成部２３による映像の合成が実現される。
　映写スクリーン５１は、カメラ３を中心とする球殻に沿うように湾曲した形状となっているので、視点カメラ５５の位置及び向きをカメラ３と一致するように配置した場合に、透視投影による撮影映像の歪みを防止することができる。また、撮影映像は、あたかも、縦横に細かく分割されたそれぞれ（映像片）が、上述の仮想スクリーンに投影されたメッシュ５２に従って変形されながら映写スクリーン５１に配置されるように描画される。これにより、メッシュ５２の形状を適切に設定することで、撮影映像に生じている上述のレンズ歪みを適切に補正することができる。なお、この処理の詳細は後述する。
　視点カメラ５５は合成映像の視点を定めるものであり、その位置及び向きは、上述の視点設定部２７の設定により定められる。ただし、視点設定部２７において特別に設定することにより、データ合成部２３は、合成映像を生成するときのモードとして、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと常に一致するように自動的に変化するモードとすることができる（視点追従モード）。この視点追従モードでは、視点カメラ５５の視野全体が常に映写スクリーン５１（即ち、カメラ３の撮影映像）で覆われることになるので、臨場感のある合成映像を実現することができる。
　一方、データ合成部２３は、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと無関係に、適宜の入力装置の操作によって視点設定部２７に設定された視点に従うモードとすることもできる（独立視点モード）。この入力装置としては、例えば、キーボード３１、マウス３２、図示しないタッチパネル、ジョイスティック等とすることが考えられる。この独立視点モードでは、ユーザは、視点を自由に動かして、カメラ３の撮影視野から外れた位置にある付加表示情報を確認することができる。
　次に、カメラ３で撮影した映像と合成映像との関係を、例を参照して説明する。図５は、カメラ３による撮影映像の例を示す図である。図６は、データ合成部２３が出力する合成映像を示す図である。
　図５には、図３に示す状況において、自船４のカメラ３が撮影した映像の例が示されている。この撮影映像には、海面に浮かぶ他船４４ｒが写っている。また、映像の下部中央には、自船４の船首部分が写っている。
　また、カメラ３の撮影映像には、広角型のレンズの影響により、図５に破線で示すように、上下左右の縁の中央部が外側に膨張するような歪みが生じている（樽型のレンズ歪み）。
　仮想ブイ４５は上述のとおり仮想的なものであるので、図５に示すとおり、カメラ３に写ることはない。ウェイポイント４１、ルート線４２及び立寄エリア４３も、プロッタ１１での設定により作成されるものであるので、カメラ３による撮影映像には現れない。
　そして、図５に示す撮影映像に対し、上記のメッシュ５２に従ってレンズ歪みの補正を行うとともに、図４の３次元シーンデータ４８のレンダリングによる上記の２次元の画像を合成した結果が、図６に示されている。ただし、図６では、カメラ３による撮影映像が現れている部分が、それ以外の部分と区別し易くなるように便宜的に破線で示されている（これは、合成映像を表す他の図においても同様である）。図６の合成映像では、付加表示情報を表現する図形４１ｆ，４２ｆ，４３ｆ，４４ｆ，４５ｆが、当該撮影映像に重なるように配置されている。他船を表す図形４４ｆは、撮影映像における他船４４ｒの位置にほぼ重なるように配置されている。
　上記の図形４１ｆ，４２ｆ，・・・は、図４に示す３次元シーンデータ４８を構成する仮想現実オブジェクト４１ｖ，４２ｖ，・・・の３次元形状を、カメラ３と同じ位置及び向きの視点で描画した結果として生成される。従って、カメラ３による写実的な映像に対して図形４１ｆ，４２ｆ，・・・を重ねた場合でも、見た目の違和感が殆ど生じないようにすることができる。
　図６に示すように、付加表示情報を仮想現実的に表現する図形４１ｆ，４２ｆ，・・・は、撮影映像の海面にあたかも置かれるかのように、合成映像上に配置されている。これは、図４に示す仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、撮影位置設定部２５（図１を参照）で設定された高さに基づいて計算された距離だけカメラ３に対して下方に位置しているｘｚ平面に接するように配置するとともに、映写スクリーン５１の位置を、カメラ３の位置及び向きを考慮して正しく配置することにより実現される。
　次に、自船４の揺れに伴う合成映像の変化について説明する。図７は、図４の状態から船舶４がピッチ方向及びロール方向に揺動した場合を示す概念図である。図８は、図７の場合の合成映像を示す図である。
　上述したとおり、カメラ３は自船４に取り付けられているので、その位置及び向きは、自船４の姿勢が波等により傾いたり、自船４が波に乗り上げたりすることに伴って変化する。本実施形態において、データ合成部２３は、自船４に揺れ（ピッチング、ローリング及びヒービング）が生じた場合、姿勢取得部１６が取得した自船４の姿勢の変化、及び、位置取得部１５が取得した自船４の位置の上下方向の変化をシミュレートするように、３次元仮想空間４０におけるカメラ３の位置及び向きを変更し、それに伴って映写スクリーン５１の位置を変更する。
　図７には、図４の状態から自船４の姿勢がピッチ方向及びロール方向に変化したときの様子が示されている。図７の例では、自船４は前下がりかつ左下がりとなるように傾いており、それを反映するように、カメラ３の位置及び向きが変化する。これに連動して、映写スクリーン５１は、そのように位置及び向きが変化したカメラ３に正対するように移動する。
　図７の例では、上述の視点追従モードにより、視点カメラ５５の位置及び向きも、上記のように位置及び向きが変化したカメラ３に追従するように変化する。図７に対応する合成映像の例が図８に示され、この図に示すように、自船４の揺れに伴ってカメラ３の位置及び向きが異なっても、それに連動して映写スクリーン５１の位置及び向きが変化するとともに、３次元シーンをレンダリングする視点カメラ５５の位置及び向きが変化するので、違和感のない合成映像を継続的に得ることができる。
　視点追従モードでは、自船４の揺れによってピッチ角又はロール角が所定値以上変化する毎に、データ合成部２３での３次元シーンデータ４８の描画が更新され、最新の視点に基づく図形４１ｆ，４２ｆ，・・・が生成される。従って、海面が現れる向きが自船４の揺れにより変化するカメラ３の撮影映像に対し、図形４１ｆ，４２ｆ，・・・の表示を、当該海面に置かれた状態を維持するように適切に変化させることができる。
　これにより、仮想の物体があたかも海面に浮かんでいるように見える、自然で現実感の高い拡張現実の映像を得ることができる。また、ユーザは、ディスプレイ２に映し出された海面を眺めることで、仮想現実を表す図形４１ｆ，４２ｆ，・・・が網羅的に視界に入るので、取りこぼしなく必要な情報を得ることができる。
　次に、上述のデータ合成部２３が、撮影映像のレンズ歪みの補正と、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を描画した図形４１ｆ，４２ｆ，・・・の撮影映像に対する合成と、を効率的に行うための処理を具体的に説明する。図９は、撮影映像のレンズ歪みを補正するための平面状のメッシュ５２ｐを説明する図である。図１０は、撮影映像のレンズ歪みの補正と、当該撮影映像及び３次元シーンの透視投影と、を行うためにデータ合成部２３が行う処理を示すフローチャートである。図１１は、３次元空間に配置された仮想現実オブジェクト４１ｖ，４２ｖ，・・・及びメッシュ５２の頂点を仮想スクリーンに投影するように座標変換する処理を説明する概念図である。
　図５の例では、上述したとおり、カメラ３が撮影した映像に樽型のレンズ歪みが生じている。一方、この撮影映像に合成される図形４１ｆ，４２ｆ，・・・は、３次元の仮想現実オブジェクト４１ｖ，４２ｖ，・・・を幾何学的な計算に基づいて描画して生成されるものであるので、歪み等は原理的に生じない。従って、仮に両者を単純に合成した場合、不自然な映像となり、ユーザが違和感を覚えてしまうおそれがある。
　一般的に、撮影映像のレンズ歪みは、撮影映像を図９に示すような２次元平面上のメッシュ５２ｐに沿って引き伸ばしたり縮めたりするように変形させることで、補正することができる（メッシュ変形）。このメッシュ５２ｐは、矩形マトリクス状のメッシュを、撮影映像に生じるレンズ歪みと逆方向に歪ませることで作成することができる。図５のように撮影映像に樽型のレンズ歪みが生じる場合、これを補正するメッシュ５２ｐは、図９に示すように糸巻き型となる。
　従って、原理的には、撮影映像のレンズ歪みを予め上記のメッシュ５２ｐにより２次元的に補正し、補正後の撮影映像を図４の３次元仮想空間４０に配置して、これを視点カメラ５５に従って仮想スクリーンに透視投影することで、図６の合成映像を得ることができる。
　しかしながら、カメラ３の撮影映像は、ピクセルを２次元マトリクス配列したラスタデータとして構成される。従って、仮に、レンズ歪みの補正のために（図９のメッシュ５２ｐにより）映像を変形し、更に透視投影のために映像を変形すると、変形の繰返しにより撮影映像の画質が大きく低下してしまうおそれがあり、また、多くの処理時間を要してしまう。
　この課題を解決するために、本実施形態のデータ合成部２３は、以下のように処理することで合成映像の生成を行っている。以下、図１０のフローチャートを参照して詳細に説明する。
　図１０のステップＳ１０１で、データ合成部２３は、３次元シーン生成部２２によって図４に示すように仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置された（言い換えれば、３次元シーンデータ４８が構築された）３次元仮想空間４０において、カメラ３の位置及び向きのシミュレート結果に基づいて、球殻に沿って湾曲した形状の映写スクリーン５１を配置する。このとき、データ合成部２３は、撮影映像のレンズ歪みを補正するためのメッシュ５２を、映写スクリーン５１に沿うように生成する。このメッシュ５２は、仮想現実オブジェクト４１ｖ，４２ｖ，・・・と同様に、３次元形状（ポリゴンの集合）として表現される。
　このステップＳ１０１においてデータ合成部２３が生成する図４のメッシュ５２は、図９の平面的なメッシュ５２ｐとは異なり、映写スクリーン５１の形状に対応して球殻状に湾曲している。即ち、このメッシュ５２は、図９の平面的なメッシュ５２ｐを球殻に沿うように湾曲させたものに相当する。３次元糸巻き型のメッシュ５２の歪みの強さは、前述の歪み補正設定部２９によって適宜設定することができる。また、ステップＳ１０１の段階では、メッシュ５２は単に撮影映像のプレースホルダとして機能するだけであって、この段階で撮影映像のラスタデータが実際に貼り付けられることはない。
　次に、図１０のステップＳ１０２において、データ合成部２３は、視点カメラ５５及び視錐台５６を３次元仮想空間４０において定めた上で、３次元仮想空間４０での仮想現実オブジェクト４１ｖ，４２ｖ，・・・の頂点の座標、及び、メッシュ５２の頂点の座標を、透視投影により、２次元の仮想スクリーンにおける座標に変換する射影変換を行う。この座標変換は、ＧＰＵが３次元画像処理を行う一連の処理プログラム（公知のレンダリングパイプライン）のうち、頂点シェーダが有する座標変換機能を用いて実現される。図１１には、図４に示す３次元シーンデータ４８（仮想現実オブジェクト４１ｖ，４２ｖ，・・・）及びメッシュ５２の頂点が、左上隅を原点とし、横軸をｘｓ軸、縦軸をｙｓ軸とした２次元の仮想スクリーンに投影された例が示されている。
　続いて、図１０のステップＳ１０３において、データ合成部２３は、２次元の仮想スクリーン上の座標に変換された頂点の位置に基づいて、仮想現実オブジェクト４１ｖ，４２ｖ，・・・に対応するピクセルデータと、メッシュ５２に対応するピクセルデータと、を生成する。この機能は、上記のレンダリングパイプラインのうち、ラスタライザの機能を利用して実現される。
　このとき、仮想現実オブジェクト４１ｖ，４２ｖ，・・・が描画されるピクセルの色は、ポリゴンの頂点がそれぞれ有している情報に含まれる色の情報に従う。従って、前述の３次元シーン生成部２２が、図４の３次元シーンデータ４８に配置される仮想現実オブジェクト４１ｖ，４２ｖ，・・・のそれぞれについて、ポリゴンの頂点に適宜の色を設定することにより、表示される図形４１ｆ，４２ｆ，・・・の色を様々に変えることができる。本実施形態では、他船４４を示す図形４４ｆについて、自船４が配置される地点との距離に応じて表示色を異ならせる処理を行っている。具体的には、他船４４が自船４から遠い位置にあるときは図形４４ｆを緑色で表示し、近い位置にあるときは図形４４ｆを赤色で表示する。これにより、状況に応じてユーザの注意を適切に喚起することができる。
　その後、ステップＳ１０４においてデータ合成部２３は、カメラ３の撮影映像を矩形マトリクス状に分割し、得られた映像片を、２次元の仮想スクリーン（図１１）における、対応するメッシュ５２のピクセルに配置する。本実施形態において、この処理は、上記のレンダリングパイプラインのうち、ピクセルシェーダの機能（具体的には、テクスチャの貼付け機能）を利用して実現される。これにより、図６に示す合成映像を得ることができる。
　以上により、メッシュ５２に対し、ポリゴンの頂点の段階（ピクセルで表現する前の段階）で、レンズ歪みの補正のための変形処理、及び、透視投影に基づく変形処理を行い、その後にカメラ３の撮影映像がメッシュ５２に従って配置されることになる。これにより、ラスター画像の１回の変形だけで、レンズ歪みが補正され、かつ、透視投影がされた後の撮影映像を得ることができる。この結果、合成映像における撮影映像の部分の画質低下を効果的に防止できる。また、ピクセルシェーダの負荷を大幅に軽減することができるので、本実施形態のように高いフレームレート（３０フレーム毎秒）で撮影映像が入力される場合でも、処理を容易に間に合わせることができる。この結果、フレーム落ちが防止できるので、撮影映像の部分の動きが滑らかな高品質の合成映像を得ることができる。
　以上に説明したように、本実施形態の映像生成装置１は、撮影映像入力部２１と、位置取得部１５と、姿勢取得部１６と、付加表示情報取得部１７と、合成映像生成部２０と、を備える。撮影映像入力部２１は、船舶（自船）４に設置されるカメラ３が撮影した撮影映像を入力する。位置取得部１５は、自船４の位置を示す位置情報を取得する。姿勢取得部１６は、自船４の姿勢を示す姿勢情報を取得する。付加表示情報取得部１７は、１又は複数の地点の位置を示す情報を含む付加表示情報を取得する。合成映像生成部２０は、前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間４０に視点カメラ５５を配置し、当該３次元仮想空間４０に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクト４１ｖ，４２ｖ，・・・として配置するとともに仮想の映写スクリーン５１を配置し、映写スクリーン５１を分割するメッシュであってカメラ３の撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュ５２を作成する。合成映像生成部２０は、視点カメラ５５の位置及び向きに基づいて、仮想現実オブジェクト４１ｖ，４２ｖ，・・・の頂点及びメッシュ５２の頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換する。また、合成映像生成部２０は、前記仮想スクリーンにおける各頂点の位置に基づいて、カメラ３の撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置する。以上により、合成映像生成部２０は、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を描画した図形４１ｆ，４２ｆ，・・・を前記撮影映像に合成した合成映像を生成する。
　また、本実施形態では、以下に示す方法で映像の生成が行われている。即ち、船舶（自船）４に設置されるカメラ３が撮影した撮影映像を入力し、自船４の位置を示す位置情報を取得し、自船４の姿勢を示す姿勢情報を取得し、１又は複数の地点の位置を示す情報を含む付加表示情報を取得する。前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間４０に視点カメラ５５を配置し、当該３次元仮想空間４０に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクト４１ｖ，４２ｖ，・・・として配置するとともに仮想の映写スクリーン５１を配置し、前記映写スクリーン５１を分割するメッシュであってカメラ３の撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュ５２を作成し、視点カメラ５５の位置及び向きに基づいて、仮想現実オブジェクト４１ｖ，４２ｖ，・・・の頂点及びメッシュ５２の頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換し、当該仮想スクリーンにおける各頂点の位置に基づいて、カメラ３の撮影映像を分割した映像片を、対応するメッシュ５２にピクセルシェーダにより配置することで、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を描画した図形４１ｆ，４２ｆ，・・・を前記撮影映像に合成した合成映像を生成する。
　これにより、自船４の位置及び姿勢に基づいて、付加表示情報の位置等を３次元コンピュータグラフィックスにより表現する図形４１ｆ，４２ｆ，・・・をカメラ３の撮影映像に重ねることで、図６及び図８のような仮想現実的な合成映像を得ることができる。また、撮影映像に図５のように生じるレンズ歪みを補正した状態で３次元コンピュータグラフィックスと合成するので、合成時の違和感を少なくすることができる。更に、レンズ歪みを補正するためのメッシュ５２を３次元仮想空間４０に配置して、当該メッシュ５２の頂点を仮想スクリーンでの位置に変換し、カメラ３の撮影映像を分割した映像片を対応するメッシュ５２に配置することで、レンズ歪みを適切に補正することができる。また、レンズ歪みの補正を考慮した透視投影を、頂点座標データの段階で頂点シェーダにより行い、その後に撮影映像のラスタデータをピクセルシェーダで配置することにより行うので、ラスタデータの変形処理を１回行うだけで済む。従って、レンズ歪みの補正と透視投影とで撮影映像のラスタデータを変形する処理を個別に行う場合と比較して、映像の画質劣化を防止できるとともに、処理の大幅な高速化を図ることができる。
　また、本実施形態の映像生成装置１は、前述の視点追従モード、即ち、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと常に一致するように自動的に変化するモードで動作することができる。この視点追従モードでは、合成映像生成部２０は、姿勢取得部１６が取得した姿勢情報が変化した場合に、３次元仮想空間４０における映写スクリーン５１及び視点カメラ５５の位置及び向きを、シミュレートされたカメラ３の位置及び向きの変化に対応するように移動させる。
　これにより、自船４が波等により揺れ、カメラ３の位置等が変化した場合に、それに応じて視点カメラ５５及び映写スクリーン５１を移動させることで、簡単な処理で、３次元コンピュータグラフィックス（図形４１ｆ，４２ｆ，・・・）の表示を撮影映像の変化と整合させるように更新することができる。また、視点カメラ５５と映写スクリーン５１とが互いに連動することで、例えば合成映像において常に撮影映像が現れるようにする処理も容易に行うことができる。
　また、本実施形態の映像生成装置１は、作成されるメッシュ５２の歪む方向及び歪み量の少なくとも何れかを変更可能に構成されている。
　これにより、レンズ歪みを補正する向き及び強さを調整することができるので、幅広いカメラ３（例えば、レンズの画角が異なるカメラ）に対応することができる。
　また、本実施形態の映像生成装置１において、メッシュ５２は図４に示すように、３次元仮想空間４０において湾曲状に配置される。
　これにより、合成映像において撮影映像が自然な見え方で現れるようにすることができる。
　また、本実施形態の映像生成装置１において、付加表示情報には、他の船舶、ランドマーク、予定航路、航路軌跡、ウェイポイント、立寄地、到着地、魚群が探知された海域、危険海域、航海禁止領域、ブイ、及び仮想ブイのうちの少なくとも何れかとすることができる。
　これにより、ユーザにとって有益な情報を、位置関係を含めて直感的に把握し易い形で表示することができる。
　また、本実施形態の映像生成装置１は、付加表示情報が示す地点と自船４との間の距離に応じて、当該付加表示情報に対応して表示される図形４１ｆ，４２ｆ，・・・の色を異ならせる。
　これにより、例えば、他船４４が近くに存在する場合に、当該他船４４を示す付加表示情報を表す図形４４ｆを他よりも目立つ色で表示することで、ユーザは状況を適切に理解することができる。
　また、本実施形態の映像生成装置１は、船舶４に設置されたディスプレイ２に対して合成映像を出力するが、このほか、携帯型コンピュータ、ヘッドマウントディスプレイ等にも合成映像を出力する構成とすることもできる。
　これにより、合成映像を有効に活用することができる。
　以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。
　カメラ３によっては、図５に示すような樽型のレンズ歪みではなく、糸巻き型のレンズ歪みを生じる場合がある。この場合は、メッシュ５２として樽型に歪んだものを用いることで、レンズ歪みを適切に補正することができる。
　歪み補正設定部２９によるメッシュ５２の歪みの設定機能は、当該歪みの方向及び強さを例えばダイアログを用いて設定するほか、例えばメッシュ５２の網目をディスプレイ２に表示して、網目をマウス３２でドラッグすることで直感的に設定することもできる。
　カメラ３において、上記のパン／チルト機能を省略し、撮影方向が例えば前方で固定されるように構成されてもよい。また、カメラ３が前方以外の方向（例えば、後方）を撮影するように配置されてもよい。
　ユーザが視点カメラ５５の向きを変更する操作を行ったときに、それに追従するようにカメラ３のパン／チルト動作が自動的に行われてもよい。
　カメラ３として、互いに異なる方向に向けられた複数のレンズと、それぞれのレンズに対応する撮像素子と、を備え、複数の撮像素子による撮像結果を繋ぎ合わせてライブ出力を行う構成のカメラが用いられてもよい。この場合、複数のレンズのそれぞれに対応したメッシュを繋ぎ合わせたものを３次元仮想空間４０に配置することで、レンズ歪みを補正することができる。
　カメラ３として、自船４の周囲を３６０度の全方位にわたって同時撮影が可能な構成のカメラが用いられてもよい。
　例えば他船４４を表す図形４４ｆが合成映像において表示される色の変更は、仮想現実オブジェクト４４ｖのポリゴンの頂点に設定される色を変更することに代えて、仮想現実オブジェクト４４ｖに貼り付けられるテクスチャ画像の色を変更することで実現されてもよい。
　３次元シーン生成部２２が３次元シーンデータ４８を生成するにあたって、上記の実施形態では、図４で説明したように、仮想現実オブジェクト４１ｖ，４２ｖ，・・・が自船４の位置を原点とした船首基準で配置されている。しかしながら、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、船首基準ではなく、＋ｚ方向が常に真北となる真北基準で配置してもよい。この場合、回頭等によって自船４の船首方位が変化したときは、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を再配置する代わりに、３次元仮想空間４０での自船４の向きをヨー方向に変化させることになる。そして、このときのカメラ３の位置及び向きの変化を３次元仮想空間４０においてシミュレートするとともに、これに連動して視点カメラ５５の位置及び向きを変更してレンダリングを行うことで、上述の船首基準の場合と全く同じレンダリング結果を得ることができる。
　また、３次元仮想空間４０の座標系は、自船４の位置を原点にすることに代えて、地球上に適宜定められた固定点を原点とし、例えば、＋ｚ方向が真北、＋ｘ方向が真東となるように定められてもよい。この場合、地球に固定された座標系の３次元仮想空間４０において、自船４が配置される位置及び向きが位置情報及び姿勢情報に基づいて変化し、これに伴うカメラ３の位置及び向きの変化が３次元仮想空間４０においてシミュレートされることになる。
　映像生成装置１において、自船４の揺れに伴う合成映像の揺れを軽減する処理が行われてもよい。例えば、３次元シーン生成部２２において、自船４が揺れても視点カメラ５５の位置及び向きの変動を抑制するようにすることが考えられる。
　映像生成装置１に接続される船舶機器（付加表示情報の情報源）は、図１で説明したものに限るものではなく、その他の船舶機器が含まれていてもよい。
　本発明は、海上を航行する船舶に限らず、例えば、海、湖、又は河川等を航行可能な任意の水上移動体に適用することができる。
　前述のように、撮影装置が撮影した映像に図形等を重ねて表示する際に、図１２と図１３のように、方位を示す目盛画像等のような付加情報９１ａ、９１ｂを同時に表示することで、限られた表示領域を有効に活用することができる。このとき、当該図形が付加情報によってできる限り隠れないように、自動的に、付加情報の位置が変更や移動をするような構成にしてもよい。また、船体の傾きに応じて、付加情報９１ａ、９１ｂが傾くような表示としてもよい。このような表示をすることで、船体が傾いている状況でも常に正確な付加情報を視認することができる。
　１　映像生成装置
　１５　位置取得部
　１６　姿勢取得部
　１７　付加表示情報取得部
　２０　合成映像生成部
　４１ｖ，４２ｖ，・・・　仮想現実オブジェクト
　４１ｆ，４２ｆ，・・・　図形
　５１　映写スクリーン
　５２　メッシュ

Claims (9)

  1. 　水上移動体に設置される撮影装置が撮影した撮影映像を入力する撮影映像入力部と、
    　前記水上移動体の位置を示す位置情報を取得する位置取得部と、
    　前記水上移動体の姿勢を示す姿勢情報を取得する姿勢取得部と、
    　１又は複数の地点の位置を示す情報を含む付加表示情報を取得する付加表示情報取得部と、
    　前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間に仮想カメラを配置し、当該３次元仮想空間に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクトとして配置するとともに仮想の映写スクリーンを配置し、前記映写スクリーンを分割するメッシュであって前記撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュを作成し、前記仮想カメラの位置及び向きに基づいて、前記仮想現実オブジェクトの頂点及び前記メッシュの頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換し、前記仮想スクリーンにおける各頂点の位置に基づいて、前記撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置することで、前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成する合成映像生成部と、
    を備えることを特徴とする映像生成装置。
  2. 　請求項１に記載の映像生成装置であって、
    　前記合成映像生成部は、前記姿勢情報が変化した場合に、前記３次元仮想空間における前記映写スクリーン及び前記仮想カメラの位置及び向きを、前記撮影装置の位置及び向きの変化に対応するように移動させることを特徴とする映像生成装置。
  3. 　請求項１又は２に記載の映像生成装置であって、
    　作成される前記メッシュの歪む方向及び歪み量の少なくとも何れかを変更可能に構成されていることを特徴とする映像生成装置。
  4. 　請求項１から３までの何れか一項に記載の映像生成装置であって、
    　前記メッシュは、前記３次元仮想空間において湾曲状に配置されることを特徴とする映像生成装置。
  5. 　請求項１から４までの何れか一項に記載の映像生成装置であって、
    　前記付加表示情報には、他の水上移動体、ランドマーク、予定航路、航路軌跡、ウェイポイント、立寄地、到着地、魚群が探知された海域、危険海域、航海禁止領域、ブイ、及び仮想ブイのうち少なくとも何れかが含まれることを特徴とする映像生成装置。
  6. 　請求項１から５までの何れか一項に記載の映像生成装置であって、
    　前記付加表示情報が示す地点と前記水上移動体との間の距離に応じて、当該付加表示情報に対応して表示される前記図形の色を異ならせることを特徴とする映像生成装置。
  7. 　請求項１から６までの何れか一項に記載の映像生成装置であって、
    　前記水上移動体に設置されたディスプレイ、携帯型コンピュータ、及びヘッドマウントディスプレイのうちの少なくとも何れかに対して前記合成映像を出力可能であることを特徴とする映像生成装置。
  8. 　水上移動体に設置される撮影装置が撮影した撮影映像を入力し、
    　前記水上移動体の位置を示す位置情報を取得し、
    　前記水上移動体の姿勢を示す姿勢情報を取得し、
    　１又は複数の地点の位置を示す情報を含む付加表示情報を取得し、
    　前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間に仮想カメラを配置し、当該３次元仮想空間に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクトとして配置するとともに仮想の映写スクリーンを配置し、前記映写スクリーンを分割するメッシュであって前記撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュを作成し、前記仮想カメラの位置及び向きに基づいて、前記仮想現実オブジェクトの頂点及び前記メッシュの頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換し、前記仮想スクリーンにおける各頂点の位置に基づいて、前記撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置することで、前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成することを特徴とする映像生成方法。　
  9. 　請求項１から７までの何れか一項に記載の映像生成装置であって、
    　前記合成映像生成部は、方位を示す目盛画像を更に生成し、
    　前記合成映像における、前記図形が表示される位置に応じて、前記目盛画像の表示位置を決定することを特徴とする映像生成装置。
PCT/JP2018/018646 2017-05-24 2018-05-15 映像生成装置及び映像生成方法 Ceased WO2018216536A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880033183.3A CN110998672B (zh) 2017-05-24 2018-05-15 影像生成装置以及影像生成方法
EP18805441.5A EP3633626A4 (en) 2017-05-24 2018-05-15 VIDEO IMAGE GENERATION DEVICE AND VIDEO IMAGE GENERATION METHOD
JP2019519582A JPWO2018216536A1 (ja) 2017-05-24 2018-05-15 映像生成装置及び映像生成方法
US16/690,904 US11415991B2 (en) 2017-05-24 2019-11-21 Image generating device and image generating method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-103149 2017-05-24
JP2017103149A JP6857546B2 (ja) 2017-05-24 2017-05-24 映像生成装置及び映像生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/690,904 Continuation-In-Part US11415991B2 (en) 2017-05-24 2019-11-21 Image generating device and image generating method

Publications (1)

Publication Number Publication Date
WO2018216536A1 true WO2018216536A1 (ja) 2018-11-29

Family

ID=64395488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018646 Ceased WO2018216536A1 (ja) 2017-05-24 2018-05-15 映像生成装置及び映像生成方法

Country Status (5)

Country Link
US (1) US11415991B2 (ja)
EP (1) EP3633626A4 (ja)
JP (2) JP6857546B2 (ja)
CN (1) CN110998672B (ja)
WO (1) WO2018216536A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915033A (zh) * 2020-08-13 2020-11-10 日照古工船舶服务有限公司 一种船舶检修监控系统及方法
US20220146266A1 (en) * 2019-03-20 2022-05-12 Seavantage Ltd. Course guidance method for efficient sailing of ship
CN114500970A (zh) * 2020-11-13 2022-05-13 聚好看科技股份有限公司 一种全景视频图像处理、显示方法及设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7191595B2 (ja) 2018-08-30 2022-12-19 株式会社 商船三井 映像生成装置及び映像生成方法
CN114258372B (zh) * 2019-09-09 2024-06-04 古野电气株式会社 船舶信息显示系统、船舶信息显示方法、图像生成装置以及程序
CN111464749B (zh) * 2020-05-07 2021-05-25 广州酷狗计算机科技有限公司 进行图像合成的方法、装置、设备及存储介质
JP6818219B1 (ja) * 2020-05-29 2021-01-20 株式会社PocketRD ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム
JP7554105B2 (ja) * 2020-12-02 2024-09-19 ヤマハ発動機株式会社 距離認識システムおよびその制御方法、船舶
EP4086573A1 (en) * 2021-05-05 2022-11-09 Furuno Electric Co., Ltd. Tidal information display device
JP7512963B2 (ja) * 2021-07-12 2024-07-09 トヨタ自動車株式会社 仮想現実シミュレータ及び仮想現実シミュレーションプログラム
EP4450917A4 (en) * 2021-12-16 2025-11-19 Furuno Electric Co TARGET MONITORING DEVICE, TARGET MONITORING METHOD AND PROGRAM
JP2023112442A (ja) * 2022-02-01 2023-08-14 日本発條株式会社 システム
CN114885100B (zh) * 2022-05-12 2024-08-09 四川新视创伟超高清科技有限公司 基于异动目标动态追踪的摄像头资源调度方法
CN116524157B (zh) * 2023-04-28 2024-05-14 神力视界(深圳)文化科技有限公司 扩展现实合成方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301897A (ja) * 1993-04-16 1994-10-28 Kawasaki Heavy Ind Ltd 船舶の航行支援装置
JPH0887232A (ja) * 1994-09-14 1996-04-02 Ishikawajima Harima Heavy Ind Co Ltd 操船シミュレータの模擬視界表示装置
JP2010003274A (ja) * 2008-06-23 2010-01-07 National Maritime Research Institute 目視認識支援装置及び目視認識支援方法
JP2011227864A (ja) * 2010-03-31 2011-11-10 Asahi Kasei Corp 画像視点変換装置、画像視点変換方法、画像視点変換プログラム
US20150350552A1 (en) 2014-05-30 2015-12-03 Furuno Electric Co., Ltd. Marine environment display device
JP2015215278A (ja) * 2014-05-13 2015-12-03 古野電気株式会社 情報表示装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4346938B2 (ja) * 2003-04-09 2009-10-21 キヤノン株式会社 画像処理装置、方法、プログラム及び記憶媒体
JP3726239B1 (ja) * 2004-07-13 2005-12-14 有 上條 画像処理プログラム及び装置
JP2011217057A (ja) * 2010-03-31 2011-10-27 Asahi Kasei Corp レンズ歪み除去装置、方法およびプログラム
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US20120229460A1 (en) * 2011-03-12 2012-09-13 Sensio Technologies Inc. Method and System for Optimizing Resource Usage in a Graphics Pipeline
US9093006B2 (en) * 2011-06-30 2015-07-28 Google Inc. Image shader using style attribute references
US9886790B2 (en) * 2013-03-14 2018-02-06 Robert Bosch Gmbh System and method of shadow effect generation for concave objects with dynamic lighting in three-dimensional graphics
JP6163358B2 (ja) * 2013-05-31 2017-07-12 日本放送協会 水上水中撮像装置、及び水上水中撮像方法
US9335545B2 (en) * 2014-01-14 2016-05-10 Caterpillar Inc. Head mountable display system
JP6586824B2 (ja) * 2015-08-27 2019-10-09 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10043305B2 (en) * 2016-01-06 2018-08-07 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
CN105913497B (zh) * 2016-05-27 2018-09-07 杭州映墨科技有限公司 用于虚拟看房的虚拟现实空间移动定位系统及方法
US10535186B2 (en) * 2016-08-30 2020-01-14 Intel Corporation Multi-resolution deferred shading using texel shaders in computing environments

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301897A (ja) * 1993-04-16 1994-10-28 Kawasaki Heavy Ind Ltd 船舶の航行支援装置
JPH0887232A (ja) * 1994-09-14 1996-04-02 Ishikawajima Harima Heavy Ind Co Ltd 操船シミュレータの模擬視界表示装置
JP2010003274A (ja) * 2008-06-23 2010-01-07 National Maritime Research Institute 目視認識支援装置及び目視認識支援方法
JP2011227864A (ja) * 2010-03-31 2011-11-10 Asahi Kasei Corp 画像視点変換装置、画像視点変換方法、画像視点変換プログラム
JP2015215278A (ja) * 2014-05-13 2015-12-03 古野電気株式会社 情報表示装置
US20150350552A1 (en) 2014-05-30 2015-12-03 Furuno Electric Co., Ltd. Marine environment display device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3633626A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220146266A1 (en) * 2019-03-20 2022-05-12 Seavantage Ltd. Course guidance method for efficient sailing of ship
US11719543B2 (en) * 2019-03-20 2023-08-08 Seavantage Ltd. Course guidance method for efficient sailing of ship
CN111915033A (zh) * 2020-08-13 2020-11-10 日照古工船舶服务有限公司 一种船舶检修监控系统及方法
CN114500970A (zh) * 2020-11-13 2022-05-13 聚好看科技股份有限公司 一种全景视频图像处理、显示方法及设备
CN114500970B (zh) * 2020-11-13 2024-04-26 聚好看科技股份有限公司 一种全景视频图像处理、显示方法及设备

Also Published As

Publication number Publication date
JP6857546B2 (ja) 2021-04-14
CN110998672A (zh) 2020-04-10
JP2020144399A (ja) 2020-09-10
EP3633626A4 (en) 2021-03-17
JPWO2018216536A1 (ja) 2020-09-10
US20200089234A1 (en) 2020-03-19
CN110998672B (zh) 2023-07-25
US11415991B2 (en) 2022-08-16
EP3633626A1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
JP6857546B2 (ja) 映像生成装置及び映像生成方法
JP7488925B2 (ja) 映像生成装置、および、映像生成方法
JP6840842B2 (ja) 映像生成装置
JP6720409B2 (ja) 映像生成装置
JP7191595B2 (ja) 映像生成装置及び映像生成方法
JP7021259B2 (ja) 映像生成装置及び映像生成方法
JP7214402B2 (ja) 映像生成装置及び映像生成方法
JP7492059B2 (ja) 周辺監視装置及び周辺監視方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18805441

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019519582

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018805441

Country of ref document: EP

Effective date: 20200102

WWW Wipo information: withdrawn in national office

Ref document number: 2018805441

Country of ref document: EP