WO2019069875A1 - 移動体用画像生成記録表示装置及びプログラム - Google Patents

移動体用画像生成記録表示装置及びプログラム Download PDF

Info

Publication number
WO2019069875A1
WO2019069875A1 PCT/JP2018/036758 JP2018036758W WO2019069875A1 WO 2019069875 A1 WO2019069875 A1 WO 2019069875A1 JP 2018036758 W JP2018036758 W JP 2018036758W WO 2019069875 A1 WO2019069875 A1 WO 2019069875A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
mobile
moving body
virtual space
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/036758
Other languages
English (en)
French (fr)
Inventor
一正 笛木
高橋　昇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HI Corp
Original Assignee
HI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HI Corp filed Critical HI Corp
Priority to EP18864949.5A priority Critical patent/EP3693930A4/en
Priority to KR1020207012744A priority patent/KR102349915B1/ko
Priority to CN201880064353.4A priority patent/CN111164652B/zh
Publication of WO2019069875A1 publication Critical patent/WO2019069875A1/ja
Priority to US16/837,981 priority patent/US10896542B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—Three-dimensional [3D] animation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present invention relates to an apparatus for generating, recording or displaying an image of an object around a moving object, and a program thereof.
  • An image conversion technology that processes an image captured using a camera installed on a mobile object such as a car and converts the mobile object into an image similar to that seen from various directions.
  • a so-called “around view monitor” (registered trademark) that synthesizes images taken using a plurality of cameras mounted on a mobile body, and generates an image of a region around the mobile body like a bird's-eye view.
  • Such image synthesis technology displays other moving objects, objects, etc. in positions that are difficult to see from the driver's seat of moving objects on a monitor and shows them to the driver, for example, when driving in back or driving in parallel parking. It is used at the time of the day.
  • the image synthesis technology as described above converts an actual captured image and displays it on a display device in a car. For this reason, when an object being photographed is temporarily blocked by another moving object or enters a blind spot of a camera, the object may not be displayed.
  • An apparatus comprising an input device, a virtual model database, a virtual model conversion device, a virtual model reconfiguration device, a virtual model processing device, and a control device or a display device
  • the virtual model conversion device comprising It recognizes information on a plurality of objects acquired from the device, identifies a corresponding virtual model from a virtual model database, and replaces it.
  • the virtual model reconstruction device reconstructs objects and their relationships into corresponding virtual models and their relationships in virtual space.
  • the virtual model processing apparatus understands and determines the virtual model and the relationship between them based on the reconstructed virtual model and the relationship between them, and there is a technology for instructing the control device or the display device (for example, Patent Document 1) reference).
  • the viewpoint can be moved and the state from the freely moved viewpoint can be displayed.
  • the operation lever is displayed on a part of the display screen, and the operation lever is operated in the desired direction of up, down, left, and right You can move the viewpoint.
  • the viewpoint conversion image generation means synthesizes a vehicle model image drawn to imitate a vehicle in a portion corresponding to the vehicle in the viewpoint conversion image (see, for example, Patent Document 4).
  • An object of the present invention is to enable recording with less storage capacity even when recording the running condition of the body.
  • the disclosed technology includes a traveling state acquisition unit for acquiring information on traveling state of the mobile unit including the position and velocity of the mobile unit, and other mobile units and traveling paths existing around the mobile unit of the mobile unit.
  • An object information acquisition unit for acquiring information on a plurality of objects including a shape, and information obtained from the traveling state acquisition unit and the object information acquisition unit, at least for each of the mobile object and the plurality of objects
  • a virtual space is associated with the virtual model and arranged in a three-dimensional space, so that a virtual space constructing unit for constructing the virtual space and a two-dimensional image obtained by imaging the virtual space from a virtual camera arranged in the virtual space
  • a two-dimensional image generation unit for generating an image and outputting the image on a display screen, wherein the two-dimensional image generation unit is configured to perform two-dimensional projection according to a relative velocity with the mobile object.
  • FIG. 1 is a diagram showing an example of sensors installed in a virtual space and a real moving object in one embodiment.
  • the virtual space 150 shown in FIG. 1 (A) is the image information of the peripheral object from the camera (101a to 101d) installed on the real moving object 100R shown in FIG. 1 (B), the periphery by the radar 103 Information such as relative velocity and position of objects, GPS information received by wireless antenna 105 and various information from other systems connected to wireless network, speedometer installed in real mobile 100R, accelerometer , And is constructed based on the information etc. of the mobile unit 100R obtained from sensors (not shown) such as a gyro.
  • the above-described cameras (101a to 101d), the radar 103, the wireless antenna 105, and sensors (not shown) such as a speedometer are merely examples, and any other appropriate information collection device may be used. Further, the device for collecting information may be installed either inside or outside the vehicle 100R.
  • the virtual camera 130 is positioned such that the virtual moving body 100 corresponding to the actual moving body 100R shown in FIG. 1B is positioned approximately at the center of the imaging direction of the virtual camera 130. It is desirable that it is set.
  • the virtual camera 130 can set various parameters used when converting the virtual space 150 into a two-dimensional image by the virtual imaging system of the virtual camera 130.
  • the parameters of the virtual camera 130 are, for example, the position of the virtual camera 130 in the virtual space, the imaging direction, the focal length, the angle of view, and the like.
  • the depth of field is a parameter indicating the depth at which the virtual lens system is in focus, but in the case of this embodiment, the depth of field is pan-focused (ie, any distance from the virtual camera 130). It is desirable that the settings be made to focus on existing virtual objects.
  • FIG. 1A other moving objects and stationary objects in the real space traveling around the actual moving object 100R are recognized from the above-mentioned information.
  • the 3D model database is referred to according to the embodiment of the present invention, and they are respectively arranged in the virtual space 150 in association with the virtual model.
  • a truck 110, an automobile 112, a bus 114, and a pole 120 on the roadside are arranged around the virtual mobile 100 in the virtual space corresponding to the real mobile 100R.
  • These virtual models existing in the virtual space 150 correspond to each of the objects existing in the real space with respect to the virtual moving body 100, and relative motions between them and the real moving body 100R. And always move relatively within the virtual space 150.
  • the virtual imaging system of the virtual camera 130 moves in the same direction as the virtual moving body 100 so that the virtual moving body 100 is always placed at the center of the screen, and the virtual imaging system performs virtual movement It is desirable that the virtual mobile unit 100 be followed so that the body 100 is placed at the center of the screen.
  • the relative distance between the virtual camera 130 and the virtual mobile unit 100 and the parameters of the imaging system of the virtual camera can be freely set by the instruction of the operator (driver) on board the real mobile unit 100R. Is desirable.
  • a display device be installed in the vicinity of the driver's seat so that the operator (driver) or the like of the actual mobile unit 100R can view the image captured by the virtual camera 130.
  • a recognized two-wheeled vehicle, a person, etc. can also be put on virtual space. Therefore, in the present embodiment, for real objects that need to be recognized in the driving of the driver, it is desirable to secure the comprehensiveness of the recognizable objects so that they can be arranged in the virtual space.
  • an oncoming vehicle with respect to the actual moving body 100R in the virtual space is not illustrated in FIG. 1A, it is desirable to recognize an oncoming vehicle as well.
  • FIG. 2 is a functional block diagram of one embodiment.
  • the moving body measuring unit 210 receives information from sensors (not shown) such as a speedometer, an accelerometer, and a gyro installed in the actual moving body 100R.
  • the information on the actual mobile unit 100R obtained by the mobile unit measurement unit 210 is sent to the virtual space construction unit 250.
  • the peripheral object measurement unit 220 is an image information of other moving objects and objects in the periphery from cameras (101a to 101d) installed on the real moving object 100R, and relative velocities of other moving objects and objects in the vicinity by the radar 103. And information such as position, GPS information received by the wireless antenna 105, and various information from other systems connected to the wireless network (road information, video from a camera installed on the road, etc.). The information received by the peripheral object measurement unit 220 is sent to the virtual space construction unit 250 and the object recognition unit 230.
  • the object recognition unit 230 recognizes other moving objects existing on the periphery and an object such as a pole on the road based on the information received by the peripheral object measurement unit 220, and recognizes the recognition result as a virtual space construction unit 250. Send to
  • the virtual space construction unit 250 acquires the shape of the road from the car navigation database 270 and forms a model of the road in the virtual space 150. Also, based on the information from the moving body measuring unit 210, the virtual space constructing unit 250 positions the virtual moving body 100 corresponding to the actual moving body 100R on the above virtual road formed in the virtual space 150. The virtual road travels at a speed corresponding to the real mobile unit 100R.
  • the three-dimensional shape of the virtual mobile object 100 may be stored in the virtual space construction unit 250 or may be acquired from the 3D model database 240.
  • the virtual space construction unit 250 acquires virtual models corresponding to other moving objects and objects in the vicinity from the 3D model database.
  • the virtual space construction unit 250 places virtual models corresponding to other obtained moving objects and objects in the vicinity in the virtual space.
  • the virtual space construction unit 250 causes each of the virtual models to travel on a virtual road based on the information of the peripheral object measurement unit 220 on virtual models corresponding to other moving objects and objects in the vicinity.
  • the virtual space construction unit 250 sends information of the virtual space to the rendering unit 260 and the recorder unit 280.
  • the rendering unit 260 sets parameters of the virtual camera 130 based on virtual camera instruction information instructed by the operator (driver), and sends information obtained by imaging the virtual space 150 to the rendering unit 260.
  • the rendering unit 260 generates a two-dimensional image obtained by imaging the virtual space 150 from the virtual camera 130.
  • the generated two-dimensional video is sent to the display device.
  • the rendering unit displays or captures residual images of surrounding mobiles so that the relative velocity can be easily identified with respect to other mobiles moving relative to the virtual mobile 100.
  • the image of the past may be displayed superimposed on a two-dimensional image by increasing the degree of transparency as the image of the past is increased by a predetermined time of the moving object.
  • a trajectory may be added to the surrounding moving objects so that the moving conditions of the surrounding moving objects can be known.
  • past residual images or images of other moving objects in the past may be determined in advance, or may be appropriately changed based on an instruction of the operator (driver).
  • the velocity of the mobile object, the mobile object traveling oppositely, the absolute value of the relative velocity to the mobile object or the absolute value of the relative velocity change is smaller than a predetermined value, and the velocity is higher than that of the mobile object.
  • slow moving objects, or stationary objects, etc. do not display afterimage, past images, etc., or after images, past images, etc. of some moving objects or objects of these moving objects.
  • the display effect can be made different depending on the type or nature of the moving object or object, or not.
  • the recorder unit 280 stores information of the virtual space, which changes from moment to moment, in the memory 704 or the storage medium 760. Since the information stored in the recorder unit is information of the virtual space 150, more compressed information can be recorded than a drive recorder which records a real traveling image. Therefore, the storage capacity to be consumed can be reduced. Also, by moving the virtual camera, it is possible to change the viewpoint and display the virtual space as a two-dimensional image on the display by moving the virtual camera. .
  • FIG. 3 is a diagram showing an example of a first display image in one embodiment.
  • the image in FIG. 3 is an image obtained by imaging the virtual space 150 by the virtual camera 130.
  • a virtual mobile unit 100 at the current time, a peripheral mobile unit 310 at the current time, and a pole 330 present on the road shoulder at the current time are displayed.
  • an afterimage 312, an afterimage 314 and an afterimage 316 are images of afterimages of the peripheral moving body 310.
  • the afterimage 312 may be an afterimage of the peripheral moving object 310 past the current time by a time d. Then, the afterimage 312 may be an image in which the transparency is increased by ⁇ % compared to the peripheral moving body 310. Therefore, the afterimage 312 is an image in which the transparency is increased by ⁇ % compared to the peripheral moving body 310, and may be an image that is always a time d past the peripheral moving body 310. In this case, if the relative image velocity of the afterimage 312 is faster than that of the virtual mobile object 100, it will appear as following the peripheral mobile object 310.
  • “transparency” means 100% transparency means complete transparency, and 0% transparency means completely opaque.
  • the afterimage 312 may be an instantaneous image of the peripheral moving object 310 past the given time by a predetermined time, and an image in which the transparency is increased by ⁇ %. That is, the peripheral moving body 310 may leave an afterimage at a predetermined interval time d.
  • the peripheral mobile object 310 is a still image of the peripheral mobile object 100 at a predetermined interval d, and is still with the transparency increased by ⁇ %. It looks like you are moving while leaving the picture.
  • the afterimage 314 is a past image by a time d more than the afterimage 312 and is an image in which the transparency is further increased by ⁇ %
  • the afterimage 316 is a past image by a time d more than the afterimage 314, Furthermore, it may be an image in which the transparency is increased by ⁇ %.
  • the value for increasing the transparency may be different for each residual image.
  • the interval d of the afterimage may be different for each afterimage. Note that how many afterimages are left may be determined in advance. Alternatively, when the transparency becomes 100% or more when the transparency is increased, the afterimage may be erased and excluded from the drawing target.
  • the virtual camera 130 is moved as being stationary in the image as an example, but the virtual mobile object 100 is moved May generate an image.
  • the virtual mobile body 310 is not limited to a four-wheeled vehicle, and may be a two-wheeled vehicle, a bicycle or the like.
  • FIG. 4 is a view showing a modification of the first display image in the embodiment.
  • the blur image 360 in FIG. 4 represents the behavior of the peripheral moving body 310 by adding the blurring effect to the afterimage 312, the afterimage 314, the afterimage 316, and the like. It goes without saying that the blur image can be expressed by various processes other than the above-described process. By displaying such an effect, it is possible to provide an operator (driver) with a more easily understandable image.
  • FIG. 5 is a diagram showing an example of a second display image in one embodiment.
  • FIG. 5 shows an example in the case where the speed of the peripheral moving body 410 is slower than that of the virtual moving body 100.
  • the peripheral moving object 410 at the current time is displayed, and the residual image 412, the residual image 414, and the residual image 416 are displayed in front of the peripheral moving object 410 as going back to the past. If the speed of the peripheral moving body 410 is slower than that of the virtual moving body 100 as in this track, the afterimage 412, the afterimage 414 and the afterimage 416 may not be displayed.
  • the shape of the track may be difficult to recognize for humans. . Therefore, in such a situation, it may be possible for a human to clearly recognize the shape of the track rather than the situation of movement of the track (peripheral moving body 410) by not displaying the afterimage.
  • the absolute value of the relative velocity between the peripheral moving body 410 and the virtual moving body 100 is smaller than a predetermined value, the overlap of the afterimage becomes strong, and it may be difficult for a human to recognize the shape of the track.
  • FIG. 6 is a first flowchart of the display of the afterimage of the surrounding moving object in one embodiment. Each step will be described below.
  • Step S500 The processing flow of this embodiment is started by interruption at a predetermined interval. Note that the trigger for starting the process is not limited to the interrupt.
  • the processing proceeds to step S510.
  • Step 510 repeats the processing of each step existing between step S526 and all surrounding objects.
  • Step S512 For example, it is determined whether an object recognized by pattern recognition is new based on an image from a camera mounted on a real mobile unit 100R. If it is new ("Yes"), the process proceeds to step S514. If already recognized and not new (“No"), the process proceeds to step S516.
  • Step S514 Determine a new object and specify a corresponding virtual model. If the object to be recognized is a new one, pattern recognition, machine learning techniques, etc. are used to determine what kind of vehicle it is or what kind of object it is, and the corresponding model Is identified.
  • pattern recognition for example, in the case of a moving object, a vehicle type that most matches the feature is identified based on features such as the position of the headlights and various designs of the vehicle body.
  • the 3D model of the identified vehicle type is searched and acquired from the 3D model database 240. Features are also extracted for the pole 330 on the stationary road, object recognition is performed, and 3D model search and acquisition are performed. The acquired 3D model is used in constructing a virtual space and in rendering.
  • the process proceeds to step S516.
  • Step S516 Determine an object and specify a virtual model.
  • the virtual model is placed at an appropriate position in the virtual space 150 based on the positions of the recognized one or more objects.
  • step S518 The virtual space is recorded in the recorder.
  • the operator driver or the like instructs to record the virtual space
  • the virtual space at that time is stored in the memory 704 or the storage medium 760.
  • step S520 the process proceeds to step S520.
  • Step S520 The position of the mobile object model in the vicinity by time d before the current time is specified. In this case, it is desirable that the position relative to the virtual mobile unit 100 be maintained, and the positional relationship with the pole 330 on the stationary road or the roadside may be shifted. By doing this, the operator (driver) can grasp the past positional relationship between his virtual mobile unit 100 and other mobile units in the vicinity. Next, the process proceeds to step S522.
  • Step S522 The position of the mobile object model in the vicinity by time 2d before the current time is specified.
  • the other processes are the same as step S520.
  • the process proceeds to step S524.
  • Step S524 The position of the model of the mobile object in the vicinity, which is 3 d before the current time, is specified.
  • the other processes are the same as step S520.
  • the process of the embodiment is not limited to FIG. Next, the process proceeds to step S526.
  • Step S526 If there is another unprocessed object, the process returns to step S510. If there is no other unprocessed object, the process proceeds to step S528.
  • Step S528 In the virtual space 150, the two-dimensional image captured by the virtual camera 130 is rendered. Note that for a model past by time d, the transparency is increased by ⁇ % over the peripheral moving object at the current time, and for a model past by time 2d, the transparency is increased by 2 ⁇ %, and the model past by 3d For example, rendering may be performed with the transparency increased by 3 ⁇ % to obtain the image shown in FIG. Although an example in which a past model is generated at a constant interval d has been shown, the interval may not be constant. Further, with regard to the transparency, the transparency of each past model may be individually changed in consideration of the characteristics of the display device and the like, instead of increasing the transparency at a predetermined rate.
  • the peripheral mobile object 312 at a time past the present by the time d is made transparent by ⁇ % so as to follow the current image of the peripheral mobile object 310. It will be displayed increased.
  • the past peripheral moving object 314 and the past peripheral moving object 316 are also as described above, and thus the description thereof is omitted.
  • an image is generated so that the peripheral moving objects (312, 314, 316) at a plurality of past times move smoothly following the peripheral moving object 310.
  • peripheral moving objects (312, 314, 316) at a plurality of past times may be displayed in a blurred state.
  • the past afterimage shown in FIG. 7 may be displayed in a blurred manner. Note that the expression of blur is not limited to these methods.
  • FIG. 7 is a second flowchart of the display of the afterimage of the surrounding mobile unit in one embodiment. Each step will be described below.
  • Step S600 The processing flow of the present embodiment is started by interruption at a predetermined interval. Note that the trigger for starting the process is not limited to the interrupt.
  • the processing proceeds to step S610.
  • Step S610 Step 610 repeats the processing of each step existing between step S626 and all surrounding objects.
  • Step S612 For example, it is determined whether an object recognized by pattern recognition is new based on an image from a camera mounted on a real mobile unit 100R. If it is new ("Yes"), the process proceeds to step S614. If already recognized and not new, the process proceeds to step S616.
  • Step S614 A new object is determined, and a corresponding virtual model is identified. If the object to be recognized is new, pattern recognition technology is used to determine what kind of vehicle or what kind of object it is and to identify the corresponding model . In pattern recognition, for example, in the case of a moving object, a vehicle type that most matches the feature is identified based on features such as the position of the headlights and various designs of the vehicle body. Based on the identified vehicle type, the 3D model of the identified vehicle type is retrieved and acquired from the 3D model database. Features are also extracted for the pole 330 on the stationary road, object recognition is performed, and 3D model search and acquisition are performed. The acquired 3D model is used in constructing a virtual space and in rendering. Next, the process proceeds to step S616.
  • Step S616 Determine an object and specify a virtual model.
  • the model is placed at an appropriate position in the virtual space 150 based on the positions of the recognized one or more objects.
  • the process proceeds to step S618.
  • Step S618 The recorder records a virtual space. When it is instructed by the operator to record a virtual space, the virtual space at that time is stored in the memory 704 or the storage medium 760. Next, the process proceeds to step S620.
  • Step S620 It is checked whether the time d1 of the interval has elapsed. If the interval time d1 has elapsed ("Yes"), the interval measurement is reset to zero, and the process proceeds to step S622. If the interval time d1 has not elapsed ("No"), the process proceeds to step S624.
  • Step S 622 For the mobile objects in the vicinity, the drawing of the model at the current time is left as an afterimage. The process proceeds to step S622. By this step, a plurality of residual images are sequentially generated for each interval time d1.
  • Step S624 The transparency of each of the plurality of afterimages is increased by ⁇ %. You may exclude the afterimage which transparency became 100% or more from drawing object. It is desirable that the afterimage maintain the positional relationship with the virtual mobile body 100. Incidentally, even if the transparency does not reach 100% or more, the residual image in the past for a predetermined time may be excluded from the objects to be drawn. Note that rendering can be performed collectively in step S 628. The process proceeds to step S626.
  • Step S626 If there is another unprocessed object, the process returns to step S610. If there is no other unprocessed object, the process proceeds to step S 628.
  • Step S628 In the virtual space 150, the two-dimensional image captured by the virtual camera 130 is rendered.
  • the transparency is increased by ⁇ % for the residual image in the past by time d1
  • the transparency is increased by 2 ⁇ % for the residual image in time 2d
  • the transparency is increased by 3 ⁇ % for the residual image in time 3d
  • the rendering can be done to obtain the image shown in FIG.
  • generates a residual image for every fixed interval d1 was shown, an interval does not need to be fixed.
  • the transparency of each past model may be individually changed in consideration of the characteristics of the display device and the like, instead of increasing the transparency at a predetermined rate.
  • the transparency of the peripheral moving object 310 is further increased by ⁇ % in order by a time d1 so as to leave a plurality of residual images, as shown in FIG. It will be displayed.
  • residual images (312, 314, 316) of the peripheral mobile object 312 are generated at every interval time d1.
  • FIG. 8 is a diagram illustrating a hardware configuration 700 of an embodiment.
  • the hardware configuration 700 includes a CPU 702, a memory 704, a communication control device 706, an input interface 708, a display control unit 710, an external memory control unit 712, and an output interface 714.
  • the communication control device 706 is connected to a network such as the Internet or CAN 731 (controller area network).
  • a touch sensor 740, a GPS 742, a camera 744 and the like are connected to the input interface 708.
  • a display 750 is connected to the display control unit 710.
  • the external memory control unit 712 can read and write the storage medium 760.
  • a speaker 770 or the like is connected to the output interface.
  • the storage medium 760 may be a RAM, a ROM, a CD-ROM, a DVD-ROM, a hard disk, a memory card, or the like.
  • the program of the embodiment described above can be executed by a computer provided with the hardware configuration 700. Also, the program of the embodiment may be implemented as a method to be executed by a computer. A part or all of the program of this embodiment may be executed by the operating system. Also, part of the program may be realized by hardware.
  • the program may be stored on storage medium 760 or memory 704. In the above-described embodiment, the steps of the program may be performed simultaneously or in different order as long as no contradiction arises.
  • the above embodiments can be implemented as hardware devices. It goes without saying that the above embodiments do not limit the invention described in the claims, and are treated as examples.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Image Generation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】　自己の運転する移動体の周辺の環境を、映像として表示する際に、より分かりやすい形で情報を提供するとともに、移動体の走行状況を記録する場合にもより少ない記憶容量で記録できるようにすることを目的とする。 【解決手段】　開示の技術は、自己の移動体の位置及び速度を含む自己の移動体の走行状態に関する情報を取得する走行状態取得部と、自己の移動体の周辺に存在する他の移動体及び走行路の形状を含む複数のオブジェクトに関する情報を取得するオブジェクト情報取得部と、前記走行状態取得部及び前記オブジェクト情報取得部から得られた情報から、少なくとも、前記自己の移動体及び前記複数のオブジェクトの各々に対して仮想モデルを対応付けて三次元空間の中に配置することで、仮想空間を構築する仮想空間構築部と、前記仮想空間に配置された仮想的なカメラから前記仮想空間を撮像した二次元映像を生成し表示画面に出力する二次元映像生成部と、を有し、前記二次元映像生成部は、前記自己の移動体との相対的な速度に応じて、二次元映像における前記複数のオブジェクトの各々に対応する仮想モデルの表示に所定の効果を加えて前記二次元映像を生成する、移動体位置情報認識表示装置を提供する。

Description

移動体用画像生成記録表示装置及びプログラム
　本発明は、移動体の周辺のオブジェクトの画像を生成し記録又は表示する装置及びそのプログラムに関する。
　自動車などの移動体に設置されたカメラを用いて撮影した画像を処理して、移動体を様々な方向から見たときと近似した画像に変換する画像変換技術が存在する。移動体に搭載された複数個のカメラを用いて撮影した画像を合成し、この移動体の周囲の一定範囲の領域の画像を鳥観図のように生成する、いわゆる「アラウンドビューモニター」（登録商標）などの技術がある。このような画像合成技術は、移動体の運転席からは見えにくい位置にある他の移動体、物体などをモニタに表示してドライバに示すことにより、例えばバックでの運転時や縦列駐車の運転時のときなどにおいて利用されている。
　上述のような画像合成技術は、実際の撮影画像を変換して車内の表示装置に表示している。このため、撮影している対象が、一時的に他の移動体にさえぎられたり、カメラの死角に入ったりした場合に、その対象を表示することができない場合がある。
　また、移動体の走行を映像として記録するドライブレコーダが存在する。このドライブレコーダは、通常移動体のフロントガラス付近に1台設置され、映像の記録のために大容量の記憶装置を必要とする。
　以下に、従来の技術について説明する。
　入力装置と、仮想モデルデータベースと、仮想モデル変換装置と、仮想モデル再構成装置と、仮想モデル処理装置と、制御装置又は表示装置とから構成される装置であって、仮想モデル変換装置は、入力装置から取得した複数の対象物に関する情報を認識し、仮想モデルデータベースから対応する仮想モデルを特定し、置換する。仮想モデル再構成装置は、対象物及びそれらの関係を仮想空間において対応する仮想モデル及びそれらの関係に再構成する。仮想モデル処理装置は、再構成された仮想モデル及びこれらの関係を基礎として、仮想モデル及びこれらの関係を理解、判断し、制御装置又は表示装置に指令する技術が存在する（例えば、特許文献１参照）。
　また、ナビゲーション装置内に記憶された地図情報を用い走行道路形状を生成することで、より現実的な道路表示を可能にし、自車両の表示位置をディスプレイ内の所定の一点に固定するように演算し、自車位置を示すマーク及び追従車の位置を示すマーク、さらに追従車両以外の周辺車両位置を示すマークを道路上に重ねて表示するように動作することで、自車両と周辺車両の距離間隔が容易に判別できるようにする技術が存在する（例えば、特許文献２参照）。
　また、他車の相対位置を表示する場合に、ＣＣＤカメラなどの画像情報を利用して、他の車両の車種等を通信処理のデータで受けることにより、その車両の三次元情報及び周囲の地図情報（地形情報）をデータベースから読出し、自車と他車との相対位置の検出結果に基づいて、車両と地形の三次元モデルをリアルタイムで測定結果に合わせて配置して描画させることで、人口現実的な仮想画像として表示装置に表示させる。視点を移動させて自由に移動させた視点からの状態を表示させることができ、例えば、表示画面の一部に操作レバーを表示し、その操作レバーを上下左右の好みの方向に操作させることで視点を移動させることができる。上方に視点を移動させると、高い位置から全体の状況を立体的に把握でき、直前の車両の陰になって見えなかった前方の車両の存在を三次元的に確認することができる。また、視点を道路の横方向から見るような位置に移動させると、自車やその前後に存在する他車の状態を側方から客観的に表示させることができるようにする技術が存在する（例えば、特許文献３参照）。
　また、視点変換画像生成手段が、視点変換画像のうち車両に相当する部分に、車両を模って描かれた車両モデル画像を合成する技術が存在する（例えば、特許文献４参照）。
特開２００３－２１６９８１号公報 特開平１１－２５０３９６号公報 特開２００６－１０７５２１号公報 特開２０１１－１８２０５９号公報
　上述のような移動体の周囲の複数のカメラにより映像を合成する技術では、カメラの視界から外れた部分が表示されない場合がある。また、自由な視点から移動体の周囲の映像を表示するには限界がある。
　上述のような仮想モデルを用いて仮想空間を構築する技術では、オペレータ（ドライバ）に仮想モデルをより分かりやすい形で二次元画像として表示するニーズが存在する。
　移動体に搭載されるドライブレコーダについては、フロントガラス付近に１台設置される場合がほとんどであるため、移動体の前方の映像を記録するものであり、その他の方向の映像を記録しない。また、走行中、映像を常に記録するためには大容量の記録媒体が必要となる。移動体の周囲の状況を記録するために複数台のカメラを設置する場合には、より大容量の記憶装置が必要となる。
　開示の技術は、このような従来技術の課題に鑑みなされたものであり、自己の運転する移動体の周辺の環境を映像として表示する際に、より分かりやすい形で情報を提供するとともに、移動体の走行状況を記録する場合にもより少ない記憶容量で記録できるようにすることを目的とする。
　開示の技術は、自己の移動体の位置及び速度を含む自己の移動体の走行状態に関する情報を取得する走行状態取得部と、自己の移動体の周辺に存在する他の移動体及び走行路の形状を含む複数のオブジェクトに関する情報を取得するオブジェクト情報取得部と、前記走行状態取得部及び前記オブジェクト情報取得部から得られた情報から、少なくとも、前記自己の移動体及び前記複数のオブジェクトの各々に対して仮想モデルを対応付けて三次元空間の中に配置することで、仮想空間を構築する仮想空間構築部と、前記仮想空間に配置された仮想的なカメラから前記仮想空間を撮像した二次元映像を生成し表示画面に出力する二次元映像生成部と、を有し、前記二次元映像生成部は、前記自己の移動体との相対的な速度に応じて、二次元映像における前記複数のオブジェクトの各々に対応する仮想モデルの表示に所定の効果を加えて前記二次元映像を生成する、移動体位置情報認識表示装置を提供する。
　開示の技術によれば、自己の移動体の周辺の環境を、映像として表示する際に、より分かりやすい形で情報を提供できるようにするとともに、移動体の走行状況を記録する場合にもより少ない記憶容量で記録することができる。
一実施形態における仮想空間及び現実の移動体に設置されたセンサ類の例を示す図である。 一実施形態の機能ブロック図である。 一実施形態における第１の表示画像の例を示す図である。 一実施形態における第１の表示画像の変形例を示す図である。 一実施形態における第２の表示画像の例を示す図である。 一実施形態における周囲の移動体の残像の表示の第１のフローチャートである。 一実施形態における周囲の移動体の残像の表示の第２のフローチャートである。 ハードウエア構成を示す図である。
　図１は、一実施形態における仮想空間及び現実の移動体に設置されたセンサ類の例を示す図である。
　図１（Ａ）に示された仮想空間１５０は、図１（Ｂ）に示された現実の移動体１００Ｒに設置されたカメラ（１０１ａないし１０１ｄ）からの周辺オブジェクトの映像情報、レーダ１０３による周辺オブジェクトの相対速度及び位置等の情報、無線アンテナ１０５で受信されたＧＰＳの情報及び無線ネットワークに接続された他のシステムからの諸情報、現実の移動体１００Ｒ内に設置された速度計、加速度計、ジャイロなどのセンサ類（不図示）等から得られた移動体１００Ｒの情報等に基づいて構築される。
　上記のカメラ（１０１ａないし１０１ｄ）、レーダ１０３、無線アンテナ１０５及び速度計などのセンサ類（不図示）は、例示であって、その他適切な情報収集装置が利用され得る。またこれらの情報収集のための装置は、現実の移動体１００Ｒの車内又は車外の何れに設置されてもよい。
　図１（Ａ）における仮想空間１５０は、図１（Ｂ）に示される現実の移動体１００Ｒに対応する仮想移動体１００が仮想カメラ１３０の撮像方向の略中央に位置するように仮想カメラ１３０が設定されていることが望ましい。仮想カメラ１３０は、仮想カメラ１３０の仮想的な撮像系によって、仮想空間１５０を二次元画像に変換する場合に用いられる様々なパラメータを設定することができる。仮想カメラ１３０のパラメータとしては、例えば仮想カメラ１３０の仮想空間上での位置、撮像方向、焦点距離、画角等である。被写界深度は、仮想的なレンズ系の焦点の合う深度を示すパラメータであるが、本実施例の場合には、被写界深度はパンフォーカスに（すなわち、仮想カメラ１３０から何れの距離に存在する仮想的なオブジェクトに対しても焦点が合うように）設定されていることが望ましい。
　図１（Ａ）には、上記諸情報から現実の移動体１００Ｒの周辺に走行している実空間上の他の移動体及び静止物体等が認識される。実空間上の他の移動体及び静止物体等は、本発明の実施形態によって３Ｄモデルデータベースが参照され、それぞれ仮想モデルに対応付けられて仮想空間１５０内に配置される。
　図１（Ａ）の仮想空間には、トラック１１０、自動車１１２、バス１１４、路肩のポール１２０が、現実の移動体１００Ｒに対応する仮想空間内の仮想移動体１００の周囲に配置されている。仮想空間１５０内に存在するこれらの仮想的なモデルは、仮想移動体１００に対して現実の空間に存在するオブジェクトの各々に対応しており、それらと現実の移動体１００Ｒとの相対的な動きに応じて常に仮想空間１５０内を相対的に移動している。
　本実施形態では、仮想カメラ１３０の仮想的な撮像系は、常に仮想移動体１００を、画面の中央に置くように、仮想移動体１００と同じ方向に移動して、仮想撮像系が、仮想移動体１００を画面中央に置かれるように仮想移動体１００を追随するようになっていることが望ましい。なお、仮想カメラ１３０と仮想移動体１００との相対的な距離及び仮想カメラの撮像系のパラメータは、現実の移動体１００Ｒに搭乗しているオペレータ（ドライバ)の指示により自由に設定できるようになっていることが望ましい。仮想カメラ１３０の撮像する映像を、現実の移動体１００Ｒのオペレータ（ドライバ)等が見ることができるように運転席の近傍に表示装置が設置されることが望ましい。
　なお、認識された二輪車や人間なども、仮想空間に置くことができる。したがって、本実施形態においては、ドライバの運転において認識されることが必要となる現実のオブジェクトについては、仮想空間内に配置できるように、認識できるオブジェクトの網羅性を担保しておくことが望ましい。
　なお、仮想空間に現実の移動体１００Ｒに対する対向車については、図１（Ａ）に描かれていないが、対向車についても認識対象とすることが望ましい。
　図２は、一実施形態の機能ブロック図である。移動体計測部２１０は、現実の移動体１００Ｒ内に設置された速度計、加速度計、ジャイロなどのセンサ類（不図示）等からの情報を受け取る。移動体計測部２１０で得られた現実の移動体１００Ｒの情報は仮想空間構築部２５０に送られる。
　周辺オブジェクト計測部２２０は、現実の移動体１００Ｒに設置されたカメラ（１０１ａないし１０１ｄ）からの周辺の他の移動体及びオブジェクトの映像情報、レーダ１０３による周辺の他の移動体及びオブジェクトの相対速度及び位置等の情報、無線アンテナ１０５で受信されたＧＰＳの情報及び無線ネットワークに接続された他のシステムからの諸情報（道路情報、道路の設置されたカメラからの映像等）を受け取る。周辺オブジェクト計測部２２０で受け取られた情報は仮想空間構築部２５０及びオブジェクト認識部２３０に送られる。
　オブジェクト認識部２３０は、周辺オブジェクト計測部２２０で受け取られた情報を基にして、周辺に存在する他の移動体及び路上のポール等のオブジェクトを認識し、認識された結果を仮想空間構築部２５０に送る。
　仮想空間構築部２５０は、カーナビゲーションデータベース２７０から道路の形状を取得し、仮想空間１５０に道路のモデルを形成する。また、仮想空間構築部２５０は、移動体計測部２１０からの情報を基にして、現実の移動体１００Ｒに対応する仮想移動体１００を仮想空間１５０に形成された仮想的な上記の道路に位置させ、現実の移動体１００Ｒに対応する速度で仮想的な上記道路を走行させる。仮想移動体１００の三次元形状は、仮想空間構築部２５０に保存されていてもよく、或いは３Ｄモデルデータベース２４０から取得されてもよい。
　更に仮想空間構築部２５０はオブジェクト認識部２３０から得られた情報を基にして、周辺の他の移動体及びオブジェクトに対応する仮想モデルを３Ｄモデルデータベースから取得する。仮想空間構築部２５０は、得られた周辺の他の移動体及びオブジェクトに対応する仮想モデルを仮想空間に置く。仮想空間構築部２５０は、周辺の他の移動体及びオブジェクトに対応する仮想モデルを、周辺オブジェクト計測部２２０の情報を基にして、仮想モデルの各々を仮想的な道路に走行させる。
　また、仮想空間構築部２５０は、仮想空間の情報をレンダリング部２６０及びレコーダ部２８０に送る。
　レンダリング部２６０は、オペレータ（ドライバ）から指示された仮想カメラ指示情報を基にして、仮想カメラ１３０のパラメータを設定し、仮想空間１５０を撮像した情報を、レンダリング部２６０に送る。
　レンダリング部２６０は、仮想空間１５０を仮想カメラ１３０から撮像した二次元映像を生成する。生成された二次元映像は、表示装置に送られる。レンダリング部は、仮想移動体１００と相対的に移動している周辺の他の移動体に関して、前記相対速度が容易に識別できるように、周辺の移動体の残像を細切れ的に表示したり又は周辺の移動体の所定時間だけ過去の映像を、例えば過去の映像になるほど透明度を増加させて二次元画像に重畳して表示したりしてもよい。あるいは、周辺の移動体の移動状況がわかるように、周辺の移動体に軌跡（ブレ）を付加するようにしてもよい。どの程度過去の残像又は過去の他の移動体の映像までを表示させるかは、あらかじめ定めておくか、オペレータ（ドライバ)の指示に基づいて適宜変更してもよい。
　なお、自己の移動体、対向して走行する移動体、自己の移動体との相対速度の絶対値あるいは相対速度変化の絶対値が所定の値より小さい移動体、自己の移動体よりも速度が遅い移動体、又は静止しているオブジェクト等については、残像、過去の映像等を表示させないようにしたり、或いはこれらの移動体のうちの一部の移動体又はオブジェクトについて残像、過去の映像等を表示させないようにしたり、移動体又はオブジェクトの種類或いは性質に応じて、表示の効果を異ならせるようにしたりすることができる。
　レコーダ部２８０は、時々刻々と変化する仮想空間の情報をメモリ７０４又は記憶媒体７６０に蓄積する。レコーダ部に蓄積される情報は、仮想空間１５０の情報であるため、現実の走行映像を記録するドライブレコーダよりも、より圧縮された情報を記録することができる。このため、消費する記憶容量を削減することができる。また、記録された時々刻々変化する仮想空間の情報は、仮想カメラを移動させることにより、後に記録情報を再生するときに、視点を変えて仮想空間を二次元画像でディスプレイに表示させることができる。
　図３は、一実施形態における第１の表示画像の例を示す図である。図３の画像は、仮想カメラ１３０が仮想空間１５０を撮像した画像である。現在時刻における仮想移動体１００、現在時刻における周辺移動体３１０、現在時刻に路肩に存在するポール３３０が表示されている。
　図２において、残像３１２、残像３１４及び残像３１６は、周辺移動体３１０の残像の画像である。
　例えば、残像３１２は、現在時刻よりも時間ｄだけ過去の周辺移動体３１０の残像であってもよい。そして、残像３１２は、周辺移動体３１０よりも透明度をΔ％増加させた画像であってもよい。したがって、残像３１２は、周辺移動体３１０よりも透明度をΔ％増加させた画像であり、常に周辺移動体３１０よりも時間ｄだけ過去の画像であってもよい。この場合、残像３１２は仮想移動体１００よりも相対速度が速ければ、周辺移動体３１０を追随しているように見えることとなる。なお、上記の記載において、「透明度」とは、透明度１００％が完全な透明を意味し、透明度０％が完全な不透明を意味する語として用いている。
　あるいは、残像３１２は、ある時刻よりも所定の時間だけ過去の周辺移動体３１０の瞬間的な画像であって透明度をΔ％だけ増加させた画像であってもよい。すなわち、周辺移動体３１０は、所定のインターバル時間ｄで、残像を残すようにさせることとしてもよい。この場合、残像３１２は仮想移動体１００よりも相対速度が速ければ、周辺移動体３１０が、所定のインターバルｄ毎に、周辺移動体１００の静止画であって、透明度をΔ％増加させた静止画を残しながら移動しているように見えることとなる。
　残像３１４は、残像３１２よりも時間ｄだけ、過去の画像であって、更に透明度をΔ％増加させた画像であり、残像３１６は、残像３１４よりも時間ｄだけ、過去の画像であって、更に透明度をΔ％増加させた画像であってもよい。なお、透明度を増加させる値は、それぞれの残像で異なってもよい。また、残像のインターバルｄがそれぞれの残像で異なっていてもよい。なお、残像をいくつ残すかは、あらかじめ定めておいてもよい。あるいは、透明度を増加させた際に透明度が１００％以上になった場合には、残像を消すとともに、描画対象から除外してもよい。
　このように、周辺画像３１０の残像を残して、映像を生成することにより、周辺移動体３１０が、仮想移動体１００と相対的にどのような速度で移動しているかを知ることができる。
　なお、上述の説明では、仮想移動体１００の速度が変化しても、画像において静止しているように仮想カメラ１３０を移動させた場合を例に説明したが、仮想移動体１００が移動するように画像を生成してもよい。
　図３の例では、１つの仮想移動体１００のみを示したが、複数の仮想移動体を同様に表示するようにしてもよい。また、対向車をも表示させてもよい。仮想移動体３１０は、四輪車に限られず、二輪車、自転車などであってもよい。
　残像３１２、残像３１４、残像３１６は、仮想移動体１００と相対的な関係を保って表示されるようにすることが望ましい。したがって、残像は、静止している道路或いは路肩のポールとの相対的な位置関係が保たれないこととなってもよい。
　なお、静止している路肩のポール３３０は、残像を残さないように表示させることが望ましい。
　図４は、一実施形態における第１の表示画像の変形例を示す図である。
　図４におけるブレの画像３６０は、残像３１２、残像３１４及び残像３１６等にぼかしの効果を加えて、周辺移動体３１０の動きの様子を表現したものである。ブレの画像は、上述の処理以外にも多様な処理によって表現できることは言うまでもない。このような効果を表示することによって、オペレータ（ドライバ）に対して、より分かりやすい映像が提供できる。
　図５は、一実施形態における第２の表示画像の例を示す図である。　図５は、周辺移動体４１０の速度が、仮想移動体１００よりも遅いトラックの場合の例を示している。この場合には、現在時刻の周辺移動体４１０が表示されており、過去にさかのぼるにつれて、残像４１２、残像４１４、残像４１６が、周辺移動体４１０の前に表示されるようになる。なお、このトラックのように、周辺移動体４１０の速度が仮想移動体１００よりも遅い場合には、残像４１２、残像４１４及び残像４１６を表示させないようにしてもよい。このように周辺移動体４１０の速度が仮想移動体１００よりも遅い場合には、残像がトラックのフロント部分に重なるため、人間にとってトラック（周辺移動体４１０）の形状が認識しづらくなる場合がある。そのため、このような状況においては、残像を表示させないようにすることで、人間にとって、トラック（周辺移動体４１０）の移動の状況よりもトラックの形状をはっきりと認識させることができる場合がある。また、周辺移動体４１０と仮想移動体１００との相対速度の絶対値が所定の値より小さい場合には、残像の重なりが強くなり、人間にとってトラックの形状が認識しづらくなる場合がある。そのため、このような状況においては、残像を表示させないようにすることで、人間にとって、トラックの移動の状況よりもトラックの形状をはっきりと認識させることができる場合がある。
　このように、仮想移動体１００に対する周辺移動体４１０の相対速度が特定の条件を満たす場合に、周辺移動体１００の表示に与える効果を変化させるようにしてもよい。
　インターバル時間ｄ及び透明度Δ％については、図３と同様であるので、説明を省略する。
　図６は、一実施形態における周囲の移動体の残像の表示の第１のフローチャートである。以下に各ステップについて、説明する。
[ステップＳ５００]本実施形態の処理フローは、所定のインターバルで割り込みにより開始される。なお、処理の開始の契機は、割り込みに限定されるものではない。処理はステップＳ５１０に進む。
[ステップＳ５１０]ステップ５１０は、ステップＳ５２６との間に存在する各ステップの処理を、周辺のオブジェクト全てについて繰り返す。
[ステップＳ５１２]例えば、現実の移動体１００Ｒに搭載されているカメラからの映像に基づいてパターン認識により認識されたオブジェクトが、新たなものであるかが判断される。新たなものであれば（「はい」）、ステップＳ５１４に進む。既に認識済みであり、新たなものでない場合には（「いいえ」）、ステップＳ５１６に進む。
[ステップＳ５１４]新たなオブジェクトを判定し、対応する仮想モデルを特定する。認識されるべきオブジェクトが新たなものである場合には、パターン認識、機械学習の技術等を用いて、どのような車種であるか、或いはどのようなオブジェクトであるかが判定され、対応するモデルが特定される。パターン認識においては、例えば移動体であれば、ヘッドライトの位置、車体の様々なデザインなどの特徴に基づいて、その特徴に最も合致する車種を特定する。特定された車種に基づいて、３Ｄモデルデータベース２４０から、特定された車種の３Ｄモデルを検索し取得する。静止している路上のポール３３０についても特徴を抽出し、オブジェクトの認識を行い、３Ｄモデルの検索及び取得が行われる。取得された３Ｄモデルは、仮想空間を構築する際及びレンダリングの際に利用される。次にステップＳ５１６に進む。
[ステップＳ５１６]オブジェクトを判定し仮想モデルを特定する。認識された１つ以上のオブジェクトの位置に基づいて、仮想空間１５０内の適切な位置に仮想モデルを配置する。次にステップＳ５１８に進む。
[ステップＳ５１８]レコーダにおいて仮想空間を記録する。オペレータ（ドライバ）等により、仮想空間を記録することが指示されている場合には、その時刻における仮想空間をメモリ７０４又は記憶媒体７６０に記憶する。次にステップＳ５２０に進む。
[ステップＳ５２０]現在時刻から時間ｄだけ前の周辺の移動体のモデルの位置が特定される。この場合の位置とは、仮想移動体１００との相対的な位置を保持するようにすることが望ましく、静止している道路又は路肩のポール３３０との位置関係がずれてもよい。このようにすることによって、オペレータ（ドライバ）は、自己の仮想移動体１００と周辺の他の移動体との過去の位置関係を把握することができる。次にステップＳ５２２に進む。
[ステップＳ５２２] 現在時刻から時間２ｄだけ前の周辺の移動体のモデルの位置が特定される。その他の処理は、ステップＳ５２０と同様である。次にステップＳ５２４に進む。
[ステップＳ５２４] 現在時刻から時間３ｄだけ前の周辺の移動体のモデルの位置が特定される。その他の処理は、ステップＳ５２０と同様である。なお、図６に示す実施形態では、現在時刻から時間３ｄだけ前の周辺の移動体の処理だけを示したが、どれだけ過去までの移動体のモデルを処理するかは、あらかじめ定めておけばよい。したがって、実施形態の処理は、図６に限定されるものではない。次にステップＳ５２６に進む。
[ステップＳ５２６]他の未処理のオブジェクトが存在する場合には、ステップＳ５１０に戻る。他の未処理のオブジェクトが存在しなければ、ステップＳ５２８に進む。
[ステップＳ５２８]仮想空間１５０に対して、仮想カメラ１３０から撮像した二次元映像がレンダリングされる。なお、時間ｄだけ過去のモデルについては、現在時刻の周辺移動体よりも、透明度をΔ％だけ増加させ、時間２ｄだけ過去のモデルについては透明度を２Δ％だけ増加させ、時間３ｄだけ過去のモデルについては透明度を３Δ％だけ増加させてレンダリングを行って、図３に示される画像を取得することができる。なお、過去のモデルを一定のインターバルｄ毎に生成するようにした例を示したが、インターバルは一定でなくてもよい。また、透明度についても、所定の割合で透明度を増加させるのではなく、表示装置の特性などを考慮して、それぞれの過去のモデルの透明度を個別に変化させてもよい。
　以上の処理を行うことによって、図３に示されるように、現在における周辺移動体３１０の画像に追随するように、時間ｄだけ現在より過去の時刻における周辺移動体３１２が、Δ％だけ透明度を増加させて表示されるようになる。過去の周辺移動体３１４及び過去の周辺移動体３１６についてもすでに説明したとおりであるので、説明を省略する。
　図６の処理を用いることにより、過去の複数の時点における周辺移動体（３１２、３１４、３１６）が、滑らかに周辺移動体３１０に追随して移動するように映像が生成される。
　図６の処理を行うことによって、仮想移動体１００との関係で周辺移動体がどのように相対的に移動しているかを、オペレータ（ドライバ）に対して、より分かりやすく表示することができる。
　なお、図４のように、ブレを表示させるためには、過去の複数の時点における周辺移動体（３１２、３１４、３１６）をぼかして表示させるようにしてもよい。あるいは、図７に示す過去の残像をぼかして表示するようにしてもよい。なお、ブレの表現については、これらの手法に限定されるものではない。
　図７は、一実施形態における周囲の移動体の残像の表示の第２のフローチャートである。以下に各ステップについて、説明する。
[ステップＳ６００] 本実施形態の処理フローは、所定のインターバルで割り込みにより開始される。なお、処理の開始の契機は、割り込みに限定されるものではない。処理はステップＳ６１０に進む。
[ステップＳ６１０]ステップ６１０は、ステップＳ６２６との間に存在する各ステップの処理を、周辺のオブジェクト全てについて繰り返す。
[ステップＳ６１２]例えば、現実の移動体１００Ｒに搭載されているカメラからの映像に基づいてパターン認識により認識されたオブジェクトが、新たなものであるかが判断される。新たなものであれば（「はい」）、ステップＳ６１４に進む。既に認識済みであり、新たなものでない場合には、ステップＳ６１６に進む。
[ステップＳ６１４] 新たなオブジェクトを判定し、対応する仮想モデルを特定する。認識されるべきオブジェクトが新たなものである場合には、パターン認識の技術を用いて、どのような車種であるか、或いはどのようなオブジェクトであるかが判定され、対応するモデルが特定される。パターン認識においては、例えば移動体であれば、ヘッドライトの位置、車体の様々なデザインなどの特徴に基づいて、その特徴に最も合致する車種を特定する。特定された車種に基づいて、３Ｄモデルデータベースから、特定された車種の３Ｄモデルを検索し取得する。静止している路上のポール３３０についても特徴を抽出し、オブジェクトの認識を行い、３Ｄモデルの検索及び取得が行われる。取得された３Ｄモデルは、仮想空間を構築する際及びレンダリングの際に利用される。次にステップＳ６１６に進む。
[ステップＳ６１６] オブジェクトを判定し仮想モデルを特定する。認識された１つ以上のオブジェクトの位置に基づいて、仮想空間１５０内の適切な位置にモデルを配置する。次にステップＳ６１８に進む。
[ステップＳ６１８]レコーダにおいて仮想空間を記録する。オペレータにより、仮想空間を記録することが指示されている場合には、その時刻における仮想空間をメモリ７０４又は記憶媒体７６０に記憶する。次にステップＳ６２０に進む。
[ステップＳ６２０]インターバルの時間ｄ１が経過したかがチェックされる。インターバルの時間ｄ１が経過した場合（「はい」）には、インターバルの計測をゼロリセットして、ステップＳ６２２に進む。インターバルの時間ｄ１が経過していない場合（「いいえ」）には、ステップＳ６２４に進む。
[ステップＳ６２２] 周辺の移動体については現在時刻のモデルの描画を残像として残す。ステップＳ６２２に進む。このステップによって、残像は、インターバルの時間ｄ１毎に順次複数個生成されることになる。
[ステップＳ６２４] 複数の残像の各々の透明度をΔ％増加させる。透明度が１００％以上になった残像は描画対象から除外してもよい。残像は、仮想移動体１００との位置関係を維持することが望ましい。なお、透明度が１００％以上にならなくても、所定の時間だけ過去の残像は描画対象から除外するようにしてもよい。なお、レンダリングは、ステップＳ６２８においてまとめて行うことができる。ステップＳ６２６に進む。
[ステップＳ６２６] 他の未処理のオブジェクトが存在する場合には、ステップＳ６１０に戻る。他の未処理のオブジェクトが存在しなければ、ステップＳ６２８に進む。
[ステップＳ６２８] 仮想空間１５０に対して、仮想カメラ１３０から撮像した二次元映像がレンダリングされる。なお、時間ｄ１だけ過去の残像については透明度をΔ％だけ増加させ、時間２ｄだけ過去の残像については透明度を２Δ％だけ増加させ、時間３ｄだけ過去の残像については透明度を３Δ％だけ増加させてレンダリングを行って、図３に示される画像を取得することができる。なお、残像を一定のインターバルｄ１毎に生成する例を示したが、インターバルは一定でなくてもよい。また、透明度についても、所定の割合で透明度を増加させるのではなく、表示装置の特性などを考慮して、それぞれの過去のモデルの透明度を個別に変化させてもよい。
　以上の処理を行うことによって、図３に示されるように、現在における周辺移動体３１０の画像が、複数の残像を残すように、時間ｄ１だけ隔てて、順にΔ％だけ透明度を更に増加させて表示されるようになる。
　図７の処理を用いることにより、周辺移動体３１２の残像（３１２、３１４、３１６）が、インターバル時間ｄ１毎に生成される。
　図７の処理を行うことによって、仮想移動体１００との関係で周辺移動体がどのように相対的に移動しているかを、オペレータ（ドライバ）に対して、より分かりやすく表示することができる。
　＜ハードウエア構成＞　
　図８は、一実施形態のハードウエア構成７００を示す図である。
　ハードウエア構成７００は、ＣＰＵ７０２、メモリ７０４、通信制御装置７０６、入力インタフェース７０８、表示制御部７１０、外部メモリ制御部７１２及び出力インタフェース７１４を有する。
　そして、通信制御装置７０６には、インターネット、ＣＡＮ７３１（コントローラエリアネットワーク）などのネットワークが接続される。入力インタフェース７０８には、タッチ感知センサ７４０、ＧＰＳ７４２、カメラ７４４などが接続される。表示制御部７１０には、ディスプレイ７５０が接続される。外部メモリ制御部７１２は、記憶媒体７６０を読み書きすることができる。出力インタフェースには、スピーカ７７０などが接続される。
　記憶媒体７６０は、ＲＡＭ、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、メモリーカード等であってもよい。
　以上説明した実施形態のプログラムは、ハードウエア構成７００を備えるコンピュータにより実行され得る。また，実施形態のプログラムは，コンピュータに実行させる方法として，インプリメントされてもよい。本実施形態のプログラムの一部又は全部は、オペレーティングシステムにより実行されてもよい。また、プログラムの一部がハードウエアにより実現されてもよい。プログラムは記憶媒体７６０又はメモリ７０４に記憶されてもよい。
　なお，上述の実施形態において，プログラムのステップは、矛盾のない限り，同時に，又は順序を入れ替えて実行されてもよい。
　以上の実施形態は，ハードウエアの装置としてインプリメントされ得る。　以上の実施形態は，請求項に記載された発明を限定するものではなく，例示として取り扱われることは言うまでもない。
２１０　移動体計測部
２２０　周辺オブジェクト計測部
２３０　オブジェクト認識部
２４０　３Ｄモデルデータベース
２５０　仮想空間構築部
２６０　レンダリング部
２７０　カーナビゲーションデータベース
２８０　レコーダ部

Claims (7)

  1. 　自己の移動体の位置及び速度を含む自己の移動体の走行状態に関する情報を取得する走行状態取得部と、
    　自己の移動体の周辺に存在する他の移動体及び走行路の形状を含む複数のオブジェクトに関する情報を取得するオブジェクト情報取得部と、
    　前記走行状態取得部及び前記オブジェクト情報取得部から得られた情報から、少なくとも、前記自己の移動体及び前記複数のオブジェクトの各々に対して仮想モデルを対応付けて三次元空間の中に配置することで、仮想空間を構築する仮想空間構築部と、
    　前記仮想空間に配置された仮想的なカメラから前記仮想空間を撮像した二次元映像を生成し表示画面に出力する二次元映像生成部と、
    　を有し、
    　前記二次元映像生成部は、前記自己の移動体との相対的な速度に応じて、二次元映像における前記複数のオブジェクトの各々に対応する仮想モデルの表示に所定の効果を加えて前記二次元映像を生成する、
    　移動体位置情報認識表示装置。
  2. 　前記効果は、離散的に表示される残像であって、時間の経過と共に透明度が増加する残像である、請求項１に記載の移動体位置情報認識表示装置。
  3. 　前記残像は、現在の時刻よりも所定時間だけ前の時刻のモデルの映像であって、前記所定の時間が大きいほど、モデルの映像の透明度が増加している、請求項２に記載の移動体位置情報認識表示装置。
  4. 　前記効果は、軌跡である、請求項１に記載の移動体位置情報認識表示装置。
  5. 　前記自己の移動体に対向して走行するオブジェクト、前記自己の移動体との相対速度の絶対値あるいは相対速度変化の絶対値が所定の値より小さいオブジェクト、前記自己の移動体よりも速度が遅いオブジェクト、又は静止しているオブジェクトに対応するモデルには、前記効果を加えない、請求項１ないし４のうちいずれか１項記載の移動体位置情報認識表示装置。
  6. 　前記仮想空間又は前記二次元映像を記録する記録部、
    　を更に有する請求項１ないし５のうちいずれか１項記載の移動体位置情報認識表示装置。
  7. 　自己の移動体の位置及び速度を含む自己の移動体の走行状態に関する情報を取得する走行状態取得ステップと、
    　自己の移動体の周辺に存在する他の移動体及び走行路の形状を含む複数のオブジェクトに関する情報を取得するオブジェクト情報取得ステップと、
    　前記走行状態取得ステップ及び前記オブジェクト情報取得ステップから得られた情報から、少なくとも、前記自己の移動体及び前記複数のオブジェクトの各々に対して仮想モデルを対応付けて三次元空間の中に配置することで、仮想空間を構築する仮想空間構築ステップと、
    　前記仮想空間に配置された仮想的なカメラから前記仮想空間を撮像した二次元映像を生成し表示画面に出力する二次元映像生成ステップと、
    　をコンピュータに実行させるプログラムであって、
    　前記二次元映像生成ステップは、前記自己の移動体との相対的な速度に応じて、二次元映像における前記複数のオブジェクトの各々に対応する仮想モデルの表示に所定の効果を加えて前記二次元映像を生成する、
    　移動体位置情報認識表示プログラム。
PCT/JP2018/036758 2017-10-02 2018-10-01 移動体用画像生成記録表示装置及びプログラム Ceased WO2019069875A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18864949.5A EP3693930A4 (en) 2017-10-02 2018-10-01 IMAGE GENERATION / RECORDING / DISPLAY DEVICE FOR MOVING BODIES AND PROGRAM
KR1020207012744A KR102349915B1 (ko) 2017-10-02 2018-10-01 이동체용 이미지 생성 기록 표시 장치 및 프로그램
CN201880064353.4A CN111164652B (zh) 2017-10-02 2018-10-01 移动体图像生成记录显示装置和程序产品
US16/837,981 US10896542B2 (en) 2017-10-02 2020-04-01 Moving body image generation recording display device and program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-192431 2017-10-02
JP2017192431A JP6543313B2 (ja) 2017-10-02 2017-10-02 移動体用画像生成記録表示装置及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/837,981 Continuation US10896542B2 (en) 2017-10-02 2020-04-01 Moving body image generation recording display device and program product

Publications (1)

Publication Number Publication Date
WO2019069875A1 true WO2019069875A1 (ja) 2019-04-11

Family

ID=65995397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/036758 Ceased WO2019069875A1 (ja) 2017-10-02 2018-10-01 移動体用画像生成記録表示装置及びプログラム

Country Status (6)

Country Link
US (1) US10896542B2 (ja)
EP (1) EP3693930A4 (ja)
JP (1) JP6543313B2 (ja)
KR (1) KR102349915B1 (ja)
CN (1) CN111164652B (ja)
WO (1) WO2019069875A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708594A (zh) * 2019-09-26 2020-01-17 三星电子（中国）研发中心 一种内容影像的生成方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095465A (ja) * 2018-12-12 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
PT3912089T (pt) * 2019-02-28 2025-07-21 Stats Llc Sistema e método para a reidentificação de jogadores em transmissões de vídeo
CN113989101B (zh) * 2021-09-30 2025-05-02 北京新氧科技有限公司 一种3d图片到2d图片的转化方法、装置、电子设备及存储介质
CN114520875B (zh) * 2022-01-28 2024-04-02 西安维沃软件技术有限公司 视频处理方法、装置及电子设备
JP7364269B2 (ja) * 2022-03-15 2023-10-18 Ｎｅｃプラットフォームズ株式会社 物体検知装置、画像処理表示方法及びプログラム
EP4495725A4 (en) * 2022-03-15 2026-04-08 Omron Tateisi Electronics Co AERIAL VIEW DATA GENERATION DEVICE, LEARNING DEVICE, AERIAL VIEW DATA GENERATION PROGRAM, AERIAL VIEW DATA GENERATION METHOD AND ROBOT
JP7438515B2 (ja) * 2022-03-15 2024-02-27 オムロン株式会社 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
US20250285381A1 (en) * 2024-03-07 2025-09-11 GM Global Technology Operations LLC Human-centric vehicular metaverse platform for road-side ar/vr content delivery

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250396A (ja) 1998-02-27 1999-09-17 Hitachi Ltd 車両位置情報表示装置および方法
JPH11339192A (ja) * 1998-05-25 1999-12-10 Hitachi Ltd 車両用表示装置
JP2002278662A (ja) * 2001-03-22 2002-09-27 Namco Ltd ゲーム装置、ゲーム処理用プログラム、およびそのプログラムを記録した記録媒体
JP2003216981A (ja) 2002-01-25 2003-07-31 Iwane Kenkyusho:Kk 自動作業システム
JP2006107521A (ja) 2005-10-17 2006-04-20 Denso Corp 移動体用通信装置
JP2011182059A (ja) 2010-02-26 2011-09-15 Mitsubishi Motors Corp 車両周辺監視装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1183494C (zh) * 1997-11-25 2005-01-05 世嘉股份有限公司 图象生成装置
JP3059956B2 (ja) * 1998-03-19 2000-07-04 コナミ株式会社 画像作成装置、画像作成方法及び画像作成プログラムが記録された可読記録媒体
CN1170284C (zh) * 1998-03-20 2004-10-06 西铁城时计株式会社 磁记录装置
JP3442736B2 (ja) * 2000-11-30 2003-09-02 コナミ株式会社 画像処理装置、画像処理方法及び情報記憶媒体
WO2005088970A1 (ja) 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP3769287B2 (ja) * 2004-09-09 2006-04-19 コナミ株式会社 画像生成装置、荷重表示方法、ならびに、プログラム
JP2006092156A (ja) * 2004-09-22 2006-04-06 Namco Ltd プログラム、情報記憶媒体及び画像生成装置
JP4534922B2 (ja) * 2005-09-16 2010-09-01 株式会社デンソー 仮想先行車画像表示システム
GB0807953D0 (en) * 2008-05-01 2008-06-11 Ying Ind Ltd Improvements in motion pictures
JP5681569B2 (ja) 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
DE112013002354T5 (de) * 2012-05-07 2015-04-16 Honda Motor Co., Ltd. Verfahren zum Erzeugen virtueller Anzeigeflächen aus Videobildern einer straßenbasierten Landschaft
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
DE102014219575A1 (de) * 2013-09-30 2015-07-23 Honda Motor Co., Ltd. Verbesserte 3-Dimensionale (3-D) Navigation
US20150104757A1 (en) * 2013-10-15 2015-04-16 Mbfarr, Llc Driving assessment and training method and apparatus
US10321117B2 (en) * 2014-04-11 2019-06-11 Lucasfilm Entertainment Company Ltd. Motion-controlled body capture and reconstruction
WO2016092591A1 (ja) * 2014-12-09 2016-06-16 三菱電機株式会社 衝突リスク算出装置、衝突リスク表示装置、車体制御装置
JP6372402B2 (ja) * 2015-03-16 2018-08-15 株式会社デンソー 画像生成装置
KR101750159B1 (ko) * 2015-07-01 2017-06-22 엘지전자 주식회사 차량 주행 보조 장치, 이의 동작 방법, 및 이를 포함하는 차량

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250396A (ja) 1998-02-27 1999-09-17 Hitachi Ltd 車両位置情報表示装置および方法
JPH11339192A (ja) * 1998-05-25 1999-12-10 Hitachi Ltd 車両用表示装置
JP2002278662A (ja) * 2001-03-22 2002-09-27 Namco Ltd ゲーム装置、ゲーム処理用プログラム、およびそのプログラムを記録した記録媒体
JP2003216981A (ja) 2002-01-25 2003-07-31 Iwane Kenkyusho:Kk 自動作業システム
JP2006107521A (ja) 2005-10-17 2006-04-20 Denso Corp 移動体用通信装置
JP2011182059A (ja) 2010-02-26 2011-09-15 Mitsubishi Motors Corp 車両周辺監視装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708594A (zh) * 2019-09-26 2020-01-17 三星电子（中国）研发中心 一种内容影像的生成方法及系统

Also Published As

Publication number Publication date
US20200234497A1 (en) 2020-07-23
CN111164652B (zh) 2023-12-08
EP3693930A4 (en) 2021-06-30
CN111164652A (zh) 2020-05-15
JP6543313B2 (ja) 2019-07-10
EP3693930A1 (en) 2020-08-12
KR20200054322A (ko) 2020-05-19
US10896542B2 (en) 2021-01-19
JP2019067174A (ja) 2019-04-25
KR102349915B1 (ko) 2022-01-10

Similar Documents

Publication Publication Date Title
JP6543313B2 (ja) 移動体用画像生成記録表示装置及びプログラム
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
US12017663B2 (en) Sensor aggregation framework for autonomous driving vehicles
JP7052174B2 (ja) 将来経路を推定するシステム及び方法
EP3942794B1 (en) Depth-guided video inpainting for autonomous driving
JP5182042B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
US11328219B2 (en) System and method for training a machine learning model deployed on a simulation platform
US11016500B2 (en) Simulation-based method to evaluate perception requirement for autonomous driving vehicles
EP3583380B1 (en) Shape estimating apparatus
JP6095985B2 (ja) 再生装置、再生システム、再生方法及びプログラム
US20190325597A1 (en) Simultaneous Localization And Mapping Constraints In Generative Adversarial Networks For Monocular Depth Estimation
US10860868B2 (en) Lane post-processing in an autonomous driving vehicle
KR20180049040A (ko) 자율 주행 차량의 주행 결정을 위한 주변 환경 구성 방법 및 시스템
JP6697115B2 (ja) 移動体用画像生成記録表示装置及びプログラム
JP7077726B2 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
KR102511539B1 (ko) 영상 기반 차량 주행 시뮬레이션 시스템 및 방법
JP6080735B2 (ja) 運転支援装置
CN119904841A (zh) 图像处理方法、装置、电子设备及车辆
CN112669335B (zh) 车辆感知方法、装置、电子设备以及机器可读存储介质
CN121009663A (zh) 一种仿真数据生成方法、装置和设备
CN117036403A (zh) 图像处理方法、装置、电子设备和存储介质
CN112805200B (zh) 交通场景的快照图像
CN121686409A (zh) 障碍物轨迹预测方法、存储介质、程序产品及车载设备
CN120702461A (zh) 一种路径推荐方法、装置以及车辆

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18864949

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20207012744

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018864949

Country of ref document: EP

Effective date: 20200504

WWW Wipo information: withdrawn in national office

Ref document number: 2018864949

Country of ref document: EP