WO2007129582A1 - 車両周辺画像提供装置及び車両周辺画像提供方法 - Google Patents

車両周辺画像提供装置及び車両周辺画像提供方法 Download PDF

Info

Publication number
WO2007129582A1
WO2007129582A1 PCT/JP2007/058961 JP2007058961W WO2007129582A1 WO 2007129582 A1 WO2007129582 A1 WO 2007129582A1 JP 2007058961 W JP2007058961 W JP 2007058961W WO 2007129582 A1 WO2007129582 A1 WO 2007129582A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
edge
coordinate
dimensional object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2007/058961
Other languages
English (en)
French (fr)
Inventor
Masayasu Suzuki
Takeshi Akatsuka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to CN2007800166895A priority Critical patent/CN101438590B/zh
Priority to US12/298,837 priority patent/US8243994B2/en
Priority to JP2008514434A priority patent/JP4956799B2/ja
Priority to EP07742396.0A priority patent/EP2018066B1/en
Publication of WO2007129582A1 publication Critical patent/WO2007129582A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to a vehicle surrounding image providing apparatus and a vehicle surrounding image providing method.
  • a vehicle periphery image providing device that captures images of a vehicle periphery with a plurality of cameras, generates an image as if the vehicle was viewed from a virtual viewpoint by performing coordinate conversion on the obtained image, and presents the image to the driver. It has been known.
  • Such a vehicle peripheral image providing device provides the driver with a bird's-eye view image that generates a large number of bird's-eye view images using the reference plane for coordinate conversion as the ground, and thus the position of the white line on the ground and the vehicle's position. The relationship is made to be recognized objectively by the driver, and parking driving and width driving are supported (for example, see Patent Document 1).
  • the present invention has been made to solve such a conventional problem, and its purpose is to eliminate difficulty in seeing joint portions of a plurality of images while maintaining the safety of the driver.
  • An object of the present invention is to provide a vehicle surrounding image providing apparatus and a vehicle surrounding image providing method.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2003-169323
  • the vehicle periphery image providing device provides a driver with an image of the vehicle periphery.
  • This vehicle periphery image providing device includes a plurality of photographing means, image processing means, edge detection means, determination means, and image processing means.
  • the plurality of photographing means image the periphery of the vehicle and each image in a different direction.
  • Image processing The processing unit generates a coordinate conversion image by performing coordinate conversion on each of the images around the vehicle captured by a plurality of imaging units using the ground as a reference plane, and generates an overhead image by combining the generated coordinate conversion images.
  • the edge detection means performs edge detection on the bird's-eye view image generated by the image processing means.
  • the determination means determines the continuity of the edge lines that cross the joints of the coordinate conversion image among the edge lines detected by the edge detection means.
  • the image processing means brings the edge line on the far side from the own vehicle closer to the own vehicle! Image processing is performed continuously at the joint.
  • the edge line straddling the joint of the coordinate conversion image is discontinuous, it is far from the own vehicle !, the side edge line is close to the own vehicle !, and the edge line is aligned with the side edge line. Is made to be continuous at the joint. That is, according to the present invention, correction is performed by using image processing to provide continuity to the edge line at the joint of the image, and the amount of deviation between the actual position and the position on the image is determined by looking at the vehicle power. Relatively small! Close to your vehicle! Match other edge lines to the side edge line. Therefore, according to the present invention, it is possible to eliminate difficulty in seeing the joint portions of a plurality of images while maintaining the driver's safety.
  • FIG. 1 is a configuration diagram of a vehicle periphery image providing apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of an overhead image obtained by coordinate conversion of the image conversion unit shown in FIG.
  • FIG. 3 is a diagram showing details of the edge detection function of the image detection unit shown in FIG. 1, and shows an example of an overhead image.
  • FIG. 4 is a diagram showing the principle of three-dimensional judgment by the three-dimensional judgment function of the image detection unit shown in FIG. 1.
  • (a) shows the principle of judgment of a three-dimensional object with ground force
  • (b) shows three-dimensional objects existing in the air. It shows the principle of judging things.
  • FIG. 5 is a flowchart showing a detailed operation of the vehicle periphery image providing apparatus according to the first embodiment.
  • FIG. 6 is a diagram showing a three-dimensional object detected by the process of step ST2 shown in FIG.
  • FIG. 7 is a flowchart showing details of the first image correction process (ST5) shown in FIG.
  • FIG. 8 is a diagram showing details of the process of step ST52 shown in FIG. 7, (a) shows an image before the process of step ST52, and (b) is a diagram when executing the process of step ST52. An image is shown, and (c) shows an image after the processing of step ST52 is executed.
  • FIG. 9 is a diagram showing details of the processing of step ST53 and step ST54 shown in FIG. 7, (a) shows an image before the processing of step ST53, and (b) executes the processing of step ST53. (C) shows the image after execution of the process of step ST54.
  • FIG. 10 is a flowchart showing details of the second image correction process (ST7) shown in FIG.
  • FIG. 11 is a diagram showing details of the flowchart shown in FIG. 10, where (a) is an image of the guardrail before executing the process shown in FIG. 10, and (b) is the process of step ST71. (C) is the first image of the guardrail after the processing of step ST71, and (d) is the second image of the guardrail after the processing of step ST71. It is an image.
  • FIG. 12 is a diagram showing a state of the third image correction process, (a) showing an image image before the third image correction process, and (b) showing an image image after the third image correction process. .
  • FIG. 13 is a flowchart showing details of the third image correction process (ST8) shown in FIG. 5.
  • FIG. 14 is a diagram showing details of the flowchart shown in FIG. 13, wherein (a) is an image image showing details of step ST81, and (b) is an image of another vehicle after the processing of step ST82 is executed. (C) is an image of another vehicle after the process of step ST84 is executed.
  • FIG. 15 is a view showing an overhead image after the processing shown in FIG. 5 is executed, (a) shows an example of the first overhead image, and (b) shows an example of the second overhead image. ing.
  • FIG. 16 A diagram illustrating a modification of the vehicle periphery image providing device according to the first embodiment, wherein (a) shows the principle of obtaining the thickness of a three-dimensional object, and (b) is a correction process corresponding to the thickness. ⁇ An example of an eye view image is shown.
  • FIG. 17 is a diagram for explaining the processing of the vehicle periphery image providing apparatus according to the second embodiment, and is for explaining the processing that is executed in place of the processing of step ST3 shown in FIG.
  • FIG. 18 is a first diagram showing an edge detection method of the vehicle periphery image providing device according to the second embodiment.
  • FIG. 19 is a second diagram showing an edge detection method of the vehicle periphery image providing device according to the second embodiment.
  • FIG. 1 is a configuration diagram of a vehicle periphery image providing apparatus according to the first embodiment of the present invention.
  • the vehicle periphery image providing device 1 provides a driver with images around the vehicle, and includes a plurality of camera modules 10, a vehicle speed sensor 20, a steering angle.
  • a sensor 30, a shift signal sensor 40, an image processing device 50, a monitor 60, and a speaker 70 are provided.
  • the plurality of camera modules 10 are used for photographing the periphery of the host vehicle, and for example, a CCD camera or a CMOS camera is used. As shown in FIG. 1, the camera module 10 is composed of two parts, a first camera module 10a and a second camera module 10b, each of which captures image data obtained by imaging in different directions. It is configured to send to 50. Note that the camera module 10 is not limited to two, and at least two camera modules 10 may be provided.
  • the vehicle speed sensor 20 detects the vehicle speed of the host vehicle.
  • the steering angle sensor 30 detects the steering angle of the host vehicle.
  • the shift signal sensor 40 detects the shift position (gear position) of the host vehicle.
  • the image processing device 50 processes an image around the vehicle taken by the camera module 10, and includes a first input buffer 51a, a second input buffer 51b, a table storage unit 52, and an image conversion unit. 53, image detector 54, CPU55, output buffer 56 [0013]
  • the first input buffer 51a receives and stores image data from the first camera module 10a.
  • the second input buffer 51b receives and stores image data from the second camera module 10b.
  • the table storage unit 52 stores an address conversion table for performing coordinate conversion of an image around the vehicle taken by the camera module 10 using the ground as a reference plane.
  • the image conversion unit 53 uses the address conversion table stored in the table storage unit 52 to generate a coordinate conversion image by performing coordinate conversion on each of the images around the vehicle photographed by the plurality of camera modules 10. .
  • the image conversion unit 53 combines the generated coordinate conversion images to generate an overhead image that looks like the aerodynamic force of the host vehicle.
  • FIG. 2 is a diagram showing an example of an overhead image obtained by coordinate conversion of the image conversion unit 53 shown in FIG.
  • one camera module 10 is provided at each of the front, both sides, and the rear of the vehicle so that four directions can be photographed.
  • the front image 101 is obtained by the camera module 10 on the front side.
  • the front image 101 shows a vehicle body 101a of the host vehicle and a front parking frame 101b.
  • the rear image 102 is obtained by the camera module 10 on the rear side.
  • the rear image 102 shows the vehicle body 102a of the host vehicle and the front parking frame 102b.
  • the right side image 103 is obtained by the right side camera module 10
  • the left side image 104 is obtained by the left side camera module 10.
  • the right side image 103 shows the vehicle body 103a of the host vehicle and the front parking frame 103b
  • the left side image 104 shows the vehicle body 104a of the host vehicle and the front parking frame 104b! .
  • the image conversion unit 53 performs coordinate conversion on each of the images 101 to 104 based on the address conversion table stored in the table storage unit 52. That is, the image conversion unit 5 generates a coordinate conversion image 201 in which the front image 101 is coordinate-transformed and the front side of the host vehicle is viewed from above, and similarly, the rear side of the host vehicle is viewed from the rear side from the rear image 102. A coordinate conversion image 202 is generated. In addition, a coordinate conversion image 203 is generated from the right side image 103 when the right side of the vehicle is viewed from above, and the left side of the vehicle is viewed from the sky from the left side image 104. A coordinate conversion image 204 is generated.
  • the image conversion unit 53 synthesizes the generated coordinate conversion images 201 to 204, and generates an overhead image 205 in which the periphery of the host vehicle is viewed from above. Note that the image conversion unit 53 places the object 206 of the host vehicle in the center of the overhead image 205.
  • the image detection unit 54 has an edge detection function and a three-dimensional determination function.
  • the edge detection function is a function for performing edge detection on the overhead view image generated by the image conversion unit 53. In this edge detection function, color information or brightness information power edge detection of each pixel on the bird's-eye view image is performed.
  • FIG. 3 is a diagram showing details of the edge detection function of the image detection unit 54 shown in FIG. 1, and shows an example of an overhead image.
  • a wall 301, a pole 302, and a curb 303 are reflected.
  • the curbstone 303 is also reflected in the coordinate conversion image 203 on the right side.
  • a white line 304, a guardrail 305, and another vehicle 306 are shown in the coordinate conversion image 202 on the rear side.
  • the guardrail 305 is also reflected in the coordinate conversion image 203 on the right side
  • the white line 304 and the other vehicle 306 are also reflected in the coordinate conversion image 204 on the left side.
  • the edge detection function performs edge detection for the overhead image 205 as shown in FIG.
  • the curbstone 303, the guardrail 305, and the other vehicle 306 are misaligned at the joints a to d in the overhead image 205! /.
  • the three-dimensional judgment function is a function for judging the presence and type of a three-dimensional object based on the edge state detected by the edge detection function. More specifically, the presence of a three-dimensional object is detected and the type is determined based on the state of edge shift detected by the edge detection function.
  • Fig. 4 is a diagram showing the principle of three-dimensional judgment by the three-dimensional judgment function of the image detection unit 54 shown in Fig. 1, (a) shows the principle of judgment of a three-dimensional object that also has ground force, and (b) Shows the principle of judgment of the standing object.
  • the installation location is restricted. This makes it difficult to install a plurality of camera modules 10 at the same height. As a result, the plurality of camera modules 10 can Each will have a different height.
  • the first camera module 10a is installed above the second camera module 10b.
  • the three-dimensional object existing from the ground for example, the curbstone 303
  • each of the camera modules 10a and 10b recognizes the lower end position of the curb 303 as a point 303-1, but the upper end position is recognized differently.
  • the first camera module 10a recognizes the upper end position of the curb 303 as the point 302-2 where the line 1 connecting the self 10a and the upper end position of the curb 303 contacts the ground.
  • the second camera module 10b recognizes the upper end position of the curb 303 as a point 3 03-3 where the line 2 connecting the self 10b and the upper end position of the curb 303 is in contact with the ground.
  • the curbstone 303 is displaced at the edge as shown in FIG. 3 at the joint a of the overhead image 205. End up. That is, as shown in Fig. 4 (a), the curb 303 is represented as an object at a distance L1 from the point 303-1 to the point 302-2 in one coordinate transformation image, and the curb stone in the other coordinate transformation image. 303 is represented as an object with distance L2 (> L1) from point 303-1 to point 303-3. And since each coordinate conversion image is synthesize
  • a three-dimensional object existing in the air for example, a guardrail 305
  • the camera modules 10a and 10b have different recognition of the lower end position and the upper end position of the guard rail 305.
  • the first camera module 10a recognizes the lower end position of the guard rail 305 as the point 305-1 where the line 1 connecting itself 10a and the lower end position of the guard rail 305 is in contact with the ground. It is recognized that the line 2 connecting 10a and the upper end position of the guardrail 305 is a point 305-2 that contacts the ground.
  • the second camera module 10b recognizes the lower end position of the guard rail 305 as the point 305-3 where the line 3 connecting the self 10b and the lower end position of the guard rail 305 contacts the ground.
  • the top position of the self 10b and the top position of the guardrail 305 Recognize that the connecting line 4 is the point 305-4 where it touches the ground.
  • the guard rail 305 is shifted at the edge as shown in Fig. 3 at the joint b of the overhead image 205. End up. That is, as shown in FIG. 4 (a), the guardrail 305 is represented as an object at a distance L3 from point 305-1 to point 305-2 in one coordinate transformation image, and the guardrail 305 is represented in the other coordinate transformation image. Is represented as an object with distance L4 (> L3) from point 305-3 to point 305-4. Since the images are combined in such a state, the edges of the two images are shifted at the joint of the overhead image 205.
  • the three-dimensional determination function is the state of the edge across the joints a to d of the overhead image 205 by combining the coordinate conversion images 201 to 204 among the edges detected by the edge detection function. From this, it is determined whether or not the edge is a three-dimensional object. Furthermore, when the solid object judgment function determines that the edge is of a three-dimensional object, the three-dimensional object has a force with which ground force exists due to the difference shown in Figs. 4 (a) and (b). It is judged whether it exists in the air or a mixture of both.
  • the CPU 55 controls the entire image processing apparatus 50, and controls the image conversion unit 53 and the image detection unit 54.
  • the ASIC Application Specinc Integrated Circuit
  • LSI Large Scale Integrated circuit
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • the output buffer 56 stores the bird's-eye view image that has undergone coordinate conversion by the image conversion unit 53.
  • the output buffer 56 is configured to output the stored overhead image information to the monitor 60.
  • the monitor 60 displays an overhead image obtained by coordinate conversion.
  • the monitor 60 is configured to highlight the solid object when the image detection unit 54 determines that the edges at the joints a to d are those of the solid object.
  • the monitor 60 for example, superimposes the overlay image on the three-dimensional object on the overhead image, and displays the three-dimensional object with emphasis.
  • the speaker 70 has a solid edge at the joints a to d by the image detection unit 54. If it is determined that the three-dimensional object is present, the driver is notified of the presence of the solid object with a predetermined voice. Specifically, the speaker 70 notifies the driver of the presence of a three-dimensional object with a beep sound such as “beep, beep, beep” or a conversation sound such as “There is an obstacle on the left side”.
  • a beep sound such as “beep, beep, beep”
  • a conversation sound such as “There is an obstacle on the left side”.
  • the plurality of camera modules 10 shoot around the host vehicle.
  • the image conversion unit 53 generates a plurality of coordinate conversion images by performing coordinate conversion on the image captured by the camera module 10, and creates an overhead image by combining the generated coordinate conversion images.
  • the image detection unit 54 performs edge detection on the overhead image 205 by the edge detection function. After performing edge detection, the image detection unit 54 extracts edges that cross the joints a to d. Next, the image detection unit 54 extracts an edge having a shift among the edges straddling the joints a to d. In other words, the image detection unit 54 determines whether or not the edge is a three-dimensional object by extracting the edge having a gap among the edges crossing the joints a to d.
  • the image detection unit 54 determines whether or not the extracted edges, that is, the edges of the three-dimensional object, are the same object. Since the edges of different three-dimensional objects may be represented by the overhead image 205 so as to cross the joints a to d by chance, the image detection unit 54 determines whether or not the same object is present. At this time, the image detection unit 54 extracts the coordinate conversion images 201 to 204 that form the joints a to d where the edges straddle, and the brightness or color of the three-dimensional object in the coordinate conversion images 201 to 204 is extracted. The information is compared to determine whether the three-dimensional objects in the coordinate conversion images 201 to 204 are the same object.
  • the image detection unit 54 determines whether the three-dimensional object is present from the ground, the one existing in the air, or a mixture of both. .
  • the image detection unit 54 determines these types based on the following.
  • the image detection unit 54 determines that the edge straddling the joints a to d is that of a three-dimensional object
  • the image detection unit 54 uses the three-dimensional object to approach the edge of the side closer to the vehicle for each coordinate conversion image.
  • the image detection unit 54 uses the three-dimensional object to approach the edge of the side closer to the vehicle for each coordinate conversion image.
  • the solid object also has ground force.
  • the image detection unit 54 determines that the edges at the joints a to d are those of a three-dimensional object, the edge closer to the vehicle power for each coordinate conversion image of the three-dimensional object is a joint a It is determined that a three-dimensional object is present in the air when it is not continuous and is a straight line or a curve that is not continuous and is near the vehicle and has no refraction point.
  • the image detection unit 54 determines that the three-dimensional object exists in the air in the above case.
  • the image detection unit 54 determines that the edges at the joints a to d are those of a three-dimensional object, the edge on the side closer to the vehicle power for each coordinate conversion image for the three-dimensional object is a joint a
  • a mixture of both a solid object with ground force and an object in the air It is determined that it is what is to be (hereinafter referred to as a mixture).
  • the image conversion unit 53 corrects the overhead image 205 according to the type of the solid object. At this time, the image conversion unit 53 corrects the image so as to eliminate the edge shift across the joints a to d. Further, the monitor 60 highlights the solid object, and the speaker 70 notifies the driver of the presence of the three-dimensional object with a predetermined voice.
  • FIG. 5 is a flowchart showing a detailed operation of the vehicle periphery image providing apparatus 1 according to the first embodiment.
  • the image detection unit 54 performs edge detection on the overhead image 205 as shown in FIG. 5 (ST1).
  • edge detection it is also possible to perform edge detection on images taken by each camera module 10 and to convert the coordinates of these images.
  • the image detection unit 54 detects edges (edges where misalignment occurs) without continuing the joints a to d (ST2). Thereby, the image detection unit 54 detects a three-dimensional object.
  • FIG. 6 is a diagram showing a three-dimensional object detected by the process of step ST2 shown in FIG.
  • the process of step ST2 is detected.
  • the curb 303, the guard, the Lenore 305, and the other vehicle 306 are detected.
  • the wall 301 and the poinole 302 do not straddle the joints a to d, and thus are not detected in the process of step ST2, and the white line 304 is the joint c.
  • the force that straddles the edge is misaligned, so it is detected in step ST2!
  • the image detection unit 54 designates one of the three-dimensional objects. That is, in the example of FIG. 6, the image detection unit 54 selects any one of the curb 303, the guardrail 305, and the other vehicle 306, and performs subsequent steps ST3 to S. The process of T9 will be executed.
  • the image detection unit 54 After selecting any one of the three-dimensional objects, the image detection unit 54 compares the luminance or color information of the three-dimensional object in the coordinate conversion images 201 to 204 spanned by the three-dimensional object. It is determined whether or not the solid objects in the coordinate conversion images 201 to 204 are the same object (ST3). As a result, even if the edges of different three-dimensional objects are accidentally represented in the overhead image 205 so as to cross the joints a to d, it is possible to prevent the different three-dimensional objects from being determined as the same object.
  • step ST3: NO the process proceeds to step ST9.
  • the image detecting unit 54 is close to the own vehicle and the side edge is close to the three-dimensional object. It is determined whether or not they are continuous (ST4).
  • the image detection unit 54 determines that the three-dimensional object also has ground force. . That is, like the curbstone 303 shown in FIG. 6, since the edges 303a and 303b on the side close to the host vehicle are continuous while being a three-dimensional object, it is determined that the three-dimensional object also has ground force.
  • the image conversion unit 53 executes a first image correction process and corrects the overhead image (ST 5). Then, the process proceeds to step ST9.
  • the image detection unit 54 makes a straight line with no refraction point at each edge close to the host vehicle for the three-dimensional object. Alternatively, it is determined whether the curve is correct (ST6).
  • the image detection unit 54 determines that the three-dimensional object is in the air It is judged that it exists. That is, as in the guardrail 305 shown in FIG. 6, since the edges 305a and 305b on the side close to the host vehicle are not continuous even though the object is a three-dimensional object, it is determined that the three-dimensional object exists in the air. In particular, since both the edges 305a and 305b are straight lines or curves having no refraction point, it is difficult to consider them as a mixture. Thereby, the image detection unit 54 determines that the three-dimensional object exists in the air.
  • the image conversion unit 53 executes the second image correction process to correct the overhead image (ST 7). Then, the process proceeds to step ST9.
  • the image detection unit 54 determines that the three-dimensional object is a mixture. To do. That is, unlike the other vehicle 306 shown in FIG. 6, since the edge 306a, 306b force S on the side close to the host vehicle is not continuous even though it is a three-dimensional object, it can be determined that the three-dimensional object exists in the air. . However, since the edges 306a and 306b have refraction points, there is a high possibility that they are a mixture of two or more three-dimensional objects. Therefore, the image detection unit 54 determines that the three-dimensional object is a mixture.
  • the image conversion unit 53 executes a third image correction process to correct the overhead image (ST
  • step ST9 the image detection unit 54 determines whether or not processing has been performed on all three-dimensional objects (ST9).
  • ST9 the image detection unit 54 selects an unprocessed three-dimensional object, and the process proceeds to step ST3.
  • ST9: YES the processing shown in FIG. 5 ends.
  • FIG. 7 is a flowchart showing details of the first image correction process (ST5) shown in FIG. 5 .
  • the image conversion unit 53 determines whether or not the three-dimensional object has reached the end of the overhead image 205 in any of the coordinate conversion images (ST51).
  • FIG. 8 is a diagram showing details of the process of step ST52 shown in FIG. 7.
  • (a) shows an image before the process of step ST T52
  • (b) shows the process of step ST52.
  • the image at the time of execution is shown
  • (c) shows the image after the process of step ST52 is executed.
  • FIG. 8 shows an image when the curbstone 303 is processed.
  • the curbstone 303 has a continuous edge 303a, 303b force S on the side closer to the host vehicle, and does not have a continuous force on the far side edge 303c, 303d.
  • the force one coordinate conversion image 20
  • the edge 303c on the far side of the vehicle power reaches the end of the overhead image 205.
  • the image conversion unit 53 reaches the end of the overhead image 205 in the process of step ST52, and reaches the edge of the overhead image 205 even for the curb 303 of the coordinate conversion image 203.
  • the extension process is a continuous edge 303a, 303b force S on the side closer to the host vehicle, and does not have a continuous force on the far side edge 303c, 303d.
  • the image conversion unit 53 plots pixels from the edge 303d on the far side of the vehicle power of the coordinate conversion image 203 to the end of the overhead image 205, reaching the end of the overhead image 205. The process to do is performed. At this time, the image conversion unit 53 plots the pixels in a direction perpendicular to the edge 303b on the side closer to the own vehicle force.
  • the image conversion unit 53 the straight line passing through the coordinates (Xb, Yb) and the coordinates (Xc, Yc), the edge 303d, the joint a, and the end of the overhead image 205 A region 400 surrounded by the part is obtained, and processing for filling the region 400 is performed.
  • the image conversion unit 53, the line segment connecting the coordinates (Xa, Ya) and the coordinates (Xe, Ye) of the joint a, and the coordinates (Xa, Ya) of the joint a Find the ratio of the length to the line connecting the coordinates (Xd, Yd). Then, the image conversion unit 53 performs a process of enlarging the pixels of the curb 303 of the coordinate conversion image 203 in the direction perpendicular to the side edge 303b near the host vehicle according to the length ratio.
  • the bird's-eye view image 205 is processed so as to fill the area 400 shown in FIG. 8B, and both coordinate-converted images 201 are processed as shown in FIG. 8C.
  • 203 can reach the end of the overhead image 205 so that the driver can easily recognize that the object is the same object when referring to the overhead image 205 on the monitor 60.
  • step ST53 the image conversion unit 53 performs a process of painting with a predetermined color on a portion of the overhead image 205 in which the pixel information is lost by the process of step ST 53 (ST54). Thereafter, the processing shifts to step ST9 shown in FIG.
  • FIG. 9 is a diagram showing details of the processing of step ST53 and step ST54 shown in FIG. (A) shows the image before the process of step ST53, (b) shows the image after the process of step ST53, and (c) shows the image after the process of step ST54. An image is shown. In addition, FIG. 9 shows an image image obtained when processing the curbstone 303.
  • the edge 303a, 303b force S is continuous from the curbstone 303 ⁇ to the own vehicle force, and the far side edges 303c, 303d are not continuous. For this reason, the image converting section 53 continues the step ST53 [Koo! / Kite!] By connecting the edges 303c and 303d of the far-away rule.
  • the image conversion unit 53 executes a shift process for moving an edge in the overhead image. That is, the image conversion unit 53 calculates the distance from the coordinates (Xe, Ye) to the coordinates (Xd, Yd), and shifts the edge 303c on the side where the vehicle power of the coordinate conversion image 201 is far away by the above distance ( Figure 9 (b)). Then, the image conversion unit 53 discards the three-dimensional part far from the shifted edge 303c, that is, the pixel data in the discard area shown in FIG. 9 (c).
  • the image conversion unit 53 performs at least one of thinning processing for thinning out pixels of a three-dimensional object in the coordinate conversion image and compression processing for compressing the three-dimensional object in the coordinate conversion image. Execute. That is, the image conversion unit 53 connects the line segment connecting the coordinate (Xa, Ya) and the coordinate (Xe, Ye) of the joint a with the coordinate (Xa, Ya) and the coordinate (Xd, Yd) of the joint a. Find the ratio of the length to the line. Then, the image conversion unit 53 performs a thinning process for thinning out the pixels of the curb 303 of the coordinate conversion image 201 according to the length ratio, or a compression process for compressing the curb 303 of the coordinate conversion image 201.
  • the distances 303c and 303d of the far and away rules of both coordinate-transformed images 201 and 203 are connected to a continuous line a [koo! It is possible to make it easy for the user who has seen the saddle image 205 to recognize the curbstone 303 so that the driver does not lose the sense of distance from the curbstone 303 when the driver views the overhead image 205 on the monitor 60. it can.
  • the image conversion unit 53 executes any one of shift processing, thinning-out processing, and compression processing, and in advance, in the portion of the overhead image 205 where the pixel information is lost (discarded area in Fig. 9 (c)).
  • a process of painting with a predetermined color is executed.
  • the image conversion unit 53 can express the overhead image 205 without feeling uncomfortable by coloring the same color as the ground.
  • the image conversion unit 53 can notify the user who has viewed the overhead image 205 that the image correction has been performed by coloring a color that does not exist on the ground (for example, red or blue).
  • the far edge 303c of the far side edges 303c and 303d for each coordinate conversion image is processed so as to be continuous with the near edge 303d!
  • the present invention is not limited to this, and the processing may be performed so that the near edge 303d is continuous with the far edge 303c.
  • the curbstone 303 is displayed in a large size in the overhead image 205, but the overhead image 205 becomes unnatural due to coloring without coloring the portion that lost the pixel information as in step ST54. The possibility can be reduced. Further, the process of step ST54 is not necessary, and the process can be simplified.
  • FIG. 10 is a flowchart showing details of the second image correction process (ST7) shown in FIG. 5 .
  • the image conversion unit 53 continues the edge closer to the host vehicle for each coordinate conversion image (ST71).
  • the image conversion unit 53 compares the edges of the three-dimensional object that are closer to the own vehicle force for each coordinate conversion image.
  • the image conversion unit 53 selects the three-dimensional image on the coordinate conversion image so that the edge far from the host vehicle among the compared edges is continuous with the edge closer to the host vehicle at the joints a to d. Move things.
  • FIG. 11 is a diagram showing details of the flowchart shown in FIG. 10, (a) is an image of the guardrail 305 before the processing shown in FIG. 10 is executed, and (b) is a step ST71. (C) is the first image of guardrail 305 after executing the process of step ST71, and (d) is the image of step ST71. It is a second image of the rear guardrail 305.
  • the image conversion unit 53 causes the edges 305a and 305b on the side closer to the own vehicle to continue in the process of step ST71.
  • the image conversion unit 53 calculates the distance from the coordinates (Xb, Yb) to the coordinates (Xa, Ya) shown in FIG. Shift the guardrail by 305 (Fig. 11 (b)).
  • the farther edge 305a is aligned with the closer edge 305b, and both edges 305a and 305b It will be continuous at joint b.
  • the image conversion unit 53 determines whether the three-dimensional object reaches the end of the overhead image 205 in any of the coordinate conversion images. It is determined whether or not (ST72).
  • ST72 determines whether or not the image conversion unit 53 reaches the end of the overhead image 205.
  • the extension processing is performed so that the three-dimensional object of the coordinate conversion image that has not been reached reaches the end of the overhead image 205 (ST73).
  • ST73 the processing shifts to step ST9 shown in FIG.
  • the process in step ST73 is the same as the process in step ST52 shown in FIG.
  • the image conversion unit 53 determines that the vehicle power is closer. While maintaining the continuous state of the edges 305a and 305b, the overhead image is processed so that the three-dimensional object is distant from the vehicle for each coordinate conversion image and the side edges are continuous at the joints a to d ( ST74). After that, the image conversion unit 53 performs a process of painting with a predetermined color on the portion of the bird's-eye view image 205 in which the pixel information is lost by the process of step ST74 (ST75). Thereafter, the processing shifts to step ST9 shown in FIG.
  • FIG. 11 (b) even if the guard rail 305 of the coordinate conversion image 203 is moved to be close to the own vehicle and the side edges 305a and 305b are made continuous, the edges 305c and 305d on the side far from the own vehicle Are not continuous. Specifically, the contact point between the edge 305c and the joint b when the guardrail 305 is moved in the coordinate conversion image 203. The mark is (Xd, Yd). On the other hand, in the coordinate conversion image 202, the contact coordinates between the edge 305d on the side where the host vehicle force is far and the joint b are (Xc, Yc). As described above, even if the process of step ST71 is performed, the edges 305c and 305d on the side far from the host vehicle are not continuous.
  • the image conversion unit 53 performs a process of making the edges 305 c and 305 d farther from the host vehicle continuous in step ST74. At this time, the image converting unit 53 makes the far-law edges 305c and 305d continuous at the joint b in the same manner as in step ST53 shown in FIG.
  • step ST75 the image conversion unit 53 executes a shift process, a thinning process, and a compression process, so that the pixel information is lost in the overhead image 205 (see (c) of Fig. 11).
  • a process of painting with a predetermined color on the hatched portion is executed.
  • the processing in step ST 75 is the same as the processing in step ST 54 shown in FIG.
  • the image conversion unit 53 may perform processing as shown in FIG. 11 (d).
  • the image conversion unit 53 connects the far edge 305a to the near edge 305b among the close edges 305a and 305b of each coordinate conversion image, and the coordinate conversion image Of the rules No, Noji 305c and 305d, 3 £ 1, Noji 305 (1 is continued to 1 and ⁇ No 5 / Di3 05c.
  • the guardrail 305 is displayed in the overhead view image 205. Although displayed large, it is possible to reduce the possibility that the bird's-eye view image 205 becomes unnatural due to the coloring without coloring the area where the pixel information is lost as in step ST75. The processing of ST75 becomes unnecessary, and the processing can be simplified.
  • FIG. 12 is a diagram showing the state of the third image correction process. (A) shows an image image before the third image correction process, and (b) shows an image image after the third image correction process.
  • the mixture consists of solid objects (tires) existing from the ground and solid objects (vehicle bodies) existing in the air!
  • the edge 306a is moved as in the first and second image correction processes. If the processing is performed, the edge 306a may exist on the vehicle side with respect to the contact point a between the front wheel and the ground. In other words, in the case of mixed objects, it is necessary to perform processing such as moving edges only for three-dimensional objects that exist in the air without moving edges for three-dimensional objects that have ground forces. More specifically, the edges 306a and 306b must not exist on the vehicle side of the tangent line connecting the contact point ⁇ between the front wheel and the ground and the contact point ⁇ between the rear wheel and the ground. Therefore, in the third image correction process, the edge of only the vehicle body of the coordinate conversion image 204 shown in FIG. 12 (a) is moved, and the edge 306a of each coordinate conversion image 202, 204 is moved as shown in FIG. , 306b must be continuous.
  • FIG. 13 is a flowchart showing details of the third image correction process (ST8) shown in FIG.
  • the image conversion unit 53 obtains the tangent line of the mixture (ST81).
  • FIG. 14 is a diagram showing details of the flowchart shown in FIG. 13, where (a) is an image image showing details of step ST81, and (b) is another vehicle after the processing of step ST82 is executed. Both are images of 306, and (c) is an image of the other vehicle 306 after the process of step ST84 is executed.
  • the image conversion unit 53 performs coordinate values (Xc, Yc) of the contact point between the front wheel and the ground, and coordinate values (Xd , Yd) and the tangent line that passes through the obtained coordinate value.
  • the image conversion unit 53 continues the edges on the side closer to the own vehicle force for each coordinate conversion image (ST82). At this time, the image conversion unit 53 For each coordinate conversion image, the side edges are compared, and among the compared edges, the far edge from the own vehicle, the near edge is close to the own vehicle, and the continuous edges and the joints a to d are continuous. A solid object on the coordinate conversion image is compressed.
  • the near-f-law edges 306a, 306b do not continue to force from the own vehicle! /. Specifically, of these edges 306a and 306b, the edge 306a with the farther vehicle power is in contact with the joint c at the coordinate (Xa, Ya), and the edge 306b with the nearer vehicle power is closer to the edge 306b. It is in contact with the joint c at coordinates (Xb, Yb). For this reason, the image conversion unit 53 connects the edges of the vehicle body in the process of step ST82. The other vehicle 306 of the coordinate conversion image 204 is compressed so as to continue. At this time, the image conversion unit 53 performs the compression process so that the other vehicle 306 does not exceed the tangent line.
  • the image conversion unit 53 obtains the distance between the tangent line and the edge of the other vehicle 306.
  • the distance between the tangent and the edge of the other vehicle 306 in the coordinate conversion image 204 is A, and the distance between the tangent and the edge of the other vehicle 306 in the coordinate conversion image 202. Is B ( ⁇ A).
  • the image conversion unit 53 compresses the other vehicle 306 of the coordinate conversion image 204 to BZA times.
  • the distance between the edge of the vehicle body and the tangent of each coordinate conversion image 202, 204 is B. Both edges 306a and 306b are in contact with the joint c at coordinates (Xb, Yb), and these edges 306a and 306b are continuous.
  • step ST84 is executed, and the other vehicle 306 of the coordinate conversion image 204 is expanded to the image end of the overhead image 205, and FIG. It is expressed as shown. Even when the other vehicle 306 does not reach the image end, the process of step ST86 is executed, and the portion where the pixel information is lost is colored.
  • FIG. 15 is a diagram showing an overhead image 205 after the processing shown in FIG. 5 is performed.
  • (A) shows an example of the first overhead image 205
  • (b) shows a second overhead image. 205 examples are shown.
  • the edges of the curbstone 303, the guardrail 305, and the other vehicle 306 are continuous, making it easier to recognize a three-dimensional object as the same object compared to the overhead view image 205 shown in Fig. 3. ing.
  • the edges of the curbstone 303, the guardrail 305, and the other vehicle 306 are also continuous even when coloring is not performed on the portion where the pixel information has been lost. It will be easier to recognize.
  • the vehicle surrounding image providing device 1 determines the type of the three-dimensional object around the vehicle, performs an appropriate image correction process on the overhead image 205, and gives the driver a three-dimensional image around the vehicle. It makes it easy to recognize objects and solves problems such as loss of distance.
  • FIG. 16 is a diagram for explaining a modification of the vehicle periphery image providing device 1 according to the first embodiment.
  • (A) shows the principle for obtaining the thickness of a three-dimensional object
  • (b) shows the thickness.
  • An example of the bird's-eye view image 205 that has been subjected to the corresponding correction processing is shown.
  • the vehicle surrounding image providing apparatus 1 according to the modification obtains the thickness and performs an image correction process on the overhead image 205 according to the thickness. Displayed on the monitor 60.
  • the curb stone 303 is described as an example of the three-dimensional object.
  • the first edge of the curb 30 3 exists at the position of the distance S from the camera module 10, and the second edge of the position at the distance S + I.
  • the three-dimensional judgment function of the detection unit 54 detects the thickness 1 of the three-dimensional object from the above calculation formula.
  • the image conversion unit 53 performs correction processing so that the curb stone 303 has a thickness of 1.
  • the image converting unit 53 is located on the side close to the own vehicle so that the curb 303 has a thickness of 1 with the edge on the near side as the reference. Adjust the distance between the edge and the far edge, and make each edge continuous at the joint a. In this interval adjustment, the image conversion unit 53 performs shift processing, thinning processing, compression processing, and the like, and a portion where pixel information is lost is colored with a predetermined color.
  • the three-dimensional object of the overhead image 205 can be expressed with an accurate thickness, and the three-dimensional object can be displayed in an easy-to-understand manner to prevent the driver from losing a sense of distance.
  • the joint of the bird's-eye view image 205 obtained by synthesizing the coordinate conversion images 201 to 204 among the detected edges. From the state of the edge across a to d, it is determined whether or not the edge is a solid object. Here, if the edges straddling the joints a to d are three-dimensional objects, the edges will be displaced at the joints a to d due to the installation positions of the plurality of camera modules 10. In this way, from the state of the edge that straddles the joints a to d, it is possible to cut the carcass U whose edge is a solid object.
  • the edge straddling the joints a to d is a three-dimensional object
  • the edge of the three-dimensional object closer to the own vehicle force for each coordinate conversion image is continuous at the joints a to d.
  • the edge of each side of the coordinate conversion image is misaligned at the joint. If both are mixed, the three-dimensional object is close to the own vehicle for each coordinate conversion image, the side edge is at the joints a to d! It is not configured like a straight line, but includes one or more refraction points. In this way, it is possible to determine from the state of the edge straddling the joint, whether the solid object has ground force, the force that exists in the air, or both.
  • the luminance or color information of the three-dimensional object in the coordinate conversion images 201 to 204 constituting the joints a to d is compared.
  • the type of the three-dimensional object is determined when it is determined that they are the same object.
  • the edge across the joints a to d is a three-dimensional object
  • the solid object is connected!
  • the edge near the vehicle for each coordinate conversion image is close to the joints a to d,! /, Indicates that the edge on the near side of the vehicle is present on the ground. ing. That is, since the coordinate conversion is performed with the ground as a reference plane, there is no deviation with respect to what exists on the ground. Therefore, in the above case, it can be determined that the three-dimensional object also has ground force.
  • the bird's-eye view image is processed so that the far-side edges of the three-dimensional object for each coordinate conversion image are continuous at the joint.
  • the three-dimensional object has ground force, as shown in FIG. 4 (a)
  • the amount of the three-dimensional object that falls down and is recognized differs depending on the installation position of the plurality of camera modules 10. come.
  • the upper edge side of the three-dimensional object, that is, the far edge is represented as shifted in the joints a to d of the overhead image 205, and the driver easily loses the distance from the vehicle to the three-dimensional object. Therefore, it is possible to suppress the loss of distance by performing processing so that the distant edges are continuously connected to the joints a to d so as to eliminate this shift.
  • the edges at the joints a to d are those of a three-dimensional object, the three-dimensional object is close to the own vehicle for each coordinate conversion image, and the side edge is connected to the joints a to d. It is determined that the three-dimensional object exists in the air when the edge that is not continuous and is close to the host vehicle force is a straight line or a curve with no refraction point.
  • the side edge close to the host vehicle for each coordinate conversion image is connected to the eyes a to d! /, And is not continuous. This means that the edge near the host vehicle exists on the ground. It indicates that the part that does not.
  • the edge includes the part that exists in the air.
  • each of the edges close to the host vehicle is a straight line or a curved line without a refraction point, it means that the edge is constituted by two or more objects such as a vehicle tire and a vehicle body.
  • an edge is composed of a single object. Therefore, there is little possibility of a mixture of a three-dimensional object existing on the ground and a three-dimensional object existing in the air. Therefore, in the above case, if a three-dimensional object exists in the air, it can be cut halfway.
  • the three-dimensional object is compared with the edge on the side closer to the own vehicle force for each coordinate conversion image, and from the own vehicle among the compared edges.
  • the three-dimensional object on the coordinate conversion image is moved so that the far edge is closer to the near edge, and the second edge and the joints a to d are continuous!
  • the edge closer to the host vehicle for each coordinate conversion image is continuous.
  • the vehicle power for each coordinate conversion image is also on the far side. This edge may still be misaligned.
  • the three-dimensional object is maintained while maintaining the continuous state of the edge on the side where the vehicle power is close. Then, the bird's-eye view image 205 is processed so that each side edge of each coordinate-converted image is continuous at the joint. As a result, both the edge far from the vehicle and the edge on the near side are continuous, making it easier for the driver to recognize the three-dimensional object and suppressing the loss of distance.
  • the edges at the joints a to d are those of a three-dimensional object, the three-dimensional object is close to the own vehicle for each coordinate conversion image, and the side edge is connected to the joints a to d. It is determined that a solid object exists in the air when it is not continuous and at least one of the edges closer to its own vehicle power has a refraction point. Here, it is close to the own vehicle for each coordinate conversion image, and the side edge is not connected to the joint, and this means that the near edge from the own vehicle and the side edge does not exist at least on the ground. Indicate that it is included. In other words, because the coordinates are transformed using the ground as a reference plane, there should be no deviation between the forces that exist on the ground.
  • the edge contains the part that exists in the air!
  • the edge may be composed of two or more objects, such as a vehicle tire and car body. It is highly possible that a solid object with a high height is a mixture of a solid object existing on the ground and a solid object existing in the air. Therefore, in the above case, it can be determined that the three-dimensional object is a mixture of the three-dimensional object existing on the ground and the three-dimensional object existing in the air.
  • an edge closer to the own vehicle force for each coordinate transformation image is compared, and among the compared edges, the edge that is farther from the own vehicle is connected to the edge that is closer to the edge, and V is continuous. So that the three-dimensional object does not exceed the above contact point, Process things. As a result, the edges closer to the vehicle power for each coordinate conversion image are continuous. Since the three-dimensional object does not exceed the tangent line, the three-dimensional object in which both the object existing from the ground and the object existing in the air are mixed is processed beyond the line connecting the contact points with the ground. In 205, the three-dimensional object is not displayed on the own vehicle side from the line. In this case, there is a possibility that the edge on the side where the own vehicle force of each coordinate conversion image is far is still displaced.
  • the overhead image 205 is processed so that the three-dimensional object is distant from the host vehicle and the edges on the side of the coordinate conversion images 201 to 204 are continuous at the joints a to d. .
  • both the far side and the near side of the host vehicle force are continuous, and the driver can easily recognize the three-dimensional object.
  • the three-dimensional object is prevented from being expressed on the vehicle side from the line, and the edges of the vehicle vehicle force closer side and the far side are continuous so that the driver can easily recognize the three-dimensional object. And the loss of distance can be suppressed.
  • At least one of shift processing, thinning-out processing, and compression processing is executed, and processing for filling a portion of the overhead image 205 where pixel information is lost with a predetermined color is executed.
  • processing for filling a portion of the overhead image 205 where pixel information is lost with a predetermined color is executed.
  • a color that does not normally exist on the ground such as red
  • the coordinate reaches the end of the overhead image 205 in any of the coordinate conversion images 201 to 204, the coordinate reaches the end of the overhead image 205, and the coordinates
  • the three-dimensional objects of the converted images 201 to 204 are processed so as to reach the end of the overhead image 205. Accordingly, it is possible to display so that a three-dimensional object straddling the joints a to d can be easily recognized as the same object by performing a process of continuing the edge on the far side of the host vehicle.
  • the thickness of the three-dimensional object is obtained and the obtained thickness is obtained. Accordingly, for each coordinate transformation image, the distance between the near edge and the far edge and the far edge is adjusted for each coordinate transformation image, and the far and side edges are connected to the joints a to d. Make it continuous. As described above, the distance between the edge on the near side and the edge on the far side of the coordinate conversion images 201 to 204 is adjusted according to the thickness of the three-dimensional object. It can be expressed accurately and can be displayed as if the three-dimensional object was actually viewed from above. Therefore, the three-dimensional object can be presented to the driver with ease. Furthermore, since each far edge is continuous at the joint, the gap between edges can be eliminated, and loss of distance can be suppressed.
  • the vehicle periphery image providing device 2 according to the second embodiment is the same as that of the first embodiment, but the processing content is partially different.
  • differences from the first embodiment will be described.
  • the vehicle periphery image providing apparatus 2 according to the second embodiment is different from that of the first embodiment in the process of step ST3 shown in FIG. Further, the vehicle surrounding image providing device 2 according to the second embodiment performs edge detection on the entire bird's-eye view image 205, and therefore the first embodiment is that the partial force of the bird's-eye view image 205 also performs edge detection. Different from the ones.
  • FIG. 17 is a diagram for explaining the processing of the vehicle surrounding image providing device 2 according to the second embodiment, and is for explaining the processing that is executed in place of the processing of step ST3 shown in FIG. .
  • the plurality of camera modules 10 have their imaging regions overlapping each other, and the image conversion unit 53 discards the overlapping data when the overhead image 205 is generated.
  • the overhead image 205 shows a curbstone 303. Since the curb 303 straddles the joint a, the curb 303 is also reflected in the front image 101 and the right side image 103, which are images before the coordinate conversion of the coordinate conversion images 201 and 203 constituting the joint a.
  • the image conversion unit 53 converts all of the front image 101. A part of the front image 101 is discarded. Therefore, a part of the curb SOSi shown in the front image 101 that is completely coordinate-transformed (part 303 shown in FIG. 17) is discarded. Similarly, all the curbs 303 shown in the right side image 103 are also shown.
  • the part that is transformed (the part 303 shown in FIG. 17) is discarded.
  • the discarded portion is a portion where the front image 101 and the right side image 103 overlap. That is, the same part is shown in the front image 101 and the right side image 103, and the overlapping part is discarded in order to avoid obtaining the overhead image 205 by performing coordinate conversion by overlapping the same part. Yes.
  • the image detection unit 54 compares the luminance or color information of the three-dimensional object existing in the overlapping portion, and determines whether or not the three-dimensional object is the same object. Thereby, if the standing object is the same object, the luminance or color information of the same part is compared, and it can be determined whether or not the same object force is more accurate.
  • FIG. 18 is a first diagram illustrating an edge detection method of the vehicle surrounding image providing apparatus 2 according to the second embodiment
  • FIG. 19 illustrates an edge detection method of the vehicle surrounding image providing apparatus 2 according to the second embodiment. It is the 2nd figure shown.
  • an area within a certain distance from the host vehicle is a first area 401 and an area outside the first area 401 is a second area 402.
  • the detection unit 54 does not detect the edge for the second region 402 but detects the edge for the first region 401.
  • the image detection unit 54 does not detect the edge for the first region 401 but detects the edge for the second region 402.
  • the edge detection function of the image detection unit 54 is farther from the host vehicle when the speed of the host vehicle is equal to or higher than the predetermined speed than when the speed of the host vehicle is lower than the predetermined speed. Edge detection is performed for a location.
  • the size of the area may be variable without being limited to the case where fixed areas are set in advance such as the first and second areas 401 and 402.
  • the traveling direction side of the host vehicle (particularly the region through which the vehicle body passes) is edged.
  • the detection area 403 may be determined, edge detection may be performed on this area 403, and edge detection may not be performed in other areas. Thereby, edge detection can be performed for a three-dimensional object that may come into contact with the host vehicle.
  • edge detection region 403 when the vehicle speed is low, the far side of the edge detection region 403 may be cut, and when the vehicle speed is high, the edge detection is performed for farther objects.
  • the type can be determined for the three-dimensional object around the vehicle, as in the first embodiment. Moreover, it can be determined that the three-dimensional object also has ground force, and the loss of distance can be suppressed. Further, it can be determined that the three-dimensional object exists in the air, and it can be determined that the three-dimensional object is a mixture of the three-dimensional object existing on the ground and the three-dimensional object existing in the air. In addition, it is possible to further show the driver that the image has been processed, and to display the three-dimensional object that covers the joints a to d so as to be easily recognized as the same object. In addition, the three-dimensional object in the displayed bird's-eye view image can be easily notified to the driver, and the driver can be audibly notified of the presence or absence of the three-dimensional object.
  • the image of the coordinate-converted image constituting the joints a to d before the coordinate transformation is obtained.
  • the type of the three-dimensional object is determined.
  • the imaging areas of the plurality of camera modules 10 overlap with the other camera modules 10, and the image conversion unit 53 discards the overlapping data when the overhead image 205 is generated.
  • Each camera module 10 is connected to other camera modules in this overlap.
  • the same part as Joule 10 is imaged. Therefore, by comparing the luminance or color information of the three-dimensional object that exists in the portion discarded when the overhead image 205 is generated, the luminance or color information of the same part is compared, and the three-dimensional object is more accurately the same. It is possible to determine whether or not the force is an object.
  • edge detection is performed on a region farther from the host vehicle on the overhead image than when the speed of the host vehicle is less than the predetermined speed.
  • the speed of the host vehicle is high, the driver needs to visually recognize a location relatively far from the host vehicle.
  • the speed of the host vehicle is slow, the driver needs to visually check the vicinity of the host vehicle.
  • edge detection can be performed on a three-dimensional object that should be visually recognized by the driver. Furthermore, the area for edge detection can be limited, and the processing load can be reduced.
  • edge detection is performed on the area on the traveling direction side of the host vehicle on the bird's-eye view image, edge detection can be performed on a three-dimensional object that may come into contact with the host vehicle. Furthermore, the area where edge detection is performed can be limited, and the processing load can be reduced.
  • the present invention can be applied to a vehicle periphery image providing apparatus that provides an image of the periphery of the vehicle to the driver.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

  車両周辺画像提供装置１では、画像変換部５３が、複数のカメラモジュール１０によって撮影された画像から俯瞰画像２０５を生成する。また、画像検出部５４は、俯瞰画像２０５を対象にエッジ検出を行う。さらに、画像検出部５４は、検出されたエッジ線のうち、俯瞰画像２０５のつなぎ目をまたぐエッジ線の連続性を判定し、俯瞰画像２０５のつなぎ目をまたぐエッジ線が不連続である場合、自車両から遠い側のエッジ線を自車両に近い側のエッジ線に合わせることによりエッジ線をつなぎ目において連続にする画像処理を行う。

Description

明 細 書
車両周辺画像提供装置及び車両周辺画像提供方法
技術分野
[0001] 本発明は、車両周辺画像提供装置及び車両周辺画像提供方法に関する。
背景技術
[0002] 従来、車両周囲を複数のカメラにより撮影し、得られた画像を座標変換して仮想視 点から車両を眺めたような画像を生成して運転者に提示する車両周辺画像提供装 置が知られている。このような車両周辺画像提供装置は、座標変換の基準面を地面 とし、俯瞰画像を生成するものが多ぐ俯瞰画像を運転者に提示することで、地面上 の白線等と自車両との位置関係を運転者に客観的に認識させ、駐車運転や幅寄運 転を支援するようになって 、る（例えば特許文献 1参照)。
[0003] ところで一般に、エッジ位置が地面カゝら離れて ヽる物体を斜め上方から撮影し、撮 影された画像を座標変換すると、エッジ位置は実際の位置とは異なる位置にずれて 提示される。そしてこのずれ量は物体の撮影位置によって異なる。従って、従来の車 両周辺画像提供装置のように、複数のカメラにより物体を撮影し、座標変換後の複数 の画像を合成した場合には、画像のつなぎ目においてエッジ線が不連続になり、運 転者にとって見にくいものとなる。
[0004] 本発明はこのような従来の課題を解決するためになされたものであり、その目的と するところは、運転者の安全性を維持しながら複数の画像のつなぎ目部分の見にくさ を解消可能な車両周辺画像提供装置及び車両周辺画像提供方法を提供することに ある。
特許文献 1 :特開 2003— 169323号公報
発明の開示
[0005] 本発明に係る車両周辺画像提供装置は、車両周辺の画像を運転者に提供するも のである。この車両周辺画像提供装置は、複数の撮影手段と、画像処理手段と、エツ ジ検出手段と、判定手段と、画像処理手段とを備えている。複数の撮影手段は、自 車両周辺を撮像すると共に、それぞれが異なる方向を撮像するものである。画像処 理手段は、地面を基準面とし複数の撮影手段により撮影された車両周辺の画像それ ぞれを座標変換して座標変換画像を生成し、生成した各座標変換画像を合成して 俯瞰画像を生成するものである。エッジ検出手段は、画像処理手段により生成された 俯瞰画像に対してエッジ検出を行うものである。判定手段は、エッジ検出手段により 検出されたエッジ線のうち、座標変換画像のつなぎ目をまたぐエッジ線の連続性を判 定するものである。画像処理手段は、座標変換画像のつなぎ目をまたぐエッジ線が 不連続である場合、自車両から遠 ヽ側のエッジ線を自車両に近!、側のエッジ線に合 わせることによりエッジ線をつなぎ目において連続にする画像処理を行うものである。
[0006] 本発明では、座標変換画像のつなぎ目をまたぐエッジ線が不連続である場合、自 車両から遠!、側のエッジ線を自車両に近!、側のエッジ線に合わせることによりエッジ 線をつなぎ目において連続にする補正を行う。すなわち、本発明では、画像のつな ぎ目においてエッジ線に連続性を持たせる補正を画像処理を用いて行うと共に、実 際の位置と画像上の位置とのずれ量が自車両力 見て比較的小さ!ヽ自車両に近!、 側のエッジ線に他のエッジ線を合わせる。従って本発明によれば、運転者の安全性 を維持しながら複数の画像のつなぎ目部分の見にくさを解消することができる。
図面の簡単な説明
[0007] [図 1]本発明の第 1実施形態に係る車両周辺画像提供装置の構成図である。
[図 2]図 1に示す画像変換部の座標変換によって得られる俯瞰画像の一例を示す図 である。
[図 3]図 1に示す画像検出部のエッジ検出機能の詳細を示す図であり、俯瞰画像の 一例を示している。
[図 4]図 1に示す画像検出部の立体判断機能による立体判断原理を示す図であり、 ( a)は地面力 存在する立体物の判断原理を示し、 (b)は空中に存在する立体物の 判断原理を示している。
[図 5]第 1実施形態に係る車両周辺画像提供装置の詳細動作を示すフローチャート である。
[図 6]図 5に示したステップ ST2の処理によって検出された立体物を示す図である。
[図 7]図 5に示した第 1画像補正処理 (ST5)の処理の詳細を示すフローチャートであ る。
[図 8]図 7に示したステップ ST52の処理の詳細を示す図であり、 (a)はステップ ST52 の処理の前の画像イメージを示し、 (b)はステップ ST52の処理を実行する際の画像 イメージを示し、（c)はステップ ST52の処理を実行した後の画像イメージを示してい る。
[図 9]図 7に示したステップ ST53及びステップ ST54の処理の詳細を示す図であり、 ( a)はステップ ST53の処理の前の画像イメージを示し、 (b)はステップ ST53の処理を 実行した後の画像イメージを示し、（c)はステップ ST54の処理を実行した後の画像 イメージを示している。
[図 10]図 5に示した第 2画像補正処理（ST7)の処理の詳細を示すフローチャートで ある。
[図 11]図 10に示すフローチャートの詳細を示す図であり、 (a)は図 10に示す処理を 実行する前のガードレールの画像イメージであり、 (b)はステップ ST71の処理を実 行した後のガードレールの画像イメージであり、（c)はステップ ST71の処理を実行し た後のガードレールの第 1画像イメージであり、 (d)はステップ ST71の処理を実行し た後のガードレールの第 2画像イメージである。
[図 12]第 3画像補正処理の様子を示す図であり、 (a)は第 3画像補正処理前の画像 イメージを示し、 (b)は第 3画像補正処理後の画像イメージを示している。
[図 13]図 5に示した第 3画像補正処理 (ST8)の処理の詳細を示すフローチャートで ある。
[図 14]図 13に示すフローチャートの詳細を示す図であり、 (a)はステップ ST81の詳 細を示す画像イメージであり、 (b)はステップ ST82の処理を実行した後の他車両の 画像イメージであり、（c)はステップ ST84の処理を実行した後の他車両の画像ィメー ジである。
[図 15]図 5に示す処理を実行した後の俯瞰画像を示す図であり、 (a)は第 1の俯瞰画 像の例を示し、 (b)は第 2の俯瞰画像の例を示している。
圆 16]第 1実施形態に係る車両周辺画像提供装置の変形例を説明する図であり、 (a )は立体物の厚みを求める原理を示し、 (b)は厚みに応じた補正処理が施された俯 瞰画像の例を示している。
[図 17]第 2実施形態に係る車両周辺画像提供装置の処理を説明する図であり、図 5 に示したステップ ST3の処理に代えて実行される処理を説明するものである。
[図 18]第 2実施形態に係る車両周辺画像提供装置のエッジ検出方法を示す第 1の 図である。
[図 19]第 2実施形態に係る車両周辺画像提供装置のエッジ検出方法を示す第 2の 図である。
発明を実施するための最良の形態
[0008] 以下、本発明の好適な実施形態を図面に基づいて説明する。
[0009] 図 1は、本発明の第 1実施形態に係る車両周辺画像提供装置の構成図である。同 図に示すように、本実施形態に係る車両周辺画像提供装置 1は、車両周辺の画像を 運転者に提供するものであって、複数のカメラモジュール 10と、車速センサ 20と、操 舵角センサ 30と、シフト信号センサ 40と、画像処理装置 50と、モニタ 60と、スピーカ 70とを備えている。
[0010] 複数のカメラモジュール 10は、自車両周辺を撮影するものであり、例えば CCDカメ ラゃ CMOSカメラが用いられる。このカメラモジュール 10は、図 1に示すように、第 1 カメラモジュール 10aと第 2カメラモジュール 10bとの 2つからなつており、それぞれが 異なる方向を撮像して得られた画像データを画像処理装置 50に送信する構成とな つている。なお、カメラモジュール 10は 2つに限ることなぐ少なくとも 2つ設けられて いればよぐ 3つ以上設けられていてもよい。
[0011] 車速センサ 20は、自車両の車速を検出するものである。操舵角センサ 30は、自車 両の操舵角を検出するものである。シフト信号センサ 40は、自車両のシフト位置 (ギ ャポジションの位置）を検出するものである。これら各部 20, 30, 40は、画像処理装 置 50に検出結果を出力するようになって 、る。
[0012] 画像処理装置 50は、カメラモジュール 10により撮影された車両周辺の画像を処理 するものであり、第 1入力バッファ 51aと、第 2入力バッファ 51bと、テーブル記憶部 52 と、画像変換部 53と、画像検出部 54と、 CPU55と、出力バッファ 56と力もなつている [0013] 第 1入力バッファ 51aは、第 1カメラモジュール 10aからの画像データを入力して記 憶しておくものである。また、第 2入力バッファ 51bも第 1入力バッファ 51aと同様に、 第 2カメラモジュール 10bからの画像データを入力して記憶しておくものである。
[0014] テーブル記憶部 52は、カメラモジュール 10により撮影された車両周辺の画像を地 面を基準面として座標変換するアドレス変換テーブルを記憶したものである。画像変 換部 53は、テーブル記憶部 52に記憶されるアドレス変換テーブルを用いて、複数の カメラモジュール 10により撮影された車両周辺の画像それぞれを座標変換して座標 変換画像を生成するものである。また、画像変換部 53は、生成した座標変換画像を 合成して自車両を上空力も眺めたような俯瞰画像を生成することとなる。
[0015] ここで、俯瞰画像の生成についてより詳しく説明する。図 2は、図 1に示す画像変換 部 53の座標変換によって得られる俯瞰画像の一例を示す図である。なお、図 2の説 明において、カメラモジュール 10は車両前方、両側方および後方にそれぞれ 1つず つ設けられて 4方向を撮影可能となっているものとする。
[0016] まず、車両が駐車枠内に停車している場合、まず、前方側のカメラモジュール 10に よって、フロント画像 101が得られる。フロント画像 101には、自車両の車体 101aと前 側の駐車枠 101bとが映っている。また、後方側のカメラモジュール 10によって、リア 画像 102が得られる。リア画像 102には、自車両の車体 102aと前側の駐車枠 102b とが映っている。
[0017] また、右側方側のカメラモジュール 10によって右サイド画像 103が得られ、左側方 側のカメラモジュール 10によって左サイド画像 104が得られる。右サイド画像 103に は、自車両の車体 103aと前側の駐車枠 103bとが映っており、左サイド画像 104に は、自車両の車体 104aと前側の駐車枠 104bとが映って!/、る。
[0018] 画像変換部 53は、このような画像 101〜104をテーブル記憶部 52に記憶されるァ ドレス変換テーブルに基づいてそれぞれ座標変換する。すなわち、画像変換部 5は 、フロント画像 101を座標変換して自車両前方側を上空から眺めた座標変換画像 20 1を生成し、同様に、リア画像 102から自車両後方側を上空から眺めた座標変換画 像 202を生成する。また、右サイド画像 103から自車両右側方側を上空から眺めた 座標変換画像 203を生成し、左サイド画像 104から自車両左側方側を上空から眺め た座標変換画像 204を生成する。
[0019] そして、画像変換部 53は、生成した各座標変換画像 201〜204を合成し、自車両 周辺を上空から眺めた俯瞰画像 205を生成する。なお、画像変換部 53は、俯瞰画 像 205の中央部に自車両のオブジェクト 206を配置することとする。
[0020] 再度、図 1を参照する。画像検出部 54は、エッジ検出機能、および立体判断機能 を備えたものである。エッジ検出機能は、画像変換部 53により生成された俯瞰画像 に対してエッジ検出を行う機能である。このエッジ検出機能では、俯瞰画像上の各画 素の色情報または明るさ情報力 エッジ検出を行うようになっている。
[0021] 図 3は、図 1に示す画像検出部 54のエッジ検出機能の詳細を示す図であり、俯瞰 画像の一例を示している。同図に示すように、俯瞰画像 205のうちのフロント側の座 標変換画像 201には、壁 301とポール 302と縁石 303と力映っている。これらのうち 縁石 303については、右サイドの座標変換画像 203にも映っている。また、リア側の 座標変換画像 202には、白線 304とガードレール 305と他車両 306とが映っている。 これらのうちガードレール 305については右サイドの座標変換画像 203にも映ってお り、白線 304と他車両 306については、左サイドの座標変換画像 204にも映っている
[0022] エッジ検出機能は、図 3に示すような俯瞰画像 205を対象にエッジ検出を行うことと なる。ここで、縁石 303、ガードレール 305及び他車両 306について俯瞰画像 205の つなぎ目 a〜dにお!/、てズレが生じて!/、る。
[0023] 再度図 1を参照する。立体判断機能は、エッジ検出機能により検出されたエッジの 状態などに基づいて、立体物の存在とその種別とを判断する機能である。より詳しく は、エッジ検出機能により検出されたエッジのズレの状態に基づいて、立体物の存在 を検出すると共に種別を判断するようになっている。
[0024] 図 4は、図 1に示す画像検出部 54の立体判断機能による立体判断原理を示す図 であり、（a)は地面力も存在する立体物の判断原理を示し、（b)は空中に存在する立 体物の判断原理を示している。一般的に複数のカメラモジュール 10を車両に設置す る場合、設置個所に制約を受ける。このため、複数のカメラモジュール 10をそれぞれ 同一の高さに設置することが困難となる。この結果、複数のカメラモジュール 10は、そ れぞれ高さが異なることとなる。
[0025] 図 4 (a)に示すように、第 1カメラモジュール 10aが第 2カメラモジュール 10bよりも上 方に設置されているとする。このとき、地面から存在する立体物、例えば縁石 303〖こ ついては、各カメラモジュール 10a, 10bによって認識のされ方が異なってくる。すな わち、各カメラモジュール 10a, 10bは、縁石 303の下端位置を点 303— 1として認識 するが、上端位置の認識が異なっている。第 1カメラモジュール 10aは、縁石 303の 上端位置を、自己 10aと縁石 303の上端位置とを結ぶライン 1が地面と接触する地点 303— 2であると認識する。これに対して第 2カメラモジュール 10bは、縁石 303の上 端位置を、自己 10bと縁石 303の上端位置とを結ぶライン 2が地面と接触する地点 3 03— 3であると認識する。
[0026] そして、上記のような認識の相違のまま、画像変換部 53により座標変換が行われる ため、俯瞰画像 205のつなぎ目 aにおいて、縁石 303は図 3に示したようにエッジに ズレが生じてしまう。すなわち、図 4 (a)に示したように、一方の座標変換画像では縁 石 303が点 303— 1から点 303— 2までの距離 L1の物体として表現され、他方の座 標変換画像では縁石 303が点 303 - 1から点 303 - 3までの距離 L2 ( >L1)の物体 として表現されてしまう。そして、このような状態で各座標変換画像が合成されるため 、俯瞰画像 205のつなぎ目において縁石 303のエッジにズレが生じてしまう。なお、 縁石 303の下端位置 303— 1は地面に接しているため、エッジのズレは生じない。
[0027] また、図 4 (b)に示すように、空中に存在する立体物、例えばガードレール 305につ いても、各カメラモジュール 10a, 10bによって認識のされ方が異なってくる。すなわ ち、各カメラモジュール 10a, 10bは、ガードレール 305の下端位置及び上端位置の 認識が異なっている。第 1カメラモジュール 10aは、ガードレール 305の下端位置を、 自己 10aとガードレール 305の下端位置とを結ぶライン 1が地面と接触する地点 305 —1であると認識し、ガードレール 305の上端位置を、自己 10aとガードレール 305の 上端位置とを結ぶライン 2が地面と接触する地点 305— 2であると認識する。これに 対して第 2カメラモジュール 10bは、ガードレール 305の下端位置を、自己 10bとガー ドレール 305の下端位置とを結ぶライン 3が地面と接触する地点 305— 3であると認 識し、ガードレール 305の上端位置を、自己 10bとガードレール 305の上端位置とを 結ぶライン 4が地面と接触する地点 305— 4であると認識する。
[0028] そして、上記のような認識の相違のまま、画像変換部 53により座標変換が行われる ため、俯瞰画像 205のつなぎ目 bにおいて、ガードレール 305は図 3に示したように エッジにズレが生じてしまう。すなわち、図 4 (a)に示したように、一方の座標変換画像 ではガードレール 305が点 305— 1から点 305— 2までの距離 L3の物体として表現さ れ、他方の座標変換画像ではガードレール 305が点 305— 3から点 305— 4までの 距離 L4 ( >L3)の物体として表現されてしまう。そして、このような状態で合成される ため、俯瞰画像 205のつなぎ目において双方のエッジのズレが生じてしまう。
[0029] 立体判断機能は、以上のように、エッジ検出機能により検出されたエッジのうち、各 座標変換画像 201〜204を合成したことによる俯瞰画像 205のつなぎ目 a〜dをまた ぐエッジの状態から、そのエッジが立体物のものであるか否かを判断する。さらに、立 体判断機能は、エッジが立体物のものであると判断した場合には、図 4 (a)及び (b) のような相違から、立体物が地面力も存在するものである力、空中に存在するもので あるか、又は双方の混在するものかを判断するようになっている。
[0030] 再度、図 1を参照する。 CPU55は、画像処理装置 50の全体を制御するものであり 、画像変換部 53および画像検出部 54を制御するものであり、例えば ASIC (Applic ation Specinc Integrated Circuit)や、 LSI (Large Scale Integrated し ir cuit)や、 FPGA (Field Programmable Gate Array)や、 DSP (Digital Sign al Processor)等のデバイスから構成されて!、る。
[0031] 出力バッファ 56は、画像変換部 53によって座標変換された俯瞰画像を記憶するも のである。この出力バッファ 56は、記憶した俯瞰画像の情報をモニタ 60に出力する 構成となっている。
[0032] モニタ 60は、座標変換して得られた俯瞰画像を表示するものである。また、モニタ 6 0は、画像検出部 54によりつなぎ目 a〜dでのエッジが立体物のものであると判断され た場合、その立体物について強調表示する構成となっている。この際、モニタ 60は、 例えば俯瞰画像上の立体物にオーバレイ画像を重畳し、立体物を強調して表示する
[0033] スピーカ 70は、画像検出部 54によりつなぎ目 a〜dでのエッジが立体物のものであ ると判断された場合、その立体物の存在を所定の音声にて運転者に知らせる構成と なっている。具体的にスピーカ 70は、「ピッ、ピッ、ピッ」といったビープ音や、「左側方 に障害物があります」などの会話音で立体物の存在を運転者に知らせる。
[0034] 次に、本実施形態に係る車両周辺画像提供装置 1の動作の概略を説明する。まず 、複数のカメラモジュール 10は、自車両周辺を撮影する。次いで、画像変換部 53は 、カメラモジュール 10によって撮影された画像を座標変換して複数の座標変換画像 を生成し、生成した座標変換画像を合成して俯瞰画像を作成する。
[0035] その後、画像検出部 54は、エッジ検出機能によって、俯瞰画像 205に対してエッジ 検出を行う。エッジ検出を行った後、画像検出部 54は、つなぎ目 a〜dをまたぐエッジ を抽出する。次に、画像検出部 54は、つなぎ目 a〜dをまたぐエッジのうちズレがある ものを抽出する。すなわち、画像検出部 54は、つなぎ目 a〜dをまたぐエッジのうちズ レがあるものを抽出することで、エッジが立体物のものであるか否かを判断している。
[0036] そして、画像検出部 54は、抽出したエッジ、すなわち立体物のエッジであると判断 したものについて、同一物体か否かを判断する。異なる立体物のエッジが偶然につ なぎ目 a〜dをまたぐように俯瞰画像 205で表現されて 、る場合があり得るため、画像 検出部 54は、同一物体カゝ否かを判断する。この際、画像検出部 54は、エッジがまた がるつなぎ目 a〜dを構成して 、る座標変換画像 201〜204を抽出し、これら座標変 換画像 201〜204での立体物の輝度または色情報を比較して、各座標変換画像 20 1〜204での立体物が同一物体であるか判断する。
[0037] 同一物体であると判断した場合、画像検出部 54は、立体物が地面から存在するも のであるか、空中に存在するものであるカゝ、又は双方の混在するものかを判断する。 画像検出部 54は、これらの種別を以下を基準にして判断する。
[0038] まず、画像検出部 54は、つなぎ目 a〜dをまたぐエッジが立体物のものであると判断 した場合、その立体物にっ 、て座標変換画像毎の自車両から近 、側のエッジがつ なぎ目 a〜dにおいて連続するときに、立体物が地面力も存在するものであると判断 する。
[0039] ここで、座標変換画像毎の自車両から近 、側のエッジがつなぎ目 a〜dにお!/、て連 続すると 、うことは、自車両から近 、側のエッジが地面に存在することを示して 、る。 すなわち、図 3の縁石 303に示すように、地面を基準面として座標変換するため、地 面に存在するエッジについてはズレが生じない。よって、画像検出部 54は、上記場 合、立体物が地面力 存在するものであると判断する。
[0040] また、画像検出部 54は、つなぎ目 a〜dでのエッジが立体物のものであると判断した 場合、その立体物について座標変換画像毎の自車両力 近い側のエッジがつなぎ 目 a〜dにお 、て連続せず、且つ、自車両から近 、側のエッジが屈折点のな 、直線 または曲線であるときに、立体物が空中に存在するものであると判断する。
[0041] ここで、座標変換画像毎の自車両から近 、側のエッジがつなぎ目 a〜dにお!/、て連 続しな 、と!/、うことは、自車両から近 、側のエッジが地面に存在しな!、ことを示して!/ヽ る。すなわち、本装置 1は地面を基準面として座標変換するため、図 3の縁石 303〖こ 示すように地面に存在するものにつ!、てはズレが生じず、つなぎ目 a〜dにお!/、てズ レが生じて 、ると!/、うことは、図 3のガードレール 305のようにエッジが空中に存在す ることを示して 、る。また、自車両から近 、側のエッジそれぞれが屈折点のな 、直線 または曲線であるということは、図 3に示す他車両 306のタイヤと車体などのように 2つ 以上の物体によりエッジが構成されているのではなぐ 1つの物体によりエッジが構成 される可能性が高い。故に、地面に存在する立体物（例えばタイヤ）と空中に存在す る立体物（例えば車体）との混在である可能性も少ない。よって、画像検出部 54は、 上記場合、立体物が空中に存在するものであると判断する。
[0042] また、画像検出部 54は、つなぎ目 a〜dでのエッジが立体物のものであると判断した 場合、その立体物について座標変換画像毎の自車両力 近い側のエッジがつなぎ 目 a〜dにおいて連続せず、且つ、自車両から近い側のエッジのうち少なくとも 1つが 屈折点を有しているときに、立体物が地面力も存在するものと空中に存在するものと の双方の混在するもの（以下混在物と称する)であると判断する。
[0043] ここで、座標変換画像毎の自車両から近 、側のエッジがつなぎ目 a〜dにお!/、て連 続しな 、と!/、うことは、自車両から近 、側のエッジが地面に存在しな!、ことを示して!/ヽ る。すなわち、図 3の他車両 306の車体部分のように、つなぎ目 a〜dにおいてズレが 生じているということはエッジが空中に存在することを示している。また、自車両から近 い側のエッジのうち少なくとも 1つが屈折点を有しているということは、他車両 306のタ ィャと車体などのように 2つ以上の物体によりエッジが構成されている可能性が高ぐ 立体物が地面に存在する立体物（タイヤ）と空中に存在する立体物（車体）との混在 である可能性も高い。このような場合、車体部分のエッジがつなぎ目 a〜dをまたぎ、 屈折点の存在力 タイヤによって車体が支えられていると考えられ、画像検出部 54 は、立体物が混在物であると判断する。
[0044] 以上のように、画像検出部 54が立体物の種別を判断した後、画像変換部 53は、立 体物の種別に応じて俯瞰画像 205を補正する。このとき、画像変換部 53は、つなぎ 目 a〜dをまたぐエッジのズレを解消するように画像補正する。さらに、モニタ 60は立 体物について強調表示し、スピーカ 70は立体物の存在を所定の音声で運転者に通 知することとなる。
[0045] 次に、本実施形態に係る車両周辺画像提供装置 1の詳細動作を説明する。図 5は 、第 1実施形態に係る車両周辺画像提供装置 1の詳細動作を示すフローチャートで ある。画像変換部 53が俯瞰画像 205を生成した後、画像検出部 54は、図 5に示すよ うに、俯瞰画像 205を対象にエッジ検出を行う（ST1)。なお、上記と別に各カメラモ ジュール 10によって撮影された画像に対してエッジ検出を行 ヽ、それら画像を座標 変換するようにしてもよ ヽ。
[0046] 次に、画像検出部 54は、つなぎ目 a〜dをまた 、で連続しな 、エッジ (ズレが生じて いるエッジ)を検出する（ST2)。これにより、画像検出部 54は、立体物を検出すること となる。
[0047] 図 6は、図 5に示したステップ ST2の処理によって検出された立体物を示す図であ る。同図【こ示す Jう【こ、ステップ ST2の処理【こ って、縁石 303、ガード、レーノレ 305、 及び他車両 306が検出される。なお、図 3に示す俯瞰画像 205と比較すると明らかな ように、壁 301及びポーノレ 302は、つなぎ目 a〜dをまたいでいないため、ステップ ST 2の処理では検出されず、白線 304は、つなぎ目 cをまたいでいる力 エッジにズレが 生じて ヽな 、ため、ステップ ST2の処理では検出されて!ヽな!、。
[0048] 再度、図 5を参照する。ステップ ST2の後、画像検出部 54は、立体物のうち 1つを 指定する。すなわち、画像検出部 54は、図 6の例でいうと、縁石 303、ガードレール 3 05、及び他車両 306のうちいずれ力 1つを選択して、後のステップ ST3〜ステップ S T9の処理を実行して 、くこととなる。
[0049] 立体物のうちいずれか 1つを選択した後、画像検出部 54は、その立体物がまたが る各座標変換画像 201〜204において立体物の輝度又は色情報を比較して、各座 標変換画像 201〜204での立体物が同一物体である力否かを判断する（ST3)。こ れにより、異なる立体物のエッジが偶然につなぎ目 a〜dをまたぐように俯瞰画像 205 で表現されていたとしても、異なる立体物を同一物体と判定してしまうことを防止する こととなる。
[0050] ここで、各座標変換画像 201〜204での立体物が同一物体でな 、と判断した場合
(ST3 :NO)、処理はステップ ST9に移行する。一方、各座標変換画像 201〜 204 での立体物が同一物体であると判断した場合 (ST3 : YES)、画像検出部 54は、その 立体物につ 、て自車両に近 、側のエッジが連続するか否かを判断する（ST4)。
[0051] その立体物にっ 、て自車両に近 、側のエッジが連続すると判断した場合 (ST4： Y ES)、画像検出部 54は、立体物が地面力も存在するものであると判断する。すなわ ち、図 6に示す縁石 303のように、立体物でありながら自車両に近い側のエッジ 303a , 303bが連続しているため、立体物が地面力も存在するものであると判断する。
[0052] その後、画像変換部 53は、第 1画像補正処理を実行し、俯瞰画像を補正する (ST 5)。そして、処理はステップ ST9に移行する。一方、その立体物について自車両に 近い側のエッジが連続しないと判断した場合 (ST4 : NO)、画像検出部 54は、その 立体物について自車両に近い側のエッジそれぞれが屈折点のない直線又は曲線で あるカゝ否かを判断する（ST6)。
[0053] その立体物にっ 、て自車両に近 、側のエッジそれぞれが屈折点のな 、直線又は 曲線であると判断した場合 (ST6 : YES)、画像検出部 54は、立体物が空中に存在 するものであると判断する。すなわち、図 6に示すガードレール 305のように、立体物 でありながら自車両に近い側のエッジ 305a, 305bが連続していないため、立体物が 空中に存在するものであると判断する。特に、エッジ 305a, 305bの双方が屈折点の ない直線又は曲線であるため、混在物であるとも考え難い。これにより、画像検出部 5 4は、立体物が空中に存在するものであると判断する。
[0054] その後、画像変換部 53は、第 2画像補正処理を実行し、俯瞰画像を補正する（ST 7)。そして、処理はステップ ST9に移行する。一方、その立体物について自車両に 近 、側のエッジそれぞれが屈折点のある直線又は曲線であると判断した場合 (ST6： NO)、画像検出部 54は、立体物が混在物であると判断する。すなわち、図 6に示す 他車両 306のように、立体物でありながら自車両に近い側のエッジ 306a, 306b力 S連 続していないため、立体物が空中に存在するものであると判断できる。ところが、エツ ジ 306a, 306bに屈折点が存在しているため、 2以上の立体物からなる混在物である 可能性が高い。よって、画像検出部 54は、立体物が混在物であると判断する。
[0055] その後、画像変換部 53は、第 3画像補正処理を実行し、俯瞰画像を補正する（ST
8)。そして、処理はステップ ST9に移行する。ステップ ST9において、画像検出部 5 4は、立体物すベてを対象に処理をしたか否かを判断する（ST9)。ここで、立体物す ベてを対象に処理をしていないと判断した場合 (ST9 : NO)、画像検出部 54は未処 理の立体物を選択し、処理はステップ ST3に移行する。一方、立体物すベてを対象 に処理をしたと判断した場合 (ST9 : YES)、図 5に示す処理は終了する。
[0056] 次に、図 5に示した第 1画像補正処理 (ST5)の処理の詳細を説明する。図 7は、図 5に示した第 1画像補正処理 (ST5)の処理の詳細を示すフローチャートである。まず 、第 1画像補正処理において、画像変換部 53は、立体物が各座標変換画像のいず れかで俯瞰画像 205の端にまで達しているカゝ否かを判断する（ST51)。
[0057] 立体物が各座標変換画像の 、ずれかで俯瞰画像 205の端に達して 、ると判断した 場合 (ST51 : YES)、画像変換部 53は、俯瞰画像 205の端部まで達していない座標 変換画像の立体物にっ 、ても俯瞰画像 205の端部まで達するように拡張処理をする (ST52)。その後、処理は図 5に示したステップ ST9に移行する。
[0058] 図 8は、図 7に示したステップ ST52の処理の詳細を示す図であり、（a)はステップ S T52の処理の前の画像イメージを示し、 (b)はステップ ST52の処理を実行する際の 画像イメージを示し、（c)はステップ ST52の処理を実行した後の画像イメージを示し ている。また、図 8では縁石 303について処理したときの画像イメージを示すものとす る。
[0059] 同図（a)に示すように、縁石 303は自車両から近い側のエッジ 303a, 303b力 S連続 し、遠い側のエッジ 303c, 303d力連続していない。し力も、一方の座標変換画像 20 1の縁石 303については自車両力も遠い側のエッジ 303cが俯瞰画像 205の端部ま で達している。このため、画像変換部 53は、ステップ ST52の処理において、俯瞰画 像 205の端部まで達して 、な 、座標変換画像 203の縁石 303につ 、ても俯瞰画像 2 05の端部まで達するように拡張処理する。
[0060] この際、画像変換部 53は、俯瞰画像 205の端部まで達して 、な 、座標変換画像 2 03の自車両力 遠い側のエッジ 303dから、俯瞰画像 205の端部まで画素をプロット していく処理を行う。このとき、画像変換部 53は、自車両力も近い側のエッジ 303bと 垂直の方向に向かって画素をプロットする。
[0061] また、上記処理に代えて、画像変換部 53は、座標 (Xb, Yb)と座標 (Xc, Yc)とを 通過する直線と、エッジ 303dと、つなぎ目 aと、俯瞰画像 205の端部とによって囲ま れる領域 400を求め、この領域 400を塗りつぶす処理を行う。
[0062] さらに、上記処理に代えて、画像変換部 53は、つなぎ目 aの座標 (Xa, Ya)と座標 ( Xe, Ye)とを結ぶ線分と、つなぎ目 aの座標 (Xa, Ya)と座標 (Xd, Yd)とを結ぶ線分 との長さの比を求める。そして、画像変換部 53は、長さの比に応じて座標変換画像 2 03の縁石 303の画素を、自車両から近 、側のエッジ 303bと垂直の方向に拡大する 処理を行う。
[0063] 以上のいずれかの処理により、図 8 (b)に示す領域 400を塗りつぶすように俯瞰画 像 205が処理されることとなり、図 8 (c)に示すように双方の座標変換画像 201, 203 の縁石 303を俯瞰画像 205の端部まで到達させ、運転者がモニタ 60で俯瞰画像 20 5を参照したときに同一物体であると認識させ易くすることができる。
[0064] 再度、図 7を参照する。立体物が各座標変換画像のいずれでも俯瞰画像 205の端 に達していないと判断した場合 (ST51 :NO)、画像変換部 53は、その立体物につい て座標変換画像毎の自車両から遠 、側のエッジそれぞれがつなぎ目 a〜dにお 、て 連続するように俯瞰画像を処理する（ST53)。その後、画像変換部 53は、ステップ S T53の処理によって俯瞰画像 205のうち画素情報が無くなった部分に、予め定めら れた色で塗りつぶす処理を実行する（ST54)。その後、処理は図 5に示したステップ ST9に移行する。
[0065] 図 9は、図 7に示したステップ ST53及びステップ ST54の処理の詳細を示す図であ り、（a)はステップ ST53の処理の前の画像イメージを示し、（b)はステップ ST53の処 理を実行した後の画像イメージを示し、（c)はステップ ST54の処理を実行した後の 画像イメージを示している。また、図 9では縁石 303について処理したときの画像ィメ ージを示すものとする。
[0066] まず、 09 (a)に示すように、縁石 303ίま自車両力ら近! 則のエッジ 303a, 303b力 S 連続し、遠い側のエッジ 303c, 303dが連続していない。このため、画像変換部 53は 、ステップ ST53【こお!/ヽて、遠!ヽィ則のエッジ 303c, 303dをつなぎ目 a【こお!/ヽて連続さ せる。
[0067] このとき、画像変換部 53は、俯瞰画像中のエッジを移動させるシフト処理を実行す る。すなわち、画像変換部 53は、座標 (Xe, Ye)から座標 (Xd, Yd)までの距離を計 算し、座標変換画像 201の自車両力も遠い側のエッジ 303cを上記距離分だけシフト させる（図 9 (b) )。そして、画像変換部 53は、シフト後のエッジ 303cより遠い立体部 分、すなわち図 9 (c)に示す破棄領域の画素データを破棄する。
[0068] また、上記処理に代えて、画像変換部 53は、座標変換画像中の立体物の画素を 間引く間引き処理、及び、座標変換画像中の立体物を圧縮する圧縮処理の少なくと も一方を実行する。すなわち、画像変換部 53は、つなぎ目 aの座標 (Xa, Ya)と座標 (Xe, Ye)とを結ぶ線分と、つなぎ目 aの座標 (Xa, Ya)と座標 (Xd, Yd)とを結ぶ線 分との長さの比を求める。そして、画像変換部 53は、長さの比に応じて座標変換画 像 201の縁石 303の画素を間引く間引き処理を行い、又は、座標変換画像 201の縁 石 303を圧縮する圧縮処理を行う。
[0069] 以上のいずれかの処理により、図 9 (c)に示すように、双方の座標変換画像 201, 2 03の遠!ヽィ則のエッジ 303c, 303dをつなぎ目 a【こお!ヽて連続させ、俯嗽画像 205を 視認した利用者に縁石 303を認識させやすくして、運転者がモニタ 60で俯瞰画像 2 05を参照したときに縁石 303との距離感を喪失しないようにすることができる。
[0070] その後、画像変換部 53は、シフト処理、間引き処理、圧縮処理のいずれかを実行 し、俯瞰画像 205において画素情報が無くなった部分（図 9 (c)の破棄領域）に、予 め定められた色で塗りつぶす処理を実行する。このとき、画像変換部 53は、地面と同 じ色を着色することにより、俯瞰画像 205を違和感無く表現することができる。また、 画像変換部 53は、地面に存在しない色 (例えば赤や青）を着色することにより、俯瞰 画像 205を視認した利用者に画像補正が行われたことを知らせることができる。
[0071] なお、上記では、座標変換画像毎の遠い側のエッジ 303c, 303dのうち、遠い方の エッジ 303cを近 、方のエッジ 303dに連続させるように処理を行って!/、るが、これに 限らず、近 、方のエッジ 303dを遠 、方のエッジ 303cに連続させるように処理を行つ てもよい。この処理を行うと、縁石 303が俯瞰画像 205において大きく表示されるが、 ステップ ST54のように画素情報を失った部分に着色をせずともよぐ着色により俯瞰 画像 205が却って不自然になってしまう可能性を減じることができる。また、ステップ S T54の処理が不要となり、処理を簡素化することができる。
[0072] 次に、図 5に示した第 2画像補正処理 (ST7)の処理の詳細を説明する。図 10は、 図 5に示した第 2画像補正処理 (ST7)の処理の詳細を示すフローチャートである。ま ず、第 2画像補正処理において、画像変換部 53は、座標変換画像毎の自車両から 近い側のエッジを連続させる（ST71)。このとき、画像変換部 53は、立体物について 座標変換画像毎の自車両力も近い側のエッジを比較する。そして、画像変換部 53は 、比較したエッジのうち自車両から遠い方のエッジが自車両から近い方のエッジとつ なぎ目 a〜dにお 、てに連続するように座標変換画像上の立体物を移動させる。
[0073] 図 11は、図 10に示すフローチャートの詳細を示す図であり、（a)は図 10に示す処 理を実行する前のガードレール 305の画像イメージであり、 (b)はステップ ST71の処 理を実行した後のガードレール 305の画像イメージであり、（c)はステップ ST71の処 理を実行した後のガードレール 305の第 1画像イメージであり、 (d)はステップ ST71 の処理を実行した後のガードレール 305の第 2画像イメージである。
[0074] 図 11 (a)に示すように、ガードレール 305のように空中に存在する立体物は、自車 両から近い側のエッジ 305a, 305b力 S連続しない。このため、画像変換部 53は、ステ ップ ST71の処理において、自車両から近い側のエッジ 305a, 305bを連続させる。
[0075] このとき、画像変換部 53は、図 11 (a)に示す座標 (Xb, Yb)から座標 (Xa, Ya)ま での距離を計算し、この距離の分だけ座標変換画像 203のガードレール 305シフトさ せる（図 11 (b) )。これにより、自車両から近い側のエッジ 305a, 305bのうち、遠い方 のエッジ 305aが近い方のエッジ 305bに合わさることとなり、両エッジ 305a, 305bは つなぎ目 bにおいて連続することとなる。
[0076] なお、遠い方のエッジ 305aを近い方のエッジ 305bに合わせることにより、より適切 な表現を行うようにしている。すなわち、近い方のエッジ 305bを遠い方のエッジ 305a に合わせてしまうと、ガードレール 305の実際の存在位置よりも遠くにガードレール 3 05が存在するかのように俯瞰画像 205で表現されてしまう。このため、予期せず車両 との接触を起こしてしまう場合があり得る。そこで、遠い方のエッジ 305aを近い方のェ ッジ 305bに合わせることにより、ガードレール 305がより自車両に近くに存在するよう に俯瞰画像 205にお 、て表現させ、予期しな!、車両との接触を防止するようにして ヽ る。
[0077] 再度、図 10を参照する。上記の如ぐ座標変換画像毎の自車両から近い側のエツ ジを連続させた後、画像変換部 53は、立体物が各座標変換画像のいずれかで俯瞰 画像 205の端に達している力否かを判断する（ST72)。ここで、立体物が各座標変 換画像の 、ずれかで俯瞰画像 205の端に達して ヽると判断した場合 (ST72： YES) 、画像変換部 53は、俯瞰画像 205の端部まで達していない座標変換画像の立体物 についても俯瞰画像 205の端部まで達するように拡張処理をする（ST73)。その後、 処理は図 5に示したステップ ST9に移行する。なお、このステップ ST73の処理は、図 7に示したステップ ST52の処理と同じであるため、詳細説明を省略する。
[0078] 一方、立体物が各座標変換画像の 、ずれかで俯瞰画像 205の端に達して 、な ヽ と判断した場合 (ST72 : NO)、画像変換部 53は、自車両力 近い方のエッジ 305a , 305bの連続状態を維持したまま、その立体物について座標変換画像毎の自車両 から遠 、側のエッジそれぞれがつなぎ目 a〜dにお 、て連続するように俯瞰画像を処 理する（ST74)。その後、画像変換部 53は、ステップ ST74の処理によって俯瞰画 像 205において画素情報が無くなった部分に、予め定められた色で塗りつぶす処理 を実行する（ST75)。その後、処理は図 5に示したステップ ST9に移行する。
[0079] 図 11を参照する。図 11 (b)に示すように座標変換画像 203のガードレール 305を 移動させて自車両から近!、側のエッジ 305a, 305bを連続させたとしても、自車両か ら遠い側のエッジ 305c, 305dは連続しない。具体的に述べると、座標変換画像 20 3においてガードレール 305を移動させた場合のエッジ 305cとつなぎ目 bとの接点座 標は (Xd, Yd)である。一方、座標変換画像 202において自車両力も遠い側のエツ ジ 305dとつなぎ目 bとの接点座標は（Xc, Yc)である。このように、ステップ ST71の 処理を行ったとしても、自車両から遠い側のエッジ 305c, 305dは連続しない。
[0080] よって、画像変換部 53は、ステップ ST74において自車両から遠い側のエッジ 305 c, 305dは連続させる処理を実行する。このとき、画像変換部 53は、図 7に示したス テツプ ST53と同様にして、遠! 則のエッジ 305c, 305dをつなぎ目 bにお!/ヽて連続 させる。
[0081] そして、画像変換部 53は、ステップ ST75においてシフト処理、間引き処理、圧縮 処理の 、ずれかを実行し、俯瞰画像 205にお 、て画素情報が無くなった部分（図 11 (c)の斜線部）に、予め定められた色で塗りつぶす処理を実行する。このステップ ST 75の処理は図 5に示したステップ ST54の処理と同様である。
[0082] なお、上記処理に限らず、画像変換部 53は図 11 (d)に示すように処理を行っても よい。すなわと、画像変換部 53は、座標変換画像毎の近い側のエッジ 305a, 305b のうち、遠い方のエッジ 305aを近い方のエッジ 305bに連続させ、且つ、座標変換画 ί象 の 、ィ則のェ、ノジ 305c, 305dのうち、 3£1、 のェ、ノジ305(1を 1、 ^のェ5/ジ3 05cに連続させる。この処理を行うと、ガードレール 305が俯瞰画像 205において大 きく表示されるが、ステップ ST75のように画素情報を失った部分に着色をせずともよ ぐ着色により俯瞰画像 205が却って不自然になってしまう可能性を減じることができ る。また、ステップ ST75の処理が不要となり、処理を簡素化することができる。
[0083] 次に、図 5に示した第 3画像補正処理 (ST8)の処理の詳細を説明する。第 3画像 補正処理では、混在物について画像処理を行っていくこととなる。図 12は、第 3画像 補正処理の様子を示す図であり、 (a)は第 3画像補正処理前の画像イメージを示し、 (b)は第 3画像補正処理後の画像イメージを示して 、る。
[0084] 同図（a)に示すように、混在物は地面から存在する立体物（タイヤ）と空中に存在す る立体物（車体）とからなって!/ヽる。一方の座標変換画像 204の自車両に近 、側のェ ッジ 306aは前輪と車体とを含むものとなり、他方の座標変換画像 202の自車両に近 V、側のエッジ 306bは後輪と車体とを含むものとなって!/、る。
[0085] ここで、第 1及び第 2画像補正処理の如ぐ例えばエッジ 306aを移動させるなどの 処理をすると、前輪と地面との接触点 aよりも自車両側にエッジ 306aが存在し得るこ ととなつてしまう。すなわち、混在物の場合、地面力 存在する立体物についてはエツ ジを移動させず、空中に存在する立体物につ 、てのみエッジを移動させるなどの処 理を行う必要がある。より詳しくは、前輪と地面との接触点 αと、後輪と地面との接触 点 βとを結ぶ接線よりも自車両側にエッジ 306a, 306bが存在しないようにしなけれ ばならない。よって、第 3画像補正処理では、図 12 (a)に示す座標変換画像 204の 車体のみのエッジを移動させて、図 12 (b)に示すように、各座標変換画像 202, 204 のエッジ 306a, 306bを連続させる必要力ある。
[0086] 図 13は、図 5に示した第 3画像補正処理（ST8)の処理の詳細を示すフローチヤ一 トである。まず、第 3画像補正処理において、画像変換部 53は、混在物の接線を求 める（ST81)。
[0087] 図 14は、図 13に示すフローチャートの詳細を示す図であり、（a)はステップ ST81 の詳細を示す画像イメージであり、 (b)はステップ ST82の処理を実行した後の他車 両 306の画像イメージであり、（c)はステップ ST84の処理を実行した後の他車両 30 6の画像イメージである。
[0088] 同図（a)に示すように、画像変換部 53は、前輪と地面との接触点の座標値 (Xc, Y c)と、後輪と地面との接触点の座標値 (Xd, Yd)とを求め、求めた座標値を通過する 接線を求める。
[0089] 再度、図 13を参照する。接線を求めた後、画像変換部 53は、座標変換画像毎の 自車両力も近い側のエッジを連続させる（ST82)。このとき、画像変換部 53は、立体
Figure imgf000021_0001
、て座標変換画像毎の 、側のエッジを比較し、比較したエッジ のうち自車両から遠 、方のエッジが自車両から近 、方のエッジとつなぎ目 a〜dにお いてに連続するように座標変換画像上の立体物を圧縮処理する。
[0090] 図 14 (b)に示すように、他車両 306のうち車体は空中に存在するため、自車両から 近 f則のエッジ 306a, 306b力連続しな!/、。具体的に ίま、これらのエッジ 306a, 306 bのうち、自車両力も遠い方のエッジ 306aとつなぎ目 cとは座標（Xa, Ya)で接触して おり、自車両力も近い方のエッジ 306bとつなぎ目 cとは座標 (Xb, Yb)で接触してい る。このため、画像変換部 53は、ステップ ST82の処理において、車体のエッジが連 続するように座標変換画像 204の他車両 306を圧縮する。このとき、画像変換部 53 は、他車両 306が接線を超えな 、ように圧縮処理を行う。
[0091] 圧縮処理にあたり画像変換部 53は、接線と他車両 306のエッジとの距離を求める。
ここで、図 14 (a)に示すように、座標変換画像 204において接線と他車両 306のエツ ジとの距離が Aであり、座標変換画像 202において接線と他車両 306のエッジとの距 離が B (<A)であるとする。この場合、画像変換部 53は、座標変換画像 204の他車 両 306を BZA倍に圧縮する。これ〖こより、図 14 (b)に示すように、各座標変換画像 2 02, 204の車体のエッジと接線との距離は共に Bとなる。そして、双方のエッジ 306a , 306bはつなぎ目 cと座標（Xb, Yb)で接触し、これらエッジ 306a, 306bは連続す ることとなる。
[0092] 再度、図 13を参照する。上記の如ぐ座標変換画像毎の自車両から近い側のエツ ジを連続させた後、画像変換部 53は、ステップ ST83〜ST86の処理を実行する。こ の処理は、図 7に示したステップ ST51〜ST54の処理と同様であるため、詳細説明 を省略する。
[0093] なお、座標変換画像 204の他車両 306は、ステップ ST82の圧縮処理によって接 線側に近寄ることとなり画素情報を失う部分が存在するが（図 14 (b) )、座標変換画 像 202の他車両 306が画像端部に達しているため、ステップ ST84の処理が実行さ れ、座標変換画像 204の他車両 306が俯瞰画像 205の画像端部まで拡張されて、 図 14 (c)に示すように表現される。また、他車両 306が画像端部に達していない場合 であっても、ステップ ST86の処理が実行されて、画素情報を失った部分に着色され ることとなる。
[0094] 図 15は、図 5に示す処理を実行した後の俯瞰画像 205を示す図であり、（a)は第 1 の俯瞰画像 205の例を示し、（b)は第 2の俯瞰画像 205の例を示している。図 15 (a) に示すように、縁石 303、ガードレール 305及び他車両 306のエッジは連続しており 、図 3に示した俯瞰画像 205と比較して、立体物を同一物と認識しやすくなつている。 また、図 15 (b)に示すように、画素情報を失った部分に着色を行わない場合におい ても同様に、縁石 303、ガードレール 305及び他車両 306のエッジは連続しており、 立体物を認識しやすくなつて 、る。 [0095] 以上のように、車両周辺画像提供装置 1は、車両周辺の立体物について種別を判 断し、俯瞰画像 205を対象に適切な画像補正処理を施して、運転者に車両周囲の 立体物を認識させやすくして、距離感の喪失等の問題を解消するようにしている。
[0096] 図 16は、第 1実施形態に係る車両周辺画像提供装置 1の変形例を説明する図であ り、（a)は立体物の厚みを求める原理を示し、（b)は厚みに応じた補正処理が施され た俯瞰画像 205の例を示している。変形例に掛カゝる車両周辺画像提供装置 1は、立 体物が地面力 存在するものであると判断した場合、その厚みを求め、その厚みに 応じて俯瞰画像 205に画像補正処理を施し、モニタ 60にて表示するようになってい る。なお、図 16では立体物のうち縁石 303を例に説明する。
[0097] 例えば、図 16 (a)〖こ示すように、カメラモジュール 10からの距離 Sの位置に縁石 30 3の 1つ目のエッジが存在し、距離 S+Iの位置に 2つ目のエッジが存在し、距離 S +I +Lの位置に 3つ目のエッジが存在するとする。ここで、カメラモジュール 10の高さ H は既知の値である。故に、立体物の高さ hは、 h=I X HZ (I + S)となり、立体物の厚 み 1は、 l= { (H-h) X (S+I+D ZH}— Sとなる。画像検出部 54の立体判断機能 は、上記演算式から立体物の厚み 1を検出する。
[0098] そして、画像変換部 53は、縁石 303を厚み 1となるように補正処理を施す。このとき、 自車両に近 、側のエッジは地面と接触するため、画像変換部 53は自車両に近 ヽ側 のエッジを基準とし、縁石 303の厚みが 1となるよう自車両に近い側のエッジと遠い方 のエッジとの間隔を調整し、各エッジをつなぎ目 aにおいて連続させる。この間隔調整 にあたり、画像変換部 53はシフト処理、間引き処理、圧縮処理などを実行し、画素情 報が失われた部分には予め定められた色で着色する。以上の変形例により、俯瞰画 像 205の立体物を正確な厚みで表現することができ、一層立体物を分かり易く表示 して、運転者の距離感の喪失を防止することができる。
[0099] このようにして、第 1実施形態に係る車両周辺画像提供装置 1によれば、検出した エッジのうち、各座標変換画像 201〜 204を合成したことによる俯瞰画像 205のつな ぎ目 a〜dをまたぐエッジの状態から、そのエッジが立体物のものであるか否かを判断 する。ここで、つなぎ目 a〜dをまたぐエッジが立体物のものであれば、複数のカメラモ ジュール 10の設置位置の関係から、エッジはつなぎ目 a〜dにおいてズレが生じる。 このように、つなぎ目 a〜dをまたぐエッジの状態から、そのエッジが立体物のものであ るカゝ半 U断することができる。
[0100] また、つなぎ目 a〜dをまたぐエッジが立体物のものである場合には、そのエッジの 状態から、立体物が地面力 存在するものである力、空中に存在するものであるか、 又は双方が混在するものかを判断する。ここで、立体物が地面力も存在するものであ る場合、その立体物について座標変換画像毎の自車両力 近い側のエッジはつな ぎ目 a〜dにおいて連続する。また、立体物が空中に存在するものである場合、その
Figure imgf000024_0001
、て座標変換画像毎の 、側のエッジはつなぎ目にお 、て ズレが生じる。双方が混在するものである場合、その立体物について座標変換画像 毎の自車両から近 、側のエッジはつなぎ目 a〜dにお!/、てズレが生じるうえに、近!ヽ 側のエッジは直線等のように構成されず、 1つ以上の屈折点を含むこととなる。このよ うに、つなぎ目をまたぐエッジの状態から、立体物が地面力も存在するもの力 空中 に存在するもの力、または双方が混在するものかを判断することができる。
[0101] 従って、車両周辺の立体物について種別を判断することができる。
[0102] また、つなぎ目 a〜dをまたぐエッジが立体物のものであると判断した場合、つなぎ 目 a〜dを構成する各座標変換画像 201〜204での立体物の輝度または色情報を比 較して、各座標変換画像 201〜204での立体物が同一物体である力判断し、同一物 体であると判断した場合に、立体物の種別を判断する。これにより、異なる立体物の エッジが偶然につなぎ目 a〜dをまたぐように俯瞰画像 205で表現されて 、たとしても 、異なる立体物を同一物体と判定して種別を判断してしまう頻度を低減させることが できる。
[0103] また、つなぎ目 a〜dをまたぐエッジが立体物のものであると判断した場合、その立 体物につ!、て座標変換画像毎の自車両から近 、側のエッジがつなぎ目 a〜dにお ヽ て連続するときに、立体物が地面力 存在するものであると判断する。ここで、座標変 換画像毎の自車両から近 、側のエッジがつなぎ目 a〜dにお 、て連続すると!/、うこと は、自車両力も近い側のエッジが地面に存在することを示している。すなわち、地面 を基準面として座標変換するため、地面に存在するものについてはズレが生じない。 よって、上記場合に、立体物が地面力も存在するものであると判断することができる。 [0104] また、立体物が地面力 存在するものであると判断された場合、その立体物につい て座標変換画像毎の遠い側のエッジそれぞれがつなぎ目において連続するように俯 瞰画像を処理する。ここで、立体物が地面力 存在するものである場合、図 4 (a)に示 すように、立体物は複数のカメラモジュール 10の設置位置の関係から、倒れ込んで 認識される量が異なってくる。この結果、立体物の上端側、すなわち遠い側のエッジ は俯瞰画像 205のつなぎ目 a〜dにお 、てズレて表現され、運転者は車両から立体 物までの距離の喪失し易くなる。よって、このズレを解消するように遠い側のエッジそ れぞれがつなぎ目 a〜dにお 、て連続するように処理することで、距離の喪失を抑制 することができる。
[0105] また、つなぎ目 a〜dでのエッジが立体物のものであると判断した場合、その立体物 につ 、て座標変換画像毎の自車両から近 、側のエッジがつなぎ目 a〜dにお!/、て連 続せず、且つ、自車両力も近い側のエッジが屈折点のない直線または曲線であると きに、立体物が空中に存在するものであると判断する。ここで、座標変換画像毎の自 車両から近 、側のエッジがつなぎ a〜d目にお!/、て連続しな 、と 、うことは、自車両か ら近い側のエッジが地面に存在しない部分を含むことを示している。すなわち、地面 を基準面として座標変換するため、地面に存在するものについてはズレが生じない はずであるが、つなぎ目 a〜dにお!/、てズレが生じて!/、ると!/、うことはエッジが空中に 存在する部分を含むことを示している。また、自車両カゝら近い側のエッジそれぞれが 屈折点のな 、直線または曲線であると 、うことは、車両のタイヤと車体などのように 2 つ以上の物体によりエッジが構成されているのではなぐ 1つの物体によりエッジが構 成される可能性が高い。故に、地面に存在する立体物と空中に存在する立体物との 混在である可能性も少ない。よって、上記場合に、立体物が空中に存在するものであ ると半 lj断することができる。
[0106] また、立体物が空中に存在するものであると判断された場合、その立体物について 座標変換画像毎の自車両力も近い側のエッジを比較し、比較したエッジのうち自車 両から遠!、方のエッジが近 、方のエッジとつなぎ目 a〜dにお!/、て連続するように座 標変換画像上の立体物を移動させる。これにより、座標変換画像毎の自車両から近 い側のエッジが連続することとなる。このとき、座標変換画像毎の自車両力も遠い側 のエッジは、未だズレを生じて 、る可能性がある。
[0107] また、移動後に、自車両力も近い側のエッジの連続状態を維持したまま、その立体
Figure imgf000026_0001
、て座標変換画像毎の 、側のエッジそれぞれがつなぎ目にお いて連続するように俯瞰画像 205を処理する。これにより、自車両から遠い側及び近 い側のエッジの双方が連続することとなり、運転者に立体物を認識させやすくして、 距離の喪失を抑制することができる。
[0108] また、つなぎ目 a〜dでのエッジが立体物のものであると判断した場合、その立体物 につ 、て座標変換画像毎の自車両から近 、側のエッジがつなぎ目 a〜dにお!/、て連 続せず、且つ、自車両力 近い側のエッジのうち少なくとも 1つが屈折点を有している ときに、立体物が空中に存在するものであると判断する。ここで、座標変換画像毎の 自車両から近 、側のエッジがつなぎ目にお 、て連続しな 、と 、うことは、自車両から 近 、側のエッジが少なくとも地面に存在しな 、部分を含むことを示して 、る。すなわ ち、地面を基準面として座標変換するため、地面に存在するものについてはズレが 生じないはずである力 つなぎ目 a〜dにお!/、てズレが生じて!/、ると!/、うことはエッジが 空中に存在する部分を含むことを示して!/ヽる。また、自車両から近 ヽ側のエッジのう ち少なくとも 1つが屈折点を有しているということは、車両のタイヤと車体などのように 2 つ以上の物体によりエッジが構成されている可能性が高ぐ立体物が地面に存在す る立体物と空中に存在する立体物との混在である可能性も高い。よって、上記場合 に、立体物が地面に存在する立体物と空中に存在する立体物との混在であると判断 することができる。
[0109] また、立体物が地面力 存在するものと空中に存在するものとの双方の混在するも のであると判断された場合、その立体物について座標変換画像毎に最も自車両に近 い側の点の座標値を求め、求めた各座標値を通過する接線を求める。これにより、地 面力 存在するものと空中に存在するものとの双方の混在する立体物について地面 との接触地点の座標値を求め、その接触地点を結ぶラインを求めることとなる。
[0110] また、その立体物について座標変換画像毎の自車両力 近い側のエッジを比較し 、比較したエッジのうち自車両から遠い方のエッジが近い方のエッジとつなぎ目にお V、て連続するように且つ立体物が上記接点を超えな 、ように座標変換画像上の立体 物を処理する。これにより、座標変換画像毎の自車両力 近い側のエッジが連続す ることとなる。し力も、立体物が接線を超えないため、地面から存在するものと空中に 存在するものとの双方が混在する立体物について地面との接触地点を結ぶラインを 超えて処理されることなぐ俯瞰画像 205においてラインより自車両側に立体物が表 現されないようになる。なお、この場合において、座標変換画像毎の自車両力も遠い 側のエッジは、未だズレを生じて 、る可能性がある。
[0111] また、処理後に、その立体物について各座標変換画像 201〜204のうち自車両か ら遠 、側のエッジそれぞれがつなぎ目 a〜dにお 、て連続するように俯瞰画像 205を 処理する。これにより、自車両力 遠い側及び近い側のエッジの双方が連続すること となり、運転者に立体物を認識させやすくすることができる。
[0112] 以上より、俯瞰画像 205においてラインより自車両側に立体物が表現されないよう にすると共に自車両力 近い側と遠い側とのエッジを連続させて、運転者に立体物を 認識させやすくし、距離の喪失を抑制することができる。
[0113] また、シフト処理、間引き処理、及び圧縮処理の少なくとも 1つを実行して、俯瞰画 像 205において画素情報が無くなった部分に、予め定められた色で塗りつぶす処理 を実行する。これにより、画像処理された様子を運転者に示すことができる。特に、通 常では地面に存在しない色 (赤色など）を予め定められた色とした場合には、画像処 理された様子を一層運転者に示すことができる。
[0114] また、つなぎ目 a〜dをまたぐ立体物が座標変換画像 201〜204のいずれかで俯瞰 画像 205の端部まで達して 、る場合、俯瞰画像 205の端部まで達して 、な 、座標変 換画像 201〜204の立体物についても俯瞰画像 205の端部まで達するように処理を する。これにより、自車両力 遠い側のエッジを連続させる処理を行うことなぐつなぎ 目 a〜dをまたぐ立体物を簡易に同一物体と認識させるように表示することができる。
[0115] また、つなぎ目 a〜dでのエッジが立体物のものであると判断された場合、その立体 物について強調表示する。このため、表示される俯瞰画像中の立体物を運転者に対 して分力り易く通知することができる。
[0116] また、つなぎ目 a〜dでのエッジが立体物のものであると判断された場合に、その立 体物の存在を所定の音声にて運転者に知らせるため、立体物の有無を運転者に聴 覚的に通知することができる。
[0117] また、第 1実施形態に係る車両周辺画像提供装置 1の変形例によれば、立体物が 地面力 存在するものであると判断した場合、立体物の厚みを求め、求めた厚みに 応じて、立体物にっ 、て座標変換画像毎に自車両から近 、側のエッジと遠 、側のェ ッジとの間隔を調整し、遠 、側のエッジそれぞれをつなぎ目 a〜dにお ヽて連続させ る。このように、立体物の厚みに応じて各座標変換画像 201〜204のうち近い側のェ ッジと遠 、側のエッジとの間隔を調整するので、俯瞰画像 205の立体物の厚みを的 確に表現でき、実際に立体物を真上から見たように表示することができる。従って、運 転者に立体物を分力り易く提示することができる。さらに、遠い側のエッジそれぞれを つなぎ目において連続させるため、エッジ間のズレを解消し、距離の喪失を抑制する ことができる。
[0118] 次に、本発明の第 2実施形態を説明する。第 2実施形態に係る車両周辺画像提供 装置 2は、第 1実施形態のものと同様であるが、処理内容が一部異なっている。以下 、第 1実施形態との相違点を説明する。
[0119] 第 2実施形態に車両周辺画像提供装置 2は、図 5に示したステップ ST3の処理が 第 1実施形態のものと異なっている。また、第 2実施形態に係る車両周辺画像提供装 置 2は、俯瞰画像 205の全体に対してエッジ検出を行うのでなぐ俯瞰画像 205のう ち一部力もエッジ検出を行う点で第 1実施形態のものと異なっている。
[0120] 図 17は、第 2実施形態に係る車両周辺画像提供装置 2の処理を説明する図であり 、図 5に示したステップ ST3の処理に代えて実行される処理を説明するものである。 複数のカメラモジュール 10は、撮像領域がそれぞれ他のカメラモジュール 10と重複 しており、画像変換部 53は俯瞰画像 205の生成時には重複部分データを破棄する ようになっている。
[0121] 具体的に説明する。図 17に示すように、俯瞰画像 205には縁石 303が映っている 。この縁石 303は、つなぎ目 aをまたがっているため、このつなぎ目 aを構成する座標 変換画像 201, 203の座標変換前の画像であるフロント画像 101及び右サイド画像 1 03にも映っている。
[0122] 座標変換にあたり画像変換部 53は、フロント画像 101のすベてを座標変換するの でなぐフロント画像 101の一部を破棄する。故に、フロント画像 101に映る縁石 SOSi についても全て座標変換されるのはなぐ一部（図 17に示す符号 303，の部分）は破 棄されることとなる。また、同様に、右サイド画像 103に映る縁石 303についても全て
2
座標変換されるのはなぐ一部（図 17に示す符号 303，の部分）は破棄されることと
2
なる。
[0123] ここで、破棄される部分は、フロント画像 101と右サイド画像 103とで重複する部分 である。すなわち、フロント画像 101と右サイド画像 103とには同じ箇所が映っており 、同じ箇所を重複して座標変換して俯瞰画像 205を得ないようにするために、重複箇 所の破棄を行っている。
[0124] 第 2実施形態に係る画像検出部 54は、この重複部分に存在する立体物の輝度ま たは色情報を比較して、立体物が同一物体であるか否かを判断する。これにより、立 体物が同一物体であれば同じ箇所の輝度または色情報を比較することとなり、より正 確に同一物体力否かを判断することができる。
[0125] 次に、第 2実施形態に係るエッジ検出方法について説明する。図 18は、第 2実施 形態に係る車両周辺画像提供装置 2のエッジ検出方法を示す第 1の図であり、図 19 は、第 2実施形態に係る車両周辺画像提供装置 2のエッジ検出方法を示す第 2の図 である。
[0126] 例えば、図 18に示すように、第 2実施形態では自車両から一定距離内を第 1の領 域 401とし第 1の領域 401の外側の領域を第 2の領域 402としており、画像検出部 54 は、自車両の車速が所定速度未満である場合、第 2の領域 402を対象にエッジ検出 せず、第 1の領域 401を対象にエッジ検出する。また、画像検出部 54は、所定速度 以上である場合、第 1の領域 401を対象にエッジ検出せず、第 2の領域 402を対象 にエッジ検出する。このように、第 2実施形態において画像検出部 54のエッジ検出機 能は、自車両の速度が所定速度以上である場合、自車両の速度が所定速度未満で ある場合よりも自車両から離れた箇所を対象にエッジ検出する。
[0127] ここで、自車両の速度が速 、場合、運転者は自車両から比較的離れた箇所を視認 する必要がある。一方、自車両の速度が遅い場合、運転者は自車両近傍を視認する 必要がある。このため、自車両の速度が所定速度以上である場合、自車両の速度が 所定速度未満である場合よりも自車両から離れた箇所を対象にエッジ検出すること で、運転者の視認すべき箇所を対象にエッジ検出することとなる。
[0128] なお、図 18に示すように、第 1および第 2の領域 401, 402のように固定の領域が 予め設定される場合に限らず、領域の大きさは可変とされてもよい。
[0129] また、図 19に示すように、第 2実施形態では操舵角センサ 30およびシフト信号セン サ 40の情報に基づ 、て自車両の進行方向側（特に車体が通過する領域)をエッジ 検出領域 403として決定し、この領域 403を対象にエッジ検出し、他の領域ではエツ ジ検出しないようにしてもよい。これにより、自車両と接触する可能性がある立体物に ついてエッジ検出を行うことができる。なお、図 19に示す例では、車速が低いときに、 エッジ検出領域 403のうち遠方側をカットするようにしてもよいし、車速が高い場合に はより遠方までを対象にエッジ検出するようにしてもょ 、。
[0130] このようにして、第 2実施形態に係る車両周辺画像提供装置 2によれば、第 1実施 形態と同様に、車両周辺の立体物について種別を判断することができる。また、立体 物が地面力も存在するものであると判断することができ、距離の喪失を抑制すること ができる。また、立体物が空中に存在するものであると判断することができ、立体物が 地面に存在する立体物と空中に存在する立体物との混在であると判断することがで きる。また、画像処理された様子を一層運転者に示すことができ、つなぎ目 a〜dをま たぐ立体物を簡易に同一物体と認識させるように表示することができる。また、表示さ れる俯瞰画像中の立体物を運転者に対して分力り易く通知することができ、立体物 の有無を運転者に聴覚的に通知することができる。
[0131] さらに、第 2実施形態によれば、つなぎ目 a〜dをまたぐエッジが立体物のものである と判断した場合、このつなぎ目 a〜dを構成する座標変換画像の座標変換前の画像 のうち、俯瞰画像 205を生成したときに破棄される部分に存在する立体物の輝度また は色情報を比較することによって、各座標変換画像 201〜204での立体物が同一物 体であるか判断し、同一物体であると判断した場合に、立体物の種別を判断する。こ こで、複数のカメラモジュール 10は、撮像領域がそれぞれ他のカメラモジュール 10と 重複しており、画像変換部 53は俯瞰画像 205の生成時には重複部分データを破棄 するようになつている。各カメラモジュール 10は、この重複部分において他のカメラモ ジュール 10と同一箇所を撮像している。故に、俯瞰画像 205を生成したときに破棄さ れる部分に存在する立体物の輝度または色情報を比較することによって、同一箇所 の輝度または色情報を比較することとなり、より正確に立体物が同一物体である力否 かを判断することができる。
[0132] また、自車両の速度が所定速度以上である場合、自車両の速度が所定速度未満 である場合よりも俯瞰画像上で自車両から離れた領域を対象にエッジ検出を行う。こ こで、自車両の速度が速い場合、運転者は自車両から比較的離れた箇所を視認す る必要がある。一方、自車両の速度が遅い場合、運転者は自車両近傍を視認する必 要がある。このため、自車両の速度が所定速度以上である場合、自車両の速度が所 定速度未満である場合よりも俯瞰画像上で自車両から離れた領域を対象にエッジ検 出を行うことで、運転者の視認すべき箇所の立体物を対象にエッジ検出を行うことが できる。さらには、エッジ検出を行う領域を限定でき、処理負荷を軽減することができ る。
[0133] また、俯瞰画像上で自車両の進行方向側の領域を対象にエッジ検出を行うため、 自車両と接触する可能性がある立体物についてエッジ検出を行うことができる。さら には、エッジ検出を行う領域を限定でき、処理負荷を軽減することができる。
[0134] 以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られる ものではなぐ本発明の趣旨を逸脱しない範囲で、変更を加えてもよいし、各実施形 態を組み合わせるようにしてもょ 、。
産業上の利用可能性
[0135] 本発明は、車両周辺の画像を運転者に提供する車両周辺画像提供装置に適用す ることがでさる。

Claims

請求の範囲
[1] 車両周辺の画像を運転者に提供する車両周辺画像提供装置であって、
自車両周辺を撮像すると共に、それぞれが異なる方向を撮像する複数の撮影手段 と、
地面を基準面とし前記複数の撮影手段により撮影された車両周辺の画像それぞれ を座標変換して座標変換画像を生成し、生成した各座標変換画像を合成して俯瞰 画像を生成する画像処理手段と、
前記画像処理手段により生成された俯瞰画像に対してエッジ検出を行うエッジ検出 手段と、
エッジ検出手段により検出されたエッジ線のうち、座標変換画像のつなぎ目をまた ぐエッジ線の連続性を判定する判定手段と、
座標変換画像のつなぎ目をまたぐエッジ線が不連続である場合、自車両から遠 ヽ 側のエッジ線を自車両に近 、側のエッジ線に合わせることによりエッジ線をつなぎ目 にお!/ヽて連続にする画像処理を行う画像処理手段と
を備えることを特徴とする車両周辺画像提供装置。
[2] 前記画像処理手段は、座標変換画像のつなぎ目をまたぐエッジ線が複数存在する 場合において、複数のエッジ線のうち自車両力 遠い側のエッジ線が不連続である 場合には、自車両から近 、側のエッジ線の連続性を維持しながら自車両から遠 ヽ側 のエッジ線をつなぎ目にお 、て連続にすることを特徴とする請求項 1に記載の車両 周辺画像提供装置。
[3] 前記画像処理手段は、座標変換画像のつなぎ目をまたぐエッジ線が不連続である 場合において、エッジ線が屈曲点を有する場合には、つなぎ目をまたぐ屈曲したエツ ジ線同士を結ぶ接線を超えないようにエッジ線をつなぎ目において連続にすることを 特徴とする請求項 1に記載の車両周辺画像提供装置。
[4] 前記画像処理手段は、座標変換画像のつなぎ目をまたぐエッジ線が複数存在する 場合において、複数のエッジ線のうち自車両力 近い側のエッジ線が連続である場 合には、自車両から近 、側のエッジ線の位置を維持しながら自車両から遠 、側の各 エッジ線をつなぎ目において連続にすることを特徴とする請求項 1に記載の車両周 辺画像提供装置。
[5] 座標変換画像のつなぎ目をまたぐ複数のエッジ線が同一物体を構成するカゝ否かを 判定する手段を備え、同一物体を構成していると判定された場合、前記画像処理手 段は、自車両から近 、側に存在するエッジ線と自車両から遠 、側に存在するエッジ 線を特定することを特徴とする請求項 2に記載の車両周辺画像提供装置。
[6] 前記画像処理手段は、つなぎ目にお 、てエッジを連続させるために、エッジを移動 させるシフト処理、画素を間引く間引き処理、及び画像を圧縮する圧縮処理の少なく とも 1つを実行することを特徴とする請求項 1乃至請求項 5のうち、いずれか 1項に記 載の車両周辺画像提供装置。
[7] 前記画像処理手段は、前記シフト処理、前記間引き処理、及び前記圧縮処理の少 なくとも 1つを実行して俯瞰画像において画素情報が無くなった部分に、予め定めら れた色で塗りつぶす処理を実行することを特徴とする請求項 6に記載の車両周辺画 像提供装置。
[8] 前記エッジ検出手段は、自車両の速度が所定速度以上である場合、自車両の速 度が所定速度未満である場合よりも俯瞰画像上で自車両から離れた領域を対象に エッジ検出を行うことを特徴とする請求項 1乃至請求項 7のうち、いずれか 1項に記載 の車両周辺画像提供装置。
[9] 前記エッジ検出手段は、俯瞰画像上で自車両の進行方向側の領域を対象にエツ ジ検出を行うことを特徴とする請求項 1乃至請求項 8のうち、いずれか 1項に記載の車 両周辺画像提供装置。
[10] 車両周辺の画像を運転者に提供する車両周辺画像提供方法であって、
自車両周辺の異なる方向を撮像するステップと、
地面を基準面とし撮影された自車両周辺の画像それぞれを座標変換して座標変 換画像を生成し、生成した各座標変換画像を合成して俯瞰画像を生成するステップ と、
生成された俯瞰画像に対してエッジ検出を行うステップと、
検出されたエッジ線のうち、座標変換画像のつなぎ目をまたぐエッジ線の連続性を 判定するステップと、 座標変換画像のつなぎ目をまたぐエッジ線が不連続である場合、自車両から遠 ヽ 側のエッジ線を自車両に近 、側のエッジ線に合わせることによりエッジ線をつなぎ目 にお 、て連続にする画像処理を行うステップと
を有することを特徴とする車両周辺画像提供方法。
PCT/JP2007/058961 2006-05-09 2007-04-25 車両周辺画像提供装置及び車両周辺画像提供方法 Ceased WO2007129582A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2007800166895A CN101438590B (zh) 2006-05-09 2007-04-25 车辆周围图像提供装置和车辆周围图像提供方法
US12/298,837 US8243994B2 (en) 2006-05-09 2007-04-25 Vehicle circumferential image providing device and vehicle circumferential image providing method
JP2008514434A JP4956799B2 (ja) 2006-05-09 2007-04-25 車両周辺画像提供装置及び車両周辺画像提供方法
EP07742396.0A EP2018066B1 (en) 2006-05-09 2007-04-25 Vehicle circumferential image providing device and vehicle circumferential image providing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006130269 2006-05-09
JP2006-130269 2006-05-09

Publications (1)

Publication Number Publication Date
WO2007129582A1 true WO2007129582A1 (ja) 2007-11-15

Family

ID=38667690

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/058961 Ceased WO2007129582A1 (ja) 2006-05-09 2007-04-25 車両周辺画像提供装置及び車両周辺画像提供方法

Country Status (5)

Country Link
US (1) US8243994B2 (ja)
EP (1) EP2018066B1 (ja)
JP (1) JP4956799B2 (ja)
CN (1) CN101438590B (ja)
WO (1) WO2007129582A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188635A (ja) * 2008-02-05 2009-08-20 Nissan Motor Co Ltd 車両周辺画像処理装置及び車両周辺状況提示方法
JP2010221980A (ja) * 2009-03-25 2010-10-07 Aisin Seiki Co Ltd 車両用周辺監視装置
JP2011109286A (ja) * 2009-11-16 2011-06-02 Alpine Electronics Inc 車両周辺監視装置および車両周辺監視方法
JP2015119225A (ja) * 2013-12-16 2015-06-25 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2015098107A1 (ja) * 2013-12-24 2015-07-02 京セラ株式会社 画像処理装置、警報装置、および画像処理方法
KR102343052B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 3d 데이터를 기반으로 2d 이미지에서의 객체의 이동 경로를 식별하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
JP2024028606A (ja) * 2017-08-08 2024-03-04 住友建機株式会社 道路機械

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4557041B2 (ja) * 2008-04-18 2010-10-06 株式会社デンソー 車両用画像処理装置
DE102009029439A1 (de) * 2009-09-14 2011-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
EP2372637B1 (en) * 2010-03-02 2013-07-03 Autoliv Development AB A driver assistance system and method for a motor vehicle
DE102010010912A1 (de) * 2010-03-10 2010-12-02 Daimler Ag Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte
JP5479956B2 (ja) 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
CN102653260B (zh) * 2012-05-09 2014-08-13 邝君 汽车定点定位引导系统
WO2014019132A1 (en) 2012-07-31 2014-02-06 Harman International Industries, Incorporated System and method for detecting obstacles using a single camera
US9150156B2 (en) 2012-08-30 2015-10-06 Nissan North America, Inc. Vehicle mirror assembly
US9288446B2 (en) 2012-09-10 2016-03-15 Nissan North America, Inc. Vehicle video system
US9057833B2 (en) 2012-09-28 2015-06-16 Nissan North America, Inc. Vehicle mirror assembly
CN104469135B (zh) * 2013-09-18 2017-11-28 株式会社理光 图像处理系统
JP6167824B2 (ja) * 2013-10-04 2017-07-26 アイシン精機株式会社 駐車支援装置
JP6307895B2 (ja) * 2014-01-23 2018-04-11 トヨタ自動車株式会社 車両用周辺監視装置
JP6303090B2 (ja) * 2014-03-24 2018-04-04 アルパイン株式会社 画像処理装置および画像処理プログラム
US9403491B2 (en) 2014-08-28 2016-08-02 Nissan North America, Inc. Vehicle camera assembly
US9834141B2 (en) 2014-10-28 2017-12-05 Nissan North America, Inc. Vehicle object detection system
US9880253B2 (en) 2014-10-28 2018-01-30 Nissan North America, Inc. Vehicle object monitoring system
US9725040B2 (en) 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
JP6485160B2 (ja) * 2015-03-27 2019-03-20 セイコーエプソン株式会社 インタラクティブプロジェクター、及び、インタラクティブプロジェクターの制御方法
JP2016225865A (ja) * 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
KR101709009B1 (ko) * 2015-08-18 2017-02-21 주식회사 와이즈오토모티브 어라운드 뷰 왜곡 보정 시스템 및 방법
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
DE112017006840B4 (de) * 2017-01-16 2023-11-02 Fujitsu Limited Informationsverarbeitungsprogramm, Informationsverarbeitungsverfahren und Informationsverarbeitungsvorrichtung
US10482626B2 (en) * 2018-01-08 2019-11-19 Mediatek Inc. Around view monitoring systems for vehicle and calibration methods for calibrating image capture devices of an around view monitoring system using the same
CN109163707B (zh) 2018-09-06 2019-11-26 百度在线网络技术（北京）有限公司 障碍物感知方法、系统、计算机设备、计算机存储介质
US11748920B2 (en) * 2019-08-02 2023-09-05 Nissan Motor Co., Ltd. Image processing device, and image processing method
CN110576796A (zh) * 2019-08-28 2019-12-17 浙江合众新能源汽车有限公司 一种标清360全景系统ui布局方法
TWI826119B (zh) * 2022-11-15 2023-12-11 瑞昱半導體股份有限公司 影像處理方法、系統以及非暫態電腦可讀取記錄媒體

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07236113A (ja) * 1994-02-24 1995-09-05 Canon Inc 画像記録再生方法および画像記録再生装置
JPH0973545A (ja) * 1995-09-07 1997-03-18 Fujitsu Ten Ltd 白線認識装置
JP2001186512A (ja) * 1999-12-27 2001-07-06 Toshiba Corp Ｘ線検査装置
JP2001236506A (ja) * 2000-02-22 2001-08-31 Nec Corp 白線検出方法および白線検出装置
JP2003169323A (ja) 2001-11-29 2003-06-13 Clarion Co Ltd 車両周囲監視装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2259220A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Method and apparatus for displaying image
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
ATE311725T1 (de) * 2001-09-07 2005-12-15 Matsushita Electric Industrial Co Ltd Vorrichtung zum anzeigen der umgebung eines fahrzeuges und system zur bildbereitstellung
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP4832321B2 (ja) * 2007-01-26 2011-12-07 三洋電機株式会社 カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07236113A (ja) * 1994-02-24 1995-09-05 Canon Inc 画像記録再生方法および画像記録再生装置
JPH0973545A (ja) * 1995-09-07 1997-03-18 Fujitsu Ten Ltd 白線認識装置
JP2001186512A (ja) * 1999-12-27 2001-07-06 Toshiba Corp Ｘ線検査装置
JP2001236506A (ja) * 2000-02-22 2001-08-31 Nec Corp 白線検出方法および白線検出装置
JP2003169323A (ja) 2001-11-29 2003-06-13 Clarion Co Ltd 車両周囲監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2018066A4

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188635A (ja) * 2008-02-05 2009-08-20 Nissan Motor Co Ltd 車両周辺画像処理装置及び車両周辺状況提示方法
JP2010221980A (ja) * 2009-03-25 2010-10-07 Aisin Seiki Co Ltd 車両用周辺監視装置
US8866905B2 (en) 2009-03-25 2014-10-21 Aisin Seiki Kabushiki Kaisha Surroundings monitoring device for a vehicle
JP2011109286A (ja) * 2009-11-16 2011-06-02 Alpine Electronics Inc 車両周辺監視装置および車両周辺監視方法
JP2015119225A (ja) * 2013-12-16 2015-06-25 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US10140775B2 (en) 2013-12-16 2018-11-27 Sony Corporation Image processing apparatus, image processing method, and program
WO2015098107A1 (ja) * 2013-12-24 2015-07-02 京セラ株式会社 画像処理装置、警報装置、および画像処理方法
JPWO2015098107A1 (ja) * 2013-12-24 2017-03-23 京セラ株式会社 画像処理装置、警報装置、および画像処理方法
US10102436B2 (en) 2013-12-24 2018-10-16 Kyocera Corporation Image processing device, warning device and method for processing image
JP2024028606A (ja) * 2017-08-08 2024-03-04 住友建機株式会社 道路機械
JP7821208B2 (ja) 2017-08-08 2026-02-26 住友建機株式会社 道路機械
KR102343052B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 3d 데이터를 기반으로 2d 이미지에서의 객체의 이동 경로를 식별하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20090257659A1 (en) 2009-10-15
EP2018066B1 (en) 2019-10-02
US8243994B2 (en) 2012-08-14
EP2018066A4 (en) 2017-04-19
CN101438590A (zh) 2009-05-20
CN101438590B (zh) 2011-07-13
JPWO2007129582A1 (ja) 2009-09-17
JP4956799B2 (ja) 2012-06-20
EP2018066A1 (en) 2009-01-21

Similar Documents

Publication Publication Date Title
WO2007129582A1 (ja) 車両周辺画像提供装置及び車両周辺画像提供方法
JP5068779B2 (ja) 車両周囲俯瞰画像表示装置及び方法
KR101519209B1 (ko) Avm 영상 제공 장치 및 방법
EP2437494B1 (en) Device for monitoring area around vehicle
US9418556B2 (en) Apparatus and method for displaying a blind spot
JP6699427B2 (ja) 車両用表示装置および車両用表示方法
JP2012147149A (ja) 画像生成装置
WO2012172923A1 (ja) 車両周辺監視装置
JP2012040883A (ja) 車両周囲画像生成装置
JP5500392B2 (ja) 車両周辺監視装置
KR102177878B1 (ko) 영상 처리 장치 및 방법
WO2014054753A1 (ja) 画像処理装置及び車両前方監視装置
JP2012136206A (ja) 駐車制御システム、及び、駐車制御方法
JPWO2014054752A1 (ja) 画像処理装置及び車両前方監視装置
JP2000293693A (ja) 障害物検出方法および装置
JP2008102620A (ja) 画像処理装置
JPWO2018146997A1 (ja) 立体物検出装置
JP5906696B2 (ja) 車両周辺撮影装置および車両周辺画像の処理方法
JP5235843B2 (ja) 車両周辺監視装置および車両周辺監視方法
JP4070450B2 (ja) 前方車両認識装置及び認識方法
JP5891751B2 (ja) 画像間差分装置および画像間差分方法
JP2007249814A (ja) 画像処理装置及び画像処理プログラム
JP6718295B2 (ja) 周辺監視装置及び周辺監視方法
JP2017117357A (ja) 立体物検知装置
JP5317655B2 (ja) 車両運転支援装置および車両運転支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07742396

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008514434

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12298837

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2007742396

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200780016689.5

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE