WO2018116841A1 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
WO2018116841A1
WO2018116841A1 PCT/JP2017/043937 JP2017043937W WO2018116841A1 WO 2018116841 A1 WO2018116841 A1 WO 2018116841A1 JP 2017043937 W JP2017043937 W JP 2017043937W WO 2018116841 A1 WO2018116841 A1 WO 2018116841A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
road
data
parallax
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/043937
Other languages
English (en)
French (fr)
Inventor
フェリペ ゴメズカバレロ
雅幸 竹村
野中　進一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to US16/346,029 priority Critical patent/US11024051B2/en
Priority to CN201780067420.3A priority patent/CN110088802B/zh
Priority to EP17883461.0A priority patent/EP3557527B1/en
Publication of WO2018116841A1 publication Critical patent/WO2018116841A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an object detection device.
  • an image processing device for detecting a three-dimensional object is known as a device for monitoring a suspicious person's intrusion or other abnormality or assisting in driving a vehicle. It is expected to ensure safety by detecting cars and pedestrians around the vehicle.
  • an image processing apparatus for example, a technique for detecting an object on a road surface using a plurality of images taken by a stereo camera is disclosed (for example, see Patent Document 1). According to this technique, by using the parallax information obtained from the plurality of images, it is possible to prevent confusion between the road surface and an object existing on the road surface, and to detect an object on the road surface.
  • the present invention has been made based on the circumstances as described above, and an object of the present invention is to accurately estimate the height of the road surface and reliably detect an object existing on the road surface.
  • the object is to provide an object detection device.
  • the present invention (1) An object detection device for detecting an object on a road surface, A stereo camera that shoots the road surface and the shoulder and generates image data; A three-dimensional data generation unit that calculates parallax data at each pixel in the image data using the image data generated by the stereo camera; A road shoulder structure detection unit that detects a predetermined structure installed on the road shoulder using the parallax data and / or the image data; A structure ground contact position deriving unit for deriving a ground contact position of the structure detected by the road shoulder structure detection unit; A road surface position estimation unit that estimates the height of the road surface using the ground contact position of the structure; Using the parallax data generated by the three-dimensional data generation unit and the height of the road surface estimated by the road surface position estimation unit, the parallax data corresponding to the road surface in the parallax data and parallax data other than the parallax data And an object detection unit that detects an object on the road surface by separating (2) The object detection device according to (1), wherein the road surface
  • the structure grounding position deriving unit derives the grounding position of the structure using the parallax data of the structure and the height information of the structure stored in the database.
  • the object detection unit according to any one of the preceding items.
  • road shoulder means the periphery of the road surface on which the automobile travels, and is a concept including the side and upper areas of the road surface.
  • grounding position means a position where a structure installed on the road shoulder contacts the ground.
  • Detecting an object means specifying the position of an object in a three-dimensional space, specifying the speed of the object, and specifying the type of object (for example, an automobile, a motorcycle, a bicycle, a pedestrian, a pole, etc.). It means a process including at least one of them.
  • the present invention can provide an object detection apparatus that can accurately estimate the height of a road surface and can reliably detect an object that actually exists on the road surface.
  • FIG. 1 is V parallax image used with a structure grounding position deriving unit, (b) is V during processing in a road surface position estimation unit. Each parallax image is shown.
  • FIG. 2 is a schematic diagram for explaining a processing process of the object detection apparatus of FIG. 1, where (a) is a V parallax image used in a road surface position estimation unit, and (b) is in image data detected using the object detection unit. Each object is shown. It is a schematic block diagram for demonstrating the 2nd Embodiment of this invention.
  • An object detection device of the present invention is an object detection device that detects an object on a road surface, and uses a stereo camera that captures the road surface and a shoulder and generates image data, and image data generated by the stereo camera, A three-dimensional data generation unit that calculates parallax data for each pixel in the image data, and a road shoulder structure detection unit that detects a predetermined structure installed on the road shoulder using the parallax data and / or the image data.
  • a structure grounding position deriving unit for deriving the grounding position of the structure, and using the grounding position of the structure
  • the road surface position estimation unit for estimating the height, the parallax data generated by the three-dimensional data generation unit, and the road surface position estimation unit.
  • the “road shoulder structure” means a predetermined structure installed on the road shoulder.
  • the predetermined structure include a road shoulder structure 102 (guard rail), a road shoulder structure 103 (traffic sign), and a road shoulder structure 104 (traffic signal) illustrated in FIG. 1 described later.
  • FIG. 1 is a schematic diagram for explaining a first embodiment of the present invention.
  • the object detection apparatus 1 is roughly configured by a stereo camera 110, a three-dimensional data generation unit 210, a road shoulder structure detection unit 310, and a structure grounding position deriving unit 410.
  • the road surface position estimation unit 510, the object detection unit 610, and the control software processing unit 710 are configured.
  • the stereo camera 110 shoots the road surface 101a and the road shoulder 101b around the own vehicle to generate image data, and has a pair of camera sensors 111 and 112 for shooting the road surface 101a and the road shoulder 101b.
  • the three-dimensional data generation unit 210 uses the image data generated by the stereo camera 110 and calculates parallax data (three-dimensional distance image data) at each pixel in the image data.
  • the parallax data can be obtained by using image data taken by the camera sensors 111 and 112 and applying a known stereo matching technique.
  • the stereo matching technique described above uses unit regions so that the difference between image signals is minimized for each predetermined unit region in two images that are compared with each other that are captured using the camera sensors 111 and 112. Is to determine. That is, a region where the same object is projected is detected, and a three-dimensional distance image is thereby formed.
  • the three-dimensional distance image (Three-dimensional distance image) is referred to as a “parallax image”, and in particular, an image (V ⁇ ) in which the vertical direction is a vertical position V and the horizontal direction is a position V. (disparity image) is referred to as a “V parallax image”.
  • the road shoulder structure detection unit 310 uses the parallax data calculated by the three-dimensional data generation unit 210 and / or the image data obtained by the camera sensors 111 and 112, and uses the image data as a predetermined pattern corresponding to the road shoulder structure. By searching from the inside, the road shoulder structure installed on the road shoulder 101b is detected.
  • the structure ground contact position deriving unit 410 derives the ground contact position of the road shoulder structure detected by the road shoulder structure detection unit 310.
  • the method for deriving the grounding position is not particularly limited, but the structure grounding position deriving unit derives the grounding position of the road shoulder structure using the parallax data of the road shoulder structure and / or the image data of the road shoulder structure. It is preferable to do.
  • this derivation method for example, a known technique can be used. Thereby, the contact position of the road shoulder structure can be reliably derived.
  • the road shoulder structure when the road shoulder structure is derived in the derivation of the ground contact position, such as a guard rail, when the detected road shoulder structure extends in the line-of-sight direction of the stereo camera 110 (the traveling direction of the host vehicle), the road shoulder structure
  • the ground contact position of the object may be calculated at predetermined intervals along the line-of-sight direction.
  • the structure grounding position deriving unit 410 uses the derived grounding position of the road shoulder structure and the image data generated by the stereo camera 110, and uses the height of the top of the road shoulder structure from the ground (the road shoulder structure of the road shoulder structure). (Height) may be calculated. As a result, when the height of the road shoulder structure deviates from a predetermined range, the object detection apparatus 1 can make the ground contact position of the road shoulder structure an abnormal value and can be used for the estimation of the road surface height, and the road surface 101a. The height estimation accuracy can be further improved.
  • the road surface position estimation unit 510 estimates the height of the road surface 101a using the ground contact position of the road shoulder structure derived by the structure ground contact position deriving unit 410.
  • the method for estimating the height of the road surface 101a is not particularly limited, and for example, a known technique can be used.
  • the height of the road surface 101a is expressed as a height relative to a predefined plane (such as a predetermined horizontal plane).
  • the above-described road surface position estimation unit 510 preferably uses the ground contact position of the road shoulder structure and estimates the height of the road surface 101a for each position (segment) in the line-of-sight direction of the stereo camera 110. Thereby, the said object detection apparatus 1 can estimate more accurately the height of each part of the road surface 101a, such as the undulation state in the said gaze direction.
  • the object detection unit 610 uses the parallax data generated by the three-dimensional data generation unit 210 and the height of the road surface 101a estimated by the road surface position estimation unit 510, and the parallax data corresponding to the road surface 101a in the parallax data and the By separating the parallax data other than the parallax data, an object on the road surface 101a (for example, the car 105 traveling in front of the host vehicle as shown in the scene A1 in FIG. 1A) is detected.
  • a method for detecting an object on the road surface 101a is not particularly limited, and for example, a known technique (for example, a technique described in JP 2009-146217 A) can be used.
  • the object detection unit 610 has image data obtained by at least one of the camera sensors 111 and 112 in the stereo camera 110 from the viewpoint of improving the object detection accuracy. May be used to detect an object on the road surface 101a.
  • the control software processing unit 710 controls the vehicle so that it can respond to the object detected by the object detection unit 610 and the movement of the object.
  • the control software processing unit 710 incorporates control software capable of controlling the vehicle according to the movement of the object, and the movement of the vehicle is controlled based on a command from the control software.
  • control software well-known automatic driving assistance software etc. are employable, for example.
  • FIG. 2 is a schematic flowchart for executing the detection of the road shoulder structure of FIG.
  • the road shoulder structure detection unit 310 acquires one of the image data obtained by the stereo camera 110, and from the specific pattern included in the image, the road shoulder structure 102 (guardrail) as shown in FIG.
  • a road shoulder structure 103 (traffic sign), a road shoulder structure 104 (traffic light), and the like are detected (step S21).
  • the road shoulder structure detection unit 310 specifies an area where the road shoulder structure detected in step S21 is located.
  • the specified area is used in the structure ground contact position deriving unit 410 and the road surface position estimating unit 510. (Step S22).
  • FIG. 3 is a schematic flowchart for estimating the road surface height of FIG.
  • the road surface position estimation unit 510 first sets a region that is a road surface candidate in the V parallax image (step S31).
  • This setting method is not particularly limited, but a method using a pre-estimated road surface position, a method using a point at infinity of a camera as a reference for setting an area, and a trapezoidal shape for dividing a road range are set. It is preferable to include at least one of a method using a sectioned range in a parallax image as effective road data and a method using detection of a lane mark for determining a road shape.
  • the parallax data included in the region that is effective and is a candidate for the road surface is extracted by the road surface position estimation unit 510 (step S32).
  • the parallax data of the road surface and the parallax data of an object such as an automobile that may exist on the road surface are separated.
  • the separation method is not particularly limited, but the method using the position of the shoulder structure for calculating the position closest to the road surface of the shoulder structure, the vertical direction gradually decreases toward the point where the parallax value is infinite.
  • the road surface position estimation unit 510 projects the parallax data of the region that is the road surface candidate onto the V parallax space (the vertical axis is the vertical position V, and the horizontal axis is the coordinate space specified by the parallax value at the position V).
  • a histogram representing the frequency with respect to the parallax value of each road surface candidate is generated, thereby extracting V parallax road surface representative data for each parallax value in the vertical direction (step S33).
  • the road surface position estimation unit 510 integrates the information on the ground contact position of the road shoulder structure detected by the structure ground contact position deriving unit 410 and the V parallax road surface representative data into road surface estimation data ( Step S34).
  • the height of the structure is specified in advance, such as the road shoulder structure 102
  • a virtual ground contact position is calculated using the specified height, and this is used as road surface estimation data. (See FIGS. 5A and 5B).
  • the road surface position estimation unit 510 uses the data integrated in step S34 to calculate a single line (road surface line) passing through the vicinity of a pixel having a high histogram frequency (step S35).
  • the single road surface line may be either a straight line or a curve, or may be a line obtained by combining one or more of these straight lines and curves.
  • the road surface position estimation unit 510 uses the road surface line calculated in step 35 to estimate the road surface height (step S36).
  • the object detection device 1 is mounted on the own vehicle, and the object detection device 1 is used to detect an object 105 (hereinafter also referred to as “automobile 105”) on the road surface 101a in front of the own vehicle. Further, in this specific example, as shown in FIG. 4A, it is assumed that a road shoulder structure 102 (guard rail) and a road shoulder structure 104 (signal) exist around the vehicle.
  • a road shoulder structure 102 guard rail
  • a road shoulder structure 104 signal
  • a stereo camera 110 mounted on the host vehicle is used to photograph the surroundings in the traveling direction of the host vehicle including the road surface 101a and the road shoulder 101b to generate image data.
  • the 3D data generation unit 210 uses the image data generated by the stereo camera 110 to calculate the parallax at each pixel in the image data, and then the road shoulder structure detection unit 310 calculates the parallax calculated according to step S21.
  • the road shoulder structure is detected using the data, and the area of the road shoulder structure is specified according to step S22.
  • FIG. 4B shows a V parallax image generated by the three-dimensional data generation unit 210.
  • parallax data data area
  • R1 parallax data
  • R5 parallax data
  • R5 data area
  • R4 road shoulder structure 104
  • L1 the line represented by the symbol L1 indicates the position of the road surface described as a reference and not yet detected.
  • the parallax of the road surface 101a represented by data area R1 is lower than other parallaxes, such as the road shoulder structures 102 and 104.
  • FIG. This is probably due to the fact that the structure of the road surface 101a is uniform, making it difficult to calculate parallax by stereo matching, or the visibility of the road surface is low due to bad weather.
  • the structure ground contact position deriving unit 410 obtains V parallax image data, and uses this data to derive the ground contact positions of the road shoulder structures 102 and 104.
  • the ground contact position of the road shoulder structure is derived at predetermined intervals along the line-of-sight direction. .
  • the road surface position estimation unit 510 extracts the V parallax road surface representative data D1 represented by the data area R1 according to steps S31 to S33, and then, according to steps S34 and S35, the V parallax road surface representative data D1 and the above-mentioned road shoulder.
  • the road surface line L2 shown in FIG. 5B is calculated by integrating the structure ground contact positions D2 and D4.
  • a method of calculating the road surface line L2 for example, a method of calculating by performing linear approximation or the like by an approximation method such as a least square approximation method can be employed.
  • the V parallax road surface representative data D1 is indicated by a circle
  • the ground contact positions D2 and D4 are indicated by a trapezoid mark and a triangle mark, respectively.
  • the road surface position estimation unit 510 estimates the road surface height using the above-calculated road surface line L2 according to step S36.
  • the estimated road surface height is used to specify the parallax data of the segment having the same height position as the road surface 101a.
  • the object detection unit 610 separates the parallax data indicating the road surface 101a and the remaining parallax data other than the road surface 101a, and uses the separated parallax data.
  • a region R105 corresponding to the automobile 105 on the road surface 101a is detected and the position of the region R105 is specified.
  • the object detection unit 610 detects the region R105 of the automobile 105 using the parallax data and the information on the ground contact positions D2 and D4 of the road shoulder structures 102 and 104 detected by the road shoulder structure detection unit 310. You may do it. Accordingly, it is possible to reduce the processing time required for detecting the automobile 105 and more reliably prevent the parallax data corresponding to the automobile 105 and the parallax data corresponding to the road shoulder structures 102 and 104 from being confused.
  • control software processing unit 710 controls the own vehicle so as to correspond to the automobile 105 detected by the object detection unit 610 (for example, avoidance of approach to the automobile 105, follow-up of the automobile 105, overtaking of the automobile 105).
  • the object detection apparatus 1 includes the above-described stereo camera 110, three-dimensional data generation unit 210, road shoulder structure detection unit 310, structure ground position derivation unit 410, road surface position estimation unit 510, and object detection unit 610. Therefore, the height of the road surface 101a can be accurately estimated using the ground contact positions of the road shoulder structures 102 and 104, and the object 105 existing on the road surface 101a can be reliably detected.
  • FIG. 7 is a schematic block diagram for explaining a second embodiment of the present invention.
  • the object detection apparatus 2 schematically includes a stereo camera 110, a three-dimensional data generation unit 210, a road shoulder structure detection unit 310, a structure ground contact position deriving unit 420, and a database 421. , A road surface position estimation unit 510, an object detection unit 610, and a control software processing unit 710.
  • This second embodiment is different from the first embodiment in that a structure ground contact position deriving unit 420 and a road shoulder structure database 421 are provided. Since the configuration other than the structure grounding position deriving unit 420 and the database 421 is the same as that of the first embodiment, the same portions are denoted by the same reference numerals and detailed description thereof is omitted.
  • the structure ground contact position deriving unit 420 calculates parallax data of the road shoulder structure and height information of the road shoulder structure stored in the database 421 described later in order to estimate the ground contact position of the detected road shoulder structure. Used to derive the ground contact position of the road shoulder structure. Specifically, the structure ground contact position deriving unit 420 detects the top position of the road shoulder structure, and uses the height of the road shoulder structure stored in the database 421 described later to calculate the height from the top position. The ground contact position of the road shoulder structure is derived by subtraction.
  • the database 421 stores road height structure height information.
  • the information stored in the database 421 is not particularly limited.
  • information such as the position and range of the road shoulder structure may be included.
  • the object detection apparatus 2 since the object detection apparatus 2 includes the above-described structure grounding position deriving unit 420 and the database 421, the grounding position of the road shoulder structure can be derived more accurately and reliably. Further, since the object detection device 2 has the above-described configuration, the ground contact position of the road shoulder structure can be indirectly derived even if the ground contact position of the road shoulder structure cannot be directly derived for some reason. it can.
  • the object detection apparatus 1 that estimates the height of the road surface 101a using the V parallax road surface representative data D1 of the road surface 101a and the ground contact positions D2 and D4 of the road shoulder structures 102 and 104 has been described.
  • An object detection device that estimates the height of the road surface only from the ground contact position of the road shoulder structure without using the V parallax road surface representative data is also within the intended range of the present invention.
  • the object detection device 1 including the control software processing unit 710 has been described.
  • the object detection device of the present invention only needs to be able to reliably detect an object existing on the road surface, and the control software processing An object detection apparatus that does not include a processing unit such as the unit 710 may be used.
  • object detection device 101a road surface, 101b road shoulder, 102, 103, 104 structure (road shoulder structure), 105 object, 110 stereo camera, 210 three-dimensional data generation unit, 310 road shoulder structure detection unit, 410, 420 Structure ground position derivation unit, 421 database, 510 road surface position estimation unit, 610 object detection unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本発明は、路面の高さを正確に推定することができ、上記路面上に実在する物体を確実に検出することができる物体検出装置の提供を目的とする。本発明は、本発明の物体検出装置１は、路面上の物体を検出する物体検出装置であって、路面１０１ａおよび路肩１０１ｂを撮影して画像データを生成するステレオカメラ１１０と、上記画像データ中の各画素における視差データを算出する三次元データ生成ユニット２１０と、視差データおよび／または画像データを用い、路肩構造物を検出する路肩構造物検出ユニット３１０と、路肩構造物の接地位置を導出する構造物接地位置導出ユニット４１０と、路肩構造物の接地位置から路面１０１ａの高さを推定する路面位置推定ユニット５１０と、視差データと路面の高さとを用い、路面１０１ａに対応する視差データと物体の視差データとを分離して路面１０１ａ上の物体１０５を検出する物体検出ユニット６１０とを備えている。

Description

物体検出装置
　本発明は、物体検出装置に関する。
　不審者の侵入やその他の異常を監視したり、自動車の運転を支援する装置として、例えば三次元物体を検出する画像処理装置が知られており、特に自動車の分野では、上記画像処理装置に対し、自車周囲の自動車や歩行者を検知して安全を確保することが期待されている。
　このような画像処理装置としては、例えば、ステレオカメラにより撮影した複数の画像を用いて路面上の物体を検出する技術が開示されている（例えば、特許文献１参照）。この技術によれば、上記複数の画像から得られる視差の情報を用いることで、路面とこの路面上に存在する物体との混同を防止して路面上の物体を検出することができる。
特開２０１５－１７９３０２号公報
　しかしながら、上述したような従来の画像処理装置では、もし走行している自動車周囲の路面などの環境が視差情報を生成するのに適していない場合、上記路面の位置検出精度の低下に伴って物体と路面との判別が困難になり、その結果、実際に存する路面上の物体が未検出となったり、不正確な視差の情報により物体の誤検出を引き起こす虞がある。
　本発明は、以上のような事情に基づいてなされたものであり、その目的は、路面の高さを正確に推定することができ、上記路面上に実在する物体を確実に検出することができる物体検出装置を提供することにある。
　本発明は、
（１）路面上の物体を検出する物体検出装置であって、
  前記路面および路肩を撮影して画像データを生成するステレオカメラと、
  前記ステレオカメラにより生成した画像データを用い、この画像データ中の各画素における視差データを算出する三次元データ生成ユニットと、
  前記視差データおよび／または前記画像データを用い、前記路肩に設置された所定の構造物を検出する路肩構造物検出ユニットと、
  前記路肩構造物検出ユニットにより検出された前記構造物の接地位置を導出する構造物接地位置導出ユニットと、
  前記構造物の接地位置を用い、前記路面の高さを推定する路面位置推定ユニットと、
  前記三次元データ生成ユニットにより生成された視差データと前記路面位置推定ユニットにより推定された路面の高さとを用い、前記視差データのうちの前記路面に対応する視差データとこの視差データ以外の視差データとを分離することにより、前記路面上の物体を検出する物体検出ユニットとを備えていることを特徴とする物体検出装置、
（２）路面位置推定ユニットが、構造物の接地位置を用い、ステレオカメラの視線方向の各位置ごとに路面の高さを推定する前記（１）に記載の物体検出装置、
（３）構造物接地位置導出ユニットが、構造物の視差データおよび／または前記構造物の画像データを用い、前記構造部の接地位置を導出する前記（１）または（２）に記載の物体検出ユニット、並びに
（４）構造物の高さ情報が格納されたデータベースを備え、
  構造物接地位置導出ユニットが、前記構造物の視差データと前記データベースに格納された前記構造物の高さ情報とを用い、前記構造物の接地位置を導出する前記（１）から（３）のいずれか１項に記載の物体検出ユニットに関する。
　なお、本明細書において「路肩」とは、自動車が走行する路面の周囲を意味し、上記路面の側方および上方の領域を含む概念である。また、「接地位置」とは、路肩に設置された構造物が地面に接する位置を意味する。また、「物体を検出する」とは、三次元空間における物体の位置の特定、物体の速度の特定、および物体の種類（例えば、自動車、自動二輪車、自転車、歩行者、ポールなど）の特定のうちの少なくともいずれか１つを含む処理を意味する。
　本発明は、路面の高さを正確に推定することができ、路面上に実在する物体を確実に検出することができる物体検出装置を提供することができる。
本発明の第１の実施形態を説明するための概略図であって、（ａ）は自車から見た場面、（ｂ）は物体検出装置のブロック図をそれぞれ示している。 図１の路肩構造物の検出を実行するための概略フローチャートである。 図１の路面高さを推定するための概略フローチャートである。 図１の物体検出装置の処理過程を説明するための概略図であって、（ａ）は自車から見える場面、（ｂ）は三次元データ生成ユニットにより生成されたＶ視差画像をそれぞれ示している。 図１の物体検出装置の処理過程を説明するための概略図であって、（ａ）は構造物接地位置導出ユニットで用いるＶ視差画像、（ｂ）は路面位置推定ユニットでの処理中のＶ視差画像をそれぞれ示している。 図１の物体検出装置の処理過程を説明するための概略図であって、（ａ）は路面位置推定ユニットで用いるＶ視差画像、（ｂ）は物体検出ユニットを用いて検出された画像データ中の物体をそれぞれ示している。 本発明の第２の実施形態を説明するための概略ブロック図である。
　本発明の物体検出装置は、路面上の物体を検出する物体検出装置であって、上記路面および路肩を撮影して画像データを生成するステレオカメラと、上記ステレオカメラにより生成した画像データを用い、この画像データ中の各画素における視差データを算出する三次元データ生成ユニットと、上記視差データおよび／または上記画像データを用い、上記路肩に設置された所定の構造物を検出する路肩構造物検出ユニットと、上記路肩構造物検出ユニットにより検出された上記構造物の視差データを用い、この構造物の接地位置を導出する構造物接地位置導出ユニットと、上記構造物の接地位置を用い、上記路面の高さを推定する路面位置推定ユニットと、上記三次元データ生成ユニットにより生成された視差データと上記路面位置推定ユニットにより推定された路面の高さとを用い、上記視差データのうちの上記路面に対応する視差データとこの視差データ以外の視差データとを分離することにより、上記路面上の物体を検出する物体検出ユニットとを備えていることを特徴とする。
　以下、本発明の物体検出装置の第１および第２の実施形態について、図面を参照して説明するが、本発明は、当該図面に記載の実施形態にのみ限定されるものではない。
　なお、本明細書において「路肩構造物」とは路肩に設置された所定の構造物を意味する。この所定の構造物としては、例えば、後述する図１に図示された路肩構造物１０２（ガードレール）、路肩構造物１０３（交通標識）および路肩構造物１０４（信号機）等が挙げられる。
　［第１の実施形態］
  図１は、本発明の第１の実施形態を説明するための概略図である。当該物体検出装置１は、図１（ｂ）に示すように、概略的に、ステレオカメラ１１０と、三次元データ生成ユニット２１０と、路肩構造物検出ユニット３１０と、構造物接地位置導出ユニット４１０と、路面位置推定ユニット５１０と、物体検出ユニット６１０と、制御ソフトウェア処理ユニット７１０とにより構成されている。
　ステレオカメラ１１０は、自車周囲の路面１０１ａおよび路肩１０１ｂを撮影して画像データを生成するものであり、上記路面１０１ａおよび路肩１０１ｂを撮影する一対のカメラセンサ１１１、１１２を有している。
　三次元データ生成ユニット２１０は、ステレオカメラ１１０により生成した画像データを用い、この画像データ中の各画素における視差データ（三次元距離画像データ）を算出する。この視差データは、カメラセンサ１１１、１１２により撮影された画像データを用い、公知のステレオマッチング技術を適用することで得ることができる。
　ここで、上述のステレオマッチング技術は、カメラセンサ１１１、１１２を用いて撮影された互いに比較される２つの画像中の各所定の単位領域について、画像信号間の差異が最小となるように単位領域を決定するものである。すなわち、同一の物体が写し出される領域を検出し、これにより三次元距離画像が形成される。以下、上記三次元距離画像（Ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ　ｄｉｓｔａｎｃｅ　ｉｍａｇｅ）を「視差画像」と称すると共に、特に、縦方向が鉛直方向の位置Ｖ、横方向が位置Ｖにおける視差値で表される画像（Ｖ－ｄｉｓｐａｒｉｔｙ　ｉｍａｇｅ）を「Ｖ視差画像」と称する。
　路肩構造物検出ユニット３１０は、三次元データ生成ユニット２１０により算出された視差データおよび／またはカメラセンサ１１１、１１２により得られた画像データを用い、路肩構造物に相当する所定のパターンを上記画像データ中から探し出すことで、路肩１０１ｂに設置された路肩構造物を検出する。
　構造物接地位置導出ユニット４１０は、路肩構造物検出ユニット３１０により検出された路肩構造物の接地位置を導出する。上記接地位置の導出方法としては、特に限定されないが、構造物接地位置導出ユニットが、路肩構造物の視差データおよび／または上記路肩構造物の画像データを用い、上記路肩構造部の接地位置を導出することが好ましい。この導出方法としては、例えば、公知の技術を用いることができる。これにより、路肩構造物の接地位置を確実に導出することができる。
　なお、路肩構造物の接地位置の導出の際、ガードレールのように、検出された路肩構造物がステレオカメラ１１０の視線方向（自車の進行方向）に向かって伸びているときは、当該路肩構造物の接地位置を上記視線方向に沿って所定の間隔ごとに算出するようにしてもよい。
　また、構造物接地位置導出ユニット４１０は、導出された路肩構造物の接地位置およびステレオカメラ１１０により生成された画像データを用い、当該路肩構造物の地面からの頂部の高さ（路肩構造物の高さ）を算出するようにしてもよい。これにより、当該物体検出装置１は、路肩構造物の高さが所定範囲から外れる場合、上記路肩構造物の接地位置を異常値として路面高さの推定に不使用とすることができ、路面１０１ａの高さの推定精度をより向上させることができる。
　このような態様としては、例えば、信号機など構造物を設置する高さの範囲が規定されているような場合、検出された路肩構造物の高さが上記範囲から外れるときには明らかに当該路肩構造物の誤判定であると考えられるため、この路肩構造物の情報を不使用とする例が挙げられる。
　路面位置推定ユニット５１０は、構造物接地位置導出ユニット４１０により導出された路肩構造物の接地位置を用い、路面１０１ａの高さを推定する。上記路面１０１ａの高さを推定する方法としては特に限定されず、例えば、公知の技術を用いることができる。ここで、路面１０１ａの高さは、あらかじめ定義された平面（所定の水平面など）に対する高さとして表される。
　なお、上述の路面位置推定ユニット５１０は、路肩構造物の接地位置を用い、ステレオカメラ１１０の視線方向の各位置（セグメント）ごとに路面１０１ａの高さを推定することが好ましい。これにより、当該物体検出装置１は、上記視線方向における起伏状態など、路面１０１ａ各部の高さをより正確に推定することができる。
　物体検出ユニット６１０は、三次元データ生成ユニット２１０により生成された視差データと路面位置推定ユニット５１０により推定された路面１０１ａの高さとを用い、視差データのうちの路面１０１ａに対応する視差データとこの視差データ以外の視差データとを分離することにより、路面１０１ａ上の物体（例えば、図１（ａ）の場面Ａ１に示すような自車前方を走行する自動車１０５など）を検出する。路面１０１ａ上の物体を検出する方法としては特に限定されず、例えば、公知の技術（例えば、特開２００９－１４６２１７号公報に記載の技術など）を用いることができる。
　また、物体検出ユニット６１０は、物体の検出精度を向上させる観点から、上述した視差データおよび路面１０１ａの高さに加え、ステレオカメラ１１０におけるカメラセンサ１１１および１１２の少なくともいずれかにより得られた画像データを用いることで路面１０１ａ上の物体を検出するようにしてもよい。
　制御ソフトウェア処理ユニット７１０は、上述した物体検出ユニット６１０により検出された物体および当該物体の動きに対応できるように自車を制御する。この制御ソフトウェア処理ユニット７１０には、上記物体の動き等に応じて自車を制御することが可能な制御ソフトウェアが組み込まれており、この制御ソフトウェアからの指令に基づき自車の動きが制御される。上記制御ソフトウェアとしては、例えば、公知の自動運転支援ソフトウェアなどを採用することができる。
　ここで、上述した各ユニットのうち、路肩構造物検出ユニット３１０および路面位置推定ユニット５１０にて実行される処理について、以下に詳述する。
　まず、図２は、図１の路肩構造物の検出を実行するための概略フローチャートである。
路肩構造物検出ユニット３１０は、ステレオカメラ１１０により得られた画像データうちの１つの画像データを取得し、画像に含まれる特定のパターンから、図１に示すような路肩構造物１０２（ガードレール）、路肩構造物１０３（交通標識）、路肩構造物１０４（信号機）などを検出する（ステップＳ２１）。
　次いで、路肩構造物検出ユニット３１０は、ステップＳ２１で検出された路肩構造物が位置する領域を特定する。なお、この特定された領域は、構造物接地位置導出ユニット４１０および路面位置推定ユニット５１０において用いられる。（ステップＳ２２）。
　次に、図３は、図１の路面高さを推定するための概略フローチャートである。路面位置推定ユニット５１０は、まず、Ｖ視差画像中において、路面候補となる領域を設定する（ステップＳ３１）。この設定方法としては特に限定されないが、あらかじめ推定された路面位置を使用する方法、領域設定のための参照としてカメラの無限遠の点を使用する方法、道路範囲を区画するための台形形状を設定することによる有効な道路データとしての視差画像中の区画された範囲を使用する方法、道路形状を決めるための車線マークの検出を使用する方法のうちの少なくともいずれかを含んでいることが好ましい。
　次に、路面位置推定ユニット５１０が有効かつ路面候補となる領域に含まれている視差データを抽出する（ステップＳ３２）。このステップＳ３２では、視差データを抽出する際、路面の視差データと、路面上に存在する可能性のある自動車などの物体の視差データとが分離される。この分離方法としては特に限定されないが、路肩構造物の路面に最も近い位置を算出するための上記路肩構造物の位置を使用する方法、視差値が無限遠の点に向かって垂直方向が漸次減少するのを確認するために、視差データ中の垂直方向の視差値と所定の閾値とを比較する方法のうちの少なくともいずれかの方法を含んでいることが好ましい。
　次に、路面位置推定ユニット５１０は、路面候補となる領域の視差データをV視差空間（縦軸が鉛直方向の位置Ｖ、横軸が位置Ｖにおける視差値で特定される座標空間）に投影して各路面候補の視差値に対する周波数を表すヒストグラムを生成し、これにより垂直方向における各視差値ごとにＶ視差路面代表データを抽出する（ステップＳ３３）。
　次に、路面位置推定ユニット５１０は、構造物接地位置導出ユニット４１０により検出された路肩構造物の接地位置の情報と、上記Ｖ視差路面代表データとを統合して路面推定用のデータとする（ステップＳ３４）。この際、路肩構造物１０２のように構造物の高さがあらかじめ規定されている場合、この規定されている高さを用いて仮想的な接地位置を算出し、これを路面推定用のデータとすることができる（図５（ａ）、（ｂ）参照）。
　次に、路面位置推定ユニット５１０は、ステップＳ３４にて統合されたデータを用い、高いヒストグラム周波数を有する画素近傍を通る一本のライン（路面ライン）を算出する（ステップＳ３５）。なお、この一本の路面ラインは直線および曲線のいずれであってもよく、これら直線および曲線を一または二以上組み合わせて得られたラインであってもよい。次いで、路面位置推定ユニット５１０は、ステップ３５にて算出された路面ラインを用い、路面の高さを推定する（ステップＳ３６）。
　次に、当該物体検出装置１を用いて物体を検出する具体例について、図４～図６を参照して説明する。この具体例では、当該物体検出装置１が自車に搭載され、この物体検出装置１を用いて自車前方の路面１０１ａ上の物体１０５（以下、「自動車１０５」ともいう）を検出する。また、この具体例では、図４（ａ）に示すように、自車周囲に路肩構造物１０２（ガードレール）、路肩構造物１０４（信号機）が存在しているものとする。
　本具体例では、まず自車に搭載したステレオカメラ１１０を用い、路面１０１ａおよび路肩１０１ｂを含む自車進行方向の周囲を撮影して画像データを生成する。次いで、三次元データ生成ユニット２１０が、ステレオカメラ１１０により生成した画像データを用い、この画像データ中の各画素における視差を算出した後、路肩構造物検出ユニット３１０が、ステップＳ２１に従って算出された視差データを用いて路肩構造物を検出すると共に、ステップＳ２２に従って上記路肩構造物の領域を特定する。
　本実施形態では、図４（ｂ）が三次元データ生成ユニット２１０にて生成したＶ視差画像を示しており、このＶ視差画像中には、未だ検出されていない路面１０１ａの視差データ（データ領域Ｒ１）と、未だ検出されていない自動車１０５の視差データ（データ領域Ｒ５）と、路肩構造物検出ユニット３１０により検出された路肩構造物１０２（データ領域Ｒ２）および路肩構造物１０４（データ領域Ｒ４）とが示されている。なお、図４（ｂ）中、符号Ｌ１で表されるラインは、参考として記載された未だ検出されていない路面の位置を示している。
　なお、図４（ａ）に示す場面Ａ２では、データ領域Ｒ１で表される路面１０１ａの視差が路肩構造物１０２、１０４などの他の視差よりも低くなっている。これは、路面１０１ａの構造が一様であることによりステレオマッチングによる視差の計算が難しくなったか、または悪天候により路面の視認性が低かったことに起因しているものと思われる。
　次に、構造物接地位置導出ユニット４１０が、Ｖ視差画像のデータを取得し、このデータを用いて路肩構造物１０２、１０４の接地位置を導出する。この際、路肩構造物１０２のように路肩構造物がステレオカメラ１１０の視線方向に向かって伸びているときは、当該路肩構造物の接地位置を上記視線方向に沿って所定の間隔ごとに導出する。以上のようにして、路肩構造物１０２、１０４に対応するＶ視差画像中の領域Ｒ２、Ｒ４から、図５
（ｂ）にそれぞれ示す路肩構造物１０２、１０４の接地位置Ｄ２、Ｄ４が導出される。
　次に、路面位置推定ユニット５１０が、ステップＳ３１～Ｓ３３に従ってデータ領域Ｒ１で表されるＶ視差路面代表データＤ１を抽出し、次いで、ステップＳ３４、Ｓ３５に従ってＶ視差路面代表データＤ１と、上述の路肩構造物接地位置Ｄ２、Ｄ４とを統合することで、図５（ｂ）に示す路面ラインＬ２を算出する。上述の路面ラインＬ２の算出方法としては、例えば、最小自乗近似法などの近似法により直線近似などを行って算出する方法等を採用することができる。なお、図５（ｂ）では、Ｖ視差路面代表データＤ１が丸印、接地位置Ｄ２、Ｄ４がそれぞれ台形印、三角印で示されている。
　次に、路面位置推定ユニット５１０が、ステップＳ３６に従って上述の算出された路面ラインＬ２を用いて路面高さを推定する。この推定された路面高さは、路面１０１ａのように同じ高さ位置であるセグメントの視差データを特定するのに用いられる。
　次に、物体検出ユニット６１０が、図６（ａ）に示すように、路面１０１ａを示す視差データと上記路面１０１ａ以外を示す残りの視差データとを分離し、この分離された視差データを用い、図６（ｂ）に示すように、路面１０１ａ上の自動車１０５に対応する領域Ｒ１０５を検出しかつ領域Ｒ１０５の位置を特定する。なお、物体検出ユニット６１０は、上述した視差データと共に、路肩構造物検出ユニット３１０にて検出された路肩構造物１０２、１０４の接地位置Ｄ２、Ｄ４の情報を用い、自動車１０５の領域Ｒ１０５を検出するようにしてもよい。これにより、自動車１０５の検出にかかる処理時間を減らすと共に、自動車１０５に対応する視差データと路肩構造物１０２、１０４に対応する視差データとが混同するのをより確実に防止することができる。
　次に、制御ソフトウェア処理ユニット７１０が、物体検出ユニット６１０により検出された自動車１０５に対応できるように自車を制御（例えば、自動車１０５への接近の回避、自動車１０５の追走、自動車１０５の追い越しなど）する。
　以上のように、当該物体検出装置１は、上述したステレオカメラ１１０、三次元データ生成ユニット２１０、路肩構造物検出ユニット３１０、構造物接地位置導出ユニット４１０、路面位置推定ユニット５１０および物体検出ユニット６１０を備えているので、路肩構造物１０２、１０４の接地位置を用いて路面１０１ａの高さを正確に推定することができ、路面１０１ａ上に実在する物体１０５を確実に検出することができる。
　［第２の実施形態］
  図７は、本発明の第２の実施形態を説明するための概略ブロック図である。当該物体検出装置２は、図７に示すように、概略的に、ステレオカメラ１１０と、三次元データ生成ユニット２１０と、路肩構造物検出ユニット３１０と、構造物接地位置導出ユニット４２０と、データベース４２１と、路面位置推定ユニット５１０と、物体検出ユニット６１０と、制御ソフトウェア処理ユニット７１０とにより構成されている。
　この第２の実施形態は、構造物接地位置導出ユニット４２０および路肩構造物データベース４２１を備えている点で、第１の実施形態と異なっている。なお、上記構造物接地位置導出ユニット４２０およびデータベース４２１以外の構成は第１の実施形態のものと同様であるので、同一部分には同一符号を付してその詳細な説明は省略する。
　構造物接地位置導出ユニット４２０は、検出された路肩構造物の接地位置を推定するために、路肩構造物の視差データと、後述するデータベース４２１に格納された上記路肩構造物の高さ情報とを用い、この路肩構造物の接地位置を導出する。具体的には、構造物接地位置導出ユニット４２０が、路肩構造物の頂部位置を検出し、後述するデータベース４２１に格納されている路肩構造物の高さを用いて上記頂部位置から上記高さを差し引くことで路肩構造物の接地位置を導出する。
　データベース４２１は、路肩構造物の高さ情報を格納する。このデータベース４２１に格納される情報としては特に限定されず、例えば、路肩構造物の高さ情報に加え、路肩構造物の位置や範囲等の情報を含んでいてもよい。
　このように、当該物体検出装置２が上述の構造物接地位置導出ユニット４２０およびデータベース４２１とを備えていることで、路肩構造物の接地位置をより正確かつ確実に導出することができる。また、当該物体検出装置２は、上記構成であることで、たとえ何らかの理由で路肩構造物の接地位置を直接的に導出できないとしても、上記路肩構造物の接地位置を間接的に導出することができる。
　なお、本発明は、上述した実施形態の構成に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
　例えば、上述した実施形態では、路面１０１ａのＶ視差路面代表データＤ１、および路肩構造物１０２、１０４の接地位置Ｄ２、Ｄ４を用いて路面１０１ａの高さを推定する物体検出装置１について説明したが、Ｖ視差路面代表データを用いずに路肩構造物の接地位置のみから路面の高さを推定する物体検出装置も、本発明の意図する範囲内である。
　また、上述した実施形態では、制御ソフトウェア処理ユニット７１０を備えている物体検出装置１について説明したが、本発明の物体検出装置は、路面上に実在する物体を確実に検出できればよく、制御ソフトウェア処理ユニット７１０のような処理ユニットを備えていない物体検出装置であってもよい。
　１，２　物体検出装置、１０１ａ　路面、１０１ｂ　路肩、１０２，１０３，１０４　構造物（路肩構造物）、１０５　物体、１１０　ステレオカメラ、２１０　三次元データ生成ユニット、３１０　路肩構造物検出ユニット、４１０，４２０　構造物接地位置導出ユニット、４２１　データベース、５１０　路面位置推定ユニット、６１０　物体検出ユニット

Claims (4)

  1. 　路面上の物体を検出する物体検出装置であって、
    　前記路面および路肩を撮影して画像データを生成するステレオカメラと、
    　前記ステレオカメラにより生成した画像データを用い、この画像データ中の各画素における視差データを算出する三次元データ生成ユニットと、
    　前記視差データおよび／または前記画像データを用い、前記路肩に設置された所定の構造物を検出する路肩構造物検出ユニットと、
    　前記路肩構造物検出ユニットにより検出された前記構造物の接地位置を導出する構造物接地位置導出ユニットと、
    　前記構造物の接地位置を用い、前記路面の高さを推定する路面位置推定ユニットと、
    　前記三次元データ生成ユニットにより生成された視差データと前記路面位置推定ユニットにより推定された路面の高さとを用い、前記視差データのうちの前記路面に対応する視差データとこの視差データ以外の視差データとを分離することにより、前記路面上の物体を検出する物体検出ユニットとを備えていることを特徴とする物体検出装置。
  2. 　路面位置推定ユニットが、構造物の接地位置を用い、ステレオカメラの視線方向の各位置ごとに路面の高さを推定する請求項１に記載の物体検出装置。
  3. 　構造物接地位置導出ユニットが、構造物の視差データおよび／または前記構造物の画像データを用い、前記構造部の接地位置を導出する請求項１または請求項２に記載の物体検出ユニット。
  4. 　構造物の高さ情報が格納されたデータベースを備え、
    　構造物接地位置導出ユニットが、前記構造物の視差データと前記データベースに格納された前記構造物の高さ情報とを用い、前記構造物の接地位置を導出する請求項１から請求項３のいずれか１項に記載の物体検出ユニット。
PCT/JP2017/043937 2016-12-19 2017-12-07 物体検出装置 Ceased WO2018116841A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/346,029 US11024051B2 (en) 2016-12-19 2017-12-07 Object detection device
CN201780067420.3A CN110088802B (zh) 2016-12-19 2017-12-07 物体检测装置
EP17883461.0A EP3557527B1 (en) 2016-12-19 2017-12-07 Object detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016245529A JP6794243B2 (ja) 2016-12-19 2016-12-19 物体検出装置
JP2016-245529 2016-12-19

Publications (1)

Publication Number Publication Date
WO2018116841A1 true WO2018116841A1 (ja) 2018-06-28

Family

ID=62626336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043937 Ceased WO2018116841A1 (ja) 2016-12-19 2017-12-07 物体検出装置

Country Status (5)

Country Link
US (1) US11024051B2 (ja)
EP (1) EP3557527B1 (ja)
JP (1) JP6794243B2 (ja)
CN (1) CN110088802B (ja)
WO (1) WO2018116841A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6859907B2 (ja) 2017-09-08 2021-04-14 トヨタ自動車株式会社 車両制御装置
JP6985089B2 (ja) * 2017-09-29 2021-12-22 トヨタ自動車株式会社 立体物接地判定装置
EP3614299A1 (de) * 2018-08-21 2020-02-26 Siemens Aktiengesellschaft Verfahren und anordnung zum erkennen von objekten an anlagen
JP7229129B2 (ja) * 2019-09-05 2023-02-27 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
US11511576B2 (en) * 2020-01-24 2022-11-29 Ford Global Technologies, Llc Remote trailer maneuver assist system
KR20210124603A (ko) * 2020-04-06 2021-10-15 현대자동차주식회사 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
US11840238B2 (en) * 2021-02-05 2023-12-12 Nvidia Corporation Multi-view geometry-based hazard detection for autonomous systems and applications
JP2023079012A (ja) * 2021-11-26 2023-06-07 日立Astemo株式会社 外界認識装置
US11541910B1 (en) * 2022-01-07 2023-01-03 Plusai, Inc. Methods and apparatus for navigation of an autonomous vehicle based on a location of the autonomous vehicle relative to shouldered objects
US11840257B2 (en) * 2022-03-25 2023-12-12 Embark Trucks Inc. Lane change determination for vehicle on shoulder
JP7441258B2 (ja) * 2022-03-25 2024-02-29 本田技研工業株式会社 制御装置
US12482137B2 (en) * 2022-04-29 2025-11-25 Nvidia Corporation Detecting hazards based on disparity maps using computer vision for autonomous machine systems and applications
US20230351769A1 (en) * 2022-04-29 2023-11-02 Nvidia Corporation Detecting hazards based on disparity maps using machine learning for autonomous machine systems and applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11213138A (ja) * 1998-01-30 1999-08-06 Fuji Heavy Ind Ltd 車外監視装置
JP2009146217A (ja) 2007-12-14 2009-07-02 Hitachi Ltd ステレオカメラ装置
JP2013140515A (ja) * 2012-01-05 2013-07-18 Toyota Central R&D Labs Inc 立体物検出装置及びプログラム
JP2015179302A (ja) 2014-03-18 2015-10-08 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
WO2015163028A1 (ja) * 2014-04-25 2015-10-29 日立建機株式会社 鉱山用作業車両用の路面推定装置および路面推定システム

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3214364B2 (ja) * 1996-08-14 2001-10-02 富士電機株式会社 車間距離測定装置
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
JP4297501B2 (ja) * 2004-08-11 2009-07-15 国立大学法人東京工業大学 移動体周辺監視装置
JP4650079B2 (ja) * 2004-11-30 2011-03-16 日産自動車株式会社 物体検出装置、および方法
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
JP2006268097A (ja) * 2005-03-22 2006-10-05 Nissan Motor Co Ltd 車載物体検出装置、および物体検出方法
JP4811201B2 (ja) * 2005-12-06 2011-11-09 日産自動車株式会社 走路境界線検出装置、および走路境界線検出方法
JP5130638B2 (ja) * 2006-03-22 2013-01-30 日産自動車株式会社 回避操作算出装置、回避制御装置、各装置を備える車両、回避操作算出方法および回避制御方法
WO2008107944A1 (ja) * 2007-03-01 2008-09-12 Pioneer Corporation 車線逸脱防止装置、車線逸脱防止方法、車線逸脱防止プログラム及び記憶媒体
JP4801821B2 (ja) * 2007-09-21 2011-10-26 本田技研工業株式会社 道路形状推定装置
JP4759547B2 (ja) * 2007-09-27 2011-08-31 日立オートモティブシステムズ株式会社 走行支援装置
JP5075672B2 (ja) * 2008-02-25 2012-11-21 株式会社東芝 対象物検出装置及び方法
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
JP2010148058A (ja) * 2008-12-22 2010-07-01 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP5065449B2 (ja) * 2009-06-16 2012-10-31 株式会社日本自動車部品総合研究所 消失点推定装置およびプログラム
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP5325765B2 (ja) * 2009-12-28 2013-10-23 日立オートモティブシステムズ株式会社 路肩検出装置及び路肩検出装置を用いた車両
US8917929B2 (en) * 2010-03-19 2014-12-23 Lapis Semiconductor Co., Ltd. Image processing apparatus, method, program, and recording medium
CN103124995B (zh) * 2011-02-21 2015-07-01 日产自动车株式会社 周期性静止物体检测装置和周期性静止物体检测方法
JP2012225806A (ja) * 2011-04-20 2012-11-15 Toyota Central R&D Labs Inc 道路勾配推定装置及びプログラム
JP2012243051A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
CN103123722B (zh) * 2011-11-18 2016-04-27 株式会社理光 道路对象检测方法和系统
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
CN103390269B (zh) * 2012-05-11 2016-12-28 株式会社理光 连续型道路分割物检测方法和装置
JP2014006882A (ja) * 2012-05-31 2014-01-16 Ricoh Co Ltd 路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラム
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
CN103679691B (zh) * 2012-09-24 2016-11-16 株式会社理光 连续型道路分割物检测方法和装置
JP5710752B2 (ja) * 2012-11-13 2015-04-30 株式会社東芝 検出装置、方法及びプログラム
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
JP5982298B2 (ja) * 2013-02-21 2016-08-31 シャープ株式会社 障害物検出装置および障害物検出方法
JP6194604B2 (ja) * 2013-03-15 2017-09-13 株式会社リコー 認識装置、車両及びコンピュータが実行可能なプログラム
JP6151150B2 (ja) * 2013-10-07 2017-06-21 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
US9248832B2 (en) * 2014-01-30 2016-02-02 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signal details
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
WO2015177648A1 (en) * 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
JP2016001170A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理プログラム、及び、処理方法
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
CN105270208A (zh) * 2014-07-14 2016-01-27 刁心玺 一种道路巡视方法及装置
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
US20160019429A1 (en) * 2014-07-17 2016-01-21 Tomoko Ishigaki Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
JP6440411B2 (ja) * 2014-08-26 2018-12-19 日立オートモティブシステムズ株式会社 物体検出装置
JP6657789B2 (ja) * 2015-10-29 2020-03-04 株式会社リコー 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
JP6662388B2 (ja) * 2015-11-27 2020-03-11 株式会社リコー 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
JP6583527B2 (ja) * 2016-02-22 2019-10-02 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6705497B2 (ja) * 2016-02-23 2020-06-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、プログラム、及び移動体
JP6733225B2 (ja) * 2016-03-08 2020-07-29 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6665925B2 (ja) * 2016-03-18 2020-03-13 株式会社リコー 画像処理装置、移動体機器制御システム、画像処理用プログラム及び画像処理方法
JP6950170B2 (ja) * 2016-11-30 2021-10-13 株式会社リコー 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11213138A (ja) * 1998-01-30 1999-08-06 Fuji Heavy Ind Ltd 車外監視装置
JP2009146217A (ja) 2007-12-14 2009-07-02 Hitachi Ltd ステレオカメラ装置
JP2013140515A (ja) * 2012-01-05 2013-07-18 Toyota Central R&D Labs Inc 立体物検出装置及びプログラム
JP2015179302A (ja) 2014-03-18 2015-10-08 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
WO2015163028A1 (ja) * 2014-04-25 2015-10-29 日立建機株式会社 鉱山用作業車両用の路面推定装置および路面推定システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3557527A4

Also Published As

Publication number Publication date
JP6794243B2 (ja) 2020-12-02
EP3557527A4 (en) 2020-08-19
EP3557527A1 (en) 2019-10-23
EP3557527B1 (en) 2024-06-19
JP2018101200A (ja) 2018-06-28
CN110088802A (zh) 2019-08-02
US11024051B2 (en) 2021-06-01
CN110088802B (zh) 2023-08-01
US20190266745A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
WO2018116841A1 (ja) 物体検出装置
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
CN111937002B (zh) 障碍物检测装置、自动制动装置、障碍物检测方法以及自动制动方法
JP6014440B2 (ja) 移動物体認識装置
JP2021510227A (ja) 衝突前アラートを提供するためのマルチスペクトルシステム
WO2016129403A1 (ja) 物体検知装置
JP6202635B2 (ja) 運転者支援システムのためのレーン相対位置推定の方法及びシステム
JP6331811B2 (ja) 信号機検出装置及び信号機検出方法
US9697421B2 (en) Stereoscopic camera apparatus
KR101326943B1 (ko) 추월차량 경고 시스템 및 추월차량 경고 방법
JP2014006885A (ja) 段差認識装置、段差認識方法及び段差認識用プログラム
KR101519261B1 (ko) 차량의 모니터링 방법 및 자동 제동 장치
JP2016173711A (ja) 走行区画線認識装置
WO2017208601A1 (ja) 画像処理装置、外界認識装置
JP2009276906A (ja) 走行情報提供装置
JP2014026519A (ja) 車載レーンマーカ認識装置
JP2011103058A (ja) 誤認識防止装置
JP2021077061A (ja) 障害物検知装置及び障害物検知方法
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
KR20150012044A (ko) 차량의 차선 이탈 경보 장치 및 방법
JP7229032B2 (ja) 車外物体検出装置
JP5983238B2 (ja) 車線境界線検出装置及び車線境界線検出方法
JP2018073049A (ja) 画像認識装置、画像認識システム、及び画像認識方法
JP4574157B2 (ja) 情報表示装置および情報表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17883461

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017883461

Country of ref document: EP