WO2019171565A1 - 線検出装置、線検出方法、プログラム、及び記憶媒体 - Google Patents

線検出装置、線検出方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
WO2019171565A1
WO2019171565A1 PCT/JP2018/009162 JP2018009162W WO2019171565A1 WO 2019171565 A1 WO2019171565 A1 WO 2019171565A1 JP 2018009162 W JP2018009162 W JP 2018009162W WO 2019171565 A1 WO2019171565 A1 WO 2019171565A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
image
color
line detection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/009162
Other languages
English (en)
French (fr)
Inventor
太郎 長▲瀬▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to PCT/JP2018/009162 priority Critical patent/WO2019171565A1/ja
Priority to US16/979,498 priority patent/US11348344B2/en
Priority to JP2020504610A priority patent/JPWO2019171565A1/ja
Priority to EP18908694.5A priority patent/EP3764321B1/en
Publication of WO2019171565A1 publication Critical patent/WO2019171565A1/ja
Anticipated expiration legal-status Critical
Priority to JP2022097161A priority patent/JP2022126747A/ja
Priority to JP2024071440A priority patent/JP2024091918A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a line detection device, a line detection method, a program, and a storage medium for detecting a line drawn on a traveling road.
  • An example of a problem to be solved by the present invention is to accurately detect a line of a specific color from an image including a travel path.
  • a pixel whose color is located in a predetermined range is extracted from an image including a traveling path on which the moving body travels, and the distribution of the extracted pixel in the image is used to extract the pixel.
  • a first processing unit for detecting a first color line included in the image After the first processing unit executes the process, the pixels whose luminance is located in a predetermined luminance range are extracted from the image, and are included in the image using the distribution of the extracted pixels in the image.
  • a second processing unit that identifies a second color line that is different from the first color; Is a line detection apparatus.
  • the invention according to claim 7 is a computer, By processing an image including a travel path on which the mobile object travels, a first color line included in the image is detected, After performing the first color line detection process, the pixel is extracted from the image, the luminance is located in a predetermined luminance range, and the extracted pixel distribution in the image is used to extract the image. Is a line detection method for specifying a second color line different from the first color.
  • the invention according to claim 8 is provided in a computer.
  • the invention according to claim 9 is a storage medium storing a computer-executable program, The program is stored in a computer.
  • FIG. 1 is a diagram illustrating a functional configuration of the line detection apparatus 10 according to the first embodiment.
  • FIG. 2 is a diagram illustrating the moving body 40 on which the line detection device 10 is mounted.
  • the line detection device 10 is a device that detects a line drawn on a travel path on which the moving body 40 travels, and includes a dividing unit 120, an estimated information generation unit 160, and a specific processing unit 180 (first specific processing unit). ing.
  • the dividing unit 120 divides an image including a travel path on which the mobile body travels (hereinafter referred to as a processed image) along a first direction including a component in a direction in which the travel path extends, thereby obtaining a plurality of first images. One divided image is generated.
  • the estimation information generation unit 160 performs a process of selecting the first candidate pixel for each of the plurality of first divided images.
  • the first candidate pixel is a pixel estimated to be a part of the first line drawn on the travel path.
  • the identification processing unit 180 identifies the first line included in the processed image based on the positions of the plurality of first candidate pixels in the processed image.
  • the 1st detection part 100 outputs the information (1st line information) which shows the specified 1st line.
  • the line detection apparatus 10 includes a distribution information generation unit 140.
  • the line detection apparatus 10 can also be regarded as including a distribution information generation unit 140, an estimation information generation unit 160, and a specific processing unit 180.
  • the distribution information generation unit 140 generates first distribution information indicating the distribution of pixels that satisfy the criterion from the processed image.
  • the estimation information generation unit 160 selects the first candidate pixel using the first distribution information.
  • the identification processing unit 180 identifies the first line included in the processed image based on the position of the first candidate pixel in the image.
  • the moving body 40 is a vehicle such as an automobile or a motorcycle.
  • an example of the travel path is a road, and the first line and the second line described later are lines that define a lane.
  • the moving body 40 may be an airplane.
  • the runway is a runway.
  • the moving body 40 includes an imaging device 20 and a control device 30.
  • the imaging device 20 captures the front of the moving body 40 to generate a moving image including the travel path.
  • a plurality of frame images constituting this moving image are output to the line detection device 10.
  • the line detection device 10 detects a first line included in the travel path for each frame image, and generates first line information indicating the detected first line.
  • the first line information includes the position of the first line and the color of the first line.
  • the process of generating the first line information is performed for each of the plurality of frame images. However, the process of generating the first line information may be performed only for a part of the frame images constituting the moving image.
  • the first line information is output to the control device 30.
  • the control device 30 is a device that controls the movement of the moving body 40.
  • the control device 30 is a control device for automatic driving.
  • the level of automatic operation performed by the control device 30 is, for example, level 3 or higher, but is not limited thereto.
  • the control device 30 uses the first line information when controlling the movement of the moving body 40. Note that the control device 30 may generate information necessary for controlling the movement of the moving body 40 instead of directly controlling the movement of the moving body 40. Even in this case, the control device 30 generates necessary information using the first line information.
  • the information generated here is, for example, information for notifying (for example, displaying) whether or not the lane can be changed, information for notifying (for example, displaying) the necessity of suspension.
  • This information is displayed on, for example, a display device (for example, a display of a navigation device in the vehicle) that can be viewed by the operator of the moving body 40.
  • the line detection apparatus 10 includes a dividing unit 120, a distribution information generating unit 140, an estimated information generating unit 160, and a specific processing unit 180. Details of processing performed by these will be described later with reference to flowcharts.
  • the line detection device 10 is mounted on the moving body 40.
  • the line detection device 10 may be located outside the moving body 40.
  • the line detection device 10 is connected to the imaging device 20 and the control device 30 via a wireless communication line.
  • the control device 30 may be located outside the moving body 40 or may be detachably attached to the moving body 40.
  • the moving body is obtained by acquiring a moving image from the imaging device 20 and analyzing a frame image constituting the moving image. It is also possible to specify a line (for example, a division line) drawn on the travel path on which 40 has traveled and update the map information using information for specifying the specified line. In this case, map information can be easily prepared.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the line detection device 10.
  • the main configuration of the line detection apparatus 10 is realized using an integrated circuit.
  • This integrated circuit includes a bus 402, a processor 404, a memory 406, a storage device 408, an input / output interface 410, and a network interface 412.
  • the bus 402 is a data transmission path through which the processor 404, the memory 406, the storage device 408, the input / output interface 410, and the network interface 412 transmit / receive data to / from each other.
  • the method of connecting the processors 404 and the like is not limited to bus connection.
  • the processor 404 is an arithmetic processing unit realized using a microprocessor or the like.
  • the memory 406 is a memory realized using a RAM (Random Access Memory) or the like.
  • the storage device 408 is a storage device realized by using a ROM (Read Only Memory), a flash memory, or the like.
  • the input / output interface 410 is an interface for connecting the line detection apparatus 10 to a peripheral device.
  • the imaging device 20 and the control device 30 are connected to the input / output interface 410.
  • the network interface 412 is an interface for connecting the line detection device 10 to a communication network.
  • This communication network is, for example, a CAN (Controller Area Network) communication network.
  • a method of connecting the network interface 412 to the communication network may be a wireless connection or a wired connection.
  • the storage device 408 stores a program module for realizing each functional element of the line detection apparatus 10.
  • the processor 404 implements each function of the line detection device 10 by reading this program module into the memory 406 and executing it.
  • the hardware configuration of the integrated circuit described above is not limited to the configuration shown in the figure.
  • the program module may be stored in the memory 406.
  • the integrated circuit may not include the storage device 408.
  • FIG. 4 is a flowchart showing processing performed by the line detection apparatus 10. 5 to 7 are diagrams for explaining the processing shown in FIG. First, when the imaging device 20 generates a frame image that forms a moving image, the line detection device 10 acquires the frame image as a processed image 50. The line detection apparatus 10 performs the process shown in FIG. 4 every time a frame image is acquired.
  • the dividing unit 120 of the line detection device 10 generates a plurality of divided images 52 (first divided images) by dividing the processed image 50 along the first direction ( Step S20 in FIG.
  • the number of divided images 52 generated from one processed image 50 is, for example, 10 or more and 30 or less, but is not limited thereto.
  • the imaging device 20 is photographing the front of the moving body 40
  • the y-axis direction includes a component in the direction in which the travel path (for example, a road) extends.
  • the dividing unit 120 generates the divided image 52 by dividing the processed image 50 in the y-axis direction. In this case, the load necessary for the process of generating the divided image 52 is reduced.
  • the distribution information generation unit 140 performs processing for generating first distribution information indicating the distribution of pixels satisfying the criterion for each of the divided images 52 (step S40 in FIG. 4).
  • the standard used here is, for example, having a color belonging to a predetermined range in the color space.
  • the above-mentioned “predetermined range” is a range recognized as yellow.
  • the distribution information generation unit 140 converts pixels belonging to a predetermined range to 1 and other pixels to 0 (binarization processing).
  • the first distribution information is information indicating the pixel distribution in the second direction intersecting with the first direction. For example, as shown in FIG.
  • the first distribution information is information indicating the distribution of the number of pixels satisfying the criterion in the second direction, as shown in FIGS. 6A and 6B, for example.
  • the estimated information generation unit 160 uses the first distribution information generated by the distribution information generation unit 140 to estimate a pixel (hereinafter referred to as a first line) estimated as a part of the first line drawn on the travel path.
  • a process of selecting a pixel is described (step S60 in FIG. 4). This process is performed for each of the divided images 52. For example, when the distribution information indicates a distribution of the number of pixels satisfying the criterion in the second direction as illustrated in FIG. 6, the estimation information generation unit 160 calculates at least one of the standard deviation and the variance in the first distribution information. To select the first image.
  • the estimation information generation unit 160 selects all the first candidate pixels as the first pixels. In this case, the estimated information generation unit 160 determines that the first line is included in the divided image 52. For example, in the case shown in FIG. 6A, since the standard deviation and variance are small, all of the first candidate pixels are selected as the first pixels. On the other hand, when the standard deviation and variance are large as shown in FIG. 6B, the first pixel is not selected from the first candidate pixels.
  • the estimation information generation unit 160 may select a part of the first candidate pixel as the first pixel. In this case, as illustrated in FIG. 6A, the estimation information generation unit 160 selects, for example, a pixel included in an area where the number of pixels is equal to or greater than a reference value in the first distribution information as the first pixel.
  • the specific processing unit 180 uses the position of the first pixel selected by the estimation information generation unit 160 in the processed image 50 (or the position in the divided image 52) of the first line included in the processed image 50.
  • the position is estimated (step S80 in FIG. 4).
  • the specific processing unit 180 estimates the average value of the positions of the first pixels in the first direction as the position of the first line in the divided image 52.
  • the first line included in the processed image 50 is estimated by connecting the positions of the first lines in the plurality of divided images 52 or performing regression analysis.
  • the mode value or the median value may be used instead of the average value of the positions of the first pixels in the first direction.
  • FIG. 7 is an example of step S80 of FIG. 4 and is a diagram for explaining a case where the specific processing unit 180 estimates the first line using regression analysis.
  • a regression line is used.
  • FIG. 7A is a diagram in which the estimated position of the first line is plotted. And the specific process part 180 produces
  • FIG. 7B is an example in which the first line estimated in the processed image 50 is applied. In this case, for example, the estimated first line is present in the lower part of the processed image 50 (where the plot in FIG. 7A exists) and extends to the upper end of the upper part of the processed image 50. It shows that.
  • the specific processing unit 180 selects a pixel that overlaps the regression line among the first pixels, and a pixel that is continuous with the pixel as a pixel that forms the first line. You may specify. In other words, the specification processing unit 180 may specify, in each of the divided images 52, a block that overlaps the regression line among the blocks of the first pixel as a pixel constituting the first line.
  • the distribution information generation unit 140 can select pixels that satisfy a predetermined luminance standard and generate distribution information (hereinafter referred to as second distribution information) of the selected pixels.
  • This criterion may be, for example, not less than the lower limit value, less than the upper limit value, or not less than the lower limit value and not more than the upper limit value.
  • the line detection device 10 can detect a white line.
  • the processing performed by the dividing unit 120, the estimated information generating unit 160, and the specific processing unit 180 does not include edge detection processing. For this reason, the amount of calculation required when specifying the first line is reduced. Therefore, an arithmetic device having a high calculation speed is not required, and as a result, the manufacturing cost of the line detection device 10 is reduced.
  • the distribution information generation unit 140 of the line detection device 10 generates first distribution information.
  • the estimation information generation unit 160 selects a first pixel (that is, a pixel estimated to constitute the first line) using the first distribution information. For this reason, the amount of calculation performed by the estimated information generation unit 160, that is, the amount of calculation when selecting a pixel estimated to form the first line is reduced.
  • the line detection apparatus 10 is the same as the line detection apparatus 10 shown in the first embodiment except for the processing performed by the dividing unit 120.
  • FIG. 8 is a diagram for explaining processing performed by the dividing unit 120 in the present embodiment.
  • the line detection apparatus 10 does not set the entire processed image 50 as a generation target of the divided image 52, but sets only a part 54 of the processed image 50 as a generation target of the divided image 52.
  • the line detection apparatus 10 extracts a part 54 of the processed image 50 and divides the part 54 to generate a divided image 52.
  • the amount of calculation performed by the line detection device 10 is Even less.
  • the position of the part 54 in the processed image 50 is set in advance. For example, when the imaging device 20 is mounted on the moving body 40, there is a high possibility that the road is reflected below the processed image 50. For this reason, it is preferable that the part 54 is set below the moving body 40.
  • FIG. 9 is a diagram illustrating a functional configuration of the line detection apparatus 10 according to the third embodiment.
  • the line detection apparatus 10 according to the present embodiment has the same configuration as the line detection apparatus 10 according to the first or second embodiment, except that the data conversion unit 110 is provided.
  • the processed image 50 generated by the imaging device 20 is an image represented in an RGB color space.
  • the data conversion unit 110 converts the processed image 50 into an image shown in a color space defined by indices of hue, brightness (luminance), and saturation, for example, an image shown in the HLS color space (post-conversion image). Convert. Note that an HSV color space or a Lab color space may be used instead of the HLS color space.
  • the dividing unit 120, the distribution information generating unit 140, the estimated information generating unit 160, and the specific processing unit 180 perform processing using the processed image 50 after the conversion.
  • the distribution information generation unit 140 may be easy to process (easily perform binarization processing).
  • the line detection apparatus 10 can detect the first line with higher accuracy than in the case of directly processing the processed image 50 shown in the RGB color space. . This tendency becomes remarkable when the first line is a yellow line.
  • the data conversion unit 110 may perform the above-described data conversion process on the divided image 52 instead of the processed image 50.
  • FIG. 11 is a diagram illustrating a configuration of the line detection apparatus 10 according to the fourth embodiment.
  • the line detection apparatus 10 according to the present embodiment is the same as any of the line detection apparatuses 10 according to the first to third embodiments, except that the line setting apparatus 130 includes an area setting unit 130.
  • FIG. 11 shows a case similar to that of the third embodiment.
  • the area setting unit 130 processes a frame image (hereinafter referred to as a second frame image) processed after (for example, the next) after the first frame image.
  • a frame image the region to be processed by the distribution information generation unit 140 is narrowed.
  • the region setting unit 130 determines the distribution information generation unit 140 based on the position of the first line detected in the first frame image in the second direction (for example, the position in the x-axis direction in FIG. 7). Narrow the area to be processed.
  • the region setting unit 130 causes the position of the first line in the second direction in the first frame image to be the center of the region to be processed.
  • the region setting unit 130 narrows the width of the region to be processed.
  • the area setting unit 130 performs the above-described processing on the divided image 52, for example.
  • FIG. 12 is a diagram for schematically explaining the processing performed by the region setting unit 130.
  • FIG. 12A when the specific processing unit 180 specifies the first line L1 in the first frame image (processed image 50a), the area setting unit 130 indicates information indicating the position of the line L1. (For example, information indicating a line obtained by regression analysis) is acquired from the specific processing unit 180. Then, as illustrated in FIG. 12B, the region setting unit 130 sets a region 56 to be processed by the distribution information generation unit 140 for the second frame image (processed image 50b).
  • the identification processing unit 180 can identify the first line L1 also for the second frame image (processed image 50b), the third frame after the second frame image (processed image 50b).
  • the area 56 in the image (processed image 50c) is made narrower than the area 56 in the second frame image (processed image 50b).
  • the region 56 gradually becomes narrower, but this size (for example, width) has a lower limit. That is, the region setting unit 130 prevents the size (for example, width) of the region 56 from falling below the lower limit.
  • the lower limit used here is preferably set to be larger than the width corresponding to the standard value of the standard deviation as a criterion for determining whether or not the divided image 52 includes a part of the line.
  • the area setting unit 130 sets the area 56 in the subsequent (for example, the next) frame image. Widen or cancel the setting of the area 56.
  • the region setting unit 130 performs the setting of the region 56 described above on the processed image 50 before the dividing unit 120 processes (the processed image 50 after the data converting unit 110 returns). Alternatively, the first distribution information generated by the distribution information generation unit 140 may be performed.
  • the region setting unit 130 narrows the region 56 to be processed by the distribution information generation unit 140. At this time, the region setting unit 130 sets the region 56 based on the position of the first line L1 in the processed frame image. For this reason, the calculation amount of the line detection device 10 can be reduced while maintaining the detection accuracy of the line L1. Note that by narrowing the region 56 as a processing target of the distribution information generation unit 140, it is possible to suppress the influence of noise that is unnecessary for the detection of the line L1. For example, examples of noise include characters drawn with a yellow line on a road different from the line L1, display objects drawn with a yellow line, and the like.
  • FIG. 13 is a diagram illustrating a functional configuration of the line detection apparatus 10 according to the fifth embodiment.
  • the line detection apparatus 10 according to the present embodiment includes a second detection unit 200 in addition to the first detection unit 100.
  • the first detection unit 100 is the same as any one of the above-described embodiments.
  • the second detection unit 200 detects a line drawn on the travel path using the luminance of the pixels constituting the processed image 50. Specifically, the second detection unit 200 selects a pixel whose luminance satisfies a criterion from the processed image 50, and detects a line (second line) using the selected pixel.
  • a line second line
  • An example of this process is a binarization process.
  • the second detection unit 200 may detect the first line detected by the first detection unit 100 together with other lines. For example, when the first detection unit 100 is intended to detect a yellow line and the second detection unit 200 is intended to detect a white line, the second detection unit 200 can detect the yellow line as well as the white line. There is sex. Therefore, in the present embodiment, the second detection unit 200 sets a luminance reference using the luminance of the pixels constituting the first line detected by the first detection unit 100.
  • the above-described luminance reference is a lower limit value. That is, the second detection unit 200 selects a pixel having a luminance equal to or higher than the reference value. Conversely, the second detection unit 200 may select a pixel having a luminance equal to or lower than the reference value. In this case, the second detection unit 200 can indirectly detect the target line by selecting a pixel that forms a region other than the target line. Then, the second detection unit 200 sets the above lower limit value based on a value obtained by statistically processing the luminance of the pixels constituting the first line detected by the first detection unit 100.
  • the statistically processed values include an average value and a mode value.
  • the second detection unit 200 sets, for example, a value obtained by adding a constant to the statistically processed value as the lower limit value.
  • the second detection unit 200 excludes the pixels constituting the first line specified by the first detection unit 100 from the processed image 50, and selects a pixel whose luminance is higher than the reference value from the excluded image. Thus, a white line may be detected.
  • the lower limit value in this case is, for example, a fixed value, and a value higher than a general road surface luminance value is used.
  • FIG. 14 is a diagram illustrating an example of a functional configuration of the second detection unit 200.
  • the second detection unit 200 includes a dividing unit 220, a distribution information generation unit 240, an estimation information generation unit 260, and a specific processing unit 280 (second specific processing unit, third specific processing unit, or white line).
  • the processing performed by the dividing unit 220 is the same as the processing performed by the dividing unit 120, and the processing performed by the distribution information generating unit 240, the estimated information generating unit 260, and the specifying processing unit 280 is the pixel selection criterion being luminance.
  • the processing is the same as the processing performed by the distribution information generation unit 140, the estimation information generation unit 160, and the specific processing unit 280, respectively.
  • the 1st detection part 100 can also serve as the function of the 2nd detection part 200.
  • the second detection unit 200 may have a data conversion unit 110 before the division unit 220.
  • the distribution information generation unit 240 selects a pixel whose luminance satisfies a predetermined criterion, and generates distribution information (second distribution information) of the selected pixel. As described above, the distribution information generation unit 240 sets the reference used in this processing using the luminance of the pixels forming the first line detected by the first detection unit 100.
  • the distribution information generation unit 240 may exclude the pixels detected by the first detection unit 100 from the divided image 52 and generate the second distribution information using the divided image 52 after the exclusion.
  • FIG. 15 is a flowchart illustrating an example of processing performed by the line detection apparatus 10 according to the present embodiment.
  • the line detection apparatus 10 performs the process shown in this figure for each of the plurality of frame images.
  • the first detection unit 100 performs a first line (first color line) detection process.
  • the second detection unit 200 receives the luminance information of the first line from the first detection unit 100, and then performs the detection process of the second line (second color line).
  • the luminance of the first line is lower than the luminance of the second line.
  • the second detection unit 200 When the second detection unit 200 performs the process before the first detection unit 100 performs the process, that is, when the second line is detected before the first line, the second detection unit 200 performs the second process. There is a possibility that the first line is detected together with the second line because the luminance standard used when detecting the second line is too low. On the other hand, in the present embodiment, the second detection unit 200 performs the processing after the first detection unit 100 performs the processing. For this reason, the possibility of detecting the first line together with the second line is reduced. For example, as described above, when the second detection unit 200 performs processing, by excluding pixels that form the first line (yellow line) detected by the first detection unit 100, the second detection unit 200 Only the white line can be detected.
  • the details of the first line detection process are as described in any of the above embodiments.
  • the details of the second line detection process are as described above.
  • the distribution information generation unit 240 of the second detection unit 200 performs a second distribution information generation process using a predetermined luminance reference.
  • the second detection unit 200 may perform the second line detection process on the entire processed image 50, or perform the second line detection process only on a part of the processed image 50. May be. In the latter case, the second detection unit 200 may determine a region where the second line detection process is performed based on the position of the first line. In this way, the amount of calculation processing performed by the second detection unit 200 is reduced.
  • FIG. 16 is a diagram for explaining an example of a region to be processed by the second detection unit 200.
  • a second line L2 for example, a white line
  • the first line L1 for example, a yellow line
  • the second detection unit 200 determines a range to be processed on the basis of the first line L1 in the direction intersecting the first line L1, and detects the second line L2 located in the range. To do.
  • the second detection unit 200 takes the first width W1 in the + direction as the center of the first line L1, and sets the second width W2 in the ⁇ direction. Take.
  • This range is set as a region 58.
  • the first width W1 and the second width W2 may be equal to each other or different from each other.
  • the width of the region 58 may be changed along the direction in which the line L1 extends. For example, when the width of the region included in the processed image 50 becomes narrower as it goes to the upper side of the processed image 50, the width of the region 58 may become narrower as it goes to the upper side of the processed image 50.
  • the first line can be detected with high accuracy
  • the second line can also be detected with high accuracy
  • FIG. 17 is a diagram illustrating a functional configuration of the line detection apparatus 10 according to the sixth embodiment.
  • the line detection apparatus 10 according to the present embodiment has the same configuration as that of the line detection apparatus 10 according to the fifth embodiment, except that the determination unit 300 is provided.
  • the first detection unit 100 detects the first line included in the processed image 50
  • the second detection unit 200 detects the second line included in the processed image 50.
  • the processed image 50 is each of the frame images constituting the moving image.
  • the determination unit 300 calculates the detection cycle of the first line using the processing result of the first detection unit 100 for each of the frame images, and determines whether or not the first line is a dotted line. The determination unit 300 performs the same process for the second line.
  • the determination unit 300 identifies the first line included in the frame image each time the first detection unit 100 processes the frame image (processed image 50). Then, the determination unit 300 determines the detection cycle of the first line by processing the transition between the frame images of the specific result.
  • the determination unit 300 calculates the number of divided images 52 that are determined to include the first line. Then, the determination unit 300 determines whether or not the first line is a dotted line using the transition of the number of the divided images 52, as shown in each drawing of FIG. Specifically, the determination unit 300 determines that the first line is a dotted line when the increase / decrease in the number of the divided images 52 is repeated at a constant cycle.
  • the determination unit 300 determines that the number of calculated divided images 52 is equal to or greater than a reference number (for example, 70% or more of the number of divided images 52 included in one frame image). In the case where the first line continues, it is determined that the first line is a continuous line. In addition, when the increase / decrease in the number of the divided images 52 is irregularly repeated, the determination unit 300 determines that the first line is a continuous line but is partially lost (or blurred).
  • a reference number for example, 70% or more of the number of divided images 52 included in one frame image.
  • FIG. 18A shows the result of plotting the number of the divided images 52 for each frame image
  • FIG. 18B shows the number of the divided images 52 in a plurality of continuous ( For example, the result of plotting the transition of the average value in five frame images is shown.
  • the increase / decrease in the number of the divided images 52 is repeated at a constant cycle, it can be a target of processing by the determination unit 300.
  • FIG. 18B also shows that the average value of the above-described divided image 52 falls within a certain range.
  • the line detection device 10 may acquire information for specifying the speed of the moving body 40 when the imaging device 20 generates the processed image 50.
  • the line detection apparatus 10 acquires information indicating the time when the processed image 50 is generated for each processed image 50 and also acquires information indicating the speed of the moving body 40 by time.
  • the determination unit 300 can also determine whether or not the first line is a dotted line using this speed.
  • the determination unit 300 calculates the length of the first line using the above-described detection period of the first line and the speed of the moving body 40. For example, consider a case where a part 54 is set in the processed image 50 as shown in FIG. The determination unit 300 starts from a frame image in which the number of divided images 52 determined to include the first line is equal to or greater than the reference number to a frame image in which the number of divided images 52 is equal to or less than the reference number. The length of the first line is calculated by multiplying this number by the frame rate and the speed of the moving body 40.
  • the determination unit 300 determines a frame in which the number of the divided images 52 is equal to or greater than the reference number from the frame images in which the number of the divided images 52 determined to include the first line is equal to or less than the reference number. The number of images up to the image is counted, and the interval between the first lines is calculated by multiplying this number by the frame rate and the speed of the moving body 40. Then, the determination unit 300 determines that the first line is a dotted line when the calculated variation in the length of the first line and the variation in the interval between the first lines are equal to or less than a certain value. On the other hand, if the calculated variation in the length of the first line is equal to or greater than a certain value, it is determined that the first line is a continuous line but is partially missing (or blurred).
  • the determination unit 300 may acquire type information for specifying the type of travel path, and may determine the above-described reference length using the type information.
  • This type information is information for specifying, for example, whether the travel route is a general road, a toll road, or a highway. In the case of an expressway, the reference length is longer than that of a general road.
  • the above-described type information may be information that directly specifies the road described above, information that indicates the position of the moving body 40 (for example, information that indicates latitude and longitude such as GPS information), and map information. Good.
  • the determination result by the determination unit 300 is output to the control device 30 of the moving body 40.
  • the control device 30 uses the information indicating whether the determination result, that is, the first line (or the second line) is a continuous line or a dotted line, for example, the movement of the moving body 40 (for example, the change of the travel line). Control).
  • a specific example of this determination is determined based on traffic rules, for example.
  • the determination unit 300 can accurately determine whether or not the first line and the second line are dotted lines. And since the control apparatus 30 of the moving body 40 controls the movement of the moving body 40 using this determination result, the automatic operation of the moving body 40 can be advanced.
  • line detection apparatus 10 may also include the determination unit 300 described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

線検出装置（１０）は、第１検出部（１００）及び第２検出部（２００）を備える。第１検出部（１００）は、移動体が走行する走行路を含む画像から、色が予め定められた範囲に位置する画素を抽出し、画像内における抽出した画素の分布を用いて画像に含まれる第１色の線を検出する。第２検出部（２００）は、第１処理部（１００）が処理を実行した後、画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、画像内における抽出した画素の分布を用いて、画像に含まれていて第１色とは異なる第２色の線を特定する。

Description

線検出装置、線検出方法、プログラム、及び記憶媒体
　本発明は、走行路に描かれている線を検出する線検出装置、線検出方法、プログラム、及び記憶媒体に関する。
　近年、車両などの移動体を自動で動かすための技術開発が進められている。このような技術において、走行路に描かれている線を精度よく検出することは重要である。この線は、色によって意味が異なっているため、線の色も検知できるようにする必要がある。例えば特許文献１には、画像において、色の変化のエッジを抽出することにより、特定の色の線を検出している。
特開２０１４－１６４４９２号公報
　走行路には互いに異なる色の線が用いられているが、各色の線には意味がある。このため、特定の色の線を精度よく検出できるようにすることが好ましい。
　本発明が解決しようとする課題としては、走行路を含む画像から特定の色の線を精度よく検出することが一例として挙げられる。
　請求項１に記載の発明は、移動体が走行する走行路を含む画像から、色が予め定められた範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて前記画像に含まれる第１色の線を検出する第１処理部と、
　前記第１処理部が処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する第２処理部と、
を備える線検出装置である。
　請求項７に記載の発明は、コンピュータが、
　　移動体が走行する走行路を含む画像を処理することにより、当該画像に含まれる第１色の線を検出し、
　前記第１色の線の検出処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する、線検出方法である。
　請求項８に記載の発明は、コンピュータに、
　　移動体が走行する走行路を含む画像を処理することにより、当該画像に含まれる第１色の線を検出する処理と、
　　前記第１色の線の検出処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する処理と、
を実行させるプログラムである。
　請求項９に記載の発明は、コンピュータが実行可能なプログラムを記憶した記憶媒体であって、
　前記プログラムは、コンピュータに、
　　移動体が走行する走行路を含む画像を処理することにより、当該画像に含まれる第１色の線を検出する処理と、
　　前記第１色の線の検出処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する処理と、
を実行させる記憶媒体である。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第１の実施形態に係る線検出装置の機能構成を示す図である。 線検出装置が搭載された移動体を示す図である。 線検出装置のハードウェア構成の一例を示す図である。 線検出装置が行う処理を示すフローチャートである。 図４に示したステップＳ２０を説明するための図である。 （Ａ）及び（Ｂ）は図４に示したステップＳ４０，Ｓ６０を説明するための図である。 （Ａ）及び（Ｂ）は図４に示したステップＳ８０を説明するための図である。 第２の実施形態において分割部が行う処理を説明するための図である。 第３の実施形態に係る線検出装置の機能構成を示す図である。 図９の変形例を示す図である。 第４の実施形態に係る線検出装置の構成を示す図である。 （Ａ）、（Ｂ）及び（Ｃ）は領域設定部が行う処理を模式的に説明するための図である。 第５の実施形態に係る線検出装置の機能構成を示す図である。 第２検出部の機能構成の一例を示す図である。 線検出装置が行う処理の一例を示すフローチャートである。 第２検出部による処理の対象となる領域の一例を説明するための図である。 第６の実施形態に係る線検出装置の機能構成を示す図である。 （Ａ）及び（Ｂ）は判断部が行う処理の一例を説明するための図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
（第１の実施形態）
　図１は、第１の実施形態に係る線検出装置１０の機能構成を示す図である。図２は、線検出装置１０が搭載された移動体４０を示す図である。線検出装置１０は移動体４０が走行する走行路に描かれている線を検出する装置であり、分割部１２０、推定情報生成部１６０、及び特定処理部１８０（第１特定処理部）を備えている。分割部１２０は、移動体が走行する走行路を含む画像（以下、処理画像と記載）を、走行路が延在する方向の成分を含む第１方向に沿って分割することにより、複数の第１の分割画像を生成する。推定情報生成部１６０は、第１の候補画素を選択する処理を、複数の第１の分割画像のそれぞれに対して実行する。第１の候補画素は、走行路に描かれている第１の線の一部と推定される画素である。特定処理部１８０は、処理画像における複数の第１の候補画素の位置に基づいて、処理画像に含まれる第１の線を特定する。そして第１検出部１００は、特定した第１の線を示す情報（第１の線情報）を出力する。
　また、線検出装置１０は、分布情報生成部１４０を備えている。このため、線検出装置１０は、分布情報生成部１４０、推定情報生成部１６０、及び特定処理部１８０を備えているとも見なせる。分布情報生成部１４０は、処理画像から、基準を満たす画素の分布を示す第１の分布情報を生成する。推定情報生成部１６０は、第１の分布情報を用いて第１の候補画素を選択する。特定処理部１８０は、上記した画像における第１の候補画素の位置に基づいて、処理画像に含まれる第１の線を特定する。
　以下、本実施形態について、詳細に説明する。
　移動体４０は、例えば自動車や自動２輪などの車両である。この場合、走行路の一例は道路であり、第１の線及び後述する第２の線は、車線を定義する線である。ただし、移動体４０は飛行機であってもよい。この場合、走行路は滑走路である。
　図２に示すように、移動体４０は、撮像装置２０及び制御装置３０を備えている。撮像装置２０は移動体４０の前方を撮影することにより、走行路を含む動画を生成する。そして、この動画を構成する複数のフレーム画像は、線検出装置１０に出力される。線検出装置１０は、フレーム画像毎に走行路に含まれる第１の線を検出し、検出した第１の線を示す第１線情報を生成する。第１線情報は、第１の線の位置、及び第１の線の色を含んでいる。この第１線情報を生成する処理は、複数のフレーム画像のそれぞれに対して行われる。ただし、動画を構成する一部のフレーム画像に対してのみ、第１線情報を生成する処理が行われてもよい。
　第１線情報は、制御装置３０に出力される。制御装置３０は、移動体４０の移動を制御する装置である。移動体４０が自動車の場合、制御装置３０は自動運転のための制御装置である。制御装置３０が行う自動運転のレベルは、例えばレベル３以上であるが、これに限定されない。制御装置３０は、移動体４０の移動を制御する際に、第１線情報を用いる。なお、制御装置３０は、移動体４０の移動を直接制御するのではなく、移動体４０の移動を制御する際に必要な情報を生成してもよい。この場合においても、制御装置３０は、第１線情報を用いて必要な情報を生成する。ここで生成される情報は、例えば、車線変更の可否を通知（例えば表示）するための情報や、一時停止の必要性を通知（例えば表示）するための情報などである。この情報は、例えば移動体４０の操縦者が目視可能な表示装置（例えば車内のナビゲーション装置のディスプレイ）に表示される。
　線検出装置１０は、図１に示すように、分割部１２０、分布情報生成部１４０、推定情報生成部１６０、及び特定処理部１８０を備えている。これらが行う処理の詳細については、フローチャートを用いて後述する。
　なお、図２に示す例において、線検出装置１０は移動体４０に搭載されている。ただし、線検出装置１０は、移動体４０の外部に位置していてもよい。この場合、線検出装置１０は、無線の通信回線を介して撮像装置２０及び制御装置３０に接続する。また、制御装置３０は移動体４０の外部に位置していてもよいし、移動体４０に対して取り外し可能に取り付けられていてもよい。例えば、線検出装置１０が移動体４０の外部（外部サーバ等）に位置している場合には、撮像装置２０から動画を取得し、この動画を構成するフレーム画像を解析することにより、移動体４０が走行した走行路に描かれている線（例えば区画線）を特定し、特定した線を特定するための情報を用いて地図情報を更新することもできる。この場合、容易に地図情報を整備することができる。
　図３は、線検出装置１０のハードウェア構成の一例を示す図である。線検出装置１０の主な構成は、集積回路を用いて実現される。この集積回路は、バス４０２、プロセッサ４０４、メモリ４０６、ストレージデバイス４０８、入出力インタフェース４１０、及びネットワークインタフェース４１２を有する。バス４０２は、プロセッサ４０４、メモリ４０６、ストレージデバイス４０８、入出力インタフェース４１０、及びネットワークインタフェース４１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ４０４などを互いに接続する方法は、バス接続に限定されない。プロセッサ４０４は、マイクロプロセッサなどを用いて実現される演算処理装置である。メモリ４０６は、RAM（Random Access Memory）などを用いて実現されるメモリである。ストレージデバイス４０８は、ROM（Read Only Memory）やフラッシュメモリなどを用いて実現されるストレージデバイスである。
　入出力インタフェース４１０は、線検出装置１０を周辺デバイスと接続するためのインタフェースである。本図において、入出力インタフェース４１０には撮像装置２０及び制御装置３０が接続されている。
　ネットワークインタフェース４１２は、線検出装置１０を通信網に接続するためのインタフェースである。この通信網は、例えばCAN（Controller Area Network）通信網である。なお、ネットワークインタフェース４１２が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
　ストレージデバイス４０８は、線検出装置１０の各機能要素を実現するためのプログラムモジュールを記憶している。プロセッサ４０４は、このプログラムモジュールをメモリ４０６に読み出して実行することで、線検出装置１０の各機能を実現する。
　なお、上記した集積回路のハードウエア構成は本図に示した構成に限定されない。例えば、プログラムモジュールはメモリ４０６に格納されてもよい。この場合、集積回路は、ストレージデバイス４０８を備えていなくてもよい。
　図４は、線検出装置１０が行う処理を示すフローチャートである。図５～図７は、図４に示した処理を説明するための図である。まず、撮像装置２０が動画を構成するフレーム画像を生成すると、線検出装置１０は、このフレーム画像を処理画像５０として取得する。そして線検出装置１０は、フレーム画像を取得するたびに、図４に示す処理を行う。
　まず、線検出装置１０の分割部１２０は、図５に示すように、処理画像５０を第１方向に沿って分割することにより、複数の分割画像５２（第１の分割画像）を生成する（図４のステップＳ２０）。一つの処理画像５０から生成される分割画像５２の数は、例えば１０以上３０以下であるが、これに限定されない。撮像装置２０が移動体４０の前方を撮影している場合、ｙ軸方向は、走行路（例えば道路）が延在している方向の成分を含んでいる。このため、図５に示す例において、分割部１２０は、ｙ軸方向に処理画像５０を分割することにより、分割画像５２を生成する。この場合、分割画像５２の生成処理に必要な負荷は小さくなる。
　次いで、分布情報生成部１４０は、分割画像５２のそれぞれに対し、基準を満たす画素の分布を示す第１の分布情報を生成する処理を行う（図４のステップＳ４０）。ここで用いられる基準は、例えば、色空間において予め定められた範囲に属する色を有することである。例えば線検出装置１０が黄色線を検知する場合、上記した「予め定められた範囲」は、黄色と認識される範囲である。例えば分布情報生成部１４０は、予め定められた範囲に属する画素を１、その他の画素を０に変換する（２値化処理）。そして、第１の分布情報は、上記した第１方向に交わる第２方向における画素の分布を示す情報である。例えば図５に示したように第１方向がｙ軸方向である場合、第２方向は、例えばｘ軸方向である。そして、第１の分布情報は、例えば図６（Ａ）及び（Ｂ）に示す通り、第２方向において基準を満たす画素数の分布を示す情報になる。
　次いで、推定情報生成部１６０は、分布情報生成部１４０が生成した第１の分布情報を用いて、走行路に描かれている第１の線の一部と推定される画素（以下、第１画素と記載）を選択する処理を行う（図４のステップＳ６０）。この処理は、分割画像５２のそれぞれに対して行われる。例えば分布情報が、図６に示すように、第２方向において基準を満たす画素数の分布を示している場合、推定情報生成部１６０は、第１の分布情報における標準偏差及び分散の少なくとも一方を用いて、第１画像を選択する。例えば標準偏差が基準値以下の場合、又は分散が基準値以下の場合、推定情報生成部１６０は、第１の候補画素のすべてを第１画素として選択する。この場合、推定情報生成部１６０は、その分割画像５２に第１の線が含まれていると判断していることになる。例えば図６（Ａ）に示す場合、標準偏差や分散が小さいため、第１の候補画素のすべてを第１画素として選択する。一方、図６（Ｂ）に示すように標準偏差や分散が大きい場合、第１の候補画素からは第１画素を選択しない。
　ただし、推定情報生成部１６０は、第１の候補画素の一部を第１画素として選択してもよい。この場合、図６（Ａ）に示すように、推定情報生成部１６０は、例えば、第１の分布情報において画素数が基準値以上の領域に含まれる画素を、第１画素として選択する。
　次いで、特定処理部１８０は、推定情報生成部１６０が選択した第１画素の処理画像５０内における位置（又は分割画像５２内における位置）を用いて、処理画像５０に含まれる第１の線の位置を推定する（図４のステップＳ８０）。例えば特定処理部１８０は、第１画素の第１方向における位置の平均値を、その分割画像５２における第１の線の位置と推定する。そして、複数の分割画像５２における第１の線の位置を繋いだり、または回帰分析を行うことにより、処理画像５０に含まれる第１の線を推定する。また分割画像５２における第１の線の位置と推定する際には、第１画素の第１方向における位置の平均値の代わりに最頻値や中央値を用いることとしても良い。
　図７の各図は、図４のステップＳ８０の一例であり、特定処理部１８０が回帰分析を用いて第１の線を推定する場合を説明するための図である。この例においては回帰直線が用いられている。図７（Ａ）は、第１の線の推定位置をプロットした図である。そして、特定処理部１８０は、この図において回帰直線を生成し、生成した回帰直線が第１の線を示すと推定する。図７（Ｂ）は、処理画像５０において推定した第１の線を適用した例である。この場合、例えば推定した第１の線は、処理画像５０の下方部分（図７（Ａ）のプロットが存在している箇所）に存在し、かつ、処理画像５０の上方部分の上端まで延長していることを示している。
　なお、図７（Ｂ）に示すように、特定処理部１８０は、第１画素のうちこの回帰直線と重なる画素、及びこの画素と連続している画素を、第１の線を構成する画素と特定してもよい。言い換えると、特定処理部１８０は、分割画像５２のそれぞれにおいて、第１画素の塊のうち回帰直線と重なる塊を、第１の線を構成する画素と特定してもよい。
　また、分布情報生成部１４０は、輝度が予め定められた基準を満たす画素を選択し、選択した画素の分布情報（以下、第２の分布情報と記載）を生成することもできる。この基準は、例えば下限値以上であってもよいし、上限値未満であってもよいし、下限値以上かつ上限値以下であってもよい。この場合、推定情報生成部１６０及び特定処理部１８０が第１の分布情報の代わりに第２の分布情報を用いると、線検出装置１０は、白線を検知することができる。
　以上、本実施形態によれば、分割部１２０、推定情報生成部１６０、及び特定処理部１８０が行う処理には、エッジ検出処理は含まれていない。このため、第１の線を特定する際に必要な演算量は少なくなる。従って、演算速度が速い演算装置は不要となり、その結果、線検出装置１０の製造コストは低くなる。
　また、線検出装置１０の分布情報生成部１４０は、第１の分布情報を生成している。推定情報生成部１６０は、この第１の分布情報を用いて第１画素（すなわち第１の線を構成すると推定される画素）を選択する。このため、推定情報生成部１６０が行う演算量、すなわち第１の線を構成すると推定される画素を選択する際の演算量は少なくなる。
（第２の実施形態）
　本実施形態に係る線検出装置１０は、分割部１２０が行う処理を除いて、第１の実施形態に示した線検出装置１０と同様である。
　図８は、本実施形態において分割部１２０が行う処理を説明するための図である。本実施形態において、線検出装置１０は、処理画像５０のすべてを分割画像５２の生成対象とするのではなく、処理画像５０の一部５４のみを分割画像５２の生成対象としている。例えば線検出装置１０は、処理画像５０の一部５４を取り出し、この一部５４を分割することにより分割画像５２を生成する。このようにすると、分布情報生成部１４０、推定情報生成部１６０、及び特定処理部１８０が処理を行うべき領域が処理画像５０の一部５４に限られるため、線検出装置１０が行う演算量はさらに少なくなる。
　なお、処理画像５０における一部５４の位置は、予め設定されている。例えば撮像装置２０が移動体４０に搭載されている場合、道路は処理画像５０の下側に写っている可能性が高い。このため、一部５４は、移動体４０の下方に設定されるのが好ましい。
（第３の実施形態）
　図９は、第３の実施形態に係る線検出装置１０の機能構成を示す図である。本実施形態に係る線検出装置１０は、データ変換部１１０を備えている点を除いて、第１又は第２の実施形態に係る線検出装置１０と同様の構成である。
　撮像装置２０が生成する処理画像５０は、ＲＧＢ色空間で示された画像である。データ変換部１１０は、この処理画像５０を、色相、明度（輝度）、彩度という指標で定義された色空間で示された画像、例えばＨＬＳ色空間で示された画像（変換後画像）に変換する。なお、ＨＬＳ色空間の代わりにＨＳＶ色空間やＬａｂ色空間が用いられてもよい。そして、分割部１２０、分布情報生成部１４０、推定情報生成部１６０、及び特定処理部１８０は、この変換後の処理画像５０を用いて処理を行う。
　第１の線の色によっては、ＲＧＢ色空間で示された画像よりも、色相、明度（輝度）、彩度という指標で定義された色空間、例えばＨＬＳ色空間で示された画像のほうが、分布情報生成部１４０が処理しやすい（２値化処理を行いやすい）ことがある。このような場合において、本実施形態に係る線検出装置１０は、ＲＧＢ色空間で示された処理画像５０を直接処理する場合と比較して、高い精度で第１の線を検出することができる。第１の線が黄色線の場合、この傾向は顕著になる。
　なお、図１０に示すように、データ変換部１１０は、処理画像５０ではなく分割画像５２に対して上記したデータ変換処理を行ってもよい。
（第４の実施形態）
　図１１は、第４の実施形態に係る線検出装置１０の構成を示す図である。本実施形態に係る線検出装置１０は、領域設定部１３０を有している点を除いて、第１～第３の実施形態に係る線検出装置１０のいずれかと同様である。図１１は、第３の実施形態と同様の場合を示している。
　領域設定部１３０は、第１のフレーム画像において特定処理部１８０が第１の線を検出できた場合、第１のフレーム画像より後（例えば次）に処理されるフレーム画像（以下、第２のフレーム画像と記載）において、分布情報生成部１４０の処理対象となる領域を狭める。具体的には、領域設定部１３０は、第１のフレーム画像で検出された第１の線の第２方向の位置（例えば図７におけるｘ軸方向の位置）に基づいて分布情報生成部１４０の処理対象となる領域を狭める。例えば領域設定部１３０は、第１のフレーム画像における第１の線の第２方向の位置が、処理対象となる領域の中心となるようにする。そして、領域設定部１３０は処理対象となる領域の幅を狭める。領域設定部１３０は、例えば分割画像５２に対して上記した処理を行う。
　図１２の各図は、領域設定部１３０が行う処理を模式的に説明するための図である。図１２（Ａ）に示すように、第１のフレーム画像（処理画像５０ａ）において特定処理部１８０が第１の線Ｌ１を特定した場合、領域設定部１３０は、その線Ｌ１の位置を示す情報（例えば回帰分析によって得られた線を示す情報）を特定処理部１８０から取得する。そして領域設定部１３０は、図１２（Ｂ）に示すように、第２のフレーム画像（処理画像５０ｂ）に対して、分布情報生成部１４０の処理対象となる領域５６を設定する。次いで、この第２のフレーム画像（処理画像５０ｂ）に対しても特定処理部１８０が第１の線Ｌ１を特定できた場合、第２のフレーム画像（処理画像５０ｂ）より後の第３のフレーム画像（処理画像５０ｃ）における領域５６を、第２のフレーム画像（処理画像５０ｂ）における領域５６よりも狭くする。
　このように、第１の線Ｌ１の検出が検出され続けると領域５６はだんだん狭くなっていくが、この大きさ（例えば幅）には下限がある。すなわち領域設定部１３０は、領域５６の大きさ（例えば幅）が下限を下回らないようにする。ここで用いられる下限は、上記した、分割画像５２が線の一部を含むか否かの判断基準となる標準偏差の基準値に相当する幅よりも大きく設定されることが好ましい。
　また、領域設定部１３０は、領域５６を設定した後、いずれかのフレーム画像（処理画像５０）において第１の線を特定できなかった場合、その後（例えば次）のフレーム画像において、領域５６を広げるか、又は領域５６の設定を解除する。
　なお、領域設定部１３０は、上記した領域５６の設定を、分割部１２０が処理する前の処理画像５０（データ変換部１１０が返還した後の処理画像５０であってもよい）に対して行ってもよいし、分布情報生成部１４０が生成した第１の分布情報に対して行ってもよい。
　本実施形態によれば、領域設定部１３０が、分布情報生成部１４０の処理対象となる領域５６を狭める。この際、領域設定部１３０は、領域５６を、処理済みのフレーム画像における第１の線Ｌ１の位置に基づいて設定する。このため、線Ｌ１の検出精度を維持しつつ、線検出装置１０の演算量を少なくすることができる。尚、分布情報生成部１４０の処理対象として領域５６を狭めることによって、線Ｌ１の検出には不要となるノイズの影響を抑制することもできる。例えば、ノイズとしては線Ｌ１とは異なる道路上の黄色線で描かれている文字、黄色線で描かれている表示物等が一例としてあげられる。
（第５の実施形態）
　図１３は、第５の実施形態に係る線検出装置１０の機能構成を示す図である。本実施形態に係る線検出装置１０は、第１検出部１００の他に第２検出部２００を備えている。第１検出部１００は、上記したいずれかの実施形態と同様である。
　第２検出部２００は、処理画像５０を構成する画素の輝度を用いて走行路に描かれている線を検出する。具体的には、第２検出部２００は、輝度が基準を満たす画素を処理画像５０から選択し、選択した画素を用いて線（第２の線）を検出する。この処理の一例は、２値化処理である。
　この際、輝度の基準を適切に設定しないと、第２検出部２００は、第１検出部１００が検出した第１の線を、その他の線とともに検出する可能性が出てくる。例えば第１検出部１００は黄色線を検出することを目的としており、第２検出部２００は白線を検出することを目的としている場合、第２検出部２００は、白線とともに黄色線も検出する可能性がある。そこで本実施形態において、第２検出部２００は、第１検出部１００が検出した第１の線を構成する画素の輝度を用いて、輝度の基準を設定する。
　例えば第２検出部２００が白線を検出することを目的としている場合、上記した輝度の基準は、下限値である。すなわち、第２検出部２００は、基準値以上の輝度を有する画素を選択する。逆に、第２検出部２００は、基準値以下の輝度を有する画素を選択してもよい。この場合、第２検出部２００は、目的とする線以外の領域を構成する画素を選択することにより、間接的に目的とする線を検出することができる。そして第２検出部２００は、第１検出部１００が検出した第１の線を構成する画素の輝度を統計処理した値を基準に、上記した下限値を設定する。ここで、統計処理した値の例としては、例えば平均値、最頻値などがある。また、第２検出部２００は、例えば、この統計処理した値に定数を加えた値を下限値と設定する。
　また、第２検出部２００は、第１検出部１００によって特定された第１の線を構成する画素を処理画像５０から除外し、除外した画像から、基準値より輝度が高い画素を選択することにより、白線を検知してもよい。この場合の下限値は、例えば固定値であり、一般的な道路面の輝度値よりも高い値が用いられる。
　図１４は、第２検出部２００の機能構成の一例を示す図である。本図に示す例において、第２検出部２００は、分割部２２０、分布情報生成部２４０、推定情報生成部２６０、及び特定処理部２８０（第２特定処理部、第３特定処理部、又は白線検出処理部の一例）を備えている。分割部２２０が行う処理は分割部１２０が行う処理と同様である、また、分布情報生成部２４０、推定情報生成部２６０、及び特定処理部２８０が行う処理は、画素の選択基準が輝度である点を除いて、それぞれ分布情報生成部１４０、推定情報生成部１６０、及び特定処理部２８０が行う処理と同様である。このため、本実施形態において、第１検出部１００が第２検出部２００の機能を兼ねることもできる。さらに第２検出部２００は、分割部２２０の前にデータ変換部１１０を有していてもよい。
　分布情報生成部２４０は、輝度が予め定められた基準を満たす画素を選択し、選択した画素の分布情報（第２の分布情報）を生成する。分布情報生成部２４０は、この処理で用いられる基準を、上記したように、第１検出部１００が検出した第１の線を構成する画素の輝度を用いて設定する。
　また分布情報生成部２４０は、第１検出部１００が検出した画素を分割画像５２から除外し、除外した後の分割画像５２を用いて第２の分布情報を生成してもよい。
　図１５は、本実施形態に係る線検出装置１０が行う処理の一例を示すフローチャートである。線検出装置１０は、複数のフレーム画像のそれぞれに対して、本図に示す処理を行う。まず、第１検出部１００は第１の線（第１色の線）の検出処理を行う。その後、第２検出部２００は、第１検出部１００から第１の線の輝度情報を受け取ってから、第２の線（第２色の線）の検出処理を行う。ここで、第１の線の輝度は、第２の線の輝度よりも低い。
　第１検出部１００が処理を行う前に第２検出部２００が処理を行った場合、すなわち第２の線を第１の線よりも先に検出した場合、第２検出部２００は、第２の線を検出する際に用いられる輝度の基準が低すぎるなどの理由により、第２の線とともに第１の線を検出する可能性が出てくる。これに対して本実施形態では、第１検出部１００が処理を行った後に第２検出部２００が処理を行っている。このため、第２の線とともに第１の線を検出する可能性は低くなる。例えば、上記したように、第２検出部２００が処理を行う際に、第１検出部１００が検出した第１の線（黄色線）を構成する画素を除外することにより、第２検出部では、白線だけを検出することが可能となる。
　なお、第１の線の検出処理の詳細は、上記したいずれかの実施形態で示した通りである。また、第２の線の検出処理の詳細は、上記した通りである。
　なお、第１検出部１００が第１の線を検出できない場合もあり得る。この場合、第２検出部２００の分布情報生成部２４０は、予め定められた輝度の基準を用いて、第２の分布情報の生成処理を行う。
　また、第２検出部２００は、処理画像５０の全体に対して第２の線の検出処理を行ってもよいし、処理画像５０の一部に対してのみ第２の線の検出処理を行ってもよい。後者の場合、第２検出部２００は、第１の線の位置を基準にして第２の線の検出処理を行う領域を決定してもよい。このようにすると、第２検出部２００が行う演算処理の量は少なくなる。
　図１６は、第２検出部２００による処理の対象となる領域の一例を説明するための図である。本図に示すように、走行路（例えば道路）には、第１の線Ｌ１（例えば黄色線）に対して第２の線Ｌ２（例えば白線）が互いに平行に描かれている場合がある。このような場合、第２検出部２００は、第１の線Ｌ１に交わる方向において第１の線Ｌ１の基準にして処理対象となる範囲を定め、当該範囲に位置する第２の線Ｌ２を検出する。例えば第２検出部２００は、処理画像５０の横方向（ｘ軸方向）において、第１の線Ｌ１の中心として＋方向に第１の幅Ｗ１をとり、かつ－方向に第２の幅Ｗ２をとる。そして、この範囲を、領域５８と設定する。なお、第１の幅Ｗ１と第２の幅Ｗ２は互いに等しくてもよいし、異なっていてもよい。また、領域５８の幅は、線Ｌ１が延在する方向に沿って変更されてもよい。例えば処理画像５０の上側に行くにつれて処理画像５０に含まれる領域の幅が狭くなっている場合、領域５８の幅は、処理画像５０の上側に行くにつれて狭くなってもよい。
　以上、本実施形態によれば、第１の線を精度よく検出できるとともに、第２の線も精度よく検出することができる。
（第６の実施形態）
　図１７は、第６の実施形態に係る線検出装置１０の機能構成を示す図である。本実施形態に係る線検出装置１０は、判断部３００を備えている点を除いて、第５の実施形態に係る線検出装置１０と同様の構成である。
　上記したように第１検出部１００は処理画像５０に含まれる第１の線を検出し、第２検出部２００は処理画像５０に含まれる第２の線を検出する。処理画像５０は、動画を構成するフレーム画像のそれぞれである。判断部３００は、フレーム画像のそれぞれに対する第１検出部１００の処理結果を用いて第１の線の検出周期を算出し、第１の線が点線であるか否かを決定する。判断部３００は、第２の線に対しても同様の処理を行う。
　以下、判断部３００が第１の線を処理する場合について説明する。判断部３００は、第１検出部１００がフレーム画像（処理画像５０）を処理するたびに、そのフレーム画像に含まれる第１の線を特定する。そして、判断部３００は、この特定結果のフレーム画像間の推移を処理することにより、第１の線の検出周期を判断する。
　例えば上記したように、第１検出部１００の推定情報生成部１６０が、分割画像５２に第１の線が含まれているか否かを判断する処理を各分割画像５２に対して行っている場合を考える。この場合、判断部３００は、第１の線が含まれていると判断された分割画像５２の数を算出する。そして、判断部３００は、図１８の各図に示すように、この分割画像５２の数の推移を用いて、第１の線が点線であるか否かを判断する。具体的には、判断部３００は、分割画像５２の数の増減が一定の周期で繰り返されている場合、第１の線が点線であると判断する。一方、判断部３００は、算出した分割画像５２の数が基準数以上（例えば一枚のフレーム画像に含まれる分割画像５２の数の７０％以上）である状態が、ある一定数以上のフレーム画像で継続している場合、第１の線は連続線であると判断する。また、判断部３００は、分割画像５２の数の増減が不規則に繰り返されている場合、第１の線は連続線であるが部分的になくなっている（又はかすれている）と判断する。
　なお、図１８（Ａ）は、上記した分割画像５２の数をフレーム画像毎にプロットした結果を示しており、図１８（Ｂ）は、上記した分割画像５２の数を、連続する複数枚（例えば５枚）のフレーム画像で平均した値の推移をプロットした結果を示している。いずれの場合においても、分割画像５２の数の増減が一定の周期で繰り返されているため、判断部３００による処理の対象とすることができる。なお、図１８（Ｂ）は、上記した分割画像５２の平均値は一定の範囲に入ることも示している。
　なお、線検出装置１０は、撮像装置２０が処理画像５０を生成したときの移動体４０の速度を特定するための情報を取得してもよい。例えば線検出装置１０は、処理画像５０が生成されたときの時刻を示す情報を各処理画像５０について取得するとともに、移動体４０の速度を時刻別に示す情報を取得する。この場合、判断部３００は、さらにこの速度を用いて第１の線が点線であるか否かを判断することもできる。
　具体的には、判断部３００は、上記した第１の線の検出周期と移動体４０の速度を用いて、第１の線の長さを算出する。例えば図８に示すように、処理画像５０に一部５４が設定されている場合を考える。判断部３００は、第１の線が含まれていると判断された分割画像５２の数が基準数以上になったフレーム画像から、その分割画像５２の数が基準数以下になったフレーム画像までの枚数をカウントし、この枚数にフレームレート及び移動体４０の速度を乗ずることにより、第１の線の長さを算出する。また、判断部３００は、第１の線が含まれていると判断された分割画像５２の数が基準数以下になったフレーム画像から、その分割画像５２の数が基準数以上になったフレーム画像までの枚数をカウントし、この枚数にフレームレート及び移動体４０の速度を乗ずることにより、第１の線の間隔を算出する。そして、判断部３００は、算出した第１の線の長さのばらつき及び第１の線の間隔のばらつきが一定値以下である場合、第１の線が点線であると判断する。一方、算出した第１の線の長さのばらつきが一定値以上である場合、第１の線は連続線であるが部分的になくなっている（又はかすれている）と判断する。
　判断部３００は、第１の線の長さ及び第１の線の間隔の少なくとも一方を算出する場合、この長さと基準長さの一致度を用いて、第１の線が点線であるか否かを判断してもよい。この場合、図１７に示すように、判断部３００は、走行路の種類を特定するための種類情報を取得し、上記した基準長さを、前記種類情報を用いて定めてもよい。この種類情報は、例えば走行路が一般道、有料道路、及び高速道路のいずれであるかを特定するための情報である。そして、高速道路の場合、一般道の場合と比較して基準長さは長くなる。なお、上記した種類情報は、上記した道路を直接特定する情報であってもよいし、移動体４０の位置を示す情報（例えばＧＰＳ情報などの緯度経度を示す情報）及び地図情報であってもよい。
　判断部３００による判断結果は、移動体４０の制御装置３０に出力される。制御装置３０は、この判断結果、すなわち第１の線（又は第２の線）が連続線であるか点線であるかを示す情報を用いて、移動体４０の移動（例えば走行線の変更の可否）を制御する。この判断の具体例は、例えば交通ルールに基づいて定められる。
　以上、本実施形態によれば、判断部３００は、精度よく第１の線及び第２の線が点線であるか否かを判断することができる。そして移動体４０の制御装置３０は、この判断結果を用いて移動体４０の移動を制御するため、移動体４０の自動運転を高度にすることできる。
　なお、第１～第４の実施形態に係る線検出装置１０においても、上記した判断部３００を備えていてもよい。
　以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

Claims (9)

  1. 　移動体が走行する走行路を含む画像から、色が予め定められた範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて前記画像に含まれる第１色の線を検出する第１処理部と、
    　前記第１処理部が処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する第２処理部と、
    を備える線検出装置。
  2. 　請求項１に記載の線検出装置において、
    　前記第２処理部は、前記予め定められた輝度範囲を、前記検出された第１色の線の輝度を用いて定める、線検出装置。
  3. 　請求項１に記載の線検出装置において、
    　前記第１色は黄色であり、前記第２色は白色である、線検出装置。
  4. 　請求項１～３のいずれか一項に記載の線検出装置において、
    　前記第２処理部は、前記第１処理部が前記第１色の線を検出できなかった時に、前記第２色の線を特定する線検出装置。
  5. 　請求項１～４のいずれか一項に記載の線検出装置において、
    　前記画像は、前記移動体に搭載された撮像装置によって撮像されている、線検出装置。
  6. 　請求項５に記載の線検出装置において、
    　前記画像は前記移動体の前方を撮像した画像である、線検出装置。
  7. 　コンピュータが、
    　　移動体が走行する走行路を含む画像を処理することにより、当該画像に含まれる第１色の線を検出し、
    　前記第１色の線の検出処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する、線検出方法。
  8. 　コンピュータに、
    　　移動体が走行する走行路を含む画像を処理することにより、当該画像に含まれる第１色の線を検出する処理と、
    　　前記第１色の線の検出処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する処理と、
    を実行させるプログラム。
  9. 　コンピュータが実行可能なプログラムを記憶した記憶媒体であって、
    　前記プログラムは、コンピュータに、
    　　移動体が走行する走行路を含む画像を処理することにより、当該画像に含まれる第１色の線を検出する処理と、
    　　前記第１色の線の検出処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する処理と、
    を実行させる記憶媒体。
PCT/JP2018/009162 2018-03-09 2018-03-09 線検出装置、線検出方法、プログラム、及び記憶媒体 Ceased WO2019171565A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2018/009162 WO2019171565A1 (ja) 2018-03-09 2018-03-09 線検出装置、線検出方法、プログラム、及び記憶媒体
US16/979,498 US11348344B2 (en) 2018-03-09 2018-03-09 Line detection device, line detection method, program, and storage medium
JP2020504610A JPWO2019171565A1 (ja) 2018-03-09 2018-03-09 線検出装置、線検出方法、プログラム、及び記憶媒体
EP18908694.5A EP3764321B1 (en) 2018-03-09 2018-03-09 Line detection device, line detection method, program, and storage medium
JP2022097161A JP2022126747A (ja) 2018-03-09 2022-06-16 線検出装置、線検出方法、プログラム、及び記憶媒体
JP2024071440A JP2024091918A (ja) 2018-03-09 2024-04-25 線検出装置、線検出方法、プログラム、及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/009162 WO2019171565A1 (ja) 2018-03-09 2018-03-09 線検出装置、線検出方法、プログラム、及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2019171565A1 true WO2019171565A1 (ja) 2019-09-12

Family

ID=67845641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009162 Ceased WO2019171565A1 (ja) 2018-03-09 2018-03-09 線検出装置、線検出方法、プログラム、及び記憶媒体

Country Status (4)

Country Link
US (1) US11348344B2 (ja)
EP (1) EP3764321B1 (ja)
JP (3) JPWO2019171565A1 (ja)
WO (1) WO2019171565A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209209A (ja) * 2005-01-25 2006-08-10 Honda Elesys Co Ltd レーンマーク抽出装置
JP2007018154A (ja) * 2005-07-06 2007-01-25 Honda Motor Co Ltd 車両及びレーンマーク認識装置
JP2014164492A (ja) 2013-02-25 2014-09-08 Denso Corp 区画線認識装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4365350B2 (ja) * 2005-06-27 2009-11-18 本田技研工業株式会社 車両及び車線認識装置
CN101978392B (zh) * 2008-03-26 2013-01-16 本田技研工业株式会社 车辆用图像处理装置
JP5083658B2 (ja) * 2008-03-26 2012-11-28 本田技研工業株式会社 車両用車線認識装置、車両、及び車両用車線認識プログラム
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
JP5664152B2 (ja) * 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
JP2012155612A (ja) * 2011-01-27 2012-08-16 Denso Corp 車線検出装置
JP6141787B2 (ja) * 2014-04-01 2017-06-07 本田技研工業株式会社 レーンマーク認識装置
JP6220327B2 (ja) * 2014-07-23 2017-10-25 株式会社Ｓｏｋｅｎ 走行区画線認識装置、走行区画線認識プログラム
JP6702849B2 (ja) * 2016-12-22 2020-06-03 株式会社Ｓｏｋｅｎ 区画線認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209209A (ja) * 2005-01-25 2006-08-10 Honda Elesys Co Ltd レーンマーク抽出装置
JP2007018154A (ja) * 2005-07-06 2007-01-25 Honda Motor Co Ltd 車両及びレーンマーク認識装置
JP2014164492A (ja) 2013-02-25 2014-09-08 Denso Corp 区画線認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TANAKA, NAOKI ET AL.: "A Robust White Line Detection Method for Road Surface Maintenance", THE IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS ( JAPANESE EDITION, vol. J 9 1, no. 8, 1 August 2008 (2008-08-01), pages 2129 - 2136, XP009523003 *

Also Published As

Publication number Publication date
JP2024091918A (ja) 2024-07-05
EP3764321A1 (en) 2021-01-13
JP2022126747A (ja) 2022-08-30
EP3764321A4 (en) 2021-10-27
US11348344B2 (en) 2022-05-31
EP3764321B1 (en) 2025-08-27
JPWO2019171565A1 (ja) 2021-03-18
US20210042537A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
US11295426B2 (en) Image processing system, server apparatus, image processing method, and image processing program
US10501088B2 (en) Road surface state determination apparatus, imaging apparatus, imaging system, and road surface state determination method
JP5267596B2 (ja) 移動体検出装置
US9898669B2 (en) Traveling road surface detection device and traveling road surface detection method
JP6483446B2 (ja) 複合線判定装置及び複合線判定方法
CN113344906B (zh) 车路协同中相机评估方法、装置、路侧设备和云控平台
JP6361313B2 (ja) 車両検出方法及び装置
JP4972116B2 (ja) 車両の周辺監視装置
JP2018073275A (ja) 画像認識装置
JP2023014131A (ja) 線検出装置、線検出方法、プログラム、及び記憶媒体
JP2020095619A (ja) 画像処理装置および画像処理方法
JP7109528B2 (ja) 車載画像情報処理装置、車載画像情報送信装置および画像情報処理方法
JP2019159526A (ja) 線検出装置、線検出方法、プログラム、及び記憶媒体
WO2019171565A1 (ja) 線検出装置、線検出方法、プログラム、及び記憶媒体
JP2019159530A (ja) 線検出装置、線検出方法、プログラム、及び記憶媒体
JP2007011490A (ja) 道路パラメータ検出装置および道路パラメータ検出方法
JP6152646B2 (ja) 複眼カメラ装置、及びそれを備えた車両
JP2019159528A (ja) 線検出装置、線検出方法、プログラム、及び記憶媒体
JP2019159527A (ja) 線検出装置、線検出方法、プログラム、及び記憶媒体
JP2019159525A (ja) 線検出装置、線検出方法、プログラム、及び記憶媒体
JP2011180835A (ja) 対象物の位置を算出するための装置
JP2020095625A (ja) 画像処理装置および画像処理方法
JP2026074056A (ja) 線検出装置、線検出方法、プログラム、及び記憶媒体
CN110598505A (zh) 障碍物悬空状态判断方法、装置及终端
JP6936557B2 (ja) 探索処理装置、及びステレオカメラ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18908694

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020504610

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018908694

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 2018908694

Country of ref document: EP