WO2014084256A1 - 車載画像処理装置 - Google Patents

車載画像処理装置 Download PDF

Info

Publication number
WO2014084256A1
WO2014084256A1 PCT/JP2013/081898 JP2013081898W WO2014084256A1 WO 2014084256 A1 WO2014084256 A1 WO 2014084256A1 JP 2013081898 W JP2013081898 W JP 2013081898W WO 2014084256 A1 WO2014084256 A1 WO 2014084256A1
Authority
WO
WIPO (PCT)
Prior art keywords
parking frame
image
frame recognition
unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/081898
Other languages
English (en)
French (fr)
Inventor
健人 緒方
將裕 清原
智史 鈴木
彰二 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to EP13859419.7A priority Critical patent/EP2927863B1/en
Priority to CN201380061842.1A priority patent/CN104871204B/zh
Priority to US14/647,398 priority patent/US9715633B2/en
Priority to JP2014549863A priority patent/JP5921715B2/ja
Publication of WO2014084256A1 publication Critical patent/WO2014084256A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an in-vehicle image processing apparatus that recognizes the outside world of a vehicle using an image captured by an in-vehicle camera.
  • Patent Document 1 the entire vehicle periphery is imaged by sharing with four in-vehicle cameras mounted on the front, back, left, and right of the vehicle, and an overhead view image is generated by converting and combining each through image, A technique for recognizing a parking frame from an overhead image is disclosed.
  • an apparatus that presents a bird's-eye view image to a user presents both a bird's-eye view image and a through image of the vehicle traveling direction. This is because the bird's-eye view image is suitable for the driver to confirm the surroundings of the vehicle, while the through image is more suitable for grasping a distant place or a three-dimensional object.
  • the bird's-eye view image has a narrow field of view (approximately 2 m ahead of the host vehicle) compared to a through image that is an image before conversion, and is not suitable for recognizing far away.
  • a narrow field of view approximately 2 m ahead of the host vehicle
  • a through image that is an image before conversion
  • a through image has a wider field of view than a bird's-eye view and can be recognized far away, and therefore, lane recognition and the like are generally processed using a through image.
  • the bird's-eye view image is easier to handle in terms of image processing than the through image before conversion, and for example, in the case of deviation prediction from a white line, the calculation from the bird's-eye view image is easier.
  • some applications improve the recognition accuracy by using a bird's-eye view image.
  • the present invention has been made in view of the above points, and an object of the present invention is to provide an in-vehicle image processing apparatus capable of recognizing the outside world with higher accuracy from an image captured by an in-vehicle camera. is there.
  • An in-vehicle image processing apparatus that solves the above-described problems is an image acquisition unit that acquires through images captured by cameras arranged at the front, rear, and side of a vehicle, and converts each acquired through image.
  • a parking frame recognition unit that performs a parking frame recognition process for recognizing a parking frame using at least one of the through image and the overhead image.
  • the second parking frame recognition process for recognizing the parking frame is performed.
  • the parking frame in the predetermined range is recognized using the overhead image
  • the parking frame in the area farther than the predetermined range of the overhead image is recognized using the through image.
  • Image processing can be performed using an appropriate image according to the situation, and the parking frame can be recognized with higher accuracy.
  • the flowchart explaining the display switching method The image figure which shows an example of display switching.
  • the flowchart explaining an example of the pedestrian detection method The flowchart explaining an example of the pedestrian detection method.
  • the figure which shows an example of utilization distribution of CPU The block diagram explaining the structure of the vehicle-mounted image processing apparatus concerning 5th Embodiment.
  • the flowchart explaining a lane deviation prediction method The image figure explaining the lane deviation prediction method.
  • the flowchart explaining the scheduling method The figure which shows an example of utilization distribution of CPU.
  • FIG. 1 is a block diagram illustrating a configuration of an in-vehicle image processing apparatus according to the present embodiment
  • FIG. 2 is an image diagram illustrating a configuration of an overhead image generation unit.
  • the in-vehicle image processing device is realized by hardware and software in a camera device mounted on the host vehicle 10.
  • the in-vehicle image processing apparatus includes an image acquisition unit 12, an overhead image generation unit 13, an image composition unit 14, and a parking frame recognition unit 15 as its internal functions.
  • the image acquisition unit 12 captures through images captured by the front camera 1, the rear camera 2, the right camera 3, and the left camera 4 attached to the front, rear, right, and left sides of the vehicle 10, respectively. get.
  • the overhead image generation unit 13 converts each through image acquired by the image acquisition unit 12 and generates an overhead image 25 in which the viewpoint is moved above the host vehicle 10.
  • the overhead image 25 is generated using a known technique.
  • the image synthesis unit 14 synthesizes the overhead image with at least one of the through images.
  • the parking frame recognizing unit 15 that is an outside recognizing unit performs a process of recognizing the parking frame WL in the outside using at least one of the through image and the overhead image from the combined image combined by the image combining unit 14.
  • the example shown in FIG. 2 is an image of the state where the vehicle 10 has entered the parking frame WL from the front of the host vehicle 10 captured by the cameras 1 to 4.
  • the parking frame WL is formed by marking the marking lines WL1 to WL3 on the ground using white or yellow paint or the like in order to partition the size of one vehicle.
  • the parking frame WL has marking lines WL1 and WL2 that divide both sides in the vehicle width direction, and a marking line WL3 that divides the vehicle longitudinal direction.
  • a parking frame WL positioned around the own vehicle is displayed.
  • the marking lines WL1 and WL2 and the marking line WL3 on the front side of the vehicle are projected so as to surround the host vehicle 10.
  • FIG. 3 is a flowchart for explaining a method of combining images used for parking frame recognition
  • FIG. 4 is an image diagram in which an overhead image and a rear camera image are combined
  • FIG. 5 is an image diagram in which an overhead image and a front camera image are combined.
  • the image composition unit 14 acquires shift position information of the own vehicle 10 (step S101).
  • the shift position information is acquired from a control device that controls the drive system of the host vehicle 10 via CAN or the like.
  • the shift position information includes information on the position of the shift position of the host vehicle 10, for example, information on the position of the shift lever in the case of a manual transmission and information on the position of a selector lever in the case of an automatic transmission.
  • step S102 it is determined whether or not a reverse (reverse) R position is selected from the shift position information (step S102). If the reverse R position is selected (YES in step S102), The through image 22 of the rear camera 2 is synthesized (step S103). When a position other than the backward R is selected (NO in step S102), the overhead image 25 and the through image 21 of the front camera 1 are combined (step S104). In the example described above, the case where one through image and the overhead image are synthesized is described, but a plurality of through images and the overhead image may be synthesized.
  • FIG. 6 is a flowchart for explaining an example of a parking frame recognition method
  • FIG. 7 is a flowchart for explaining a parking frame recognition method using an overhead image
  • FIG. 8 is a parking frame recognition method using a through image. It is a flowchart to explain.
  • the parking frame recognition unit 15 first performs a first parking frame recognition process for recognizing a parking frame using the overhead image 25 (step S111), and then a second parking frame recognition for recognizing the parking frame using a through image. Processing is performed (step S112).
  • a horizontal edge filter is applied to all lines (step S121), and a peak (rise / fall) is extracted (step S122). Then, only the edges where the rising and falling pairs are formed at a predetermined interval are left (step S123), grouped (step S124), and then filtered by length (step S125). Then, the coordinates of the upper and lower edges of the rising and falling edges are extracted (step S126), and two white lines (marking lines) are selected (step S127).
  • step S1228 Whether the angle difference between the two selected white lines is equal to or less than a predetermined value ( ⁇ Th ⁇ max) (step S128), whether the interval between the two white lines is within a predetermined range (from ThWmin to ThWmax) (step S129), It is determined whether the deviation of the lower ends of the two white lines is within a predetermined range (ThBmin to ThBmax) (step S130). If all the conditions of these steps S129 to S130 are satisfied, the process proceeds to step S131.
  • step S131 the coordinate positions of the four corner points of the parking frame WL, that is, the upper and lower ends of the white line (marking line WL2) on the left side of the vehicle and the upper and lower points of the white line (marking line WL1) on the right side of the vehicle are determined. sign up.
  • step S132 it is determined whether or not all combinations have been confirmed. If confirmed (YES in step S132), the first parking frame recognition process is terminated. If not confirmed (NO in step S132). The process returns to the process of selecting two white lines (step S127), and the subsequent processes are repeated until it is determined that all combinations have been confirmed (YES in step S132).
  • an image processing area is set (step S141).
  • the image processing area is set so as to process only an area farther than the overhead image 25.
  • a horizontal edge filter is applied to all lines (step S142), and peaks (rising and falling) are extracted (step S143).
  • peaks are extracted (step S143).
  • a bird's-eye view conversion is performed using camera geometry for all edge points (step S144).
  • steps S123 to S132 steps S145 to S154) of the parking frame recognition method using the overhead image is performed, and the second parking frame recognition processing is ended.
  • the parking frame recognition is performed using the overhead image and the through image, respectively, as compared with the one using only the overhead image, it extends to a wider distant region. Parking frame recognition can be performed.
  • FIG. 9 is a flowchart for explaining another example of the parking frame recognition method.
  • both the first parking frame recognition process and the second parking frame recognition process are always performed.
  • both the first parking frame recognition process and the second parking frame recognition process are performed. It is good also as a structure which selects suitably either the case where the used parking frame recognition is performed, or the case where only the 1st parking frame recognition process is performed according to a condition.
  • the parking frame recognition unit 15 first performs a first parking frame recognition process for recognizing a parking frame using the overhead image 25, as shown as Modification 1 in FIG. 9 (step S161). Then, information on the host vehicle speed vsp of the host vehicle 10 is obtained (step S162), and it is determined whether the host vehicle speed vsp is higher than a predetermined threshold thvsp1 (step S163).
  • step S163 If it is determined that the host vehicle speed vsp is higher than the predetermined threshold thvsp1 (YES in step S163), the second parking frame recognition process using the through image is performed, and the host vehicle speed vsp is equal to or lower than the threshold thvsp1. If it is determined (NO in step S163), the process is terminated.
  • both the first parking frame recognition process using the overhead image and the second parking frame recognition process using the through image are performed.
  • the parking frame recognition can be performed over a far region wider than the overhead image.
  • the vehicle speed is low, only the first parking frame recognition process using the overhead image is performed, and the second parking frame recognition process using the through image is not performed.
  • the processing load can be reduced, and hardware resources can be used effectively, such as being used for arithmetic processing of other applications.
  • FIG. 10 is a block diagram illustrating the configuration of the in-vehicle image processing apparatus according to the second embodiment
  • FIG. 11 is a flowchart illustrating a display switching method
  • FIG. 12 is an image diagram illustrating an example of display switching.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
  • a characteristic feature of the present embodiment is that the user can switch the display of the composite image.
  • the in-vehicle image processing apparatus includes a display switching request acquisition unit 16 that acquires a display switching request from the user, as shown in FIG. As shown in FIG. 11, the display switching request acquisition unit 16 determines whether or not there is a user's display switching request (step S201). If there is a request (YES in step S201), the display switching request acquisition unit 16 displays it on the image composition unit 14. Switching is instructed (step S202), and when there is no request (NO in step S201), display switching is not instructed.
  • the image composition unit 14 generates a composite image 31 obtained by combining the overhead image and the through image, for example, as shown in FIG.
  • the synthesized image 32 that combines the overhead image and the navigation screen (the screen showing the map information and the vehicle position information) is displayed. Generate.
  • These composite images 31 and 32 are selectively displayed on an in-vehicle monitor (not shown).
  • the through image and the navigation screen may be combined.
  • FIG. 13 is a flowchart for explaining another example of the parking frame recognition method.
  • the parking frame recognition unit 15 determines whether or not the current display on the in-vehicle monitor is a composite image obtained by combining the overhead image and the through image in a state where the parking frame recognition is performed using the overhead image (step S211). (Step S212). If it is determined that the image is a composite image of the overhead image and the through image (YES in step S212), parking frame recognition is performed using the through image (step S213). On the other hand, when it is determined that the current display is not a composite image of the overhead image and the through image (NO in step S212), parking frame recognition using the overhead image is continuously performed.
  • an input image of the in-vehicle image processing device is a monitor display screen.
  • FIG. 14 is a block diagram illustrating the configuration of an in-vehicle image processing apparatus according to the third embodiment
  • FIG. 15 is a flowchart illustrating an example of a pedestrian detection method
  • FIG. 16 illustrates an example of a pedestrian detection method. It is a flowchart to do. Note that the same components as those in the above-described embodiments are given the same reference numerals, and detailed description thereof is omitted.
  • a characteristic feature of this embodiment is that, in addition to the parking frame recognition of the first embodiment described above, pedestrian detection is performed using an overhead image and a through image.
  • the in-vehicle image processing apparatus includes a pedestrian detection unit 17 that performs pedestrian detection using images captured by the in-vehicle cameras 1 to 4. As shown in FIG. 15, the pedestrian detection unit 17 performs a first pedestrian detection process (step S311) using the overhead image and a second pedestrian detection process (step S312) using the through image.
  • Known techniques can be applied to the first pedestrian detection process using the overhead image and the second pedestrian detection process using the through image, for example, a first pedestrian detection process for detecting a pedestrian from the overhead image.
  • a method using an optical flow described in (Patent Document 3) can be applied.
  • FIG. 16 is a flowchart for explaining another example of the pedestrian detection method.
  • the pedestrian detection unit 17 first acquires information on the host vehicle speed vsp (step S321), and determines whether the host vehicle speed vsp exceeds a predetermined threshold thvsp2 ( Step S322).
  • step S322 If it is determined that the host vehicle speed vsp exceeds the predetermined threshold thvsp2 (YES in step S322), a second pedestrian detection process using a through image is performed, and the host vehicle speed vsp is determined to be equal to or less than the threshold thvsp2. If so (NO in step S322), the first pedestrian detection process using the overhead image is performed (step S324).
  • FIG. 17 is a block diagram illustrating the configuration of an in-vehicle image processing apparatus according to the fourth embodiment
  • FIG. 18 is a flowchart illustrating a scheduling method
  • FIG. 19 is a diagram illustrating an example of CPU usage allocation. Note that the same components as those in the above-described embodiments are given the same reference numerals, and detailed description thereof is omitted.
  • a characteristic feature of this embodiment is that the scheduling unit 18 is added to the configuration of the third embodiment.
  • the in-vehicle image processing apparatus includes a scheduling unit 18 that determines whether or not to execute the external recognition process by the external recognition unit according to the vehicle speed.
  • the scheduling unit 18 acquires information on the host vehicle speed vsp (step S411), and determines whether the host vehicle speed vsp is equal to or lower than a predetermined threshold th_vlow (step S412). If it is determined that the host vehicle speed vsp is equal to or less than the predetermined threshold th_vlow (YES in step S412), both the parking frame recognition process and the pedestrian detection process are performed (step S413). On the other hand, when it is determined that the host vehicle speed vsp is higher than the threshold th_vlow (NO in step S412), only the parking frame recognition process is performed (step S414).
  • the hardware CPU of the in-vehicle image processing apparatus has, for example, a first image processing circuit configured by a dedicated chip for image processing and a second image processing circuit configured by a versatile chip.
  • the scheduling unit 18 distributes the usage of the first image processing circuit and the second image processing circuit according to the vehicle speed condition.
  • both the parking frame recognition process and the pedestrian detection process are performed in step S413, but all the pedestrian detection processes are performed in the first image processing circuit. (100%) is performed and the second image processing circuit is used and distributed so that all (100%) of the parking frame recognition processing is performed.
  • step S414 if the host vehicle speed vsp is faster than the threshold th_vlow, only parking frame recognition is performed in step S414, but the first image processing circuit performs 50% of the parking frame recognition processing, and the second image processing circuit causes the parking frame to be recognized. The usage is distributed so that the remaining 50% of the recognition processing is performed.
  • FIG. 20 is a block diagram illustrating the configuration of an in-vehicle image processing apparatus according to the fifth embodiment
  • FIG. 21 is a flowchart illustrating a lane departure prediction method
  • FIG. 22 is an image diagram illustrating a lane departure prediction method.
  • a characteristic feature of this embodiment is that a lane departure prediction unit 19 is provided instead of the pedestrian detection unit 17 of the fourth embodiment.
  • the in-vehicle image processing apparatus has a lane departure prediction unit 19 as shown in FIG.
  • the lane departure prediction unit 19 performs a lane departure prediction process for predicting that the host vehicle 10 deviates from the traveling lane while traveling.
  • the lane departure prediction unit 19 performs lane recognition using a through image (step S511), and projects the result onto an overhead image (step S512).
  • a lane recognition method using a through image can be performed using a known technique.
  • the departure from the traveling lane of the host vehicle is predicted using the overhead image (step S513). For example, it is predicted that there is a possibility of deviating from the traveling lane when the vehicle 10 is traveling to a predetermined distance with respect to the traveling lane while traveling.
  • step S511 By the lane recognition in step S511, as shown in FIG. 22, two traveling lanes WL5 and WL6 extending along the traveling direction of the vehicle 10 are recognized on the through image 22 of the composite image 31.
  • step S512 the traveling lanes WL5 and WL6 recognized in the through image 22 are projected on the overhead image 25 of the composite image 31 ', and lane departure prediction using the overhead image 25 is performed in step S513.
  • the overhead image 25 is easier to handle in terms of image processing than the through image 22. Therefore, the lane departure can be predicted more quickly and accurately when the overhead image 25 is used than when the through image 22 is used.
  • FIG. 23 is a flowchart illustrating a scheduling method
  • FIG. 24 is a diagram illustrating an example of CPU usage allocation.
  • the scheduling unit 18 acquires information on the host vehicle speed vsp (step S521), and determines whether the host vehicle speed vsp is equal to or lower than a predetermined low speed threshold th_vlow (step S522). If it is determined that the host vehicle speed vsp is equal to or lower than the low speed threshold th_vlow (YES in step S522), only the parking frame recognition process is performed (step S523).
  • step S524 it is determined whether the host vehicle speed vsp is equal to or lower than the high speed threshold th_vhigh (step S524). If it is determined that the host vehicle speed vsp is equal to or less than the high speed threshold th_vhigh (YES in step S524), both the parking frame recognition process and the lane departure prediction process are performed (step S525). On the other hand, when it is determined that the host vehicle speed vsp is higher than the high speed threshold th_vhigh (NO in step S524), only the lane departure prediction process is performed (step S526).
  • the hardware CPU of the in-vehicle image processing apparatus has, for example, a first image processing circuit configured by a dedicated chip for image processing and a second image processing circuit configured by a versatile chip.
  • the scheduling unit 18 distributes the usage of the first image processing circuit and the second image processing circuit according to the vehicle speed condition.
  • step S523 when the host vehicle speed vsp is equal to or lower than the low speed threshold th_vlow, only the parking frame recognition process is performed in step S523, but the first image processing circuit performs 50% of the parking frame recognition process, The usage distribution is performed so that the remaining 50% of the parking frame recognition is performed by the two-image processing circuit.
  • both parking frame recognition and lane departure prediction are performed in step S525, but the first image processing circuit performs the parking frame detection process. All (100%) is performed, and the second image processing circuit is allocated so that all (100%) lane departure prediction processing is performed.
  • step S526 If the host vehicle speed vsp is higher than the high speed threshold th_vhigh, only the lane departure determination is performed in step S526, but the first image processing circuit performs 50% of the lane departure determination, and the second image processing circuit causes the lane departure determination. The usage is distributed so that the remaining 50% of the determination is performed.
  • the present invention is not limited to the above-described embodiments, and various designs can be made without departing from the spirit of the present invention described in the claims. It can be changed.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　本発明の課題は、車載カメラで撮像した画像から外界をより高い精度で認識することができる車載画像処理装置を得ることである。　本発明の車載画像処理装置は、自車（１０）の前方、後方、側方にそれぞれ配置されたカメラ（１）～（４）で撮像したスルー画像（２１）～（２４）を取得する画像取得部（１２）と、その取得した各スルー画像（２１）～（２４）を変換して俯瞰画像（２５）を生成する俯瞰画像生成部（１３）と、各スルー画像（２１）～（２４）と俯瞰画像（２５）の少なくとも一方を用いて駐車枠ＷＬを認識する駐車枠認識処理を行う駐車枠認識部（１５）とを有し、駐車枠認識部（１５）は、俯瞰画像（２５）を用いて、俯瞰画像（２５）の所定範囲内の駐車枠ＷＬを認識する第１駐車枠認識処理（Ｓ１１１）と、スルー画像（２１）～（２４）を用いて、俯瞰画像（２５）の所定範囲内よりも遠方の領域の駐車枠ＷＬを認識する第２駐車枠認識処理（Ｓ１１２）を行う。

Description

車載画像処理装置
　本発明は、車載カメラで撮像した画像を用いて車両の外界を認識する車載画像処理装置に関する。
　例えば、特許文献１には、車両の前後左右に搭載された４台の車載カメラで分担して車両の周囲全体を撮像し、それぞれのスルー画像を変換して組み合わせることにより俯瞰画像を生成し、俯瞰画像から駐車枠を認識する技術が開示されている。
特開２０１１－３０１１４０号公報 特開２０１１－７７７７２号公報 特開２０１０－１４６４７８号公報
　一般に、俯瞰画像をユーザに提示する装置は、俯瞰画像と自車進行方向のスルー画像を両方提示する。これは、俯瞰画像はドライバにとって自車周囲を確認するのに適している一方で、遠方や立体物の把握にはスルー画像のほうが適しているからである。
　画像処理により外界を認識しドライバをサポートするアプリケーションを実現する装置において、処理負荷の低減や装置の構成を簡易にするためユーザに提示する画像を処理する場合においても同様である。ユーザに提示する画像のうち俯瞰画像は、変換前の画像であるスルー画像と比較して視野が狭く（自車前方２ｍ程度）、遠方まで認識する場合には適していない。例えば高速道路のサービスエリアなどに対応するために、比較的高い車速まで駐車枠認識を実施したい場合は、俯瞰画像の視野よりも遠くまで駐車枠を認識したいというニーズがある。
　これに対して、スルー画像は、俯瞰画像よりも視野が広く、遠方まで認識することができるので、レーン認識などは、一般的にスルー画像を用いて画像処理することが多い。しかしながら、俯瞰画像は、変換前のスルー画像よりも画像処理的に扱いやすく、例えば白線からの逸脱予測などの場合には俯瞰画像からの方が算出が容易である。このように、アプリケーションによっては俯瞰画像を用いることで認識精度が向上するものが存在する。
　本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車載カメラで撮像した画像から外界をより高い精度で認識することができる車載画像処理装置を提供することである。
　上記課題を解決する本発明の車載画像処理装置は、車両の前方、後方、側方にそれぞれ配置されたカメラで撮像したスルー画像を取得する画像取得部と、該取得した各スルー画像を変換して俯瞰画像を生成する俯瞰画像生成部と、前記スルー画像と前記俯瞰画像の少なくとも一方を用いて駐車枠を認識する駐車枠認識処理を行う駐車枠認識部と、を有し、前記駐車枠認識部は、前記俯瞰画像を用いて、該俯瞰画像の所定範囲内の駐車枠を認識する第１駐車枠認識処理と、前記スルー画像を用いて、前記俯瞰画像の所定範囲内よりも遠方の領域の駐車枠を認識する第２駐車枠認識処理を行うことを特徴としている。
　本発明の車載画像処理装置によれば、俯瞰画像を用いて所定範囲内の駐車枠を認識し、スルー画像を用いて俯瞰画像の所定範囲内よりも遠方の領域の駐車枠を認識するので、状況に応じた適切な画像を用いて画像処理を行うことができ、より高い精度で駐車枠を認識することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
第１実施の形態にかかわる車載画像処理装置の構成を説明するブロック図。 俯瞰画像生成部の構成を説明するイメージ図。 駐車枠認識に用いる画像を合成する方法を説明するフローチャート。 俯瞰画像とリヤカメラ画像を合成したイメージ図。 俯瞰画像とフロントカメラ画像を合成したイメージ図。 駐車枠の認識方法の一例を説明するフローチャート。 俯瞰画像を用いた駐車枠の認識方法を説明するフローチャート。 スルー画像を用いた駐車枠の認識方法を説明するフローチャート。 駐車枠の認識方法の他の一例を説明するフローチャート。 第２実施の形態にかかわる車載画像処理装置の構成を説明するブロック図。 表示の切り替え方法を説明するフローチャート。 表示の切り替えの一例を示すイメージ図。 駐車枠の認識方法の一例を説明するフローチャート。 第３実施の形態にかかわる車載画像処理装置の構成を説明するブロック図。 歩行者検知方法の一例を説明するフローチャート。 歩行者検知方法の一例を説明するフローチャート。 第４実施の形態にかかわる車載画像処理装置の構成を説明するブロック図。 スケジューリング方法を説明するフローチャート。 ＣＰＵの利用配分の一例を示す図。 第５実施の形態にかかわる車載画像処理装置の構成を説明するブロック図。 レーン逸脱予測方法を説明するフローチャート。 レーン逸脱予測方法を説明するイメージ図。 スケジューリング方法を説明するフローチャート。 ＣＰＵの利用配分の一例を示す図。
　次に、本発明の各実施の形態について図面を用いて説明する。
［第１実施の形態］
　図１は、本実施の形態にかかわる車載画像処理装置の構成を説明するブロック図、図２は、俯瞰画像生成部の構成を説明するイメージ図である。
　車載画像処理装置は、自車１０に搭載されるカメラ装置内のハードウエアとソフトウエアによって実現される。車載画像処理装置は、その内部機能として、画像取得部１２、俯瞰画像生成部１３、画像合成部１４、駐車枠認識部１５を有する。
　画像取得部１２は、自車１０の前部、後部、右側部、左側部にそれぞれ取り付けられた前方カメラ１、後方カメラ２、右側方カメラ３、左側方カメラ４でそれぞれ撮像されたスルー画像を取得する。
　俯瞰画像生成部１３は、画像取得部１２で取得した各スルー画像を変換して、自車１０の上方に視点を移動させた俯瞰画像２５を生成する。俯瞰画像２５の生成は、公知技術を用いて行う。画像合成部１４は、各スルー画像の少なくとも一つと俯瞰画像を合成する。外界認識部である駐車枠認識部１５は、画像合成部１４により合成された合成画像からスルー画像と俯瞰画像の少なくともいずれか一方を用いて外界の駐車枠ＷＬを認識する処理を行う。
　図２に示す例は、自車１０の前部から駐車枠ＷＬに進入した状態を各カメラ１～４で撮像したものである。駐車枠ＷＬは、車両１台分の大きさを区画するために、白色や黄色の塗料等を用いて地面に標示線ＷＬ１～ＷＬ３を標示することによって形成されている。
　駐車枠ＷＬは、車幅方向両側を区画する標示線ＷＬ１、ＷＬ２と、車両前後方向を区画する標示線ＷＬ３を有している。各スルー画像２１～２４には、自車の周囲に位置する駐車枠ＷＬが映し出されている。そして、各スルー画像２１～２４を変換して生成した俯瞰画像２５には、標示線ＷＬ１、ＷＬ２と、車両前側の標示線ＷＬ３が、自車１０の周りを囲むように映し出されている。
　図３は、駐車枠認識に用いる画像を合成する方法を説明するフローチャート、図４は、俯瞰画像とリヤカメラ画像を合成したイメージ図、図５は、俯瞰画像とフロントカメラ画像を合成したイメージ図である。
　画像合成部１４は、自車１０のシフトポジション情報を取得する（ステップＳ１０１）。シフトポジション情報は、自車１０の駆動系を制御する制御装置からＣＡＮなどを介して取得される。シフトポジション情報には、自車１０のシフトポジションの位置の情報、例えばマニュアルトランスミッションの場合はシフトレバーの位置、オートマチックトランスミッションの場合はセレクタレバーの位置の情報が含まれている。
　そして、シフトポジション情報から後退（リバース）Ｒの位置が選択されているか否かを判断し（ステップＳ１０２）、後退Ｒの位置が選択されている場合は（ステップＳ１０２でＹＥＳ）、俯瞰画像２５と後方カメラ２のスルー画像２２を合成する（ステップＳ１０３）。後退Ｒ以外の位置が選択されている場合は（ステップＳ１０２でＮＯ）、俯瞰画像２５と前方カメラ１のスルー画像２１を合成する（ステップＳ１０４）。なお、上記した例では、一つのスルー画像と俯瞰画像とを合成する場合について説明したが、複数のスルー画像と俯瞰画像を合成してもよい。
　図６は、駐車枠の認識方法の一例を説明するフローチャート、図７は、俯瞰画像を用いた駐車枠の認識方法を説明するフローチャート、図８は、スルー画像を用いた駐車枠の認識方法を説明するフローチャートである。
　駐車枠認識部１５は、まず、俯瞰画像２５を用いて駐車枠を認識する第１駐車枠認識処理を行い（ステップＳ１１１）、次いで、スルー画像を用いて駐車枠を認識する第２駐車枠認識処理を行う（ステップＳ１１２）。
　第１駐車枠認識処理では、図７に示すように、まず、全ラインで横方向のエッジフィルタを適用し（ステップＳ１２１）、ピーク（立ち上がり・立ち下がり）を抽出する（ステップＳ１２２）。そして、所定間隔で立ち上がりと立ち下がりのペアが成り立つエッジのみを残し（ステップＳ１２３）、グルーピングした後（ステップＳ１２４）、長さでフィルタリングする（ステップＳ１２５）。そして、立ち上がりエッジ・立ち下がりエッジの上端と下端の座標を抽出し（ステップＳ１２６）、白線（標示線）２本を選択する（ステップＳ１２７）。
　そして、選択した２本の白線の角度差が所定値以下（～Ｔｈθｍａｘ）であるか（ステップＳ１２８）、２本の白線の間隔が所定範囲内（ＴｈＷｍｉｎからＴｈＷｍａｘ）であるか（ステップＳ１２９）、２本の白線の下端のずれが所定範囲内（ＴｈＢｍｉｎ～ＴｈＢｍａｘ）であるか（ステップＳ１３０）を判断し、これらステップＳ１２９～Ｓ１３０の全ての条件を満たす場合には、ステップＳ１３１に移行する。ステップＳ１３１では、駐車枠ＷＬの四隅の点、すなわち、車両左側の白線（標示線ＷＬ２）の上端と下端、及び、車両右側の白線（標示線ＷＬ１）の上端と下端の４点の座標位置を登録する。
　そして、全ての組み合わせで確認したか否かを判断し（ステップＳ１３２）、確認した場合は（ステップＳ１３２でＹＥＳ）、第１駐車枠認識処理を終了し、未確認の場合は（ステップＳ１３２でＮＯ）、白線を２本選択する処理（ステップＳ１２７）に戻り、全ての組み合わせで確認したと判断されるまで（ステップＳ１３２でＹＥＳ）、以降の処理を繰り返し行う。
　第２駐車枠認識処理では、図８に示すように、まず、画像処理領域を設定する（ステップＳ１４１）。画像処理領域は、俯瞰画像２５よりも遠方の領域のみを処理するように設定する。そして、俯瞰画像を用いた駐車枠認識方法のステップＳ１２１、Ｓ１２２と同様に、全ラインで横方向のエッジフィルタを適用し（ステップＳ１４２）、ピーク（立ち上がり・立ち下がり）を抽出する（ステップＳ１４３）。それから、エッジ点全点についてカメラ幾何を用いて俯瞰変換する（ステップＳ１４４）。そして、俯瞰画像を用いた駐車枠認識方法のステップＳ１２３～Ｓ１３２と同様の処理（ステップＳ１４５～Ｓ１５４）を行い、第２駐車枠認識処理を終了する。
　本実施の形態における車載画像処理装置によれば、俯瞰画像とスルー画像をそれぞれ用いて駐車枠認識を行うので、俯瞰画像のみを用いたものと比較して、より広い遠方の領域までに亘って駐車枠認識を行うことができる。
　図９は、駐車枠の認識方法の他の一例を説明するフローチャートである。
　上記した駐車枠認識方法では、第１駐車枠認識処理と、第２駐車枠認識処理の両方を常に行う場合について説明したが、第１駐車枠認識処理と、第２駐車枠認識処理の両方を用いた駐車枠認識を行う場合と、第１駐車枠認識処理のみを行う場合のいずれか一方を状況に応じて適宜選択する構成としてもよい。
　駐車枠認識部１５は、図９に変形例１として示すように、まず、俯瞰画像２５を用いて駐車枠を認識する第１駐車枠認識処理を行う（ステップＳ１６１）。そして、自車１０の自車速ｖｓｐの情報を取得し（ステップＳ１６２）、自車速ｖｓｐが所定の閾値ｔｈｖｓｐ１よりも高いか否かを判断する（ステップＳ１６３）。
　ここで、自車速ｖｓｐが所定の閾値ｔｈｖｓｐ１よりも高いと判断した場合は（ステップＳ１６３でＹＥＳ）、スルー画像を用いた第２駐車枠認識処理を行い、自車速ｖｓｐが閾値ｔｈｖｓｐ１以下であると判断した場合は（ステップＳ１６３でＮＯ）、処理を終了する。
　図９に示す構成例によれば、自車１０の車速が高い場合には、俯瞰画像を用いた第１駐車枠認識処理と、スルー画像を用いた第２駐車枠認識処理の両方を行うので、俯瞰画像よりも広い遠方の領域までに亘って駐車枠認識を行うことができる。一方、車速が低い場合には、俯瞰画像を用いた第１駐車枠認識処理のみを行い、スルー画像を用いた第２駐車枠認識処理を行わないので、第２駐車枠認識処理の分だけ演算処理負荷を減らすことができ、他のアプリケーションの演算処理に用いるなど、ハードウエア資源の有効活用を図ることができる。また、スルー画像を用いた第２駐車枠認識処理に使用する演算処理の分を、俯瞰画像を用いた第１駐車枠認識処理に用いて高精度の駐車枠認識を行ってもよい。
［第２実施の形態］
　次に、本発明の第２実施の形態について図１０から図１３を参照しつつ以下に説明する。
　図１０は、第２実施の形態にかかわる車載画像処理装置の構成を説明するブロック図、図１１は、表示の切り替え方法を説明するフローチャート、図１２は、表示の切り替えの一例を示すイメージ図である。なお、第１実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
　本実施の形態において特徴的なことは、ユーザによって合成画像の表示を切り替えることが可能な構成としたことである。
　車載画像処理装置は、図１０に示すように、ユーザからの表示切替要求を取得する表示切替要求取得部１６を有する。表示切替要求取得部１６は、図１１に示すように、ユーザの表示切替要求の有無を判断し（ステップＳ２０１）、要求有りの場合は（ステップＳ２０１でＹＥＳ）、画像合成部１４に対して表示切替を指示し（ステップＳ２０２）、要求無しの場合は（ステップＳ２０１でＮＯ）、表示切替を指示しない。
　画像合成部１４は、例えば図１２に示すように、俯瞰画像とスルー画像を合成した合成画像３１を生成する。そして、表示切替要求を取得した表示切替要求取得部１６から表示切替要求の入力を受けた場合に、俯瞰画像とナビゲーション画面（地図情報と自車位置情報を示す画面）を合成した合成画像３２を生成する。これらの合成画像３１、３２は、車内モニター（図示せず）に選択表示される。なお、上記した例では、合成画像３２の例として俯瞰画像とナビゲーション画面を合成した場合について説明したが、スルー画像とナビゲーション画面を合成したものであってもよい。
　図１３は、駐車枠の認識方法の他の一例を説明するフローチャートである。
　駐車枠認識部１５は、俯瞰画像を用いて駐車枠認識を行っている状態で（ステップＳ２１１）、車内モニターの現在の表示が俯瞰画像とスルー画像を合成した合成画像であるか否かを判断する（ステップＳ２１２）。そして、俯瞰画像とスルー画像の合成画像であると判断された場合は（ステップＳ２１２でＹＥＳ）、スルー画像を用いて駐車枠認識を行う（ステップＳ２１３）。一方、現在の表示が俯瞰画像とスルー画像の合成画像ではないと判断された場合は（ステップＳ２１２でＮＯ）、俯瞰画像を用いた駐車枠認識を継続して行う。
　本実施の形態によれば、本実施の形態によれば、例えばユーザが複数の表示内容から任意に選択したモニター表示画像を選択できるシステム、かつ、車載画像処理装置の入力画像がモニター表示画面と同一である装置において、表示画面の状態に応じた駐車枠認識を実現することができる。
［第３実施の形態］
　次に、本発明の第３実施の形態について図１４から図１６を参照しつつ以下に説明する。
　図１４は、第３実施の形態にかかわる車載画像処理装置の構成を説明するブロック図、図１５は、歩行者検知方法の一例を説明するフローチャート、図１６は、歩行者検知方法の一例を説明するフローチャートである。なお、上記した各実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
　本実施の形態において特徴的なことは、上記した第１実施の形態の駐車枠認識に加えて、歩行者検知を俯瞰画像とスルー画像を用いて行う構成としたことである。
　車載画像処理装置は、図１４に示すように、各車載カメラ１～４で撮像した画像を用いて歩行者検知を行う歩行者検知部１７を有する。歩行者検知部１７は、図１５に示すように、俯瞰画像を用いた第１歩行者検知処理（ステップＳ３１１）と、スルー画像を用いた第２歩行者検知処理（ステップＳ３１２）を行う。
　俯瞰画像を用いた第１歩行者検知処理と、スルー画像を用いた第２歩行者検知処理は、それぞれ公知技術を適用することができ、例えば俯瞰画像から歩行者検知する第１歩行者検知処理は、特開２０１１－７７７７２号公報（特許文献２）に記載のオプティカルフローを用いた方法を適用し、スルー画像から歩行者を検知する第２歩行者検知処理は、特開２０１０－１４６４７８号公報（特許文献３）に記載のオプティカルフローを用いた方法を適用することができる。
　図１６は、歩行者検知方法の他の一例を説明するフローチャートである。
　歩行者検知部１７は、図１６に変形例として示すように、まず、自車速ｖｓｐの情報を取得し（ステップＳ３２１）、自車速ｖｓｐが所定の閾値ｔｈｖｓｐ２を超えているか否かを判断する（ステップＳ３２２）。
　ここで、自車速ｖｓｐが所定の閾値ｔｈｖｓｐ２を超えていると判断した場合は（ステップＳ３２２でＹＥＳ）、スルー画像を用いた第２歩行者検知処理を行い、自車速ｖｓｐが閾値ｔｈｖｓｐ２以下と判断した場合は（ステップＳ３２２でＮＯ）、俯瞰画像を用いた第１歩行者検知処理を行う（ステップＳ３２４）。
　図１６に示す構成例によれば、自車１０の車速が高い場合には、スルー画像を用いた第２歩行者検知処理のみを行うので、俯瞰画像よりも広い遠方の領域までに亘って歩行者検知を行うことができる。
［第４実施の形態］
　次に、本発明の第４実施の形態について図１７から図１９を参照しつつ以下に説明する。
　図１７は、第４実施の形態にかかわる車載画像処理装置の構成を説明するブロック図、図１８は、スケジューリング方法を説明するフローチャート、図１９は、ＣＰＵの利用配分の一例を示す図である。なお、上記した各実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
　本実施の形態において特徴的なことは、第３実施の形態の構成にスケジューリング部１８を加えたことである。
　車載画像処理装置は、図１７に示すように、車速に応じて外界認識部による外界認識処理を実行するか否かを決定するスケジューリング部１８を有する。
　スケジューリング部１８は、図１８に示すように、自車速ｖｓｐの情報を取得し（ステップＳ４１１）、自車速ｖｓｐが所定の閾値ｔｈ＿ｖｌｏｗ以下か否かを判断する（ステップＳ４１２）。そして、自車速ｖｓｐが所定の閾値ｔｈ＿ｖｌｏｗ以下であると判断した場合は（ステップＳ４１２でＹＥＳ）、駐車枠認識処理と歩行者検知処理の両方を行わせる（ステップＳ４１３）。一方、自車速ｖｓｐが閾値ｔｈ＿ｖｌｏｗよりも高いと判断した場合は（ステップＳ４１２でＮＯ）、駐車枠認識処理のみを行わせる（ステップＳ４１４）。
　車載画像処理装置のハードウエアのＣＰＵは、例えば画像処理専用チップにより構成された第１画像処理回路と、汎用性チップにより構成された第２画像処理回路を有している。スケジューリング部１８は、車速条件に応じて、第１画像処理回路と第２画像処理回路の利用配分を行う。
　例えば、図１９に示すように、自車速ｖｓｐが閾値ｔｈ＿ｖｌｏｗ以下の場合、ステップＳ４１３で駐車枠認識処理と歩行者検知処理の両方が行われるが、第１画像処理回路に歩行者検知処理の全て（１００％）を行わせ、第２画像処理回路に駐車枠認識処理の全て（１００％）を行わせるように利用配分する。
　一方、自車速ｖｓｐが閾値ｔｈ＿ｖｌｏｗよりも早い場合、ステップＳ４１４で駐車枠認識のみが行われるが、第１画像処理回路に駐車枠認識処理の５０％を行わせ、第２画像処理回路に駐車枠認識処理の残りの５０％の処理を行わせるように利用配分する。
　本実施の形態によれば、２つのアプリケーションを同時動作する場合は、それぞれのチップに別々の処理を割り当て同時動作を実現することができ、１つのアプリケーションのみを動作させる場合は２つのチップを使い分けて処理周期を上げることができる。
［第５実施の形態］
　次に、本発明の第５実施の形態について図２０から図２４を参照しつつ以下に説明する。
　図２０は、第５実施の形態にかかわる車載画像処理装置の構成を説明するブロック図、図２１は、レーン逸脱予測方法を説明するフローチャート、図２２は、レーン逸脱予測方法を説明するイメージ図である。なお、上記した各実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
　本実施の形態において特徴的なことは、第４実施の形態の歩行者検知部１７の代わりにレーン逸脱予測部１９を設けたことである。
　車載画像処理装置は、図２０に示すように、レーン逸脱予測部１９を有する。レーン逸脱予測部１９は、自車１０が走行中に走行レーンから逸脱するのを予測するレーン逸脱予測処理を行う。
　レーン逸脱予測部１９は、図２１に示すように、スルー画像を用いてレーン認識を行い（ステップＳ５１１）、その結果を俯瞰画像に投影する（ステップＳ５１２）。スルー画像を用いたレーン認識方法は、公知の技術を用いて行うことができる。そして、その俯瞰画像を用いて自車両の走行レーンからの逸脱を予測する（ステップＳ５１３）。例えば、自車１０の走行中に走行レーンに対して予め設定された距離まで接近した場合に、走行レーンから逸脱するおそれがあると予測する。
　ステップＳ５１１のレーン認識により、図２２に示すように、合成画像３１のスルー画像２２上で自車１０の進行方向に沿って延在する２本の走行レーンＷＬ５、ＷＬ６が認識される。そして、ステップＳ５１２により、スルー画像２２で認識された走行レーンＷＬ５、ＷＬ６が、合成画像３１’の俯瞰画像２５に投影されて、ステップＳ５１３で俯瞰画像２５を用いたレーン逸脱の予測が行われる。
　俯瞰画像２５は、スルー画像２２よりも画像処理的に扱いやすい。したがって、スルー画像２２を用いるよりも俯瞰画像２５を用いた方が、レーン逸脱の予測を迅速且つ正確に行うことができる。
　図２３は、スケジューリング方法を説明するフローチャート、図２４は、ＣＰＵの利用配分の一例を示す図である。
　スケジューリング部１８は、図２３に示すように、自車速ｖｓｐの情報を取得し（ステップＳ５２１）、自車速ｖｓｐが所定の低速閾値ｔｈ＿ｖｌｏｗ以下か否かを判断する（ステップＳ５２２）。そして、自車速ｖｓｐが低速閾値ｔｈ＿ｖｌｏｗ以下であると判断した場合は（ステップＳ５２２でＹＥＳ）、駐車枠認識処理のみを行わせる（ステップＳ５２３）。
　一方、自車速ｖｓｐが低速閾値ｔｈ＿ｖｌｏｗよりも高いと判断した場合は（ステップＳ５２２でＮＯ）、自車速ｖｓｐが高速閾値ｔｈ＿ｖｈｉｇｈ以下か否かを判断する（ステップＳ５２４）。そして、自車速ｖｓｐが高速閾値ｔｈ＿ｖｈｉｇｈ以下であると判断した場合は（ステップＳ５２４でＹＥＳ）、駐車枠認識処理とレーン逸脱予測処理の両方を行わせる（ステップＳ５２５）。一方、自車速ｖｓｐが高速閾値ｔｈ＿ｖｈｉｇｈよりも高いと判断した場合は（ステップＳ５２４でＮＯ）、レーン逸脱予測処理のみを行わせる（ステップＳ５２６）。
　車載画像処理装置のハードウエアのＣＰＵは、例えば画像処理専用チップにより構成された第１画像処理回路と、汎用性チップにより構成された第２画像処理回路を有している。スケジューリング部１８は、車速条件に応じて、第１画像処理回路と第２画像処理回路の利用配分を行う。
　例えば図２４に示すように、自車速ｖｓｐが低速閾値ｔｈ＿ｖｌｏｗ以下の場合、ステップＳ５２３で駐車枠認識処理のみが行われるが、第１画像処理回路に駐車枠認識処理の５０％を行わせ、第２画像処理回路に駐車枠認識の残りの５０％を行わせるように、利用配分する。
　そして、自車速ｖｓｐが低速閾値ｔｈ＿ｖｌｏｗよりも高く、かつ、高速閾値ｔｈ＿ｖｈｉｇｈ以下の場合、ステップＳ５２５で駐車枠認識とレーン逸脱予測の両方が行われるが、第１画像処理回路に駐車枠検知処理の全て（１００％）を行わせ、第２画像処理回路にレーン逸脱予測処理の全て（１００％）を行わせるように利用配分する。
　そして、自車速ｖｓｐが高速閾値ｔｈ＿ｖｈｉｇｈよりも高い場合、ステップＳ５２６でレーン逸脱判定のみが行われるが、第１画像処理回路にレーン逸脱判定の５０％を行わせ、第２画像処理回路にレーン逸脱判定の残りの５０％を行わせるように、利用配分する。
　本実施の形態によれば、２つのアプリケーションを同時動作する場合は、それぞれのチップに別々の処理を割り当て同時動作を実現することができ、１つのアプリケーションのみを動作させる場合は２つのチップを使い分けて処理周期を上げることができる。
　以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１～４　カメラ
１０　自車（車両）
１２　画像取得部
１３　俯瞰画像生成部
１４　画像合成部
１５　駐車枠認識部
１６　表示切替要求取得部
１７　歩行者検知部
１８　スケジューリング部
１９　レーン逸脱予測部
２１～２４　スルー画像
２５　俯瞰画像
ＷＬ　駐車枠
ＷＬ１～ＷＬ３　標示線
ＷＬ５、ＷＬ６　走行ライン

Claims (6)

  1. 　車両の前方、後方、側方にそれぞれ配置されたカメラで撮像したスルー画像を取得する画像取得部と、
    　該取得した各スルー画像を変換して俯瞰画像を生成する俯瞰画像生成部と、
    　前記スルー画像と前記俯瞰画像の少なくとも一方を用いて駐車枠を認識する駐車枠認識処理を行う駐車枠認識部と、を有し、
    　前記駐車枠認識部は、前記俯瞰画像を用いて、該俯瞰画像の所定範囲内の駐車枠を認識する第１駐車枠認識処理と、前記スルー画像を用いて、前記俯瞰画像の所定範囲内よりも遠方の領域の駐車枠を認識する第２駐車枠認識処理を行うことを特徴とする車載画像処理装置。
  2. 　前記駐車枠認識部は、自車速が予め設定された閾値以下の場合、前記第１駐車枠認識処理を行い、自車速が前記閾値よりも高い場合、前記第１駐車枠認識処理と前記第２駐車枠認識処理を行うことを特徴とする請求項１に記載の車載画像処理装置。
  3. 　ユーザからの表示切替要求により前記俯瞰画像と前記スルー画像とを含む合成画像を選択表示可能な車内モニターを有し、
    　前記駐車枠認識部は、前記第１駐車枠認識処理を行っている状態で、前記車内モニターに前記合成画像が選択表示された場合に、前記第１駐車枠認識処理に替えて前記第２駐車枠認識処理を行うことを特徴とする請求項１に記載の車載画像処理装置。
  4. 　前記スルー画像と前記俯瞰画像の少なくとも一方を用いて歩行者を検知する歩行者検知処理を行う歩行者検知部と、
    　前記自車速に応じて前記駐車枠認識部による駐車枠認識処理及び前記歩行者検知部による歩行者検知処理を実行するか否かを決定するスケジューリング部と、を有し、
    　　前記スケジューリング部は、
    　前記自車速が予め設定された閾値以下の場合に、前記駐車枠認識部による駐車枠認識処理と、前記歩行者検知部による歩行者検知処理の両方を行わせ、
    　前記自車速が前記閾値よりも高い場合に、前記駐車枠認識部による駐車枠認識処理のみを行わせることを特徴とする請求項１に記載の車載画像処理装置。
  5. 　第１画像処理回路と第２画像処理回路を有し、
    　前記スケジューリング部は、
    　前記自車速が前記閾値以下の場合に、前記第１画像処理回路と前記第２画像処理回路のいずれか一方により、前記歩行者検知部による歩行者検知処理を行わせ、前記第１画像処理回路と前記第２画像処理回路の他方により、前記駐車枠認識部による駐車枠認識処理を行わせ、
    　前記自車速が前記閾値よりも高い場合に、前記第１画像処理回路により前記駐車枠認識部による前記駐車枠認識処理の一部を行わせ、前記第２画像処理回路により前記駐車枠認識部による前記駐車枠認識処理の残りを行わせることを特徴とする請求項４に記載の車載画像処理装置。
  6. 　前記スルー画像と前記俯瞰画像の少なくとも一方を用いて自車走行レーンを認識するレーン認識部と、
    　前記自車速に応じて前記駐車枠認識部による駐車枠認識処理及び前記レーン認識部によるレーン認識処理を実行するか否かを決定するスケジューリング部と、を有し、
    　前記スケジューリング部は、
    　前記自車速が予め設定された第１閾値以下のときは前記駐車枠認識部による駐車枠認識処理のみを行わせ、
    　前記自車速が前記第１閾値よりも高く、かつ、予め設定された第２閾値以下のときは、前記駐車枠認識部による駐車枠認識処理と、前記レーン認識部によるレーン認識処理の両方を行わせ、
    　前記自車速が前記第２閾値よりも高い場合に、前記レーン認識部によるレーン認識処理のみを行わせることを特徴とする請求項１に記載の車載画像処理装置。
PCT/JP2013/081898 2012-11-27 2013-11-27 車載画像処理装置 Ceased WO2014084256A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13859419.7A EP2927863B1 (en) 2012-11-27 2013-11-27 Vehicle-mounted image processing device
CN201380061842.1A CN104871204B (zh) 2012-11-27 2013-11-27 车载图像处理装置
US14/647,398 US9715633B2 (en) 2012-11-27 2013-11-27 Vehicle-mounted image processing device
JP2014549863A JP5921715B2 (ja) 2012-11-27 2013-11-27 車載画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012258984 2012-11-27
JP2012-258984 2012-11-27

Publications (1)

Publication Number Publication Date
WO2014084256A1 true WO2014084256A1 (ja) 2014-06-05

Family

ID=50827888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/081898 Ceased WO2014084256A1 (ja) 2012-11-27 2013-11-27 車載画像処理装置

Country Status (5)

Country Link
US (1) US9715633B2 (ja)
EP (1) EP2927863B1 (ja)
JP (1) JP5921715B2 (ja)
CN (1) CN104871204B (ja)
WO (1) WO2014084256A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016031648A (ja) * 2014-07-29 2016-03-07 株式会社デンソー 車載機器

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6307895B2 (ja) * 2014-01-23 2018-04-11 トヨタ自動車株式会社 車両用周辺監視装置
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
JP6206395B2 (ja) * 2014-12-26 2017-10-04 トヨタ自動車株式会社 電子ミラー装置
US10160437B2 (en) * 2016-02-29 2018-12-25 Magna Electronics Inc. Vehicle control system with reverse assist
JP6572862B2 (ja) * 2016-10-14 2019-09-11 株式会社デンソー 表示制御装置
EP3389026A1 (en) * 2017-04-12 2018-10-17 Volvo Car Corporation Apparatus and method for road vehicle driver assistance
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
DE102018215055A1 (de) * 2018-09-05 2020-03-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bestimmen einer Spurwechselangabe eines Fahrzeugs, ein computerlesbares Speichermedium und ein Fahrzeug
JP7288793B2 (ja) * 2019-04-25 2023-06-08 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
JP7482054B2 (ja) 2020-02-27 2024-05-13 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
CN115210790B (zh) * 2020-08-28 2024-11-15 Jvc建伍株式会社 目标识别控制装置以及目标识别方法
US12254706B2 (en) * 2021-11-05 2025-03-18 Vinai Artificial Intelligence Application And Research Joint Stock Company Parking slot detection method and system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254219A (ja) * 2003-02-21 2004-09-09 Denso Corp 車両周辺画像処理装置及びプログラム並びに記録媒体
JP2007161193A (ja) * 2005-12-16 2007-06-28 Denso Corp 駐車支援装置
JP2010146478A (ja) 2008-12-22 2010-07-01 Toyota Motor Corp 物体検出装置
JP2011030140A (ja) 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 外界認識装置
JP2011077772A (ja) 2009-09-30 2011-04-14 Hitachi Automotive Systems Ltd 周囲確認支援装置
WO2011162108A1 (ja) * 2010-06-25 2011-12-29 日産自動車株式会社 駐車支援制御装置及び制御方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5961571A (en) * 1994-12-27 1999-10-05 Siemens Corporated Research, Inc Method and apparatus for automatically tracking the location of vehicles
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
ES2258399B1 (es) * 2005-02-04 2007-11-16 Fico Mirrors, S.A. Metodo y sistema para mejorar la supervision de un ambiente exterior de un vehiculo automovil.
DE102005005969A1 (de) * 2005-02-10 2006-08-24 Robert Bosch Gmbh Verfahren und System zur Unterstützung eines semiautonomen Parkvorgangs von Kr aftfahrzeugen
US7415134B2 (en) * 2005-05-17 2008-08-19 Honda Motor Co., Ltd. Traffic lane marking line recognition system for vehicle
KR101143176B1 (ko) * 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5210233B2 (ja) * 2009-04-14 2013-06-12 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5372680B2 (ja) * 2009-09-24 2013-12-18 日立オートモティブシステムズ株式会社 障害物検知装置
JP5401344B2 (ja) * 2010-01-28 2014-01-29 日立オートモティブシステムズ株式会社 車両用外界認識装置
US8948990B2 (en) * 2010-06-25 2015-02-03 Nissan Motor Co., Ltd. Parking assist control apparatus and control method
JP5472026B2 (ja) * 2010-06-29 2014-04-16 トヨタ自動車株式会社 駐車支援装置
US9264672B2 (en) * 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
JP5603835B2 (ja) * 2011-06-27 2014-10-08 クラリオン株式会社 車両周囲監視装置
TW201344648A (zh) * 2012-04-30 2013-11-01 Tung Thih Electronic Co Ltd 行車監控系統與行車監控方法
US10089537B2 (en) * 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
US9467687B2 (en) * 2012-07-03 2016-10-11 Clarion Co., Ltd. Vehicle-mounted environment recognition device
JP6393189B2 (ja) * 2012-11-27 2018-09-19 クラリオン株式会社 車載画像処理装置
US9892493B2 (en) * 2014-04-21 2018-02-13 Texas Instruments Incorporated Method, apparatus and system for performing geometric calibration for surround view camera solution
CN104464375B (zh) * 2014-11-20 2017-05-31 长安大学 一种识别车辆高速转弯的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254219A (ja) * 2003-02-21 2004-09-09 Denso Corp 車両周辺画像処理装置及びプログラム並びに記録媒体
JP2007161193A (ja) * 2005-12-16 2007-06-28 Denso Corp 駐車支援装置
JP2010146478A (ja) 2008-12-22 2010-07-01 Toyota Motor Corp 物体検出装置
JP2011030140A (ja) 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 外界認識装置
JP2011077772A (ja) 2009-09-30 2011-04-14 Hitachi Automotive Systems Ltd 周囲確認支援装置
WO2011162108A1 (ja) * 2010-06-25 2011-12-29 日産自動車株式会社 駐車支援制御装置及び制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MASAHIRO KIYOHARA ET AL.: "Sharyo Shuhen Kanshi no Tameno Idotai Kenshutsu Gijutsu no Kaihatsu", EIZO JOHO INDUSTRIAL, vol. 44, no. 5, 1 May 2012 (2012-05-01), pages 45 - 51, XP008179512 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016031648A (ja) * 2014-07-29 2016-03-07 株式会社デンソー 車載機器

Also Published As

Publication number Publication date
US9715633B2 (en) 2017-07-25
JP5921715B2 (ja) 2016-05-24
EP2927863A1 (en) 2015-10-07
CN104871204A (zh) 2015-08-26
CN104871204B (zh) 2018-01-26
JPWO2014084256A1 (ja) 2017-01-05
EP2927863B1 (en) 2020-03-04
US20150310285A1 (en) 2015-10-29
EP2927863A4 (en) 2016-08-24

Similar Documents

Publication Publication Date Title
JP5921715B2 (ja) 車載画像処理装置
RU2704773C1 (ru) Способ и устройство управления отображением
EP3400556B1 (en) Systems and methods for estimating future paths
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
JP6313646B2 (ja) 外界認識装置
US10896542B2 (en) Moving body image generation recording display device and program product
WO2017145543A1 (ja) 情報処理装置
JP2019090627A (ja) 表示システム、表示方法、およびプログラム
JP2023165721A (ja) 表示制御装置
WO2019092846A1 (ja) 表示システム、表示方法、およびプログラム
JP2018136695A (ja) 駐車支援装置
JP6277933B2 (ja) 表示制御装置、表示システム
JP7837890B2 (ja) 撮像装置、画像処理方法及び画像処理プログラム
WO2019003736A1 (ja) 画像処理装置
JP2022121370A (ja) 表示制御装置及び表示制御プログラム
JP2020140603A (ja) 表示制御装置、表示制御方法、および表示制御プログラム
KR102023863B1 (ko) 이동체 주위 표시 방법 및 이동체 주위 표시 장치
JP6080735B2 (ja) 運転支援装置
JP6148848B2 (ja) 車載画像処理装置
JP7075273B2 (ja) 駐車支援装置
JP2014107696A (ja) 車載画像処理装置
JP7619336B2 (ja) 表示制御装置、表示制御用コンピュータプログラム及び表示制御方法
JP6349890B2 (ja) 運転支援装置
US10926700B2 (en) Image processing device
EP3865815A1 (en) Vehicle-mounted system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13859419

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2014549863

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14647398

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013859419

Country of ref document: EP