CN109727188A - 图像处理方法及其装置、安全驾驶方法及其装置 - Google Patents

图像处理方法及其装置、安全驾驶方法及其装置 Download PDF

Info

Publication number
CN109727188A
CN109727188A CN201711050555.7A CN201711050555A CN109727188A CN 109727188 A CN109727188 A CN 109727188A CN 201711050555 A CN201711050555 A CN 201711050555A CN 109727188 A CN109727188 A CN 109727188A
Authority
CN
China
Prior art keywords
image
vehicle
pedestrian
safe driving
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711050555.7A
Other languages
English (en)
Inventor
何敏政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201711050555.7A priority Critical patent/CN109727188A/zh
Priority to PCT/CN2018/112902 priority patent/WO2019085929A1/zh
Publication of CN109727188A publication Critical patent/CN109727188A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种图像处理方法及其装置、安全驾驶方法及其装置，其中，图像处理方法包括：基于车辆上的双摄像装置获取第一图像和第二图像；对第一图像和第二图像进行图像融合，形成目标图像；从目标图像中识别每个对象；其中，对象为行人对象或者车辆对象。该图像处理方法通过对双摄像头拍摄的图像进行图像融合，形成目标图像，能够保证目标图像的质量，从而对目标图像进行识别，可以提升对象识别的准确度，进而保障车辆行驶的安全性。

Description

图像处理方法及其装置、安全驾驶方法及其装置
技术领域
本发明涉及车辆控制技术领域，尤其涉及一种图像处理方法及其装置、安全驾驶方法及其装置。
背景技术
随着车辆保有量的持续增加，交通事故的发生率也随之增加。为了有效保证车辆的驾驶人员以及车辆中乘客的生命与财产安全，车辆生产厂商均致力于开发更加可靠的安全辅助系统。
现有技术中，车辆的高级驾驶辅助系统(Advanced Driver Assistant System，ADAS)采用视觉方式，对车辆外部的环境数据进行采集，而后对采集的数据进行对象的识别。具体地，采用可见光摄像装置获取车辆外部的图像，而后对采集到的图像进行对象识别。
这种方式下，由于可见光摄像装置只能在光线充足的场景下，拍摄高质量的图像，而在光线较弱的场景下，拍摄的图像画面较为模糊，且噪声较大，因此，在后续对图像进行对象识别的过程中，对象的误识别率以及漏识别率较大，直接影响车辆的行驶安全。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种图像处理方法，通过对双摄像头拍摄的图像进行图像融合，形成目标图像，能够保证目标图像的质量，从而对目标图像进行识别，可以提升对象识别的准确度，进而保障车辆行驶的安全性，用于解决现有ADAS系统采用可见光摄像装置获取车辆外部的图像，在光线较弱的场景下，拍摄的图像画面较为模糊，且噪声较大，因此，在后续对图像进行对象识别的过程中，对象的误识别率以及漏识别率较大，直接影响车辆的行驶安全的技术问题。
本发明的第二个目的在于提出一种安全驾驶方法。
本发明的第三个目的在于提出一种图像处理装置。
本发明的第四个目的在于提出一种安全驾驶装置。
本发明的第五个目的在于提出一种计算机设备。
本发明的第六个目的在于提出一种非临时性计算机可读存储介质。
本发明的第七个目的在于提出一种计算机程序产品。
为达上述目的，本发明第一方面实施例提出了一种图像处理方法，包括：
基于车辆上的双摄像装置获取第一图像和第二图像；
对所述第一图像和所述第二图像进行图像融合，形成目标图像；
从所述目标图像中识别每个对象；其中，所述对象为行人对象或者车辆对象。
本发明实施例的图像方法，通过基于车辆上的双摄像装置获取第一图像和第二图像；对第一图像和第二图像进行图像融合，形成目标图像；从目标图像中识别每个对象。本实施例中，通过对双摄像头拍摄的图像进行图像融合，形成目标图像，能够保证目标图像的质量，从而对目标图像进行识别，可以提升对象识别的准确度，进而保障车辆行驶的安全性。
为达上述目的，本发明第二方面实施例提出了一种安全驾驶方法，包括：
获取目标图像；其中，所述目标图像是根据本发明第一方面实施例所述的图像处理方法得到的；
从所述目标图像中识别每个对象；
根据识别出的所述对象和所述车辆当前的运行信息，生成安全驾驶策略并执行。
本发明实施例的安全驾驶方法，通过获取目标图像，从目标图像中识别每个对象，而后根据识别出的对象和车辆的当前的运行信息，生成安全驾驶策略并执行，能够有效保障车辆行驶的安全性。
为达上述目的，本发明第三方面实施例提出了一种图像处理装置，包括：
图像获取模块，用于基于车辆上的双摄像装置获取第一图像和第二图像；
形成模块，用于对所述第一图像和所述第二图像进行图像融合，形成目标图像；
第一识别模块，用于从所述目标图像中识别每个对象。
本发明实施例的图像处理装置，通过基于车辆上的双摄像装置获取第一图像和第二图像；对第一图像和第二图像进行图像融合，形成目标图像；从目标图像中识别每个对象。本实施例中，通过对双摄像头拍摄的图像进行图像融合，形成目标图像，能够保证目标图像的质量，从而对目标图像进行识别，可以提升对象识别的准确度，进而保障车辆行驶的安全性。
为达上述目的，本发明第四方面实施例提出了一种安全驾驶装置，包括：
获取模块，用于获取目标图像；其中，所述目标图像是根据权利要求1-9任一项所述的图像处理方法得到的；
第二识别模块，用于从所述目标图像中识别每个对象；
生成模块，用于根据识别出的所述对象和所述车辆当前的运行信息，生成安全驾驶策略并执行。
本发明实施例的安全驾驶装置，通过获取目标图像，从目标图像中识别每个对象，而后根据识别出的对象和车辆的当前的运行信息，生成安全驾驶策略并执行，能够有效保障车辆行驶的安全性。
为达上述目的，本发明第五方面实施例提出了一种计算机设备，包括：处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如本发明第一方法实施例所述的图像处理方法或者第二方面实施例所述的安全驾驶方法。
为了实现上述目的，本发明第六方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如本发明第一方法实施例所述的图像处理方法或者第二方面实施例所述的安全驾驶方法。
为了实现上述目的，本发明第七方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如本发明第一方法实施例所述的图像处理方法或者第二方面实施例所述的安全驾驶方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的第一种图像处理方法的流程示意图；
图2为本发明实施例所提供的第二种图像处理方法的流程示意图；
图3为本发明实施例中双摄像装置的标定模板示意图；
图4为本发明实施例所提供的第一种安全驾驶方法的流程示意图；
图5为本发明实施例所提供的第二种安全驾驶方法的流程示意图；
图6为本发明实施例所提供的第三种安全驾驶方法的流程示意图；
图7为本发明实施例中目标图像中的每个对象的位置示意图；
图8为本发明实施例中安全驾驶系统的结构示意图；
图9为本发明实施例所提供的一种图像处理装置的结构示意图；
图10为本发明实施例所提供的另一种图像处理装置的结构示意图；
图11为本发明实施例所提供的一种安全驾驶装置的结构示意图；
图12为本发明实施例所提供的另一种安全驾驶装置的结构示意图；
图13为本发明实施例所提供的一种安全辅助系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像处理方法及其装置、安全驾驶方法及其装置。在具体描述本发明实施例之前，为了便于理解，首先对常用技术词进行介绍：
YUV，是一种颜色编码方法，其中，“Y”表示明亮度(Luminance或Luma)，即灰阶值；而“U”和“V”表示色度(Chrominance或Chroma)，作用是描述图像色彩及饱和度，用于指定像素的颜色。YUV色彩空间的特点是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，表明图像为黑白灰度图像。
多尺度分解(Multi-Scale decomposition，MSD)，指对输入图像进行多个尺度的缩放，生成多个分辨率的缩小图像，而后在各个尺度的缩放图像上进行分析和处理。MSD可以将图像包含的高低频细节信息分离至各个尺度的缩放图像中，而后可以对图像不同频段的信息进行分析和处理。
图1为本发明实施例所提供的第一种图像处理方法的流程示意图。
如图1所示，该图像处理方法包括以下步骤：
步骤101，基于车辆上的双摄像装置获取第一图像和第二图像。
本发明实施例中，车辆上可以并排安装两个不同分辨率的摄像装置，例如可以记为摄像装置A和摄像装置B，其中，摄像装置A和B所拍摄的视野范围相同，以对其拍摄的图像进行后续处理。例如，摄像装置A可以为可见光摄像装置，摄像装置B可以为红外摄像装置。红外摄像装置的分辨率可以低于可见光摄像装置的分辨率，其对场景中的细节信息描述相对不足，因此，可见光摄像装置可以选择高清摄像装置，这样能够保证在光线充足的情况下，可见光摄像装置所拍摄图像对场景的细节信息描述比较清晰，而在光线较弱的情况下，红外摄像装置所拍摄图像对场景的细节信息描述比较清晰。
因此，可以基于车辆上的双摄像装置的其中一个摄像装置获取第一图像，基于另一个摄像装置获取第二图像。例如可以基于摄像装置A获取第一图像，基于摄像装置B获取第二图像，或者可以基于摄像装置B获取第一图像，基于摄像装置A获取第二图像。
本发明实施例以摄像装置A拍摄得到第一图像，摄像装置B拍摄得到第二图像示例。
步骤102，对第一图像和第二图像进行图像融合，形成目标图像。
本发明实施例中，由于双摄像装置的分辨率可以不同，在对第一图像和第二图像进行图像融合前，需要调整第一图像和第二图像的分辨率，使得第一图像和第二图像的分辨率相同。
例如，可以基于两个图像中的一个图像的分辨率，调整另一个图像的分辨率，使得两个图像的分辨率相同。或者，可以根据第一图像的分辨率和第二图像的分辨率，获取一个折中的分辨率中作为目标分辨率，而后同时调整第一图像和第二图像的分辨率为目标分辨率。例如，当第一图像的分辨率为1600*1200，第二图像的分辨率为1024*768时，目标分辨率可以为1280*960，同时调整第一图像的第二图像的分辨率为1280*960。
需要说明的是，虽然双摄像装置并排安装在一起，且拍摄的视野范围相同，但是由于双摄像装置的位置不同，分辨率调整后两个图像还是无法完全重合到一起。因此，本实施例中，可以将分辨率相同的两个图像进行配准，而后对配准后的第一图像和第二图像进行融合，得到目标图像。具体地，可选选择一个图像作为基准图像，而后根据基准图像，对另外一个图像进行几何变换处理，将处理后的图像与该基准图像进行融合，从而使得两个图像完全重合。
步骤103，从目标图像中识别每个对象；其中，对象为行人对象或者车辆对象。
一般而言，摄像装置的输入图像是彩色图像，且色彩空间是YUV的，为了减少图像融合过程中的运算量，在图像融合的计算过程中，只对色彩空间中的Y分量进行计算，而UV分量不参与计算。
本实施例中，在对目标图像中的对象进行识别时，可以从融合后的目标图像中提取出Y分量，无论目标图像是彩色图像还是黑白图像，提取Y分量的过程即为图像的灰度处理过程，以此来减少运算量，提升系统的实时性能。
在从目标图像中提取出Y分量后，即对目标图像进行灰度处理后，可以得到目标图像的灰度图。为了提高灰度图的对比度以及灰度色调的变化，使得灰度图更加清晰，本实施例中，可以对灰度图进行直方图均衡化处理，得到均衡后的灰度图。
本发明实施例中，由于行人、车辆等对象的识别规则不同，因此，在得到均衡后的灰度图后，可以将将均衡后灰度图分路，形成至少两路均衡后灰度图，然后可以对一路均衡后灰度图进行行人识别，获取行人对象和行人对象的识别信息，而对另一路均衡后灰度图进行车辆识别，获取车辆对象和车辆对象的识别信息。需要说明的是，上述两路识别处理过程是同时进行的，以提升系统的实时性能。
其中，识别信息可以包括：坐标信息、宽度信息、高度信息、距离信息等。
作为一种可能的实现方式，对于行人对象的识别，可以利用拉普拉斯金字塔分解算法，对均衡后灰度图进行多层次的缩放处理，而后在每个层次上的缩放图像上进行方向梯度直方图(Histogram of Oriented Gradient，本实施例记为hog)特征提取，进而可以基于hog特征进行分类识别，从对象中识别出的行人对象。对于车辆对象的识别，可以利用拉普拉斯金字塔分解算法，对均衡后灰度图进行多层次的缩放处理，而后对每个层次上的缩放图像进行哈尔(haar)特征提取，进而可以基于haar特征进行分类识别，从对象中识别出的车辆对象。
进一步地，为了提升行人对象或者车辆对象识别的准确性，在识别出目标图像中的行人对象或者车辆对象后，可以采用行人对象和车辆对象的跟踪算法，例如卡尔曼滤波算法，对行人对象和车辆对象进行跟踪，剔除误识别的行人对象和车辆对象。
本实施例的图像处理方法，通过基于车辆上的双摄像装置获取第一图像和第二图像；对第一图像和第二图像进行图像融合，形成目标图像；从目标图像中识别每个对象。本实施例中，通过对双摄像头拍摄的图像进行图像融合，形成目标图像，能够保证目标图像的质量，从而对目标图像进行识别，可以提升对象识别的准确度，进而保障车辆行驶的安全性。
作为本发明实施例的一种可能的实现方式，参见图2，在图1所示实施例的基础上，步骤102具体包括以下子步骤：
步骤201，调整第一图像和/或第二图像的分辨率，使两个图像的分辨率相同。
作为本发明实施例的一种可能的实现方式，可以基于两个图像中的一个图像的分辨率，调整另一个图像的分辨率，使得两个图像的分辨率相同。具体地，可以从第一图像和第二图像中选取一个作为参考图像，而后根据参考图像的分辨率调整另一个图像的分辨率。例如当参考图像为第一图像时，可以调整第二图像的分辨率，使得第二图像的分辨率与第一图像的分辨率相同，或者当参考图像为第二图像时，可以调整第一图像的分辨率，使得第一图像的分辨率与第二图像的分辨率相同。
优选地，可以从第一图像和第二图像中选取分辨率较小的一个作为参考图像，例如，当第一图像的分辨率低于第二图像的分辨率时，可以将第一图像的作为参考图像，而后可以对第二图像进行缩放处理，减小第二图像的分辨率，使得两个图像的分辨率相同。由此，可以减少系统的运算量，提升系统的实时性能。
作为本发明实施例的另一种可能的实现方式，可以根据第一图像的分辨率和第二图像的分辨率，获取一个目标分辨率；同时调整第一图像和第二图像的分辨率为目标分辨率。例如，当第一图像的分辨率为1600*1200，第二图像的分辨率为1024*768时，目标分辨率可以为1280*960，同时调整第一图像的第二图像的分辨率为1280*960。
步骤202，将分辨率相同的第一图像和第二图像进行配准。
本发明实施例中，可以从分辨率相同的两个图像中选取一个作为基准图像，而后根据基准图像，对另外一个图像进行几何变换处理，使得处理后的图像可以与基准图像较好地重合。具体地，可以根据基准图像，获取对另一个图像进行仿射变换的变换系数，而后按照变换系数对另一个图像进行仿射变换，得到配准后的第一图像和第二图像，其中，变换系数是预先对双摄像装置进行标定得到的。
本发明实施例以第一图像为基准图像示例，拍摄第一图像的摄像装置为摄像装置A。因此，可以根据摄像装置A所拍摄的第一图像，对第二图像进行几何变换处理，使得处理后的第二图像可以与第一图像较好地重合。具体地，可以根据第一图像，获取对第二图像进行放射变换的变换系数，而后按照变换系数对第二图像进行仿射变换，得到配准后的第一图像和第二图像。
本实施例中，变换系数的标定过程可以如下所示：
可以按照图3所示制作标定模板(图3的标定模板只是示例，具体实现时，可以根据实际情况制作)，而后用纸张打印出来。而后，将该标定模板放置在双摄像装置的正前方，调整标定模板与双摄像装置之间的距离，使得标定模板上面的4个角落的黑色矩形框均落入双摄像装置所拍摄图像的4个角落区域中。而后可以采集双摄像装置拍摄的图像，利用“角点检测”方法求解出4个角落的黑色矩形框的全部顶点坐标。
具体地，可以将摄像装置A拍摄的图像上所有的黑色矩形框的顶点坐标以及摄像装置B拍摄的图像上与之对应的黑色矩形框的顶点坐标代入到如公式(1)所示的仿射变换矩阵方程中，而后推导得到公式(2)。
其中，x和y表示摄像装置A拍摄的图像上黑色矩形框的顶点坐标，x'和y'表示摄像装置B拍摄的图像上与摄像装置A拍摄的图像上对应的黑色矩形框的顶点坐标，m1、m2、m3、m4、m5和m6为仿射变换的变换系数。
其中，k表示黑色矩形框顶点坐标的个数(图3中k的个数为28)，xk和yk表示摄像装置A拍摄的图像上第k个黑色矩形框的顶点坐标，xk'和yk'表示摄像装置B拍摄的图像上与摄像装置A拍摄的图像上第k个黑色矩形框对应的顶点坐标。
最后，利用最小二乘法，可以求解得到仿射变换的变换系数m1、m2、m3、m4、m5和m6。
在得到仿射变换的变换系数后，可以按照变换系数对摄像装置B所拍摄的第二图像进行仿射变换，得到配准后的第一图像和第二图像。
步骤203，对配准后的第一图像和第二图像进行融合，得到目标图像。
在对配准后的第一图像和第二图像进行融合时，首先需计算两个图像的融合系数。例如，可以使用MSD法，计算配准后的第一图像和第二图像的融合系数，而后可以根据融合系数得到目标图像。
具体地，可以对配准后的第一图像和第二图像进行多尺度分解，获取两组多尺度分解系数：
其中，i＝1,2,…,n，n表示多尺度分解的层数，表示第一图像的多尺度分解系数，表示第二图像的多尺度分解系数。
在得到两组多尺度分解系数后，可以按照预设的融合规则对两组多尺度分解系数进行融合，得到融合系数：
其中，表示融合系数，θ表示预设的融入规则。
在得到融合系数后，可以根据融合系数进行多尺度反变换反向重构出目标图像，具体如下式所示：
其中，imager表示融合后的目标图像。
本实施例的图像处理方法，通过调整第一图像和/或第二图像的分辨率，使两个图像的分辨率相同，将分辨率相同的第一图像和第二图像进行配准，对配准后的第一图像和第二图像进行融合，得到目标图像。由此，可以实现两个图像较好的重合，进而可以提升图像识别的准确性。
图4为本发明实施例所提供的第一种安全驾驶方法的流程示意图。
如图4所示，该安全驾驶方法可以包括以下步骤：
步骤301，获取目标图像。
本发明实施例中，由步骤102对第一图像和第二图像进行图像融合，形成目标图像后，可以获取目标图像。
步骤302，从目标图像中识别每个对象。
一般而言，摄像装置的输入图像是彩色图像，且色彩空间是YUV的，为了减少图像融合过程中的运算量，在图像融合的计算过程中，只对色彩空间中的Y分量进行计算，而UV分量不参与计算。
本实施例中，在对目标图像中的对象进行识别时，可以从融合后的目标图像中提取出Y分量，无论目标图像是彩色图像还是黑白图像，提取Y分量的过程即为图像的灰度处理过程，以此来减少运算量，提升系统的实时性能。
在从目标图像中提取出Y分量后，即对目标图像进行灰度处理后，可以得到目标图像的灰度图。为了提高灰度图的对比度以及灰度色调的变化，使得灰度图更加清晰，本实施例中，可以对灰度图进行直方图均衡化处理，得到均衡后的灰度图。
本发明实施例中，由于行人、车辆等对象的识别规则不同，因此，在得到均衡后的灰度图后，可以将将均衡后灰度图分路，形成至少两路均衡后灰度图，然后可以对一路均衡后灰度图进行行人识别，获取行人对象和行人对象的识别信息，而对另一路均衡后灰度图进行车辆识别，获取车辆对象和车辆对象的识别信息。需要说明的是，上述两路识别处理过程是同时进行的，以提升系统的实时性能。
其中，识别信息可以包括：坐标信息、宽度信息、高度信息、距离信息等。
作为一种可能的实现方式，对于行人对象的识别，可以利用拉普拉斯金字塔分解算法，对均衡后灰度图进行多层次的缩放处理，而后在每个层次上的缩放图像上进行方向梯度直方图(Histogram of Oriented Gradient，本实施例记为hog)特征提取，进而可以基于hog特征进行分类识别，从对象中识别出的行人对象。对于车辆对象的识别，可以利用拉普拉斯金字塔分解算法，对均衡后灰度图进行多层次的缩放处理，而后对每个层次上的缩放图像进行哈尔(haar)特征提取，进而可以基于haar特征进行分类识别，从对象中识别出的车辆对象。
进一步地，为了提升行人对象或者车辆对象识别的准确性，在识别出目标图像中的行人对象或者车辆对象后，可以采用行人对象和车辆对象的跟踪算法，例如卡尔曼滤波算法，对行人对象和车辆对象进行跟踪，剔除误识别的行人对象和车辆对象。
步骤303，根据识别出的对象和车辆当前的运行信息，生成安全驾驶策略并执行。
本发明实施例中，车辆当前的运行信息可以包括：车辆当前的行驶速度(车速)、车辆当前所行驶的位置、加速踏板状态和/或制动踏板状态等。具体地，可以通过车辆的CAN总线采集车辆当前的运行信息。
可以理解的是，对象离车辆的距离不同，以及车辆当前的运行信息不同时，影响车辆安全行驶的风险等级不同。例如，当对象距离车辆较近，且车辆当前的行驶速度较高时，其对车辆安全行驶的风险等级较高，或者，当对象距离车辆较远，且车辆当前的行驶速度较低时，其对车辆安全行驶的风险等级较低。因此，本实施例中，可以根据对象和车辆当前的运行信息，生成车辆的安全驾驶策略并执行。
举例而言，当对象距离车辆较远，且车辆当前的行驶速度较低时，由于其对车辆安全行驶的风险等级较低，此时，可以通过语音提醒、报警灯等形式，提示驾驶员，以使驾驶员减速行驶。而当对象距离车辆较近，且车辆当前的行驶速度较高时，由于其对车辆安全行驶的风险等级较高，此时，可以通过方向盘振动提示驾驶员、自动刹车等，保障车辆和车上乘客的安全。
本发明实施例的安全驾驶方法，通过获取目标图像，从目标图像中识别每个对象，而后根据识别出的对象和车辆的当前的运行信息，生成安全驾驶策略并执行，能够有效保障车辆行驶的安全性。
作为本发明实施例的一种可能的实现方式，参见图5，在图4所示实施例的基础上，步骤303具体包括以下子步骤：
步骤401，从所有的对象中确定距离最近的对象作为与车辆之间存在风险的第一对象。
可以理解的是，当车辆行驶时，对驾驶安全造成威胁的是位于车辆所处车道中的对象，而其他车道中的对象对车辆的驾驶安全不构成威胁。因此，本实施例中，可以根据行人对象的识别信息和车辆对象的识别信息进行筛选，从中获取位于车辆所处车道中的对象作为候选对象，而后根据每个候选对象与车辆之间的距离，从所有的候选对象中识别出第一对象。
步骤402，根据第一对象和运行信息，生成车辆的安全驾驶策略并执行。
可以理解的是，第一对象离车辆的距离不同，以及车辆的运行信息不同时，影响车辆安全行驶的风险等级不同。例如，当第一对象距离车辆较近，且车速较高时，第一对象对车辆安全行驶的风险等级较高，或者，当第一对象距离车辆较远，且车辆的行驶速度较低时，其对车辆安全行驶的风险等级较低。
因此，本实施例中，可以获取第一对象与车辆之间的第一距离，而后根据运行信息中的车速和第一距离，获取车辆到达第一对象所需的运行时间，进而可以根据运行时间确定第一对象与车辆之间的风险等级，通过根据风险等级生成安全驾驶策略并执行。
举例而言，当第一对象距离车辆较远，且车速较低时，车辆到达第一对象所需的运行时间较长，此时，第一对象对车辆安全行驶的风险等级较低，因此，可以通过语音提醒、报警灯等形式，提示驾驶员，以使驾驶员减速行驶。而当第一对象距离车辆较近，且车速较高时，车辆到达第一对象所需的运行时间较短，此时，第一对象对车辆安全行驶的风险等级较高，此时，可以通过方向盘振动提示驾驶员、自动刹车等，保障车辆和车上乘客的安全。
本实施例的安全驾驶方法，通过从识别出的所有对象中确定距离车辆最近的对象作为与车辆之间存在风险的第一对象；根据第一对象和运行信息，生成车辆的安全驾驶策略并执行。由此，能够在确定出与车辆之间存在风险的第一对象，保障车辆行驶的安全性的同时，减少系统的处理量，从而提升系统的实时性能。
作为本发明实施例的一种可能的实现方式，参见图6，在图5所示实施例的基础上，步骤401具体包括以下子步骤：
步骤501，根据行人对象的识别信息和车辆对象的识别信息进行筛选，从中获取满足预设条件的行人对象和车辆对象作为候选对象。
由于对驾驶安全造成威胁的是位于车辆所处车道中的对象，因此，本发明实施例中，预设条件例如可以为对象是否位于当前车辆所处车道中。
作为本发明实施例的一种可能的实现方式，可以根据识别信息中的坐标信息，获取每个行人对象和每个车辆对象的边缘像素点。具体地，坐标信息为对象的中心点坐标，可以基于中心点的图像信息，进行连通域识别，从而可以识别每个连通域的边界。本实施例中，可以从边界中确定出边缘像素点，而后，判断边缘像素点是否有至少一个像素点处于第一区域内，其中，第一区域为目标图像中由车辆所处车道形成的区域。当边缘像素点有至少一个像素点处于第一区域内时，表明该对象位于第一区域中，即位于车辆所处车道中，因此，可以将边缘像素点均处于第一区域内的行人对象或者车辆对象作为候选对象。
作为本发明实施例的另一种可能的实现方式，可以根据识别信息中的坐标信息，为每个行人对象和每个车辆对象标记识别框。具体地，坐标信息为对象的中心点坐标，可以按照预设的尺寸形成以坐标点为中心的识别框，该识别框可以为矩形，例如，参见图7，识别框1、2、3、4和5分别为不同的对象，且每个识别框均具有四个边界点。而后可以判断每个识别框是否有至少一个指定边界点处于第一区域内，其中，指定边界点可以为识别框的左下边界点和右下边界点。当有至少一个指定边界点处于第一区域内时，表明该对象位于第一区域中，此时，可以将有至少一个指定边界点处于第一区域内的识别框作为目标识别框，而后将目标识别框对应的对象作为候选对象。
作为一种示例，参见图7，识别框2的右下边界点位于第一区域中、识别框的3的左下边界点和右下边界点均位于第一区域中，以及识别框4的左下边界点第一区域中，因此，可以将识别框2、3和4作为目标识别框。
步骤502，根据每个候选对象与车辆之间的距离，从所有的候选对象中识别出第一对象。
可选地，可以根据识别信息中的距离信息，获取每个候选对象与车辆之间的距离，而后将距离最近的对象作为与车辆之间存在风险的第一对象。
本实施例的安全驾驶方法，通过根据行人对象的识别信息和车辆对象的识别信息进行筛选，从中获取满足预设条件的行人对象和车辆对象作为候选对象，根据每个候选对象与车辆之间的距离，从所有的候选对象中识别出第一对象。由此，能够在确定出与车辆之间存在风险的第一对象，保障车辆行驶的安全性的同时，减少系统的处理量，从而提升系统的实时性能。
作为一种示例，参见图8，图8为本发明实施例中安全驾驶系统的结构示意图。图8包括：摄像装置A2011、摄像装置B2012、图像处理芯片202，以及执行机构203，其中，图像处理芯片202包括：图像融合单元2021、图像识别单元2022和系统决策单元2023。
现有技术中，采用多芯片完成图像数据的不同处理过程，每个单独的芯片均需采用独占的DDR内存，不同的芯片之间无法进行内存共享，导致图像数据和中间结果等数据的传输较为困难。
而本发明实施例中，摄像装置A2011和摄像装置B2012均与图像处理芯片202相连，图像处理芯片202可以采用SOC芯片，SOC芯片上可以集成多个中央处理单元(CentralProcessing Unit，CPU)，可以将上述集成的CPU的主频按照频率大小分为低、中、高等几个等级，其中，低等级的主频可以为200MHz左右，中等级的主频可以为500～700MHz，而高等级的主频可以为1GHz以上。每个CPU可以负责不同的图像处理工作，此外，不同的CPU可以通过外部的DDR内存进行图像数据和中间结果等数据的共享。
在图像识别单元2022识别出对象后，系统决策单元2023可以根据识别结果生成安全驾驶策略，然后根据安全驾驶策略对执行机构203进行控制，其中，执行机构203可以发出包括声、光等形式的报警提醒，以及诸如控制方向盘抖动或者自动刹车等操作。
为了实现上述实施例，本发明还提出一种图像处理装置。
图9为本发明实施例所提供的一种图像处理装置的结构示意图。
如图9所示，该图像处理装置900包括：图像获取模块910、形成模块920，以及识别模块930。其中，
图像获取模块910，用于基于车辆上的双摄像装置获取第一图像和第二图像。
形成模块920，用于对第一图像和第二图像进行图像融合，形成目标图像。
第一识别模块930，用于从目标图像中识别每个对象。
进一步地，在本发明实施例的一种可能的实现方式中，参见图10，在图9所示实施例的基础上，该图像处理装置900还可以包括：
本发明实施例中，形成模块920，包括：
调整子模块921，用于调整第一图像和/或第二图像的分辨率，使两个图像的分辨率相同。
本发明实施例中，调整子模块921，具体用于从第一图像和第二图像中选取一个作为参考图像；根据参考图像的分辨率调整另一个图像的分辨率；或者，根据第一图像的分辨率和第二图像的分辨率，获取一个目标分辨率；同时调整第一图像和第二图像的分辨率为目标分辨率。
配准子模块922，用于将分辨率相同的第一图像和第二图像进行配准。
本发明实施例中，配准子模块922，具体用于从分辨率相同的第一图像和第二图像中选取一个作为基准图像；根据基准图像，获取对另一个图像进行仿射变换的变换系数；其中，变换系数是预先对双摄像装置进行标定得到的；按照变换系数对另一个图像进行仿射变换，得到配准后的第一图像和第二图像。
作为一种可能的实现方式，配准子模块922，具体用于分别对配准后的第一图像和第二图像进行多尺度分解，获取两组多尺度分解系数；按照预设的融合规则对两组多尺度分解系数进行融合，得到融合系数；根据融合系数进行多尺度反变换反向重构出目标图像。
融合子模块923，对配准后的第一图像和第二图像进行融合，得到目标图像。
本发明实施例中，第一识别模块930，包括：
第一处理子模块931，用于对目标图像进行灰度处理，得到目标图像的灰度图。
第二处理子模块932，用于对灰度图进行直方图均衡化处理，得到均衡后灰度图。
分路子模块933，用于将均衡后灰度图分路，形成至少两路均衡后灰度图。
行人识别子模块934，用于对一路均衡后灰度图进行行人识别，获取行人对象和行人对象的识别信息。
本发明实施例中，行人识别子模块934，具体用于利用拉普拉斯金字塔分解算法，对均衡后灰度图进行多层次的缩放处理；对每个层次上的缩放图像进行hog特征提取；基于hog特征进行分类识别，从对象中识别出的行人对象。
车辆识别子模块935，用于对另一路均衡后灰度图进行车辆识别，获取车辆对象和车辆对象的识别信息。
本发明实施例中，车辆识别子模块935，具体用于利用拉普拉斯金字塔分解算法，对均衡后灰度图进行多层次的缩放处理；对每个层次上的缩放图像进行haar特征提取；基于haar特征进行分类识别，从对象中识别出的车辆对象。
跟踪剔除子模块936，用于对识别出的行人对象和车辆对象进行跟踪，剔除误识别的行人对象和车辆对象。
需要说明的是，前述对图像处理方法实施例的解释说明也适用于该实施例的图像处理装置900，此处不再赘述。
本实施例的图像处理装置，通过基于车辆上的双摄像装置获取第一图像和第二图像；对第一图像和第二图像进行图像融合，形成目标图像；从目标图像中识别每个对象。本实施例中，通过对双摄像头拍摄的图像进行图像融合，形成目标图像，能够保证目标图像的质量，从而对目标图像进行识别，可以提升对象识别的准确度，进而保障车辆行驶的安全性。
为了实现上述实施例，本发明还提出一种安全驾驶装置。
图11为本发明实施例所提供的一种安全驾驶装置的结构示意图。
如图11所示，该安全驾驶装置1100包括：获取模块1110、第二识别模块1120，以及生成模块1130。其中，
获取模块1110，用于获取目标图像；其中，目标图像是根据权利要求1-9任一项的图像处理方法得到的。
第二识别模块1120，用于从目标图像中识别每个对象。
本发明实施例中，第二识别模块1120，具体用于对目标图像进行灰度处理，得到目标图像的灰度图；对灰度图进行直方图均衡化处理，得到均衡后灰度图；将均衡后灰度图分路，形成至少两路均衡后灰度图；对一路均衡后灰度图进行行人识别，获取行人对象和行人对象的识别信息；对另一路均衡后灰度图进行车辆识别，获取车辆对象和车辆对象的识别信息。
生成模块1130，用于根据识别出的对象和车辆当前的运行信息，生成安全驾驶策略并执行。
进一步地，在本发明实施例的一种可能的实现方式中，参见图12，在图11所示实施例的基础上，该安全驾驶装置1100还可以包括：
本发明实施例中，生成模块1130，包括：
确定子模块1131，用于从识别出的所有对象中确定距离车辆最近的对象作为与车辆之间存在风险的第一对象。
本发明实施例中，确定子模块1131，包括：
获取单元11311，用于根据行人对象的识别信息和车辆对象的识别信息进行筛选，从中获取满足预设条件的行人对象和车辆对象作为候选对象。
作为一种可能的实现方式，获取单元11311，具体用于根据识别信息中的坐标信息，获取每个行人对象和每个车辆对象的边缘像素点；判断边缘像素点是否有至少一个像素点处于第一区域内；第一区域为目标图像中由车辆所处车道形成的区域；将边缘像素点有至少一个像素点处于第一区域内的行人对象或者车辆对象作为候选对象。
作为另一种可能的实现方式，获取单元11311，具体用于根据识别信息中的坐标信息，为每个行人对象和每个车辆对象标记识别框；判断每个识别框是否有至少一个指定边界点处于第一区域内；第一区域为目标图像中由车辆所处车道形成的区域；将有至少一个指定边界点处于第一区域内的识别框作为目标识别框；将目标识别框对应的对象作为候选对象。
识别单元11312，用于根据每个候选对象与车辆之间的距离，从所有的候选对象中识别出第一对象。
生成子模块1132，用于根据第一对象和运行信息，生成车辆的安全驾驶策略并执行。
本发明实施例中，生成子模块1132，具体用于获取第一对象与车辆之间的第一距离；根据运行信息中的车速和第一距离，获取车辆到达第一对象所需的运行时间；根据运行时间确定第一对象与车辆之间的风险等级；根据风险等级生成安全驾驶策略并执行。
需要说明的是，前述对安全驾驶方法实施例的解释说明也适用于该实施例的安全驾驶装置1100，此处不再赘述。
本发明实施例的安全驾驶装置，通过获取目标图像，从目标图像中识别每个对象，而后根据识别出的对象和车辆的当前的运行信息，生成安全驾驶策略并执行，能够有效保障车辆行驶的安全性。
为了实现上述实施例，本发明还提出一种安全辅助系统。
图13为本发明实施例所提供的一种安全辅助系统的结构示意图。
如图13所示，该安全辅助系统1300包括：如前述图9-10实施例所述的图像处理装置和图11-12实施例所述的安全驾驶装置。
本实施例的安全辅助系统，通过对双摄像头拍摄的图像进行图像融合，形成目标图像，能够保证目标图像的质量，从而对目标图像进行识别，可以提升对象识别的准确度。此外，根据与车辆之间存在风险的第一对象和运行信息，生成车辆的安全驾驶策略并执行安全驾驶策略，能够有效保障车辆行驶的安全性，用于解决现有ADAS系统采用可见光摄像装置获取车辆外部的图像，在光线较弱的场景下，拍摄的图像画面较为模糊，且噪声较大，因此，在后续对图像进行对象识别的过程中，对象的误识别率以及漏识别率较大，直接影响车辆的行驶安全的技术问题。
为了实现上述实施例，本发明还提出一种计算机设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如本发明前述实施例提出的图像处理方法或者安全驾驶方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如本发明前述实施例提出的图像处理方法或者安全驾驶方法。
为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如本发明前述实施例提出的图像处理方法或者安全驾驶方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (21)

1.一种图像处理方法，其特征在于，包括：
基于车辆上的双摄像装置获取第一图像和第二图像；
对所述第一图像和所述第二图像进行图像融合，形成目标图像；
从所述目标图像中识别每个对象；其中，所述对象为行人对象或者车辆对象。
2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第一图像和所述第二图像进行图像融合，形成目标图像，包括：
调整所述第一图像和/或所述第二图像的分辨率，使两个图像的分辨率相同；
将分辨率相同的所述第一图像和所述第二图像进行配准；
对配准后的所述第一图像和所述第二图像进行融合，得到所述目标图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述调整所述第一图像和/或所述第二图像的分辨率，使两个图像的分辨率相同，包括：
从所述第一图像和所述第二图像中选取一个作为参考图像；
根据所述参考图像的分辨率调整另一个图像的分辨率；或者，
根据所述第一图像的分辨率和所述第二图像的分辨率，获取一个目标分辨率；
同时调整所述第一图像和所述第二图像的分辨率为所述目标分辨率。
4.根据权利要求2所述的图像处理方法，其特征在于，所述将分辨率相同的所述第一图像和所述第二图像进行配准，包括：
从分辨率相同的所述第一图像和所述第二图像中选取一个作为基准图像；
根据所述基准图像，获取对另一个图像进行仿射变换的变换系数；其中，所述变换系数是预先对所述双摄像装置进行标定得到的；
按照所述变换系数对所述另一个图像进行仿射变换，得到配准后的所述第一图像和所述第二图像。
5.根据权利要求4所述的图像处理方法，其特征在于，所述对配准后的所述第一图像和所述第二图像进行融合，得到所述目标图像，包括：
分别对配准后的所述第一图像和所述第二图像进行多尺度分解，获取两组多尺度分解系数；
按照预设的融合规则对所述两组多尺度分解系数进行融合，得到融合系数；
根据所述融合系数进行多尺度反变换反向重构出所述目标图像。
6.根据权利要求1-5任一项所述的图像处理方法，其特征在于，所述从所述目标图像中识别每个对象，包括：
对所述目标图像进行灰度处理，得到所述目标图像的灰度图；
对所述灰度图进行直方图均衡化处理，得到均衡后灰度图；
将所述均衡后灰度图分路，形成至少两路均衡后灰度图；
对一路所述均衡后灰度图进行行人识别，获取行人对象和所述行人对象的识别信息；
对另一路所述均衡后灰度图进行车辆识别，获取车辆对象和所述车辆对象的识别信息。
7.根据权利要求6所述的图像处理方法，其特征在于，所述对一路所述均衡后灰度图进行行人识别，获取行人对象，包括：
利用拉普拉斯金字塔分解算法，对所述均衡后灰度图进行多层次的缩放处理；
对每个层次上的缩放图像进行hog特征提取；
基于所述hog特征进行分类识别，从所述对象中识别出的所述行人对象。
8.根据权利要求6所述的图像处理方法，其特征在于，所述对另一路所述均衡后灰度图进行车辆识别，获取车辆对象，包括：
利用拉普拉斯金字塔分解算法，对所述均衡后灰度图进行多层次的缩放处理；
对每个层次上的缩放图像进行haar特征提取；
基于所述haar特征进行分类识别，从所述对象中识别出的车辆对象。
9.根据权利要求7或8所述的图像处理方法，其特征在于，从所述对象中识别出的行人对象或者车辆对象之后，还包括：
对识别出的所述行人对象和所述车辆对象进行跟踪，剔除误识别的所述行人对象和所述车辆对象。
10.一种安全驾驶方法，其特征在于，所述方法包括：
获取目标图像；其中，所述目标图像是根据权利要求1-9任一项所述的图像处理方法得到的；
从所述目标图像中识别每个对象；
根据识别出的所述对象和所述车辆当前的运行信息，生成安全驾驶策略并执行。
11.根据权利要求10所述的安全驾驶方法，其特征在于，所述从所述目标图像中识别每个对象，包括：
对所述目标图像进行灰度处理，得到所述目标图像的灰度图；
对所述灰度图进行直方图均衡化处理，得到均衡后灰度图；
将所述均衡后灰度图分路，形成至少两路均衡后灰度图；
对一路所述均衡后灰度图进行行人识别，获取行人对象和所述行人对象的识别信息；
对另一路所述均衡后灰度图进行车辆识别，获取车辆对象和所述车辆对象的识别信息。
12.根据权利要求11所述的安全驾驶方法，其特征在于，所述根据识别出的所述对象和所述车辆当前的运行信息，生成安全驾驶策略并执行，包括：
从识别出的所有对象中确定距离所述车辆最近的对象作为与所述车辆之间存在风险的第一对象；
根据所述第一对象和所述运行信息，生成车辆的安全驾驶策略并执行。
13.根据权利要求12所述的安全驾驶方法，其特征在于，所述从识别出的所有对象中确定距离所述车辆最近的对象作为与所述车辆之间存在风险的第一对象，包括：
根据所述行人对象的识别信息和所述车辆对象的识别信息进行筛选，从中获取满足预设条件的所述行人对象和所述车辆对象作为候选对象；
根据每个候选对象与所述车辆之间的距离，从所有的候选对象中识别出所述第一对象。
14.根据权利要求13所述的安全驾驶方法，其特征在于，所述根据所述行人对象的识别信息和所述车辆对象的识别信息进行筛选，从中获取满足预设条件的所述行人对象和所述车辆对象作为候选对象，包括：
根据所述识别信息中的坐标信息，获取每个行人对象和每个车辆对象的边缘像素点；
判断所述边缘像素点是否有至少一个像素点处于第一区域内；所述第一区域为所述目标图像中由所述车辆所处车道形成的区域；
将所述边缘像素点有至少一个像素点处于所述第一区域内的所述行人对象或者所述车辆对象作为所述候选对象。
15.根据权利要求13所述的安全驾驶方法，其特征在于，所述根据所述行人对象的识别信息和所述车辆对象的识别信息进行筛选，从中获取满足预设条件的所述行人对象和所述车辆对象作为候选对象，包括：
根据所述识别信息中的坐标信息，为每个行人对象和每个车辆对象标记识别框；
判断每个识别框是否有至少一个指定边界点处于第一区域内；所述第一区域为所述目标图像中由所述车辆所处车道形成的区域；
将有至少一个所述指定边界点处于所述第一区域内的识别框作为目标识别框；
将所述目标识别框对应的对象作为所述候选对象。
16.根据权利要求12-15任一项所述的安全驾驶方法，其特征在于，所述根据所述第一对象和所述运行信息，生成车辆的安全驾驶策略并执行，包括：
获取所述第一对象与所述车辆之间的第一距离；
根据所述运行信息中的车速和所述第一距离，获取所述车辆到达所述第一对象所需的运行时间；
根据所述运行时间确定所述第一对象与所述车辆之间的风险等级；
根据所述风险等级生成所述安全驾驶策略并执行。
17.一种图像处理装置，其特征在于，包括：
图像获取模块，用于基于车辆上的双摄像装置获取第一图像和第二图像；
形成模块，用于对所述第一图像和所述第二图像进行图像融合，形成目标图像；
第一识别模块，用于从所述目标图像中识别每个对象。
18.一种安全驾驶装置，其特征在于，包括：
获取模块，用于获取目标图像；其中，所述目标图像是根据权利要求1-9任一项所述的图像处理方法得到的；
第二识别模块，用于从所述目标图像中识别每个对象；
生成模块，用于根据识别出的所述对象和所述车辆当前的运行信息，生成安全驾驶策略并执行。
19.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-9中任一所述的图像处理方法或者如权利要求10-16中任一所述的安全驾驶方法。
20.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-9中任一所述的图像处理方法或者如权利要求10-16中任一所述的安全驾驶方法。
21.一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1-9中任一所述的图像处理方法或者如权利要求10-16中任一所述的安全驾驶方法。
CN201711050555.7A 2017-10-31 2017-10-31 图像处理方法及其装置、安全驾驶方法及其装置 Pending CN109727188A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711050555.7A CN109727188A (zh) 2017-10-31 2017-10-31 图像处理方法及其装置、安全驾驶方法及其装置
PCT/CN2018/112902 WO2019085929A1 (zh) 2017-10-31 2018-10-31 图像处理方法及其装置、安全驾驶方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711050555.7A CN109727188A (zh) 2017-10-31 2017-10-31 图像处理方法及其装置、安全驾驶方法及其装置

Publications (1)

Publication Number Publication Date
CN109727188A true CN109727188A (zh) 2019-05-07

Family

ID=66293630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711050555.7A Pending CN109727188A (zh) 2017-10-31 2017-10-31 图像处理方法及其装置、安全驾驶方法及其装置

Country Status (2)

Country Link
CN (1) CN109727188A (zh)
WO (1) WO2019085929A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115777A (zh) * 2020-08-10 2020-12-22 杭州优行科技有限公司 一种交通标志类别的检测识别方法、装置和设备
CN114723615A (zh) * 2021-01-06 2022-07-08 通用汽车环球科技运作有限责任公司 结合灰度图像与彩色图像以在车中创建高分辨率覆盖图像
CN114911062A (zh) * 2021-02-07 2022-08-16 浙江舜宇智能光学技术有限公司 具有双成像光路的光学系统和具有双成像光路的光学装置
WO2022237891A1 (zh) * 2021-05-13 2022-11-17 南京大学 用于成像的方法、装置和计算机可读介质
CN116264011A (zh) * 2021-12-13 2023-06-16 浙江宇视科技有限公司 基于双路镜头的图像质量控制方法、装置、介质及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118097581B (zh) * 2024-04-28 2024-06-25 山东领军智能交通科技有限公司 一种道路边缘识别控制方法及装置

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006017233A1 (en) * 2004-07-12 2006-02-16 Lehigh University Image fusion methods and apparatus
US20080131024A1 (en) * 2006-12-01 2008-06-05 Harris Corporation Structured Smoothing for Superresolution of Multispectral Imagery Based on Registered Panchromatic Image
CN101699470A (zh) * 2009-10-30 2010-04-28 华南理工大学 一种对人脸图片进行笑脸识别的提取方法
CN102005037A (zh) * 2010-11-12 2011-04-06 湖南大学 结合多尺度双边滤波与方向滤波的多模图像融合方法
CN102542843A (zh) * 2010-12-07 2012-07-04 比亚迪股份有限公司 防止车辆碰撞的预警方法及装置
CN102663366A (zh) * 2012-04-13 2012-09-12 中国科学院深圳先进技术研究院 行人目标识别方法及系统
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
CN102693427A (zh) * 2011-03-22 2012-09-26 日电（中国）有限公司 形成和使用用于检测图像的检测器的方法和设备
CN203134149U (zh) * 2012-12-11 2013-08-14 武汉高德红外股份有限公司 基于不同波段成像融合图像处理的车辆辅助驾驶系统
CN103516997A (zh) * 2012-06-18 2014-01-15 中兴通讯股份有限公司 多源视频图像信息实时融合方法及装置
CN103886566A (zh) * 2014-03-18 2014-06-25 河海大学常州校区 一种恶劣天气下基于图像融合的城市交通调度系统及方法
WO2014110629A1 (en) * 2013-01-17 2014-07-24 Sensen Networks Pty Ltd Automated vehicle recognition
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN105138983A (zh) * 2015-08-21 2015-12-09 燕山大学 基于加权部件模型和选择性搜索分割的行人检测方法
CN105303159A (zh) * 2015-09-17 2016-02-03 中国科学院合肥物质科学研究院 一种基于显著性特征的远红外行人检测方法
CN105809649A (zh) * 2016-03-03 2016-07-27 西安电子科技大学 基于变分多尺度分解的sar图像与可见光图像融合方法
CN105830131A (zh) * 2013-11-04 2016-08-03 雷诺股份公司 用于检测行人相对于车辆轨迹的侧向位置的装置
CN106096604A (zh) * 2016-06-02 2016-11-09 西安电子科技大学昆山创新研究院 基于无人平台的多波段融合探测方法
CN106599773A (zh) * 2016-10-31 2017-04-26 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN106650615A (zh) * 2016-11-07 2017-05-10 深圳云天励飞技术有限公司 一种图像处理方法及终端
CN107146247A (zh) * 2017-05-31 2017-09-08 西安科技大学 基于双目摄像头的汽车辅助驾驶系统及方法
CN107194905A (zh) * 2017-05-22 2017-09-22 阜阳师范学院 一种基于非下采样Cotourlet变换的图像处理方法及系统
CN107230199A (zh) * 2017-06-23 2017-10-03 歌尔科技有限公司 图像处理方法、装置和增强现实设备
CN107253485A (zh) * 2017-05-16 2017-10-17 北京交通大学 异物侵入检测方法及异物侵入检测装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714556A (zh) * 2014-01-06 2014-04-09 中国科学院自动化研究所 一种基于金字塔表观模型的运动目标跟踪方法

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006017233A1 (en) * 2004-07-12 2006-02-16 Lehigh University Image fusion methods and apparatus
US20080131024A1 (en) * 2006-12-01 2008-06-05 Harris Corporation Structured Smoothing for Superresolution of Multispectral Imagery Based on Registered Panchromatic Image
CN101699470A (zh) * 2009-10-30 2010-04-28 华南理工大学 一种对人脸图片进行笑脸识别的提取方法
CN102005037A (zh) * 2010-11-12 2011-04-06 湖南大学 结合多尺度双边滤波与方向滤波的多模图像融合方法
CN102542843A (zh) * 2010-12-07 2012-07-04 比亚迪股份有限公司 防止车辆碰撞的预警方法及装置
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
CN102693427A (zh) * 2011-03-22 2012-09-26 日电（中国）有限公司 形成和使用用于检测图像的检测器的方法和设备
CN102663366A (zh) * 2012-04-13 2012-09-12 中国科学院深圳先进技术研究院 行人目标识别方法及系统
CN103516997A (zh) * 2012-06-18 2014-01-15 中兴通讯股份有限公司 多源视频图像信息实时融合方法及装置
CN203134149U (zh) * 2012-12-11 2013-08-14 武汉高德红外股份有限公司 基于不同波段成像融合图像处理的车辆辅助驾驶系统
WO2014110629A1 (en) * 2013-01-17 2014-07-24 Sensen Networks Pty Ltd Automated vehicle recognition
CN105830131A (zh) * 2013-11-04 2016-08-03 雷诺股份公司 用于检测行人相对于车辆轨迹的侧向位置的装置
CN103886566A (zh) * 2014-03-18 2014-06-25 河海大学常州校区 一种恶劣天气下基于图像融合的城市交通调度系统及方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN105138983A (zh) * 2015-08-21 2015-12-09 燕山大学 基于加权部件模型和选择性搜索分割的行人检测方法
CN105303159A (zh) * 2015-09-17 2016-02-03 中国科学院合肥物质科学研究院 一种基于显著性特征的远红外行人检测方法
CN105809649A (zh) * 2016-03-03 2016-07-27 西安电子科技大学 基于变分多尺度分解的sar图像与可见光图像融合方法
CN106096604A (zh) * 2016-06-02 2016-11-09 西安电子科技大学昆山创新研究院 基于无人平台的多波段融合探测方法
CN106599773A (zh) * 2016-10-31 2017-04-26 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN106650615A (zh) * 2016-11-07 2017-05-10 深圳云天励飞技术有限公司 一种图像处理方法及终端
CN107253485A (zh) * 2017-05-16 2017-10-17 北京交通大学 异物侵入检测方法及异物侵入检测装置
CN107194905A (zh) * 2017-05-22 2017-09-22 阜阳师范学院 一种基于非下采样Cotourlet变换的图像处理方法及系统
CN107146247A (zh) * 2017-05-31 2017-09-08 西安科技大学 基于双目摄像头的汽车辅助驾驶系统及方法
CN107230199A (zh) * 2017-06-23 2017-10-03 歌尔科技有限公司 图像处理方法、装置和增强现实设备

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
BURT P ET AL: "The Laplacian pyramid as a compact", 《IEEE》 *
冯翔 等: "基于多尺度图像局部结构分解的人脸特征提取方法", 《计算机与现代化》 *
刘璐: "智能视频监控中的行人车辆检测算法研究", 《中国优秀硕士学位论文全文数据库电子期刊 信息科技辑》 *
孙思佳: "基于可见光与红外图像融合的目标识别研究", 《中国优秀硕士学位论文全文数据库电子期刊 信息科技辑》 *
张宝辉: "红外与可见光的图像融合系统及应用研究", 《中国博士学位论文全文数据库电子期刊 信息科技辑》 *
李瑞峰: "《工业机器人设计与应用》", 31 January 2017, 哈尔滨： 工业大学出版社 *
赵超: "交通对象识别关键技术研究", 《中国优秀硕士学位论文全文数据库电子期刊 信息科技辑》 *
黄蕾 等: "A 基于相位一致的多尺度金字塔图像特征提取", 《计算机技术与发展》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115777A (zh) * 2020-08-10 2020-12-22 杭州优行科技有限公司 一种交通标志类别的检测识别方法、装置和设备
CN114723615A (zh) * 2021-01-06 2022-07-08 通用汽车环球科技运作有限责任公司 结合灰度图像与彩色图像以在车中创建高分辨率覆盖图像
CN114911062A (zh) * 2021-02-07 2022-08-16 浙江舜宇智能光学技术有限公司 具有双成像光路的光学系统和具有双成像光路的光学装置
WO2022237891A1 (zh) * 2021-05-13 2022-11-17 南京大学 用于成像的方法、装置和计算机可读介质
CN116264011A (zh) * 2021-12-13 2023-06-16 浙江宇视科技有限公司 基于双路镜头的图像质量控制方法、装置、介质及设备
CN116264011B (zh) * 2021-12-13 2026-07-03 浙江宇视科技有限公司 基于双路镜头的图像质量控制方法、装置、介质及设备

Also Published As

Publication number Publication date
WO2019085929A1 (zh) 2019-05-09

Similar Documents

Publication Publication Date Title
CN109729256B (zh) 车辆中双摄像装置的控制方法和装置
Wu et al. Lane-mark extraction for automobiles under complex conditions
US8391555B2 (en) Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle
KR101669713B1 (ko) 물체 검출
US9183447B1 (en) Object detection using candidate object alignment
US8611598B2 (en) Vehicle obstacle detection system
WO2019085929A1 (zh) 图像处理方法及其装置、安全驾驶方法
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
US10552706B2 (en) Attachable matter detection apparatus and attachable matter detection method
US9858493B2 (en) Method and apparatus for performing registration plate detection with aid of edge-based sliding concentric windows
CN114332704B (zh) 交通信号灯识别模型的训练方法及交通信号灯的识别方法
CN101185084A (zh) 用于夜间探测道路的方法和系统
JP7264428B2 (ja) 道路標識認識装置及びそのプログラム
US20190213427A1 (en) Detection and Validation of Objects from Sequential Images of a Camera
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
CN101978392B (zh) 车辆用图像处理装置
Merugu et al. Multi lane detection, curve fitting and lane type classification
Barua et al. An efficient method of lane detection and tracking for highway safety
US11625048B2 (en) Apparatus and method for determining tow hitch location
WO2020001630A1 (zh) 一种三值图像获取方法、装置及车辆
JP4826355B2 (ja) 車両周囲表示装置
US10417518B2 (en) Vehicle camera system
KR102109841B1 (ko) 주행 영상으로부터 차량을 검출하는 방법 및 장치
Harsha et al. Vehicle Detection and Lane Keep Assist System for Self-driving Cars
WO2017017140A1 (en) Method for capturing an object on a road in the environment of a motor vehicle, camera system and motor vehicle using the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination