CN105117724B - 一种车牌定位方法及装置 - Google Patents
一种车牌定位方法及装置 Download PDFInfo
- Publication number
- CN105117724B CN105117724B CN201510458607.9A CN201510458607A CN105117724B CN 105117724 B CN105117724 B CN 105117724B CN 201510458607 A CN201510458607 A CN 201510458607A CN 105117724 B CN105117724 B CN 105117724B
- Authority
- CN
- China
- Prior art keywords
- license plate
- type
- image
- candidate
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种车牌定位方法及装置,方法包括:将视频帧图像的Haar特征输入第一分类器,得到第一类车牌图像信息序列,计算并筛选出第一类车牌相似值的最大值,判断其是否大于预设的第一相似度阈值,若是,定位到至少一个有效车牌图像,否则对视频帧图像进行旋转,将旋转后的图像输入第一分类器,得到多个第二类车牌图像信息序列,计算并筛选出数值最大的第二类车牌相似值,判断其是否大于预设的第二相似度阈值,若是,定位到至少一个有效车牌图像,否则,将视频帧图像的LBP特征输入第二分类器,得到第三类车牌图像信息序列,基于第三类车牌相似值的最大值,定位到至少一个有效车牌图像。应用本发明实施例,能够提高定位车牌的准确率。
Description
技术领域
本发明涉及计算机视觉技术领域,特别是涉及一种车牌定位方法及装置。
背景技术
随着数字图像处理、模式识别和人工智能技术的日趋成熟,智能交通系统(ITS)已经逐渐成为21世纪道路交通发展的趋势。车牌识别技术是实现智能交通系统的基础,而车牌定位是车牌识别中十分重要的环节。在社区、校园、十字路口或多车道路口等非交通卡口的复杂场景中,监控摄像头所拍摄的视频帧图像中的车牌区域通常在位置、角度、大小清晰度方面具有明显的差异,另外,非交通卡口下拍摄的视频帧图像中的背景区域杂乱。
在目前已有的非交通卡口的车牌定位技术中,通常提取非交通卡口下所拍摄的视频帧图像中的某种特征,例如,将灰度值或颜色等单一特征作为定位车牌的特征。
显然,非交通卡口下所拍摄的视频帧图像中的车牌区域的这些不利因素给后期的准确定位车牌增大了难度,因此,当上述现有技术中采用某种单一特征来定位车牌时,常常出现定位失败或者漏检的情况。
发明内容
本发明实施例的目的在于提供一种车牌定位方法及装置,以实现准确定位车牌,降低定位失败或者漏检的情况。
为达到上述目的,本发明实施例公开了一种车牌定位方法,所述方法包括:
提取待定位车牌的视频帧图像的哈尔Haar特征,并将所述Haar特征输入至预先建立的第一分类器中,得到与所述视频帧图像对应的第一类车牌图像信息序列,其中,所述第一类车牌图像信息序列中包含视频帧图像中搜索到的第一类候选车牌图像的位置信息,所述第一分类器为:基于提取到的针对预定的第一样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
基于所述第一类候选车牌图像的位置信息,确定所述视频帧图像中的第一类候选车牌图像;
计算所述第一类候选车牌图像的第一类车牌相似值,并筛选出第一类车牌相似值中的最大值;
判断筛选得到的第一类车牌相似值中的最大值是否大于预设的第一相似度阈值:
在判断结果为大于时,根据预设的第一有效车牌定位规则和所计算得到的第一类车牌相似值,从所述第一类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,根据预设的图像旋转规则,对所述视频帧图像进行N次旋转,将每一次旋转后所得的视频帧图像再次输入至所述第一分类器中,获得N个第二类车牌图像信息序列,基于所述第二类车牌图像信息序列中的第二类候选车牌图像的位置信息,确定所述视频帧图像中的第二类候选车牌图像,计算每一第二类车牌图像信息序列所对应的第二类候选车牌图像的第二类车牌相似值,并筛选出每一第二类车牌图像信息序列所对应的第二类候选车牌图像的第二类车牌相似值中的最大值,进而,从筛选得到的各个第二类车牌相似值中的最大值中,确定出数值最大的目标第二类车牌相似值,判断所述目标第二类车牌相似值是否大于预设的第二相似度阈值,如果大于,根据预设的第二有效车牌定位规则和所计算得到的第二类车牌相似值,从所述目标第二类车牌相似值所对应的第二类车牌图像信息序列所针对的第二类候选车牌图像中定位到至少一个有效车牌图像,如果不大于,则
继续提取所述视频帧图像的局部二值模式LBP特征,并将所述LBP特征输入至预先建立的第二分类器中,得到与所述视频帧图像对应的第三类车牌图像信息序列,其中,所述第三类车牌图像信息序列中包含视频帧图像中搜索到的第三类候选车牌图像的位置信息,所述第二分类器为:基于提取到的针对预定的第二样本图像集合中各个图像的局部二值模式LBP特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
基于所述第三类候选车牌图像的位置信息,确定所述视频帧图像中的第三类候选车牌图像;
计算所述第三类候选车牌图像的第三类车牌相似值,并筛选出第三类车牌相似值中的最大值;
判断筛选得到的第三类车牌相似值的最大值是否大于预设的第三相似度阈值;在判断结果为大于时,根据预设的第三有效车牌定位规则和所计算得到的第三类车牌相似值,从所述第三类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定通过所述第一分类器和第二分类器未定位到有效车牌图像。
较佳的,计算任一第一类候选车牌图像的第一类车牌相似值的过程,包括:
对第一类候选车牌图像进行二值化处理;
对二值化处理后得到的第一类候选车牌图像进行开运算形态学变换;
通过Sobel算法对经开运算形态学变换后的第一类候选车牌图像进行垂直滤波处理,得到开运算形态学变换后的第一类候选车牌图像的第一类垂直梯度图像;
通过Canny算法对所述第一类垂直梯度图像进行边缘检测,获得第一类边缘图像;
针对所述第一类边缘图像中提取到的边缘按照垂直方向进行六等分,计算每一等分中边缘部分像素点在水平方向的跳变均值;
计算所述跳变均值的平均值,将计算得到的所述平均值确定为所述第一类候选车牌图像的第一类车牌相似值。
较佳的,所述根据预设的第一有效车牌定位规则和所计算得到的第一类车牌相似值,从所述第一类候选车牌图像中定位到至少一个有效车牌图像,包括:
将所述第一类车牌相似值中的最大值所对应的第一类候选车牌图像确定为定位到的有效车牌图像;
或
将所述第一类车牌相似值中,大于预设的第一定位阈值的第一类车牌相似值所对应的第一类候选车牌图像确定为定位到有效车牌图像。
较佳的,所述确定通过所述第一分类器和第二分类器未定位到有效车牌图像之后,所述方法还包括:
将所述Haar特征输入至预先建立的第三分类器中,得到与所述视频帧图像对应的第四类车牌图像信息序列,其中,所述第四类车牌图像信息序列中包含视频帧图像中搜索到的第四类候选车牌图像的位置信息,所述第三分类器为:基于提取到的针对预定的第三样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
基于所述第四类候选车牌图像的位置信息,确定所述视频帧图像中的第四类候选车牌图像;
计算所述第四类候选车牌图像的第四类车牌相似值,并筛选出第四类车牌相似值中的最大值;
判断筛选得到的第四类车牌相似值中的最大值是否大于预设的第四相似度阈值;在判断结果为大于时,根据预设的第四有效车牌定位规则和所计算得到的第四类车牌相似值,从所述第四类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定通过所述第一分类器、第二分类器和第三分类器未定位到有效车牌图像。
较佳的,所述确定通过所述第一分类器、第二分类器和第三分类器未定位到有效车牌图像之后,所述方法还包括:
将所述Haar特征输入至预先建立的第四分类器中,得到与所述视频帧图像对应的第五类车牌图像信息序列,其中,所述第五类车牌图像信息序列中包含视频帧图像中搜索到的第五类候选车牌图像的位置信息,所述第四分类器为:基于提取到的针对第四样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
基于所述第五类候选车牌图像的位置信息,确定所述视频帧图像中的第五类候选车牌图像;
计算所述第五类候选车牌图像的第五类车牌相似值,并筛选出第五类车牌相似值中的最大值;
判断筛选得到的第五类车牌相似值中的最大值是否大于预设的第五相似度阈值;在判断结果为大于时,根据预设的第五有效车牌定位规则和所计算得到的第五类车牌相似值,从所述第五类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定未定位到有效车牌图像。
为达到上述目的,本发明实施例公开了一种车牌定位装置,所述装置包括:
第一车牌序列获得模块,用于提取待定位车牌的视频帧图像的哈尔Haar特征,并将所述Haar特征输入至预先建立的第一分类器中,得到与所述视频帧图像对应的第一类车牌图像信息序列,其中,所述第一类车牌图像信息序列中包含视频帧图像中搜索到的第一类候选车牌图像的位置信息,所述第一分类器为:基于提取到的针对预定的第一样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
第一车牌图像确定模块,用于基于所述第一类候选车牌图像的位置信息,确定所述视频帧图像中的第一类候选车牌图像;
第一车牌相似度计算模块,用于计算所述第一类候选车牌图像的第一类车牌相似值,并筛选出第一类车牌相似值中的最大值;
第一车牌相似度判断模块,用于判断筛选得到的第一类车牌相似值中的最大值是否大于预设的第一相似度阈值;在判断结果为大于时,根据预设的第一有效车牌定位规则和所计算得到的第一类车牌相似值,从所述第一类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,触发第二车牌序列获得模块;
所述第二车牌序列获得模块,用于根据预设的图像旋转规则,对所述视频帧图像进行N次旋转,将每一次旋转后所得的视频帧图像再次输入至所述第一分类器中,获得N个第二类车牌图像信息序列;
第二车牌图像确定模块,用于基于所述第二类车牌图像信息序列中的第二类候选车牌图像的位置信息,确定所述视频帧图像中的第二类候选车牌图像;
第二车牌相似度计算模块,用于计算每一第二类车牌图像信息序列所对应的第二类候选车牌图像的第二类车牌相似值,并筛选出每一第二类车牌图像信息序列所对应的第二类候选车牌图像的第二类车牌相似值中的最大值,进而,从筛选得到的各个第二类车牌相似值中的最大值中,确定出数值最大的目标第二类车牌相似值;
第二车牌相似度判断模块,用于判断所述目标第二类车牌相似值是否大于预设的第二相似度阈值,如果大于,根据预设的第二有效车牌定位规则和所计算得到的第二类车牌相似值,从所述目标第二类车牌相似值所对应的第二类车牌图像信息序列所针对的第二类候选车牌图像中定位到至少一个有效车牌图像,如果不大于,则触发第三车牌序列获得模块;
所述第三车牌序列获得模块,用于继续提取所述视频帧图像的局部二值模式LBP特征,并将所述LBP特征输入至预先建立的第二分类器中,得到与所述视频帧图像对应的第三类车牌图像信息序列,其中,所述第三类车牌图像信息序列中包含视频帧图像中搜索到的第三类候选车牌图像的位置信息,所述第二分类器为:基于提取到的针对预定的第二样本图像集合中各个图像的局部二值模式LBP特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
第三车牌图像确定模块,用于基于所述第三类候选车牌图像的位置信息,确定所述视频帧图像中的第三类候选车牌图像;
第三车牌相似度计算模块,用于计算所述第三类候选车牌图像的第三类车牌相似值,并筛选出第三类车牌相似值中的最大值;
第三车牌相似度判断模块,用于判断筛选得到的第三类车牌相似值的最大值是否大于预设的第三相似度阈值;在判断结果为大于时,根据预设的第三有效车牌定位规则和所计算得到的第三类车牌相似值,从所述第三类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定通过所述第一分类器和第二分类器未定位到有效车牌图像。
较佳的,所述第一车牌相似度计算模块,用于:
对第一类候选车牌图像进行二值化处理;
对二值化处理后得到的第一类候选车牌图像进行开运算形态学变换;
通过Sobel算法对经开运算形态学变换后的第一类候选车牌图像进行垂直滤波处理,得到开运算形态学变换后的第一类候选车牌图像的第一类垂直梯度图像;
通过Canny算法对所述第一类垂直梯度图像进行边缘检测,获得第一类边缘图像;
针对所述第一类边缘图像中提取到的边缘按照垂直方向进行六等分,计算每一等分中边缘部分像素点在水平方向的跳变均值;
计算所述跳变均值的平均值,将计算得到的所述平均值确定为所述第一类候选车牌图像的第一类车牌相似值。
较佳的,所述第一车牌相似度判断模块包括用于根据预设的第一有效车牌定位规则和所计算得到的第一类车牌相似值从所述第一类候选车牌图像中定位到至少一个有效车牌图像的第一车牌定位子模块;
所述第一车牌定位子模块,具体用于:
将所述第一类车牌相似值中的最大值所对应的第一类候选车牌图像确定为定位到的有效车牌图像;或将所述第一类车牌相似值中,大于预设的第一定位阈值的第一类车牌相似值所对应的第一类候选车牌图像确定为定位到有效车牌图像。
较佳的,所述装置还包括:
第四车牌序列获得模块,用于将所述Haar特征输入至预先建立的第三分类器中,得到与所述视频帧图像对应的第四类车牌图像信息序列,其中,所述第四类车牌图像信息序列中包含视频帧图像中搜索到的第四类候选车牌图像的位置信息,所述第三分类器为:基于提取到的针对预定的第三样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
第四车牌图像确定模块,用于基于所述第四类候选车牌图像的位置信息,确定所述视频帧图像中的第四类候选车牌图像;
第四车牌相似度计算模块,用于计算所述第四类候选车牌图像的第四类车牌相似值,并筛选出第四类车牌相似值中的最大值;
第四车牌相似度判断模块,用于判断筛选得到的第四类车牌相似值中的最大值是否大于预设的第四相似度阈值;在判断结果为大于时,根据预设的第四有效车牌定位规则和所计算得到的第四类车牌相似值,从所述第四类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定通过所述第一分类器、第二分类器和第三分类器未定位到有效车牌图像。
较佳的,所述装置还包括:
第五车牌序列获得模块,用于将所述Haar特征输入至预先建立的第四分类器中,得到与所述视频帧图像对应的第五类车牌图像信息序列,其中,所述第五类车牌图像信息序列中包含视频帧图像中搜索到的第五类候选车牌图像的位置信息,所述第四分类器为:基于提取到的针对第四样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
第五车牌图像确定模块,用于基于所述第五类候选车牌图像的位置信息,确定所述视频帧图像中的第五类候选车牌图像;
第五车牌相似度计算模块,用于计算所述第五类候选车牌图像的第五类车牌相似值,并筛选出第五类车牌相似值中的最大值;
第五车牌相似度判断模块,用于判断筛选得到的第五类车牌相似值中的最大值是否大于预设的第五相似度阈值;在判断结果为大于时,根据预设的第五有效车牌定位规则和所计算得到的第五类车牌相似值,从所述第五类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定未定位到有效车牌图像。
本发明实施例提供的一种车牌定位方法及装置方法及装置,通过设计多级筛选机制的多个串联的分类器,提取摄像头所拍摄到的视频帧图像中的图像的多个特征构成的综合特征,大大提高了利用单一特征定位车牌时容易出现的车牌定位失败或者漏检的情况,同时,当视频帧图像输入提取的哈尔Haar特征输入至第一分类器后未定位到满足条件的候选车牌图像时,进一步对该视频帧图像进行了多次旋转,将旋转后的图像再次输入至第一分类器,这样能够提高因图像拍摄角度所带来的定位失败或漏检的情况,显然,通过层层的分类器对该视频帧图像中的候选车牌图像的搜索,提高了准确定位车牌的可能性,降低了定位失败或者漏检情况的机率。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车牌定位方法的流程示意图;
图2为本发明实施例提供的两幅定位到的有效车牌图像;
图3为本发明实施例提供的另一种车牌定位方法的流程示意图;
图4为本发明实施例提供的另一种车牌定位方法的流程示意图;
图5(a)和图5(b)为本发明实施例提供的霍夫变换后的结果示意图;
图6(a)-图6(d)为本发明实施例提供的去杂二值化处理后的结果示意图;
图7为本发明实施例提供的一种车牌定位装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种车牌定位方法的流程示意图,该方法可以包括以下步骤:
步骤S101:提取待定位车牌的视频帧图像的哈尔Haar特征,并将所述Haar特征输入至预先建立的第一分类器中,得到与所述视频帧图像对应的第一类车牌图像信息序列。
其中,第一类车牌图像信息序列中包含视频帧图像中搜索到的第一类候选车牌图像的位置信息。
本发明中的“候选车牌图像”为分类器从监控视频中获得的视频帧图像中搜索到的图像,需要说明的是,候选车牌图像中有可能是车牌的图像,也有可能不是车牌的图像。另外,若经过后续步骤定位到的候选车牌图像是车牌的图像时,说明分类器定位正确;若经过后续步骤未定位到候选车牌图像,且搜索出的该候选车牌图像中的确不是车牌的图像时,也说明分类器定位正确,否则,表明分类器定位失败。
需要说明的是,本发明中提及的“车牌图像信息序列”中包含视频帧图像中搜索到的候选车牌图像的位置信息,例如,车牌图像在视频帧图像中所处的由像素坐标所表示的图像区域。另外,车牌图像信息序列中包含了通过分类器搜索到的全部的候选车牌图像的位置信息。
其中,第一分类器为:基于提取到的针对预定的第一样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器。
在本发明的一种具体实现方式中,可以通过如下方式建立第一分类器:首先,选取用于训练分类器的正负样本,其中,车牌图像(正样本)1000幅,非车牌图像(负样本)10000幅;然后,提出正负样本中每幅图像的Haar特征;最后,将提取得到的Haar特征输入至OpenCV自带的Adaboost分类器训练程序中运行,根据所建立的分类器的虚警率(即:将非车牌图像定位成了车牌图像)、命中率等参数来优化所建立的分类器。
需要说明的是,可以针对车牌图像的一种特征使用Adaboost分类器进行离线训练,获得可以定位车牌的分类器,利用Adaboost算法训练出的分类器在车牌定位中具有一定的可行性和可靠性。另外,在分类器的训练或建立过程中,最好使训练的样本图像尽可能的大,样本图像尽可能的多样化,这样,在实际应用中所建立的分类器的效率就越好。
还需要说明的是,上面提及的基于Adaboost算法训练出的分类器仅仅是举例,本发明并不需要对建立分类器的具体算法进行限定,当然还可以有其他建立分类器的方式,例如,基于支持向量机SVM的分类器建立方法,任何可能的实现方式均可以应用于本发明,本领域内的技术人员需要根据实际情况来确定具体采用何种方式来建立分类器。
步骤S102:基于所述第一类候选车牌图像的位置信息,确定所述视频帧图像中的第一类候选车牌图像。
步骤S103:计算所述第一类候选车牌图像的第一类车牌相似值,并筛选出第一类车牌相似值中的最大值。
在本发明的一种具体实现方式中,计算任一第一类候选车牌图像的第一类车牌相似值的过程,可以包括以下步骤:
A:对第一类候选车牌图像进行二值化处理;
B:对二值化处理后得到的第一类候选车牌图像进行开运算形态学变换;
C:通过Sobel算法对经开运算形态学变换后的第一类候选车牌图像进行垂直滤波处理,得到开运算形态学变换后的第一类候选车牌图像的第一类垂直梯度图像;
D:通过Canny算法对所述第一类垂直梯度图像进行边缘检测,获得第一类边缘图像;
E:针对所述第一类边缘图像中提取到的边缘按照垂直方向进行六等分,计算每一等分中边缘部分像素点在水平方向的跳变均值;
其中,由于通过步骤D检测得到的边缘图像中,边缘部分为的像素点的像素值为255,非边缘部分的像素点的像素值为0。因此,当从步骤E六等分之后得到的任一高度,按照从首至尾的顺序遍历该行像素点时,就会出现黑白点的交替变换,当连续两个像素点的像素值不同时就记为一次跳变,统计该行跳变次数,就能够得到每一等分中边缘部分像素点在水平方向的跳变均值。
F:计算所述跳变均值的平均值,将计算得到的所述平均值确定为所述第一类候选车牌图像的第一类车牌相似值。
需要说明的是,上述计算任一第一类候选车牌图像的第一类车牌相似值的过程仅仅是举例,本发明实施例不需要对车牌相似值的计算过程进行限定,任何可能的实现方式均可以应用于本发明。
步骤S104:判断筛选得到的第一类车牌相似值中的最大值是否大于预设的第一相似度阈值,在判读结果为大于时,执行步骤S105,否则执行步骤S106。
优选的,第一相似度阈值可以包括:对于单排车牌而言,该阈值设置为13;对于双排车牌而言,该阈值设置为12。需要说明的是,这里所设置的阈值仅仅是本发明的一种优选方式,本发明不需要对第一相似度阈值的具体数值进行限定,至于选取何种阈值,需要本领域内的技术人员根据实际情况来确定。
步骤S105:根据预设的第一有效车牌定位规则和所计算得到的第一类车牌相似值,从所述第一类候选车牌图像中定位到至少一个有效车牌图像,参见图2,图2为本发明实施例提供的两幅定位到的有效车牌图像。
在本发明的一种具体实现方式中,可以将第一类车牌相似值中的最大值所对应的第一类候选车牌图像确定为定位到的有效车牌图像。
在本发明的另一种具体实现方式中,可以将所述第一类车牌相似值中,大于第一定位阈值的第一类车牌相似值所对应的第一类候选车牌图像确定为定位到有效车牌图像。
具体的,预设的第一定位阈值可以设置为第一类车牌相似值中的最大值max的某一倍数,例如:max*70%。当然,本发明不需要对这个倍数进行具体限定,本领域内的技术人员需要根据实际应用情况来确定。
举例而言,假设:第一类车牌相似值按照由大到小的顺序排分别是:a=99%、b=95%、c=93%、d=89%和e=85%,预设的第一定位阈值为90%。
显然,根据上述第一种实现方式中提到的方法,就是将a对应的第一类候选车牌图像确定为定位到的有效车牌图像;
显然,根据上述第二种实现方式中提到的方法,就是将相似值大于90%的a、b和c对应的第一类候选车牌图像确定为定位到的有效车牌图像。
需要说明的是,上述所列举的两种具体实现方式仅仅是举例,当然本发明还有其他可能的具体实现方式,本发明不需要对定位有效车牌图像的具体实现方式进行限定,本领域内的技术人员需要根据实际应用中的具体情况来确定。
步骤S106:根据预设的图像旋转规则,对所述视频帧图像进行N次旋转,将每一次旋转后所得的视频帧图像再次输入至所述第一分类器中,获得N个第二类车牌图像信息序列。
在本发明的一种具体实现方式中,预设的图像旋转规则可以是:将视频帧图像在[-20°,20°]的范围内按照顺时针方向进行旋转,且每次旋转2°,得到一幅新的视频帧图像。
需要说明的是,由于非交通卡口场景下所拍摄的视频帧图像中的车牌图像的角度有很大的不同,所以在车牌图像的定位过程中会出现未定位到车牌图像或者将车牌图像误判成非车牌图像的情况,因此,本发明中的方案在上述情况下对视频帧图像进行旋转,寻找到最适合定位的角度,以使得预先建立的第一分类器对于倾斜角度过大的车牌图像尽可能的定位准确。还需要说明的是,本发明中并不需要对视频帧图像旋转的允许范围以及每次所旋转的角度的具体数值进行限定,本领域内的技术人员需要根据实际应用中的具体情况进行合理的设定。
步骤S107:基于所述第二类车牌图像信息序列中的第二类候选车牌图像的位置信息,确定所述视频帧图像中的第二类候选车牌图像。
步骤S108:计算每一第二类车牌图像信息序列所对应的第二类候选车牌图像的第二类车牌相似值,并筛选出每一第二类车牌图像信息序列所对应的第二类候选车牌图像的第二类车牌相似值中的最大值,进而,从筛选得到的各个第二类车牌相似值中的最大值中,确定出数值最大的目标第二类车牌相似值。
步骤S109:判断所述目标第二类车牌相似值是否大于预设的第二相似度阈值,如果大于,执行步骤S110,否则执行步骤S11。
步骤S110:根据预设的第二有效车牌定位规则和所计算得到的第二类车牌相似值,从所述目标第二类车牌相似值所对应的第二类车牌图像信息序列所针对的第二类候选车牌图像中定位到至少一个有效车牌图像。
需要说明的是,步骤S107-S110与步骤S102-S105的方法类似,此处不再赘述。
步骤S111:继续提取所述视频帧图像的局部二值模式LBP特征,并将所述LBP特征输入至预先建立的第二分类器中,得到与所述视频帧图像对应的第三类车牌图像信息序列。
其中,第三类车牌图像信息序列中包含视频帧图像中搜索到的第三类候选车牌图像的位置信息。
其中,第二分类器为:基于提取到的针对预定的第二样本图像集合中各个图像的局部二值模式LBP特征,并采用自适应提升算法Adaboost算法训练得到的分类器。与第一分类器相比,在训练或建立该第二分类器时所选取的样本图像集合不同,所提取的样本图像集合的特征不同。
需要说明的是,上面提及基于Adaboost算法训练出的分类器仅仅是举例,本发明并不需要对建立分类器的具体算法进行限定,当然还可以有其他建立分类器的方式,例如,基于支持向量机SVM的分类器建立方法,任何可能的实现方式均可以应用于本发明,本领域内的技术人员需要根据实际情况来确定具体采用何种方式来建立分类器。
步骤S112:基于所述第三类候选车牌图像的位置信息,确定所述视频帧图像中的第三类候选车牌图像。
步骤S113:计算所述第三类候选车牌图像的第三类车牌相似值,并筛选出第三类车牌相似值中的最大值。
步骤S114:判断筛选得到的第三类车牌相似值的最大值是否大于预设的第三相似度阈值;在判断结果为大于时,根据预设的第三有效车牌定位规则和所计算得到的第三类车牌相似值,从所述第三类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定通过所述第一分类器和第二分类器未定位到有效车牌图像。
需要说明的是,步骤S112-S114与步骤S102-S104类似,此处不再赘述。
本发明实施例通过设计多级筛选机制的多个串联的分类器,提取摄像头所拍摄到的视频帧图像中的图像的多个特征构成的综合特征,大大提高了利用单一特征定位车牌时容易出现的车牌定位失败或者漏检的情况,同时,当视频帧图像输入提取的哈尔Haar特征输入至第一分类器后未定位到满足条件的候选车牌图像时,进一步对该视频帧图像进行了多次旋转,将旋转后的图像再次输入至第一分类器,这样能够提高因图像拍摄角度所带来的定位失败或漏检的情况,显然,通过层层的分类器对该视频帧图像中的候选车牌图像的搜索,提高了准确定位车牌的可能性,降低了定位失败或者漏检情况的机率。
参见图3,为了提高车牌图像定位的准确性,在图1所示的车牌定位方法的基础之上,还可以包括以下步骤:
步骤S115:将所述Haar特征输入至预先建立的第三分类器中,得到与所述视频帧图像对应的第四类车牌图像信息序列。
其中,第四类车牌图像信息序列中包含视频帧图像中搜索到的第四类候选车牌图像的位置信息。
其中,第三分类器为:基于提取到的针对预定的第三样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器。与第一分类器相比,在训练或建立该第三分类器时所选取的样本图像集合不同,所提取的样本图像集合的特征相同。
另外,在分类器的训练或建立过程中,最好使训练的样本图像尽可能的大,样本图像尽可能的多样化,这样,在实际应用中所建立的分类器的效率就越好。
在本发明的一种具体实现方式中,可以通过如下方式建立第三分类器:首先,选取用于训练分类器的正负样本,其中,车牌图像(正样本)3000幅,非车牌图像(负样本)10000幅;然后,提出正负样本中每幅图像的Haar特征;最后,将提取得到的Haar特征输入至OpenCV自带的Adaboost分类器训练程序中运行,根据所建立的分类器的虚警率(即:将非车牌图像定位成了车牌图像)、命中率等参数来优化所建立的分类器。
需要说明的是,上面提及基于Adaboost算法训练出的分类器仅仅是举例,本发明并不需要对建立分类器的具体算法进行限定,当然还可以有其他建立分类器的方式,例如,基于支持向量机SVM的分类器建立方法,任何可能的实现方式均可以应用于本发明,本领域内的技术人员需要根据实际情况来确定具体采用何种方式来建立分类器。
步骤S116:基于所述第四类候选车牌图像的位置信息,确定所述视频帧图像中的第四类候选车牌图像。
步骤S117:计算所述第四类候选车牌图像的第四类车牌相似值,并筛选出第四类车牌相似值中的最大值。
步骤S118:判断筛选得到的第四类车牌相似值中的最大值是否大于预设的第四相似度阈值;在判断结果为大于时,根据预设的第四有效车牌定位规则和所计算得到的第四类车牌相似值,从所述第四类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定通过所述第一分类器、第二分类器和第三分类器未定位到有效车牌图像。
需要说明的是,步骤S116-S118与步骤S102-S104类似,此处不再赘述。
本发明实施例通过设计多级筛选机制的多个串联的分类器,提取摄像头所拍摄到的视频帧图像中的图像的多个特征构成的综合特征,大大提高了利用单一特征定位车牌时容易出现的车牌定位失败或者漏检的情况,同时,当视频帧图像输入提取的哈尔Haar特征输入至第一分类器后未定位到满足条件的候选车牌图像时,进一步对该视频帧图像进行了多次旋转,将旋转后的图像再次输入至第一分类器,这样能够提高因图像拍摄角度所带来的定位失败或漏检的情况,显然,通过层层的分类器对该视频帧图像中的候选车牌图像的搜索,提高了准确定位车牌的可能性,降低了定位失败或者漏检情况的机率。
进一步的,参见图4,在图3所示的车牌定位方法的基础之上,还可以包括以下步骤:
步骤S119:将所述Haar特征输入至预先建立的第四分类器中,得到与所述视频帧图像对应的第五类车牌图像信息序列。
其中,第五类车牌图像信息序列中包含视频帧图像中搜索到的第五类候选车牌图像的位置信息。
其中,第四分类器为:基于提取到的针对第四样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器。与第一分类器相比,在训练或建立该第四分类器时所选取的样本图像集合不同,所提取的样本图像集合的特征相同。
另外,在分类器的训练或建立过程中,最好使训练的样本图像的数量尽可能的大,样本图像尽可能的多样化,这样,在实际应用中所建立的分类器的效率就越好。
在本发明的一种具体实现方式中,可以通过如下方式建立第四分类器:首先,选取用于训练分类器的正负样本,其中,车牌图像(正样本)2000幅,并且该车牌图像中的正样本全部为双排车牌图像,非车牌图像(负样本)10000幅;然后,提出正负样本中每幅图像的Haar特征;最后,将提取得到的Haar特征输入至OpenCV自带的Adaboost分类器训练程序中运行,根据所建立的分类器的虚警率(即:将非车牌图像定位成了车牌图像)、命中率等参数来优化所建立的分类器。
需要说明的是,上面提及基于Adaboost算法训练出的分类器仅仅是举例,本发明并不需要对建立分类器的具体算法进行限定,当然还可以有其他建立分类器的方式,例如,基于支持向量机SVM的分类器建立方法,任何可能的实现方式均可以应用于本发明,本领域内的技术人员需要根据实际情况来确定具体采用何种方式来建立分类器。
步骤S120:基于所述第五类候选车牌图像的位置信息,确定所述视频帧图像中的第五类候选车牌图像。
步骤S121:计算所述第五类候选车牌图像的第五类车牌相似值,并筛选出第五类车牌相似值中的最大值。
步骤S122:判断筛选得到的第五类车牌相似值中的最大值是否大于预设的第五相似度阈值;在判断结果为大于时,根据预设的第五有效车牌定位规则和所计算得到的第五类车牌相似值,从所述第五类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定未定位到有效车牌图像。
需要说明的是,步骤S120-S122与步骤S102-S104类似,此处不再赘述。
本发明实施例通过设计多级筛选机制的多个串联的分类器,提取摄像头所拍摄到的视频帧图像中的图像的多个特征构成的综合特征,大大提高了利用单一特征定位车牌时容易出现的车牌定位失败或者漏检的情况,同时,当视频帧图像输入提取的哈尔Haar特征输入至第一分类器后未定位到满足条件的候选车牌图像时,进一步对该视频帧图像进行了多次旋转,将旋转后的图像再次输入至第一分类器,这样能够提高因图像拍摄角度所带来的定位失败或漏检的情况,显然,通过层层的分类器对该视频帧图像中的候选车牌图像的搜索,提高了准确定位车牌的可能性,降低了定位失败或者漏检情况的机率。
在本发明的一种具体实施例中,在图1所示的车牌定位的方法的基础之上,还可以进一步对定位到的有效车牌图像进行细定位处理,具体可以包括以下步骤:
(1)对定位到的有效车牌图像进行去杂二值化处理,得到仅包含车牌部分的有效车牌图像;
(2)利用霍夫变换Hough变换对去杂后的有效车牌图像进行车牌区域的边缘检测,并提取出该车牌区域的边缘,参见图5,图5(a)和图5(b)为本发明实施例提供的霍夫变换后的结果示意图;
(3)根据提取到的车牌区域的边缘,计算出车牌区域在水平和/或竖直方向倾斜角;
(4)基于计算得到的倾斜角,对车牌区域的图像进行水平校正与错切校正处理,获得校正后的车牌图像;
(5)对所获得的校正后的车牌图像在竖直方向上进行垂直方向梯度处理,确定出校正后的车牌图像的上下边界,同时,根据与预设阈值的比较初步确定出校正后的车牌图像的左右边界;
(6)利用洪泛法去除所确定出的上下左右四个边界中的边缘碎块,对所确定出的车牌图像的上下左右四个边界进行了优化处理。
其中,本发明中所提及的“去杂二值化处理”,主要可以包括以下步骤:
1)根据拓宽后的车牌图像的灰度图中的顶部区域的像素点的像素值之和的大小来判断该车牌图像所对应的车身颜色是否为浅色。
在本发明的一种具体实现方式中,可以将已确定出上下左右四个边界的车牌图像分别在上下向上拓宽0.125倍的车牌高度且在左右方向上拓宽0.125倍的车牌宽度;设定拓宽后的车牌图像顶部0.125倍高度部分图像的灰度值之和,若大于该区域图像大小全部为纯白像素点255情况下灰度值之和的50%时,判断为浅色车身,否则判断为深色车身。
2)根据所获得的车身颜色,对该车牌图像所对应的有效车牌图像进行二值化处理,获得二值化图像A,参见图6(a)。
在本发明的一种具体的实现方式中,可以包括:
在步骤1)中判断为浅色车身时,选取该车牌图像所对应的有效车牌图像的彩色图像在HSV颜色空间中的S通道,对该S通道所对应的有效车牌图像进行二值化处理;
在步骤1)中判断为深色车身时,需要结合车牌颜色进行如下处理:若为蓝色车牌,选取RGB颜色空间中的B通道所对应的有效车牌图像进行二值化处理,若为黄色车牌或白色车牌,选取RGB颜色空间中的G、R通道合并处理,并对合并后的有效车牌图像进行二值化处理。
3)选取该车牌图像所对应的有效车牌图像的彩色图像的Lab颜色空间中的b通道,并进行二值化处理,获得二值化图像B,参见图6(b)。
4)将步骤2)中得到的二值化图像A与步骤3)中得到的二值化图像B中处于对应位置的像素点进行比较,若对应位置的像素点的像素值一致,则将二值化图像A中对应的像素点的像素值设置为255。
5)计算步骤4)处理后的二值化图像A中的空白像素点所占的比值,当该比值大于预设的空白阈值时,确定用二值化图像B来代替二值化图像A来进行后续处理,参见图6(c),否则仍用二值化图像A进行后续处理。
优选的,预设的空白阈值可以设置为90%。当然,本发明并不需要对该阈值的具体数值进行限定,本领域内的技术人员需要根据实际应用中的具体情况进行合理的设置。
6)将步骤5)中确定出的二值化图像利用洪泛法去除该图像中的非连通杂项区域,参见图6(d),完成对定位到的有效车牌图像的细定位处理。
图7为本发明实施例提供的一种车牌定位装置的结构示意图,该装置可以包括以下模块:
第一车牌序列获得模块201,用于提取待定位车牌的视频帧图像的哈尔Haar特征,并将所述Haar特征输入至预先建立的第一分类器中,得到与所述视频帧图像对应的第一类车牌图像信息序列。
其中,第一类车牌图像信息序列中包含视频帧图像中搜索到的第一类候选车牌图像的位置信息。
其中,第一分类器为:基于提取到的针对预定的第一样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器。
第一车牌图像确定模块202,用于基于所述第一类候选车牌图像的位置信息,确定所述视频帧图像中的第一类候选车牌图像。
第一车牌相似度计算模块203,用于计算所述第一类候选车牌图像的第一类车牌相似值,并筛选出第一类车牌相似值中的最大值。
在本发明的一种具体实现方式中,第一车牌相似度计算模块203,可以用于:
A:对第一类候选车牌图像进行二值化处理;
B:对二值化处理后得到的第一类候选车牌图像进行开运算形态学变换;
C:通过Sobel算法对经开运算形态学变换后的第一类候选车牌图像进行垂直滤波处理,得到开运算形态学变换后的第一类候选车牌图像的第一类垂直梯度图像;
D:通过Canny算法对所述第一类垂直梯度图像进行边缘检测,获得第一类边缘图像;
E:针对所述第一类边缘图像中提取到的边缘按照垂直方向进行六等分,计算每一等分中边缘部分像素点在水平方向的跳变均值;
其中,由于通过步骤D检测得到的边缘图像中,边缘部分为的像素点的像素值为255,非边缘部分的像素点的像素值为0。因此,当从步骤E六等分之后得到的任一高度,按照从首至尾的顺序遍历该行像素点时,就会出现黑白点的交替变换,当连续两个像素点的像素值不同时就记为一次跳变,统计该行跳变次数,就能够得到每一等分中边缘部分像素点在水平方向的跳变均值。
F:计算所述跳变均值的平均值,将计算得到的所述平均值确定为所述第一类候选车牌图像的第一类车牌相似值。
需要说明的是,上述计算任一第一类候选车牌图像的第一类车牌相似值的过程仅仅是举例,本发明实施例不需要对车牌相似值的计算过程进行限定,任何可能的实现方式均可以应用于本发明。
第一车牌相似度判断模块204,用于判断筛选得到的第一类车牌相似值中的最大值是否大于预设的第一相似度阈值;在判断结果为大于时,触发第一车牌定位子模块205,否则触发第二车牌序列获得模块206。
第一车牌定位子模块205,用于根据预设的第一有效车牌定位规则和所计算得到的第一类车牌相似值,从所述第一类候选车牌图像中定位到至少一个有效车牌图像。
其中,第一车牌定位子模块205,具体用于:
将所述第一类车牌相似值中的最大值所对应的第一类候选车牌图像确定为定位到的有效车牌图像;或将所述第一类车牌相似值中,大于预设的第一定位阈值的第一类车牌相似值所对应的第一类候选车牌图像确定为定位到有效车牌图像。
第二车牌序列获得模块206,用于根据预设的图像旋转规则,对所述视频帧图像进行N次旋转,将每一次旋转后所得的视频帧图像再次输入至所述第一分类器中,获得N个第二类车牌图像信息序列。
第二车牌图像确定模块207,用于基于所述第二类车牌图像信息序列中的第二类候选车牌图像的位置信息,确定所述视频帧图像中的第二类候选车牌图像。
第二车牌相似度计算模块208,用于计算每一第二类车牌图像信息序列所对应的第二类候选车牌图像的第二类车牌相似值,并筛选出每一第二类车牌图像信息序列所对应的第二类候选车牌图像的第二类车牌相似值中的最大值,进而,从筛选得到的各个第二类车牌相似值中的最大值中,确定出数值最大的目标第二类车牌相似值。
第二车牌相似度判断模块209,用于判断所述目标第二类车牌相似值是否大于预设的第二相似度阈值,如果大于,触发第二车牌定位子模块210,否则触发第三车牌序列获得模块211。
第二车牌定位子模块210,用于根据预设的第二有效车牌定位规则和所计算得到的第二类车牌相似值,从所述目标第二类车牌相似值所对应的第二类车牌图像信息序列所针对的第二类候选车牌图像中定位到至少一个有效车牌图像。
第三车牌序列获得模块211,用于继续提取所述视频帧图像的局部二值模式LBP特征,并将所述LBP特征输入至预先建立的第二分类器中,得到与所述视频帧图像对应的第三类车牌图像信息序列。
其中,第三类车牌图像信息序列中包含视频帧图像中搜索到的第三类候选车牌图像的位置信息。
其中,第二分类器为:基于提取到的针对预定的第二样本图像集合中各个图像的局部二值模式LBP特征,并采用自适应提升算法Adaboost算法训练得到的分类器。
第三车牌图像确定模块212,用于基于所述第三类候选车牌图像的位置信息,确定所述视频帧图像中的第三类候选车牌图像;
第三车牌相似度计算模块213,用于计算所述第三类候选车牌图像的第三类车牌相似值,并筛选出第三类车牌相似值中的最大值;
第三车牌相似度判断模块214,用于判断筛选得到的第三类车牌相似值的最大值是否大于预设的第三相似度阈值;在判断结果为大于时,根据预设的第三有效车牌定位规则和所计算得到的第三类车牌相似值,从所述第三类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定通过所述第一分类器和第二分类器未定位到有效车牌图像。
本发明实施例通过设计多级筛选机制的多个串联的分类器,提取摄像头所拍摄到的视频帧图像中的图像的多个特征构成的综合特征,大大提高了利用单一特征定位车牌时容易出现的车牌定位失败或者漏检的情况,同时,当视频帧图像输入提取的哈尔Haar特征输入至第一分类器后未定位到满足条件的候选车牌图像时,进一步对该视频帧图像进行了多次旋转,将旋转后的图像再次输入至第一分类器,这样能够提高因图像拍摄角度所带来的定位失败或漏检的情况,显然,通过层层的分类器对该视频帧图像中的候选车牌图像的搜索,提高了准确定位车牌的可能性,降低了定位失败或者漏检情况的机率。
在本发明的一种具体实施例中,为了提高车牌图像定位的准确性,在图7所示的车牌定位装置的基础之上,还可以包括以下模块:
第四车牌序列获得模块,用于将所述Haar特征输入至预先建立的第三分类器中,得到与所述视频帧图像对应的第四类车牌图像信息序列。
其中,第四类车牌图像信息序列中包含视频帧图像中搜索到的第四类候选车牌图像的位置信息。
其中,第三分类器为:基于提取到的针对预定的第三样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器。
第四车牌图像确定模块,用于基于所述第四类候选车牌图像的位置信息,确定所述视频帧图像中的第四类候选车牌图像。
第四车牌相似度计算模块,用于计算所述第四类候选车牌图像的第四类车牌相似值,并筛选出第四类车牌相似值中的最大值。
第四车牌相似度判断模块,用于判断筛选得到的第四类车牌相似值中的最大值是否大于预设的第四相似度阈值;在判断结果为大于时,根据预设的第四有效车牌定位规则和所计算得到的第四类车牌相似值,从所述第四类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定通过所述第一分类器、第二分类器和第三分类器未定位到有效车牌图像。
在本发明的另一种具体实施例中,该装置还可以进一步包括以下模块:
第五车牌序列获得模块,用于将所述Haar特征输入至预先建立的第四分类器中,得到与所述视频帧图像对应的第五类车牌图像信息序列。
其中,第五类车牌图像信息序列中包含视频帧图像中搜索到的第五类候选车牌图像的位置信息。
其中,第四分类器为:基于提取到的针对第四样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器。
第五车牌图像确定模块,用于基于所述第五类候选车牌图像的位置信息,确定所述视频帧图像中的第五类候选车牌图像。
第五车牌相似度计算模块,用于计算所述第五类候选车牌图像的第五类车牌相似值,并筛选出第五类车牌相似值中的最大值。
第五车牌相似度判断模块,用于判断筛选得到的第五类车牌相似值中的最大值是否大于预设的第五相似度阈值;在判断结果为大于时,根据预设的第五有效车牌定位规则和所计算得到的第五类车牌相似值,从所述第五类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定未定位到有效车牌图像。
本发明实施例通过设计多级筛选机制的多个串联的分类器,提取摄像头所拍摄到的视频帧图像中的图像的多个特征构成的综合特征,大大提高了利用单一特征定位车牌时容易出现的车牌定位失败或者漏检的情况,同时,当视频帧图像输入提取的哈尔Haar特征输入至第一分类器后未定位到满足条件的候选车牌图像时,进一步对该视频帧图像进行了多次旋转,将旋转后的图像再次输入至第一分类器,这样能够提高因图像拍摄角度所带来的定位失败或漏检的情况,显然,通过层层的分类器对该视频帧图像中的候选车牌图像的搜索,提高了准确定位车牌的可能性,降低了定位失败或者漏检情况的机率。
对于系统或装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种车牌定位方法,其特征在于,所述方法包括:
提取待定位车牌的视频帧图像的哈尔Haar特征,并将所述Haar特征输入至预先建立的第一分类器中,得到与所述视频帧图像对应的第一类车牌图像信息序列,其中,所述第一类车牌图像信息序列中包含视频帧图像中搜索到的第一类候选车牌图像的位置信息,所述第一分类器为:基于提取到的针对预定的第一样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
基于所述第一类候选车牌图像的位置信息,确定所述视频帧图像中的第一类候选车牌图像;
计算所述第一类候选车牌图像的第一类车牌相似值,并筛选出第一类车牌相似值中的最大值;
判断筛选得到的第一类车牌相似值中的最大值是否大于预设的第一相似度阈值:
在判断结果为大于时,根据预设的第一有效车牌定位规则和所计算得到的第一类车牌相似值,从所述第一类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,根据预设的图像旋转规则,对所述视频帧图像进行N次旋转,将每一次旋转后所得的视频帧图像再次输入至所述第一分类器中,获得N个第二类车牌图像信息序列,基于所述第二类车牌图像信息序列中的第二类候选车牌图像的位置信息,确定所述视频帧图像中的第二类候选车牌图像,计算每一第二类车牌图像信息序列所对应的第二类候选车牌图像的第二类车牌相似值,并筛选出每一第二类车牌图像信息序列所对应的第二类候选车牌图像的第二类车牌相似值中的最大值,进而,从筛选得到的各个第二类车牌相似值中的最大值中,确定出数值最大的目标第二类车牌相似值,判断所述目标第二类车牌相似值是否大于预设的第二相似度阈值,如果大于,根据预设的第二有效车牌定位规则和所计算得到的第二类车牌相似值,从所述目标第二类车牌相似值所对应的第二类车牌图像信息序列所针对的第二类候选车牌图像中定位到至少一个有效车牌图像,如果不大于,则
继续提取所述视频帧图像的局部二值模式LBP特征,并将所述LBP特征输入至预先建立的第二分类器中,得到与所述视频帧图像对应的第三类车牌图像信息序列,其中,所述第三类车牌图像信息序列中包含视频帧图像中搜索到的第三类候选车牌图像的位置信息,所述第二分类器为:基于提取到的针对预定的第二样本图像集合中各个图像的局部二值模式LBP特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
基于所述第三类候选车牌图像的位置信息,确定所述视频帧图像中的第三类候选车牌图像;
计算所述第三类候选车牌图像的第三类车牌相似值,并筛选出第三类车牌相似值中的最大值;
判断筛选得到的第三类车牌相似值的最大值是否大于预设的第三相似度阈值;在判断结果为大于时,根据预设的第三有效车牌定位规则和所计算得到的第三类车牌相似值,从所述第三类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定通过所述第一分类器和第二分类器未定位到有效车牌图像。
2.根据权利要求1所述的方法,其特征在于,计算任一第一类候选车牌图像的第一类车牌相似值的过程,包括:
对第一类候选车牌图像进行二值化处理;
对二值化处理后得到的第一类候选车牌图像进行开运算形态学变换;
通过Sobel算法对经开运算形态学变换后的第一类候选车牌图像进行垂直滤波处理,得到开运算形态学变换后的第一类候选车牌图像的第一类垂直梯度图像;
通过Canny算法对所述第一类垂直梯度图像进行边缘检测,获得第一类边缘图像;
针对所述第一类边缘图像中提取到的边缘按照垂直方向进行六等分,计算每一等分中边缘部分像素点在水平方向的跳变均值;
计算所述跳变均值的平均值,将计算得到的所述平均值确定为所述第一类候选车牌图像的第一类车牌相似值。
3.根据权利要求1所述的方法,其特征在于,所述根据预设的第一有效车牌定位规则和所计算得到的第一类车牌相似值,从所述第一类候选车牌图像中定位到至少一个有效车牌图像,包括:
将所述第一类车牌相似值中的最大值所对应的第一类候选车牌图像确定为定位到的有效车牌图像;
或
将所述第一类车牌相似值中,大于预设的第一定位阈值的第一类车牌相似值所对应的第一类候选车牌图像确定为定位到有效车牌图像。
4.根据权利要求1所述的方法,其特征在于,所述确定通过所述第一分类器和第二分类器未定位到有效车牌图像之后,所述方法还包括:
将所述Haar特征输入至预先建立的第三分类器中,得到与所述视频帧图像对应的第四类车牌图像信息序列,其中,所述第四类车牌图像信息序列中包含视频帧图像中搜索到的第四类候选车牌图像的位置信息,所述第三分类器为:基于提取到的针对预定的第三样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
基于所述第四类候选车牌图像的位置信息,确定所述视频帧图像中的第四类候选车牌图像;
计算所述第四类候选车牌图像的第四类车牌相似值,并筛选出第四类车牌相似值中的最大值;
判断筛选得到的第四类车牌相似值中的最大值是否大于预设的第四相似度阈值;在判断结果为大于时,根据预设的第四有效车牌定位规则和所计算得到的第四类车牌相似值,从所述第四类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定通过所述第一分类器、第二分类器和第三分类器未定位到有效车牌图像。
5.根据权利要求4所述的方法,其特征在于,所述确定通过所述第一分类器、第二分类器和第三分类器未定位到有效车牌图像之后,所述方法还包括:
将所述Haar特征输入至预先建立的第四分类器中,得到与所述视频帧图像对应的第五类车牌图像信息序列,其中,所述第五类车牌图像信息序列中包含视频帧图像中搜索到的第五类候选车牌图像的位置信息,所述第四分类器为:基于提取到的针对第四样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
基于所述第五类候选车牌图像的位置信息,确定所述视频帧图像中的第五类候选车牌图像;
计算所述第五类候选车牌图像的第五类车牌相似值,并筛选出第五类车牌相似值中的最大值;
判断筛选得到的第五类车牌相似值中的最大值是否大于预设的第五相似度阈值;在判断结果为大于时,根据预设的第五有效车牌定位规则和所计算得到的第五类车牌相似值,从所述第五类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定未定位到有效车牌图像。
6.一种车牌定位装置,其特征在于,所述装置包括:
第一车牌序列获得模块,用于提取待定位车牌的视频帧图像的哈尔Haar特征,并将所述Haar特征输入至预先建立的第一分类器中,得到与所述视频帧图像对应的第一类车牌图像信息序列,其中,所述第一类车牌图像信息序列中包含视频帧图像中搜索到的第一类候选车牌图像的位置信息,所述第一分类器为:基于提取到的针对预定的第一样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
第一车牌图像确定模块,用于基于所述第一类候选车牌图像的位置信息,确定所述视频帧图像中的第一类候选车牌图像;
第一车牌相似度计算模块,用于计算所述第一类候选车牌图像的第一类车牌相似值,并筛选出第一类车牌相似值中的最大值;
第一车牌相似度判断模块,用于判断筛选得到的第一类车牌相似值中的最大值是否大于预设的第一相似度阈值;在判断结果为大于时,根据预设的第一有效车牌定位规则和所计算得到的第一类车牌相似值,从所述第一类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,触发第二车牌序列获得模块;
所述第二车牌序列获得模块,用于根据预设的图像旋转规则,对所述视频帧图像进行N次旋转,将每一次旋转后所得的视频帧图像再次输入至所述第一分类器中,获得N个第二类车牌图像信息序列;
第二车牌图像确定模块,用于基于所述第二类车牌图像信息序列中的第二类候选车牌图像的位置信息,确定所述视频帧图像中的第二类候选车牌图像;
第二车牌相似度计算模块,用于计算每一第二类车牌图像信息序列所对应的第二类候选车牌图像的第二类车牌相似值,并筛选出每一第二类车牌图像信息序列所对应的第二类候选车牌图像的第二类车牌相似值中的最大值,进而,从筛选得到的各个第二类车牌相似值中的最大值中,确定出数值最大的目标第二类车牌相似值;
第二车牌相似度判断模块,用于判断所述目标第二类车牌相似值是否大于预设的第二相似度阈值,如果大于,根据预设的第二有效车牌定位规则和所计算得到的第二类车牌相似值,从所述目标第二类车牌相似值所对应的第二类车牌图像信息序列所针对的第二类候选车牌图像中定位到至少一个有效车牌图像,如果不大于,则触发第三车牌序列获得模块;
所述第三车牌序列获得模块,用于继续提取所述视频帧图像的局部二值模式LBP特征,并将所述LBP特征输入至预先建立的第二分类器中,得到与所述视频帧图像对应的第三类车牌图像信息序列,其中,所述第三类车牌图像信息序列中包含视频帧图像中搜索到的第三类候选车牌图像的位置信息,所述第二分类器为:基于提取到的针对预定的第二样本图像集合中各个图像的局部二值模式LBP特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
第三车牌图像确定模块,用于基于所述第三类候选车牌图像的位置信息,确定所述视频帧图像中的第三类候选车牌图像;
第三车牌相似度计算模块,用于计算所述第三类候选车牌图像的第三类车牌相似值,并筛选出第三类车牌相似值中的最大值;
第三车牌相似度判断模块,用于判断筛选得到的第三类车牌相似值的最大值是否大于预设的第三相似度阈值;在判断结果为大于时,根据预设的第三有效车牌定位规则和所计算得到的第三类车牌相似值,从所述第三类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定通过所述第一分类器和第二分类器未定位到有效车牌图像。
7.根据权利要求6所述的装置,其特征在于,所述第一车牌相似度计算模块,用于:
对第一类候选车牌图像进行二值化处理;
对二值化处理后得到的第一类候选车牌图像进行开运算形态学变换;
通过Sobel算法对经开运算形态学变换后的第一类候选车牌图像进行垂直滤波处理,得到开运算形态学变换后的第一类候选车牌图像的第一类垂直梯度图像;
通过Canny算法对所述第一类垂直梯度图像进行边缘检测,获得第一类边缘图像;
针对所述第一类边缘图像中提取到的边缘按照垂直方向进行六等分,计算每一等分中边缘部分像素点在水平方向的跳变均值;
计算所述跳变均值的平均值,将计算得到的所述平均值确定为所述第一类候选车牌图像的第一类车牌相似值。
8.根据权利要求6所述的装置,其特征在于,所述第一车牌相似度判断模块包括用于根据预设的第一有效车牌定位规则和所计算得到的第一类车牌相似值从所述第一类候选车牌图像中定位到至少一个有效车牌图像的第一车牌定位子模块;
所述第一车牌定位子模块,具体用于:
将所述第一类车牌相似值中的最大值所对应的第一类候选车牌图像确定为定位到的有效车牌图像;或将所述第一类车牌相似值中,大于预设的第一定位阈值的第一类车牌相似值所对应的第一类候选车牌图像确定为定位到有效车牌图像。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第四车牌序列获得模块,用于将所述Haar特征输入至预先建立的第三分类器中,得到与所述视频帧图像对应的第四类车牌图像信息序列,其中,所述第四类车牌图像信息序列中包含视频帧图像中搜索到的第四类候选车牌图像的位置信息,所述第三分类器为:基于提取到的针对预定的第三样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
第四车牌图像确定模块,用于基于所述第四类候选车牌图像的位置信息,确定所述视频帧图像中的第四类候选车牌图像;
第四车牌相似度计算模块,用于计算所述第四类候选车牌图像的第四类车牌相似值,并筛选出第四类车牌相似值中的最大值;
第四车牌相似度判断模块,用于判断筛选得到的第四类车牌相似值中的最大值是否大于预设的第四相似度阈值;在判断结果为大于时,根据预设的第四有效车牌定位规则和所计算得到的第四类车牌相似值,从所述第四类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定通过所述第一分类器、第二分类器和第三分类器未定位到有效车牌图像。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第五车牌序列获得模块,用于将所述Haar特征输入至预先建立的第四分类器中,得到与所述视频帧图像对应的第五类车牌图像信息序列,其中,所述第五类车牌图像信息序列中包含视频帧图像中搜索到的第五类候选车牌图像的位置信息,所述第四分类器为:基于提取到的针对第四样本图像集合中各个图像的哈尔Haar特征,并采用自适应提升算法Adaboost算法训练得到的分类器;
第五车牌图像确定模块,用于基于所述第五类候选车牌图像的位置信息,确定所述视频帧图像中的第五类候选车牌图像;
第五车牌相似度计算模块,用于计算所述第五类候选车牌图像的第五类车牌相似值,并筛选出第五类车牌相似值中的最大值;
第五车牌相似度判断模块,用于判断筛选得到的第五类车牌相似值中的最大值是否大于预设的第五相似度阈值;在判断结果为大于时,根据预设的第五有效车牌定位规则和所计算得到的第五类车牌相似值,从所述第五类候选车牌图像中定位到至少一个有效车牌图像,在判断结果为不大于时,确定未定位到有效车牌图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510458607.9A CN105117724B (zh) | 2015-07-30 | 2015-07-30 | 一种车牌定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510458607.9A CN105117724B (zh) | 2015-07-30 | 2015-07-30 | 一种车牌定位方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105117724A CN105117724A (zh) | 2015-12-02 |
| CN105117724B true CN105117724B (zh) | 2018-04-20 |
Family
ID=54665707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510458607.9A Active CN105117724B (zh) | 2015-07-30 | 2015-07-30 | 一种车牌定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105117724B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056161B (zh) * | 2016-06-02 | 2019-05-31 | 中国人民解放军军事医学科学院卫生装备研究所 | 一种针对平面旋转目标的视觉检测方法 |
| CN109034048A (zh) * | 2018-07-20 | 2018-12-18 | 苏州中德宏泰电子科技股份有限公司 | 人脸识别算法模型切换方法与装置 |
| CN109447154B (zh) * | 2018-10-29 | 2021-06-04 | 网易(杭州)网络有限公司 | 图片相似度检测方法、装置、介质及电子设备 |
| CN111259207A (zh) * | 2018-11-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 短信的识别方法、装置及设备 |
| CN109509355A (zh) * | 2019-01-07 | 2019-03-22 | 黄慧 | 智慧交通信息汇集终端 |
| CN110992283A (zh) * | 2019-11-29 | 2020-04-10 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
| CN113920596A (zh) * | 2021-10-17 | 2022-01-11 | 绿城科技产业服务集团有限公司 | 面向无人值守停车场的车牌识别数据再匹配方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6553131B1 (en) * | 1999-09-15 | 2003-04-22 | Siemens Corporate Research, Inc. | License plate recognition with an intelligent camera |
| CN101183425A (zh) * | 2007-12-20 | 2008-05-21 | 四川川大智胜软件股份有限公司 | 粤港两地车牌定位方法 |
| CN101246551A (zh) * | 2008-03-07 | 2008-08-20 | 北京航空航天大学 | 一种快速的车牌定位方法 |
| CN101937508A (zh) * | 2010-09-30 | 2011-01-05 | 湖南大学 | 一种基于高清图像的车牌定位与识别方法 |
-
2015
- 2015-07-30 CN CN201510458607.9A patent/CN105117724B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6553131B1 (en) * | 1999-09-15 | 2003-04-22 | Siemens Corporate Research, Inc. | License plate recognition with an intelligent camera |
| CN101183425A (zh) * | 2007-12-20 | 2008-05-21 | 四川川大智胜软件股份有限公司 | 粤港两地车牌定位方法 |
| CN101246551A (zh) * | 2008-03-07 | 2008-08-20 | 北京航空航天大学 | 一种快速的车牌定位方法 |
| CN101937508A (zh) * | 2010-09-30 | 2011-01-05 | 湖南大学 | 一种基于高清图像的车牌定位与识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105117724A (zh) | 2015-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105117724B (zh) | 一种车牌定位方法及装置 | |
| US10025998B1 (en) | Object detection using candidate object alignment | |
| US10311319B2 (en) | System and method for recognizing vehicle license plate information | |
| CN101937508B (zh) | 一种基于高清图像的车牌定位与识别方法 | |
| CN103903005B (zh) | 车牌影像辨识系统及方法 | |
| Badr et al. | Automatic number plate recognition system | |
| US8059868B2 (en) | License plate recognition apparatus, license plate recognition method, and computer-readable storage medium | |
| Ellahyani et al. | Traffic sign detection and recognition using features combination and random forests | |
| CN104036262B (zh) | 一种lpr车牌筛选识别的方法和系统 | |
| CN103324930A (zh) | 一种基于灰度直方图二值化的车牌字符分割方法 | |
| CN107895492A (zh) | 一种基于传统视频的高速公路智能分析方法 | |
| CN114387591A (zh) | 车牌识别方法、系统、设备及存储介质 | |
| CN107679508A (zh) | 交通标志检测识别方法、装置及系统 | |
| CN103226696B (zh) | 车牌的识别系统及方法 | |
| WO2023279966A1 (zh) | 一种多车道线检测方法、装置及检测设备 | |
| Abedin et al. | Traffic sign recognition using SURF: Speeded up robust feature descriptor and artificial neural network classifier | |
| CN110837760B (zh) | 目标检测方法、用于目标检测的训练方法和装置 | |
| KR101613703B1 (ko) | 차량영상검지와 번호판 영역 추출방법 | |
| Maheswari et al. | An integrated number plate recognition system through images using threshold-based methods and KNN | |
| CN106022268A (zh) | 一种限速标识的识别方法和装置 | |
| Do et al. | Speed limit traffic sign detection and recognition based on support vector machines | |
| CN106778731A (zh) | 一种车牌定位方法及终端 | |
| Rastegar et al. | An intelligent control system using an efficient License Plate Location and Recognition Approach | |
| CN109255052B (zh) | 一种基于多特征的三阶段车辆检索方法 | |
| He et al. | Segmentation of characters on car license plates |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |