CN111758024B - 一种缺陷检测方法及装置 - Google Patents

Abstract

一种缺陷检测方法及装置，方法包括确定待检测图像中的感兴趣区域(11)；将感兴趣区域分割成多个彼此独立且大小相同的卡尺区域(12)；对各个卡尺区域进行垂直边缘检测，垂直边为卡尺区域中与卡尺区域的预设边垂直的线段(13)；基于垂直边获取感兴趣区域的缺陷信息(14)。方法能够准确有效地实现缺陷检测，提高缺陷检测效率。

Description

一种缺陷检测方法及装置

技术领域

本申请涉及图像处理技术领域，具体涉及一种缺陷检测方法及装置。

背景技术

在实际生产应用中，需要依靠机器视觉对物品的表面进行检测，以确认是否存在缺陷等，如：工件表面是否有凹坑、凸起以及破损等；因此，缺陷检测在生产应用中，尤其是产线作业中具有重大的使用价值。缺陷在视觉系统的成像中会出现与周围平面不协调的现象，视觉系统利用这种不协调进行位置定位，然后利用相关算法对这些特征进行度量，从而完成缺陷的定位与测量。

本申请的发明人在长期研发中发现，目前图像处理中虽然具有很多边缘检测算法，如Canny算法、Sobel算法和Laplacian等，这些检测算法能够对图像中的边缘进行检测，且效果优异；但是这些算法仅仅能将边缘信息提取出来，无法对提取出来的边缘筛选分解，难以准确有效地实现缺陷检测。同时，目前的缺陷检测均是基于整个待检测区域进行处理，运算效率低。

发明内容

本申请主要解决的问题是提供一种缺陷检测方法及装置，能够准确有效地实现缺陷检测，提高缺陷检测效率。

为解决上述技术问题，本申请采用的技术方案是提供一种缺陷检测方法，该方法包括：确定待检测图像中的感兴趣区域；将感兴趣区域分割成多个彼此独立且大小相同的卡尺区域；对各个卡尺区域进行垂直边检测，垂直边为卡尺区域中与卡尺区域的预设边垂直的线段；基于垂直边获取感兴趣区域的缺陷信息。

为解决上述技术问题，本申请采用的另一技术方案是提供一种缺陷检测装置，该装置包括依次连接的输入单元、处理器和输出单元；其中，输入单元用于获取待检测图像；处理器用于确定待检测图像中的感兴趣区域；将感兴趣区域分割成多个彼此独立且大小相同的卡尺区域；对各个卡尺区域进行垂直边检测，垂直边为卡尺区域中与卡尺区域的预设边垂直的线段；基于垂直边获取感兴趣区域的缺陷信息；输出单元用于输出缺陷信息。

通过上述方案，本申请的有益效果是：通过提取待检测图像中的感兴趣区域，再将感兴趣区域分割成多个卡尺区域，对每个卡尺区域内的图像进行垂直边检测，从而获取多个卡尺区域内的垂直边信息，再根据每个卡尺区域内的垂直边信息获取待检测图像的缺陷，可准确有效地实现缺陷检测，并且降低了处理运算量，提高了缺陷检测效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的缺陷检测方法一实施例的流程示意图；

图2是本申请提供的缺陷检测方法另一实施例的流程示意图；

图3是本申请提供的缺陷检测方法另一实施例中具有多个卡尺的感兴趣区域的示意图；

图4是本申请提供的缺陷检测方法另一实施例中步骤24对应的像素示意图；

图5是本申请提供的缺陷检测方法另一实施例中第一类缺陷特征以及拟合线的示意图；

图6是本申请提供的缺陷检测方法另一实施例中第二类缺陷特征以及拟合线的示意图；

图7是本申请提供的缺陷检测装置一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参阅图1，图1是本申请提供的缺陷检测方法一实施例的流程示意图，该方法包括：

步骤11：确定待检测图像中的感兴趣区域。

通过摄像装置将待检测的目标物体转换成数字图像，即待检测图像，该待检测图像为具有缺陷的图像，例如，对于零件表面平整度检测来说，该待检测图像为零件表面的投影图像，零件表面投影图像上带有凹坑或凸起等缺陷；待检测图像可以为灰度图像、彩色图像或深度图像，为了方便处理，可以先将彩色图像或深度图像转化成灰度图像。

在获取了待检测图像之后，为了获取待检测图像中的缺陷，在待检测图像中确定感兴趣区域(ROI，Region of Interest)，以减少处理时间，增加精度；ROI为需要处理的区域，其形状可以为矩形或扇形等。

进一步地，为了判断ROI的设置是否合理，需要对ROI进行越界检查，即检验ROI是否超出待检测图像的边界，若ROI未超出待检测图像的边界，则执行步骤12；若ROI超出待检测图像的边界，则可以重新确定ROI，直至设置的ROI未超界为止。

步骤12：将感兴趣区域分割成多个彼此独立且大小相同的卡尺区域。

将感兴趣区域分割成多个卡尺区域，每个卡尺区域之间具有预设间隔或无间隔，且大小、形状相等，卡尺区域的形状与ROI相似，例如，如果ROI为矩形，则卡尺区域的形状为高窄矩形；如果ROI为扇形，卡尺区域也为高窄扇形，并标记卡尺区域的位置以及大小等信息。

步骤13：对各个卡尺区域进行垂直边检测。

垂直边为卡尺区域中与卡尺区域的预设边垂直的线段。

边缘是一组相连像素的几何特征，通常它们位于两个不同区域之间像素灰度跃变的地方；利用边缘检测算法可以对每个卡尺区域内的图像进行边缘检测，以获得每个卡尺区域内的边缘信息；其中，边缘检测算法为通过对邻域像素求取一阶导数、二阶导数及梯度来实现，为了简化求导的过程可以采用卷积运算的方法进行卷积运算，该边缘信息包括边缘所在的位置以及像素值。

步骤14：基于垂直边获取感兴趣区域的缺陷信息。

对于获取到的多个边缘信息进行筛选，以剔除虚假的缺陷，获得真真实的缺陷信息。

为了对待检测图像进行缺陷检测，首先提取对待检测图像中的感兴趣区域，然后将感兴趣区域分割成多个卡尺区域，对每个卡尺区域内的图像进行垂直边检测，从而获取多个卡尺区域内的垂直边，再根据每个卡尺区域内的垂直边获取待检测图像的缺陷，从而准确有效地实现缺陷检测，并且降低了处理运算量，提高了缺陷检测效率。

参阅图2，图2是本申请提供的缺陷检测方法另一实施例的流程示意图，该方法包括：

步骤21：确定待检测图像中的感兴趣区域。

其中，步骤21与上述实施例中步骤11类似，在此不再赘述。

步骤22：将感兴趣区域分割成多个彼此独立且大小相同的的卡尺区域。

卡尺区域沿预设边的方向的宽度大于沿垂直边的方向的高度；用户可以根据需要设置卡尺区域的宽度、高度、初始偏移以及重复偏移，或者设置其为默认值；其中，初始偏移为第一个卡尺区域的起始位置在垂直边的方向上与感兴趣区域的起始位置的距离，第一个卡尺区域为最靠近感兴趣区域起始位置的卡尺区域，重复偏移为相邻的卡尺区域的起始位置在预设边的方向上的距离；将卡尺区域在预设边的方向上的宽度设置成等于ROI在预设边的方向上的宽度。

在一个具体的实施例中，如图3所示，ROI为矩形区域，垂直边的方向为水平向右的方向，即图像的Y轴的正方向，预设边的方向为竖直向下的方向，即图像的X轴的正方向，初始偏移为0，即第一个卡尺区域的起始位置与ROI的起始位置重合，重复偏移可以为5个像素，以实现离散采样；可以根据用户给定的参数自动调整卡尺区域的高度和重复偏移的值来自适应调整卡尺区域的尺寸，使得卡尺区域可以覆盖整个感兴趣区域。在其他实施例中，例如，当ROI为扇形区域时，垂直边的方向可以设置为扇形区域的周向方向，预设边的方向可以设置为扇形区域的径向方向。

步骤23：沿与预设边垂直的方向对各卡尺区域内的像素信息进行压缩，得到各个卡尺区域对应的一维向量。

为了获取各个卡尺区域对应的的一维向量，沿与预设边垂直的方向对各卡尺区域内的每行像素的灰度值进行求和平均，该像素信息包括卡尺区域内的像素值；具体地，如图4所示，对于具有4*3个像素的卡尺区域，对卡尺区域内像素值进行求和再平均，即像素值A＝(a1+a2+a3)/3、B＝(b1+b2+b3)/3、C＝(c1+c2+c3)/3以及D＝(d1+d2+d3)/3，通过对像素值进行沿预设边的方向上的求和平均，将卡尺区域内的像素值压缩成一维列向量；此外，为了方便处理，可以对该一维列向量进行转置，最终可以得到一维行向量。

步骤24：对各个一维向量进行垂直边检测，以获得各个卡尺区域内的边缘点。

卡尺区域内经过边缘点且与预设边垂直的线段为垂直边；对于压缩得到的一维行向量，利用边缘检测算法进行边缘检测；具体地，对各个一维行向量进行一阶求导或进行卷积运算；在利用卷积运算对该一维行向量进行处理时，卷积核的尺寸可以为1*3或1*5；对求导或卷积后的结果进行非极值抑制处理，将非边缘点筛除；然后根据筛选后的边缘点处的对比度，获取筛选后的边缘点处的对比度，对获取到的对比度进行阈值化处理，保留对比度符合预设阈值条件的边缘点；具体地，预设阈值的取值范围为0～255，用作边缘点筛选的依据，利用此参数对垂直边检测后的图像进行阈值化处理，将对比度小于此阈值的边缘点过滤掉，在一具体的实施例中，该预设阈值为25。

步骤25：从卡尺区域内的垂直边中筛选出最佳垂直边。

将每个具有边缘点的卡尺区域内沿与预设边垂直的方向设置的线段作为卡尺区域内的垂直边，例如，如图4所示，若像素值c2所在的位置为边缘点，则垂直边的像素值为[c1,c2,c3]。

在卡尺区域内进行完垂直边检测后，通过非极值抑制和阈值化处理过程，卡尺区域内的垂直边可能还剩若干条；如何对这些垂直边进行筛选是个很重要的过程，如果筛选不合理，对于理想垂直边的拟合以及缺陷检测的结果将产生极大影响，因此筛选的方法尤其重要。

本实施例中为了筛选出待检测图像的真实缺陷，根据各垂直边的对比度和位置度对各垂直边进行评分；具体地，可以将对比度得分和位置度得分进行线性组合，以得到评分值；然后选择评分最高的垂直边作为最佳垂直边。

其中，对比度越高，评分越高，位置度为沿预设方向查找到垂直边的顺序值，且垂直边越先查找到，评分越高。

步骤26：取卡尺区域内最佳垂直边上的点进行线拟合，以获得拟合线。

取最佳垂直边上的中点进行线拟合，具体地，选取最佳垂直边的中点作为拟合点，基于多个拟合点利用拟合算法进行拟合，在一实施例中可以利用最小二乘法进行直线拟合或者曲线拟合，以得到拟合线，该拟合线为理想的无缺陷边缘。在拟合过程中，可首先基于所有的最佳垂直边上的拟合点进行拟合，得到一条拟合线，然后计算每个拟合点与拟合线之间的最短距离，筛选掉最短距离大于第一距离阈值的拟合点对应的最佳垂直边，即将离拟合线较远的像素点筛选掉，以免影响拟合效果，这些被筛选掉的像素点所在的位置一般为缺陷。进一步，利用保留的最佳垂直边重新进行线拟合，以重新得到的拟合线替代重新进行线拟合前的拟合线。

步骤27：根据最佳垂直边与拟合线之间的相对位置关系对卡尺区域进行缺陷标记。

为了进行缺陷的检测，可以遍历每个卡尺区域，判断每个卡尺区域内是否存在最佳垂直边；若卡尺区域内不存在垂直边，则将该卡尺区域标记为存在第一类缺陷特征；若卡尺区域内存在最佳垂直边，从卡尺区域内的垂直边中筛选出最佳垂直边。

进一步地，判断最佳垂直边上的拟合点与拟合线之间的最短距离是否大于预设的第二距离阈值。若最佳垂直边上的拟合点与拟合线之间的最短距离大于预设的第二距离阈值，则将该卡尺区域标记为存在第二类缺陷特征；否则，则认为此卡尺区域内不存在缺陷，即非缺陷区域，具有真实的边缘。

在一具体的实施例中，第一类缺陷可以为间隙特征，第二类缺陷可以为非间隙特征的其他缺陷特征。例如，对于标准的表面，如平面和圆面等，由于各种原因导致其表面出现凸起或者欠缺，这些非正常的表面特征统称为缺陷；对于较大的欠缺部分，将其称之为第一类缺陷特征，亦可称为间隙特征，间隙特征是缺陷的一种特殊形式；对于凸起及较小欠缺部分，将其称为第二类缺陷特征。

此外，还可以在标记出第一类缺陷特征或第二类缺陷特征之后，统计缺陷区域内的缺陷参数；具体地，对第一类缺陷特征和/或第二类缺陷特征的缺陷参数进行计算，缺陷参数包括沿垂直边的方向的宽度、沿预设边的方向的高度以及面积中的至少一个；其中，宽度可以为重复偏移的整数倍，缺陷高度为缺陷处离拟合线最远的拟合点到拟合线的距离，间隙高度由用户设置或者为默认值。

例如，如图5所示，有3个拟合点A、B和C，由于第三个卡尺区域和第四个卡尺区域内不存在拟合点，则判定这两个区域内具有第一类缺陷特征；或者，如图6所示，在筛选之后，得到5个拟合点A-E，基于这5个点，得到图中拟合线，根据拟合点与拟合线之间的距离，从而判定拟合点C和D为缺陷点，拟合点A、B和E为真实边缘点，第二类缺陷特征为由拟合点C、D以及拟合边缘构成的区域。

在获取待检测图像中的感兴趣区域之后，沿着与预设边垂直的方向对感兴趣区域进行微分，将感兴趣区域分割成多个卡尺区域，然后沿着与预设边垂直的方向对卡尺区域内的像素进行压缩，以获取一个边缘行向量，然后对其进行一阶求导，获取每个卡尺区域内的满足要求的边缘，相比现有技术，本实施例能够将复杂的边缘检测分解成简单的一维行向量边缘检测，减小算法的复杂度，节省处理时间。

此外，本实施例利用非极值抑制算法以及阈值化处理，进行第一次筛选以得到准确的边缘，获得该边缘处的对比度，并获取该对比度对应的边缘像素值，然后再对得到的边缘评分以进行第二次筛选，获取到卡尺区域内的最佳垂直边，通过对最佳垂直边上的点进行拟合，得到拟合边缘，根据拟合点到拟合边的距离，最终筛选出第一类缺陷特征和第二类缺陷特征；利用“微分”的理念将待检测边缘线段分解成多个小边缘线段，以便筛选出最合理的小边缘线段以便进行拟合和缺陷检测，通过对边缘评分，实现了对边缘线段的二次筛选，准确有效地检测出真实缺陷，并且降低了处理运算量，提高缺陷检测效率；而普通的边缘检测只能找到边缘信息，无法对边缘信息进行评分和筛选，无法完成线拟合以及缺陷检测。

参阅图7，图7是本申请提供的缺陷检测装置一实施例的结构示意图，该装置包括依次连接的输入单元71、处理器72和输出单元73。

其中，输入单元71用于获取待检测图像；处理器72用于确定待检测图像中的感兴趣区域；将感兴趣区域分割成多个彼此独立且大小相同的卡尺区域；对各卡尺区域进行垂直边检测，垂直边为卡尺区域中与卡尺区域的预设边垂直的线段；基于垂直边获取感兴趣区域的缺陷信息；输出单元73用于输出缺陷信息。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种缺陷检测方法，其特征在于，包括：

确定待检测图像中的感兴趣区域；

将所述感兴趣区域分割成多个彼此独立且大小相同的卡尺区域；

对各个所述卡尺区域进行垂直边检测，所述垂直边为所述卡尺区域中与所述卡尺区域的预设边垂直的线段；

基于所述垂直边获取所述感兴趣区域的缺陷信息；

所述卡尺区域沿预设边的方向的宽度大于沿所述垂直边的方向的高度；

所述对各个所述卡尺区域进行垂直边检测，包括：

沿与所述预设边垂直的方向对各所述卡尺区域内的像素信息进行压缩，得到各个卡尺区域对应的一维向量；

对各个所述一维向量进行垂直边检测，以获得各个所述卡尺区域内的边缘点，所述卡尺区域内经过所述边缘点且与所述预设边垂直的线段为所述垂直边；

所述基于所述垂直边获取所述感兴趣区域的缺陷信息，包括：

从所述卡尺区域内的垂直边中筛选出最佳垂直边；

取所述卡尺区域内最佳垂直边上的点进行线拟合，以获得拟合线；

根据所述最佳垂直边与所述拟合线之间的相对位置关系对所述卡尺区域进行缺陷标记；

所述从所述卡尺区域内的垂直边中筛选出最佳垂直边，包括：

根据各所述垂直边的对比度和位置度对各所述垂直边进行评分，所述位置度为沿预设方向查找到所述垂直边的顺序值；

选择评分最高的所述垂直边为所述最佳垂直边。

2.根据权利要求1所述的缺陷检测方法，其特征在于，在所述确定待检测图像中的感兴趣区域之后，将所述感兴趣区域分割成多个彼此独立且大小相同的卡尺区域之前，还包括：

检验所述感兴趣区域是否超出所述待检测图像的边界；

若所述感兴趣区域未超出所述待检测图像的边界，则执行将所述感兴趣区域分割成多个彼此独立且大小相同的卡尺区域的步骤；

若所述感兴趣区域超出所述待检测图像的边界，则重新确定所述感兴趣区域。

3.根据权利要求1所述的缺陷检测方法，其特征在于，所述沿与所述预设边垂直的方向对各所述卡尺区域内的像素信息进行压缩，得到各个卡尺区域对应的一维向量，包括：

对各个所述卡尺区域内在与所述预设边垂直的方向上的每行像素的灰度值进行求和平均。

4.根据权利要求1所述的缺陷检测方法，其特征在于，所述对各个所述一维向量进行边缘检测，以获得各个所述卡尺区域内的边缘点，包括：

对各个所述一维向量进行一阶求导；

对求导结果进行非极值抑制，将非边缘点筛除；

获取筛选后的边缘点处的对比度，保留对比度符合预设阈值条件的边缘点。

5.根据权利要求1所述的缺陷检测方法，其特征在于，取所述卡尺区域内最佳垂直边上的中点进行线拟合。

6.根据权利要求1所述的缺陷检测方法，其特征在于，在所述取所述卡尺区域内最佳垂直边上的点进行线拟合，以获得拟合线之后，还包括：

计算每个拟合点与所述拟合线之间的最短距离，其中，所述拟合点为所述最佳垂直边上的点进行线拟合的点；

筛选掉所述最短距离大于第一距离阈值的所述拟合点对应的所述最佳垂直边；

利用保留的所述最佳垂直边重新进行线拟合，以重新得到的拟合线替代重新进行线拟合前的拟合线。

7.根据权利要求1所述的缺陷检测方法，其特征在于，在从所述卡尺区域内的垂直边中筛选出最佳垂直边之前，还包括：

判断每个所述卡尺区域内是否存在所述最佳垂直边，若不存在所述最佳垂直边，则将所述卡尺区域标记为存在第一类缺陷特征；

若存在所述最佳垂直边，从所述卡尺区域内的垂直边中筛选出最佳垂直边。

8.根据权利要求7所述的缺陷检测方法，其特征在于，所述根据所述最佳垂直边与所述拟合线之间的相对位置关系对所述卡尺区域进行缺陷标记的步骤进一步包括：

判断所述最佳垂直边上的拟合点与所述拟合线之间的最短距离是否大于预设的第二距离阈值；

若大于预设的第二距离阈值，则将所述卡尺区域标记为存在第二类缺陷特征。

9.根据权利要求8所述的缺陷检测方法，其特征在于，还包括：

对所述第一类缺陷特征和/或第二类缺陷特征的缺陷参数进行计算。

10.根据权利要求9所述的缺陷检测方法，其特征在于，所述缺陷参数包括沿所述垂直边的方向的缺陷宽度、沿所述预设边的方向的缺陷高度以及缺陷面积中的至少一个。

11.一种缺陷检测装置，其特征在于，包括依次连接的输入单元、处理器和输出单元；

其中，所述输入单元用于获取待检测图像；所述处理器用于确定所述待检测图像中的感兴趣区域；将所述感兴趣区域分割成多个彼此独立且大小相同的卡尺区域；对各个所述卡尺区域进行垂直边检测，垂直边为卡尺区域中与所述卡尺区域的预设边垂直的线段；基于所述垂直边获取所述感兴趣区域的缺陷信息；所述输出单元用于输出所述缺陷信息；所述卡尺区域沿预设边的方向的宽度大于沿所述垂直边的方向的高度；所述对各个所述卡尺区域进行垂直边检测，包括：沿与所述预设边垂直的方向对各所述卡尺区域内的像素信息进行压缩，得到各个卡尺区域对应的一维向量；对各个所述一维向量进行垂直边检测，以获得各个所述卡尺区域内的边缘点，所述卡尺区域内经过所述边缘点且与所述预设边垂直的线段为所述垂直边；所述基于所述垂直边获取所述感兴趣区域的缺陷信息，包括：从所述卡尺区域内的垂直边中筛选出最佳垂直边；取所述卡尺区域内最佳垂直边上的点进行线拟合，以获得拟合线；根据所述最佳垂直边与所述拟合线之间的相对位置关系对所述卡尺区域进行缺陷标记；所述从所述卡尺区域内的垂直边中筛选出最佳垂直边，包括：

根据各所述垂直边的对比度和位置度对各所述垂直边进行评分，所述位置度为沿预设方向查找到所述垂直边的顺序值；选择评分最高的所述垂直边为所述最佳垂直边。

Images