WO2023070312A1 - 图像处理方法 - Google Patents

图像处理方法 Download PDF

Info

Publication number
WO2023070312A1
WO2023070312A1 PCT/CN2021/126393 CN2021126393W WO2023070312A1 WO 2023070312 A1 WO2023070312 A1 WO 2023070312A1 CN 2021126393 W CN2021126393 W CN 2021126393W WO 2023070312 A1 WO2023070312 A1 WO 2023070312A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
brightness
depth
information
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2021/126393
Other languages
English (en)
French (fr)
Inventor
江冠南
韩丽丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Contemporary Amperex Technology Co Ltd
Original Assignee
Contemporary Amperex Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Contemporary Amperex Technology Co Ltd filed Critical Contemporary Amperex Technology Co Ltd
Priority to ES21958589T priority Critical patent/ES2994029T3/es
Priority to PCT/CN2021/126393 priority patent/WO2023070312A1/zh
Priority to EP21958589.0A priority patent/EP4209993B1/en
Priority to HUE21958589A priority patent/HUE068863T2/hu
Priority to DK21958589.0T priority patent/DK4209993T3/da
Priority to CN202180074444.8A priority patent/CN116457825B/zh
Priority to PL21958589.0T priority patent/PL4209993T3/pl
Publication of WO2023070312A1 publication Critical patent/WO2023070312A1/zh
Priority to US18/317,067 priority patent/US11823326B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Definitions

  • FIG. 2 illustrates a flow chart of an image processing method according to an embodiment of the present application
  • step 202 , step 206 and step 210 may be performed before, after or simultaneously with step 204 and step 208 .
  • step 206 and step 208 are completed, three identical position points with specificity can be selected in the grayscale image and the brightness image, step 212 .
  • These specific points are specific positions in the pattern that can be obtained by analyzing the pattern in the image. Therefore, the selection of three identical position points with specificity can be realized by an artificial intelligence algorithm.
  • step 408 the two-dimensional image and the three-dimensional image of the target object are collected; in step 410, according to the image fusion method of the present application, the two-dimensional image and the three-dimensional image of the target object are fused to obtain The fused image data of the target object. Finally, in step 412, the fused image data of the target object is input into the updated deep learning algorithm model for analysis, and the defect result of the target object is obtained.
  • the fused image data of the target object includes grayscale information, brightness information, and depth information of the target object
  • the deep learning algorithm model includes a grayscale data input channel, a brightness data input channel, and a depth data input channel. aisle.
  • the deep learning algorithm model may include three data input channels, and the model detects whether there is a defect according to the input grayscale information, brightness information, and depth information.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法，包括：获取对象的二维图像和三维图像；提取三维图像中的亮度信息和深度信息，以生成对象的亮度图像和深度图像；将二维图像灰度化来获得单通道的灰度图像；在灰度图像和亮度图像中选出至少三个相同位置点；基于至少三个相同位置点在灰度图像和亮度图像中的坐标，计算灰度图像与亮度图像之间的坐标变换矩阵；以及基于坐标变换矩阵，将二维图像与亮度图像和深度图像对齐，获得融合的图像数据，融合的图像数据包含二维图像的颜色信息以及三维图像的亮度信息和深度信息。本申请还涉及一种非易失性存储介质。

Description

图像处理方法 技术领域
本申请涉及图像处理领域，特别涉及一种图像处理方法及非易失性存储介质。
背景技术
在工业生成过程中，由于工艺及设备原因，产品可能存在一定缺陷，因此需要检测产品是否存在缺陷，以提升产品的良品率。在传统的缺陷检测方式中，人工检测存在检测效率低等弊端。通过视觉图像技术不仅可以提高检测效率，还可以大大缩减人力投入的成本。目前的视觉检测方法往往采用CCD相机获取二维(2D)图像，再利用2D图像进行检测。然而，这种利用2D图像的检测方法的准确性不足，容易导致对缺陷的漏检与误检。
发明内容
鉴于上述问题，本申请提出了一种图像处理方法以及非易失性存储介质。
为此，本发明的第一方面提供了一种图像处理方法，其中该图像处理方法包括：
获取对象的二维图像和三维图像；
提取三维图像中的亮度信息和深度信息，以生成该对象的亮度图像和 深度图像；
将二维图像灰度化，获得单通道的灰度图像；
在灰度图像和亮度图像中选出至少三个相同位置点；
基于至少三个相同位置点在灰度图像和亮度图像中的坐标，计算灰度图像与亮度图像之间的坐标变换矩阵；以及
基于该坐标变换矩阵，将二维图像与亮度图像和深度图像对齐，获得融合的图像数据，该融合的图像数据包含二维图像的颜色信息以及三维图像的亮度信息和深度信息。
在本申请的实施方案中，将二维图像灰度化形成单通道的灰度图像，然后求解出二维图像与三维图像的坐标变换矩阵，将二维图像和三维图像的特征对齐，以将二维图像和三维图像中的特征数据进行对齐，获得融合的图像数据，实现了二维图像和三维图像的图像融合。这种融合的图像数据可以为后续的深度学习模型分析提供更丰富的信息，以便获取更准确的检测结果。
在本申请的实施方案中，灰度化的目的是为了便于二维图像中的特征与三维图像中的特征进行对齐。在一些实施方案中，可以采用加权平均法来将彩色RGB三通道图像灰度化，具体地，可以根据以下公式计算灰度值：
p＝w 1R+w 2G+w 3B
其中，p表示坐标点的灰度值，R表示坐标点的红色值，w 1表示红色值的权重，G表示坐标点的绿色值，w 2表示绿色值的权重，B表示坐标点的蓝色值，w 3表示蓝色值的权重。研究表明人眼对绿色的敏感度最高，对红色次之，对蓝色的敏感度最低，因此在一些实施方案中，可以设定w 2>w 1>w 3。在一些实施方案中，可以设定w 1为0.299，w 2为0.587，w 3为0.114，这是因为实验和理论证明这样的权重设定能得到最符合人眼感知的 心理学灰度。通过加权平均法求得的灰度值充分保留了图像的红色、绿色和蓝色的信息。应理解，可以想到使用其他方法来进行灰度化，例如分量法、最大值法、平均值法和Gamma校正法等。
在一些实施方案中，该至少三个相同位置点是该对象的具有特异性的点。这些特异性的点是通过对图像中的图案进行分析能够得到的图案中的特定位置。因此，选出至少三个相同位置点可以通过人工智能算法来实现。
在一些实施方案中，该至少三个相同位置点包括不在同一直线上的三个参考点。当三个参考点在同一直线上时，通过三个参考点的坐标无法求得坐标变换矩阵，所以该至少三个相同位置点需要包括不在同一直线上的三个参考点。
在一些优选实施方案中，该三个参考点所形成的三角形的最大内角不超过160°。该三个参考点所形成的三角形的最大内角越大，三个参考点越接近于在一条直线上，较小的采样误差就可能导致三个参考点接近在一条直线上，造成基于该三个参考点在灰度图像和亮度图像中的坐标所求出的坐标变换矩阵无效。因此，将该三个参考点所形成的三角形的最大内角设置成不超过160°，增强了坐标变换矩阵的可靠性。
在一些具体实施方案中，该图像处理方法包括：
基于该坐标变换矩阵，以二维图像的坐标为基准将亮度图像和深度图像与二维图像对齐；以及
将灰度图像的灰度信息以及对齐到二维图像的坐标的亮度信息和深度信息分别作为三个通道的信息，生成包含三通道信息的融合图像。
应理解，以二维图像的坐标为基准将由三维图像获得的亮度图像和深度图像与二维图像对齐是本申请的一种实施方案，本领域技术人员可以想到以亮度图像的坐标为基准将二维图像与亮度图像对齐，即对齐到三维图像，也实现了将二维图像和三维图像对齐，完成了两种图像的数据对齐。 然而，三维图像的分辨率较低，因此优选地将亮度图像和深度图像对齐到二维图像。此外，应理解，不必合成一个包含三个通道的信息的融合图像，只需要将二维图像和三维图像的信息对齐，并且保存在图像中的各个坐标的颜色信息、亮度信息和深度信息等。
在一些实施方案中，可以将颜色信息、亮度信息和深度信息进行通道叠加，得到具有多通道信息的图像。在另一些实施方案中，可以将颜色信息、亮度信息和深度信息进行加权融合，得到具有单通道或多通道信息的图像。
在一些具体实施方案中，在将二维图像与亮度图像和深度图像对齐之前，将深度图像中的深度值进行归一化，生成归一化的深度图像。所生成的深度图像中的深度值可能特别大，例如上万的数值，因此通过归一化可以将深度值限制在0至1之间，有利于后续的计算处理。在一些实施方案中，可以根据以下公式来归一化深度图像中的深度值：
Figure PCTCN2021126393-appb-000001
其中，d表示深度图像中的坐标点的深度值，d min表示深度图像中的最小深度值，d max表示深度图像中的最大深度值，d S表示深度图像中的坐标点的归一化的深度值。
在一些实施方案中，上述对象选自以下项中的任一项：电池表面、电池顶盖焊缝和电池密封钉。本申请的实施方案适用于既需要二维图像又需要三维图像来进行缺陷检测的场景。在电池生产过程中，电池表面的划痕、电池顶盖焊缝的缺陷及密封钉焊缝的缺陷检测都是确保电池出厂的安全性的重要环节，二维图像不能直接反映出电池相关部位的深度信息，不能使对深度敏感的特征有效成像，而三维图像的分辨率较低，不能覆盖所有的目标特征。因此，在检测电池表面的划痕、电池顶盖焊缝的缺陷及密封钉焊缝的缺陷时，可以采用本申请的图像处理方法来获取融合的图像数据， 以用于相应的特征检测。
在一些实施方案中，上述二维图像和三维图像可以是在生产线的不同位置处采集的图像。然而，在另一些实施方案中，上述二维图像和三维图像可以是在生产线的相同位置处采集的图像。
在一些实施方案中，上述二维图像和三维图像从一致的角度拍摄同一个物体。然而，在另一些实施方案中，上述二维图像和三维图像可以从不同的角度拍摄同一物体。
本申请的第二方面提供了一种非易失性存储介质，其存储有指令，当该指令被处理器执行时，导致处理器执行上述第一方面所述的图像处理方法。
本申请的第三方面提供了一种外观检测方法，该方法包括：
根据上述第一方面所述的图像处理方法，获取多个对象的融合的图像数据；
获取多个对象的缺陷判定结果；
使用该多个对象的融合的图像数据和缺陷判定结果迭代训练深度学习算法模型，以更新深度学习算法模型；
采集目标对象的二维图像和三维图像；
根据上述第一方面所述的图像处理方法来融合所述目标的对象的二维图像和三维图像，获得该目标对象的融合的图像数据；以及
将该目标对象的融合的图像数据输入更新的深度学习算法模型，获得该目标对象的缺陷结果。
在本申请的实施方案中，通过将将检测的目标对象的融合的图像数据代入训练好的模型来获得目标对象的缺陷结果，一方面提高了检测的准确度，减少了缺陷漏检和缺陷误检(假阳性)的情况，另一方面由于融合的图像数据代入一个模型进行计算分析，不需要构建两个模型，也不需要将 不同图像的数据分别代入两个模型中进行计算分析，节省了计算资源，提升了检测速度。此外，采用融合的图像数据只需对一个模型而不是两个模型进行事先训练。
在一些实施方案中，该目标对象的融合的图像数据包括该目标对象的灰度信息、亮度信息和深度信息，并且上述深度学习算法模型包括灰度数据输入通道、亮度数据输入通道和深度数据输入通道。在本申请的实施方案中，深度学习算法模型可以包括三个数据输入通道，该模型根据输入的灰度信息、亮度信息和深度信息来检测是否存在缺陷。
在一些实施方案中，上述深度学习算法模型包括红色数据输入通道、绿色数据输入通道、蓝色数据输入通道、亮度数据输入通道和深度数据输入通道。在本申请的实施方案中，深度学习算法模型可以包括五个数据输入通道，该模型根据输入的颜色信息、亮度信息和深度信息来检测是否存在缺陷。应理解，在实践中，本领域技术人员可以根据实际的需求来选择模型的数据通道的数量。
在一些实施方案中，所采集的目标对象的二维图像包括多个二维图像。
在一些实施方案中，所采集的目标对象的三维图像包括多个三维图像。
本申请的第四方面提供了一种非易失性存储介质，其存储有指令，当该指令被处理器执行时，导致处理器执行上述第三方面所述的外观检测方法。
附图说明
为了更清楚地说明本申请的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施方案，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据附图获得其他的附图。在附图中：
图1例示了根据本申请的一个实施方案的图像处理方法的流程图；
图2例示了根据本申请的一个实施方案的图像处理方法的流程图；
图3a至图3d示出了根据本申请的一个实施例的二维图像、亮度图像、深度图像和融合图像的照片；以及
图4例示了根据本申请的一个实施方案的外观检测方法的流程图。
具体实施方式
下面将结合附图对本申请的实施方案进行详细的描述。以下实施方案仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。
在本文中提及“实施方案”意味着，结合实施方案描述的特定特征、结构或特性可以包含在本申请的至少一个实施方案中。在说明书中的各个位置出现该短语并不一定均是指相同的实施方案，也不是与其它实施方案互斥的独立的或备选的实施方案。本领域技术人员显式地和隐式地理解的是，本文所描述的实施方案可以与其它实施方案相结合。
如果在本说明书或权利要求中按顺序陈述步骤，这未必意味着实施方案或方面限于所陈述的顺序。相反，可以想象还以不同的顺序或者彼此并行地执行所述步骤，除非一个步骤建立在另一步骤上，这绝对需要建立的步骤随后执行(然而这将在个体情况下会变得清晰起来)。因此，所陈述的顺序可以是优选的实施方案。
本申请的发明人在实践中发现，目前利用2D图像的检测产品缺陷的方法由于2D图像未能直接反映产品各个部位的深度信息，不能充分覆盖产品中的缺陷形态，容易导致对缺陷的漏检与误检。此外，发明人还认识到，通过三维(3D)摄像机采集的3D图像分辨率较低，同样无法充分覆盖产品中的缺陷形态，容易导致对缺陷的漏检与误检。发明人想到，由于2D图像的分辨率足够，可以利用2D图像来初步检测产品的缺陷，再利用3D图像对产品的缺陷进行复检，排除误检(假阳性)的缺陷并且添加漏检的缺陷。
更进一步地，发明人意识到，如果将2D图像和3D图像提取特征后代入两个不同的神经网络模型进行分析，一方面需要分析两次，另一方面需要事先训练两个神经网络模型。在此基础上，发明人想到将2D图像和3D图像进行融合，得到融合的图像数据，代入单个神经网络模型进行分析，减少了需要的计算资源，提升了分析速度，提高了效率。
图1例示了根据本申请的一个实施方式的图像处理方法100的流程图。如图1所示，在步骤102，获取对象的二维图像和三维图像；然后，在步骤104，提取三维图像中的亮度信息和深度信息，以生成亮度图像和深度图像。在步骤106，将二维图像灰度化，获得单通道的灰度图像，以便于二维图像中的特征与三维图像中的特征进行对齐。在获得了亮度图像和灰度图像之后，在灰度图像和亮度图像中选出至少三个相同位置点，步骤108。在步骤110，基于至少三个相同位置点在灰度图像和亮度图像中的坐标，计算灰度图像与亮度图像之间的坐标变换矩阵。
本领域技术人员应理解，两个不同的摄像机采集的图像中的相同特征点具有不同的像点坐标。由于不同摄像机拍摄的图像中的产品形态具有相同的平直性和平行性，因此不同摄像机的像点坐标之间的坐标变换是仿射 变换，矩阵变换方程如下：
Figure PCTCN2021126393-appb-000002
其中，(px，py)表示一个摄像机的像点坐标，(qx，qy)表示另一个摄像机的像点坐标，a 1、b 1、c 1、a 2、b 2、c 2表示坐标变换矩阵中的变换系数。这种仿射变换具有六个变换系数，即具有六个自由度；因此，需要三组点来计算坐标变换矩阵中的变换系数。
在计算出坐标变换矩阵之后，基于坐标变换矩阵，将二维图像与亮度图像和深度图像对齐，获得融合的图像数据，步骤112。在本申请的实施方案中，将二维图像灰度化形成单通道的灰度图像，然后求解出二维图像与三维图像的坐标变换矩阵，将二维图像和三维图像的特征对齐，以将二维图像和三维图像中的特征数据进行对齐，获得融合的图像数据，实现了二维图像和三维图像的图像融合。这种融合的图像数据可以为后续的深度学习模型分析提供更丰富的信息，以便获取更准确的检测结果。
图2例示了根据本申请的一个实施方案的图像处理方法的流程图。如图2所示，在步骤202，获取对象的三维图像；在步骤206，提取三维图像中的亮度信息和深度信息，以生成亮度图像和深度图像，如图3b和图3c所示；然后，在步骤210，将深度图像中的深度值进行归一化，生成归一化的深度图像。在一些实施方案中，可以根据以下公式来归一化深度图像中的深度值：
Figure PCTCN2021126393-appb-000003
其中，d表示深度图像中的坐标点的深度值，d min表示深度图像中的最小深度值，d max表示深度图像中的最大深度值，d S表示深度图像中的坐标点的归一化的深度值。在步骤206生成的深度图像中的深度值可能特别大， 例如上万的数值，因此通过归一化可以将深度值限制在0至1之间，有利于后续的计算处理。
在步骤204，获取对象的二维图像，如图3a所示；然后，在步骤208，将彩色RGB三通道的二维图像加权灰度化，获得单通道的灰度图像。具体地，可以根据以下公式计算灰度值：
p＝w 1R+w 2G+w 3B
其中，p表示坐标点的灰度值，R表示坐标点的红色值，w 1表示红色值的权重，G表示坐标点的绿色值，w 2表示绿色值的权重，B表示坐标点的蓝色值，w 3表示蓝色值的权重。研究表明人眼对绿色的敏感度最高，对红色次之，对蓝色的敏感度最低，因此在一些实施方案中，可以设定w 2>w 1>w 3。在一些实施方案中，可以设定w 1为0.299，w 2为0.587，w 3为0.114，这是因为实验和理论证明这样的权重设定能得到最符合人眼感知的心理学灰度。通过加权平均法求灰度值，一方面算法实现较容易，计算量不大，另一方面充分保留了图像的红色、绿色和蓝色的信息。应理解，可以想到使用其他方法来进行灰度化，例如分量法、最大值法、平均值法和Gamma校正法等。
应理解，如图2所示，可以在执行步骤204和步骤208之前、之后或者同时执行步骤202、步骤206和步骤210。在完成步骤206和步骤208之后，可以在灰度图像和亮度图像中选出具有特异性的三个相同位置点，步骤212。这些特异性的点是通过对图像中的图案进行分析能够得到的图案中的特定位置。因此，选出具有特异性的三个相同位置点可以通过人工智能算法来实现。图3a至图3d例示了根据本申请的锂电池密封钉焊接缺陷检测的实施例，在该实施例中，可以选取图中的直线焊缝与圆形焊缝的夹角的两个中心点以及密封钉的圆点作为具有特异性的三个相同位置点。这三个相同位置点不在同一直线上，这是为了满足计算坐标变换矩阵中的变 换系数的要求。
在一些优选实施方案中，三个相同位置点所形成的三角形的最大内角不超过160°。三个相同位置点所形成的三角形的最大内角越大，三个参考点越接近于在一条直线上，较小的采样误差就可能导致三个相同位置点接近在一条直线上，造成基于该三个相同位置点在灰度图像和亮度图像中的坐标所求出的坐标变换矩阵无效。因此，将该三个相同位置点所形成的三角形的最大内角设置成不超过160°，增强了坐标变换矩阵的可靠性。在三个相同位置点不能满足不在一条直线或者所形成的三角形的最大内角不超过160°的要求时，可以选取更多的相同位置点，只要所选取的相同位置点中有三个参考点满足在一条直线或者所形成的三角形的最大内角不超过160°的要求即可。
在步骤214，基于三个相同位置点在灰度图像和亮度图像中的坐标，计算灰度图像与亮度图像之间的坐标变换矩阵。步骤214与图1中的步骤110类似，相关的内容在此不再累述。
在计算出坐标变换矩阵之后，基于坐标变换矩阵，将亮度图像和归一化的深度图像对齐到二维图像，步骤216。这使得相同位置点的数据能够在二维图像的像素点的维度上对齐，保证信息融合的有效性和准确性。
最后，在步骤218，将经坐标变换的亮度图像和深度图像与灰度图像进行通道堆叠，形成具有三通道信息的融合图像，如图3d所示。此外，应理解，不必合成一个包含三个通道的信息的融合图像，只需要将二维图像和三维图像的信息进行坐标对齐，并且保存在图像中的各个坐标的颜色信息、亮度信息和深度信息等。在另一些实施方案中，还可以将颜色信息、亮度信息和深度信息进行加权融合，得到具有单通道或多通道信息的图像。
本申请的图像处理方法适用于既需要二维图像又需要三维图像来进行 缺陷检测的场景。在电池生产过程中，电池表面的划痕、电池顶盖焊缝的缺陷及密封钉焊缝的缺陷检测都是确保电池出厂的安全性的重要环节，二维图像不能直接反映出电池相关部位的深度信息，不能使对深度敏感的特征有效成像，而三维图像的分辨率较低，不能覆盖所有的目标特征。因此，在检测电池表面的划痕、电池顶盖焊缝的缺陷及密封钉焊缝的缺陷时，可以采用本申请的图像处理方法来获取融合的图像数据，以用于相应的特征检测。图3a至图3d例示了根据本申请的锂电池密封钉焊接缺陷检测的实施例。然而，应理解，本申请的图像融合方法中的对象还可以是电池表面、电池顶盖焊缝等。在图3a至图3d的实施例中，图3a的二维图像与图3b和图3c对应的三维图像是在生产线的不同位置处采集的图像。然而，在另一些实施方案中，二维图像和三维图像可以是在生产线的相同位置处采集的图像。
图4例示了根据本申请的一个实施方案的外观检测方法的流程图。如图4所示，在步骤402，根据本申请的图像处理方法，获取多个对象的融合的图像数据。在步骤404，获取多个对象的缺陷判定结果。在步骤404中获取的缺陷判定结果是通过目检人员判定的。然后，在步骤406，使用多个对象的融合的图像数据和缺陷判定结果迭代训练深度学习算法模型，以更新深度学习算法模型。在训练出可用的深度学习算法模型之后，在步骤408，采集目标对象的二维图像和三维图像；在步骤410，根据本申请的图像融合方法，融合目标对象的二维图像和三维图像，获得目标对象的融合的图像数据。最后，在步骤412，将目标对象的融合的图像数据输入更新的深度学习算法模型进行分析，获得目标对象的缺陷结果。
在图4的实施方案中，通过将将检测的目标对象的融合的图像数据代入训练好的模型来获得目标对象的缺陷结果，一方面提高了检测的准确度，减少了缺陷漏检和缺陷误检(假阳性)的情况，另一方面由于融合的图像 数据代入一个模型进行计算分析，不需要构建两个模型，也不需要将不同图像的数据分别代入两个模型中进行计算分析，节省了计算资源，提升了检测速度。此外，采用融合的图像数据只需对一个模型而不是两个模型进行事先训练。
在一些实施方案中，上述目标对象的融合的图像数据包括该目标对象的灰度信息、亮度信息和深度信息，并且上述深度学习算法模型包括灰度数据输入通道、亮度数据输入通道和深度数据输入通道。在这种实施方案中，深度学习算法模型可以包括三个数据输入通道，该模型根据输入的灰度信息、亮度信息和深度信息来检测是否存在缺陷。
在一些实施方案中，上述深度学习算法模型包括红色数据输入通道、绿色数据输入通道、蓝色数据输入通道、亮度数据输入通道和深度数据输入通道。在种实施方案中，深度学习算法模型可以包括五个数据输入通道，该模型根据输入的颜色信息、亮度信息和深度信息来检测是否存在缺陷。应理解，在实践中，本领域技术人员可以根据实际的需求来选择模型的数据通道的数量。
虽然已经参考优选实施例对本发明进行了描述，但在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

Claims (8)

  1. 一种图像处理方法，其特征在于，所述图像处理方法包括：
    获取对象的二维图像和三维图像；
    提取所述三维图像中的亮度信息和深度信息，以生成所述对象的亮度图像和深度图像；
    将所述二维图像灰度化，获得单通道的灰度图像；
    在所述灰度图像和所述亮度图像中选出至少三个相同位置点；
    基于所述至少三个相同位置点在所述灰度图像和所述亮度图像中的坐标，计算所述灰度图像与所述亮度图像之间的坐标变换矩阵；以及
    基于所述坐标变换矩阵，将所述二维图像与所述亮度图像和所述深度图像对齐，获得融合的图像数据，所述融合的图像数据包含所述二维图像的颜色信息以及所述三维图像的亮度信息和深度信息。
  2. 根据权利要求1所述的图像处理方法，其特征在于，所述至少三个相同位置点是所述对象的具有特异性的点。
  3. 根据权利要求1或2所述的图像处理方法，其特征在于，所述至少三个相同位置点包括不在同一直线上的三个参考点。
  4. 根据权利要求3所述的图像处理方法，其特征在于，所述三个参考点所形成的三角形的最大内角不超过160°。
  5. 根据权利要求1至4中任一项所述的图像处理方法，其特征在于，所述图像处理方法包括：
    基于所述坐标变换矩阵，以所述二维图像的坐标为基准将所述亮度图像和所述深度图像与所述二维图像对齐；以及
    将所述灰度图像的灰度信息以及对齐到所述二维图像的坐标的亮度信息和深度信息分别作为三个通道的信息，生成包含三通道信息的融合图像。
  6. 根据权利要求1至5中任一项所述的图像处理方法，其特征在于，在将所述二维图像与所述亮度图像和所述深度图像对齐之前，将所述深度图像中的深度值进行归一化，生成归一化的深度图像。
  7. 根据要求1至6中任一项所述的图像处理方法，其特征在于，所述对象选自以下项中的任一项：电池表面、电池顶盖焊缝和电池密封钉。
  8. 一种非易失性存储介质，其特征在于，所述非易失性存储介质存储有指令，当所述指令被处理器执行时，所述指令导致所述处理器执行权利要求1至7中任一项所述的图像处理方法。
PCT/CN2021/126393 2021-10-26 2021-10-26 图像处理方法 Ceased WO2023070312A1 (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
ES21958589T ES2994029T3 (en) 2021-10-26 2021-10-26 Image processing method
PCT/CN2021/126393 WO2023070312A1 (zh) 2021-10-26 2021-10-26 图像处理方法
EP21958589.0A EP4209993B1 (en) 2021-10-26 2021-10-26 Image processing method
HUE21958589A HUE068863T2 (hu) 2021-10-26 2021-10-26 Képfeldolgozási eljárás
DK21958589.0T DK4209993T3 (da) 2021-10-26 2021-10-26 Fremgangsmåde til billedbehandling
CN202180074444.8A CN116457825B (zh) 2021-10-26 2021-10-26 图像处理方法
PL21958589.0T PL4209993T3 (pl) 2021-10-26 2021-10-26 Sposób przetwarzania obrazu
US18/317,067 US11823326B2 (en) 2021-10-26 2023-05-13 Image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/126393 WO2023070312A1 (zh) 2021-10-26 2021-10-26 图像处理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/317,067 Continuation US11823326B2 (en) 2021-10-26 2023-05-13 Image processing method

Publications (1)

Publication Number Publication Date
WO2023070312A1 true WO2023070312A1 (zh) 2023-05-04

Family

ID=86158948

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/126393 Ceased WO2023070312A1 (zh) 2021-10-26 2021-10-26 图像处理方法

Country Status (8)

Country Link
US (1) US11823326B2 (zh)
EP (1) EP4209993B1 (zh)
CN (1) CN116457825B (zh)
DK (1) DK4209993T3 (zh)
ES (1) ES2994029T3 (zh)
HU (1) HUE068863T2 (zh)
PL (1) PL4209993T3 (zh)
WO (1) WO2023070312A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542967A (zh) * 2023-06-29 2023-08-04 厦门微图软件科技有限公司 一种锂电池极柱缺陷的检测方法、装置以及设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452485B (zh) * 2022-01-05 2026-01-27 通用汽车环球科技运作有限责任公司 基于图像相关联性的反射表面的检查
TWI890200B (zh) * 2023-11-17 2025-07-11 財團法人金屬工業研究發展中心 點雲與影像的感測系統與校正方法
CN117723551B (zh) * 2024-02-18 2024-07-16 宁德时代新能源科技股份有限公司 电池检测设备、点检方法、电池生产设备和检测方法
CN117890378B (zh) * 2024-02-22 2024-07-19 宁德时代新能源科技股份有限公司 电池外观缺陷检测系统及点检方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508259A (zh) * 2011-12-12 2012-06-20 中国科学院合肥物质科学研究院 基于mems扫描微镜的小型化无镜头激光三维成像系统及其成像方法
CN103337069A (zh) * 2013-06-05 2013-10-02 余洪山 基于复合摄像机的高质量三维彩色图像获取方法及装置
CN103930923A (zh) * 2011-12-02 2014-07-16 诺基亚公司 用于捕获图像的方法、装置和计算机程序产品
CN112541886A (zh) * 2020-11-27 2021-03-23 北京佳力诚义科技有限公司 一种激光雷达和相机融合人工智能矿石识别方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8610758B2 (en) * 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system
US8149268B1 (en) * 2010-11-05 2012-04-03 The United States Of America As Represented By The Secretary Of The Army System and method for determining three-dimensional information from two-dimensional images
US9736456B1 (en) * 2012-09-28 2017-08-15 Pixelworks, Inc. Two dimensional to three dimensional video conversion
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法
CN209432721U (zh) * 2018-10-24 2019-09-24 东莞市乐琪光电科技有限公司 锂电池表面检测设备
CN109647733A (zh) 2018-11-30 2019-04-19 安徽东鸣智能存储设备有限公司 一种基于工业ccd的视觉识别分拣系统
US10708557B1 (en) * 2018-12-14 2020-07-07 Lyft Inc. Multispectrum, multi-polarization (MSMP) filtering for improved perception of difficult to perceive colors
CN110070532B (zh) * 2019-04-23 2023-06-27 江南大学 基于三维图像与二维图像特征结合的织物平整度评价方法
CN110599578B (zh) * 2019-07-29 2025-08-26 深圳市易尚展示股份有限公司 一种真实感三维彩色纹理重建方法
DE102019219743A1 (de) * 2019-12-16 2021-06-17 PLR Prüftechnik Linke & Rühe GmbH Verfahren zur Charakterisierung einer Schweißnaht
CN115118850B (zh) * 2022-06-22 2024-04-05 海信视像科技股份有限公司 图像处理方法及显示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103930923A (zh) * 2011-12-02 2014-07-16 诺基亚公司 用于捕获图像的方法、装置和计算机程序产品
CN102508259A (zh) * 2011-12-12 2012-06-20 中国科学院合肥物质科学研究院 基于mems扫描微镜的小型化无镜头激光三维成像系统及其成像方法
CN103337069A (zh) * 2013-06-05 2013-10-02 余洪山 基于复合摄像机的高质量三维彩色图像获取方法及装置
CN112541886A (zh) * 2020-11-27 2021-03-23 北京佳力诚义科技有限公司 一种激光雷达和相机融合人工智能矿石识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4209993A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542967A (zh) * 2023-06-29 2023-08-04 厦门微图软件科技有限公司 一种锂电池极柱缺陷的检测方法、装置以及设备
CN116542967B (zh) * 2023-06-29 2023-10-03 厦门微图软件科技有限公司 一种锂电池极柱缺陷的检测方法、装置以及设备

Also Published As

Publication number Publication date
CN116457825B (zh) 2025-09-02
EP4209993A4 (en) 2023-12-20
HUE068863T2 (hu) 2025-02-28
EP4209993B1 (en) 2024-10-02
US11823326B2 (en) 2023-11-21
EP4209993A1 (en) 2023-07-12
DK4209993T3 (da) 2024-10-28
ES2994029T3 (en) 2025-01-16
CN116457825A (zh) 2023-07-18
PL4209993T3 (pl) 2025-05-19
US20230281919A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
WO2023070312A1 (zh) 图像处理方法
CN105279372B (zh) 一种确定建筑物高度的方法和装置
CN101441076B (zh) 一种检测障碍物的方法和装置
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN112045676A (zh) 一种基于深度学习的机器人抓取透明物体的方法
CN108363964A (zh) 一种预先处理的皮肤皱纹评估方法及系统
CN111399634A (zh) 一种手势引导物体识别的方法及装置
CN113516654A (zh) 一种基于视觉识别芯孔内壁异常部位的方法及系统
WO2022267300A1 (zh) 用于自动提取图像中目标区域的方法、系统及存储介质
CN117809216A (zh) 一种火源定位和范围测量方法
CN116563229A (zh) 基于多视角图像特征融合的农产品缺陷检测方法及系统
CN104596486B (zh) 基于目标旋转对称特征的位姿测量方法
CN108335308A (zh) 一种橙子自动检测方法、系统以及机器人智能零售终端
CN105957005A (zh) 基于特征点和结构线的桥梁影像拼接方法
CN120563475A (zh) 一种基于图像增强的机器人视觉检测方法及系统
CN119963926A (zh) 一种基于图像处理的钛板表面缺陷分类识别方法及系统
US8538142B2 (en) Face-detection processing methods, image processing devices, and articles of manufacture
CN110660187A (zh) 一种基于边缘计算的森林火警监测系统
JP2014112057A (ja) 期待結合精度のリアルタイム表示方法および形状計測システム
WO2022228321A1 (zh) 视频大范围内物体识别定位方法及装置
JP2012242315A (ja) 位置検知システム、それを用いた移動体、位置検知方法およびそのためのプログラム
CN117152518B (zh) 一种材质识别方法及系统
CN118470099B (zh) 基于单目相机的物体空间位姿测量方法及装置
CN113096077B (zh) 异常比例检测方法、装置、设备及计算机可读存储介质
CN120876950B (zh) 一种基于计算机辅助的食品包装袋缺陷检测方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021958589

Country of ref document: EP

Effective date: 20230406

WWE Wipo information: entry into national phase

Ref document number: 202180074444.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWG Wipo information: grant in national office

Ref document number: 202180074444.8

Country of ref document: CN