CN108564104A - 产品缺陷检测方法、装置、系统、服务器及存储介质 - Google Patents

Abstract

本发明提出一种产品缺陷检测方法、装置、系统、服务器及计算机可读存储介质，其中产品缺陷检测方法包括：获取产品的图像数据；将所述图像数据转化为分类请求，根据在多个服务器上的分类预测模型的部署情况确定执行服务器，并将所述分类请求发送至所述执行服务器，以通过所述执行服务器上的分类预测模型给出缺陷类别的预测结果。本发明提供的实施例可随业务发展迭代模型，使模型能够适应生产环境的最新需求，在分类精度、可扩展性、规范化等方面为工业生产线带来显著的提升，且并行处理进一步提升了效率。

Description

产品缺陷检测方法、装置、系统、服务器及存储介质

技术领域

本发明涉及信息技术领域，尤其涉及一种产品缺陷检测方法、装置、系统、服务器及计算机可读存储介质。

背景技术

目前很多生产行业中的质检环节主要是以视觉方式针对产品表面图像进行缺陷检测。以造纸业为例，纸张质量的检测主要根据纸张表面的图片进行判定。在造纸业生产线上，其质检多为人工巡检或半自动化光学仪器辅助质检，不仅效率低下，而且容易出现误判；另外，这种方式产生的工业数据不易存储、管理和二次挖掘再利用。在人工巡检的情况下，需要业务专家在生产现场进行巡视检查，发现缺陷之后人工记录下来再做后续处理。这种方法不仅效率低，容易漏判误判，数据很难进行二次利用挖掘，而且生产环境往往比较恶劣，对人员的健康和安全会造成不利影响。后一种质检方式多为基于传统专家系统或特征工程的质检系统，特征和判定规则都是基于经验固化到机器中的，难以随业务的发展迭代，导致随着生产工艺的发展，系统的检测精度越来越低，甚至降低到完全不可用的状态。此外，传统质检系统的特征都由第三方供应商预先固化在硬件中，升级时不仅需要对生产线进行重大改造，而且价格昂贵。传统质检系统在安全性、规范化、可扩展性等方面都存在着明显不足，不利于生产线的优化升级。

发明内容

本发明实施例提供一种产品缺陷检测方法、装置、系统、服务器及计算机可读存储介质，以至少解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种产品缺陷检测方法，包括：获取产品的图像数据；将所述图像数据转化为分类请求，根据在多个服务器上的分类预测模型的部署情况确定执行服务器，并将所述分类请求发送至执行服务器，以通过所述执行服务器上的分类预测模型给出缺陷类别的预测结果。

结合第一方面，本发明在第一方面的第一种实施方式中，根据在多个服务器上的分类预测模型的部署情况确定执行服务器，包括：查询预先设置的服务器资源配置管理表，所述服务器资源配置管理表用于记录各个部署有所述分类预测模型的服务器的负载状态；比较各个部署有所述分类预测模型的服务器的负载状态，将负载最低的服务器确定为执行服务器。

结合第一方面、第一方面的第一种实施方式，本发明在第一方面的第二种实施方式中，接收所述执行服务器返回的缺陷类别的预测结果；根据所述缺陷类别的预测结果做出相对应的缺陷处理操作，所述缺陷处理操作包括：报警、打标签、存储日志和/或停机。

结合第一方面的第一种实施方式，根据所述缺陷类别的预测结果做出相应的缺陷处理操作，包括：根据预先设置的所述缺陷类别的预测结果与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作；或者，根据预先设置的所述缺陷类别的预测结果的等级，以及所述缺陷类别的预测结果的等级与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作。

第二方面，本发明实施例提供了一种产品缺陷检测方法，包括：接收产品的图像数据的分类请求；通过预先训练的分类预测模型对所述分类请求进行分类计算，给出缺陷类别的预测结果；所述分类预测模型包括特征提取模型和缺陷定位分类模型；所述特征提取模型用于提取所述分类请求中的图像数据的特征；所述缺陷定位分类模型用于根据提取的所述图像数据的特征给出缺陷类别的预测结果，所述预测结果包括：所述分类请求中的图像是否存在缺陷，以及缺陷的类别和位置坐标。

结合第二方面，本发明在第二方面的第一种实施方式中，在对所述分类请求进行分类计算之前，还包括：对所述分类请求中的图像数据进行预处理，所述预处理包括图像去噪、去除背景、图像压缩和/或格式转化。

结合第二方面、第二方面的第一种实施方式，本发明在第二方面的第二种实施方式中，还包括：根据产品的图像数据的历史标注数据预先训练得到所述分类预测模型。

结合第二方面的第三种实施方式，本发明在第二方面的第三种实施方式中，所述特征提取模型包括深度卷积神经网络；所述缺陷定位分类模型包括RCNN、SSD或Mask RCNN。

结合第二方面、第二方面的第一种实施方式，本发明在第二方面的第四种实施方式中，在给出缺陷类别的预测结果之后，还包括：根据所述缺陷类别的预测结果做出相对应的缺陷处理操作，所述缺陷处理操作包括：报警、打标签、存储日志和/或停机。

结合第二方面的第四种实施方式，根据所述缺陷类别的预测结果做出相应的缺陷处理操作，包括：根据预先设置的所述缺陷类别的预测结果与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作；或者，根据预先设置的所述缺陷类别的预测结果的等级，以及所述缺陷类别的预测结果的等级与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作。

第三方面，本发明实施例提供了一种产品缺陷检测装置，包括：数据采集模块，用于获取产品的图像数据；负载均衡模块，用于将所述图像数据转化为分类请求，根据在多个服务器上的分类预测模型的部署情况确定执行服务器，并将所述分类请求发送至执行服务器，以通过所述执行服务器上的分类预测模型给出缺陷类别的预测结果。

结合第三方面，本发明在第三方面的第一种实施方式中，所述负载均衡模块还用于：查询预先设置的服务器资源配置管理表，所述服务器资源配置管理表用于记录各个部署有所述分类预测模型的服务器的负载状态；比较各个部署有所述分类预测模型的服务器的负载状态，将负载最低的服务器确定为执行服务器。

第四方面，本发明实施例提供了一种产品缺陷检测装置，包括：数据接收模块，用于接收产品的图像数据的分类请求；分类预测模型，用于通过预先训练的分类预测模型对所述分类请求进行分类计算，给出缺陷类别的预测结果；所述分类预测模型包括特征提取模型和缺陷定位分类模型；所述特征提取模型用于提取所述分类请求中的图像数据的特征；所述缺陷定位分类模型用于根据提取的所述图像数据的特征给出缺陷类别的预测结果，所述预测结果包括：所述分类请求中的图像是否存在缺陷，以及缺陷的类别和位置坐标。

结合第四方面，本发明在第四方面的第一种实施方式中，还包括控制模块，用于：根据所述缺陷类别的预测结果做出相对应的缺陷处理操作，所述缺陷处理操作包括：报警、打标签、存储日志和/或停机。

在一个可能的设计中，产品缺陷检测装置的结构中包括处理器和存储器，所述存储器用于存储支持产品缺陷检测装置执行上述第一方面或第二方面中产品缺陷检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

第五方面，本发明实施例提供了一种产品缺陷检测系统，包括上述第三方面或第四方面中任一所述的装置，以及，生产数据库，用于存储产品的图像数据，以及与所述产品的图像数据对应的缺陷类别的预测结果和与所述缺陷类别的预测结果对应的缺陷处理操作；训练数据库，用于存储产品的图像数据的历史标注数据，所述历史标注数据用于训练分类预测模型。

第六方面，本发明实施例提供了一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面或第二方面中任一所述的方法。

第七方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第一方面或第二方面中任一所述的方法。

上述技术方案中的一个技术方案具有如下优点或有益效果：本发明提供的实施例适用于任何利用人眼、照片或机器视觉进行缺陷分类的场景，可随业务发展迭代模型，使模型能够适应生产环境的最新需求，在分类精度、可扩展性、规范化等方面为工业生产线带来显著的提升。

上述技术方案中的另一个技术方案具有如下优点或有益效果：通过负载均衡和调度，并行处理进一步提升了工作效率。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1为本发明实施例的产品缺陷检测方法的整体框架图；

图2为本发明提供的产品缺陷检测方法的一种优选实施例的步骤流程图；

图3为本发明提供的产品缺陷检测方法的执行服务器端的一种优选实施例的工作流程图；

图4为本发明提供的产品缺陷检测方法的一种优选实施例的工作流程示意图；

图5为本发明提供的产品缺陷检测方法的一种优选实施例的原理示意图；

图6为本发明实施例的产品缺陷检测装置的整体框架图；

图7为本发明提供的产品缺陷检测装置的执行服务器端的一种优选实施例的结构示意图；

图8为本发明提供的产品缺陷检测装置的执行服务器端的另一优选实施例的结构示意图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

本发明实施例提供了一种产品缺陷检测方法。图1为本发明实施例的产品缺陷检测方法的整体框架图。如图1所示，本发明实施例的产品缺陷检测方法包括：步骤S110，获取产品的图像数据；步骤S120，将所述图像数据转化为分类请求，根据在多个服务器上的分类预测模型的部署情况确定执行服务器，并将所述分类请求发送至执行服务器，以通过所述执行服务器上的分类预测模型给出缺陷类别的预测结果。

现有的质检系统在缺陷分类应用中主要有两种方式。第一为纯人工质检方式，即依赖于行业专家肉眼观察生产环境中的照片给出判断；第二为机器辅助的人工质检方式，主要由具有一定判断能力的质检系统过滤掉没有缺陷的照片，由行业专家对疑似存在缺陷的照片进行检测判断。其中，第二种方式多为专家系统和特征工程系统发展而来，专家将经验固化在质检系统中。以上两种方法中，缺陷检测和定位方法严重依赖于专家知识，存在准确率低、实时性差、难以扩展、不易随业务进化、规范化弱等缺点。

本发明实施例基于人工智能技术在机器视觉中的应用，利用图像采集设备在生产线上实时采集的图像，通过预先训练好的机器学习模型对产品的表面质量进行检测判断，如果检测到当前经过图像采集设备的产品上存在质量问题，则判断该质量问题所对应的类别。本发明实施例适用于所有根据产品表面的图像数据检测产品质量的场景，相比现有技术依赖于人工及专家经验的检测方法，其自动化程度高、检测精度高、可随业务发展迭代模型，可扩展性、规范化等方面显著提升，且通过负载均衡和调度，并行处理进一步提升了工作效率。

图2为本发明提供的产品缺陷检测方法的一种优选实施例的步骤流程图。如图2所示，根据本发明产品缺陷检测方法的一种实施方式，根据在多个服务器上的分类预测模型的部署情况确定执行服务器，包括：步骤S210，查询预先设置的服务器资源配置管理表，所述服务器资源配置管理表用于记录各个部署有所述分类预测模型的服务器的负载状态；步骤S220，比较各个部署有所述分类预测模型的服务器的负载状态，将负载最低的服务器确定为执行服务器。

在这种实施方式中，获取产品的图像数据，也就是获取生产线上实时产生的图片，然后将产品的图像数据转化为分类请求(query)，并将所述分类请求发送至执行服务器。其中，执行服务器是根据分类预测模型在多个服务器上的部署情况而确定的，预先将一个版本的分类预测模型拷贝到多个机器上做并行处理，根据线上分类预测模型的部署情况实时进行负载均衡和调度，将分类请求发送至最佳的搭载着分类预测模型的服务器上。可设置机器资源配置管理表，用于实时记录各机器的负载状态，选择一个负载最少、即响应最快的服务器，将分类请求发送给该服务器。

根据本发明产品缺陷检测方法的一种实施方式，在给出缺陷类别的预测结果之后，还包括：根据所述缺陷类别的预测结果做出相对应的缺陷处理操作，所述缺陷处理操作包括：报警、打标签、存储日志和/或停机。

根据本发明产品缺陷检测方法的一种实施方式，根据所述缺陷类别的预测结果做出相应的缺陷处理操作，包括：根据预先设置的所述缺陷类别的预测结果与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作；或者，根据预先设置的所述缺陷类别的预测结果的等级，以及所述缺陷类别的预测结果的等级与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作。

另一方面，本发明实施例提供了一种产品缺陷检测方法。图3为本发明提供的产品缺陷检测方法的执行服务器端的一种优选实施例的工作流程图。如图3所示，本发明实施例的执行服务器端的产品缺陷检测方法包括：步骤S310，接收产品的图像数据的分类请求；步骤S320，通过预先训练的分类预测模型对所述分类请求进行分类计算，给出缺陷类别的预测结果。

根据本发明产品缺陷检测方法的一种实施方式，在对所述分类请求进行分类计算之前，还包括：对所述分类请求中的图像数据进行预处理，所述预处理包括图像去噪、去除背景、图像压缩和/或格式转化。对图像数据的进行预处理，将有效的部分保留以进行后续处理。

根据本发明产品缺陷检测方法的一种实施方式，还包括：根据产品的图像数据的历史标注数据预先训练得到所述分类预测模型。图4为本发明提供的产品缺陷检测方法的一种优选实施例的工作流程示意图。如图4所示，分类预测模型是由训练引擎根据历史标注数据训练得到的，历史标注数据存储在训练数据库中，训练引擎向训练数据库发送数据请求，训练数据库响应数据请求将训练数据返回给训练引擎。另外，生产数据库中存储有包括近期产品的图像数据，以及与所述产品的图像数据对应的缺陷类别的预测结果在内的数据，生产数据库可以为训练数据库随时提供数据更新，如果生产工艺发展更新了，训练数据库中的训练数据可随业务的发展迭代，使模型能够适应生产环境的最新需求。

根据本发明产品缺陷检测方法的一种实施方式，所述分类预测模型包括特征提取模型和缺陷定位分类模型；所述特征提取模型用于提取所述分类请求中的图像数据的特征；所述缺陷定位分类模型用于根据提取的所述图像数据的特征给出缺陷类别的预测结果，所述预测结果包括：所述分类请求中的图像是否存在缺陷，以及缺陷的类别和位置坐标。

根据本发明产品缺陷检测方法的一种实施方式，所述特征提取模型包括深度卷积神经网络；所述缺陷定位分类模型包括RCNN(Region Based CNN，区域卷积神经网络)、SSD(Single Shot MultiBoxDetector)或Mask RCNN。

图5为本发明提供的产品缺陷检测方法的一种优选实施例的原理示意图。如图5所示，在一种实施方式中，采用深度卷积神经网络作为特征提取模型，用物体检测、图像分割技术作为缺陷定位分类网络，生产线上的原始图片作为模型的输入，对输入的图像数据的进行预处理后，将有效的部分输入神经网络模型，深度卷积神经网络提取原始图片中的特征，并将特征输入到缺陷定位分类网络中。缺陷定位分类网络可采用RCNN、SSD、Mask RCNN等物体检测及其他图像分割模型，作为缺陷定位分类模型，根据深度卷积神经网络提取的特征，判断图片中的某一部位是否存在缺陷，如果存在缺陷，则判断缺陷所属的类别。模型的最终输出为图片中存在的缺陷的类别及其在图片中的相对位置坐标。如果图片中存在多个缺陷，模型会给出每一个缺陷的类别及其相对坐标。以纸张生产行业为例，缺陷的类别包括褶皱、破洞、撕裂、杂质和色差等。

对于每一次训练好的模型可通过小流量上线的方式逐步取代正在线上运行的旧模型，以达到模型随业务动态扩展泛化的目的。

在另一种实施方式中，还可以基于深度卷积神经网络CNN(Convolutional NeuralNetwork,卷积神经网络)之外的机器学习方法来做特征提取网络，可以采用除物体检测和图像分割以外的模型作为缺陷定位分类网络模型。

根据本发明产品缺陷检测方法的一种实施方式，在给出缺陷类别的预测结果之后，还包括：根据所述缺陷类别的预测结果做出相对应的缺陷处理操作，所述缺陷处理操作包括：报警、打标签、存储日志和/或停机。

参见图4，在给出代表该缺陷类别的预测结果之后，将预测结果传送至控制模块，控制模块与业务场景结合设计，能够根据业务需求，对模型给出的预测结果做出符合生产环境场景要求的响应，如报警、打标签、存储日志和/或停机等，控制模块将预测结果及响应的处理行为作为线上生产日志存储到生产数据库中。

根据本发明产品缺陷检测方法的一种实施方式，根据所述缺陷类别的预测结果做出相应的缺陷处理操作，包括：根据预先设置的所述缺陷类别的预测结果与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作；或者，根据预先设置的所述缺陷类别的预测结果的等级，以及所述缺陷类别的预测结果的等级与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作。

其中，缺陷类别的预测结果与缺陷处理操作的对应关系、缺陷类别的预测结果的等级，以及缺陷类别的预测结果的等级与缺陷处理操作的对应关系，都可由系统默认设置或者由生产厂家自定义设置。比如，缺陷类别的预测结果的等级可分为严重、一般或不严重；厂家可设置等级严重的缺陷发现时做停机操作，等级一般的缺陷发现时做报警操作，等级不严重的缺陷发现时只做打标签操作等。

另一方面，本发明实施例提供了一种产品缺陷检测装置。图6为本发明实施例的产品缺陷检测装置的整体框架图。如图6所示，本发明实施例的产品缺陷检测装置包括：数据采集模块100，用于获取产品的图像数据；负载均衡模块200，用于将所述图像数据转化为分类请求，根据在多个服务器上的分类预测模型的部署情况确定执行服务器，并将所述分类请求发送至执行服务器，以通过所述执行服务器上的分类预测模型给出缺陷类别的预测结果。

根据本发明产品缺陷检测装置的一种实施方式，所述负载均衡模块200还用于：查询预先设置的服务器资源配置管理表，所述服务器资源配置管理表用于记录各个部署有所述分类预测模型的服务器的负载状态；比较各个部署有所述分类预测模型的服务器的负载状态，将负载最低的服务器确定为执行服务器。

再参见图4，本发明实施例的产品缺陷检测装置中包含预测引擎Predictor(即负载均衡模块)、分类预测模型Classifier、训练引擎Trainer。其中，预测引擎将生产线上实时产生的图片转化为分类请求(query)，并根据线上预测模型的部署情况实时进行负载均衡和调度，将分类请求发送至最佳的搭载着预测模型的服务器上。该服务器上运行着实时分类预测模型，分类预测模型是由训练引擎根据历史标注数据训练得到的。

根据本发明产品缺陷检测装置的一种实施方式，还包括：接收所述执行服务器返回的缺陷类别的预测结果；根据所述缺陷类别的预测结果做出相对应的缺陷处理操作，所述缺陷处理操作包括：报警、打标签、存储日志和/或停机。

根据本发明产品缺陷检测装置的一种实施方式，根据所述缺陷类别的预测结果做出相应的缺陷处理操作，包括：根据预先设置的所述缺陷类别的预测结果与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作；或者，根据预先设置的所述缺陷类别的预测结果的等级，以及所述缺陷类别的预测结果的等级与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作。

再一方面，本发明实施例提供了一种产品缺陷检测装置。图7为本发明提供的产品缺陷检测装置的执行服务器端的一种优选实施例的结构示意图。如图7所示，本发明实施例的执行服务器端的产品缺陷检测装置包括：数据接收模块300，用于接收产品的图像数据的分类请求；分类预测模型400，用于通过预先训练的分类预测模型对所述分类请求进行分类计算，给出缺陷类别的预测结果。

根据本发明产品缺陷检测装置的一种实施方式，所述分类预测模型400还用于：在对所述分类请求进行分类计算之前，对所述分类请求中的图像数据进行预处理，所述预处理包括图像去噪、去除背景、图像压缩和/或格式转化。

根据本发明产品缺陷检测装置的一种实施方式，还包括训练引擎，用于根据产品的图像数据的历史标注数据预先训练得到所述分类预测模型。

根据本发明产品缺陷检测装置的一种实施方式，所述分类预测模型400包括特征提取模型和缺陷定位分类模型；所述特征提取模型用于提取所述分类请求中的图像数据的特征；所述缺陷定位分类模型用于根据提取的所述图像数据的特征给出缺陷类别的预测结果，所述预测结果包括：所述分类请求中的图像是否存在缺陷，以及缺陷的类别和位置坐标。

根据本发明产品缺陷检测装置的一种实施方式，所述特征提取模型包括深度卷积神经网络；所述缺陷定位分类模型包括RCNN、SSD或Mask RCNN。

图8为本发明提供的产品缺陷检测装置的执行服务器端的另一优选实施例的结构示意图。如图8所示，根据本发明产品缺陷检测装置的一种实施方式，还包括控制模块600，用于：根据所述缺陷类别的预测结果做出相对应的缺陷处理操作，所述缺陷处理操作包括：报警、打标签、存储日志和/或停机。

根据本发明产品缺陷检测装置的一种实施方式，所述控制模块600还用于：根据预先设置的所述缺陷类别的预测结果与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作；或者，根据预先设置的所述缺陷类别的预测结果的等级，以及所述缺陷类别的预测结果的等级与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作。

再参见图4，本发明实施例的产品缺陷检测装置主要包含预测引擎Predictor(即负载均衡模块)、分类预测模型Classifier、训练引擎Trainer、控制模块Controller、数据库Database几个主要模块。

其中，预测引擎将生产线上实时产生的图片转化为分类请求(query)，并根据线上预测模型的部署情况实时进行负载均衡和调度，将分类请求发送至最佳的搭载着预测模型的服务器上。该服务器上运行着实时分类预测模型，该模型已经由训练引擎训练完成。模型对于到来的分类请求中的图像数据进行预设的预处理后，进行分类计算，并给出代表该缺陷类别的预测结果，并将结果传送至控制模块。控制模块与业务场景结合设计，能够根据业务需求，对模型给出的预测结果做出符合生产环境场景要求的响应，如报警、存储日志等。控制模块会将预测结果及响应的处理行为作为线上生产日志存储到生产数据库中。分类预测模型是由训练引擎根据历史标注数据训练得到的。

在一个可能的设计中，产品缺陷检测装置的结构中包括处理器和存储器，所述存储器用于存储支持产品缺陷检测装置执行上述第一方面或第二方面中产品缺陷检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

又一方面，本发明实施例提供了一种产品缺陷检测系统，包括上述第三方面或第四方面中任一所述的装置，以及，生产数据库，用于存储产品的图像数据，以及与所述产品的图像数据对应的缺陷类别的预测结果和与所述缺陷类别的预测结果对应的缺陷处理操作；训练数据库，用于存储产品的图像数据的历史标注数据，所述历史标注数据用于训练分类预测模型。参见图4，历史标注数据存储在训练数据库中，训练引擎向训练数据库发送数据请求，训练数据库响应数据请求将训练数据返回给训练引擎。另外，生产数据库中存储有近期产品的图像数据，以及与所述产品的图像数据对应的缺陷类别的预测结果，生产数据库可以为训练数据库随时提供数据更新，如果生产工艺发展更新了，训练数据库中的训练数据可随业务的发展迭代，使模型能够适应生产环境的最新需求。

再一方面，本发明实施例提供了一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面或第二方面中任一所述的方法。

再一方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第一方面或第二方面中任一所述的方法。

上述技术方案中的一个技术方案具有如下优点或有益效果：本发明提供的实施例适用于任何利用人眼、照片或机器视觉进行缺陷分类的场景，可随业务发展迭代模型，使模型能够适应生产环境的最新需求，在分类精度、可扩展性、规范化等方面为工业生产线带来显著的提升。

上述技术方案中的另一个技术方案具有如下优点或有益效果：通过负载均衡和调度，并行处理进一步提升了工作效率。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。其中装置实施方式与方法的实施方式相对应，因此装置的实施方式描述比较简略，相关描述可参照方法的实施方式的描述即可。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种产品缺陷检测方法，其特征在于，包括：

获取产品的图像数据；

将所述图像数据转化为分类请求，根据在多个服务器上的分类预测模型的部署情况确定执行服务器，并将所述分类请求发送至所述执行服务器，以通过所述执行服务器上的分类预测模型给出缺陷类别的预测结果。

2.根据权利要求1所述的方法，其特征在于，根据在多个服务器上的分类预测模型的部署情况确定执行服务器，包括：

查询预先设置的服务器资源配置管理表，所述服务器资源配置管理表用于记录各个部署有所述分类预测模型的服务器的负载状态；

比较各个部署有所述分类预测模型的服务器的负载状态，将负载最低的服务器确定为执行服务器。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

接收所述执行服务器返回的缺陷类别的预测结果；

根据所述缺陷类别的预测结果做出相对应的缺陷处理操作，所述缺陷处理操作包括：报警、打标签、存储日志和/或停机。

4.根据权利要求3所述的方法，其特征在于，根据所述缺陷类别的预测结果做出相应的缺陷处理操作，包括：

根据预先设置的所述缺陷类别的预测结果与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作；或者，

根据预先设置的所述缺陷类别的预测结果的等级，以及所述缺陷类别的预测结果的等级与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作。

5.一种产品缺陷检测方法，其特征在于，包括：

接收产品的图像数据的分类请求；

通过预先训练的分类预测模型对所述分类请求进行分类计算，给出缺陷类别的预测结果；所述分类预测模型包括特征提取模型和缺陷定位分类模型；所述特征提取模型用于提取所述分类请求中的图像数据的特征；所述缺陷定位分类模型用于根据提取的所述图像数据的特征给出缺陷类别的预测结果，所述预测结果包括：所述分类请求中的图像是否存在缺陷，以及缺陷的类别和位置坐标。

6.根据权利要求5所述的方法，其特征在于，在对所述分类请求进行分类计算之前，还包括：对所述分类请求中的图像数据进行预处理，所述预处理包括图像去噪、去除背景、图像压缩和/或格式转化。

7.根据权利要求5或6所述的方法，其特征在于，还包括：根据产品的图像数据的历史标注数据预先训练得到所述分类预测模型。

8.根据权利要求5或6所述的方法，其特征在于，所述特征提取模型包括深度卷积神经网络；所述缺陷定位分类模型包括RCNN、SSD或Mask RCNN。

9.根据权利要求5或6所述的方法，其特征在于，在给出缺陷类别的预测结果之后，还包括：

根据所述缺陷类别的预测结果做出相对应的缺陷处理操作，所述缺陷处理操作包括：报警、打标签、存储日志和/或停机。

10.根据权利要求9所述的方法，其特征在于，根据所述缺陷类别的预测结果做出相应的缺陷处理操作，包括：

根据预先设置的所述缺陷类别的预测结果与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作；或者，

根据预先设置的所述缺陷类别的预测结果的等级，以及所述缺陷类别的预测结果的等级与所述缺陷处理操作的对应关系，做出相应的缺陷处理操作。

11.一种产品缺陷检测装置，其特征在于，包括：

数据采集模块，用于获取产品的图像数据；

负载均衡模块，用于将所述图像数据转化为分类请求，根据在多个服务器上的分类预测模型的部署情况确定执行服务器，并将所述分类请求发送至执行服务器，以通过所述执行服务器上的分类预测模型给出缺陷类别的预测结果。

12.根据权利要求11所述的装置，其特征在于，所述负载均衡模块还用于：

查询预先设置的服务器资源配置管理表，所述服务器资源配置管理表用于记录各个部署有所述分类预测模型的服务器的负载状态；

比较各个部署有所述分类预测模型的服务器的负载状态，将负载最低的服务器确定为执行服务器。

13.一种产品缺陷检测装置，其特征在于，包括：

数据接收模块，用于接收产品的图像数据的分类请求；

分类预测模型，用于通过预先训练的分类预测模型对所述分类请求进行分类计算，给出缺陷类别的预测结果；所述分类预测模型包括特征提取模型和缺陷定位分类模型；所述特征提取模型用于提取所述分类请求中的图像数据的特征；所述缺陷定位分类模型用于根据提取的所述图像数据的特征给出缺陷类别的预测结果，所述预测结果包括：所述分类请求中的图像是否存在缺陷，以及缺陷的类别和位置坐标。

14.根据权利要求13所述的装置，其特征在于，还包括控制模块，用于：根据所述缺陷类别的预测结果做出相对应的缺陷处理操作，所述缺陷处理操作包括：报警、打标签、存储日志和/或停机。

15.一种产品缺陷检测系统，其特征在于，包括如权利要求11或12中任一项所述的装置和如权利要求13或14中任一项所述的装置，以及

生产数据库，用于存储产品的图像数据，以及与所述产品的图像数据对应的缺陷类别的预测结果和与所述缺陷类别的预测结果对应的缺陷处理操作；

训练数据库，用于存储产品的图像数据的历史标注数据，所述历史标注数据用于训练分类预测模型。

16.一种服务器，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-4或5-10中任一所述的方法。

17.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4或5-10中任一所述的方法。