CN111368942A - 商品分类识别方法、装置、电子设备及存储介质 - Google Patents

商品分类识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111368942A
CN111368942A CN202010458232.7A CN202010458232A CN111368942A CN 111368942 A CN111368942 A CN 111368942A CN 202010458232 A CN202010458232 A CN 202010458232A CN 111368942 A CN111368942 A CN 111368942A
Authority
CN
China
Prior art keywords
image
area
commodity
attention
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010458232.7A
Other languages
English (en)
Other versions
CN111368942B (zh
Inventor
柯政远
李锴莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi Technology Group Co.,Ltd.
Original Assignee
Shenzhen Ainnovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ainnovation Technology Co ltd filed Critical Shenzhen Ainnovation Technology Co ltd
Priority to CN202010458232.7A priority Critical patent/CN111368942B/zh
Publication of CN111368942A publication Critical patent/CN111368942A/zh
Application granted granted Critical
Publication of CN111368942B publication Critical patent/CN111368942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种商品分类识别方法、装置、电子设备及存储介质。该商品分类识别方法，包括：采用第一卷积神经网络提取商品分布图像的每一区域图像的第一特征信息，其中，商品分布图像包括多个互不相交的区域图像，每一所述区域图像对应一商品；根据区域图像以及对应第一特征信息生成对应的注意力区域图；采用第二卷积神经网络提取所述注意力区域图的第二特征信息；将所述第一特征信息以及所述第二特征信息进行池化处理，以得到双线性向量；根据所述双线性向量获取所述区域图像对应的商品的分类的概率分布情况，并基于所述概率分布情况获取分类结果。本申请通过采用双线性向量来对细微的特征差异进行识别，可以提高商品分类识别的准确性。

Description

商品分类识别方法、装置、电子设备及存储介质
技术领域
本申请涉及货柜商品识别技术领域，具体而言，涉及一种商品分类识别方法、装置、电子设备及存储介质。
背景技术
在开放式智能零售货柜中，采用鱼眼摄像头对放置在货柜中的商品进行图像采集，从而对商品进行分类识别操作。对于货柜运营商而言，较高的分类识别准确率是必不可少的。
鱼眼摄像头对商品拍摄成像时存在遮挡，其拍摄的图像更多展现了顶部及靠近顶部区域的局部的图像，缺商品其他部分的较为显著的特征信息。因此，这种情况会对分类识别算法的准确性造成影响，导致分类识别的准确率降低。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请实施例的目的在于提供一种商品分类识别方法、装置、电子设备及存储介质，可以提高商品分类识别的准确率。
第一方面，本申请实施例提供了一种商品分类识别方法，包括：
采用第一卷积神经网络提取商品分布图像的每一所述区域图像的第一特征信息，其中，所述商品分布图像包括多个互不相交的区域图像，每一所述区域图像对应一商品；
根据所述区域图像以及对应第一特征信息生成对应的注意力区域图；
采用第二卷积神经网络提取所述注意力区域图的第二特征信息；
对所述第一特征信息以及对应所述第二特征信息进行池化处理，以得到双线性向量；
根据所述双线性向量获取所述区域图像对应的商品的分类的概率分布情况，并基于所述概率分布情况获取分类结果。
本申请实施例通过对拥有更加详细的细节、纹理等信息的注意力区域图进行特征提取，并结合区域图像的特征信息，从而实现采用双线性向量来对商品细微的特征差异进行识别，可以提高商品分类识别的准确性。
可选地，在本申请实施例所述的商品分类识别方法中，所述根据所述区域图像以及对应第一特征信息生成对应的注意力区域图，包括：
将所述第一特征信息输入预设注意力区域提取模型，以获取注意力区域的位置信息；
根据所述注意力区域的位置信息对对应的区域图像进行裁剪，以获取初始注意力区域图；
对所述初始注意力区域图进行上采样处理，以获取与对应区域图像具有相同分辨率的注意力区域图。
可选地，在本申请实施例所述的商品分类识别方法中，所述区域图像呈矩形状，所述注意力区域呈正方形状；
所述根据所述注意力区域的位置信息对对应的区域图像进行裁剪，以获取初始注意力区域图，包括：
生成一掩膜M，所述掩膜M与所述区域图像尺寸及形状相同，所述掩膜M的坐标点分别与所述区域图像的坐标点一一对应；
获取关于所述掩膜M的坐标点与注意力区域的位置信息的约束计算式；
根据所述约束计算式将所述区域图像的位于所述注意力区域的部分裁剪出，以得到初始注意力区域图。
可选地，在本申请实施例所述的商品分类识别方法中，所述预设注意力区域提取模型包括至少两个依次相连的卷积层。
可选地，在本申请实施例所述的商品分类识别方法中，所述根据所述双线性向量获取所述区域图像对应的商品的分类的概率分布情况，并基于所述概率分布情况获取分类结果，包括：
对所述双线性向量依次进行取平方根操作以及L2归一化操作，以得到目标向量；
将所述目标向量输入softmax函数，以得到与所述区域图像对应的商品的分类的概率分布情况；
根据所述概率分布情况获取所述区域图像对应的商品对应的分类结果。
可选地，在本申请实施例所述的商品分类识别方法中，所述采用第一卷积神经网络提取商品分布图像的每一所述区域图像的第一特征信息之前，还包括：
获取商品分布图像，并在所述商品分布图像中生成多个标定框，每一所述标定框内包括一商品，所述多个标定框互不相交；
将每一所述标定框围成区域的图像提取出，以得到对应的区域图像。
第二方面，本申请实施例还提供了一种商品分类识别装置，包括：
第一提取模块，用于采用第一卷积神经网络提取商品分布图像的每一所述区域图像的第一特征信息，其中，所述商品分布图像包括多个互不相交的区域图像，每一所述区域图像对应一商品；
第一生成模块，用于根据所述区域图像以及对应第一特征信息生成对应的注意力区域图；
第二提取模块，用于采用第二卷积神经网络提取所述注意力区域图的第二特征信息；
池化模块，用于对所述第一特征信息以及对应所述第二特征信息进行池化处理，以得到双线性向量；
识别模块，用于根据所述双线性向量获取所述区域图像对应的商品的分类的概率分布情况，并基于所述概率分布情况获取分类结果。
可选地，在本申请实施例所述的商品分类识别装置中，所述第一生成模块包括：
第一获取单元，用于将所述第一特征信息输入预设注意力区域提取模型，以获取注意力区域的位置信息；
第二获取单元，用于根据所述注意力区域的位置信息对对应的区域图像进行裁剪，以获取初始注意力区域图；
放大单元，用于对所述初始注意力区域图进行上采样处理，以获取与对应区域图像具有相同分辨率的注意力区域图
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请实施例通过采用第一卷积神经网络提取商品分布图像的每一所述区域图像的第一特征信息，其中，所述区域图像包括多个互不相交的区域图像，每一所述区域图像对应一商品；根据所述区域图像以及对应第一特征信息生成对应的注意力区域图；采用第二卷积神经网络提取所述注意力区域图的第二特征信息；将所述第一特征信息以及所述第二特征信息进行池化处理，以得到双线性向量；根据所述双线性向量获取所述区域图像对应的商品的分类的概率分布情况，并基于所述概率分布情况获取分类结果；从而实现对商品的分类识别；由于本申请通过对拥有更加详细的细节、纹理等信息的注意力区域图进行特征提取，并结合区域图像的特征信息，从而实现采用双线性向量来对商品细微的特征差异进行识别，可以提高商品分类识别的准确性。
本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的商品分类识别方法的一种流程图。
图2为本申请实施例提供的商品分类识别装置的一种结构示意图。
图3为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的商品分类识别方法的流程图。该商品分类识别方法用于对开放式智能零售货柜中的商品的分类进行识别，以助于在自动销售过程中进行订单的自动生成或者进行自动结算。该商品分类识别方法可以应用于与该开放式智能零售货柜通信连接的远程服务器中，也可以应用于设置于该开放式智能零售货柜中的主控模组中。其中，该商品分类识别方法，包括以下步骤：
S101、采用第一卷积神经网络提取商品分布图像的区域图像的第一特征信息，其中，所述商品分布图像包括多个互不相交的区域图像，每一所述区域图像对应一商品。
S102、根据区域图像以及对应第一特征信息生成对应的注意力区域图。
S103、采用第二卷积神经网络提取所述注意力区域图的第二特征信息。
S104、对所述第一特征信息以及对应的第二特征信息进行池化处理，以得到双线性向量。
S105、根据所述双线性向量获取所述区域图像对应的商品的分类的概率分布情况，并基于所述概率分布情况获取分类结果。
在该步骤S101中，该商品分布图像为开放式智能零售货柜内的鱼眼摄像头拍摄的开放式智能零售货柜内的商品的分布图像。该区域图像呈矩形状或者正方形状，每一区域图像内对应有一个商品的图像，该多个区域图像尺寸相同。在布置商品时，为了便于拍照以及便于存取，该货柜内的多个商品呈矩形阵列间隔排布。
其中，可以采用预设的第一卷积神经网络A来对每一个区域图像X进行特征提取，以得到对应的特征fA（X）。其中，第一卷积神经网络A为现有技术中常见的用于提取图片特征信息的卷积神经网络。
可以理解地，在一些实施例中，在该步骤S101之前，该商品分类识别方法，还包括以下步骤：S1011、获取商品分布图像，并在所述商品分布图像中生成多个标定框，每一所述标定框内包括一商品，所述多个标定框互不相交；S1012、将每一所述标定框围成区域的图像提取出，以得到对应的区域图像。其中，该标定框呈矩形状，且任意相邻两个标定框不相交。然后，以标定框作为分界线，从该商品分布图像中将每一个标定框围成区域的图像提取出，从而得到多个区域图像。
在该步骤S102中，该注意力区域图为该区域图像中提取到第一特征信息所在的区域的图像。其中，该注意力区域图以及注意力区域均呈正方形。在一些实施例中，该步骤S102包括以下子步骤：S1021、将第一特征信息输入预设注意力区域提取模型，以获取注意力区域的位置信息；S1022、根据所述注意力区域的位置信息对对应的区域图像进行裁剪，以获取初始注意力区域图；S1023、对所述初始注意力区域图进行上采样处理，以获取与对应区域图像具有相同尺寸及分辨率的注意力区域图。
其中，在该步骤S1021中，该预设注意力区域提取模型由至少两个依次相连的卷积层构成，其可以为两个，也可以为多个。该注意力区域的位置信息为{tx,ty,t1},其中，（tx,ty）为该注意力区域的中心坐标，该t1为该注意力区域的边长的一半，该注意力区域默认为正方形。
在该步骤S1022中，经过裁剪得到的注意力区域图呈矩形状，具体操作时为根据该位置信息从对应区域图像上抠出一个所有第一提取特征信息的矩形区域，也即是所提取的所有第一特征信息均从该矩形区域中提取得到。因此，经过裁剪后，该注意力区域图中的第一特征信息的数量与该注意力区域图的面积的比值增大，便于对该注意力区域图中的细节及纹理等特征信息进行提取及识别。
具体地，在一些实施例中，该步骤S1021包括：生成一掩膜M，该掩膜M与区域图像尺寸及形状相同，所述掩膜M的各个坐标点分别与所述区域图像的各个坐标点一一对应；获取关于所述掩膜M的坐标点与注意力区域的位置信息的约束计算式；根据所述约束计算式将所述区域图像的位于所述注意力区域的部分裁剪出，以得到初始注意力区域图。其中，约束计算式为M（x，y）={h（x-tx1）-h（x-tx2）}*{h（y-ty1）-h（y-ty2）}；其中，该h（x）=1/（1+e-kx）。其中，（tx1，ty1）为由该位置信息为{tx,ty,t1}得到的注意力区域的左上角点的坐标，（tx2，ty2）为由该位置信息为{tx,ty,t1}得到的注意力区域的右下角点的坐标。通过设置经验值k的值，可以保证只有该掩膜M的坐标点在注意力区域中时，掩膜M（x，y）的值为1，不在该注意力区域中时，该M（x，y）的值为0；从而采用该M（x，y）来将该初始注意力区域图从对应区域图像中裁剪出。
在该步骤S103中，可以采用预设的第二卷积神经网络B来对每一个注意力区域图Y进行特征提取，以得到对应的特征fB（Y）。其中，第二卷积神经网络B为现有技术中常见的用于提取图片特征信息的卷积神经网络。通过采用将区域图像中的注意力区域图裁剪出，并将该注意力区域图设置为与该区域图像具有相同尺寸及分辨率，从而便于从该注意力区域图中提取到该商品的细节及纹理信息，从而提高后续的分类识别的准确度。
在该步骤S104中，先将该第一特征信息fA（X）以及该第二特征信息fB（Y）合并，然后采用预设的池化层来对合并后的特征信息进行池化操作，从而得到双线性特征向量V。
在该步骤S105中，可以采用对该双线性向量V进行预处理，然后输入预设的概率分布情况预测函数中，以获取该区域图像对应的商品的分类的概率分布情况。
具体地，在一些实施例中，该步骤S105包括：S1051、对所述双线性向量依次进行取平方根操作以及L2归一化操作，以得到目标向量；S1052、将所述目标向量输入softmax函数，以得到与所述区域图像对应的商品的分类的概率分布情况；S1053、根据所述概率分布情况获取所述区域图像对应的商品对应的分类结果。其中，该概率分布情况用于描述该区域图像对应的商品属于各种分类的概率。例如，对于某一区域图像而言，其最后得出的概率分布情况为：P1、P2、P3、P4、P5，其中P1、P2、P3、P4、P5分别对应的商品类别为A1、A2、A3、A4、A5。其中，该P1、P2、P3、P4、P5中P2最大，因此，该某一区域图像对应的分类为A2类别。
由上可知，本申请实施例通过采用第一卷积神经网络提取商品分布图像的每一所述区域图像的第一特征信息，其中，所述区域图像包括多个互不相交的区域图像，每一所述区域图像对应一商品；根据所述区域图像以及对应第一特征信息生成对应的注意力区域图；采用第二卷积神经网络提取所述注意力区域图的第二特征信息；将所述第一特征信息以及所述第二特征信息进行池化处理，以得到双线性向量；根据所述双线性向量获取所述区域图像对应的商品的分类的概率分布情况，并基于所述概率分布情况获取分类结果；从而实现对商品的分类识别；由于本申请通过对拥有更加详细的细节、纹理等信息的注意力区域图进行特征提取，并结合区域图像的特征信息，从而实现采用双线性向量来对商品的细微的特征差异进行识别，可以提高商品分类识别的准确性。
请参照图2，图2是本申请一些实施例中的一种商品分类识别装置的结构示意图。该商品分类识别装置包括：第一提取模块201、第一生成模块202、第二提取模块203、池化模块204以及识别模块205。
其中，该第一提取模块201用于采用第一卷积神经网络提取商品分布图像的每一所述区域图像的第一特征信息，其中，所述商品分布图像包括多个互不相交的区域图像，每一所述区域图像对应一商品。该商品分布图像为货柜内的鱼眼摄像头拍摄的货柜内的商品的分布图像。该区域图像呈矩形状或者正方形状，每一区域图像内对应有一个商品的图像，该多个区域图像尺寸相同。在布置商品时，为了便于拍照以及便于存取，该货柜内的多个商品呈矩形阵列间隔排布。
其中，可以采用预设的第一卷积神经网络A来对每一个区域图像进行特征提取，以得到对应的特征fA（X）。其中，第一卷积神经网络A为现有技术中常见的用于提取图片特征信息的卷积神经网络。
可以理解地，在一些实施例中，第一提取模块201还用于：获取商品分布图像，并在所述商品分布图像中生成多个标定框，每一所述标定框内包括一商品，所述多个标定框互不相交；将每一所述标定框围成区域的图像提取出，以得到对应的区域图像。其中，该标定框呈矩形状，且任意相邻两个标定框不相交。然后，以标定框作为分界线，从该商品分布图像中将每一个标定框围成区域的图像提取出，从而得到多个区域图像。
其中，该第一生成模块202用于根据所述区域图像以及对应第一特征信息生成对应的注意力区域图。该注意力区域图为该区域图像中提取特征信息所在的区域的图像。其中，该注意力区域图以及注意力区域均呈正方形。具体地，该第一生成模块202包括：第一获取单元，用于将所述第一特征信息输入预设注意力区域提取模型，以获取注意力区域的位置信息；第二获取单元，用于根据所述注意力区域的位置信息对对应的区域图像进行裁剪，以获取初始注意力区域图；放大单元，用于对所述初始注意力区域图进行上采样处理，以获取与对应区域图像具有相同分辨率的注意力区域图。
该预设注意力区域提取模型由至少两个相连的卷积层构成，其可以为两个，也可以为多个。该注意力区域的位置信息为{tx,ty,t1},其中，（tx,ty）为该注意力区域的中心坐标，该t1为该注意力区域的边长的一半，该注意力区域默认为正方形。经过裁剪得到的注意力区域图呈矩形状，具体操作时也即是将根据该位置信息从对应区域图像上抠出一个提取特征信息较多的矩形区域，所提取的所有第一特征信息均从该矩形区域中提取。
具体地，在一些实施例中，该第二获取单元用于：生成一掩膜M，该掩膜M与每一区域图像尺寸及形状相同，所述掩膜M的各个坐标点分别与所述区域图像的各个坐标点一一对应；获取关于所述掩膜M的坐标点与注意力区域的位置信息的约束计算式；根据所述约束计算式将所述区域图像的位于所述注意力区域的部分裁剪出，以得到初始注意力区域图。其中，约束计算式为M（x，y）={h（x-tx1）-h（x-tx2）}*{h（y-ty1）-h（y-ty2）}；其中，该h（x）=1/（1+e-kx）。其中，（tx1，ty1）为由该位置信息为{tx,ty,t1}得到的注意力区域的左上角点的坐标，（tx2，ty2）为由该位置信息为{tx,ty,t1}得到的注意力区域的右下角点的坐标。通过设置k值，可以保证只有（x，y）在注意力区域中时，掩膜M（x，y）的值为1；从而采用该M（x，y）来将该初始注意力区域图从对应区域图像中裁剪出。
其中，该第二提取模块203用于采用第二卷积神经网络提取所述注意力区域图的第二特征信息；该第二提取模块203可以采用预设的第二卷积神经网络B来对每一个区域图像进行特征提取，以得到对应的特征fB（Y）。其中，第二卷积神经网络B为现有技术中常见的用于提取图片特征信息的卷积神经网络。
其中，该池化模块204用于将所述第一特征信息以及所述第二特征信息进行池化处理，以得到双线性向量；该池化模块204先将该第一特征信息fA（X）以及该第二特征信息fB（Y）合并，然后采用预设的池化层来对合并后的特征信息进行池化操作，从而得到双线性特征向量V。
其中，该识别模块205用于根据所述双线性向量获取所述区域图像对应的商品的分类的概率分布情况，并基于所述概率分布情况获取分类结果。可以采用对该双线性向量进行预处理，然后输入预设的概率分布情况函数中，以获取该区域图像对应的商品的分类的概率分布情况。具体地，该识别模块205用于对所述双线性向量依次进行取平方根操作以及L2归一化操作，以得到目标向量；将所述目标向量输入softmax函数，以得到与所述区域图像对应的商品的分类的概率分布情况；根据所述概率分布情况获取所述区域图像对应的商品对应的分类结果。其中，该概率分布情况用于描述该区域图像对应的商品属于各种分类的概率。例如，对于某一区域图像而言，其最后得出的概率分布情况为：P1、P2、P3、P4、P5，其中P1、P2、P3、P4、P5分别对应的类别为A1、A2、A3、A4、A5。其中，该P1、P2、P3、P4、P5中P2最大，因此，该某一区域图像对应的分类为A2类别。
由上可知，本申请实施例通过采用第一卷积神经网络提取商品分布图像的每一所述区域图像的第一特征信息，其中，所述区域图像包括多个互不相交的区域图像，每一所述区域图像对应一商品；根据所述区域图像以及对应第一特征信息生成对应的注意力区域图；采用第二卷积神经网络提取所述注意力区域图的第二特征信息；将所述第一特征信息以及所述第二特征信息进行池化处理，以得到双线性向量；根据所述双线性向量获取所述区域图像对应的商品的分类的概率分布情况，并基于所述概率分布情况获取分类结果；从而实现对商品的分类识别；由于本申请通过对拥有更加明确可鉴别的细节、纹理等信息的注意力区域图进行特征提取，并结合区域图像的特征，从而实现采用双线性向量来对商品互斥的细微的特征差异进行识别，可以提高商品分类识别的准确性。
请参照图3，图3为本申请实施例提供的一种电子设备3的结构示意图，本申请提供一种电子设备3，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的方法。
本申请实施例提供一种存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种商品分类识别方法，其特征在于，包括：
采用第一卷积神经网络提取商品分布图像的每一区域图像的第一特征信息，其中，所述商品分布图像包括多个互不相交的区域图像，每一所述区域图像对应一商品；
根据所述区域图像以及对应第一特征信息生成对应的注意力区域图；
采用第二卷积神经网络提取所述注意力区域图的第二特征信息；
对所述第一特征信息以及对应所述第二特征信息进行池化处理，以得到双线性向量；
根据所述双线性向量获取所述区域图像对应的商品的分类的概率分布情况，并基于所述概率分布情况获取分类结果。
2.根据权利要求1所述的商品分类识别方法，其特征在于，所述根据所述区域图像以及对应第一特征信息生成对应的注意力区域图，包括：
将所述第一特征信息输入预设注意力区域提取模型，以获取注意力区域的位置信息；
根据所述注意力区域的位置信息对对应的区域图像进行裁剪，以获取初始注意力区域图；
对所述初始注意力区域图进行上采样处理，以获取与对应区域图像具有相同分辨率的注意力区域图。
3.根据权利要求2所述的商品分类识别方法，其特征在于，所述区域图像呈矩形状，所述注意力区域呈正方形状；
所述根据所述注意力区域的位置信息对对应的区域图像进行裁剪，以获取初始注意力区域图，包括：
生成一掩膜M，所述掩膜M与所述区域图像尺寸及形状相同，所述掩膜M的各个坐标点分别与所述区域图像的各个坐标点一一对应；
获取关于所述掩膜M的坐标点与注意力区域的位置信息的约束计算式；
根据所述约束计算式将所述区域图像的位于所述注意力区域的部分裁剪出，以得到初始注意力区域图。
4.根据权利要求2所述的商品分类识别方法，其特征在于，所述预设注意力区域提取模型包括至少两个依次相连的卷积层。
5.根据权利要求1所述的商品分类识别方法，其特征在于，所述根据所述双线性向量获取所述区域图像对应的商品的分类的概率分布情况，并基于所述概率分布情况获取分类结果，包括：
对所述双线性向量依次进行取平方根操作以及L2归一化操作，以得到目标向量；
将所述目标向量输入softmax函数，以得到与所述区域图像对应的商品的分类的概率分布情况；
根据所述概率分布情况获取所述区域图像对应的商品对应的分类结果。
6.根据权利要求1所述的商品分类识别方法，其特征在于，所述采用第一卷积神经网络提取商品分布图像的每一所述区域图像的第一特征信息之前，还包括：
获取商品分布图像，并在所述商品分布图像中生成多个标定框，每一所述标定框内包括一商品，所述多个标定框互不相交；
将每一所述标定框围成区域的图像提取出，以得到对应的区域图像。
7.一种商品分类识别装置，其特征在于，包括：
第一提取模块，用于采用第一卷积神经网络提取商品分布图像的每一区域图像的第一特征信息，其中，所述商品分布图像包括多个互不相交的区域图像，每一所述区域图像对应一商品；
第一生成模块，用于根据所述区域图像以及对应第一特征信息生成对应的注意力区域图；
第二提取模块，用于采用第二卷积神经网络提取所述注意力区域图的第二特征信息；
池化模块，用于对所述第一特征信息以及对应所述第二特征信息进行池化处理，以得到双线性向量；
识别模块，用于根据所述双线性向量获取所述区域图像对应的商品的分类的概率分布情况，并基于所述概率分布情况获取分类结果。
8.根据权利要求7所述的商品分类识别装置，其特征在于，所述第一生成模块包括：
第一获取单元，用于将所述第一特征信息输入预设注意力区域提取模型，以获取注意力区域的位置信息；
第二获取单元，用于根据所述注意力区域的位置信息对对应的区域图像进行裁剪，以获取初始注意力区域图；
放大单元，用于对所述初始注意力区域图进行上采样处理，以获取与对应区域图像具有相同分辨率的注意力区域图。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-6任一项所述的方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-6任一项所述的方法。
CN202010458232.7A 2020-05-27 2020-05-27 商品分类识别方法、装置、电子设备及存储介质 Active CN111368942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010458232.7A CN111368942B (zh) 2020-05-27 2020-05-27 商品分类识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010458232.7A CN111368942B (zh) 2020-05-27 2020-05-27 商品分类识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111368942A true CN111368942A (zh) 2020-07-03
CN111368942B CN111368942B (zh) 2020-08-25

Family

ID=71212300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010458232.7A Active CN111368942B (zh) 2020-05-27 2020-05-27 商品分类识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111368942B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546772A (zh) * 2021-06-28 2022-12-30 虫极科技（北京）有限公司 商品识别方法及计算机可读存储介质
WO2023044663A1 (en) * 2021-09-23 2023-03-30 Intel Corporation Methods and apparatus for team classification in sports analysis

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934397A (zh) * 2017-03-13 2017-07-07 北京市商汤科技开发有限公司 图像处理方法、装置及电子设备
JP2018163527A (ja) * 2017-03-27 2018-10-18 株式会社Ｓｃｒｅｅｎホールディングス 分類装置の製造方法、画像の分類方法、画像の分類装置、半導体の検査装置および分類基準モジュール
CN110738247A (zh) * 2019-09-30 2020-01-31 中国科学院大学 一种基于选择性稀疏采样的细粒度图像分类方法
CN110852351A (zh) * 2019-10-22 2020-02-28 苏州幻岛信息科技有限公司 基于图像的垃圾分类方法、装置、终端设备和存储介质
CN111079604A (zh) * 2019-12-06 2020-04-28 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 面向大尺度遥感图像的微小目标快速检测方法
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
CN111144417A (zh) * 2019-12-27 2020-05-12 创新奇智(重庆)科技有限公司 基于教师学生网络的智能货柜小目标检测方法及检测系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934397A (zh) * 2017-03-13 2017-07-07 北京市商汤科技开发有限公司 图像处理方法、装置及电子设备
JP2018163527A (ja) * 2017-03-27 2018-10-18 株式会社Ｓｃｒｅｅｎホールディングス 分類装置の製造方法、画像の分類方法、画像の分類装置、半導体の検査装置および分類基準モジュール
CN110738247A (zh) * 2019-09-30 2020-01-31 中国科学院大学 一种基于选择性稀疏采样的细粒度图像分类方法
CN110852351A (zh) * 2019-10-22 2020-02-28 苏州幻岛信息科技有限公司 基于图像的垃圾分类方法、装置、终端设备和存储介质
CN111079604A (zh) * 2019-12-06 2020-04-28 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 面向大尺度遥感图像的微小目标快速检测方法
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
CN111144417A (zh) * 2019-12-27 2020-05-12 创新奇智(重庆)科技有限公司 基于教师学生网络的智能货柜小目标检测方法及检测系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546772A (zh) * 2021-06-28 2022-12-30 虫极科技（北京）有限公司 商品识别方法及计算机可读存储介质
WO2023044663A1 (en) * 2021-09-23 2023-03-30 Intel Corporation Methods and apparatus for team classification in sports analysis

Also Published As

Publication number Publication date
CN111368942B (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN114820465B (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN111061890B (zh) 一种标注信息验证的方法、类别确定的方法及装置
AU2024201361B2 (en) Processing images using self-attention based neural networks
US8941645B2 (en) Comparing virtual and real images in a shopping experience
CN111259758B (zh) 一种针对密集区域的两阶段遥感图像目标检测方法
CN111079632A (zh) 文本检测模型的训练方法、装置、计算机设备和存储介质
CN110705666A (zh) 人工智能云计算展示架货架货物和标签监控与存储货物方法
US12136061B2 (en) Retail shelf image processing and inventory tracking system
CN114331951A (zh) 图像检测方法、装置、计算机、可读存储介质及程序产品
CN111310706B (zh) 一种商品价签识别方法及装置、电子设备、存储介质
CN111368942B (zh) 商品分类识别方法、装置、电子设备及存储介质
US12183079B1 (en) Method, apparatus and robot for out-of-stock detection of shelf commodities
US11861668B2 (en) Method, device, electronic apparatus and storage medium for generating order
CN110807463B (zh) 图像分割方法、装置、计算机设备和存储介质
Merrad et al. A Real-time Mobile Notification System for Inventory Stock out Detection using SIFT and RANSAC.
CN114550148A (zh) 基于深度学习的严重遮挡商品的识别检测计数方法与系统
CN110766460A (zh) 一种用户画像的方法、装置、存储介质及计算机设备
CN112906592A (zh) 客流量分析方法及系统、电子设备
US20250086585A1 (en) Retail shelf image processing and inventory tracking system
CN111401438B (zh) 图像分拣方法、装置及系统
CN111833110A (zh) 客户生命周期定位方法、装置、电子设备及存储介质
CN116626046A (zh) 一种继电保护柜端子缺陷检测方法、系统、设备和介质
CN115630660A (zh) 基于卷积神经网络的条码定位方法和装置
CN115357742A (zh) 门店图像查重方法、系统、终端设备及存储介质
CN119399475B (zh) 烟草库存更新方法、计算机设备与计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 501, block a, Haier International Plaza, 939 Zhenwu Road, Jimo Economic Development Zone, Qingdao, Shandong 266200

Patentee after: Qingdao Chuangxin Qizhi Technology Group Co.,Ltd.

Address before: Room 04, 02 / F, building 4, software industry base, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN AINNOVATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address
CP01 Change in the name or title of a patent holder

Address after: Room 501, block a, Haier International Plaza, 939 Zhenwu Road, Jimo Economic Development Zone, Qingdao, Shandong 266200

Patentee after: Qingdao Chuangxin Qizhi Technology Group Co.,Ltd.

Address before: Room 501, block a, Haier International Plaza, 939 Zhenwu Road, Jimo Economic Development Zone, Qingdao, Shandong 266200

Patentee before: Qingdao Chuangxin Qizhi Technology Group Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP03 Change of name, title or address

Address after: Room 501, block a, Haier International Plaza, 939 Zhenwu Road, Jimo Economic Development Zone, Qingdao, Shandong 266200

Patentee after: Innovation Qizhi Technology Group Co.,Ltd.

Country or region after: China

Address before: Room 501, block a, Haier International Plaza, 939 Zhenwu Road, Jimo Economic Development Zone, Qingdao, Shandong 266200

Patentee before: Qingdao Chuangxin Qizhi Technology Group Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address