CN110977970B - 图像识别系统的识别方法 - Google Patents

Abstract

本申请提供了一种图像识别系统的识别方法，该图像识别系统包括用于获取被测物体的图像信息的摄像头、用于驱动摄像头移动的机械手臂组件和主机本体，摄像头安装于机械手臂组件上。本申请通过在机械手臂组件上设置摄像头，摄像头可获取被测物体的图像信息。当用户的指尖指在被测物体的指定内容时，摄像头拾取指尖指示的内容后，将信号传输给主机本体，此时主机本体驱动机械手臂组件以将摄像头移动至指尖所指内容的正上方，通过摄像头的自动对焦功能，能清楚地获取指尖所指内容的图像，内容识别率高，点读错误率低，可有效解决因固定的摄像头与书本成一定角度而导致内容识别率低，手指悬空导致点读错误率高的问题。

Description

图像识别系统的识别方法

技术领域

本申请属于电子设备领域，更具体地说，是涉及一种图像识别系统的识别方法。

背景技术

手指点读书本是通过手指指向书本相关内容，机器通过AI(ArtificialIntelligence，人工智能)算法、智能语音、图像智能识别及指尖定位，精确识别手指所指内容，从而进行文字识别的技术。

目前的手指点读书本机器主要是将摄像头固定在一定的高度，与书本成一定的角度，通过单个定焦广角高清摄像头来获取图像，从而进行文字识别。然而该方式无法解决在近处的图像会产生极大畸变的问题；另外，也无法获取手指的深度信息，无法解决手指悬空造成的错误点读问题，影响点读体验。

发明内容

本申请实施例的目的在于提供一种图像识别系统的识别方法，以解决相关技术中存在的固定的摄像头与书本形成一定角度而导致内容识别率低，点读错误率高的问题。

为实现上述目的，本申请实施例采用的技术方案是：

提供一种图像识别系统的识别方法，采用图像识别系统，所述图像识别系统包括：

摄像头，用于获取被测物体的图像信息；

机械手臂组件，与所述摄像头相连，用于驱动所述摄像头移动；

主机本体，用于驱动所述机械手臂组件将所述摄像头移动至所述被测物体之指定内容的正上方并识别该指定内容；

其中，所述摄像头和所述机械手臂组件分别与所述主机本体电连接；

所述图像识别系统的识别方法包括：

调节：所述主机本体控制所述机械手臂组件，将所述摄像头移动至被测物体的上方，所述摄像头获取所述被测物体的整体图像；

指定：在所述被测物体上确定指定内容；

识别：所述主机本体控制所述机械手臂组件将所述摄像头移动至所述指定内容的正上方，所述主机本体通过所述摄像头获取并识别所述指定内容。

在一个实施例中，所述调节步骤中的所述摄像头与所述被测物体之间的距离大于所述识别步骤中该摄像头与该被测物体之间的距离。

在一个实施例中，所述调节步骤中的所述摄像头与所述被测物体之间的距离大于所述识别步骤中该摄像头与该被测物体之间的距离。

在一个实施例中，所述机械手臂组件包括支架构件和用于驱动所述支架构件移动的驱动构件；所述摄像头安装于所述支架构件上，所述驱动构件与所述支架构件相连，所述主机本体与所述驱动构件电连接。

在一个实施例中，所述支架构件包括旋转支架和安装于所述旋转支架上的伸缩支架，所述摄像头安装于所述伸缩支架上；所述驱动构件包括用于驱动所述旋转支架旋转的动力件和用于驱动所述伸缩支架于所述旋转支架上滑动的传动件，所述旋转支架与所述动力件相连，所述传动件安装于所述旋转支架上，所述传动件与所述伸缩支架相连，所述动力件和所述传动件分别与所述主机本体电连接。

在一个实施例中，所述伸缩支架包括安装于所述旋转支架上的支臂和与所述支臂相连的连接臂，所述支臂与所述传动件相连，所述摄像头安装于所述连接臂上；所述驱动构件还包括用于驱动所述连接臂绕所述支臂转动的第一动力输出件；所述第一动力输出件安装于所述支臂上，所述第一动力输出件与所述连接臂相连，所述主机本体与所述第一动力输出件电连接。

在一个实施例中，所述连接臂包括与所述支臂相连的第一支撑臂和与所述第一支撑臂相连的第二支撑臂，所述摄像头安装于所述第二支撑臂上；所述驱动构件还包括用于驱动所述第二支撑臂绕所述第一支撑臂转动的第二动力输出件，所述第一动力输出件与所述第一支撑臂相连，所述第二动力输出件安装于所述第一支撑臂上，所述第二动力输出件与所述第二支撑臂相连，所述主机本体与所述第二动力输出件电连接。

在一个实施例中，所述第一支撑臂包括若干依次相连的转动臂，位于该第一支撑臂一端的所述转动臂与所述支臂相连，位于该第一支撑臂另一端的所述转动臂与所述第二支撑臂相连；所述驱动构件还包括用于驱动各所述转动臂转动的第三动力输出件，各所述第三动力输出件安装于所述第一支撑臂上，各所述第三动力输出件与对应的所述转动臂相连，所述主机本体与各所述第三动力输出件电连接。

在一个实施例中，所述驱动构件还包括用于驱动所述第二支撑臂旋转的第四动力输出件，所述第四动力输出件安装于所述第一支撑臂上，所述第四动力输出件与所述第二支撑臂相连，所述主机本体与所述第四动力输出件电连接。

在一个实施例中，所述主机本体包括：

主控制模块；

云端识别模块，用于将所述摄像头获取的所述被测物体之指定内容上传至数据库、并识别获取内容信息；以及，

显示模块，用于播放及显示所述云端识别模块获取的所述内容信息；

所述云端识别模块和所述显示模块分别与所述主控制模块电连接。

本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

本申请实施例提供的图像识别系统的识别方法的有益效果在于：与现有技术相比，本申请通过在机械手臂组件上设置摄像头，摄像头可获取被测物体的图像信息。当用户的指尖指在被测物体的指定内容时，摄像头拾取指尖指示的内容后，将信号传输给主机本体，此时主机本体驱动机械手臂组件以将摄像头移动至指尖所指内容的正上方，通过摄像头的自动对焦功能，能清楚地获取指尖所指内容的图像，内容识别率高，点读错误率低，可有效解决因固定的摄像头与书本成一定角度而导致内容识别率低，手指悬空导致点读错误率高的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或示范性技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的机械手臂组件与摄像头连接的结构示意图；

图2为本申请实施例提供的机械手臂组件、摄像头与被测物体之间的结构示意图；

图3为本申请实施例提供的图像识别系统的功能结构示意图；

图4为本申请实施例提供的图像识别系统的识别方法的流程图。

其中，图中各附图主要标记：

1-支架构件；11-旋转支架；12-伸缩支架；13-支臂；14-连接臂；15-第一支撑臂；151-转动臂；16-第二支撑臂；

2-驱动构件；21-动力件；22-传动件；23-第一动力输出件；24-第二动力输出件；25-第三动力输出件；26-第四动力输出件；

3-主机本体；31-主控制模块；32-云端识别模块；33-显示模块；

4-摄像头；5-被测物体。

具体实施方式

为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。

此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。“若干”的含义是一个或一个以上，除非另有明确具体的限定。

在本申请的描述中，需要理解的是，术语“中心”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在整个说明书中参考“一个实施例”或“实施例”意味着结合实施例描述的特定特征，结构或特性包括在本申请的至少一个实施例中。因此，“在一个实施例中”或“在一些实施例中”的短语出现在整个说明书的各个地方，并非所有的指代都是相同的实施例。此外，在一个或多个实施例中，可以以任何合适的方式组合特定的特征，结构或特性。

为了方便描述，定义空间上相互垂直的三个坐标轴分别为X轴、Y轴和Z轴，同时，沿X轴的方向为纵向，沿Y轴的方向为横向，沿Z轴方向为竖向；其中X轴与Y轴为同一水平面相互垂直的两个坐标轴，Z轴为竖直方向的坐标轴；X轴、Y轴和Z轴位于空间相互垂直有三个平面分别为XY面、YZ面和XZ面，其中，XY面为水平面，XZ面和YZ面均为竖直面，且XZ面与YZ面垂直。空间中三轴为X轴、Y轴和Z轴，沿空间上三轴移动指沿空间上相互垂直的三轴移动，特指在空间上沿X轴、Y轴和Z轴移动；而平面移动，则为在XY面移动。

请参阅图1至图3，现对本申请提供的图像识别系统进行说明。该图像识别系统包括用于获取被测物体5的图像信息的摄像头4、支撑该摄像头4的机械手臂组件(图未标)和主机本体3。其中，摄像头4和机械手臂组件分别与主机本体3电连接，摄像头4获取的图像信息可传输至主机本体3，主机本体3可通过算法确定被测物体5之指定内容的位置，并向机械手臂组件发出指令，通过机械手臂组件将摄像头4移动至指定内容的正上方，从而可实现摄像头4正对拍摄指定内容，摄像头4将拍摄到的指定内容传输给主机本体3后，经主机本体3识别后进行点读或者显示等。其中，摄像头4可以是可变焦高清摄像头，实现自动对焦拍摄，获取的图像信息清晰，在此不作唯一限定。

在本申请中，被测物体5可为书本、人脸等；该指定内容可以为文字、数字、图像等信息；该图像识别系统不仅可应用于点读设备技术领域中，还能应用于视频通话等，在此都不作唯一限定。

在一个实施例中，请参阅图1，作为本申请提供的图像识别系统的一种具体实施方式，机械手臂组件包括支架构件1和用于驱动支架构件1移动的驱动构件2；摄像头4安装于支架构件1上，驱动构件2与支架构件1相连，主机本体3与驱动构件2电连接。此结构，驱动构件2可实现对机械手臂组件的长度、高度及宽度的控制，在机械手臂组件的带动下，摄像头4可实现在XYZ空间内的任意移动，从而提高摄像头4位置移动的多样性，进而适配于位于不同位置处的被测物体5。

在一个实施例中，请参阅图1，作为本申请提供的图像识别系统的一种具体实施方式，支架构件1包括旋转支架11和安装于旋转支架11上的伸缩支架12，摄像头4安装于伸缩支架12上；驱动构件2包括用于驱动旋转支架11旋转的动力件21和用于驱动伸缩支架12于旋转支架11上滑动的传动件22，旋转支架11与动力件21相连，传动件22安装于旋转支架11上，传动件22与伸缩支架12相连，动力件21和传动件22分别与主机本体3电连接。此结构，动力件21可带动旋转支架11在以Z轴为旋转轴的水平面内旋转，从而可通过伸缩支架12带动摄像头4在水平面内旋转。传动件22可带动伸缩支架12沿旋转支架11上下移动，从而可调整摄像头4的高度，便于缩短摄像头4与被测物体5之间的距离，使得摄像头4获取的图像清晰，进而提高设识别准确率。其中，动力件21和传动件22都可为步进电机、伺服电机等，在此不作唯一限定。

在一个实施例中，请参阅图1，作为本申请提供的图像识别系统的一种具体实施方式，伸缩支架12包括安装于旋转支架11上的支臂13和与支臂13相连的连接臂14，支臂13与传动件22相连，摄像头4安装于连接臂14上；驱动构件2还包括用于驱动连接臂14绕支臂13转动的第一动力输出件23；第一动力输出件23安装于支臂13上，第一动力输出件23与连接臂14相连，主机本体3与第一动力输出件23电连接。此结构，第一动力输出件23可带动连接臂14绕支臂13在竖直平面内转动，进而调整摄像头4与被测物体5之间的距离。连接臂14可绕支臂13实现360度转动，摄像头4的位置调节灵活多样。其中，第一动力输出件23可为步进电机、伺服电机等，在此不作唯一限定。

在一个实施例中，请参阅图1，作为本申请提供的图像识别系统的一种具体实施方式，连接臂14包括与支臂13相连的第一支撑臂15和与第一支撑臂15相连的第二支撑臂16，摄像头4安装于第二支撑臂16上；驱动构件2还包括用于驱动第二支撑臂16绕第一支撑臂15转动的第二动力输出件24，第一动力输出件23与第一支撑臂15相连，第二动力输出件24安装于第一支撑臂15上，第二动力输出件24与第二支撑臂16相连，主机本体3与第二动力输出件24电连接。此结构，第一动力输出件23可带动第一支撑臂15绕支臂13在竖直平面内实现360度转动，第二动力输出件24可带动第二支撑臂16绕第一支撑臂15在竖直平面内实现360度转动，从而可多样化调整摄像头4的拍照位置。摄像头4可以定位在以连接臂14的长度为半径、以旋转支架11和第一支撑臂15长度之和为高的圆柱形空间的某个坐标，摄像头4的位置调节多样化。其中，第二动力输出件24可为步进电机、伺服电机等，在此不作唯一限定。

在一个实施例中，请参阅图1，作为本申请提供的图像识别系统的一种具体实施方式，第一支撑臂15包括若干依次相连的转动臂151，位于第一支撑臂15一端的转动臂151与支臂13相连，位于第一支撑臂15另一端的转动臂151与第二支撑臂16相连；驱动构件2还包括用于驱动各转动臂151转动的第三动力输出件25；各第三动力输出件25安装于第一支撑臂15上，各第三动力输出件25与对应的转动臂151相连，主机本体3与各第三动力输出件25电连接。此结构，位于一端的转动臂151与第一动力输出件23相连，在第一动力输出件23的带动下绕支臂23在竖直平面内实现360度转动。各第三动力输出件25可驱动对应的转动臂151绕与之相邻的转动臂151在竖直平面内实现360度转动，进而可实现第一支撑臂15的伸缩，提高摄像头4位置的多样性。其中，第三动力输出件25可为步进电机、伺服电机等，在此不作唯一限定。

在一个实施例中，请参阅图1，第一支撑臂15包括两个转动臂151，两个转动臂151首尾相连，第一动力输出件23带动其中一个转动臂151绕支臂13在竖直平面内实现360度转动，该转动臂151上安装有第三动力输出件25，该第三动力输出件25与另一个转动臂151相连，并可带动另一个转动臂151绕第一个转动臂151在竖直平面内实现360度转动。第二动力输出件24安装于另一个转动臂151上，可带动第二支撑臂16绕该转动臂151在竖直平面内实现360度转动。在其它实施例中，第一支撑臂15包含的转动臂151的数量、转动方式等都可以根据实际需要进行调节，在此不作唯一限定。

在一个实施例中，请参阅图1，作为本申请提供的图像识别系统的一种具体实施方式，驱动构件2还包括用于驱动第二支撑臂16旋转的第四动力输出件26，第四动力输出件26安装于第一支撑臂15上，第四动力输出件26与第二支撑臂16相连，主机本体3与第四动力输出件26电连接。此结构，第四动力输出件26可带动第二支撑臂16绕第一支撑臂15在水平面内实现360度转动，进而提高摄像头4位置变化的多样性。其中，第四动力输出件26可为步进电机、伺服电机等，在此不作唯一限定。

在一个实施例中，请参阅图3，作为本申请提供的图像识别系统的一种具体实施方式，主机本体3包括主控制模块31、用于将摄像头4获取的被测物体5之指定内容上传至数据库并识别获取内容信息的云端识别模块32和用于播放及显示云端识别模块32获取的内容信息的显示模块33；云端识别模块32和显示模块33分别与主控制模块31电连接。此结构，当摄像头4获取到被测物体5的指定内容后，将该指定内容与数据库存储的内容进行核准对比，进而识别该指定内容的目标内容，最后经显示模块33将该识别后的目标内容进行语音播放或者视频显示等。其中，该数据库可为在线数据库或者本地数据库等，在此不作唯一限定。

请参阅图4，本申请还提供了一种识别方法，采用上述的图像识别系统，具体步骤如下：

调节S1：主机本体3控制机械手臂组件将摄像头4移动至被测物体5的上方，摄像头4获取被测物体5的整体图像。此结构，当把被测物体5放置与支撑台面上后，启动图像识别系统，此时机械手臂组件在主机本体3的驱动下，将摄像头4移动至被测物体5的上方位置，并使得摄像头4能够获取被测物体5的整体图像。

指定S2：在被测物体5上确定指定内容。此结构，以用户手指作为实例进行说明。用户手指指尖指在被测物体5上的内容为指定内容。在其它实施例中，也可以通过点读笔、画圈指定等方式确定指定内容，在此不作唯一限定。

识别S3：主机本体3控制机械手臂组件将摄像头4移动至指定内容的正上方位置处，主机本体3通过摄像头4获取并识别该指定内容。主机本体3中可设置水平检测模块，通过该水平检测模块可实时监测摄像头4是否处于水平面上，从而可确保将摄像头4移动至指定内容的正上方。

请参阅图2，以手指指尖为例进行说明。在识别之前，主机本体3会不断地通过指尖算法识别摄像头4获取的整体图像中是否有手指存在。当手指指尖指定被测物体5上的Q为指定内容后，摄像头4获取有手指存在的整体图像，此时主机本体3驱动机械手臂组件将摄像头4移动至Q的正上方，摄像头4获取Q的完整清晰的图像，并将该图像信息传输给主机本体3并与数据库进行对比，以识别确定Q的具体内容信息，并可通过显示模块33进行语音播放或者视频显示等。

在识别S3步骤中，摄像头4与被测物体5之间的距离要小于调节S1步骤中摄像头4与被测物体5之间的距离。此结构，通过缩短摄像头4与指定内容Q之间的距离，使得摄像头4拍摄的图像更加清楚，提高对指定内容Q的识别准确率。

本申请提供的图像识别系统及其识别方法，通过机械手臂组件可将摄像头4移动至指定内容的正上方，从而可清楚地拍摄指定内容，这样解决了定焦广角摄像头4在近处的图像产生畸变的问题，解决了空间分辨率低下，在远处拍摄被测物体5图像模糊而导致识别不佳的问题。相较于摄像头4与被测物体5之间有一定的夹角，摄像头4不在指定内容的正上方，会存在错误识别指尖底下的内容而造成错误识别。而本申请通过将摄像头4移动至指定内容的正上方，即使指尖在悬空的情况下，也不会错误识别手指所指内容，可有效解决手指悬空时造成的错误识别，降低点读错误率。

以上所述仅为本申请的可选实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.图像识别系统的识别方法，采用图像识别系统，所述图像识别系统包括：

摄像头，用于获取被测物体的图像信息；

机械手臂组件，与所述摄像头相连，用于驱动所述摄像头移动；

主机本体，用于驱动所述机械手臂组件将所述摄像头移动至所述被测物体之指定内容的正上方并识别该指定内容；

其中，所述摄像头和所述机械手臂组件分别与所述主机本体电连接；

其特征在于，所述图像识别系统的识别方法包括：

调节：所述主机本体控制所述机械手臂组件，将所述摄像头移动至被测物体的上方，所述摄像头获取所述被测物体的整体图像；

指定：在所述被测物体上确定指定内容；

识别：所述主机本体控制所述机械手臂组件将所述摄像头移动至所述指定内容的正上方，所述主机本体通过所述摄像头获取并识别所述指定内容。

2.如权利要求1所述的图像识别系统的识别方法，其特征在于：所述调节步骤中的所述摄像头与所述被测物体之间的距离大于所述识别步骤中该摄像头与该被测物体之间的距离。

3.如权利要求1所述的图像识别系统的识别方法，其特征在于：所述机械手臂组件包括支架构件和用于驱动所述支架构件移动的驱动构件；所述摄像头安装于所述支架构件上，所述驱动构件与所述支架构件相连，所述主机本体与所述驱动构件电连接。

4.如权利要求3所述的图像识别系统的识别方法，其特征在于：所述支架构件包括旋转支架和安装于所述旋转支架上的伸缩支架，所述摄像头安装于所述伸缩支架上；所述驱动构件包括用于驱动所述旋转支架旋转的动力件和用于驱动所述伸缩支架于所述旋转支架上滑动的传动件，所述旋转支架与所述动力件相连，所述传动件安装于所述旋转支架上，所述传动件与所述伸缩支架相连，所述动力件和所述传动件分别与所述主机本体电连接。

5.如权利要求4所述的图像识别系统的识别方法，其特征在于：所述伸缩支架包括安装于所述旋转支架上的支臂和与所述支臂相连的连接臂，所述支臂与所述传动件相连，所述摄像头安装于所述连接臂上；所述驱动构件还包括用于驱动所述连接臂绕所述支臂转动的第一动力输出件；所述第一动力输出件安装于所述支臂上，所述第一动力输出件与所述连接臂相连，所述主机本体与所述第一动力输出件电连接。

6.如权利要求5所述的图像识别系统的识别方法，其特征在于：所述连接臂包括与所述支臂相连的第一支撑臂和与所述第一支撑臂相连的第二支撑臂，所述摄像头安装于所述第二支撑臂上；所述驱动构件还包括用于驱动所述第二支撑臂绕所述第一支撑臂转动的第二动力输出件，所述第一动力输出件与所述第一支撑臂相连，所述第二动力输出件安装于所述第一支撑臂上，所述第二动力输出件与所述第二支撑臂相连，所述主机本体与所述第二动力输出件电连接。

7.如权利要求6所述的图像识别系统的识别方法，其特征在于：所述第一支撑臂包括若干依次相连的转动臂，位于该第一支撑臂一端的所述转动臂与所述支臂相连，位于该第一支撑臂另一端的所述转动臂与所述第二支撑臂相连；所述驱动构件还包括用于驱动各所述转动臂转动的第三动力输出件，各所述第三动力输出件安装于所述第一支撑臂上，各所述第三动力输出件与对应的所述转动臂相连，所述主机本体与各所述第三动力输出件电连接。

8.如权利要求7所述的图像识别系统的识别方法，其特征在于：所述驱动构件还包括用于驱动所述第二支撑臂旋转的第四动力输出件，所述第四动力输出件安装于所述第一支撑臂上，所述第四动力输出件与所述第二支撑臂相连，所述主机本体与所述第四动力输出件电连接。

9.如权利要求1-8任一项所述的图像识别系统的识别方法，其特征在于：所述主机本体包括：

主控制模块；

云端识别模块，用于将所述摄像头获取的所述被测物体之指定内容上传至数据库、并识别获取内容信息；以及，

显示模块，用于播放及显示所述云端识别模块获取的所述内容信息；

所述云端识别模块和所述显示模块分别与所述主控制模块电连接。

Images