CN107547554A - 一种基于增强现实的智能设备远程协助系统 - Google Patents

Abstract

本发明公开了一种基于增强现实的智能设备远程协助系统，包括：AR智能眼镜、协助计算设备分别经网络与服务器通信连接；服务器，能接收并处理AR智能眼镜和协助计算设备的信息，并使两者进行信息交互；AR智能眼镜，能采集求助信息经服务器向协助计算设备发送，以及接收服务器发送的协助信息并进行近眼显示；协助计算设备，能接收服务器发送的求助信息，并经服务器将协助信息发送给AR智能眼镜。该系统实现了AR智能眼镜与协助计算设备经服务器交互信息，由于AR智能眼镜能采集获取与求助有关的求助信息便于协助者利用该信息提供准确的协助，而且AR智能眼镜能为求助者近眼显示协助信息，提升远程协助的准确性、便利性和直观性。

Description

一种基于增强现实的智能设备远程协助系统

技术领域

本发明涉及增强现实应用领域，尤其涉及一种基于增强现实的智能设备远程协助系统。

背景技术

在当前通信、网络、带宽快速发展的前提下，远程协助技术已变得司空见惯。通过电话、视频、聊天工具都能够实现远程协助功能，不过这些方案、工具的远程协助功能体验确不尽人意。比如通过电话沟通无法具象的表现出对话双方的场景画面；视频远程协助虽然能够提供现场画面，不过却很难实现“手把手”地协助；而聊天工具的远程协助一般为单向控制，比如QQ远程协助、TeamViewer。在工业或者行业领域，远程指导现场操作也都是基于语音、对讲机、摄像头拍摄图片等方式来实现调度室和操作员的远程指导协助。随着增强现实(AR)技术在近一两年的快速崛起，目前该技术多应用在视频、游戏领域，却没有基于增强现实技术实现实时远程协助的系统，无法利用增强现实(AR)技术来提升远程协助的便利性和体验的直观性。

发明内容

基于现有技术所存在的问题，本发明的目的是提供一种基于增强现实的智能设备远程协助系统，能提升远程协助的便利性和体验的直观性。

本发明的目的是通过以下技术方案实现的：

本发明实施方式提供一种基于增强现实的智能设备远程协助系统，其特征在于，包括：

AR智能眼镜、协助计算设备和服务器；其中，

所述AR智能眼镜、协助计算设备分别通过网络与服务器通信连接；

所述服务器，能通过运行的协助主控程序接收并处理由求助者佩戴的所述AR智能眼镜采集的求助信息，并将所述求助信息向所述协助计算设备发送，以及能通过运行的协助主控程序接收并处理由协助者通过所述协助计算设备发送的协助信息，并将所述协助信息向求助者佩戴的所述AR智能眼镜发送；

所述AR智能眼镜，能通过运行的远程协助程序采集求助信息向所述服务器发送，以通过所述服务器发送给所述协助计算设备，以及能通过运行的求助程序接收所述服务器发送的协助信息，并将该协助信息为佩戴该AR智能眼镜的求助者近眼显示；

所述协助计算设备，能通过运行的远程协助程序接收所述服务器发送的由求助者佩戴的所述AR智能眼镜采集的求助信息，并按协助者的操作根据所述求助信息向所述服务器发送对应的协助信息给求助者佩戴的所述AR智能眼镜。

由上述本发明提供的技术方案可以看出，本发明实施例提供的基于增强现实的智能设备远程协助系统，其有益效果为：

通过设置由求助者佩戴的AR智能眼镜，和由协助者操作的协助计算设备，并使AR智能眼镜、协助计算设备分别经网络与服务器通信连接，实现了AR智能眼镜与协助计算设备通过服务器交互求助信息与协助信息，由于AR智能眼镜能采集外部环境获取与求助有关的求助信息便于协助者利用该信息提供准确的协助，而且AR智能眼镜能为求助者近眼显示协助信息，提升远程协助的准确性、便利性的同时，也同时了提升了远程协助的直观性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的远程协助系统的示意图；

图2为本发明实施例提供的远程协助系统的内网应用状态示意图；

图3为本发明实施例提供的远程协助系统的外网应用状态示意图；

图4为本发明实施例提供的远程协助系统的协助流程示意图；

图5为本发明实施例提供的远程协助系统的功能与数据交互流程示意图。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，本发明实施例提供一种基于增强现实的智能设备远程协助系统，能实现远距离“手把手”地实地协助指导，让远程协助指导也如同身临其境，足不出户解决现场问题，包括：

AR智能眼镜、协助计算设备和服务器；其中，

AR智能眼镜、协助计算设备分别通过网络与服务器通信连接；

服务器，能通过运行的协助主控程序接收并处理由求助者佩戴的AR智能眼镜采集的求助信息，并将求助信息向协助计算设备发送，以及能通过运行的协助主控程序接收并处理由协助者通过协助计算设备发送的协助信息，并将协助信息向求助者佩戴的AR智能眼镜发送；

AR智能眼镜，能通过运行的远程协助程序采集求助信息向服务器发送，以通过服务器发送给协助计算设备，以及能通过运行的求助程序接收服务器发送的协助信息，并将该协助信息为佩戴该AR智能眼镜的求助者近眼显示；

协助计算设备，能通过运行的远程协助程序接收服务器发送的由求助者佩戴的AR智能眼镜采集的求助信息，并按协助者的操作根据求助信息向服务器发送对应的协助信息给求助者佩戴的AR智能眼镜。

上述远程协助系统中，协助计算设备包括：

移动设备和/或计算机。

上述远程协助系统中，AR智能眼镜、协助计算设备分别通过内部网络与服务器通信连接(参见图2所示)；

或者，

AR智能眼镜、协助计算设备分别通过互联网与服务器通信连接(参见图3所示)。

上述远程协助系统中，求助信息包括：视频采集、双向语音、位置记录和AR识别中的一种或多种。

上述远程协助系统中，求助信息中的视频采集、双向语音、位置记录和AR识别均由AR智能眼镜从求助者所在环境采集获得的外部信息。

上述远程协助系统中的协助信息包括：

消息阅读、文件浏览、电子手册阅览、图文视频阅览中的一种或多种。

本发明的远程协助系统是一种基于服务端(分内网、公网)、移动设备端(手机、Pad)、桌面PC web端、智能设备(AR智能眼镜)的多端设备结合在一起，构建的一套基于增强现实效果的远程协助系统，是一种展现形式多样化、互动性更实时的远程协助解决方案，该套方案系统可以广泛应用于工业、军事、旅游、医疗、物流等领域。

下面对本发明实施例具体作进一步地详细描述。

如图3、4、5所示，本实施例提供的远程协助系统，其协作流程是通过AR智能眼镜端发起的，佩戴AR智能眼镜的求助者，在需要请求协助的工作环境，遇到棘手问题，请求控制台或者异地的协助者帮助解决，即可启动求助程序，此时服务器会将该求助者信息添加到求助列表，并推送到所有的移动设备(即协助计算设备)，操作移动设备的协助者，便可以点击进入协助程序，开始远程协助。协助过程中，通过视频、语音、文字、图片、标注等形式来让求助者得到类似“手把手”的帮助，直到问题解决，完成协助(该远程协助系统的总体运行流程参见图4)。

上述远程协助系统的分解协助流程运行步骤如下，包括：

先启动服务器，进入服务器后，需开启服务器端的监听程序和通信服务，这样AR智能眼镜和移动设备才能连接到服务器进行注册以及建立连接，才能保证后续的AR智能眼镜和移动设备之间的数据传输服务。服务器主要保障所有设备间的通信，提供短延时的双向数据传输，存储消息记录，图文资料，视频信息以及通信日志。

AR智能眼镜和移动设备开机后，可以直接启动已安装在设备上的远程协助程序，这两个设备的启动不分先后，可以同时启动。

AR智能眼镜端程序启动完后，可以通过里面的“启动协助”按钮来开启求助功能，此时便会请求连接服务器，和服务器连通后，就可以请求后端协助者来帮忙处理面对的问题。此时，AR智能眼镜端的摄像头启动开始进行采集，并实时将画面流回传给服务器端。AR智能眼镜在视频采集的同时提供：查看协助者信息，实时双向语音，查看图片，消息阅读，文件浏览、图片视频文本文件的阅览、AR图片识别的功能。

移动设备启动协助程序，登录成功后，便可以在协助列表页面看到当前需要协助的求助者信息，协助者可以根据自己擅长的领域，选择对应的求助者进行远程协助。由于协助者持有的是移动设备，手机、Pad平板，所以对协助者的活动范围没有严格的限制，内网环境的话，只要在同一个网络环境下，就可以随时提供协助服务；外网环境只要手持设备能连上Internet，无论连接WIFI热点、3G、4G网络，都可以随时随地进行协助。移动设备端，协助者会在所持设备屏幕上看到求助者的视频画面，还可以提供：双向语音通信、屏幕截图、特征画笔标注、消息发送、图片视频文本文件的发送的功能。

还可以通过桌面PC或者笔记本电脑来提供协助，同一个求助者，可以由多个协助者来进行指导。桌面PC和笔记本还可以投影到调度中心指挥作战大屏进行观看。

AR智能眼镜考虑到求助者需要的是协助者提供指导，所以在输入方式上，主要是通过语音和协助者沟通，这样求助者一边同协助者进行沟通，双手还可以按指导进行操作，同时可以查看协助者发送过来的文字、图片、PDF文件、视频的功能。重要的是，这些信息的阅读都是通过增强现实(AR)功能来实现，即协助者发送过来的所有信息，都是直接呈现在求助者眼前，叠加在现实世界物体之上的，用户即可以看到真实世界的物体，又同时能看到虚拟的指导文件，并能根据指导文件按步骤操作；协助者可以用手或者笔在移动设备上进行截图标注或者直接圈出问题所在，双方在视频的同时也可以看到被画笔标注的图片或者标注的画面，同时语音给予指导，根据这些指示来解决实际中所遇到的问题(各个协助模块提供的功能以及数据交换流程如图5所示)。

本发明实施例提供的远程协助系统，具有以下优点：

(1)由于采用增强现实(AR)技术的AR智能眼镜，可以将远程的图像、消息、电子手册文件等内容实时精准的叠加并投影到现场人员的视野里。

(2)通过该远程协助系统，高级专业技术人员可以在远程实时指导现场人员进行操作，现场的普通技术人员只需佩戴配套的AR智能眼镜进行现场作业，专业团队就可以在远程达到身临其境，从而实时发出指令并以AR形式投射到普通技术人员作业现场，控制现场作业的准确进行。

(3)由于作为求助者的现场人员佩戴AR智能眼镜，解放了现场人员的双手，可以更好的用来操控，以及降低了一些高空作业、攀爬作业的危险性；并可以让管理实时了解到现场所处的环境、临时突发状况，位置标记，提高现场人员的安全性。

(4)使用该远程协助系统降低了培训成本，可以帮助新员工快速上岗，有经验的技术人员可以通过远程协助指导，快速培训新员工现场操经验，并能通过大屏分享，共同观看学习。在高级专业技术人员有限的情况下，可以让高级专业技术人员的价值最大化。

(5)使用该远程协助系统可以减少对操作手册的依赖，数字化的操作流程，以及通过图片、文档、视频等电子文件能更方便的帮助现场人员解决问题。通过该协助系统，现场人员所有的操作都可以方便的进行视频存档，方便后续的查证以及经验分享。

(6)使用该远程协助系统提高人员的工作效率，减少失误，提高生产率，减少资源的浪费，降低运营成本。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于增强现实的智能设备远程协助系统，其特征在于，包括：

AR智能眼镜、协助计算设备和服务器；其中，

所述AR智能眼镜、协助计算设备分别通过网络与服务器通信连接；

所述服务器，能通过运行的协助主控程序接收并处理由求助者佩戴的所述AR智能眼镜采集的求助信息，并将所述求助信息向所述协助计算设备发送，以及能通过运行的协助主控程序接收并处理由协助者通过所述协助计算设备发送的协助信息，并将所述协助信息向求助者佩戴的所述AR智能眼镜发送；

所述AR智能眼镜，能通过运行的远程协助程序采集求助信息向所述服务器发送，以通过所述服务器发送给所述协助计算设备，以及能通过运行的求助程序接收所述服务器发送的协助信息，并将该协助信息为佩戴该AR智能眼镜的求助者近眼显示；

所述协助计算设备，能通过运行的远程协助程序接收所述服务器发送的由求助者佩戴的所述AR智能眼镜采集的求助信息，并按协助者的操作根据所述求助信息向所述服务器发送对应的协助信息给求助者佩戴的所述AR智能眼镜。

2.根据权利要求1所述的基于增强现实的智能设备远程协助系统，其特征在于，所述协助计算设备包括：

一个或多个移动设备，和/或，一台或多台计算机。

3.根据权利要求1或2所述的基于增强现实的智能设备远程协助系统，其特征在于，所述AR智能眼镜、协助计算设备分别通过内部网络与服务器通信连接；

或者，

所述AR智能眼镜、协助计算设备分别通过互联网与服务器通信连接。

4.根据权利要求1或2所述的基于增强现实的智能设备远程协助系统，其特征在于，所述求助信息包括：视频采集、双向语音、位置记录和AR识别中的一种或多种。

5.根据权利要求4所述的基于增强现实的智能设备远程协助系统，其特征在于，所述求助信息中的视频采集、双向语音、位置记录和AR识别均由所述AR智能眼镜从求助者所在环境采集获得的外部信息。

6.根据权利要求1或2所述的基于增强现实的智能设备远程协助系统，其特征在于，所述协助信息包括：

消息阅读、文件浏览、电子手册阅览、图文视频阅览中的一种或多种。