CN114578956A - 设备控制方法、装置、虚拟穿戴设备以及存储介质 - Google Patents

Abstract

本申请实施例公开了一种设备控制方法、装置、虚拟穿戴设备以及存储介质，虚拟穿戴设备包括手势控制设备与显示屏。本方法包括：若检测到作用于手势控制设备的目标控制操作，控制显示屏显示目标对象相对于手势控制设备的位置以及操作指引信息，操作指引信息用于指示目标对象根据所述位置进行手势控制操作；获取目标对象的手势控制操作内容；执行与手势控制操作内容对应的操作功能，并控制显示屏显示与手势控制操作内容对应的操作画面。通过该方法实现了对虚拟穿戴设备体验用户的手势控制操作内容进行可视化显示，提升了通过手势控制操作进行设备控制的准确性，同时降低了用户的记忆成本与学习成本，提升了用户友好体验。

Description

设备控制方法、装置、虚拟穿戴设备以及存储介质

技术领域

本申请涉及设备控制技术领域，更具体地，涉及一种设备控制方法、装置、虚拟穿戴设备以及存储介质。

背景技术

虚拟现实(Virtual Reality，简称为VR)技术囊括了计算机、电子信息、仿真技术于一体，其基本实现方式是处理器模拟虚拟环境从而给人以环境沉浸感。增强现实(Augmented Reality，简称AR)，是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。随着社会生产力和科学技术的不断发展，各行各业对VR技术以及AR技术的需求日益旺盛。在相关通过VR或AR设备的交互体验场景中，可以通过用户的手势、触摸或按键等功能与环境进行交互，然而，由于目前的VR或AR设备多为“沉浸式”体验设备，用户佩戴VR或AR设备进行触控操作时可能会由于不熟悉触控位置或找不到触控位置而发生误触，或者会因为触控面积较小而无法准确操作，从而影响触控操作的准确性。

发明内容

鉴于上述问题，本申请提出了一种设备控制方法、装置、虚拟穿戴设备以及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种设备控制方法，应用于虚拟穿戴设备，所述虚拟穿戴设备包括手势控制设备与显示屏，所述方法包括：若检测到作用于所述手势控制设备的目标控制操作，控制所述显示屏显示目标对象相对于所述手势控制设备的位置以及操作指引信息，所述操作指引信息用于指示所述目标对象根据所述位置进行手势控制操作；获取所述目标对象的手势控制操作内容；执行与所述手势控制操作内容对应的操作功能，并控制所述显示屏显示与所述手势控制操作内容对应的操作画面。

第二方面，本申请实施例提供了一种设备控制装置，运行于虚拟穿戴设备，所述虚拟穿戴设备包括手势控制设备与显示屏，所述装置包括：第一控制模块，用于若检测到作用于所述手势控制设备的目标控制操作，控制所述显示屏显示目标对象相对于所述手势控制设备的位置以及操作指引信息，所述操作指引信息用于指示所述目标对象根据所述位置进行手势控制操作；操作数据获取模块，用于获取所述目标对象的手势控制操作内容；第二控制模块，用于执行与所述手势控制操作内容对应的操作功能，并控制所述显示屏显示与所述手势控制操作内容对应的操作画面。

第三方面，本申请提供了一种虚拟穿戴设备，包括手势控制设备、显示屏、一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面所述的方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述第一方面所述的方法。

本申请提供的一种设备控制方法、装置、虚拟穿戴设备以及存储介质，虚拟穿戴设备包括手势控制设备与显示屏，本方法通过若检测到作用于手势控制设备的目标控制操作，控制显示屏显示目标对象相对于手势控制设备的位置以及操作指引信息，继而获取目标对象的手势控制操作内容，然后执行与手势控制操作内容对应的操作功能，并控制显示屏显示与手势控制操作内容对应的操作画面。从而通过上述方式实现了在检测到存在作用于手势控制设备的目标控制操作的情况下，可以获取目标对象的手势控制操作内容，进而将手势控制操作内容所对应的操作画面直观地显示在显示屏上，相较于让用户根据记忆进行虚拟穿戴设备的触摸按键操作，本申请中对虚拟穿戴设备体验用户的手势控制操作内容进行可视化显示，提升了通过手势控制操作进行设备控制的准确性，同时降低了用户的记忆成本与学习成本，提升了用户友好体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的设备控制方法的一应用场景示意图。

图2示出了本申请实施例提供的设备控制方法的另一应用场景示意图。

图3示出了本申请一实施例提出的一种设备控制方法的方法流程图。

图4示出了相关技术中电容式触摸屏感应触摸的原理示意图。

图5示出了本申请实施例提供的控制显示屏对用户的手指或手掌相对于手势控制设备的位置以及操作指引信息进行显示的示例图。

图6示出了本申请实施例提供的显示屏显示与手势控制操作内容对应的操作画面的示例图。

图7示出了本申请另一实施例提出的一种设备控制方法的方法流程图。

图8示出了本申请实施例提供的显示屏显示与非目标控制操作对应的确认提示信息的示例图。

图9示出了本申请又一实施例提出的一种设备控制方法的方法流程图。

图10示出了图9中的步骤S330的方法流程图。

图11示出了图9中的步骤S340的方法流程图。

图12示出了本申请实施例提供的控制显示屏以手势控制操作内容的所属内容类型所对应的显示模式，显示与手势控制操作内容对应的操作画面的示例图。

图13示出了本申请实施例提出的一种设备控制装置的结构框图。

图14示出了本申请的用于执行根据本申请实施例的一种设备控制方法的虚拟穿戴设备的结构框图。

图15是本申请实施例的用于保存或者携带实现根据本申请实施例的一种设备控制方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着社会生产力和科学技术的不断发展，各行各业对VR以及AR技术的需求日益旺盛。其中，VR通过隔绝式的音视频内容带来沉浸感体验，被广泛的应用于游戏、视频、以及直播社交等大众市场，而AR强调虚拟信息与现实环境的无缝融合，被广泛应用于工业、军事等领域。用户可以通过VR或AR穿戴设备的摄像头、手势控制、或是按键等功能与环境进行交互。

其中，VR或AR穿戴设备多为头戴式用品，例如VR或AR眼镜，而用户对VR或AR眼镜的外观要求以及因其体积或重量等带来的舒适性要求较高。为了外观好看，可以取消VR或AR眼镜的全部或者部分实体按键，用触摸屏代替来实现按键功能，对设备进行操作。然而，发明人在研究中发现，使用触摸屏进行VR或AR设备控制操作时，用户无法看到自己的触摸操作，容易发生误触，或者是不能找到正确的位置而不能正确操作。尽管用户可以提前学习如何使用触摸屏，但用户对触摸位置、动作的精确掌握需要长时间的学习成本，且长时间使用后，触摸的准确性，操作容错率都很难提升到目视操作(例如目视手机进行触摸操作)的程度，从而降低用户体验。并且，随着VR或AR穿戴设备的小型化以及轻量化的设计理念，使用触摸输入的VR或AR穿戴设备会越来越多，即触摸屏的触摸面积会缩小，会进一步恶化通过触摸屏进行设备控制操作的用户的体验。

因此，为了改善上述问题，发明人提出了本申请提供的在检测到存在作用于手势控制设备的目标控制操作的情况下，可以获取目标对象的手势控制操作内容，进而将手势控制操作内容所对应的操作画面直观地显示在显示屏上，相较于让用户根据记忆进行虚拟穿戴设备的触摸按键操作，本申请中对虚拟穿戴设备体验用户的手势控制操作内容进行可视化显示，提升了通过手势控制操作进行设备控制的准确性，同时降低了用户的记忆成本与学习成本，提升了用户友好体验的设备控制方法、装置以及虚拟穿戴设备。

下面对本申请实施例提供的设备控制方法的应用场景进行介绍。

请参阅图1，示出了本申请实施例提供的设备控制方法的一应用场景示意图，该应用场景包括交互系统100。该交互系统100包括虚拟穿戴设备10，可选的，该场景下的虚拟穿戴设备10可以为一体式虚拟穿戴设备，即虚拟穿戴设备10可以同时包括手势控制设备以及显示屏。如图1所示，虚拟穿戴设备10包括显示屏1，镜腿2，镜架3，以及手势控制设备4，其中，手势控制设备4可以为触摸屏或者触控板，手势控制设备4可以感应用户的手势，使得用户可以通过手势控制虚拟穿戴设备10而与环境进行交互。

请参阅图2，示出了本申请实施例提供的设备控制方法的另一应用场景示意图，该应用场景包括交互系统200。该交互系统200包括虚拟穿戴设备10以及手势控制设备4，即该场景下的虚拟穿戴设备10为分体式(可以理解为外接式或接入式)虚拟穿戴设备。虚拟穿戴设备10包括显示屏1。手势控制设备4可以为手机、平板等移动设备，还可以为触摸屏或者触控板。如图2所示，手势控制设备4可以包括至少一个手势控制功能按钮5，不同的手势控制功能按钮所对应的手势控制功能可以不同，该手势控制功能按钮5可以为实体按钮，也可以为虚拟按钮。在这种场景下，手势控制设备4与显示屏1可以通过有线通信模块或者无线通信模块建立通信连接，进而进行数据交互。

可选的，在一些实施方式中，本申请中的手势控制设备4可以配置有虚拟界面操作功能，即用户可以在空中的一块虚拟的控制面板上通过手势操作进行设备控制。

下面将结合附图具体描述本申请的各实施例。

请参阅图3，本申请一实施例提供一种设备控制方法，应用于虚拟穿戴设备，所述虚拟穿戴设备包括手势控制设备与显示屏，所述方法包括：

步骤S110：若检测到作用于所述手势控制设备的目标控制操作，控制所述显示屏显示目标对象相对于所述手势控制设备的位置以及操作指引信息。

其中，目标控制操作表征用户可以对虚拟穿戴设备的人机交互功能、或显示功能等进行控制的控制类手势操作，手势包括用户的手指(包括单指、双指或多指)或手掌。例如，若用户正在通过AR眼镜看视频，若单指敲击手势控制设备可以对视频画面进行截屏，那么可以将单指敲击手势控制设备这个手势操作作为目标控制操作，而若用户仅是通过手指去调整了虚拟穿戴设备的佩戴位置，那么调整佩戴位置所对应的非控制类手势操作不应作为目标控制操作。本实施例中的手势控制设备可以为触摸屏或触控板。

可选的，以手势控制设备为触摸屏为例，请参阅图4，示出了相关技术中电容式触摸屏感应触摸的原理示意图。如图4中的左图所示，触摸屏可以检测每个感应单元自身电容(对GND)的变化，当用户的手指或手掌触摸到触摸屏时，手指或手掌的电容会叠加到触摸屏的电容上(如图4中的中间图所示)，使得触摸屏的电容增加。可选的，在进行触摸检测时，每次可以分别检测M个X轴和N个Y轴点击阵列，其中，X表征横向的触摸屏感应线数，Y表征纵向的触摸屏感应线数，M和N的具体数值可以不做限定。通过跟进用户手指或手掌触摸前后触摸屏的所有自电容量的变化，可以确定用户手指或手掌所在的X坐标和Y坐标，进而可以得到组合成平面的触摸坐标，即可以得到用户的手指或手掌相对于手势控制设备的位置。在这种方式下，若确定出了手指或手掌所在的X坐标和Y坐标，可以判定检测到作用于手势控制设备的目标控制操作。

而当用户通过手指或手掌去调整虚拟穿戴设备的佩戴位置时，可能也会触碰到触摸屏从而确定出用户的手指或手掌所在的X坐标和Y坐标，可以理解的是，在用户通过手指或手掌去调整虚拟穿戴设备的佩戴位置时，用户的手指或手掌可能会在虚拟穿戴设备的各个方向来回移动。例如，调整松紧带时，用户的手指或手掌会向虚拟穿戴设备的后面(即用户佩戴时的后脑勺所在的方向)移动，使得获取到的手指或手掌所在的X坐标和Y坐标会发生变化，在这种方式下，可以在若确定出了手指或手掌所在的X坐标和Y坐标，且预设时间段内(具体时间段的时长数值可不做限定，例如，可以为3秒、5秒等数值)该手指或手掌所在的X坐标和Y坐标不发生变化时，判定检测到作用于手势控制设备的目标控制操作。而若确定出了手指或手掌所在的X坐标和Y坐标，但该手指或手掌所在的X坐标和Y坐标时有时无，那么可以判定未检测到作用于手势控制设备的目标控制操作，可选的，在这种情况下，可以使触摸屏周期性的感应用户的手指或手掌的靠近以及操作，从而可以及时检测是否存在作用于手势控制设备的目标控制操作。

需要说明的是，当手势控制设备为触控板时，触控板对是否存在作用于手势控制设备的感应原理与触摸屏对用户的手指或手掌进行感应的原理类似，在此不再赘述，且在手势控制设备为触控板的情况下，触控板的感应距离可以为指定距离范围，例如，该指定距离范围可以为15-50毫米，或者也可以为其他数值。

作为一种方式，若检测到作用于手势控制设备的目标控制操作，为了让用户可以直观便捷的看到手势控制操作的内容以及便捷的进行后续操作，可以控制显示屏显示目标对象相对于手势控制设备的位置以及操作指引信息。其中，目标对象即前述的用户的手指(包括单指、双指或多指)或手掌。即在该种方式下，用户可以在显示屏上看到和手势控制设备的操作界面相同的画面，并且可以看到用户的手指或手掌相对于手势控制设备的位置，使得用户可以清晰的看清操作界面，以便于后续进行准确的控制操作。

例如，在一个具体的应用场景中，请参阅图5，示出了本实施例提供的控制显示屏对用户的手指或手掌相对于手势控制设备的位置以及操作指引信息进行显示的示例图，如图5所示，显示屏1可以将手势控制设备的操作界面进行显示，显示屏1和手势控制设备的操作界面的显示比例可能不同，因而显示屏1可以将手势控制设备的操作界面的显示比例进行调整后进行显示，具体以多大的比例显示可以根据显示屏的实际尺寸进行适配，在此不作限定。手势控制设备的操作界面可以包括多种不同类型的功能按钮，不同的功能按钮的功能标识可以不同，例如，可以用字母(字母可以是功能的英文缩写，例如，声音voice的首字母为V，图5中的V用以提示用户操作该按钮可以调节视频的音量)、功能名称或者是功能特征图案等表示不同类型的功能，如图5所示，显示屏1可以显示手势控制设备的操作界面的功能按钮5。显示屏1对用户的手指或手掌相对于手势控制设备的位置的显示方式可以为：用十字光标(如图5所示)、五角星、圆点等特殊符号进行显示，或者直接显示用户的手指或手掌在手势控制设备的操作界面的相对位置(图5中未示出)，使得用户可以有一种操作界面就在显示屏上的画面感，从而可以准确的进行手势控制操作。

可选的，由于显示屏与手势控制设备的空间位置是不同的，例如，若虚拟穿戴设备为头戴式AR眼镜，AR眼镜的触摸屏通常设置在眼镜的侧面，而不是与眼镜相对平行的进行设置，那么在这种方式下，虽然用户可以清晰的看到手势控制设备的操作界面，而用户在实际进行手势控制操作时，若在显示屏上用户想要操作的功能位于用户的手指或手掌相对于手势控制设备的位置的左边，那么用户在手势操作界面进行操作时，需要将手指或手掌向后移动而不是向左移动，为了便于用户更加准确的进行手势控制操作，可以在显示屏上显示操作指引信息，该操作指引信息用于指示用户的手指或手掌具体如何根据前述位置进行手势控制操作，即该操作指引信息中包括用户的手指或手掌需要移动的方向指引信息。

例如，操作指引信息可以包括如图5中所示的操作指引标识7，可选的，该操作指引标识可以为根据用户的手指或手掌相对于手势控制设备的操作界面的所在位置进行推荐的控制操作所对应的操作指引标识，例如，可以是用户的手指或手掌相对于手势控制设备的操作界面的所在位置最常用的控制操作所对应的操作指引标识。可选的，用户的手指或手掌相对于手势控制设备的所在位置不同，操作指引标识的数量以及类型可以不同。

在一些实施方式中，操作指引信息还可以包括与操作指引标识匹配的语音提示信息，文字提示信息，或者是语音结合文字的提示信息。例如，当用户的手指或手掌相对于手势控制设备的位置如图5所示时，可以显示操作指引标识7，同时还可以显示与操作指引标识7对应的文字提示信息(图中未示出)，或者可以播报与操作指引标识7对应的语音提示信息。示例性的，对于图5中所示的最左边的操作指引标识，可以显示文字提示信息“将您的手指向后划可以调节音量”，或者可以播报语音提示信息“将您的手指向后划可以调节音量”。

可选的，操作指引信息的内容可以随着用户操作的变化而变化，例如，用户的手势控制操作可以为单击、双击、双指放大、或者是多点控制等操作，那么单击操作所对应的操作指引信息和双指放大操作所对应的操作指引信息可以不同。

可选的，操作指引信息可以包括不同的手势控制操作所对应的功能，例如，可以显示单击操作可以实现什么功能、双击操作可以实现什么功能等操作指引信息。通过显示屏显示目标对象相对于手势控制设备的位置以及操作指引信息，可以帮助用户直观清楚的看到进行手势控制操作时手势相对于手势控制设备的位置，以及操作指引信息，从而可以使得用户可以在无需预先学习与记忆的情况下准确的进行手势控制操作，提升用户使用体验。

步骤S120：获取所述目标对象的手势控制操作内容。

手势控制操作内容可以理解为用户通过手势完成的至少一项手势控制指令，作为一种方式，可以根据用户的手指或手掌相对于手势检测设备的位置的变化确定出用户操作了哪些功能，具体的，可以根据手势控制设备在感应手势的过程中其电学特征的改变量，获取用户的手指或手掌相对于手势检测设备的位置的变化，进而确定出用户操作了哪些功能。例如，若用户先进行了单击操作、再进行了双击操作、然后进行了双指放大操作，那么可以将感应到的单击操作指令、双击操作指令以及双指放大操作指令作为目标对象的手势控制操作内容。

步骤S130：执行与所述手势控制操作内容对应的操作功能，并控制所述显示屏显示与所述手势控制操作内容对应的操作画面。

其中，在获取了目标对象的手势控制操作内容后，可以执行与手势控制操作内容对应的操作功能，即响应用户的至少一项手势控制指令，实现至少一项手势控制指令对应的控制功能，并控制显示屏显示与手势控制操作内容对应的操作画面，该操作画面可以包括用户通过手势进行操作时，手势控制设备的操作界面的变化以及用户的手指或手掌相对于手势控制设备的位置的变化，可选的，即该操作画面可以动态呈现用户的整个手势控制操作流程，使得用户有一种直接看着手势控制设备进行手势控制操作的画面感。

在一个具体的应用场景中，请参阅图6，示出了本实施例提供的显示屏显示与手势控制操作内容对应的操作画面的示例图，如图6所示，在用户佩戴的虚拟穿戴设备的显示屏1上，可以显示手势控制设备的操作界面，该操作界面显示有手势控制设备的各个功能按钮5，图6中的中间图所示的“功能1、功能2、功能3、功能4、功能5”以及“功能6”为手势控制设备的功能按钮，每个功能按钮的作用可以不同，假设用户通过手指触控了功能标识为“功能5”的功能按钮，那么显示屏1的显示内容将变化为“功能5”对应的界面，即跳转至图6中的右图所示的菜单选择界面，菜单1、菜单2以及菜单3为不同的控制方式，用户可以根据实际需要进行选择，可选的，此处的菜单1、菜单2以及菜单3具体仅用于示例进行说明，其具体表征的内容可以根据需要进行设定。通过将用户的整个操作流程以及用户的手指或手掌相对于手势控制设备的位置的变化直观的展示在用户眼前，可以减少因看不见操作界面而误触带来的触摸操作不准确的问题，同时可以提升手势控制操作的趣味性。

本申请提供的一种设备控制方法，通过若检测到作用于手势控制设备的目标控制操作，控制显示屏显示目标对象相对于手势控制设备的位置以及操作指引信息，继而获取目标对象的手势控制操作内容，然后执行与手势控制操作内容对应的操作功能，并控制显示屏显示与手势控制操作内容对应的操作画面。从而通过上述方式实现了在检测到存在作用于手势控制设备的目标控制操作的情况下，可以获取目标对象的手势控制操作内容，进而将手势控制操作内容所对应的操作画面直观地显示在显示屏上，相较于让用户根据记忆进行虚拟穿戴设备的触摸按键操作，本申请中对虚拟穿戴设备体验用户的手势控制操作内容进行可视化显示，提升了通过手势控制操作进行设备控制的准确性，同时降低了用户的记忆成本与学习成本，提升了用户友好体验。

请参阅图7，本申请另一实施例提供一种设备控制方法，应用于虚拟穿戴设备，所述虚拟穿戴设备包括手势控制设备与显示屏，所述方法包括：

步骤S210：检测是否存在作用于所述手势控制设备的控制操作。

可选的，手势控制设备的类型不同，其对手势进行感应的距离不同，因而为了避免误识别，可以检测是否存在作用于手势控制设备的控制操作。

可选的，手势控制设备可以包括触控板，在这种方式下，可以检测在指定距离内是否存在作用于触控板的隔空控制操作。指定距离可以表征隔空控制操作的操作对象与触控板之间的距离，指定距离的具体数值可以不作限定，例如，可以是20毫米、30毫米或50毫米等数值，隔空控制操作可以理解为一种作用于手势控制设备的控制操作。若存在作用于触控板的隔空控制操作，可以判定存在作用于手势控制设备的控制操作。

可选的，手势控制设备可以包括触摸屏，在这种方式下，可以检测是否存在作用于触摸屏的触控操作，此种情况下的触控操作可以理解为另一种作用于手势控制设备的控制操作。若存在作用于触摸屏的触控操作，可以判定存在作用于手势控制设备的控制操作。

步骤S220：识别所述控制操作所对应的图案是否满足目标条件。

若检测到存在作用于手势控制设备的控制操作，可以继续识别控制操作所对应的图案是否满足目标条件，因为若用户和好友一起去体验AR眼镜，在用户进行体验时，若两个人的距离较近，好友从用户身边经过时，可能会引起手势控制设备的电学特性(即电容)的改变，从而造成误识别，或者是说，其他活体在手势控制设备附近时也会引起误识别，那么为了确保通过手势进行控制操作的准确性，可以识别控制操作所对应的图案是否满足目标条件。目标条件可以包括控制操作所对应的图案为用户的手指或手掌等手势图案，可选的，可以预先存储可以用于进行设备控制的手势图案。

以上述示例为例，在一种实现方式中，若存在隔空控制操作，可以开始识别该隔空控制操作所对应的图案是否满足目标条件。在另一种实现方式中，若存在触控操作，可以开始识别该触控操作所对应的图案是否满足目标条件。

步骤S231：判定所述控制操作为目标控制操作。

作为一种方式，若识别出该控制操作所对应的图案满足目标条件，那么可以判定该控制操作为目标控制操作，继而可以执行下述步骤S232的内容，即控制显示屏显示目标对象相对于手势控制设备的位置以及操作指引信息。

步骤S232：控制所述显示屏显示目标对象相对于所述手势控制设备的位置以及操作指引信息。

步骤S233：获取所述目标对象的手势控制操作内容。

步骤S234：执行与所述手势控制操作内容对应的操作功能，并控制所述显示屏显示与所述手势控制操作内容对应的操作画面。

步骤S241：判定所述控制操作为非目标控制操作。

作为一种方式，若识别出该控制操作所对应的图案不满足目标条件，那么可以判定该控制操作为非目标控制操作。

步骤S242：控制所述显示屏显示与所述非目标控制操作对应的确认提示信息。

在判定控制操作为非目标控制操作的情况下，可以控制显示屏显示与非目标控制操作对应的确认提示信息，或者若检测到作用于手势控制设备的非目标控制操作，控制显示屏显示与非目标控制操作对应的确认提示信息。

例如，在一个具体的应用场景中，如图8所示，示出了本申请实施例提供的显示屏显示与非目标控制操作对应的确认提示信息的示例图。可选的，如用户用手去调整了虚拟穿戴设备的佩戴位置，可以在显示屏1上显示出例如图8所示的“检测到您的手势，您是否需要进行手势控制操作”等确认提示信息弹窗，若用户选择是，那么可以触发手势控制操作功能，若用户选择否，那么可以取消该弹窗，使得即便是误触，也可以让感知到当前的手势控制操作情况，避免直接将用户的手势识别为对虚拟穿戴设备的人机交互功能的控制，从而提升了通过手势进行设备控制的准确性。

本申请实施例提供的一种设备控制方法，通过对作用于手势控制设备的控制操作以及控制操作所对应的图案内容的检测，可以减少误识别，提升通过手势进行控制操作的准确性。通过在判定控制操作为非目标控制操作的情况下，控制显示屏显示与非目标控制操作对应的确认提示信息，可以避免直接将用户的手势识别为对虚拟穿戴设备的人机交互功能的控制，从而进一步提升通过手势进行设备控制的准确性。以及通过对虚拟穿戴设备体验用户的手势控制操作内容进行可视化显示，提升了通过手势控制操作进行设备控制的准确性，同时降低了用户的记忆成本与学习成本，提升了用户友好体验。

请参阅图9，本申请又一实施例提供一种设备控制方法，应用于虚拟穿戴设备，所述虚拟穿戴设备包括手势控制设备与显示屏，所述方法包括：

步骤S310：若检测到作用于所述手势控制设备的目标控制操作，控制所述显示屏显示目标对象相对于所述手势控制设备的位置以及操作指引信息。

步骤S320：检测所述位置是否存在变化。

若用户需要通过手势进行设备控制，那么目标对象相对于手势控制设备的位置会发生变化，例如，用户通过手势进行多点控制操作时，用户的手指会在新弹出来的多个页面上点击，而在每个页面上进行点击的位置是会变化(尽管有的页面之间点击的位置变化不是特别明显，但还是会有变化，至少在用户抬起手再到重新单击的时间段内，手势检测设备感应到的电容也会发生变化)的，那么为了能够准确的感应用户的手势控制操作，可以检测上述位置是否存在变化。

其中，可以根据手势检测设备感应到的电容的变化量或者是变化频率判断该位置是否存在变化。可选的，若感应到电容的变化量超过第一阈值，或者是电容的变化频率超过第二阈值，那么可以判定该位置存在变化，否则可以判定该位置不存在变化。第一阈值与第二阈值的具体数值可以不作限定。

步骤S330：获取所述目标对象的手势控制操作内容。

可选的，若检测到上述位置存在变化，可以获取目标对象的手势控制操作内容；而若没有检测到上述位置存在变化，则可以周期性的持续检测，直至检测到位置存在变化。

请参阅图10，作为一种方式，步骤S330可以包括：

步骤S331：获取所述位置的变化数据。

其中，位置的变化数据可以包括目标对象的起始位置坐标以及目标对象的移动方向等，该起始位置坐标可以理解为目标对象相对于手势控制设备的操作界面的起始坐标。可选的，可以通过手势检测设备感应到的电容的变化量以及变化方向获取该位置的变化数据。

步骤S332：根据所述变化数据确定与所述目标控制操作对应的至少一个操作指令类型。

可选的，目标对象的起始位置坐标可以是多个位置坐标，目标对象的移动方向也可以是多种移动方向，作为一种方式，可以结合多个位置坐标的前后相邻(指的是手势操作的时间先后顺序)的两个位置坐标之间的差异以及与该差异对应的移动方向确定与目标控制操作对应的操作指令类型，可选的，该操作指令类型的数量可以为至少一个。

例如，可以将显示屏初次显示的目标对象相对于手势控制设备的位置的坐标记为位置坐标1，当用户的手指向右滑动时，得到位置坐标2，当用户的手指再向下滑动时，可以得到位置坐标3，那么可以根据位置坐标1、位置坐标2以及“向右滑动”确定与目标控制操作对应的一个操作指令类型，根据位置坐标2、位置坐标3以及“向下滑动”确定与目标控制操作对应的另一个操作指令类型。

步骤S333：根据所述至少一个操作指令类型确定所述目标对象的手势控制操作内容。

可选的，在确定了与目标控制操作对应的至少一个操作指令类型后，可以将该至少一个操作指令类型所对应的操作功能作为目标对象的手势控制操作内容。

可选的，若未确定出与目标控制操作对应的操作指令类型，说明用户当前的手势可能不标准而不能被手势控制设备所感应，为了便于引导用户快速学会手势控制操作，可以控制显示屏显示误操作提示信息，并将和用户的当前手势相近的(例如，相似度大于70％的手势)、且可以用于进行设备控制的手势动作显示出来，以帮助用户快速的纠正错误的手势，减小用户的学习成本，提升用户体验。

步骤S340：执行与所述手势控制操作内容对应的操作功能，并控制所述显示屏显示与所述手势控制操作内容对应的操作画面。

请参阅图11，作为一种方式，步骤S340可以包括：

步骤S341：获取所述手势控制操作内容的内容类型。

可选的，不同的手势操作所对应的手势控制功能可以不同。例如，单击操作只需单独的点击一次操作界面，而多点控制操作需要连续多次点击操作界面，因而多点控制操作需要更为准确的进行手势控制。为了避免类似于多点控制操作等手势控制操作在操作的过程中的误触问题，可以将手势控制操作内容根据其操作的内容进行分类，例如，将手势控制操作内容分为第一内容类型以及第二内容类型，第一内容类型表征可以即刻控制的手势操作类型，例如，第一内容类型可以包括单击操作；第二内容类型表征需要连续控制的手势操作类型，例如，第二内容类型可以包括多点控制操作。通过将手势控制操作内容进行内容分类，可以在对与手势控制操作内容对应的操作画面进行显示时，以对应的显示效果进行显示，从而可以帮助用户更加准确的区分当前处于何种手势控制操作状态。

步骤S342：控制所述显示屏以所述内容类型所对应的显示模式，显示与所述手势控制操作内容对应的操作画面。

可选的，不同的内容类型对应的显示模式可以不同，显示模式可以包括二维显示以及三维显示。作为一种方式，可以控制显示屏以手势控制操作内容的内容类型所对应的显示模式，显示与手势控制操作内容对应的操作画面。例如，若手势控制操作内容为单击操作，那么可以以二维显示模式显示与单击操作对应的操作画面(该种方式下的操作画面可以是一个操作结果)，若手势控制操作内容为多点控制操作，为了使用户可以更加清楚当前的手势控制状态以及该如何进行下一步的手势操作，可以以三维显示模式显示与多点控制操作所对应的操作画面，即将用户的手势相对于手势控制设备的位置以及整个多点控制过程均以可视化的方式显示在显示屏上，使得通过手势进行设备控制的操作过程变得直观便捷，提升用户使用体验。

在一个具体的应用场景中，如图12所示，示出了本实施例提供的控制显示屏以手势控制操作内容的所属内容类型所对应的显示模式，显示与手势控制操作内容对应的操作画面的示例图，可选的，若用户通过单击操作调节了视频不放界面的音量，那么可以在显示屏1上以二维显示模式显示音量被调节后的变化，即可以直接显示音量被调节后的结果。可选的，在一些实施方式中，在图12中也可以在音量被调节后的结果处显示用户的手势，即可以让用户知道，是因为点击了一下图12中的黑点所在的位置，才将音量调节成图12所示的音量调节结果的。

本申请实施例提供的一种设备控制方法，通过检测用户的手势相对于手势控制设备的位置的变化，以及按照手势控制操作内容的所属内容类型所对应的显示模式显示与手势控制操作内容对应的画面，可以提升用户通过手势进行设备控制的准确性。通过对虚拟穿戴设备体验用户的手势控制操作内容进行可视化显示，提升了通过手势控制操作进行设备控制的准确性，同时降低了用户的记忆成本与学习成本，提升了用户友好体验。

请参阅图13，本申请实施例提供的一种设备控制装置400，运行于虚拟穿戴设备，所述虚拟穿戴设备包括手势控制设备与显示屏，所述装置400包括：

第一控制模块410，用于若检测到作用于所述手势控制设备的目标控制操作，控制所述显示屏显示目标对象相对于所述手势控制设备的位置以及操作指引信息，所述操作指引信息用于指示所述目标对象根据所述位置进行手势控制操作。

可选的，装置400还可以包括手势感应模块，用于在若检测到作用于所述手势控制设备的目标控制操作，控制所述显示屏显示目标对象相对于所述手势控制设备的位置以及操作指引信息之前，检测是否存在作用于所述手势控制设备的控制操作；若存在控制操作，识别所述控制操作所对应的图案是否满足目标条件；若满足目标条件，判定所述控制操作为目标控制操作；若不满足目标条件，判定所述控制操作为非目标控制操作。

其中，作为一种实施方式，所述手势控制设备包括触控板，在这种方式下，可以检测在指定距离内是否存在作用于所述触控板的隔空控制操作，所述指定距离表征所述隔空控制操作的操作对象与所述触控板之间的距离；若存在隔空控制操作，识别所述控制操作所对应的图案是否满足目标条件。

作为另一种实施方式，所述手势控制设备包括触摸屏，在这种方式下，可以检测是否存在作用于所述触摸屏的触控操作；若存在触控操作，识别所述控制操作所对应的图案是否满足目标条件。

可选的，第一控制模块410还可以用于若检测到作用于所述手势控制设备的非目标控制操作，控制所述显示屏显示与所述非目标控制操作对应的确认提示信息。

操作数据获取模块420，用于获取所述目标对象的手势控制操作内容。

在一种实现方式中，操作数据获取模块420可以用于若检测到所述位置存在变化，获取所述目标对象的手势控制操作内容。其中，可以获取所述位置的变化数据；根据所述变化数据确定与所述目标控制操作对应的至少一个操作指令类型；根据所述至少一个操作指令类型确定所述目标对象的手势控制操作内容。

第二控制模块430，用于执行与所述手势控制操作内容对应的操作功能，并控制所述显示屏显示与所述手势控制操作内容对应的操作画面。

可选的，第二控制模块430可以用于获取所述手势控制操作内容的内容类型；控制所述显示屏以所述内容类型所对应的显示模式，显示与所述手势控制操作内容对应的操作画面，不同的内容类型对应的显示模式不同。

可选的，第二控制模块430还可以用于若未确定出与所述目标控制操作对应的操作指令类型，控制所述显示屏显示误操作提示信息。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图14，基于上述的设备控制方法及装置，本申请实施例还提供了一种可以执行前述设备控制方法的虚拟穿戴设备100。虚拟穿戴设备100包括显示屏1、手势控制设备4、存储器102以及相互耦合的一个或多个(图中仅示出一个)处理器104，存储器102以及处理器104之间通信线路连接。存储器102中存储有可以执行前述实施例中内容的程序，而处理器104可以执行存储器102中存储的程序。

其中，手势控制设备4可以用于感应用户的手势控制操作，手势控制设备4可以为触摸屏或触控板，手势控制设备4可以感应作用于触摸屏的手势控制操作，或者可以感应作用于触控板的手势控制操作(该种方式下的手势控制操作为隔空操作，且用户手势与触控板之间的距离可以根据实际情况进行设定)。

显示屏1可以用于显示目标对象(例如，用户的手指或手掌)相对于手势控制设备4的位置以及操作指引信息，该操作指引信息用于指示目标对象根据所述位置进行手势控制操作。本申请实施例中，显示屏1还可以用于显示与用户的手势控制操作内容对应的操作画面，该操作画面表征用户通过手势在手势控制设备上的操作流程，可以通过二维、三维、或者二维结合三维的方式显示该操作流程，使得可以将用户的手势控制操作以可视化的方式清晰的显示在用户眼前，从而可以提升手势控制操作的准确性。

处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个虚拟穿戴设备100内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行虚拟穿戴设备100的各种功能和处理数据。可选地，处理器104可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器104可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器104中，单独通过一块通信芯片进行实现。

存储器102可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现前述各个实施例的指令等。存储数据区还可以存储虚拟穿戴设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图15，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质500中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质500可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质500包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码510可以例如以适当形式进行压缩。

综上所述，本申请提供的一种设备控制方法、装置、虚拟穿戴设备以及存储介质，通过若检测到作用于手势控制设备的目标控制操作，控制显示屏显示目标对象相对于手势控制设备的位置以及操作指引信息，继而获取目标对象的手势控制操作内容，然后执行与手势控制操作内容对应的操作功能，并控制显示屏显示与手势控制操作内容对应的操作画面。从而通过上述方式实现了在检测到存在作用于手势控制设备的目标控制操作的情况下，可以获取目标对象的手势控制操作内容，进而将手势控制操作内容所对应的操作画面直观地显示在显示屏上，相较于让用户根据记忆进行虚拟穿戴设备的触摸按键操作，本申请中对虚拟穿戴设备体验用户的手势控制操作内容进行可视化显示，提升了通过手势控制操作进行设备控制的准确性，同时降低了用户的记忆成本与学习成本，提升了用户友好体验。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种设备控制方法，其特征在于，应用于虚拟穿戴设备，所述虚拟穿戴设备包括手势控制设备与显示屏，所述方法包括：

若检测到作用于所述手势控制设备的目标控制操作，控制所述显示屏显示目标对象相对于所述手势控制设备的位置以及操作指引信息，所述操作指引信息用于指示所述目标对象根据所述位置进行手势控制操作；

获取所述目标对象的手势控制操作内容；

执行与所述手势控制操作内容对应的操作功能，并控制所述显示屏显示与所述手势控制操作内容对应的操作画面。

2.根据权利要求1所述的方法，其特征在于，所述若检测到作用于所述手势控制设备的目标控制操作，控制所述显示屏显示目标对象相对于所述手势控制设备的位置以及操作指引信息之前，还包括：

检测是否存在作用于所述手势控制设备的控制操作；

若存在控制操作，识别所述控制操作所对应的图案是否满足目标条件；

若满足目标条件，判定所述控制操作为目标控制操作；

若不满足目标条件，判定所述控制操作为非目标控制操作。

3.根据权利要求2所述的方法，其特征在于，所述手势控制设备包括触控板，所述检测是否存在作用于所述手势控制设备的控制操作，若存在控制操作，识别所述控制操作所对应的图案是否满足目标条件，包括：

检测在指定距离内是否存在作用于所述触控板的隔空控制操作，所述指定距离表征所述隔空控制操作的操作对象与所述触控板之间的距离；

若存在隔空控制操作，识别所述控制操作所对应的图案是否满足目标条件。

4.根据权利要求2所述的方法，其特征在于，所述手势控制设备包括触摸屏，所述检测是否存在作用于所述手势控制设备的控制操作，若存在控制操作，识别所述控制操作所对应的图案是否满足目标条件，包括：

检测是否存在作用于所述触摸屏的触控操作；

若存在触控操作，识别所述控制操作所对应的图案是否满足目标条件。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若检测到作用于所述手势控制设备的非目标控制操作，控制所述显示屏显示与所述非目标控制操作对应的确认提示信息。

6.根据权利要求1所述的方法，其特征在于，所述获取所述目标对象的手势控制操作内容，包括：

若检测到所述位置存在变化，获取所述目标对象的手势控制操作内容。

7.根据权利要求6所述的方法，其特征在于，所述若检测到所述位置存在变化，获取所述目标对象的手势控制操作内容，包括：

获取所述位置的变化数据；

根据所述变化数据确定与所述目标控制操作对应的至少一个操作指令类型；

根据所述至少一个操作指令类型确定所述目标对象的手势控制操作内容。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

若未确定出与所述目标控制操作对应的操作指令类型，控制所述显示屏显示误操作提示信息。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述控制所述显示屏显示与所述手势控制操作内容对应的操作画面，包括：

获取所述手势控制操作内容的内容类型；

控制所述显示屏以所述内容类型所对应的显示模式，显示与所述手势控制操作内容对应的操作画面，不同的内容类型对应的显示模式不同。

10.一种设备控制装置，其特征在于，运行于虚拟穿戴设备，所述虚拟穿戴设备包括手势控制设备与显示屏，所述装置包括：

第一控制模块，用于若检测到作用于所述手势控制设备的目标控制操作，控制所述显示屏显示目标对象相对于所述手势控制设备的位置以及操作指引信息，所述操作指引信息用于指示所述目标对象根据所述位置进行手势控制操作；

操作数据获取模块，用于获取所述目标对象的手势控制操作内容；

第二控制模块，用于执行与所述手势控制操作内容对应的操作功能，并控制所述显示屏显示与所述手势控制操作内容对应的操作画面。

11.一种虚拟穿戴设备，其特征在于，包括手势控制设备、显示屏、一个或多个处理器、以及存储器；

一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-9任一所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-9任一所述的方法。

Images