CN106997242B - 界面管理方法及头戴式显示设备 - Google Patents

Abstract

本发明公开了一种界面管理方法及头戴式显示设备，所述方法包括：接收针对当前在显示区域中呈现的第一虚拟显示界面的第一输入操作，其中，所述第一虚拟显示界面为头戴式显示设备的显示界面，所述头戴式显示设备可同时显示一个或多个虚拟显示界面，在所述头戴式显示设备的位置发生改变时，可分别呈现所述一个或多个虚拟显示界面；基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整。本发明实施例可以实现：在头戴式显示设备关联的多个显示界面中，向当前在显示区域中呈现的第一虚拟显示界面输入第一输入操作，基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整，实现对多个显示界面进行管理。

Description

界面管理方法及头戴式显示设备

技术领域

本发明涉及增强现实技术领域，特别涉及一种界面管理方法及头戴式显示设备。

背景技术

目前计算机连接多个显示器时，在切换显示器时，可以通过进入显示屏的设置菜单，来识别有几块显示屏，并将其中一块显示屏设置为主屏，该过程比较耗时且复杂。而当用户佩戴可穿戴设备时，例如AR眼镜时，由于视场(FOV)有限，无法能看到全部的显示器，在切换显示器时，需要脱下可穿戴设备，通过计算机来进行切换，或者需要改变可穿戴设备的位置，例如，改变可穿戴设备的角度或坐标等，来查看显示器的序列号，再通过显示器的序列号来进行切换，这样切换起来效率较低。

发明内容

有鉴于此，本发明的目的是提供一种高效地在各显示界面之间来回切换的界面管理方法及头戴式显示设备。

为了实现上述目的，本发明提供了一种界面管理方法，包括：

接收针对当前在显示区域中呈现的第一虚拟显示界面的第一输入操作，其中，所述第一虚拟显示界面为头戴式显示设备的显示界面，所述头戴式显示设备可同时显示一个或多个虚拟显示界面，在所述头戴式显示设备的位置发生改变时，可分别呈现所述一个或多个虚拟显示界面；

基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整。

作为优选，包括：在第一输入操作满足第一预设条件时，将所述第一虚拟显示界面的显示内容发送至预设显示界面进行显示。

作为优选，在接收所述第一输入操作之前，包括：

接收第二输入操作，基于第二输入操作，确定一显示界面为所述预设显示界面。

作为优选，所述头戴式显示设备与第二设备连接，所述第二设备具有显示屏，所述方法包括：

将所述第一虚拟显示界面的显示内容发送至所述显示屏进行显示。

作为优选，获取所述预设显示界面的第二显示内容，在所述第一虚拟显示界面中显示所述第二显示内容。

作为优选，在所述第一输入操作满足第二预设条件时，基于所述第一输入操作，调整所述第一虚拟显示界面的显示位置。

作为优选，在所述第一虚拟显示屏幕显示位置调整后的显示区域与至少一个第二虚拟显示界面的显示区域至少部分重合时，调整所述至少一个第二虚拟显示界面的显示位置，以使得所述第一虚拟显示屏幕显示位置调整后的显示区域与所述至少一个第二虚拟显示界面的显示区域无重叠部分。

本发明还提供一种头戴式显示设备，包括处理器、输入装置和镜片模组：

所述输入装置配置为采集针对当前在显示区域中呈现的第一虚拟显示界面的第一输入操作；所述镜片模组配置为呈现所述头戴式显示设备的一个或多个虚拟显示界面，并在所述头戴式显示设备的位置发生改变时，可分别呈现所述一个或多个虚拟显示界面；所述处理器还配置为基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整。

作为优选，所述处理器还配置为：在第一输入操作满足第一预设条件时，将所述第一虚拟显示界面的显示内容发送至预设显示界面进行显示。

作为优选，所述处理器还配置为在接收所述第一输入操作之前，接收第二输入操作，基于第二输入操作，确定一显示界面为所述预设显示界面。

本发明实施例可以实现：在头戴式显示设备关联的多个显示界面中，向当前在显示区域中呈现的第一虚拟显示界面输入第一输入操作，基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整，实现了对多个显示界面进行管理。

附图说明

图1为本发明的界面管理方法的实施例一的流程图；

图2为本发明的界面管理方法的一个应用场景的示意图；

图3为本发明的界面管理方法的另一个应用场景的示意图；

图4为本发明的界面管理方法的另一个应用场景的示意图；

图5为本发明的界面管理方法的另一个应用场景的示意图；

图6为本发明的界面管理方法的其中一个应用场景的示意图；

图7为本发明的头戴式显示设备的实施例一的示意图。

具体实施方式

此处参考附图描述本公开的各种方案以及特征。

应理解的是，可以对此处公开的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本公开的具体实施例；然而，应当理解，所公开的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。

本说明书可使用词组“在一种实施例中”、“在另一种实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。

目前，增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。一个完整的增强现实系统是由一组紧密联结、实时工作的硬件部件与相关的软件系统协同实现的，常用的有如下三种组成形式：Monitor-Based、光学透视式和视频透视式。其中，光学透视式下常用的硬件部件包括头戴式显示设备(Head-mounted displays,HMD)。头盔式显示设备被广泛应用于虚拟现实系统中，用以增强用户的视觉沉浸感。增强现实技术的研究者们也采用了类似的显示技术，这就是在AR中广泛应用的穿透式HMD。根据具体实现原理又划分为两大类，分别是基于光学原理的穿透式HMD(Optical See-through HMD)和基于视频合成技术的穿透式HMD(Video See-throughHMD)。光学透视式增强现实系统实现方案如下图所示。光学透视式增强现实系统具有简单、分辨率高、没有视觉偏差等优点，但它同时也存在着定位精度要求高、延迟匹配难、视野相对较窄和价格高等不足。

实施例一

目前计算机连接多个显示器时，在切换显示器时，可以通过进入显示屏的设置菜单，来识别有几块显示屏，并将其中一块显示屏设置为主屏，该过程比较耗时且复杂。而当用户佩戴可穿戴设备时，例如AR眼镜时，由于视场(FOV)有限，无法能看到全部的显示器，在切换显示器时，需要脱下可穿戴设备，通过计算机来进行切换，或者需要改变可穿戴设备的位置，例如，改变可穿戴设备的角度或坐标等，来查看显示器的序列号，再通过显示器的序列号来进行切换，这样切换起来效率较低。因此，为解决上述问题本发明实施例提供了一种界面管理方法及头戴式显示设备；进一步地，为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。

本实施例提供了一种界面管理方法，具体地，所述方法应用于头戴式显示设备，所述头戴式显示设备设置有镜片模组，如所述头戴式显示设备为头戴式虚拟显示VR设备，或者为头戴式增强现实AR设备(如智能眼镜等)。这样，当用户穿戴所述头戴式显示设备时，能够透光所述镜片模组观测到一个或多个虚拟显示界面，当用户穿戴所述电子设备的穿戴部位(如头部)移动时，用户通过所述镜片模组观测到的一个或多个虚拟显示界面能够随所述穿戴部位的移动而发生变化；进一步地，当用户穿戴述头戴式显示设备时，可以通过输入操作来调整虚拟显示界面的位置。具体为：接收针对当前在显示区域中呈现的第一虚拟显示界面的第一输入操作，其中，所述第一虚拟显示界面为头戴式显示设备的显示界面，所述头戴式显示设备可同时显示一个或多个虚拟显示界面，在所述头戴式显示设备的位置发生改变时，可分别呈现所述一个或多个虚拟显示界面；基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整。图1为本发明的界面管理方法的实施例一的流程图，如图1所示，本实施例的界面管理方法，具体可以包括如下步骤：

S101，接收针对当前在显示区域中呈现的第一虚拟显示界面的第一输入操作，其中，所述第一虚拟显示界面为头戴式显示设备的显示界面，所述头戴式显示设备可同时显示一个或多个虚拟显示界面，在所述头戴式显示设备的位置发生改变时，可分别呈现所述一个或多个虚拟显示界面。

在可穿戴显示设备如增强现实(AR)眼镜组成的显示系统中，因为用户多任务并行处理的需要，可以存在多个虚拟屏幕进行显示。这样用户在使用时，可能由于突发事件，需要马上处理，需要在不同屏幕间切换，例如，接收到紧急的邮件，或者需要快速将其中一块显示屏的内容显示给他人，就需要将其中一块显示屏的内容切换到方便观看的位置。

S102，基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整。

本实施例在具体实施时，根据第一输入操作的内容，对第一虚拟界面的位置和/或显示内容进行调整，例如，将第一虚拟界面的位置移动到其他位置，或者将第一虚拟界面与其他显示界面的位置进行互换等操作。

本发明实施例可以实现：在头戴式显示设备关联的多个显示界面中，向当前在显示区域中呈现的第一虚拟显示界面输入第一输入操作，基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整，实现了对多个显示界面进行管理。

实施例二

基于实施例一所述的方法，本实施例给出了基于第一输入操作调整显示界面的几种具体方式，具体地，

本实施例的界面管理方法，判断第一输入操作是否满足预设条件，如果满足，则根据第一输入操作的内容来调整第一虚拟显示界面的显示内容，第一虚拟显示界面的显示内容在预设显示界面上显示。具体为，在第一输入操作满足第一预设条件时，将所述第一虚拟显示界面的显示内容发送至预设显示界面进行显示。

在一个应用场景中，如图2所示，A为第一虚拟界示界面，B为预设显示界面，这里预设显示界面可以为主界面，主界面可以为实体显示界面，也可以为虚拟显示界面。如果用户为便于观看，在B界面没有显示内容的情况下，想要将A界面的显示内容发送至B界面进行显示。用户可通过电子设备进行第一输入操作，电子设备可以为笔记本电脑，并且笔记本电脑可以与可穿戴设备进行通信，则通过在笔记本电脑进行第一输入操作，如通过双击鼠标滚轮使A界面处于游离状态，然后移动鼠标至B界面，再双击鼠标滚轮，使A界面移动到B界面。

在一个具体的实施方式中，由于存在多个虚拟显示界面，还需要确定一个预设显示界面。因此，在接收所述第一输入操作之前，包括以下步骤：接收第二输入操作，基于第二输入操作，确定一显示界面为所述预设显示界面。

其中，预设显示界面为虚拟显示界面中的一个，例如，可以为用户正前方的正在观看的界面。

在另一个具体的实施方式中，头戴式显示设备还可以与其他电子设备连接，例如，与笔记本电脑连接。并且可以由笔记本电脑向头戴式显示设备输入第一操作。具体地，所述头戴式显示设备与第二设备连接，所述第二设备具有显示屏，所述方法包括：将所述第一虚拟显示界面的显示内容发送至所述显示屏进行显示。

例如，如图3所示，A显示界面为第一虚拟显示界面，第二设备可以为笔记本电脑。一般情况下，可以将笔记本电脑的实体显示屏作为主显示屏，也就是说，本实施例可以实现将虚拟显示界面的显示内容在实体显示界面上显示。值得注意的是，对于实体显示屏是没法调整的，当虚拟显示界面和实体屏重叠时，为使虚拟显示界面的显示内容适应实体显示屏，需要调整第一虚拟显示屏幕的显示参数，例如，调整第一虚拟显示屏的尺寸、位置等显示参数。

在另一个具体的实施例中，获取所述预设显示界面的第二显示内容，在所述第一虚拟显示界面中显示所述第二显示内容。

如图4所示，A显示界面为第一虚拟显示界面，B界面为预设显示界面，可以通过第一输入操作，将B显示界面的显示内容移动虚拟显示界面，如果B界面为实体显示界面，则B显示界面的内容仅转移任务栏以外的桌面区域。与如图3所示的实施例相结合，则可以将A和B显示界面的显示内容进行互换。

本发明实施例可以实现，可以预设其中一个虚拟显示界面作为主界面，然后在将其他虚拟显示界面与主界面之间进行调整。

实施例三

基于实施例一所述的方法，本实施例给出了基于第二输入操作对显示界面进行调整的几种具体方式，具体地，

本实施例，当第一输入操作不满足第一预设条件时，再判断第一输入操作，是否满足第二预设条件，当满足第二预设条件时，再基于第一输入操作调整显示界面。具体地，在所述第一输入操作满足第二预设条件时，基于所述第一输入操作，调整所述第一虚拟显示界面的显示位置。

在其中一个应用场景中，第一虚拟显示界面所要移动的位置如果存在其他虚拟显示界面，则其他虚拟显示界面要移动位置，好让位给第一虚拟显示界面。如图5所示，A为第一虚拟显示界面，B、C为其他虚拟显示界面，A显示界面要移动到B界面所处的位置，由于该位置存在B界面，则需要先调整B显示界面的位置，以给A显示界面让位。使B界面向左移动，以保证不与C界面重叠。

在一个具体的实施例中，在所述第一虚拟显示屏幕显示位置调整后的显示区域与至少一个第二虚拟显示界面的显示区域至少部分重合时，调整所述至少一个第二虚拟显示界面的显示位置，以使得所述第一虚拟显示屏幕显示位置调整后的显示区域与所述至少一个第二虚拟显示界面的显示区域无重叠部分。

如图6所示，A为第一虚拟显示界面，B、C为其他虚拟显示界面，D为第二设备的显示屏，第二设备可以为笔记本电脑，则要使A显示界面显示的内容移动到笔记本电脑的显示屏上，则D显示屏显示的内容需要移动到其他位置，并在虚拟显示界面上显示，并且要保证与其他虚拟显示界面不重叠。

发明实施例可以实现：在头戴式显示设备关联的多个显示界面中，向当前在显示区域中呈现的第一虚拟显示界面输入第一输入操作，基于所述第一输入操作，可使第一虚拟显示界面移动到新位置，且保证不与其他虚拟显示界面重叠。

实施例四

图7为本发明的头戴式显示设备的实施例一的示意图，如图7所示，本实施例的头戴式显示设备，具体可以包括处理器71、输入装置72和镜片模组73。

所述输入装置72配置为采集针对当前在显示区域中呈现的第一虚拟显示界面的第一输入操作；所述镜片模组73配置为呈现所述头戴式显示设备的一个或多个虚拟显示界面，并在所述头戴式显示设备的位置发生改变时，可分别呈现所述一个或多个虚拟显示界面；所述处理器71还配置为基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整。

在一个具体的实施例中，所述处理器71还配置为：在第一输入操作满足第一预设条件时，将所述第一虚拟显示界面的显示内容发送至预设显示界面进行显示。

在另一个具体的实施例中，所述处理器71还配置为在接收所述第一输入操作之前，接收第二输入操作，基于第二输入操作，确定一显示界面为所述预设显示界面。

本发明实施例可以实现：在头戴式显示设备关联的多个显示界面中，向当前在显示区域中呈现的第一虚拟显示界面输入第一输入操作，基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整，实现了对多个显示界面进行管理。

这里需要指出的是：以上电子设备实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明电子设备实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解，为节约篇幅，这里不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种界面显示管理方法，其特征在于，包括：

接收针对当前在显示区域中呈现的第一虚拟显示界面的第一输入操作，其中，所述第一虚拟显示界面为头戴式显示设备的显示界面，所述头戴式显示设备可同时显示一个或多个虚拟显示界面，在所述头戴式显示设备的位置发生改变时，可分别呈现所述一个或多个虚拟显示界面；

基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整；其中，所述第一输入操作为用户通过与可穿戴式设备通信连接的电子设备进行的输入操作；

其中，所述电子设备具有显示屏，所述基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整，包括：

在所述第一输入操作满足第一预设条件时，将所述第一虚拟显示界面的显示内容发送至所述显示屏进行显示。

2.根据权利要求1所述的方法，其特征在于，包括：在第一输入操作满足第一预设条件时，将所述第一虚拟显示界面的显示内容发送至预设显示界面进行显示。

3.根据权利要求2所述的方法，其特征在于，在接收所述第一输入操作之前，包括：

接收第二输入操作，基于第二输入操作，确定一显示界面为所述预设显示界面。

4.根据权利要求2所述的方法，其特征在于，获取所述预设显示界面的第二显示内容，在所述第一虚拟显示界面中显示所述第二显示内容。

5.根据权利要求1所述的方法，其特征在于，在所述第一输入操作满足第二预设条件时，基于所述第一输入操作，调整所述第一虚拟显示界面的显示位置。

6.根据权利要求5所述的方法，其特征在于，在所述第一虚拟显示界面显示位置调整后的显示区域与至少一个第二虚拟显示界面的显示区域至少部分重合时，调整所述至少一个第二虚拟显示界面的显示位置，以使得所述第一虚拟显示界面显示位置调整后的显示区域与所述至少一个第二虚拟显示界面的显示区域无重叠部分。

7.一种头戴式显示设备，包括处理器、输入装置和镜片模组：

所述输入装置配置为采集针对当前在显示区域中呈现的第一虚拟显示界面的第一输入操作；所述镜片模组配置为呈现所述头戴式显示设备的一个或多个虚拟显示界面，并在所述头戴式显示设备的位置发生改变时，可分别呈现所述一个或多个虚拟显示界面；所述处理器还配置为基于所述第一输入操作，对所述第一虚拟显示界面的位置和/或显示内容进行调整；其中，所述第一输入操作为用户通过与可穿戴式设备通信连接的电子设备进行的输入操作；

其中，所述电子设备具有显示屏，所述处理器具体配置为：在所述第一输入操作满足第一预设条件时，将所述第一虚拟显示界面的显示内容发送至所述显示屏进行显示。

8.根据权利要求7所述的设备，其特征在于，所述处理器还配置为：在第一输入操作满足第一预设条件时，将所述第一虚拟显示界面的显示内容发送至预设显示界面进行显示。

9.根据权利要求8所述的设备，其特征在于，所述处理器还配置为在接收所述第一输入操作之前，接收第二输入操作，基于第二输入操作，确定一显示界面为所述预设显示界面。

Images