WO2021134358A1

WO2021134358A1 - 人机交互方法、装置和系统

Info

Publication number: WO2021134358A1
Application number: PCT/CN2019/130195
Authority: WO
Inventors: 赵光耀
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2021-07-08
Anticipated expiration: 2022-06-30
Also published as: US20220335943A1; CN113330409B; JP2022547667A; EP3992768A1; EP3992768A4; CN113330409A; JP7413513B2

Abstract

一种人机交互方法、装置和系统，涉及人机交互技术领域，有助于实现多模态的人机交互，提高用户体验。该人机交互方法应用于人机交互系统（10），该人机交互系统（10）包括触摸屏（13）。该人机交互方法包括：接收具有重叠的触摸时长的第一触摸操作和第二触摸操作；在接收语音指令，该语音指令是在第一触摸操作和第二触摸操作的重叠的触摸时长内接收到的语音指令；响应第一触摸操作和第二触摸操作，确定该语音指令的待操作对象在触摸屏中的位置信息；基于待操作对象在触摸屏中的位置信息，执行该语音指令。

Description

人机交互方法、装置和系统

技术领域

本申请涉及人机交互技术领域，尤其涉及人机交互方法、装置和系统。

背景技术

人机交互(human computer interaction，HCI；或者，human machine interaction，HMI)是一门研究系统与用户之间的交互关系的学问。这里的系统可以是各种各样的机器，也可以是计算机化的系统和软件。多模态(modality)人机交互，通俗地讲，是指多种感官融合的人机交互。多模态交互，就是通过文字、语音、视觉、动作、环境等多种方式进行人机交互。如何实现多模态人机交互，从而提高用户体验，是亟待解决的技术问题。

发明内容

本申请提供的人机交互方法、装置和系统，有助于实现多模态的人机交互，提高了用户体验。

为达上述目的，本申请提供如下技术方案：

第一方面，本申请提供了一种人机交互方法，该人机交互方法应用于人机交互系统，该人机交互系统包括触摸屏。该方法包括：接收具有重叠的触摸时长的第一触摸操作和第二触摸操作，并接收语音指令，该语音指令是在第一触摸操作和第二触摸操作的重叠的触摸时长内接收到的语音指令。响应于第一触摸操作和第二触摸操作，确定该语音指令的待操作对象在上述触摸屏中的位置信息。基于确定出的待操作对象在触摸屏中的位置信息，执行该语音指令。本技术方案中，一方面，基于多点触控的重叠触摸时长，确定待执行语音指令(即上述语音指令)，这样，相比现有技术中“需要频繁使用唤醒词唤醒人机交互系统，才能基于唤醒后的人机交互系统确定待执行语音指令”的方案，本技术方案无需频繁使用唤醒词来唤醒系统，因此有助于提高用户在人机交互过程中的体验。另一方面，基于多点触控，确定待执行语音指令的待操作对象在触摸屏中的位置信息。这样，在大屏场景中，可以缓解在大屏上长距离滑动的问题，从而有助于提高用户在人机交互过程中的体验。

结合第一方面，在一种可能的设计方式中，上述第一触摸操作的触点与上述第二触摸操作的触点之间的距离大于或等于预设阈值。也就是说，本申请提供的人机交互方法可以应用于大屏场景。通过在大屏场景中使用多个触摸操作来触发监听语音指令，可以有效缓解在大屏上长距离滑动的问题，从而提高了用户在人机交互过程中的体验。

结合第一方面，在另一种可能的设计方式中，上述“确定该语音指令的待操作对象在上述触摸屏中的位置信息”，可以包括：确定该语音指令的在触摸屏中的待操作区域，该待操作区域中包含待操作对象。该情况下，上述“基于确定出的待操作对象在触摸屏中的位置信息，执行该语音指令”可以包括：根据接收到的语音指令的内容在触摸屏中确定出待操作区域，并在该待操作区域中执行语音指令。

结合第一方面，在另一种可能的设计方式中，上述“在该待操作区域中执行语音指令”可以包括：当语音指令用于指示选中对象时，选中待操作区域中的对象；或者，当语音指令用于指示将对象的属性信息修改为目标属性信息时，将待操作区域中的对象的属性信息修改为目标属性信息；或者，当语音指令用于指示删除对象时，删除待操作区域中的对象；或者，当语音指令用于指示创建对象时，在待操作区域中创建对象。该可能的设计提供了人机交互系统执行该语音指令的几种示例。

结合第一方面，在另一种可能的设计方式中，该人机交互方法还可以包括：人机交互系统还在触摸屏上显示上述确定出的待操作区域。这样，通过在触摸屏上显示待操作区域，使得人机交互系统执行语音指令的过程可视化，提高了用户的体验。

结合第一方面，在另一种可能的设计方式中，若上述语音指令用于指示创建包括第一端点和第二端点的待操作对象。上述“确定该语音指令的待操作对象在上述触摸屏中的位置信息”可以包括：基于第一触摸操作的触点的位置信息，确定第一端点在触摸屏中的位置信息，以及基于第二触摸操作的触点的位置信息，确定第二端点在所述触摸屏中的位置信息。在这种实现方式中，触摸操作的触点的位置信息可以用于确定语音指令中指示创建待操作对象的位置，也就是说，触摸操作的触点的位置信息可以作为语音指令的参数。

结合第一方面，在另一种可能的设计方式中，上述待操作对象包括以下至少一种：直线、线段、折线、曲线或多边形。也就是说，本申请的人机交互系统可以基于该方法创建直线、线段、折线、曲线或多边形等包括第一端点和第二端点的待操作对象。

结合第一方面，在另一种可能的设计方式中，上述“基于确定出的待操作对象在触摸屏中的位置信息，执行语音指令”可以包括：基于待操作对象在触摸屏中的位置信息，以及第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，执行语音指令。在这种实现方式中，第一触摸操作与第二触摸操作的开始触摸时间的先后顺序可以作为语音指令的参数。

结合第一方面，在另一种可能的设计方式中，上述“基于待操作对象在触摸屏中的位置信息，以及第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，执行语音指令可以包括：当语音指令用于指示创建圆时，基于第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，创建该圆。该圆的圆心的位置是基于第一触摸操作的触点的位置确定的，该圆的圆周中的点的位置是基于第二触摸操作的触点的位置确定的。第一触摸操作的开始触摸时间先于或后于第二触摸操作。在这种实现方式中，第一触摸操作与第二触摸操作的开始触摸时间的先后顺序作为创建圆的语音指令的参数。

结合第一方面，在另一种可能的设计方式中，上述“基于待操作对象在触摸屏中的位置信息，以及第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，执行语音指令”可以包括：当语音指令用于指示创建带单向箭头的线时，基于第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，创建该带单向箭头的线。这里，该线中箭头指向的端点的位置是基于第一触摸操作的触点的位置确定的，该线中非箭头指向的端点的位置是基于第二触摸操作的触点的位置确定的。第一触摸操作的开始触摸时间先于或后于第二触摸操作。在这种实现方式中，第一触摸操作与第二触摸操作的开始触摸时间的先后顺序作为创建带单向箭头的线的语音指令的参数。

第二方面，本申请提供了一种人机交互方法，该人机交互方法应用于计算机设备，该人机交互方法包括：获取基于第一触摸操作的第一触点的位置信息，以及基于第二触摸操作的第二触点的位置信息，第一触摸操作和第二触摸操作具有重叠的触摸时长。接收语音指令，该语音指令是在第一触摸操作和第二触摸操作的重叠的触摸时长内接收到的语音指令。响应获取操作，确定该语音指令的待操作对象的位置信息。其中，待操作对象的位置信息，是待操作对象在人机交互系统中的触摸屏中的位置信息，触摸屏可以集成在计算机设备上，也可以与计算机设备分开设置。基于待操作对象的位置信息，执行该语音指令。

结合第二方面，在一种可能的设计方式中，上述第一触摸操作的触点与上述第二触摸操作的触点之间的距离大于或等于预设阈值。

结合第二方面，在另一种可能的设计方式中，上述“确定该语音指令的待操作对象的位置信息”包括：确定该语音指令的待操作区域，该待操作区域中包含待操作对象。该情况下，上述“基于待操作对象的位置信息，执行gauge语音指令”包括：在待操作区域中执行该语音指令。

结合第二方面，在另一种可能的设计方式中，上述“在待操作区域中执行该语音指令”包括：当语音指令用于指示选中对象时，选中待操作区域中的对象；或者，当语音指令用于指示将对象的属性信息修改为目标属性信息时，将待操作区域中的对象的属性信息修改为目标属性信息；或者，当语音指令用于指示删除对象时，计算机设备删除待操作区域中的对象；或者，当语音指令用于指示创建对象时，在待操作区域中创建对象。

结合第二方面，在另一种可能的设计方式中，若上述语音指令用于指示创建包括第一端点和第二端点的待操作对象。上述“确定该语音指令的待操作对象的位置信息”包括：基于第一触摸操作的触点的位置信息，确定第一端点在触摸屏中的位置信息，以及基于第二触摸操作的触点的位置信息，确定第二端点在所述触摸屏中的位置信息。

结合第二方面，在另一种可能的设计方式中，上述待操作对象包括以下至少一种：直线、线段、折线、曲线或多边形。

结合第二方面，在另一种可能的设计方式中，上述“基于待操作对象的位置信息，执行该语音指令”包括：基于待操作对象在触摸屏中的位置信息，以及第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，执行该语音指令。

结合第二方面，在另一种可能的设计方式中，上述“基于待操作对象在触摸屏中的位置信息，以及第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，执行语音指令”包括：当语音指令用于指示创建圆时，计算机设备基于第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，创建该圆。该圆的圆心的位置是基于第一触摸操作的触点的位置确定的，该圆的圆周中的点的位置是基于第二触摸操作的触点的位置确定的。第一触摸操作的开始触摸时间先于或后于第二触摸操作。

结合第二方面，在另一种可能的设计方式中，上述“基于待操作对象在触摸屏中的位置信息，以及第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，执行语音指令”包括：当语音指令用于指示创建带单向箭头的线时，基于第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，创建该带单向箭头的线。这里，该线中箭头指向的端点的位置是基于第一触摸操作的触点的位置确定的，该线中非箭头指向的端点的位置是基于第二触摸操作的触点的位置确定的。第一触摸操作的开始触摸时间先于或后于第二触摸操作。

第二方面及其任一种可能的设计提供的技术方案的相关内容的解释和有益效果的描述均可以参考上述第一方面或其相应的可能的设计提供的技术方案，此处不再赘述。

第三方面，本申请提供一种人机交互的方法，该人机交互方法应用于人机交互系统，该人机交互系统包括触摸屏。该人机交互方法包括：接收具有重叠的触摸时长的第一触摸操作和第二触摸操作，并接收语音指令，该语音指令是在第一触摸操作和第二触摸操作的重叠的触摸时长内接收到的语音指令。响应于第一触摸操作述第二触摸操作，执行该语音指令。本技术方案中，基于多点触控的重叠触摸时长，确定待执行语音指令(即上述语音指令)，这样，相比现有技术中“需要频繁使用唤醒词唤醒人机交互系统，才能基于唤醒后的人机交互系统确定待执行语音指令”的方案，本技术方案无需频繁使用唤醒词来唤醒系统，因此有助于提高用户在人机交互过程中的体验。并且，相比现有技术中基于单点触控和预设时间确定待执行语音指令(如将从单点触控的触摸开始时刻开始的预设时间段内接收到的语音指令作为待执行语音指令)，本技术方案，有助于灵活控制接收待执行语音指令的时间，从而提高用户体验。

结合第三方面，在一种可能的设计方式中，上述第一触摸操作的触点与上述第二触摸操作的触点之间的距离大于或等于预设阈值。

第四方面，本申请提供一种人机交互的方法，该人机交互方法应用于人机交互系统，该人机交互系统包括触摸屏。该人机交互方法包括：接收第一触摸操作和第二触摸操作，以及接收语音指令。其中，该语音指令是基于第一触摸操作的开始触摸时长或第二触摸操作的开始触摸时长确定的。响应于该第一触摸操作和第二触摸操作，人确定该语音指令的待操作对象在触摸屏中的位置信息。基于待操作对象在触摸屏中的位置信息，执行上述语音指令。本技术方案中，基于多点触控，确定待执行语音指令的待操作对象在触摸屏中的位置信息。这样，在大屏场景中，可以缓解在大屏上长距离滑动的问题，从而有助于提高用户在人机交互过程中的体验。

结合第四方面，在一种可能的设计方式中，语音指令是从目标触摸操作的开始触摸时间开始的预设时间段内接收到的语音指令。在一种实现方式中，目标触摸操作是第一触摸操作和第二触摸操作中开始触摸时间在前的触摸操作。在另一种实现方式中，目标触摸操作是第一触摸操作和第二触摸操作中开始触摸时间在后的触摸操作。也就是说，语音指令的语音处理时间窗可以是基于单点触控操作确定的。

结合第四方面，在另一种可能的设计方式中，上述第一触摸操作的触点与上述第二触摸操作的触点之间的距离大于或等于预设阈值。

结合第四方面，在另一种可能的设计方式中，上述“确定该语音指令的待操作对象在触摸屏中的位置信息”可以包括：确定该语音指令的在触摸屏中的待操作区域，该待操作区域中包含待操作对象。该情况下，上述“基于待操作对象在触摸屏中的位置信息，执行上述语音指令”可以包括：根据该语音指令的内容在触摸屏中确定出待操作区域，并在该待操作区域中执行语音指令。

第四方面的其他可能的设计提供的技术方案，以及所提供的技术方案的相关内容的解释和有益效果的描述均可以参考上述第一方面或其相应的可能的设计提供的技术方案，此处不再赘述。

第五方面，本申请提供一种人机交互系统，该人机交互系统可以用于执行上述第一方面、第三方面或第四方面提供的任一种方法。该人机交互系统可以包括触摸屏和处理器。

在一种可能的设计方式中，上述触摸屏，用于接收第一触摸操作和第二触摸操作，该第一触摸操作和该第二触摸操作的触摸时长有重叠。上述处理器，用于接收语音指令，该语音指令是在第一触摸操作和第二触摸操作的重叠的触摸时长内接收到的语音指令。上述处理器，还用于响应第一触摸操作和第二触摸操作，确定语音指令的待操作对象在触摸屏中的位置信息。上述处理器，还用于基于待操作对象在触摸屏中的位置信息，执行语音指令。

在一另种可能的设计方式中，上述处理器，用于接收具有重叠的触摸时长的第一触摸操作和第二触摸操作，并接收语音指令，该语音指令是在第一触摸操作和第二触摸操作的重叠的触摸时长内接收到的语音指令。上述处理器，还用于响应于第一触摸操作述第二触摸操作，执行该语音指令。

在一另种可能的设计方式中，上述处理器，用于从目标触摸操作的开始触摸时间开始的预设时间段内接收到的语音指令。其中，在一种实现方式中，目标触摸操作是第一触摸操作和第二触摸操作中开始触摸时间在前的触摸操作。在另一种实现方式中，目标触摸操作是第一触摸操作和第二触摸操作中开始触摸时间在后的触摸操作。也就是说，语音指令的语音处理时间窗可以是基于单点触控操作确定的。

在一另种可能的设计方式中，该人机交互系统还包括语音采集器。

在一种实现方式中，上述语音采集器用于实时的采集语音指令，并向处理器发送采集到的语音指令。在另一种实现方式中，上述语音采集器通过与上述处理器之间进行信息交互，以确定采集和发送语音指令。例如，上述语音采集器，用于在上述第一触摸操作和上述第二触摸操作的重叠的触摸时长的开始时刻发送第一指令，第一指令用于指示语音采集器开始采集语音指令。上述处理器，用于在上述第一触摸操作和上述第二触摸操作的重叠触摸时长的结束时刻，向语音采集器发送第二指令，第二指令用于指示语音采集器结束采集语音指令。

第五方面中，处理器和触摸屏执行的其他可能的技术方案和有益效果的描述均可以参考上述第一方面或其相应的可能的设计提供的技术方案，此处不再赘述。

第六方面，本申请提供了一种计算机设备，该计算机设备可以用于执行上述第二方面提供的任一种方法，该情况下，该计算机设备具体可以是处理器或包含处理器的设备。

在一种可能的设计中，可以根据上述第二方面提供的任一种方法，对该装置进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。

在另一种可能的设计中，该计算机设备包括：存储器和一个或多个处理器；存储器和处理器耦合。上述存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，当该计算机指令被计算机设备执行时，使得计算机设备执行如第二方面及其任一种可能的设计方式所述的人机交互方法。

第七方面，本申请提供一种芯片系统，该芯片系统应用于人机交互系统。该芯片系统包括一个或多个接口电路和一个或多个处理器。

上述接口电路和上述处理器通过线路互联；上述接口电路用于从人机交互系统的存储器接收信号，并向上述处理器发送该信号，该信号包括存储器中存储的计算机指令；当上述处理器执行该计算机指令时，人机交互系统执行如第一方面或第三方面或第四方面提供的提供的任一种可能的设计方式所述的人机交互方法。

第八方面，本申请提供一种芯片系统，该芯片系统应用于计算机设备。该芯片系统包括一个或多个接口电路和一个或多个处理器；

上述接口电路和上述处理器通过线路互联；上述接口电路用于从计算机设备的存储器接收信号，并向上述处理器发送该信号，该信号包括存储器中存储的计算机指令；当上述处理器执行该计算机指令时，计算机设备执行如第二方面及其任一种可能的设计方式所述的人机交互方法。

第九方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当该计算机指令在人机交互系统上运行时，使得人机交互系统实现如第一方面或第三方面或第四方面提供的任一种可能的设计方式所述的人机交互方法。

第十方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当该计算机指令在计算机设备上运行时，使得计算机设备实现如第二方面及其任一种可能的设计方式所述的人机交互方法。

第十一方面，本申请提供一种计算机程序产品，当该计算机程序产品在人机交互系统上运行时，使得人机交互系统实现如第一方面或第三方面或第四方面提供的任一种可能的设计方式所述的人机交互方法。

第十二方面，本申请提供一种计算机程序产品，当该计算机程序产品在计算机设备上运行时，使得计算机设备实现如第二方面及其任一种可能的设计方式所述的人机交互方法。

本申请中第二方面到第十二方面及其各种实现方式的具体描述，可以参考第一方面及其各种实现方式中的详细描述；并且，第二方面到第十二方面及其各种实现方式的有益效果，可以参考第一方面及其各种实现方式中的有益效果分析，此处不再赘述。

在本申请中，上述人机交互系统的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，属于本申请权利要求及其等同技术的范围之内。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

附图说明

图1为本申请实施例提供的人机交互系统的一种硬件结构图；

图2为本申请实施例提供的人机交互系统的一种结构示意图一；

图3为本申请实施例提供的人机交互系统的一种结构示意图二；

图4为本申请实施例提供的人机交互方法的一种流程示意图一；

图5为本申请实施例提供的人机交互方法的一种示意图一；

图6为本申请实施例中查找人机交互方法的一种示意图二；

图7为本申请实施例提供的人机交互方法的一种示意图三；

图8为本申请实施例提供的人机交互方法的一种示意图四；

图9为本申请实施例提供的人机交互方法的一种示意图五；

图10为本申请实施例提供的人机交互方法的一种示意图六；

图11为本申请实施例提供的人机交互方法的一种示意图七；

图12为本申请实施例提供的人机交互方法的一种示意图八；

图13为本申请实施例提供的人机交互方法的一种流程示意图二；

图14为本申请实施例提供的人机交互方法的一种流程示意图三；

图15为本申请实施例提供的人机交互方法的一种流程示意图四；

图16为本申请实施例提供的计算机设备的结构示意图；

图17为本申请实施例提供的一种芯片系统的结构示意图；

图18为本申请实施例提供的计算机程序产品的结构示意图。

具体实施方式

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的实施例中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本申请实施例提供一种人机交互方法、装置和系统，人机交互系统接收的第一触摸操作的触摸时长和第二触摸操作的触摸时长有重叠。在重叠的触摸时长内，人机交互系统执行监听语音指令。然后，人机交互系统根据语音指令的指示，以及第一触摸操作和第二触摸操作的位置信息，执行语音指令。通过本申请实施例提供的人机交互方法，利用触摸操作和语音监听两种模态进行人机交互，提高了用户在人机交互过程中的体验。

上述人机交互方法可以通过安装在设备上的应用程序实现，例如人机交互应用程序。

上述应用程序可以是安装在设备中的嵌入式应用程序(即设备的系统应用)，也可以是可下载应用程序。其中，嵌入式应用程序是作为设备(如手机)实现的一部分提供的应用程序。可下载应用程序是一个可以提供自己的因特网协议多媒体子系统(internet protocol multimedia subsystem，IMS)连接的应用程序，该可下载应用程序是可以预先安装在设备中的应用或可以由用户下载并安装在设备中的第三方应用。

参考图1，图1示出了本申请实施例提供的人机交互系统的硬件结构。如图1所示，人机交互系统10包括处理器11、存储器12、触摸屏13以及语音采集器14。处理器11、存储器12、触摸屏13以及语音采集器14可以集成在一个设备上，也可以分别集成在不同的设备上。

下面对人机交互系统10的硬件结构的描述以处理器11、存储器12、触摸屏13以及语音采集器14集成在一个设备上为例进行说明。当处理器11、存储器12、触摸屏13以及语音采集器14集成在一个设备上时，人机交互系统10还包括总线15。处理器11、存储器12、触摸屏13以及语音采集器14通过总线15连接。

处理器11是人机交互系统10的控制中心，可以是一个通用中央处理单元(central processing unit，CPU)，也可以是其他通用处理器等。其中，通用处理器可以是微处理器或者是任何常规的处理器等。

作为一个示例，处理器11可以包括一个或多个CPU，例如图1中所示的CPU 0和CPU 1。

存储器12，可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

一种可能的实现方式中，存储器12可以独立于处理器11。存储器12可以通过总线15与处理器11相连接，用于存储数据、指令或者程序代码。处理器11调用并执行存储器12中存储的指令或程序代码时，能够实现本申请实施例提供的人机交互方法。

另一种可能的实现方式中，存储器12也可以和处理器11集成在一起。

触摸屏13，具体可以包括触控板131和显示屏132。

其中，触控板131可采集用户在其上或附近的触摸事件(比如用户使用手指、触控笔等任何适合的物体在触控板上或在触控板附近的操作)，并将采集到的触摸信息发送给其他器件(例如处理器11)。其中，用户在触控板附近的触摸事件可以称之为悬浮触控；悬浮触控可以是指，用户无需为了选择、移动或拖动目标(例如图标等)而直接接触触控板，而只需用户位于设备附近以便执行所想要的功能。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型来实现触控板。

显示屏132可用于显示由用户输入的信息或提供给用户的信息。可以采用液晶显示屏、有机发光二极管等形式来配置显示屏132。触控板131可以覆盖在显示屏132之上，当触控板131检测到在其上或附近的触摸事件后，传送给处理器11以确定触摸事件的类型，处理器11可以根据触摸事件的类型在显示屏132上提供相应的视觉输出。

语音采集器14，用于接收语音信号，并将语音信号转换为电信号后发送给其他器件(例如处理器11)处理。语音采集器可以是麦克风，也称“话筒”，或“传声器”等。

总线15，可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component interconnect，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图1中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

需要指出的是，图1中示出的结构并不构成对该人机交互系统10的限定，除图1所示部件之外，该人机交互系统10可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

当上述处理器11、存储器12、触摸屏13以及语音采集器14集成在一个设备上时，人机交互系统10可以是电子白板、智能手机、带触摸屏的笔记本电脑、带触摸屏的计算机、平板、上网本、车载等设备。示例性的，如图2所示，电子白板20中集成了处理器11、存储器12、触摸屏13以及语音采集器14。这种情况下，上述人机交互应用程序可以在电子白板20内运行。可选的，该人机交互系统10还可以包括触摸笔21，触摸笔21用于在电子白板20的触摸屏13上输入触摸操作。

当上述处理器11、存储器12、触摸屏13以及语音采集器14分别集成在不同的设备上时，上述人机交互系统10可以包括多个设备，以执行本申请实施例提供的人机交互方法。示例性的，如图3所示的人机交互系统10可以包括：电子白板20、计算机32和投影机33。可选的，人机交互系统10还可以包括触摸笔21，触摸笔21用于在电子白板20的触摸屏13上输入触摸操作。其中，处理器11可以是计算机32的处理器。存储器12可以是计算机32的存储器，处理器11和存储器12通过总线15连接。这时，上述人机交互应用程序可以在计算机32内运行。另外，触摸屏13可以是电子白板20的触摸屏。语音采集器14可以集成在电子白板20中。或者，语音采集器14也可以集成在计算机32、投影机33或者触摸笔21中，本申请实施对此不作限定。

可以理解的是，上述对本申请实施例提供的人机交互系统10的描述仅为示例性说明，并不构成对本实施例的限定。可以理解的是，任何能够实现本申请实施例提供的人机交互方法的设备，或设备的组合，都在本申请实施例的保护范围之内。

下面结合附图对本申请实施例提供的人机交互方法进行描述。

请参考图4，图4示出了本申请实施例提供的人机交互方法的流程示意图，该人机交互方法包括以下步骤：

S401、触摸屏接收第一触摸操作和第二触摸操作，并确定第一触点的位置信息和第二触点的位置信息。

第一触摸操作和第二触摸操作，可以是用户通过手指或触摸笔在触摸屏上触摸的操作。第一触摸操作和第二触摸操作分别具有一定的触摸时长。触摸屏可以同时接收第一触摸操作和第二触摸操作，也可以在不同时刻接收第一触摸操作和第二触摸操作。

第一触点是第一触摸操作与触摸屏的接触点。第二触点是第二触摸操作与触摸屏的接触点。触点的位置信息，用于表征该触点在触摸屏中的位置。本申请实施例对触点的位置信息的具体内容不进行限定，例如，触点的位置信息可以是该触点在触摸屏中的坐标。示例性的，如图5所示，图5示出了触摸屏50接收到第一触摸操作后，所确定的第一触点A的坐标(x ₁，y ₁)，以及接收到第二触摸操作后，所确定的第二触点B的坐标(x ₂，y ₂)。

可选的，第一触点和第二触点之间的距离可以大于或等于预设阈值。也就是说，本申请实施例支持两个触点之间的距离比较大的场景(如大屏场景)，这样，有助于解决大屏场景中单手操作困难度高的问题。预设的阈值可以根据实际情况进行设置，本申请实施例对此不作具体限定。可选的，触摸屏的尺寸(即触摸屏的长边尺寸和/或短边尺寸)大于一个阈值，也就是说，本申请实施例支持大屏场景。

可选的，触摸屏还可以在接收第一触摸操作后，确定第一触点组的位置信息。同样的，触摸屏还可以在接收第二触摸操作后，确定第二触点组的位置信息。这里，一个触点组中的每两个触点之间的距离小于或等于预设距离。通过用触点组表示触摸操作对应的触点位置，能够有效的避免用户在进行触摸操作时发生误操作，例如手掌碰触触摸屏。其中，预设距离可以由人机交互系统根据实际情况设置，本申请实施例对此不作具体限定。

本申请实施例下面的描述，以触摸屏根据第一触摸操作确定第一触点的位置信息，以及根据第二触摸操作确定第二触点的位置信息为例进行说明。

S402、触摸屏向处理器发送第一触点的位置信息和第二触点的位置信息。

具体的，触摸屏可以周期性或触发性或实时性地向处理器发送所确定的触点的位置信息。例如，触摸屏可以在每个周期向处理器发送一帧数据。该帧数据包括该周期内确定的触摸操作的触点的位置信息，如包括该周期内第一触点和第二触点的位置信息。

S403、处理器响应于第一触摸操作和第二触摸操作，确定语音处理时间窗。

具体的，处理器可以根据任意一种方式确定语音处理时间窗：

方式一、处理器可以根据第一触摸操作和第二触摸操作的重叠的触摸时长，以及预设规则确定语音处理时间窗。该预设规则可以是指示该重叠的触摸时长为语音处理时间窗，或者，该预设规则可以是指示在该重叠的触摸时长的开始时刻起的预设时长之后，到该重叠的触摸时长的结束时刻为语音处理时间窗。

也就是说，语音处理时间窗包含于该重叠的触摸时长，且该重叠的触摸时长的结束时刻为处理器结束语音处理时间窗的时刻。即语音处理时间窗可以与该重叠的触摸时长，或者语音处理时间窗的时长小于该重叠的触摸时长。

示例性的，参考图6，图6示出了第一触摸操作的触摸时长、第二触摸操作的触摸时长、以及语音处理时间窗之间的关系示意图。如图6所示，第一触点所对应的第一触摸操作的触摸时长为L ₁，第二触点所对应的第二触摸操作的触摸时长为L ₂，语音处理时间窗的时长为第一触摸操作和第二触摸操作重叠的触摸时长L。

方式二、处理器可以在第一触摸操作和第二触摸操作的重叠触摸时长的开始时刻，向语音采集器发送第一指令，第一指令用于指示语音采集器开始采集语音指令。并且，处理器在第一触摸操作和第二触摸操作的重叠触摸时长的结束时刻，向语音采集器发送第二指令，第二指令用于指示语音采集器结束采集语音指令。该情况下，作为示例，针对第一触摸操作和第二触摸操作来说，处理器可以将向语音采集器发送第一指令的时刻，到向语音采集器发送第二指令的时刻，确定为语音处理时间窗。

可选的，在方式二中，当第一触摸操作和第二触摸操作的重叠触摸时长的结束时刻，与第一触摸操作和第三触摸操作的重叠触摸时长的开始时刻相同时，在该时刻，处理器可以不向语音采集器发送第一指令和第二指令。

可选的，处理器可以通过对第一触点进行跟踪，确定第一触摸操作的触摸时长。处理器可以通过对第二触点进行跟踪，确定第二触摸操作的触摸时长。触点的跟踪过程具体可以参考下文S131-S136、以及S141-S144描述。

S404、语音采集器采集语音指令，并向处理器发送该语音指令。

在一种实现方式中，语音采集器实时采集语音指令，并将该语音指令发送至处理器。该语音采集方式与上述S403中的方式一对应。

在另一种实现方式中，语音采集器根据从处理器接收到的第一指令，进行语音指令采集，并将采集到的语音指令发送至处理器。语音采集器还根据从处理器接收到的第二指令，停止语音指令的采集。该语音采集方式与上述S403中的方式二对应。

语音指令可以是用户发出的或者是某一设备发出的，并由语音采集器采集到的语音指令。

语音指令的内容可以包括选中对象、修改对象、删除对象、或者创建对象等。

示例性的，上述选中对象的语音指令可以包括“选中文本”，上述修改对象的语音指令可以包括“加粗文本颜色”，上述删除对象的语音指令可以包括“删除图片”，上述创建对象的语音指令可以包括“创建3行2列的表格”、或者“创建圆”等。

可以理解的是，语音采集器实时采集语音指令，并向处理器发送该语音指令的过程，和上述S401-S403的过程是独立并行的两个过程，二者的执行没有时序限制。

S405、处理器响应于第一触摸操作和第二触摸操作，确定语音处理时间窗内接收到的语音指令的待操作对象在触摸屏中的位置信息。

在语音处理时间窗内，处理器可以接收到一个或多个语音指令。

可选的，如果处理器接收到的某一语音指令不在语音处理时间窗内，则处理器可以丢弃该语音指令，或者将该语音指令置为无效。

可以理解的是，在语音处理时间窗内，处理器可以接收一个或多个语音指令，并执行该一个或多个语音指令。在一种实现方式中，一个语音指令无法跨越多个语音处理时间窗。

例如，第一语音处理时间窗的终点为第二语音处理时间窗的起点，当处理器在第一语音处理时间窗内接收到语音指令的一部分内容，在第二语音处理时间窗内接收到该语音指令的另一部分内容，这种情况下，处理器不执行该语音指令。

再例如，第一触点与第二触点对应的语音处理时间窗为第一语音处理时间窗，第一触点与第三触点对应的语音处理时间窗为第三语音处理时间窗。这里，第一语音处理时间窗和第三语音处理时间窗不同时存在，或者，第一语音处理时间窗的终点为第三语音处理时间窗的起点，或者，第一语音处理时间窗的起点为第三语音处理时间窗的终点。当处理器在第一语音处理时间窗内接收到语音指令的一部分内容，在第三语音处理时间窗内接收到该语音指令的另一部分内容，这种情况下，处理器不执行该语音指令。

具体的，处理器可以通过下述的方式一或方式二确定语音指令的待操作对象在触摸屏中的位置信息。这里，待操作对象可以是语音指令中包含的对象，也可是语音指令中指示的待创建的对象。

方式一、处理器根据第一触点的位置信息和第二触点的位置信息，确定待操作区域，并根据该待操作区域，确定语音指令的待操作对象在触摸屏中的位置信息。其中，待操作对象包含于待操作区域。

其中，待操作对象可以完全包含在待操作区域中，也可以部分包含在待操作区域中。本申请实施例以待操作对象完全包含于待操作区域中为例进行说明。

示例性的，待操作对象可以为上述语音指令“选中文本”中的文本对象，也可以为上述语音指令“加粗文本颜色”中的待加粗的文本对象，也可以为上述语音指令“删除图片”中的图片对象，还可以为上述语音指令“创建3行2列的表格”中的表格对象。

可选的，处理器可以根据第一触点的位置信息和第二触点的位置信息，以第一触点和第二触点之间的连线为半径创建圆，或者，以第一触点和第二触点之间的连线为直径创建圆，得到圆形的待操作区域。

示例性的，结合图5，参考图7，图7示出了以第一触点和第二触点之间的连线为直径创建圆，得到的圆形的待操作区域70。

可选的，处理器可以根据第一触点的位置信息和第二触点的位置信息，以第一触点和第二触点之间的连线为对角线，得到矩形或正多边形的待操作区域。或者，处理器可以根据第一触点的位置信息和第二触点的位置信息，以第一触点和第二触点之间的连线为边长，得到正多边形或菱形的待操作区域。这里，正多边形或菱形的待操作区域，和第一触点及第二触点连线的相对位置，以及菱形的内角角度，均可以由处理器根据预设规则指定。本申请实施例对此不作限定。

示例性的，结合图5，参考图8，图8示出了以第一触点和第二触点之间的连线为对角线，得到的矩形的待操作区域80。

可以理解的是，上述根据第一触点的位置信息和第二触点的位置信息，确定待操作区域的方式仅为示例性说明，并不构成对本申请实施例保护范围的限定。

可选的，处理器还可以根据确定出的待操作区域，指示显示屏显示该待操作区域。

可选的，显示屏可以以边框的形式显示待操作区域。待操作区域的边框可以是如图7、图8所示的黑色虚线框，也可以是其他颜色的虚线框，还可以是黑色实线框或其他颜色的实线框。本申请实施例对此不作限定。

可选的，显示屏也可以通过改变待操作区域的背景颜色来显示待操作区域。

当然，显示屏还可以通过任意能够将待操作区域与显示屏上当前显示的背景区分开的方式，显示待操作区域。本申请实施例对此不作限定。

方式二、处理器根据第一触点的位置信息和第二触点的位置信息，确定第一端点的位置信息和第二端点的位置信息，并根据确定出的第一端点的位置信息和第二端点的位置信息，确定语音指令的待操作对象在触摸屏中的位置信息。

其中，第一端点和第二端点均包含于待操作对象，或者，通过第一端点和第二端点，可以构建待操作对象。对于待操作对象而言，第一端点和第二端点的属性可以相同，也可以不同。示例性的，语音指令为“创建圆”，若第一端点和第二端点均为待操作对象“圆”的圆周上的点，这时，第一端点和第二端点均包含于待操作对象，且属性相同；若第一端点为待操作对象“圆”的圆心，第二端点为待操作对象“圆”的圆周上一点，这时，处理器可以通过第一端点和第二端点构建待操作对象“圆”，且对于该“圆”而言，第一端点和第二端点属性不同。

具体的，处理器可以将第一触点和第二触点，分别作为第一端点和第二端点，从而确定出第一端点的位置信息和第二端点的位置信息。例如，处理器将第一触点作为第一端点，将第二触点作为第二端点。这时，第一端点的位置信息为第一触点的位置信息，第二端点的位置信息为第二触点的位置信息。

处理器也可以根据预设规则，以及第一触点的位置信息和第二触点的位置信息，确定第一端点的位置信息和第二端点的位置信息。该预设规则可以是第一触摸操作和第二触摸操作的开始触摸时间的先后顺序，也可以是第一触点和第二触点、以及第一端点和第二端点之间存在预设距离。当然，该预设规则还可以是其他规则，本申请实施例对此不作限定。

示例性的，若第一触摸操作先于第二触摸操作，则处理器将第一触点作为第一端点，将第二触点作为第二端点。这时，第一端点的位置信息为第一触点的位置信息，第二端点的位置信息为第二触点的位置信息。当然，若第一触摸操作先于第二触摸操作，处理器也可以将第一触点作为第二端点，将第二触点作为第一端点。这时，第一端点的位置信息为第二触点的位置信息，第二端点的位置信息为第一触点的位置信息。

S406、处理器根据语音指令的待操作对象在触摸屏中的位置信息执行该语音指令。

以下对处理器执行不同语音指令的场景进行描述。

场景一

处理器在语音处理时间窗内接收到的语音指令包括：选中待操作对象、删除待操作对象、修改待操作对象的属性信息或新建待操作对象中的任意一种。

处理器根据上述语音指令，处理器在S405中方式一确定的待操作区域中，执行语音指令。

具体的，下面分别对处理器执行上述语音指令的过程进行描述。

1)、若上述语音指令用于选中待操作对象时，则处理器在待操作区域中选中该待操作对象，并指示显示屏显示选中结果。

可选的，在显示屏上显示选中结果，可以通过包围待操作对象的边框来显示选中结果，也可以通过改变待操作对象的背景颜色来显示中选结果，本申请对此不作限定。

示例性的，结合图8，参考图9。若上述语音指令为“选中香蕉图标”，则处理器根据该语音指令，选中待操作区域80中的香蕉图标，并指示显示屏50以方形边框90显示选中结果。

2)、若上述语音指令用于指示删除待操作对象时，则处理器在待操作区域中删除该待操作对象。并指示显示屏显示删除结果。

示例性的，结合图9，若上述语音指令为“删除苹果图标”，则处理器根据该语音指令，删除待操作区域80中的苹果图标，并指示显示屏显示删除结果。

3)、若上述语音指令用于指示新建待操作对象时，则处理器在待操作区域中新建指定的对象，并指示显示屏显示新建的对象。

示例性的，结合图9，若上述语音指令为“新建一个3行2列的表格”，则处理器根据该语音指令，在待操作区域80中新建一个3行2列的表格。其中，表格的行宽和行高可以是系统的预设规则指定的，也可以是由用户设置的，本申请实施例对此不作具体限定。这里，若新建表格的行高和行宽是用户设置的，具体的，处理器可以通过扬声器等语音外放设备询问用户需要的行高和行宽，然后，用户通过麦克风输入语音，以应答处理器。进一步的，处理器根据用户的指示，新建表格。然后，处理器指示显示屏显示新建的表格。

4)、若上述语音指令用于指示修改待操作对象的属性信息时，则处理器在待操作区域中修改该待操作对象的属性信息，以及指示显示屏显示属性信息修改后的待操作对象。

示例性的，结合图9，若上述语音指令为“加粗文本”，则处理器根据该语音指令，将待操作区域80中的文本“1000克”进行加粗处理，并指示显示屏显示加粗后的文本。

当然，上面描述的语音指令，仅为示例性说明人机交互装置在待操作区域中所执行的语音指令，并不构成对本申请实施例保护范围的限定。

场景二

处理器在语音处理时间窗内接收到的语音指令包括创建对象，该对象可以通过两点确定，并且，该对象在这两点上的属性是相同的。例如不带箭头的直线、带双向箭头的直线、线段、不带箭头的折线、带双向箭头的折线、曲线、圆形、多边形等对象。这里的折线可以是直角折线。这里的圆形为将已知线段作为直径所创建的圆形。种类的多边形可以包括菱形或正多边形等。

根据上述语音指令，处理器根据第一端点的位置信息和第二端点的位置信息，执行该语音指令。本申请实施例在下面描述中，以第一端点为第一触点，第二端点为第二触点为例进行说明。

具体的，下面结合图5，分别对处理器执行上述语音指令的过程进行描述。

1)、若上述语音指令为“创建直线”，则处理器连接第一触点A和第二触点B，得到一条直线，并指示显示屏显示该直线。

2)、若上述语音指令为“创建带双向箭头的直线”或“创建带双向箭头的折线”，则处理器以第一触点A和第二触点B为两个端点，创建带双向箭头的直线或折线，并指示显示屏显示该带双向箭头的直线或折线。

3)、若上述语音指令为“创建线段”，则处理器以第一触点A为一个端点，以第二触点B为另一个端点，创建线段，并指示显示屏显示该线段。

4)、若上述语音指令为“创建折线”，则处理器以第一触点A为一个端点，以第二触点B为另一个端点，创建折线，并指示显示屏显示该折线。其中，折线的具体形状，可以是处理器的预设规则指定的，本申请实施例对此不作限定。

5)、若上述语音指令为“创建曲线”，则处理器以第一触点A为一个端点，以第二触点B为另一个端点，创建曲线，并指示显示屏显示该曲线。其中，曲线的曲率以及弯曲的形状，可以是处理器的预设规则指定的，本申请实施例对此不作限定。

6)、若上述语音指令为“以直径创建圆”，则处理器以第一触点A和第二触点B之间的连线为直径创建圆，并指示显示屏显示该圆。

7)、若上述语音指令为“创建菱形”，则处理器以第一触点A和第二触点B的连线为菱形的边长，创建菱形，并指示显示屏显示该菱形。第一触点A和第二触点B的连线与该菱形的相对位置、以及菱形的内角度数，可以是处理器的预设规则指定的，本申请实施例对此不作限定。或者，处理器以第一触点A和第二触点B的连线为菱形的一条对角线，创建菱形，并指示显示屏显示该菱形。这时，菱形的另一条对角线的长度可以是处理器的预设规则指定的，本申请实施例对此不作限定。

示例性的，参考图10，若上述语音指令为“以对角线创建菱形”，且处理器的预设规则为，未知对角线长度为已知对角线长度的1/2。如图10所示，处理器根据接收到的语音指令，创建一个以触点A和触点B的连线AB为一条对角线，且另一条对角线为(AB)/2的菱形101，并在显示屏100上显示菱形101。

8)、若上述语音指令为“创建正五边形”，则处理器以第一触点A和第二触点B 的连线为正五边形的对角线，创建该正五边形，并指示显示屏显示该五边形。或者，处理器以第一触点A和第二触点B的连线为正五边形的边长，创建该正五边形，并指示显示屏显示该五边形。第一触点A和第二触点B的连线与该正五边形的相对位置，可以是处理器的预设规则指定的，本申请实施例对此不作限定。

场景三

处理器在语音处理时间窗内接收到的语音指令为创建对象，该对象可以通过两点确定，并且，该对象在这两点上的属性不同。例如射线、带单向箭头的线或圆形等对象。

由于上述对象在两个点上的属性不同，因此，处理器可以基于第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，创建该对象(例如，创建圆或带单向箭头的线)。当然，本申请实施例并不限定于此。

当创建圆时，该圆的圆心的位置可以是基于第一触摸操作的触点的位置确定的，该圆的圆周中的点的位置可以是基于第二触摸操作的触点的位置确定的。当创建带单向箭头的线时，该线中箭头指向的端点的位置可以是基于第一触摸操作的触点的位置确定的，该线中非箭头指向的端点的位置可以是基于第二触摸操作的触点的位置确定的。这里，第一触摸操作的开始触摸时间先于或后于第二触摸操作。

因此，根据上述语音指令，处理器根据第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，确定第一端点的位置信息和第二端点的位置信息，并执行该语音指令。本申请实施例在下面描述中，以第一触摸操作先于第二触摸操作，且处理器将第一触点作为第一端点，将第二触点作为第二端点为例进行说明。

1)、若上述语音指令为“创建射线”，则处理器可以以第一端点为该射线的端点，创建经过第二端点的射线，并指示显示屏显示该射线。当然，该射线的端点也可以是第二端点，这时，该射线还经过第一端点。

2)、若上述语音指令为“创建带单向箭头的线”，则处理器可以以第一端点为该带单向箭头的线的箭头顶点，并且，第二端点为该带单向箭头的线远离箭头一侧的端点，创建带单向箭头的线，并指示显示屏显示该带单向箭头的线。当然，该带单向箭头的线的箭头顶点也可以是第二端点，这时，第一端点为该带单向箭头的线远离箭头一侧的端点。

3)、若上述语音指令为“以半径创建圆”，则处理器可以以第一端点和第二端点的连线为半径创建圆，并指示显示屏显示该圆。其中，若处理器以第一端点为圆心创建圆，则第二端点为圆周上一点。若处理器以第二端点为圆心创建圆，则第一端点为该圆形圆周上一点。

示例性的，参考图11。若处理器在语音监听窗口接收到的语音指令为“以半径创建圆”。此时，如图11所示，人机交互装置确定触点A为第一端点，确定触点B为第二端点。处理器根据该语音指令，以第一端点和第二端点的连线为半径，且以第二端点为圆心创建圆，得到圆111，并指示显示屏110显示圆111。这时，第一端点为圆 111圆周上的一点。

下面对处理器跟踪触点的过程进行描述。

参考图12，图12中的(a)示出了处理器在当前帧的上一帧接收到的第一触点(标记为触点A)和第二触点(标记为触点B)的位置信息。其中，A的坐标为(x _a，y _a)，B的坐标为(x _b，y _b)。并且，处理器为触点A分配IDa，为触点B分配IDb。图12中的(b)示出了处理器在当前帧接收到的触点C。其中，C的坐标为(x _c，y _c)。

这里，当前帧的上一帧为处理器在当前时刻的上一时刻，或在当前周期的上一个周期内接收到的帧。当前帧为处理器在当前时刻，或当前周期接收到的帧。

具体的，处理器跟踪触点的过程，可以包括为当前帧中的触点分配ID的过程，以及包括根据当前帧中触点的ID确定当前帧的上一帧中的触点失踪的过程。

参考图13，图13示出了处理器为当前帧中的触点分配ID的流程示意图，该流程包括：

S131、处理器根据触点A、触点B以及触点C的位置信息，确定触点A和触点C之间的距离D1，以及确定触点B和触点C之间的距离D2。

具体的，处理器根据上一帧中触点A、触点B的位置信息，以及当前帧中触点C的位置信息，确定触点A和触点C之间的距离D1，并确定触点B和触点C之间的距离D2。

S132、处理器判断D1是否小于或等于门限值。

这里，门限值可以为处理器预先设置的，门限值的大小可以根据实际情况设定，本申请实施例对此不作具体限定。

若D1小于或等于门限值，则执行S133。若D1大于门限值，则执行S134。

在实际应用中，可能存在触摸误操作，例如手掌碰触触摸屏，或者，手指或触摸笔在触摸触摸屏的过程中滑动。这时，当前帧中的触点和当前帧的上一帧的中的触点之间的距离通常较小。本申请实施例通过设置门限值，将此类当前帧中误操作生成的触点，与当前帧的上一帧中距离小于或等于门限值的触点，确定为同一个触点坐标跟踪序列，该触点坐标跟踪序列共用一个ID，且对应一个触摸操作。这样，有助于降低“根据触摸操作确定的语音处理时间窗”因误操作而而导致意外开始或结束的发生。

S133、处理器将触点A的ID分配给触点C。

处理器将触点A的ID分配给触点C，即触点C的ID为IDa。这时，触点A和触点C属于同一个触点坐标跟踪序列，该触点坐标跟踪序列的ID为IDa。该情况下，触点C作为第一触点。

执行S133之后，本次为当前帧中的触点分配ID流程结束。

S134、处理器判断D2是否小于或等于门限值。

若D2小于或等于门限值，则执行S135。若D2大于门限值，则执行S136。

S135、处理器将触点B的ID分配给触点C。

处理器将触点B的ID分配给触点C，即触点C的ID为IDb。这时，触点B和触点C属于同一个触点坐标跟踪序列，该触点坐标跟踪序列的ID为IDb。该情况下，触点C作为第二触点。

执行S135之后，本次为当前帧中的触点分配ID流程结束。

S136、处理器为触点C新分配ID。

处理器为触点C新分配ID，例如IDc。这时，表明触点C为当前新出现的触点。该情况下，触点C既不是第一触点，也不是第二触点。例如，触点C可以是误操作产生的触点，或者，触点C出现的时刻可以是下一个处理时间窗的起点等。

示例性的，处理器确定当前帧中存在触点A(即第一触点)和触点B(第二触点)，该情况下，可以认为用户在通过手指触摸触摸屏时，手掌意外接触触摸屏而导致产生了新的触点C，此时，触点C是用户的误操作产生的触点，

示例性的，处理器确定当前帧中不存在触点A(即第一触点)或触点B(第二触点)。这时，新产生的触点C将与当前帧中存在的触点B或触点A产生新的重叠的触摸时长，即触点C的开始触摸时刻可以是下一个语音处理时间窗的起点。

通过S131-S136描述的触点跟踪方法，处理器可以对连续多帧的触点跟踪，得到多个触点的坐标跟踪序列。一个触点坐标跟踪序列共用一个ID，一个触点ID对应一个触摸动作。因此，一个触点跟踪序列可以描述一个触摸操作在触摸屏上的滑动轨迹。

进一步的，处理器根据当前帧中触点的ID，确定当前帧的上一帧中的触点是否失踪。参考图14，该确定当前帧的上一帧中的触点是否失踪的过程具体包括：

S141、处理器确定当前帧中的触点的ID。

具体的，处理器可以通过上述S131-S136确定当前帧中的触点的ID，此处不再详细赘述。

S142、处理器判断当前帧的上一帧中的触点的ID值中，是否存在与当前帧中的触点的ID值不同的ID值。若存在，则执行S143；若不存在，则执行S144。

处理器将上一帧中的触点的ID值与当前帧中触点的ID值一一比对，用以判断上一帧中的触点的ID值中，是否存在与当前帧中的触点的ID值不同的ID值。

示例性的，结合图12及图13，上一帧中触点的ID包括IDa和IDb，并且，处理器为当前帧中的触点C分配了IDa。这样的话，处理器可以确定当前帧中的触点的ID值不包括上一帧中的IDb。也就是说，处理器确定上一帧中的触点的ID值中，存在与当前帧中的触点的ID值不同的ID值，即IDb。

S143、处理器确定该ID值对应的触点失踪。

处理器确定当前帧的上一帧中的触点的ID值中，与当前帧中的触点的ID值不同的ID值所对应的触点失踪。此时，表明该触点对应的触摸操作的触摸时长结束，即与该触摸操作对应的语音处理时间窗结束。

S144、处理器继续执行监听语音指令，并且继续跟踪当其帧的下一帧的触点。

当其帧的上一帧中的触点的ID值中，不存在与当前帧中的触点的ID值不同的ID值，也就是说，当其帧的上一帧中的触点ID依旧在当前帧中出现。这时，说明当其帧的上一帧中的触点均没有失踪，即当其帧的上一帧中的触点所对应的触摸操作的触摸时长并未结束。这种情况下，处理器根据触摸操作，继续执行监听语音指令。并且，处理器继续跟踪当其帧的下一帧的触点。

此外，本申请实施例提供的人机交互方法还能对多触点进行跟踪。若当前帧中的包括m个触点，在该m个触点中，处理器确定n个触点与上一帧中的一个触点(例如触点A)之间的距离均小于门限值。这里，m和n分别为大于0的正整数，且m大于或等于n。这时，处理器在当前帧中的n个触点中，确定出与当前帧的上一帧中的触点A距离最近的一个触点(例如触点C)。处理器将触点A的ID值分配给触点C，这时，触点A和触点C属于同一个触点坐标跟踪序列，该触点坐标跟踪序列共用一个ID。然后，处理器将当前帧里n个触点中，除触点A之外的n-1个触点丢弃，或将其置为无效。

可以理解的是，通过上述S131-S136，以及S141-S144描述的触点跟踪流程，处理器可以确定语音处理时间窗的起点和终点，并在语音处理时间窗内，执行监听语音指令。

具体的，参考图15，图15示出了触点跟踪和语音处理时间窗的关系。如图15所示，本申请实施例将处理器不执行监听语音指令的状态称作空闲状态，将处理器执行监听语音指令的状态称作监听状态。图15中的箭头表示处理器实时跟踪触点。

如图15所示，在第一时刻，处理器根据触摸屏发送的当前帧，确定当前帧中至少存在两个触点(例如第一触点和第二触点)。处理器为第一触点分配ID1，为第二触点分配ID2。这时，处理器确认第一时刻为语音处理时间窗的起点，并开始执行监听语音指令。

在第二时刻，处理器根据触摸屏发送的当前帧，确定当前帧中的触点所对应的ID值中不存在ID1或ID2。若不存在ID1，则处理器确定ID1对应的第一触点失踪，这时，表明第一触点对应的触摸操作的触摸时长结束。若不存在ID2，则处理器确定ID2对应的第二触点失踪，这时，表明第二触点对应的触摸操作的时长结束。因此，处理器确定第二时刻为语音处理时间窗的终点，并结束执行监听语音指令。

这时，处理器回到空闲态，并继续跟踪是否有新的触点出现，以便确定下个一语音处理时间窗的起点。

在实际应用中，可能存在触摸误操作，例如手掌碰触触摸屏，或者，手指或触摸笔在触摸触摸屏的过程中滑动。通过本申请实施例提供的触点跟踪方法，不仅能确定语音处理时间窗的起点和终点，还能避免触摸误操作所造成的语音处理时间窗意外开始或结束的问题。

综上，本申请实施例提供一种人机交互方法中，一方面，基于多点触控的重叠触摸时长，确定待执行的语音指令，这样，无需频繁使用唤醒词来唤醒系统，因此有助于提高用户在人机交互过程中的体验。另一方面，基于多点触控，确定该语音指令的待操作对象在触摸屏中的位置信息。这样，在大屏场景中，可以缓解在大屏上长距离滑动的问题，从而有助于提高用户在人机交互过程中的体验。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对人机交互系统进行划分。参考图1，图1 示出的人机交互系统可以用于执行人机交互方法，例如用于执行图4、图13和图14所示的方法。触摸屏13，用于接收第一触摸操作和第二触摸操作，该第一触摸操作和该第二触摸操作的触摸时长有重叠。处理器11，用于接收语音指令，该语音指令是在第一触摸操作和第二触摸操作的重叠的触摸时长内接收到的语音指令。处理器11，还用于响应第一触摸操作和所述第二触摸操作，确定语音指令的待操作对象在触摸屏13中的位置信息。处理器11，还用于基于待操作对象在触摸屏13中的位置信息，执行语音指令。例如，结合图4，触摸屏13可以用于执行S401和S402，处理器11可以用于执行S403、S405以及S406。

可选的，处理器11，具体用于确定语音指令的待操作区域；待操作区域是触摸屏13中的区域，待操作对象包含于待操作区域。处理器11，还用于在待操作区域中执行语音指令。例如，结合图4，处理器11可以用于执行S405。

可选的，处理器11具体用于：当语音指令用于指示选中对象时，选中待操作区域中的对象；或者，当语音指令用于指示将对象的属性信息修改为目标属性信息时，将待操作区域中的对象的属性信息修改为所述目标属性信息；或者，当语音指令用于指示删除对象时，删除待操作区域中的对象；或者，当语音指令用于指示创建对象时，在待操作区域中创建对象。例如，结合图4，处理器11可以用于执行S406。

可选的，显示屏132，用于显示待操作区域。

可选的，上述语音指令用于指示创建所述待操作对象，该待操作对象包括第一端点和第二端点。处理器11，还用于基于第一触摸操作的触点的位置信息，确定第一端点在触摸屏13中的位置信息；以及基于第二触摸操作的触点的位置信息，确定第二端点在触摸屏13中的位置信息。例如，结合图4，处理器11可以用于执行S405。

可选的，待操作对象包括以下至少一种：直线、线段、折线、曲线或多边形。

可选的，处理器11，具体用于基于待操作对象在触摸屏13中的位置信息，以及第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，执行语音指令。例如，结合图4，处理器11可以用于执行S406。

可选的，处理器11，具体用于当语音指令用于指示创建圆时，基于第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，创建该圆。其中，该圆的圆心的位置是基于第一触摸操作的触点的位置确定的，该圆的圆周中的点的位置是基于第二触摸操作的触点的位置确定的。第一触摸操作的开始触摸时间先于或后于第二触摸操作。例如，结合图4，处理器11可以用于执行S406。

可选的，处理器11，具体用于当语音指令用于指示创建带单向箭头的线时，基于第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，创建该带单向箭头的线。其中，该线中箭头指向的端点的位置是基于第一触摸操作的触点的位置确定的，该线中非箭头指向的端点的位置是基于第二触摸操作的触点的位置确定的。第一触摸操作的开始触摸时间先于或后于第二触摸操作。例如，结合图4，处理器11可以用于执行S406。

可选的，语音采集器14可以用于采集语音指令。

关于上述可选方式的具体描述参见前述的方法实施例，此处不再赘述。此外，上述提供的任一种人机交互系统的解释以及有益效果的描述均可参考上述对应的方法实施例，不再赘述。

另外，本申请实施例可以根据上述方法示例对上述处理器，或者包含处理器的计算机设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

如图16所示，图16示出了本申请实施例提供的一种处理器或计算机设备的结构示意图。处理器或计算机设备用于执行上述人机交互方法，例如用于执行图4、图13、图14和图15所示的方法。其中，处理器或计算机设备可以包括获取单元161、接收单元162、确定单元163以及执行单元164。

获取单元161，用于获取第一触点的位置信息和第二触点的位置信息。这里，第一触点是基于第一触摸操作的触点，第二触点是基于第二触摸操作的触点，第一触摸操作和第二触摸操作的触摸时长有重叠。接收单元162，用于接收语音指令，该语音指令是在第一触摸操作和第二触摸操作的重叠的触摸时长内接收到的语音指令。确定单元163，用于响应获取单元161的获取操作，确定语音指令的待操作对象的位置信息。执行单元164，用于基于确定单元163确定的待操作对象的位置信息，执行语音指令。例如，结合图4，获取单元161可以用于执行S403，确定单元163可以用于执行S405，执行单元164可以用于执行S406。

可选的，确定单元163，具体用于确定语音指令的待操作区域，待操作对象包含于待操作区域。执行单元164，具体用于在确定单元163确定出的待操作区域中执行语音指令。例如，结合图4，确定单元163可以用于执行S405。

可选的，执行单元164具体用于，当语音指令用于指示选中对象时，选中待操作区域中的对象；或者，当语音指令用于指示将对象的属性信息修改为目标属性信息时，将待操作区域中的对象的属性信息修改为目标属性信息；或者，当语音指令用于指示删除对象时，删除待操作区域中的对象；或者，当语音指令用于指示创建对象时，在待操作区域中创建对象。例如，结合图4，执行单元164可以用于执行S406。

可选的，语音指令用于指示创建待操作对象，该待操作对象包括第一端点和第二端点。确定单元163，具体用于基于第一触点的位置信息，确定第一端点的位置信息；基于第二触点的位置信息，确定第二端点的位置信息。例如，结合图4，确定单元163可以用于执行S405。

可选的，执行单元164，具体用于基于待操作对象的位置信息，以及第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，执行语音指令。例如，结合图4，执行单元164可以用于执行S406。

可选的，执行单元164，具体用于当语音指令用于指示创建圆时，基于第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，创建圆。其中，该圆的圆心的位置是基于第一触摸操作的触点的位置确定的，该圆的圆周中的点的位置是基于第二触摸操作的触点的位置确定的。第一触摸操作的开始触摸时间先于或后于第二触摸操作。例如，结合图4，执行单元164可以用于执行S406。

可选的，执行单元164，具体用于当语音指令用于指示创建带单向箭头的线时，基于第一触摸操作与第二触摸操作的开始触摸时间的先后顺序，创建带单向箭头的线。其中，该线中箭头指向的端点的位置是基于第一触摸操作的触点的位置确定的，该线中非箭头指向的端点的位置是基于第二触摸操作的触点的位置确定的。第一触摸操作的开始触摸时间先于或后于第二触摸操作。例如，结合图4，执行单元164可以用于执行S406。

当然，本申请实施例提供的计算机设备包括但不限于上述单元，例如该计算机设备还可以包括存储单元165。存储单元165可以用于存储该计算机设备的程序代码。

作为一个示例，结合图1，计算机设备中的获取单元161、接收单元162、确定单元163以及执行单元164实现的功能与图1中的处理器11的功能相同。存储单元165实现的功能与图1中的存储器12的功能相同。

关于上述可选方式的具体描述参见前述的方法实施例，此处不再赘述。此外，上述提供的任一种处理器或计算机设备的解释以及有益效果的描述均可参考上述对应的方法实施例，不再赘述。

本申请实施例还提供一种芯片系统，如图17所示，该芯片系统包括至少一个处理器171和至少一个接口电路172。处理器171和接口电路172可通过线路互联。例如，接口电路172可用于从其它装置(例如人机交互系统的存储器，或者计算机设备的存储器)接收信号。又例如，接口电路172可用于向其它装置(例如处理器171)发送信号。示例性的，接口电路172可读取存储器中存储的指令，并将该指令发送给处理器171。当所述指令被处理器171执行时，可使得人机交互系统或者计算机设备执行上述实施例中的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

本申请另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在人机交互系统或者计算机设备上运行时，该人机交互系统或者计算机设备执行上述方法实施例所示的方法流程中人机交互系统或者计算机设备执行的各个步骤。

在一些实施例中，所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。

图18示意性地示出本申请实施例提供的计算机程序产品的概念性局部视图，所述计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。

在一个实施例中，计算机程序产品是使用信号承载介质180来提供的。所述信号承载介质180可以包括一个或多个程序指令，其当被一个或多个处理器运行时可以提供以上针对图4描述的功能或者部分功能。因此，例如，参考图4中S401～S406的一个或多个特征可以由与信号承载介质180相关联的一个或多个指令来承担。此外，图18中的程序指令也描述示例指令。

在一些示例中，信号承载介质180可以包含计算机可读介质181，诸如但不限于，硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等等。

在一些实施方式中，信号承载介质180可以包含计算机可记录介质182，诸如但不限于，存储器、读/写(R/W)CD、R/W DVD、等等。

在一些实施方式中，信号承载介质180可以包含通信介质183，诸如但不限于，数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等)。

信号承载介质180可以由无线形式的通信介质183(例如，遵守IEEE 802.11标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令可以是，例如，计算机可执行指令或者逻辑实施指令。

在一些示例中，诸如针对图4描述的人机交互系统好或者计算机设备可以被配置为，响应于通过计算机可读介质181、计算机可记录介质182、和/或通信介质183中的一个或多个程序指令，提供各种操作、功能、或者动作。

应该理解，这里描述的布置仅仅是用于示例的目的。因而，本领域技术人员将理解，其它布置和其它元素(例如，机器、接口、功能、顺序、和功能组等等)能够被取而代之地使用，并且一些元素可以根据所期望的结果而一并省略。另外，所描述的元素中的许多是可以被实现为离散的或者分布式的组件的、或者以任何适当的组合和位置来结合其它组件实施的功能实体。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上所述，仅为本申请的具体实施方式。熟悉本技术领域的技术人员根据本申请提供的具体实施方式，可想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims

一种人机交互方法，其特征在于，应用于人机交互系统，所述人机交互系统包括触摸屏，所述方法包括：

接收第一触摸操作和第二触摸操作，所述第一触摸操作和所述第二触摸操作的触摸时长有重叠；

接收语音指令，所述语音指令是在所述第一触摸操作和所述第二触摸操作的重叠的触摸时长内接收到的语音指令；

响应所述第一触摸操作和所述第二触摸操作，确定所述语音指令的待操作对象在所述触摸屏中的位置信息；

基于所述待操作对象在所述触摸屏中的位置信息，执行所述语音指令。
根据权利要求1所述的方法，其特征在于，所述确定所述语音指令的待操作对象在所述触摸屏中的位置信息，包括：

确定所述语音指令的待操作区域；所述待操作区域是所述触摸屏中的区域，所述待操作对象包含于所述待操作区域；

所述基于所述待操作对象在所述触摸屏中的位置信息，执行所述语音指令，包括：

在所述待操作区域中执行所述语音指令。
根据权利要求2所述的方法，其特征在于，所述在所述待操作区域中执行所述语音指令，包括：

当所述语音指令用于指示选中对象时，选中所述待操作区域中的对象；

或者，当所述语音指令用于指示将对象的属性信息修改为目标属性信息时，将所述待操作区域中的对象的属性信息修改为所述目标属性信息；

或者，当所述语音指令用于指示删除对象时，删除所述待操作区域中的对象；

或者，当所述语音指令用于指示创建对象时，在所述待操作区域中创建对象。
根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

显示所述待操作区域。
根据权利要求1所述的方法，其特征在于，所述语音指令用于指示创建所述待操作对象，所述待操作对象包括第一端点和第二端点；所述确定所述语音指令的待操作对象在所述触摸屏中的位置信息，包括：

基于所述第一触摸操作的触点的位置信息，确定所述第一端点在所述触摸屏中的位置信息；

基于所述第二触摸操作的触点的位置信息，确定所述第二端点在所述触摸屏中的位置信息。
根据权利要求5所述的方法，其特征在于，所述待操作对象包括以下至少一种：直线、线段、折线、曲线或多边形。
根据权利要求1所述的方法，其特征在于，所述基于所述待操作对象在所述触摸屏中的位置信息，执行所述语音指令，包括：

基于所述待操作对象在所述触摸屏中的位置信息，以及所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，执行所述语音指令。
根据权利要求7所述的方法，其特征在于，所述基于所述待操作对象在所述触摸屏中的位置信息，以及所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，执行所述语音指令，包括：

当所述语音指令用于指示创建圆时，基于所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，创建所述圆；

其中，所述圆的圆心的位置是基于所述第一触摸操作的触点的位置确定的，所述圆的圆周中的点的位置是基于所述第二触摸操作的触点的位置确定的；所述第一触摸操作的开始触摸时间先于或后于所述第二触摸操作。
根据权利要求7所述的方法，其特征在于，所述基于所述待操作对象在所述触摸屏中的位置信息，以及所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，执行所述语音指令，包括：

当所述语音指令用于指示创建带单向箭头的线时，基于所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，创建所述带单向箭头的线；

其中，所述线中箭头指向的端点的位置是基于所述第一触摸操作的触点的位置确定的，所述线中非箭头指向的端点的位置是基于所述第二触摸操作的触点的位置确定的；所述第一触摸操作的开始触摸时间先于或后于所述第二触摸操作。
一种人机交互方法，其特征在于，应用于计算机设备，所述方法包括：

获取第一触点的位置信息和第二触点的位置信息；所述第一触点是基于第一触摸操作的触点，所述第二触点是基于第二触摸操作的触点，所述第一触摸操作和所述第二触摸操作的触摸时长有重叠；

接收语音指令，所述语音指令是在所述第一触摸操作和所述第二触摸操作的重叠的触摸时长内接收到的语音指令；

响应所述获取操作，确定所述语音指令的待操作对象的位置信息；

基于所述待操作对象的位置信息，执行所述语音指令。
根据权利要求10所述的方法，其特征在于，所述确定所述语音指令的待操作对象的位置信息，包括：

确定所述语音指令的待操作区域，所述待操作对象包含于所述待操作区域；

所述基于所述待操作对象的位置信息，执行所述语音指令，包括：

在所述待操作区域中执行所述语音指令。
根据权利要求11所述的方法，其特征在于，所述在所述待操作区域中执行所述语音指令，包括：

当所述语音指令用于指示选中对象时，选中所述待操作区域中的对象；

或者，当所述语音指令用于指示将对象的属性信息修改为目标属性信息时，将所述待操作区域中的对象的属性信息修改为所述目标属性信息；

或者，当所述语音指令用于指示删除对象时，删除所述待操作区域中的对象；

或者，当所述语音指令用于指示创建对象时，在所述待操作区域中创建对象。
根据权利要求10所述的方法，其特征在于，所述语音指令用于指示创建所述待操作对象，所述待操作对象包括第一端点和第二端点；所述确定所述语音指令的待操作对象的位置信息，包括：

基于所述第一触点的位置信息，确定所述第一端点的位置信息；

基于所述第二触点的位置信息，确定所述第二端点的位置信息。
根据权利要求10所述的方法，其特征在于，所述基于所述待操作对象的位置信息，执行所述语音指令，包括：

基于所述待操作对象的位置信息，以及所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，执行所述语音指令。
根据权利要求14所述的方法，其特征在于，所述基于所述待操作对象的位置信息，以及所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，执行所述语音指令，包括：

当所述语音指令用于指示创建圆时，基于所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，创建所述圆；

其中，所述圆的圆心的位置是基于所述第一触摸操作的触点的位置确定的，所述圆的圆周中的点的位置是基于所述第二触摸操作的触点的位置确定的；所述第一触摸操作的开始触摸时间先于或后于所述第二触摸操作。
根据权利要求14所述的方法，其特征在于，所述基于所述待操作对象的位置信息，以及所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，执行所述语音指令，包括：

当所述语音指令用于指示创建带单向箭头的线时，基于所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，创建所述带单向箭头的线；

其中，所述线中箭头指向的端点的位置是基于所述第一触摸操作的触点的位置确定的，所述线中非箭头指向的端点的位置是基于所述第二触摸操作的触点的位置确定的；所述第一触摸操作的开始触摸时间先于或后于所述第二触摸操作。
一种人机交互系统，其特征在于，所述人机交互系统包括触摸屏和处理器；

所述触摸屏，用于接收第一触摸操作和第二触摸操作，所述第一触摸操作和所述第二触摸操作的触摸时长有重叠；

所述处理器，用于接收语音指令，所述语音指令是在所述第一触摸操作和所述第二触摸操作的重叠的触摸时长内接收到的语音指令；

所述处理器，还用于响应所述第一触摸操作和所述第二触摸操作，确定所述语音指令的待操作对象在所述触摸屏中的位置信息；以及用于基于所述待操作对象在所述触摸屏中的位置信息，执行所述语音指令。
根据权利要求17所述的系统，其特征在于，

所述处理器，具体用于确定所述语音指令的待操作区域；所述待操作区域是所述触摸屏中的区域，所述待操作对象包含于所述待操作区域；以及用于在所述待操作区域中执行所述语音指令。
根据权利要求18所述的系统，其特征在于，所述处理器具体用于，

当所述语音指令用于指示选中对象时，选中所述待操作区域中的对象；

或者，当所述语音指令用于指示将对象的属性信息修改为目标属性信息时，将所述待操作区域中的对象的属性信息修改为所述目标属性信息；

或者，当所述语音指令用于指示删除对象时，删除所述待操作区域中的对象；

或者，当所述语音指令用于指示创建对象时，在所述待操作区域中创建对象。
根据权利要求18或19所述的系统，其特征在于，所述系统还包括显示屏；

所述显示屏，用于显示所述待操作区域。
根据权利要求17所述的系统，其特征在于，所述语音指令用于指示创建所述待操作对象，所述待操作对象包括第一端点和第二端点；

所述处理器，还用于基于所述第一触摸操作的触点的位置信息，确定所述第一端点在所述触摸屏中的位置信息；基于所述第二触摸操作的触点的位置信息，确定所述第二端点在所述触摸屏中的位置信息。
根据权利要求21所述的系统，其特征在于，所述待操作对象包括以下至少一种：直线、线段、折线、曲线或多边形。
根据权利要求17所述的系统，其特征在于，

所述处理器，具体用于基于所述待操作对象在所述触摸屏中的位置信息，以及所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，执行所述语音指令。
根据权利要求23所述的系统，其特征在于，

所述处理器，具体用于当所述语音指令用于指示创建圆时，基于所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，创建所述圆；

其中，所述圆的圆心的位置是基于所述第一触摸操作的触点的位置确定的，所述圆的圆周中的点的位置是基于所述第二触摸操作的触点的位置确定的；所述第一触摸操作的开始触摸时间先于或后于所述第二触摸操作。
根据权利要求23所述的系统，其特征在于，

所述处理器，具体用于当所述语音指令用于指示创建带单向箭头的线时，基于所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，创建所述带单向箭头的线；

其中，所述线中箭头指向的端点的位置是基于所述第一触摸操作的触点的位置确定的，所述线中非箭头指向的端点的位置是基于所述第二触摸操作的触点的位置确定的；所述第一触摸操作的开始触摸时间先于或后于所述第二触摸操作。
一种计算机设备，其特征在于，所述计算机设备包括：获取单元，接收单元，确定单元以及执行单元；

所述获取单元，用于获取第一触点的位置信息和第二触点的位置信息；所述第一触点是基于第一触摸操作的触点，所述第二触点是基于第二触摸操作的触点，所述第一触摸操作和所述第二触摸操作的触摸时长有重叠；

所述接收单元，用于接收语音指令，所述语音指令是在所述第一触摸操作和所述第二触摸操作的重叠的触摸时长内接收到的语音指令；

所述确定单元，用于响应所述获取单元的获取操作，确定所述语音指令的待操作对象的位置信息；

所述执行单元，用于基于所述确定单元确定的所述待操作对象的位置信息，执行所述语音指令。
根据权利要求26所述的计算机设备，其特征在于，

所述确定单元，具体用于确定所述语音指令的待操作区域，所述待操作对象包含于所述待操作区域；

所述执行单元，具体用于在所述确定单元确定出的所述待操作区域中执行所述语音指令。
根据权利要求27所述的计算机设备，其特征在于，所述执行单元具体用于，

当所述语音指令用于指示选中对象时，选中所述待操作区域中的对象；

或者，当所述语音指令用于指示将对象的属性信息修改为目标属性信息时，将所述待操作区域中的对象的属性信息修改为所述目标属性信息；

或者，当所述语音指令用于指示删除对象时，删除所述待操作区域中的对象；

或者，当所述语音指令用于指示创建对象时，在所述待操作区域中创建对象。
根据权利要求26所述的计算机设备，其特征在于，所述语音指令用于指示创建所述待操作对象，所述待操作对象包括第一端点和第二端点；

所述确定单元，具体用于基于所述第一触点的位置信息，确定所述第一端点的位置信息；基于所述第二触点的位置信息，确定所述第二端点的位置信息。
根据权利要求26所述的计算机设备，其特征在于，

所述执行单元，具体用于基于所述待操作对象的位置信息，以及所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，执行所述语音指令。
根据权利要求30所述的计算机设备，其特征在于，

所述执行单元，具体用于当所述语音指令用于指示创建圆时，基于所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，创建所述圆；

其中，所述圆的圆心的位置是基于所述第一触摸操作的触点的位置确定的，所述圆的圆周中的点的位置是基于所述第二触摸操作的触点的位置确定的；所述第一触摸操作的开始触摸时间先于或后于所述第二触摸操作。
根据权利要求30所述的计算机设备，其特征在于，

所述执行单元，具体用于当所述语音指令用于指示创建带单向箭头的线时，基于所述第一触摸操作与所述第二触摸操作的开始触摸时间的先后顺序，创建所述带单向箭头的线；

其中，所述线中箭头指向的端点的位置是基于所述第一触摸操作的触点的位置确定的，所述线中非箭头指向的端点的位置是基于所述第二触摸操作的触点的位置确定的；所述第一触摸操作的开始触摸时间先于或后于所述第二触摸操作。
一种计算机设备，其特征在于，包括：存储器和一个或多个处理器；所述存储器和所述处理器耦合；

所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述计算机设备执行时，使得所述计算机设备执行如权利要求10-16中任一项所述的人机交互方法。
一种芯片系统，其特征在于，所述芯片系统应用于人机交互系统；所述芯片系统包括一个或多个接口电路和一个或多个处理器；

所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述人机交互系统的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述人机交互系统执行如权利要求1-9中任一项所述的人机交互方法。
一种芯片系统，其特征在于，所述芯片系统应用于计算机设备；所述芯片系统包括一个或多个接口电路和一个或多个处理器；

所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述计算机设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述计算机设备执行如权利要求10-16中任一项所述的人机交互方法。
一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在人机交互系统上运行时，使得所述人机交互系统实现如权利要求1-9中任意一项所述的人机交互方法。
一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在计算机设备上运行时，使得所述计算机设备实现如权利要求10-16中任意一项所述的人机交互方法。