CN110413190A - 为触摸屏交互确定俯仰和偏航 - Google Patents

为触摸屏交互确定俯仰和偏航 Download PDF

Info

Publication number
CN110413190A
CN110413190A CN201910395818.0A CN201910395818A CN110413190A CN 110413190 A CN110413190 A CN 110413190A CN 201910395818 A CN201910395818 A CN 201910395818A CN 110413190 A CN110413190 A CN 110413190A
Authority
CN
China
Prior art keywords
image
yaw
touch
centroid
pitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910395818.0A
Other languages
English (en)
Other versions
CN110413190B (zh
Inventor
克里斯多佛·哈里森
朱莉娅·施华兹
罗伯特·博·肖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neat Coase Europe Co
Original Assignee
Neat Coase Europe Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neat Coase Europe Co filed Critical Neat Coase Europe Co
Publication of CN110413190A publication Critical patent/CN110413190A/zh
Application granted granted Critical
Publication of CN110413190B publication Critical patent/CN110413190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Multimedia (AREA)

Abstract

本申请涉及为触摸屏交互确定俯仰和偏航。一种用于确定长形界面对象在与触摸屏表面交互时的俯仰和偏航的方法和设备。接收一个触摸图像，并且这个触摸图像至少具有一个第一区域，该第一区域对应于该触摸屏的具有至少接近其定位的一个长形界面对象的一个区域。该长形界面对象具有相对于该触摸屏表面的一个俯仰和一个偏航。执行一个第一变换来获得该触摸图像的一个第一变换图像，并且执行一个第二变换来获得该触摸图像的一个第二变换图像。该第一变换不同于该第二变换。基于该第一变换图像和该第二变换图像两者为该长形界面对象确定该偏航。基于该第一变换图像和该第二变换图像中的至少一个来确定该俯仰。

Description

为触摸屏交互确定俯仰和偏航
本申请是申请日为2015年02月05日，申请号为201580000833.0，发明名称为“为触摸屏交互确定俯仰和偏航”的申请的分案申请。
相关申请的交叉引用
本申请要求于2014年2月12日提交给美国专利商标局(USPTO)的美国临时专利申请号61/939,069的权益，该申请通过引用结合在此如同在此完整阐述一样。
技术领域
本发明大体上涉及触摸屏设备和用于利用触摸屏的技术。更具体地说，本发明涉及用于分析从由一个触摸屏界面装置所接收的输入生成的图像数据的机构和方法。
背景
背景部分中所讨论的主题不应该仅仅由于其在背景部分中有所提及而被假定为现有技术。类似地，背景部分中所提及的问题或者与背景部分的主题相关联的问题不应被假定为先前已在现有技术中被认识到。背景部分的主题仅仅代表不同的方法，在其中和其自身也可能是发明。
触摸屏装置(此类发现于许多类型的平板电脑和智能手机中)的普及已迅速增加。触摸屏也被与更大的系统一起实现，如便携式计算机和台式计算机、交互式电视系统等。随着触摸屏的使用在各种应用中的增加，用于可靠地使用触摸屏的技术也已发展。
现代的触摸屏将X/Y坐标报告给操作系统、界面、以及各种应用程序。本发明的某些实施例包括以与现今报告X/Y位置类似的方式(例如，在一个触摸事件中)将俯仰和偏航提供给一个操作系统、界面或应用程序。
发明概述
下文呈现了本披露的简化概述以便提供本发明的某些实施方案的基本理解。这个概述不是本披露的广泛概要并且不标识本发明的关键/重要要素或描绘本发明的范围。该概述的唯一目的是以简化的形式呈现在此披露的一些概念作为之后呈现的更加详细说明的序言。
本发明的一些实施例可以包括一种用于确定长形界面对象在与触摸屏交互时的偏航的方法。该方法可以包括从一个触摸屏的一个传感器接收一个触摸图像，该触摸图像对应于该触摸屏的具有一个长形界面对象至少接近其定位的一个区域，其中，该长形界面对象具有相对于该触摸屏表面的一个俯仰和一个偏航。该方法还可以包括执行一个第一变换以便获得该触摸图像的一个第一变换图像，执行一个第二变换以便获得该触摸图像的一个第二变换图像，其中，该第一变换不同于该第二变换，并且基于该第一变换图像和该第二变换图像两者为该长形界面对象确定该偏航。
本发明的一些实施例可以包括一种系统，该系统包括一个用于感测一个触摸图像的一个触摸屏元件，该触摸图像对应于该触摸屏的具有一个长形界面对象至少接近其定位的一个区域，其中，该长形界面对象具有相对于该触摸屏的一个俯仰和一个偏航。该系统还包括一个处理器和一个存储器，其中，该处理器和存储器被配置成用于执行以下操作：执行一个第一变换以便获得该触摸图像的一个第一变换图像；执行一个第二变换以便获得该触摸图像的一个第二变换图像，其中，该第一变换不同于该第二变换；基于该第一变换图像和该第二变换图像两者为该长形界面对象确定偏航；并且基于该第一变换图像与该第二变换图像中的至少一个为该长形界面对象确定俯仰。
本发明的一些实施例可以包括一种确定由触摸屏响应于处于与该触摸屏的至少接近关系中的长形对象所生成的图像的俯仰和偏航的方法。该方法可以包括：生成所述图像；生成该图像的侵蚀和松弛变换并为这些对应的图像变换计算强度矩；计算这些对应的图像变换的质心以及针对该侵蚀变换的θ和特征值；从一个第一特征值得到俯仰；从θ得到一个偏航估值；计算出这两个质心之间的一个向量并使用该向量消除该偏航估值的多义性；并且采用所述俯仰和偏航来得到关于与所述触摸屏有关的所述长形对象的信息。
本发明的一些实施例可以包括一种用于得到关于长形对象与触摸屏之间的三维关系的信息的方法，该对象足够接近该触摸屏以便由该触摸屏感测到。该方法可以包括：生成与所述对象相关联的一个图像；基于多个不同的图像像素强度阈值标准变换所述图像；计算所述图像变换的质心；并且至少部分基于这些产生的质心来计算所述信息。
本发明申请还提供了以下内容：
1)一种用于确定长形界面对象在与触摸屏交互时的偏航的方法，该方法包括：
从该触摸屏的一个传感器接收一个触摸图像，该触摸图像对应于该触摸屏的具有至少接近其定位的所述长形界面对象的一个区域，其中，该长形界面对象具有相对于该触摸屏的一个表面的一个俯仰和一个偏航；
执行一个第一变换来获得该触摸图像的一个第一变换图像；
执行一个第二变换来获得该触摸图像的一个第二变换图像，其中，该第一变换不同于该第二变换；并且
基于该第一变换图像和该第二变换图像两者为该长形界面对象确定该偏航。
2)如1)所述的方法，其中，该偏航通过以下确定：
从该第一变换图像确定一个θ值和一个第一质心；
从该第二变换图像确定一个第二质心；并且
基于该θ值和该第一质心与该第二质心来计算偏航。
3)如2)所述的方法，其中，该第一变换是偏好强烈激活的触摸像素的一个侵蚀变换并且该第二变换是对触摸像素更具有包容性的一个松弛变换。
4)如3)所述的方法，其中，该侵蚀变换包括将具有低于一个第一阈值的一个强度值的像素变换成零，并且将高于该第一阈值的像素保留成它们的初始强度值，其中，该松弛变换包括将具有高于一个第二阈值的一个强度值的任何像素变换成一个第一值并且将具有低于该第二阈值的一个强度值的任何像素变换成零，其中，该第二阈值小于该第一阈值。
5)如3)所述的方法，其中，该偏航通过以下确定：
基于该θ值确定一个估算的偏航，该估算的偏航具有对应于第一可能方向和第二可能方向的一个θ向量；
确定在该第一质心与该第二质心之间的一个向量；并且
基于该第一质心与该第二质心之间的该向量为该偏航选择该θ向量的该第一可能方向或该第二可能方向，其中，如果该长形界面对象不垂直于该触摸屏的该表面，该第一变换和该第二变换被选择用于产生不同于该第二质心的该第一质心。
6)如5)所述的方法，进一步包括基于该第一质心与该第二质心之间的距离来确定俯仰。
7)如3)所述的方法，其中，该偏航由在该第一质心与该第二质心之间的向量的角度来确定。
8)如1)所述的方法，进一步包括基于该第一变换图像和该第二变换图像中的至少一个的至少第一特征值的大小来为该长形界面对象确定该俯仰。
9)一种系统，包括：
一个用于感测一个触摸图像的触摸屏元件，该触摸图像对应于触摸屏的具有至少接近其定位的一个长形界面对象的一个区域，其中，该长形界面对象具有相对于该触摸屏的一个俯仰和一个偏航；以及
一个处理器和一个存储器，其中，该处理器和该存储器被配置成用于执行以下操作：
执行一个第一变换来获得该触摸图像的一个第一变换图像；
执行一个第二变换来获得该触摸图像的一个第二变换图像，其中，该第一变换不同于该第二变换；
基于该第一变换图像和该第二变换图像两者来为该长形界面对象确定偏航；并且
基于该第一变换图像和该第二变换图像中的至少一个来为该长形界面对象确定俯仰。
10)一种确定由触摸屏响应于处于与该触摸屏的至少接近关系中的长形对象所生成的图像的俯仰和偏航的方法，该方法包括：
生成所述图像；
生成该图像的侵蚀变换和松弛变换并为这些对应的图像变换计算强度矩；
计算这些对应的图像变换的质心以及针对该侵蚀变换的θ和特征值；
从一个第一特征值得到俯仰；
从θ得到一个偏航估值；
计算出这两个质心之间的一个向量并使用该向量消除该偏航估值的多义性；并且
采用所述俯仰和偏航来得到关于与所述触摸屏有关的所述长形对象的信息。
11)如10)所述的方法，其中，该图像的所述侵蚀变换仅识别较高强度图像像素。
12)如10)所述的方法，其中，该图像的所述松弛变换识别较高强度图像像素和较低强度图像像素两者。
13)如10)所述的方法，其中，该侵蚀变换包括将具有低于一个第一阈值的一个强度值的像素变换成零，并且将高于该第一阈值的像素保留成它们的初始强度值，其中，该松弛变换包括将具有高于一个第二阈值的一个强度值的任何像素变换成一个第一值并且将具有低于该第二阈值的一个强度值的任何像素变换成零，其中，该第二阈值小于该第一阈值。
14)如10)所述的方法，进一步包括基于第一质心与第二质心之间的距离来确定俯仰。
15)如10)所述的方法，其中，该偏航由在第一质心与第二质心之间的该向量的角度来确定。
16)一种用于得到关于长形对象与触摸屏之间的三维关系的信息的方法，该对象足够接近该触摸屏以便由该触摸屏感测到，该方法包括：
生成与所述对象相关联的一个图像；
基于多个不同的图像像素强度阈值标准变换所述图像；
计算所述图像变换的质心并且至少部分基于这些所得质心来计算所述信息。
17)如16)所述的方法，其中，所述质心中的至少一个仅基于较高强度图像像素。
18)如16)所述的方法，其中，所述质心中的至少一个基于较高强度图像像素和较低强度图像像素两者。
19)如16)所述的方法，其中，该对象的偏航是相对于所述触摸屏所得到的信息的部分。
20)如16)所述的方法，其中，该对象的俯仰是相对于所述触摸屏所得到的信息的部分。
通过查看下文的附图、详细描述和所附权利要求书可以了解本发明的其他方面和优点。
附图简要描述
所包括的附图仅为说明目的，并且仅用于提供用于所披露技术的可能结构和过程步骤的示例。这些附图决不会限制本领域技术人员在不脱离本披露的精神和范围的情况下对实施例做出的形式和细节上的任何修改。
图1是示出了根据本发明的一个实施例的用于确定触摸屏交互的俯仰和偏航的过程的流程图。
图2A包括根据本发明的一个实施例的图1的触摸屏输入分析过程的图示。
图2B示出了手指相对于触摸屏的俯仰和偏航的侧视图。
图3示出了当适当地配置或设计时可以用作一种用于实现在此描述的这些过程实施例的系统的一种典型系统。
详细说明
在以下说明中，列举了许多特定的细节以便提供对本发明的全面理解。本发明可以在不具有这些特定细节中的一些或全部的情况下进行实践。在其他实例中，未详细描述公知的过程操作以防不必要地模糊本发明。尽管本发明将结合这些特定实施例来描述，将理解的是不意图将本发明限制于这些实施例。
本发明的一些实施例提供了用于确定手指、触控笔或其他长形工具在与触摸屏界面交互时的偏航的技术。响应于该工具与该触摸屏的交互而检索到的触摸图像被处理，以便提取和分析多个变换图像。换言之，多个导出触摸屏图像被用于估算偏航。在其他方面，这些技术被扩展用于在触摸屏上或附近估算该长形工具的俯仰。任何适合的技术可以被用于利用触摸屏交互图像的多个变换来确定偏航和俯仰。
本发明的一些实施例提供了用于确定长形界面对象在与触摸屏界面交互时的俯仰和偏航的技术。应用程序可以将这种另外的触摸数据用于各种交互用途。例如，游戏或地图可以利用一个手指弯曲动作来放大和缩小内容、增大或降低音量以便打开照片用于分享或复制或者完成其他功能。在一个示例中，手指可以被围绕单个点旋转和扭动以便调整射击游戏的视角(例如，改变枪的弹道的角度)。变化的俯仰可以被用来调整音量，将该视角从自顶向下的2D视图改变成3/4视角的3D视图，或者改变卷动或游戏玩家/动作的速度。此外，变化的俯仰可以被以一种二元方式使用(手指平行于或垂直于屏幕)。平行手指俯仰与陡峭手指俯仰之间的转换可以被用来触发不同模式，例如当使用一只手时，在地图上在平移与缩放之间进行切换，使用一只手在关闭和打开模式之间进行切换等。接收一个触摸图像，并且这个触摸图像至少具有一个第一区域，该第一区域对应于该触摸屏的具有接近和/或在其上定位的一个长形界面对象的一个区域。该长形界面对象具有相对于该触摸屏的一个俯仰和一个偏航。执行一个第一变换来获得该触摸图像的一个第一变换图像，并且执行一个第二变换来获得该触摸图像的一个第二变换图像。该第一变换不同于该第二变换。基于在该第一变换图像和该第二变换图像上执行的计算来为该长形界面对象确定该偏航。
可以标识多个离散的触摸位置或“色块”。对于这些色块中的每一个，可以随后计算出触摸图像强度矩。该图像矩可以被大体上类推为这些像素强度值的加权平均数。可以由色块的矩计算出的其他色块信息是它的质心和朝向。使用这些矩，可以随后为每个色块确定一系列图像特征。例如，可以计算侵蚀变换的质心。也可以计算松弛变换图像的质心。从该侵蚀图像计算出的第一特征值的大小可以被用于得到一个俯仰估值。因此，色块的长度和第一特征值可以与对象俯仰相关。在替代实施例中，离心距可以被用来归一化第一特征值并得到俯仰，或者该离心距可以与该大小取平均值来获得俯仰。在其他替代实施例中，在侵蚀得到的质心与松弛得到的质心之间的距离可以被用来获得俯仰。
本发明的一些实施例涉及一种至少具有一个处理器和一个存储器的设备。该处理器和/或存储器被配置成用于执行上文描述的操作中的一个或多个。在另一个实施例中，本发明涉及至少一个计算机可读存储介质，该计算机可读存储介质具有存储在其上的被安排来执行上文描述的这些操作中的一个或多个的多个计算机程序指令。
触摸图像检索和处理
图1是示出了根据本发明的一个实施例的用于确定触摸屏交互的俯仰和偏航的过程100的流程图。如图所示，在操作102中最初检索到一个触摸图像。例如，这个触摸图像可以被从触摸屏、触摸控制器、传感器中枢、硬件控制器、和/或操作系统检索。若干种触摸技术能够提供触摸“图像”，该触摸“图像”是触摸屏的传感器数据的二维空间表示。触摸屏技术的示例包括电容式感测(例如，表面、投射、互电容或自电容)、光学感测(例如，弥散照明、受抑全内反射、像素内感测、红外格栅、红外丙烯酸投射)、以及基于屏幕的力敏元件(例如，力敏电阻的模式)。
不论什么技术，响应于被定位在该触摸屏的表面上或附近的对象(如手指或触控笔)可以获得一个触摸图像(或多个图像)。可以同时或连续地获得针对与该触摸屏交互的多个对象的多个触摸图像。图2A包括根据本发明的一个实施例的图1的触摸屏输入分析过程的图示。如图所示，触摸图像205在将手指(或其他工具)204的一部分201移动至接近或触摸装置200的触摸屏202的一个位置后产生。
该触摸图像大体上由各自对应于触摸屏表面上的不同位置的多个分块、像素、或区域(由此从今以后统称为像素)组成。每个像素可以具有可以与基于接近度的测量相关的强度值，例如，由手指204的触摸或接近触摸屏202定位的区域201产生的电容(或者取决于所使用的触摸屏技术是其他类型的强度或接近度测量)。在这个示例中，黑色对应于高量的测量电容(或对应于对象接近度/触摸的其他信号)，而白色对应于低量的测量电容。在图2A中，变化的灰度级对应于处于这两个极端值之间的范围内的测量电容值的灰度。
这些像素还可以与各种强度标度(如0-200)相关联，其中，0是没有接触并且200是对象与触摸屏之间的最大接触，或0.0是没有接触并且1.0是最大接触。当然，这些标度和颜色关联是任意的并且任何其他标度或颜色可以与对象和触摸屏之间的不同等级的接触相关联。例如，浅灰色像素206a～206c(具有值2)对应于手指区域201的仅仅悬停(与触摸相反)在触摸屏202上方的部分。较暗的像素206d和206e(具有值3和4)对应于手指区域201的实际接触触摸屏202的部分。
原始触摸图像205也可以任选地是平滑的(例如，在空间上或在时间上)以便以任何适合的方式消除无用的断续噪声。参考回图1和图2A，该触摸图像可以在操作104中进行过滤。例如，多个图像帧可以一起取平均以便平均化或平滑该图像。一种示例性平滑技术是使用指数加权移动平均。一个另外的任选步骤是在操作106中为该触摸图像设定阈值以便去除不真正对应于触摸或接近触摸屏的对象的实际位置的无关像素。例如，可以去除低于某一值(例如，设定为零)的值。在所示示例中，所有低于1的像素强度被从触摸图像205过滤。该阈值可以被通过实验数据确定，以便针对任何给定的触摸屏技术和/或装置以及不同的用户或环境确定哪个强度值可能对应于虚假触摸点。
多个离散的触摸位置或“色块”可以被在操作110中标识。例如，如果两个手指正触摸屏幕，将存在触摸图像的两个区域，这些区域将被标识为对应于电容式(或其他触摸测量)激活的色块区域。如图2A中所示，色块206被在触摸图像205中标识。可以利用用于标识离散激活图像区域的任何适合的技术。一种技术包括分析由触摸屏控制器或传感器报告的触摸坐标(在屏幕像素中)并随后将这些坐标映射至触摸图像的像素。对于每个触摸坐标，可以使用洪水填充(flood fill)操作(也称为“种子填充(seed fill)”)，从而使得仅仅被激活的触摸像素允许洪水继续，从而导致一个连续的区域仅包含有效触摸像素。一般而言，色块可以被通过限定一个围绕最外面的像素的轮廓来标识。允许触摸色块的标识或分割的另一种技术被称为连通区域标记(也称为连通区域分析、色块提取、区域标记、色块发现、或区域提取)。这种操作108的结果是触摸像素的一个“色块”被包含在针对每个触摸位置的边界框(206)中。
触摸色块变换
可以为每个标识的色块执行多个变换。例如，在操作110中产生多个触摸色块图像变换。一般而言，执行两个或更多个变换以便产生不同的质心用于之后如下文进一步描述的那样消除偏航的多义性。
一个可能的变换是将一个新等级的阈值应用至该色块图像。另一个可能的变换是二值化该色块图像。例如，高于某一值的所有像素被设定为1，并且所有其他像素被设定为0。另一个可能的色块变换是将对数变换应用至所有触摸像素值。其他数学运算是可能的(例如，平方根、平方、加法、减法等)。也可以将各种卷积应用至该触摸图像，如高斯模糊。
在所示示例中，色块图像被变换为两种新的变换表示：一个侵蚀变换图像207a和一个松弛变换图像207b。一般而言，该侵蚀变换更强烈地偏好更高强度值(例如，高电容响应值)，而该松弛变换更加松弛并且包括更宽范围的强度值(例如，差分电容响应值)并且还展平该色块从而使得所有像素被均等加权。
侵蚀变换的一个示例是采用原始触摸屏数据并简单地将低于某个阈值的所有值设定为零。这种技术产生保守的色块分割结果，从而使得强度像素(例如，中心的)的权重最大。如图所示，该侵蚀变换图像将具有低于3的强度值的像素变换成0值，同时将等于或大于3的像素维持成它们的当前值。这种变换过滤强度较低的像素同时将峰值和谷值维持在更高强度值中。针对这种侵蚀变换的阈值可以基于任何合适的因素来选择，如哪个值倾向于产生仅包括最内和最高激活触摸像素的质心。此外，可以相对于其松弛变换对应物来校准该阈值以便产生针对不垂直于屏幕表面的对象的显著不同的质心估算。
在松弛变换示例中，低于预定义阈值的所有强度值被设定成零，而高于该预定义阈值的所有值被设定成共同值，不论它们的大小。此外，与侵蚀变换相比，该阈值典型地被设定得更低。这种松弛策略允许较少激活的像素(倾向于围绕触摸接触点或由接近对象所产生，但不与彼此物理接触)被包括在色块图像中。此外，由于所有大于该阈值的值被设定成共同值，像素被均等加权(即，如果不是这样，中心像素倾向于具有更大的值)。也就是说，这些峰值和谷值被通过将大多数像素设定成一个相同值(同时使非常低的值归零)来去除。松弛变换图像207b是将等于或大于1.0的强度值变换成值1.0同时将所有其他像素变换成值0的结果。针对这种松弛变换的阈值可以基于任何适合的因素来选择，如哪个阈值倾向于引起包括更大量的像素，尤其是相对于该侵蚀变换(例如，该松弛变换比该侵蚀变换阈值更具有包容性)。
以下操作被相对于在单个色块上执行来进行描述。然而，应理解的是，每个色块可以被如下文描述的进行处理以便为触摸屏上或邻近触摸屏的多个对象确定俯仰和偏航。
计算特征
对于这些色块变换中的每一个，可以随后计算该触摸图像强度的矩。该图像矩可以被大体上类推为这些像素强度值的加权平均数。在数学上，矩可以被定义为一组点特征(如强度值)的定量测量。例如，“第二矩”或更确切地“第二中心矩”在一个维度上测量一组点的“宽度”(在特定的意义上)，或者当其可以由椭圆体拟合时在更高维度上测量点云的形状。其他矩描述分布的其他方面，如该分布如何从它的平均值偏离。任何分布可以由多个特征(如平均值、方差、偏度等)来表征，并且随机变量的概率分布的这些矩与这些特征有关。该概率分布本身可以被表示为一个概率密度函数、概率质量函数、累积分布函数、特征函数、或矩量母函数。
可以由色块的矩计算出的其他色块信息是它的质心和朝向。如图所示，可以在操作116中计算针对侵蚀变换的每个色块的强度矩。可以在操作112中计算针对松弛变换的每个色块的强度矩。
针对带有具有强度值I(x，y)的多个像素的二维图像的原始图像矩可以由以下等式定义：
Mij＝∑x∑yxiyjl(x，y) 等式[1]
类似地，数字图像的中心矩可以由以下等式定义：
使用这些矩，可以随后为每个色块确定一系列图像特征。例如，可以在操作118中计算侵蚀变换的质心。也可以在操作114中计算松弛变换图像的质心。该质心被大体上定义为变换色块的加权中心。例如，具有值4的像素将具有在值1情况下的4倍的像素值。由于松弛变换图像的所有像素被均等加权，该质心是该色块的几何中心。相反地，该侵蚀变换的色块将具有朝向更高值像素加权的质心(例如，对应于更高电容响应部分)。每个变换色块图像的强度质心可以被计算为：
对于侵蚀变换图像，还可以在操作120中计算该图像强度的θ值。该色块的θ或朝向可以首先通过在等式[4]-等式[6]中确定二阶中心矩以便在等式[7]中构造协方差矩阵来确定：
这个矩阵的特征向量对应于图像色块的长轴和短轴，因此朝向或θ可以由与最大特征值相关联的特征向量来提取：
也可以在操作122中计算侵蚀变换图像的特征值。例如，以上等式[7]的协方差矩阵的特征值可表示如下：
如图2A中的示例所示，已经为侵蚀变换图像207a计算出一个侵蚀质心210和具有两个方向208a和208b的θ。同样，为松弛变换图像207b确定了一个松弛质心212。
计算俯仰
从该侵蚀图像计算出的第一特征值的大小可以被用于得到一个俯仰估值。在所示实施例中，第一特征值被用于在操作124中得到俯仰。这个第一特征值大体上对应于色块的最长尺寸。一般而言，色块可以被限定为具有两个尺寸，典型地一个宽度和一个高度。如果色块的宽度比它的高度大，第一特征值则对应于色块宽度。图2B示出对于正触摸屏幕202的手指204a的俯仰250a。如果手指垂直于屏幕表面，俯仰将为90°，而在屏幕表面上展平的手指将具有0°俯仰。如果装置或界面朝向已知，通过使手指在垂直之外也旋转则俯仰也可以超过90°。如图所示，手指204b具有超过90°的俯仰250b-当界面256的底部已知时，这可以计算。一般而言，俯仰和偏航都可以相对于装置、屏幕或界面图形和文本(例如，在显示器中示出的界面对象)的初始位置来确定。
当手指从一个法线角朝向该表面(例如，具有更急剧的俯仰)移动时，该手指将倾向于更加展平并产生一个更长的色块和更高大小的第一特征值。因此，色块的长度和第一特征值可以与对象俯仰相关。
在替代实施例中，离心距可以被用来归一化第一特征值并得到俯仰，或者该离心距可以与该大小取平均值来获得俯仰。一般而言，离心率是色块的短轴和长轴(或者最长和最短半径)的比率的测量值。
在其他替代实施例中，在侵蚀得到的质心与松弛得到的质心之间的距离可以被用来获得俯仰。
在操作134中，一种或多种技术可以被用于在时间上或在空间上调整俯仰估值以便确定一个最终的俯仰值。多个俯仰确定值可以一起取平均以便得到一个更稳定或更准确的结果。此外，可以根据一个预先记录或预定义的校准曲线来调整所估算的俯仰值。例如，可以从测试用户收集地面实况或实验俯仰数据并且用来计算一个回归曲线，该回归曲线可以被用于将初始俯仰估值映射成更精确的手指俯仰值。为了使用针对其他类型的对象(如触控笔)的校准俯仰，也可以使用来自其他测试对象(如触控笔)的其他校准数据来计算回归曲线。此外，可以捕捉针对具有不同手指大小的测试用户的地面实况数据，并且用于计算一个回归曲线，从而针对不同手指大小将手指大小映射成俯仰标度系数。第一特征向量的大小也可以相对该第二特征向量的大小归一化，以便减轻用户手指大小上的差异。
计算偏航
在操作126中，为每个侵蚀变换图像色块计算的θ值可以被用于为每个色块提供偏航的一个基本估值。这个偏航估值对应于每个色块的图像强度朝向。然而，这个强度朝向不足以单独确定手指偏航，因为θ值仅具有180度的范围，这意味着该θ值是双向的(例如，θ方向208a和208b)。因此，所估算的手指偏航具有多义性。例如，40度的θ意指手指可以具有40度或220度的偏航(例如，存在对手指真实指向的方向的多义性)。例如，两个不同的相反手指朝向会产生类似的色块形状和朝向。
图2B示出了手指204相对于触摸屏202的俯仰和偏航。可以相对于围绕轴线252的旋转角度确定偏航。如果手指204具有一个40度的偏航，这个绝对偏航位置不能单独由θ值(在先前部分中描述的)来计算。在图2A的相应的侵蚀图像207a中，所计算的θ可以针对来自屏幕左下角的手指(208b)和来自屏幕右上角的手指(208a)两者被计算成相同值。
本发明的某些实施例解决该θ角度的多义性。例如，可以提供一个估值跨越所有360度的手指偏航。在所示示例性过程中，为色块图像的两个变换(侵蚀形式和松弛形式)确定两个质心210和212。对于垂直于触摸屏的手指触摸，这些质心将在同一点处大量地会聚(±某个误差)。然而，当手指不垂直于触摸屏时，这些质心展开，大体上沿着这些色块图像强度的长轴对准。由于不同的变换策略，俯仰越平坦，这些质心越发散。可以使用产生两个不同质心的任何适合的变换。
在所示实施例中，在操作128中，在这两个质心之间计算一个向量，并且该向量方向被用于消除该偏航估值的多义性。在一种实现方式中，在侵蚀色块图像质心与松弛色块图像质心之间产生一个质心向量(214)。如图2A中所示，从松弛质心212到侵蚀质心210形成质心向量214。也就是说，质心向量214的方向被限定为从松弛质心212经过并随后通过侵蚀质心210。
尽管是粗略的，这个质心向量214倾向于提供一个真实的手指偏航或方向(跨越0-360度)。这个质心向量可以被用作偏航的一个估算。然而，这些结果对于对象(如手指)而言经常是有干扰的。一种替代方法使用这个质心向量214(而不是使用这个原始质心向量值214)来消除由先前计算的上述θ值(例如，侵蚀色块变换的θ)所确定的该偏航的多义性(208a和208b)。也就是说，该质心向量可以被用于选择可以对应于θ的两个可能二义性方向(208a和208b)中的一个。这可以通过将到该质心向量的最小角距离用作选择由θ表明的这两个方向中的一个的一种方式来完成。如图所示，方向208a被基于质心向量214选择。这个过程的结果是真实的0-360度手指偏航估值。在操作130中每个触摸色块的偏航估值可以任选地被在时间上和/在空间上调整以便例如有助于基于任何适合的技术(如上文相对于俯仰所描述的这些技术)来增加稳定性并减轻噪声或者校准信号。
将值传送至用户界面/应用程序
现代的触摸屏将X/Y坐标报告给操作系统、界面、以及各种应用程序。本发明的某些实施例包括在操作138中例如以与现今报告X/Y位置类似的方式(例如，在一个触摸事件中)将俯仰和偏航提供给一个操作系统、界面或应用程序。
应用程序可以将这种另外的触摸数据用于各种交互用途。例如，游戏或地图可以利用一个手指弯曲动作来放大和缩小内容、增大或降低音量以便打开照片用于分享或复制或者完成其他功能。在一个特定示例中，手指可以被围绕单个点旋转和扭动以便调整射击游戏的视角(例如，改变枪的弹道的角度)。变化的俯仰可以被用来调整音量，将该视角从自顶向下的2D视图改变成3/4视角的3D视图，或者改变卷动或游戏玩家/动作的速度。
此外，变化的俯仰可以被以一种二元方式使用(手指平行于或垂直于屏幕)。平行手指俯仰与陡峭手指俯仰之间的转换可以被用来触发不同模式，例如当使用一只手时，在地图上在平移与缩放之间进行切换，使用一只手在关闭和打开模式之间进行切换等。
本发明所披露的技术可以被在软件和/或硬件系统的任何适合的组合中实现，该系统利用被安排用于接收来自交互对象(如手指或触控笔)的一个或多个触摸的一个触摸屏装置。示例包括平板电脑、智能手机、智能手表、个人数字助理(PDA)、交互式电视系统等。可以为所需目的特别构造用于实现本发明的一个或多个部分的一种设备，或者该设备可以是由存储在计算机中的计算机程序和/或数据结构选择性地激活或重新配置的一个通用计算机。在此呈现的过程并非固有地与任何特定计算机或其他设备相关。具体而言，依据本文的传授，各种通用机器可以与编写的程序一起使用，或构建更专业的设备以执行所披露的方法步骤可以是更方便的。
图3示出了一种典型计算机系统，该系统当被适当地配置或设计时可以用作一种用于实现在此描述的过程实施例的至少部分的触摸屏系统。装置300包括一个触摸屏元件306，该触摸屏元件包括触摸屏、多个驱动器、以及多个触摸屏控制器和传感器。
系统300还包括任何数量的处理器302(也称为中央处理器或CPU)，该处理器被耦合到一个或多个存储器装置304(典型地为随机存取存储器、只读存储器等)上。CPU 302可以是包括微控制器和微处理器的各种类型，如可编程装置(例如，CPLD和FPGA)和不可编程装置(如门阵列ASIC或通用微处理器)。存储器304可以包括任何适合的计算机可读介质，如在此描述的那些。
CPU 302也可以被耦合到连接到一个或多个输入/输出装置上的一个界面310上，该输入/输出装置如视频监视器或显示器、跟踪球、鼠标、键盘、麦克风、触敏显示器、传感器读卡器、磁带或纸带读取器、平板电脑、触控笔、声音或笔迹识别器、或者当然可以是其他众所周知的输入装置，如其他计算机。最终，CPU 302可以任选地被耦合到一个外部装置(如使用外部连接的数据库或计算机或电信网络)上。利用这种连接，考虑到的是CPU可以在执行在此描述的方法步骤过程中从该网络接收信息或者可以将信息输出至该网络。CPU 302还可以与任何其他适合的内部装置(如GPS装置或NFC装置)耦合。
本发明的实施例可以在任何适合的网络系统中实现。该网络可以采取任何适合的形式，如广域网或因特网和/或一个或多个局域网(LAN)。该网络可以呈数据网络、移动网络、蜂窝网络、简易老式电话网络(POTN)或它们的任何组合的形式。
本发明的实施例还可以在多种多样的网络环境中实践，包括例如基于TCP/IP网络(例如，速率控制协议或RCP、传输控制协议或TCP、Fast TCP、基于流的TCP/IP或STCP、显式控制协议或XCP等)、电信网络、无线网络、移动网络等或者它们的任何组合。此外，本发明的实施例通过其实现的这些计算机程序指令可以被存储在任何类型的计算机可读介质中，并且可以被根据各种计算机模型(包括客户端/服务器模型、对等模型)或者根据分布式计算机模型(其中，在此描述的各种功能在不同的位置处可能被影响或采用)在独立计算装置上执行。
网络还可以包括大容量存储器，例如像网络附加存储(NAS)、存储区域网络(SAN)、或者其他形式的计算机或机器可读存储介质。不论该系统的配置如何，该系统可以采用被配置成用于为在此描述的通用处理操作和/或发明技术存储数据、程序指令的一个或多个存储器或存储模块。例如，这些程序指令可以控制操作系统和/或一个或多个应用程序的操作。该或这些存储器还可以被配置成用于存储用于执行所披露方法的指令、与所披露方法相关联的待显示的图形用户界面等。
由于可以采用此类信息和程序指令来实现在此描述的系统/方法，本发明涉及包括用于执行在此描述的各种操作的程序指令、状态信息等的机器可读存储介质。机器可读存储介质的示例包括但不限于：磁介质，如硬盘、软盘、以及磁带；光介质，如CD-ROM盘；磁光介质，如光磁软盘；以及专门被配置成用于存储和执行程序指令的硬件装置，如ROM和RAM。程序指令的示例包括机器代码(如由编译器产生)和文件(包含可由计算机使用解释器执行的高级代码)两者。
任何上述实施例可单独使用，也可彼此以任何组合来一起使用。虽然各实施例可能已经受到了现有技术各种的可能在本说明书中的一处或多处进行讨论或暗示的不足的激发，但是这些实施例并不一定解决任何这些不足。换言之，不同的实施例可能解决本说明书中可能有所讨论的不同不足。某些实施例可能仅部分地解决了本说明书中可能有所讨论的某些不足或仅某个不足，并且某些实施例可能没有解决任何上述不足。
尽管为了清晰理解的目的已详细描述了前述发明，将会明显的是可以在所附权利要求书的范围内实施某些变化和修改。因此，本实施例将认为是说明性的并且不是限定性的，并且本发明并不局限于在此给出的细节中，但是可以在所附权利要求书的范围和等效物中进行修改。

Claims (10)

1.一种用于确定长形界面对象在与触摸屏交互时的偏航的方法，该方法包括：
从该触摸屏的一个传感器接收一个触摸图像，该触摸图像对应于该触摸屏的具有至少接近其定位的所述长形界面对象的一个区域，其中，该长形界面对象具有相对于该触摸屏的一个表面的一个俯仰和一个偏航；
执行一个第一变换来获得该触摸图像的一个第一变换图像；
执行一个第二变换来获得该触摸图像的一个第二变换图像；并且
基于该第一变换图像和该第二变换图像两者为该长形界面对象确定该偏航，其中，该偏航通过以下确定：
从该第一变换图像确定一个θ值和一个第一质心；
从该第二变换图像确定一个第二质心；并且
基于该θ值和该第一质心与该第二质心来计算该偏航；其中，基于该θ值确定一个估算的偏航，该估算的偏航具有对应于第一可能方向和第二可能方向的一个θ向量；确定在该第一质心与该第二质心之间的一个向量；并且基于该第一质心与该第二质心之间的该向量为该偏航选择该θ向量的该第一可能方向或该第二可能方向以消除该估算的偏航的多义性。
2.如权利要求1所述的方法，其中，该第一变换是偏好强烈激活的触摸像素的一个侵蚀变换并且该第二变换是对触摸像素更具有包容性的一个松弛变换。
3.如权利要求2所述的方法，其中，如果该长形界面对象不垂直于该触摸屏的该表面，该第一变换和该第二变换被选择用于产生不同于该第二质心的该第一质心。
4.如权利要求3所述的方法，进一步包括基于该第一质心与该第二质心之间的距离来确定俯仰。
5.如权利要求2所述的方法，其中，该偏航由在该第一质心与该第二质心之间的向量的角度来确定。
6.如权利要求1所述的方法，进一步包括基于该第一变换图像和该第二变换图像中的至少一个的至少第一特征值的大小来为该长形界面对象确定该俯仰。
7.如权利要求1所述的方法，该第一变换包括变换具有低于一个第一阈值的一个强度值的像素，以及将高于该第一阈值的像素保留成它们的初始强度值，其中，该第二变换包括变换具有高于一个第二阈值的一个强度值的任何像素，其中，该第二阈值小于该第一阈值。
8.如权利要求1所述的方法，其中，与该第二变换相比，该第一变换更强烈地偏好更高强度值，而与该第一变换相比，该第二变换包括更宽范围的强度值，其中，该第二变换还被配置为展平该触摸图像以使得与该触摸图像相关的所有像素被均等加权。
9.一种用于为长形界面对象确定俯仰和偏航的系统，包括：
一个用于感测一个触摸图像的触摸屏元件，该触摸图像对应于触摸屏的具有至少接近其定位的所述长形界面对象的一个区域，其中，该长形界面对象具有相对于该触摸屏的一个俯仰和一个偏航；以及
一个处理器和一个存储器，其中，该处理器和该存储器被配置成用于执行以下操作：
执行一个第一变换来获得该触摸图像的一个第一变换图像；
执行一个第二变换来获得该触摸图像的一个第二变换图像；
基于该第一变换图像和该第二变换图像两者来为该长形界面对象确定该偏航，其中，该偏航通过以下确定：
从该第一变换图像确定一个θ值和一个第一质心；
从该第二变换图像确定一个第二质心；并且
基于该θ值和该第一质心与该第二质心来计算该偏航；其中，基于该θ值确定一个估算的偏航，该估算的偏航具有对应于第一可能方向和第二可能方向的一个θ向量；确定在该第一质心与该第二质心之间的一个向量；并且基于该第一质心与该第二质心之间的该向量为该偏航选择该θ向量的该第一可能方向或该第二可能方向以消除该估算的偏航的多义性；并且
基于该第一变换图像和该第二变换图像中的至少一个来为该长形界面对象确定该俯仰。
10.如权利要求9所述的系统，其中，该第一变换包括变换具有低于一个第一阈值的一个强度值的像素，以及将高于该第一阈值的像素保留成它们的初始强度值，其中，该第二变换包括变换具有高于一个第二阈值的一个强度值的任何像素，其中，该第二阈值小于该第一阈值。
CN201910395818.0A 2014-02-12 2015-02-05 为触摸屏交互确定俯仰和偏航 Active CN110413190B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461939069P 2014-02-12 2014-02-12
US61/939,069 2014-02-12
CN201580000833.0A CN105247461B (zh) 2014-02-12 2015-02-05 为触摸屏交互确定俯仰和偏航
PCT/US2015/014581 WO2015123081A1 (en) 2014-02-12 2015-02-05 Determining pitch and yaw for touchscreen interactions

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580000833.0A Division CN105247461B (zh) 2014-02-12 2015-02-05 为触摸屏交互确定俯仰和偏航

Publications (2)

Publication Number Publication Date
CN110413190A true CN110413190A (zh) 2019-11-05
CN110413190B CN110413190B (zh) 2022-08-23

Family

ID=53800539

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580000833.0A Active CN105247461B (zh) 2014-02-12 2015-02-05 为触摸屏交互确定俯仰和偏航
CN201910395818.0A Active CN110413190B (zh) 2014-02-12 2015-02-05 为触摸屏交互确定俯仰和偏航

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580000833.0A Active CN105247461B (zh) 2014-02-12 2015-02-05 为触摸屏交互确定俯仰和偏航

Country Status (4)

Country Link
US (2) US9778783B2 (zh)
EP (1) EP3105664B1 (zh)
CN (2) CN105247461B (zh)
WO (1) WO2015123081A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582180A (zh) 2011-10-18 2019-04-05 卡内基梅隆大学 用于分类触敏表面上的触摸事件的方法和设备
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
CN105247461B (zh) 2014-02-12 2019-05-31 齐科斯欧公司 为触摸屏交互确定俯仰和偏航
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
CN107710111B (zh) 2015-07-01 2021-05-25 奇手公司 确定用于接近敏感相互作用的俯仰角
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US10025492B2 (en) * 2016-02-08 2018-07-17 Microsoft Technology Licensing, Llc Pointing detection
KR102707395B1 (ko) * 2016-09-09 2024-09-23 삼성디스플레이 주식회사 전자 장치
CN106502457B (zh) * 2016-10-31 2019-05-21 北京交通大学 一种电容触控轨迹的质量评价方法
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US11264130B2 (en) * 2019-02-28 2022-03-01 Fujifilm Business Innovation Corp. System and method for estimating pathogen transfer from mobile interaction in clinical environments and a warning system and method for reducing cross-contamination risks
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
US11379080B2 (en) * 2020-06-05 2022-07-05 International Business Machines Corporation Automatically correcting touchscreen errors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080104858A (ko) * 2007-05-29 2008-12-03 삼성전자주식회사 터치 스크린 기반의 제스쳐 정보 제공 방법 및 장치, 그장치를 포함하는 정보 단말 기기
CN101809880A (zh) * 2007-09-28 2010-08-18 微软公司 检测触敏设备上的手指方向
CN102402340A (zh) * 2010-09-08 2012-04-04 北京汇冠新技术股份有限公司 触摸定位方法、触摸屏、触摸系统和显示器
US20130009896A1 (en) * 2011-07-09 2013-01-10 Lester F. Ludwig 3d finger posture detection and gesture recognition on touch surfaces

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ055999A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (npage01)
JP2827612B2 (ja) * 1991-10-07 1998-11-25 富士通株式会社 タッチパネル装置およびタッチパネル装置におけるオブジェクトの表示方法。
US7105753B1 (en) 1999-05-25 2006-09-12 Silverbrook Research Pty Ltd Orientation sensing device
US6803906B1 (en) * 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
JP3988476B2 (ja) 2001-03-23 2007-10-10 セイコーエプソン株式会社 座標入力装置及び表示装置
EP2267582B1 (en) 2002-02-06 2012-05-09 Soundtouch Limited Touch pad
JP4071620B2 (ja) 2002-12-27 2008-04-02 株式会社日立製作所 情報処理装置
WO2006070044A1 (en) 2004-12-29 2006-07-06 Nokia Corporation A method and a device for localizing a sound source and performing a related action
US7916126B2 (en) * 2007-06-13 2011-03-29 Apple Inc. Bottom-up watershed dataflow method and region-specific segmentation based on historic data to identify patches on a touch sensor panel
US20090232355A1 (en) 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
US9019237B2 (en) * 2008-04-06 2015-04-28 Lester F. Ludwig Multitouch parameter and gesture user interface employing an LED-array tactile sensor that can also operate as a display
US8170346B2 (en) 2009-03-14 2012-05-01 Ludwig Lester F High-performance closed-form single-scan calculation of oblong-shape rotation angles from binary images of arbitrary size using running sums
US8154529B2 (en) * 2009-05-14 2012-04-10 Atmel Corporation Two-dimensional touch sensors
JP2011028555A (ja) 2009-07-27 2011-02-10 Sony Corp 情報処理装置および情報処理方法
US8269511B2 (en) 2009-09-08 2012-09-18 Synaptics Incorporated Sensing and defining an input object
US20110285648A1 (en) 2010-01-22 2011-11-24 Lester Ludwig Use of fingerprint scanning sensor data to detect finger roll and pitch angles
US10146427B2 (en) 2010-03-01 2018-12-04 Nri R&D Patent Licensing, Llc Curve-fitting approach to high definition touch pad (HDTP) parameter extraction
US20120056846A1 (en) 2010-03-01 2012-03-08 Lester F. Ludwig Touch-based user interfaces employing artificial neural networks for hdtp parameter and symbol derivation
US8738563B2 (en) 2010-03-28 2014-05-27 International Business Machines Corporation Comparing data series associated with two systems to identify hidden similarities between them
US8754862B2 (en) * 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
KR101314262B1 (ko) * 2010-11-11 2013-10-14 (주) 에스엔아이솔라 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법
US20120280927A1 (en) 2011-05-04 2012-11-08 Ludwig Lester F Simple touch interface and hdtp grammars for rapid operation of physical computer aided design (cad) systems
US9052772B2 (en) 2011-08-10 2015-06-09 Lester F. Ludwig Heuristics for 3D and 6D touch gesture touch parameter calculations for high-dimensional touch parameter (HDTP) user interfaces
US9019244B2 (en) 2013-02-28 2015-04-28 Qeexo, Co. Input tools having viobro-acoustically distinct regions and computing device for use with the same
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US10599250B2 (en) 2013-05-06 2020-03-24 Qeexo, Co. Using finger touch types to interact with electronic devices
US20150035759A1 (en) 2013-08-02 2015-02-05 Qeexo, Co. Capture of Vibro-Acoustic Data Used to Determine Touch Types
CN105247461B (zh) 2014-02-12 2019-05-31 齐科斯欧公司 为触摸屏交互确定俯仰和偏航
US20150242009A1 (en) 2014-02-26 2015-08-27 Qeexo, Co. Using Capacitive Images for Touch Type Classification
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US9864453B2 (en) 2014-09-22 2018-01-09 Qeexo, Co. Method and apparatus for improving accuracy of touch screen event analysis by use of edge classification
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10712858B2 (en) 2014-09-25 2020-07-14 Qeexo, Co. Method and apparatus for classifying contacts with a touch sensitive device
US10095402B2 (en) 2014-10-01 2018-10-09 Qeexo, Co. Method and apparatus for addressing touch discontinuities
CN107710111B (zh) 2015-07-01 2021-05-25 奇手公司 确定用于接近敏感相互作用的俯仰角
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080104858A (ko) * 2007-05-29 2008-12-03 삼성전자주식회사 터치 스크린 기반의 제스쳐 정보 제공 방법 및 장치, 그장치를 포함하는 정보 단말 기기
CN101809880A (zh) * 2007-09-28 2010-08-18 微软公司 检测触敏设备上的手指方向
CN102402340A (zh) * 2010-09-08 2012-04-04 北京汇冠新技术股份有限公司 触摸定位方法、触摸屏、触摸系统和显示器
US20130009896A1 (en) * 2011-07-09 2013-01-10 Lester F. Ludwig 3d finger posture detection and gesture recognition on touch surfaces

Also Published As

Publication number Publication date
CN105247461B (zh) 2019-05-31
CN105247461A (zh) 2016-01-13
US20160231865A1 (en) 2016-08-11
CN110413190B (zh) 2022-08-23
US20200125207A1 (en) 2020-04-23
US9778783B2 (en) 2017-10-03
EP3105664A4 (en) 2017-09-27
WO2015123081A1 (en) 2015-08-20
EP3105664B1 (en) 2021-07-07
EP3105664A1 (en) 2016-12-21
US11048355B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
CN110413190B (zh) 为触摸屏交互确定俯仰和偏航
CN107710111B (zh) 确定用于接近敏感相互作用的俯仰角
US10679146B2 (en) Touch classification
CN103383731B (zh) 一种基于指尖定位的投影交互方法、系统及计算设备
US8982061B2 (en) Angular contact geometry
CN107515714B (zh) 一种手指触控识别方法、装置和触控投影设备
KR101032446B1 (ko) 영상의 정점 검출 장치 및 방법
CN115793893B (zh) 触摸书写笔迹生成方法、装置、电子设备及存储介质
WO2010017711A1 (zh) 一种图形触摸命令的执行方法、装置及移动终端
Liu et al. Rgbd video based human hand trajectory tracking and gesture recognition system
US20160313843A1 (en) Method and apparatus for determining shape and orientation of a touch object on handheld devices
CN115793892B (zh) 触摸数据处理方法、装置、电子设备及存储介质
CN115272752B (zh) 一种训练图像分类模型的方法、装置、设备及存储介质
TW201248456A (en) Identifying contacts and contact attributes in touch sensor data using spatial and temporal features
US20240144726A1 (en) Interactive system for identification and tracking of objects and gestures
Gui et al. Finger detection in video sequences using a new sparse representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant