AT519427B1

AT519427B1 - Verfahren zur Steuerung einer Datenverarbeitungsanlage

Info

Publication number: AT519427B1
Application number: ATA51143/2016A
Authority: AT
Original assignee: Isiqiri Interface Tech Gmbh
Priority date: 2016-12-14
Filing date: 2016-12-14
Publication date: 2019-02-15
Also published as: AT519427A1

Abstract

Die Erfindung betrifft ein Verfahren zur Steuerung einer Datenverarbeitungsanlage (5) mit einer positionsauflösenden berührungssensitiven Eingabefläche (1) und einer beliebigen Anzahl und Art von Eingabeobjekten, wobei zumindest ein Eingabeobjekt ein Eingabegerät (2) ist, welches einen Kontaktsensor (3) und einen Inertialsensor (4) aufweist.

Description

[0001] Die Erfindung betrifft ein Verfahren zur Steuerung einer Datenverarbeitungsanlage mit einer positionsauflösenden berührungssensitiven Eingabefläche und einer beliebigen Anzahl und Art von Eingabeobjekten, wobei zumindest ein Eingabeobjekt ein Eingabegerät ist, welches einen Kontaktsensor und einen Inertialsensor aufweist.

[0002] Eine Datenverarbeitungsanlage im Sinn dieser Schrift ist eine Vorrichtung, welche Eingangssignale von Eingabegeräten verarbeitet und daraus Daten oder Ausgangssignale für Ausgabegeräte generiert.

[0003] Eine Eingabefläche im Sinn dieser Schrift ist eine Vorrichtung, welche berührungssensitiv ist, also Berührungen oder Annäherungen von Objekten wahrnimmt, und positionsauflösend ist, also die Positionen detektiert, an welchen die Objekte angenähert werden, oder die Berührungen stattfinden und diese Informationen in Form eines Signals an eine Datenverarbeitungsanlage sendet.

[0004] Ein Eingabeobjekt im Sinn dieser Schrift ist ein beliebiges Objekt, dessen Berührung oder Annäherung von der Eingabefläche wahrgenommen wird.

[0005] Ein Eingabegerät im Sinn dieser Schrift ist ein beliebiges Objekt, dessen Berührung oder Annäherung von der Eingabefläche wahrgenommen wird und welches zusätzlich einen Kontaktsensor und einen Inertialsensor aufweist.

[0006] Ein Kontaktsensor im Sinn dieser Schrift ist ein Sensor, der bereits die Annäherung des Eingabegeräts an eine Oberfläche erkennt oder erst die Berührung der Oberfläche durch das Eingabegerät erkennt.

[0007] Ein Inertialsensor im Sinn dieser Schrift ist ein Sensor, der die relative Bewegung des Eingabegeräts im Raum in oder um zumindest eine Raumrichtung, beispielsweise in Form von Beschleunigung, erfasst.

[0008] Die US2016139690A1 zeigt ein Eingabegerät, in Form eines Eingabestiftes, welches unter anderem einen Kontaktsensor und einen Inertialsensor aufweisen kann, wobei das Eingabegerät an einer positionsauflösenden berührungssensitiven Eingabefläche zur Dateneingabe verwendet werden kann. In Absatz [0069] ist angeführt, dass mehrere Eingabestifte verwendet werden können, um mit den Sensordaten der Inertialsensoren Geräte oder Anwendungen steuern zu können. In der US2016139690A1 wird aber keine Lösung beschrieben, wie bei Eingabe mit mehreren Eingabeobjekten an einer positionsauflösenden berührungssensitiven Eingabefläche unterschieden werden kann, welches Eingabeobjekt für welchen Berührungspunkt auf der Eingabefläche verantwortlich ist.

[0009] Die US2014146021A1 zeigt ebenfalls ein Eingabegerät, in Form eines Eingabestiftes, welches unter anderem einen Kontaktsensor und einen Inertialsensor aufweisen kann. In Absatz [0031] ist angeführt, dass mehrere Eingabestifte verwendet werden können, um Daten an ein Bildschirmgerät zu übermitteln. In der US2014146021A1 wird aber ebenfalls keine Lösung beschrieben, wie bei Eingabe mit mehreren Eingabeobjekten an einer positionsauflösenden berührungssensitiven Eingabefläche unterschieden werden kann, welches Eingabeobjekt für welchen Berührungspunkt auf der Eingabefläche verantwortlich ist.

[0010] Die US2015049022A1 beschreibt ein Verfahren zur Eingabe von Daten an einer positionsauflösenden berührungssensitiven Eingabefläche mit einem Eingabegerät in Form einer Computermaus, also einem Eingabegerät, welches die zweidimensionale Bewegung von sich selbst entlang einer Oberfläche detektiert. Dabei wird vorgeschlagen, das absolute zweidimensionale Bewegungssignal eines Berührungspunktes auf der Eingabefläche und das relative zweidimensionale Bewegungssignal der Computermaus miteinander zu vergleichen, um festzustellen ob diese Bewegungen ident sind. Nachteilig an der Verwendung eines Eingabegeräts in Form einer Computermaus, sowohl im Fall einer optischen Maus oder einer Kugelmaus, ist, dass deren Sensor zur Detektion der relativen Bewegung anfällig für Beschädigung oder Ver

1/17

AT519 427 B1 2019-02-15 österreichisches

Patentamt schmutzung ist und/oder manche Oberflächen keine exakte Erfassung der Relativbewegung ermöglichen.

[0011] Die der Erfindung zu Grunde liegende Aufgabe besteht darin ausgehend von der US2015049022A1 ein Verfahren zu schaffen, um bei der Steuerung einer Datenverarbeitungsanlage mit einer beliebigen positionsauflösenden berührungssensitiven Eingabefläche die gleichzeitige Verwendung und Unterscheidung von mehreren identen Eingabegeräten zu ermöglichen, wobei ident in diesem Zusammenhang bedeutet, dass deren Identität nicht allein aus den Signalen der positionsauflösenden berührungssensitiven Eingabefläche bestimmt werden kann, ohne dabei wie in der US2015049022A1 vorgeschlagen, die Eingabegeräte mit der Funktionalität einer Computermaus ausstatten zu müssen.

[0012] Für das Lösen der Aufgabe wird vorgeschlagen, jedes Eingabegerät mit Kontaktsensor, beispielsweise mechanisch, kapazitiv oder optisch, und Inertialsensor, bevorzugt in bzw. nahe einer Spitze des Eingabegeräts, auszustatten und die Daten dieser Sensoren laufend an die Datenverarbeitungsanlage zu senden, wobei zudem die Positionen aller Berührungspunkte, welche die positionsauflösende berührungssensitive Eingabefläche wahrnimmt, von dieser laufend an die Datenverarbeitungsanlage gesendet werden und für jeden wahrgenommenen Berührungspunkt und für die jeweils von einem Eingabegerät gesendeten Daten die Wahrscheinlichkeit berechnet wird, mit welcher eine Korrelation dieser Daten vorliegt, wobei zuerst festgestellt wird, ob eine zeitliche Korrelation des Auftretens eines Signals des Kontaktsensors eines oder mehrerer Eingabegeräte mit dem Auftreten eines oder mehrerer Berührungspunkte vorliegt und wenn ja festgestellt wird, mit welcher Wahrscheinlichkeit der Verlauf eines Berührungspunktes auf der positionsauflösenden berührungssensitiven Eingabefläche und der Verlauf der vom Inertialsensor detektierten räumlichen Bewegung eines Eingabegeräts dieselbe bzw. eine korrelierende Bewegung beschreiben.

[0013] Die Zuordnung von Eingabeobjekten und Eingabegeräten kann nach folgendem Schema erfolgen:

[0014] Sobald die Datenverarbeitungsanlage das Auftauchen eines Berührungspunkts auf einer Eingabefläche wahrnimmt, ermittelt diese, ob innerhalb einer kurzen Zeit vor oder nach dem Erscheinen des Berührungspunkts die Kontaktsensoren von einem oder mehreren Eingabegeräten aktiv wurden oder werden. Wenn ja werden die möglichen Kombinationen von Berührungspunkten auf der Eingabefläche und Berührungssignale von Kontaktsensoren gespeichert. Es ergeben sich folgende Möglichkeiten:

[0015] - Es gibt keine zeitliche Korrelation eines Berührungssignals eines Kontaktsensors mit dem Auftauchen eines Berührungspunkts, dann wird der Berührungspunkt als „nopen touch“, also als nicht durch ein Eingabegerät hervorgerufen, behandelt.

[0016] - Das Auftauchen genau eines Berührungspunkts auf der Eingabeflächen korreliert zeitlich mit genau einem Berührungssignal eines Kontaktsensors, dann kann dieser Berührungspunkt als „pen touch“, also als durch ein Eingabegerät hervorgerufen, behandelt werden.

[0017] - Wenn es mehrere zeitliche Korrelationen zwischen dem Auftauchen von Berührungspunkten auf der Eingabefläche und dem Auftauchen von Berührungssignalen von Kontaktsensoren gibt, wird jeder möglichen Korrelationskombination ein Wahrscheinlichkeitswert zugeordnet, der angibt, wie wahrscheinlich es ist, dass ein Eingabegerät mit dem der Korrelationskombination zugehörigen Kontaktsensor eine Eingabefläche an dem Ort berührt hat, an dem der der Korrelationskombination zugehörige Berührungspunkt aufgetaucht ist. In diesem Fall werden die Schritte a-c ausgeführt.

[0018] a. Der Wahrscheinlichkeitswert jeder Korrelationskombination wird in der Folge in sehr kurzen, beispielsweise regelmäßigen, Zeitabständen aktualisiert. Hierfür werden einerseits die Daten des der Korrelationskombination zugehörigen Kontaktsensors mit der Aktivität des der Korrelationskombination zugehörigen Berührungspunkts abgeglichen, andererseits die Bewegungsdaten des der Korrelations

2/17

AT519 427 B1 2019-02-15 österreichisches

Patentamt kombination zugehörigen Inertialsensors mit der Bewegungstrajektorie des der Korrelationskombination zugehörigen Berührungspunkts. Wenn es eine hohe Übereinstimmung der abgeglichenen Daten gibt, steigt der Wahrscheinlichkeitswert der Korrelationskombination, anderenfalls sinkt er.

[0019] b. Nach jeder Aktualisierung der Wahrscheinlichkeitswerte für alle zu einem Zeitpunkt auftretenden Korrelationskombinationen wird jede mögliche Korrelationskombination, deren Wert unter eine bestimmte Schwelle sinkt, gelöscht und/oder der Berührungspunkt jener Korrelationskombination, deren Wahrscheinlichkeitswert um einen bestimmten Faktor über den Wahrscheinlichkeitswert aller konkurrierenden Korrelationskombinationen steigt, als „pen touch“ behandelt, sowie die konkurrierenden Korrelationskombinationen gelöscht.

[0020] c. Anschließend wird für jeden Berührungspunkt geprüft, ob noch mögliche Korrelationskombinationen vorliegen. Im Falle, dass keine vorliegt, wird der Berührungspunkt als „no-pen touch“ behandelt. Falls genau eine vorliegt, wird der Berührungspunkt als „pen touch“ behandelt.

[0021] Unter Korrelationskombination ist eine mögliche Kombination von Eingabegerät und Berührungspunkt zu verstehen. Die Anzahl der Korrelationskombinationen ergibt sich aus der Anzahl von Berührungspunkten multipliziert mit der Anzahl von Berührungssignalen, deren Auftreten zeitlich korreliert.

[0022] Bei zeitlicher Korrelation des Auftretens dreier Berührungspunkte auf der Eingabefläche und zweier Berührungssignale von Eingabegeräten beträgt die Anzahl der möglichen Korrelationskombinationen sechs.

[0023] Konkurrierende Korrelationskombinationen sind Korrelationskombinationen, welche ein Eingabegerät oder einen Berührungspunkt gemeinsam haben, sodass sich diese konkurrierenden Korrelationskombinationen gegenseitig ausschließen. Wird beispielsweise eines von zwei möglichen Eingabegeräten einem von drei möglichen Berührungspunkten als „pen-touch“ zugeordnet, dann stehen für das zweite Eingabegeräten nur noch zwei mögliche Berührungspunkte zur Verfügung. Es wurde daher eine Korrelationskombination bestätigt und drei konkurrierende Korrelationskombinationen gelöscht, sodass nur noch zwei mögliche Korrelationskombinationen verbleiben.

[0024] Vorteilhaft an der gegenständlichen Erfindung ist, dass die Eingabegeräte, auch wenn diese nicht die Funktionalität einer Computermaus aufweisen, untereinander und von anderen Eingabeobjekten unterschieden werden können. Die Eingabegeräte können also einen einfacheren Aufbau als eine Computermaus, insbesondere ein geschlossenes und somit schmutzresistentes Gehäuse, aufweisen.

[0025] Die gegenständliche Erfindung ermöglicht somit vorteilhaft die Unterscheidung von Eingabegeräten, wie beispielsweise aus den US2016139690A1 und US2014146021A1 bekannt, untereinander und von anderen Eingabeobjekten bei Eingabe an einer oder mehreren Eingabeflächen und daher die unterschiedliche Behandlung der Eingaben unterschiedlicher Eingabegeräte und Eingabeobjekte.

[0026] Die Erfindung wird an Hand von Zeichnungen zu beispielhaften erfindungsgemäßen Ausführungsvarianten veranschaulicht:

[0027] Fig. 1: zeigt schematisch die Komponenten, welche zur Umsetzung des erfindungsgemäßen Verfahrens benötigt werden.

[0028] Fig. 2: verdeutlicht schematisch das erfindungsgemäße Verfahren, indem die Signale dargestellt sind, anhand welcher die Datenverarbeitungsanlage die Zuordnung von Eingabegeräten zu Berührungspunkten vornimmt.

[0029] Fig. 3: zeigt schematisch die durch die Datenverarbeitungsanlage vorgenommene Zuordnung von Eingabegeräten zu Berührungspunkten, anhand der erhaltenen Signale der Fig. 2.

3/17

AT519 427 B1 2019-02-15 österreichisches

Patentamt [0030] Fig. 4: zeigt schematisch drei zeitgleich auftretende Berührungspunkte an der Eingabefläche und die Signale der Kontaktsensoren von zwei Eingabegeräten zum Zeitpunkt des Auftretens.

[0031] Fig. 5: zeigt schematisch die Zeitpunkte des Verschwindens der drei zeitgleich auftretenden Berührungspunkte an der Eingabefläche und die Signale der Kontaktsensoren von zwei Eingabegeräten nach Verschwinden aller Berührungspunkte.

[0032] Fig. 6: zeigt schematisch die durch die Datenverarbeitungsanlage vorgenommene Zuordnung von Eingabegeräten zu Berührungspunkten, anhand der erhaltenen Signale der Fig. 3 und Fig. 4.

[0033] Fig. 7: zeigt schematisch eine Variante mit Nutzung eines optischen Sensors im Eingabegerät.

[0034] In Fig. 1 ist schematisch das System, welches zur Umsetzung des erfindungsgemäßen Verfahrens benötigt wird, dargestellt. Das System umfasst eine berührungssensitive, positionsauflösende Eingabefläche 1, welche als Touchpad oder als Touchscreen vorliegen kann. Die Eingabefläche 1 ist in der Lage mehrere Berührungsereignisse gleichzeitig zu erkennen. Eine solche Eingabefläche wird als multitouchfähige Eingabefläche bezeichnet. Das Berührungsereignis kann ausgelöst werden, wenn ein Objekt die Eingabefläche 1 berührt, oder bereits bei Annäherung des Objekts, wenn dieses eine gewisse Distanz zur Eingabefläche 1 unterschreitet.

[0035] Das System umfasst weiters ein Eingabegerät 2, welches zumindest einen Kontaktsensor 3 und zumindest einen Inertialsensor 4 aufweist. Der Kontaktsensor 3 liefert ein Signal, welches aussagt, dass das Eingabegerät 2 mit jenem Ende, an welchem der Kontaktsensor 3 angeordnet ist, an einer Oberfläche anliegt. Alternativ bzw. zudem kann der Kontaktsensor 3 bereits vor Berührung ein Signal liefern, welches aussagt, dass sich das Eingabegerät 2 in unmittelbarer Nähe zu einer Oberfläche befindet, also eine gewisse Distanz zur Oberfläche unterschreitet. Der Kontaktsensor 3 kann beispielsweise nach dem mechanischen, kapazitiven oder optischen Prinzip arbeiten.

[0036] Der Inertialsensor 4 erfasst Beschleunigungen oder Drehraten in bzw. um zumindest eine Raumachse. Der Inertialsensor 4 erfasst Beschleunigungen in zumindest einer bevorzugt zwei oder besonders bevorzugt allen drei Raumrichtungen. Bevorzugt erfasst der Inertialsensor 4 zudem Drehraten um zumindest eine bevorzugt zumindest zwei oder besonders bevorzugt alle drei Raumrichtungen. Besonders bevorzugt kann der Inertialsensor 4 als inertiale Messeinheit zur Erfassung der sechs möglichen kinematischen Freiheitsgrade vorliegen, umfassend drei jeweils aufeinander orthogonal stehende Beschleunigungssensoren (Translationssensoren) für die Erfassung der translatorischen Bewegung in x- bzw. y- bzw. z-Achse und drei orthogonal zueinander angebrachte Drehratensensoren (Gyroskopische Sensoren) für die Erfassung rotierender (kreisender) Bewegungen in x- bzw. y- bzw. z-Achse. Der Inertialsensor 4 befindet sich bevorzugt möglichst nahe an dem Ende bzw. der Spitze, mit welchem das Eingabegerät 2 die Eingabefläche 1 berührt, sodass die vom Inertialsensor 4 wahrgenommene Bewegung möglichst exakt der Bewegung der Spitze des Eingabegeräts 2 entspricht und somit jener von der Eingabefläche 1 detektierten Bewegung des Berührungspunktes entspricht.

[0037] Das System umfasst weiters eine Datenverarbeitungsanlage 5, welche die Signale der Eingabefläche 1 und der Eingabegeräte 2 empfängt und verarbeitet.

[0038] Das System kann bevorzugt zudem mindestens ein zusätzliches Eingabegerät 6 umfassen, welches so wie das Eingabegerät 2 zumindest einen Kontaktsensor 7 und zumindest einen Inertialsensor 8 aufweist.

[0039] Zudem kann das System eine beliebige Anzahl weiterer Eingabeobjekte umfassen, welche ebenfalls mit Sensoren ausgestattet sein können, oder ohne Sensoren vorliegen können und welche von der berührungssensitiven, positionsauflösenden Eingabefläche 1 bei Berührung

4/17

AT519 427 B1 2019-02-15 österreichisches

Patentamt oder Annäherung wahrgenommen werden. Diese weiteren Eingabeobjekte umfassen insbesondere auch die Finger von Benutzern des Systems.

[0040] Auf der Eingabefläche 1 ist eine Bewegungsbahn 9 eines Berührungspunktes dargestellt. Das der gegenständlichen Erfindung zugrunde liegende Problem besteht darin, dass die Datenverarbeitungsanlage 5 ohne weitere Informationen nicht feststellen kann, welches Eingabeobjekt die Bewegungsbahn 9 verursacht hat. Für die bekannte Steuerung von Anwendungen ist dieses Problem unerheblich, da diese der Eingabe mit unterschiedlichen Eingabeobjekten keine unterschiedliche Bedeutung zuordnet. Beispielsweise macht es keinen Unterschied ob über einen Touchscreen eine Datei mit einem Eingabestift (Touchpen) oder mit dem Finger geöffnet wird.

[0041] Die erfindungsgemäße Lösung für das Problem sieht vor, dass ein Eingabegerät 2 zur Eingabe verwendet wird, welches einen Kontaktsensor 3 als Näherungs- oder Berührungssensor und einen Sensor zur Detektion von Relativbewegungen im Raum aufweist, beispielsweise zumindest einen Inertialsensor 4, wobei die Datenverarbeitungsanlage 5 zur Zuordnung zuerst prüft, ob die Bewegungsbahn 9 auf der Eingabefläche 1 zeitgleich mit dem Signal des Kontaktsensors 3 aufgetaucht ist. Da selbst in diesem Fall eine Fehlzuweisung möglich ist, nämlich wenn das Eingabegerät 2 zum gleichen Zeitpunkt auf einer beliebigen Oberfläche aufgesetzt wird, wie ein anderes Eingabeobjekt an der Eingabefläche 1, wird im zweiten Schritt geprüft, ob die Bewegungsbahn des Eingabegeräts 2 ident zur Bewegungsbahn 9 sein kann, wozu das Signal des Inertialsensors 4 und das Signal der Eingabefläche 1 verglichen werden. Bei Verwendung nur eines Eingabegeräts 2 könnte der zweite Schritt unterbleiben, da es unwahrscheinlich scheint, dass das Eingabegerät 2 zeitgleich an einer anderen Oberfläche aufgesetzt wird, wie ein beliebiges Eingabeobjekt auf der Eingabefläche 1. Der zweite Schritt ist aber jedenfalls dann für eine eindeutige Zuordnung eines Eingabegerät 2 zu einem Berührungspunkt besonders wertvoll, wenn eine Vielzahl von Eingabeobjekten gleichzeitig zur Dateneingabe an der Eingabefläche 1 verwendet werden, da es in diesem Fall häufig dazu kommen kann, dass Eingabeobjekte zeitgleich bzw. zeitnah an die Eingabefläche 1 aufgesetzt werden.

[0042] In Fig. 2 ist eine Situation veranschaulicht, in welcher zwei Eingabegeräte 2, 6 verwendet werden, welche die Daten ihrer Kontaktsensoren 3, 7 und die Daten ihrer Inertialsensoren 4, 8 an die Datenverarbeitungsanlage 5 senden. Zudem wird eine Eingabefläche 1 verwendet, welche die Positionsdaten von Berührungspunkten an die Datenverarbeitungsanlage 5 sendet.

[0043] Die Eingabefläche 1 detektiert im Beispiel der Fig. 2 drei zeitgleich zum Zeitpunkt t₀auftretende Berührungspunkte. Durch die zeitliche Korrelation des Auftretens dreier Berührungspunkte auf der Eingabefläche 1 und zweier Berührungssignale von Eingabegeräten 2, 6 beträgt die Anzahl der möglichen Korrelationskombinationen sechs. Die Objekte werden unterschiedlich (hinsichtlich Beschleunigung, Geschwindigkeit und/oder Richtung) bis zum Zeitpunkt der Momentaufnahme der Fig. 2 entlang der Oberfläche der Eingabefläche 1 verschoben. Die Verschiebung der berührenden Objekte auf der Eingabefläche 1 hat eine Verschiebung der Berührungspunkte zur Folge, woraus für jeden Berührungspunkt einen Bewegungsbahn 9, 10, 11 in der Ebene der Eingabefläche 1 resultiert. Da die Eingabefläche 1 lediglich die Bewegungsbahnen 9, 10, 11 der Berührungspunkte übermittelt, kann die Datenverarbeitungsanlage 5 nicht feststellen, welches Objekt welchen Berührungspunkt hervorgerufen hat.

[0044] Durch die Verwendung der Eingabegeräte 2, 6 empfängt die Datenverarbeitungsanlage 5 zudem die Bewegungsdaten der Inertialsensoren 4, 8 des jeweiligen Eingabegeräts 2, 6. Das Eingabegerät 2 legt beispielsweise eine Bewegungsbahn 12 im Raum zurück, wobei der Inertialsensor 4 zumindest die Beschleunigung entlang einer Richtung des Eingabegeräts 2 erfasst. Das zweite Eingabegerät 6 legt beispielsweise eine Bewegungsbahn 13 im Raum zurück, wobei der Inertialsensor 8 zumindest die Beschleunigung entlang einer Richtung des zweiten Eingabegeräts 6 erfasst. Die Inertialsensoren 4, 8 erfassen dabei beispielsweise zumindest Beschleunigungen in einer Raumrichtung, welche durch den Pfeil ausgehend vom jeweiligen Inertialsensor 4, 8 dargestellt ist. Sofern der Inertialsensor 4, 8 Beschleunigungen in nur einer oder zwei Raumrichtungen misst, liegen diese Raumrichtungen bevorzugt in einer Ebene mit

5/17

AT519 427 B1 2019-02-15 österreichisches

Patentamt

Winkel 90° zur Längsrichtung des Eingabegeräts 2, 6, welche sich von der Spitze bis zum Ende dessen erstreckt. Da die Längsrichtung des Eingabegeräts 2, 6 bei Berührung einer Oberfläche winkelig also zumindest nicht parallel zu dieser ausgerichtet ist, besteht ein Bezug des Sensorsignals des Inertialsensors 4, 8 entlang der genannten Raumrichtung und der von der Eingabefläche 1 detektierten Bewegungsbahn von Berührungspunkten.

[0045] Zudem empfängt die Datenverarbeitungsanlage 5 die Signale der Kontaktsensoren 3, 7 der beiden Eingabegeräte 2, 6. Diese liefern beispielsweise ebenfalls zum Zeitpunkt t₀ ein Signal, wonach diese eine Oberfläche berühren, also zeitgleich zum Auftreten der Berührungspunkte auf der Eingabefläche 1.

[0046] Die Datenverarbeitungsanlage 5 ist nicht in der Lage ein Eingabegerät 2, 6 einem Berührungspunkt zum Zeitpunkt t₀ eindeutig zuzuordnen, da jedes Eingabegerät 2, 6, dessen Kontaktsensor 3, 7 zum Zeitpunkt t₀ ein Berührungssignal liefert, an jedem zum Zeitpunkt t₀auftretenden Berührungspunkt platziert sein könnte.

[0047] Beim erfindungsgemäßen Verfahren wird beim Auftreten zumindest eines Berührungspunktes auf der positionsauflösenden berührungssensitiven Eingabefläche 1 und/oder bei jedem Auftreten eines Berührungssignals eines Kontaktsensors 3, 7 eines oder mehrerer Eingabegeräte 2, 6 im ersten Schritt festgestellt, ob eine zeitliche Korrelation des Auftretens eines Berührungssignals eines Kontaktsensors 3, 7 eines oder mehrerer Eingabegeräte 2, 6 mit dem Auftreten eines oder mehrerer Berührungspunkte auf der positionsauflösenden berührungssensitiven Eingabefläche 1 vorliegt.

[0048] Da diese Voraussetzung erfüllt ist, wird im zweiten Schritt für alle zeitgleich aufgetretenen Signale in sehr kurzen Zeitabständen festgestellt, mit welcher Wahrscheinlichkeit der zeitliche Verlauf eines Berührungspunktes, also die jeweilige Bewegungsbahn 9, 10, 11, auf der positionsauflösenden berührungssensitiven Eingabefläche 1 und der Verlauf einer von einem Inertialsensor 4, 8 detektierten Bewegung, also einer räumliche Bewegungsbahn 12, 13 eines Eingabegeräts 2, 6 oder zumindest eine Komponente dieser, dieselbe bzw. eine korrelierende Bewegung beschreiben, oder anders gesagt wird für jede mögliche Korrelationskombination in sehr kurzen Zeitabständen ein Wahrscheinlichkeitswert bestimmt und mit den Wahrscheinlichkeitswerten aller anderen Korrelationskombination verglichen.

[0049] Im dritten Schritt wird ein Eingabegerät 2, 6 einem Berührungspunkt zugeordnet, wenn die Wahrscheinlichkeit, dass der zeitliche Verlauf eines Berührungspunktes, also die jeweilige Bewegungsbahn 9, 10, 11, und der Verlauf der vom Inertialsensor 4, 8 detektierten Bewegung, also eine Bewegungsbahn 12, 13 eines Eingabegeräts 2, 6 dieselbe bzw. eine korrelierende Bewegung beschreiben, einen Schwellwert übersteigt, bzw. der Wahrscheinlichkeitswert einer Korrelationskombination einen gewissen Schwellwert größer ist, als jene aller konkurrierenden Korrelationskombinationen.

[0050] Im Beispiel der Fig. 2 korreliert die Bewegungsbahn 9 auf der Eingabefläche 1 mit der räumlichen Bewegungsbahn 12 des Eingabegeräts 2 ab dem Startzeitpunkt t₀, sodass die Datenverarbeitungsanlage 5 das Eingabegerät 2 dem Berührungspunkt mit der Bewegungsbahn 9 eindeutig zuordnen kann. Im Beispiel der Fig. 2 korreliert die Bewegungsbahn 10 auf der Eingabefläche 1 mit der räumlichen Bewegungsbahn 13 des Eingabegeräts 6 im Raum, sodass die Datenverarbeitungsanlage 5 das Eingabegerät 6 dem Berührungspunkt mit der Bewegungsbahn 10 eindeutig zuordnen kann. Der Zeitpunkt, zu welchem diese eindeutige Zuordnung erfolgen kann, ist variabel und hängt vom Verlauf der Signale und den daraus berechneten Wahrscheinlichkeitswerten aller möglichen Korrelationskombinationen ab.

[0051] Da keine der räumlichen Bewegungsbahnen 12, 13 mit der Bewegungsbahn 11 auf der Eingabefläche 1 korreliert, wird dieser Bewegungsbahn 11 durch die Datenverarbeitungsanlage 5 die Bedeutung eines beliebigen Eingabeobjekts 14 zugeordnet, welches von den Berührungsereignissen durch Eingabegeräte 2, 6 eindeutig unterscheidbar ist.

[0052] Sollten mehrere Berührungspunkte durch beliebige weitere Eingabeobjekte 14, welche selbst keine Sensoren aufweisen, vorhanden sein, lässt sich durch die Datenverarbeitungsan

6/17

AT519 427 B1 2019-02-15 österreichisches

Patentamt läge 5 nicht unterscheiden, welches dieser Eingabeobjekte 14 sich an welcher Position befindet. Die Eingabegeräte 2, 6 und jedes weitere Eingabegerät 2, 6 können aber weiterhin einem Berührungsereignis eindeutig zugeordnet werden.

[0053] Durch die eindeutige Zuordnung von Eingabegeräten 2, 6 also einer Bedeutung „pen touch“ zu Berührungsbahnen 9, 10 und der Zuordnung der Bedeutung „nicht durch Eingabegeräte verursacht Berührung“ bzw. „no-pen touch zu allen weiteren Berührungsbahnen 11, kann die Datenverarbeitungsanlag gemäß Fig. 3 die tatsächliche Anordnung von Objekten an der Eingabefläche 1 ermitteln und somit den Eingaben jedes Eingabegeräts 2, 6 eine unterschiedliche Bedeutung zuordnen.

[0054] Beispielsweise kann das erste Eingabegerät 2, durch eine in der Datenverarbeitungsanlage 5 gespeicherte Steuerungsvorschrift, einem ersten Benutzer zugeordnet sein, welchem andere Funktion der Datenverarbeitungsanlage 5 zur Verfügung stehen, als jenem Benutzer, welchen die Datenverarbeitungsanlage 5 dem zweiten Eingabegerät 6 zuordnet. Zudem können natürlich zu Eingabegeräten 2, 6 und anderen Eingabeobjekten 14 unterschiedliche Steuerungsvorschriften in der Datenverarbeitungsanlage 5 hinterlegt sein, sodass beispielsweise nur mit Eingabegeräten 2, 6 Eingaben getätigt werden können und Eingaben mit anderen Eingabeobjekten 14 von der Datenverarbeitungsanlagen 5 ignoriert werden. So lassen sich vorteilhaft Fehleingaben durch unbeabsichtigte Berührung der Eingabefläche 1 erkennen und vermeiden. Ein Beispiel dafür ist die unbeabsichtigte Berührung durch den Handballen (palm touch), welche durch die gegenständliche Erfindung eindeutig von Eingaben mit Eingabegeräten 2, 6 unterscheidbar ist.

[0055] In den Fig. 4 bis 6 ist eine zusätzliche Identifikationsmöglichkeit gezeigt, welche vorteilhaft parallel bzw. zusätzlich zur zuvor beschriebenen Identifikation erfolgt. Für jedes Berührungsereignis existiert neben dem Startzeitpunkt t₀ der Berührung mit dem Endzeitpunkt der Berührung ein weiterer charakteristischer Zeitpunkt, welcher zur Identifikation der Eingabegeräte 2, 6 herangezogen werden kann. Dies ist insbesondere hilfreich, wenn kurzzeitige Eingaben erfolgen, ohne Bewegung der Eingabeobjekte, wie es beispielsweise beim Anklicken von Icons oder Buttons der Fall ist. In diesem Fall registriert die Eingabefläche 1 keine Bewegung des Berührungspunktes. Sollten gemäß dem Beispiel der Fig. 4 mehrere Berührungspunkte 15, 16, 17 auf der Eingabefläche 1 zeitgleich zum Zeitpunkt t₀ auftreten und ein oder mehrere Kontaktsensoren 3, 7 zeitgleich zum Zeitpunkt t₀ ein Signal geben, wonach diese an einer Oberfläche anliegen, dann ist zum Zeitpunkt t₀ für die Datenverarbeitungsanlage 5 nicht erkennbar, ob ein und welches Eingabegerät 2, 6 einen Berührungspunkt 15, 16, 17 verursacht hat. Detektieren weder die Eingabefläche 1 noch der Inertialsensor 4, 8 eines oder beide Eingabegeräte 2, 6 nachfolgend eine Bewegung, dann kann weiter keine Zuordnung erfolgen. In diesem Fall kann die Zuordnung von Eingabegeräten 2, 6 zu Berührungspunkten 15, 16, 17 über den jeweiligen Zeitpunkt bestimmt werden, bei welchem die Berührungspunkte 15, 16, 17 und die Berührungssignale der Kontaktsensoren 3, 7 wieder verschwinden. In Fig. 5 ist unterhalb der Eingabefläche 1 der Signalverlauf der Kontaktsensoren 3, 7 zweier Eingabegeräte 2, 6 dargestellt. Im Bespiel der Fig. 5 erfolgt das Verschwinden des Berührungssignals des Kontaktsensors 3 des ersten Eingabegeräts 2 und das Verschwinden des Berührungspunktes 17 zeitgleich zum Zeitpunkt L. Das Verschwinden des Berührungssignals des Kontaktsensors 7 des zweiten Eingabegeräts 6 und das Verschwinden des Berührungspunktes 16 erfolgt zeitgleich zum Zeitpunkt t₃. Das Verschwinden des Berührungspunktes 15 fällt mit keinem Verschwinden eines Berührungssignals eines Kontaktsensors 3, 7 zusammen. Wie in Fig. 6 dargestellt kann die Datenverarbeitungsanlage 5 ab dem Zeitpunkt L das Eingabegerät 2 dem Berührungspunkt 17 zuordnen und ab dem Zeitpunkt t₂ ein nicht näher definiertes Eingabeobjekt 14 dem Berührungspunkt 15. Das Eingabegerät 6 kann ab dem Zeitpunkt t2 mit hoher Wahrscheinlichkeit dem Berührungspunkt 16 zugeordnet werden, wobei das zeitgleiche Verschwinden des Berührungssignals des Kontaktsensors 7 des zweiten Eingabegeräts 6 und das Verschwinden des Berührungspunktes 16 als Bestätigung der gegebenenfalls bereits erfolgten Zuordnung verwendet werden kann.

[0056] Es ist anzumerken, dass auch bei dem Beispiel der Fig. 4-6 die von der Eingabefläche 1 detektierte Bewegungsbahn des Berührungspunkts 17 mit der Bewegungsbahn des Eingabege

7/17

AT519 427 B1 2019-02-15 österreichisches

Patentamt räts 2 korreliert und die von der Eingabefläche 1 detektierte Bewegungsbahn des Berührungspunkts 16 mit der Bewegungsbahn des zweiten Eingabegeräts 6 korreliert. Jedoch korrelieren die räumlichen Bewegungsbahnen der Eingabegeräte 2, 6 mit jeder der Bewegungsbahnen der Berührungspunkte 15, 16, 17 bis zu einem gewissen Zeitpunkt t^ [0057] Die Korrelation der Bewegungsbahn des Eingabegeräts 2 mit den Bewegungsbahnen der Berührungspunkte 15 und 16 endet aber jedenfalls zum Zeitpunkt G wobei auch die Korrelation der Bewegungsbahn des zweiten Eingabegeräts 6 mit der Bewegungsbahn des Berührungspunkts 17 zum Zeitpunkt endet. Konkret registriert der Inertialsensor 4 des Eingabegeräts 2 zum Zeitpunkt eine Bewegung, während die Berührungspunkte 15 und 16 sich weiter nicht bewegen, sodass das Eingabegerät 2 auch aufgrund der vom Inertialsensor 4 registrierten Bewegung eindeutig dem Berührungspunkt 17 zugeordnet werden kann.

[0058] Allgemein kann daher festgehalten werden, dass die Bewegungsbahnen aller zeitgleich auftretenden Berührungspunkte 15, 16, 17 auf der Eingabefläche 1 mit den Bewegungsbahnen aller zur selben Zeit an einer Oberfläche angelegten Eingabegeräten 2, 6 solange verglichen werden, bis für jedes Eingabegerät 2, 6 entweder mit ausreichender Wahrscheinlichkeit ein Berührungspunkt 15, 16, 17 zugeordnet werden kann, oder mit ausreichender Wahrscheinlichkeit die Korrelation mit jedem Berührungspunkt 15, 16, 17 ausgeschlossen werden kann. Sollte bis zum Verschwinden eines Berührungspunkts 15, 16, 17 keine Zuordnung erfolgt sein, kann der weitere Verlauf des Signals des Inertialsensors 4, 8 und/oder das Wegfällen des Berührungssignals des Kontaktsensors 3, 7 verwendet werden, um die Korrelation nachträglich festzustellen bzw. das Nichtvorliegen einer Korrelation zu bestätigen. Welche Berührungsereignisse als zeitgleich bewertet werden, hängt maßgeblich von der Messfrequenz und Übertragungsrate der Eingabefläche 1 und der Eingabegeräte 2, 6 ab, sodass alle innerhalb einer gewissen Zeitspanne auftretenden Berührungspunkte 15, 16, 17 der Eingabefläche 1 und Berührungssignale der Kontaktsensoren 3, 7 als zeitgleich behandelt werden. Alle innerhalb einer Zeitspanne auftretenden Berührungspunkte 15, 16, 17 und Berührungssignale, welche potentiell dasselbe Berührungsereignis widergeben, werden als zeitlich korrelierend bezeichnet.

[0059] Eine bevorzugte Ausführungsvariante sieht vor, dass mehrere Eingabeflächen 1 vorhanden sind, wobei mehrere Eingabeflächen 1 mit einer Datenverarbeitungsanlage 5 verbunden sein können, oder jede Eingabeflächen 1 eine eigene Datenverarbeitungsanlage 5 aufweist, wobei diese Datenverarbeitungsanlagen 5 vorteilhaft untereinander über Intra- oder Internet, Funk, LAN oder WLAN verbunden sind.

[0060] Durch das erfindungsgemäße Verfahren ist durch eine oder mehrere Datenverarbeitungsanlagen 5 feststellbar, welche Eingabefläche 1 von welchem Eingabegerät 2, 6 berührt wird. Sollten mehrere Datenverarbeitungsanlagen 5 vorhanden sein, so ist es vorteilhaft, wenn die Eingabegerät 2, 6 die Signale ihres Inertialsensors 4, 8 und ihres Kontaktsensors 3, 7 drahtlos an die Datenverarbeitungsanlagen 5 übermitteln, beispielsweise mit Funk oder WLAN. Beispielsweise können Eingabegeräte 2, 6 zusätzlich zu den Signalen ihres Inertialsensors 4, 8 und ihres Kontaktsensors 3, 7 eine eindeutige Kennung wie eine Seriennummer oder eine digitale Signatur an die Datenverarbeitungsanlagen 5 übermitteln, sodass die Datenverarbeitungsanlagen 5 gemäß einer hinterlegten Steuerungsvorschrift jedem Eingabegerät 2, 6 eine individuelle Bedeutung zuordnen können. Beispielsweise kann einem Eingabegeräte 2 die Bedeutung eines Administrator-Eingabegeräts zugewiesen werden, mit welchem bei sämtlichen vorhandenen Datenverarbeitungsanlagen 5 durch bloßes Berühren bzw. Bewegen des Eingabegeräts 2 auf der Eingabefläche 1 eine Anmeldung und ein Vollzugriff auf alle Funktionen erfolgen kann. Andererseits kann einem Eingabegeräte 2 ein herkömmlicher Benutzer zugewiesen sein, sodass dieser Benutzer beispielsweise bei seiner Datenverarbeitungsanlagen 5 Vollzugriff herstellen kann und bei anderen Datenverarbeitungsanlagen 5 nur die für ihn freigegebenen Funktionen und/oder Laufwerke zur Verfügung hat.

[0061] Dabei ist vorteilhaft erfassbar und speicherbar, mit welchem Eingabegerät 2, 6 welche Eingaben an welcher Datenverarbeitungsanlagen 5 vorgenommen wurden.

[0062] Auf jeder Datenverarbeitungsanlage 5 können Anwendungen bzw. Programme ausge

8/17

AT519 427 B1 2019-02-15 österreichisches

Patentamt führt werden, die sowohl Eingaben mit einem Eingabegerät 2, 6 als auch Eingaben durch beliebige nicht identifizierbare Eingabeobjekte verarbeiten und diese unterschiedlich behandeln können. Beispielsweise können Eingabegeräte 2, 6 verwendet werden, um zu zeichnen oder frei Hand zu schreiben, während andere Eingabeobjekte Icons oder Objekte auszuwählen können und/oder Ansichten oder Objekte drehen oder zoomen können.

[0063] Jedes Eingabegerät 2, 6 kann weitere Sensoren, Taster oder Schalter aufweisen, sodass die Daten der Sensoren und Zustände der Taster oder Schalter einem Berührungspunkt 15, 16, 17 auf der Eingabefläche 1 zugeordnet werden können. Beispielsweise kann durch Betätigung eines Tasters auf dem Eingabegerät 2, 6 eine virtuelle Farbe ausgewählt werden, mit welcher mit dem Eingabegerät 2, 6 auf der Eingabefläche 1 gezeichnet wird.

[0064] Beispielsweise kann ein Eingabegerät 2, 6 einen biometrischen Sensor wie einen Fingerabdruckscanner aufweisen, sodass dieses selbst seinen Benutzer identifizieren kann, bzw. die Datenverarbeitungsanlage 5 aus den Daten des biometrischen Sensors den Benutzer ermitteln kann.

[0065] Bevorzugt kann bei Verwendung eines Touchscreens als Eingabefläche 1 nach erfolgter Identifizierung bzw. Zuordnung der Eingabegeräte 2, 6 zu Berührungspunkten 15, 16, 17 eine individuelle Eingabemarkierung (Cursor beziehungsweise Mauszeiger) für jedes Eingabegerät 2, 6 am jeweiligen Berührungspunkt 15, 16, 17 erscheinen, um eine optische Kontrolle der Zuordnung durch den Benutzer zu ermöglichen. Bei kurzen Eingaben kann die individuelle Eingabemarkierung über die Dauer der Eingabe hinaus dargestellt werden. Bei Steuerung eines beliebigen Bildschirms mit einem Touchpad als Eingabefläche 1 können die am Bildschirm dargestellten Eingabemarkierungen, welche Berührungspositionen von Eingabegeräten 2, 6 am Touchpad repräsentieren, individuell für die Eingabegeräte 2, 6 bzw. den zu den Eingabegeräten 2, 6 zugeordneten Benutzern dargestellt werden.

[0066] In den Figuren ist das Eingabegerät 2, 6 rein beispielhaft veranschaulicht, wobei dieses eine beliebige Form aufweisen kann, wobei es vorteilhaft ist, jenes Ende oder Enden mit welchen die Eingabefläche 1 mit Kontaktsensoren 3, 7 zu berühren ist, als Spitze auszubilden. Für den Fall, dass kapazitive Eingabeflächen 1 zum Einsatz kommen, ist es vorteilhaft Enden des Eingabegeräts 2, 6 , an welchen sich ein Kontaktsensor 3, 7 befindet, etwas größer auszuführen, da sehr kleine Spitzen mit einer kapazitiven Eingabefläche 1 nur schwer detektierbar sind. Für den Fall, dass auch eine induktive Eingabefläche 1 verwendbar sein soll, kann in der Spitze des Eingabegeräts 2 eine Spule bzw. Leiterschleife integriert sein.

[0067] Wenn das Eingabegerät 2, 6 einen breiten, wie dargestellt beispielsweise runden, Kopf mit einer eingesetzten Spule aufweist, kann dieses sowohl zur Eingabe an kapazitiven Eingabeflächen 1 als auch zur Eingabe an induktive Eingabeflächen 1 verwendet werden. Für die Eingabe an optischen Eingabeflächen 1 (beispielsweise mit Nutzung totaler interner Reflexion), drucksensitiven Eingabeflächen oder resistiven Eingabeflächen 1 eignen sich jegliche Eingabeobjekte, sodass mit einem Eingabegerät 2, 6 mit größerem Kopf und Spule an allen gebräuchlichen Eingabeflächen 1 das erfindungsgemäße Verfahren anwendbar ist.

[0068] Bevorzugt sind sowohl der Inertialsensor 4 als auch der Kontaktsensor 3 in einem geschlossenen Gehäuse des Eingabegeräts 2 angebracht. Der Kontaktsensor 3 kann dabei als induktiver oder kapazitiver Distanzsensor vorliegen. Der Kontaktsensor 3 kann alternativ zur Detektion von Berührungen auch Kräfte wahrnehmen, beispielsweise indem dieser Dehnmessstreifen oder Piezoelemente umfasst. Der Kontaktsensor 3 kann ein Taster sein. Der Kontaktsensor 3 kann ein optischer Sensor sein oder einen solchen umfassen, beispielsweise einen optischen Distanzsensor oder einen Intensitätssensor, wobei dieser bevorzugt hinter einem transparenten oder zumindest teiltransparenten Abschnitt des Gehäuses des Eingabegeräts 2 angebracht ist.

[0069] Wenn das Eingabegerät 2 zumindest einen optischen Sensor aufweist, kann dieser beispielsweise die Lichtintensität oder die Farbe der Oberfläche wahrnehmen auf welche das Eingabegerät 2 gerichtet ist oder an welcher dieses anliegt, wobei diese Daten bei Verwendung

9/17

AT519 427 B1 2019-02-15 österreichisches

Patentamt an einem Touchscreen mit der Lichtintensität oder der Farbe der Pixel an den detektierten Berührungspunkten 15, 16, 17 am Touchscreen abgeglichen werden können. So kann beispielsweise unterschieden werden, ob das Eingabegerät 2 auf einem Touchscreen oder einer anderen Oberfläche verwendet wird. Zudem kann die Zuordnung eines Eingabegeräts 2 zu einem Berührungspunkt 15, 16, 17 über die Korrelation des Verlaufs der Lichtintensität und/oder Farbe erfolgen, indem in wiederholten kurzen Zeitabständen festgestellt wird, ob der Verlauf der vom optischen Sensor wahrgenommen Intensität bzw. Farbe mit dem Verlauf der am Touchscreen dargestellten Pixel entlang der Bewegungsbahn eines Berührungspunktes 15, 16, 17 am Touchscreen übereinstimmt. Analog kann für alle zeitgleich auftretenden Signale von optischen Sensoren von Eingabegeräten 2 und für alle zeitgleich auftretenden Berührungspunkte 15, 16, 17 am Touchscreen ein Wahrscheinlichkeitswert je möglicher Korrelationskombination aufgestellt werden, welcher angibt mit welcher Wahrscheinlichkeit der Verlauf der Lichtintensität oder der Verlauf des Farbwertes eines optischen Sensors mit der Lichtintensität oder dem Verlauf des Farbwertes am Berührungspunkt 15, 16, 17 bzw. entlang dessen Bewegungsbahn am Touchscreen übereinstimmt. Das Zuweisen der Bedeutung „Pen- Touch“ und „no-pen touch“ erfolgt dabei nach den bereits beschriebenen Kriterien, je nach steigen und sinken der Wahrscheinlichkeitswerte der Korrelationskombinationen bzw. je nach Anzahl der nach Neuberechnung der Wahrscheinlichkeitswerte verbleibenden möglichen Korrelationskombinationen.

[0070] Diese Ausführungsvariante mit optischem Sensor kann vorteilhaft zusätzlich zum in den Ansprüchen geschützten Verfahren realisiert sein. Beispielsweise kann aber auch der Kontaktsensor 3 als solcher optischer Sensor ausgeführt sein, sodass dieser zusätzlich zur Annährung weitere Informationen zur detektierten Oberfläche erfassen kann oder sogar Signale von der detektierten Oberfläche empfangen kann.

[0071] Da, wie in Fig. 7 veranschaulicht, die Ausführungsvariante mit einem optischen Sensor 20 an den Eingabegerät 21, 22 und zumindest einem Touchscreen 18 als Eingabefläche 1 auch für sich alleine zum Lösen der erfindungsgemäßen Aufgabenstellung geeignet ist, behält es sich die Anmelderin vor, diese zu einem späteren Zeitpunkt als Teilanmeldung einzureichen. Diese Ausführungsvariante ist vorteilhaft, da jedes Eingabegerät 21, 22 lediglich einen optischen Sensor 20 aufweisen muss, also keinen Inertialsensor 4 oder Kontaktsensor 3 aufzuweisen braucht. Anstelle punktuell Intensitäten oder Farben mit dem optischen Sensor 20 wahrzunehmen, kann dieser auch einen kleinen Bildausschnitt, also mehrere Pixel in Form eines Bildes aufnehmen, wobei der Verlauf dieses Bildes mit den entsprechenden Bildausschnitten an den Positionen der Berührungspunkte 15, 16, 17 am Touchscreen 18 verglichen wird. Aus der Skalierung des Bildes kann gegebenenfalls auch die Distanz des optischen Sensors 20 zum Touchscreen 18 ermittelt werden. Vorteilhaft kann, wie in Fig. 7 dargestellt, bei Detektion eines oder mehrerer Berührungspunkte 15, 16, 17 am Touchscreen 18 von der Datenverarbeitungsanlage 5 an jedem Berührungspunkt 15, 16, 17 ein individuelles Lichtsignal 19 (z.B. Intensität, Farbe, zweidimensionales Muster oder deren zeitlicher Verlauf) dargestellt werden. Die Lichtsignal 19 werden von den optischen Sensoren 20 der Eingabegeräte 21, 22 detektiert und an die Datenverarbeitungsanlage 5 zurückgesendet. Da die Datenverarbeitungsanlage 5 weiß, an welchem Berührungspunkt 15, 16, 17 vom Touchscreen 18, welches Lichtsignal 19 dargestellt wurde, kann diese die Eingabegeräte 21, 22 rasch und einfach den Berührungspunkten 15, 16, 17 am Touchscreen 18 zuordnen. Beispielsweise kann die Datenverarbeitungsanlage 5 das Eingabegerät 21 dem Berührungspunkt 15 eindeutig zuordnen, da der zeitliche Verlauf des vom Eingabegerät 21 an die Datenverarbeitungsanlage 5 gesendeten Signals, nur mit dem zeitlichen Verlauf des Lichtsignals 19 am Berührungspunkt 15 übereinstimmt. Besonders geeignet als Lichtsignale 19 an den Berührungspunkten 15, 16, 17 am Touchscreen 18 sind beispielweise individuelle Hell-Dunkel-, bzw. Weiß-Schwarz-Wechsel der Pixel am Berührungspunkt 15, 16, 17 bzw. in einem gewissen Radius um den Berührungspunkt 15, 16, 17 oder Annäherungspunkt, da dies besonders zuverlässig von einer einfachen Fotodiode oder einem anderen Intensitätssensor als Binärsignal erfassbar ist. Die individuellen Lichtsignale 19 können dabei so subtil oder kurzzeitig gesendet werden, dass diese vom menschlichen Auge nicht wahrgenommen werden können. Bevorzugt kann jedem Berührungspunkt 15, 16, 17 eine Eingabemarkierung (= Cursor) mit individueller Farbe zugeordnet werden, sodass die Eingabemarkierungen

10/17

AT519 427 B1 2019-02-15 österreichisches

Patentamt sowohl von dafür geeigneten optischen Sensoren 20 der Eingabegeräte 21, 22, als auch von den Benutzern unterschieden werden können.

[0072] Nachteilig an einer Variante nur mit optischem Sensor 20 im Eingabegerät 21, 22 ist, dass dieses nur an Touchscreens 18 und nicht an Touchpads identifizierbar ist. Die Erfassung der Bewegung oder einer Bewegungskomponente des Eingabegeräts 2 im Raum durch zumindest einen Inertialsensor 4 ist somit auch bei dieser Variante nützlich.

[0073] Insbesondere kann durch die Signale des Inertialsensors 4 die Bewegung des Eingabegeräts 2, 6 abseits der Eingabefläche 1 verfolgt werden, sodass nach erfolgter erstmaliger Identifikation des Eingabegeräts 2, 6 an einem Berührungspunkt 15, 16, 17 einer Eingabefläche 1 die Absolutposition des Eingabegeräts 2 im Raum ermittelt bzw. abgeschätzt werden kann, sodass aus dem Ausmaß und oder der Richtung der Bewegung des Eingabegeräts 2 im Raum ermittelt bzw. abgeschätzt werden kann, ob das Eingabegerät 2 für einen später auftretenden Berührungspunkt 15, 16, 17 an derselben oder einer anderen Eingabefläche 1 verantwortlich sein kann. Wenn beispielsweise das Eingabegerät 2, 6 einem ersten Berührungspunkt auf der Eingabefläche 1 zugeordnet wurde und nachfolgend lediglich Beschleunigung in einer Richtung von ca. 90° zur Oberfläche der Eingabefläche 1 erfährt, dann ist es wahrscheinlich, dass ein erneuter Berührungspunkt dieses Eingabegeräts 2, 6 nur in der Nähe des ersten Berührungspunkts auftreten kann. Um die Bewegung des Eingabegeräts 2, 6 im Raum möglichst exakt zu erfassen, ist es vorteilhaft den Inertialsensor 4, 8 als eine inertiale Messeinheit auszuführen und gegebenenfalls zusätzlich mit weiteren Sensoren auszustatten, um neben Relativbewegungen auch die Ausrichtung des Eingabegeräts 2, 6 im Raum zu erfassen. Die Eingabefläche 1 liefert mit den Berührungspunkten 15, 16, 17 vorteilhaft die absolute Position des Eingabegeräts 2, 6 zu gewissen Zeitpunkten, wodurch die relativen Positionsdaten der inertiale Messeinheit laufend in absolute Positionen im Raum bezogen auf die Eingabefläche 1 umrechenbar sind.

Claims

Patentansprüche

1. Verfahren zur Steuerung zumindest einer Datenverarbeitungsanlage (5) mit zumindest einer Eingabefläche (1), welche positionsauflösend und berührungssensitiv ist und einer beliebigen Anzahl und Art von Eingabeobjekten, wobei zumindest ein Eingabeobjekt ein Eingabegerät (2) ist, welches einen Kontaktsensor (3) und einen Inertialsensor (4) aufweist und die Daten dieser Sensoren laufend an zumindest eine Datenverarbeitungsanlage (5) sendet, wobei zudem die Positionen aller Berührungspunkte, welche eine Eingabefläche (1) wahrnimmt, von dieser laufend an zumindest eine Datenverarbeitungsanlage (5) gesendet werden, gekennzeichnet dadurch, dass bei jedem Auftreten zumindest eines Berührungspunktes auf einer Eingabefläche (1) und/oder bei jedem Auftreten eines Berührungssignals eines Kontaktsensors (3) eines oder mehrerer Eingabegeräte (2), im ersten Schritt festgestellt wird, ob eine zeitliche Korrelation des Auftretens eines Berührungssignals des Kontaktsensors (3) eines oder mehrerer Eingabegeräte (2) mit dem Auftreten eines oder mehrerer Berührungspunkte auf einer oder mehreren Eingabeflächen (1) vorliegt und im zweiten Schritt bei mehreren zeitlichen Korrelationen zwischen dem Auftauchen von Berührungspunkten auf einer Eingabefläche (1) und dem Auftauchen von Berührungssignalen von Kontaktsensoren (3) von Eingabegeräten (2), jeder möglichen Korrelationskombination ein Wahrscheinlichkeitswert zugeordnet wird, der angibt, wie wahrscheinlich es ist, dass ein Eingabegerät (2) mit dem der Korrelationskombination zugehörigen Kontaktsensor (3) die Eingabefläche (1) an dem Ort berührt hat, an dem der der Korrelationskombination zugehörige Berührungspunkt aufgetaucht ist, wobei dieser Wahrscheinlichkeitswert in der Folge in sehr kurzen Zeitabständen für jede Korrelationskombination aktualisiert wird, wobei hierfür einerseits die Daten des der Korrelationskombination zugehörigen Kontaktsensors (3) mit der Aktivität des der Korrelationskombination zugehörigen Berührungspunkts und andererseits die Bewegungsdaten des der Korrelationskombination zugehörigen Inertialsensors (4) mit der Bewegungstrajektorie des der Korrelationskombination zugehörigen Berührungspunkts abgeglichen werden, wobei der Wahrscheinlichkeitswert einer Korrelationskombination steigt, wenn es eine hohe Übereinstimmung der abgeglichenen Daten gibt und anderenfalls sinkt, wobei im dritten Schritt ein Eingabegerät (2) einem Berührungspunkt zugeordnet wird, wenn der Wahrscheinlichkeitswert einer Korrelationskombination einen Schwellwert übersteigt und/oder durch Ausschließen von Korrelationskombination nur noch eine mögliche Korrelationskombination verbleibt und/oder einem Berührungspunkt kein Eingabegerät (2) zugeordnet wird, wenn keine mögliche Korrelationskombination verbleibt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass festgestellt wird, ob eine zeitliche Korrelation des Verschwindens eines Berührungssignals des Kontaktsensors (3) eines oder mehrerer Eingabegeräte (2) mit dem Verschwinden eines oder mehrerer Berührungspunkte auf einer Eingabefläche (1) vorliegt, wobei ein Eingabegerät (2) einem Berührungspunkt zugeordnet wird, wenn das Auftreten und Verschwinden exakt eines Berührungssignals und exakt eines Berührungspunkts zeitgleich erfolgen.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Berührungspunkt auf der Eingabefläche (1) als „no-pen touch“, also als nicht durch ein Eingabegerät (2) hervorgerufen, behandelt wird, wenn keine zeitliche Korrelation eines Berührungssignals eines Kontaktsensors (3) mit dem Auftauchen eines Berührungspunkts auf der Eingabefläche (1) vorliegt.
4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Auftauchen genau eines Berührungspunkts auf einer Eingabefläche (1) als „pen touch“, also als durch ein Eingabegerät (2) hervorgerufen, behandelt wird, wenn dieses nur mit dem Auftauchen genau eines Berührungssignals eines Kontaktsensors (3) eines Eingabegeräts (2) zeitlich korreliert.

12/17

AT519 427 B1 2019-02-15 österreichisches

Patentamt
5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass nach jeder Aktualisierung der Wahrscheinlichkeitswerte für alle zu einem Zeitpunkt auftretenden Korrelationskombinationen jede mögliche Korrelationskombination, deren Wert unter eine bestimmte Schwelle sinkt, gelöscht wird.
6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass nach jeder Aktualisierung der Wahrscheinlichkeitswerte für alle zu einem Zeitpunkt auftretenden Korrelationskombinationen jene Korrelationskombination, deren Wahrscheinlichkeitswert um einen bestimmten Faktor über die Wahrscheinlichkeitswerte aller konkurrierenden Korrelationskombinationen steigt, als „pen touch“ behandelt wird und die konkurrierenden Korrelationskombinationen gelöscht werden.
7. Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass anschließend für jeden Berührungspunkt geprüft wird, ob noch mögliche Korrelationskombinationen vorliegen, wobei ein Berührungspunkt als „no-pen touch“ behandelt wird, wenn keine vorliegen und als „pen touch“ behandelt wird, falls insgesamt noch genau eine mögliche Korrelationskombination vorliegt.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass zumindest zwei Eingabegeräte (2, 6) mit identem Aufbau zur gleichzeitigen Eingabe von Daten an zumindest einer Eingabefläche (1) verwendet werden.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass mehrere Eingabeflächen (1) vorhanden sind, wobei mit dem erfindungsgemäßen Verfahren festgestellt wird, welche Eingabefläche (1) an welcher Position durch welches Eingabegerät (2) berührt wird.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass der Kontaktsensor (3) des Eingabegeräts (2) ein optischer Sensor (20) ist, welcher die Lichtintensität oder Farbe der Oberfläche erfasst, an welcher das Eingabegerät (2) mit diesem anliegt oder das Eingabegerät (2) zusätzlich zum Kontaktsensor (3) einen solchen optischer Sensor (20) aufweist.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Eingabefläche (1) ein Touchscreen (18) ist und die Datenverarbeitungsanlage (5) an jedem vom Touchscreen (18) detektierten Berührungspunkt ein individuelles Lichtsignal (19) darstellt, welches vom optischen Sensor (20) erfassbar ist und das Eingabegerät (2) das vom optischen Sensor (20) erfasste Signal an die Datenverarbeitungsanlage (5) sendet.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Datenverarbeitungsanlage (5) ein Eingabegerät (2) einem Berührungspunkt am Touchscreen (18) zuordnet, wenn das vom optischen Sensor (20) erfasste und vom Eingabegerät (2) an die Datenverarbeitungsanlage (5) gesendete Signal mit dem Lichtsignal (19) exakt eines Berührungspunkts übereinstimmt.
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass nach erfolgter erstmaliger Zuordnung eines Eingabegeräts (2) zu einem Berührungspunkt auf der Eingabefläche (1) der Ort des zeitlich nächsten auftretenden Berührungspunkts durch dasselbe Eingabegerät (2) auf der Eingabefläche (1) aufgrund der Sensorsignale dessen Inertialsensor (4) zumindest näherungsweise bestimmt wird, wozu der Inertialsensor (4) bevorzugt eine inertiale Messeinheit ist.