DE10124834C2 - Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens - Google Patents

Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens

Info

Publication number
DE10124834C2
DE10124834C2 DE2001124834 DE10124834A DE10124834C2 DE 10124834 C2 DE10124834 C2 DE 10124834C2 DE 2001124834 DE2001124834 DE 2001124834 DE 10124834 A DE10124834 A DE 10124834A DE 10124834 C2 DE10124834 C2 DE 10124834C2
Authority
DE
Germany
Prior art keywords
pen
position detection
detection unit
pin
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE2001124834
Other languages
English (en)
Other versions
DE10124834A1 (de
Inventor
Eberhard Wahl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Holo Light At GmbH
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE2001124834 priority Critical patent/DE10124834C2/de
Publication of DE10124834A1 publication Critical patent/DE10124834A1/de
Application granted granted Critical
Publication of DE10124834C2 publication Critical patent/DE10124834C2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/228—Character recognition characterised by the type of writing of three-dimensional [3D] handwriting, e.g. writing in the air

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, einen Stift zur Durchführung des Verfahrens und eine entsprechende Vorrichtung zur Eingabe von Informationen mittels des Verfahrens. Dabei handelt es sich im weiteren Sinne um ein auf einem Stift basiertes Eingabesystem für eine mit einem am Kopf befestigten Visualisierungssystem (HMD = head mounted display) ausgerüstete Mensch- Maschine Schnittstelle, die es erlaubt, virtuell handgeschriebene Informationen in ein Datenverarbeitungsgerät einzugeben, sowie die Funktionen eines typischen Mauszeigers wahrzunehmen.
Stift im Sinne dieser Abhandlung ist ein länglicher zur Durchführung von Schreibbewegungen in die Hand nehmbarer Gegenstand, mit beliebiger Form, der sowohl markierend, als auch nicht-markierend ausgestaltet sein kann.
Schreiben im Sinne dieser Abhandlung bezeichnet die Handbewegung zur Erzeugung einer Spur der Stiftspitze, die sowohl Buchstaben, als auch Zeichen oder Graphiken, bis hin zu kleineren Zeichnungen bilden kann.
Es sind verschiedene Eingabesysteme bekannt. Darunter sind auch bereits einige Systeme gebräuchlich, die handgeschriebene Informationen verarbeiten. Es handelt sich hierbei um folgende Verfahren, die jeweils die Schriftzeichenerkennung durch Softwareauswerteverfahren realisieren:
  • a) Konventionelle Erstellung des Schriftstückes (z. B. Tinte auf Papier) mit anschließendem optischen Abtasten (scannen) und Weiterverarbeitung des digitalen Bildes.
  • b) Schreiben auf einem touch-screen Bildschirm.
  • c) Schreiben auf einer sensitiven Fläche (reagiert z. B. auf Druck des Stiftes)
  • d) Schreiben mit einem Light-Pen (funktioniert in Verbindung mit Braunschen Röhren)
Zudem gibt es bereits verschiedenste Eingabesysteme, die Bewegungen der Hand im 3D-Raum auswerten. Sie sind im Bereich der Virtual Reality und der Augmented Reality breit im Einsatz. Erwähnenswert ist insbesondere die Eingabe mittels eines sogenannten data-gloves, der die Bewegungen der Hand erfasst, oder mittels am Finger montierten LEDs. Beide Verfahren erlauben die Verwendung von virtuellen Tastaturen in Verbindung mit kopfbefestigten Visualisierungssystemen (HMD = head mounted display). Neben diesen Systemen gibt es verschiedene Verfahren zur Detektion von Stiftbewegungen und deren Verwendung in unterschiedlichen Applikationen.
Relevante Vorveröffentlichungen
Das Patent US 6064766 beschreibt ein tastaturloses Eingabesystem, bei dem mittels eines Stiftes und eines kontaktsensitiven Displays handgeschriebene Information in einen Rechner eingegeben werden kann. Zur Unterstützung des Benutzers erlaubt diese Eingabeform zudem die Darstellung der Schriftspur direkt bei der Stiftspitze. Die eingegebenen Handschriftzeichen werden anschließend vom Rechner interpretiert und können als Zeichencode weiterverarbeitet werden. Durch die Verwendung der natürlichen Schreibbewegung und der korrekten Darstellung des erwarteten Ergebnisses - der Schriftspur, stellt dies ein durchaus ergonomisches Eingabesystem dar.
Das Patent US 6084577 beschreibt einen elektronischen Stift, der eine dreidimensionale Beschleunigungsensorik besitzt, welche es erlaubt alle Bewegungen des Stiftes zu erfassen. Mittels eines integrierten Gyroskopes, sowie einer Recheneinheit, können diese Bewegungsdaten zur Berechnung der realisierten Spur der Stiftspitze verwendet werden. Dadurch ist es möglich die virtuelle Schriftspur ohne weitere Hilfsmittel in elektronischer Form verfügbar zu machen. Dieses System ist jedoch teuer, womit der Verlust eines solchen Stiftes problematisch ist.
Das Patent US 5781661 beschreibt ein Verfahren und eine Stiftzusatzeinheit, die an einem normalen Stift befestigt ermöglicht, die handgeschrieben Information der Schriftspur zu erfassen und auszuwerten. Dabei enthält die Stiftzusatzeinheit Beschleunigungssensoren zur Aufnahme der Bewegung. Die Zusatzeinheit behindert die normale Verwendung des Stiftes nahezu nicht.
Die Offenlegungsschrift JP 10240491 A beschreibt die Verwendung eines Stiftes, eines berührungsempfindlichen Tabletts und eines kopfbefestigten Visualisierungssystemen (HMD) zur Realisierung eines Systems, bei dem die Stiftkontaktierung auf dem Tablett zu einer Anzeigeänderung auf dem HMD führen. Der Stift und das Tablett stellen hierbei das Eingabesystem dar, während das HMD (evtl. gemeinsam mit einem Displaytablett) als Ausgabesystem dient.
Die Offenlegungsschrift JP 2000-029621 beschreibt ein HMD ergänzendes tastatur- und stiftloses Eingabesystem, das durch die Bewegungserfassung der Finger, eine Dateneingabe ermöglicht. Das HMD projiziert dabei eine virtuelle Tastatur in den Raum, auf dem der Benutzer analog wie auf einer realen Tastatur Zeicheneingaben unter Ausnutzung der Kenntnis der Fingerpositionen durchführen kann. Die Benutzung des Systems bedarf allerdings einer gewissen Rüstzeit. Zudem ist es schwer realisierbar derartige anziehbare Systeme für jeden Menschen passend zu gestalten.
Die Offenlegungsschrift JP 2000-276300 beschreibt ein optisches Positionserfassungssystem eines passiven Stiftes auf einer definierten Fläche (touch panel) mittels zweier optischer Scanner. Durch Auswertung der Abschattung der einzelner Winkelbereiche jedes Scanners aufgrund der Lichtunterbrechung durch den Stift, kann die Position des Stiftes auf dieser Fläche detektiert werden. Dies bedingt allerdings eine Umrahmung der Detektionsfläche mit einem retroreflektiven Material.
Die Position einer oder mehrer LEDs im Raum kann durch unterschiedlichste Verfahren und Aufbauten detektiert werden. Die Offenlegungsschrift JP 06168065 beschreibt eine mögliche Art hierzu.
Die Offenlegungsschrift JP 07-200130 A beschreibt ein stiftbasiertes Eingabesystem an einer speziellen Tafel. Dabei wird ein lichtemittierender Stift mit zwei definierten Strahlquellen und zwei an der Tafel montierte Detektoren verwendet. Die Verwendung ist auf die Tafel begrenzt.
Die EP 0716389 A1 beschreibt ein mit Marker versehenes Objekt (typischerweise einen Stift), welches in Position und Lage optisch erfasst wird. Dadurch können Bewegungen des Objektes ermittelt und einer Weiterverarbeitung zur Verfügung gestellt werden. Das System ist allgemein gehalten und für keine bestimmte Applikation optimiert.
Das Patent US 5945981 A beschreibt detailliert ein System zur Informationseingabe in einen Rechner, das aus einem Stift und einer optischen Detektionseinheit zur Bewegungserfassung des Stiftes besteht. Die Detektionseinheit ist dabei während der Anwendung stets räumlich fix.
Die WO 2001/11554 A1 und EP 1 041 507 A2 beschreiben ein stiftbasiertes Eingabesystem an einer speziellen Tafel. Dabei wird ein lichtdetektierender Stift mit einer Photodiode und zwei an der Tafel montierte definierten Strahlquellen verwendet. Die Verwendung ist auf die Tafel begrenzt.
Das Patent DE 43 36 677 C1 beschreibt ein System zur Informationseingabe in einen Rechner, das aus einem Stift mit einem Bewegungssensor, einer optischen Detektionseinheit zur teilweisen Bewegungserfassung des Stiftes und einer optischen Informationsübertragung vom Stift zum Detektor besteht. Die Detektionseinheit ist dabei während der Anwendung räumlich fix.
Die EP 0 679 984 A1 beschreibt umfassend ein System, das ein HMD zur Visualisierung benutzt und Bewegung von Körperteilen zur Systemsteuerung verwendet. Insbesondere wird dabei immer wieder auf die Benutzung des Fingers als Eingabeeinheit eingegangen. Die Spur des Fingers wird hierbei aufgezeichnet und von der Steuereinheit weiterverarbeitet.
Das Patent US 5 381 158 A beschreibt ein Informationsabfragesystem, welches mittels einem geschlossenen HMD eine künstliche Umgebung darstellt, in welcher der Benutzer durch die Bewegung seiner Hände und damit auch den an diesen befestigten "data-gloves", typische Ein-/Ausgabefunktionen für ein Rechnersystem (in diesem Falle einer Datenbank) durchführen kann.
Keines der bekannten Systeme erlaubt die Echtzeiteingabe in ein mitgeführtes Datenverarbeitungsgerät mit einem am Kopf befestigten Bildprojektionssystem (HMD) basierend auf einer für den Menschen üblichen ergonomischen Schreibweise oder Zeichentechnik an beliebigen Orten ohne Schreibunterlage, sowie ohne elektronischem Datentransfer zwischen Stift und Rechner. Das Mitführen der Schreibunterlage ist jedoch mühselig und stellt eine unerwünschte zusätzliche Komponente dar. Die dargelegten bekannten Systeme sind für diesen Einsatz untauglich, da sie keine exakte Erfassung der Schriftspur selbst (in der Schreibebene) und relativ zum Auge des Erstellers ermöglichen. Dies ist jedoch unverzichtbar zur künstlichen Darstellung der virtuellen Schriftspur in einem HMD bei einer Augmented Reality Eingabeumgebung.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, einen Stift zur Durchführung des Verfahrens und eine entsprechende Vorrichtung zur Eingabe von Informationen mittels des Verfahrens anzugeben, welche eine natürliche Schreibbewegung erlauben und eine exakte Darstellung der Spur der Stiftspitze ohne Verzögerungseffekte für einen mobilen Benutzer möglich machen, ohne auf eine spezielle Unterlage angewiesen zu sein, und die Herstellungskosten für den Stift möglichst gering halten.
Dargelegt ist die Idee eines Papierlosen Stiftes (2), der beim "Schreiben" keine reale Spur auf einem Hintergrund hinterlassen muß. Statt dessen wird die Spur des vorderen Stiftendes (1) durch kontinuierliche optische Erfassung ihrer Position als digitales Bild erzeugt. Die das digitale Bild enthaltende Datei (6) kann nun wiederum mittels der bekannten Verfahren der Schriftzeichenerkennung in einer Auswerteeinheit (7) weiterverarbeitet (24) werden.
Die Ermittlung des vorderen Stiftendes (1) durch optische Verfahren kann entweder
  • - mittels einer Bildauswertung der ständig mitlaufenden Videoaufnahme, oder
  • - durch Verwendung mindestens einer mit einer definierten Wellenlänge leuchtenden LED innerhalb des Stiftes und Erfassung deren xy-Position
realisiert werden.
Beide Verfahren erlauben die Echtzeiteingabe von virtuell geschriebener Information in einen Rechner. Ein Problem bei der dynamischen Positionserfassung der Stiftspitze (1) ist die notwendige Verfügbarkeit einer möglichst ortsfixen Stiftpositionserfassungseinheit, welche ständig freie Sicht auf den optisch zu erfassenden Teil des Stiftes hat. Eine regelmäßig freie Sicht besteht:
  • 1. zwischen dem vorderen Teil des Stiftes (1) und den Augen des Benutzers. Zur Schließung des Regelkreises "Schreiben und Zeichnen" stellt die ständige Beobachtung der Stiftspitze eine bevorzugte Benutzungsform dar.
  • 2. üblicherweise von mindestens einer Seite der Stiftunterlage knapp über der Höhe der Unterlage auf das vordere Stiftende (1). Bei einem Rechtshänder sind dies die linke und obere Seite, bei einem Linkshänder meist nur die rechte Seite, sowie bedingt die dem Bauch des Benutzers zugewandte Seite.
Damit ist die Lage der Positionserfassungseinheit(en) vorgegeben. Es kommen in Betracht:
  • 1. Befestigung der Positionserfassungseinheit(en) in der Nähe der Augen
  • 2. Auf Höhe der Unterlage seitlich variabel positionierbare Positionserfassungseinheiten(en) (was aber nicht Gegenstand dieser Erfindung ist).
Zur erfindungsgemäßen Umsetzung des ersten Falles (nahe an den Augen) wird die Positionserfassungseinheit idealerweise äquivalent zu einem HMD am Kopf befestigt. Neben dem Problem des zusätzlichen Gewichtes verhindert die mit dem Kopf gekoppelte Bewegung (keine ortsfixe Einheit) allerdings eine korrekte Erfassung. Stattdessen wird der Bewegung der Stiftspitze die Bewegung der Erfassungseinheit überlagert. Dieses Problem kann auf dreierlei Arten gelöst werden:
  • - die Eigenbewegung der Erfassungseinheit wird mittels Beschleunigungssensoren gemessen und in einem zusätzlichen Schritt der Datenverarbeitung herausgerechnet.
  • - Die Position mindestens eines zusätzlichen ortsfixen Punktes wird mitgemessen und die relative Bewegung zwischen der Stiftspitze und dem ortsfixen Punkt errechnet.
  • - Zwei weit genug auseinander liegende Punkte des Stiftes werden positionsmäßig erfasst. Denkbar ist z. B. die relative Bewegung der Stiftspitze zum Stiftende zu messen.
Die dritte Lösung basiert auf dem typischen menschlichen Verhalten beim Schreiben und Zeichnen. Während eine horizontale Bewegung (18) durchgeführt wird, erfolgt meist eine Drehung um den Auflagepunkt des Handballens (21).
Bei einer Rechtsbewegung der Stiftspitze bewegt sich demzufolge das Stiftende leicht nach links (in ungünstigen Fällen ist auch eine geringere Bewegung richtungsparallel zur Stiftspitze möglich). Während einer vertikalen Bewegung der Stiftspitze (19) wirkt die Handfläche zwischen Daumen und Zeigefinger (22) als Drehschiebegelenk. Dadurch wandert das Stiftende ebenfalls nur deutlich weniger in dieselbe Richtung, oder aber es wechselt die Richtung. Die Relativbewegung zwischen der Stiftspitze und dem Stiftende liefert also typischerweise eine richtungskorrekte Orientierung der Spitzenbewegung. Die Größe der Relativbewegung ist abhängig vom jeweiligen Individuum, sowie von der jeweiligen Startposition. Durch ein entsprechendes Expertensystem, sowie eine einmalige Kalibrierung auf den Benutzer, lassen sich aus der Messung der Relativbewegung die geschriebenen Zeichen dechiffrieren.
Eine alternative Auswerteform besteht darin, die Eigenbewegung der Erfassungseinheit mit der Gleichbewegungskomponente von Stiftende und Stiftspitze gleichzusetzen und sie dadurch herauszurechnen.
Zur Umsetzung des zweiten Falles (was aber nicht Gegenstand dieser Erfindung ist) können die Positionserfassungseinheit(en) in ein tragbares Gerät integriert werden. Bei seitlicher Betrachtung ist die korrekte Erfassung des Abstandes von den Positionserfassungseinheiten zur korrekten Ermittlung der Stiftspur unbedingt notwendig. Dieser Wert geht direkt in die auszuwertenden Bewegungsrichtungen in Zeilenrichtung (18), sowie orthogonal dazu (19) ein. Zur genaueren Ermittlung dieses Wertes ist die Verwendung mehrerer Positionserfassungseinheiten vorteilhaft.
Sinnvoll ist die Positionserfassungseinheit(en) in das Rechengerät zu integrieren, für das die Informationseingabe ohnehin vorgesehen ist. Dies könnte im ersten Fall ein in das HMD integrierte Rechner sein und im zweiten Fall ein tragbares Funktelefon oder ein PDA. In beiden Fällen ist es vorteilhaft die Positionserfassungseinheit(en) als Kamera(s) auszubilden. Damit ist neben der Positionserfassung des Stiftes auch die Bilderzeugung in 2D (mindestens eine Kamera) oder sogar 3D (mindestens zwei Kameras) möglich.
Zur zusätzlichen Nutzung des Stiftes als Zeigeeingabegerät (Maus) sollten die damit verbundenen Funktionen wie Auswahl (z. B. durch Maustastenklick links), Bearbeitung (z. B. durch Maustastenklick rechts) sowie Ziehen (drag & drop mittels Halten der Maustaste) realisierbar sein. Dies bedarf einer zusätzlichen binären Information. Die Schnittstelle zum Menschen kann mittels Tasten oder druckempfindlicher Flächen an der Stiftaußenfläche, oder mittels einer drucksensitiven Stiftspitze (Benutzer drückt Stift auf den Untergrund) realisiert werden. Wird die Positionserfassung durch mindestens ein Leuchtelement realisiert, dann kann die Übertragung dieser zusätzlichen Informationseingabe durch Modulation dieses Lichts durchgeführt werden.
Die Lichtmodulation oder das Zu-/Abschalten mindestens einer LED kann auch zur Identifikation des Zeitfensters der Informationseingabe (23) genutzt werden. Dadurch wird eine unnötige und eventuell störende, ständige Auswertung der Stiftposition unterdrückt.
Eine sinnvolle Ergänzung des papierlosen Stiftes ist die gleichzeitige Anzeige der erkannten Stiftspur (26). Unter Verwendung eines HMD kann die Stiftspur (26) dort angezeigt werden, wo der Benutzer sie virtuell erstellt hat. Dadurch empfindet der Benutzer ein typisches Schreibgefühl mit direkter Rückkopplung bei Fehlern. Da eine in das HMD integrierte Positionserfassung (27) die Position der Stiftspitze relativ zum HMD selbst misst, ist bei Verwendung eines HMD im Durchsichtmodus (see-through HMD) eine korrekte, driftfreie Anzeige realisierbar.
Der papierlose Stift ermöglicht eine ergonomische Dateneingabe unter Verwendung bereits erlernter Schreib- und Zeichentechniken in Echtzeit und ohne Begrenzung auf eine mechanisch limitierte Schreibfläche. Das erlaubt eine extreme Miniaturisierung des gesamten Raumbedarfs dieses Eingabesystems. Zudem erlaubt die Verwendung mehrerer Vektoren sowohl eine gute Rekonstruktion der Stiftspur in der Schreibebene, als auch eine gute Zuordnung der Stiftspitze (Stiftspurende) relativ zum Auge des Betrachters.
Ein Einsatz im Bereich der mit HMDs erweiterten tragbaren Rechner, wie z. B. bei Organizern, Palmtops, hand-held-Rechnern, PDAs oder tragbaren Telefonterminals erscheint sinnvoll. Dadurch lassen sich leicht Kurztexte, wie sie dort üblicherweise anfallen (Termine, Adressen, SMS-Nachrichten, o. ä.) durch ein minimal raumbeanspruchendes System eingeben.
Ein denkbares zukünftiges System könnte in die Gesamtheit eines anziehbaren Kommunikations- und/oder Rechnersystems (analog z. B. den bereits erhältlichen wearable computer, wearable Internet appliance) integriert werden.
Die Positionserfassungseinheit könnte demzufolge in die HMD eingebaut sein und sogar mit einer ohnehin vorhandenen Bildaufnahmeeinheit konvergieren. Dem Stift kann in dem Gesamtsystem ein Ablageplatz reserviert werden, an dem seine eventuellen Energiespeicher zudem zeitgleich mit dem Rest des Systems automatisch aufgeladen werden. Im Idealfall ersetzt der Stift damit die für diese Systeme vorgesehene Spracheingabe vollständig.
In den Bildern 5 und 7 ist ein Beispiel einer konkreten Ausgestaltung dargestellt. Nähere Details sind aus Bild 3 und 4 zu entnehmen. Am äußersten Ende der Spitze rollt der Stift mittels einer Kugel (9) über eine Schreibunterlage. Hinter der Kugelhalterung (10) befindet sich ein transparenter Ring (11) durch den Licht aus der LED (13) über Reflexionsflächen (17) der Kugelhalterung (10) von der Stiftspitze weg ausgestrahlt (16) wird. Am hinteren Ende des Stiftes ist eine zweite LED (20) angebracht. An der Stelle des Stiftes, an dem üblicherweise der Zeigefinger aufliegt, ist eine Taste (14) angebracht, die bei erhöhtem Gegendruck des Zeigefingers, der beim Schreiben auf einer Unterlage entsteht, auf Verbindung schaltet. Dieses Signal wird in einer Elektronikeinheit erfaßt und führt zum Einschalten des hinteren Lichtsignals. Im Schreibmodus wird dadurch die Erkennung der Eingabesequenzen ermöglicht, um die Schreibauswertung im Ruhezustand des Stiftes zu unterdrücken.
Das alleinige Leuchten der vorderen LED wird zur Steuerung eines Mauszeigers im Display eines HMD verwendet. Die vordere LED wird durch kurzfristige Betätigung der bereits erwähnten Taste (14) moduliert. Eine weitere Taste führt zu zusätzlichen Modulationsänderungen dieses Lichtsignals. Die Modulationen werden in der Positionserfassungseinheit (allgemein (4), die konkrete Ausgestaltung ist hier nicht dargestellt) ausgewertet und generieren die Steuersignale für die üblichen Programmsteuerungen Auswahl, Bearbeiten, sowie drag & drop. Die Positionserfassungseinheit, die lediglich aus einer Sammellinse und einem CCD Element besteht, ist in das HMD (27) eingebaut und kann auch als Kamera verwendet werden. Das HMD wird im Durchsichtmodus betrieben. Die Spur (26) des nicht markierenden Stiftes wird im HMD angezeigt und mit der Realität überlagert. Der Benutzer erhält damit die gewohnte Rückkopplung beim Schreiben/Zeichnen.
Im hinteren Teil des Stiftes sind Speicherzellen untergebracht. Wenn der Stift in eine dafür vorgesehene Lagerstelle im HMD gesteckt wird, schaltet sich auch die vordere LED (13) ab. Während des Ladevorgangs der Speicherzellen des HMDs werden auch die Speicherzellen des dort gelagerten Stiftes wieder aufgeladen. Die Auswertung des von der Stiftspitze zurückgelegten Strecke erfolgt in einer Auswerteeinheit, die in das HMD integriert ist. Der im HMD integrierte Rechner arbeitet mit Standardbetriebssystemen für PDAs (z. B. Palm OS oder Windows CE) und nützt das HMD als Ausgabeinheit und den Stift als Eingabeeinheit. Er kann zudem optional mit einem Funknetzendgerät (UMTS oder vergleichbar) kommunizieren.
Bezugzeichenliste
1
vorderer Teil des Stiftes
2
Stift
3
Abbildungsoptik
4
Positionserfassungseinheit (Kamera)
5
CCD-Element
6
Datei mit Bild der zurückgelegten Strecke der Stiftspitze
7
Dateiauswerteeinheit
8
zugeordnetes Zeichen
9
frei drehbare Kugel in der Stiftspitze
10
Kugelhalterung
11
transparenter Ring (Lichtaustrittsfläche)
12
LED Halterung
13
LED
14
Taste
15
Elektronikeinheit
16
austretende Lichtstrahlen
17
Reflexionsflächen
18
Bewegung der Stiftspitze in Zeilenrichtung
19
Bewegung der Stiftspitze orthogonal zur Zeile
20
zweite LED an Stiftende
21
typische Auflage des Handballens auf dem Papier
22
Stiftauflage auf der Handfläche zwischen Daumen und Zeigefinger
23
'Zeicheneingabe aktiviert' - Abfrage
24
Stiftspur-Auswertung
25
Datei mit Code des zugeordneten Zeichens
26
Stiftspur (Schrift)
27
HMD mit Positionserfassungseinheit (Kamera)

Claims (24)

1. Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle mit einem von Hand im Raum oder auf einer Unterlage führbaren Stift (2), und mit einer Positionserfassungseinheit (4), die gemeinsam mit einem Bildprojektionssystem (27) am Kopf des Benutzers befestigt ist, welches die folgenden Merkmale aufweist:
auf Grund einer Bewegung des Stiftes sich ändernde Koordinaten eines definierten Teils (z. B. 11) der Oberfläche des Stiftes (2) werden von der Positionserfassungseinheit (4) relativ zu dieser mit einem optischen Sensor berührungslos erfasst und an eine Auswerteein­ heit (7) weitergegeben;
der Einfluss einer Eigenbewegung der Positionserfassungseinheit (4) wird mit Hilfe mindestens eines zusätzlich ermittelten und an die Auswerteeinheit (7) weitergegeben Vektors kompensiert.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bildprojektionseinheit (27) ein der Realität überlagertes Bild der Spur der Stiftspitze beim Benutzer erzeugt.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Stiftbenutzung auf einer beliebigen Unterlage erfolgt, wobei ein unter­ schrittener Abstand zur Unterlage oder deren Berührung durch den Stift (2) zur automatischen Detektion eines Eingabezeitfensters verwendet wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Koordinaten in der Auswerteeinheit (7) zur Identifikation der Informationen ausgewertet werden, wobei als Ergebnis jedem Buchstaben oder Zeichen (8) ein Code zugeordnet wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass mindestens einer der zusätzlich ermittelten Vektoren zur Kompensation des Einflusses einer Eigenbewegung als relative Bewegung zwischen dem ersten definierten Teil (z. B. 11) der Oberfläche und mindestens einem weiteren definierten Teil der Oberfläche ermittelt wird, indem zusätzlich weitere sich ändernde Koordinaten dieses mindestens eines weiteren, vom bereits definierten Teil (z. B. 11) der Oberfläche verschiedenen Teils der Oberfläche des Stiftes (2) von der Positionserfassungseinheit (4) erfasst werden, und in der Auswerteeinheit (7) die sich ändernden Koordinaten und die weiteren sich ändernden Koordinaten verglichen werden.
6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass mindestens einer der zusätzlich ermittelten Vektoren zur Kompensation des Einflusses einer Eigenbewegung mittels in der Positionserfassungseinheit (4) angebrachter Beschleunigungssensoren ermittelt wird.
7. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass mindestens einer der zusätzlich ermittelten Vektoren zur Kompensation des Einflusses einer Eigenbewegung durch Erfassung eines ortsfesten leuchtenden Referenzpunktes ermittelt wird.
8. Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass das Bild der Spur der Stiftspitze (1) in Echtzeit dargestellt wird.
9. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass an dem definierten Teil der Oberfläche (11) und/oder an mindestens einem zusätzlich definierten Teil der Oberfläche (z. B. 20) ein Lichtsignal ausgesendet wird.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass durch Modulation des Lichtsignals oder eines weiteren auf dem Stift angebrachten Lichtsignals eine Zustandsinformation übertragen wird.
11. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass durch Modulation des Lichtsignals oder der Lichtsignale eine Identifikation der Lichtquelle(n) ermöglicht wird.
12. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass durch das Emissionsspektrum des Lichtsignals eine Identifikation der Lichtquelle ermöglicht wird.
13. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Entfernung zwischen dem Stift (2) und der Positionserfassungseinheit (4) durch Auswertung einer Schärfenänderung der Abbildung auf dem optischen Sensor ermittelt wird.
14. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die sich ändernden Koordinaten zusätzlich von einer von der Positionserfassungseinheit (4) räumlich getrennten weiteren Positionserfassungseinheit erfasst werden und eine Entfernung zwischen dem Stift (2) und der Positionserfassungseinheit (4) oder der weiteren Positionserfassungseinheit durch Triangulation der erfassten Koordinaten ermittelt wird.
15. Verfahren nach einem der Ansprüche 3 bis 14, dadurch gekennzeichnet, dass mit Hilfe des optischen Sensors der Abstand des definierten Teils der Oberfläche des Stiftes (2) von der Unterlage ermittelt wird und die Dauer, in der ein bestimmter Abstand unterschritten wird, zur Abgrenzung zusammengehöriger Einheiten der eingegebenen Informationen verwendet wird.
16. Stift (2) zur Durchführung des Verfahrens nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass sich einer der definierten Teile der Oberfläche so am vorderen Ende des Stiftes (1) befindet, dass er aus Sicht des Betrachters näherungsweise auf einer Linie zwischen dessen Augen und dem Berührungspunkt Stift-Unterlage liegt.
17. Stift nach Anspruch 16 zur Durchführung des Verfahrens nach einem der Ansprüche 9 bis 15, dadurch gekennzeichnet, dass
  • - zur Aussendung des Lichtsignals ein elektrisches Leuchtelement (13) in einem zylindrischen Abschnitt (12) des Stiftes (2) angeordnet ist und
  • - symmetrisch zur Zylinderlängsachse Mittel zur Reflektion (17) des vom Leuchtelement (13) ausgesendeten Lichtsignals vorgesehen sind.
18. Stift nach Anspruch 17, dadurch gekennzeichnet, dass die Mittel zur Reflektion (17) so ausgeführt sind, dass das Licht ringförmig an der Oberfläche eines zylindrischen Abschnitts (11) austritt.
19. Stift nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass bei Berührung des vorderen Stiftendes (1) mit einem Untergrund automatisch ein Leuchtsignal ausgelöst oder moduliert wird.
20. Stift nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass der Stift (2) mit einer oder mehreren Tasten (14) ausgestattet ist, die die Modulation des ausgesendeten Lichtes verändern.
21. Vorrichtung zur Eingabe von Informationen mittels des Verfahrens nach einem der Ansprüche 1 bis 15, bestehend aus
  • 1. einem Stift nach einem der Ansprüche 16 bis 20, und
  • 2. mindestens einer einen optischen Sensor aufweisenden am Kopf des Benutzers befestigten Positionserfassungseinheit (4) und einem am Kopf des Benutzers befestigten Bildprojektionssystem (27) und
  • 3. einer Auswerteeinheit (7) die mit der Positionserfassungseinheit und dem Bildprojektionssystem (27) informationsseitig verbunden ist, zur Identifikation der Informationen aus den erfassten Positionen.
22. Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, dass die Auswerteeinheit (7) eine mobile Telekommunikationseinrichtung einschließt, die über eine Luftschnittstelle mit einer Rechenanlage verbunden ist.
23. Vorrichtung nach Anspruch 21 oder 22, dadurch gekennzeichnet, dass die Positionserfassungseinheit (4) die Auswerteeinheit (7) und das Bildprojektionssystem (27) eine Einheit bilden.
24. Vorrichtung nach einem der Ansprüche 21 bis 23, dadurch gekennzeichnet, dass der Stift (2) als Zeigeinstrument zur Positionssteuerung eines Softwarepfeiles (Cursors) verwendbar ist.
DE2001124834 2001-05-22 2001-05-22 Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens Expired - Lifetime DE10124834C2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE2001124834 DE10124834C2 (de) 2001-05-22 2001-05-22 Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE2001124834 DE10124834C2 (de) 2001-05-22 2001-05-22 Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens

Publications (2)

Publication Number Publication Date
DE10124834A1 DE10124834A1 (de) 2002-12-05
DE10124834C2 true DE10124834C2 (de) 2003-08-21

Family

ID=7685658

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2001124834 Expired - Lifetime DE10124834C2 (de) 2001-05-22 2001-05-22 Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens

Country Status (1)

Country Link
DE (1) DE10124834C2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3474120A1 (de) 2017-10-18 2019-04-24 Holo-Light GmbH Eingabevorrichtung für computer
EP3650988A1 (de) 2018-11-09 2020-05-13 iXperienz GmbH & Co. KG Eingabevorrichtung und verfahren zur eingabe von informationen sowie verfahren zur erzeugung eines virtuellen zeigers

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10349673B4 (de) * 2003-10-24 2024-06-13 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Dateneingabe in einem Kraftfahrzeug
DE102005020142A1 (de) * 2005-04-29 2006-11-02 Siemens Ag Verfahren zum Eingeben von Schriftzeichen

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
DE4336677C1 (de) * 1993-10-27 1995-03-30 Siemens Ag Anordnung zur Bestimmung einer räumlichen Position und zur Eingabe von Steuerinformationen in ein System mit graphischer Benutzeroberfläche
JPH07200130A (ja) * 1993-12-29 1995-08-04 Wacom Co Ltd 光学式ディジタイザおよびその表示装置
EP0679984A1 (de) * 1994-04-22 1995-11-02 Canon Kabushiki Kaisha Anzeigegerät
EP0716389A1 (de) * 1994-12-09 1996-06-12 International Business Machines Corporation Stiftförmiges Gerät zur Erfassung von räumlichen Daten und Verfahren und zur Bestimmung der Position und Orientierung eines Gegenstandes im Raum
US5945981A (en) * 1993-11-17 1999-08-31 Microsoft Corporation Wireless input device, for use with a computer, employing a movable light-emitting element and a stationary light-receiving element
JP2000029621A (ja) * 1998-07-10 2000-01-28 Sony Corp コンピュータ装置
EP1041507A2 (de) * 1999-03-31 2000-10-04 Hitachi Software Engineering Co., Ltd. Koordinateneingabestift und elektronische Schreibtafel, Koordinateneingabesystem und elektronisches Schreibtafelsysstem, die diese Koordinateneingabestift gebrauchen
WO2001011554A1 (en) * 1999-08-06 2001-02-15 Hitachi Software Engineering Co., Ltd. Electronic board system and coordinates-inputting pen

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
DE4336677C1 (de) * 1993-10-27 1995-03-30 Siemens Ag Anordnung zur Bestimmung einer räumlichen Position und zur Eingabe von Steuerinformationen in ein System mit graphischer Benutzeroberfläche
US5945981A (en) * 1993-11-17 1999-08-31 Microsoft Corporation Wireless input device, for use with a computer, employing a movable light-emitting element and a stationary light-receiving element
JPH07200130A (ja) * 1993-12-29 1995-08-04 Wacom Co Ltd 光学式ディジタイザおよびその表示装置
EP0679984A1 (de) * 1994-04-22 1995-11-02 Canon Kabushiki Kaisha Anzeigegerät
EP0716389A1 (de) * 1994-12-09 1996-06-12 International Business Machines Corporation Stiftförmiges Gerät zur Erfassung von räumlichen Daten und Verfahren und zur Bestimmung der Position und Orientierung eines Gegenstandes im Raum
JP2000029621A (ja) * 1998-07-10 2000-01-28 Sony Corp コンピュータ装置
EP1041507A2 (de) * 1999-03-31 2000-10-04 Hitachi Software Engineering Co., Ltd. Koordinateneingabestift und elektronische Schreibtafel, Koordinateneingabesystem und elektronisches Schreibtafelsysstem, die diese Koordinateneingabestift gebrauchen
WO2001011554A1 (en) * 1999-08-06 2001-02-15 Hitachi Software Engineering Co., Ltd. Electronic board system and coordinates-inputting pen

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3474120A1 (de) 2017-10-18 2019-04-24 Holo-Light GmbH Eingabevorrichtung für computer
WO2019077078A1 (de) 2017-10-18 2019-04-25 Holo-Light Gmbh Eingabevorrichtung
WO2020079227A1 (de) 2017-10-18 2020-04-23 Holo-Light Gmbh Verfahren und vorrichtung zum trainieren eines künstlichen neuronalen netzwerks sowie verfahren zur bestimmung einer position eines eingabegeräts
EP4328803A2 (de) 2017-10-18 2024-02-28 AR Technology GmbH Verfahren und vorrichtung zum trainieren eines künstlichen neuronalen netzwerks sowie verfahren zur bestimmung einer position eines eingabegeräts
EP3650988A1 (de) 2018-11-09 2020-05-13 iXperienz GmbH & Co. KG Eingabevorrichtung und verfahren zur eingabe von informationen sowie verfahren zur erzeugung eines virtuellen zeigers

Also Published As

Publication number Publication date
DE10124834A1 (de) 2002-12-05

Similar Documents

Publication Publication Date Title
US10620712B2 (en) Interactive input system and method
DE10221415B4 (de) Optische Druckknopfbildschirm-Zeigevorrichtung
EP3143478B1 (de) Verfahren zur darstellung einer virtuellen interaktion auf zumindest einem bildschirm und eingabevorrichtung
CN1175344C (zh) 笔式计算机指示设备
DE69530395T2 (de) Interaktives projektiertes videobildanzeigesystem
DE20221921U1 (de) Tragbare elektronische Vorrichtung mit mausähnlichen Fähigkeiten
EP0963563B1 (de) Anordnung und verfahren zur detektion eines objekts in einem von wellen im nichtsichtbaren spektralbereich angestrahlten bereich
US6377249B1 (en) Electronic light pen system
DE102009023875A1 (de) Gestenerkennungsschittstellensystem mit vertikaler Anzeigefläche
US20170336872A1 (en) External user interface for head worn computing
EP2325727A2 (de) Zeichen-, Schreib- und Zeigevorrichtung zur Mensch-Maschine Interaktion
CN113672099A (zh) 一种电子设备及其交互方法
US20160025974A1 (en) External user interface for head worn computing
US20060028457A1 (en) Stylus-Based Computer Input System
DE69535640T2 (de) Bestimmung der absoluten optischen position
KR20020079847A (ko) 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
KR20110038121A (ko) 펜 추적을 포함하는 멀티-터치 터치스크린
DE112012006199T5 (de) Virtuelle Hand basierend auf kombinierten Daten
DE19525644A1 (de) Eingabevorrichtung für Computer
DE69919759T2 (de) Verfahren zum digitalisieren, schreiben und zeichnen mit möglichkeit zum löschen und/oder hinweisen
CN104423578A (zh) 交互式输入系统和方法
DE10056291A1 (de) Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld
DE102004044999A1 (de) Eingabesteuerung für Geräte
DE10124834C2 (de) Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens
EP0477910A2 (de) Bildverarbeitungsbasierte Rechnereingabevorrichtung

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8304 Grant after examination procedure
8364 No opposition during term of opposition
R081 Change of applicant/patentee

Owner name: HOLO-LIGHT GMBH, AT

Free format text: FORMER OWNER: WAHL, EBERHARD, 73266 BISSINGEN, DE

R071 Expiry of right