AT503305A4

AT503305A4 - Verfahren zur steuerung von technischen geräten durch die menschliche stimme

Info

Publication number: AT503305A4
Application number: AT3052006A
Authority: AT
Inventors: Reinhard Dipl Ing Hainisch
Original assignee: Reinhard Dipl Ing Hainisch
Priority date: 2006-02-23
Filing date: 2006-02-23
Publication date: 2007-09-15
Also published as: AT503305B1

Description

HAW[Gamma]SCH
Beschreibung
Die Erfindung betrifft ein Verfahren zur Steuerung von technischen Geräten durch die menschliche Stimme.
DE 102 37 951 A1 betrifft einen Roboter, der zu zeitgleich laufender Musik choreographische Bewegungen ausführt.
Der Roboter ist darauf programmiert, zu definierten musikalischen Merkmalen wie Takt, Rhythmus und Geschwindigkeit der Musik bestimmte Bewegungen, die nach fix vorgegebenen choreographischen Regeln definiert sind, auszuführen.

Für die Steuerung werden die musikalischen Merkmale erfasst, ausgewertet und die dazugehörigen Bewegungen an den Roboter übertragen.
Nachteilig bei dieser Erfindung ist, dass der Roboter auf eine sehr grosse akustische Bandbreite reagiert, und somit sehr unvorhersehbare Bewegungen entstehen, die lediglich für Unterhaltungszwecke verwendet werden können.
Die DE 197 505 36 A1 betrifft ein Gerät zur Sprachunterstützung von Beatmungspatienten. Es wird durch einfaches Zungenschnalzen des Patienten aktiviert bzw. deaktiviert. Eine zusätzliche Funktion verhindert, dass die Kehle des Patienten während des Sprechens austrocknet. Dem Patienten wird das selbstständige und andauernde Sprechen ohne einem Helfer ermöglicht -wird-.

Das Zungenschnalzen wird lediglich dazu verwendet, die Maschine zu aktivieren bzw. zu deaktivieren.
Es ist eine Vielzahl von Steuerungen mit Spracherkennungssystemen bekannt. Dabei werden benutzerspezifische Sprachmerkmale bzw. Sprachmuster in einem Lernmodus als Sprachbefehle bzw. Kommandos erfasst und bestimmten Operationen zugeordnet. Im Betriebsmodus wird ein Sprachbefehl von der Steuerung über einen akustischen Sensor erkannt und die dafür zugeordnete Operation auf eine Maschine übertragen.
Nachteilig bei diesen Systemen ist, dass ihre nutzerspezifische Konfiguration und Programmierung sehr viel Zeit und Speicherplatz benötigt und dass je Sprachbefehl nur eine bestimmte Operation ausgeführt bzw. gestoppt werden kann.

Dadurch ist damit nicht möglich, mit einfachen Befehlen eine Maschine unmittelbar und zuverlässig mit exakt steuerbarer, variabler Dauer der Bewegungen zu manipulieren.
Weiters sind Vorrichtungen zur Steigerung der Lebensqualität von Personen mit starker Bewegungsbeeinträchtigung, wie z.B. mit Rückenmarkverletzung im Bereich der Halswirbelsäule bekannt, wobei Biosignale wie Gehirnströme oder Muskelbewegungen als Eingangssignale für die Steuerung verwendet werden. Derartige Lösungen sind noch nicht marktreif, da eine exakte Steuerung mit den niedrigen Signalpegeln kaum möglich ist.

Weitere Nachteile sind sehr hohe Anforderungen an Konzentrationsfähigkeit und Selbstbeherrschung des Benutzers, sowie eine starke Verkabelung.
Seite 1 &A1ATSCH
Von diesem Stand der Technik ausgehend hat sich der Erfinder die Aufgabe gestellt, mit einfachen, stimmlich erzeugten Lauten eine grosse Bandbreite von technischen Anwendungen präzise und kontrolliert zu steuern.
Zur Lösung dieser Aufgabe wird ein stimmlich erzeugter Laut - des weiteren kurz "Steuerton" genannt - z.B. ein Summen , hauptsächlich charakterisiert durch Grundfrequenz, Lautstärke und Dauer in die Steuerung eingelesen, analysiert, bestimmten Funktionen des zu steuernden technischen Gerätes zugeordnet, dementsprechend ein Steuersignal erzeugt und an das technische Gerät gesandt. Über unterschiedliche Frequenzen werden die jeweiligen Funktionen angesprochen.

Die Lautstärke des Steuertons bestimmt den Wert der jeweils gestarteten Funktion. Beispielsweise kann durch Summen eines Tones in einer bestimmten Tonhöhe eine Bewegung eines technischen Gerätes in eine bestimmte Richtung gestartet werden. Die Lautstärke des gesummten Tones bestimmt die Geschwindigkeit dieser Bewegung.
Fig. 1: veranschaulicht den Ablauf von der Erfassung des stimmlich erzeugten Lautes bis zur Ausgabe des Steuersignals auf Antriebe einer technische Anwendung.
Fig. 2: zeigt eine mögliche Zuordnung der Grundfrequenzen einer Tonleiter zu verschiedenen Bewegungsrichtungen im Raum.

In einer einfachen Ausführung hält die so gestartete Funktion so lange an, so lange der zugehörige Steuerton anhält.
In einer vorteilhaften Weiterentwicklung der Erfindung wird die Funktion durch einen Steuerton, welcher auch kurz sein kann, gestartet, und hält so lange an, bis sie durch einen weiteren dafür kennzeichnenden Steuerton wieder gestoppt wird. Dieser zweite Laut kann beispielsweise der gleiche wie der zum Starten erforderliche sein. Es kann aber auch eine weitere, nachfolgende oder auch gleichzeitige Funktion auslösen.

Gegenüber der zuvor oben beschriebenen einfachen Ausführungsform ist an dieser Methode vorteilhaft, dass es nicht erforderlich ist Töne lang auszuhalten - was insbesondere für Menschen mit Atemproblemen sehr schwierig ist - , und dass am technischen Gerät mehrere Funktionen zeitlich überlappend eingeschaltet werden können.
Der Steuerton 1 gemäss Fig. 1 ist ein stimmlich erzeugter Laut, welcher mit annähernd gleicher Grundfrequenz kontinuierlich aufrecht erhalten werden kann. Gut geeignet sind Laute wie Summlaute und Selbstlaute. Weniger gut geeignet sind kontinuierlich ausführbare Zischlaute wie z.B. f, s, v, da an diesen Lauten kaum eine Tonhöhe erkennbar ist.

Ungeeignet sind solche Laute, welche durch einen plötzlichen Übergang zwischen dauerhafteren Zuständen der an der Lautbildung beteiligten Stimmorgane gebildet werden, da derartige Laute nur kurz klingen können, und da sie in der Tonhöhe praktisch nicht einstellbar sind.
Der Steuerton 1 bedeutet eine Befehlseingabe durch die das technische Gerät steuernde Person.
Seite 2 '&AMISCH
Ein Mikrofon 2 erfasst den Steuerton 1 und wandelt ihn in ein elektrisches bzw. elektromagnetisches oder digitales Signal um. Es sind Vorkehrungen zu treffen, damit Umgebungsgeräusche möglichst wenig mit aufgenommen werden.

Beispielsweise kann das Mikrofon sehr nahe am Mund der steuernden Person, oder direkt am Kehlkopf angebracht werden, oder es wird ein entsprechend angepasstes Richtmikrofon verwendet, oder es wird im Mikrofon eine Filterung vorgenommen, sodass ohnedies nur die Frequenzen im interessierenden Spektrum aufgenommen werden können.
Aus dem vom Mikrofon 2 abgegebenen Signal werden in der Analyseeinheit 3 die wesentlichen Informationen, im dargestellten Beispiel die Frequenz der Grundschwingung des Steuertons, und die Lautstärke des Steuertons, beispielsweise an Hand der Amplitude der Grundschwingung, extrahiert.

Diese Informationsgewinnung kann beispielsweise mit Hilfe des Verfahrens der schnellen Fourier-Transformation, oder mittels analoger Filterung der Grundfrequenz abgewickelt werden.
Weitere Merkmale des Steuertons 1 , beispielsweise Obertonverteilung oder Rauschanteil können entweder ignoriert werden, zu erweiterten Steuerbefehlen, oder unter Anwendung einer entsprechenden Datenverarbeitung beispielsweise dazu herangezogen werden, zu erkennen, ob der vom Mikrofon erfasste Ton überhaupt ein Steuerton ist.
In einer Funktionstabelle sind definierte Frequenzbereiche der Grundfrequenz , bestimmten Funktionen der technischen Anwendung, beispielsweise Bewegungsrichtungen (Fig. 2), zugeordnet.

Gemäss dieser Tabelle wird auf Basis der jeweils aktuell vorliegenden Information über die Grundfrequenz und die Amplitude des Steuertons 1, ggf. ein Steuersignal erzeugt, und an das ausführende technische Gerät 5 gesandt, welches daraufhin die entsprechende Aktion, beispielsweise eine Bewegung in eine bestimmte Richtung ausführt.
Im vorliegenden Beispiel bestimmt der Aspekt "Amplitude" des Steuertons 1 den Wert der Funktion (beispielsweise die Geschwindigkeit). Am Beispiel Geschwindigkeit heisst das, dass die entsprechend Steuerbefehl ausgeführte Bewegung mit umso höherer Geschwindigkeit verläuft, umso lauter der Steuerton 1 ist. Die Dauer der Ausgabe des Steuersignals entspricht der Dauer des Ertönens des Steuertons 1.

Stoppt der Steuerton 1 , stoppt praktisch gleichzeitig die Ausgabe des Steuersignals und damit auch die Bewegung der ausführenden technischen Gerätes 5.
Der Prozess, Erfassung und Analyse des Steuertons 1, Funktionszuordnung und Ausgabe des Steuersignals, erfolgt in Echtzeit. Bei der Erfassung einer neuen Grundfrequenz oder einer Änderung der Amplitude wird das Steuersignal 6 sofort entsprechend angepasst und für die Dauer des Steuertons 1 ausgeführt.
Am Beispiel Bewegung heisst das, durch das Summen einer Tonhöhe wird eine Bewegung des technischen Gerätes in eine bestimmte Richtung ausgeführt. Durch Änderung der Tonlautstärke und Beibehalten der Tonhöhe wird die Geschwindigkeit der Bewegung reguliert. Stoppt das Summen, stoppt auch die Bewegung.
Seite 3 '[Gamma]HATA[Gamma]SCH
Die Frequenzbereiche und die dafür gewünschten Funktionen sind beliebig zuzuordnen.

Werden die Frequenzbereiche mit einer Tonleiter von acht Tönen belegt, können die Töne sechs unterschiedlichen Richtungen und zwei zusätzlichen Steuerbefehlen zugeordnet werden. Dadurch kann ein Roboterarm bzw. ein Cursor auf einem Bildschirm in sechs Richtungen bzw. drei Freiheitsgraden mit zwei zusätzlichen Befehlen z.B. Handschliessen und Handöffnen vom Benutzer bewusst gesteuert werden. Vorteilhaft dabei ist, wenn man zwei benachbarte Töne der Tonleiter zur Steuerung eines Freiheitsgrades verwendet, dass also jeweils zwei benachbarte Töne Bewegung in entgegengesetzte Richtung bewirken (siehe Fig. 2).
Je nach Übung und Fertigkeit des Benutzers kann das akustische Signal noch nach Halbtönen oder Obertönen bzw. nach der Klangfarbe differenziert und dadurch einer Vielzahl von unterschiedlichen Funktionen zugeordnet werden.

Obertöne in diesem Sinne sind ganzzahlige vielfache Tonfrequenzen der Grundfrequenz. Die Klangfarbe in diesem Sinne setzt sich aus Grundton, Obertönen und Rauschanteil zusammen. Beispielsweise können so verschiedenen Vokale, verschiedenen Funktionen zugeordnet werden.
Durch Zuordnung der Grundfrequenz zum Winkel bei Polarkoordinaten erreicht man bei Zwischentönen schräge Bewegungen in einer definierten Raumebene.
Die Erfindung ist auch für Menschen, welche nicht bewegungsbehindert sind, nützlich anwendbar. Ganz besonders ist das dann der Fall, wenn sie bei manchen Tätigkeiten keine Hand mehr frei haben, oder wenn die Hände aus anderen Gründen nicht zum Einsatz kommen können.

Beispiele dazu sind die Ansteuerung von Operationsgeräten, insbesondere Mikroskopen durch einen Chirurgen, feinmechanische Tätigkeiten, Arbeiten unter Wasser oder im Weltraum bei denen die Arbeitskleidung eine starke Bewegungseinschränkung darstellt, Tätigkeiten an Stellen, welche ausserhalb des Greifbereiches der steuernden Person liegen, allgemein Umgebungssteuerung (Licht, Heizung, Herd, Fernsteuerung von Unterhaltungselektronik, Steuerung von Haushaltsgeräten, etc..)
Als eine weitere Ausbaustufe der Erfindung ist eine Kombination mit Spracherkennungssystemen oder eine Erweiterung durch Triggersignale wie Zungenschnalzen oder Klickgeräusche sinnvoll. So könnte auch zwischen unterschiedlichen gespeicherten Bewegungsmustern umgeschaltet, oder Raumpositionen des Manipulator angefahren gespeichert und später wieder abgerufen werden.

Es liessen sich auch Bewegungsmuster vom Benutzer erstellen und speichern.
Vor allem für die Konfiguration, und Schulung des Anwenders ist es zweckmässig ein Tonwiedergabegerät zu verwenden, welches per Hand einstellbar Steuertöne in gewünschter Tonhöhe und in einstellbarer Lautstärke ausgibt.
Seite 4 flANfSCH
Die Grundtonhöhen und die jeweilige Codierung können je nach Anwender individuell konfiguriert werden
Ein sehr wichtiger Anwendungsfall der Erfindung ist die Ansteuerung von technischen Hilfsmitteln für stark bewegungsbehinderte Personen.

Derart gesteuerte technische Hilfsmittel können beispielsweise Rollstühle, Prothesen, robotische Manipulatoren, Esshilfen etc. sein.
Bemerkenswert bei dieser Erfindung ist, dass damit erstmals in gut beherrschbarer Technik ohne Berührung oder Verkabelung des Benutzers mit stimmlich erzeugten Tönen eine grosse Bandbreite von technisch komplexen Anwendungen schnell, präzise und kontrolliert gesteuert werden kann, ohne dass der Benutzer dafür einer aufwendigen Einschulung bedarf.
Die einfache, vielseitige und schnelle Konfiguration und die geringen Anforderungen an die Hardware zeichnen die sprachenunabhängige Erfindung als sehr wirtschaftliches, nützliches und praktisches Produkt aus.
Seite 5

Claims

HAWSCH Patentansprüche

1. Verfahren zur Steuerung eines technischen Gerätes durch ein von der menschlichen Stimme erzeugtes akustisches Signal, welches über ein Mikrofon erfasst und automatisiert hinsichtlich physikalischer Eigenschaften analysiert wird, wobei dem Ergebnis dieser Analyse entsprechend einer Zuordnungstabelle ein Steuersignal für eine auszuführende Funktionen des zu steuernden technischen Gerätes generiert wird, gekennzeichnet dadurch, dass das akustische Signal ein Steuerton (1 ) ist welcher mit annähernd gleicher Grundfrequenz kontinuierlich aufrecht erhalten werden kann, also beispielsweise ein Selbstlaut oder ein Summlaut und dass der Steuerton (1 ) keinen Laut enthält, welcher nur durch einen plötzlichen Übergang zwischen dauerhafteren Zuständen der an der Lautbildung beteiligten Stimmorgane gebildet werden kann.

1. Verfahren zur Steuerung eines technischen Gerätes durch einen durch die menschliche Stimme erzeugten Steuerton, welcher über ein Mikrofon erfasst und automatisiert hinsichtlich physikalischer Eigenschaften analysiert wird, wobei dem Ergebnis dieser Analyse entsprechend einer Zuordnungstabelle ein Steuersignal für eine auszuführende Funktionen des zu steuernden technischen Gerätes generiert wird, gekennzeichnet dadurch, dass dieser Steuerton (1) kontinuierlich anzuhalten ist.

2. Verfahren nach Anspruch 1, gekennzeichnet dadurch, dass die Lautstärke des Steuertons (1) den Wert der jeweils gestarteten Funktion, beispielsweise die Geschwindigkeit einer Bewegung des gesteuerten technischen Gerätes (6) bestimmt.

3. Verfahren nach Anspruch 1 oder 2, gekennzeichnet dadurch, dass die Art der gestarteten Funktion durch die Grundfrequenz des Steuertons (1) bestimmt wird.

4. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass die am technischen Gerät (6) zu startenden Funktionen so lange ausgeführt werden, wie der Steuerton (1) anhält.

4. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass die am technischen Gerät (6) zu startenden Funktionen so lange ausgeführt werden, als der Steuerton (1) anhält.

5. Verfahren nach einem der Ansprüche 1 bis 3, gekennzeichnet dadurch, dass die am technischen Gerät (6) zu startenden Funktionen durch einen Steuerton gestartet werden und nach dem Erlöschen dieses Steuertons weiter ausgeführt werden.

6. Verfahren nach Anspruch 5, gekennzeichnet dadurch, dass die gestarteten Funktionen durch einen weiteren Steuerton (1), vorzugsweise einen gleichen Steuerton wie der zum Starten verwendete, wieder gestoppt werden.

7. Verfahren nach Anspruch 5, gekennzeichnet dadurch, dass zu der schon gestarteten Funktion durch einen weiteren Steuerton eine weitere Funktion gestartet und des weiteren zeitgleich ausgeführt werden kann, und/oder dass mit einem weiteren Steuerton die erste Funktion beendet und sofort eine zweite Funktion gestartet wird.

7. Verfahren nach Anspruch 5, gekennzeichnet dadurch, dass zu der schon gestarteten Funktionen durch einen weiteren Steuerton eine weitere Funktionen gestartet und des weiter zeitgleich ausgeführt werden kann, und/oder dass mit einem weiteren Steuerton die erste Funktion beendet, und sofort eine zweite Funktion gestartet wird.

8. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass damit technische Geräte insgesamt, oder Teile von technischen Geräten bewegt werden.

9. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass der Grundfrequenz des Steuertons (1 ) Bewegungen des technischen Ge-

Seite 6

NACHGEREICHT HAINISCH

rätes (6) in bestimmte Raumrichtungen zugeordnet sind, wobei Vor- bzw. Zurückbewegung in der gleichen Raumrichtung durch in der Tonleiter nebeneinander liegende Steuertöne bestimmt werden.

9. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass der Grundfrequenz des Steuertons (1) Bewegungen des technischen Gerätes (6) in bestimmte Raumrichtungen zugeordnet sind, wobei Vor- bzw. Zurückbewegung in der gleichen Raumrichtung durch in der Tonleiter nebeneinander liegende Steuertöne bestimmt werden.

Seite 6 'HÄ[Iota]flTSCH

10. Verfahren nach einem der Ansprüche 1 bis 8, gekennzeichnet dadurch, dass damit ein Anzeigesignal auf einem Bildschirm gesteuert wird.

11. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass damit technische Hilfsmittel für bewegungsbehinderte Personen gesteuert werden.

12. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass damit technische Hilfsmittel für Personen, die durch besonderes anspruchsvolle Umgebungsbedingungen in ihrer Bewegungsfreiheit stark eingeschränkt sind, gesteuert werden.

13. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass damit technische Hilfsmittel von Personen gesteuert werden, welche für die Steuerung dieses Gerätes keine Hand mehr frei haben.

14. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass damit ein technisches Gerät gesteuert wird, welches ausserhalb des Greifbereiches der steuernden Person angeordnet ist.

15. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, das die Obertonverteilung des Steuertons (1 ) ein Kriterium in der automatisiert ablaufenden Entscheidung, ob es sich um einen zugelassenen Steuerton (1) handelt, ist.

15. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, das die Obertonverteilung des Steuertons (1) ein Kriterium in der automatisiert ablaufenden Entscheidung, ob es sich um einen zugelassenen Steuerton (1) handelt, ist.

16. Verfahren nach einem der bisherigen Ansprüche mit Ausnahme von Anspruch 2, gekennzeichnet dadurch, dass die zu startende Funktion des technischen Gerätes (6) durch die Obertonverteilung des Steuertons (entspricht dem Vokal oder dem Summen) bestimmt wird.

17. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass durch zusätzliche Laute wie Klicklaute, Triggerlaute oder Sprachbefehle etc. weitere Funktionen des technischen Gerätes (6) gestartet werden, und/oder zwischen einzelnen Modi des technischen Gerätes hin- und hergeschaltet werden kann.

17. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass durch zusätzliche Laute, wie Klicklaute, Triggerlaute oder Sprachbefehle etc. weitere Funktionen des technischen Gerätes (6) gestartet werden, und/oder zwischen einzelnen Modi des technischen Gerätes hin- und hergeschaltet werden kann.

18. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass der Steuerton (1 ) ein Summen ist.

18. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass der Steuerton (1) ein Summen ist.

19. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass der Grundfrequenz des Steuertons (1) Bewegungen des technischen Gerätes (6) in bestimmte Raumrichtungen entsprechend einem kartesischem Koordinatensystem zugeordnet sind.

Seite 7

NACHGEREICHT HAINISCH

20. Verfahren nach Anspruch 19, gekennzeichnet dadurch, dass jenen Grundfrequenzen des Steuertons, welche im Bereich zwischen zwei unterschiedlichen, genau jeweils einer anderen Hauptrichtung zugeordneten Grundfrequenz liegen, eine Bewegung in der durch die beiden unterschiedlichen Hauptrichtungen aufgespannten Ebene zugeordnet ist, und dass der Winkel dieser Bewegung in dieser Ebene zu den beiden Hauptrichtungen durch den Unterschied der Grundfrequenz zu den Grundfrequenzen bestimmt wird, die den Hauptrichtungen zugeordnet sind.

20. Verfahren nach Anspruch 19, gekennzeichnet dadurch, dass jenen Grundfrequenzen des Steuertons, welche im Bereich zwischen zwei unterschiedlichen, genau jeweils einer anderen Hauptrichtung zugeordneten Grundfrequenz liegen, eine Bewegung in der durch die beiden unterschiedlichen Hauptrichtungen aufgespannten Ebene zugeordnet ist, und dass der Winkel dieser Bewegung in

Seite 7 'AAMISCH

21. dieser Ebene zu den beiden Hauptrichtungen durch den Unterschied der Grundfrequenz zu den Grundfrequenzen bestimmt wird, die den Hauptrichtungen zugeordnet sind.

Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass der Grundfrequenz des Steuertons (1) Bewegungen des technischen Gerätes (6) entsprechend einem Polarkoordinaten zugeordnet sind.

Seite 8 HAINISCH

Patentansprüche

21. Verfahren nach einem der vorgenannten Ansprüche, gekennzeichnet dadurch, dass der Grundfrequenz des Steuertons (1) Bewegungen des technischen Gerätes (6) entsprechend einem Polarkoordinaten zugeordnet sind.

Seite 8

NACHGEREICHT